CN112241660A - 一种基于视觉的防盗监测方法和装置 - Google Patents

一种基于视觉的防盗监测方法和装置 Download PDF

Info

Publication number
CN112241660A
CN112241660A CN201910647125.6A CN201910647125A CN112241660A CN 112241660 A CN112241660 A CN 112241660A CN 201910647125 A CN201910647125 A CN 201910647125A CN 112241660 A CN112241660 A CN 112241660A
Authority
CN
China
Prior art keywords
image
target object
difference
abnormal
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910647125.6A
Other languages
English (en)
Inventor
伍宽
朱继玉
杨杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuangjisha Technology Co ltd
Original Assignee
Beijing Shuangjisha Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuangjisha Technology Co ltd filed Critical Beijing Shuangjisha Technology Co ltd
Priority to CN201910647125.6A priority Critical patent/CN112241660A/zh
Publication of CN112241660A publication Critical patent/CN112241660A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供了一种基于视觉的防盗监测方法和装置，其中，该方法包括：获取目标时间节点的第一图像和在目标时间节点之前的第二图像；根据第一图像与第二图像之间的差值生成相应的差分图像，并判断差分图像是否存在异常区域；在存在异常区域时，确定第一图像和第二图像中的目标对象以及目标对象的行为，在目标对象的行为异常时确定存在盗窃嫌疑。通过本发明实施例提供的基于视觉的防盗监测方法和装置，可以自动监测用户视野盲区内是否存在偷盗嫌疑，提高视野盲区内的安全性；利用差分图像来判断是否需要识别图像中的对象以及对象行为，可以降低图像识别的处理量，从而可以及时进行防盗检测，提高防盗监测的时效性。

Description

一种基于视觉的防盗监测方法和装置
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于视觉的防盗监测方法和装置。
背景技术
驾驶员在车内是存在视野盲区的。虽然后视镜可以扩大驾驶员视野范围，但是在大型物流运输货车中依然存在较大的视野盲区。一是在车辆行驶过程中，驾驶员精力主要集中于车辆行驶前方，如果后方有人爬车、强行进入货仓或者其他未知行为，就很少引起司机发觉。二是因为大货车或者商用车的行车特点，好多司机有在车上休息的特点，或者司机进入旅馆休息时，这时货仓货物的安全和汽油桶的安全就成为了一个问题。
发明内容
为解决上述问题，本发明实施例的目的在于提供一种基于视觉的防盗监测方法和装置。
第一方面，本发明实施例提供了一种基于视觉的防盗监测方法，包括：
获取目标时间节点的第一图像和在所述目标时间节点之前的第二图像；
根据所述第一图像与所述第二图像之间的差值生成相应的差分图像，并判断所述差分图像是否存在异常区域；
在存在异常区域时，确定所述第一图像和所述第二图像中的目标对象以及所述目标对象的行为，在所述目标对象的行为异常时确定存在盗窃嫌疑。
在一种可能的实现方式中，所述根据所述第一图像与所述第二图像之间的差值生成相应的差分图像，并判断所述差分图像是否存在异常区域，包括：
对所述第一图像和所述第二图像进行差分处理，根据差分处理结果生成用于表示所述第一图像与所述第二图像之间差值的差分图像；
确定所述差分图像中每个像素点的像素值，并将像素值位于预设的异常范围内的像素点作为异常像素点；
确定依次相邻的所述异常像素点的总数量，在所述总数量大于预设阈值时，将依次相邻的所述异常像素点所在区域作为异常区域。
在一种可能的实现方式中，所述根据差分处理结果生成用于表示所述第一图像与所述第二图像之间差值的差分图像，包括：
根据所述差分处理结果生成差分初始图像，并对所述差分图像进行二值化处理，生成差分二值图像；
对所述差分二值图像进行膨胀处理，将膨胀处理后的差分二值图像作为所生成的差分图像。
在一种可能的实现方式中，所述第一图像包括第一左目图像和第一右目图像，所述第二图像包括第二左目图像和第二右目图像。
在一种可能的实现方式中，所述确定所述第一图像和所述第二图像中的目标对象以及所述目标对象的行为包括：
确定所述第一图像中与所述异常区域相对应的第一区域图像，以及所述第二图像中与所述异常区域相对应的第二区域图像；
对所述第一区域图像和所述第二区域图像进行特征匹配处理，将所述第一区域图像和所述第二区域图像中相匹配的对象作为目标对象，并根据所述目标对象在所述第一区域图像和所述第二区域图像中的位置变化确定所述目标对象的行为。
在一种可能的实现方式中，所述根据所述目标对象在所述第一区域图像和所述第二区域图像中的位置变化确定所述目标对象的行为包括：
根据所述目标对象在所述第一区域图像的位置确定所述目标对象的第一三维坐标，并根据所述目标对象在所述第二区域图像的位置确定所述目标对象的第二三维坐标；
根据所述第一三维坐标和所述第二三维坐标之间的差值确定所述目标对象的运动趋势，并根据所述第一区域图像和所述第二区域图像之间的时间差以及所述运动趋势确定所述目标对象的运动速度；
将所述目标对象的行为与预设的非法行为进行对比，判断所述目标对象的行为是否异常；其中，所述目标对象的行为包括所述运动趋势和所述运动速度。
在一种可能的实现方式中，在存在异常区域时，该方法还包括：
判断所述目标时间节点的上一时间节点的图像是否存在异常；
在上一时间节点的图像存在异常时，确定所述第一图像和所述第二图像中的目标对象以及所述目标对象的行为；
在上一时间节点的图像不存在异常时，确定所述第一图像和所述第二图像中的目标对象，并对所述目标对象进行人脸识别处理；在识别出的所述目标对象的人脸与预设的合法人脸不匹配时，确定所述目标对象的行为，并确定所述目标时间节点的第一图像存在异常。
第二方面，本发明实施例还提供了一种基于视觉的防盗监测装置，包括：
获取模块，用于获取目标时间节点的第一图像和在所述目标时间节点之前的第二图像；
差分模块，用于根据所述第一图像与所述第二图像之间的差值生成相应的差分图像，并判断所述差分图像是否存在异常区域；
处理模块，用于在存在异常区域时，确定所述第一图像和所述第二图像中的目标对象以及所述目标对象的行为，在所述目标对象的行为异常时确定存在盗窃嫌疑。
第三方面，本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于上述任意一项所述的基于视觉的防盗监测方法。
第四方面，本发明实施例还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任意一项所述的基于视觉的防盗监测方法。
本发明实施例上述第一方面提供的方案中，通过可以表示两个不同时间节点的图像之间差异的差分图像来判断图像中是否存在异常区域，在存在异常区域时即可根据正在移动的对象的行为判断是否存在偷盗嫌疑。该方式可以自动监测用户视野盲区内是否存在偷盗嫌疑，可以提高视野盲区内的安全性。且利用差分图像来判断是否需要识别图像中的对象以及对象行为，可以降低图像识别的处理量，从而可以及时进行防盗检测，提高防盗监测的时效性。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种基于视觉的防盗监测方法的流程图；
图2示出了本发明实施例所提供的基于视觉的防盗监测方法中，差分图像的三种示意图；
图3a示出了本发明实施例所提供的基于视觉的防盗监测方法中，异常的双目差分图像的一种示意图；
图3b示出了本发明实施例所提供的基于视觉的防盗监测方法中，将异常区域映射至双目图像的一种示意图；
图4示出了本发明实施例所提供的一种基于视觉的防盗监测装置的结构示意图；
图5示出了本发明实施例所提供的用于执行基于视觉的防盗监测方法的电子设备的结构示意图。
具体实施方式
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供的一种基于视觉的防盗监测方法，参见图1所示，包括：
步骤101：获取目标时间节点的第一图像和在目标时间节点之前的第二图像。
本发明实施例中，利用预先安装的图像采集装置对需要进行防盗检测的区域(例如车辆两侧的视野盲区、货仓内等)进行图像采集，该图像采集装置可以是相机、摄像头等。图像采集装置可以实时采集图像，其采集的每一帧的图像对应一个时间节点的图像，本实施例中的目标时间节点对应一帧，相应的第一图像是图像采集装置所采集的一帧图像；而第二图像是在该第一图像之前的另一帧图像。可选的，该第二图像与第一图像是在时间轴上相邻的图像，即第二图像是第一图像的上一帧图像。
其中，在步骤101之前，还需要对图像采集装置进行内参标定，即确定焦距、主点、镜头畸变等与图像采集装置有关的内参数矩阵。可选的，该图像采集装置可以是双目相机，此时除了需要标定上述的内参数矩阵，还需要确定左目相机和右目相机之间的旋转矩阵和平移向量。标定后的图像采集装置即可对需要进行防盗检测的区域进行图像采集。
步骤102：根据第一图像与第二图像之间的差值生成相应的差分图像，并判断差分图像是否存在异常区域。
本发明实施例中，第一图像和第二图像是对同一防盗检测区域在不同时间节点所采集到的图像，第一图像与第二图像之间的差值可以表示二者之间的区别，即该差分图像可以用于表示第一图像与第二图像之间的区别。在不存在异常时，即在不存在偷盗情况时，第一图像和第二图像应该是完全相同的；当存在偷盗情况时，由于此时存在活动的对象(即偷盗者)，故在不同时间节点所采集到的图像会稍有不同，即此时的差分图像中存在异常区域。本实施例中通过判断差分图像是否存在异常区域可以方便快速的判断当前的目标时间节点是否存在偷盗嫌疑。
可选的，上述步骤102“根据第一图像与第二图像之间的差值生成相应的差分图像，并判断差分图像是否存在异常区域”具体包括：
步骤A1：对第一图像和第二图像进行差分处理，根据差分处理结果生成用于表示第一图像与第二图像之间差值的差分图像。
本发明实施例中，在确定第一图像和第二图像之后，即可对两个图像进行差分处理，根据该差分处理结果生成相应的差分图像。具体的，上述“根据差分处理结果生成用于表示第一图像与第二图像之间差值的差分图像”，包括：
步骤A11：根据差分处理结果生成差分初始图像，并对差分图像进行二值化处理，生成差分二值图像。
本发明实施例中，基于第一图像与第二图像的差分处理结果可直接生成的图像为差分初始图像。具体的，第一图像为imgcur，第二图像为imglast，相应的差分处理结果为imgd＝imgcur-imglast，其中的imgd也是上述的差分初始图像，即差分初始图像中每个像素点的像素值为第一图像与第二图像中相应像素点的像素值之差。若没有存在偷盗情况，则场景没有异常，理论上第一图像与第二图像是相同的，即差分初始图像imgd＝0，即差分初始图像imgd是全零矩阵。但是由于图像采集装置存在***噪声，导致第一图像和第二图像并不是完全相同的，即imgd≠0。本实施例中对该差分初始图像进行二值化处理，以减小***噪声的影响，并简化后续基于差分图像判断是否存在异常的过程。
具体的，可以将差分初始图像imgd中每个像素点的像素值与预设的阈值Ith进行比较，基于比较结果将该差分初始图像imgd转换为二值化的图像，即差分二值图像imgdn。
例如，
Figure BDA0002133948040000071
其中，Iuv表示差分二值图像imgdn中坐标为(u,v)的像素点的像素值，iuv表示差分初始图像imgd中坐标为(u,v)的像素点的像素值。
步骤A12：对差分二值图像进行膨胀处理，将膨胀处理后的差分二值图像作为所生成的差分图像。
本发明实施例中，对差分二值图像imgdn进行膨胀处理，以突出差分二值图像imgdn中的异常，膨胀处理后的图像即为本实施例中的差分图像imgdnd。
步骤A2：确定差分图像中每个像素点的像素值，并将像素值位于预设的异常范围内的像素点作为异常像素点。
本发明实施例中，若该差分图像imgdnd中存在数量较多且比较集中的异常点，则说明该差分图像imgdnd存在异常。具体的，预先设置异常范围，若差分图像中像素点的像素值在该异常范围内，则认为该像素点是异常的，即将该像素点作为异常像素点。例如，若差分图像是二值化图像，则可以将像素值为255的像素点作为异常像素点，即此时的异常范围可以是：像素值是255。具体的，像素值为255的像素点显示为白色的点，差分图像imgdnd的几种情况参见图2所示。
在图2中，图2中左侧的差分图像imgdnd1为标准的正常差分图像，即该差分图像中每个像素点的像素值均为0(均为黑色)；图2中中间的差分图像imgdnd2为存在噪点的正常差分图像，由于相机存在噪声，导致差分图像中可能会存在噪点，但噪点的分布一般是比较均匀的，此时也可以认为该差分图像imgdnd2是正常的；图2中右侧的差分图像imgdnd3为一种异常的差分图像，该差分图像imgdnd3中存在数量较多且集中的异常像素点(即白色的像素点)，该差分图像imgdnd3是异常的，即第一图像与第二图像中的某个区域是不同的，此时说明该区域内存在活动的对象。
步骤A3：确定依次相邻的异常像素点的总数量，在总数量大于预设阈值时，将依次相邻的异常像素点所在区域作为异常区域。
本发明实施例中，若异常像素点是分散的，则说明该异常像素点可能是噪点，该异常像素点可忽略不计；若该异常像素点是集中的且数量较多(如图2的右侧图所示)，则说明该异常像素点对应着正在移动的对象。具体的，本实施例中的“依次相邻的异常像素点”指的是该异常像素点的至少一个边(或顶点)与其他的某个异常像素点A相邻，且该异常像素点A的至少一个边(或顶点)还可以与其他的异常像素点B相邻……即，异常像素点的相邻关系是依次的。依次相邻的异常像素点可以组成一个异常像素点集合，在该异常像素点集合内，每个异常像素点至少与一个其他的异常像素点是相邻的，即某个边是公共边、或某个顶点是公共顶点。
本实施例中，该异常像素点集合是由比较集中的异常像素点组成的，若异常像素点集合中异常像素点的总数量(即依次相邻的异常像素点的总数量)大于预设阈值时，说明该异常像素点集合包含数量较多且集中的异常像素点，此时可认为该差分图像异常。同时，该异常像素点集合中的异常像素点所在的区域即可作为差分图像的异常区域。其中，本领域技术人员可以理解，对于同一个差分图像，可以存在多组依次相邻的异常像素点，即可以存在多个异常像素点集合，每个异常像素点集合均可对应一个异常区域。
步骤103：在存在异常区域时，确定第一图像和第二图像中的目标对象以及目标对象的行为，在目标对象的行为异常时确定存在盗窃嫌疑。
本发明实施例中，当差分图像存在异常区域时，说明第一图像与第二图像的某个区域之间存在较大的区别，此时可以说明在该区域内存在正在移动的对象(例如人、动物、行驶的车辆等)，本实施例中将正在移动的对象作为需要处理的目标对象。具体的，可以基于图像识别技术确定第一图像和第二图像中的目标对象，根据该目标对象在第一图像与第二图像之间的位置变化可以确定该目标对象的行为，例如该目标对象正在靠近货仓，或者攀爬货仓等；在该目标对象的行为与偷盗行为相似时，确定该目标对象的行为异常，从而可以确定此时存在偷盗嫌疑，之后利用报警模块可以警告驾驶员，在驾驶员的视野盲区中存在偷盗嫌疑。由于识别图像中的对象以及对象行为的处理量较大，可能导致处理不及时的问题，但利用差分图像判断是否存在异常区域的处理量较小，本实施例中通过差分图像来判断是否需要识别图像中的对象以及对象行为，可以降低图像识别的处理量，从而可以及时进行防盗检测，提高防盗监测的时效性。
本发明实施例提供的一种基于视觉的防盗监测方法，通过可以表示两个不同时间节点的图像之间差异的差分图像来判断图像中是否存在异常区域，在存在异常区域时即可根据正在移动的对象的行为判断是否存在偷盗嫌疑。该方式可以自动监测用户视野盲区内是否存在偷盗嫌疑，可以提高视野盲区内的安全性。且利用差分图像来判断是否需要识别图像中的对象以及对象行为，可以降低图像识别的处理量，从而可以及时进行防盗检测，提高防盗监测的时效性。
在上述实施例的基础上，步骤103“确定第一图像和第二图像中的目标对象以及目标对象的行为”包括：
步骤B1：确定第一图像中与异常区域相对应的第一区域图像，以及第二图像中与异常区域相对应的第二区域图像。
本发明实施例中，由于差分图像与第一图像和第二图像是完全对应的，故差分图像的异常区域也相对应第一图像和第二图像中的某片区域，该异常区域映射第一图像中的第一区域图像、对应第二图像中的第二区域图像；其中，异常区域在差分图像中的位置、第一区域图像在第一图像中的位置、第二区域图像在第二图像中的位置均相同。
步骤B2：对第一区域图像和第二区域图像进行特征匹配处理，将第一区域图像和第二区域图像中相匹配的对象作为目标对象，并根据目标对象在第一区域图像和第二区域图像中的位置变化确定目标对象的行为。
本发明实施例中，第一区域图像和第二区域图像内均存在活动的对象，由于该活动的对象在第一区域图像和第二区域图像中不完全相同，本实施例基于特征匹配的方法对第一区域图像和第二区域图像中的对象进行匹配，该对象即为目标对象。在进行特征匹配之前，可以基于预先确定的图像采集装置的内参对第一图像和第二图像进行畸变校正；本实施例中，由于只需要处理其中的第一区域图像和第二区域图像，故可以只对第一区域图像和第二区域图像进行畸变矫正，从而进一步减小处理量。可选的，当该图像采集装置为双目相机时，还可以对第一区域图像和第二区域图像进行双目立体矫正。
本发明实施例中，在确定第一区域图像和第二区域图像后，可以进行特征点提取以及特征点匹配操作，进而确定其中的目标对象；其中，具体可采用ORB(Oriented FASTand Rotated BRIEF)算法、光流法等进行特征点提取和匹配，本实施例对此不做限定。在确定目标对象后，即根据目标对象在不同帧的第一区域图像与第二区域图像中的位置变化可以确定该目标对象的运动速度、运动趋势等，即可以确定该目标对象的行为，例如确定该目标对象是否在接近车辆，或者是否在攀爬车辆等。
可选的，可以基于双目相机采集第一图像和第二图像，相应的，第一图像包括第一左目图像和第一右目图像，第二图像包括第二左目图像和第二右目图像。在采集到双目的第一图像和第二图像之后，也可以基于上述的步骤101至103确定其中目标对象的行为是否异常。具体的，由于双目相机采集的图像包含左目图像和右目图像，故在步骤102中可以根据第一左目图像与第二左目图像之间的差值生成相应的左目差分图像、根据第一右目图像与第二右目图像之间的差值生成相应的右目差分图像，该左目差分图像和右目差分图像为完整的差分图像。此外，也可以从左目图像或右目图像中选取一幅图像、或者将左目图像和右目图像作为一个完整的图像来确定相应的差分图像，本实施例对此不做限定。
在上述的步骤103中，当需要将异常区域映射至第一图像和第二图像时，需要将左目图像的异常区域映射至相应的左目图像，并将右目图像的异常区域映射至相应的右目图像；在特征点匹配之后，可以利用双目立体视觉原理求解所有匹配的特征点在相机坐标系中的三维坐标，并根据不同帧中目标对象的位置变化计算目标对象的瞬时运动速度和运动趋势。具体的，上述步骤B2“根据目标对象在第一区域图像和第二区域图像中的位置变化确定目标对象的行为“包括：
步骤B21：根据目标对象在第一区域图像的位置确定目标对象的第一三维坐标，并根据目标对象在第二区域图像的位置确定目标对象的第二三维坐标。
步骤B22：根据第一三维坐标和第二三维坐标之间的差值确定目标对象的运动趋势，并根据第一区域图像和第二区域图像之间的时间差以及运动趋势确定目标对象的运动速度。
步骤B23：将目标对象的行为与预设的非法行为进行对比，判断目标对象的行为是否异常；其中，目标对象的行为包括运动趋势和运动速度。
本实施例中，第一图像和第二图像均为双目图像，则第一区域图像和第二区域图像也均为双目图像，基于双目相机的坐标转换关系，即可将目标对象在第一区域图像中的像素坐标转换为世界坐标系中的三维坐标，即第一三维坐标；同理也可以确定该目标对象在第二区域图像中所对应的第二三维坐标，基于两个三维坐标的变化即可确定该目标对象的运动趋势和运动速度。同时，预先设置与偷盗行为相匹配的运动趋势和运动速度，即预先设置非法行为，若该目标对象的运动趋势和运动速度与该非法行为相匹配时，则说明此时可能存在偷盗者，即存在偷盗嫌疑。
其中，双目相机的一种异常差分图像参见图3a所示，图3a中的imgdndL表示左目差分图像，imgdndR表示右目差分图像，其中白色矩形框所标出来的区域即为相应的异常区域，本领域技术人员可以理解，也可以用除矩形框之外的其他形状来选择出与异常像素点相对应的异常区域。将该异常区域映射至第一图像的示意图参见图3b所示，图3b中的imgcurL表示第一图像中的第一左目图像，imgcurR表示第一图像中的第一右目图像，图3b中白色矩形框所标出来的区域即为从第一图像中选择的第一区域图像；将异常区域映射至第二图像来确定第二区域图像与此相似，此处不做赘述。
本发明实施例中，通过将异常区域映射至第一图像和第二图像，从而选取出与异常区域对应的第一区域图像和第二区域图像，在后续进行图像识别以及行为判断时只需要处理第一区域图像和第二区域图像即可，可以进一步减小处理量，有效保证实现实时监测。
在上述实施例的基础上，还可以基于人脸识别技术确定目标对象是否合法，在目标对象不合法时再识别该目标对象的行为。具体的，在存在异常区域时，该方法还包括：
步骤C1：判断目标时间节点的上一时间节点的图像是否存在异常。
本发明实施例中，在确定差分图像中存在异常区域时，可以初步认为第一图像中存在异常。同时，该方法可以循环执行，从而可以确定每一帧图像是否异常。例如，图像采集设备采集图像之后，从第二帧图像(即第一图像)开始运算，计算与第一帧图像(即第二图像)之间的差分图像，从而可以确定第二帧图像是否存在异常；之后可以再将第三帧图像作为第一图像、将第二帧图像作为第二图像，再次重复上述步骤101至步骤103，从而可以确定该第三帧图像是否存在异常。具体的，可以在异常区域内目标对象的行为异常时再将该第一图像作为异常的图像，即认为第一图像中存在异常。
可选的，若某一帧图像异常时，可以为该图像增加异常标识，后续基于图像是否含有异常标识即可确定该图像是否存在异常，即可以确定上一时间节点的图像是否存在异常。其中，该上一时间节点是该目标时间节点的上一个时间节点；具体的，该上一时间节点的图像可以是第一图像的上一帧图像。
步骤C2：在上一时间节点的图像存在异常时，确定第一图像和第二图像中的目标对象以及目标对象的行为。
步骤C3：在上一时间节点的图像不存在异常时，确定第一图像和第二图像中的目标对象，并对目标对象进行人脸识别处理；在识别出的目标对象的人脸与预设的合法人脸不匹配时，确定目标对象的行为。
本发明实施例中，预先采集合法的人脸样本，即不需要监测的人脸，例如驾驶员的人脸等，该人脸样本尽量覆盖面部的多个角度，基于该人脸样本生成合法人脸。若当前的时间节点(即目标时间节点)的图像存在异常、而上一时间节点的图像不存在异常时，说明在当前时间节点首次采集到异常，此时需要对图像中的目标图像进行人脸识别处理，若识别出该目标对象是预设的合法人脸，则可认为此时该目标对象的行为也是合法的，即其行为不存在异常；可选的，可以备份此时的第一图像，之后再选取下一帧的图像作为第一图像，继续确定是否存在异常。
若当前时间节点的图像存在异常、且上一时间节点的图像也存在异常时，说明在上一时间节点已经判断出该目标对象的行为异常，且在上一时间节点或者更早的时间节点曾经进行过人脸识别，即在曾经的处理过程中已经确定该目标对象不是合法的人脸，故此时不需要重复进行人脸识别处理，从而进一步降低处理量。
本发明实施例提供的一种基于视觉的防盗监测方法，通过可以表示两个不同时间节点的图像之间差异的差分图像来判断图像中是否存在异常区域，在存在异常区域时即可根据正在移动的对象的行为判断是否存在偷盗嫌疑。该方式可以自动监测用户视野盲区内是否存在偷盗嫌疑，可以提高视野盲区内的安全性。且利用差分图像来判断是否需要识别图像中的对象以及对象行为，可以降低图像识别的处理量，从而可以及时进行防盗检测，提高防盗监测的时效性。通过将异常区域映射至第一图像和第二图像，从而选取出与异常区域对应的第一区域图像和第二区域图像，在后续进行图像识别以及行为判断时只需要处理第一区域图像和第二区域图像即可，可以进一步减小处理量，有效保证实现实时监测。利用人脸识别技术可以进一步筛选出不合法的目标对象，且通过判断上一时间节点是否存在异常可以有效避免重复进行人脸识别，同样可以减小防盗监测过程中的处理量。
以上详细介绍了基于视觉的防盗监测方法的流程，该方法也可以通过相应的装置实现，下面详细介绍该装置的结构和功能。
本发明实施例提供的一种基于视觉的防盗监测装置，参见图4所示，包括：
获取模块41，用于获取目标时间节点的第一图像和在所述目标时间节点之前的第二图像；
差分模块42，用于根据所述第一图像与所述第二图像之间的差值生成相应的差分图像，并判断所述差分图像是否存在异常区域；
处理模块43，用于在存在异常区域时，确定所述第一图像和所述第二图像中的目标对象以及所述目标对象的行为，在所述目标对象的行为异常时确定存在盗窃嫌疑。
在上述实施例的基础上，所述差分模块42包括：
差分处理单元，用于对所述第一图像和所述第二图像进行差分处理，根据差分处理结果生成用于表示所述第一图像与所述第二图像之间差值的差分图像；
异常像素点确定单元，用于确定所述差分图像中每个像素点的像素值，并将像素值位于预设的异常范围内的像素点作为异常像素点；
异常区域确定单元，用于确定依次相邻的所述异常像素点的总数量，在所述总数量大于预设阈值时，将依次相邻的所述异常像素点所在区域作为异常区域。
在上述实施例的基础上，所述差分处理单元根据差分处理结果生成用于表示所述第一图像与所述第二图像之间差值的差分图像，包括：
根据所述差分处理结果生成差分初始图像，并对所述差分图像进行二值化处理，生成差分二值图像；
对所述差分二值图像进行膨胀处理，将膨胀处理后的差分二值图像作为所生成的差分图像。
在上述实施例的基础上，所述第一图像包括第一左目图像和第一右目图像，所述第二图像包括第二左目图像和第二右目图像。
在上述实施例的基础上，所述处理模块43确定所述第一图像和所述第二图像中的目标对象以及所述目标对象的行为包括：
确定所述第一图像中与所述异常区域相对应的第一区域图像，以及所述第二图像中与所述异常区域相对应的第二区域图像；
对所述第一区域图像和所述第二区域图像进行特征匹配处理，将所述第一区域图像和所述第二区域图像中相匹配的对象作为目标对象，并根据所述目标对象在所述第一区域图像和所述第二区域图像中的位置变化确定所述目标对象的行为。
在上述实施例的基础上，所述处理模块43根据所述目标对象在所述第一区域图像和所述第二区域图像中的位置变化确定所述目标对象的行为包括：
根据所述目标对象在所述第一区域图像的位置确定所述目标对象的第一三维坐标，并根据所述目标对象在所述第二区域图像的位置确定所述目标对象的第二三维坐标；
根据所述第一三维坐标和所述第二三维坐标之间的差值确定所述目标对象的运动趋势，并根据所述第一区域图像和所述第二区域图像之间的时间差以及所述运动趋势确定所述目标对象的运动速度；
将所述目标对象的行为与预设的非法行为进行对比，判断所述目标对象的行为是否异常；其中，所述目标对象的行为包括所述运动趋势和所述运动速度。
在上述实施例的基础上，所述处理模块43还用于：
在存在异常区域时，判断所述目标时间节点的上一时间节点的图像是否存在异常；
在上一时间节点的图像存在异常时，确定所述第一图像和所述第二图像中的目标对象以及所述目标对象的行为；
在上一时间节点的图像不存在异常时，确定所述第一图像和所述第二图像中的目标对象，并对所述目标对象进行人脸识别处理；在识别出的所述目标对象的人脸与预设的合法人脸不匹配时，确定所述目标对象的行为，并确定所述目标时间节点的第一图像存在异常。
本发明实施例提供的一种基于视觉的防盗监测装置，通过可以表示两个不同时间节点的图像之间差异的差分图像来判断图像中是否存在异常区域，在存在异常区域时即可根据正在移动的对象的行为判断是否存在偷盗嫌疑。该方式可以自动监测用户视野盲区内是否存在偷盗嫌疑，可以提高视野盲区内的安全性。且利用差分图像来判断是否需要识别图像中的对象以及对象行为，可以降低图像识别的处理量，从而可以及时进行防盗检测，提高防盗监测的时效性。通过将异常区域映射至第一图像和第二图像，从而选取出与异常区域对应的第一区域图像和第二区域图像，在后续进行图像识别以及行为判断时只需要处理第一区域图像和第二区域图像即可，可以进一步减小处理量，有效保证实现实时监测。利用人脸识别技术可以进一步筛选出不合法的目标对象，且通过判断上一时间节点是否存在异常可以有效避免重复进行人脸识别，同样可以减小防盗监测过程中的处理量。
本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，其包含用于执行上述的基于视觉的防盗监测方法的程序，该计算机可执行指令可执行上述任意方法实施例中的方法。
其中，所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
图5示出了本发明的另一个实施例的一种电子设备的结构框图。所述电子设备1100可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对电子设备的具体实现做限定。
该电子设备1100包括至少一个处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory array)1130和总线1140。其中，处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。
通信接口1120用于与网元通信，其中网元包括例如虚拟机管理中心、共享存储等。
处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU，或者是专用集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器1130用于可执行的指令。存储器1130可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块，并且所述块可按一定的规则组合成虚拟卷。存储器1130存储的指令可被处理器1110执行，以使处理器1110能够执行上述任意方法实施例中的基于视觉的防盗监测方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于视觉的防盗监测方法，其特征在于，包括：
获取目标时间节点的第一图像和在所述目标时间节点之前的第二图像；
根据所述第一图像与所述第二图像之间的差值生成相应的差分图像，并判断所述差分图像是否存在异常区域；
在存在异常区域时，确定所述第一图像和所述第二图像中的目标对象以及所述目标对象的行为，在所述目标对象的行为异常时确定存在盗窃嫌疑。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像与所述第二图像之间的差值生成相应的差分图像，并判断所述差分图像是否存在异常区域，包括：
对所述第一图像和所述第二图像进行差分处理，根据差分处理结果生成用于表示所述第一图像与所述第二图像之间差值的差分图像；
确定所述差分图像中每个像素点的像素值，并将像素值位于预设的异常范围内的像素点作为异常像素点；
确定依次相邻的所述异常像素点的总数量，在所述总数量大于预设阈值时，将依次相邻的所述异常像素点所在区域作为异常区域。
3.根据权利要求2所述的方法，其特征在于，所述根据差分处理结果生成用于表示所述第一图像与所述第二图像之间差值的差分图像，包括：
根据所述差分处理结果生成差分初始图像，并对所述差分图像进行二值化处理，生成差分二值图像；
对所述差分二值图像进行膨胀处理，将膨胀处理后的差分二值图像作为所生成的差分图像。
4.根据权利要求1所述的方法，其特征在于，所述第一图像包括第一左目图像和第一右目图像，所述第二图像包括第二左目图像和第二右目图像。
5.根据权利要求1所述的方法，其特征在于，所述确定所述第一图像和所述第二图像中的目标对象以及所述目标对象的行为包括：
确定所述第一图像中与所述异常区域相对应的第一区域图像，以及所述第二图像中与所述异常区域相对应的第二区域图像；
对所述第一区域图像和所述第二区域图像进行特征匹配处理，将所述第一区域图像和所述第二区域图像中相匹配的对象作为目标对象，并根据所述目标对象在所述第一区域图像和所述第二区域图像中的位置变化确定所述目标对象的行为。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标对象在所述第一区域图像和所述第二区域图像中的位置变化确定所述目标对象的行为包括：
根据所述目标对象在所述第一区域图像的位置确定所述目标对象的第一三维坐标，并根据所述目标对象在所述第二区域图像的位置确定所述目标对象的第二三维坐标；
根据所述第一三维坐标和所述第二三维坐标之间的差值确定所述目标对象的运动趋势，并根据所述第一区域图像和所述第二区域图像之间的时间差以及所述运动趋势确定所述目标对象的运动速度；
将所述目标对象的行为与预设的非法行为进行对比，判断所述目标对象的行为是否异常；其中，所述目标对象的行为包括所述运动趋势和所述运动速度。
7.根据权利要求1-6任一所述的方法，其特征在于，在存在异常区域时，还包括：
判断所述目标时间节点的上一时间节点的图像是否存在异常；
在上一时间节点的图像存在异常时，确定所述第一图像和所述第二图像中的目标对象以及所述目标对象的行为；
在上一时间节点的图像不存在异常时，确定所述第一图像和所述第二图像中的目标对象，并对所述目标对象进行人脸识别处理；在识别出的所述目标对象的人脸与预设的合法人脸不匹配时，确定所述目标对象的行为，并确定所述目标时间节点的第一图像存在异常。
8.一种基于视觉的防盗监测装置，其特征在于，包括：
获取模块，用于获取目标时间节点的第一图像和在所述目标时间节点之前的第二图像；
差分模块，用于根据所述第一图像与所述第二图像之间的差值生成相应的差分图像，并判断所述差分图像是否存在异常区域；
处理模块，用于在存在异常区域时，确定所述第一图像和所述第二图像中的目标对象以及所述目标对象的行为，在所述目标对象的行为异常时确定存在盗窃嫌疑。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-7任意一项所述的基于视觉的防盗监测方法。
10.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任意一项所述的基于视觉的防盗监测方法。
CN201910647125.6A 2019-07-17 2019-07-17 一种基于视觉的防盗监测方法和装置 Pending CN112241660A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910647125.6A CN112241660A (zh) 2019-07-17 2019-07-17 一种基于视觉的防盗监测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910647125.6A CN112241660A (zh) 2019-07-17 2019-07-17 一种基于视觉的防盗监测方法和装置

Publications (1)

Publication Number Publication Date
CN112241660A true CN112241660A (zh) 2021-01-19

Family

ID=74167633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910647125.6A Pending CN112241660A (zh) 2019-07-17 2019-07-17 一种基于视觉的防盗监测方法和装置

Country Status (1)

Country Link
CN (1) CN112241660A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221909A (zh) * 2021-05-12 2021-08-06 佛山育脉科技有限公司 图像处理方法、装置及计算机可读存储介质
CN114821805A (zh) * 2022-05-18 2022-07-29 湖北大学 一种危险行为预警方法、装置和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1858551A (zh) * 2006-05-26 2006-11-08 浙江工业大学 基于全方位计算机视觉的工程车防盗报警***
CN105447888A (zh) * 2015-11-16 2016-03-30 中国航天时代电子公司 一种基于有效目标判断的无人机机动目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1858551A (zh) * 2006-05-26 2006-11-08 浙江工业大学 基于全方位计算机视觉的工程车防盗报警***
CN105447888A (zh) * 2015-11-16 2016-03-30 中国航天时代电子公司 一种基于有效目标判断的无人机机动目标检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221909A (zh) * 2021-05-12 2021-08-06 佛山育脉科技有限公司 图像处理方法、装置及计算机可读存储介质
CN113221909B (zh) * 2021-05-12 2023-01-31 佛山育脉科技有限公司 图像处理方法、装置及计算机可读存储介质
CN114821805A (zh) * 2022-05-18 2022-07-29 湖北大学 一种危险行为预警方法、装置和设备
CN114821805B (zh) * 2022-05-18 2023-07-18 湖北大学 一种危险行为预警方法、装置和设备

Similar Documents

Publication Publication Date Title
US10885398B2 (en) Joint 3D object detection and orientation estimation via multimodal fusion
JP6942712B2 (ja) コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出
US10373024B2 (en) Image processing device, object detection device, image processing method
CN107909007B (zh) 车道线检测方法及装置
CN111627001B (zh) 图像检测方法及装置
WO2014132490A1 (ja) 車両諸元計測処理装置、車両諸元計測方法及び記録媒体
CN112241660A (zh) 一种基于视觉的防盗监测方法和装置
CN112381025A (zh) 一种驾驶员注意力检测方法、装置、电子设备及存储介质
KR20170106823A (ko) 부분적인 깊이 맵에 기초하여 관심 객체를 식별하는 영상 처리 장치
CN107111757B (zh) 车道线检测方法及装置
CN113936316B (zh) Doe脱落检测方法、电子设备和计算机可读存储介质
KR20210009666A (ko) 차량의 주행영상 기록 장치 및 그 방법
CN113283286B (zh) 一种驾驶员异常行为检测方法和装置
JP2008257399A (ja) 画像処理装置
CN115063772B (zh) 一种车辆编队后车检测方法、终端设备及存储介质
CN115206130B (zh) 一种车位检测方法、***、终端及存储介质
EP3985554B1 (en) Traffic light recognition method and apparatus
CN111008544B (zh) 交通监控和无人驾驶辅助***以及目标检测方法及设备
US10776669B1 (en) Signature generation and object detection that refer to rare scenes
CN117152133B (zh) 基于双目立体视觉的非纹理遮挡检测方法和装置
CN117315048B (zh) 车载相机的外参自标定方法、电子设备和存储介质
EP4270357A1 (en) Image processing device, image processing method, and program
JP2023101089A (ja) 情報処理装置
CN113822146A (zh) 目标检测方法、终端设备及计算机存储介质
Li et al. INSPIRE: Instance-Level Privacy-Pre Serving Transformation for Vehicular Camera Videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination