CN105488542B - 一种前景物体检测方法和设备 - Google Patents

一种前景物体检测方法和设备 Download PDF

Info

Publication number
CN105488542B
CN105488542B CN201510982581.8A CN201510982581A CN105488542B CN 105488542 B CN105488542 B CN 105488542B CN 201510982581 A CN201510982581 A CN 201510982581A CN 105488542 B CN105488542 B CN 105488542B
Authority
CN
China
Prior art keywords
foreground
scenery
img2
img1
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510982581.8A
Other languages
English (en)
Other versions
CN105488542A (zh
Inventor
吕俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Star Net Joint Information System Co Ltd
Original Assignee
Fujian Star Net Joint Information System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Star Net Joint Information System Co Ltd filed Critical Fujian Star Net Joint Information System Co Ltd
Priority to CN201510982581.8A priority Critical patent/CN105488542B/zh
Publication of CN105488542A publication Critical patent/CN105488542A/zh
Application granted granted Critical
Publication of CN105488542B publication Critical patent/CN105488542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

发明人提供一种前景物体检测方法和设备，所述设备包括前景区域检测模块、前景轮廓模块、梯度计算模块、前景检测控制模块。涉及物体识别领域，主要涉及不规律运动的前景物体的识别。所述前景物体检测方法根据在前景轮廓掩模区域的梯度值的变化，相比单背景高斯模型中运动的物体静止后容易被识别为背景，而静止较长时间后又发生运动时会被识别为另一物体，本方法提高了前景物体的识别效率和识别的一致性。

Description

一种前景物体检测方法和设备
技术领域
本发明涉及物体识别领域，主要涉及不规律运动的前景物体的识别。
背景技术
背景物体就是指静止的或是非常缓慢的移动的物体,而前景物体就相对移动的物体。所以我们可以把物体检测看出一个分类问题,也就是来确定一个像素点是否属于背景点。但是在不规律运动的前景物体，特别是在两次运动之间的间隔长时间静止的前景物体，在静止的过程中容易被识别为背景物体。
在实现本发明的过程中，发明人发现现有技术中存在如下问题，基于单背景模型的检测方法往往需要计算复杂度较高的跟踪算法(如meanshift算法)。同时这类方法无法确认目标跟踪前的状态，例如物体静止后复运动，容易识别为另一个物体；而双背景模型的算法计算量是单背景模型的两倍，双背景模型的方法其大致流程如下：
建立两个更新速度不同的高斯背景模型。可以有两种实现方式，一是相同更新频率/周期，不同更新速度；二是相同更新速度，不同更新频率/周期。这里使用第二种方式，更新频率高的记为MOG_fast，更新频率低的记为MOG_slow。
输入视频图像到两个高斯模型中，并以各自的频率开始计算，创建背景并分割前景。前景分别记为FG_fast和FG_slow。
当FG_fast检测到目标前景，但FG_slow却未检测到，则判定FG_fast检测到的目标。
使用额外的方法确认来区分目标前景是遗留物还是遗失物，并在设定的阈值时间后报警。
发明内容
以下给出对一个或更多个方面的简化概述以力图提供对此类方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或更多个方面的一些概念以作为稍后给出的更加具体的说明之序。
发明人提供一种前景物体检测方法，包括步骤：
获取一帧图像IMG1，将所述图像IMG1输入到背景模型中计算，更新背景图像数据，并标记前景区域；
若所述图像IMG1中不存在被标记为前景区域的区域，则继续获取下一帧图像，并基于获取到的下一帧图像更新背景图像数据和标记前景区域，若图像IMG1中存在被标记为前景区域的区域，则根据所述前景区域标记前景轮廓，根据所述前景轮廓计算前景轮廓掩模区域，所述前景轮廓掩模区域为环形区域；
计算所述背景图像数据在所述前景轮廓掩模区域的梯度值G_B1，和所述图像IMG1在所述前景轮廓掩模区域的梯度值G_IMG1；
通过G_B1和G_IMG1判断前景区域中的物体是否为前景物；
所述前景轮廓掩模区域由膨胀轮廓和腐蚀轮廓之间的区域构成；所述膨胀轮廓根据前景轮廓和膨胀公式计算得到；所述腐蚀轮廓根据前景轮廓和腐蚀公式计算得到；
所述背景模型为高斯背景模型；
所述通过G_B1和G_IMG1判断前景区域中的物体是否为前景物包括步骤：
判断G_IMG1-G_B1的值是否小于第一预设值，若小于则判断前景区域中的物体为前景物，并标记前景物为遗失物,否则判断当前前景区域无前景物体；
所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
获取IMG1之后的图像帧IMG2，将所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据；
计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；
判断所述G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于则继续获取之后的图像帧IMGx；将获得的图像帧IMGx输入到所述背景模型中更新背景图像数据，并计算背景图像数据在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间T，若T时间内G_Bx-G_B1的差均小于第二预设值，则触发遗失物报警动作。
进一步的，所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
获取IMG1之后的图像帧IMG2，将所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据；计算图像帧IMG2在所述前景轮廓掩模区域的梯度值G_IMG2；
判断所述G_IMG2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于则继续获取之后的图像帧；将获得的图像帧IMGx，并计算图像帧IMGx在前景轮廓掩模区域的梯度值G_IMGx，直到经过设定的时间T，若T时间内G_IMGx-G_B1的差均小于第二预设值，则触发遗失物报警动作。
进一步的，所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；
在标记前景物为遗失物并经过设定的时间后，获取下一帧图像IMG2，用IMG2更新背景图像数据，计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；
判断所述G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于则触发遗失物报警动作。
进一步的，所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；
在标记前景物为遗失物并经过设定的时间后，获取下一帧图像IMG2，计算IMG2在所述前景轮廓掩模区域的梯度值G_IMG2；
判断所述G_IMG2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于则触发遗失物报警动作。
进一步的，所述“通过G_B1和G_IMG1判断前景区域中的物体是否为前景物”包括步骤：
判断G_IMG1-G_B1的差值是否大于第三预设值，是则判断前景区域中的物体为前景物，标记前景物为遗留物，否则判断当前前景区域无前景物。
进一步的，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤，
获取IMG1之后的图像帧IMG2，将所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据；
计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；
判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则继续获取之后的图像帧；将获得的图像帧IMGx输入到所述背景模型中更新背景图像数据，并计算背景图像数据在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间，若G_Bx-G_B1的差均大于第四预设值，则触发遗留物报警动作。
进一步的，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤：
获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；
在标记前景物为遗留物并经过设定的时间后，获取下一帧图像IMG2，用IMG2更新背景图像数据，计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；
判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则触发遗留物报警动作。
进一步的，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤：
获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；
在标记前景物为遗留物后并经过设定的时间后，获取下一帧图像IMG2，计算IMG2在所述前景轮廓掩模区域的梯度值G_IMG2；
判断所述G_IMG2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则触发遗留物报警动作。
进一步的，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤：
获取IMG1之后的图像帧IMG2，将所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据；
计算图像帧IMG2在所述前景轮廓掩模区域的梯度值G_IMG2；
判断所述G_IMG2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗失物，若大于或等于则继续获取之后的图像帧；获取图像帧IMGx，并计算图像帧IMGx在前景轮廓掩模区域的梯度值G_IMGx，直到经过设定的时间T，若T时间内G_IMGx-G_B1的差均小于则取消标记前景物为遗留物，否则触发遗留物报警动作。
发明人还提供一种前景检测设备，包括前景区域检测模块、前景轮廓模块、梯度计算模块、前景物检测控制模块；
所述前景区域检测模块用于获取一帧图像IMG1，将所述图像IMG1输入到背景模型中计算，更新背景图像数据，并标记前景区域；
所述前景轮廓模块用于判断若所述图像IMG1中不存在被标记为前景区域的区域，则继续获取下一帧图像，并基于获取到的下一帧图像更新背景图像数据和标记前景区域，若图像IMG1中存在被标记为前景区域的区域，则根据所述前景区域标记前景轮廓，根据所述前景轮廓计算前景轮廓掩模区域，所述前景轮廓掩模区域为环形区域；
所述梯度计算模块用于计算所述背景图像数据在所述前景轮廓掩模区域的梯度值G_B1，和所述图像IMG1在所述前景轮廓掩模区域的梯度值G_IMG1；
所述前景物检测控制模块用于通过G_B1和G_IMG1判断前景区域中的物体是否为前景物；还包括前景轮廓掩模区域获得模块，其用于获得前景轮廓掩模区域，所述前景轮廓掩模区域由膨胀轮廓和腐蚀轮廓之间的区域构成；所述膨胀轮廓根据前景轮廓和膨胀公式计算得到；所述腐蚀轮廓根据前景轮廓和腐蚀公式计算得到；
所述前景物检测控制模块具体用于判断G_IMG1-G_B1的差值是否小于第一预设值，若小于则判断前景区域中的物体为前景物，标记前景物为遗失物，否则判断当前前景区域无前景物体；
所述前景物检测控制模块用于获取IMG1之后的图像帧IMG2，将所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据；计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；判断所述G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于则继续获取之后的图像帧IMGx；将获得的图像帧IMGx输入到所述背景模型中更新背景图像数据，并计算背景图像数据在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间T，若在T时间内G_Bx-G_B1的差均小于第二预设值，则触发遗失物报警动作。
进一步的，所述前景物检测控制模块用于获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；在标记前景物为遗失物并经过设定的时间T后，获取下一帧图像IMG2，用IMG2更新背景图像数据，计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；判断所述G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于则触发遗失物报警动作。
进一步的，所述前景物检测控制模块用判断G_IMG1-G_B1的差值是否大于第三预设值，是则判断前景区域中的物体为前景物，标记前景物为遗留物，否则判断当前前景区域无前景物。
进一步的，所述前景物检测控制模块用于获取IMG1之后的图像帧IMG2，将所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据；计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则继续获取之后的图像帧；将获得的图像帧IMGx输入到所述背景模型中更新背景图像数据，并计算背景图像数据在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间T，若在T时间内G_Bx-G_B1的差都大于第四预设值，则触发遗留物报警动作。
进一步的，所述前景物检测控制模块用于获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；在标记前景物为遗留物后并经过设定的时间T后，获取下一帧图像IMG2，用IMG2更新背景图像数据，计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则触发遗留物报警动作。
此外，附加方面可包括一种用于实现本文中描述一种前景物体检测方法的第一代码集。在此方面的进一步方面可包括：包括执行的至少一个处理器；包括计算机可读介质的计算机程序产品，该计算机可读介质包括能由计算机执行以检测和响应前景物体的指令；或包括用于检测和响应前景物体的装置或组件的设备。为能达成前述及相关目的，这一个或更多个方面包括在下文中充分描述并在所附权利要求中特别指出的特征。以下描述和附图详细阐述了这一个或更多个方面的某些说明性特征。但是，这些特征仅仅是指示了可采用各种方面的原理的各种方式中的若干种，并且本描述旨在涵盖所有此类方面及其等效方面。
区别于现有技术，本方法根据在前景轮廓掩模区域的梯度值的变化，以达到检测前景物体的目的。相比单背景高斯模型中运动的物体静止后容易被识别为背景，而静止较长时间后又发生运动时会被识别为另一物体，本方法提高了前景物体的识别效率和识别的一致性。又因为在前景物体跟踪识别过程中，只需要额外计算跟踪前景轮廓掩模区域的梯度变化，相比双背景模型的前景物体识别需要以不同的频率或周期维护两个不同的背景图层数据，本方法显著的降低了数据的计算规模。并且本方法通过较少的计算就能检测出前景物体，不需通过计算多个加权的背景图层而检测出前景物体(通常加权背景在前景物体发生运动的开始时刻，加权背景不会发生较大的变化)，减少前景物体检测的延时。
附图说明
以下将结合附图来描述所公开的方面，提供附图是为了说明而非限定所公开的方面，附图中相似的标号标示相似要素，并且在其中：
图1为具体实施方式所述前景物体检测方法流程图；
图2为具体实施方式所述前景区域再检测方法流程图；
图3为具体实施方式所述遗失物检测方法流程图；
图4为具体实施方式所述遗失物再检测方法流程图；
图5为具体实施方式所述遗留物检测方法流程图；
图6为具体实施方式所述遗留物再检测方法流程图；
图7为参考时间轴；
图8为t1时刻输入的图像IMG1的示例；
图9为t1时刻模型中背景图像数据的示例；
图10为t1时刻模型识别出的前景区域示例；
图11为具体实施方式所述的前景区域轮廓的示例；
图12为具体实施方式所述的前景轮廓掩模区域的示例；
图13为具体实施方式所述的前景轮廓掩模区域结合t1时刻模型中背景图像数据的示例；
图14为具体实施方式所述的前景轮廓掩模区域结合t1时刻的输入的图像IMG1示例；
图15为具体实施方式所述前景物体静置一段时间后的t2时刻，前景轮廓掩模区域结合t2时刻模型中背景图像数据的示例；
图16为另一具体实施方式t1时刻输入的图像IMG1的示例；
图17为另一具体实施方式t1时刻模型中背景图像数据的示例；
图18为另一具体实施方式t1时刻模型识别出的前景区域示例；
图19为另一具体实施方式所述的前景轮廓掩模区域结合t1时刻模型中背景图像数据的示例；
图20为另一具体实施方式所述的前景轮廓掩模区域结合t1时刻的输入的图像IMG1示例；
图21为另一具体实施方式所述前景物体静置一段时间后的t2时刻，前景轮廓掩模区域结合t2时刻模型中背景图像数据的示例；
图22、为另一具体实施方式所述设备模块图；
图23、为前景轮廓掩模区域示意图。
附图标记：
20、设备；
201、前景区域检测模块；
203、前景轮廓模块；
205、梯度计算模块；
207、前景检测控制模块；
301、腐蚀轮廓；
302、前景轮廓；
303、膨胀轮廓。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。在以下描述中，出于解释目的阐述了众多的具体细节以提供对一个或更多个方面的透彻理解。但是显而易见的是，没有这些具体细节也可实践此类方面。
本发明中所述的图像幀序列，主要指图像帧按照时间顺序排列成的序列，例如常见的视频监控录制的视频画面构成的序列。图像帧序列即可以使视频文件，也可以是视频流。需要说明的是，图像帧有时也被称作是图像。
发明人提出了一种计算物体轮廓掩模，再通过计算图像帧在物体轮廓掩模区域的梯度，进而识别前景物体以及判断出前景物体的运动状态的方法。可以用于搜寻追踪和寻找发生长时间相对静止物件。
请参阅图1，所述的一种识别前景物体的方法步骤包括：
S101对输入的图像序列进行建模处理，得到背景图像数据；
S102获取下一帧图像IMG1，将所述图像IMG1输入到上述模型中计算，用于更新背景图像数据和标记前景区域；
S103若所述图像IMG1中没有区域被标注为前景区域，则返回步骤S102；
若有，则S104根据所述前景区域标记前景轮廓，根据所述前景轮廓计算前景轮廓掩模区域；
S105计算所述背景图像数据在所述前景轮廓掩模区域的梯度值G_B1，和计算所述图像IMG1在所述前景轮廓掩模区域的梯度值G_IMG1；
S106判断G_B1和G_IMG1是否达到设定的确定前景物体的触发条件，若达到则触发确定为前景物。
优选的G_B1对应输入图像IMG1后的模型中的背景图像数据在所述前景轮廓掩模区域的梯度值，在另一些实施例中也可以是对应输入IMG1前的背景图像数据在所述前景轮廓掩模区域的梯度值。优选的，G_IMG1可以是对应图像IMG1在所述前景轮廓掩模区域的梯度值，在另一些实施例中也可以是对应输入IMG1后背景图像数据在所述前景轮廓掩模区域的梯度值。
上述方法步骤中，步骤S101～S103主要作用为通过建模识别出输入的图像序列中背景图像数据和前景区域。所述的建模为建立背景识别模型，该模型用于识别出背景和前景，可以是基于运动物体的前景检测建立的模型，也可以是基于运动物体和色彩检测建立的模型。其一般根据输入的图像更新模型中的背景图像数据和前景区域。在不同的模型中，所述背景图像数据一般是不同的。例如高斯背景模型中，所述背景图像数据为带权值的背景图像数据。在一些实施例中背景图像数据中的权值是通过物品在图像中的透明度表示，即越透明度的物体，权值越小，静止的背景物体不透明。优选的所述模型为高斯背景模型。所述的高斯背景模型可以是基于单背景的模型，也可以是基于双背景的模型，也可以说混合其他方法的模型，例如颜色或图像分割等。图像帧序列输入到高斯背景模型中，根据输入的图像帧产生加权的背景图像数据。在加权的背景图像数据中，权值越大的区域，其为背景的可能性越大；优选的高斯背景模型背景图像数据可以通过下述方法产生。
其中，(x,y)为图像像素坐标，BG(x,y)表示背景图像数据中像素坐标为(x，y)的点的像素值。n为当前有效的背景模型个数，GMM_weight和GMM_mean为对应的模型权重和均值，即GMM_weightn即表示第n个模型的权重，GMM_meann(x，y)表示(x，y)像素点在1～n个模型中的均值。
通过建模识别出背景图像数据和前景区域，请参考图7～15，图7表示输入图像帧序列的时间轴。在t1时刻，输入下一帧IMG1到模型中，IMG1如图8所示，图8中框出的区域为前景物所在区域。此时模型中的背景图像数据表示为图9，前景区域表示为图10；图10中的白色和灰色区域表示前景物体出现的区域，即前景区域，在另一些实施例中，因为采用模型或计算方法的不同，得到的前景区域可能是不同的，例如在一些简单的运动物体前景检测中，前景区域可能被表示为一个矩形区域。优选的，所述前景轮廓为白色和灰色区域并集的轮廓。在通常情况下该轮廓圈定前景物体和其阴影所在区域。必须说明的是，根据实际处理需要，本发明中所述的下一帧可以是在视频时序中等间隔的抽样组成的帧序列中的下一帧。即例如原来视频是等时录制的，视频中的帧按其出现的时间顺序编号为1，2，3，4，5，6，7，8，9，10……,间隔取为3，则选取1，4，7，11……,即帧4的下一帧是帧7，帧7的下一帧是帧11。在另一些实施例中也可以是视频时序等间隔分段之后，在单位段之中的随机位置的图像帧。例如，原来的视频帧序列按其出现的时间顺序编号为1，2，3，4，5，6……，间隔取为3，则分段为1～3，4～6，7～11……，1～3中选一帧作为第一帧，4～6帧中选一帧作为下一帧。
标记所述并集轮廓为前景轮廓，参考图11，标记的轮廓为轮廓A所示。根据得到的前景轮廓计算前景轮廓掩模区域，前景轮廓掩模区域也被称为前景轮廓掩模。在一些实施例中，如图12所示，在所示实施例中，前景轮廓掩模为环形区域(如图中轮廓D和轮廓E之间的区域)。通过前景轮廓计算出前景轮廓掩模的方法，在不同的实施例中可以是不同的，通过不同方法产生的前景轮廓掩模可能是有差别的。优选的所述前景轮廓掩模可以通过下述方法产生：
FG_mask＝dilate(FG)&(～erode(FG))……(式2)
其中，FG为二值前景，表示前景轮廓，dilate表示形态学膨胀，erode表示形态学腐蚀，～表示二值取反，&表示二值求与，FG_mask表示前景前景轮廓掩模区域。请参考图12，图中轮廓D是通过前景轮廓根据膨胀算子计算得到的，图中轮廓是E通过前景轮廓根据腐蚀算子计算得到的。轮廓掩模区域为轮廓D与轮廓E之间的区域。
膨胀和腐蚀是对形态学上的操作，是形态学处理的基础，更多关于腐蚀算子、腐蚀计算或膨胀计算的介绍请参考由电子工业出版社，冈萨雷斯著，阮秋琦，阮宇智等译的《数字图像处理》的第九章内容。请参考图23，前景轮廓302经过膨胀计算公式计算后得到膨胀轮廓303；前景轮廓302经过腐蚀计算公式计算后得到腐蚀轮廓301；膨胀轮廓303和腐蚀轮廓301之间的区域即前景轮廓掩模区域。更多关于腐蚀算子的介绍请参考冈萨雷斯所著的《数字图像处理》的第九章内容。
前景轮廓掩模区域包含前景物体的边界，在前景物体出现后，该区域的图像元素相对出现之前复杂，在前景轮廓掩模区域内计算图像的梯度值，前景物体出现前的梯度值小于该物体出现后的梯度值；或前景物体消失前的梯度值大于该物体消失后的梯度值。
请参考图13～图15所示，图13为背景图像数据结合前景轮廓掩模区域的视图，图14为IMG1结合前景轮廓掩模区域的视图，图15为前景物静置一段时间后的背景图像数据结合前景轮廓掩模区域的视图。
图像梯度可以把图像看成二维离散函数，图像梯度其实就是这个二维离散函数的求导。图13～图15中根据在前景轮廓掩模区域的梯度值的变化，能达到检测前景物体的目的。由于不同物体的背景掩模区域，以及背景掩模区域内的梯度值有很大的概率是不同的，因而可以通过本方法提高不同物体的识别效率，和相同物体在时间顺序上识别的一致性。
相比现有技术中单背景高斯模型中运动的物体静止后容易被识别为背景，而静止较长时间后又发生运动时会被识别为另一物体，本方法提高了前景物体的识别效率和识别的一致性。又因为在前景物体跟踪识别过程中，只需要额外计算跟踪前景轮廓掩模区域的梯度变化，相比双背景模型的前景物体识别需要以不同的频率或周期维护两个不同的背景图层数据，本方法显著的降低了数据的计算规模。并且本方法通过较少的计算就能检测出前景物体，不需通过计算多个加权的背景图层而检测出前景物体(通常加权背景在前景物体发生运动的开始时刻，加权背景不会发生较大的变化)，减少前景物体检测的延时。
在另一些实施例中，为了进一步提高前景物体的识别精度，在上述识别前景区域的基础上，还计算前景区域在设定时间内的位移，并设定位移阀值。在设定时间内，若前景识别区域的位移超过设定阀值，则判断该前景区域的物体处于运动状态，放弃标记该前景区域的轮廓。参考图2。必须说明的是，在不同实施例中为了检测不同特征的前景物体，其设定的位移阀值和设定的时间是不同的；例如在追踪超市门口时而运动时而静止的购物车时，其设定的时间可以是15分钟以上，而在追踪道路上的违规停车则可以设置更短的时间。
在另一些实施例中，所述“S106判断G_B1和G_IMG1是否达到设定的确定前景物体的触发条件”可以为判断G_IMG1减G_B1的差值是否小于第一预设值。在另一些实施例中，所述“S106判断G_B1和G_IMG1是否达到设定的确定前景物体的触发条件”可以为判断G_IMG1减G_B1的差值是否大于第一预设值。根据不同的实施例，第一预设值可以是一个带参数的表达式，例如x*G_B1，则判断条件为G_IMG1-G_B1>x*G_B1；其中x的取值可以是1或0，例如x为0时，则判断条件为G_IMG1>G_B1，当例如x为1时，则判断条件为G_IMG1>0。
在另一些实施例中，所述前景物体检测方法还可以应用于遗失物体检测中。即当判断G_IMG1减G_B1的差值是小于第一预设值后，判断为识别出前景物，并标识前景区域内的物体为前景物体，并标记前景物体为遗失物，在另一些实施例中还包括步骤S201触发遗失物预警(遗失物预警也被称为第一动作)。遗失物预警可以是通过触发预警装置，例如LED、蜂鸣器、电脑等，即通过LED灯闪烁，蜂鸣器响一声，控制中心的电脑画面中出现一个提示框等方式预警。
请参考图7和图16～图21，假设t1时刻物体被拿走，此时t1对应的图片IMG1，相比IMG1之前的图片，IMG1中物体被拿走，留下背景，IMG1如图16所示。为了便于理解，图16中用线宽标识了被拿走的物体的位置。在t1时刻输入图片IMG1，此时模型中的背景图像(即图像BG1)如图17所示，此时模型中检测出的前景区域如图18所示。在t1时刻背景图像数据(即图像BG1)结合前景轮廓掩模区域的视图如图19所示，图像IMG1结合前景轮廓掩模区域的视图如图20所示。前景物体遗失一段时间后的t2时刻，背景图像数据(即图像BG2，)结合前景轮廓掩模区域的视如图21所示。可以理解的是背景图像是在模型中是不断更新，对于不同的t2时刻，背景图像是不同的，即BG2是不同。
为了进一步提高遗失物的检测的准确性，在标记前景物体为遗失物时，还启动一个定时器，定时器根据不同遗失物体和场所设定不同的超时阀值。从标记前景物体为遗失物起，再经过设定的时间阀值后，若检测到遗失物体已回归，则取消标记的遗失物。在另一些实施例中，若在标记前景物体为遗失物之后还触发遗失物预警；在检测到遗失物体已回归后，取消遗失物预警，或还发出撤回遗失物预警的动作。
优选的，参考图3，检测遗失物已回归的方法可以是：在触发遗失物预警后并经过设定的时间后，
S211继续获取下一帧图像IMG2并计算该图像IMG2在所述前景轮廓掩模区域的梯度值G_IMG2；
S212判断所述G_IMG2减G_B1是否小于第二预设值，若大于则S222取消遗失物预警，否则S221触发遗失物警报(遗失物警报也称作第二动作)。
可以理解的是,也可以用IMG2更新背景图像模型，计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；并判断所述G_B2减G_B1是否小于第二预设值，若大于则取消遗失物预警，否则触发遗失物警报。
优选的，所述第二预设值可以是0，即判断G_IMG2<G_B1时，触发遗失物警报。
可以理解的是，参考图4，检测遗失物已回归的方法也可以是在触发遗失物预警后并经过设定的时间T内，不断计算下一帧图像IMGx在所述前景轮廓掩模区域的梯度值G_IMGx；判断G_IMGx-G_B1是否小于第二预设值，在设定的时间T内，若G_IMGx-G_B1大于或等于第二预设值则取消遗失物预警，否则在经过所述设定的时间T后，触发遗失物报警。可以理解的是x的取值是2～n,即G_IMGx可以是G_IMG2,G_IMG3,G_IMG4等，但是在本方法中，x的取值是递增的。
在一些实施例中，在标记前景物为遗失物后，还获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；
检测遗失物已回归的方法也可以是在触发遗失物预警后并经过设定的时间内，，不断获取下一帧图像IMGx，将获得的图像帧IMGx输入到所述背景模型中更新背景图像数据，并计算背景图像数据在前景轮廓掩模区域的梯度值G_IMGx；在设定的时间T内，判断所述G_IMGx-G_B1的值是否大于第二预设值，若大于则取消标记前景物为遗失物，否则在经过所述设定的时间T后，触发第二动作。
必须说明的是在本发明的所述方法中，一直将图像帧输入所述背景模型中计算和更新背景图像数据，在更新背景图像数据的过程中，若识别出前景区域，则通过上述步骤确定前景物是遗失物，以及进一步确认。
第二动作可以是触发遗失物警报装置。
在另一些实施例中，参见图5，所述前景物体检测方法还可以应用于遗留物体检测中。即当判断G_IMG1减G_B1的差值是大于第三预设值后，表示前景区域内的物体为前景物体，并标记前物体为遗留物，在另一些实施例中，还包括步骤S410触发遗留物预警(遗留物预警也被称作第三动作)。
参见图5，在标记前物体为遗留物时，还可以启动一个定时器，定时器根据不同遗留物体和场所设定不同的超时阀值。从标记前物体为遗留物时起，再经过设定的时间阀值后，若检测到遗留物体已被取走，则取消标记的遗留物，在另一些实施例中，若在标记遗留物之后还触发了遗留物预警，则取消遗留物预警或发出测绘遗留物预警的动作。
优选的，检测遗留物已被取走的方法可以是：在触发遗留物预警后并经过设定的时间后，
S411继续获取下一帧图像IMG2并计算该图像IMG2在所述前景轮廓掩模区域的梯度值G_IMG2；
S412判断所述G_IMG2减G_B1是否小于第四预设值，若小于则S430取消遗留物预警，否则S420触发遗留物警报(遗留物警报也被称作第四动作)。
可以理解的是，也可以不断更新背景图像模型，并在触发遗留物预警后并经过设定的时间后，获取图像IMG2，通过IMG2更新背景图像模型，计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；并通过判断所述G_B2减G_B1是否小于第四预设值，若小于则取消遗留物预警，否则触发遗留物警报。
可以理解的是，参见图6，检测遗留物已被取走的方法也可以是在触发遗失物预警后并经过设定的时间内，不断计算该下一帧图像在所述前景轮廓掩模区域的梯度值G_IMGx；判断G_IMGx-G_B1是否小于第四预设值，若G_IMGx-G_B1小于第四预设值则取消遗留物预警，否则在经过所述设定的时间后，触发遗留物报警。
可以理解的是，在一种实施例中，可以通过下述步骤方法进一步确认遗留物，这些步骤包括，
获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；在标记前景物为遗失物并经过设定的时间后，获取下一帧图像IMG2，用IMG2更新背景图像数据，计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，若G_B2-G_B1的差大于第四预设值，则触发第四动作。
在一种实施例中，可以通过下述步骤方法进一步确认遗留物：
这些步骤包括，获取IMG1之后的图像帧IMG2，将所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据；计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则继续获取之后的图像帧；将获得的图像帧IMGx输入到所述背景模型中更新背景图像数据，并计算背景图像数据在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间，若G_Bx-G_B1的差都不大于第四预设值，则触发第四动作。
为了便于描述也可以称第一动作为遗失物预警动作，第二动作为遗失物报警动作，第三动作为遗留物预警动作，第四动作为遗留物报警动作。在一些实施例中例如在贵重物品的柜台，在发现柜面上的物体消失时，即当判断G_IMG1-G_B1小于第一预设值，可以触发遗失物预警，第一动作可以是提示灯闪烁等，也可以是相关人员知道的提示信号，当通过预设的时间后，例如2分钟后，通过比较G_IMGx与G_B1或通过比较G_Bx与G_B1(比较过程参考前述提到的方法)确定柜面的物体消失，则触发第二警报动作，第二警报动作可以是蜂鸣器鸣叫等。在一些实施例中第一动作和第二动作可以是同一个报警设备完成的，例如，触发第一动作时，报警等慢速闪烁，当触发第二动作时，报警灯采用比上述慢速闪烁更快的速度闪烁。可以理解的是，第三动作和第四动作类似第一动作和第二动作。可以理解的是报警装置和预警装置可以是，例如LED、蜂鸣器、电脑等，即通过LED灯闪烁，蜂鸣器响一声，控制中心的电脑画面中出现一个提示框等方式预警或报警。
发明人还提供一种前景检测设备，用于实现上述方法。请参考图22，所述设备20包括前景区域检测模块201、前景轮廓模块203、梯度计算模块205、前景检测控制模块207；
所述前景区域检测模块201用于对输入的图像序列进行建模处理，得到背景图像数据和前景区域。
所述前景轮廓模块203用于根据得到的前景区域标记前景轮廓，再根据所述前景轮廓计算前景轮廓掩模区域；
所述梯度计算模块205用于计算给定图像在给定区域的梯度值；
所述前景检测控制模块207用于判断前景轮廓掩模区域的梯度值的数值变化，若数值变化达到设定触发条件，则触发判断前景区域的物体为前景物体。
需要说明的是，本发明并不限于使用现有的背景建模方法，还可以使用将来的背景建模方法计算的到背景图像数据和前景区域。
在另一些优选的实施例中，所述前景区域检测模块201用于将输入的图像序列输入到高斯背景模型计算，得到背景图像数据和前景区域。
在另一些实施例中，所述梯度计算模块用于计算背景图像数据在所述前景轮廓掩模区域的梯度值G_B1，和计算所述图像IMG1在所述前景轮廓掩模区域的梯度值G_IMG1；
所述所述前景检测控制模块用于判断G_IMG1和G_B1数值的差值，若差值达到第一设置触发条件时，触发遗失物预警。
在另一些实施例中，所述前景检测控制模块用于获取IMG1之后的图像帧IMG2，将所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据；计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；判断所述G_B2-G_B1的值是否大于第二预设值，若大于则取消标记前景物为遗失物，否则继续获取之后的图像帧；将获得的图像帧IMGx输入到所述背景模型中更新背景图像数据，并计算背景图像数据在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间，若G_Bx-G_B1的差都小于第二预设值，则触发第二动作。
在另一些实施例中，所述第二动作为触发报警装置。
在另一些实施例中，所述前景物检测控制模块用于获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；在标记前景物为遗失物并经过设定的时间T后，获取下一帧图像IMG2，用IMG2更新背景图像数据，计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；判断所述G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若G_B2-G_B1的差都小于第二预设值，则触发第二动作。在另一些实施例中，所述前景检测控制模块用于获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；在标记前景物为遗失物后并经过设定的时间后，获取下一帧图像IMG2，用IMG2更新背景图像数据，计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；判断所述G_B2-G_B1的值是否大于第二预设值，若大于则取消标记前景物为遗失物，否则则触发第二动作。
在另一些实施例中，所述前景检测控制模块用于获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；在标记前景物为遗失物后并经过设定的时间后，获取下一帧图像IMG2，计算IMG2在所述前景轮廓掩模区域的梯度值G_IMG2；判断所述G_IMG2-G_B1的值是否大于第二预设值，若大于则取消标记前景物为遗失物，否则则触发第二动作。
在另一些实施例中，第二动作为触发报警装置。
在另一些实施例中，所述前景检测控制模块用判断G_IMG1-G_B1的差值是否大于第三预设值，是则判断前景区域中的物体为前景物，标记前景物为遗留物，否则判断当前前景区域无前景物。
在另一些实施例中，所述前景检测控制模块用判断G_IMG1-G_B1的差值大于第三预设值时，还触发第三动作。
在另一些实施例中，所述第三动作为触发预警装置。
在另一些实施例中，所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；在标记前景物为遗失物并经过设定的时间后，获取下一帧图像IMG2，计算IMG2在所述前景轮廓掩模区域的梯度值G_IMG2；判断所述G_IMG2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于则触发遗失物报警动作。
在另一些实施例中，所述第四动作为触发报警装置。
在另一些实施例中，所述前景检测控制模块用于获取获取IMG1之后的图像帧IMG2，将所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据；计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；判断所述G_IMG2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则继续获取之后的图像帧；将获得的图像帧IMGx，并计算图像帧IMGx在前景轮廓掩模区域的梯度值G_IMGx，直到经过设定的时间，若G_IMGx-G_B1的差都不大于第四预设值，则触发第四动作。
在另一些实施例中，所述前景检测控制模块用于获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；在标记前景物为遗留物后并经过设定的时间后，获取下一帧图像IMG2，用IMG2更新背景图像数据，计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；判断所述G_B2-G_B1的值是小于与第四预设值，若小于则取消标记前景物为遗留物，否则则触发第四动作。
在另一些实施例中，其特征在于，所述第四动作为触发报警装置。
在另一些实施例中，所述前景检测控制模块用于获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；在标记前景物为遗留物后并经过设定的时间后，获取下一帧图像IMG2，计算IMG2在所述前景轮廓掩模区域的梯度值G_IMG2；判断所述G_IMG2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则则触发第四动作。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (14)

1.一种前景物体检测方法，其特征在于，包括步骤：
获取一帧图像IMG1，将所述图像IMG1输入到背景模型中计算，更新背景图像数据，并标记前景区域；
若所述图像IMG1中不存在被标记为前景区域的区域，则继续获取下一帧图像，并基于获取到的下一帧图像更新背景图像数据和标记前景区域，若图像IMG1中存在被标记为前景区域的区域，则根据所述前景区域标记前景轮廓，根据所述前景轮廓计算前景轮廓掩模区域，所述前景轮廓掩模区域为环形区域；
计算所述背景图像数据在所述前景轮廓掩模区域的梯度值G_B1，和所述图像IMG1在所述前景轮廓掩模区域的梯度值G_IMG1；
通过G_B1和G_IMG1判断前景区域中的物体是否为前景物；
所述前景轮廓掩模区域由膨胀轮廓和腐蚀轮廓之间的区域构成；所述膨胀轮廓根据前景轮廓和膨胀公式计算得到；所述腐蚀轮廓根据前景轮廓和腐蚀公式计算得到；
所述背景模型为高斯背景模型；
所述通过G_B1和G_IMG1判断前景区域中的物体是否为前景物包括步骤：
判断G_IMG1-G_B1的值是否小于第一预设值，若小于则判断前景区域中的物体为前景物，并标记前景物为遗失物,否则判断当前前景区域无前景物体；
所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
获取IMG1之后的图像帧IMG2，将所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据；
计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；
判断所述G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于则继续获取之后的图像帧IMGx；将获得的图像帧IMGx输入到所述背景模型中更新背景图像数据，并计算背景图像数据在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间T，若T时间内G_Bx-G_B1的差均小于第二预设值，则触发遗失物报警动作。
2.根据权利要求1所述的一种前景物体检测方法，其特征在于，所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
获取IMG1之后的图像帧IMG2，将所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据；计算图像帧IMG2在所述前景轮廓掩模区域的梯度值G_IMG2；
判断所述G_IMG2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于则继续获取之后的图像帧；将获得的图像帧IMGx，并计算图像帧IMGx在前景轮廓掩模区域的梯度值G_IMGx，直到经过设定的时间T，若T时间内G_IMGx-G_B1的差均小于第二预设值，则触发遗失物报警动作。
3.根据权利要求1所述的一种前景物体检测方法，其特征在于，所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；
在标记前景物为遗失物并经过设定的时间后，获取下一帧图像IMG2，用IMG2更新背景图像数据，计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；
判断所述G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于则触发遗失物报警动作。
4.根据权利要求3所述的一种前景物体检测方法，其特征在于，所述前景物体检测方法在标记前景物为遗失物后，还包括步骤：
获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；
在标记前景物为遗失物并经过设定的时间后，获取下一帧图像IMG2，计算IMG2在所述前景轮廓掩模区域的梯度值G_IMG2；
判断所述G_IMG2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于则触发遗失物报警动作。
5.根据权利要求1所述的一种前景物体检测方法，其特征在于，所述“通过G_B1和G_IMG1判断前景区域中的物体是否为前景物”包括步骤：
判断G_IMG1-G_B1的差值是否大于第三预设值，是则判断前景区域中的物体为前景物，标记前景物为遗留物，否则判断当前前景区域无前景物。
6.根据权利要求5所述的一种前景物体检测方法，其特征在于，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤，
获取IMG1之后的图像帧IMG2，将所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据；
计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；
判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则继续获取之后的图像帧；将获得的图像帧IMGx输入到所述背景模型中更新背景图像数据，并计算背景图像数据在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间，若G_Bx-G_B1的差均大于第四预设值，则触发遗留物报警动作。
7.根据权利要求5所述的一种前景物体检测方法，其特征在于，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤：
获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；
在标记前景物为遗留物并经过设定的时间后，获取下一帧图像IMG2，用IMG2更新背景图像数据，计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；
判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则触发遗留物报警动作。
8.根据权利要求5所述的一种前景物体检测方法，其特征在于，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤：
获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；
在标记前景物为遗留物后并经过设定的时间后，获取下一帧图像IMG2，计算IMG2在所述前景轮廓掩模区域的梯度值G_IMG2；
判断所述G_IMG2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则触发遗留物报警动作。
9.根据权利要求8所述的一种前景物体检测方法，其特征在于，所述前景物体检测方法在标记前景物为遗留物后，还包括步骤：
获取IMG1之后的图像帧IMG2，将所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据；
计算图像帧IMG2在所述前景轮廓掩模区域的梯度值G_IMG2；
判断所述G_IMG2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗失物，若大于或等于则继续获取之后的图像帧；获取图像帧IMGx，并计算图像帧IMGx在前景轮廓掩模区域的梯度值G_IMGx，直到经过设定的时间T，若T时间内G_IMGx-G_B1的差均小于则取消标记前景物为遗留物，否则触发遗留物报警动作。
10.一种前景检测设备，其特征在于，包括前景区域检测模块、前景轮廓模块、梯度计算模块、前景物检测控制模块；
所述前景区域检测模块用于获取一帧图像IMG1，将所述图像IMG1输入到背景模型中计算，更新背景图像数据，并标记前景区域；
所述前景轮廓模块用于判断若所述图像IMG1中不存在被标记为前景区域的区域，则继续获取下一帧图像，并基于获取到的下一帧图像更新背景图像数据和标记前景区域，若图像IMG1中存在被标记为前景区域的区域，则根据所述前景区域标记前景轮廓，根据所述前景轮廓计算前景轮廓掩模区域，所述前景轮廓掩模区域为环形区域；
所述梯度计算模块用于计算所述背景图像数据在所述前景轮廓掩模区域的梯度值G_B1，和所述图像IMG1在所述前景轮廓掩模区域的梯度值G_IMG1；
所述前景物检测控制模块用于通过G_B1和G_IMG1判断前景区域中的物体是否为前景物；还包括前景轮廓掩模区域获得模块，其用于获得前景轮廓掩模区域，所述前景轮廓掩模区域由膨胀轮廓和腐蚀轮廓之间的区域构成；所述膨胀轮廓根据前景轮廓和膨胀公式计算得到；所述腐蚀轮廓根据前景轮廓和腐蚀公式计算得到；
所述前景物检测控制模块具体用于判断G_IMG1-G_B1的差值是否小于第一预设值，若小于则判断前景区域中的物体为前景物，标记前景物为遗失物，否则判断当前前景区域无前景物体；
所述前景物检测控制模块用于获取IMG1之后的图像帧IMG2，将所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据；计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；判断所述G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于则继续获取之后的图像帧IMGx；将获得的图像帧IMGx输入到所述背景模型中更新背景图像数据，并计算背景图像数据在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间T，若在T时间内G_Bx-G_B1的差均小于第二预设值，则触发遗失物报警动作。
11.根据权利要求10所述的一种前景检测设备，其特征在于，所述前景物检测控制模块用于获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；在标记前景物为遗失物并经过设定的时间T后，获取下一帧图像IMG2，用IMG2更新背景图像数据，计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；判断所述G_B2-G_B1的值是否小于第二预设值，若大于或等于则取消标记前景物为遗失物，若小于则触发遗失物报警动作。
12.根据权利要求10所述的一种前景检测设备，其特征在于，所述前景物检测控制模块用判断G_IMG1-G_B1的差值是否大于第三预设值，是则判断前景区域中的物体为前景物，标记前景物为遗留物，否则判断当前前景区域无前景物。
13.根据权利要求12所述的一种前景检测设备，其特征在于，所述前景物检测控制模块用于获取IMG1之后的图像帧IMG2，将所述图像帧IMG2输入到所述背景模型中计算出更新后的背景图像数据；计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则继续获取之后的图像帧；将获得的图像帧IMGx输入到所述背景模型中更新背景图像数据，并计算背景图像数据在前景轮廓掩模区域的梯度值G_Bx，直到经过设定的时间T，若在T时间内G_Bx-G_B1的差都大于第四预设值，则触发遗留物报警动作。
14.根据权利要求12所述的一种前景检测设备，其特征在于，所述前景物检测控制模块用于获取IMG1之后的图像帧，将所述图像帧输入到所述背景模型中计算出更新后的背景图像数据；在标记前景物为遗留物后并经过设定的时间T后，获取下一帧图像IMG2，用IMG2更新背景图像数据，计算更新后的背景图像数据在所述前景轮廓掩模区域的梯度值G_B2；判断所述G_B2-G_B1的值是否小于第四预设值，若小于则取消标记前景物为遗留物，否则触发遗留物报警动作。
CN201510982581.8A 2015-12-24 2015-12-24 一种前景物体检测方法和设备 Active CN105488542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510982581.8A CN105488542B (zh) 2015-12-24 2015-12-24 一种前景物体检测方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510982581.8A CN105488542B (zh) 2015-12-24 2015-12-24 一种前景物体检测方法和设备

Publications (2)

Publication Number Publication Date
CN105488542A CN105488542A (zh) 2016-04-13
CN105488542B true CN105488542B (zh) 2019-04-23

Family

ID=55675513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510982581.8A Active CN105488542B (zh) 2015-12-24 2015-12-24 一种前景物体检测方法和设备

Country Status (1)

Country Link
CN (1) CN105488542B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106128023A (zh) * 2016-07-18 2016-11-16 四川君逸数码科技股份有限公司 一种智慧金睛识别异物遗留报警方法和装置
CN108073930A (zh) * 2017-11-17 2018-05-25 维库（厦门）信息技术有限公司 一种基于多个不规则roi的目标检测和跟踪方法
CN108062510B (zh) * 2017-11-17 2022-02-11 维库（厦门）信息技术有限公司 一种多目标跟踪结果实时动态显示方法及计算机设备
CN111832349A (zh) 2019-04-18 2020-10-27 富士通株式会社 遗留物错误检测的识别方法、装置及图像处理设备
CN111091097A (zh) * 2019-12-20 2020-05-01 ***通信集团江苏有限公司 遗留物的识别方法、装置、设备及存储介质
CN115439737B (zh) * 2022-10-13 2023-04-21 哈尔滨市科佳通用机电股份有限公司 一种基于图像修复的铁路棚车车窗故障图像识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509075A (zh) * 2011-10-19 2012-06-20 北京国铁华晨通信信息技术有限公司 一种遗留物检测方法及装置
CN102902960A (zh) * 2012-09-25 2013-01-30 武汉烽火众智数字技术有限责任公司 基于高斯建模与目标轮廓的遗留物检测方法
CN104063878A (zh) * 2013-03-20 2014-09-24 富士通株式会社 运动对象检测装置、运动对象检测方法以及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9082019B2 (en) * 2013-06-14 2015-07-14 National Yunlin University Of Science And Technology Method of establishing adjustable-block background model for detecting real-time image object

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509075A (zh) * 2011-10-19 2012-06-20 北京国铁华晨通信信息技术有限公司 一种遗留物检测方法及装置
CN102902960A (zh) * 2012-09-25 2013-01-30 武汉烽火众智数字技术有限责任公司 基于高斯建模与目标轮廓的遗留物检测方法
CN104063878A (zh) * 2013-03-20 2014-09-24 富士通株式会社 运动对象检测装置、运动对象检测方法以及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An Abandoned/Removed Objects Detection Algorithm and Its Evaluation on PETS Datasets;Paolo Spagnolo.et.al;《Video and Signal Based Surveillance, 2006. AVSS "06. IEEE International Conference on》;20061211;全文 *
基于视频分析的遗留及遗失物检测;高军;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140915(第 09 期);全文 *

Also Published As

Publication number Publication date
CN105488542A (zh) 2016-04-13

Similar Documents

Publication Publication Date Title
CN105488542B (zh) 一种前景物体检测方法和设备
Fuentes et al. People tracking in surveillance applications
CN111062273B (zh) 一种遗留物品追溯检测与报警方法
CN111881853B (zh) 一种超大桥隧中异常行为识别方法和装置
CN110298323B (zh) 基于视频分析的打架检测方法、***、装置
Lian et al. A novel method on moving-objects detection based on background subtraction and three frames differencing
Liu et al. Moving object detection and tracking based on background subtraction
Shyam et al. Abandoned object detection using pixel-based finite state machine and single shot multibox detector
Ng et al. Background subtraction using a pixel-wise adaptive learning rate for object tracking initialization
CN111914670A (zh) 一种遗留物品检测方法、装置、***及存储介质
CN103049748B (zh) 行为监测方法及装置
Lin et al. Left-luggage detection from finite-state-machine analysis in static-camera videos
Mirabi et al. People tracking in outdoor environment using Kalman filter
Verma et al. Analysis of moving object detection and tracking in video surveillance system
Zhou et al. Dynamic background subtraction using spatial-color binary patterns
Yang et al. Combining Gaussian mixture model and HSV model with deep convolution neural network for detecting smoke in videos
CN107832732A (zh) 基于三叉树遍历的车道线检测方法
Agrawal et al. Segmentation of moving objects using numerous background subtraction methods for surveillance applications
Zarka et al. Real-time human motion detection and tracking
Wei et al. Target-tracking based early fire smoke detection in video
Li et al. Moving vehicle detection based on an improved interframe difference and a Gaussian model
Gao et al. Region-based moving shadow detection using watershed algorithm
Li et al. Improved CAMShift object tracking based on Epanechnikov Kernel density estimation and Kalman filter
Zhang et al. Background modeling by exploring multi-scale fusion of texture and intensity in complex scenes
Huang et al. The precise recognition of moving object in complex background

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 350108, No. 2, building 9, 7 hi tech Avenue, Fuzhou Town, Minhou County, Fujian, China

Applicant after: Fujian star net joint information system Co., Ltd.

Address before: 350108, No. 2, building 9, 7 hi tech Avenue, Fuzhou Town, Minhou County, Fujian, China

Applicant before: Fujian Star-Net Security Technology Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant