CN110991370B - 多通道信息融合atm面板遗留物检测方法 - Google Patents

Abstract

本发明公开了一种多通道信息融合ATM面板遗留物检测方法，该方法先获取第一用户在ATM环境下每个时刻的图像；根据图像的信息，结合人头检测器，获取第一用户状态图像；从第一用户状态图像中提取第一用户进入ATM的图像和第一用户离开ATM的图像；根据语义分割方法将第一用户进入ATM的图像和第一用户离开ATM的图像进行分割，获得含有遗留物的前景图；将含有遗留物的前景图与预设背景图进行相似度计算，并根据相似度结果确定第一用户是否有遗留物。采用本发明技术方案能够有效避免因光照变化和相机角度变化而无法准确判断用户状态，有效提高遗留物检测结果的准确度。

Description

多通道信息融合ATM面板遗留物检测方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种多通道信息融合ATM面板遗留物检测方法。

背景技术

在ATM环境下，时常有用户在使用ATM机后，因疏忽大意将贵重物品遗留在ATM内，从而给该用户造成损失，若能够准确判断ATM环境下是否含有遗留物有助于减少用户的因疏忽大意造成的损失。

在现有技术中，遗留物的检测方法首先通过ViBe背景建模方法来判断ATM环境中用户的状态；其次，获取用户进入ATM前的一张图像和用户离开ATM后的一张图像；最后，将两张图像输入给语义分割模块进行遗留物的检测，获得含有遗留物的前景图，以便于根据前景图判断出是否有遗留物。但是，ViBe背景建模方法对光照变化十分敏感，难以准确获取用户进入ATM前的一张图像和用户离开ATM后的一张图像，从而导致遗留物检测结果的准确度低。不仅如此，现有的遗留物的检测方法，受相机角度的影响，当相机旋转到某些角度时，用户在面板中的有效面积小，导致ViBe背景建模方法检测不到用户，从而使得用户的状态无法判断，进一步降低遗留物检测结果的准确度低。

发明内容

本发明实施例提供了一种多通道信息融合ATM面板遗留物检测方法，能够有效避免因光照变化和相机角度变化而无法准确判断用户状态，有效提高遗留物检测结果的准确度。

为了解决上述技术问题，本发明实施例提供了一种多通道信息融合ATM面板遗留物检测方法，包括：

获取第一用户在ATM环境下每个时刻的图像；

根据所述图像的信息，结合人头检测器，通过分别检测每个时刻的当前图像、当前图像的上一帧图像和当前图像之后的N秒内所有图像的状态，获取第一用户状态图像；其中，所述第一用户状态图像包括第一用户预离开ATM的图像、第一用户离开ATM的图像、第一用户进入ATM的图像、第一用户预进入ATM的图像、无人图像和超时图像；

从所述第一用户状态图像中提取第一用户进入ATM的图像和第一用户离开ATM的图像；

根据语义分割方法将所述第一用户进入ATM的图像和第一用户离开ATM的图像进行分割，获得含有遗留物的前景图；

将所述含有遗留物的前景图与预设背景图进行相似度计算，并根据相似度结果确定所述第一用户是否有遗留物。

作为优选方案，所述根据所述相似度的结果确定所述第一用户是否有遗留物，具体为：

当所述相似度的结果大于预设阈值时，则确定所述第一用户有遗留物，输出报警图像并启动报警机制；

当所述相似度小于预设阈值时，则确定所述第一用户未有遗留物，不输出报警图像也不启动报警机制。

作为优选方案，所述第一用户状态图像包括第一用户预离开ATM的图像、第一用户离开ATM的图像、第一用户进入ATM的图像、第一用户预进入ATM的图像、无人图像和超时图像。

作为优选方案，所述根据所述图像的信息，结合人头检测器，通过分别检测每个时刻的当前图像、当前图像的上一帧图像和当前图像之后的N秒内所有图像的状态，获取第一用户状态图像，具体为：

根据所述图像的信息，结合人头检测器，判断每一张所述图像是否为无人状态；

若当前图像为无人状态，且所述当前图像的上一帧图像为有人状态时，则获取所述当前图像之后的N秒内所有第一图像，判断所述第一图像是否均一直保持有人状态，若所述第一图像一直保持有人状态时，将所述当前图像标记为第一用户离开ATM的图像；若所述第一图像未一直保持有人状态时，则将所述当前图像标记为第一用户预离开ATM的图像；

若所述当前图像为无人状态，且所述当前图像的上一帧图像也为无人状态时，则将所述当前图像标记为无人图像；

若所述当前图像为有人状态，且所述当前图像的上一帧图像也为有人状态时，则获取所述当前图像之后的N秒内所有第二图像；判断所述第二图像是否一直保持有人状态，若所述第二图像一直保持有人状态时，则将所述当前图像标记为第一用户进入ATM的图像；若所述第二图像未一直保持有人状态时，则将所述当前图像标记为第一用户预进入ATM的图像；

若所述当前图像为有人状态，且所述当前图像的上一帧图像也为有人状态时，则获取所述当前图像之后的N秒内所有第三图像，仅有当所述第三图像一直保持有人状态时，才将所述当前图像标记为超时图像；

若所述当前图像为有人状态，且所述当前图像的上一帧图像为无人状态时，则将所述当前图像标记为第一用户预进入ATM的图像。

作为优选方案，所述预设背景图包括若干张无人图像。

作为优选方案，所述将所述含有遗留物的前景图与预设背景图进行相似度计算，具体为：

根据亮度、对比度和图像纹理特征分别计算所述含有遗留物的前景图与所述预设背景图的相似度。

作为优选方案，所述计算所述含有遗留物的前景图与所述预设背景图的相似度，具体为：

按照以下公式，计算获得相似度；

SSIM(x,y)＝l(x,y)^α·c(x,y)^β·s(x,y)^γ

其中，x，y分别表示含有遗留物的前景图和背景图，SSIM(x,y)表示含有遗留物的前景图和面板背景图的总相似度，l(x,y)为含有遗留物的前景图的亮度和面板背景图的亮度的第一相似度，c(x,y)为含有遗留物的前景图的对比度和面板背景图的对比度的第二相似度，s(x,y)为含有遗留物的前景图的结构和面板背景图的结构的第三相似度，u_x,u_y,σ_x,σ_y和σ_xy分别表示含有遗留物的前景图和背景图的均值、方差以及协方差，c₁,c₂和c₃分别表示常数，α,β,γ表示每个成分所占的比重。

相应地，本发明还提供一种多通道信息融合ATM面板遗留物检测***，包括：

第一图像获取模块，用于获取第一用户在ATM环境下每个时刻的图像；

第二图像获取模块，用于根据所述图像的信息，结合人头检测器，通过分别检测每个时刻的当前图像、当前图像的上一帧图像和当前图像之后的N秒内所有图像的状态，获取第一用户状态图像；其中，所述第一用户状态图像包括第一用户预离开ATM的图像、第一用户离开ATM的图像、第一用户进入ATM的图像、第一用户预进入ATM的图像、无人图像和超时图像；

提取模块，用于从所述第一用户状态图像中提取第一用户进入ATM的图像和第一用户离开ATM的图像；

分割模块，用于根据语义分割方法将所述第一用户进入ATM的图像和第一用户离开ATM的图像进行分割，获得含有遗留物的前景图；

检测模块，用于将所述含有遗留物的前景图与预设背景图进行相似度计算，并根据相似度结果确定所述第一用户是否有遗留物。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的多通道信息融合ATM面板遗留物检测方法，该方法先获取第一用户在ATM环境下每个时刻的图像；根据图像的信息，结合人头检测器，通过分别检测每个时刻的当前图像、当前图像的上一帧图像和当前图像之后的N秒内所有图像的状态，获取第一用户状态图像；从第一用户状态图像中提取第一用户进入ATM的图像和第一用户离开ATM的图像；根据语义分割方法将第一用户进入ATM的图像和第一用户离开ATM的图像进行分割，获得含有遗留物的前景图；将含有遗留物的前景图与预设背景图进行相似度计算，并根据相似度结果确定第一用户是否有遗留物。相比于现有技术采用ViBe背景建模方法来判断ATM环境中用户的状态，本发明技术方案不用时刻考虑光照变化和相机角度变化对用户状态的判断造成的影响，而是利用人头检测器来判断用户状态，使得获取用户进入ATM的图像和用户离开ATM的图像更为准确，不仅如此，还将含有遗留物的前景图与背景图进行相似度计算，进一步提高遗留物检测结果的准确度。

附图说明

图1是本发明提供的一种多通道信息融合ATM面板遗留物检测方法的第一实施例的流程示意图；

图2是本发明提供的人头检测方法流程图；

图3是本发明提供的一种多通道信息融合ATM面板遗留物检测***的第二实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一实施例：

参见图1，是本发明提供的多通道信息融合ATM面板遗留物检测方法的一种实施例的流程示意图。如图1，该方法包括步骤101至步骤105，各步骤具体如下：

步骤101：获取第一用户在ATM环境下每个时刻的图像。

步骤102：根据图像的信息，结合人头检测器，通过分别检测每个时刻的当前图像、当前图像的上一帧图像和当前图像之后的N秒内所有图像的状态，获取第一用户状态图像；其中，所述第一用户状态图像包括第一用户预离开ATM的图像、第一用户离开ATM的图像、第一用户进入ATM的图像、第一用户预进入ATM的图像、无人图像和超时图像。

在本实施例中，第一用户状态图像包括第一用户预离开ATM的图像、第一用户离开ATM的图像、第一用户进入ATM的图像、第一用户预进入ATM的图像、无人图像和超时图像。

在本实施例中，步骤102具体为：根据图像的信息，结合人头检测器，判断每一张图像是否为无人状态；若当前图像为无人状态，且当前图像的上一帧图像为有人状态时，则获取当前图像之后的3秒内的第一图像集；其中，第一图像集包括若干张第一图像；判断每张第一图像是否均均为有人状态，若每张第一图像均为有人状态时，将当前图像标记为第一用户离开ATM的图像；若第一图像集中出现至少一张第一图像为无人状态时，则将当前图像标记为第一用户预离开ATM的图像；

若当前图像为无人状态，且当前图像的上一帧图像也为无人状态时，则将当前图像标记为无人图像；

若当前图像为有人状态，且当前图像的上一帧图像也为有人状态时，则获取当前图像之后的4秒内的第二图像集；其中第二图像集包括若干张第二图像；判断每张第二图像是否均为有人状态，若每张第二图像均为有人状态时，则将当前图像标记为第一用户进入ATM的图像；若第二图像集中出现至少一张第二图像为无人状态时，则将当前图像标记为第一用户预进入ATM的图像；

若当前图像为有人状态，且当前图像的上一帧图像也为有人状态时，则获取当前图像之后的600秒内的第三图像集，其中，第三图像集包括若干张第三图像；仅有当每张第三图像均为有人状态时，才将当前图像标记为超时图像；

若当前图像为有人状态，且当前图像的上一帧图像为无人状态时，则将当前图像标记为第一用户预进入ATM的图像，具体流程可参见图2。

在本实施例中，利用人头检测器检测每个时刻的图像，并根据检测结果将每个时刻的图像进行分类，从而使得获取用户进入ATM的图像和用户离开ATM的图像更为准确。

步骤103：从第一用户状态图像中提取第一用户进入ATM的图像和第一用户离开ATM的图像。

步骤104：根据语义分割方法将第一用户进入ATM的图像和第一用户离开ATM的图像进行分割，获得含有遗留物的前景图。

在本实施例中，步骤104具体为：将第一用户进入ATM的图像作为前景，将第一用户离开ATM的图像作为背景，并将这两张图片输入到语义分割网络中，即可返回包含有遗留物的前景图。

步骤105：将含有遗留物的前景图与预设背景图进行相似度计算，并根据相似度结果确定第一用户是否有遗留物。

在本实施例中，步骤105具体为：根据亮度、对比度和图像纹理特征分别计算含有遗留物的前景图与预设背景图的相似度。需说明的是，预设背景图为若干张无人图像，本实施例中提取100张无人图像，根据亮度、对比度和图像纹理特征这三个维度，分别将含有遗留物的前景图与每一张无人图像进行相似度计算。

在本实施例中，根据亮度、对比度和图像纹理特征这三个维度进行相似度计算，进一步提高遗留物检测结果的准确度。

在本实施例中，按照以下公式，计算获得相似度；

SSIM(x,y)＝l(x,y)^α·c(x,y)^β·s(x,y)^γ

其中，x，y分别表示含有遗留物的前景图和背景图，SSIM(x,y)表示含有遗留物的前景图和面板背景图的总相似度，l(x,y)为含有遗留物的前景图的亮度和面板背景图的亮度的第一相似度，c(x,y)为含有遗留物的前景图的对比度和面板背景图的对比度的第二相似度，s(x,y)为含有遗留物的前景图的结构和面板背景图的结构的第三相似度，u_x,u_y,σ_x,σ_y和σ_xy分别表示含有遗留物的前景图和背景图的均值、方差以及协方差，c₁,c₂和c₃分别表示常数，α,β,γ表示每个成分所占的比重。

在本实施例中，当相似度的结果大于0.5时，则确定第一用户有遗留物，输出报警图像并启动报警机制；当相似度小于0.5时，则确定第一用户未有遗留物，不输出报警图像也不启动报警机制。

由上可见，本发明实施例提供的多通道信息融合ATM面板遗留物检测方法，该方法先获取第一用户在ATM环境下每个时刻的图像；根据图像的信息，结合人头检测器，通过分别检测每个时刻的当前图像、当前图像的上一帧图像和当前图像之后的N秒内所有图像的状态，获取第一用户状态图像；从第一用户状态图像中提取第一用户进入ATM的图像和第一用户离开ATM的图像；根据语义分割方法将第一用户进入ATM的图像和第一用户离开ATM的图像进行分割，获得含有遗留物的前景图；将含有遗留物的前景图与预设背景图进行相似度计算，并根据相似度结果确定第一用户是否有遗留物。相比于现有技术采用ViBe背景建模方法来判断ATM环境中用户的状态，本发明技术方案不用时刻考虑光照变化和相机角度变化对用户状态的判断造成的影响，而是利用人头检测器来判断用户状态，使得获取用户进入ATM的图像和用户离开ATM的图像更为准确，不仅如此，还将含有遗留物的前景图与背景图进行相似度计算，进一步提高遗留物检测结果的准确度。

第二实施例：

请参见图3，是本发明提供的一种多通道信息融合ATM面板遗留物检测***的第二实施例的结构示意图，该***包括第一图像获取模块201、第二图像获取模块202、提取模块203、分割模块204和检测模块205。

第一图像获取模块201，用于获取第一用户在ATM环境下每个时刻的图像；

第二图像获取模块202，用于根据图像的信息，结合人头检测器，通过分别检测每个时刻的当前图像、当前图像的上一帧图像和当前图像之后的N秒内所有图像的状态，获取第一用户状态图像；其中，所述第一用户状态图像包括第一用户预离开ATM的图像、第一用户离开ATM的图像、第一用户进入ATM的图像、第一用户预进入ATM的图像、无人图像和超时图像；

提取模块203，用于从第一用户状态图像中提取第一用户进入ATM的图像和第一用户离开ATM的图像；

分割模块204，用于根据语义分割方法将第一用户进入ATM的图像和第一用户离开ATM的图像进行分割，获得含有遗留物的前景图；

检测模块205，用于将含有遗留物的前景图与预设背景图进行相似度计算，并根据相似度结果确定第一用户是否有遗留物。

本实施例更详细的工作原理和流程可以但不限于参见第一实施例的多通道信息融合ATM面板遗留物检测方法。

由上可见，本发明技术方案不用时刻考虑光照变化和相机角度变化对用户状态的判断造成的影响，而是利用人头检测器来判断用户状态，使得获取用户进入ATM的图像和用户离开ATM的图像更为准确，不仅如此，还将含有遗留物的前景图与背景图进行相似度计算，进一步提高遗留物检测结果的准确度。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种多通道信息融合ATM面板遗留物检测方法，其特征在于，包括：

获取第一用户在ATM环境下每个时刻的图像；

根据所述图像的信息，结合人头检测器，通过分别检测每个时刻的当前图像、当前图像的上一帧图像和当前图像之后的N秒内所有图像的状态，获取第一用户状态图像；其中，所述第一用户状态图像包括第一用户预离开ATM的图像、第一用户离开ATM的图像、第一用户进入ATM的图像、第一用户预进入ATM的图像、无人图像和超时图像；

从所述第一用户状态图像中提取第一用户进入ATM的图像和第一用户离开ATM的图像；

根据语义分割方法将所述第一用户进入ATM的图像和第一用户离开ATM的图像进行分割，获得含有遗留物的前景图；

将所述含有遗留物的前景图与预设背景图进行相似度计算，并根据相似度结果确定所述第一用户是否有遗留物。

2.如权利要求1所述的多通道信息融合ATM面板遗留物检测方法，其特征在于，所述根据所述相似度的结果确定所述第一用户是否有遗留物，具体为：

当所述相似度的结果大于预设阈值时，则确定所述第一用户有遗留物，输出报警图像并启动报警机制；

当所述相似度小于预设阈值时，则确定所述第一用户未有遗留物，不输出报警图像也不启动报警机制。

3.如权利要求1所述的多通道信息融合ATM面板遗留物检测方法，其特征在于，所述根据所述图像的信息，结合人头检测器，通过分别检测每个时刻的当前图像、当前图像的上一帧图像和当前图像之后的N秒内所有图像的状态，获取第一用户状态图像，具体为：

根据所述图像的信息，结合人头检测器，判断每一张所述图像是否为无人状态；

若当前图像为无人状态，且所述当前图像的上一帧图像为有人状态时，则获取所述当前图像之后的N秒内所有第一图像，判断所述第一图像是否均一直保持有人状态，若所述第一图像一直保持有人状态时，将所述当前图像标记为第一用户离开ATM的图像；若所述第一图像未一直保持有人状态时，则将所述当前图像标记为第一用户预离开ATM的图像；

若所述当前图像为无人状态，且所述当前图像的上一帧图像也为无人状态时，则将所述当前图像标记为无人图像；

若所述当前图像为有人状态，且所述当前图像的上一帧图像也为有人状态时，则获取所述当前图像之后的N秒内所有第二图像；判断所述第二图像是否一直保持有人状态，若所述第二图像一直保持有人状态时，则将所述当前图像标记为第一用户进入ATM的图像；若所述第二图像未一直保持有人状态时，则将所述当前图像标记为第一用户预进入ATM的图像；

若所述当前图像为有人状态，且所述当前图像的上一帧图像也为有人状态时，则获取所述当前图像之后的N秒内所有第三图像，仅有当所述第三图像一直保持有人状态时，才将所述当前图像标记为超时图像；

若所述当前图像为有人状态，且所述当前图像的上一帧图像为无人状态时，则将所述当前图像标记为第一用户预进入ATM的图像。

4.如权利要求1所述的多通道信息融合ATM面板遗留物检测方法，其特征在于，所述预设背景图包括若干张无人图像。

5.如权利要求1所述的多通道信息融合ATM面板遗留物检测方法，其特征在于，所述将所述含有遗留物的前景图与预设背景图进行相似度计算，具体为：

根据亮度、对比度和图像纹理特征分别计算所述含有遗留物的前景图与所述预设背景图的相似度。

6.如权利要求5所述的多通道信息融合ATM面板遗留物检测方法，其特征在于，所述计算所述含有遗留物的前景图与所述预设背景图的相似度，具体为：

按照以下公式，计算获得相似度；

SSIM(x,y)＝l(x,y)^α·c(x,y)^β·s(x,y)^γ

其中，x，y分别表示含有遗留物的前景图和背景图，SSIM(x,y)表示含有遗留物的前景图和面板背景图的总相似度，l(x,y)为含有遗留物的前景图的亮度和面板背景图的亮度的第一相似度，c(x,y)为含有遗留物的前景图的对比度和面板背景图的对比度的第二相似度，s(x,y)为含有遗留物的前景图的结构和面板背景图的结构的第三相似度，u_x,u_y,σ_x,σ_y和σ_xy分别表示含有遗留物的前景图和背景图的均值、方差以及协方差，c₁,c₂和c₃分别表示常数，α,β,γ表示每个成分所占的比重。

7.一种多通道信息融合ATM面板遗留物检测***，其特征在于，包括：

第一图像获取模块，用于获取第一用户在ATM环境下每个时刻的图像；

第二图像获取模块，用于根据所述图像的信息，结合人头检测器，通过分别检测每个时刻的当前图像、当前图像的上一帧图像和当前图像之后的N秒内所有图像的状态，获取第一用户状态图像；其中，所述第一用户状态图像包括第一用户预离开ATM的图像、第一用户离开ATM的图像、第一用户进入ATM的图像、第一用户预进入ATM的图像、无人图像和超时图像；

提取模块，用于从所述第一用户状态图像中提取第一用户进入ATM的图像和第一用户离开ATM的图像；

分割模块，用于根据语义分割方法将所述第一用户进入ATM的图像和第一用户离开ATM的图像进行分割，获得含有遗留物的前景图；

检测模块，用于将所述含有遗留物的前景图与预设背景图进行相似度计算，并根据相似度结果确定所述第一用户是否有遗留物。