CN110021026B

CN110021026B - 一种图像背景重构方法及装置

Info

Publication number: CN110021026B
Application number: CN201910295029.XA
Authority: CN
Inventors: 田鹏; 林道庆; 崔昌浩; 黄晟; 王鹏; 周汉林
Original assignee: Wuhan Guide Sensmart Tech Co ltd
Current assignee: Wuhan Guide Sensmart Tech Co ltd
Priority date: 2019-04-12
Filing date: 2019-04-12
Publication date: 2021-07-23
Anticipated expiration: 2039-04-12
Also published as: CN110021026A

Abstract

本发明提供了一种图像背景重构方法及装置，方法包括：获得相邻两帧图像，分别计算相邻两帧图像左、右区域各像素点之差的绝对值，统计左、右区域中绝对值大于预设阈值的像素点总数，分别作为第一像素点总数和第二像素点总数；根据第一像素点总数和第二像素点总数分别计算左区域冲量和右区域冲量；将当前图像的上一帧图像的学习率与左区域冲量之积作为当前图像的左区域学习率；将当前图像的上一帧图像的学习率与右区域冲量之积作为当前图像的右区域学习率；用预设的重构计算公式、当前图像的左区域学习率和右区域学习率，重构当前图像内每一像素点的像素值，得到当前图像的背景。应用本发明实施例，提高了图像背景重构的可靠性。

Description

一种图像背景重构方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像背景重构方法及装置。

背景技术

随着图像处理技术的发展，越来越多的领域需要对图像中的背景进行重构，目前，常见的背景重构方法主要有两类，一类是模型法，另一类是灰度归类法。模型法是为各个像素点的灰度建立统计模型(如单高斯模型、混合高斯模型等)，这种方法的运算量大，并且对于分辨率低或运动场景变化小的图像，背景重构的可靠性不高；灰度归类法虽然计算量小，但是没有考虑场景变化带来的影响，例如，由于场景中人的走动，导致重构出的背景容易出现空洞位置(也称“鬼影”区域)，从而产生不理想的重构结果。因此，现有的背景重构方法重构出的背景的可靠性不高。

发明内容

本发明的目的在于克服现有技术之缺陷，提供了一种图像背景重构方法及装置，以实现提高背景重构的可靠性。

本发明是这样实现的：

第一方面，本发明提供一种图像背景重构方法，所述方法包括：

获得相邻两帧图像，所述相邻两帧图像分别为待重构的当前图像和当前图像的上一帧图像；

分别计算相邻两帧图像左、右区域各像素点之差的绝对值，统计左、右区域中绝对值大于预设阈值的像素点总数，分别作为第一像素点总数和第二像素点总数；

根据第一像素点总数和第二像素点总数分别计算左区域冲量和右区域冲量；所述左区域冲量用于反映相邻两帧图像的左区域之间的差异程度；所述右区域冲量用于反映相邻两帧图像的右区域之间的差异程度；

将当前图像的上一帧图像的学习率与左区域冲量之积作为当前图像的左区域学习率；将当前图像的上一帧图像的学习率与右区域冲量之积作为当前图像的右区域学习率；

用预设的重构计算公式、当前图像的左区域学习率和右区域学习率，重构当前图像内每一像素点的像素值，得到当前图像的背景。

可选的，根据第一像素点总数和第二像素点总数分别计算左区域冲量和右区域冲量，包括：

计算第一像素点总数和当前图像左区域总像素的比值，作为第一比值；

计算第二像素点总数和当前图像右区域总像素的比值，作为第二比值；

根据第一比值、第二比值分别确定左区域冲量和右区域冲量。

可选的，根据第一比值、第二比值分别确定左区域冲量和右区域冲量，包括：

从预设的多个数值范围中确定第一比值、第二比值分别所处的第一数值范围和第二数值范围，将第一数值范围、第二数值范围对应的第一预设值、第二预设值分别确定为左区域冲量和右区域冲量。

可选的，预设的重构计算公式为：

p1(i，j)＝(1-U1)*p2(i，j)+U*pS(i，j)

p1(m，n)＝(1-U2)*p2(m，n)+U2*pS(m，n)

其中，p1(i，j)表示重构后当前图像的背景内像素点(i，j)的像素值；U1表示当前图像的左区域学习率；p2(i，j)表示上一帧图像的背景内像素点(i，j)的像素值；pS(i，j)表示当前图像内像素点(i，j)的像素值；p1(m，n)表示重构后当前图像的背景内像素点(m，n)的像素值；U2表示当前图像的右区域学习率；p2(m，n)表示上一帧图像的背景内像素点(m，n)的像素值；pS(m，n)表示当前图像内像素点(m，n)的像素值；其中，像素点(i，j)为当前图像的背景左区域中第i行第j列的像素点；(m，n)为当前图像的背景右区域中第m行第n列的像素点。

可选的，所述方法还包括：

用当前图像减去当前图像的背景，得到前景图；并从前景图中分割出候选目标；

从候选目标中确定最终目标。

可选的，所获得的相邻两帧图像均为非均匀性校正后的图像。

第二方面，本发明提供一种图像背景重构装置，所述装置包括：

获得模块，用于获得相邻两帧图像，所述相邻两帧图像分别为待重构的当前图像和当前图像的上一帧图像；

统计模块，用于分别计算相邻两帧图像左、右区域各像素点之差的绝对值，统计左、右区域中绝对值大于预设阈值的像素点总数，分别作为第一像素点总数和第二像素点总数；

计算模块，用于根据第一像素点总数和第二像素点总数分别计算左区域冲量和右区域冲量；所述左区域冲量用于反映相邻两帧图像的左区域之间的差异程度；所述右区域冲量用于反映相邻两帧图像的右区域之间的差异程度；

更新模块，用于将当前图像的上一帧图像的学习率与左区域冲量之积作为当前图像的左区域学习率；将当前图像的上一帧图像的学习率与右区域冲量之积作为当前图像的右区域学习率；

重构模块，用于用预设的重构计算公式、当前图像的左区域学习率和右区域学习率，重构当前图像内每一像素点的像素值，得到当前图像的背景。

可选的，所述计算模块根据第一像素点总数和第二像素点总数分别计算左区域冲量和右区域冲量，具体为：

可选的，所述计算模块根据第一比值、第二比值分别确定左区域冲量和右区域冲量，具体为：

可选的，预设的重构计算公式为：

p1(i，j)＝(1-U1)*p2(i，j)+U*pS(i，j)

p1(m，n)＝(1-U2)*p2(m，n)+U2*pS(m，n)

可选的，所述装置还包括目标检测模块，用于：

从候选目标中确定最终目标。

可选的，所获得的相邻两帧图像均为相非均匀性校正后的图像。

本发明具有以下有益效果：应用本发明实施例，可以根据相邻帧间场景的动态变化程度来自适应确定学习率大小，解决了误将处于静态的可运动目标融为背景和热残影干扰的问题，达到给不同帧分配合适学习率的目的，从而构建出适应于当前图像的背景，提高了重构所得背景的可靠性；并且整个背景重构过程简单，能够通过帧间迭代快速更新背景，提高了重构效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的图像背景重构方法的一种流程示意图；

图2为本发明实施例提供的图像分区检测示意图；

图3为应用本发明实施例提供的一种当前图像；

图4为应用本发明实施例重构图3所示当前图像所得的背景；

图5为本发明实施例提供的图3减去图4再经膨胀处理后的前景图；

图6为本发明实施例提供的图5经过目标筛选和矩形框合并后的检测结果；

图7为应用本发明实施例在残影干扰下的检测结果；

图8为本发明实施例提供的图像背景重构装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

需要说明的是，本发明所提供的图像背景重构方法可以应用于电子设备，其中，在具体应用中，该电子设备可以为计算机、个人电脑、平板、手机、前端等等，这都是合理的。另外，实现本发明实施例所提供的图像背景重构方法的功能软件可以为专门的图像背景重构软件，也可以为具有图像背景重构功能的软件中的插件。

参见图1，本发明实施例提供一种图像背景重构方法，方法包括如下步骤：

S101、获得相邻两帧图像，所述相邻两帧图像分别为待重构的当前图像和当前图像的上一帧图像；

当前图像及其上一帧图像可以均是红外图像，为了抑制红外图像的非均匀性带来的影响，若所获得的相邻两帧图像未经过非均匀性校正，方法还可以包括：对所获得的相邻两帧图像进行非均匀性校正，则后续步骤中的相邻两帧图像均为非均匀性校正后的图像。或者，若所获得的相邻两帧图像已通过非均匀性校正，则可以直接执行S102。经过非均匀性校正，可以使得图像更平滑，清晰度更高。本发明对具体的非均匀性校正方式不做限定，例如，可以用现有的非均匀性校正算法或者设计人员设计的具有非均匀性校正功能的其他算法实现非均匀性校正。

S102、分别计算相邻两帧图像左、右区域各像素点之差的绝对值，统计左、右区域中绝对值大于预设阈值的像素点总数，分别作为第一像素点总数和第二像素点总数；

本发明考虑到图像中的背景通常在相邻两帧图像中的变化不大，图像中可运动的目标(例如人、车等)的运动可能在相邻两帧图像引起变化，并且运动引起的变化通常在水平方向比较明显，因此，为了更准确的检测出相邻两帧图像之间的变化，如图2所示，可以将图像分为左、右两个区域分别进行检测。当前图像及其上一帧图像的大小可以相同，左区域和右区域的大小可以相同或不同。

具体的，可以利用以下公式实现S102：

其中，nLeftCount、nRightCount分别表示第一像素点总数、第二像素点总数；HEIGHT、WIDTH分别表示当前图像的高和宽，SIG(x，y)表示符号函数，abs(pCurrent(i，j)-pLast(i，j))表示取pCurrent(i，j)和pLast(i，j)之差的绝对值；pCurrent(i，j)和pLast(i，j)分别表示当前图像及其上一帧图像中第i行第j列像素点的像素值；nThre表示预设阈值。

预设阈值可以根据设计人员的经验事先设定，例如，可以大于时域噪声波动和摇曳物(例如窗帘)的轻微抖动造成的帧间差异。示例性的，时域噪声波动造成的帧间差异为10，摇曳物的轻微抖动造成的帧间差异为15，则预设阈值可以取20。

通过公式(1)、(2)和(3)可以分别统计出左、右区域的灰度剧烈变化的像素点的总数，也就是第一像素点总数和第二像素点总数，这些剧烈变化的像素点是决定冲量大小的关键因素，从而冲量可以反映场景变化的剧烈程度。

S103、根据第一像素点总数和第二像素点总数分别计算左区域冲量和右区域冲量；所述左区域冲量用于反映相邻两帧图像的左区域之间的差异程度；所述右区域冲量用于反映相邻两帧图像的右区域之间的差异程度；

具体的，根据第一像素点总数和第二像素点总数分别计算左区域冲量和右区域冲量，可以包括：

一种实现方式中，根据第一比值、第二比值分别确定左区域冲量和右区域冲量，可以包括：

每个预设的数值范围可以对应一个预设值，具体的对应关系可以预先设置，本发明对此不做限定。

左区域冲量和右区域冲量可以分别直接作用于左区域学习率和右区域学习率，冲量大小可以对学习率更新的快慢程度起着重要作用，由于冲量可以反映场景变化的剧烈程度，故冲量在场景变化和学习率之间建立了联系。本发明经反复实验发现，剧烈变化的像素点数量越多，背景更新的越快越好，并且优选地，学习率的增长可以不是线性的。当剧烈变化像素数到达一定数量时，学习率可以是突变的；而当剧烈变化的像素点数量在一定范围内时，学习率可以保持稳定；基于此，可以根据剧烈变化像素占总像素的比例分段选取冲量大小的。

假设左区域冲量和右区域冲量分别为M1和M2，nLeftCount和nRightCount为第一像素点总数和第二像素点总数,可以利用如下公式计算得到左区域冲量和右区域冲量：

其中，nLeftCount/(HEIGHT*WIDTH/2)可以表示第一比值；nRightCount/(HEIGHT*WIDTH/2)可以表示第二比值。

通过公式(4)、(5)可以将左区域冲量和右区域冲量按照左、右区域内剧烈变化像素数量与总数量比值分为四档，第一档的冲量值最小，可以看作是低速挡，用于对学习率进行抑制，可以解决误将处于静止状态的目标(如人体、车等)融为背景的问题；第二档的冲量值大于第一档，具体可以为1，从而可以对学习率初始值进行保持，第三档、第四档的冲量值均可以大于1，可以用于对学习率进行加速，从而可以快速更新背景，实现残影的快速去除。

S104、将当前图像的上一帧图像的学习率与左区域冲量之积作为当前图像的左区域学习率；将当前图像的上一帧图像的学习率与右区域冲量之积作为当前图像的右区域学习率；

学习率的大小可以直接决定背景的重构幅度，对目标检测结果起着至关重要的作用，假设nLearningRate为当前图像的上一帧图像的学习率，可以简称为原始学习率；U1和U2为每帧更新的左区域学习率和左区域学习率，M1和M2分别为左区域冲量和右区域冲量，具体的学习率更新公式可以如下：

U1＝M1*nLearningRate (6)

U2＝M2*nLearningRate (7)

S105、用预设的重构计算公式、当前图像的左区域学习率和右区域学习率，重构当前图像内每一像素点的像素值，得到当前图像的背景。

具体的，预设的重构计算公式可以为：

p1(i，j)＝(1-U1)*p2(i，j)+U1*pS(i，j) (8)

p1(m，n)＝(1-U2)*p2(m，n)+U2*pS(m，n) (9)

目标(例如人体)处于静止时，场景的变化很小，计算出来的当前图像的学习率就小，对背景重构的贡献小，背景维持之前构建的状态，因此静态人体不会被融为背景。

热残影的形成一般是主动热源激发后形成的(如人体在沙发上久坐离开后，在沙发上留下的热残影)，热残影会对人体检测形成干扰。由于热残影是主动热源的运动导致场景急剧变化形成的，故当前图像计算出来的该区域学习率就大，对背景重构的贡献就大，故干扰的残影就快速地融入背景。同理，“鬼影”区域也会快速消除。“鬼影”区域是目标(例如人体)离开某个位置后，导致该位置空洞，从而形成的类似“鬼影”的区域。

应用本发明实施例，可以根据相邻帧间的相关性和场景的动态变化程度来自适应确定学习率大小，解决了误将处于静态的待检测目标融为背景和热残影干扰的问题，达到给不同帧分配合适学习率的目的，从而构建出适应于当前图像的背景本底，提高了重构所得背景的可靠性；并且整个背景重构过程简单，能够通过帧间迭代快速更新背景，提高了重构效率。

为了实现从当前图像中检测出目标，所述方法还包括：

从候选目标中确定最终目标。

可以采用现有的图像分割算法从前景图中分割出候选目标，进而采用分类器(如SVM分类器、神经网络分类模型等)或者先验信息(如宽高比、灰度均值等)从候选目标中确定最终目标。例如，将宽高比为属于预设范围的候选目标确定为最终目标，或者将灰度均值大于周围像素点灰度值的候选目标确定为最终目标。

示例性的，当前图像可以如图3所示，图3所示的当前图像可以是压缩后的图像，例如可以将原始采集的灰度值位宽为14位或16位的图像压缩到灰度值位宽为8位，从而得到当前图像。经过压缩，可以使得当前图像的灰度值更集中，便于显示和后续处理。对图3所示当前图像进行重构，可以得到图4所示的背景。用图3所示的当前图像减去图4所示的背景，再将相减结果进行膨胀处理，可以得到图5所示的前景图。对图5所示的前景图进行目标筛选和矩形框合并后所得的检测结果可以如图6所示。另外，在存在热残影的某个场景中，应用本发明实施例可以得到如图7所示的排除热残影干扰后的检测结果。

应用本发明实施例，由于场景变化引起学习率的重新分配，使得重构后的背景能有效去除残影干扰，从而解决了目标长时间静止融为背景的问题，因此，在目标为运动状态和静止状态下都有较好检测效果。且算法空间复杂度和时间复杂度小，便于嵌入式设备移植和应用。

与上述的方法实施例相对应，本发明实施例还提供一种图像背景重构装置。

参见图8，图8为本发明实施例所提供的一种图像背景重构装置的结构示意图，装置包括：

获得模块801，用于获得相邻两帧图像，所述相邻两帧图像分别为待重构的当前图像和当前图像的上一帧图像；

统计模块802，用于分别计算相邻两帧图像左、右区域各像素点之差的绝对值，统计左、右区域中绝对值大于预设阈值的像素点总数，分别作为第一像素点总数和第二像素点总数；

计算模块803，用于根据第一像素点总数和第二像素点总数分别计算左区域冲量和右区域冲量；所述左区域冲量用于反映相邻两帧图像的左区域之间的差异程度；所述右区域冲量用于反映相邻两帧图像的右区域之间的差异程度；

更新模块804，用于将当前图像的上一帧图像的学习率与左区域冲量之积作为当前图像的左区域学习率；将当前图像的上一帧图像的学习率与右区域冲量之积作为当前图像的右区域学习率；

重构模块805，用于用预设的重构计算公式、当前图像的左区域学习率和右区域学习率，重构当前图像内每一像素点的像素值，得到当前图像的背景。

应用本发明实施例，可以根据相邻帧间场景的动态变化程度来自适应确定学习率大小，解决了误将处于静态的目标融为背景和热残影干扰的问题，达到给不同帧分配合适学习率的目的，从而构建出适应于当前图像的背景，提高了重构所得背景的可靠性；并且整个背景重构过程简单，能够通过帧间迭代快速更新背景，提高了重构效率。

可选的，预设的重构计算公式为：

p1(i，j)＝(1-U1)*p2(i，j)+U*pS(i，j)

p1(m，n)＝(1-U2)*p2(m，n)+U2*pS(m，n)

其中，p1(i，j)表示重构后当前图像的背景内像素点(i，j)的像素值；U1表示当前图像的左区域学习率；p2(i，j)表示上一帧图像的背景内像素点(i，j)的像素值；pS(i，j)表示当前图像内像素点(i，j)的像素值；p1(m，n)表示重构后当前图像的背景内像素点(m，n)的像素值；U2表示当前图像的右区域学习率；p2(m，n)表示上一帧图像的背景内像素点(m，n)的像素值；pS(m，n)表示当前图像内像素点(m，n)的像素值；其中，像素点(i，j)为当前图像的背景左区域中第i行第j列的像素点；(m，n)当前图像的背景右区域中第m行第n列的像素点。

可选的，所述装置还包括目标检测模块，用于：

用当前图像减去当前图像的背景，得到前景图；并从前景图中分割出候选目标；从候选目标中确定最终目标。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种图像背景重构方法，其特征在于，所述方法包括：

分别计算相邻两帧图像左、右区域各像素点之差的绝对值，统计左区域中绝对值大于预设阈值的像素点总数作为第一像素点总数，统计右区域中绝对值大于预设阈值的像素点总数作为第二像素点总数；

所述根据第一像素点总数和第二像素点总数分别计算左区域总量以及右区域总量包括：计算第一像素点总数和当前图像左区域总像素的比值，作为第一比值，从预设的多个数值范围中确定第一比值所处的第一数值范围，将第一数值范围对应的第一预设值确定为左区域冲量；计算第二像素点总数和当前图像右区域总像素的比值，作为第二比值，从预设的多个数值范围中确定第二比值所处的第二数值范围，将第二数值范围对应的第二预设值确定为右区域冲量；将多个数值范围按照由小到大的顺序划分为多档，当第一比值与第二比值处于第一档时，对应的冲量值用于对学习率进行抑制，当第一比值与第二比值处于第二档时，则对初始学习率进行保持，当第一比值与第二比值处于其它档时，对应的冲量值用于对学习率进行加速；

2.根据权利要求1所述的方法，其特征在于，预设的重构计算公式为：

p1(i，j)＝(1-U1)*p2(i，j)+U*pS(i，j)

p1(m，n)＝(1-U2)*p2(m，n)+U2*pS(m，n)

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从候选目标中确定最终目标。

4.根据权利要求1所述的方法，其特征在于，所获得的相邻两帧图像均为非均匀性校正后的图像。

5.一种图像背景重构装置，其特征在于，所述装置包括：

统计模块，用于分别计算相邻两帧图像左、右区域各像素点之差的绝对值，统计左区域中绝对值大于预设阈值的像素点总数作为第一像素点总数，统计右区域中绝对值大于预设阈值的像素点总数作为第二像素点总数；

计算模块，用于根据第一像素点总数和第二像素点总数分别计算左区域冲量和右区域冲量；所述左区域冲量用于反映相邻两帧图像的左区域之间的差异程度；所述右区域冲量用于反映相邻两帧图像的右区域之间的差异程度；所述计算模块具体用于计算第一像素点总数和当前图像左区域总像素的比值，作为第一比值，从预设的多个数值范围中确定第一比值所处的第一数值范围，将第一数值范围对应的第一预设值确定为左区域冲量；所述计算模块还计算第二像素点总数和当前图像右区域总像素的比值，作为第二比值，从预设的多个数值范围中确定第二比值所处的第二数值范围，将第二数值范围对应的第二预设值确定为右区域冲量；将多个数值范围按照由小到大的顺序划分为多档，当第一比值与第二比值处于第一档时，对应的冲量值用于对学习率进行抑制，当第一比值与第二比值处于第二档时，则对初始学习率进行保持，当第一比值与第二比值处于其它档时，对应的冲量值用于对学习率进行加速；

6.根据权利要求5所述的装置，其特征在于，预设的重构计算公式为：

p1(i，j)＝(1-U1)*p2(i，j)+U*pS(i，j)

p1(m，n)＝(1-U2)*p2(m，n)+U2*pS(m，n)