CN110674729A - 基于热能估算的人数识别方法、计算机装置及计算机可读存储介质 - Google Patents

Abstract

本发明提供一种基于热能估算的人数识别方法、计算机装置及计算机可读存储介质，该方法包括获取红外热像仪所采集的原始热度图，将原始热度图转换为彩色热度图；对彩色热度图进行人像检测，根据识别出的彩色热度图中的人像，计算彩色热度图中的人员数量。本发明还提供实现上述方法的计算机装置及计算机可读存储介质。本发明在保护特定场所内人员隐私的同时，还能够对场所内的人员数据进行准确的计算。

Description

基于热能估算的人数识别方法、计算机装置及计算机可读存 储介质

技术领域

本发明图像识别技术领域，具体地，是一种基于热能估算的人数识别方法以及应用于该***的计算机可读存储介质。

背景技术

随着安防技术的发展，人们需要使用摄像机拍摄特定区域的图像，以监控该区域内是否出现安防事故。例如，在超市、电影院等公共场所安装摄像机以监控是否出现偷盗、火灾等事故发生。如果仅仅为了监控发生火灾时场所内是否还有没有撤离的人员，使用普通的摄像机将存在容易泄露个人隐私的问题。

由于普通的摄像机所拍摄的图像将清晰的拍摄人员的脸部图像，在未发生火灾的情况下，普通的摄像机所拍摄的图像将包含人员的脸部图像，容易导致人员个人隐私泄露的问题。

现有的一些特定场所内安装红外热像仪拍摄场所内的图像，由于红外热像仪所拍摄的图像并不能清晰看到人员的脸部图像，这样就可以有效避免人员的隐私泄露的问题。但是，由于红外热像仪所拍摄的图像往往只能看到人员的存在，如果场所内有多个人员存在，红外热像仪所形成的图像往往是黑白灰的图像，这些图像无法清晰显示人员的数量，在需要确定人员数量的场合，往往是不能够满足需求的。

例如，在场所内发生火灾，需要通过红外热像仪拍摄场所内人员移动的情况，并且需要统计场所内有多少人员存在、有多少人员已经撤离现场、还有多少人员停留在发生火灾的场所内。显然，现有的红外热像仪所拍摄的图像并不满足对人员数量统计的要求。

发明内容

本发明的主要目的是提供一种能够精确计算人员数量的基于热能估算的人数识别方法。

本发明的另一目的是提供一种实现上述基于热能估算的人数识别方法的计算机装置。

本发明的再一目的是提供一种实现上述基于热能估算的人数识别方法的计算机可读存储介质。

为实现本发明的主要目的，本发明提供的基于热能估算的人数识别方法包括获取红外热像仪所采集的原始热度图，将原始热度图转换为彩色热度图；对彩色热度图进行人像检测，根据识别出的彩色热度图中的人像，计算彩色热度图中的人员数量。

由于红外热像仪所拍摄的图像是黑白灰的图像，通过图像中的灰度显示所拍摄区域内的热度分布情况，例如靠近火源的地方温度较高，灰度也较小，图像接近白色。红外热像仪所拍摄的图像能够反应出场所内火源分布的情况。由于人体产生热能辐射，通过红外热像仪能够显示场所内的人员分布情况，但不能看到清晰的人脸图像，因此能够避免人员隐私泄露的情况。

本发明将单色的灰度图转换成彩色热度图，由于人体辐射的热量往往没有热源的温度高，在彩色热度图下所形成的色彩不相同，这样，可以对彩色热度图进行人像识别，从而确定所拍摄的热度图中人员的数量。相比起直接对黑白灰的灰度图像，对彩色热度图进行人像识别，能够准确的识别出热度图中人像的位置与数量。

一个优选的方案是，原始热度图为单通道灰度图像；将原始热度图转换为彩色热度图包括：将原始热度图转换为RGB彩色热度图。

由于RGB彩色图像是计算机常用的彩色图像，且单通道灰度图像转换成RGB彩色图像的算法较为成熟，实现难度较低，且计算的效率高，可以提高人员数量计算的效率。

进一步的方案是，将原始热度图转换为彩色热度图前，将原始热度图进行放大处理。

由此可见，将彩色热度图进行放大处理后，有利于增大计算后的彩色热度图的像素，有利于更加准确的计算人员数量。

进一步的方案是，对彩色热度图进行人像检测包括：使用预先设定的人像模型对彩色热度图进行人像检测。

可见，预先设定人像模型后，可以采用该人像模型作为彩色热度图的人像检测基础，提高检测的准确性。

更进一步的方案是，预先设定的人像模型为卷积神经网络检测自学习所形成的人像模型。

由此可见，由于卷积神经网络具有较强的自学习能力，并且检测质量、速度均较为理想，采用卷积神经网络检测自学习所形成的人像模型作为检测的基准，一方面能够降低人员数量计算的难度，另一方面能够提高人员数量计算的速度。

更进一步的方案是，卷积神经网络检测自学习形成人像模型包括：获取多张参考彩色热度图，获取每一参考彩色热度图中人像区域标记信息，记录标记的人像区域作为自学习结果。

可见，应用卷积神经网络进行自学习的过程中，通过人工标记参考彩色热度图中的人像区域，作为卷积神经网络的自学习结果，提高自学习的效率与速度，通过对大量的参考彩色热度图的训练与学习，获得的人像模型有利于准确度识别彩色热度图中的人像。

更进一步的方案是，记录标记的人像区域作为自学习结果包括：接收对初次自学习结果的调整信息，以调整信息作为最终的自学习结果。

由此可见，当卷积神经网络初始识别的人员数量不正确，可以通过人工调整的方式对卷积神经网络进行训练，这样可以提高卷积神经网络的自学习能力。并且，将每一次获取的热度图均作为参考热度图并进行人像识别的训练与自学习，通过真实的热度图的训练更能够提高人像模型的可靠性。

更进一步的方案是，对彩色热度图进行人像检测包括：对彩色热度图进行人体全身图像检测或者人体头部图像检测。

可见，通过对人体全身图像或者人体头部图像进行检测，都可以准确识别出彩色热度图中的人像，尤其是人体头部图像的检测更加准确，能够提高人员数量计算的准确性。

为实现上是的另一目的，本发明提供的计算机装置包括一个服务器以及至少二个终端设备，其中，该服务器设置有处理器以及存储器，存储器存储有计算机程序，计算机程序被处理器执行时实现上述的基于热能估算的人数识别方法的各个步骤。

为实现上是的再一目的，本发明提供计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的基于热能估算的人数识别方法的各个步骤。

附图说明

图1是本发明基于热能估算的人数识别方法实施例的流程图。

图2是本发明基于热能估算的人数识别方法实施例的原始热度图的图像。

图3是本发明基于热能估算的人数识别方法实施例的彩色热度图的图像。

图4是本发明基于热能估算的人数识别方法实施例中参考彩色热度图中标记人像区域的图像。

图5是本发明基于热能估算的人数识别方法实施例中对参考彩色热度图中标记多个人像区域的图像。

以下结合附图及实施例对本发明作进一步说明。

具体实施方式

本发明的基于热能估算的人数识别方法应用在对特定场所进行人员数量统计的场合，例如针对超市、学校、电影院等公共场所，对于发生火灾等特定场景下进行人员数量计算的场合。基于热能估算的人数识别方法可以由计算机装置实现，该计算机装置包括处理器以及存储器，存储器上存储有计算机程序，且处理器可以接收红外热像仪所拍摄的图像，应用该计算机程序对所接收的图像进行处理，并由此计算出场所内人员数量。

基于热能估算的人数识别方法实施例：

参见图1，基于热能估算的人数识别方法应用于计算机装置中，该计算机可以接收红外热像仪所拍摄的图像。计算机装置具有处理器，对人员数量进行计算时，处理器首先执行步骤S1，获取原始的热度图，例如，获取红外热像仪所拍摄的图像。通常，红外摄像仪所拍摄的图像为黑白灰的图像，如图2所示的图像。从图2可以看出，红外热像仪所拍摄的图像是黑白灰图像，是单通道的图像，即灰度值从0至255的图像。

红外热像仪所拍摄的往往不能清晰的反映出物体的热能分布，不利于进行人像识别。因此，需要对红外热像仪所拍摄的图像进行处理，即执行步骤S2，将所获取的原始热度图放大，并且将放大后的图像进行转换，转换成彩色热度图。例如使用Ironbow调色板应用程序将原始热度图转换成彩色热度图，优选的，转换的彩色热度图是RGB三色的彩色图，通过上述操作可以将原始热度图中的目标对象突显出来。转换后的彩色热度图如图3所示，彩色热度图对人像区域更加突出，且人像处的色彩更加鲜艳，这样可以有利于后续的人像识别工作的进行。转换后的彩色热度图为多通道的图像，例如包含红色、绿色和蓝色三个通道，即每一个像素的色值需要使用红色、绿色和蓝色表示，每一种颜色的色值从0至255。

当然，也可以使用已知的其他技术将原始热度图转换成彩色热度图，例如使用将黑白灰色值的图像转换成彩色图像的应用程序或者图像处理方法实现。

获取彩色热度图后，需要对彩色热度图中的人像进行识别，本实施例中，使用预先设定的人像模型对彩色热度图中的人像进行识别，即执行步骤S6。优选的，对彩色热度图进行人像识别可以使用卷积神经网络进行，该人像模型是由卷积神经网络对大量的图像进行训练而获得的人像模型。优选的，本实施例中将步骤S2获得的图像作为训练的参考彩色热度图，这样，训练使用的样本更加真实，有利于提高图像识别的真实性。当然，在初始阶段，先设定初始的人像模型，利用初始的人像模型作为识别的基础，并且不断的自学习来实现人像模型的补充与完善。本实施例中，可以使用yolov3的基于卷积神经网络CNN的图象识别技术实现人像识别。

具体的，在获取彩色热度图后，执行步骤S3，将步骤S2所获取的彩色热度图作为参考彩色热度图，并使用卷积神经网络对参考彩色热度图进行人像识别，例如执行步骤S4，根据已经设定的人像模型进行图像识别，标记出参考彩色热度图中的人像区域。

通常，卷积神经网络会绘制出多个可能包含人像的区域，但这些区域并不一定是完全包含人像，甚至是没有包含人像的区域，因此，对卷积神经网络进行训练时，需要手动的在参考彩色热度图中绘制人像区域，即标记出人像区域的具***置，以便于卷积神经网络记录这些人像区域的信息后，对所标记的区域进行自学习，从而为完善人像模型。

如图4所示，在一张包含有人像的参考彩色热度图中，卷积神经网络未必能够正确的选择出包含人像区域的局部作为人像区域，因此使用者需要手动的标记出人像区域，如图3中靠近左侧的方框20所示。由于使用者通过人眼观察可以快速、准确的确定人像区域的具***置，手动的将人像区域的部分标记出来可以作为卷积神经网络自学习的基础。

本实施例中，人像区域可以人体全身图像的区域，或者是人体头部图像的区域，图4所选择的是人体全身图像的区域，实际应用时也可以仅仅对人体头部图像进行选择。在对人像区域进行识别后，还需要对图像中人员的数量进行统计，但是，由于图像中可能存在人员重叠的情况，导致卷积神经网络初始的统计结果不准确，因此在对卷积神经网络进行训练的过程中，可以手动的调节统计结果，使得卷积神经网络的自学习能力更加强。

如图5所示，参考彩色热度图中，被选择的包含人像的方框一共是4个，卷积神经网络初始的统计结果为4个人，但是，实际上有7个人，例如通过对人体头部的识别后，可以识别出较多的人员数量，因此需要使用者手动的调整统计结果，使得统计结果更加准确。这样，卷积神经网络以调整后的统计结果作为自学习的结果，在记录自学习的结果后，更正错误的统计结果，提高后续人像识别的准确性。

从图5可见，卷积神经网络可以同时对人体全身图像以及人体头部区域进行识别，因此，可以通过结合对人体全身图像进行识别以及人体头部区域进行识别的结果来确定参考彩色热度图中的人员数量，例如当对人体全身图像进行识别以及人体头部区域进行识别的结果不一致时，以人体头部区域进行识别的结果为准，或者由使用者进行手工确认，还可以通过结合一段视频中相邻的多帧图像的识别结果来确定图像中的人员数量。

通过对卷积神经网络的训练，可以建立人像模型，即建立一个作为识别基础的卷积神经网络，也就执行步骤S5。建立人像模型后，处理器将存储该人像模型，用于后续的人像识别。

当然，由于直接通过人眼观看参考彩色热度图并标记出人像区域，实际操作是也具有一定的困难，可选的，可以增加一个普通摄像装置拍摄图像，通过普通摄像装置拍摄的图像来辅助完成人眼数量的统计工作，从而提高卷积神经网络自学习的准确性。

在后续的识别过程中，可以使用步骤S5所建立的人像模型进行人像识别。因此，步骤S6中，在获取彩色热度图后，应用步骤S5所建立的人像模型对当前的热度图进行人像识别，识别出当前彩色热度图中人体全身图像的区域或者人体头部图像的区域。

最后，执行步骤S7，根据步骤S6所识别的人像区域，计算出彩色热度图中人员的数量。步骤S6中可以识别出彩色热度图中包含有人像区域的数量，理论上，每一个人像区域内只有一个人像，因此只需要计算人像区域的数量，即可以计算出彩色热度图中的人员数量。但是，彩色热度图中，人像可能是重叠的，例如某一个人像另一个人像部分遮挡，这样就无法准确识别出人员的数量。因此，可以结合人体头部图像区域来确定人员的数量，由于人体头部图像较小，因此能够准确的计算出彩色热度图中的人员数量。

步骤S3至步骤S5是对卷积神经网络进行训练并形成人像模型的过程，这一过程仅仅在卷积神经网络训练还不充分时执行，如果卷积神经网络已经对大量的参考彩色热度图进行训练并且人像模型已经比较成熟，可以不再执行步骤S3至步骤S5，在获取彩色热度图后，直接使用人像模型对该彩色热度图进行人像识别。

本发明将黑白灰的原始热度图换行成彩色热度图后，可以更加准确、清晰的识别出图像中的人像区域，并且准确的统计出人员数量，为特定场所的安防提供保障。例如，公共场所发生火灾时，通过使用红外热像仪采集图像并对场所内的人员进行统计，一方面可以避免使用普通摄像装置拍摄图像而导致场所内的人员隐私泄露的问题，另一方面又可以准确的识别出场所内的人员数量，为救援提供帮助。

计算机装置实施例：

本实施例的计算机装置具有处理器、存储器，存储器上存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于热能估算的人数识别方法的各个步骤。

例如，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明的各个模块。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。

本发明所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

计算机可读存储介质实施例：

上述计算机装置所存储的计算机程序如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述基于热能估算的人数识别方法的各个步骤。

其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

最后需要强调的是，本发明不限于上述实施方式，如将原始热度图转换成彩色热度图的具体方法的改变、使用的具体卷积神经网络的自学习方法的改变等变化也应该包括在本发明权利要求的保护范围内。

Claims (10)

1.基于热能估算的人数识别方法，其特征在于，包括：

获取红外热像仪所采集的原始热度图，将所述原始热度图转换为彩色热度图；

对所述彩色热度图进行人像检测，根据识别出的所述彩色热度图中的人像，计算所述彩色热度图中的人员数量。

2.根据权利要求1所述的基于热能估算的人数识别方法，其特征在于：

所述原始热度图为单通道灰度图像；

将所述原始热度图转换为彩色热度图包括：将所述原始热度图转换为RGB彩色热度图。

3.根据权利要求1或2所述的基于热能估算的人数识别方法，其特征在于：

将所述原始热度图转换为彩色热度图前，将所述原始热度图进行放大处理。

4.根据权利要求1或2所述的基于热能估算的人数识别方法，其特征在于：

对所述彩色热度图进行人像检测包括：使用预先设定的人像模型对所述彩色热度图进行人像检测。

5.根据权利要求4所述的基于热能估算的人数识别方法，其特征在于：

所述预先设定的人像模型为卷积神经网络检测自学习所形成的人像模型。

6.根据权利要求5所述的基于热能估算的人数识别方法，其特征在于：

所述卷积神经网络检测自学习形成人像模型包括：获取多张参考彩色热度图，获取每一所述参考彩色热度图中人像区域标记信息，记录所述标记的人像区域作为自学习结果。

7.根据权利要求6所述的基于热能估算的人数识别方法，其特征在于：

记录所述标记的人像区域作为自学习结果包括：接收对初次自学习结果的调整信息，以所述调整信息作为最终的自学习结果。

8.根据权利要求1或2所述的基于热能估算的人数识别方法，其特征在于：

对所述彩色热度图进行人像检测包括：对所述彩色热度图进行人体全身图像检测或者人体头部图像检测。

9.计算机装置，其特征在于，包括有处理器以及存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8任一项所述的基于热能估算的人数识别方法的各个步骤。

10.计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述基于热能估算的人数识别方法的各个步骤。

Images