CN111507200A - 体温检测方法、体温检测装置、及双光相机 - Google Patents

Abstract

本公开提供了一种体温检测方法、体温检测装置、双光相机、电子设备和计算机可读存储介质，其中体温检测方法包括：获取目标人体的可见光图像和热成像图像；基于可见光图像，进行人脸检测，获取可见光图像的第一人脸位置信息；基于第一人脸位置信息，确定热成像图像中的第二人脸位置信息；基于第二人脸位置信息，通过人脸回归模型，得到第三人脸位置信息；基于第三人脸位置信息，根据热成像图像的温度信息，得到目标人物的体温。通过可见光图像进行人脸检测，得到相对准确的人脸位置信息，继而得到热成像图像中的人脸位置，再对热成像图像中的人脸位置部分进行人脸回归，并基于回归结果确定温度，在降低计算成本的同时，大幅提高了准确率。

Description

体温检测方法、体温检测装置、及双光相机

技术领域

本公开一般地涉及图像处理领域，具体涉及一种体温检测方法、体温检测装置、双光相机、电子设备和计算机可读存储介质。

背景技术

目前，很多场景中需要对人员的体温进行检测或监控。测温的方式一般分为两种，一种是通过手持接触式测温设备，如温度枪等，但需要大量人工来筛查，在大人流大密度下，严重影响效率，增加群体传染的风险。另一种通过智能测温相机，通过红外相机获取到行人的体温信息，从而自动化检测行人的体温，但目前的测温相机测温误差大，不能准确的获取人员的体温数据。

发明内容

为了解决现有技术中存在的上述问题，本公开的第一方面提供一种体温检测方法，其中，方法包括：获取目标人体的可见光图像和热成像图像；基于可见光图像，进行人脸检测，获取可见光图像的第一人脸位置信息；基于第一人脸位置信息，确定热成像图像中的第二人脸位置信息；基于第二人脸位置信息，通过人脸回归模型，得到第三人脸位置信息；基于第三人脸位置信息，根据热成像图像的温度信息，得到目标人物的体温。

在一例中，在基于第一人脸位置信息，确定热成像图像中的第二人脸位置信息之前，方法还包括：将可见光图像与热成像图像进行对齐。

在一例中，将可见光图像与热成像图像进行对齐，包括：通过特征点检测，分别确定可见光图像的第一特征点和热成像图像的第二特征点；基于第一特征点和第二特征点，通过平移和/或缩放，将热成像图像与可见光图像对齐。

在一例中，基于第一人脸位置信息，确定热成像图像中的第二人脸位置信息，包括：基于第一人脸位置信息，通过尺寸扩充，得到扩大位置信息；基于扩大位置信息，确定第二人脸位置信息。

在一例中，基于第二人脸位置信息，通过人脸回归模型，得到第三人脸位置信息，包括：得到第三人脸位置信息的置信度；方法还包括：若置信度大于置信度阈值，则执行基于第三人脸位置信息，根据热成像图像的温度信息，得到目标人物的体温。

在一例中，基于第三人脸位置信息，根据热成像图像的温度信息，得到目标人物的体温，包括：基于第三人脸位置信息，确定目标人物的测温区域；基于测温区域，根据热成像图像的温度信息，确定目标人物的体温。

在一例中，获取可见光图像和热成像图像，包括：通过双光相机的可见光镜头获取可见光图像；通过双光相机的红外镜头获取热成像图像。

本公开的第二方面提供一种体温检测装置，装置包括：获取模块，用于获取目标人体的可见光图像和热成像图像；检测模块，用于基于可见光图像，进行人脸检测，获取可见光图像的第一人脸位置信息；映射模块，用于基于第一人脸位置信息，确定热成像图像中的第二人脸位置信息；回归模块，用于基于第二人脸位置信息，通过人脸回归模型，得到第三人脸位置信息；确定温度模块，用于基于第三人脸位置信息，根据热成像图像的温度信息，得到目标人物的体温。

本公开的第三方面提供一种双光相机，双光相机包括：可见光镜头，用于获取可见光图像；红外镜头，用于获取热成像图像；双光相机还用于通过如第一方面的体温检测方法进行体温检测。

本公开的第四方面提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行如第一方面的体温检测方法。

本公开的第五方面提供一种计算机可读存储介质，其中存储有指令，指令被处理器执行时，执行如第一方面的体温检测方法。

本公开提供的体温检测方法、体温检测装置、双光相机、电子设备和计算机可读存储介质，通过可见光图像进行人脸检测，得到相对准确的人脸位置信息，继而得到热成像图像中的人脸位置，再对热成像图像中的人脸位置部分进行人脸回归，并基于回归结果确定温度，在降低计算成本的同时，大幅提高了准确率。

附图说明

通过参考附图阅读下文的详细描述，本公开实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：

图1示出了根据本公开一实施例体温检测方法的流程示意图；

图2示出了根据本公开另一实施例体温检测方法的流程示意图；

图3示出了根据本公开另一实施例体温检测方法的流程示意图；

图4示出了根据本公开另一实施例体温检测方法的流程示意图；

图5示出了根据本公开另一实施例体温检测方法的流程示意图；

图6示出了根据本公开一实施例的体温检测装置示意图。

图7示出了根据本公开另一实施例的体温检测装置示意图。

图8是本公开实施例提供的一种电子设备示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。

需要注意，虽然本文中使用“第一”、“第二”等表述来描述本公开的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。

在一些相关技术中，通过双光相机测温，需要完成可见光图像和温度像的对齐，但是由于相机的摆放位置以及相机本身参数的差异，两幅图像无法同时对齐，导致人脸位置映射的时候产生偏移，使得提取的温度数据不准；或通过人工对齐的方法对齐两幅图像，每次使用都必须人工对齐，效率低下，且人工对齐的精度不高。

在另一些相关技术中，采用基红外相机采集热成像图像，在热成像图像上直接进行人脸检测，但由于热成像图像的像素低，热成像图像中的人脸信息不如可见光充足，导致人脸检测比较容易出现误检和漏检。

为了解决上述问题，本公开实施例提供了一种体温检测方法10，可以用于具有可见光镜头和红外镜头的双光相机，也可以用于手机或电脑等终端设备，还可以用于云端服务器等，如图1所示，包括：步骤S11-步骤S15。下文分别对上述步骤进行详细说明：

步骤S11，获取目标人体的可见光图像和热成像图像。

为方便的对目标人体进行准确的体温检测，需要获取目标人体的可见光图像和热成像图像，可见光图像由于像素高，纹理清晰，主要用于检测人体，确定人体的位置，而热成像图像具有温度信息，主要用于确定温度。

在一实施例中，通过双光相机的可见光镜头获取可见光图像；通过双光相机的红外镜头获取热成像图像。本实施例中，通过双光相机的两个不同的镜头分别获取可见光图像和热成像图像，由于双光相机的两个镜头临近设置，因此拍摄的图像位置和角度相对接近，便于对齐，并且体温检测方法10可以直接应用于双光相机，从而方便的获取图像，而在体温检测方法10应用于终端设备或云端服务器时，可以通过接收来自双光相机采集的图像进行测温。

而在另一些实施例中，也可以通过独立设置的具有可见光镜头的可见光相机、具有红外镜头的红外相机分别采集图像，再传输至终端设备或云端服务器，并通过体温检测方法10进行温度检测。

步骤S12，基于可见光图像，进行人脸检测，获取可见光图像的第一人脸位置信息。

可见光图像纹理清晰，像素分辨率高，可以通过人脸检测相对准确的检出可见光图像中的是否具有人脸以及人脸位置。在一些实施例中，可以通过一训练好的神经网络，如卷积神经网络(CNN)进行人脸检测，输入可见光图像，或输入经过粗定位的可见光图像的部分图像，输出第一人脸位置信息。其中，第一人脸位置信息可以是可见光图像中的人脸框的位置、大小，可以通过[x,y,w,h]表达，其中，x，y分别为水平方向和竖直方向的坐标，一般是人脸框左上角点坐标，w，h分别为人脸框的宽度和高度。同时，还可以输出人脸框的置信度，即该人脸框中含有人脸的可能性，可以通过[x,y,w,h,s]表达，其中s即为人脸框的置信度。

步骤S13，基于第一人脸位置信息，确定热成像图像中的第二人脸位置信息。

在可见光图像上通过人脸检测，确定第一人脸位置信息后，基于第一人脸位置信息在可见光图像上的位置，根据坐标、图像比例，映射到热成像图像中，从而确定热成像图像的第二人脸位置信息。由于可见光图像和热成像图像是对一个场景采集的图像，尤其是通过双光相机的两个相邻设置的镜头采集的情况下，两图像的拍摄的图像中，位置信息接近。因此，可以根据第一人脸位置信息在可见光图像中的位置，并基于两图像的像素比例等因素，将第一人脸位置信息大致映射到热成像图像中。

在一实施例中，如图2所示，在步骤S13之前，体温检测方法10还包括步骤S16，将可见光图像与热成像图像进行对齐。本实施例中，在热成像图像上确定第二人脸位置信息之前，先将两图像进行粗对齐，克服了可见光图像与热成像图像的图像内容偏移以及像素分辨率不同的问题，能够使得在确定第二人脸位置信息时，即基于可见光图像中检测到的人脸确定热成像图像中的人脸的位置时，能够更加准确。

在一实施例中，如图3所示，步骤S16可以包括：步骤S161，通过特征点检测，分别确定可见光图像的第一特征点和热成像图像的第二特征点；步骤S162，基于第一特征点和第二特征点，通过平移和/或缩放，将热成像图像与可见光图像对齐。本实施例中，可以通过网络模型，分别检测可见光图像和热成像图像像中的特征点，其中，特征点可以是通过尺度不变特征变换(Scale-invariant feature transform，SIFT)的方式、加速稳健特征(Speeded-Up Robust Features，SURF)的方式，或其他方式确定两个图像中第一特征点和第二特征点，第一特征点和第二特征点可以为多个。再通过特征点匹配的方式，对两幅图像的第一特征点和第二特征点进行匹配，获取到对应的计算矩阵。一般来说，获取的可见光图像和热成像图像，不存在明显的旋转方面的差异，因此，可以限制矩阵只进行平移和缩放的操作，而不做旋转，从而可以对热成像图像和可见光图像之一或两者进行平移、或缩放、或同时进行平移和缩放的方式，将热成像图像与可见光图像对齐。通过上述方式，可以通过模型进行对齐操作，高效而准确，同时经过对齐的图像，能够更加准确的热成像图像中确定第二人脸位置信息。

在一实施例中，如图4所示，步骤S13可以包括：步骤S131，基于第一人脸位置信息，通过尺寸扩充，得到扩大位置信息；步骤S132，基于扩大位置信息，确定第二人脸位置信息。本实施例中，在通过对可见光图像进行人脸检测得到第一人脸位置信息后，可以先进行尺寸扩充(resize)操作，对得到的人脸框进行扩大，即可以表达为将[x,y,w,h]转换为[x’,y’,w’,h’]，将人脸框以自身中心为中心，向四周扩张，如10％或20％或其他尺寸。再基于扩张后得到的扩大位置信息，根据前述方式，映射到热成像图像中，得到第二人脸位置信息，该映射也可以在前述对齐之后进行，使得映射更加方便和准确。通过尺寸扩充，扩大了范围，从而在热成像图像与可见光图像存在一定偏差时，也能尽量的保证在热成像图像中确定的第二人脸位置信息，即在热成像图像中确定的人脸框中，具有在可见光图像中检测到的人脸，从而提高了准确性、可靠性。

步骤S14，基于第二人脸位置信息，通过人脸回归模型，得到第三人脸位置信息。

在热成像图像中，通过第二人脸位置信息，大致确定了人脸位置，再通过人脸回归模型，对第二人脸位置信息确定的人脸位置，即热成像图像中确定的人脸框中的图像进行人脸回归，从而得到第三人脸位置信息。其中，第三人脸位置信息可以是一个更加精确的人脸框，其四边的位置紧贴人脸的轮廓外延，从而准确的定位人脸位置。人脸回归模型能够方便快捷的对人脸进行定位，并且，由于已经通过可见光图像确定了第二人脸位置信息，无需在热成像图像的全图范围进行定位，仅考虑前景，忽略背景带来的影响，从而降低了计算成本，也提高了准确率。在一些实施例中，也可以用人脸检测模型代替人脸回归模型，会增加大量成本，并且在热成像图像分辨率低，纹理质量差的情况下，准确率不高。

步骤S15，基于第三人脸位置信息，根据热成像图像的温度信息，得到目标人物的体温。

经过在热成像图像中进行人脸回归得到的第三人脸位置信息，能够准确的定位人脸，再结合热成像图像中带有的温度信息，从而确定目标人物的体温。

在一实施例中，步骤S15可以包括：基于第三人脸位置信息，确定目标人物的测温区域；基于测温区域，根据热成像图像的温度信息，确定目标人物的体温。本实施例中，可以根据确定的第三人脸位置信息进一步确定出测温区域，例如，通过坐标得到用于测温的人脸额头区域，再结合该区域的温度信息，可以通过均值、或峰值、或其他方式确定人体的准确体温。

本公开实施例通过在可见光图像中进行人脸检测，能够高效、准确的获取人脸大致位置，基于此确定热成像图像中的人脸位置，从而能够忽略背景，仅针对带有人脸图像的前景，通过人脸回归模型，回归得到精确的人脸位置，进而再结合温度信息获取准确的人体体温。本公开的体温检测方法10能够准确、高效的获取人体体温。

本公开的体温检测方法10还可以结合阈值判断，例如在得到的目标人物的体温高于阈值的情况下，如高于37.5摄氏度，则进行提示等操作，从而方便快捷的对发烧人员进行排查。

在一实施例中，如图5所示，步骤S14还可以包括：得到第三人脸位置信息的置信度。在人脸回归模型进行人脸回归得到第三人脸位置信息的同时，还可以得到该第三人脸位置信息的置信度，根据第三人脸位置信息确定的人脸框中，确定含有人脸的概率值。并且，体温检测方法10还可以包括：步骤S17，判断置信度是否大于置信度阈值，若置信度大于置信度阈值，则执行步骤S15，即基于第三人脸位置信息，根据热成像图像的温度信息，得到目标人物的体温，若置信度小于或等于置信度阈值，则不执行步骤S15，即不进行温度检测。在置信度高于置信度阈值时，可以判断具有人脸，从而可以进一步基于回归得到的第三人脸位置信息和温度信息确定人体温度。而在置信度未超过置信度阈值的情况下，即第三人脸位置信息对应的位置中不包括人脸，此时进行温度检测得到的数据不准确，可能会导致后续误操作、误报警等后果，因此不进行温度检测。

基于同一发明构思，本公开还提供一种体温检测装置100，如图6所示，体温检测装置100包括：获取模块110，用于获取目标人体的可见光图像和热成像图像；检测模块120，用于基于可见光图像，进行人脸检测，获取可见光图像的第一人脸位置信息；映射模块130，用于基于第一人脸位置信息，确定热成像图像中的第二人脸位置信息；回归模块140，用于基于第二人脸位置信息，通过人脸回归模型，得到第三人脸位置信息；确定温度模块150，用于基于第三人脸位置信息，根据热成像图像的温度信息，得到目标人物的体温。

在一例中，如图7所示，体温检测装置100还包括：对齐模块160，用于在映射模块130执行基于第一人脸位置信息，确定热成像图像中的第二人脸位置信息之前，将可见光图像与热成像图像进行对齐。

在一例中，对齐模块160还用于：通过特征点检测，分别确定可见光图像的第一特征点和热成像图像的第二特征点；基于第一特征点和第二特征点，通过平移和/或缩放，将热成像图像与可见光图像对齐。

在一例中，映射模块130还用于：基于第一人脸位置信息，通过尺寸扩充，得到扩大位置信息；基于扩大位置信息，确定第二人脸位置信息。

在一例中，回归模块140还用于：得到第三人脸位置信息的置信度；若置信度大于置信度阈值，则确定温度模块150执行基于第三人脸位置信息，根据热成像图像的温度信息，得到目标人物的体温。

在一例中，确定温度模块150还用于：基于第三人脸位置信息，确定目标人物的测温区域；基于测温区域，根据热成像图像的温度信息，确定目标人物的体温。

在一例中，获取模块110用于：通过双光相机的可见光镜头获取可见光图像；通过双光相机的红外镜头获取热成像图像。

关于上述实施例中的体温检测装置100，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

基于同一发明构思，本公开还提供一种双光相机，双光相机包括：可见光镜头，用于获取可见光图像；红外镜头，用于获取热成像图像；双光相机还用于通过前述任一实施例的体温检测方法10进行体温检测。从而能够方便、准确、高效的检测人员的体温。

如图8所示，本公开的一个实施方式提供了一种电子设备200。其中，该电子设备200包括存储器201、处理器202、输入/输出(Input/Output，I/O)接口203。其中，存储器201，用于存储指令。处理器202，用于调用存储器201存储的指令执行本公开实施例的体温检测方法。其中，处理器202分别与存储器201、I/O接口203连接，例如可通过总线***和/或其他形式的连接机构(未示出)进行连接。存储器201可用于存储程序和数据，包括本公开实施例中涉及的体温检测方法的程序，处理器202通过运行存储在存储器201的程序从而执行电子设备200的各种功能应用以及数据处理。

本公开实施例中处理器202可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器202可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。

本公开实施例中的存储器201可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。

本公开实施例中，I/O接口203可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备200的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本公开实施例中I/O接口203可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。

可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本公开实施例涉及的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

出于示例和描述的目的，已经给出了本公开实施的前述说明。前述说明并非是穷举性的也并非要将本公开限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本公开的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本公开的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本公开。

Claims (11)

1.一种体温检测方法，其中，所述方法包括：

获取目标人体的可见光图像和热成像图像；

基于所述可见光图像，进行人脸检测，获取所述可见光图像的第一人脸位置信息；

基于所述第一人脸位置信息，确定所述热成像图像中的第二人脸位置信息；

基于所述第二人脸位置信息，通过人脸回归模型，得到第三人脸位置信息；

基于所述第三人脸位置信息，根据所述热成像图像的温度信息，得到所述目标人物的体温。

2.根据权利要求1所述的方法，其中，在所述基于所述第一人脸位置信息，确定所述热成像图像中的第二人脸位置信息之前，所述方法还包括：

将所述可见光图像与所述热成像图像进行对齐。

3.根据权利要求2所述的方法，其中，所述将所述可见光图像与所述热成像图像进行对齐，包括：

通过特征点检测，分别确定所述可见光图像的第一特征点和所述热成像图像的第二特征点；

基于所述第一特征点和所述第二特征点，通过平移和/或缩放，将所述热成像图像与所述可见光图像对齐。

4.根据权利要求1-3任一项所述的方法，其中，所述基于所述第一人脸位置信息，确定所述热成像图像中的第二人脸位置信息，包括：

基于所述第一人脸位置信息，通过尺寸扩充，得到扩大位置信息；

基于所述扩大位置信息，确定所述第二人脸位置信息。

5.根据权利要求1所述的方法，其中，

基于所述第二人脸位置信息，通过人脸回归模型，得到第三人脸位置信息，包括：得到所述第三人脸位置信息的置信度；

所述方法还包括：

若所述置信度大于置信度阈值，则执行所述基于所述第三人脸位置信息，根据所述热成像图像的温度信息，得到所述目标人物的体温。

6.根据权利要求1所述的方法，其中，

所述基于所述第三人脸位置信息，根据所述热成像图像的温度信息，得到所述目标人物的体温，包括：

基于所述第三人脸位置信息，确定所述目标人物的测温区域；

基于所述测温区域，根据所述热成像图像的温度信息，确定所述目标人物的体温。

7.根据权利要求1所述的方法，其中，所述获取可见光图像和热成像图像，包括：

通过双光相机的可见光镜头获取所述可见光图像；

通过所述双光相机的红外镜头获取所述热成像图像。

8.一种体温检测装置，其中，所述装置包括：

获取模块，用于获取目标人体的可见光图像和热成像图像；

检测模块，用于基于所述可见光图像，进行人脸检测，获取所述可见光图像的第一人脸位置信息；

映射模块，用于基于所述第一人脸位置信息，确定所述热成像图像中的第二人脸位置信息；

回归模块，用于基于所述第二人脸位置信息，通过人脸回归模型，得到第三人脸位置信息；

确定温度模块，用于基于所述第三人脸位置信息，根据所述热成像图像的温度信息，得到所述目标人物的体温。

9.一种双光相机，其中，所述双光相机包括：

可见光镜头，用于获取可见光图像；

红外镜头，用于获取热成像图像；

所述双光相机还用于通过如权利要求1-7任一项所述的体温检测方法进行体温检测。

10.一种电子设备，其中，所述电子设备包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行如权利要求1-7任一项所述的体温检测方法。

11.一种计算机可读存储介质，其中存储有指令，所述指令被处理器执行时，执行如权利要求1-7任一项所述的体温检测方法。

Images