CN113488078B - 一种健康状态监测方法及设备 - Google Patents

Abstract

本申请公开了一种健康状态监测方法及设备。本申请中，智能管家设备接收声音数据，获得所述声音数据的声音特征信息；若所述声音特征信息与健康状态异常时发出的声音的特征信息相匹配，则获得所述声音数据的声源位置；发送第一控制指令，所述第一控制指令用于触发摄像头采集所述声源位置对应区域的红外热成像影像和可见光影像；获得所述可见光影像中的目标监测对象的人脸，并根据所述目标监测对象的人脸位置获得所述红外热成像影像中所述目标监测对象的体温；进一步向该目标监测对象对应的智能穿戴设备发送第二控制指令，以获得该智能穿戴设备检测到的健康状态数据。

Description

一种健康状态监测方法及设备

技术领域

本申请涉及智能家居技术领域，特别涉及一种健康状态监测方法及设备。

背景技术

随着家电智能化越来越普及，进行健康状态监测的需求也越来越迫切。

目前，基于健康数据采集设备的健康护理、监测方式越来越多，如使用智能测温枪测量体温、通过智能穿戴设备监测心率等。

上述健康状态监测方式中，只有当用户使用相应的智能设备才会进行健康数据的测量和记录，属于被动式监测，智能化水平较低。

发明内容

本申请示例性的实施方式中提供一种健康状态监测方法及设备，以提高健康状态监测的智能化。

根据示例性的实施方式中的一方面，提供一种健康状态监测方法，该方法包括：

接收声音数据，获得所述声音数据的声音特征信息；

若所述声音特征信息与健康状态异常时发出的声音的特征信息相匹配，则获得所述声音数据的声源位置；

发送第一控制指令，所述第一控制指令用于触发摄像头采集所述声源位置对应区域的红外热成像影像和可见光影像；

接收红外热成像影像数据和可见光影像数据，获得所述可见光影像中的目标监测对象的人脸，并根据所述目标监测对象的人脸位置获得所述红外热成像影像中所述目标监测对象的体温。

本申请的一些实施例中，还包括：向服务器发送所述目标监测对象的信息以及所述目标监测对象的健康状态信息，或者将所述目标监测对象的健康状态信息发送给请求查询的用户终端；其中，所述健康状态信息至少包括所述目标监测对象的体温。

本申请的一些实施例中，获得所述红外热成像影像中所述目标监测对象的体温之后，还包括：判断所述目标监测对象的体温是否在设定的正常体温范围内，若所述目标监测对象的体温不在所述正常体温范围内，则向服务器发送所述目标监测对象的信息以及所述目标监测对象的健康状态信息；其中，所述健康状态信息至少包括所述目标监测对象的体温。

本申请的一些实施例中，若提取到的声音特征信息与健康状态异常时发出的声音的特征信息相匹配，则还包括：

向所述目标监测对象对应的智能穿戴设备发送第二控制指令；

接收所述智能穿戴设备根据所述第二控制指令发送的健康状态检测数据；

向服务器发送所述目标监测对象的信息以及所述目标监测对象的健康状态信息，所述健康状态信息至少包括所述目标监测对象的体温以及所述智能穿戴设备的健康状态检测数据。

本申请的一些实施例中，所述头发送第一控制指令，包括：根据预先设置的控制策略判断健康状态异常时发出的声音是否满足所述控制策略规定的监测控制条件，若满足，则发送第一控制指令。

本申请的一些实施例中，所述健康状态异常时发出的声音包括：咳嗽声、打喷嚏声中的至少一种。

本申请的一些实施例中，所述声学传感器包括麦克风阵列，所述目标摄像头包括红外摄像头模组和可见光摄像头模组。

根据示例性的实施方式中的一方面，提供一种健康状态监测方法，该包括：

接收声音数据，获得所述声音数据的声音特征信息；

若所述声音特征信息与健康状态异常时发出的声音的特征信息相匹配，则根据所述声音特征信息对应的目标监测对象，向所述目标监测对象对应的智能终端设备发送控制指令，所述控制指令用于触发所述智能终端设备采集所述目标监测对象的健康状态信息；

接收所述智能终端设备采集并发送的健康状态信息。

本申请的一些实施例中，还包括：向服务器发送所述目标监测对象的信息以及所述目标监测对象的健康状态信息，或者将所述目标监测对象的健康状态信息发送给请求查询的用户终端。

根据示例性的实施方式中的一方面，提供一种智能管家设备，所述智能管家设备被配置为：

接收声音数据，获取所述声音数据的声音特征信息；

若所述声音特征信息与健康状态异常时发出的声音的特征信息相匹配，则获得所述声音数据的声源位置；

发送第一控制指令，所述第一控制指令用于触发摄像头采集所述声源位置对应区域的红外热成像影像和可见光影像；

接收红外热成像影像数据和可见光影像数据，获得所述可见光影像中的目标监测对象的人脸，并根据所述目标监测对象的人脸位置获得所述红外热成像影像中所述目标监测对象的体温。

本申请的一些实施例中，所述智能关键设备被进一步配置为：向服务器发送所述目标监测对象的信息以及所述目标监测对象的健康状态信息，或者将所述目标监测对象的健康状态信息发送给请求查询的用户终端；其中，所述健康状态信息至少包括所述目标监测对象的体温。

本申请的一些实施例中，所述智能管家设备还被配置为：

若提取到的声音特征信息与健康状态异常时发出的声音的特征信息相匹配，则向所述目标监测对象对应的智能穿戴设备发送第二控制指令；

接收所述智能穿戴设备根据所述第二控制指令发送的健康状态检测数据；

向服务器发送所述目标监测对象的信息以及所述目标监测对象的健康状态信息，所述健康状态信息至少包括所述目标监测对象的体温以及所述智能穿戴设备的健康状态检测数据。

根据示例性的实施方式中的一方面，提供一种智能管家设备，所述智能管家设备被配置为：

接收声音数据，获得所述声音数据的声音特征信息；

若所述声音特征信息与健康状态异常时发出的声音的特征信息相匹配，则根据所述声音特征信息对应的目标监测对象，向所述目标监测对象对应的智能穿戴设备发送控制指令，所述控制指令用于触发所述智能穿戴设备采集所述目标监测对象的健康状态信息；

接收所述智能穿戴设备采集并发送的健康状态信息。

本申请的一些实施例中，所述智能管家设备被进一步配置为：向服务器发送所述目标监测对象的信息以及所述目标监测对象的健康状态信息，或者将所述目标监测对象的健康状态信息发送给请求查询的用户终端。

根据示例性的实施方式中的一方面，提供一种智能终端设备，包括：声学传感器、摄像头，以及与所述声学传感器和所述摄像头耦接的控制器，所述摄像头包括可见光摄像头模组和红外热成像摄像头模组；所述控制器被配置为：

获取所述声学传感器检测的音频数据，并获得所述音频数据的特征信息；

若所述声音特征信息与健康状态异常时发出的声音的特征信息相匹配，则获得所述声音数据的声源位置；

触发所述摄像头采集所述声源位置对应区域的红外热成像影像和可见光影像；

根据所述摄像头采集的红外热成像影像数据和可见光影像数据，获得所述可见光影像中的目标监测对象的人脸，并根据所述目标监测对象的人脸位置获得所述红外热成像影像中所述目标监测对象的体温。

本申请的一些实施例中，所述控制器被进一步配置为：向服务器发送所述目标监测对象的信息以及所述目标监测对象的健康状态信息，或者将所述目标监测对象的健康状态信息发送给请求查询的用户终端；其中，所述健康状态信息至少包括所述目标监测对象的体温。

本申请的上述一些实施例中，当检测到用户在健康状态异常时发出的声音(比如咳嗽)时，智能管家设备可唤醒设置有摄像头的智能终端采集声源位置对应区域的红外热成像影像和可见光影像，根据可见光影像中的数据进行人脸识别，若识别得到目标监测对象的人脸，则根据红外热成像影像检测得到该目标监测对象的体温，从而实现对用户健康状态的智能化监控以及健康状态数据的采集，提高了用户感受。

在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本申请各较佳实施例。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请实施例中的健康状态监测***的结构示意图；

图2示例性示出了本申请实施例中的摄像头的结构示意图；

图3示例性示出了本申请实施例中的智能管家设备的结构示意图；

图4示例性示出了本申请实施例提供的健康状态监测流程示意图；

图5示例性示出了本申请实施例提供的智能终端设备的结构示意图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清除、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，″/″表示或的意思，例如，A/B可以表示A或B；文本中的″和/或″仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，″多个″是指两个或多于两个。

以下，术语″第一″、″第二″仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有″第一″、″第二″的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，″多个″的含义是两个或两个以上。

图1示例性示出了本申请实施例提供的健康监测***的结构。

如图所示，各种类型的智能监测设备(如图中所示的声学传感器101、摄像头102、智能穿戴设备103)与智能管家设备104连接，智能管家设备104通过网络(未在图中示出)与服务器105连接。服务器105还可以通过移动通信网络106与用户的移动终端107进行通信连接。在一些应用场景中，智能监测设备与智能管家设备之间可通过局域网络连接，智能管家设备可通过互联网与服务器连接。

其中，与智能管家设备连接的声学传感器101、摄像头102、智能穿戴设备103等设备，可统称为智能终端设备。智能终端设备中具有监测功能(比如音视频数据采集功能)的设备可称为智能监测设备(比如声学传感器101、摄像头102)。在一些实施例中，声音采集以及图像采集功能可能集成在一个智能终端设备中，比如″智感器″既可以具有音频采集功能(其中设置有声学传感器)，同时也具有图像或视频采集功能(其中设置有摄像头)。需要说明的是，本申请的实施例中，对于设备的分类及命名仅为示例，并不构成对本申请的限制。

智能监测设备的类型可以是一种也可以是多种(两种或两种以上)，比如，智能监测设备可包括带有通信功能的声学传感器、摄像头、智能穿戴设备等。智能监测设备的数量可以是一个也可以是多个。图1仅示例性示出了声学传感器101、摄像头102、智能穿戴设备103。其中，声学传感器和摄像头可固定安装在需要进行监控的区域，比如安装在住宅内的客厅、卧室、厨房等位置，智能穿戴设备可被穿戴在被监测用户身上。

智能监测设备具有数据采集功能和通信功能，能够将采集到的监测数据发送给智能管家设备。在一些示例中，智能监测设备包括数据采集器以及与其连接的通信器，数据采集器可用于采集监测数据，通信器可将监测数据发送给智能管家设备。在另一些示例中，智能监测设备包括数据采集器、通信器，以及与数据采集器、通信器连接的处理器，其中，数据采集器用于采集监测数据，处理器根据采集数据进行处理，通信器将数据采集器采集到的监测数据和/或处理器处理得到的信息发送给智能管家设备。

其中，智能监测设备中的声学传感器可以是单麦克风，也可以是麦克风阵列，比如以6个麦克风形成环绕结构的麦克风阵列。麦克风阵列具备波束形成、抑制噪声和特定波束方向的语音增强的特性，可以满足较远距离、高品质的声音数据采集，确保更高的语音识别成功率和准确率。同时，基于麦克风阵列具备波束形成的特性，可以根据麦克风阵列中每个麦克风采集到的声音数据的差异，对声源的位置进行定位。

智能监测设备中的摄像头至少包括红外热成像摄像头模组和可见光摄像头模组。在一些实施例中，红外热成像摄像头模组和可见光摄像头模组可以独立部署以实现单独控制，用于采集同一区域(比如客厅范围)的红外热成像摄像头模组和可见光摄像头模组的安装位置最好尽量靠近，以便能够根据从可见光摄像头模组采集的图像中识别的对象，确定红外热成像摄像头模组采集的影像中该对象的体温。在另一些实施例中，红外热成像摄像头模组和可见光摄像头模组可以设置在同一摄像设备中，比如该两个模组可共用一个云台，以便实现对这两个模组的拍摄角度进行统一控制。其中，云台是摄像头模组的支撑部件，云台可由控制电机带动进行不同维度或角度的转动，从而带动红外热成像摄像头模组和可见光摄像头模组同时调整拍摄角度。

图2示例性示出了本申请实施例中的一种摄像设备的结构。如图所示，摄像设备200包括红外热成像摄像头模组201、可见光摄像头模组202，控制电机203与红外热成像摄像头模组201和见光摄像头模组202的云台连接，用于控制云台转动以使红外热成像摄像头模组201和可见光摄像头模组202采集指定区域的影像。通信器204可将红外热成像摄像头模组201采集到的红外热成像影像数据发送给智能管家设备，以及将可见光摄像头模组202采集的可见光影像数据发送给智能管家设备。

在一些实施例中，智能管家设备可向摄像设备200发送控制指令，该控制指令可触发(唤醒)红外热成像摄像头模组201以及可见光摄像头模组202进行影像采集，还可以控制该摄像设备的云台的转动角度使得红外热成像摄像头模组201和可见光摄像头模组202朝向控制指令指示的区域。

智能穿戴设备103可包括智能手环等设备，可以用来监测心率、血压等人体健康状态数据。

智能管家设备104可以是独立设备，也可以与其他设备集成形成的，或者是通过在其他设备(比如家庭网关或机顶盒)中增加本申请实施例提供的功能实现的。

智能管家设备104可具备声音数据处理、影像数据处理、监测控制等功能。声音数据处理功能主要用于实现对声学传感器检测到的声音数据进行处理和分析，比如进行音频降噪、回声消除等处理，还可以进行语音识别以及声源位置定位等。其中，语音识别和声源位置定位功能可由智能管家设备独立完成，也可请求服务器完成。影像数据处理功能主要用于实现对热成像摄像头模组采集的热成像影像数据进行处理和分析，获得人体体温信息，对可见光摄像头模组采集的可见光影像数据进行处理和分析，进行人脸识别。影像数据处理功能可由智能管家设备独立完成，也可请求服务器完成。监测控制功能主要用于实现对摄像头(红外摄像头模组和可见光摄像头模组)发送控制指令以唤醒摄像头进行影像数据采集并控制摄像头的拍摄角度。监测控制功能还能够用于实现向智能穿戴设备发送控制指令，以触发智能穿戴设备进行检测以及数据上报。

智能管家设备104可将目标监测对象的健康状态信息(比如通过红外热成像摄像头模组检测到的体温，通过智能穿戴设备检测到的心率)发送给服务器，以便由服务器通过移动通信网络发送给目标监测对象关联的用户所使用的移动终端。智能管家设备104还可以提供健康状态查询功能，比如用户可通过所使用的终端(比如手机)上的应用程序(APP)向智能管家设备104发送查询请求，智能管家设备104可以响应该请求，将所请求查询的目标监测对象的健康状态信息发送给该用户终端，以使得用户可通过该APP查看目标监测对象的健康状态。

图3示例性示出了本申请实施例中的一种智能管家设备的结构。如图所示，智能管家设备300包括声音数据处理模块301、监测控制模块302、影像数据处理模块303，进一步地，还可包括查询响应模块304。

其中，声音数据处理模块301用于接收声音数据(比如接收声学传感器检测并发送的声音数据，或者接收具有声学传感器的设备发送的声音数据)，进行声音数据处理(比如降噪等)以及提取声音特征信息，并判断提取到的声音特征信息与健康状态异常时发出的声音的特征信息是否匹配。在另一些实施例中，声音数据处理模块301也可仅进行声音数据处理(比如降噪等)，将处理后的声音数据发送给服务器，以请求服务器进行上述声音特征信息的提取和比对，并接收服务器返回的处理结果。

监测控制模块302用于根据声音数据处理模块301获得到的声音特征信息比对结果，若确定当前监测到的声音为健康状态异常时发出的声音(比如咳嗽)，则向目标摄像头发送控制指令，该控制指令用于触发目标摄像头采集该声音的声源位置对应区域的红外热成像影像和可见光影像。

影像数据处理模块303用于对影像数据进行处理和分析，比如，对可见光摄像头模组采集到的可见光影像进行人脸识别，确定其中是否存在目标监测对象；对红外热成像摄像头采集的红外热成像影像进行分析，获得其中目标监测对象的体温。在另外一些实施例中，影像数据处理模块303也可将影像数据发送给服务器，以请求服务器进行上述影像分析操作(比如人脸识别、体温获取)，并接收服务器返回的处理结果。

其中，监测控制模块302在影像数据处理模块303确定可见光影像中存在目标监测对象的人脸后，可指示影像数据处理模块303从红外热成像影像中获取该目标监测对象的体温。

在一些实施例中，声音数据处理模块301还可以获得声音数据的声源位置并提供给监测控制模块302；监测控制模块302可根据声音数据的声源位置确定拍摄角度，以使得摄像头能够拍摄该位置所在区域的影像，并将该拍摄角度信息携带在控制指令中发送给目标摄像头。

在一些实施例中，监测控制模块302还可以向目标监测对象的智能穿戴设备发送控制指令，以触发该智能穿戴设备检测目标监测对象的健康状态数据并上报。

在一些实施例中，监测控制模块302还可以将目标监测对象的信息以及目标监测对象的健康状态信息发送给服务器。其中，目标监测对象的健康状态信息可包括从热成像影像中获取到的体温，进一步地还可包括智能穿戴设备上报的健康状态数据(比如心率)。

查询响应模块304用于接收用户终端发送的健康状态信息查询请求，作为响应，将所请求查询的对象的健康状态信息发送给该用户终端。

服务器105可根据智能管家设备发送的目标监测对象的健康状态信息进行分析，可以将目标监测对象的健康状态信息发送给相关用户的移动终端。在另一些实施例中，如果服务器105根据对目标监测对象的健康状态信息的分析结果判定符合告警条件，则可进行告警，比如通过移动通信网络106向目标监测对象对应的告警目标用户(比如目标监测对象的家庭成员)使用的移动终端107发送告警信息。

服务器105可以是一个独立部署的服务器，也可以是分布式服务器，还可以是服务器集群。服务器105可采用云技术，以提供强大的处理能力。

基于上述架构，在一种实际应用场景中，可将一个家庭(住宅)内的一些智能监测设备连接到智能管家设备，并接入到服务器，智能管家设备根据智能监测设备中的麦克风阵列采集的声音，若判断该声音为咳嗽声，则触发红外热成像摄像头模组和可见光摄像头模组拍摄咳嗽声位置区域的影像，若根据可见光摄像头模组拍摄的影像识别得到目标监测对象，则根据热成像摄像头拍摄的影像确定该目标监测对象的体温，并控制该目标监测对象所穿戴的智能穿戴设备进行心率数据检测并上报。这样，智能管家设备可在监测到有人咳嗽时，及时获得目标监测对象的体温、心率等健康状态信息，以便使得监测对象所在家庭的其他家庭成员通过APP进行查询，或者由智能管家设备发送给服务器，由服务器发送给该目标监测对象所在家庭的其他家庭成员使用的移动终端上。

以图1所示的***架构为例，本申请实施例中，可首先搭建上述***，具体可包括以下配置操作：

(1)注册智能终端设备。

将一个或多个地理范围内的智能终端设备与智能管家设备连接，并在智能管家设备和服务器中对智能终端设备进行注册。其中，注册的智能终端设备可包括具有监测功能的智能终端设备(如声学传感器、摄像头)以及智能穿戴设备等。其中，一个地理范围可以是一个住宅、一套居所、一个生产车间、一个公司办公室等。该地理范围内的智能监测设备除了固定安装在该地理范围内的智能监测设备以外，还可以包括该地理范围内可移动的可穿戴设备，比如可将一个住宅内各位置安装的智能监测设备以及居住于该住宅内的家庭成员的可穿戴设备与该住宅内的智能管家设备连接，并在智能管家设备和服务器中进行注册，比如，可将一个家庭的一个住宅内的智能监测设备进行注册，形成与该家庭关联的智能终端设备列表。

智能终端设备列表中可包括设备的相关信息，比如可包括：设备的ID、设备的地址(如IP地址、MAC地址等)、设备的类型(比如声学传感器、摄像头)、设备的所处位置等。

(2)注册目标监测对象的信息。

可在智能管家设备和/或服务器中注册目标监测对象的信息。所注册的目标监测对象的信息可包括用户标识、用户身份(比如家庭成员的角色)、人脸特征信息等，进一步地还可包括与该目标监测对象关联的智能穿戴设备的信息，以使得智能管家设备向该目标监测对象对应的智能穿戴设备发送控制指令，以触发该智能穿戴设备对该目标监测对象的健康状态进行检测。

(3)注册终端的呼叫号码。

将需要获得目标监测对象的健康状态信息或告警信息的用户的终端的呼叫号码在服务器中进行注册。其中，所述终端可包括移动终端，如智能手机、平板电脑、智能手环等，也可包括固定终端，比如座机电话。

注册终端的号码的操作为可选操作。

可通过用户移动终端中的健康管理应用程序来完成上述注册操作。该健康管理应用程序可为用户提供相关设置界面，使得用户可基于该设置界面完成上述注册操作。

在实际应用场景中，可将″管理员″角色的家庭成员所使用的终端的呼叫号码进行注册，这样，当家庭成员中的目标监测对象的健康状态发生异常时，服务器可将该目标监测对象的健康状态信息通知给作为″管理员″的家庭成员，以便该家庭″管理员″可以全面了解家庭成员的健康状况。

(4)配置健康状态异常时发出的声音的特征信息。

可在智能管家设备和/或服务器中配置健康状态异常时发出的声音的特征信息，以便将检测到的声音的特征信息与配置的声音特征信息进行比对，从而确定检测到的声音是否是健康状态异常时发出的声音。例如，健康状态异常时发出的声音的特征信息，可包括咳嗽声的特征信息、打喷嚏声的特征信息等。

本申请实施例中，上述注册的智能监测设备列表、目标监测对象、终端的呼叫号码等信息之间可建立关联关系，并可进一步采用标识信息进行标识，比如，可使用家庭地址或其他信息进行标识。举例来说，将地址为″第五街第100号″的住宅内安装在客厅的麦克风阵列、摄像头以及该家庭中角色为″母亲″的家庭成员所穿戴的智能手环作为智能监测设备在智能管家设备和服务器端进行了注册，将该角色为″母亲″的家庭成员注册为目标监测对象，并将该家庭中角色为″家庭管理员″的家庭成员的手机号码进行了注册，并将这些注册信息与家庭地址″第五街第100号″进行关联。

上述各种配置信息可以是智能管家设备和/或服务器中默认设置的，也可以由用户设置，或者两者结合。

图4示例性示出了本申请实施例提供的健康状态监测方法的流程示意图，该流程可由智能管家设备执行。如图所示，该流程可包括如下步骤：

S401：接收声音数据，获得所述声音数据的声音特征信息。

该步骤中，可接收具有声音采集功能的设备(如声学传感器)采集并发送的声音数据。以声学传感器为例，声学传感器(如麦克风阵列)在采集到声音数据后发送给智能管家设备，智能管家设备可以对该声音数据进行简单处理，比如降噪等处理，以得到干净的声音。

S402：若获得到的声音特征信息与健康状态异常时发出的声音的特征信息相匹配，则获得所述声音数据的声源位置。

该步骤中，智能管家设备可提取声音数据的特征信息，并将该特征信息与预先配置的健康状态异常时发出的声音(比如咳嗽、打喷嚏等)的特征信息进行比对，如果两者匹配，则确认接收到的声音数据属于健康状态异常时发出的声音。在另一些实施例中，智能管家设备也可将声音数据发送给服务器，并请求服务器进行识别，作为响应，服务器可将该特征信息与预先配置的健康状态异常时发出的声音(比如咳嗽、打喷嚏等)的特征信息进行比对，如果两者匹配，则确认接收到的声音数据属于健康状态异常时发出的声音，并向智能管家设备返回识别结果。

本申请实施例中，可预先通过采集海量声音数据对声音识别模型进行训练，获得可以较准确识别喷嚏、咳嗽等声音的声音识别模型，并使用该声音识别模型对声学传感器采集并发送的声音数据进行识别。

智能管家设备在确认接收到的声音数据属于健康状态异常时发出的声音后，可确定该声音数据的声源位置。本申请实施例中，由于声学传感器可以是麦克风阵列，因此智能管家设备可以根据该麦克风阵列发送的该阵列中每个麦克风采集到的声音数据，采用相关算法进行声音位置的定位。

S403：向设置有摄像头的智能终端设备发送第一控制指令，所述第一控制指令用于触发所述智能终端设备采集声源位置对应区域的红外热成像影像和可见光影像。

该步骤中，智能管家设备可根据S402中确定出的声源位置，确定出拍摄角度，使得摄像头在该拍摄角度下可拍摄到该生源位置所在的区域。

智能管家设备可根据注册的智能监控设备列表，获得摄像头的地址(如IP地址、MAC地址)，并根据该地址向该摄像头发送控制指令，其中携带根据生源位置确定出的拍摄角度。

在一些实施例中，可预先设置控制策略或条件，智能管家设备确定声学传感器监测到的声音为健康状态异常时发出的声音后，可根据该控制策略或条件判断是否满足监测控制的条件，若满足，才向目标摄像头发送第一控制指令，否则不发送控制指令。

其中，控制策略或条件可根据实际需要来设置，比如，当判断在设定长的时间内(比如一分钟内)监测到的咳嗽声数量超过阈值(比如5次)，表明用户可能身体异常，则确定满足控制条件，因此发送第一控制指令。这样可以排除用户因偶尔咳嗽(并非身体异常)导致的不必要的控制操作。

S404：接收智能终端设备(如摄像头)采集并发送的红外热成像影像数据和可见光影像数据，获得所述可见光影像中的目标监测对象的人脸，并根据所述目标监测对象的人脸位置获得所述红外热成像影像中所述目标监测对象的体温。

该步骤中，红外热成像摄像头模组和可见光摄像头模组可被该控制指令所唤醒，摄像头中的控制电机可根据该控制指令中携带的拍摄角度信息控制摄像头云台选择相应角度，以使得红外热成像摄像头模组和可见光摄像头模组的镜头朝向相应区域。红外热成像摄像头模组和可见光摄像头模组被唤醒后进行拍摄，得到红外热成像影像数据和可见光影像数据，并发送给智能管家设备。

智能管家设备接收红外热成像影像数据和可见光影像数据后，对可见光影像数据进行人脸识别，将识别到的人脸的特征信息与预先配置的目标监测对象的人脸的特征信息进行比对，如果确认识别到目标监测对象的人脸，则根据目标监测对象的人脸在可见光影像中的位置，对红外热成像影像中相应位置上的对象(如该人脸所在区域的头部)的体温进行检测，根据红外热成像原理从红外温度点阵中计算获取相应区域的温度，从而得到该目标监测对象的体温。本申请的一些实施例中，由于红外热成像摄像头模组和可见光摄像头模组距离接近且拍摄角度基本相同，因此所拍摄的影像中同一目标在各自影像中的位置基本相同，因此可以根据可见光影像中目标监测对象的人脸位置，确定红外热成像影像中该目标监测对象的位置，进而可检测到该目标监测对象的体温。

S405：向服务器发送目标监测对象的信息以及目标监测对象的健康状态信息，或者将目标监测对象的健康状态信息发送给请求查询的用户终端。其中，所述健康状态信息至少包括目标监测对象的体温。该步骤为可选步骤。

在一些实施例中，智能管家设备可将目标监测对象的信息以及目标监测对象的健康状态信息发送给服务器，以通过服务器将这些信息发送给关联的家庭成员的移动终端，比如通过短消息发送给关联的家庭成员的移动终端，也可以将上述信息推送到关联的家庭程序的移动终端中的健康管理应用程序，还可以将上述信息保持在服务器侧，以便当关联的家庭成员通过健康管理应用程序向服务器发起查询请求以查询上述信息。

在一些实施例中，智能管家设备获得红外热成像影像数据中检测得到目标监测对象的体温之后，可判断目标监测对象的体温是否在设定的正常体温范围内，若目标监测对象的体温不在正常体温范围内，再向服务器发送目标监测对象的信息以及目标监测对象的健康状态信息。

在另一些实施例中，智能管家设备也可以将上述信息进行保存，当关联的家庭成员通过健康管理应用程序向智能管家设备发起查询请求时，可将上述信息提供给该家庭成员查看。

在一些实施例中，若提取到的声音特征信息与健康状态异常时发出的声音的特征信息相匹配，则智能管家设备还可以向目标监测对象对应的目标智能穿戴设备发送第二控制指令，以触发或指示目标智能穿戴设备检测该目标监测对象的健康状态数据(比如心率等)，并将检测到的数据发送给智能管家设备。智能管家设备接收到智能穿戴设备根据第二控制指令发送的健康状态检测数据后，在发送给服务器的监测状态信息中还包括该智能穿戴设备的健康状态检测数据。

在一些实施例中，如果智能管家设备确认声学传感器所检测到的声音数据不属于健康状态异常时发出的声音，而是与预先设置的语音指令相匹配，则响应该语音指令。即，在对识别得到的文本进行语义理解和语义分析，并根据语义分析结果进行决策。例如，***预设当用户说出″健康监测″语音后，通过语音识别对该语音进行分析并识别出文本，通过语义理解实现用户说法的意图理解，当智能管家设备判定用户说出的指令为″健康监测″时，触发***预设的智能监测设备，例如所连接的智能手环，以查询用户心率、血压；并激活红外热成像摄像头模组进行AI(人工智能)体温监测，激活可见光摄像头模组实现人员的角色识别。

在一些实施例中，上述声音采集、识别，以及图像/视频的采集和识别的操作，也可在智能终端设备中实现。

图5示例性示出了该智能终端设备500的结构。如图所示，该智能终端设备设置有声学传感器501、摄像头502以及与声学传感器501和摄像头502耦接的控制器503。该摄像头包括可见光摄像头模组和红外热成像摄像头模组。控制器503被配置为：

获取所述声学传感器检测的音频数据，并获得所述音频数据的特征信息；若所述声音特征信息与健康状态异常时发出的声音的特征信息相匹配，则获得所述声音数据的声源位置；触发所述摄像头采集所述声源位置对应区域的红外热成像影像和可见光影像；根据所述摄像头采集的红外热成像影像数据和可见光影像数据，获得所述可见光影像中的目标监测对象的人脸，并根据所述目标监测对象的人脸位置获得所述红外热成像影像中所述目标监测对象的体温。

在一些实施例中，控制器503被进一步配置为：向服务器发送所述目标监测对象的信息以及所述目标监测对象的健康状态信息，或者将所述目标监测对象的健康状态信息发送给请求查询的用户终端；其中，所述健康状态信息至少包括所述目标监测对象的体温。

在此需要说明的是，本申请实施例提供的上述智能终端设备，能够实现上述方法实施例所实现的方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

在本申请的一些实施例中，智能管家设备接收声音数据，获得所述声音数据的声音特征信息后；若判定该声音特征信息与健康状态异常时发出的声音的特征信息相匹配，则根据所述声音特征信息对应的目标监测对象，向目标监测对象对应的智能终端设备(比如智能穿戴设备)发送控制指令，以触发该智能终端设备采集所述目标监测对象的健康状态信息，并接收该智能终端设备采集并发送的健康状态信息。进一步地，智能管家设备还可以向服务器发送目标监测对象的信息以及所述目标监测对象的健康状态信息，或者将目标监测对象的健康状态信息发送给请求查询的用户终端。

在此需要说明的是，上述流程中一些步骤的具体实现方式，可参照前述实施例，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

本申请的一个或多个实施例的组合，可以支持以下三种智能化监测方式，以方便用户根据使用场景或便利性进行选择，当任意方式触发监测事件时，可根据用户预先设置的关联的智能设备和预设动作执行监测。具体地，可包括以下监测方式：

(1)主动监测方式

主动监测用户健康异常行为，例如，通过麦克风阵列主动监测咳嗽、喷嚏等声音，当监测到咳嗽或喷嚏发生时，智能管家设备可自主唤醒智能监测设备(如摄像头，智能手环)，并自动采集健康数据，实现对用户健康信息的感知及决策的智能化控制。

(2)唤醒监测方式

当用户说出″健康监测″语音指令时，通过语音识别对语音进行分析识别出文本，语义理解实现用户说法的意图理解，当智能管家设备判定用户说出的指令为″健康监测″时，触发预设的智能监测设备进行数据监测，例如触发连接的智能手环查询用户心率、血压，激活红外热成像摄像头模组以根据其拍摄的影像进行AI体温监测，激活可见光摄像头模组以根据其所拍摄的影像进行人员的角色识别。

(3)定时监测方式

为便于老人看护，家庭管理员可根据老人生活起居和行为习惯，通过定时机制主动监测用户健康信息，当定时器机制触发时，智能管家设备可自主唤醒智能监测设备，自动采集健康数据，实现对用户健康信息的感知及决策的智能化控制。

通过以上描述可以看出，本申请实施例中，当声学传感器检测到用户在健康状态异常时发出的声音(比如咳嗽)时，智能管家设备可唤醒摄像头采集声源位置对应区域的红外热成像影像和可见光影像，根据可见光影像中的数据进行人脸识别，若识别得到目标监测对象的人脸，则根据红外热成像影像检测得到该目标监测对象的体温，从而实现对用户健康状态的智能化监控以及健康状态数据的采集，提高了用户感受。

本申请的一个或多个实施例的组合，通过语音特征识别技术、智能化控制技术、人脸识别技术等智能化手段，主动监测用户的健康异常行为，自主唤醒智能监测设备(如摄像头)、自动采集健康数据，实现对用户健康信息的感知及决策的智能化控制，解决了传统智能设备的被动监测、依赖用户行为习惯(即只在用户指令触发下进行操作)、不具备健康数据管理等问题。

本申请实施例中的智能管家设备具备设备互联、数据共享、云端管理等功能，为接入的智能监测设备提供了必要的基础，随着越来越多的涵盖各种健康类型数据的智能化设备的接入，用户的各种健康数据均可覆盖，健康评估指标也将更加精细、全面。

本申请的实施例可以基于5G、物联网(IOT)等互联网技术，实现高速、低时延、海量连接等场景下的应用，使得设备接入、实时性、***兼容性、功耗等方面可以满足业务需要，从而提高用户感受。

本申请实施例实现了主动监测与被动应答方式相结合的智能化健康数据监测，方便用户，尤其是老年人等用户群体的健康数据管理，可满足老人看护等需求。举例来说，家庭成员中角色为″母亲″的家庭成员通常在住宅内活动，属于需要被看护的老年人，可将其的人脸特征信息存着到智能管家设备和/或服务器中。咳嗽声，将该声音数据发送给智能管家设备后，当智能管家设备接收到安装在该住宅的客厅中的麦克风阵列监测到的声音数据后，判断该声音为咳嗽声，则唤醒安装在客厅的摄像头拍摄该咳嗽声位置所在区域的热成像影像和可见光影像，并在从可见光影像中识别出该角色为″母亲″的家庭成员的人脸后，根据热成像影像获得该家庭成员的体温，并触发该家庭成员穿戴的智能穿戴设备进行健康数据的检测和上报，从而获得该家庭成员的健康状态信息，并可进一步使得该家庭中角色为″家庭管理员″的家庭成员获得被监测对象的健康状态信息，以便确定后续采取的应答措施，从而实现智能化老人看护。

根据示例性的实施方式中的再一方面，本申请实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序指令，当所述指令在计算机上运行时，使得所述计算机执行如上所述的处理方法。

由于本申请实施例中的智能管家设备和计算机存储介质可以应用于上述处理方法，因此，其所能获得的技术效果也可参考上述方法实施例，本申请的实施例在此不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

虽然以上描述了本申请的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本申请的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本申请的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本申请的保护范围。

Claims (6)

1.一种健康状态监测方法，其特征在于，所述方法包括：

与一个或多个地理范围内的智能终端设备连接进行注册，记录所述智能终端设备的相关信息，形成注册的智能监测设备列表；其中，注册的智能终端设备包括具有监测功能的智能终端设备和智能穿戴设备；所述智能终端设备的相关信息包括：设备身份识别码ID、设备地址、设备类型、设备的所处位置；

注册目标监测对象的信息；其中，所注册的目标监测对象的信息包括用户标识、用户身份、人脸特征信息、与目标监测对象关联的智能穿戴设备的信息；

注册需要获得目标监测对象的健康状态信息或告警信息的用户的终端的呼叫号码；

配置健康状态异常时发出的声音的特征信息；

建立注册的智能监测设备列表、目标监测对象、终端的呼叫号码的关联关系；

接收声音数据，获得所述声音数据的声音特征信息；

若通过声音识别模型确定所述声音特征信息与健康状态异常时发出的声音的特征信息相匹配，则根据麦克风阵列中每个麦克风采集到的声音数据的差异对声源的位置进行定位以获得所述声音数据的声源位置；所述健康状态异常时发出的声音包括：咳嗽声、打喷嚏声中的至少一种；

在设定长的时间内监测到的健康状态异常时发出的声音数量超过阈值时，发送第一控制指令，所述第一控制指令用于触发摄像头采集所述声源位置对应区域的红外热成像影像和可见光影像；

接收红外热成像影像数据和可见光影像数据，获得所述可见光影像中的目标监测对象的人脸，并根据所述目标监测对象的人脸位置获得所述红外热成像影像中所述目标监测对象的体温；

若通过所述声音识别模型确定所述声音特征信息与健康状态异常时发出的声音的特征信息不匹配，之后通过所述声音识别模型确定所述声音特征信息与预先设置的语音指令相匹配，则响应所述语音指令，对识别得到的文本进行语义理解和语义分析，并根据语义分析结果进行决策；

其中，所述声音识别模型是通过对预设声音数据训练得到的，所述声音识别模型用于识别所述健康状态异常时发出的声音。

2.如权利要求1所述的方法，其特征在于，还包括：

向服务器发送所述目标监测对象的信息以及所述目标监测对象的健康状态信息，或者将所述目标监测对象的健康状态信息发送给请求查询的用户终端；其中，所述健康状态信息至少包括所述目标监测对象的体温。

3.如权利要求1所述的方法，其特征在于，获得所述红外热成像影像中所述目标监测对象的体温之后，还包括：

判断所述目标监测对象的体温是否在设定的正常体温范围内；

若所述目标监测对象的体温不在所述正常体温范围内，则向服务器发送所述目标监测对象的信息以及所述目标监测对象的健康状态信息；其中，所述健康状态信息至少包括所述目标监测对象的体温。

4.如权利要求1所述的方法，其特征在于，若提取到的声音特征信息与健康状态异常时发出的声音的特征信息相匹配，则还包括：

向所述目标监测对象对应的智能穿戴设备发送第二控制指令；

接收所述智能穿戴设备根据所述第二控制指令发送的健康状态检测数据；

向服务器发送所述目标监测对象的信息以及所述目标监测对象的健康状态信息，所述健康状态信息至少包括所述目标监测对象的体温以及所述智能穿戴设备的健康状态检测数据。

5.一种智能管家设备，其特征在于，所述智能管家设备被配置于执行权利要求1-4任一所述的方法。

6.一种智能终端设备，其特征在于，包括：声学传感器、摄像头，以及与所述声学传感器和所述摄像头耦接的控制器，所述摄像头包括可见光摄像头模组和红外热成像摄像头模组；

所述控制器被配置为：

与一个或多个地理范围内的智能终端设备连接进行注册，记录所述智能终端设备的相关信息，形成注册的智能监测设备列表；其中，注册的智能终端设备包括具有监测功能的智能终端设备和智能穿戴设备；所述智能终端设备的相关信息包括：设备身份识别码ID、设备地址、设备类型、设备的所处位置；

注册目标监测对象的信息；其中，所注册的目标监测对象的信息包括用户标识、用户身份、人脸特征信息、与目标监测对象关联的智能穿戴设备的信息；

注册需要获得目标监测对象的健康状态信息或告警信息的用户的终端的呼叫号码；

配置健康状态异常时发出的声音的特征信息；

建立注册的智能监测设备列表、目标监测对象、终端的呼叫号码的关联关系；

获取麦克风阵列检测的音频数据，并获得所述音频数据的特征信息；

若通过声音识别模型确定所述声音特征信息与健康状态异常时发出的声音的特征信息相匹配，则根据麦克风阵列中每个麦克风采集到的声音数据的差异对声源的位置进行定位以获得所述声音数据的声源位置；所述健康状态异常时发出的声音包括：咳嗽声、打喷嚏声中的至少一种；

在设定长的时间内监测到的健康状态异常时发出的声音数量超过阈值时，触发所述摄像头采集所述声源位置对应区域的红外热成像影像和可见光影像；

根据所述摄像头采集的红外热成像影像数据和可见光影像数据，获得所述可见光影像中的目标监测对象的人脸，并根据所述目标监测对象的人脸位置获得所述红外热成像影像中所述目标监测对象的体温；

若通过所述声音识别模型确定所述声音特征信息与健康状态异常时发出的声音的特征信息不匹配，之后通过所述声音识别模型确定所述声音特征信息与预先设置的语音指令相匹配，则响应所述语音指令，对识别得到的文本进行语义理解和语义分析，并根据语义分析结果进行决策；

其中，所述声音识别模型是通过对预设声音数据训练得到的，所述声音识别模型用于识别所述健康状态异常时发出的声音。