CN114237059A - 自动控制智能家居设备的方法、装置、***和存储介质 - Google Patents

Abstract

本申请提供了一种自动控制智能家居设备的方法，该方法包括：采集与所述智能家居设备相关的参数，所述参数包括所述智能家居设备处于第一状态时，所述智能家居设备的设备状态信息、当前时间信息、所处位置信息、所处的环境信息中的一种或多种；获取目标模型，所述目标模型用于根据与所述智能家居设备相关的参数确定匹配的控制指令；根据所述参数和所述目标模型，确定目标控制指令，所述目标控制指令用于控制所述智能家居设备从所述第一状态切换至第二状态，所述第二状态和所述第一状态对应不同的工作参数。该方法能够解决成千上万种自动控制智能家居设备的实现场景，适用于不同类型的用户，简单易操作。

Description

自动控制智能家居设备的方法、装置、***和存储介质

技术领域

本申请涉及智能家居设备领域，并且更具体地，涉及智能家居设备领域中一种自动控制智能家居设备的方法、装置、***和存储介质。

背景技术

随着互联网时代的发展，以及科学技术的迅速更新，越来越多智能化的设备、产品(例如智能家居***等)逐渐走进人们的生活。与普通的家居***不相同，智能家居***通过利用网络和通信等技术，可以为人们提供了一种安全性高、方便快捷的生活方式。

示例性的，智能家居***可以包括各种各样的智能家居设备，例如电视机、灯、空调、空气净化器、路由器、智能音箱等。智能家居***还可以包括采集单元等，在智能家居***的工作过程中，可以通过采集单元获取不同智能家居设备的状态信息、以及家庭用户的状态信息。其中，不同智能家居设备的状态信息可以包括智能家居设备的工作模式、位置、工作时间、工作参数等。家庭用户的状态信息可以包括用户当前的位置信息、动作信息、行为参数等。智能家居***可以通过物联网技术将多种智能家居设备联合起来，并根据获取的不同智能家居设备的状态信息、以及家庭用户的状态信息等，实现不同智能家居设备的自动控制。例如提供给一些照明控制、音频控制、防护控制等自动控制的方法。

一种可能的实现方式中，用户可以设定不同场景下，智能家居***中不同智能家居设备自动控制的触发条件，该触发条件可以是特定的时间段、指定的动作或者特定的手势操作。采集单元检测到上述特定的时间段、指定的动作或者手势操作信息后，智能家居设备根据采集单元检测到的信息，完成相应的执行动作，实现智能家居设备的自动控制。例如、在每一周的周六和周日晚上9:00-10:00，打开电视机并播放新闻频道供用户观看。

将智能家居设备实现自动控制的方法对应的模式称为“ifttt(if、this、then、when)模式”，即如果满足某一个条件，执行一个动作。

在上述实现方式中，场景的设定和实现太过于固定和规律化，智能家居设备不能根据家庭用户的位置信息、动作信息、行为参数改变自动控制场景的执行动作。例如，在某一周的周六晚上9:00时，用户在公司加班还未回到家，此时家中电视机打开并播放新闻频道，这样固定的自动控制场景的实现不仅造成了浪费了电资源，而且还会对用户的生活行为造成一定的约束，违背了智能家居***“以人为本”的服务理念。

此外，用户在输入触发条件时，还需要对场景中所涉及到的采集单元的工作原理有一定的了解，才可以正确的输入触发条件，达到场景智能化实现的效果，这对用户的知识储备要求高，不能达到普适化的效果。

综上所述，在智能家居***中，如何使智能家居***可以应用于不同类型的用户以及根据用户的行为可以进行智能化的调整和改变，成为了亟需解决的问题。

发明内容

本申请提供了一种自动控制智能家居设备的方法、装置、***和存储介质。该方法能够解决成千上万种自动控制智能家居设备的实现场景。此外，该方法不需要复杂的设置，可以适用于不同类型的用户，根据用户的行为参数、生活习惯自我调整、自我优化。

第一方面，提供了一种自动控制智能家居设备的方法，该方法包括：采集与智能家居设备相关的参数，该参数包括该智能家居设备处于第一状态时，该智能家居设备的设备状态信息、当前时间信息、所处位置信息、所处的环境信息、用户对该智能家居设备的操作信息中的一种或多种；获取目标模型，该目标模型用于根据与该智能家居设备相关的参数确定匹配的控制指令；根据该参数和该目标模型，确定目标控制指令，该目标控制指令用于控制该智能家居设备从该第一状态切换至第二状态，该第二状态和所述第一状态对应不同的工作参数。

上述技术方案中，通过采集与智能家居设备相关的参数，获取目标模型，根据与智能家居设备相关的参数和目标模型，确定目标控制指令。能够根据与智能家居设备相关的参数的不同，智能化地匹配出目标控制指令，实现了自动控制智能家居设备在各种场景中的应用，不需要用户改变生活习惯和行为参数，实现了智能家居设备为用户提供服务的理念。

结合第一方面，在某些可能的实现方式中，该方法还包括：确定目标模型。

结合第一方面和上述实现方式，在某些可能的实现方式中，确定目标模型，包括：获取M个参数集合，该M个参数集合中的每一个参数集合包括多个参数，该每一个参数集合包括的多个参数为相同类型的参数，M为大于或等于1的整数；根据该M个参数集合中的一个或多个集合，训练该目标模型。

结合第一方面和上述实现方式，在某些可能的实现方式中，所述M个参数集合至少包括与智能家居设备相关的设备状态信息集合，和/或该智能家居设备能够支持的控制指令集合。

上述技术方案中，通过采集大量与智能家居设备相关的状态信息，和/或智能家居设备能够支持的控制指令，进一步训练目标模型，为自动控制智能家居设备在不同场景的应用提供了数据储备，解决了成千上万种条件下的自动控制智能家居设备的实现问题。

结合第一方面和上述实现方式，在某些可能的实现方式中，采集与智能家居设备相关的参数，包括：通过红外传感器、温度传感器、湿度传感器中的一种或多种，采集与该智能家居设备相关的参数。

结合第一方面和上述实现方式，在某些可能的实现方式中，根据参数和目标模型，确定目标控制指令，该方法还包括：确定该目标模型的准确度。

结合第一方面和上述实现方式，在某些可能的实现方式中，该方法还包括：当目标模型的准确度大于或等于预设值时，根据目标控制指令控制智能家居设备；当该目标模型的准确度小于该预设值时，根据用户对该智能家居设备的操作信息控制该智能家居设备。

上述技术方案中，按照目标模型的准确度，对自动控制智能家居设备采用不同的控制方式，既实现了智能家居设备的智能应用，又很好地兼顾了用户的实际需求，两者相辅相成，不断优化，提升了用户的使用体验。

综上所述，上述技术方案首先获取M个参数集合，得到目标模型的输入参数，进一步通过M个参数集合训练目标模型。在应用目标模型时，采集与智能家居设备相关的参数，获取目标模型，根据与智能家居设备相关的参数和目标模型，确定目标控制指令，按照目标模型的准确度，对自动控制智能家居设备采用不同的控制方式。为自动控制智能家居设备在不同场景的应用提供了数据储备，解决了成千上万种条件下的自动控制智能家居设备的实现问题，对按照准确度对自动控制智能家居设备采用不同的控制方式，既实现了智能家居设备的智能应用，又很好地兼顾了用户的实际需求，两者相辅相成，不断优化，提升了用户的使用体验。

第二方面，提供了一种自动控制智能家居设备的装置，该装置包括，存储器，用于存储计算机程序，该计算机程序包括程序指令；处理器，用于从该存储器中调用并运行该程序指令，使得该装置执行第一方面或第一方面任意一种可能的实现方式中的方法。

第三方面，提供一种智能家居***，该***包括：采集单元，用于采集与该智能家居***相关的参数，该参数包括该智能家居***中的设备处于第一状态时，该智能家居***中的设备状态信息、当前时间信息、所处位置信息、所处的环境信息中的一种或多种；处理单元，根据该参数和目标模型，确定目标控制指令；执行单元，用于根据该目标控制指令，控制该智能家居***中的设备从该第一状态切换至第二状态，该第二状态和该第一状态对应不同的工作参数。

第四方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述各方面中的方法。

第五方面，提供了一种计算机可读介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述各方面中的方法。

附图说明

图1是本申请实施例提供的一例自动控制智能家居设备的场景示意图；

图2是本申请实施例提供的一种智能家居***的结构示意图；

图3是本申请实施例提供的一种自动控制智能家居设备的方法的结构示意图；

图4是本申请实施例提供的一种自动控制智能家居设备的方法的示意性流程图；

图5是本申请实施例提供的一种自动控制智能家居设备的装置结构示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。下面将结合附图，对本申请中的技术方案进行清楚、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B：文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1是本申请实施例提供的一例自动控制智能家居设备的场景示意图。

示例性的，如图1所示，炎热的夏天，周一晚上21:30，用户A下班到达小区附近，外面温度很高，天气炎热。用户A为了刚回到家立刻降温，设置了在晚上21:30分，家里客厅的灯自动开启，并调节亮度至50％，色温为3000K，同时客厅的空调也开启，空调模式为制冷模式，温度为26℃，风速为：中，电视机自动开启调节至体育频道。

一种可能的实现方式中，如果在夏天的某一个周一晚上21:30，用户A由于工作原因去外地出差，在这个周一晚上的21:30分，用户A就没有开启客厅的灯、开启电视机和开启空调的需求。但是按照图1所示的智能家居设备自动控制场景，在这一天晚上21:30分时，家里的灯、空调和电视机仍然会照常开启，这样就不符合用户A的实际需求，且可能造成额外的电量消耗，设备损耗等。

针对上述问题，本申请实施例提出一种自动控制智能家居设备方法，该方法中，智能家居设备可以根据用户的位置信息、动作信息、行为参数等，改变执行动作以满足用户在不同场景下的需求。此外，该方法中智能家居设备在实现自动控制的过程中，不需要用户详细了解采集单元采集参数信息的工作原理，能适用于不同类型的用户群体，满足不同用户的使用需求。

图2是本申请实施例提供的一种智能家居***的结构示意图。

示例性的，如图2所示，该智能家居***200可以包括采集单元201、处理单元202、执行单元203。其中：

采集单元201，用于采集与智能家居设备***相关的参数。参数包括智能家居***中的设备处于第一状态时，智能家居***中的设备状态信息、当前时间信息、所处位置信息、所处的环境信息、用户对智能家居***中的设备的操作信息中的一种或多种。采集单元201包括各类传感器、摄像头等能够采集信息的装置，传感器可以包括红外传感器、门磁传感器、摄像头传感器、空间传感器、呼吸心率传感器、空气质量类传感器、温度传感器、湿度传感器、距离传感器等一种或多种，本申请实施例对采集单元201的具体类型和数量不作限定。

处理单元202，用于根据参数和目标模型，确定目标控制指令。其中，目标模型储存在处理单元中。

可选地，处理单元202的载体可以是家庭场景中的控制器，也可以是云端服务器的计算单元，即具有数据处理能力的单元。

执行单元203，用于根据目标控制指令，控制智能家居***中的设备从所述第一状态切换至第二状态，第二状态和第一状态对应不同的工作参数。

图3是本申请实施例提供的一种自动控制智能家居设备的方法的结构示意图。

示例性的，如图3所示，结合图2所示的一种智能家居***的结构示意图。图2中只给出了在主动应用阶段***中各单元的用途。在图3中，采集单元还可以用于采集与智能家居设备相关的设备状态信息集合，和/或所述智能家居设备能够支持的控制指令集合。处理单元还可用于对采集单元采集的信息集合进行离散化建模，获得离散化模型。其中，离散化模型包括状态集模型、控制指令模型、奖励策略模型；将状态集模型、控制指令模型、奖励策略模型作为目标模型的输入参数，对状态集模型进行训练；输出奖励策略模型的计算结果。执行单元用于根据目标控制指令，控制智能家居***中的设备从所述第一状态切换至第二状态，所述第二状态和所述第一状态对应不同的工作参数。

图4是本申请实施例提供的一种自动控制智能家居设备的方法的示意性流程图。

示例性的，如图4所示，该方法400包括：

401，获取M个参数集合，所述M个参数集合中的每一个参数集合包括多个参数，所述每一个参数集合包括的多个参数为相同类型的参数，M为大于或等于1的整数。

M个参数集合，具体指的是通过采集日常生活中的各种数据信息，对采集的数据信息进行离散化建模之后得到的不同类型的离散化模型。因此，M个参数集合可以看作是M个离散化模型，M个离散化模型中至少包括状态集模型，和/或控制指令模型，和/或奖励策略模型。每一个参数集合包括的多个参数为相同类型的参数，指每一个参数集合包括的参数的属性是完全一致的。

针对于M个参数集合，下面将进行详细的介绍。具体的，可以分为以下几种：

(一)状态集模型

状态集模型总共分为三个部分，包括人与时空状态集模型、智能家居设备状态集模型、采集设备状态集模型。下面对以上三种状态集模型进行详细的介绍。

(1)人与时空状态集模型

通过在智能家居***中，预先设定大量的人与时空的状态信息，进一步对人与时空的状态信息进行离散化建模即可得到人与时空状态集模型。

具体地，人与时空状态集模型包括时间状态集模型和空间状态集模型。

时间状态集模型表示为：S_time＝{***时间(24小时制)}，S_week＝{周一、周二、……、周日}。

空间状态集模型可以表示为：Sa(室内)＝{x₁,x₂,x₃},其中，a表示为家庭成员名称，x取决于家庭空间传感器的位置；Sa(室外)＝{y₁,y₂},其中，y有两个数值。当用户所处位置在室外时，可以分为在小区附近和不在小区附近，其中在小区附近表示为1，在小区位置外表示为0。例如Sa(室外)＝{1}表示为用户a位于小区附近的空间状态集模型，Sa(室外)＝{0}表示为用户a不在小区附近的空间状态集模型。

将时间状态集模型和空间状态集模型统一称为人与时空状态集模型，记为S(人与时空)。

(2)智能家居设备状态集模型

在日常生活中，智能家居设备随处可见，在不同的自动控制智能家居设备的场景下，智能家居设备可以按照控制指令执行不同的动作以提供给用户不同的需求，例如通过灯实现照明控制、通过音乐播放器实现背景音乐控制、通过空调实现温度控制等等。

示例性的，当通过灯实现照明控制的过程中，智能家居设备的状态为灯的状态；当通过音乐播放器实现背景音乐控制的过程中，智能家居设备的状态为音乐播放器的状态；当通过空调实现温度控制的过程中，智能家居设备的状态为空调的状态。

在智能家居设备自动控制场景中，智能家居设备的状态有成千上万种，通过对智能家居设备的状态进行离散化建模，即可得到智能家居设备的离散数据模型。

一种可能的实现方式中，对于智能家居设备状态集模型，可以采用关键字：值(Key:value)结构表示，其中，Key表示关键字，value表示根据关键字所取的值。

应理解，对于一个智能家居设备，在Key:value结构中，Key可以包括一个或多个，在一个Key下，value包含了Key的所有可能实现的方式。例如当智能家居设备为灯，Key可以表示开关、亮度和色温。当Key为开关时，Value包括：开或关；当Key为亮度时，value包括：10％、20％、30％……100％；当Key为色温时，value包括：1000K、2000K、3000K等等。

可选地，当智能家居设备包括窗帘时，窗帘的离散数据模型可以表示为：

S(窗帘)＝{开关：关，百分比：0％}；或

S(窗帘)＝{开关：开，百分比：10％}；或

S(窗帘)＝{开关：开，百分比：20％}；或

S(窗帘)＝{开关：开，百分比：30％}等。

可选地，当智能家居设备包括新风时，新风的离散数据模型可以表示为：

S(新风)＝{开关：关，风速：无}；或

S(新风)＝{开关：开，风速：低}；或

S(新风)＝{开关：开，风速：中}；或

S(新风)＝{开关：开，风速：高}等等。

可选地，当智能家居设备包括音乐播放器时，背景音乐的离散数据模型可以表示为：

S(音乐播放器)＝{开关：开，音量：10％，当前歌曲：曲目1}；或

S(音乐播放器)＝{开关：开，音量：20％，当前歌曲：曲目2}；或

S(音乐播放器)＝{开关：开，音量：40％，当前歌曲：曲目7}；或

S(音乐播放器)＝{开关：开，音量：50％，当前歌曲：曲目1}等等。

综上，所有智能家居设备的离散数据模型构成了智能家居设备状态集模型，将智能家居设备状态集模型表示为：S(智能家居设备)。

(3)采集设备状态集模型

在自动控制智能家居设备场景中，不同智能家居设备状态信息是通过采集设备获取的。采集设备可以为各类传感器及摄像头。其中，各类传感器可以为：门窗传感器、红外传感器、湿度传感器、温度传感器、光照度传感器、空气质量传感器等等。采集设备可以采集当前的环境信息。其中，当前的环境信息包括当前的温度、湿度、天气状况、空气质量状况、光照度等。

采集设备采集的数据可能有成千上万个，成千上万种数据可能是连续变化的，连续变化的数据无法被智能家居***使用，需要对连续变化的数据进行离散化建模，使其变成一个收敛的集合之后，才可以使用。

在通过对采集设备采集的数据进行离散化建模之后，可以得到采集设备状态集模型。

可选地，当采集设备为门窗传感器，门窗传感器的离散数据模型表示为：S(门/窗)＝{打开，关闭}；

可选地，当采集设备为红外传感器，红外传感器的离散数据模型表示为：S(红外传感)＝{有人，无人}；

可选地，当采集设备为温度传感器，温度传感器的离散数据模型表示为：

S(室内温度)＝{-40，-39，-38，……,44，45}；

S(室外温度)＝{-40，-39，-38，……,44，45}；

可选地，当采集设备为湿度传感器，湿度传感器的离散数据模型表示为：

S(室内湿度)＝{10％，20％，30％，40％，50％，60％，……,100％}；

S(室外湿度)＝{10％，20％，30％，40％，50％，60％，……,100％}；

可选地，当采集设备为光照度传感器，光照度传感器的离散数据模型表示为：

S(室内光照度)＝{0.5、1、3、5、10、15、20、30、50、75、100、150、200、300、500、750、1000、1500、2000、3000、5000}；

可选地，当采集设备为空气质量传感器，空气质量传感器的离散数据模型表示为：

S(PM2.5)＝{0,10,20,30,40,……,500}；

S(CO₂)＝{200，250，300，……,5000}。

综上，可以将所有采集设备的离散数据模型统一称作采集设备的状态集模型，记为S(采集设备)。

应理解的是，上述的人与时空状态集模型、采集设备状态集模型、智能家居设备状态集模型共同组成了状态集模型。

(二)控制指令模型

控制指令模型就是智能家居设备能够执行的所有动作的集合，用“A(智能家居设备)”表示。控制指令模型与智能家居设备状态集模型一一对应，当智能家居***决策需要改变其中一个或多个智能家居设备的状态时，视为一次动作，每执行一次动作，自发触发更改智能家居设备状态集模型。

(三)奖励策略模型

在离散化建模阶段，建立一个奖励策略模型，奖励策略模型的目的是对为了对状态集模型中的某一个实时的状态集合的奖励值进行统计计算，从而得到该状态集合在强化学习模型中所获得的准确度。

应理解，在离散化建模后，得到了人与时空状态集模型、采集设备状态集模型、智能家居设备状态集模型组成的状态集模型。其中，每一种状态集模型都是包含了所有可能的状态信息的集合。控制指令模型也同样是包含了智能家居设备所有可能执行的动作的一个集合。

还应理解，离散化模型是一种预先设定的模型，可以看做是一种约束条件。例如，在离散化模型中，时间状态集模型表示为：S_time＝{***时间(24小时制)}，那么在一个智能家居设备自动控制的场景中，时间状态信息的表达形式只能采用24小时制来表示，不能采用12小时制表示。离散化模型中包含了所有智能家居设备自动控制场景的各种状态信息和控制指令信息。

402，根据所述M个参数集合中的一个或多个集合，训练目标模型。

在步骤401中，通过离散化建模可以得到状态集模型、控制指令模型、奖励策略模型。这几种离散化模型模型作为强化学习模型的输入参数，在强化学习模型中，可以对状态集模型进行训练。

应理解，状态集模型是包含了所有可能场景的一个类集合概念，但是在强化学习模型实际训练的过程中，获取的是当前自动控制场景下的状态集合，是一个实时的状态集合，只不过该实时状态集合里的所有状态信息的参数都是状态集模型里的一种或多种。

具体地，在训练的过程中，强化学习模型可以获取当前自动控制场景下的状态集合，其中，当前自动控制场景下的状态集合可以包括时间状态信息、位置状态信息、智能家居设备的状态信息、采集设备的状态信息中的一种或多种。

应理解，当前自动控制场景中的状态集合中的人与时空状态信息会随着时间和位置的变化实时更新，具体的更新原则为：每1分钟主动更新一次时间状态，当位置状态信息发生改变时被动更新一次位置状态信息；智能家居设备的状态信息的更新原则为：任意一个智能家居设备的任意一个属性只要发生变化，就会触发智能家居设备的状态信息更新一次，对于采集设备的状态信息的更新原则为：当每30分钟主动更新一次时间状态，采集设备的状态跨越离散等级变化时，触发采集设备的状态集合被动更新一次。例如，以空气质量数值传感器为例，当空气质量数值传感器检测到当前的自动控制智能家居设备场景中中，PM2.5的数值从40变化至41，空气质量数值传感器的变化为跨越离散等级变化，此时会被动更新一次空气质量数值传感器的状态信息集合，即从S(PM2.5)＝{40}更新为S(PM2.5)＝{41}。但是当PM2.5的数值在大于40小于41的这一区间变化时，对应的空气质量数值传感器的变化并不是跨越离散等级，因此不更新采集设备的状态集合，这一过程中的空气质量传感器的状态集模型均为S(PM2.5)＝{40}。

还应理解，当前自动控制场景的状态集合对应的人与时空状态信息、采集设备的状态信息、智能家居设备的状态信息中，只要有一种状态信息更新，则当前自动控制场景的状态集合会全部更新一次。在每一个时刻下，对应的时间状态信息、位置状态信息、智能家居设备的状态信息、采集设备的状态信息中的一种或多种的具体参数都完全包含在状态集模型中，这体现了离散化模型对强化学习模型获取的实时状态集合的约束作用。

可选地，当前自动控制场景的状态集合可以是用户主动操作智能家居设备得到的。

在用户操作智能家居设备来满足用户当前的需求时，在强化学习模型中就会获得一次状态改变，例如在周一晚上22:30分，用户A的需求是观看篮球比赛，用户A可以通过主动打开电视机并将电视机切换至体育频道，那么可能在上一个自动控制场景的状态集合中，电视机是关闭状态，因此电视机从上一个状态集合中的关闭状态到当前自动控制场景的状态集合的打开并切换至体育频道即为电视机的状态改变。同理，状态集合中的其他状态信息对应的状态改变也完全相同，此处不再进行赘述。

可选地，当前自动控制场景的状态集合可以是由上一个自动控制场景的状态集合自动更新得到的。

示例性的，在上一个状态集合中时间状态信息为周一晚上21:30分，当前时间状态信息为周一晚上21:31分，上一个状态集合中的其他状态信息与当前状态集合中的其他状态信息完全相同，那么当时间状态信息发生改变，会自动触发整个状态集合的更新，该更新动作是状态集合的主动更新而不是用户操作引起的被动更新。

应理解，上述两种方式中的任意一种方式采集的当前自动控制场景的状态集合，都可以作为强化学习模型获取的当前自动控制场景的状态集合，强化学习模型获得一次状态改变。进一步地，强化学习模型会根据该状态改变，按照强化学习算法，对当前自动控制场景的状态集合不断的进行训练，强化学习模型进行训练的过程不需要用户的参与就可以完成。

还应理解，当强化学习模型对当前的自动控制场景的状态集合训练一定的次数之后，会获得状态集合的预测功能，即当上一个自动控制场景的状态集合的某一个状态信息发生改变，强化学习模型可以预测出当前自动控制场景的状态集合，并根据所预测的状态集合，输出与当前自动控制场景的状态集合匹配的动作集合。

进一步地，可以利用奖励策略模型对当前自动控制场景的状态集合，在多次训练过程中的奖励值进行统计计算。

一种可能的实现方式，在奖励策略模型中，具体可以通过下面的公式(1)计算当前自动控制场景的状态集合的奖励值总和：

R(St)＝r(t)*γ+r(t+1)*γ²+r(t+2)*γ³+……公式(1)

在公式(1)中：R(St)为当前自动控制场景下的状态集合获得的奖励；r(t)表示为在预测动作集合结束后，用户基于该预测动作集合的动作，与智能家居设备交互后反馈给与的奖励，r(t)的定义如下：

当预测动作完成之后，用户在规定的时间之内(例如设定时间为5s)有进行继续触发该动作，则记为本次训练的奖励值为1，当预测动作完成之后，若用户对于该预测动作的响应超时，则记为本次训练的奖励值为0，当预测动作完成之后，用户取消该预测动作，则记为本次训练中的奖励值为-1。

r(t+1)表示在当前的自动控制场景的状态集合下一次获得的奖励，以此类推，γ是折扣系数定义为0.9。

应理解，将奖励策略模型作为强化学习模型的输入参数之一具体的含义是，在强化学习模型对当前自动控制场景下的状态集合进行训练的过程中，可以利用奖励策略模型对该实时状态集合的每一次训练后，得到的奖励值进行统计计算，得到该实时状态集合在多次训练过程中累计的奖励值总和，将该奖励值总和作为强化学习模型的输入参数之一。

403，确定所述目标模型的准确度。

将步骤402中利用公式(1)计算得到的当前自动控制场景下的状态集合得到的奖励值总和，作为强化学习模型的输入参数之一，强化学习模型经过计算处理之后，会相应的输出当前自动控制场景的状态集合的准确度，准确度是一个具体的概率值。

应理解，当前自动控制场景的状态集合在经过多次训练之后，每一次都会对应一个奖励值。理想情况下，如果当前自动控制场景的状态集合在每一次训练时的奖励值均为1，那么在多次训练之后，强化学习模型输出的该状态集合的准确度为100％。但是在实际训练过程中，可能存在某一次训练得到的预测动作与用户的需求不匹配的情况，因此该状态集合在经过多次训练之后，实际的准确度应该是小于或等于100％。

进一步地，将奖励策略模型计算得到的当前自动控制场景的状态集合在强化学习模型的准确度与预设值进行比较，具体的，分为以下两种场景：

场景(1)：当前自动控制场景的状态集合在强化学习模型的准确度小于预设值，说明当前的自动控制场景的状态集合在强化学习模型中没有训练成功。那么该状态集合会继续在强化学习模型中学习训练，对于未训练成功的当前自动控制场景的状态集合，学习强化模型的输出主要以用户主动与智能设备实现交互为主。

在上述方案中，对于未训练成功的当前自动控制场景的状态集合，以用户的实际操作为准，避免了在一些场景中，当前自动控制场景的状态集合的准确度低，如果智能家居设备根据目标指令直接主动输出可能引起的不符合用户需求的问题。

场景(2)：当前自动控制场景的状态集合在强化学习模型的准确度大于或等于预设值时，说明当前的自动控制场景的状态集合在强化学习模型是已经训练成功的，此时不需要用户主动输出，而是强化学习模块根据当前自动控制场景的状态集合，自动调用动作集模型中的与该状态集匹配的动作。

在上述方案中，对于准确度大于或等于预设值的当前自动控制场景的状态集合，通过智能家居设备自动执行目标控制指令，从而实现了智能家居设备智能化的使用效果，不需要用户操作，达到了智能设备为人服务的效果。

404，采集与所述智能家居设备相关的参数，所述参数包括所述智能家居设备处于第一状态时，所述智能家居设备的设备状态信息、当前时间信息、所处位置信息、所处的环境信息中的一种或多种。

在智能家居设备处于第一状态时，采集单元获取与智能家居设备相关的参数，包括设备状态信息、当前时间信息、用户所处的位置信息、智能家居设备当前所处的环境信息，用户对智能家居设备的操作信息中的一种或多种。以上与智能家居设备相关的参数组成了智能家居设备在第一状态时的状态集合，此处为了简便，将智能家居设备在第一状态时的状态集合可以记为“第一状态集合”。

405，获取所述目标模型，所述目标模型用于根据与所述智能家居设备相关的参数确定匹配的控制指令。

具体地，在采集设备采集到第一状态集合后，将第一状态集合输入至强化学习模型中。

406，根据所述参数和所述目标模型，确定目标控制指令，所述目标控制指令用于控制所述智能家居设备从所述第一状态切换至第二状态，所述第二状态和所述第一状态对应不同的工作参数。

应理解，当从第一状态切换至第二状态时，第二状态即为当前控制场景对应的状态，将第二状态对应的参数集合记为“第二状态集合”，第一状态集合相对于第二状态集合，可以看做上一个状态集合。第二状态集合是通过强化学习模型对第一状态集合预测得到的结果。同时还会根据预测的第二状态集合，从预先离散化建模得到的动作集模型中匹配出与第二状态集合对应的动作集合，该动作集合就是目标控制指令。基于目标控制指令，智能家居设备可以从第一状态切换至第二状态，该第二状态集合在强化学习模型中一定是训练成功的状态集合。

示例性的，当存在一个第二状态集合：{在周一的晚上22:30，用户A在室内，客厅灯开启}；其在强化学习模型中的准确度已经满足大于或等于预设值，是已经训练完成的状态集合。该第二状态集合对应的第一状态集合中可能包括客厅灯的状态不同、用户A位置不同、时间信息不同中的一种或多钟。由于时间状态集合是一分钟更新一次，那么在第一状态集合有可能存在的一种情况为{在周一的晚上22:29，用户A在室内，客厅灯关闭}，此时，当时间状态信息从周一晚上22:29更新为22:30时，强化学习模型会自动进行状态集合的预测动作，预测得到当前自动控制场景对应的第二状态集合，并从动作集模型中输出对应的动作集合，主动开启客厅灯。

应理解，第一状态集合和第二状态集合相比，至少有一种参数是不相同的，在智能家居设备根据目标控制指令，从第一状态集合切换至第二状态集合时，还可以将目标控制指令显示在终端的交互界面上，供用户进行干预，用户干预可以产生奖励，从而可以不断优化当前自动控制场景的状态集合在强化学习模型中的准确度。

综上所述，上述技术方案首先获取M个参数集合，得到目标模型的输入参数，进一步通过M个参数集合训练目标模型。在应用目标模型时，采集与智能家居设备相关的参数，获取目标模型，根据与智能家居设备相关的参数和目标模型，确定目标控制指令，按照目标模型的准确度，对自动控制智能家居设备采用不同的控制方式。为自动控制智能家居设备在不同场景的应用提供了数据储备，解决了成千上万种条件下的自动控制智能家居设备的实现问题，对自动控制智能家居设备采用不同的控制方式，既实现了智能家居设备的智能应用，又很好地兼顾了用户的实际需求，两者相辅相成，不断优化，提升了用户的使用体验。

图5是本申请实施例提供的一种自动控制智能家居设备的装置结构示意图。

示例性的，如图5所示，该装置500包括存储器501、计算机程序502、处理器503。

一种可能的实现方式中，存储器501用于存储计算机程序502，处理器503用于执行计算机程序502实现一种自动控制智能家居设备的过程，例如图4中的步骤401至406。

本实施例提供的装置，用于执行上述一种自动控制智能家居设备的方法，因此可以达到与上述实现方法相同的效果。

在采用集成的单元的情况下，装置可以包括处理模块、存储模块。其中，处理模块可以用于对装置的动作进行控制管理。存储模块可以用于支持装置执行相互程序代码和数据等。

其中，处理模块可以是处理器或控制器，其可以实现或执行结合本申请公开内容所藐视的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包括一个或多个微处理器组合，数字信号处理(digital signal processing，DSP)和微处理器的组合等等，存储模块可以是存储器。

在一个实施例中，当处理模块为处理器。存储模块为存储器时，本实施例所涉及的装置可以是具有图3所示结构的设备。

本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在装置上运行时，使得装置执行上述相关方法步骤实现上述实施例中的一种自动控制智能家居设备的方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的一种自动控制智能家居设备的方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的一种自动控制智能家居设备的方法。

其中，本实施例提供的装置、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种自动控制智能家居设备的方法，其特征在于，所述方法包括：

采集与所述智能家居设备相关的参数，所述参数包括所述智能家居设备处于第一状态时，所述智能家居设备的设备状态信息、当前时间信息、所处位置信息、所处的环境信息、用户对所述智能家居设备的操作信息中的一种或多种；

获取目标模型，所述目标模型用于根据与所述智能家居设备相关的参数确定匹配的控制指令；

根据所述参数和所述目标模型，确定目标控制指令，所述目标控制指令用于控制所述智能家居设备从所述第一状态切换至第二状态，所述第二状态和所述第一状态对应不同的工作参数。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述目标模型。

3.根据权利要求2所述的方法，其特征在于，所述确定所述目标模型，包括：

获取M个参数集合，所述M个参数集合中的每一个参数集合包括多个参数，所述每一个参数集合包括的多个参数为相同类型的参数，M为大于或等于1的整数；

根据所述M个参数集合中的一个或多个集合，训练所述目标模型。

4.根据权利要求3所述的方法，其特征在于，所述M个参数集合至少包括与所述智能家居设备相关的设备状态信息集合，和/或所述智能家居设备能够支持的控制指令集合。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述采集与所述智能家居设备相关的参数，包括：

通过人体红外传感器、温度传感器、湿度传感器中的一种或多种，采集与所述智能家居设备相关的参数。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述参数和所述目标模型，确定目标控制指令，所述方法还包括：

确定所述目标模型的准确度。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

当所述目标模型的准确度大于或等于预设值时，根据所述目标控制指令控制所述智能家居设备；

当所述目标模型的准确度小于所述预设值时，根据用户对所述智能家居设备的操作信息控制所述智能家居设备。

8.一种自动控制智能家居设备的装置，其特征在于，所述装置包括：

存储器，用于存储计算机程序，所述计算机程序包括程序指令；

处理器，用于从所述存储器中调用并运行所述指令，使得所述装置执行如权利要求1至7中任意一项所述的方法。

9.一种智能家居***，其特征在于，所述智能家居***包括：

采集单元，用于采集与所述智能家居***相关的参数，所述参数包括所述智能家居***中的设备处于第一状态时，所述智能家居***中的设备状态信息、当前时间信息、所处位置信息、所处的环境信息、用户对所述智能家居***中的设备的操作信息中的一种或多种；

处理单元，根据所述参数和目标模型，确定目标控制指令；

执行单元，用于根据所述目标控制指令，控制所述智能家居***中的设备从所述第一状态切换至第二状态，所述第二状态和所述第一状态对应不同的工作参数。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被执行时，实现如权利要求1至7中任意一项所述的方法。

Images