CN117404783B - 一种空调的控制方法、装置、空调及存储介质 - Google Patents

一种空调的控制方法、装置、空调及存储介质 Download PDF

Info

Publication number
CN117404783B
CN117404783B CN202311349404.7A CN202311349404A CN117404783B CN 117404783 B CN117404783 B CN 117404783B CN 202311349404 A CN202311349404 A CN 202311349404A CN 117404783 B CN117404783 B CN 117404783B
Authority
CN
China
Prior art keywords
point cloud
reference point
inputting
feature
cloud feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311349404.7A
Other languages
English (en)
Other versions
CN117404783A (zh
Inventor
刘运可
阮群芝
李荣锋
杨碧婉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Earda Technologies Co ltd
Original Assignee
Earda Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Earda Technologies Co ltd filed Critical Earda Technologies Co ltd
Priority to CN202311349404.7A priority Critical patent/CN117404783B/zh
Publication of CN117404783A publication Critical patent/CN117404783A/zh
Application granted granted Critical
Publication of CN117404783B publication Critical patent/CN117404783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63Electronic processing
    • F24F11/65Electronic processing for selecting an operating mode
    • F24F11/66Sleep mode
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/50Control or safety arrangements characterised by user interfaces or communication
    • F24F11/52Indication arrangements, e.g. displays
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/50Control or safety arrangements characterised by user interfaces or communication
    • F24F11/54Control or safety arrangements characterised by user interfaces or communication using one central controller connected to several sub-controllers
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/50Control or safety arrangements characterised by user interfaces or communication
    • F24F11/56Remote control
    • F24F11/58Remote control using Internet communication
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00Control inputs relating to air properties
    • F24F2110/10Temperature
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00Control inputs relating to air properties
    • F24F2110/20Humidity
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2120/00Control inputs relating to users or occupants
    • F24F2120/20Feedback from users
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2130/00Control inputs relating to environmental factors not covered by group F24F2110/00
    • F24F2130/10Weather information or forecasts

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

本发明公开了一种空调的控制方法、装置、空调及存储介质,该方法包括:空调包括安装在室内环境的内机,内机配置有毫米波雷达,在睡眠模式中,依据室外环境在多个时间周期内的天气信息确定室外环境的天气类别;使用对天气类别学习的控制参数控制空调制冷;接收家电设备驱动毫米波雷达在室内环境采集多帧原始点云数据;在各帧、原始点云数据中检测人体四肢的姿态;依据四肢的姿态计算人体在室内环境呈现的睡眠状态;依据睡眠状态对控制参数进行调整。本实施例自适应调整到适配用户的制冷效果,大大提高了空调睡眠模式的灵活性,提高了用户在室内环境睡眠的舒适度。

Description

一种空调的控制方法、装置、空调及存储介质
技术领域
本发明涉及物联网的技术领域,尤其涉及一种空调的控制方法、装置、空调及存储介质。
背景技术
空调是人们日常生活常用的家电设备之一,多安装在卧室,空调提供睡眠模式,用户在晚上睡觉时,可打开空调的睡眠模式,空调自动进行调节。
在睡眠模式中,空调将风速保持较低的水平,每2个小时室温就会上升1度。
睡眠模式中控制空调的方式主要依赖实验室的实验结果设定,使得控制空调的方式较为固定,部分用户对此感受到的舒适度较差。
发明内容
本发明提供了一种空调的控制方法、装置、空调及存储介质,以解决如何提高睡眠模式中控制空调的灵活性的问题。
根据本发明的一方面,提供了一种空调的控制方法,所述空调包括安装在室内环境的内机,所述内机配置有毫米波雷达,所述方法包括:
在睡眠模式中,依据室外环境在多个时间周期内的天气信息确定所述室外环境的天气类别;
使用对所述天气类别学习的控制参数控制所述空调制冷;
接收家电设备驱动毫米波雷达在所述室内环境采集多帧原始点云数据;
在各帧所述原始点云数据中检测人体四肢的姿态;
依据所述四肢的姿态计算所述人体在所述室内环境呈现的睡眠状态;
依据所述睡眠状态对所述控制参数进行调整。
根据本发明的另一方面,提供了一种空调的控制装置,所述空调包括安装在室内环境的内机,所述内机配置有毫米波雷达,所述装置包括:
类别确定模块,用于在睡眠模式中,依据室外环境在多个时间周期内的天气信息确定所述室外环境的天气类别;
制冷启动模块,用于使用对所述天气类别学习的控制参数控制所述空调制冷;
点云数据采集模块,用于接收家电设备驱动毫米波雷达在所述室内环境采集多帧原始点云数据;
姿态检测模块,用于在各帧所述原始点云数据中检测人体四肢的姿态;
睡眠状态计算模块,用于依据所述四肢的姿态计算所述人体在所述室内环境呈现的睡眠状态;
控制参数调整模块,用于依据所述睡眠状态对所述控制参数进行调整。
根据本发明的另一方面,提供了一种空调,所述空调包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的空调的控制方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序用于使处理器执行时实现本发明任一实施例所述的空调的控制方法。
在本实施例中,空调包括安装在室内环境的内机,内机配置有毫米波雷达,在睡眠模式中,依据室外环境在多个时间周期内的天气信息确定室外环境的天气类别;使用对天气类别学习的控制参数控制空调制冷;接收家电设备驱动毫米波雷达在室内环境采集多帧原始点云数据;在各帧、原始点云数据中检测人体四肢的姿态;依据四肢的姿态计算人体在室内环境呈现的睡眠状态;依据睡眠状态对控制参数进行调整。本实施例针对室外环境的天气类别学习通用的控制参数进行制冷,在此基础上,依据用户的姿态计算人体的睡眠状态,并以此对控制参数进行个性化调整,自适应调整到适配用户的制冷效果,大大提高了空调睡眠模式的灵活性,提高了用户在室内环境睡眠的舒适度。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种空调的控制方法的流程图;
图2是根据本发明实施例一提供的一种室内环境的示例图;
图3是根据本发明实施例一提供的一种人体的结构示意图;
图4是根据本发明实施例一提供的一种第一检测网络的结构示意图;
图5是根据本发明实施例一提供的一种第二检测网络的结构示意图;
图6是根据本发明实施例二提供的一种空调的控制装置的结构示意图;
图7是根据本发明实施例三提供的一种空调的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种空调的控制方法的流程图,该方法可以由空调的控制装置来执行,该空调的控制装置可以采用硬件和/或软件的形式实现,该空调的控制装置可配置于空调中。
如图1所示,该方法包括:
步骤101、在睡眠模式中,依据室外环境在多个时间周期内的天气信息确定室外环境的天气类别。
如图2所示,空调包括安装在室内环境201(如卧室)的内机202,该内机202用于吹冷风或热风,包括冷凝器(蒸发器)、环境传感器(如温度传感器、湿度传感器等)、控制板、接水盘及水管、外壳、空气过滤器等结构,空调还包括安装在室外环境(如卧室外)的外机,外机包括冷凝器(蒸发器)、环境传感器(如温度传感器、湿度传感器等)、压缩机、四通阀、控制板等结构。
由于室内环境与室外环境之间间隔的主要是窗户、墙体等结构,其中,窗户存在密闭性较差、导热等因素,腔体存在导热等因素,使得室外环境的天气会对室内环境的制冷效果具有较为明显的影响。
因此,用户使用遥控器,或者,独立的应用程序、某些应用程序的小程序等客户端开启空调的睡眠模式时,可以查询室外环境在最近多个时间周期(如小时)内的天气信息,由于室外环境的天气变化较大,使得天气信息较为零散,为便于控制空调,可依据该天气信息划分室外环境的天气类别。
一般情况下,室外环境的天气是在持续缓慢的变化中,因此,可在每个时间周期重新执行步骤101,重新检测室外环境在多个时间周期内的天气信息,并依据室外环境在多个时间周期内的天气信息确定室外环境的天气类别,继而继续执行步骤101-步骤106。
在具体实现中,在睡眠模式中,调用外机中的传感器检测室外环境的温度值与湿度值,温度值与湿度值对于用户的体感具有较为明显的影响。
当然,如果外机中安装更多的传感器,可以检测到更多对对于用户的体感具有较为明显的影响的天气参数(如风力、风向等),可以使用更多的天气参数划分室外环境的天气类别,本实施例对此不加以限制。
通过WiFi(无线保真)等方式定位空调所处的地理位置。
向服务器查询地理位置在最近多个时间周期的天气标签,其中,天气标签表征无云、有云无雨或雨,如果在同一个时间周期内存在多种天气(晴、阴或雨),则可以将该时间周期标记为时间占比最高的天气对应的天气标签。
以多个天气标签、温度值与湿度值为天气信息,使用one hot(独热码)等方式将天气信息编码为天气特征。
确定预设的多个天气类别,这些天气类别可以为云端使用k-means等方式聚类获得,并分发到各个空调中,各个天气类别具有中心点。
使用欧式距离等方式计算天气特征与各个中心点之间的距离值,并将各个距离值进行比较,将室外环境划分至数值最小的距离值对应的类别中。
步骤102、使用对天气类别学习的控制参数控制空调制冷。
在本实施例中,可以预先在实验室的环境中对各个天气类别学习控制空调制冷的通用的控制参数,例如,抽湿信息(包含是否抽湿、抽湿频率、单次抽湿时长等)、温度、送风信息(送风频率、单词送风时长、单词送风速度),等等。
各个天气类别的控制参数可以由云端维护、更新,并推送到各个空调。
在确定当前室外环境的天气类别时,可以查询当前天气类别的控制参数,并在空调中配置该控制参数,以控制空调制冷。
步骤103、接收家电设备驱动毫米波雷达在室内环境采集多帧原始点云数据。
在本实施例中,室内环境安装的家电设备(如图2所示的吸顶灯204等)配置有毫米波雷达,毫米波雷达是工作在毫米波波段(millimeter wave)探测的雷达,通常毫米波是指30~300GHz频域(波长为1~10mm)的。
在实际应用中,毫米波雷达具有多个频段,包括5.8GHz、10GHz、24GHz、60GHz、77GHz等等,由于室内环境属于简单的场景,可使用频段为24GHz的毫米波雷达,其最大支持250MHz扫频带宽,距离分辨率最小60cm,存在感应效果良好的优点。
在IOT(Internet of Things,物联网)的场景中,用户在独立的应用程序、某些应用程序的小程序等客户端中授权空调使用该家电设备驱动毫米波雷达采集点云数据。
由于空调属于较为大型的设备,更换的时间周期较长,一些老旧的空调并不配置有毫米波雷达,通过IOT的方式可以采集到点云数据控制空调,从而争抢空调的性能。
在睡眠模式中,空调可以通知家电设备按照一定的频率驱动毫米波雷达持续向室内环境发射多帧信号,这些信号经室内环境中的障碍物发射,毫米波雷达可接收到反射过来的信号,对这些信号进行重建,得到多帧原始点云数据。
进一步地,由于用户睡眠时大多处于静止或低速运动的状态,可以在每帧信号中抽取一帧Chirp(线性调频信号),在多帧信号中抽取多帧Chirp,以便获得用户较为丰富的信息,对多帧Chirp进行添加窗口、FFT(Fast Fourier Transform,快速傅里叶变换)、计算方位角、计算方位距离等操作,重建为三维的原始点云数据。
一般情况下,采集原始点云数据的频率较低,以便观察到用户姿态的变化,以及,预留足够的资源与时间检测用户四肢(即左上肢、右上肢、左下肢、右下肢)的姿态。
步骤104、在各帧原始点云数据中检测人体四肢的姿态。
如图3所示,由于毫米波雷达采集的原始点云数据较为稀疏,人体四肢的结构较为简单,四肢自身的翻转对其姿态的影响较少,可以忽略四肢自身的翻转,将四肢的姿态化简为在水平面上、三个关节之间形成的夹角,即,左上肢与右上肢均可化简为在水平面上,肘关节、肩关节与腕关节之间形成的夹角,左下肢与右下肢均可化简为在水平面上,髋关节、膝关节与踝关节之间形成的夹角。
因此,在各帧原始点云数据中,可以基于深度学习检测人体四肢的姿态,以保证检测的精确度。
在本发明的一个实施例中,步骤104可以包括如下步骤:
步骤1041、在原始点云数据中筛选出床所在的区域,获得第一局部点云数据。
如图2所示,在室内环境中通常摆放有床203,以供用户睡眠使用,用户可以在初始化空调的过程中,手动在独立的应用程序或某个应用程序的小程序等客户端中设置床相对于空调的位置(如正前方、左前方、右前方等),从而标记床所在的区域。
或者,空调与家电设备在初始化的过程中,家电设备驱动毫米波雷达在短时间(如1秒)内检测多帧测试点云数据将多帧测试点云数据叠加为总点云数据,以提高点云的密度,并将其反馈至空调,空调对总点云数据进行语义分割,标记床所在的区域。
在当前帧原始点云数据中,筛选出床所在的区域,提取该区域中的点并记为第一局部点云数据,由于毫米波雷达采集的原始点云数据较为稀疏,在睡眠的场景中,以床作为先验知识滤除许多无效的点,排除许多干扰,可以有效提高检测人体的头部与被子的精确度。
进一步地,由于床所在的区域大小并不一致,为便于第一检测网络运算,可固定该区域的大小,在提取第一局部点云数据时,提取大小一致的第一局部点云数据,或者,在提取的第一局部点云数据大小并不一致的情况下,对第一局部点云数据进行预处理,使得第一局部点云数据大小一致。
步骤1042、在第一局部点云数据中检测人体的头部与被子。
如图3所示,可以预先构建并训练多目标的第一检测网络,将第一局部点云数据输入该第一检测网络中,在第一局部点云数据中一次性检测人体的头部301与被子。
其中,第一检测网络的结构不局限于人工设计的神经网络,例如,MobileNet、ShuffleNet,等等,也可以通过模型量化方法优化的神经网络,通过NAS(NeuralArchitecture Search,神经网络结构搜索)方法针对点云的特性搜索的神经网络,等等,本实施例对此不加以限制。
在本发明的一个实施例中,如图4所示,可加载第一检测网络,第一检测网络包括编码器Encoder、解码器Decoder与第一检测头结构Head_1,那么,可分别加载编码器Encoder、解码器Decoder与第一检测头结构Head_1。
编码器Encoder包括第一卷积层Conv_1、第二卷积层Conv_2、第一残差块ResBlock_1、第二残差块ResBlock_2、第三残差块ResBlock_3与空间金字塔池化层SPP(Spatial PY23DX35777FNPE-CNramid Pooling)。
解码器Decoder包括转置卷积层TC(Transposed Convolution Layer)、第四残差块ResBlock_4。
其中,第一残差块ResBlock_1、第二残差块ResBlock_2、第三残差块ResBlock_3与第四残差块ResBlock_4之间的结构相同或相似,均为包含多个残差结构(如加入恒等函数的结构、残差瓶颈块(Bottleneck residual block)等)的结构。
第一检测头结构Head_1包括头部分支结构Branch_head与被子分支结构Branch_quilt,头部分支结构Branch_head与被子分支结构Branch_quilt均可提供映射功能,可包含多层感知机(Multilayer Perceptron,MLP)、卷积层、残差网络等结构。
一、编码器Encoder负责对第一局部点云数据进行编码,过程如下:
将第一局部点云数据输入第一卷积层Conv_1中执行卷积操作,获得第一中间点云特征。
将第一中间点云特征输入第一残差块ResBlock_1中进行处理,获得第二中间点云特征。
将第二中间点云特征输入第二卷积层Conv_2中执行卷积操作,获得第三中间点云特征。
将第三中间点云特征输入第二残差块ResBlock_2中进行处理,获得第四中间点云特征。
将第四中间点云特征输入第三残差块ResBlock_3中进行处理,获得第五中间点云特征。
将第五中间点云特征输入空间金字塔池化层SPP中执行池化操作,获得第六中间点云特征;空间金字塔池化层是SPP可对于任意尺寸的输入产生固定大小的输出,其思路是对于任意大小的feature map(特征图,即第五中间点云特征)分成16、4、1个块,在每个块上最大池化,池化后的特征拼接得到一个固定维度的输出,以满足编码器的需要。
二、解码器Decoder负责对中第一局部点云数据进行解码,过程如下:
将第六中间点云特征输入转置卷积层TC中执行上采样操作UpSampling,获得第七中间点云特征。
将第五中间点云特征与第七中间点云特征拼接concat为第八中间点云特征。
将第八中间点云特征输入第四残差块ResBlock_4中进行处理,获得第九中间点云特征。
三、第一检测头结构Head_1负责在第一局部点云数据框定人体的头部与被子,过程如下:
将第九中间点云特征输入头部分支结构Branch_head中,以映射为用于框定人体的头部的第一检测框。
将第九中间点云特征输入被子分支结构Branch_quilt中,以映射为用于框定被子的第二检测框。
在本实施例中,由于第一局部点云数据的点较为稀疏,编码器、解码器与第一检测头结构的结构均较为简单,不仅可以保证检测人体的头部与被子的精确度的情况下,而且运算较为简单,占用的资源较少,耗时较短,适用于空调的环境,保障用户的隐私安全。
步骤1043、以头部为基准定位人体的躯干。
如图3所示,在确定人体的头部301的基础上,可以依据人体的结构知识,基于头部301的第一检测框的信息(第一检测框在水平面上的长、宽、坐标)推导出人体的躯干302的第三检测框的信息(第三检测框在水平面上的长、宽、坐标)。
步骤1044、若躯干与被子重叠,则在第一局部点云数据中、以头部为基准定位人体的四肢的活动范围,获得第二局部点云数据。
将躯干(第三检测框)与被子进行比较,如果两者存在重叠,可以确认用户已盖被子,由于被子会覆盖用户的四肢,被子会对检测四肢存在一定的干扰,可能存在无法检测到四肢的情况,此时,如图3所示,在确定人体的头部301的基础上,可以依据人体的结构知识,基于头部301的第一检测框的信息(第一检测框在水平面上的长、宽、坐标)推导出人体的四肢的活动范围的信息(活动范围在水平面上的长、宽、坐标),提取水平面位于活动范围内的点,获得第二局部点云数据。
其中,四肢的活动范围包括左上肢的活动范围303、右上肢的活动范围304、左下肢的活动范围305、右下肢的活动范围306。
步骤1045、在第二局部点云数据中检测人体的四肢的姿态。
虽然被子会对检测人体的四肢存在一定的干扰,但是,考虑到在天气较热时,用户使用的被子大多为被单、空调被等薄铺盖,薄铺盖覆盖在用户的四肢上,会显示出用户的四肢凸起的轮廓,具有较为明显的特征,因此,可以预先构建多目标的第二检测网络,并采集用户覆盖被子时的四肢的点云数据作为样本训练第二检测网络,将第二局部点云数据输入该第二检测网络中,在第二局部点云数据中一次性检测人体的四肢。
其中,第二检测网络的结构不局限于人工设计的神经网络,例如,MobileNet、ShuffleNet,等等,也可以通过模型量化方法优化的神经网络,通过NAS方法针对点云的特性搜索的神经网络,等等,本实施例对此不加以限制。
进一步地,在第一局部点云数据中具有四块第二局部点云数据,为便于第二检测网络运算,在提取第二局部点云数据时,提取大小一致的四块第二局部点云数据,或者,在提取的四块第二局部点云数据大小并不一致的情况下,对各块第二局部点云数据进行预处理,使得四块第二局部点云数据大小一致。
当然,如果躯干与被子并不重叠,可以确认用户未盖被子,此时,可以使用常规的、多目标的第三检测网络,在第一局部点云数据中检测人体的四肢,本实施例对此不加以限制。
需要指出的是,由于空调的资源较为有限,第二检测网络与第三检测网络属于两个独立的神经网络,以便压缩第二检测网络的结构与第三检测网络的结构,减少单次检测的运算量,减少检测的耗时。
在本发明的一个实施例中,如图5所示,可加载第二检测网络,第二检测网络包括骨干结构Backbone与第二检测头结构Head_2,那么,可分别加载骨干结构Backbone与第二检测头结构Head_2。
骨干结构Backbone包括第三卷积层Conv_3、第四卷积层Conv_4、第五卷积层Conv_5、第六卷积层Conv_6、第七卷积层Conv_7、第五残差块ResBlock_5与第六残差块ResBlock_6。
其中,第五残差块ResBlock_5与第六残差块ResBlock_6之间的结构相同或相似,均为包含多个残差结构(如加入恒等函数的结构、残差瓶颈块等)的结构。
第二检测头结构Head_2包括左上肢分支结构Branch_LUL、右上肢分支结构Branch_RUL、左下肢分支结构Branch_LLL与右下肢分支结构Branch_RLL。
一、骨干结构Backbone负责从第二局部点云数据中提取特征,过程如下:
将第二局部点云数据输入第三卷积层Conv_3中执行卷积操作,得到第一参考点云特征。
将第一参考点云特征输入第四卷积层Conv_4中执行卷积操作,得到第二参考点云特征。
将第二局部点云数据输入第五卷积层Conv_5中执行卷积操作,得到第三参考点云特征。
将第三参考点云特征输入第六卷积层Conv_6中执行卷积操作,得到第四参考点云特征。
将第二参考点云特征输入第五残差块ResBlock_5中进行处理,得到第五参考点云特征。
将第五参考点云特征输入第六残差块ResBlock_6中进行处理,得到第六参考点云特征。
将第四参考点云特征、第五参考点云特征与第六参考点云特征拼接concat为第七参考点云特征。
将第七参考点云特征输入第七卷积层Conv_7中执行卷积操作,得到第八参考点云特征。
由于第二局部点云数据中的点云较为稀疏,将各个层级的特征(即第四参考点云特征、第五参考点云特征与第六参考点云)进行跳层拼接,可提高特征(尤其为残差特征)的信息量,从而提高检测人体四肢的姿态的精确度。
三、第一检测头结构Head_1负责在第二局部点云数据检测人体四肢的姿态,过程如下:
将第八参考点云特征输入左上肢分支结构Branch_LUL中映射为左上肢的姿态及第一概率,若该第一概率大于预设的第一阈值,则可以确认左上肢的姿态有效,否则,丢弃左上肢的姿态。
将第八参考点云特征输入右上肢分支结构Branch_RUL中映射为右上肢的姿态及第二概率,若该第二概率大于预设的第二阈值,则可以确认右上肢的姿态有效,否则,丢弃右上肢的姿态。
将第八参考点云特征输入左下肢分支结构Branch_LLL中映射为左下肢的姿态及第三概率,若该第三概率大于预设的第三阈值,则可以确认左下肢的姿态有效,否则,丢弃左下肢的姿态。
将第八参考点云特征输入右下肢分支结构Branch_RLL中映射为右下肢的姿态及第四概率,若该第四概率大于预设的第四阈值,则可以确认右下肢的姿态有效,否则,丢弃右下肢的姿态。
在某些情况中,如果用户侧身睡觉,左上肢与右上肢重叠,此时,可能检测到左上肢、未检测到右上肢,或者,检测到右上肢、未检测到左上肢,左下肢与右下肢重叠,此时,可能检测到左下肢、未检测到右下肢,或者,检测到右下肢、未检测到左下肢。
针对此情况,可以通过实验等方式记录用户侧身睡觉的数据,在左上肢与右上肢重叠的情况下,记录左上肢的各种姿态与右上肢各种姿态的共现率,对共现率最高的左上肢的姿态与右上肢的姿态建立映射关系,在左下肢与右下肢重叠的情况下,记录左下肢的各种姿态与右下肢各种姿态的共现率,对共现率最高的左下肢的姿态与右下肢的姿态建立映射关系,并将各种映射关系写入姿态表中。
那么,若检测到左上肢、且未检测到右上肢,则以左上肢的姿态为在姿态表中进行搜索其映射的右上肢的姿态,从而按照左上肢的姿态预测右上肢在与左上肢叠加时的姿态。
若检测到右上肢、且未检测到左上肢,则以右上肢的姿态为在姿态表中进行搜索其映射的左上肢的姿态,从而按照右上肢的姿态预测左上肢在与右上肢叠加时的姿态。
若检测到左下肢、且未检测到右下肢,则以左下肢的姿态为在姿态表中进行搜索其映射的右下肢的姿态,从而按照左下肢的姿态预测右下肢在与左下肢叠加时的姿态。
若检测到右下肢、且未检测到左下肢,则以右下肢的姿态为在姿态表中进行搜索其映射的左下肢的姿态,从而按照右下肢的姿态预测左下肢在与右下肢叠加时的姿态。
本实施例在左上肢与右上肢重叠和/或左下肢与右下肢重叠的情况下,从其中一个肢体的姿态通过经验推测另外一个肢体的姿态,可以避免肢体的姿态缺失,保证空调在睡眠模式的正常运行。
步骤105、依据四肢的姿态计算人体在室内环境呈现的睡眠状态。
一般情况下,用户在室内环境的体感会影响用户的睡眠,使得四肢的姿态可以在一定程度上反映用户对室内环境(如温度、湿度、风力等)呈现的睡眠状态,因此,可以以四肢的姿态作为参考,计算人体对室内环境呈现的睡眠状态。
在具体实现中,可以在时间轴上划分多个时间段,时间段小于时间周期,如10分钟。
在各个时间段内,计算四肢的夹角在水平面上的变化幅度,该变化幅度可以体现用户四肢的摆动幅度。
将所有变化幅度线性融合为总幅度,即,对所有变化幅度加权求和,得到总幅度,各个四肢的权重相等。
在预设的映射表中查询总幅度所处的幅度范围,作为目标范围,其中,映射表中记录有多个幅度范围与睡眠状态之间的映射关系。
将目标范围映射的睡眠状态设置为人体在室内环境呈现的睡眠状态。
步骤106、依据睡眠状态对控制参数进行调整。
在本实施例中,可以对用户的睡眠状态进行评估,可以单独依据用户的睡眠状态使用PID(Proportional Integral Derivative,比例、积分和微分)等方式对控制参数进行调整,也可以联合用户的睡眠状态与其他信息使用PID等方式对控制参数进行调整,以优化用户的睡眠状态。
这些信息可以是用户设置的,如用户的年龄段等,也可以是其他智能家电设备提供的,如空气过滤器提供的气体质量等,本实施例对此不加以限制。
一般情况下,控制参数是对各个天气类别学习的参数,制冷的效果较为良好,为了避免过度调整控制参数导致过冷或过热,可对各种控制参数设置可调整的参数范围,该控制参数属于相应参数范围内的其中一点参数,在参数范围内对控制参数向上调整或向下调整。
当然,用户可以通过使用遥控器,或者,独立的应用程序、某些应用程序的小程序等客户端调整控制参数,使得控制参数超出参数范围,此时,睡眠模式关闭。
用户的睡眠状态除了受室内环境的影响之外,还受其他多种因素的影响,例如,餐饮状态、思想状态、运动状态,等等,并且,这些因素的变化较大,如果依据用户的睡眠状态学习个性化的控制参数,会使得控制参数的偏差较大,因此,在通用的控制参数的基础上进行临时的修正,可提高控制参数的实时有效性。
在一个示例中,睡眠状态包括第一状态(优)、第二状态(良)与第三状态(差),其中,第一状态(优)优于第二状态(良),第二状态(良)优于第三状态(差),那么,在本示例中,可以对时间段添加多个窗口,按照预设的步长(一般为1)滑动该窗口,在滑动的过程中识别该窗口中多个时间段的睡眠状态。
若在多个时间段内的睡眠状态均为第一状态和/或第二状态,表示用户在一个较长的时间范围内的睡眠状态较为良好,则可以维持控制参数不变。
若在多个时间段内的睡眠状态包含第三状态,表示用户在一个较长的时间范围内的睡眠状态存在波动,则可以按照预设的步长调节控制参数,使得控制参数增大或减小。
当然,上述调整控制参数的方式只是作为示例,在实施本实施例时,可以根据实际情况设置其它调整控制参数的方式,本实施例对此不加以限制。另外,除了上述调整控制参数的方式外,本领域技术人员还可以根据实际需要采用其它调整控制参数的方式,本实施例对此也不加以限制。
在本实施例中,空调包括安装在室内环境的内机,内机配置有毫米波雷达,在睡眠模式中,依据室外环境在多个时间周期内的天气信息确定室外环境的天气类别;使用对天气类别学习的控制参数控制空调制冷;接收家电设备驱动毫米波雷达在室内环境采集多帧原始点云数据;在各帧、原始点云数据中检测人体四肢的姿态;依据四肢的姿态计算人体在室内环境呈现的睡眠状态;依据睡眠状态对控制参数进行调整。本实施例针对室外环境的天气类别学习通用的控制参数进行制冷,在此基础上,依据用户的姿态计算人体的睡眠状态,并以此对控制参数进行个性化调整,自适应调整到适配用户的制冷效果,大大提高了空调睡眠模式的灵活性,提高了用户在室内环境睡眠的舒适度。
实施例二
图6为本发明实施例二提供的一种空调的控制装置的结构示意图。如图6所示,该装置包括:
类别确定模块601,用于在睡眠模式中,依据室外环境在多个时间周期内的天气信息确定所述室外环境的天气类别;
制冷启动模块602,用于使用对所述天气类别学习的控制参数控制所述空调制冷;
点云数据采集模块603,用于接收家电设备驱动毫米波雷达在室内环境采集多帧原始点云数据;
姿态检测模块604,用于在各帧所述原始点云数据中检测人体四肢的姿态;
睡眠状态计算模块605,用于依据所述四肢的姿态计算所述人体在所述室内环境呈现的睡眠状态;
控制参数调整模块606,用于依据所述睡眠状态对所述控制参数进行调整。
在本发明的一个实施例中,所述空调包括安装在室外环境的外机,所述类别确定模块601包括:
环境参数采集模块,用于在睡眠模式中,调用所述外机中的传感器检测所述室外环境的温度值与湿度值;
地理位置定位模块,用于定位所述空调所处的地理位置;
天气标签查询模块,用于向服务器查询所述地理位置在最近多个时间周期的天气标签,所述天气标签表征无云、有云无雨或雨;
天气特征编码模块,用于以多个所述天气标签、所述温度值与所述湿度值为天气信息,将所述天气信息编码为天气特征;
天气类别查询模块,用于确定预设的多个天气类别,各个所述天气类别具有中心点;
距离值计算模块,用于计算所述天气特征与各个所述中心点之间的距离值;
天气类别划分模块,用于将所述室外环境划分至数值最小的所述距离值对应的类别中。
在本发明的一个实施例中,所述姿态检测模块604包括:
第一局部点云提取模块,用于在所述原始点云数据中筛选出床所在的区域,获得第一局部点云数据;
头被检测模块,用于在所述第一局部点云数据中检测人体的头部与被子;
躯干定位模块,用于以所述头部为基准定位所述人体的躯干;
第二局部点云提取模块,用于若所述躯干与所述被子重叠,则在所述第一局部点云数据中、以所述头部为基准定位所述人体的四肢的活动范围,获得第二局部点云数据;
四肢检测模块,用于在所述第二局部点云数据中检测所述人体的四肢的姿态。
在本发明的一个实施例中,所述头被检测模块包括:
第一网络结构加载模块,用于加载编码器、解码器与第一检测头结构;所述编码器包括第一卷积层、第二卷积层、第一残差块、第二残差块、第三残差块与空间金字塔池化层;所述解码器包括转置卷积层、第四残差块;所述第一检测头结构包括头部分支结构与被子分支结构;
第一中间点云特征生成模块,用于将所述第一局部点云数据输入所述第一卷积层中执行卷积操作,获得第一中间点云特征;
第二中间点云特征生成模块,用于将所述第一中间点云特征输入所述第一残差块中进行处理,获得第二中间点云特征;
第三中间点云特征生成模块,用于将所述第二中间点云特征输入所述第二卷积层中执行卷积操作,获得第三中间点云特征;
第四中间点云特征生成模块,用于将所述第三中间点云特征输入所述第二残差块中进行处理,获得第四中间点云特征;
第五中间点云特征生成模块,用于将所述第四中间点云特征输入所述第三残差块中进行处理,获得第五中间点云特征;
第六中间点云特征生成模块,用于将所述第五中间点云特征输入所述空间金字塔池化层中执行池化操作,获得第六中间点云特征;
第七中间点云特征生成模块,用于将所述第六中间点云特征输入所述转置卷积层中执行上采样操作,获得第七中间点云特征;
第八中间点云特征生成模块,用于将所述第五中间点云特征与所述第七中间点云特征拼接为第八中间点云特征;
第九中间点云特征生成模块,用于将所述第八中间点云特征输入所述第四残差块中进行处理,获得第九中间点云特征;
第一检测框生成模块,用于将所述第九中间点云特征输入所述头部分支结构中,以映射为用于框定人体的头部的第一检测框;
第二检测框生成模块,用于将所述第九中间点云特征输入所述被子分支结构中,以映射为用于框定被子的第二检测框。
在本发明的一个实施例中,所述四肢检测模块包括:
第二网络结构加载模块,用于加载骨干结构与第二检测头结构,所述骨干结构包括第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第五残差块与第六残差块,所述第二检测头结构包括左上肢分支结构、右上肢分支结构、左下肢分支结构与右下肢分支结构;
第一参考点云特征生成模块,用于将所述第二局部点云数据输入所述第三卷积层中执行卷积操作,得到第一参考点云特征;
第二参考点云特征生成模块,用于将所述第一参考点云特征输入所述第四卷积层中执行卷积操作,得到第二参考点云特征;
第三参考点云特征生成模块,用于将所述第二局部点云数据输入所述第五卷积层中执行卷积操作,得到第三参考点云特征;
第四参考点云特征生成模块,用于将所述第三参考点云特征输入所述第六卷积层中执行卷积操作,得到第四参考点云特征;
第五参考点云特征生成模块,用于将所述第二参考点云特征输入所述第五残差块中进行处理,得到第五参考点云特征;
第六参考点云特征生成模块,用于将所述第五参考点云特征输入所述第六残差块中进行处理,得到第六参考点云特征;
第七参考点云特征生成模块,用于将所述第四参考点云特征、所述第五参考点云特征与所述第六参考点云特征拼接为第七参考点云特征;
第八参考点云特征生成模块,用于将所述第七参考点云特征输入所述第七卷积层中执行卷积操作,得到第八参考点云特征;
左上姿态生成模块,用于将所述第八参考点云特征输入所述左上肢分支结构中映射为左上肢的姿态;
右上姿态生成模块,用于将所述第八参考点云特征输入所述右上肢分支结构中映射为右上肢的姿态;
左下姿态生成模块,用于将所述第八参考点云特征输入所述左下肢分支结构中映射为左下肢的姿态;
右下姿态生成模块,用于将所述第八参考点云特征输入所述右下肢分支结构中映射为右下肢的姿态。
在本发明的一个实施例中,所述四肢检测模块还包括:
右上姿态预测模块,用于若检测到所述左上肢、且未检测到所述右上肢,则按照所述左上肢的姿态预测所述右上肢在与所述左上肢叠加时的姿态;
左上姿态预测模块,用于若检测到所述右上肢、且未检测到所述左上肢,则按照所述右上肢的姿态预测所述左上肢在与所述右上肢叠加时的姿态;
右下姿态预测模块,用于若检测到所述左下肢、且未检测到所述右下肢,则按照所述左下肢的姿态预测所述右下肢在与所述左下肢叠加时的姿态;
左下姿态预测模块,用于若检测到所述右下肢、且未检测到所述左下肢,则按照所述右下肢的姿态预测所述左下肢在与所述右下肢叠加时的姿态。
在本发明的一个实施例中,所述姿态包括在水平面上、三个关节之间形成的夹角,所述睡眠状态计算模块605包括:
时间段划分模块,用于划分多个时间段;
变化幅度计算模块,用于在各个所述时间段内,计算所述四肢的夹角在水平面上的变化幅度;
总幅度融合模块,用于将所有所述变化幅度线性融合为总幅度;
目标范围确定模块,用于在预设的映射表中查询所述总幅度所处的幅度范围,作为目标范围,所述映射表中记录有多个幅度范围与睡眠状态之间的映射关系;
睡眠状态设置模块,用于将所述目标范围映射的睡眠状态设置为所述人体在所述室内环境呈现的睡眠状态。
在本发明实施例的一个示例中,所述睡眠状态包括第一状态、第二状态与第三状态,所述第一状态优于所述第二状态,所述第二状态优于第三状态,所述控制参数调整模块606包括:
控制参数维持模块,用于若在多个所述时间段内的所述睡眠状态均为所述第一状态和/或所述第二状态,则维持所述控制参数;
控制参数调节模块,用于若在多个所述时间段内的所述睡眠状态包含所述第三状态,则按照预设的步长调节所述控制参数。
本发明实施例所提供的空调的控制装置可执行本发明任意实施例所提供的空调的控制方法,具备执行空调的控制方法相应的功能模块和有益效果。
实施例三
图7示出了可以用来实施本发明的实施例的空调10的结构示意图。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图7所示,空调10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储空调10操作所需的各种程序和数据。处理器11、ROM12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
空调10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许空调10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,如空调的控制方法。
在一些实施例中,空调的控制方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到空调10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的空调的控制方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行空调的控制方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在空调上实施此处描述的***和技术,该空调具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给空调。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
实施例四
本发明实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序在被处理器执行时实现如本发明任一实施例所提供的空调的控制方法。
计算机程序产品在实现的过程中,可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言,诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (7)

1.一种空调的控制方法,其特征在于,包括:
在睡眠模式中,依据室外环境在多个时间周期内的天气信息确定所述室外环境的天气类别;
使用对所述天气类别学习的控制参数控制所述空调制冷;
接收家电设备驱动毫米波雷达在室内环境采集多帧原始点云数据;
在各帧所述原始点云数据中检测人体四肢的姿态;
依据所述四肢的姿态计算所述人体在所述室内环境呈现的睡眠状态;
依据所述睡眠状态对所述控制参数进行调整;
其中,所述在各帧所述原始点云数据中检测人体四肢的姿态,包括:
在所述原始点云数据中筛选出床所在的区域,获得第一局部点云数据;
在所述第一局部点云数据中检测人体的头部与被子;
以所述头部为基准定位所述人体的躯干;
若所述躯干与所述被子重叠,则在所述第一局部点云数据中、以所述头部为基准定位所述人体的四肢的活动范围,获得第二局部点云数据;
在所述第二局部点云数据中检测所述人体的四肢的姿态;
所述在所述第一局部点云数据中检测人体的头部与被子,包括:
加载编码器、解码器与第一检测头结构;所述编码器包括第一卷积层、第二卷积层、第一残差块、第二残差块、第三残差块与空间金字塔池化层;所述解码器包括转置卷积层、第四残差块;所述第一检测头结构包括头部分支结构与被子分支结构;
将所述第一局部点云数据输入所述第一卷积层中执行卷积操作,获得第一中间点云特征;
将所述第一中间点云特征输入所述第一残差块中进行处理,获得第二中间点云特征;
将所述第二中间点云特征输入所述第二卷积层中执行卷积操作,获得第三中间点云特征;
将所述第三中间点云特征输入所述第二残差块中进行处理,获得第四中间点云特征;
将所述第四中间点云特征输入所述第三残差块中进行处理,获得第五中间点云特征;
将所述第五中间点云特征输入所述空间金字塔池化层中执行池化操作,获得第六中间点云特征;
将所述第六中间点云特征输入所述转置卷积层中执行上采样操作,获得第七中间点云特征;
将所述第五中间点云特征与所述第七中间点云特征拼接为第八中间点云特征;
将所述第八中间点云特征输入所述第四残差块中进行处理,获得第九中间点云特征;
将所述第九中间点云特征输入所述头部分支结构中,以映射为用于框定人体的头部的第一检测框;
将所述第九中间点云特征输入所述被子分支结构中,以映射为用于框定被子的第二检测框;
所述在所述第二局部点云数据中检测所述人体的四肢的姿态,包括:
加载骨干结构与第二检测头结构,所述骨干结构包括第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第五残差块与第六残差块,所述第二检测头结构包括左上肢分支结构、右上肢分支结构、左下肢分支结构与右下肢分支结构;
将所述第二局部点云数据输入所述第三卷积层中执行卷积操作,得到第一参考点云特征;
将所述第一参考点云特征输入所述第四卷积层中执行卷积操作,得到第二参考点云特征;
将所述第二局部点云数据输入所述第五卷积层中执行卷积操作,得到第三参考点云特征;
将所述第三参考点云特征输入所述第六卷积层中执行卷积操作,得到第四参考点云特征;
将所述第二参考点云特征输入所述第五残差块中进行处理,得到第五参考点云特征;
将所述第五参考点云特征输入所述第六残差块中进行处理,得到第六参考点云特征;
将所述第四参考点云特征、所述第五参考点云特征与所述第六参考点云特征拼接为第七参考点云特征;
将所述第七参考点云特征输入所述第七卷积层中执行卷积操作,得到第八参考点云特征;
将所述第八参考点云特征输入所述左上肢分支结构中映射为左上肢的姿态;
将所述第八参考点云特征输入所述右上肢分支结构中映射为右上肢的姿态;
将所述第八参考点云特征输入所述左下肢分支结构中映射为左下肢的姿态;
将所述第八参考点云特征输入所述右下肢分支结构中映射为右下肢的姿态。
2.根据权利要求1所述的方法,其特征在于,所述空调包括安装在室外环境的外机,所述在睡眠模式中,依据室外环境在多个时间周期内的天气信息确定所述室外环境的天气类别,包括:
在睡眠模式中,调用所述外机中的传感器检测所述室外环境的温度值与湿度值;
定位所述空调所处的地理位置;
向服务器查询所述地理位置在最近多个时间周期的天气标签,所述天气标签表征无云、有云无雨或雨;
以多个所述天气标签、所述温度值与所述湿度值为天气信息,将所述天气信息编码为天气特征;
确定预设的多个天气类别,各个所述天气类别具有中心点;
计算所述天气特征与各个所述中心点之间的距离值;
将所述室外环境划分至数值最小的所述距离值对应的类别中。
3.根据权利要求1所述的方法,其特征在于,所述在所述第二局部点云数据中检测所述人体的四肢的姿态,还包括:
若检测到所述左上肢、且未检测到所述右上肢,则按照所述左上肢的姿态预测所述右上肢在与所述左上肢叠加时的姿态;
若检测到所述右上肢、且未检测到所述左上肢,则按照所述右上肢的姿态预测所述左上肢在与所述右上肢叠加时的姿态;
若检测到所述左下肢、且未检测到所述右下肢,则按照所述左下肢的姿态预测所述右下肢在与所述左下肢叠加时的姿态;
若检测到所述右下肢、且未检测到所述左下肢,则按照所述右下肢的姿态预测所述左下肢在与所述右下肢叠加时的姿态。
4.根据权利要求1-3中任一项所述的方法,其特征在于,
所述姿态包括在水平面上、三个关节之间形成的夹角,所述依据所述四肢的姿态计算所述人体在所述室内环境呈现的睡眠状态,包括:
划分多个时间段;
在各个所述时间段内,计算所述四肢的夹角在水平面上的变化幅度;
将所有所述变化幅度线性融合为总幅度;
在预设的映射表中查询所述总幅度所处的幅度范围,作为目标范围,所述映射表中记录有多个幅度范围与睡眠状态之间的映射关系;
将所述目标范围映射的睡眠状态设置为所述人体在所述室内环境呈现的睡眠状态;
所述睡眠状态包括第一状态、第二状态与第三状态,所述第一状态优于所述第二状态,所述第二状态优于第三状态,所述依据所述睡眠状态对所述控制参数进行调整,包括:
若在多个所述时间段内的所述睡眠状态均为所述第一状态和/或所述第二状态,则维持所述控制参数;
若在多个所述时间段内的所述睡眠状态包含所述第三状态,则按照预设的步长调节所述控制参数。
5.一种空调的控制装置,其特征在于,包括:
类别确定模块,用于在睡眠模式中,依据室外环境在多个时间周期内的天气信息确定所述室外环境的天气类别;
制冷启动模块,用于使用对所述天气类别学习的控制参数控制所述空调制冷;
点云数据采集模块,用于接收家电设备驱动毫米波雷达在室内环境采集多帧原始点云数据;
姿态检测模块,用于在各帧所述原始点云数据中检测人体四肢的姿态;
睡眠状态计算模块,用于依据所述四肢的姿态计算所述人体在所述室内环境呈现的睡眠状态;
控制参数调整模块,用于依据所述睡眠状态对所述控制参数进行调整;
其中,所述姿态检测模块包括:
第一局部点云提取模块,用于在所述原始点云数据中筛选出床所在的区域,获得第一局部点云数据;
头被检测模块,用于在所述第一局部点云数据中检测人体的头部与被子;
躯干定位模块,用于以所述头部为基准定位所述人体的躯干;
第二局部点云提取模块,用于若所述躯干与所述被子重叠,则在所述第一局部点云数据中、以所述头部为基准定位所述人体的四肢的活动范围,获得第二局部点云数据;
四肢检测模块,用于在所述第二局部点云数据中检测所述人体的四肢的姿态;
所述头被检测模块包括:
第一网络结构加载模块,用于加载编码器、解码器与第一检测头结构;所述编码器包括第一卷积层、第二卷积层、第一残差块、第二残差块、第三残差块与空间金字塔池化层;所述解码器包括转置卷积层、第四残差块;所述第一检测头结构包括头部分支结构与被子分支结构;
第一中间点云特征生成模块,用于将所述第一局部点云数据输入所述第一卷积层中执行卷积操作,获得第一中间点云特征;
第二中间点云特征生成模块,用于将所述第一中间点云特征输入所述第一残差块中进行处理,获得第二中间点云特征;
第三中间点云特征生成模块,用于将所述第二中间点云特征输入所述第二卷积层中执行卷积操作,获得第三中间点云特征;
第四中间点云特征生成模块,用于将所述第三中间点云特征输入所述第二残差块中进行处理,获得第四中间点云特征;
第五中间点云特征生成模块,用于将所述第四中间点云特征输入所述第三残差块中进行处理,获得第五中间点云特征;
第六中间点云特征生成模块,用于将所述第五中间点云特征输入所述空间金字塔池化层中执行池化操作,获得第六中间点云特征;
第七中间点云特征生成模块,用于将所述第六中间点云特征输入所述转置卷积层中执行上采样操作,获得第七中间点云特征;
第八中间点云特征生成模块,用于将所述第五中间点云特征与所述第七中间点云特征拼接为第八中间点云特征;
第九中间点云特征生成模块,用于将所述第八中间点云特征输入所述第四残差块中进行处理,获得第九中间点云特征;
第一检测框生成模块,用于将所述第九中间点云特征输入所述头部分支结构中,以映射为用于框定人体的头部的第一检测框;
第二检测框生成模块,用于将所述第九中间点云特征输入所述被子分支结构中,以映射为用于框定被子的第二检测框;
所述四肢检测模块包括:
第二网络结构加载模块,用于加载骨干结构与第二检测头结构,所述骨干结构包括第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层、第五残差块与第六残差块,所述第二检测头结构包括左上肢分支结构、右上肢分支结构、左下肢分支结构与右下肢分支结构;
第一参考点云特征生成模块,用于将所述第二局部点云数据输入所述第三卷积层中执行卷积操作,得到第一参考点云特征;
第二参考点云特征生成模块,用于将所述第一参考点云特征输入所述第四卷积层中执行卷积操作,得到第二参考点云特征;
第三参考点云特征生成模块,用于将所述第二局部点云数据输入所述第五卷积层中执行卷积操作,得到第三参考点云特征;
第四参考点云特征生成模块,用于将所述第三参考点云特征输入所述第六卷积层中执行卷积操作,得到第四参考点云特征;
第五参考点云特征生成模块,用于将所述第二参考点云特征输入所述第五残差块中进行处理,得到第五参考点云特征;
第六参考点云特征生成模块,用于将所述第五参考点云特征输入所述第六残差块中进行处理,得到第六参考点云特征;
第七参考点云特征生成模块,用于将所述第四参考点云特征、所述第五参考点云特征与所述第六参考点云特征拼接为第七参考点云特征;
第八参考点云特征生成模块,用于将所述第七参考点云特征输入所述第七卷积层中执行卷积操作,得到第八参考点云特征;
左上姿态生成模块,用于将所述第八参考点云特征输入所述左上肢分支结构中映射为左上肢的姿态;
右上姿态生成模块,用于将所述第八参考点云特征输入所述右上肢分支结构中映射为右上肢的姿态;
左下姿态生成模块,用于将所述第八参考点云特征输入所述左下肢分支结构中映射为左下肢的姿态;
右下姿态生成模块,用于将所述第八参考点云特征输入所述右下肢分支结构中映射为右下肢的姿态。
6.一种空调,其特征在于,所述空调包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-4中任一项所述的空调的控制方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序用于使处理器执行时实现权利要求1-4中任一项所述的空调的控制方法。
CN202311349404.7A 2023-10-18 2023-10-18 一种空调的控制方法、装置、空调及存储介质 Active CN117404783B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311349404.7A CN117404783B (zh) 2023-10-18 2023-10-18 一种空调的控制方法、装置、空调及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311349404.7A CN117404783B (zh) 2023-10-18 2023-10-18 一种空调的控制方法、装置、空调及存储介质

Publications (2)

Publication Number Publication Date
CN117404783A CN117404783A (zh) 2024-01-16
CN117404783B true CN117404783B (zh) 2024-05-31

Family

ID=89499330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311349404.7A Active CN117404783B (zh) 2023-10-18 2023-10-18 一种空调的控制方法、装置、空调及存储介质

Country Status (1)

Country Link
CN (1) CN117404783B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011094881A (ja) * 2009-10-29 2011-05-12 Mitsubishi Electric Corp 空気調和機及び空気調和システム
JP2012202659A (ja) * 2011-03-28 2012-10-22 Mitsubishi Electric Corp 睡眠状態検出装置およびこれを用いた空気調和機、ならびに、睡眠状態検出方法および空気調和機制御方法
CN104834946A (zh) * 2015-04-09 2015-08-12 清华大学 一种非接触式睡眠监测方法及***
CN110569895A (zh) * 2019-08-30 2019-12-13 深圳大学 一种卷积神经网络的微多普勒雷达人体动作分类方法
CN111442460A (zh) * 2020-03-17 2020-07-24 海信(山东)空调有限公司 一种感知用户活动状态的空调器控制方法以及空调器
CN114738922A (zh) * 2022-03-14 2022-07-12 青岛海尔空调器有限总公司 用于控制空调的方法及装置、空调、存储介质
CN114738969A (zh) * 2022-03-30 2022-07-12 青岛海尔空调器有限总公司 空调控制方法、装置、计算机可读存储介质及空调
CN115120837A (zh) * 2022-06-27 2022-09-30 慕思健康睡眠股份有限公司 基于深度学习的睡眠环境调节方法、***、装置及介质
CN115294730A (zh) * 2022-08-11 2022-11-04 深圳市锐驰曼科技发展有限公司 一种基于ai视频与毫米波雷达融合技术的疲劳驾驶监测***
CN115866852A (zh) * 2023-02-22 2023-03-28 广州易而达科技股份有限公司 一种照明灯具的灯光调节方法、装置、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011094881A (ja) * 2009-10-29 2011-05-12 Mitsubishi Electric Corp 空気調和機及び空気調和システム
JP2012202659A (ja) * 2011-03-28 2012-10-22 Mitsubishi Electric Corp 睡眠状態検出装置およびこれを用いた空気調和機、ならびに、睡眠状態検出方法および空気調和機制御方法
CN104834946A (zh) * 2015-04-09 2015-08-12 清华大学 一种非接触式睡眠监测方法及***
CN110569895A (zh) * 2019-08-30 2019-12-13 深圳大学 一种卷积神经网络的微多普勒雷达人体动作分类方法
CN111442460A (zh) * 2020-03-17 2020-07-24 海信(山东)空调有限公司 一种感知用户活动状态的空调器控制方法以及空调器
CN114738922A (zh) * 2022-03-14 2022-07-12 青岛海尔空调器有限总公司 用于控制空调的方法及装置、空调、存储介质
CN114738969A (zh) * 2022-03-30 2022-07-12 青岛海尔空调器有限总公司 空调控制方法、装置、计算机可读存储介质及空调
CN115120837A (zh) * 2022-06-27 2022-09-30 慕思健康睡眠股份有限公司 基于深度学习的睡眠环境调节方法、***、装置及介质
CN115294730A (zh) * 2022-08-11 2022-11-04 深圳市锐驰曼科技发展有限公司 一种基于ai视频与毫米波雷达融合技术的疲劳驾驶监测***
CN115866852A (zh) * 2023-02-22 2023-03-28 广州易而达科技股份有限公司 一种照明灯具的灯光调节方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN117404783A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
CN108488987B (zh) 空气调节设备的控制方法、存储介质和设备
KR102488347B1 (ko) 에어 컨디셔닝 시스템에서 에어 컨디셔너를 제어하는 장치 및 방법
CN104267626B (zh) 一种家用电器控制方法及***
WO2020000504A1 (zh) 基于arima的冷库温湿度数据预测方法及相关产品
KR20180112653A (ko) 데이터 학습 서버 및 이의 학습 모델 생성 및 이용 방법
CN105045234A (zh) 基于智能可穿戴设备行为感知的智能家庭能源管理方法
CN108375168B (zh) 一种调节空气调节设备的方法
KR20190043258A (ko) 데이터 학습 서버, 이의 학습 모델 생성 및 이용 방법
CN113139402B (zh) 一种冰箱
CN111219845A (zh) 一种温度控制方法、装置、存储介质及空调
CN109541580A (zh) 电器设备控制方法、装置及电器设备
CN110471301A (zh) 一种基于用户行为的智能家居服务推荐***及方法
CN117404783B (zh) 一种空调的控制方法、装置、空调及存储介质
Feng et al. A novel adaptive cooperative location algorithm for wireless sensor networks
CN111141284A (zh) 智能建筑人员热舒适度及热环境管理***和方法
CN110989430A (zh) 一种智能家居联动方法、***和可读存储介质
CN105066350B (zh) 温度控制装置、温度调节***和温度控制方法
CN109059212A (zh) 空调器的控制方法、装置及空调器
CN113009897A (zh) 一种智能家电的控制方法、装置、智能家电及存储介质
CN112432328A (zh) 空调的控制方法和装置、存储介质、电子装置
CN112325450A (zh) 智能空调器控制参数的获取方法与控制设备
CN117368902B (zh) 一种轨迹跟踪方法、装置、设备及存储介质
CN115841707A (zh) 基于深度学习的雷达人体姿态识别方法及相关设备
Mengyao et al. Intelligent product art design based on smart equipment and machine learning algorithm: practice effect and trend analysis
Wang et al. How occupant positioning systems can be applied to help historic residences manage energy consumption: A case study in China

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant