CN112764349A - 晾衣架控制方法、晾衣架、***及存储介质 - Google Patents

晾衣架控制方法、晾衣架、***及存储介质 Download PDF

Info

Publication number
CN112764349A
CN112764349A CN201911061473.1A CN201911061473A CN112764349A CN 112764349 A CN112764349 A CN 112764349A CN 201911061473 A CN201911061473 A CN 201911061473A CN 112764349 A CN112764349 A CN 112764349A
Authority
CN
China
Prior art keywords
gesture
clothes hanger
control
user
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911061473.1A
Other languages
English (en)
Inventor
陈小平
熊德林
陈应文
周晓京
康明吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Viomi Electrical Technology Co Ltd
Original Assignee
Foshan Viomi Electrical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Viomi Electrical Technology Co Ltd filed Critical Foshan Viomi Electrical Technology Co Ltd
Priority to CN201911061473.1A priority Critical patent/CN112764349A/zh
Publication of CN112764349A publication Critical patent/CN112764349A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智能家居领域,公开了一种晾衣架控制方法、晾衣架、智能晾衣架***及存储介质,所述晾衣架设有摄像头,所述控制方法包括:开启所述摄像头,通过所述摄像头采集包含用户的手势动作的图像;将所述图像输入预先训练的手势识别模型,以得到对应的手势动作;判断所述手势动作是否与预设控制手势相匹配;若所述手势动作与预设控制手势相匹配,则根据所述预设控制手势调用对应的控制指令以控制晾衣架本体上升或下降。利用手势控制晾衣架的升降,便捷用户的使用。

Description

晾衣架控制方法、晾衣架、***及存储介质
技术领域
本申请涉及智能家居领域,尤其涉及一种晾衣架控制方法、晾衣架、智能晾衣架***及存储介质。
背景技术
随着智能家居的普及,晾衣架也在不断的发展中。相比传统的固定式晾衣架,新型晾衣架以其方便、易用性,广泛的被市场接受,如手摇式升降晾衣架、开关式电动升降晾衣架、遥控式升降晾衣架等。近年机器视觉、语音技术及芯片计算能力的不断发展,使得非接触式的控制技术越来越多的应用在智能家居领域。但开关式电动升降晾衣架需要破坏墙体及布线来安装控制形状,美观度不足,而遥控式升降晾衣架,用户在使用时经常会出现找不到遥控器的情况。
因此,如何控制晾衣架的升降以便捷用户的使用成为亟待解决的问题。
发明内容
本申请提供了一种晾衣架控制方法、晾衣架、智能晾衣架***及存储介质,以利用手势控制晾衣架的升降,从而便捷用户的使用。
第一方面,本申请提供了一种晾衣架控制方法,所述晾衣架设有摄像头,所述控制方法包括:
开启所述摄像头,通过所述摄像头采集包含用户的手势动作的图像;
将所述图像输入预先训练的手势识别模型,以得到对应的手势动作;
判断所述手势动作是否与预设控制手势相匹配;
若所述手势动作与预设控制手势相匹配,则根据所述预设控制手势调用对应的控制指令以控制晾衣架本体上升或下降。
第二方面,本申请还提供了一种晾衣架,所述晾衣架包括摄像头、存储器和处理器;
所述摄像头用于采集包含用户的手势动作的图像;
所述存储器用于存储计算机程序;
所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现如上述的晾衣架控制方法。
第三方面,本申请还提供了一种智能晾衣架***,所述***包括:晾衣架和洗衣机,所述晾衣架和洗衣机通信连接;
所述洗衣机用于在洗完衣服时发送开启指令至所述晾衣架;
所述晾衣架用于接收所述开启指令,并执行如上述的晾衣架控制方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上述的晾衣架控制方法。
本申请公开了一种晾衣架控制方法、晾衣架、智能晾衣架***及存储介质,所述晾衣架上设有摄像头,通过开启摄像头采集包含用户手势动作的图像;并将所述图像输入预先训练的手势识别模型,以得到对应的手势动作;再判断手势动作是否与预设控制手势相匹配,若手势动作与预设控制手势相匹配,则根据预设控制手势调用对应的控制指令控制晾衣架本体的上升或下降。使用户能够通过手势动作控制晾衣架的升降,便捷用户的使用。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的一种智能晾衣架***的示意图;
图2是本申请实施例提供的一种手势识别模型的训练方法的步骤示意图;
图3是本申请实施例提供的一种晾衣架控制方法的步骤示意图;
图4是本申请实施例提供的识别出的几种手势动作的示意图;
图5是本申请的实施例提供的一种晾衣架控制方法的步骤示意图;
图6是本申请实施例提供的一种手势识别模型训练装置的结构示意图;
图7是本申请实施例提供的一种晾衣架的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参阅图1,图1是本申请提供的一种智能晾衣架***的示意图。以下将结合图1,对本申请实施例中的智能晾衣架***进行说明。
如图1所示,该智能晾衣架***10包括晾衣架11和洗衣机12,洗衣机12上设置有信号传输装置121,洗衣机12在洗完衣服时通过信号传输装置121发送开启指令至晾衣架,所述开启指令是指用于控制开启摄像头的指令。
其中,信号传输装置121在进行信号传输时,可以利用例如5G/4G网络、WIFI网络、蓝牙或者ZigBee等多种无线信号传输方式。
晾衣架11包括晾衣架本体111、摄像头112、手势识别装置113和功能控制装置114,通过摄像头可以对包含用户的手势动作的图像进行采集,并将采集到的图像发送至手势识别装置进行手势识别。
其中,晾衣架本体111用于进行上升或下降以供用户晒取衣服。可以理解的,晾衣架11上还设置有电机,以驱动晾衣架本体进行上升或下降。
摄像头112设置于晾衣架11上,在一些实施例中,摄像头112具体地可以设置在晾衣架本体111上,用于采集包含用户的手势动作的图像。
在本申请的实施例中,该摄像头可以是2D摄像头,在其他实施例中,该摄像头可以是深度摄像头等。
手势识别装置113设置于晾衣架11上,且手势识别装置113与摄像头连接,用于接收所述摄像头采集的包含用户的手势动作的图像,并对所述图像进行手势识别,以生成识别结果。其中,所述手势识别装置具体地可以是手势识别芯片。
功能控制装置114设置于晾衣架11上,功能控制装置114包括信号接收模块、处理器和电机驱动模块,功能控制装置可以分别与洗衣机、摄像头、和手势识别装置进行通信,比如,根据洗衣机发送的开启指令开启摄像头、获取手势识别装置生成的识别结果,并根据所述识别结果控制晾衣架本体的上升或下降。
其中,该处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
为了降低晾衣架的能耗,需要对摄像头的开启状态进行控制,也即使摄像头在用户需要晒取衣服,使用晾衣架时开启,以降低摄像头的能耗。
因此,在智能晾衣架***中,洗衣机在洗完衣服时发送开启指令至晾衣架,晾衣架接收所述开启指令,并根据所述开启指令控制摄像头开启。根据洗衣机的洗衣状态控制摄像头的启闭,由此对摄像头的启闭进行控制,降低摄像头的耗能。
在一实施例中,所述晾衣架上还可以设置红外传感器。红外传感器与功能控制装置信号连接,所述红外传感器用于检测晾衣架附近是否有用户靠近,所述红外传感器将检测结果发送给功能控制装置,当检测到有用户靠近时,功能控制装置开启摄像头。
可以理解的,图1中的智能晾衣架***以及上述对于智能晾衣架***的各部件的命名仅仅出于标识的目的,并不因此对本申请实施例进行限制。
以下将基于图1中的智能晾衣架***,对本申请的实施例提供的晾衣架控制方法进行详细介绍。
请参阅图2,图2是本申请实施例提供的一种手势识别模型的训练方法的步骤示意图。该手势识别模型是基于卷积神经网络进行模型训练得到的,当然也可以采用其他网络进行训练得到。
需要说明的是,使用MobileNetv2-SSD网络进行模型训练以得到手势识别模型,当然也可以采用其他网络,比如采用VGG-SSD、MobileNetv2-SSDLite等。以下将以MobileNetv2-SSD网络为例进行介绍。
如图2所示,该手势识别模型的训练方法,用于训练出手势识别模型以便应用于晾衣架控制方法上。其中,该训练方法包括步骤S101至步骤S103。
S101、获取样本手势图像。
具体地,所述样本手势图像为拍摄的多个手势动作的图像。在一些实施例中,所述样本手势图像可以是从不同角度拍摄的手势动作图像。选取多个不同的手势动作,并从不同的角度对手势动作进行拍摄,并将拍摄得到的图像作为样本手势图像,该样本手势图像构成样本手势图像集,用于训练手势识别模型。
S102、根据手势类别对应的类别标识对所述样本手势图像进行标注,以构建样本数据。
其中,手势类别包括上升控制手势和下降控制手势,对应的类别标识包括上升标识和下降标识。例如上升控制手势可以是大拇指朝上的手势,下降控制手势可以是大拇指朝下的手势。
在一些实施例中,手势类别除了包括上升控制手势和下降控制手势之外,还可以包括停止控制手势,停止控制手势对应的类别标识为停止标识。例如,停止控制手势为OK手势。
在一些实施例中,为了提高手势识别模型的准确度,在对样本手势图像进行标注后,可以对样本手势图像进行图像处理以改变所述样本手势图像的图片参数。
其中,图像处理操作包括:尺寸调整、裁剪处理、旋转处理和图像算法处理等等;图像算法处理包括:调整色温算法、调整曝光算法、调整对比度算法、高光恢复算法、低光补偿算法、白平衡算法、调整清晰度算法、雾化算法索引、调整自然饱和度算法。通过这些图像处理操作可以增加样本数据的多样性,使得样本数据更贴近真实拍摄的图片。
相应地,图片参数包括尺寸信息、像素大小、色温参数、曝光度、对比度、白平衡、清晰度、雾化参数和自然饱和度等。
需要说明的是,对样本手势图像进行图像处理操作以改变所述对样本手势图像的图片参数,是指分别对样本手势图像进行上述多种图像处理操作中的一种或几种结合以改变所述样本手势图像的图片参数。进而增加样本的多样性,同时使得样本更能代表现实环境,由此提高了模型的识别准确度。
S103、基于卷积神经网络,根据所述样本数据进行模型训练以得到手势识别模型,并将得到的手势识别模型作为预先训练的手势识别模型。
其中,具体地,使用构建的样本数据,通过MobileNetv2-SSD网络进行模型训练,其中,所述卷积神经网络包括输入层、多个卷积层、池化层、全连接层和输出层。在卷积神经网络中增加了特征提取层,重新设计了抽取默认框的特征图的大小,进而定义网络中对应的层为生成默认框(default boxes)的层,并且定义了每一层中生成默认框的长宽比等,选择不同长宽比的默认框层用于预测在样本手势图像中占比不同的手势,提高手势识别的准确率。在用户手势距离摄像头较远,导致手在采集到的手势动作图像中的占比较小时,提高了该模型的识别准确率。
在一些实施例中,由于晾衣架控制方法应用于晾衣架中,因此可以将训练好的模型保存在晾衣架的手势识别装置中,以提高数据处理速度和模型的反应速度,提高交互速度,给用户带来更实时的体验。
在一些实施例中,为了保证晾衣架的正常运行以及快速识别出手势动作的类别,还需要对训练得到的手势识别模型进行压缩处理,将压缩处理后的模型保存在晾衣架的手势识别装置中。
其中,该压缩处理具体包括对手势识别模型进行量化处理等,以减小手势识别模型的大小,进而方便保存在容量较小的晾衣架的手势识别装置中。
上述实施例提供的训练方法,通过拍摄多个手势动作的图像,并利用图像处理操作对拍摄得到的图像进行处理以增加样本数据的多样性;在对得到的样本手势图像进行标注后,构建样本数据,再基于卷积神经网络,根据构建的样本数据进行模型训练以得到手势识别模型,并将得到的手势识别模型作为预先训练的手势识别模型应用于晾衣架控制方法中,由此可提高用户手势动作的识别准确度。
请参阅图3,图3是本申请实施例提供的一种晾衣架控制方法的步骤示意图。该晾衣架控制方法可应用于智能晾衣架***的晾衣架上,通过对包含用户的手势动作的图像进行手势识别,使用户利用手势控制晾衣架的升降,便捷用户的使用。
如图3所示,该晾衣架控制方法,具体包括:步骤S201至步骤S204。
S201、开启所述摄像头,通过所述摄像头采集包含用户的手势动作的图像。
具体地,开启晾衣架上的摄像头,通过该摄像头采集包含用户的手势动作的图像。
在一些实施例中,可以在检测到有人接近晾衣架时,开启所述摄像头。在此实施例中,晾衣架上设置有红外传感器,当红外传感器检测到有人接近晾衣架时,开启摄像头。对摄像头的启闭进行控制,优化晾衣架的能耗效率。
在一些实施例中,为了提高手势识别模型对于输入的图像的识别准确度,降低运算复杂度,在采集到包含用户的手势动作的图像之后,还可以对采集到的图像进行预处理。具体包括:对所述图像进行尺寸调整,以得到预设尺寸的图像。对所述预设尺寸的图像进行格式转换,以得到预设格式的图像。
具体地,对采集到的图像进行尺寸调整,使采集到的不同尺寸的图像调整为统一尺寸。在对尺寸进行调整后,对预设尺寸的图像进行格式转换,其中,由于摄像头的采样格式不同,可能会导致采集得到的包括用户的手势动作的图像的格式不同,例如可能是YUV格式或者RGB格式等,对预设尺寸的图像利用转换公式进行格式转换,将其转换为统一的格式,例如,将预设尺寸的图像统一为RGB格式。便于手势识别模型对图像的处理,并且提高识别准确度。
需要说明的是,在对采集到的图像进行尺寸调整和格式调整时,并不限制尺寸调整和格式调整的调整顺序,既可以先进行尺寸调整,再进行格式调整,又可以先进行格式调整,再进行尺寸调整。
S202、将所述图像输入预先训练的手势识别模型,以得到对应的手势动作。
具体地,将摄像头采集到的包含用户的手势动作的图像输入预先训练的手势识别模型,进行手势动作的识别,从而输出识别结果,该识别结果可能包括图像中包含的手势动作。如图4所示,图4是本申请实施例提供的识别出的几种手势动作的示意图。
S203、判断所述手势动作是否与预设控制手势相匹配。
具体地,预设控制手势可以是预先设定的用于控制所述晾衣架本体上升或下降的手势。预设控制手势可以由软件开发人员设定,也可以由用户自主设定。在识别出对应的手势动作后,判断手势动作是否与预设控制手势相匹配。
在一些实施例中,预设控制手势可以是一种手势,也可以是多种手势。在多种手势的情况下,各个手势动作可以是有序的,也可以是无序的。以多种有序手势为例,在识别出手势动作后,可以按照顺序判断识别出的手势动作中是否包括预设的多种手势。
S204、若所述手势动作与预设控制手势相匹配,则根据所述预设控制手势调用对应的控制指令以控制晾衣架本体上升或下降。
具体地,若功能控制模块判断手势动作与预设控制手势相匹配,则根据预设控制手势调用对应的控制指令以控制晾衣架本体的上升或下降。
在一些实施例中,根据所述预设控制手势调用对应的控制指令以控制晾衣架本体上升或下降具体可以包括:
检测所述晾衣架的当前状态,所述当前状态包括用于晾衣服的第一状态以及用于搭衣服或收衣服的第二状态;根据所述预设控制手势调用对应的控制指令和所述当前状态以控制晾衣架本体上升或下降;以及在所述晾衣架处于第二状态时,通过所述摄像头采集目标图像,若所述目标图像内未包括所述用户,则控制所述晾衣架从所述第二状态上升至所述第一状态。
具体地,所述第一状态是指晾衣架处于晾衣服的高位状态,所述第二状态是指晾衣架处于收衣服或晒衣服时的低位状态。在接收到由手势识别模块发送的识别结果后,处理器对晾衣架的当前状态进行检测,并根据晾衣架的当前状态和手势识别结果发送相应的指令至电机驱动模块,以控制晾衣架本体的上升或下降。
例如,当晾衣架处于第一状态且预设控制手势为控制晾衣架本体进行下降的手势时,处理器发送下降指令至电机驱动模块,以驱动电机正转,带动晾衣架本体下降。
并且,在晾衣架处于第二状态时,若摄像头采集到的目标图像内未包括用户,则说明此时用户可能已经完成衣服的收取或者搭晒,则处理器控制晾衣架由第二状态上升至第一状态,回复原位或者对衣服进行晾晒。在完成衣服的收取或者搭晒后,用户可以不必再做出相应的手势动作,离开晾衣架后,晾衣架会自动由第二状态上升至第一状态,提高用户使用的便捷程度。
在一实施例中,在所述晾衣架处于第二状态时,通过所述摄像头采集目标图像,若所述目标图像内未包括所述用户,则控制所述晾衣架从所述第二状态上升至所述第一状态具体可以是:在所述晾衣架处于第二状态时,通过所述摄像头连续采集目标图像,若所述目标图像在预设时间内均未包括所述用户,则控制所述晾衣架从所述第二状态上升至所述第一状态。
具体地,所述预设时间可以是五分钟。在五分钟内摄像头不断采集目标图像,若五分钟内的目标图像均未包括用户,则控制所述晾衣架从所述第二状态上升至所述第一状态。设置预设时间,避免用户因短时间的暂时离开导致晾衣架状态的改变。
在一实施例中,当晾衣架的当前状态与预设控制手势调用对应的控制指令相矛盾时,向用户发出提醒,提醒用户更改指令。
具体地,晾衣架的当前状态与预设控制手势调用对应的控制指令相矛盾,例如可以是,晾衣架的当前状态为第二状态,而预设控制手势调用对应的控制指令为控制晾衣架本体进行下降;或者晾衣架的当前状态为第一状态,而预设控制手势调用对应的控制指令为控制晾衣架本体进行上升。
其中,向用户发出提醒,提醒的方式既可以是通过提示灯进行提醒,也可以是通过报警声进行提醒,还可以是通过其他提醒方式进行提醒。在此实施例中,所述晾衣架上可以设置红绿双色提示灯,当晾衣架的当前状态与预设控制手势调用对应的控制指令相矛盾时,亮红灯,当晾衣架的当前状态与预设控制手势调用对应的控制指令不相矛盾时,亮绿灯。
上述实施例提供的晾衣架控制方法,通过摄像头采集包含用户的手势动作的图像,并将图像输出预先训练的手势识别模型,以得到对应的手势动作,当识别出的手势动作与预设控制手势相匹配时,根据所述预设控制手势调用对应的控制指令以控制晾衣架本体上升或下降。使得用户能够使用手势控制晾衣架的升降,便捷用户的使用。
请参阅图5,图5是本申请的实施例提供的一种晾衣架控制方法的步骤示意图。该晾衣架控制方法可应用于图1中提供的智能晾衣架***的晾衣架上,通过对包含用户的手势动作的图像的分析,实现使用户利用手势控制晾衣架的升降,便捷用户的使用的目的。
如图5所示,该晾衣架控制方法,具体包括:步骤S301至步骤S306。
S301、接收洗衣机在洗完衣服时发送的开启指令,根据所述开启指令开启所述摄像头,通过所述摄像头采集包含用户的手势动作的图像。
具体地,在图1所提供的智能晾衣架***中,洗衣机与晾衣架无线连接,进行组网。当洗衣机洗完衣服时,即会向晾衣架发送开启指令,晾衣架接收到洗衣机发送的开启指令,根据该开启指令开启所述摄像头,以使所述摄像头采集包含用户的手势动作的图像。将摄像头的启闭与洗衣机的工作状态进行联动,洗衣机洗完衣服后,用户需要使用晾衣架对衣服进行晾晒,此时摄像头才开启。在用户需要使用时才开启摄像头,避免摄像头常开,优化了晾衣架的能耗效率。
S302、将所述图像输入预先训练的手势识别模型,以得到对应的手势动作。
具体地,将摄像头采集到的包含用户的手势动作的图像输入预先训练的手势识别模型,进行手势动作的识别,从而输出识别结果,该识别结果可能包括图像中包含的手势动作。
S303、检测是否接收到用户对所述晾衣架的唤醒操作。
具体地,为了避免用户在晾衣架附近时无意的手势动作而产生的误操作,当用户需要使用晾衣架时,首先需要对晾衣架进行唤醒操作。
在一实施例中,检测是否接收到用户对所述晾衣架的唤醒操作包括:连续采集包括用户的手势动作的多帧图像,根据所述多帧图像判断用户的手势动作是否发生变化,若所述用户的手势动作发生变化,则将发生变化的手势动作作为唤醒操作。
具体地,唤醒操作可以是在预设时间内用户的手势发生变化的操作。摄像头连续采集包括用户的手势动作的多帧图像,然后判断在这多帧图像中用户的手势动作是否发生变化,如果用户的手势动作发生变化,则视为用户执行了唤醒操作,输出接收到用户对所述晾衣架的唤醒操作的检测结果。
在一实施例中,检测是否接收到用户对所述晾衣架的唤醒操作包括:连续采集包括用户的手势动作的多帧图像,若所述用户的手势动作与预设唤醒手势相匹配,则将与预设唤醒手势相匹配的所述手势动作作为唤醒操作。
具体地,预设唤醒手势可以是在预设时间内用户的手势发生变化的多种手势。例如,预设唤醒手势可以是用户的手势从一个手势变化为另一个手势。连续采集包括用户的手势动作的多帧图像,若用户的手势动作的变化与预设唤醒手势相匹配,则视为用户执行了唤醒操作,输出接收到用户对所述晾衣架的唤醒操作的检测结果。
在一实施例中,检测是否接收到用户对所述晾衣架的唤醒操作包括:若多个所述手势动作与预设唤醒手势相匹配,则判断多个所述手势动作的顺序是否为预设顺序;若多个所述手势动作的顺序为预设顺序,将所述多个手势动作作为唤醒动作。
具体地,如果摄像头采集到的多个手势动作与预设唤醒手势相匹配,则判断采集到的多个手势动作的采集顺序是否符合预设顺序,只有当多个手势动作的采集顺序为预设顺序时,才将多个手势动作作为唤醒动作,输出接收到用户对所述晾衣架的唤醒操作的检测结果。
例如,当预设顺序为手势二和手势一时,只有当采集到的多个手势动作中包含手势一和手势二,并且手势一和手势二的采集顺序为手势二和手势一时,则输出此时多个所述手势动作的顺序为预设顺序的判断结果,并将手势二和手势一作为唤醒动作,唤醒所述晾衣架。
S304、若接收到用户对所述晾衣架的唤醒操作,则根据所述唤醒操作唤醒所述晾衣架处于工作状态。
具体地,若接收到用户对所述晾衣架的唤醒操作,则根据该唤醒操作唤醒晾衣架,使晾衣架处于工作状态。在晾衣架处于工作状态后,用户才能利用手势控制晾衣架的升降,避免用户在晾衣架附近时无意的手势动作而产生的误操作,提升用户体验感。
S305、判断所述手势动作是否与预设控制手势相匹配。
具体地,预设控制手势可以是预先设定的用于控制所述晾衣架本体上升或下降的手势。预设控制手势可以由软件开发人员设定,也可以由用户自主设定。在识别出对应的手势动作后,判断手势动作是否与预设控制手势相匹配。
S306、若所述手势动作与预设控制手势相匹配,则根据所述预设控制手势调用对应的控制指令以控制晾衣架本体上升、下降或停止。
具体地,若手势动作与预设控制手势相匹配,则根据预设控制手势调用对应的控制指令以控制晾衣架本体的上升、下降或停止。
在一些实施例中,根据所述预设控制手势调用对应的控制指令以控制晾衣架本体上升或下降具体可以包括:
根据所述预设控制手势调用对应的控制指令,以调整电机的工作状态,所述电机的工作状态包括反转、正转和停止;基于所述电机的工作状态控制所述晾衣架本体上升、下降或停止。
具体地,在判断所述手势动作与预设控制手势相匹配时,根据预设控制手势调用对应的控制指令,从而基于该控制指令调整电机的工作状态,进而使电机控制所述晾衣架本体进行上升、下降或停止。
例如,当判断手势动作与表示控制晾衣架本体进行下降的预设控制手势相匹配时,则根据该预设控制手势调用相应的控制指令,基于该控制指令控制所述电机正转,从而使电机在正转的过程中带动晾衣架本体进行下降。
上述实施例提供的晾衣架控制方法,通过接收洗衣机在洗完衣服时发送的开启指令,根据所述开启指令开启所述摄像头,通过所述摄像头采集包含用户的手势动作的图像,避免摄像头常开,优化了摄像头的能耗效率;在识别出手势动作后,检测是否接收到用户对所述晾衣架的唤醒操作,若接收到用户对所述晾衣架的唤醒操作,则根据所述唤醒操作唤醒所述晾衣架处于工作状态,避免了用户在晾衣架附近由于无意的手势动作导致的晾衣架误操作,提升用户体验感。当识别出的手势动作与预设控制手势相匹配时,根据所述预设控制手势调用对应的控制指令以控制晾衣架本体上升、下降或停止。使得用户能够使用手势控制晾衣架的升降,便捷用户的使用。
请参考图6,图6是本申请实施例提供的一种手势识别模型训练装置的结构示意图。其中,该手势识别模型训练装置具体地可以是一些深度学习计算机。手势识别装置接收该手势识别模型训练装置预先训练出的手势识别模型,以对接收到的所述摄像头采集的包含用户的手势动作的图像进行手势识别。
该手势识别模型训练装置400包括样本获取模块401、样本标注模块402和模型训练模块403。
其中,样本获取模块401用于获取样本手势图像,所述样本手势图像为拍摄的多个手势动作的图像。
样本标注模块402用于根据手势类别对应的类别标识对所述样本手势图像进行标注,以构建样本数据。
模型训练模块403用于基于卷积神经网络,根据所述样本数据进行模型训练以得到手势识别模型,并将得到的手势识别模型作为预先训练的手势识别模型。
请参阅图7,图7是本申请实施例提供的一种晾衣架的结构示意性框图。该晾衣架11包括晾衣架本体111、摄像头112、手势识别装置113、功能控制装置114和存储器115。摄像头112、手势识别装置113、功能控制装置114和存储器115过总线连接,该总线比如为I2C(Inter-integrated Circuit)总线。
具体地,功能控制装置114包括信号接收模块、处理器和电机驱动模块,所述处理器可以是微控制单元(Micro-controller Unit,MCU)、中央处理单元(Central ProcessingUnit,CPU)或数字信号处理器(Digital Signal Processor,DSP)等。
具体地,存储器115可以是Flash芯片、只读存储器(ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中,所述处理器用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时实现如下步骤:
开启所述摄像头,通过所述摄像头采集包含用户的手势动作的图像;将所述图像输入预先训练的手势识别模型,以得到对应的手势动作;判断所述手势动作是否与预设控制手势相匹配;若所述手势动作与预设控制手势相匹配,则根据所述预设控制手势调用对应的控制指令以控制晾衣架本体上升或下降。
在一些实施例中,所述处理器在实现所述开启所述摄像头时,具体实现:
接收洗衣机在洗完衣服时发送的开启指令,根据所述开启指令开启所述摄像头;或者当检测到有人接近所述晾衣架时,开启所述摄像头。
在一些实施例中,所述处理器在实现所述根据所述预设控制手势调用对应的控制指令以控制晾衣架本体上升或下降时,具体实现:
检测所述晾衣架的当前状态,所述当前状态包括用于晾衣服的第一状态以及用于搭衣服或收衣服的第二状态;根据所述预设控制手势调用对应的控制指令和所述当前状态以控制晾衣架本体上升或下降;以及在所述晾衣架处于第二状态时,通过所述摄像头采集目标图像,若所述目标图像内未包括所述用户,则控制所述晾衣架从所述第二状态上升至所述第一状态。
在一些实施例中,所述处理器在实现所述将所述图像输入预先训练的手势识别模型之前,还用于实现:
对所述图像进行尺寸调整,以得到预设尺寸的图像;对所述预设尺寸的图像进行格式转换,以得到预设格式的图像;所述处理器在实现所述将所述图像输入预先训练的手势识别模型时,具体实现:将预设格式的图像输入预先训练的手势识别模型。
在一些实施例中,所述处理器在实现所述根据所述预设控制手势调用对应的控制指令以控制晾衣架本体上升或下降之前,还用于实现:
检测是否接收到用户对所述晾衣架的唤醒操作;若接收到用户对所述晾衣架的唤醒操作,则根据所述唤醒操作唤醒所述晾衣架处于工作状态。
在一些实施例中,所述处理器在实现所述检测是否接收到用户对所述晾衣架的唤醒操作时,具体实现:
连续采集包括用户的手势动作的多帧图像,根据所述多帧图像判断用户的手势动作是否发生变化,若所述用户的手势动作发生变化,则将发生变化的手势动作作为唤醒操作;或者连续采集包括用户的手势动作的多帧图像,若所述用户的手势动作与预设唤醒手势相匹配,则将与预设唤醒手势相匹配的所述手势动作作为唤醒操作;或者若多个所述手势动作与预设唤醒手势相匹配,则判断多个所述手势动作的顺序是否为预设顺序;若多个所述手势动作的顺序为预设顺序,将所述多个手势动作作为唤醒动作。
在一些实施例中,所述处理器还用于实现接收预先训练的手势识别模型,其中,所述手势识别模型的训练过程包括:
获取样本手势图像,所述样本手势图像为拍摄的多个手势动作的图像;根据手势类别对应的类别标识对所述样本手势图像进行标注,以构建样本数据;基于卷积神经网络,根据所述样本数据进行模型训练以得到手势识别模型,并将得到的手势识别模型作为预先训练的手势识别模型。
本申请的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现本申请实施例提供的任一项晾衣架控制方法。
其中,所述计算机可读存储介质可以是前述实施例所述的晾衣架的内部存储单元,例如所述晾衣架的硬盘或内存。所述计算机可读存储介质也可以是所述晾衣架的外部存储设备,例如所述晾衣架上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种晾衣架控制方法,其特征在于,所述晾衣架设有摄像头,所述控制方法包括:
开启所述摄像头,通过所述摄像头采集包含用户的手势动作的图像;
将所述图像输入预先训练的手势识别模型,以得到对应的手势动作;
判断所述手势动作是否与预设控制手势相匹配;
若所述手势动作与预设控制手势相匹配,则根据所述预设控制手势调用对应的控制指令以控制晾衣架本体上升或下降。
2.根据权利要求1所述的晾衣架控制方法,其特征在于,所述开启所述摄像头,包括:
接收洗衣机在洗完衣服时发送的开启指令,根据所述开启指令开启所述摄像头;或者
当检测到有人接近所述晾衣架时,开启所述摄像头。
3.根据权利要求1或2所述的晾衣架控制方法,其特征在于,所述根据所述预设控制手势调用对应的控制指令以控制晾衣架本体上升或下降,包括:
检测所述晾衣架的当前状态,所述当前状态包括用于晾衣服的第一状态以及用于搭衣服或收衣服的第二状态;
根据所述预设控制手势调用对应的控制指令和所述当前状态以控制晾衣架本体上升或下降;以及
在所述晾衣架处于第二状态时,通过所述摄像头采集目标图像,若所述目标图像内未包括所述用户,则控制所述晾衣架从所述第二状态上升至所述第一状态。
4.根据权利要求1所述的晾衣架控制方法,其特征在于,所述将所述图像输入预先训练的手势识别模型之前,还包括:
对所述图像进行尺寸调整,以得到预设尺寸的图像;
对所述预设尺寸的图像进行格式转换,以得到预设格式的图像;
所述将所述图像输入预先训练的手势识别模型,包括:将预设格式的图像输入预先训练的手势识别模型。
5.根据权利要求1所述的晾衣架控制方法,其特征在于,所述根据所述预设控制手势调用对应的控制指令以控制晾衣架本体上升或下降之前,还包括:
检测是否接收到用户对所述晾衣架的唤醒操作;
若接收到用户对所述晾衣架的唤醒操作,则根据所述唤醒操作唤醒所述晾衣架处于工作状态。
6.根据权利要求5所述的晾衣架控制方法,其特征在于,所述检测是否接收到用户对所述晾衣架的唤醒操作,包括:
连续采集包括用户的手势动作的多帧图像,根据所述多帧图像判断用户的手势动作是否发生变化,若所述用户的手势动作发生变化,则将发生变化的手势动作作为唤醒操作;或者
连续采集包括用户的手势动作的多帧图像,若所述用户的手势动作与预设唤醒手势相匹配,则将与预设唤醒手势相匹配的所述手势动作作为唤醒操作;或者
若多个所述手势动作与预设唤醒手势相匹配,则判断多个所述手势动作的顺序是否为预设顺序;若多个所述手势动作的顺序为预设顺序,将所述多个手势动作作为唤醒动作。
7.根据权利要求4或5所述的晾衣架控制方法,其特征在于,还包括接收预先训练的手势识别模型,其中,所述手势识别模型的训练过程包括:
获取样本手势图像,所述样本手势图像为拍摄的多个手势动作的图像;
根据手势类别对应的类别标识对所述样本手势图像进行标注,以构建样本数据;
基于卷积神经网络,根据所述样本数据进行模型训练以得到手势识别模型,并将得到的手势识别模型作为预先训练的手势识别模型。
8.一种晾衣架,其特征在于,所述晾衣架包括摄像头、存储器和处理器;
所述摄像头用于采集包含用户的手势动作的图像;
所述存储器用于存储计算机程序;
所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的晾衣架控制方法。
9.一种智能晾衣架***,其特征在于,包括:晾衣架和洗衣机,所述晾衣架和洗衣机通信连接;
所述洗衣机用于在洗完衣服时发送开启指令至所述晾衣架;
所述晾衣架用于接收所述开启指令,并执行如权利要求1至7中任一项所述的晾衣架控制方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的晾衣架控制方法。
CN201911061473.1A 2019-11-01 2019-11-01 晾衣架控制方法、晾衣架、***及存储介质 Pending CN112764349A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911061473.1A CN112764349A (zh) 2019-11-01 2019-11-01 晾衣架控制方法、晾衣架、***及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911061473.1A CN112764349A (zh) 2019-11-01 2019-11-01 晾衣架控制方法、晾衣架、***及存储介质

Publications (1)

Publication Number Publication Date
CN112764349A true CN112764349A (zh) 2021-05-07

Family

ID=75692042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911061473.1A Pending CN112764349A (zh) 2019-11-01 2019-11-01 晾衣架控制方法、晾衣架、***及存储介质

Country Status (1)

Country Link
CN (1) CN112764349A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113625625A (zh) * 2021-07-30 2021-11-09 珠海格力电器股份有限公司 智能晾衣架控制方法、***、装置、设备及存储介质
CN116434559A (zh) * 2023-06-14 2023-07-14 杭州立方控股股份有限公司 一种应急通道防停车智能管理***和方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610284A (zh) * 2017-08-23 2018-01-19 移康智能科技(上海)股份有限公司 一种手势识别方法、装置及智能猫眼
CN108035128A (zh) * 2018-01-26 2018-05-15 佛山市洛克威特科技有限公司 一种基于数据分析的晾衣架
CN108181992A (zh) * 2018-01-22 2018-06-19 北京百度网讯科技有限公司 基于手势的语音唤醒方法、装置、设备及计算机可读介质
CN108399009A (zh) * 2018-02-11 2018-08-14 易视腾科技股份有限公司 利用人机交互手势唤醒智能设备的方法及装置
CN108734065A (zh) * 2017-04-20 2018-11-02 奥克斯空调股份有限公司 一种手势图像获取设备及方法
CN108885813A (zh) * 2018-06-06 2018-11-23 深圳前海达闼云端智能科技有限公司 智能售货柜、物品识别的方法、装置、服务器和存储介质
CN109137420A (zh) * 2018-09-28 2019-01-04 江苏理工学院 一种基于机器视觉的智能升降晾衣架装置
CN109440416A (zh) * 2018-12-12 2019-03-08 江阴市友邦家居用品有限公司 一种基于手势控制的智能电动晾衣架
CN109518436A (zh) * 2018-12-12 2019-03-26 江阴市友邦家居用品有限公司 一种基于多种传感器和物联网控制晾衣架的智能***
WO2019080203A1 (zh) * 2017-10-25 2019-05-02 南京阿凡达机器人科技有限公司 一种机器人的手势识别方法、***及机器人
CN110381188A (zh) * 2019-08-08 2019-10-25 西安易朴通讯技术有限公司 移动终端及其使用方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734065A (zh) * 2017-04-20 2018-11-02 奥克斯空调股份有限公司 一种手势图像获取设备及方法
CN107610284A (zh) * 2017-08-23 2018-01-19 移康智能科技(上海)股份有限公司 一种手势识别方法、装置及智能猫眼
WO2019080203A1 (zh) * 2017-10-25 2019-05-02 南京阿凡达机器人科技有限公司 一种机器人的手势识别方法、***及机器人
CN108181992A (zh) * 2018-01-22 2018-06-19 北京百度网讯科技有限公司 基于手势的语音唤醒方法、装置、设备及计算机可读介质
US20190228217A1 (en) * 2018-01-22 2019-07-25 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus and device for waking up voice interaction function based on gesture, and computer readable medium
CN108035128A (zh) * 2018-01-26 2018-05-15 佛山市洛克威特科技有限公司 一种基于数据分析的晾衣架
CN108399009A (zh) * 2018-02-11 2018-08-14 易视腾科技股份有限公司 利用人机交互手势唤醒智能设备的方法及装置
CN108885813A (zh) * 2018-06-06 2018-11-23 深圳前海达闼云端智能科技有限公司 智能售货柜、物品识别的方法、装置、服务器和存储介质
CN109137420A (zh) * 2018-09-28 2019-01-04 江苏理工学院 一种基于机器视觉的智能升降晾衣架装置
CN109440416A (zh) * 2018-12-12 2019-03-08 江阴市友邦家居用品有限公司 一种基于手势控制的智能电动晾衣架
CN109518436A (zh) * 2018-12-12 2019-03-26 江阴市友邦家居用品有限公司 一种基于多种传感器和物联网控制晾衣架的智能***
CN110381188A (zh) * 2019-08-08 2019-10-25 西安易朴通讯技术有限公司 移动终端及其使用方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113625625A (zh) * 2021-07-30 2021-11-09 珠海格力电器股份有限公司 智能晾衣架控制方法、***、装置、设备及存储介质
CN116434559A (zh) * 2023-06-14 2023-07-14 杭州立方控股股份有限公司 一种应急通道防停车智能管理***和方法

Similar Documents

Publication Publication Date Title
EP3859561A1 (en) Method for processing video file, and electronic device
EP4064284A1 (en) Voice detection method, prediction model training method, apparatus, device, and medium
CN111327814A (zh) 一种图像处理的方法及电子设备
CN111443884A (zh) 投屏方法、装置和电子设备
CN109496423A (zh) 一种拍摄场景下的图像显示方法及电子设备
CN115866121A (zh) 应用界面交互方法、电子设备和计算机可读存储介质
CN108777766B (zh) 一种多人拍照方法、终端及存储介质
CN108399349A (zh) 图像识别方法及装置
CN110471606B (zh) 输入方法及电子设备
CN113838490B (zh) 视频合成方法、装置、电子设备及存储介质
US20230421900A1 (en) Target User Focus Tracking Photographing Method, Electronic Device, and Storage Medium
CN113170037B (zh) 一种拍摄长曝光图像的方法和电子设备
CN102033727A (zh) 电子设备界面控制***及方法
CN101472066A (zh) 影像撷取装置的近端控制方法及应用该方法的影像撷取装置
EP4199488A1 (en) Voice interaction method and electronic device
WO2023284715A1 (zh) 一种物体重建方法以及相关设备
CN112764349A (zh) 晾衣架控制方法、晾衣架、***及存储介质
WO2022007707A1 (zh) 家居设备控制方法、终端设备及计算机可读存储介质
CN113010076A (zh) 一种显示要素的显示方法和电子设备
WO2023241209A1 (zh) 桌面壁纸配置方法、装置、电子设备及可读存储介质
WO2024131765A1 (zh) 一种图像识别方法以及相关设备
CN112449101A (zh) 一种拍摄方法及电子设备
CN114359335A (zh) 一种目标跟踪方法及电子设备
CN114943976B (zh) 模型生成的方法、装置、电子设备和存储介质
CN113536834A (zh) 眼袋检测方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210507

RJ01 Rejection of invention patent application after publication