CN113934150A - 一种控制智能家电的方法、装置及电子设备 - Google Patents

一种控制智能家电的方法、装置及电子设备 Download PDF

Info

Publication number
CN113934150A
CN113934150A CN202111211473.2A CN202111211473A CN113934150A CN 113934150 A CN113934150 A CN 113934150A CN 202111211473 A CN202111211473 A CN 202111211473A CN 113934150 A CN113934150 A CN 113934150A
Authority
CN
China
Prior art keywords
household appliance
appliance
data
target
brand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111211473.2A
Other languages
English (en)
Inventor
喻纯
史元春
古裔正
周诚驰
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interactive Future Beijing Technology Co ltd
Original Assignee
Interactive Future Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interactive Future Beijing Technology Co ltd filed Critical Interactive Future Beijing Technology Co ltd
Priority to CN202111211473.2A priority Critical patent/CN113934150A/zh
Publication of CN113934150A publication Critical patent/CN113934150A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • G06F18/2414Smoothing the distance, e.g. radial basis function networks [RBFN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种控制智能家电的方法、装置及电子设备,其中,该方法包括:获取通过当前终端的传感器所采集到的当前数据;在传感器数据满足触发条件的情况下,调用当前终端的摄像装置采集环境图像;确定目标家电的家电类型,确定目标家电的家电品牌,并跳转至目标家电的类型及品牌对应的控制页面。通过本发明实施例提供的一种控制智能家电的方法、装置及电子设备,在获取的传感器数据满足触发条件时便可调用摄像装置进入采集智能家电图像的状态,确定智能家电的类型及品牌,进而直接显示与其相对应的控制页面,实现通过终端操控智能家电的功能,用户无需先行打开某遥控程序,再选择需要连接的家电类型及品牌,简化了控制智能家电的操作过程。

Description

一种控制智能家电的方法、装置及电子设备
技术领域
本发明涉及终端技术领域,具体而言,涉及一种控制智能家电 的方法、装置、电子设备及计算机可读存储介质。
背景技术
随着人工智能科技的不断进步和电子设备的广泛普及,越来越多 的人们在家电的选择上更青睐于购置智能家电来使用,智能家电作为 人类生活的一个重要组成部分,给人类带来很多的方便和享受。通常 情况下都会为每一个智能家电配备一个遥控器,用来实现操控。随着 家电种类的增多和发展,遥控器的数量也在同样增多,此时,遥控器 的管理和使用就会由于数量的增多而变得十分不便,时常导致用户无 法快速且正确地找到所需遥控器。目前已有的技术需要用户首先打开 类似“万能遥控器”这样的APP(Application,第三方应用程序),之后 在列表中选择需要连接的家电类型和品牌,这样的操作十分繁琐,降 低了用户与智能家电的交互效率,影响用户体验。
发明内容
为解决目前在智能家电遥控器的管理和使用中交互效率低的技 术问题,本发明实施例提供一种控制智能家电的方法、装置、电子设 备及计算机可读存储介质。
第一方面,本发明实施例提供了一种控制智能家电的方法,包括:
获取通过当前终端的传感器所采集到的当前数据;在所述传感器 数据满足触发条件的情况下,调用所述当前终端的摄像装置采集环境 图像;在所述环境图像中包含目标家电的情况下,确定所述目标家电 的家电类型,确定所述目标家电的家电品牌,并跳转至所述目标家电 的家电类型及家电品牌对应的第一控制页面。
可选地,该方法还包括:判断所述传感器数据是否具有多个尖峰; 若所述传感器数据具有多个尖峰,所述传感器数据满足触发条件。
可选的,判断所述传感器数据是否具有多个尖峰包括:构建能够 判断数据是否具有尖峰的分类模型;将所述传感器数据输入至所述分 类模型,根据所述分类模型的输出结果判断所述传感器数据是否具有 多个尖峰。
可选的,构建能够判断数据是否具有尖峰的分类模型包括:获取 根据正例数据和负例数据对预设模型进行训练所得到的分类模型参数; 根据所述分类模型参数构建能够判断数据是否具有尖峰的分类模型。
其中,所述正例数据为从包含多个尖峰的碰撞振动数据中所截取 出具有尖峰的数据,且与声音数据中的尖峰具有相匹配的尖峰位置, 所述正例数据的标签为正标签;所述碰撞振动数据为在第一采样用户 敲击第一采样终端的情况下,所述第一采样终端的传感器所采集到的 数据;所述声音数据为在采集所述碰撞振动数据时所述第一采样终端 的拾音装置所采集到的数据;所述负例数据为从非碰撞振动数据中所 截取出的部分数据,且所述负例数据的标签为负标签;所述非碰撞振 动数据为在第二采样用户不敲击第二采样终端的情况下,所述第二采 样终端的传感器所采集到的数据。
可选地,正例数据具有一个尖峰;或者,所述正例数据具有多个 尖峰,所述正例数据中相邻尖峰之间的时间间隔小于第一预设阈值。 将所述传感器数据输入至所述分类模型,根据所述分类模型的输出结 果判断所述传感器数据是否具有多个尖峰,包括:将所述传感器数据 分为多个与所述正例数据具有相同时长的当前子数据,并将所述当前 子数据输入至所述分类模型,确定所述当前子数据的分类结果;在所 述正例数据具有一个尖峰,存在多个有效当前子数据,且相邻的所述 有效当前子数据之间的时间间隔小于第二预设阈值的情况下,确定所 述传感器数据具有多个尖峰;在所述正例数据具有多个尖峰,且存在 有效当前子数据的情况下,确定所述传感器数据具有多个尖峰;其中, 所述有效当前子数据指的是分类结果为所述正标签的当前子数据。
可选的,获取通过当前终端的传感器所采集到的当前数据包括: 获取当前用户操作当前终端时通过传感器所采集到的传感器数据,所 述传感器包括陀螺仪传感器和/或线性加速度传感器。
可选地,确定所述目标家电的家电类型,包括:构建能够识别家 电类型的第一识别模型;将所述环境图像中的目标家电图像输入至所 述第一识别模型,根据所述第一识别模型的输出结果确定所述目标家 电图像对应的家电类型;所述目标家电图像是所述环境图像中沿包围 盒剪裁出的包含所述目标家电的部分图像。
可选地,确定所述目标家电的家电品牌,包括:构建能够识别家 电品牌的多个第二识别模型,每个所述第二识别模型能够识别的家电 品牌对应一种或多种家电类型;在确定所述目标家电的家电类型的情 况下,将所述目标家电图像输入至目标识别模型,根据所述目标识别 模型的输出结果确定与所述目标家电图像对应的家电品牌;所述目标 识别模型为能够识别与所述目标家电的家电类型相对应的家电品牌的 第二识别模型。
可选地,在所述跳转至所述目标家电的家电类型及家电品牌对应 的第一控制页面之后,该方法还包括:根据所述第一识别模型的输出 结果确定置信度大于第三预设阈值的多种有效家电类型Ai;将所述目 标家电图像输入至与所述有效家电类型Ai对应的有效识别模型,根据 所述有效识别模型的输出结果确定与所述有效家电类型Ai对应的多 种家电品牌Bi,j的置信度;所述有效识别模型为能够识别与所述有效 家电类型Ai相对应的家电品牌的第二识别模型;根据所述有效家电类 型Ai的置信度和与所述有效家电类型Ai对应的家电品牌Bi,j的置信 度确定总置信度Ci,j,并根据所述总置信度Ci,j进行排序,生成家电候 选列表;获取用户基于所述家电候选列表所输入的选择指令,将所述 选择指令对应的有效家电类型作为所述目标家电的新家电类型,将所 述选择指令对应的家电品牌作为所述目标家电的新家电品牌;跳转至 与所述目标家电的新家电类型及新家电品牌对应的第二控制页面。
可选地,确定所述目标家电的家电品牌,包括:构建能够识别家 电品牌的第三识别模型;将所述环境图像中的目标家电图像输入至所 述第三识别模型,根据所述第三识别模型的输出结果确定所述目标家 电图像对应的家电品牌;所述目标家电图像是所述环境图像中沿包围 盒剪裁出的包含所述目标家电的部分图像。
可选地,跳转至所述目标家电的家电类型及家电品牌对应的第一 控制页面,包括:通过WIFI或者红外连接所述目标家电;跳转至所述 目标家电的家电类型及家电品牌对应的第一控制页面。
第二方面,本发明实施例提供了一种控制智能家电的装置,包括: 获取模块、处理模块以及识别模块。
获取模块用于获取通过当前终端的传感器所采集到的当前数据。
处理模块用于在传感器数据满足触发条件的情况下,调用当前终 端的摄像装置采集环境图像。
识别模块用于在所述环境图像中包含目标家电的情况下,确定所 述目标家电的家电类型,确定所述目标家电的家电品牌,并跳转至所 述目标家电的家电类型及家电品牌对应的第一控制页面。
第三方面,本发明实施例提供了一种电子设备,包括:总线、收 发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序;所述收发器、所述存储器和所述处理器通过所述总 线相连,所述计算机程序被所述处理器执行时实现如上所述的控制智 能家电的方法中的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,包括: 可读存储介质上存储的计算机程序;所述计算机程序被处理器执行时 实现如上所述的控制智能家电的方法中的步骤。
本发明实施例提供的一种控制智能家电的方法、装置、电子设备 及计算机可读存储介质,在获取的传感器数据满足触发条件时便可以 调用摄像装置进入采集智能家电图像的状态,确定该智能家电的家电 类型及家电品牌,进而直接显示与该智能家电图像相对应的控制页面, 实现通过终端操控智能家电的功能。用户无需先行打开某遥控应用程 序,再进一步选择需要连接的家电类型及家电品牌,简化了控制智能 家电的操作过程。
附图说明
为了更清楚地说明本发明实施例或背景技术中的技术方案,下面 将对本发明实施例或背景技术中所需要使用的附图进行说明。
图1示出了本发明实施例所提供的一种控制智能家电的方法的流 程图;
图2示出了本发明实施例所提供的另一种控制智能家电的方法的 流程图;
图3示出了本发明实施例所提供的控制智能家电的方法中,构建 并使用分类模型的具体方法的流程图;
图4示出了本发明实施例所提供的控制智能家电的方法中,确定 所述目标家电的家电类型的具体方法的流程图;
图5示出了本发明实施例所提供的控制智能家电的方法中,确定 所述目标家电的家电品牌的具体方法的流程图;
图6示出了本发明实施例所提供的控制智能家电的方法中,在跳 转至所述目标家电的家电类型及家电品牌对应的第一控制页面之后, 生成家电候选列表的具体方法的流程图;
图7示出了本发明实施例所提供的控制智能家电的具体方法流程 图;
图8示出了本发明实施例所提供的一种控制智能家电的装置的结 构示意图;
图9示出了本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。
参见图1所示,本发明实施例中控制智能家电的方法流程包括如 下步骤101-103。
步骤101:获取通过当前终端的传感器所采集到的当前数据。
其中,用户可以通过操控终端的方式实现控制智能家电;本实施 例中,将为需要操控智能家电的用户称为当前用户;相应地,当前终 端为能够控制智能家电的终端,且当前用户能够使用该当前终端,该 当前终端例如是手机、平板电脑等。
该传感器数据为当前终端的传感器所采集的数据。可选地,该当 前终端可以设有陀螺仪传感器和线性加速度传感器,该传感器数据包 括:当前用户操作当前终端时,陀螺仪传感器和线性加速度传感器采 集到的数据;该传感器数据具体可以包含角速度数据、加速度数据、 方位角数据中的一种或多种。可选地,该传感器数据也可以是特定时 长的数据,如时长为100ms、200ms等。陀螺仪传感器和线性加速度 传感器可以同步表示当前终端的运动状态,当当前用户操作当前终端 时,陀螺仪传感器和线性加速度传感器所采集的数据会同步变化,例 如当前用户敲击当前终端时,二者采集的数据都会出现明显的尖峰, 方便后续识别传感器数据中的特征。并且,传感器种类并不是越多越 好,采用过多的传感器会增加处理负担,降低处理效率。经试验,本 发明实施例选用陀螺仪传感器和线性加速度传感器即可比较准确地捕 捉到识别时所需的特征,例如捕捉到尖峰。
步骤102:在所述传感器数据满足触发条件的情况下,调用所述 当前终端的摄像装置采集环境图像。
其中,所述触发条件是用户执行有效操作时所采集的传感器数据 可以满足的条件;该有效操作可以是抬起终端,或者,也可以是敲击 或拍打终端。若该有效操作是抬起终端,该触发条件可以是传感器数 据在预设加速度阈值范围内以及在预设机械角度阈值范围内。若该有 效操作是敲击或拍打终端,该触发条件可以是传感器数据具有多个尖 峰;可选地,参见图2,在上述步骤101之后,该方法还包括以下步 骤104。
步骤104:判断所述传感器数据是否具有多个尖峰。
本发明实施例中,尖峰指的是传感器数据快速增加、然后快速降 低,或者传感器数据快速降低、然后快速增加;其中,若传感器数据 增加或降低时的变化程度(如变化率等)超过一定阈值,则为快速增 加或快速降低,否则可以不认为是“快速”。
若所述传感器数据具有多个尖峰,则所述传感器数据满足所述触 发条件,即可以执行上述步骤102。
可选地,可以根据传感器数据是否存在较大的变化(即变化程度 超过阈值)直接判断该传感器数据是否具有多个尖峰。
或者,由于直接判断传感器数据是否具有尖峰容易存在误判的情 况,例如跑步时可能引起传感器数据出现尖峰等,为了提高判断的准 确率,可以构建能够判断数据是否具有尖峰的分类模型,将传感器数 据输入至分类模型,根据分类模型的输出结果判断传感器数据是否具 有多个尖峰。
本发明实施例中,当前用户操作当前终端时,传感器可以采集到 相应的传感器数据。一般情况下,当前用户正常操作当前终端时,传 感器数据不会存在尖峰;本发明实施例中,当前用户需要执行能够引 起传感器数据快速变化的有效操作,才可以使得采集到的传感器数据 具有尖峰。例如,该有效操作可以是敲击或拍打当前终端,具体可以 是敲击当前终端的操作面板(如触摸屏)、边侧、背面等,本实施例对 敲击的位置不做限定。并且,当前用户多次(如两次、三次等)敲击 当前终端,即可使得传感器数据出现多个尖峰。
若传感器数据具有多个尖峰,可以认为当前用户对当前终端执行 了有效操作,即可以认为当前用户需要调用当前终端的摄像装置启动 识别智能家电的功能,进而,可以调用当前终端的摄像装置采集环境 图像。其中,摄像装置可以是手机摄像头、外置摄像头等。
步骤103:在所述环境图像中包含目标家电的情况下,确定所述 目标家电的家电类型,确定所述目标家电的家电品牌,并跳转至所述 目标家电的家电类型及家电品牌对应的第一控制页面。
本发明实施例中,目标家电可以是需要被采集的环境图像中所包 含的部分或全部家电,例如,将环境图像中的一个家电作为用户需要 操控的目标家电。并且,将当前终端采集环境图像时包含该目标家电 的图像作为目标家电图像。可选地,将物体识别模型的数据集限定在 家电数据集,基于该物体识别模型可以根据当前终端的摄像装置所采 集的环境图像中的每一帧图像进行自动识别,比如手机摄像头所采集 的环境图像中的每一帧图像,当识别到环境图像中存在属于家电数据 集的物体时,在该环境图像中将该物体用包围盒框选出来,得到环境 图像中包含目标家电的图像。基于该物体识别模型可以确定环境图像 中是否包含目标家电,并且可以沿着包围盒的边框进行剪裁处理,得 到仅包含所框选的、包围盒大小的部分图像,该部分图像即可作为目 标家电图像。该方式可以将该目标家电直接框选出来,进行后续剪裁 处理,整个过程方便快捷,准确率高。
本发明实施例中,在获取到目标家电图像之后,即可由当前终端 或其他设备对该目标家电图像进行处理,进而可以确定该目标家电的 家电类型及家电品牌,并跳转至该目标家电的家电类型及家电品牌对 应的控制页面,即第一控制页面,该第一控制页面用于接收操控家电 的操控指令,使得当前用户可以快速方便地实现对智能家电的操控功 能。其中,目标家电的家电类型可以包括:电视、投影仪、机顶盒、 空调、电风扇、电灯等;目标家电的家电品牌可以包括:LG、TCL、 东芝、小米等。
本发明实施例提供了一种控制智能家电的方法,该方法在获取的 传感器数据满足触发条件时便可以调用摄像装置进入采集智能家电图 像的状态,确定该智能家电的家电类型及家电品牌,进而直接显示与 该智能家电图像相对应的控制页面,方便用户快速通过控制页面操控 智能家电。用户无需先行打开某遥控应用程序,再进一步选择需要连 接的家电类型及品牌,简化了控制智能家电的操作过程。
可选地,参见图3所示,上述步骤“构建能够判断数据是否具有 尖峰的分类模型”可以包括以下的步骤1041-1042。
步骤1041:获取根据正例数据和负例数据对预设模型进行训练所 得到的分类模型参数。
其中,所述正例数据为从包含多个尖峰的碰撞振动数据中所截取 出具有尖峰的数据,且与声音数据中的尖峰具有相匹配的尖峰位置, 所述正例数据的标签为正标签;所述碰撞振动数据为在第一采样用户 敲击第一采样终端的情况下,所述第一采样终端的传感器所采集到的 数据;所述声音数据为在采集所述碰撞振动数据时所述第一采样终端 的拾音装置所采集到的数据;所述负例数据为从非碰撞振动数据中所 截取出的部分数据,且所述负例数据的标签为负标签;所述非碰撞振 动数据为在第二采样用户不敲击第二采样终端的情况下,所述第二采 样终端的传感器所采集到的数据。
本发明实施例中,可以先由取样终端采集正例数据和负例数据, 之后再由当前终端、云端服务器或取样终端等基于该正例数据和负例 数据对预设模型进行训练。即,该分类模型参数可以是由当前终端执 行训练所得到的,也可以是由其他设备(比如云端服务器或取样终端 等)执行训练所得到的,本实施例对此不做限定。其中,该预设模型 为可以用于分类的模型,其可以是简单的神经网络,或者LSTM(Long Short-Term Memory,长短期记忆网络)等。
例如,基于第一采样终端(比如测试用的手机)中的陀螺仪传感 器和线性加速度传感器,采集碰撞振动数据。其中,第一采样用户可 以在坐、站、走、躺四种姿态及轻、重、缓、急四种心态下,使用左 右手敲击第一采样终端,使得第一采样终端的传感器所采集的数据具 有尖峰,该数据可以作为碰撞振动数据。并且,在第二采样终端上安 装采集程序,后台运行该采集程序时收集第二采样终端的陀螺仪传感 器和线性加速度传感器所采集的、第二采样用户在一段时间内对第二 采样终端进行操作所产生的数据,即非碰撞振动数据。其中,第一采 样用户与第二采样用户可以是同一用户,也可以是不同的用户;第一 采样终端与第二采样终端可以是同一终端,也可以是不同的终端,本 实施例对此不做限定。
在采集到碰撞振动数据和非碰撞振动数据之后,从二者中分别提 取出用于训练预设模型的数据,即正例数据和负例数据。其中,非碰 撞振动数据中的任意一段数据均可作为负例数据,而碰撞振动数据中 存在不具有尖峰的部分数据,该部分数据并不适用于训练,故需要从 碰撞振动数据中选取出合适的数据作为正例数据。可以采用人工标注 的方式从碰撞振动数据中分割出正例数据,本发明实施例使用声音数 据进行辅助标注,从而实现自动化标注。
具体地,将在采集碰撞振动数据时通过拾音装置采集到的声音数 据和该碰撞振动数据进行比对,选取该碰撞振动数据中与声音数据尖 峰位置相匹配的数据作为正例数据,可以准确地分割出正例数据,且 可以实现自动标注,也能够提高标注效率。其中,该正例数据可以是 特定时长的数据,如100ms、200ms等。并且,可以从非碰撞振动数 据中任意截取出部分数据作为负例数据,并为负例数据添加相应的标 签,即负标签。该负例数据也是特定时长的数据,如100ms、200ms等。 一般情况下,正例数据与负例数据的时长相同。
其中,正例数据的标签(即正标签)可以为具有尖峰,负例数据 的标签(即负标签)为不具有尖峰。之后,即可根据正例数据和负例 数据对预设模型进行训练,得到分类模型参数。并且,在实际应用中, 由于涉及隐私和功耗问题,不使用声音特征来识别传感器数据中是否 存在尖峰,而只在训练过程中基于声音数据辅助标注出正例数据。
步骤1042:根据所述分类模型参数构建能够判断数据是否具有尖 峰的分类模型。
将预设模型的参数更新为该分类模型参数,从而得到能够判断数 据是否具有尖峰的分类模型。
本发明实施例提供的一种控制智能家电的方法,从碰撞振动数据 和非碰撞振动数据中分别选取正例数据和负例数据进行训练,使得分 类模型可以更加准确地提取出由敲击所产生的尖峰,即使当前用户正 常使用当前终端时导致传感器数据发生变化(类似于存在尖峰),此时 通过分类模型的输出结果也可以判断传感器数据不具有尖峰,即此时 不存在敲击,从而可以更准确的处理采集到的数据,有效避免误判。 并且,基于声音数据可以准确地分割出正例数据,且可以实现自动标 注,能够提高标注效率。
可选地,本实施例中正例数据可以具有一个尖峰;或者,正例数 据可以具有多个尖峰,正例数据中相邻尖峰之间的时间间隔小于第一 预设阈值。基于这两种正例数据均可训练得到相应的分类模型。其中, 第一预设阈值可以是500ms、600ms、700ms等。通过设置该第一预设 阈值,可以识别出传感器数据中连续的尖峰,从而有效识别出当前用 户当前为快速敲击当前终端的操作。
并且,参见图3所示,在构建分类模型之后,上述步骤将传感器 数据输入至分类模型,根据分类模型的输出结果判断传感器数据是否 具有多个尖峰,包括以下步骤1043-1045。
步骤1043:将传感器数据分为多个与正例数据具有相同时长的当 前子数据,并将当前子数据输入至分类模型,确定当前子数据的分类 结果。
本发明实施例中,传感器数据可以是当前终端持续一段时间采集 到的数据,该传感器数据可以分为多段数据,即当前子数据;并且, 当前子数据的时长与正例数据的时长相同,以方便分类模型识别该当 前子数据。例如,传感器数据的时长为1s,正例数据的时长为100ms, 此时可以将传感器数据分为10个100ms的数据,该数据为当前子数 据。之后将每个当前子数据输入至分类模型,基于分类模型的输出结 果即可确定每个当前子数据的分类结果,即可以确定每个当前子数据 中是否具有尖峰。相应地,若正例数据具有两个尖峰,且正例数据的 时长为600ms,则当前子数据的时长也为600ms。
步骤1044:在正例数据具有一个尖峰,存在多个有效当前子数据, 且相邻的有效当前子数据之间的时间间隔小于第二预设阈值的情况下, 确定传感器数据具有多个尖峰;其中,有效当前子数据指的是分类结 果为正标签的当前子数据。
在正例数据具有一个尖峰的情况下,基于分类模型可以判断当前 子数据是否具有一个尖峰;若某个当前子数据的分类结果为正标签, 即该当前子数据具有一个尖峰,本实施例可以将该当前子数据作为有 效当前子数据。并且,若传感器数据中包含多个有效当前子数据,且 相邻的有效当前子数据之间的时间间隔小于第二预设阈值,说明当前 终端在较小的时间间隔内采集到了多个尖峰,即当前用户可能连续多 次敲击了当前终端,此时可以表示当前用户需要操控智能家电,即此 时可以认为传感器数据具有多个尖峰,进而调用所述当前终端的摄像 装置采集环境图像中包含目标家电的图像。其中,该第二预设阈值与 上述的第一预设阈值可以相同,也可以不同,本实施例对此不做限定。
步骤1045:在正例数据具有多个尖峰,且存在有效当前子数据的 情况下,确定传感器数据具有多个尖峰。
在正例数据具有多个尖峰的情况下,基于分类模型可以直接判断 当前子数据是否具有多个尖峰。若某个当前子数据的分类结果为正标 签,即该当前子数据具有多个尖峰,此时即可认为传感器数据具有多 个尖峰,进而直接调用所述当前终端的摄像装置采集环境图像中包含 目标家电的图像。其中,若当前子数据具有多个尖峰,也可以将该当 前子数据作为有效当前子数据。经验证,无论正例数据具有一个尖峰 还是多个尖峰,均可以比较准确地识别传感器数据是否具有多个尖峰。
可选地,参见图4所示,本发明实施例中,上述步骤103“确定 所述目标家电的家电类型”包括以下步骤1031-1032。
步骤1031:构建能够识别家电类型的第一识别模型。
本发明实施例中,该第一识别模型是根据包含家电的图像识别与 其所对应的家电类型的模型,例如,将目标家电图像输入到该第一识 别模型后,该第一识别模型的输出结果为该目标家电图像对应的家电 类型,即目标家电的家电类型。该第一识别模型可以采用CNN (Convolutional Neural Network,卷积神经网络)模型等。
可选地,可以根据样本家电图像和样本家电图像对应的家电类型 训练预设模型,从而得到第一识别模型。上述步骤1031“构建能够识 别家电类型的第一识别模型”可以包括以下步骤A1-A2。
步骤A1:获取根据样本家电图像对预设模型进行训练所得到的第 一识别模型参数;该样本家电图像是包含样本家电的图像;该样本家 电图像的标签为该样本家电对应的家电类型。比如,采集日常生活中 常见的、可遥控的多个家电类型的多个家电在不同背景环境、不同光 照条件、不同角度下的图像作为样本家电图像,基于该样本家电图像 所属的家电类型为其标注相应的标签,该家电类型的标签可以包括: 电视、投影仪、机顶盒、空调、电风扇、电灯等。
步骤A2:根据所述第一识别模型参数构建能够识别家电类型的第 一识别模型。
其中,将样本家电图像及标签输入模型进行训练,得到第一识别 模型参数,构建能够识别家电类型的第一识别模型。
本发明实施例中,该第一识别模型参数可以是由取样终端执行训 练所得到的,也可以是由其他设备(比如云端服务器或当前终端等) 执行训练所得到的,本实施例对此不做限定。
步骤1032:将所述环境图像中的目标家电图像输入至所述第一识 别模型,根据所述第一识别模型的输出结果确定所述目标家电图像对 应的家电类型;所述目标家电图像是所述环境图像中沿包围盒剪裁出 的包含所述目标家电的部分图像。
本发明实施例中,当当前用户需要操控智能家电时,当前终端可 以将采集到的目标家电图像输入至第一识别模型,进而确定目标家电 图像对应的家电类型。本发明实施例提供了一种控制智能家电的方法, 选择在物体检测和物体识别等方面有良好的处理能力和自学习能力的 识别模型,可以提高识别的准确率。
可选地,参见图5所示,本发明实施例中,上述步骤103“确定 所述目标家电的家电品牌”包括以下步骤1033-1034。
步骤1033:构建能够识别家电品牌的多个第二识别模型,每个所 述第二识别模型能够识别的家电品牌对应一种或多种家电类型。
本发明实施例中,针对多种不同家电类型分别构建能够识别家电 品牌的多个第二识别模型,该第二识别模型可以对应一种家电类型, 也可以对应多种家电类型,比如该第二识别模型可以只对应电视,即 只用于识别电视的各种品牌;也可以对应电视和空调,即可以用于识 别电视的各种品牌以及空调的各种品牌。该第二识别模型是基于家电 图像识别与其所对应的家电品牌的模型,例如,将目标家电图像输入 到该第二识别模型后,该第二识别模型的输出结果为该目标家电图像 对应的家电品牌,即目标家电的家电品牌。
可选地,上述步骤1033“构建能够识别家电品牌的多个第二识别 模型,每个所述第二识别模型能够识别的家电品牌对应一种或多种家 电类型”可以包括以下步骤B1-B2。
步骤B1:获取根据一种或多种家电类型对应的样本家电图像对预 设模型进行训练所得到的第二识别模型参数;其中,该样本家电图像 是包含样本家电的图像;该样本家电图像的标签为该样本家电对应的 家电品牌。
步骤B2:根据所述多个模型参数构建能够识别家电品牌的多个第 二识别模型。
比如,采集日常生活中常见的、可遥控的多个家电品牌的多个家 电在不同背景环境、不同光照条件、不同角度下的图像作为样本家电 图像,并为该样本家电图像标注家电品牌的标签;该家电品牌的标签 可以包括LG、TCL、东芝、小米等。并且,可以将一种或多种家电类 型对应的样本家电图像作为训练集,根据该训练集对预设模型进行训 练,从而得到能够构建第二识别模型的模型参数,即第二识别模型参 数,且该第二识别模型可以有针对性的识别与该训练集相应的家电类 型的家电品牌。例如,训练集的家电类型为电视,基于包含电视的样 本家电图像训练得到第二识别模型,该第二识别模型可以用于识别电 视的品牌。其他家电类型对应的样本家电图像也可作为一个训练集进 行训练,从而可以构建其他的第二识别模型。本发明实施例中,该第 二识别模型参数可以是由取样终端执行训练所得到的,也可以是由其 他设备(比如云端服务器或当前终端等)执行训练所得到的,本实施 例对此不做限定。
其中,上述步骤A1中的“样本家电图像”与上述步骤B1中的 “样本家电图像”可以是相同的图像,也可以是不同的图像,本实施 例对此不做限定。但需要说明的是,上述两种“样本家电图像”的标 签不同,前者为家电类型,后者为家电品牌。
步骤1034:在确定所述目标家电的家电类型的情况下,将所述目 标家电图像输入至目标识别模型,根据所述目标识别模型的输出结果 确定与所述目标家电图像对应的家电品牌;所述目标识别模型为能够 识别与所述目标家电的家电类型相对应的家电品牌的第二识别模型。
其中,在基于第一识别模型能够确定所述目标家电的家电类型之 后,将能够识别与所述目标家电的家电类型相对应的家电品牌的第二 识别模型作为目标识别模型,并将所述目标家电图像输入至该目标识 别模型,根据该目标识别模型的输出结果确定与该目标家电图像对应 的家电品牌,即目标家电的家电品牌。
本发明实施例中,可以利用第一识别模型先识别出目标家电的家 电类型,再针对已识别出的家电类型选择与该家电类型相匹配的目标 识别模型,进而识别该目标家电所对应的家电品牌。本实施例中的第 二识别模型用于识别相应特定家电类型的家电品牌,可以降低其他家 电类型的干扰,可以提高对家电品牌的识别效果,使识别结果更加准 确。
可选地,参见图6所示,本发明实施例中,在上述步骤103“跳 转至所述目标家电的家电类型及家电品牌对应的第一控制页面”之后, 该方法还包括以下步骤1035-1039。
步骤1035:根据所述第一识别模型的输出结果确定置信度大于第 三预设阈值的多种有效家电类型Ai
本发明实施例中,当出现无法正确识别目标家电的家电类型和/ 或家电品牌的情况时,可以通过在当前终端中展示家电候选列表的方 式,使当前用户或其他用户自行选择与目标家电相匹配的家电类型及 家电品牌。其中,根据所述第一识别模型的输出结果确定的置信度 (confidence level,又称可靠度,或置信水平、置信系数,解释为总体 参数值落在样本统计值某一区内的概率)为家电类型置信度,该家电 类型置信度可以表示目标家电属于相应家电类型的可能性;选取家电 类型置信度大于第三预设阈值的多种家电类型作为多种有效家电类型 Ai。其中,i∈[1,m],m为有效家电类型的总数量,Ai即表示第i个有 效家电类型。该第三预设阈值可以是预先设置的固定值,也可以是基 于实际情况动态设置的值;例如,可以对家电类型置信度从大到小进 行排序,将前k个家电类型置信度对应的家电类型作为有效家电类型, 此时即可将第k个家电类型置信度与第k+1个家电类型置信度之间的 某个值作为该第三预设阈值。
步骤1036:将所述目标家电图像输入至与所述有效家电类型Ai对应的有效识别模型,根据所述有效识别模型的输出结果确定与所述 有效家电类型Ai对应的多种家电品牌Bi,j的置信度;所述有效识别模 型为能够识别与所述有效家电类型Ai相对应的家电品牌的第二识别 模型。
其中,根据上述步骤1033-1034,得到每个家电类型分别对应某个 第二识别模型,相应地,有效家电类型Ai也对应某个有效识别模型Mi; 在确定目标家电图像可能所属的有效家电类型Ai后,将该目标家电图 像输入至相应的有效识别模型Mi,根据该有效识别模型Mi的输出结 果得到该目标家电是多种家电品牌Bi,j的置信度,即家电品牌置信度。 其中,j∈[1,ni],ni为有效家电类型Ai对应的家电品牌的总数量。Bi,j表示有效家电类型Ai对应的第j个家电品牌。由于存在多个有效家电 类型,故需要基于多个有效识别模型分别确定相应的家电置信度。
例如,基于第一识别模型确定该目标家电是冰箱或洗衣机的置信 度较高,即有效家电类型包括冰箱和洗衣机;之后,需要基于冰箱对 应的第二识别模型(其为一个有效识别模型)来确定家电置信度,并 且还需要基于洗衣机对应的第二识别模型(其也为一个有效识别模型) 来确定相应的家电置信度。
步骤1037:根据所述有效家电类型Ai的置信度和与所述有效家 电类型Ai对应的家电品牌Bi,j的置信度确定总置信度Ci,j,并根据所 述总置信度Ci,j进行排序,生成家电候选列表。
其中,所述家电候选列表中每一项分别对应:第i个有效家电类 型Ai以及与该有效家电类型Ai对应的第j个家电品牌Bi,j,根据家电 类型置信度和对应的家电品牌置信度确定总置信度,如根据有效家电 类型Ai的置信度和与有效家电类型Ai对应的家电品牌Bi,j的置信度 确定总置信度Ci,j;可选地,可以将家电类型置信度和对应的家电品牌 置信度的乘积作为总置信度。
之后,根据该总置信度Ci,j进行排序,从而选取总置信度较高的 多个家电类型和家电品牌生成家电候选列表。比如,按照置信度从大 到小的顺序,第一个有效家电类型是电视,第一个家电品牌是小米, 则一般情况下,小米电视对应的总置信度最高,此时即可将小米电视 作为家电候选列表的第一项。
步骤1038:获取用户基于所述家电候选列表所输入的选择指令, 将所述选择指令对应的有效家电类型作为所述目标家电的新家电类型, 将所述选择指令对应的家电品牌作为所述目标家电的新家电品牌。
步骤1039:跳转至与所述目标家电的新家电类型及新家电品牌对 应的第二控制页面。
其中,在当前终端生成家电候选列表之后,即可显示该家电候选 列表,用户从家电候选列表中选取需要操作的家电类型和家电品牌。 例如,用户可以通过点选的方式选择家电候选列表中的某一项,从而 输入指向该项的选择指令,该项所包含的有效家电类型和家电品牌即 为用户重新选择的新家电类型和新家电品牌。当前终端获取到用户选 择目标家电的选择指令后,即可跳转至与所述目标家电的新家电类型 及新家电品牌对应的控制页面,即第二控制页面,该第二控制页面与 上述的第一控制页面相似,也用于接收操控家电的操控指令,且不同 的控制页面用于操控不同的家电(例如不同品牌的家电或不同类型的 家电)。可选地,若用户所需的目标家电不在该家电候选列表中,则用 户可以通过搜索栏输入该目标家电的文本信息来搜索所需的目标家电, 从而可以跳转至该目标家电对应的控制页面。
本发明实施例中,基于相应的有效识别模型来确定品牌置信度, 并基于家电类型置信度以及家电品牌置信度得到的总置信度,使得该 总置信度可以更加准确地表征两种识别模型的识别结果的准确性;通 过总置信度设置家电候选列表,使得在模型识别存在错误时用户也可 以方便地选择需要操控的家电,操作简单,也能有效避免采用模型识 别可能会出现的误判,能够提升用户使用体验度。
可选地,可以如上述步骤1033所示为每种家电类型构建识别家 电品牌的识别模型,即第二识别模型;或者,也可以在不区分家电类 型的情况下构建识别家电品牌的识别模型,即下述的第三识别模型。 本发明实施例中,上述步骤103“确定所述目标家电的家电品牌”包 括以下步骤C1-C2。
步骤C1:构建能够识别家电品牌的第三识别模型。
步骤C2:将所述环境图像中的目标家电图像输入至所述第三识别 模型,根据所述第三识别模型的输出结果确定所述目标家电图像对应 的家电品牌;所述目标家电图像是所述环境图像中沿包围盒剪裁出的 包含所述目标家电的部分图像。
本发明实施例中,该第三识别模型是与家电类型不相关的识别模 型,即,将在未确定目标家电图像的家电类型的情况下,也可以将该 目标家电图像输入到该第三识别模型,该第三识别模型也可以确定该 目标家电图像对应的家电品牌。相应地,在训练得到该第三识别模型 时,需要基于各个家电类型的样本家电图像进行训练,该训练过程与 上述步骤B1-B2的训练过程相似,只是所用的训练集不同,此处不做 赘述。
本发明实施例中,当当前用户需要操控智能家电时,当前终端可 以将采集到的目标家电图像输入至第三识别模型,进而确定目标家电 的家电品牌;并且,可以基于上述的第一识别模型或其他方式确定目 标家电的家电类型。本发明实施例提供了一种控制智能家电的方法, 选择在物体检测和物体识别等方面有良好的处理能力和自学习能力的 识别模型,可以提高识别的准确率。
可选地,本发明实施例中,上述步骤103“跳转至所述目标家电 的家电类型及家电品牌对应的第一控制页面”包括以下步骤D1-D2。
步骤D1:通过WIFI或者红外连接所述目标家电。
本发明实施例中,当当前终端识别到目标家电的家电类型及家电 品牌后,会直接与目标家电进行连接,并跳转至该目标家电的第一控 制页面。当前终端与目标家电之间的连接方式可以是通过WIFI (Wireless-Fidelity,无线保真)连接,也可以是通过红外连接。其中, 通过WIFI连接通常有两种常见的工作方式,方式一:目标家电采用 sta(SpanningTree Algorithm,发放-触发平均方法)模式,即当前终 端和目标家电需要连接同一个局域网,连接信号通过无线路由器转发, 实现当前终端连接目标家电,使得用户可以基于该目标家电的控制页 面操控目标家电。方式二:目标家电采用AP(Access Point,访问接 入点)模式,即目标家电的WIFI模块提供工作热点,当前终端接入该 工作热点实现连接目标家电,使得用户可以基于该目标家电的控制页 面操控目标家电。
步骤D2:跳转至所述目标家电的家电类型及家电品牌对应的第一 控制页面。
本发明实施例中,可以通过两种连接方式实现当前终端与目标家 电的连接,优于目前市场上普遍所采用的唯一的一种红外连接方式, 不再仅限于只支持提前预设好的基于红外遥控的目标家电,扩大了当 前终端可以连接的家电类型及家电品牌,丰富了用户的选择,满足市 场需求。
下面通过一个实施例详细介绍该控制智能家电的方法流程。参见 图7所示,该方法包括以下步骤201-214。
步骤201:预先建立分类模型、第一识别模型和多个第二识别模 型。
其中,可以基于采集到的正例数据和负例数据训练得到该分类模 型,具体可参见上述的步骤1041-1042,建立第一识别别模型的过程具 体可参见上述步骤1031的相关内容,建立第二识别别模型的过程具 体可参见上述步骤1033的相关内容,此处不做赘述。
步骤202:当前用户在需要操控目标家电时,连续敲击两次当前 终端。
本实施例中,以敲击两次作为有效操作,即当前用户敲击两次当 前终端时,即可调用所述当前终端的摄像装置采集环境图像。
步骤203:当前终端的传感器采集此时的传感器数据。
步骤204:将传感器数据分为多个与正例数据具有相同时长的当 前子数据,并将当前子数据输入至分类模型,确定当前子数据的分类 结果。
本发明实施例中,以正例数据包含两个尖峰为例。
步骤205:若存在分类结果为正标签的当前子数据,确定传感器 数据具有多个尖峰。
步骤206:调用所述当前终端的摄像装置采集环境图像,获取环 境图像中包含目标家电的图像,即目标家电图像。
步骤207:将所述目标家电图像输入至所述第一识别模型,对目 标家电图像进行识别处理。
步骤208:根据所述第一识别模型的输出结果得到所述目标家电 图像对应的家电类型,将所述目标家电图像输入至该家电类型对应的 第二识别模型,对目标家电图像进行识别处理。
步骤209:根据所述第二识别模型的输出结果得到所述目标家电 图像对应的家电品牌。
步骤210:跳转至所述目标家电的家电类型及家电品牌对应的第 一控制页面。
步骤211:若正确识别所述目标家电所对应的家电类型及家电品 牌时,进行步骤214;若无法正确识别目标家电的家电类型和/或家电 品牌的情况时,进行步骤212。
步骤212:通过生成家电候选列表的方式,获取用户基于所述家 电候选列表所输入的选择指令,重新确定新家电类型及新家电品牌, 继续步骤213。
其中,根据家电类型置信度及家电品牌置信度确定总置信度,根 据总置信度由高至低依次排序,生成家电候选列表。
步骤213:跳转至与所述目标家电的新家电类型及新家电品牌对 应的第二控制页面。
步骤214:识别结束。
上文详细描述了本发明实施例提供的控制智能家电的方法,该方 法也可以通过相应的装置实现,下面详细描述本发明实施例提供的控 制智能家电的装置。
本发明实施例提供了一种控制智能家电的装置,参见图8所示, 该装置包括:获取模块81、处理模块82及识别模块83。
获取模块81:用于获取通过当前终端的传感器所采集到的当前数 据。
处理模块82:用于在传感器数据满足触发条件的情况下,调用当 前终端的摄像装置采集环境图像。
识别模块83:用于在所述环境图像中包含目标家电的情况下,确 定所述目标家电的家电类型,确定所述目标家电的家电品牌,并跳转 至所述目标家电的家电类型及家电品牌对应的第一控制页面。
可选地,该装置还包括判断模块;该判断模块用于判断所述传感 器数据是否具有多个尖峰;若所述传感器数据具有多个尖峰,所述处 理模块82确定传感器数据满足触发条件。
可选地,判断所述传感器数据是否具有多个尖峰的判断模块包括: 第一构建单元和判断单元。
第一构建单元用于构建能够判断数据是否具有尖峰的分类模型。
判断单元用于将所述传感器数据输入至所述分类模型,根据所述 分类模型的输出结果判断所述传感器数据是否具有多个尖峰。
可选地,第一构建单元用于:获取根据正例数据和负例数据对预 设模型进行训练所得到的分类模型参数;根据所述分类模型参数构建 能够判断数据是否具有尖峰的分类模型。
其中,所述正例数据为从包含多个尖峰的碰撞振动数据中所截取 出具有尖峰的数据,且与声音数据中的尖峰具有相匹配的尖峰位置, 所述正例数据的标签为正标签;所述碰撞振动数据为在第一采样用户 敲击第一采样终端的情况下,所述第一采样终端的传感器所采集到的 数据;所述声音数据为在采集所述碰撞振动数据时所述第一采样终端 的拾音装置所采集到的数据;所述负例数据为从非碰撞振动数据中所 截取出的部分数据,且所述负例数据的标签为负标签;所述非碰撞振 动数据为在第二采样用户不敲击第二采样终端的情况下,所述第二采 样终端的传感器所采集到的数据。
可选地,正例数据具有一个尖峰;或者,所述正例数据具有多个 尖峰,所述正例数据中相邻尖峰之间的时间间隔小于第一预设阈值。
所述判断单元用于:将所述传感器数据分为多个与所述正例数据 具有相同时长的当前子数据,并将所述当前子数据输入至所述分类模 型,确定所述当前子数据的分类结果。在所述正例数据具有一个尖峰, 存在多个有效当前子数据,且相邻的所述有效当前子数据之间的时间 间隔小于第二预设阈值的情况下,确定所述传感器数据具有多个尖峰;在所述正例数据具有多个尖峰,且存在有效当前子数据的情况下,确 定所述传感器数据具有多个尖峰;其中,所述有效当前子数据指的是 分类结果为所述正标签的当前子数据。
可选地,获取通过当前终端的传感器所采集到的当前数据的获取 模块81用于:获取当前用户操作当前终端时通过传感器所采集到的 传感器数据,所述传感器包括陀螺仪传感器和/或线性加速度传感器。
可选地,识别模块83包括:用于确定所述目标家电的家电类型的 第二构建单元和第一识别单元。
第二构建单元用于构建能够识别家电类型的第一识别模型。
第一识别单元用于将所述环境图像中的目标家电图像输入至所 述第一识别模型,根据所述第一识别模型的输出结果确定所述目标家 电图像对应的家电类型;所述目标家电图像是所述环境图像中沿包围 盒剪裁出的包含所述目标家电的部分图像。
可选地,识别模块83包括:用于确定所述目标家电的家电品牌的 第三构建单元和第二识别单元。
第三构建单元用于构建能够识别家电品牌的多个第二识别模型, 每个所述第二识别模型能够识别的家电品牌对应一种或多种家电类型。
第二识别单元用于在确定所述目标家电的家电类型的情况下,将 所述目标家电图像输入至目标识别模型,根据所述目标识别模型的输 出结果确定与所述目标家电图像对应的家电品牌;所述目标识别模型 为能够识别与所述目标家电的家电类型相对应的家电品牌的第二识别 模型。
可选地,识别模块83还包括:生成单元和第一显示单元。
在所述跳转至所述目标家电的家电类型及家电品牌对应的第一 控制页面之后,生成单元用于根据所述第一识别模型的输出结果确定 置信度大于第三预设阈值的多种有效家电类型Ai。将所述目标家电图 像输入至与所述有效家电类型Ai对应的有效识别模型,根据所述有效 识别模型的输出结果确定与所述有效家电类型Ai对应的多种家电品 牌Bi,j的置信度;所述有效识别模型为能够识别与所述有效家电类型 Ai相对应的家电品牌的第二识别模型;根据所述有效家电类型Ai的置 信度和与所述有效家电类型Ai对应的家电品牌Bi,j的置信度确定总置 信度Ci,j,并根据所述总置信度Ci,j进行排序,生成家电候选列表;获取用户基于所述家电候选列表所输入的选择指令,将所述选择指令对 应的有效家电类型作为所述目标家电的新家电类型,将所述选择指令 对应的家电品牌作为所述目标家电的新家电品牌。
第一显示单元用于跳转至与所述目标家电的新家电类型及新家 电品牌对应的第二控制页面。
可选地,识别模块83包括:用于确定所述目标家电的家电品牌的 第四构建单元和第三识别单元。
第四构建单元用于构建能够识别家电品牌的第三识别模型。
第三识别单元用于将所述环境图像中的目标家电图像输入至所 述第三识别模型,根据所述第三识别模型的输出结果确定所述目标家 电图像对应的家电品牌;所述目标家电图像是所述环境图像中沿包围 盒剪裁出的包含所述目标家电的部分图像。
可选地,识别模块83包括:用于跳转至所述目标家电的家电类型 及家电品牌对应的第一控制页面的连接单元和第二显示单元。
连接单元用于通过WIFI或者红外连接所述目标家电。
第二显示单元用于跳转至所述目标家电的家电类型及家电品牌 对应的第一控制页面。
本发明实施例提供了一种控制智能家电的装置,该装置在获取的 传感器数据满足触发条件时便可以调用等摄像装置进入采集智能家电 图像的状态,确定该智能家电的家电类型及家电品牌,进而直接显示 与该智能家电图像相对应的控制页面,方便用户快速通过控制页面操 控智能家电。用户无需先行打开某遥控应用程序,再进一步选择需要 连接的家电类型及品牌,简化了控制智能家电的操作过程。
此外,本发明实施例还提供了一种电子设备,包括总线、收发器、 存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序, 该收发器、该存储器和处理器分别通过总线相连,计算机程序被处理 器执行时实现上述控制智能家电的方法实施例的各个过程,且能达到 相同的技术效果,为避免重复,这里不再赘述。
具体的,参见图9所示,本发明实施例还提供了一种电子设备, 该电子设备包括总线1110、处理器1120、收发器1130、总线接口1140、 存储器1150和用户接口1160。
在本发明实施例中,该电子设备还包括:存储在存储器1150上并 可在处理器1120上运行的计算机程序,计算机程序被处理器1120执 行时实现上述控制智能家电的方法实施例的各个过程。
收发器1130,用于在处理器1120的控制下接收和发送数据。
本发明实施例中,总线架构(用总线1110来代表),总线1110可 以包括任意数量互联的总线和桥,总线1110将包括由处理器1120代 表的一个或多个处理器与存储器1150代表的存储器的各种电路连接 在一起。
总线1110表示若干类型的总线结构中的任何一种总线结构中的 一个或多个,包括存储器总线以及存储器控制器、***总线、加速图 形端口(Accelerate GraphicalPort,AGP)、处理器或使用各种总线体 系结构中的任意总线结构的局域总线。作为示例而非限制,这样的体 系结构包括:工业标准体系结构(Industry Standard Architecture,ISA)总线、微通道体系结构(Micro Channel Architecture,MCA) 总线、扩展ISA(EnhancedISA,EISA)总线、视频电子标准协会 (Video Electronics Standards Association,VESA)、***部件互连 (Peripheral Component Interconnect,PCI)总线。
处理器1120可以是一种集成电路芯片,具有信号处理能力。在实 现过程中,上述方法实施例的各步骤可以通过处理器中硬件的集成逻 辑电路或软件形式的指令完成。上述的处理器包括:通用处理器、中 央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)、数字信号处理器(Digital Signal Processor,DSP)、 专用集成电路(Application Specific Integrated Circuit,ASIC)、现 场可编程门阵列(FieldProgrammable Gate Array,FPGA)、复杂可 编程逻辑器件(Complex Programmable LogicDevice,CPLD)、可编程 逻辑阵列(Programmable Logic Array,PLA)、微控制单元(Microcontroller Unit,MCU)或其他可编程逻辑器件、分立门、晶体 管逻辑器件、分立硬件组件。可以实现或执行本发明实施例中公开的 各方法、步骤及逻辑框图。例如,处理器可以是单核处理器或多核处 理器,处理器可以集成于单颗芯片或位于多颗不同的芯片。
处理器1120可以是微处理器或任何常规的处理器。结合本发明实 施例所公开的方法步骤可以直接由硬件译码处理器执行完成,或者由 译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随 机存取存储器(Random Access Memory,RAM)、闪存(Flash Memory)、 只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、寄存器等本领域公知的可读存储介质中。可读存储 介质位于存储器中,处理器读取存储器中的信息,结合其硬件完成上 述方法的步骤。
总线1110还可以将,例如***设备、稳压器或功率管理电路等各 种其他电路连接在一起,总线接口1140在总线1110和收发器1130之 间提供接口,这些都是本领域所公知的。因此,本发明实施例不再对 其进行进一步描述。
收发器1130可以是一个元件,也可以是多个元件,例如多个接收 器和发送器,提供用于在传输介质上与各种其他装置通信的单元。例 如:收发器1130从其他设备接收外部数据,收发器1130用于将处理 器1120处理后的数据发送给其他设备。取决于计算机***的性质,还 可以提供用户接口1160,例如:触摸屏、物理键盘、显示器、鼠标、 扬声器、麦克风、轨迹球、操纵杆、触控笔。
应理解,在本发明实施例中,存储器1150可进一步包括相对于处 理器1120远程设置的存储器,这些远程设置的存储器可以通过网络 连接至服务器。上述网络的一个或多个部分可以是自组织网络(ad hoc network)、内联网(intranet)、外联网(extranet)、虚拟专用网(VPN)、 局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、无线广域网 (WWAN)、城域网(MAN)、互联网(Internet)、公共交换电话网(PSTN)、 普通老式电话业务网(POTS)、蜂窝电话网、无线网络、无线保真(Wi- Fi)网络以及两个或更多个上述网络的组合。例如,蜂窝电话网和无 线网络可以是全球移动通信(GSM)***、码分多址(CDMA)***、 全球微波互联接入(WiMAX)***、通用分组无线业务(GPRS)系 统、宽带码分多址(WCDMA)***、长期演进(LTE)***、LTE频 分双工(FDD)***、LTE时分双工(TDD)***、先进长期演进(LTE- A)***、通用移动通信(UMTS)***、增强移动宽带(Enhance Mobile Broadband,eMBB)***、海量机器类通信(massive Machine Type of Communication,mMTC)***、超可靠低时延通信(Ultra Reliable Low Latency Communications,uRLLC)***等。
应理解,本发明实施例中的存储器1150可以是易失性存储器或非 易失性存储器,或可包括易失性存储器和非易失性存储器两者。其中, 非易失性存储器包括:只读存储器(Read-Only Memory,ROM)、可编 程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储 器(Erasable PROM,EPROM)、电可擦除可编程只读存储器 (ElectricallyEPROM,EEPROM)或闪存(Flash Memory)。
易失性存储器包括:随机存取存储器(Random Access Memory, RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形 式的RAM可用,例如:静态随机存取存储器(Static RAM,SRAM)、 动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存 取存储器(Double DataRate SDRAM,DDRSDRAM)、增强型同步动 态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随 机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存 取存储器(Direct Rambus RAM,DRRAM)。本发明实施例描述的电子 设备的存储器1150包括但不限于上述和任意其他适合类型的存储器。
在本发明实施例中,存储器1150存储了操作***1151和应用程 序1152的如下元素:可执行模块、数据结构,或者其子集,或者其扩 展集。
具体而言,操作***1151包含各种***程序,例如:框架层、核 心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。 应用程序1152包含各种应用程序,例如:媒体播放器(Media Player)、 浏览器(Browser),用于实现各种应用业务。实现本发明实施例方法 的程序可以包含在应用程序1152中。应用程序1152包括:小程序、 对象、组件、逻辑、数据结构以及其他执行特定任务或实现特定抽象 数据类型的计算机***可执行指令。
此外,本发明实施例还提供了一种计算机可读存储介质,其上存 储有计算机程序,计算机程序被处理器执行时实现上述控制智能家电 的方法实施例的各个过程,且能达到相同的技术效果,为避免重复, 这里不再赘述。
计算机可读存储介质包括:永久性和非永久性、可移动和非可移 动媒体,是可以保留和存储供指令执行设备所使用指令的有形设备。 计算机可读存储介质包括:电子存储设备、磁存储设备、光存储设备、 电磁存储设备、半导体存储设备以及上述任意合适的组合。计算机可 读存储介质包括:相变内存(PRAM)、静态随机存取存储器(SRAM)、 动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、 只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦 除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、光盘 只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、 磁盒式磁带存储、磁带磁盘存储或其他磁性存储设备、记忆棒、机械 编码装置(例如在其上记录有指令的凹槽中的穿孔卡或凸起结构)或 任何其他非传输介质、可用于存储可以被计算设备访问的信息。按照 本发明实施例中的界定,计算机可读存储介质不包括暂时信号本身, 例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传 播的电磁波(例如穿过光纤电缆的光脉冲)或通过导线传输的电信号。
在本申请所提供的几个实施例中,应该理解到,所披露的装置、 电子设备和方法,可以通过其他的方式实现。例如,以上描述的装置 实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑 功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件 可以结合或可以集成到另一个***,或一些特征可以忽略,或不执行。 另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是 通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的、 机械的或其他的形式连接。
作为分离部件说明的单元可以是或也可以不是物理上分开的,作 为单元显示的部件可以是或也可以不是物理单元,既可以位于一个位 置,或者也可以分布到多个网络单元上。可以根据实际的需要选择其 中的部分或全部单元来解决本发明实施例方案要解决的问题。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理 单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上 单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现, 也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品 销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的 理解,本发明实施例的技术方案本质上或者说对现有技术作出贡献的 部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来, 该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一 台计算机设备(包括:个人计算机、服务器、数据中心或其他网络设 备)执行本发明各个实施例方法的全部或部分步骤。而上述存储介质 包括如前述所列举的各种可以存储程序代码的介质。
在本发明实施例的描述中,所属技术领域的技术人员应当知道, 本发明实施例可以实现为方法、装置、电子设备及计算机可读存储介 质。因此,本发明实施例可以具体实现为以下形式:完全的硬件、完 全的软件(包括固件、驻留软件、微代码等)、硬件和软件结合的形式。 此外,在一些实施例中,本发明实施例还可以实现为在一个或多个计 算机可读存储介质中的计算机程序产品的形式,该计算机可读存储介 质中包含计算机程序代码。
上述计算机可读存储介质可以采用一个或多个计算机可读存储 介质的任意组合。计算机可读存储介质包括:电、磁、光、电磁、红 外或半导体的***、装置或器件,或者以上任意的组合。计算机可读 存储介质更具体的例子包括:便携式计算机磁盘、硬盘、随机存取存 储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、 闪存(FlashMemory)、光纤、光盘只读存储器(CD-ROM)、光存储器 件、磁存储器件或以上任意组合。在本发明实施例中,计算机可读存 储介质可以是任意包含或存储程序的有形介质,该程序可以被指令执 行***、装置、器件使用或与其结合使用。
上述计算机可读存储介质包含的计算机程序代码可以用任意适 当的介质传输,包括:无线、电线、光缆、射频(Radio Frequency, RF)或者以上任意合适的组合。
可以以汇编指令、指令集架构(ISA)指令、机器指令、机器相关 指令、微代码、固件指令、状态设置数据、集成电路配置数据或以一 种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的 计算机程序代码,程序设计语言包括面向对象的程序设计语言,例如: Java、Smalltalk、C++,还包括常规的过程式程序设计语言,例如:C 语言或类似的程序设计语言。计算机程序代码可以完全的在用户计算 机上执行、部分的在用户计算机上执行、作为一个独立的软件包执行、 部分在用户计算机上部分在远程计算机上执行以及完全在远程计算机 或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括:局域网(LAN)或广域网(WAN),可以连接 到用户计算机,也可以连接到外部计算机。
本发明实施例通过流程图和/或方框图描述所提供的方法、装置、 电子设备。
应当理解,流程图和/或方框图的每个方框以及流程图和/或方框 图中各方框的组合,都可以由计算机可读程序指令实现。这些计算机 可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据 处理装置的处理器,从而生产出一种机器,这些计算机可读程序指令 通过计算机或其他可编程数据处理装置执行,产生了实现流程图和/或 方框图中的方框规定的功能/操作的装置。
也可以将这些计算机可读程序指令存储在能使得计算机或其他 可编程数据处理装置以特定方式工作的计算机可读存储介质中。这样, 存储在计算机可读存储介质中的指令就产生出一个包括实现流程图和 /或方框图中的方框规定的功能/操作的指令装置产品。
也可以将计算机可读程序指令加载到计算机、其他可编程数据处 理装置或其他设备上,使得在计算机、其他可编程数据处理装置或其 他设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得 在计算机或其他可编程数据处理装置上执行的指令能够提供实现流程 图和/或方框图中的方框规定的功能/操作的过程。
以上,仅为本发明实施例的具体实施方式,但本发明实施例的保 护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明实施 例披露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明实 施例的保护范围之内。因此,本发明实施例的保护范围应以权利要求 的保护范围为准。

Claims (14)

1.一种控制智能家电的方法,其特征在于,包括:
获取通过当前终端的传感器所采集到的当前数据;
在所述传感器数据满足触发条件的情况下,调用所述当前终端的摄像装置采集环境图像;
在所述环境图像中包含目标家电的情况下,确定所述目标家电的家电类型,确定所述目标家电的家电品牌,并跳转至所述目标家电的家电类型及家电品牌对应的第一控制页面。
2.根据权利要求1的方法,其特征在于,还包括:
判断所述传感器数据是否具有多个尖峰;
若所述传感器数据具有多个尖峰,所述传感器数据满足所述触发条件。
3.根据权利要求2的方法,其特征在于,所述判断所述传感器数据是否具有多个尖峰包括:
构建能够判断数据是否具有尖峰的分类模型;
将所述传感器数据输入至所述分类模型,根据所述分类模型的输出结果判断所述传感器数据是否具有多个尖峰。
4.根据权利要求3的方法,其特征在于,所述构建能够判断数据是否具有尖峰的分类模型包括:
获取根据正例数据和负例数据对预设模型进行训练所得到的分类模型参数;
根据所述分类模型参数构建能够判断数据是否具有尖峰的分类模型;
其中,所述正例数据为从包含多个尖峰的碰撞振动数据中所截取出具有尖峰的数据,且与声音数据中的尖峰具有相匹配的尖峰位置,所述正例数据的标签为正标签;所述碰撞振动数据为在第一采样用户敲击第一采样终端的情况下,所述第一采样终端的传感器所采集到的数据;所述声音数据为在采集所述碰撞振动数据时所述第一采样终端的拾音装置所采集到的数据;
所述负例数据为从非碰撞振动数据中所截取出的部分数据,且所述负例数据的标签为负标签;所述非碰撞振动数据为在第二采样用户不敲击第二采样终端的情况下,所述第二采样终端的传感器所采集到的数据。
5.根据权利要求4的方法,其特征在于,
所述正例数据具有一个尖峰;或者,所述正例数据具有多个尖峰,所述正例数据中相邻尖峰之间的时间间隔小于第一预设阈值;
所述将所述传感器数据输入至所述分类模型,根据所述分类模型的输出结果判断所述传感器数据是否具有多个尖峰,包括:
将所述传感器数据分为多个与所述正例数据具有相同时长的当前子数据,并将所述当前子数据输入至所述分类模型,确定所述当前子数据的分类结果;
在所述正例数据具有一个尖峰,存在多个有效当前子数据,且相邻的所述有效当前子数据之间的时间间隔小于第二预设阈值的情况下,确定所述传感器数据具有多个尖峰;
在所述正例数据具有多个尖峰,且存在有效当前子数据的情况下,确定所述传感器数据具有多个尖峰;
其中,所述有效当前子数据指的是分类结果为所述正标签的当前子数据。
6.根据权利要求1所述的方法,其特征在于,所述获取通过当前终端的传感器所采集到的当前数据包括:
获取当前用户操作当前终端时通过传感器所采集到的传感器数据,所述传感器包括陀螺仪传感器和/或线性加速度传感器。
7.根据权利要求1的方法,其特征在于,所述确定所述目标家电的家电类型,包括:
构建能够识别家电类型的第一识别模型;
将所述环境图像中的目标家电图像输入至所述第一识别模型,根据所述第一识别模型的输出结果确定所述目标家电图像对应的家电类型;所述目标家电图像是所述环境图像中沿包围盒剪裁出的包含所述目标家电的部分图像。
8.根据权利要求7的方法,其特征在于,所述确定所述目标家电的家电品牌,包括:
构建能够识别家电品牌的多个第二识别模型,每个所述第二识别模型能够识别的家电品牌对应一种或多种家电类型;
在确定所述目标家电的家电类型的情况下,将所述目标家电图像输入至目标识别模型,根据所述目标识别模型的输出结果确定与所述目标家电图像对应的家电品牌;所述目标识别模型为能够识别与所述目标家电的家电类型相对应的家电品牌的第二识别模型。
9.根据权利要求8的方法,其特征在于,在所述跳转至所述目标家电的家电类型及家电品牌对应的第一控制页面之后,还包括:
根据所述第一识别模型的输出结果确定置信度大于第三预设阈值的多种有效家电类型Ai
将所述目标家电图像输入至与所述有效家电类型Ai对应的有效识别模型,根据所述有效识别模型的输出结果确定与所述有效家电类型Ai对应的多种家电品牌Bi,j的置信度;所述有效识别模型为能够识别与所述有效家电类型Ai相对应的家电品牌的第二识别模型;
根据所述有效家电类型Ai的置信度和与所述有效家电类型Ai对应的家电品牌Bi,j的置信度确定总置信度Ci,j,并根据所述总置信度Ci,j进行排序,生成家电候选列表;
获取用户基于所述家电候选列表所输入的选择指令,将所述选择指令对应的有效家电类型作为所述目标家电的新家电类型,将所述选择指令对应的家电品牌作为所述目标家电的新家电品牌;
跳转至与所述目标家电的新家电类型及新家电品牌对应的第二控制页面。
10.根据权利要求1-6任意一项的方法,其特征在于,所述确定所述目标家电的家电品牌,包括:
构建能够识别家电品牌的第三识别模型;
将所述环境图像中的目标家电图像输入至所述第三识别模型,根据所述第三识别模型的输出结果确定所述目标家电图像对应的家电品牌;所述目标家电图像是所述环境图像中沿包围盒剪裁出的包含所述目标家电的部分图像。
11.根据权利要求1-6任意一项的方法,其特征在于,跳转至所述目标家电的家电类型及家电品牌对应的第一控制页面,包括:
通过WIFI或者红外连接所述目标家电;
跳转至所述目标家电的家电类型及家电品牌对应的第一控制页面。
12.一种控制智能家电的装置,其特征在于,包括:获取模块、处理模块以及识别模块;
所述获取模块用于获取通过当前终端的传感器所采集到的当前数据;
所述处理模块用于在所述传感器数据满足触发条件的情况下,调用所述当前终端的摄像装置采集环境图像;
所述识别模块用于在所述环境图像中包含目标家电的情况下,确定所述目标家电的家电类型,确定所述目标家电的家电品牌,并跳转至所述目标家电的家电类型及家电品牌对应的第一控制页面。
13.一种电子设备,包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,收发器、存储器和处理器通过总线相连,其特征在于,计算机程序被处理器执行时实现如权利要求1至11中任一项的控制智能家电的方法中的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,计算机程序被处理器执行时实现如权利要求1至11中任一项的控制智能家电的方法中的步骤。
CN202111211473.2A 2021-10-18 2021-10-18 一种控制智能家电的方法、装置及电子设备 Pending CN113934150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111211473.2A CN113934150A (zh) 2021-10-18 2021-10-18 一种控制智能家电的方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111211473.2A CN113934150A (zh) 2021-10-18 2021-10-18 一种控制智能家电的方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113934150A true CN113934150A (zh) 2022-01-14

Family

ID=79280040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111211473.2A Pending CN113934150A (zh) 2021-10-18 2021-10-18 一种控制智能家电的方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113934150A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700365A (zh) * 2016-01-22 2016-06-22 深圳市飞比电子科技有限公司 移动终端的家电控制界面的生成方法和装置
CN106101783A (zh) * 2016-05-24 2016-11-09 乐视控股(北京)有限公司 设备的控制方法和装置
CN109994111A (zh) * 2019-02-26 2019-07-09 维沃移动通信有限公司 一种交互方法、装置及移动终端
CN110831116A (zh) * 2019-11-05 2020-02-21 珠海格力电器股份有限公司 一种家电配网方法、存储介质及终端
WO2020211465A1 (zh) * 2019-04-15 2020-10-22 美的集团股份有限公司 智能家居设备控制方法、介质、移动终端和装置
CN112053647A (zh) * 2020-07-24 2020-12-08 华帝股份有限公司 一种获取智能家电设备功能演示的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700365A (zh) * 2016-01-22 2016-06-22 深圳市飞比电子科技有限公司 移动终端的家电控制界面的生成方法和装置
CN106101783A (zh) * 2016-05-24 2016-11-09 乐视控股(北京)有限公司 设备的控制方法和装置
CN109994111A (zh) * 2019-02-26 2019-07-09 维沃移动通信有限公司 一种交互方法、装置及移动终端
WO2020211465A1 (zh) * 2019-04-15 2020-10-22 美的集团股份有限公司 智能家居设备控制方法、介质、移动终端和装置
CN110831116A (zh) * 2019-11-05 2020-02-21 珠海格力电器股份有限公司 一种家电配网方法、存储介质及终端
CN112053647A (zh) * 2020-07-24 2020-12-08 华帝股份有限公司 一种获取智能家电设备功能演示的方法

Similar Documents

Publication Publication Date Title
CN109240576B (zh) 游戏中的图像处理方法及装置、电子设备、存储介质
TWI786313B (zh) 目標跟蹤方法、裝置、介質以及設備
CN108304758B (zh) 人脸特征点跟踪方法及装置
US10185543B2 (en) Method, apparatus and computer program product for input detection
CN107336243B (zh) 基于智能移动终端的机器人控制***及控制方法
EP3467707A1 (en) System and method for deep learning based hand gesture recognition in first person view
JP2022504704A (ja) ターゲット検出方法、モデル訓練方法、装置、機器及びコンピュータプログラム
CN110704661B (zh) 一种图像分类方法和装置
CN103745193B (zh) 一种肤色检测方法及装置
CN108491804B (zh) 一种棋局展示的方法、相关装置及***
CN110992989B (zh) 语音采集方法、装置及计算机可读存储介质
CN112751648B (zh) 丢包数据恢复方法和相关装置、设备及存储介质
CN108764051B (zh) 图像处理方法、装置及移动终端
CN112203115B (zh) 一种视频识别方法和相关装置
CN109145809A (zh) 一种记谱处理方法和装置以及计算机可读存储介质
US20210233529A1 (en) Imaging control method and apparatus, control device, and imaging device
WO2022073417A1 (zh) 融合场景感知机器翻译方法、存储介质及电子设备
CN103105924A (zh) 人机交互方法和装置
CN110009004A (zh) 图像数据处理方法、计算机设备和存储介质
CN110555337A (zh) 一种指示对象的检测方法、装置以及相关设备
CN113935349A (zh) 一种扫描二维码的方法、装置、电子设备及存储介质
CN112859136B (zh) 一种定位方法和相关装置
CN113478485A (zh) 机器人及其控制方法、装置、电子设备、存储介质
EP3068128A1 (en) Information processing device, information processing method, and information processing system
CN113934150A (zh) 一种控制智能家电的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination