CN114399896A - 一种根据遥控设备图像配置遥控功能数据的方法和*** - Google Patents

一种根据遥控设备图像配置遥控功能数据的方法和*** Download PDF

Info

Publication number
CN114399896A
CN114399896A CN202210126675.5A CN202210126675A CN114399896A CN 114399896 A CN114399896 A CN 114399896A CN 202210126675 A CN202210126675 A CN 202210126675A CN 114399896 A CN114399896 A CN 114399896A
Authority
CN
China
Prior art keywords
remote control
control function
function data
equipment
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210126675.5A
Other languages
English (en)
Other versions
CN114399896B (zh
Inventor
陈玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hansong Nanjing Technology Co ltd
Original Assignee
Hansong Nanjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hansong Nanjing Technology Co ltd filed Critical Hansong Nanjing Technology Co ltd
Priority to CN202210126675.5A priority Critical patent/CN114399896B/zh
Publication of CN114399896A publication Critical patent/CN114399896A/zh
Application granted granted Critical
Publication of CN114399896B publication Critical patent/CN114399896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本申请实施例公开了一种根据遥控设备图像配置遥控功能数据的方法。所述根据遥控设备图像配置遥控功能数据的方法包括：获取遥控设备的第一图像，并基于第一图像确定第一特征，第一特征包括遥控设备的按键布局特征；基于第一特征确定遥控设备对应的第一图数据，第一图数据中包括与遥控设备的多个按键对应的多个第一节点和表示遥控设备的按键之间关联关系的边；基于第一图数据，通过识别模型确定第一结果，第一结果包括遥控设备对应的遥控功能数据或无遥控设备对应的遥控功能数据。

Description

一种根据遥控设备图像配置遥控功能数据的方法和***
分案说明
本案是2020年9月25日提交的题为“一种根据遥控设备图像配置遥控功能数据的方法和***”、申请号为202011019103.4的中国专利申请的分案申请。
技术领域
本申请涉及计算机技术领域，特别涉及一种根据遥控设备图像配置遥控功能数据的方法和***。
背景技术
随着信息技术的发展，各种不同电子设备如电器、生产设备的遥控已经应用在各个领域。在实现多个电器、生产设备等电子设备的统一遥控控制，或者在电器、生产设备等电子设备的遥控设备不方便使用或遗失时，需要配置与各个电子设备的遥控设备对应的遥控功能数据。每个电子设备对应的品牌和/或型号不同，就对应不同的遥控功能数据，要对电子设备配置对应的遥控功能数据需要找到各个电子设备对应的品牌和/或型号，并根据遥控功能进行配置，效率较低且十分不便。
因此，亟需一种根据遥控设备图像配置遥控功能数据的方法和***。
发明内容
本说明书一个方面提供一种根据遥控设备图像配置遥控功能数据的方法。所述方法包括：获取遥控设备的第一图像，并基于所述第一图像确定第一特征，所述第一特征包括所述遥控设备的按键布局特征；基于所述第一特征确定所述遥控设备对应的第一图数据，所述第一图数据中包括与所述遥控设备的多个按键对应的多个第一节点和表示所述遥控设备的按键之间关联关系的边；基于所述第一图数据，通过识别模型确定第一结果，所述第一结果包括所述遥控设备对应的遥控功能数据或无所述遥控设备对应的所述遥控功能数据。
本说明书另一个方面提供一种根据遥控设备图像配置遥控功能数据的***。所述***包括：第一获取模块：用于获取遥控设备的第一图像，并基于所述第一图像确定第一特征，所述第一特征包括所述遥控设备的按键布局特征；基于所述第一特征确定所述遥控设备对应的第一图数据，所述第一图数据中包括与所述遥控设备的多个按键对应的多个第一节点和表示所述遥控设备的按键之间关联关系的边；第一识别模块：用于基于所述第一图数据，通过识别模型确定第一结果，所述第一结果包括所述遥控设备对应的遥控功能数据或无所述遥控设备对应的所述遥控功能数据。
本说明书另一个方面提供一种根据遥控设备图像配置遥控功能数据的装置，包括处理器，所述处理器用于执行根据遥控设备图像配置遥控功能数据的方法。
本说明书另一个方面提供计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行根据遥控设备图像配置遥控功能数据的方法。
本说明书带来的有益效果包括但不限于：(1)通过识别遥控设备的图像，根据按键特征布局确定对应的遥控功能数据，不需通过查找品牌/或型号后再进行配置，实现更加方便和准确地配置遥控功能数据，提升用户体验；(2)基于遥控设备的图像特征构建图数据，将遥控设备的按键特征和按键间布局信息体现得更加完善，通过图数据识别的方式，实现更加准确地预测；(3)在构建图数据时可以结合被控设备的特征，实现在无法根据遥控设备确定遥控功能数据，可以结合被控设备特征确定，预测更加准确；(4)可以直接通过被控设备的图像、或用户的语音输入、文本输入等得到被控设备的特征信息，实现更加方便地确定对应的遥控功能数据；(5)对确定的遥控功能数据添加标识并存储后，可以直接调用对应被控设备的遥控功能数据来实现控制，控制更加方便高效，提升了用户体验；(6)对确定的遥控功能数据进行测试，可以确保配置的遥控功能数据的准确性，避免错误配置；(7)在确定的遥控功能数据为无效时，基于重新确定的结果更新识别模型的参数，可以提高模型的识别准确率。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的根据遥控设备图像配置遥控功能数据的***的应用场景示意图；
图2是根据本说明书的一些实施例所示的示例性根据遥控设备图像配置遥控功能数据的***的模块图；
图3是根据本说明书一些实施例所示的根据遥控设备图像配置遥控功能数据的方法的示例性流程图；
图4是根据本说明书一些实施例所示的识别模型训练的方法的示例性流程图；
图5是根据本说明书一些实施例所示的另一种根据遥控设备图像配置遥控功能数据的方法的示例性流程图；
图6是根据本说明书一些实施例所示的另一种识别模型训练的方法的示例性流程图；
图7是根据本说明书一些实施例所示的基于第一图数据和第二特征确定第二图数据的示例图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本说明书中所使用的“***”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的***所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1是根据本说明书的一些实施例所示的根据遥控设备图像配置遥控功能数据的***的应用场景示意图。
根据遥控设备图像配置遥控功能数据的***的场景100可以包括终端设备110、处理器120和网络130。
根据遥控设备图像配置遥控功能数据的***的场景100可以用于智能家居中对各个电器的遥控数据配置、工厂中对各个电子设备的遥控数据配置等。在实现多个电器等电子设备的统一控制，或者对电器或电子设备的遥控设备不方便使用或遗失时，需要配置与各个电子设备的遥控设备对应的遥控功能数据。可以通过终端设备110获取遥控设备的图像，然后处理器120可以识别遥控设备的图像，获取遥控设备的相关特征，例如按键布局特征，根据按键布局特征通过识别模型确定对应的遥控功能数据，可以令配置遥控功能数据更加方便。处理器120和终端设备110之间可以通过网络130来进行数据传输。
终端设备110指可以被用户所使用的一个或多个终端设备或软件。在一些实施例中，使用终端设备110的可以是一个或多个用户，可以包括直接使用服务的用户，也可以包括其他相关用户。在一些实施例中，终端设备110可以是移动设备110-1、平板计算机110-2、膝上型计算机110-3等其他具有获取图像、输入和/或输出功能的设备中的一种或其任意组合。
处理器120可以处理从其他设备或***组成部分中获得的数据和/或信息。处理器可以基于这些数据、信息和/或处理结果执行程序指令，以执行一个或多个本申请中描述的功能。在一些实施例中，处理器120可以包含一个或多个子处理设备(例如，单核处理设备或多核多芯处理设备)。仅作为示例，处理器110可以包括中央处理器(CPU)、专用集成电路(ASIC)、专用指令处理器(ASIP)、图形处理器(GPU)、物理处理器(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编辑逻辑电路(PLD)、控制器、微控制器单元、精简指令集电脑(RISC)、微处理器等或以上任意组合。在一些实施例中，处理器120以及其他可能的***组成部分中可以包括存储设备。
网络130可以连接***的各组成部分和/或连接***与外部资源部分。网络130使得各组成部分之间，以及与***之外其他部分之间可以进行通讯，促进数据和/或信息的交换。在一些实施例中，网络130可以是有线网络或无线网络中的任意一种或多种。例如，网络130可以包括电缆网络、光纤网络、电信网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络(ZigBee)、近场通信(NFC)、设备内总线、设备内线路、线缆连接等或其任意组合。各部分之间的网络连接可以是采用上述一种方式，也可以是采取多种方式。在一些实施例中，网络可以是点对点的、共享的、中心式的等各种拓扑结构或者多种拓扑结构的组合。在一些实施例中，网络130可以包括一个或以上网络接入点。例如，网络130可以包括有线或无线网络接入点，例如基站和/或网络交换点网络130-1、网络130-2、…，通过这些进出点，场景100的一个或多个组件可连接到网络130上以交换数据和/或信息。
图2是根据本说明书的一些实施例所示的示例性根据遥控设备图像配置遥控功能数据的***的模块图。
在一些实施例中，根据遥控设备图像配置遥控功能数据的***200可以包括第一获取模块210、第一识别模块220、第一确定模块230、第二确定模块240、存储模块250、识别模型训练模块260、测试模块270、语音确定模块280。
第一获取模块210可以用于获取遥控设备的第一图像，并基于所述第一图像确定第一特征，所述第一特征包括所述遥控设备的按键布局特征；基于所述第一特征确定所述遥控设备对应的第一图数据，所述第一图数据包括与多个按键对应的多个第一节点、以及至少一个虚拟边；每个所述虚拟边连接所述多个第一节点中的两个，所述第一节点的第一节点属性基于对应的所述按键的属性确定，所述虚拟边的边属性基于所述虚拟边连接的所述第一节点对应的所述按键的位置信息确定。
第一识别模块220可以用于基于所述第一图数据，通过训练好的识别模型确定第一结果，所述第一结果包括得到所述遥控设备对应的遥控功能数据或无所述遥控设备对应的所述遥控功能数据。所述识别模型可以包括图神经网络模型。所述遥控功能数据包括至少一组遥控码，智能设备根据所述至少一组遥控码实现对与所述遥控设备匹配的被控设备的控制。
第一确定模块230可以用于若第一结果为得到所述遥控设备对应的遥控功能数据，则基于第一结果确定所述遥控设备对应的所述遥控功能数据。
第二确定模块240可以用于若所述第一结果为无所述遥控设备对应的所述遥控功能数据，则：获取与所述遥控设备匹配的被控设备的第二特征，基于所述第二特征和所述第一图数据确定第二图数据，基于所述第二图数据，通过所述训练好的识别模型，得到所述遥控设备对应的所述遥控功能数据。在一些实施例中，第二确定模块240还可以用于：确定第二节点，所述第二节点的第二节点属性基于所述第二特征确定；根据所述第二节点和所述第一图数据确定所述第二图数据。在一些实施例中，第二确定模块240还可以用于：获取与所述遥控设备匹配的被控设备的第二图像；将所述第二图像输入特征生成模型，得到所述第二图像对应的所述第二特征。在一些实施例中，第二确定模块240还可以用于：获取用户输入的音频信息和/或文本信息，所述音频信息和所述文本信息包括所述被控设备的设备信息；根据所述音频信息和/或所述文本信息得到所述被控设备的所述第二特征。
存储模块250可以用于对所述遥控设备对应的所述遥控功能数据添加标识并存储，所述标识与所述遥控设备匹配的被控设备相关，得到包括至少一个所述遥控设备对应的所述遥控功能数据的遥控功能数据库；所述智能设备在所述遥控功能数据库中查找与目标被控设备相关的标识，并调用所述目标被控设备相关的标识对应的所述遥控功能数据，实现对所述目标被控设备的控制。
识别模型训练模块260可以用于获取至少一个所述遥控设备对应的至少一个第一图数据样本，以及所述至少一个第一图数据样本对应的第一标签，所述第一标签包括所述第一图数据样本对应的所述遥控功能数据或所述第一图数据样本无对应的所述遥控功能数据；获取至少一个与所述遥控设备匹配的被控设备对应的至少一个第二特征样本，基于所述至少一个第二特征样本和所述至少一个第一图数据样本得到至少一个第二图数据样本，以及获取所述至少一个第二图数据样本对应的第二标签，所述第二标签包括所述第二图数据样本对应的所述遥控功能数据；以带有所述第一标签的所述至少一个第一图数据样本和带有所述第二标签的所述至少一个第二图数据样本作为训练样本，对初始识别模型进行训练，得到所述训练好的识别模型。
测试模块270可以用于采用所述遥控功能数据对与对应的所述遥控设备匹配的所述被控设备进行测试；若测试成功，则所述遥控功能数据有效；若测试失败，则获取所述被控设备对应的品牌列表和/或型号列表，基于所述品牌列表和/或所述型号列表选择所述遥控设备匹配的被控设备的品牌和/或型号；基于选择的所述品牌和/或所述型号和所述第一特征，重新确定所述遥控设备对应的所述遥控功能数据。在一些实施例中，测试模型270还可以用于：根据测试失败对应的所述遥控功能数据与重新确定的所述遥控设备对应的所述遥控功能数据之间的差异构建损失函数，基于所述损失函数更新所述识别模型的参数。
语音确定模块280可以用于基于所述遥控设备对应的所述遥控功能数据的所述至少一组遥控码，确定所述遥控设备对应的语音控制数据；所述智能设备根据所述语音控制数据，实现对与所述遥控设备匹配的被控设备的语音控制。
应当理解，所示的***及其模块可以利用各种方式来实现。例如，在一些实施例中，***及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和***可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的***及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
需要注意的是，以上对于根据遥控设备图像配置遥控功能数据的***200及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该***的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子***与其他模块连接。例如，第一获取模块210、第一识别模块220、第一确定模块230、第二确定模块240、存储模块250、识别模型训练模块260、测试模块270、语音确定模块280可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本申请的保护范围之内。
图3是根据本说明书的一些实施例所示的根据遥控设备图像配置遥控功能数据的方法的示例性流程图。
如图3所示，该根据遥控设备图像配置遥控功能数据的方法300可以包括：
步骤310，获取遥控设备的第一图像，并基于所述第一图像确定第一特征，所述第一特征包括所述遥控设备的按键布局特征。
具体的，该步骤310可以由第一获取模块210执行。
遥控设备是指用于遥控电子设备的设备，例如遥控器、手机、计算机等可以实现遥控的终端设备。
包含遥控设备相关图像的图像可以称为第一图像。第一图像至少包括含有遥控设备按键布局的图像，还可以包括遥控设备的标识图像、表现出遥控设备形状、尺寸等外形的整体图像、遥控设备的应用环境图像等其它遥控设备的相关图像。第一图像可以是2D图像、3D图像或其它多维的图像，本实施例不做限制。
在一些实施例中，获取遥控设备的图像可以通过扫描、拍照、摄影等方式，本实施例不做限制。
遥控功能数据是指用于实现遥控电子设备的控制数据，可以包括遥控码、控制数据包等。遥控功能数据可以用于遥控设备或其它智能设备实现对电子设备的遥控，遥控的方式可以是红外遥控、无线电信号遥控、语音遥控等，本实施例不做限制。
遥控设备遥控的电子设备可以称为被控设备，遥控设备会有匹配的被控设备，遥控设备对应的遥控功能数据可以用于遥控与其匹配的被控设备。
在一些实施例中，遥控功能数据至少包括一组遥控码，例如，调高、调低、开启和关闭等功能对应的一组按键所对应的一组遥控码。遥控设备和其它智能设备(手机、计算机等可以实现遥控的智能设备)可以根据至少一组遥控码实现对与所述遥控设备匹配的被控设备的控制。
在一些实施例中，还可以基于遥控设备对应的至少一组遥控码，确定遥控设备对应的语音控制数据。例如可以通过计算机或者数据转换装置将遥控码转换为对应的语音控制数据。遥控设备或其它智能设备可以根据语音控制数据，实现对与遥控设备匹配的被控设备的语音控制。
在一些实施例中，不同品牌和/或型号的电子设备对应的遥控功能数据可以是不同的，例如，品牌A和品牌B的电子设备对应的遥控功能数据分别是a类型或b类型。不同按键功能对应的遥控功能数据可以是不同的，例如调高按键和调低按键对应的遥控功能数据不同。
在一些实施例中，得到遥控设备的第一图像后，可以将第一图像用于确定遥控设备对应的遥控功能数据。例如不同的按键布局对应为不同的品牌、型号和按键功能，即对应为不同的遥控功能数据，根据第一图像中包括的含有遥控设备按键布局的图像，可以去确定与第一图像对应的遥控功能数据，也就是第一图像所对应遥控设备的遥控功能数据。
在一些实施例中，可以基于第一图像确定第一特征。第一特征是指第一图像包含的相关图像特征，第一特征至少包括遥控设备的按键布局特征，还可以包括遥控设备的标识特征、遥控设备的形状、尺寸等外形特征、应用环境特征等与遥控设备相关的其它图像特征。
在一些实施例中，可以采用对图像进行图像识别得到相应的第一特征，也可以通过将第一图像输入特征生成模型，得到第一图像对应的第一特征。特征生成模型的输入是图像，输出是图像对应的特征向量。具体地，将第一图像输入特征生成模型，输出第一图像对应的特征向量，该特征向量可以作为被控设备对应的第一特征。在一些实施例中，特征生成模型可以采用神经网络模型，例如CNN或VGG等常用的卷积神经网络模型。以VGG为例，将第一图像输入VGG中，通过卷积层、池化层、全连接层，可以输出得到第一图像对应的特征向量。
第一特征可以用于确定遥控设备对应的遥控功能数据。例如，可以直接基于第一特征确定对应遥控设备的遥控功能数据，还可以基于第一特征去确定对应遥控设备的品牌和/或型号，以及按键功能，并基于品牌和/或型号，以及按键功能确定对应的遥控功能数据。具体地，可以建立包括第一特征、和/或第一特征对应的品牌、型号、按键功能，以及对应的遥控功能数据的数据库，通过查找数据库，实现基于第一特征确定遥控设备对应的遥控功能数据。还可以通过训练神经网络模型，得到可以输入第一特征，输出得到对应遥控设备的遥控功能数据的识别模型来实现。其中，识别模型可以采用逻辑回归模型、分类和回归树、支持向量机、分类和回归树、随机森林或其它用于分类的神经网络模型，本实施例不做限制。
步骤320，基于所述第一特征确定所述遥控设备对应的第一图数据，所述第一图数据包括与多个按键对应的多个第一节点以及至少一个虚拟边；每个所述虚拟边连接所述多个第一节点中的两个，所述第一节点的第一节点属性基于对应的所述按键的属性确定，所述虚拟边的边属性基于所述虚拟边连接的所述第一节点对应的所述按键的位置信息确定。
具体的，该步骤320可以由第一获取模块210执行。
在一些实施例中，可以基于第一特征去确定遥控设备对应的第一图数据。图数据是指使用图形结构的数据，包含了节点、边和属性来表示和存储数据。根据第一特征确定的图数据，可以称为第一图数据，如图7中所示。
第一节点是指第一图数据中表示按键及按键相关信息的节点，每一个按键对应有一个第一节点，第一节点的属性可以基于对应的按键的属性确定。如图7中700所示，第一图数据中包括有第一节点U1、U2、U3、U4、U5。按键的属性是指按键的相关信息，例如按键的功能、按键的位置、按键的形状、按键的尺寸等。第一特征中，遥控设备的按键可以包括多个，所以对应第一图数据中可以包括与对各按键对应的多个第一节点。
虚拟边是指图数据中连接节点的边。每一个虚拟边连接多个第一节点中的两个，对应的第一图数据中可以包括至少一个虚拟边。虚拟边的属性可以基于连接的两个第一节点之间的关联关系信息确定。连接的两个第一节点之间的关系信息可以包括连接的两个第一节点对应的按键的位置信息，还可以包括连接的两个第一节点对应的按键之间的功能关联关系、形状关联关系等。在一些实施例中，虚拟边的边属性可以基于按键的连接的两个第一节点对应的按键的位置信息确定，例如虚拟边A连接的两个第一节点对应按键a和按键b，虚拟边A的边属性可以包括按键a的位置(xa，ya)、按键b的位置(xb，yb)、按键a与按键b的直线距离、按键a与按键b连线在坐标系中的方向情况等。
通过构建的第一图数据，可以更加优秀和完善地表征遥控设备的按键布局情况，例如按键间的相对位置情况，多个按键之间的分布情况等。有助于在确定遥控设备对应的遥控功能数据时更好地考虑按键布局的情况，得到更加准确的结果。
步骤330，基于所述第一图数据，通过训练好的识别模型确定第一结果，所述第一结果包括得到所述遥控设备对应的遥控功能数据或无所述遥控设备对应的所述遥控功能数据。
具体的，该步骤330可以由第一识别模块220执行。
在一些实施例中，可以基于第一图数据去确定遥控设备对应的遥控功能数据。具体地，可以通过训练好的识别模型来确定，识别模型的输入可以为第一图数据，根据识别模型的输出，可以确定遥控设备对应的遥控功能数据。
在一些实施例中，识别模型输出的结果可以称为第一结果，第一结果可以包括得到所述遥控设备对应的遥控功能数据或无所述遥控设备对应的所述遥控功能数据。例如，遥控设备1是一个品牌为A，分布有调高、调低、开启和关闭对应的按键，将遥控设备1对应的第一图数据输入识别模型，可以得到遥控设备对应的遥控功能数据为包括调高、调低、开启和关闭功能的a类型遥控功能数据。再例如，遥控设备2是一个通用遥控器，它没有对应的品牌或者它的品牌没有对应的遥控功能数据，将遥控设备2对应的第一图数据输入识别模型，可以得到无所述遥控设备对应的所述遥控功能数据。
在一些实施例中，识别模型可以包括图神经网络模型，例如GNN、R-GCN等常见的图神经网络模型。以R-GCN为例，将前述遥控设备1对应的第一图数据输入R-GCN，R-GCN模型中，第一图数据通过R-GCN的卷积，可以得到第一图数据的向量表示，最后使用softmax激活函数，得到第一图数据对应的预测类别。
在一些实施例中，根据得到所述遥控设备对应的遥控功能数据或无所述遥控设备对应的所述遥控功能数据，可以选择执行步骤332或步骤334。
步骤332，若第一结果为得到所述遥控设备对应的遥控功能数据，则基于第一结果确定所述遥控设备对应的所述遥控功能数据。
具体的，该步骤332可以由第一确定模块230执行。
第一结果为得到遥控设备对应的遥控功能数据时，第一结果中也就包含了确定的遥控功能数据。基于第一结果确定遥控设备对应的遥控功能数据，就可以将第一结果中确定的遥控功能数据作为遥控设备对应的遥控功能数据。
步骤334，若所述第一结果为无所述遥控设备对应的所述遥控功能数据，则：获取与所述遥控设备匹配的被控设备的第二特征，基于所述第二特征和所述第一图数据确定第二图数据，基于所述第二图数据，通过所述训练好的识别模型，得到所述遥控设备对应的所述遥控功能数据。
具体的，该步骤334可以由第二确定模块240执行。
第一结果为无遥控设备对应的遥控功能数据时，可以再结合遥控设备匹配的被控设备的相关信息去确定对应的遥控功能数据。例如，遥控设备为通用遥控设备，无对应品牌/型号的相应遥控功能数据，识别模型输出为无遥控设备对应的遥控功能数据，可以基于匹配的被控设备的品牌、型号等相关信息和第一特征，去确定对应的遥控功能数据，也可以基于匹配的被控设备的品牌、型号等相关信息和第一图数据，去确定对应的遥控功能数据。
在一些实施例中，可以获取遥控设备匹配的被控设备的第二特征，第二特征是指被控设备的相关信息特征，第二特征可以包括被控设备的品牌特征、型号特征、标识特征、外形特征等与识别被控设备的品牌和/或型号有关的特征。
在一些实施例中，获取到第二特征后，可以基于第二特征和第一特征去确定对应的遥控功能数据。例如，可以建立包括第二特征、和/或第二特征对应的被控设备的品牌和/或型号，以及对应的遥控功能数据类型的数据库，通过查找数据库，实现基于第二特征确定对应的遥控功能数据类型，例如是a类型遥控功能数据或b类型遥控功能数据。基于确定的遥控功能数据类型和第一特征，可以确定遥控设备对应的遥控功能数据。还可以通过训练神经网络模型，得到可以输入遥控设备对应的第一特征和匹配的被控设备对应的第二特征，输出得到遥控设备的遥控功能数据的识别模型来实现。其中，识别模型可以采用逻辑回归模型、分类和回归树、支持向量机、分类和回归树、随机森林或其它用于分类的神经网络模型，本实施例不做限制。
在一些实施例中，可以基于第二特征和第一图数据确定第二图数据。第二图数据是指可以表征第一图数据和第二特征信息的图数据。可以基于第二图数据去确定遥控设备对应的遥控功能数据。具体地，可以通过训练好的识别模型来确定，识别模型的输入可以为第二图数据，输出得到遥控设备对应的遥控功能数据。例如，遥控设备2是一个通用遥控器，分布有定时、开启和关闭对应的按键，它没有对应的品牌或者它的品牌没有对应的遥控功能数据，对应的被控设备品牌为A，基于遥控设备2对应的第二特征和对应的第一图数据，确定对应的第二图数据，将第二图数据输入识别模型，输出得到遥控设备对应的所述遥控功能数据为包括定时、开启和关闭功能的a类型遥控功能数据。
在一些实施例中，识别模型可以包括图神经网络模型，例如GNN、R-GCN等常见的图神经网络模型。具体地，关于识别模型可以包括图神经网络模型的更多内容可以参见步骤330的相关描述，此处不再赘述。
在一些实施例中，基于第二特征和第一图数据确定第二图数据可以通过如下方法：确定第二节点，第二节点的第二节点属性基于第二特征确定，根据第二节点和第一图数据确定第二图数据。
第二节点是指图数据中用于表征被控设备的相关信息的节点，一个被控设备可以对应至少一个第二节点。如图7中700所示，第二图数据中包括有第二节点I1。第二节点的属性可以包括被控设备的相关信息，可以基于第二特征确定。例如，第二节点的属性可以包括被控设备的品牌特征、型号特征、标识特征、外形特征等与识别被控设备的品牌和/或型号有关的特征。
在一些实施例中，根据第二节点和第一图数据确定第二图数据，可以通过在第一图数据中增加第二节点的方式确定得到第二图数据，也可以通过基于第一图数据的第一节点和虚拟边相关信息，再结合第二节点，重新确定得到第二图数据的方式。
在一些实施例中，获取第二特征可以通过从图像信息、文本信息、语音信息、视频信息以及包含被控设备的相关信息的二进制数据等其它可用数据中获取的方式。
在一些实施例中，获取第二特征可以通过获取与遥控设备匹配的被控设备的第二图像，将第二图像输入特征生成模型，得到第二图像对应的第二特征。
包含被控设备相关图像的图像可以称为第二图像。第二图像可以包括被控设备的标识图像、表现出遥控设备形状、尺寸等外形的整体图像等可以体现被控设备品牌和/或型号的图像，以及还可以包括被控设备的应用环境图像等其它被控设备的相关图像。第二图像可以是2D图像、3D图像或其它多维的图像，本实施例不做限制。
在一些实施例中，获取遥控设备的图像可以通过扫描、拍照、摄影等方式，本实施例不做限制。
特征生成模型的输入是图像，输出是图像对应的特征向量。具体地，将第二图像输入特征生成模型，输出第二图像对应的特征向量，该特征向量可以作为被控设备对应的第二特征。在一些实施例中，特征生成模型可以采用神经网络模型，例如CNN或VGG等常用的卷积神经网络模型。以VGG为例，将第二图像输入VGG中，通过卷积层、池化层、全连接层，可以输出得到第二图像对应的特征向量。
在一些实施例中，获取第二特征可以通过获取用户输入的音频信息和/或文本信息，音频信息和所述文本信息包括被控设备的设备信息，根据音频信息和/或文本信息可以得到被控设备的第二特征。例如，用户可以语音输入或文字输入被控设备的设备信息，可以包括品牌特征、型号特征、标识特征、外形特征等被控设备相关信息，对语音进行音频信息读取或对文字内容进行文本信息读取，可以得到被控设备的第二特征。
在一些实施例中，在得到遥控设备对应的遥控功能数据后，可以对各个遥控设备对应的遥控功能数据进行存储，以便于遥控设备和其它智能设备在实现对各个被控设备的控制时，调用对应的遥控功能数据。在一些实施例中，可以通过以下步骤340和步骤342的方法实现。在一些实施例中，步骤340和步骤342的方法可以通过存储模块250执行。
步骤340、对所述遥控设备对应的所述遥控功能数据添加标识并存储，所述标识与所述遥控设备匹配的被控设备相关，得到包括至少一个所述遥控设备对应的所述遥控功能数据的遥控功能数据库。
在一些实施例中，在得到遥控设备对应的遥控功能数据后，可以对各个遥控设备对应的遥控功能数据添加标识并存储。具体地，可以存储在遥控设备和其它智能设备的内存中，或服务器中，或云平台等其它存储空间中，本实施例不做限制。
标识是指用于标注各个遥控功能数据的标签或数据。标识可以基于遥控设备匹配的被控设备的相关设备信息确定。例如，被控设备为空调，则其匹配的遥控设备的遥控功能数据的标识可以为空调，如果空调在卧室，则其匹配的遥控设备的遥控功能数据的标识可以是卧室空调。
通过对各个遥控设备对应的遥控功能数据添加标识并存储，可以得到一个对应的遥控功能数据库。
步骤342、所述智能设备在所述遥控功能数据库中查找与目标被控设备相关的标识，并调用所述目标被控设备相关的标识对应的所述遥控功能数据，实现对所述目标被控设备的控制。
在一些实施例中，遥控设备和其它智能设备在实现对各个被控设备的控制时，可以通过遥控功能数据库去调用对应的遥控功能数据，来进行控制被控设备。具体地，可以通过在遥控功能数据库中查找与目标被控设备的标识，调用该标识对应的遥控功能数据来实现。目标被控设备是指需要被控制的被控设备。例如，在遥控功能数据库中存储有标识为卧室空调的遥控功能数据、标识为客厅音响的遥控功能数据、标识为冰箱的遥控功能数据，目标被控设备是卧室空调，则在遥控功能数据库中查找卧室空调的标识，并调用对应的遥控功能数据实现对卧室空调的控制。
在一些实施例中，得到遥控设备对应的遥控功能数据后，还可以采用遥控功能数据对匹配的被控设备进行测试，以验证遥控功能数据的正确与否。在一些实施例中，可以通过步骤344、步骤346和步骤348的方法实现。在一些实施例中，步骤344、步骤346和步骤348的方法可以由测试模块270执行。
步骤344、采用所述遥控功能数据对与对应的所述遥控设备匹配的被控设备进行测试。
测试是指对被控设备进行控制测验。具体地，采用遥控功能数据对遥控设备匹配的被控设备进行测验，是指遥控设备或其它智能设备调用遥控功能数据，可以通过红外、无线、语音等控制方式对匹配的被控设备进行控制，测试遥控功能数据对被控设备是否正确反应，未正确反应则测试失败，正确反应则测试成功。例如，调用遥控功能数据控制空调开启，若空调未开启，则未正确反应，测试失败，若空调开启，则正确反应，测试成功。
步骤346、若测试成功，则所述遥控功能数据有效。
在一些实施例中，当测试成功时，可以将对应的遥控功能数据认为是有效的数据。即，使用该遥控功能数据可以实现对匹配的被控设备的有效控制。
步骤348、若测试失败，则获取所述被控设备对应的品牌列表和/或型号列表，基于所述品牌列表和/或所述型号列表选择所述遥控设备匹配的被控设备的品牌和/或型号；基于选择的所述品牌和/或所述型号和所述第一特征，重新确定所述遥控设备对应的所述遥控功能数据。
在一些实施例中，当测试失败时，原确定的遥控功能数据即是错误的，可以重新确定遥控设备对应的遥控功能数据。
品牌列表和/或型号列表中包含了各个被控设备对应的品牌和/或型号。获取品牌列表和/或型号列表可以通过从保存有品牌列表和/或型号列表的数据库中获取，或输入各个被控设备的相关信息等方式来得到，本实施例对此不做限制。
从品牌列表和/或型号列表中选择对应的品牌和/或型号可以是用户或者智能机器人等智能设备来实现，本实施例对此不做限制。
选择的得到被控设备的品牌和/或型号后，可以基于品牌和/或型号，以及第一特征来重新确定遥控设备对应的遥控功能数据。例如，可以建立包括被控设备的品牌和/或型号，以及对应的遥控功能数据类型的数据库，通过查找数据库，实现基于被控设备的品牌和/或型号确定对应的遥控功能数据类型，例如是a类型遥控功能数据或b类型遥控功能数据。基于确定的遥控功能数据类型和第一特征，可以确定遥控设备对应的遥控功能数据。还可以通过训练神经网络模型，得到可以输入遥控设备对应的第一特征和匹配的被控设备对应的品牌和/或型号特征，输出得到遥控设备的遥控功能数据的识别模型来实现。其中，识别模型可以采用逻辑回归模型、分类和回归树、支持向量机、分类和回归树、随机森林或其它用于分类的神经网络模型，本实施例不做限制。
在一些实施例中，可以根据重新确定的遥控设备对应的遥控功能数据，对原识别模型进行优化，提高识别模型预测的准确性。在一些实施例中，可以通过步骤352中的方法实现。
步骤352、根据测试失败对应的所述遥控功能数据与重新确定的所述遥控设备对应的所述遥控功能数据之间的差异构建损失函数，基于所述损失函数更新所述识别模型的参数。
在一些实施例中，步骤352可以通过测试模块270执行。
在一些实施例中，基于测试失败对应的遥控功能数据与重新确定的遥控设备对应的遥控功能数据之间的差异构建损失函数，基于该损失函数去更新识别模型的参数。可以是，对识别模型继续进行训练，并以测试失败对应的遥控功能数据与重新确定的遥控设备对应的遥控功能数据之间的差异为损失函数，以最小化损失函数为目标，更新识别模型的参数。
步骤340-352在图3中未示出。
图4是根据本说明书的一些实施例所示的识别模型训练的方法的示例性流程图。
如图4所示，该方法400可以包括：
步骤410，获取至少一个所述遥控设备对应的至少一个第一图数据样本，以及所述至少一个第一图数据样本对应的第一标签，所述第一标签包括所述第一图数据样本对应的所述遥控功能数据或所述第一图数据样本无对应的所述遥控功能数据。
具体的，该步骤410可以由识别模型训练模块260执行。
第一图数据样本是指第一图数据对应的样本数据，可以基于遥控设备样本获取得到，或者从遥控设备对应的图数据库中获取得到。至少一个第一图数据样本可以包括至少一个遥控设备样本的第一图数据样本，每一个遥控设备样本可以对应有至少一个第一图数据样本。
标签是指对样本数据的标注。在一些实施例中，标签的获取可以通过人为地对样本数据进行标记得到，也可以通过其他方式获取，例如基于已知标识结果的历史样本数据，本实施例对此不做限制。
第一图数据样本的标注可以称为第一标签。第一标签可以是第一图数据样本对应的遥控功能数据，或者是第一图数据样本无对应的所述遥控功能数据。例如，对于遥控设备样本为遥控设备1，其品牌为A，分布有调高、调低、开启和关闭对应的按键，遥控设备1对应的第一图数据样本的第一标签为包括调高、调低、开启和关闭功能的a类型遥控功能数据。再例如，对于遥控设备样本为遥控设备2，其是一个通用遥控器，它没有对应的品牌或者它的品牌没有对应的遥控功能数据，遥控设备2对应的第一图数据样本的第一标签为无所述遥控设备对应的所述遥控功能数据。
步骤420，获取至少一个与所述遥控设备匹配的被控设备对应的至少一个第二特征样本，基于所述至少一个第二特征样本和所述至少一个第一图数据样本得到至少一个第二图数据样本，以及获取所述至少一个第二图数据样本对应的第二标签，所述第二标签包括所述第二图数据样本对应的所述遥控功能数据。
具体的，该步骤420可以由识别模型训练模块260执行。
第二特征样本是指第二特征对应的样本数据，可以基于被控设备样本获取或者从被控设备对应的特征数据库中获取得到。至少一个第二特征样本可以包括至少一个被控设备样本的第二特征样本，每一个被控设备样本可以对应有至少一个第二特征样本。
第二图数据样本是指第二图数据对应的样本数据，可以基于第二特征样本和第一图数据样本得到。至少一个第二特征样本和至少一个第一图数据样本，可以对应得到至少一个第二图数据样本。
第二图数据样本的标注可以称为第二标签。第二标签可以是第二图数据样本对应的遥控功能数据。例如，遥控设备2是一个通用遥控器，分布有定时、开启和关闭对应的按键，它没有对应的品牌或者它的品牌没有对应的遥控功能数据，对应的被控设备品牌为A，基于遥控设备2对应的第二特征样本和对应的第一图数据样本，确定的第二图数据样本的标签为包括定时、开启和关闭功能的a类型遥控功能数据。
步骤430，以带有所述第一标签的所述至少一个第一图数据样本和带有所述第二标签的所述至少一个第二图数据样本作为训练样本，对初始识别模型进行训练，得到所述训练好的识别模型。
具体的，该步骤430可以由识别模型训练模块260执行。
初始识别模型是指未经训练的原始识别模型，初始识别模型的模型参数还处于初始化的状态。初始识别模型训练好后，即为识别模型。
识别模型可以包括图神经网络模型，关于识别模型的更多内容可以参见图3中步骤330的相关描述，此处不再赘述。
以带有第一标签的至少一个第一图数据样本和带有第二标签的至少一个第二图数据样本作为训练样本，对初始识别模型进行训练，是指分别将带有第一标签的至少一个第一图数据样本和带有第二标签的至少一个第二图数据样本作为训练样本输入初始识别模型中，对初始识别模型进行训练更新模型参数。
在一些实施例中，识别模型可以基于训练样本，通过常用的方法进行训练，更新模型参数。例如，可以基于梯度下降法进行训练。在一些实施例中，当训练得到的识别模型满足预设条件时，训练结束。其中，预设条件可以是损失函数结果收敛或小于预设阈值等。
图5是根据本说明书的一些实施例所示的另一种根据遥控设备图像配置遥控功能数据的方法的示例性流程图。
如图5所示，该方法500可以包括：
步骤510，获取遥控设备的第一图像，并基于所述第一图像确定第一特征，所述第一特征包括所述遥控设备的按键布局特征。
具体的，该步骤510可以由第二获取模块执行。
关于遥控功能数据、遥控设备、遥控设备的第一图像、第一特征、遥控设备的按键布局特征以及相应的获取和确定方法可以参见图3步骤310中的相关描述，此处不再赘述。
步骤520，基于所述第一特征，通过训练好的识别模型确定所述遥控设备对应的遥控功能数据。
具体的，该步骤520可以由第二识别模块执行。
确定得到第一特征后，可以基于第一特征确定遥控设备对应的遥控功能数据。在一些实施例中，可以通过训练好的识别模型来基于第一特征确定遥控设备对应的遥控功能数据。关于基于第一特征，通过识别模型来确定遥控设备对应的遥控功能数据的更多具体内容可以参见图3步骤310中的相关描述，此处不再赘述。
步骤530，基于所述遥控功能数据确定与所述遥控设备匹配的被控设备。
具体的，该步骤530可以由第三确定模块执行。
在一些实施例中，当对多个被控设备如冰箱、电视、空调等电器的遥控设备统一进行识别确定对应的遥控功能数据时，并不知道哪个遥控设备对应哪个被控设备。确定得到遥控设备对应的遥控功能数据后，可以基于该遥控功能数据确定与遥控设备匹配的被控设备。
在一些实施例中，基于遥控功能数据确定与遥控设备匹配的被控设备可以通过建立包括遥控功能数据类型、以及与其对应的被控设备信息的数据库来实现。基于确定的遥控功能数据可以知道对应的遥控功能数据类型，通过查找数据库，可以确定于遥控功能数据对应的被控设备信息，即可以确定与遥控设备匹配的被控设备。
在一些实施例中，基于遥控功能数据确定与遥控设备匹配的被控设备可以通过训练一个被控设备识别模型来实现。被控设备识别模型的输入为遥控功能数据，输出为对应的被控设备。被控设备识别模型可以采用逻辑回归模型、分类和回归树、支持向量机、分类和回归树、随机森林或其它用于分类的神经网络模型，本实施例不做限制。
图6是根据本说明书的一些实施例所示的另一种识别模型训练的方法的示例性流程图。
如图6所示，该方法600可以包括：
步骤610，获取至少一个所述遥控设备对应的至少一个第一特征样本，以及所述至少一个第一特征样本对应的样本标签，所述样本标签包括所述第一特征样本对应的所述遥控功能数据。
具体的，该步骤610可以由第二识别模型训练模块执行。
第一特征样本是指第一特征对应的样本数据，可以基于遥控设备样本获取得到，或者从遥控设备对应的第一特征库中获取得到。至少一个第一特征样本可以包括至少一个遥控设备样本的第一特征样本，每一个遥控设备样本可以对应有至少一个第一特征样本。
第一特征样本的标注可以称为样本标签。样本标签可以是第一特征样本对应的遥控功能数据。例如，对于遥控设备样本为遥控设备1，其品牌为A，分布有调高、调低、开启和关闭对应的按键，遥控设备1对应的第一特征样本的样本标签为包括调高、调低、开启和关闭功能的a类型遥控功能数据。
步骤620，以带有所述样本标签的所述至少一个第一特征样本对初始识别模型进行训练，得到所述训练好的识别模型。
具体的，该步骤620可以由第二识别模型训练模块执行。
初始识别模型是指未经训练的原始识别模型，初始识别模型的模型参数还处于初始化的状态。初始识别模型训练好后，即为识别模型。
以带有样本标签的至少一个第一特征样本作为训练样本，对初始识别模型进行训练，是指分别将带有样本标签的至少一个第一特征样本输入初始识别模型中，对初始识别模型进行训练更新模型参数。
在一些实施例中，初始识别模型可以基于训练样本，通过常用的方法进行训练，更新模型参数。例如，可以基于梯度下降法进行训练。在一些实施例中，当训练得到的识别模型满足预设条件时，训练结束。其中，预设条件可以是损失函数结果收敛或小于预设阈值等。
本说明书实施例还提供一种装置，包括处理器，所述处理器用于执行前述的根据遥控设备图像配置遥控功能数据的方法。所述的方法可以包括：获取遥控设备的第一图像，并基于所述第一图像中确定第一特征，所述第一特征包括所述遥控设备的按键布局特征；基于所述第一特征确定所述遥控设备对应的第一图数据，所述第一图数据包括与多个按键对应的多个第一节点、以及至少一个虚拟边；每个所述虚拟边连接所述多个第一节点中的两个，所述第一节点的第一节点属性基于对应的所述按键的属性确定，所述虚拟边的边属性基于所述虚拟边连接的所述第一节点对应的所述按键的位置信息确定；基于所述第一图数据，通过训练好的识别模型确定第一结果，所述第一结果包括得到所述遥控设备对应的遥控功能数据或无所述遥控设备对应的所述遥控功能数据；若第一结果为得到所述遥控设备对应的遥控功能数据，则基于第一结果确定所述遥控设备对应的所述遥控功能数据；若所述第一结果为无所述遥控设备对应的所述遥控功能数据，则：获取与所述遥控设备匹配的被控设备的第二特征，基于所述第二特征和所述第一图数据确定第二图数据，基于所述第二图数据，通过所述训练好的识别模型，得到所述遥控设备对应的所述遥控功能数据。或者所述的方法可以包括：获取遥控设备的第一图像，并基于所述第一图像中确定第一特征，所述第一特征包括所述遥控设备的按键布局特征；基于所述第一特征，通过训练好的识别模型确定所述遥控设备对应的遥控功能数据；基于所述遥控功能数据确定与所述遥控设备匹配的被控设备。
本说明书实施例还提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行前述的根据遥控设备图像配置遥控功能数据的方法。所述的方法可以包括：获取遥控设备的第一图像，并基于所述第一图像中确定第一特征，所述第一特征包括所述遥控设备的按键布局特征；基于所述第一特征确定所述遥控设备对应的第一图数据，所述第一图数据包括与多个按键对应的多个第一节点、以及至少一个虚拟边；每个所述虚拟边连接所述多个第一节点中的两个，所述第一节点的第一节点属性基于对应的所述按键的属性确定，所述虚拟边的边属性基于所述虚拟边连接的所述第一节点对应的所述按键的位置信息确定；基于所述第一图数据，通过训练好的识别模型确定第一结果，所述第一结果包括得到所述遥控设备对应的遥控功能数据或无所述遥控设备对应的所述遥控功能数据；若第一结果为得到所述遥控设备对应的遥控功能数据，则基于第一结果确定所述遥控设备对应的所述遥控功能数据；若所述第一结果为无所述遥控设备对应的所述遥控功能数据，则：获取与所述遥控设备匹配的被控设备的第二特征，基于所述第二特征和所述第一图数据确定第二图数据，基于所述第二图数据，通过所述训练好的识别模型，得到所述遥控设备对应的所述遥控功能数据。或者所述的方法可以包括：获取遥控设备的第一图像，并基于所述第一图像中确定第一特征，所述第一特征包括所述遥控设备的按键布局特征；基于所述第一特征，通过训练好的识别模型确定所述遥控设备对应的遥控功能数据；基于所述遥控功能数据确定与所述遥控设备匹配的被控设备。
本说明书实施例可能带来的有益效果包括但不限于：(1)通过识别遥控设备的图像，根据按键特征布局确定对应的遥控功能数据，不需通过查找品牌/或型号后再进行配置，实现更加方便和准确地配置遥控功能数据，提升用户体验；(2)基于遥控设备的图像特征构建图数据，将遥控设备的按键特征和按键间布局信息体现得更加完善，通过图数据识别的方式，实现更加准确地预测；(3)在构建图数据时可以结合被控设备的特征，实现在无法根据遥控设备确定遥控功能数据，可以结合被控设备特征确定，预测更加准确；(4)可以直接通过被控设备的图像、或用户的语音输入、文本输入等得到被控设备的特征信息，实现更加方便地确定对应的遥控功能数据；(5)对确定的遥控功能数据添加标识并存储后，可以直接调用对应被控设备的遥控功能数据来实现控制，控制更加方便高效，提升了用户体验；(6)对确定的遥控功能数据进行测试，可以确保配置的遥控功能数据的准确性，避免错误配置；(7)在确定的遥控功能数据为无效时，基于重新确定的结果更新识别模型的参数，可以提高模型的识别准确率。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行***、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的***。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (16)

1.一种根据遥控设备图像配置遥控功能数据的方法，其特征在于，包括：
获取遥控设备的第一图像，并基于所述第一图像确定第一特征，所述第一特征包括所述遥控设备的按键布局特征；
基于所述第一特征确定所述遥控设备对应的第一图数据，所述第一图数据中包括与所述遥控设备的多个按键对应的多个第一节点和表示所述遥控设备的按键之间关联关系的边；
基于所述第一图数据，通过识别模型确定第一结果，所述第一结果包括所述遥控设备对应的遥控功能数据或无所述遥控设备对应的所述遥控功能数据。
2.如权利要求1所述的方法，还包括：
基于所述遥控设备的按键的属性确定按键对应的第一节点的第一节点属性；
基于所述遥控设备的按键之间的位置信息和关系信息确定所述虚拟边的边属性；其中，所述关系信息包括连接的所述第一节点对应的按键之间的功能关联关系和形状关联关系中的至少一项。
3.如权利要求1所述的方法，所述方法还包括：
若第一结果为有所述遥控设备对应的遥控功能数据，则基于第一结果确定所述遥控设备对应的所述遥控功能数据；若所述第一结果为无所述遥控设备对应的所述遥控功能数据，则：
获取与所述遥控设备匹配的被控设备的第二图像；
将所述第二图像输入特征生成模型，得到所述第二图像对应的第二特征；
基于所述第二特征和所述第一图数据确定第二图数据；
基于所述第二图数据，通过所述识别模型，得到所述遥控设备对应的所述遥控功能数据；
所述遥控功能数据包括至少一组遥控码，智能设备根据所述至少一组遥控码实现对与所述遥控设备匹配的被控设备的控制。
4.如权利要求3所述的方法，所述基于所述第二特征和所述第一图数据确定所述第二图数据包括：
确定第二节点，所述第二节点的第二节点属性基于所述第二特征确定；
根据所述第二节点和所述第一图数据确定所述第二图数据。
5.如权利要求1所述的方法，还包括：
获取用户输入的音频信息和/或文本信息，所述音频信息和所述文本信息包括所述被控设备的设备信息；
根据所述音频信息和/或所述文本信息得到所述被控设备的所述第二特征。
6.如权利要求3所述的方法，还包括：
对所述遥控设备对应的所述遥控功能数据添加标识并存储，所述标识与所述遥控设备匹配的被控设备相关，得到包括至少一个所述遥控设备对应的所述遥控功能数据的遥控功能数据库；
所述智能设备在所述遥控功能数据库中查找与目标被控设备相关的标识，并调用所述目标被控设备相关的标识对应的所述遥控功能数据，实现对所述目标被控设备的控制。
7.如权利要求1所述的方法，所述识别模型的训练包括：
获取至少一个所述遥控设备对应的至少一个第一图数据样本，以及所述至少一个第一图数据样本对应的第一标签，所述第一标签包括所述第一图数据样本对应的所述遥控功能数据或所述第一图数据样本无对应的所述遥控功能数据；
以所述至少一个第一图数据样本和所述第一标签作为训练样本，对初始识别模型进行训练以得到所述识别模型。
8.如权利要求3所述的方法，所述识别模型的训练包括：
获取至少一个所述遥控设备对应的至少一个第一图数据样本，以及所述至少一个第一图数据样本对应的第一标签，所述第一标签包括所述第一图数据样本对应的所述遥控功能数据或所述第一图数据样本无对应的所述遥控功能数据；
获取至少一个与所述遥控设备匹配的被控设备对应的至少一个第二特征样本，基于所述至少一个第二特征样本和所述至少一个第一图数据样本得到至少一个第二图数据样本，以及获取所述至少一个第二图数据样本对应的第二标签，所述第二标签包括所述第二图数据样本对应的所述遥控功能数据；
以带有所述第一标签的所述至少一个第一图数据样本和带有所述第二标签的所述至少一个第二图数据样本作为训练样本，对初始识别模型进行训练以得到所述识别模型。
9.如权利要求1所述的方法，还包括：
采用所述遥控功能数据对与对应的所述遥控设备匹配的被控设备进行测试；
若测试成功，则所述遥控功能数据有效；
若测试失败，则获取所述被控设备对应的品牌列表和/或型号列表，基于所述品牌列表和/或所述型号列表选择所述遥控设备匹配的被控设备的品牌和/或型号；基于选择的所述品牌和/或所述型号和所述第一特征，重新确定所述遥控设备对应的所述遥控功能数据。
10.如权利要求9所述的方法，还包括：
根据测试失败对应的所述遥控功能数据与重新确定的所述遥控设备对应的所述遥控功能数据之间的差异构建损失函数，基于所述损失函数更新所述识别模型的参数。
11.如权利要求3所述的方法，还包括：
基于所述遥控设备对应的所述遥控功能数据的所述至少一组遥控码，确定所述遥控设备对应的语音控制数据；
所述智能设备根据所述语音控制数据，实现对与所述遥控设备匹配的被控设备的语音控制。
12.如权利要求1所述的方法，所述方法还包括：
基于所述遥控功能数据确定与所述遥控设备匹配的被控设备。
13.如权利要求12所述的方法，所述基于所述遥控功能数据确定与所述遥控设备匹配的被控设备包括：
基于所述遥控功能数据，通过被控设备识别模型确定与所述遥控设备匹配的所述被控设备。
14.一种根据遥控设备图像配置遥控功能数据的***，其特征在于，包括：
第一获取模块：用于获取遥控设备的第一图像，并基于所述第一图像确定第一特征，所述第一特征包括所述遥控设备的按键布局特征；基于所述第一特征确定所述遥控设备对应的第一图数据，所述第一图数据中包括与所述遥控设备的多个按键对应的多个第一节点和表示所述遥控设备的按键之间关联关系的边；
第一识别模块：用于基于所述第一图数据，通过识别模型确定第一结果，所述第一结果包括所述遥控设备对应的遥控功能数据或无所述遥控设备对应的所述遥控功能数据。
15.一种根据遥控设备图像配置遥控功能数据的装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现如权利要求1～13任一项所述的方法。
16.一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1～13任一项所述的方法。
CN202210126675.5A 2020-09-25 2020-09-25 一种根据遥控设备图像配置遥控功能数据的方法和*** Active CN114399896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210126675.5A CN114399896B (zh) 2020-09-25 2020-09-25 一种根据遥控设备图像配置遥控功能数据的方法和***

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210126675.5A CN114399896B (zh) 2020-09-25 2020-09-25 一种根据遥控设备图像配置遥控功能数据的方法和***
CN202011019103.4A CN112085942B (zh) 2020-09-25 2020-09-25 一种根据遥控设备图像配置遥控功能数据的方法和***

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202011019103.4A Division CN112085942B (zh) 2020-09-25 2020-09-25 一种根据遥控设备图像配置遥控功能数据的方法和***

Publications (2)

Publication Number Publication Date
CN114399896A true CN114399896A (zh) 2022-04-26
CN114399896B CN114399896B (zh) 2023-04-07

Family

ID=73739847

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011019103.4A Active CN112085942B (zh) 2020-09-25 2020-09-25 一种根据遥控设备图像配置遥控功能数据的方法和***
CN202210126675.5A Active CN114399896B (zh) 2020-09-25 2020-09-25 一种根据遥控设备图像配置遥控功能数据的方法和***

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011019103.4A Active CN112085942B (zh) 2020-09-25 2020-09-25 一种根据遥控设备图像配置遥控功能数据的方法和***

Country Status (1)

Country Link
CN (2) CN112085942B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114095768B (zh) * 2021-11-29 2023-06-13 四川长虹电器股份有限公司 基于机器学习算法的红外遥控器学习方法及***

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070104354A1 (en) * 2005-11-10 2007-05-10 Holcomb Derrold W Remote sensing system capable of coregistering data from sensors potentially having unique perspectives
CN102346643A (zh) * 2011-09-14 2012-02-08 华为终端有限公司 可学习型遥控器实现方法及装置
KR20140001726A (ko) * 2012-06-27 2014-01-07 한국전자통신연구원 화면 동기화 가능한 원격 제어 장치
CN103531015A (zh) * 2013-10-08 2014-01-22 海信集团有限公司 一种实现遥控功能的方法和电子设备
WO2016070688A1 (zh) * 2014-11-06 2016-05-12 深圳Tcl新技术有限公司 虚拟操作界面遥控控制方法及***
US20170206398A1 (en) * 2014-07-23 2017-07-20 Lg Electronics Inc. Remote control device and operating method thereof
CN109448356A (zh) * 2019-01-04 2019-03-08 恬家（上海）信息科技有限公司 一种遥控器、智能设备及配置方法
KR20190104317A (ko) * 2016-12-13 2019-09-09 주식회사 랜티스 리모컨 기능이 탑재된 휴대 단말기용 백커버 및 이를 이용한 전자제품 제어방법
KR20190109337A (ko) * 2019-09-06 2019-09-25 엘지전자 주식회사 증강현실 기반의 기기 제어 장치 및 그 방법
CN110705551A (zh) * 2019-10-09 2020-01-17 北京百度网讯科技有限公司 按键位置的识别方法、装置、电子设备和存储介质
KR102068277B1 (ko) * 2019-10-04 2020-02-11 주식회사 루닛 이미지 분석 방법 및 시스템
KR20200018149A (ko) * 2018-08-10 2020-02-19 주식회사 더벨 도어락 개폐장치, 중앙통제 서버 및 이를 이용하는 생산시스템
CN111126917A (zh) * 2019-12-24 2020-05-08 北京每日优鲜电子商务有限公司 单位转移数值调整方法、装置、计算机设备及存储介质
CN111259828A (zh) * 2020-01-20 2020-06-09 河海大学 基于高分辨率遥感图像多特征的识别方法
CN111460132A (zh) * 2020-03-10 2020-07-28 哈尔滨工业大学 一种基于图卷积神经网络的生成式会议摘要方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201227309A (en) * 2010-12-24 2012-07-01 Mstar Semiconductor Inc Display apparatus, remote controller and associated display system
CN102354273A (zh) * 2011-09-21 2012-02-15 歌尔声学股份有限公司 遥控方法及用于实现该遥控方法的电子设备
CN103475806B (zh) * 2012-06-08 2016-12-07 腾讯科技（深圳）有限公司 遥控自适应控制方法、设备及***

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070104354A1 (en) * 2005-11-10 2007-05-10 Holcomb Derrold W Remote sensing system capable of coregistering data from sensors potentially having unique perspectives
CN102346643A (zh) * 2011-09-14 2012-02-08 华为终端有限公司 可学习型遥控器实现方法及装置
KR20140001726A (ko) * 2012-06-27 2014-01-07 한국전자통신연구원 화면 동기화 가능한 원격 제어 장치
CN103531015A (zh) * 2013-10-08 2014-01-22 海信集团有限公司 一种实现遥控功能的方法和电子设备
US20170206398A1 (en) * 2014-07-23 2017-07-20 Lg Electronics Inc. Remote control device and operating method thereof
WO2016070688A1 (zh) * 2014-11-06 2016-05-12 深圳Tcl新技术有限公司 虚拟操作界面遥控控制方法及***
KR20190104317A (ko) * 2016-12-13 2019-09-09 주식회사 랜티스 리모컨 기능이 탑재된 휴대 단말기용 백커버 및 이를 이용한 전자제품 제어방법
KR20200018149A (ko) * 2018-08-10 2020-02-19 주식회사 더벨 도어락 개폐장치, 중앙통제 서버 및 이를 이용하는 생산시스템
CN109448356A (zh) * 2019-01-04 2019-03-08 恬家（上海）信息科技有限公司 一种遥控器、智能设备及配置方法
KR20190109337A (ko) * 2019-09-06 2019-09-25 엘지전자 주식회사 증강현실 기반의 기기 제어 장치 및 그 방법
KR102068277B1 (ko) * 2019-10-04 2020-02-11 주식회사 루닛 이미지 분석 방법 및 시스템
CN110705551A (zh) * 2019-10-09 2020-01-17 北京百度网讯科技有限公司 按键位置的识别方法、装置、电子设备和存储介质
CN111126917A (zh) * 2019-12-24 2020-05-08 北京每日优鲜电子商务有限公司 单位转移数值调整方法、装置、计算机设备及存储介质
CN111259828A (zh) * 2020-01-20 2020-06-09 河海大学 基于高分辨率遥感图像多特征的识别方法
CN111460132A (zh) * 2020-03-10 2020-07-28 哈尔滨工业大学 一种基于图卷积神经网络的生成式会议摘要方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WEI CHEN等 *

Also Published As

Publication number Publication date
CN112085942B (zh) 2021-12-31
CN112085942A (zh) 2020-12-15
CN114399896B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111950638B (zh) 基于模型蒸馏的图像分类方法、装置和电子设备
CN110807515A (zh) 模型生成方法和装置
CN110851221B (zh) 一种智慧家居场景配置的方法及装置
JP2022529178A (ja) 人工知能推奨モデルの特徴処理方法、装置、電子機器、及びコンピュータプログラム
CN112463159B (zh) 编译方法、装置、电子设备和存储介质
CN114399896B (zh) 一种根据遥控设备图像配置遥控功能数据的方法和***
CN112084752A (zh) 基于自然语言的语句标注方法、装置、设备及存储介质
CN114861665B (zh) 一种强化学习模型训练以及确定数据关系的方法及装置
CN112631751A (zh) 任务调度方法、装置、计算机设备及存储介质
CN114519328A (zh) 一种集成电路参数化方法、装置、存储介质及终端设备
CN114091589B (zh) 模型训练方法、装置、电子设备及介质
US11281817B2 (en) Systems and methods for generating programmatic designs of structures
CN112906554B (zh) 基于视觉图像的模型训练优化方法、装置及相关设备
CN110728359B (zh) 搜索模型结构的方法、装置、设备和存储介质
WO2021068247A1 (zh) 神经网络调度方法、装置、计算机设备及可读存储介质
CN111814044A (zh) 一种推荐方法、装置、终端设备及存储介质
CN109672772A (zh) 递交非标准注意命令的免提***和方法
CN109284828A (zh) 一种超参数调优方法、装置及设备
CN113760380B (zh) 网络模型的运行代码的确定方法、装置、设备及存储介质
JP7264911B2 (ja) パターン認識装置及び学習済みモデル
CN113742804A (zh) 家具布局图生成方法、装置、设备及存储介质
CN111353585A (zh) 神经网络模型的结构搜索方法和装置
CN113656876B (zh) 自动化柜体模型生成方法、装置、介质及电子设备
KR20200129346A (ko) 디스플레이 장치 및 이의 제어 방법
CN117876622B (zh) 城市地图的生成方法、装置、电子设备及可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No.8, Kangping street, Jiangning Economic and Technological Development Zone, Nanjing, Jiangsu, 211106

Applicant after: Hansang (Nanjing) Technology Co.,Ltd.

Address before: No.8, Kangping street, Jiangning Economic and Technological Development Zone, Nanjing, Jiangsu, 211106

Applicant before: HANSONG (NANJING) TECHNOLOGY CO.,LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant