CN115576417A - 基于图像识别的交互控制方法、装置及设备 - Google Patents

基于图像识别的交互控制方法、装置及设备 Download PDF

Info

Publication number
CN115576417A
CN115576417A CN202211179850.3A CN202211179850A CN115576417A CN 115576417 A CN115576417 A CN 115576417A CN 202211179850 A CN202211179850 A CN 202211179850A CN 115576417 A CN115576417 A CN 115576417A
Authority
CN
China
Prior art keywords
bone point
point diagram
indication
image
bone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211179850.3A
Other languages
English (en)
Inventor
许康太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shikun Electronic Technology Co Ltd
Original Assignee
Guangzhou Shikun Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shikun Electronic Technology Co Ltd filed Critical Guangzhou Shikun Electronic Technology Co Ltd
Priority to CN202211179850.3A priority Critical patent/CN115576417A/zh
Publication of CN115576417A publication Critical patent/CN115576417A/zh
Priority to PCT/CN2023/121042 priority patent/WO2024067468A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种基于图像识别的交互控制方法、装置及设备，涉及物联网技术，该方法包括：若确定电子设备处于手势图像转换模式下，则通过电子设备的摄像头对用户的指示动作进行拍摄，得到多帧指示图像。对多帧指示图像进行识别处理，得到与指示图像对应的骨骼点图；其中，骨骼点图包括与指示图像中的指示动作对应的指示骨骼信息。将骨骼点图发送至显示设备，以使显示设备基于预设的骨骼点图与控制指令之间的对应关系，对骨骼点图进行识别处理，确定骨骼点图对应的目标控制指令，并执行目标控制指令。本申请的方法，让自身不带摄像头的显示设备均具有了隔空手势控制操作的功能和能力，解决了显示设备的人机交互的成本较高的问题。

Description

基于图像识别的交互控制方法、装置及设备
技术领域
本申请涉及物联网技术，尤其涉及一种基于图像识别的交互控制方法、装置及设备。
背景技术
目前，为了用户更方便地使用显示设备，高端的显示设备均配备摄像头用于人机交互。
现有技术中，显示设备中部署有人工智能的肢体识别算法，当用户在显示设备上设置的摄像头范围内作出定义的肢体动作，显示设备通过肢体识别算法将定义的肢体动作转化成控制指令，并执行控制指令，完成人机交互。
然而现有技术中，由于显示设备需要设置摄像头硬件模块，还需要部署并运行肢体识别算法，对显示设备的处理器、内存等性能的要求较高，会提高显示设备的成本，导致现有的人机交互只能在较小范围中的高端的显示设备中实现，现有的人机交互的普及性较低。
发明内容
本申请提供一种基于图像识别的交互控制方法、装置及设备，用以解决显示设备的人机交互的成本较高的技术问题。
第一方面，本申请提供一种基于图像识别的交互控制方法，应用于电子设备，所述电子设备与显示设备通信连接；所述方法包括：
若确定所述电子设备处于手势图像转换模式下，则通过所述电子设备的摄像头对用户的指示动作进行拍摄，得到多帧指示图像；
对多帧所述指示图像进行识别处理，得到与所述指示图像对应的骨骼点图；其中，所述骨骼点图包括与所述指示图像中的指示动作对应的指示骨骼信息；
将所述骨骼点图发送至所述显示设备，以使所述显示设备基于预设的骨骼点图与控制指令之间的对应关系，对所述骨骼点图进行识别处理，确定所述骨骼点图对应的目标控制指令，并执行所述目标控制指令。
进一步地，对多帧所述指示图像进行识别处理，得到与所述指示图像对应的骨骼点图，包括：
对多帧指示图像进行识别处理，得到与每一帧指示图像对应的初始的骨骼点图；
若确定每一帧指示图像对应的初始的骨骼点图均相同，则确定初始的所述骨骼点图为与所述指示图像对应的骨骼点图；
若确定每一帧指示图像对应的初始的骨骼点图均不相同，则确定第一帧指示图像的初始的骨骼点图与最后一帧指示图像的初始的骨骼点图均为与所述指示图像对应的骨骼点图。
进一步地，所述骨骼点图对应的目标控制指令，是基于预设的骨骼点图与控制指令之间的对应关系，通过所述显示设备中已开启的骨骼点图识别模式对所述骨骼点图进行识别处理得到的。
进一步地，将所述骨骼点图发送至所述显示设备，包括：
若存在多个所述骨骼点图，则根据所述骨骼点图的生成时间，依次将所述骨骼点图发送至所述显示设备。
进一步地，所述指示动作包括手势动作和/或肢体动作。
进一步地，所述电子设备与所述显示设备之间的连接方式包括有线连接和无线连接，其中，所述有线连接是电子设备的充电接口和显示设备的通用串行总线接口之间的线路连接；所述无线连接包括蓝牙通讯技术、局域网协议、近场通信、或广域网服务器。
进一步地，所述方法还包括：
响应于针对所述手势图像转换模式的选择操作，断开所述电子设备与所述显示设备之间的通信连接。
第二方面，本申请提供一种基于图像识别的交互控制方法，应用于显示设备，所述显示设备与电子设备通信连接；所述方法包括：
接收所述电子设备发送的骨骼点图；其中，所述骨骼点图是对指示图像进行识别处理得到的，所述指示图像是在所述电子设备处于手势图像转换模式下，通过所述电子设备的摄像头对用户的指示动作进行拍摄得到的；
基于预设的骨骼点图与控制指令之间的对应关系，对所述骨骼点图进行识别处理，确定所述骨骼点图对应的目标控制指令，并执行所述目标控制指令。
进一步地，对所述骨骼点图进行识别处理，包括：
基于预设的骨骼点图与控制指令之间的对应关系，通过所述显示设备中已开启的骨骼点图识别模式对所述骨骼点图进行识别处理，确定所述骨骼点图对应的目标控制指令。
进一步地，与所述指示图像对应的骨骼点图是根据第一帧指示图像的初始的骨骼点图与最后一帧指示图像的初始的骨骼点图确定的，或者，与所述指示图像对应的骨骼点图是根据初始的所述骨骼点图确定的，其中，初始的所述骨骼点图是对每一帧所述指示图像进行识别处理得到的。
进一步地，所述骨骼点图的发送顺序是根据所述骨骼点图的生成时间确定的。
进一步地，所述指示动作包括手势动作和/或肢体动作。
进一步地，所述电子设备与所述显示设备之间的连接方式包括有线连接和无线连接，其中，所述有线连接是电子设备的充电接口和显示设备的通用串行总线接口确定的；所述无线连接包括蓝牙无线技术、局域网协议、近场通信、或广域网服务器。
进一步地，所述电子设备与所述显示设备之间的通信连接，是根据针对所述手势图像转换模式的选择操作断开的。
第三方面，本申请提供一种基于图像识别的交互控制装置，应用于电子设备，所述电子设备与显示设备通信连接；所述装置包括：
拍摄单元，用于若确定所述电子设备处于手势图像转换模式下，则通过所述电子设备的摄像头对用户的指示动作进行拍摄，得到多帧指示图像；
识别单元，用于对多帧所述指示图像进行识别处理，得到与所述指示图像对应的骨骼点图；其中，所述骨骼点图包括与所述指示图像中的指示动作对应的指示骨骼信息；
发送单元，用于将所述骨骼点图发送至所述显示设备，以使所述显示设备基于预设的骨骼点图与控制指令之间的对应关系，对所述骨骼点图进行识别处理，确定所述骨骼点图对应的目标控制指令，并执行所述目标控制指令。
进一步地，所述识别单元，包括：
识别模块，用于对多帧指示图像进行识别处理，得到与每一帧指示图像对应的初始的骨骼点图；
第一确定模块，用于若确定每一帧指示图像对应的初始的骨骼点图均相同，则确定初始的所述骨骼点图为与所述指示图像对应的骨骼点图；
第二确定模块，用于若确定每一帧指示图像对应的初始的骨骼点图均不相同，则确定第一帧指示图像的初始的骨骼点图与最后一帧指示图像的初始的骨骼点图均为与所述指示图像对应的骨骼点图。
进一步地，所述骨骼点图对应的目标控制指令，是基于预设的骨骼点图与控制指令之间的对应关系，通过所述显示设备中已开启的骨骼点图识别模式对所述骨骼点图进行识别处理得到的。
进一步地，所述发送单元，具体用于：
若存在多个所述骨骼点图，则根据所述骨骼点图的生成时间，依次将所述骨骼点图发送至所述显示设备。
进一步地，所述指示动作包括手势动作和/或肢体动作。
进一步地，所述电子设备与所述显示设备之间的连接方式包括有线连接和无线连接，其中，所述有线连接是电子设备的充电接口和显示设备的通用串行总线接口之间的线路连接；所述无线连接包括蓝牙通讯技术、局域网协议、近场通信、或广域网服务器。
进一步地，所述装置还包括：
断开单元，用于响应于针对所述手势图像转换模式的选择操作，断开所述电子设备与所述显示设备之间的通信连接。
第四方面，本申请提供一种基于图像识别的交互控制装置，应用于显示设备，所述显示设备与电子设备通信连接；所述装置包括：
接收单元，用于接收所述电子设备发送的骨骼点图；其中，所述骨骼点图是对指示图像进行识别处理得到的，所述指示图像是在所述电子设备处于手势图像转换模式下，通过所述电子设备的摄像头对用户的指示动作进行拍摄得到的；
确定单元，用于基于预设的骨骼点图与控制指令之间的对应关系，对所述骨骼点图进行识别处理，确定所述骨骼点图对应的目标控制指令；
执行单元，用于执行所述目标控制指令。
进一步地，所述确定单元，具体用于：
基于预设的骨骼点图与控制指令之间的对应关系，通过所述显示设备中已开启的骨骼点图识别模式对所述骨骼点图进行识别处理，确定所述骨骼点图对应的目标控制指令。
进一步地，与所述指示图像对应的骨骼点图是根据第一帧指示图像的初始的骨骼点图与最后一帧指示图像的初始的骨骼点图确定的，或者，与所述指示图像对应的骨骼点图是根据初始的所述骨骼点图确定的，其中，初始的所述骨骼点图是对每一帧所述指示图像进行识别处理得到的。
进一步地，所述骨骼点图的发送顺序是根据所述骨骼点图的生成时间确定的。
进一步地，所述指示动作包括手势动作和/或肢体动作。
进一步地，所述电子设备与所述显示设备之间的连接方式包括有线连接和无线连接，其中，所述有线连接是电子设备的充电接口和显示设备的通用串行总线接口确定的；所述无线连接包括蓝牙无线技术、局域网协议、近场通信、或广域网服务器。
进一步地，所述电子设备与所述显示设备之间的通信连接，是根据针对所述手势图像转换模式的选择操作断开的。
第五方面，本申请提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的方法。
第六方面，本申请提供一种显示设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第二方面所述的方法。
第七方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面所述的方法，或者，实现第二方面所述的方法。
第八方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的方法，或者，实现第二方面所述的方法。
本申请提供的一种基于图像识别的交互控制方法、装置及设备，若确定电子设备处于手势图像转换模式下，则通过电子设备的摄像头对用户的指示动作进行拍摄，得到多帧指示图像。对多帧指示图像进行识别处理，得到与指示图像对应的骨骼点图；其中，骨骼点图包括与指示图像中的指示动作对应的指示骨骼信息。将骨骼点图发送至显示设备，以使显示设备基于预设的骨骼点图与控制指令之间的对应关系，对骨骼点图进行识别处理，确定骨骼点图对应的目标控制指令，并执行目标控制指令。本方案中，在电子设备处于手势图像转换模式下，可以开启摄像头进行工作，如果用户在摄像头的范围内作出指示动作，摄像头会自动对指示动作进行拍摄，得到多帧指示图像。电子设备对多帧指示图像进行识别处理，得到与指示图像对应的骨骼点图，其中，骨骼点图包括与指示图像中的指示动作对应的指示骨骼信息。最后，将骨骼点图发送至显示设备，显示设备接收到电子设备发送的骨骼点图时，显示设备基于预设的骨骼点图与控制指令之间的对应关系，对骨骼点图进行识别处理，确定骨骼点图对应的目标控制指令，并执行目标控制指令，此时显示设备可以作出与目标控制指令对应的操作，完成人、电子设备和显示设备之间的交互。
所以，通过电子设备的摄像头得到骨骼点图，并将骨骼点图发送给显示设备的交互过程，充分的利用了电子设备的摄像头的拍摄能力和处理器运算能力的优势，完成指示动作的图像转化，转化为显示设备可以识别的骨骼点图，节省了显示设备的摄像头成本和处理器、内存性能成本，极大的节省了资源，极大的降低了显示设备的成本，让自身不带摄像头的显示设备均具有了隔空手势控制操作的功能和能力，解决了显示设备的人机交互的成本较高的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请实施例提供的一种基于图像识别的交互控制方法的流程示意图；
图2为本申请实施例提供的一种指示动作的场景示意图；
图3为本申请实施例提供的一种手势动作的场景示意图；
图4为本申请实施例提供的一种骨骼点图的场景示意图；
图5为本申请实施例提供的另一种基于图像识别的交互控制方法的流程示意图；
图6为本申请实施例提供的又一种基于图像识别的交互控制方法的流程示意图；
图7为本申请实施例提供的又一种基于图像识别的交互控制方法的流程示意图；
图8为本申请实施例提供的再一种基于图像识别的交互控制方法的流程示意图；
图9为本申请实施例提供的其他一种基于图像识别的交互控制方法的流程示意图；
图10为本申请实施例提供的一种基于图像识别的交互控制装置的结构示意图；
图11为本申请实施例提供的另一种基于图像识别的交互控制装置的结构示意图；
图12为本申请实施例提供的又一种基于图像识别的交互控制装置的结构示意图；
图13为本申请实施例提供的一种电子设备的结构示意图；
图14为本申请实施例提供的一种显示设备的结构示意图；
图15为本申请实施例提供的一种电子设备的框图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。
目前，为了用户更方便地使用显示设备，高端的显示设备均配备摄像头用于人机交互，但在人机交互过程中，存在诸多难题。
一个示例中，显示设备中部署有人工智能的肢体识别算法，当用户在显示设备上设置的摄像头范围内作出定义的肢体动作，显示设备通过肢体识别算法将定义的肢体动作转化成控制指令，并执行控制指令，完成人机交互。然而现有技术中，由于显示设备需要设置摄像头硬件模块，还需要部署并运行肢体识别算法，对显示设备的处理器、内存等性能的要求较高，会提高显示设备的成本，导致现有的人机交互只能在较小范围中的高端的显示设备中实现，现有的人机交互的普及性较低。
一个示例中，若要做到很好的识别率和操控准确度，对摄像头拍摄的画面的画质、分辨率、帧率等也有较高的要求，所以，摄像头硬件模块成本也会较高。
一个示例中，若是显示设备自带摄像头模块，特别是位于家庭环境中的显示设备，用户会对隐私和安全有顾虑。
本申请提供的一种基于图像识别的交互控制方法、装置及设备，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图1为本申请实施例提供的一种基于图像识别的交互控制方法的流程示意图，应用于电子设备，电子设备与显示设备相连接；如图1所示，该方法包括：
101、若确定电子设备处于手势图像转换模式下，则通过电子设备的摄像头对用户的指示动作进行拍摄，得到多帧指示图像。
示例性地，本实施例的执行主体可以为电子设备、或者终端设备、或者基于图像识别的交互控制装置或设备、或者其他可以执行本实施例的装置或设备，对此不做限制。本实施例中以执行主体为电子设备进行介绍。
首先，手势图像转换模式用于对指示图像进行手势图像转换，电子设备与显示设备通信连接，其中，通信连接可以是有线连接也可以是无线连接。有线连接可通过电子设备的充电接口与显示设备的通用串行总线(Universal Serial Bus，USB)接口连接；无线连接包含但不仅限于通过局域网协议、蓝牙通讯技术、近场通信(Near Field Communication，NFC)或者广域网服务器等方式建立连接。当用户开启手势图像转换模式，电子设备处于手势图像转换模式下，同时手势图像转换模式请求电子设备的摄像头的图像数据，显示设备也需要处于骨骼点图识别模式下。其中，电子设备的手势图像转换模式的开启关闭，是根据用户针对该应用APP的选择操作控制实现的，显示设备的骨骼点图识别模式可以是显示设备启动后一直保持在后台自动运行的，手势图像转换模式和骨骼点图识别模式可以是出厂预先部署或后部署，均不作限制。指示动作是用户按照预先定义的动作指令库做出的有意义的动作，举例来说，指示动作包括手势动作和肢体动作，图2为本申请实施例提供的一种指示动作的场景示意图，如图2所示，手势动作包括唤醒手势、确认键、方向上键…等，肢体动作包括摇头、双手高举、双手平举等。指示动作包括静态动作和动态动作，静态动作如图2中的各种稳定持续的手势动作或肢体动作，此类动作特征信息一般采用单帧数据获取或者多帧数据均相同时根据任一帧数据确定。动态动作如手从A点运动到B点等，此类动作特征信息通常通过多帧数据获取。
在该步骤中，如果确定电子设备处于手势图像转换模式下，则当用户在电子设备的摄像头的拍摄范围内作出指示动作时，通过电子设备的摄像头对用户的指示动作进行拍摄，得到多帧指示图像。
102、对多帧指示图像进行识别处理，得到与指示图像对应的骨骼点图；其中，骨骼点图包括与指示图像中的指示动作对应的指示骨骼信息。
示例性地，图3为本申请实施例提供的一种手势动作的场景示意图，如图3所示，图3显示的是包含五指伸展的手掌的指示图像，图4为本申请实施例提供的一种骨骼点图的场景示意图，如图4所示，图4显示的是与图3中五指伸展的手掌对应的骨骼点图。如果指示动作为手势动作，电子设备在手势图像转换模式下对多帧指示图像中每一帧指示图像中作出手势动作的手部进行识别处理，转换成包含手部指骨空间分布的骨骼点图，骨骼点图包括与指示图像中的指示动作对应的指示骨骼信息。或者，如果指示动作为肢体动作，电子设备对多帧指示图像中每一帧指示图像中作出肢体动作的肢体进行识别处理，转换成包含肢体指骨空间分布的骨骼点图，骨骼点图包括与指示图像中的指示动作对应的指示骨骼信息。
103、将骨骼点图发送至显示设备，以使显示设备基于预设的骨骼点图与控制指令之间的对应关系，对骨骼点图进行识别处理，确定骨骼点图对应的目标控制指令，并执行目标控制指令。
示例性地，通过电子设备与显示设备之间建立的稳定的通信连接，电子设备将实时转换好的骨骼点图实时发送至显示设备，当显示设备接收到骨骼点图时，基于预设的骨骼点图与控制指令之间的对应关系，显示设备通过已开启的骨骼点图识别模式对骨骼点图进行识别处理，通过预设的骨骼点图与控制指令之间的对应关系，确定骨骼点图对应的目标控制指令，显示设备将目标控制指令实时发送给显示设备的控制***，显示设备通过控制***执行目标控制指令。
本申请实施例中，若确定电子设备处于手势图像转换模式下，则通过电子设备的摄像头对用户的指示动作进行拍摄，得到多帧指示图像。对多帧指示图像进行识别处理，得到与指示图像对应的骨骼点图；其中，骨骼点图包括与指示图像中的指示动作对应的指示骨骼信息。将骨骼点图发送至显示设备，以使显示设备基于预设的骨骼点图与控制指令之间的对应关系，对骨骼点图进行识别处理，确定骨骼点图对应的目标控制指令，并执行目标控制指令。本方案中，在电子设备处于手势图像转换模式下，可以开启摄像头进行工作，如果用户在摄像头的范围内作出指示动作，摄像头会自动对指示动作进行拍摄，得到多帧指示图像。电子设备对多帧指示图像进行识别处理，得到与指示图像对应的骨骼点图，其中，骨骼点图包括与指示图像中的指示动作对应的指示骨骼信息。最后，将骨骼点图发送至显示设备，显示设备接收到电子设备发送的骨骼点图时，显示设备基于预设的骨骼点图与控制指令之间的对应关系，对骨骼点图进行识别处理，确定骨骼点图对应的目标控制指令，并执行目标控制指令，此时显示设备可以作出与目标控制指令对应的操作，完成人、电子设备和显示设备之间的交互。所以，通过电子设备的摄像头得到骨骼点图，并将骨骼点图发送给显示设备的交互过程，充分的利用了电子设备的摄像头的拍摄能力和处理器运算能力的优势，完成指示动作的图像转化，转化为显示设备可以识别的骨骼点图，节省了显示设备的摄像头成本和处理器、内存性能成本，极大的节省了资源，极大的降低了显示设备的成本，让自身不带摄像头的显示设备均具有了隔空手势控制操作的功能和能力，解决了显示设备的人机交互的成本较高的技术问题。
图5为本申请实施例提供的另一种基于图像识别的交互控制方法的流程示意图，应用于电子设备电子设备与显示设备通信连接；如图5所示，该方法包括：
201、若确定电子设备处于手势图像转换模式下，则通过电子设备的摄像头对用户的指示动作进行拍摄，得到多帧指示图像。
一个示例中，指示动作包括手势动作和/或肢体动作。
一个示例中，电子设备与显示设备之间的连接方式包括有线连接和无线连接，其中，有线连接是电子设备的充电接口和显示设备的通用串行总线接口之间的线路连接；无线连接包括蓝牙通讯技术、局域网协议、近场通信、或广域网服务器。
示例性地，本步骤可以参见图1中的步骤101，不再赘述。
202、对多帧指示图像进行识别处理，得到与每一帧指示图像对应的初始的骨骼点图。
示例性地，电子设备对多帧指示图像进行识别处理，得到与每一帧指示图像对应的初始的骨骼点图。
203、若确定每一帧指示图像对应的初始的骨骼点图均相同，则确定初始的骨骼点图为与指示图像对应的骨骼点图。
示例性地，电子设备将每一帧指示图像对应的初始的骨骼点图进行比较，如果确定每一帧指示图像对应的初始的骨骼点图均相同，说明指示动作为静态动作，则确定初始的骨骼点图为与指示图像对应的骨骼点图。
204、若确定每一帧指示图像对应的初始的骨骼点图均不相同，则确定第一帧指示图像的初始的骨骼点图与最后一帧指示图像的初始的骨骼点图均为与指示图像对应的骨骼点图。
示例性地，电子设备将每一帧指示图像对应的初始的骨骼点图进行比较，如果确定每一帧指示图像对应的初始的骨骼点图均不相同，说明指示动作为动态动作，则确定第一帧指示图像的初始的骨骼点图与最后一帧指示图像的初始的骨骼点图均为与指示图像对应的骨骼点图。
举例来说，指示动作为手从A点运动到B点，则确定包含手的开始位置A点的第一帧指示图像的初始的骨骼点图、包含手的结束位置B点的最后一帧指示图像的初始的骨骼点图均为与指示图像对应的骨骼点图。
205、若存在多个骨骼点图，则根据骨骼点图的生成时间，依次将骨骼点图发送至显示设备，以使显示设备基于预设的骨骼点图与控制指令之间的对应关系，对骨骼点图进行识别处理，确定骨骼点图对应的目标控制指令，并执行目标控制指令。
一个示例中，骨骼点图对应的目标控制指令，是基于预设的骨骼点图与控制指令之间的对应关系，通过显示设备中已开启的骨骼点图识别模式对骨骼点图进行识别处理得到的。
示例性地，如果存在多个骨骼点图，则根据骨骼点图的生成时间，按照时间先后顺序依次实时发送给显示设备，即先生成的骨骼点图先发送。显示设备接收到骨骼点图时，基于预设的骨骼点图与控制指令之间的对应关系，显示设备通过后台运行的骨骼点图识别模式对骨骼点图进行识别处理，通过预设的骨骼点图与控制指令之间的对应关系，确定骨骼点图对应的目标控制指令，并执行目标控制指令。
206、响应于针对手势图像转换模式的选择操作，断开电子设备与显示设备之间的通信连接。
示例性地，当用户针对手势图像转换模式作出选择操作时，断开电子设备与显示设备之间的通信连接，其中，选择操作可以为单击、双击等，对此不作限定。
本申请实施例中，若确定电子设备处于手势图像转换模式下，则通过电子设备的摄像头对用户的指示动作进行拍摄，得到多帧指示图像。对多帧指示图像进行识别处理，得到与每一帧指示图像对应的初始的骨骼点图。若确定每一帧指示图像对应的初始的骨骼点图均相同，则确定初始的骨骼点图为与指示图像对应的骨骼点图。若确定每一帧指示图像对应的初始的骨骼点图均不相同，则确定第一帧指示图像的初始的骨骼点图与最后一帧指示图像的初始的骨骼点图均为与指示图像对应的骨骼点图。若存在多个骨骼点图，则根据骨骼点图的生成时间，依次将骨骼点图发送至显示设备，以使显示设备基于预设的骨骼点图与控制指令之间的对应关系，对骨骼点图进行识别处理，确定骨骼点图对应的目标控制指令，并执行目标控制指令。响应于针对手势图像转换模式的选择操作，断开电子设备与显示设备之间的通信连接。所以，通过电子设备的摄像头得到骨骼点图，并将骨骼点图发送给显示设备的交互过程，充分的利用了电子设备的摄像头的拍摄能力和处理器运算能力的优势，完成指示动作的图像转化，转化为显示设备可以识别的骨骼点图，节省了显示设备的摄像头成本和处理器、内存性能成本，极大的节省了资源，极大的降低了显示设备的成本，让自身不带摄像头的显示设备均具有了隔空手势控制操作的功能和能力，解决了显示设备的人机交互的成本较高的技术问题。并且，当电子设备与显示设备配合进行隔空手势控制时，电子设备的放置位置可以根据用户位置随时移动和调整角度，也可以离用户更近，对肢体动作和手势动作拍摄的更加清楚，识别的精确度更高。由于电子设备识别后发送给显示设备的是骨骼点图，而非用户图像画面，而且用完即可断开电子设备与显示设备的连接，有效的避免了隐私和安全的顾虑。
示例性的，图6为本申请实施例提供的又一种基于图像识别的交互控制方法的流程示意图，图7为本申请实施例提供的又一种基于图像识别的交互控制方法的流程示意图，其中，控制指令数据库中包括预设的骨骼点图与控制指令之间的对应关系、以及多个控制指令。
图8为本申请实施例提供的再一种基于图像识别的交互控制方法的流程示意图，应用于显示设备，显示设备与电子设备通信连接；如图8所示，该方法包括：
401、接收电子设备发送的骨骼点图；其中，骨骼点图是对指示图像进行识别处理得到的，指示图像是在电子设备处于手势图像转换模式下，通过电子设备的摄像头对用户的指示动作进行拍摄得到的。
402、基于预设的骨骼点图与控制指令之间的对应关系，对骨骼点图进行识别处理，确定骨骼点图对应的目标控制指令，并执行目标控制指令。
图9为本申请实施例提供的其他一种基于图像识别的交互控制方法的流程示意图，应用于显示设备，显示设备与电子设备通信连接；如图9所示，该方法包括：
501、接收电子设备发送的骨骼点图；其中，骨骼点图是对指示图像进行识别处理得到的，指示图像是在电子设备处于手势图像转换模式下，通过电子设备的摄像头对用户的指示动作进行拍摄得到的。
一个示例中，与指示图像对应的骨骼点图是根据第一帧指示图像的初始的骨骼点图与最后一帧指示图像的初始的骨骼点图确定的，或者，与指示图像对应的骨骼点图是根据初始的骨骼点图确定的，其中，初始的骨骼点图是对每一帧指示图像进行识别处理得到的。
一个示例中，骨骼点图的发送顺序是根据骨骼点图的生成时间确定的。
一个示例中，指示动作包括手势动作和/或肢体动作。
一个示例中，电子设备与显示设备之间的连接方式包括有线连接和无线连接，其中，有线连接是电子设备的充电接口和显示设备的通用串行总线接口确定的；无线连接包括蓝牙无线技术、局域网协议、近场通信、或广域网服务器。
一个示例中，电子设备与显示设备之间的通信连接，是根据针对手势图像转换模式的选择操作断开的。
502、基于预设的骨骼点图与控制指令之间的对应关系，通过显示设备中已开启的骨骼点图识别模式对骨骼点图进行识别处理，确定骨骼点图对应的目标控制指令。
503、执行目标控制指令。
图10为本申请实施例提供的一种基于图像识别的交互控制装置的结构示意图，应用于电子设备，电子设备与显示设备通信连接；如图10所示，该装置包括：
拍摄单元61，用于若确定电子设备处于手势图像转换模式下，则通过电子设备的摄像头对用户的指示动作进行拍摄，得到多帧指示图像。
识别单元62，用于对多帧指示图像进行识别处理，得到与指示图像对应的骨骼点图；其中，骨骼点图包括与指示图像中的指示动作对应的指示骨骼信息。
发送单元63，用于将骨骼点图发送至显示设备，以使显示设备基于预设的骨骼点图与控制指令之间的对应关系，对骨骼点图进行识别处理，确定骨骼点图对应的目标控制指令，并执行目标控制指令。
本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
图11为本申请实施例提供的另一种基于图像识别的交互控制装置的结构示意图，在图10所示实施例的基础上，如图11所示，识别单元62，包括：
识别模块621，用于对多帧指示图像进行识别处理，得到与每一帧指示图像对应的初始的骨骼点图。
第一确定模块622，用于若确定每一帧指示图像对应的初始的骨骼点图均相同，则确定初始的骨骼点图为与指示图像对应的骨骼点图。
第二确定模块623，用于若确定每一帧指示图像对应的初始的骨骼点图均不相同，则确定第一帧指示图像的初始的骨骼点图与最后一帧指示图像的初始的骨骼点图均为与指示图像对应的骨骼点图。
一个示例中，骨骼点图对应的目标控制指令，是基于预设的骨骼点图与控制指令之间的对应关系，通过显示设备中已开启的骨骼点图识别模式对骨骼点图进行识别处理得到的。
一个示例中，发送单元63，具体用于：
若存在多个骨骼点图，则根据骨骼点图的生成时间，依次将骨骼点图发送至显示设备。
一个示例中，指示动作包括手势动作和/或肢体动作。
一个示例中，电子设备与显示设备之间的连接方式包括有线连接和无线连接，其中，有线连接是电子设备的充电接口和显示设备的通用串行总线接口之间的线路连接；无线连接包括蓝牙通讯技术、局域网协议、近场通信、或广域网服务器。
一个示例中，该装置还包括：
断开单元71，用于响应于针对手势图像转换模式的选择操作，断开电子设备与显示设备之间的通信连接。
本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
图12为本申请实施例提供的又一种基于图像识别的交互控制装置的结构示意图，应用于显示设备，显示设备与电子设备通信连接；如图12所示，该装置包括：
接收单元81，用于接收电子设备发送的骨骼点图；其中，骨骼点图是对指示图像进行识别处理得到的，指示图像是在电子设备处于手势图像转换模式下，通过电子设备的摄像头对用户的指示动作进行拍摄得到的。
确定单元82，用于基于预设的骨骼点图与控制指令之间的对应关系，对骨骼点图进行识别处理，确定骨骼点图对应的目标控制指令。
执行单元83，用于执行目标控制指令。
本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
在一个示例中，在图12所示实施例的基础上，确定单元82，具体用于：
基于预设的骨骼点图与控制指令之间的对应关系，通过显示设备中已开启的骨骼点图识别模式对骨骼点图进行识别处理，确定骨骼点图对应的目标控制指令。
一个示例中，与指示图像对应的骨骼点图是根据第一帧指示图像的初始的骨骼点图与最后一帧指示图像的初始的骨骼点图确定的，或者，与指示图像对应的骨骼点图是根据初始的骨骼点图确定的，其中，初始的骨骼点图是对每一帧指示图像进行识别处理得到的。
一个示例中，骨骼点图的发送顺序是根据骨骼点图的生成时间确定的。
一个示例中，指示动作包括手势动作和/或肢体动作。
一个示例中，电子设备与显示设备之间的连接方式包括有线连接和无线连接，其中，有线连接是电子设备的充电接口和显示设备的通用串行总线接口确定的；无线连接包括蓝牙无线技术、局域网协议、近场通信、或广域网服务器。
一个示例中，电子设备与显示设备之间的通信连接，是根据针对手势图像转换模式的选择操作断开的。
本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
图13为本申请实施例提供的一种电子设备的结构示意图，电子设备可以为手机、可外挂的摄像头模组等，如图13所示，电子设备包括：存储器91，处理器92。
存储器91中存储有可在处理器92上运行的计算机程序。
处理器92被配置为执行如上述实施例提供的方法。
电子设备还包括接收器93和发送器94。接收器93用于接收外部设备发送的指令和数据，发送器94用于向外部设备发送指令和数据。
图14为本申请实施例提供的一种显示设备的结构示意图，如图14所示，显示设备包括：存储器101，处理器102。
存储器101中存储有可在处理器102上运行的计算机程序。
处理器102被配置为执行如上述实施例提供的方法。
显示设备还包括接收器103和发送器104。接收器103用于接收外部设备发送的指令和数据，发送器104用于向外部设备发送指令和数据。
图15是本申请实施例提供的一种电子设备的框图，该电子设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
装置1100可以包括以下一个或多个组件：处理组件1102，存储器1104，电源组件1106，多媒体组件1108，音频组件1110，输入/输出(I/O)接口1112，传感器组件1114，以及通信组件1116。
处理组件1102通常控制装置1100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1102可以包括一个或多个处理器1120来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1102可以包括一个或多个模块，便于处理组件1102和其他组件之间的交互。例如，处理组件1102可以包括多媒体模块，以方便多媒体组件1108和处理组件1102之间的交互。
存储器1104被配置为存储各种类型的数据以支持在装置1100的操作。这些数据的示例包括用于在装置1100上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1106为装置1100的各种组件提供电力。电源组件1106可以包括电源管理***，一个或多个电源，及其他与为装置1100生成、管理和分配电力相关联的组件。
多媒体组件1108包括在装置1100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1108包括一个前置摄像头和/或后置摄像头。当装置1100处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件1110被配置为输出和/或输入音频信号。例如，音频组件1110包括一个麦克风(MIC)，当装置1100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1104或经由通信组件1116发送。在一些实施例中，音频组件1110还包括一个扬声器，用于输出音频信号。
I/O接口1112为处理组件1102和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1114包括一个或多个传感器，用于为装置1100提供各个方面的状态评估。例如，传感器组件1114可以检测到装置1100的打开/关闭状态，组件的相对定位，例如组件为装置1100的显示器和小键盘，传感器组件1114还可以检测装置1100或装置1100一个组件的位置改变，用户与装置1100接触的存在或不存在，装置1100方位或加速/减速和装置1100的温度变化。传感器组件1114可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1114还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1114还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1116被配置为便于装置1100和其他设备之间有线或无线方式的通信。装置1100可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1116经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，通信组件1116还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置1100可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1104，上述指令可由装置1100的处理器1120执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本申请实施例还提供了一种非临时性计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例提供的方法。
本申请实施例还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (26)

1.一种基于图像识别的交互控制方法，其特征在于，应用于电子设备，所述电子设备与显示设备通信连接；所述方法包括：
若确定所述电子设备处于手势图像转换模式下，则通过所述电子设备的摄像头对用户的指示动作进行拍摄，得到多帧指示图像；
对多帧所述指示图像进行识别处理，得到与所述指示图像对应的骨骼点图；其中，所述骨骼点图包括与所述指示图像中的指示动作对应的指示骨骼信息；
将所述骨骼点图发送至所述显示设备，以使所述显示设备基于预设的骨骼点图与控制指令之间的对应关系，对所述骨骼点图进行识别处理，确定所述骨骼点图对应的目标控制指令，并执行所述目标控制指令。
2.根据权利要求1所述的方法，其特征在于，对多帧所述指示图像进行识别处理，得到与所述指示图像对应的骨骼点图，包括：
对多帧指示图像进行识别处理，得到与每一帧指示图像对应的初始的骨骼点图；
若确定每一帧指示图像对应的初始的骨骼点图均相同，则确定初始的所述骨骼点图为与所述指示图像对应的骨骼点图；
若确定每一帧指示图像对应的初始的骨骼点图均不相同，则确定第一帧指示图像的初始的骨骼点图与最后一帧指示图像的初始的骨骼点图均为与所述指示图像对应的骨骼点图。
3.根据权利要求1所述的方法，其特征在于，所述骨骼点图对应的目标控制指令，是基于预设的骨骼点图与控制指令之间的对应关系，通过所述显示设备中已开启的骨骼点图识别模式对所述骨骼点图进行识别处理得到的。
4.根据权利要求1所述的方法，其特征在于，将所述骨骼点图发送至所述显示设备，包括：
若存在多个所述骨骼点图，则根据所述骨骼点图的生成时间，依次将所述骨骼点图发送至所述显示设备。
5.根据权利要求1所述的方法，其特征在于，所述指示动作包括手势动作和/或肢体动作。
6.根据权利要求1所述的方法，其特征在于，所述电子设备与所述显示设备之间的连接方式包括有线连接和无线连接，其中，所述有线连接是电子设备的充电接口和显示设备的通用串行总线接口之间的线路连接；所述无线连接包括蓝牙通讯技术、局域网协议、近场通信、或广域网服务器。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
响应于针对所述手势图像转换模式的选择操作，断开所述电子设备与所述显示设备之间的通信连接。
8.一种基于图像识别的交互控制方法，其特征在于，应用于显示设备，所述显示设备与电子设备通信连接；所述方法包括：
接收所述电子设备发送的骨骼点图；其中，所述骨骼点图是对指示图像进行识别处理得到的，所述指示图像是在所述电子设备处于手势图像转换模式下，通过所述电子设备的摄像头对用户的指示动作进行拍摄得到的；
基于预设的骨骼点图与控制指令之间的对应关系，对所述骨骼点图进行识别处理，确定所述骨骼点图对应的目标控制指令，并执行所述目标控制指令。
9.根据权利要求8所述的方法，其特征在于，基于预设的骨骼点图与控制指令之间的对应关系，对所述骨骼点图进行识别处理，确定所述骨骼点图对应的目标控制指令，包括：
基于预设的骨骼点图与控制指令之间的对应关系，通过所述显示设备中已开启的骨骼点图识别模式对所述骨骼点图进行识别处理，确定所述骨骼点图对应的目标控制指令。
10.根据权利要求8所述的方法，其特征在于，与所述指示图像对应的骨骼点图是根据第一帧指示图像的初始的骨骼点图与最后一帧指示图像的初始的骨骼点图确定的，或者，与所述指示图像对应的骨骼点图是根据初始的所述骨骼点图确定的，其中，初始的所述骨骼点图是对每一帧所述指示图像进行识别处理得到的。
11.根据权利要求8所述的方法，其特征在于，所述骨骼点图的发送顺序是根据所述骨骼点图的生成时间确定的。
12.根据权利要求8所述的方法，其特征在于，所述指示动作包括手势动作和/或肢体动作。
13.根据权利要求8所述的方法，其特征在于，所述电子设备与所述显示设备之间的连接方式包括有线连接和无线连接，其中，所述有线连接是电子设备的充电接口和显示设备的通用串行总线接口确定的；所述无线连接包括蓝牙无线技术、局域网协议、近场通信、或广域网服务器。
14.根据权利要求8-13任一项所述的方法，其特征在于，所述电子设备与所述显示设备之间的通信连接，是根据针对所述手势图像转换模式的选择操作断开的。
15.一种基于图像识别的交互控制装置，其特征在于，应用于电子设备，所述电子设备与显示设备通信连接；所述装置包括：
拍摄单元，用于若确定所述电子设备处于手势图像转换模式下，则通过所述电子设备的摄像头对用户的指示动作进行拍摄，得到多帧指示图像；
识别单元，用于对多帧所述指示图像进行识别处理，得到与所述指示图像对应的骨骼点图；其中，所述骨骼点图包括与所述指示图像中的指示动作对应的指示骨骼信息；
发送单元，用于将所述骨骼点图发送至所述显示设备，以使所述显示设备基于预设的骨骼点图与控制指令之间的对应关系，对所述骨骼点图进行识别处理，确定所述骨骼点图对应的目标控制指令，并执行所述目标控制指令。
16.一种基于图像识别的交互控制装置，其特征在于，应用于显示设备，所述显示设备与电子设备通信连接；所述装置包括：
接收单元，用于接收所述电子设备发送的骨骼点图；其中，所述骨骼点图是对指示图像进行识别处理得到的，所述指示图像是在所述电子设备处于手势图像转换模式下，通过所述电子设备的摄像头对用户的指示动作进行拍摄得到的；
确定单元，用于基于预设的骨骼点图与控制指令之间的对应关系，对所述骨骼点图进行识别处理，确定所述骨骼点图对应的目标控制指令；
执行单元，用于执行所述目标控制指令。
17.根据权利要求16所述的装置，其特征在于，所述确定单元，具体用于：
基于预设的骨骼点图与控制指令之间的对应关系，通过所述显示设备中已开启的骨骼点图识别模式对所述骨骼点图进行识别处理，确定所述骨骼点图对应的目标控制指令。
18.根据权利要求16所述的装置，其特征在于，与所述指示图像对应的骨骼点图是根据第一帧指示图像的初始的骨骼点图与最后一帧指示图像的初始的骨骼点图确定的，或者，与所述指示图像对应的骨骼点图是根据初始的所述骨骼点图确定的，其中，初始的所述骨骼点图是对每一帧所述指示图像进行识别处理得到的。
19.根据权利要求16所述的装置，其特征在于，所述骨骼点图的发送顺序是根据所述骨骼点图的生成时间确定的。
20.根据权利要求16所述的装置，其特征在于，所述指示动作包括手势动作和/或肢体动作。
21.根据权利要求16所述的装置，其特征在于，所述电子设备与所述显示设备之间的连接方式包括有线连接和无线连接，其中，所述有线连接是电子设备的充电接口和显示设备的通用串行总线接口确定的；所述无线连接包括蓝牙无线技术、局域网协议、近场通信、或广域网服务器。
22.根据权利要求16-21任一项所述的装置，其特征在于，所述电子设备与所述显示设备之间的通信连接，是根据针对所述手势图像转换模式的选择操作断开的。
23.一种电子设备，其特征在于，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-7中任一项所述的方法。
24.一种显示设备，其特征在于，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求8-14中任一项所述的方法。
25.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的方法，或者，实现权利要求8-14中任一项所述的方法。
26.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法，或者，实现权利要求8-14中任一项所述的方法。
CN202211179850.3A 2022-09-27 2022-09-27 基于图像识别的交互控制方法、装置及设备 Pending CN115576417A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211179850.3A CN115576417A (zh) 2022-09-27 2022-09-27 基于图像识别的交互控制方法、装置及设备
PCT/CN2023/121042 WO2024067468A1 (zh) 2022-09-27 2023-09-25 基于图像识别的交互控制方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211179850.3A CN115576417A (zh) 2022-09-27 2022-09-27 基于图像识别的交互控制方法、装置及设备

Publications (1)

Publication Number Publication Date
CN115576417A true CN115576417A (zh) 2023-01-06

Family

ID=84582516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211179850.3A Pending CN115576417A (zh) 2022-09-27 2022-09-27 基于图像识别的交互控制方法、装置及设备

Country Status (2)

Country Link
CN (1) CN115576417A (zh)
WO (1) WO2024067468A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024067468A1 (zh) * 2022-09-27 2024-04-04 广州视琨电子科技有限公司 基于图像识别的交互控制方法、装置及设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013037454A (ja) * 2011-08-05 2013-02-21 Ikutoku Gakuen 姿勢判定方法、プログラム、装置、システム
CN109116987B (zh) * 2018-08-13 2022-04-08 连云港易圣游网络科技有限公司 一种基于Kinect手势控制的全息展示***
CN110947181A (zh) * 2018-09-26 2020-04-03 Oppo广东移动通信有限公司 游戏画面显示方法、装置、存储介质及电子设备
CN110045819B (zh) * 2019-03-01 2021-07-09 华为技术有限公司 一种手势处理方法及设备
CN110956124A (zh) * 2019-11-27 2020-04-03 云南电网有限责任公司电力科学研究院 一种基于手势的显示设备控制方法和显示设备
CN111062312B (zh) * 2019-12-13 2023-10-27 RealMe重庆移动通信有限公司 手势识别方法、手势控制方法、装置、介质与终端设备
CN114724241A (zh) * 2022-03-29 2022-07-08 平安科技（深圳）有限公司 基于骨骼点距离的动作识别方法、装置、设备及存储介质
CN115097936B (zh) * 2022-06-16 2023-03-24 慧之安信息技术股份有限公司 基于手势动作深度学习的显示屏控制方法
CN115576417A (zh) * 2022-09-27 2023-01-06 广州视琨电子科技有限公司 基于图像识别的交互控制方法、装置及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024067468A1 (zh) * 2022-09-27 2024-04-04 广州视琨电子科技有限公司 基于图像识别的交互控制方法、装置及设备

Also Published As

Publication number Publication date
WO2024067468A1 (zh) 2024-04-04

Similar Documents

Publication Publication Date Title
CN106797416B (zh) 屏幕控制方法及装置
US11451706B2 (en) Photographing method and mobile terminal
EP3322227B1 (en) Methods and apparatuses for controlling wireless connection, computer program and recording medium
CN111601065A (zh) 视频通话控制方法、装置及电子设备
CN112905089A (zh) 设备控制方法及装置
CN111540350B (zh) 一种智能语音控制设备的控制方法、装置及存储介质
WO2024067468A1 (zh) 基于图像识别的交互控制方法、装置及设备
CN112217987B (zh) 一种拍摄控制方法、装置及存储介质
CN107948876B (zh) 控制音箱设备的方法、装置及介质
CN111225111A (zh) 功能控制方法、功能控制装置及存储介质
CN106919332B (zh) 信息传输方法及设备
CN113192312B (zh) 设备控制方法、装置、电子设备及存储介质
CN112954596B (zh) 数据共享方法、装置、设备及存储介质
US11252341B2 (en) Method and device for shooting image, and storage medium
CN112068761B (zh) 触屏数据处理方法、触屏数据处理装置及存储介质
CN111538543B (zh) 失物查找方法、装置及存储介质
CN114296587A (zh) 光标控制方法、装置、电子设备和存储介质
CN113315904B (zh) 拍摄方法、拍摄装置及存储介质
CN111147745B (zh) 拍摄方法、装置、电子设备及存储介质
CN114339019A (zh) 对焦方法、对焦装置及存储介质
US20240056921A1 (en) Connection method and apparatus for wireless smart wearable device and storage medium
CN110955328B (zh) 电子设备的控制方法、装置及存储介质
CN110647281B (zh) 防误触方法、装置及存储介质
CN108234867B (zh) 图像处理方法及移动终端
CN114860075A (zh) 输入控制方法、装置、***、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination