CN115268743A - 图像处理方法、装置、电子设备、信息输入***和介质 - Google Patents

图像处理方法、装置、电子设备、信息输入***和介质 Download PDF

Info

Publication number
CN115268743A
CN115268743A CN202210911886.XA CN202210911886A CN115268743A CN 115268743 A CN115268743 A CN 115268743A CN 202210911886 A CN202210911886 A CN 202210911886A CN 115268743 A CN115268743 A CN 115268743A
Authority
CN
China
Prior art keywords
interactive
mouse
image
interaction
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210911886.XA
Other languages
English (en)
Inventor
曹莉
马骏生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202210911886.XA priority Critical patent/CN115268743A/zh
Publication of CN115268743A publication Critical patent/CN115268743A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)

Abstract

本实施例公开了一种图像处理方法、装置、电子设备、信息输入***和计算机存储介质，该方法包括：获取双目相机采集的至少两帧图像，所述至少两帧图像中的每帧图像表示交互对象和交互设备的图像，所述交互设备包括壳体和位于所述壳体之上的至少两个采用弹性材料制成的交互区域；通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序；基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，所述输入数据表示通过所述交互设备向主机输入的数据。

Description

图像处理方法、装置、电子设备、信息输入***和介质
技术领域
本公开涉及但不限于计算机视觉处理技术，尤其涉及一种图像处理方法、装置、电子设备、信息输入***和计算机存储介质。
背景技术
在相关技术中，键盘和鼠标的实现方案至少有两种，其中，第一种方案为：键盘和鼠标为实体的键盘和鼠标，采用第一种方案，在按压键盘和鼠标的情况下，会产生大量的噪音；第二种方案为：采用激光投影的虚拟键鼠设备，或者，采用虚拟现实(Virtual Reality，VR)键鼠，第二种方案会带来较高的成本和功耗。
发明内容
本公开实施例至少提供了一种图像处理方法、装置、对弈机器人和计算机存储介质。
本公开实施例提供了一种图像处理方法，该方法可以包括：获取双目相机采集的至少两帧图像，所述至少两帧图像中的每帧图像表示交互对象和交互设备的图像，所述交互设备包括壳体和位于所述壳体之上的至少两个采用弹性材料制成的交互区域；通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序；基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，所述输入数据表示通过所述交互设备向主机输入的数据。
在一些实施例中，所述通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序，包括：对所述至少两帧图像中的所述交互对象和所述交互设备进行目标识别，确定所述至少两帧图像的每帧图像中所述交互对象与所述至少两个交互区域的相对位置；基于所述至少两帧图像中各帧图像的时序、以及所述每帧图像中所述交互对象与所述至少两个交互区域的相对位置，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序。
可以看出，本公开实施例可以基于每帧图像中交互对象与所述至少两个交互区域的相对位置，确定交互对象按压至少两个交互区域中各个交互区域的按压动作，然后，结合至少两帧图像中各帧图像的时序，较为准确地确定出各个按压动作之间的先后顺序，从而可以较为准确地确定输入数据。
在一些实施例中，所述方法还包括：获取所述至少两帧图像的每帧图像中各个像素点的深度信息；所述对所述至少两帧图像中的所述交互对象和所述交互设备进行目标识别，确定所述至少两帧图像的每帧图像中所述交互对象与所述至少两个交互区域的相对位置，包括：对所述每帧图像中所述交互对象与所述至少两个交互区域进行目标识别，确定所述交互对象与所述至少两个交互区域在所述每帧图像中的位置；基于所述每帧图像中各个像素点的深度信息、以及所述交互对象与所述至少两个交互区域在所述每帧图像中的位置，确定所述交互对象的深度信息与所述至少两个交互区域的深度信息；基于所述交互对象与所述至少两个交互区域在所述每帧图像中的位置、所述交互对象与所述至少两个交互区域的深度信息，确定所述交互对象与所述至少两个交互区域的三维空间位置；基于所述交互对象与所述至少两个交互区域的三维空间位置，确定所述交互对象与所述至少两个交互区域的相对位置。
可以看出，本公开实施例可以根据每帧图像中各个像素点的深度信息，较为准确地确定交互对象与交互区域的三维空间位置，从而较为准确地确定交互对象与交互区域的相对位置。
在一些实施例中，所述基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，包括：基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定所述至少两个交互区域中每个被按压的交互区域对应的输入信息、以及所述每个被按压的交互区域的按压时间点；基于所述每个被按压的交互区域对应的输入信息、以及所述每个被按压的交互区域的按压时间点，确定输入数据。
可以看出，本公开实施例可以基于交互区域对应的输入信息、以及交互区域被按压的时间点，较为准确地确定出输入数据。
在一些实施例中，所述交互设备为鼠标；所述方法还包括：通过对所述至少两帧图像中的所述交互对象和所述鼠标进行目标跟踪，确定所述鼠标至少一次移动的移动信息，所述鼠标每次移动的移动信息包括位置变化信息、移动开始时间和移动结束时间；所述基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，包括：基于所述交互对象按压所述鼠标的各交互区域的时序、以及所述鼠标至少一次移动的移动信息，确定所述输入数据。
可以看出，本公开实施例可以基于鼠标至少一次移动的移动信息、以及交互对象按压鼠标的各交互区域的时序，确定输入数据；由于在鼠标的交互区域被按压后鼠标的移动信息可以反映鼠标的拖动操作，从而，本公开实施例可以识别鼠标的拖动操作，有利于较为全面地实现鼠标向主机输入数据。
在一些实施例中，所述鼠标上设置有滚轮；所述方法还包括：通过对所述至少两帧图像中的所述交互对象和所述鼠标的滚轮进行目标跟踪，确定通过所述交互对象实现的至少一次滚轮动作；确定所述至少一次滚轮动作中每次滚轮动作的属性数据，所述属性数据包括：滚轮动作的开始时间点、滚轮动作的持续时长、以及滚轮动作的滚轮速度；相应地，所述基于所述交互对象按压所述鼠标的各交互区域的时序、以及所述鼠标至少一次移动的移动信息，确定所述输入数据，包括：基于所述交互对象按压所述鼠标的各交互区域的时序、所述鼠标至少一次移动的移动信息、以及所述至少一次滚轮动作中每次滚轮动作的属性数据，确定所述输入数据。
可以看出，本公开实施例可以在确定交互对象按压鼠标的各交互区域的时序的基础上，通过识别鼠标至少一次移动的移动信息，确定鼠标的拖动事件；并且，可以通过确定至少一次滚轮动作中每次滚轮动作的属性数据，识别鼠标的至少一次滚轮动作，从而可以更加全面地识别通过鼠标输入主机的数据。
本公开实施例还提供了一种图像处理装置，该装置可以包括：获取模块、第一处理模块和第二处理模块；其中，获取模块，用于获取双目相机采集的至少两帧图像，所述至少两帧图像中的每帧图像表示交互对象和交互设备的图像，所述交互设备包括壳体和位于所述壳体之上的至少两个采用弹性材料制成的交互区域；第一处理模块，用于通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序；第二处理模块，用于基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，所述输入数据表示通过所述交互设备向主机输入的数据。
在一些实施例中，所述第一处理模块，用于通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序，包括：对所述至少两帧图像中的所述交互对象和所述交互设备进行目标识别，确定所述至少两帧图像的每帧图像中所述交互对象与所述至少两个交互区域的相对位置；基于所述至少两帧图像中各帧图像的时序、以及所述每帧图像中所述交互对象与所述至少两个交互区域的相对位置，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序。
可以看出，本公开实施例可以基于每帧图像中交互对象与所述至少两个交互区域的相对位置，确定交互对象按压至少两个交互区域中各个交互区域的按压动作，然后，结合至少两帧图像中各帧图像的时序，较为准确地确定出各个按压动作之间的先后顺序，从而可以较为准确地确定输入数据。
在一些实施例中，所述获取模块，还用于获取所述至少两帧图像的每帧图像中各个像素点的深度信息；所述第一处理模块，用于对所述至少两帧图像中的所述交互对象和所述交互设备进行目标识别，确定所述至少两帧图像的每帧图像中所述交互对象与所述至少两个交互区域的相对位置，包括：对所述每帧图像中所述交互对象与所述至少两个交互区域进行目标识别，确定所述交互对象与所述至少两个交互区域在所述每帧图像中的位置；基于所述每帧图像中各个像素点的深度信息、以及所述交互对象与所述至少两个交互区域在所述每帧图像中的位置，确定所述交互对象的深度信息与所述至少两个交互区域的深度信息；基于所述交互对象与所述至少两个交互区域在所述每帧图像中的位置、所述交互对象与所述至少两个交互区域的深度信息，确定所述交互对象与所述至少两个交互区域的三维空间位置；基于所述交互对象与所述至少两个交互区域的三维空间位置，确定所述交互对象与所述至少两个交互区域的相对位置。
可以看出，本公开实施例可以根据每帧图像中各个像素点的深度信息，较为准确地确定交互对象与交互区域的三维空间位置，从而较为准确地确定交互对象与交互区域的相对位置。
在一些实施例中，所述第二处理模块，用于基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，包括：基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定所述至少两个交互区域中每个被按压的交互区域对应的输入信息、以及所述每个被按压的交互区域的按压时间点；基于所述每个被按压的交互区域对应的输入信息、以及所述每个被按压的交互区域的按压时间点，确定输入数据。
可以看出，本公开实施例可以基于交互区域对应的输入信息、以及交互区域被按压的时间点，较为准确地确定出输入数据。
在一些实施例中，所述交互设备为鼠标；所述第一处理模块，还用于通过对所述至少两帧图像中的所述交互对象和所述鼠标进行目标跟踪，确定所述鼠标至少一次移动的移动信息，所述鼠标每次移动的移动信息包括位置变化信息、移动开始时间和移动结束时间；所述第二处理模块，用于基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，包括：基于所述交互对象按压所述鼠标的各交互区域的时序、以及所述鼠标至少一次移动的移动信息，确定所述输入数据。
可以看出，本公开实施例可以基于鼠标至少一次移动的移动信息、以及交互对象按压鼠标的各交互区域的时序，确定输入数据；由于在鼠标的交互区域被按压后鼠标的移动信息可以反映鼠标的拖动操作，从而，本公开实施例可以识别鼠标的拖动操作，有利于较为全面地实现鼠标向主机输入数据。
在一些实施例中，所述鼠标上设置有滚轮；所述第一处理模块，还用于通过对所述至少两帧图像中的所述交互对象和所述鼠标的滚轮进行目标跟踪，确定通过所述交互对象实现的至少一次滚轮动作；确定所述至少一次滚轮动作中每次滚轮动作的属性数据，所述属性数据包括：滚轮动作的开始时间点、滚轮动作的持续时长、以及滚轮动作的滚轮速度；相应地，所述第二处理模块，用于基于所述交互对象按压所述鼠标的各交互区域的时序、以及所述鼠标至少一次移动的移动信息，确定所述输入数据，包括：基于所述交互对象按压所述鼠标的各交互区域的时序、所述鼠标至少一次移动的移动信息、以及所述至少一次滚轮动作中每次滚轮动作的属性数据，确定所述输入数据。
可以看出，本公开实施例可以在确定交互对象按压鼠标的各交互区域的时序的基础上，通过识别鼠标至少一次移动的移动信息，确定鼠标的拖动事件；并且，可以通过确定至少一次滚轮动作中每次滚轮动作的属性数据，识别鼠标的至少一次滚轮动作，从而可以更加全面地识别通过鼠标输入主机的数据。
本公开实施例还提供了一种电子设备，该电子设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序以执行上述任意一种图像处理方法。
本公开实施例还提供了一种信息输入***，所述信息输入***与主机形成通信连接，所述信息输入***包括双目相机和至少一个交互设备，所述信息输入***还包括上述任意一种图像处理装置或上述任意一种电子设备。
本公开实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种图像处理方法。
可以看出，本公开实施例无需采用传统的键鼠设备，也无需采用相关技术中的激光投影的虚拟键盘、以及VR键盘，而是可以通过目标跟踪技术识别交互对象按压交互区域的动作，从而，确定出交互设备向主机输入的数据；一方面，在交互设备的内部不设置弹簧、开关组件、以及电路阵列结构的情况下，同样可以采用目标跟踪技术识别交互设备向主机输入的数据，因此，在一定程度上降低了交互设备发出的噪音，有利于实现静音按压；另一方面，本公开实施例无需使用激光投影设备或VR设备，而是可以通过成本和功耗较低的双目相机采集图像，与相关技术中激光投影的虚拟键鼠设备或VR键鼠相比，可以降低成本和功耗。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本公开实施例的一种图像处理方法的流程图；
图2为本公开实施例的另一种图像处理方法的流程图；
图3为本公开实施例中确定交互对象与至少两个交互区域的相对位置的流程示意图；
图4为本公开实施例的又一种图像处理方法的流程图；
图5为本公开实施例的又一种图像处理方法的流程图；
图6为本公开实施例的又一种图像处理方法的流程图；
图7为本公开实施例中信息输入***的空间分布示意图；
图8为本公开实施例中信息输入***和主机之间的电路连接示意图；
图9为本公开实施例中向主机输入数据的方法的流程示意图；
图10为本公开实施例的数据处理装置的结构示意图；
图11为本公开实施例中电子设备的一种硬件实体示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面结合附图和实施例对本公开的技术方案进一步详细阐述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开的目的，不是旨在限制本公开。
为了更好地理解本公开实施例的技术方案，下面先对相关技术中的键鼠设备进行说明。
在相关技术中，写字楼里的公司多采用职员集中办公的模式，除了少数高职位人员有独立办公室之外，绝大部分的职员的办公桌紧邻，所以办公室最常听到的声音就是敲击键盘和点击鼠标的声音，虽然随着制造技术的提升，此种噪声有一些改善，但还是做不到消除静音，这使经常需要安静、需要静心思考的人不堪其扰，在一定程度上降低了工作效率。除了静音问题，在键盘和鼠标使用较长时间后，机械键盘鼠标还容易藏污纳垢，并且不易清洗，不利于改善办公室环境。
针对键鼠也有其它的实现方式，例如，激光投影的虚拟键盘，或者是VR虚拟键盘，然而，这种方案也存在明显的缺点，即，要么改变人们多年的习惯使用方式，要么毫无手感而言；并且，激光投影需发射光源，对人眼不利，功耗大大增加，VR虚拟键盘的整个***架构复杂，成本较高，使用面窄，也就是说，这种方案的成本及功耗方面也较高，因此，用户接受程度不是很高。
针对上述技术问题，本公开实施例提出了一种图像处理方法，可以应用于电子设备中，电子设备可以包括处理器。上述处理器可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field－Programmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。
图1为本公开实施例的一种图像处理方法的流程图，如图1所示，该流程可以包括：
步骤101：获取双目相机采集的至少两帧图像，至少两帧图像中的每帧图像表示交互对象和交互设备的图像，交互设备包括壳体和位于壳体之上的至少两个采用弹性材料制成的交互区域。
本公开实施例中，双目相机为采用双目立体视觉技术的设备，基于双目相机采集的图像，可以确定图像中每一像素点的深度信息，从而可以确定图像每一个像素点对应的三维空间位置。
双目相机可以实时采集图像，双目相机采集的至少两帧图像可以是连续采集的图像，也可以不是连续采集的图像；在实际应用中，可以确定双目相机采集的每帧图像的采集时刻，从而，可以确定双目相机采集的至少两帧图像的时序。
双目相机与上述电子设备可以形成通信连接，以便于将双目相机采集的图像发送至电子设备；示例性地，双目相机可以通过通用串行总线(Universal Serial Bus，USB)或其它类型的通信总线与电子设备连接。
本公开实施例中，交互对象可以是人的手指等用于操作交互设备的对象，交互设备可以是键盘、鼠标等仿真实体设备；交互设备中的壳体可以位于交互设备的底部，用于支撑交互区域；交互区域可以是仿真实体按键等。
由于交互设备的交互区域是采用弹性材料制成的，因此，无需在交互设备的内部设置弹簧等器件，在按压交互区域后松开，交互区域会自动恢复原状。
这里，交互设备与常规的机械键鼠设备存在区别，交互设备可以仅包括壳体以及交互区域，内部无需设置弹簧、开关组件以及电路阵列结构。
步骤102：通过对至少两帧图像中的交互对象和交互设备进行目标跟踪，确定交互对象按压至少两个交互区域中的各交互区域的时序。
本公开实施例中，可以通过至少两帧图像中的交互对象和交互设备进行目标跟踪，确定交互对象按压至少两个交互区域中的各交互区域的动作；而交互对象按压至少两个交互区域中的各交互区域的动作的先后关系可以根据至少两帧图像的时序得出。
步骤103：基于交互对象按压至少两个交互区域中的各交互区域的时序，确定输入数据，输入数据表示通过交互设备向主机输入的数据。
本公开实施例中，主机可以是个人计算机(Personal Computer，PC)、移动设备等终端设备。电子设备可以与主机形成通信连接，在一种实现方式中，为了实现电子设备与主机之间的可靠数据传输，电子设备可以通过USB3.0与主机进行数据交互。
这里，基于交互对象按压至少两个交互区域中的各交互区域的时序，可以确定交互对象按压至少两个交互区域中的各交互区域的动作的时间先后顺序，从而，按照交互对象按压至少两个交互区域中的各交互区域的动作的时间先后顺序，将交互对象按压至少两个交互区域中的各交互区域的动作依次记录，根据依次记录的动作，可以确定输入数据。在一个示例中，交互设备为仿真实体键盘，在人手先后按压仿真实体键盘的g键、u键和o键的情况下，可以认为输入数据为“guo”；在另一个示例中，交互设备为仿真实体鼠标，在人手在先后按压仿真实体鼠标的左键的两次，且两次按压仿真实体鼠标的左键的时间间隔小于0.5秒的情况下，可以认为输入数据为鼠标的双击事件。
可以看出，本公开实施例无需采用传统的键鼠设备，也无需采用相关技术中的激光投影的虚拟键盘、以及VR键盘，而是可以通过目标跟踪技术识别交互对象按压交互区域的动作，从而，确定出交互设备向主机输入的数据；一方面，在交互设备的内部不设置弹簧、开关组件、以及电路阵列结构的情况下，，在一定程度上降低了交互设备发出的噪音，有利于实现静音按压；另一方面，本公开实施例无需使用激光投影设备或VR设备，而是可以通过成本和功耗较低的双目相机采集图像，与相关技术中激光投影的虚拟键鼠设备或VR键鼠相比，可以降低成本和功耗。
本公开的一些实施例中，参照图2，本公开实施例的另一种图像处理方法的流程可以包括：
步骤201：获取双目相机采集的至少两帧图像，至少两帧图像中的每帧图像表示交互对象和交互设备的图像。
这里，上述步骤201对应于前述步骤101，在实施时可以参照前述步骤101的具体实施方式。
步骤202：对至少两帧图像中的交互对象和交互设备进行目标识别，确定至少两帧图像的每帧图像中交互对象与至少两个交互区域的相对位置。
本公开实施例中，可以对每帧图像中的交互对象和交互设备分别进行目标识别，确定交互对象和交互设备在每帧图像中的位置和姿态；基于交互对象和交互设备在每帧图像中的位置和姿态，可以确定每帧图像中交互对象与至少两个交互区域的相对位置；可以理解地，基于每帧图像中交互对象与至少两个交互区域的相对位置，可以识别定交互对象按压的交互区域的类型，例如，可以识别人手按压的按键的种类。
步骤203：基于至少两帧图像中各帧图像的时序、以及每帧图像中交互对象与所述至少两个交互区域的相对位置，确定交互对象按压至少两个交互区域中的各交互区域的时序。
本公开实施例中，在确定每帧图像中交互对象与所述至少两个交互区域的相对位置后，结合至少两帧图像中各帧图像的时序，可以确定交互对象先后按压的按压区域，例如，可以确定人手先后按压的按键。
在一些实施例中，还可以通过对每帧图像中的交互对象和交互设备进行目标识别，确定每帧图像中交互对象的姿态与至少两个交互区域的姿态，从而，基于每帧图像中交互对象与至少两个交互区域的相对位置、以及交互对象的姿态与至少两个交互区域的姿态，可以确定每帧图像中交互对象与至少两个交互区域的相对位姿；基于少两帧图像中各帧图像的时序、以及每帧图像中交互对象与所述至少两个交互区域的相对位姿，确定交互对象按压至少两个交互区域中的交互区域的时序。
步骤204：基于交互对象按压至少两个交互区域中的交互区域的时序，确定输入数据。
这里，上述步骤204对应于前述步骤103，在实施时可以参照前述步骤103的具体实施方式。
可以看出，本公开实施例可以基于每帧图像中交互对象与所述至少两个交互区域的相对位置，确定交互对象按压至少两个交互区域中各个交互区域的按压动作，然后，结合至少两帧图像中各帧图像的时序，较为准确地确定出各个按压动作之间的先后顺序，从而可以较为准确地确定输入数据。
本公开的一些实施例中，可以在获取双目相机采集的至少两帧图像后，获取至少两帧图像的每帧图像中各个像素点的深度信息。
相应地，参照图3，步骤202的实现流程可以包括：
步骤2021：对每帧图像中交互对象与至少两个交互区域进行目标识别，确定交互对象与至少两个交互区域在每帧图像中的位置。
步骤2022：基于每帧图像中各个像素点的深度信息、以及交互对象与至少两个交互区域在每帧图像中的位置，确定交互对象的深度信息与至少两个交互区域的深度信息。
这里，可以基于交互对象在每帧图像中的位置，在每帧图像中各个像素点的深度信息中，查找出每帧图像中交互对象的深度信息；同理，可以基于每个交互区域在每帧图像中的位置，在每帧图像的各个像素点的深度信息中，查找出每帧图像中每个交互区域的深度信息。
步骤2023：基于交互对象与至少两个交互区域在每帧图像中的位置、交互对象与至少两个交互区域的深度信息，确定交互对象与至少两个交互区域的三维空间位置。
本公开实施例中，交互对象的深度信息可以表示交互对象与深度相机之间的距离，从而，基于交互对象与深度相机之间的距离、以及交互对象在每帧图像中的位置，可以在世界坐标系中确定交互对象的三维坐标，即，确定出交互对象的三维空间位置；在一些实施例中，可以基于交互对象与深度相机之间的距离、以及交互对象在每帧图像中的位置，将交互对象在每帧图像的二维坐标位置，通过坐标系转换，得出世界坐标系中定交互对象的三维坐标。
同理，交互区域的深度信息可以表示交互区域与深度相机之间的距离，从而，基于交互区域与深度相机之间的距离、以及交互区域在每帧图像中的位置，可以在世界坐标系中确定交互区域的三维坐标，即，确定出交互区域的三维空间位置。
步骤2024：基于交互对象与至少两个交互区域的三维空间位置，确定交互对象与至少两个交互区域的相对位置。
这里，交互对象与至少两个交互区域的相对位置表示：交互对象与至少两个交互区域的三维空间位置的相对关系。
可以看出，本公开实施例可以根据每帧图像中各个像素点的深度信息，较为准确地确定交互对象与交互区域的三维空间位置，从而较为准确地确定交互对象与交互区域的相对位置。
本公开的一些实施例中，参照图4，本公开实施例的又一种图像处理方法的流程可以包括
步骤401：获取双目相机采集的至少两帧图像，至少两帧图像中的每帧图像表示交互对象和交互设备的图像。
步骤402：通过对至少两帧图像中的交互对象和交互设备进行目标跟踪，确定交互对象按压至少两个交互区域中的各交互区域的时序。
这里，上述步骤401至步骤402分别对应于前述步骤101至步骤102，在实施时可以参照前述步骤101至步骤102的具体实施方式。
步骤403：基于交互对象按压至少两个交互区域中的各交互区域的时序，确定至少两个交互区域中每个被按压的交互区域对应的输入信息、以及每个被按压的交互区域的按压时间点。
步骤404：基于每个被按压的交互区域对应的输入信息、以及每个被按压的交互区域的按压时间点，确定输入数据。
示例性地，交互区域为仿真实体键盘的仿真实体按键，仿真实体按键a被按压的时间点为时间点1，仿真实体按键b被按压的时间点为时间点2，时间点2晚于时间点1，仿真实体按键a对应的输入信息为“a”，仿真实体按键b对应的输入信息为“b”，输入数据为“ab”。
可以看出，本公开实施例可以基于交互区域对应的输入信息、以及交互区域被按压的时间点，较为准确地确定出输入数据。
本公开的一些实施例中，上述交互设备为鼠标；可以通过对至少两帧图像中的交互对象和鼠标进行目标跟踪，确定鼠标至少一次移动的移动信息，鼠标每次移动的移动信息包括位置变化信息、移动开始时间和移动结束时间。
这里，位置变化信息可以包括鼠标本次移动前的位置、以及鼠标本次移动后的位置；结合移动开始时间和移动结束时间，可以确定鼠标本次移动导致的时空变化信息，即，鼠标本次移动的移动信息可以反映鼠标的时空变化信息。
相应地，参照图5，本公开实施例的又一种图像处理方法的流程可以包括：
步骤501：获取双目相机采集的至少两帧图像，至少两帧图像中的每帧图像表示交互对象和交互设备的图像。
步骤502：通过对至少两帧图像中的交互对象和交互设备进行目标跟踪，确定交互对象按压至少两个交互区域中的各交互区域的时序。
这里，上述步骤501至步骤502分别对应于前述步骤101至步骤102，在实施时可以参照前述步骤101至步骤102的具体实施方式。
步骤503：基于所交互对象按压鼠标的各交互区域的时序、以及鼠标至少一次移动的移动信息，确定输入数据。
这里，鼠标的交互区域可以包括鼠标的左键、右键等仿真实体按键，结合基于交互对象按压鼠标的交互区域的时序、以及鼠标至少一次移动的移动信息，可以确定使用鼠标拖动屏幕中信息的操作，将使用鼠标拖动屏幕中信息的操作确定为输入数据。
当然，在另一些实施例中，可以基于鼠标至少一次移动的移动信息，确定鼠标对应的光标的移动信息，从而，将鼠标对应的光标的移动信息确定为输入数据。
可以看出，本公开实施例可以基于鼠标至少一次移动的移动信息、以及交互对象按压鼠标的各交互区域的时序，确定输入数据；由于在鼠标的交互区域被按压后鼠标的移动信息可以反映鼠标的拖动操作，从而，本公开实施例可以识别鼠标的拖动操作，有利于较为全面地实现鼠标向主机输入数据。
本公开的一些实施例中，鼠标上还设置有滚轮。通过对至少两帧图像中的交互对象和鼠标的滚轮进行目标跟踪，确定通过交互对象实现的至少一次滚轮动作；确定至少一次滚轮动作中每次滚轮动作的属性数据，属性数据包括：滚轮动作的开始时间点、滚轮动作的持续时长、以及滚轮动作的滚轮速度。
这里，鼠标上设置的滚轮可以是仿真实体滚轮，该仿真实体滚轮可以与传统鼠标的滚轮一致，也可以采用硅胶等弹性材料制备。
结合前述记载的内容，在交互对象为人手的情况下，通过至少两帧图像中的交互对象和鼠标的滚轮进行目标跟踪，可以确定每次滚轮动作的属性数据，即可以识别出人手执行的每次滚轮动作。
相应地，参照图6，本公开实施例的又一种图像处理方法的流程可以包括：
步骤601：获取双目相机采集的至少两帧图像，至少两帧图像中的每帧图像表示交互对象和交互设备的图像。
步骤602：通过对至少两帧图像中的交互对象和交互设备进行目标跟踪，确定交互对象按压至少两个交互区域中的各交互区域的时序。
这里，上述步骤601至步骤602分别对应于前述步骤101至步骤102，在实施时可以参照前述步骤101至步骤102的具体实施方式。
步骤603：基于交互对象按压鼠标的各交互区域的时序、鼠标至少一次移动的移动信息、以及至少一次滚轮动作中每次滚轮动作的属性数据，确定输入数据。
可以看出，本公开实施例可以在确定交互对象按压鼠标的交互区域的时序的基础上，通过识别鼠标至少一次移动的移动信息，确定鼠标的拖动事件；并且，可以通过确定至少一次滚轮动作中每次滚轮动作的属性数据，识别鼠标的至少一次滚轮动作，从而可以更加全面地识别通过鼠标输入主机的数据。
基于前述实施例记载的内容，本公开实施例可以提供一个基于机器视觉的智能静音键鼠设备的方案。本公开实施例无需采用传统的机械键鼠，而是可以设计一套几乎完全静音的键鼠设备，从而有利于提供安静的工作环境；本公开实施例中的交互设备可以采用仿真硅胶实体制成，外观可以与传统的键鼠设备一致，这样，用户可以在不改变使用习惯的情况下使用本公开实施例的交互设备进行数据输入。
下面通过一个应用场景实施例对上述图像处理方法进行示例性说明。在该应用场景实施例中，可以通过信息输入***向主机输入数据，该信息输入***可以包括人工智能(Artificial Intelligence，AI)算法处理板、三维(3-Dimension，3D)双目摄像头、仿真实体键盘、仿真实体鼠标，其中，AI算法处理板为上述电子设备，AI算法处理板具有强大的图像数据处理能力；3D双目摄像头为深度相机，仿真实体键盘和仿真实体鼠标均为交互设备。交互设备的通信接口可以与传统的键鼠设备的通信接口相同。
图7为本公开实施例中信息输入***的空间分布示意图，参照图7，3D双目摄像头701可以通过支架702固定设置，支架702通过结构设计可以实现手动放平，以便于通过货物装箱运输；3D双目摄像头701的拍摄范围703(拍摄范围703为图7中虚线内的范围)覆盖仿真实体键盘704的使用范围和仿真实体鼠标705的使用范围，在3D双目摄像头701的拍摄范围703覆盖仿真实体键盘704的使用范围和仿真实体鼠标705的使用范围的情况下，3D双目摄像头701的拍摄不可以手工调整，以防止仿真实体键盘704和仿真实体鼠标705偏离3D双目摄像头701的拍摄范围。
3D双目摄像头701的拍摄范围703为椭圆区域，拍摄范围703可以覆盖仿真实体键盘704的全部区域、敲击键盘时左手可以处在的区域、敲击键盘时右手可以处在的区域、以及鼠标可以处在的区域。3D双目摄像头701可以采用高清星光级图像传感器采集图像，以便于弱光环境下也能采集到较为清晰的交互设备图像。
在一些实施例中，参照图7，AI算法处理板可以位于仿真实体键盘704的下方；仿真实体键盘704可以包括外壳以及使用硅胶制备的仿真实体按键，仿真实体鼠标705可以包括外壳以及使用硅胶制备的仿真实体按键，硅胶的硬度适中，便于用户操作。仿真实体键盘704可以在拆卸后进行清洗，仿真实体键盘704中的仿真实体按键为凸出的按键，并且具有丝印，仿真实体键盘704中的仿真实体按键具有一定的行程和按压手感。仿真实体鼠标705中除左键和右键外，还设置有一个滚轮，以便于兼容人们的习惯动作。
在一些实施例中，仿真实体键盘704和仿真实体鼠标705的内部并不其它机械部件、电路阵列结构、以及电池，并且，由于仿真实体键盘704和仿真实体鼠标705中的仿真实体按键可以采用具有弹性的硅胶制备，因此，按压仿真实体键盘704和仿真实体鼠标705发出的声音较小，几乎可以实现静音。仿真实体键盘704的尺寸和形状均可以传统的键盘保持一致，仿真实体鼠标705的尺寸和形状均可以传统的鼠标保持一致。
图8为本公开实施例中信息输入***和主机之间的电路连接示意图，如图8所示，3D双目摄像头701可以与AI算法处理板801形成通信连接，AI算法处理板801可以通过USB线缆802与主机803形成通信连接，示例性地，USB线缆802采用的通信协议为USB3.0协议，可以通过USB3.0接口对AI算法处理板801进行供电，从而可以使AI算法处理板801按照足够大的功率进行工作。在一些实施例中，3D双目摄像头701还可以与主机803形成通信连接。
本公开实施例提供了一种向主机输入数据的方法，可以应用于AI算法处理板801中，图9为本公开实施例中向主机输入数据的方法的流程示意图，如图9所示，该流程可以包括：
步骤901：判断是否自检成功；如果否，则执行步骤902，如果是，则执行步骤903。
这里，可以判断是否接收到3D双目摄像头701采集的图像，如果接收到3D双目摄像头701采集的图像，则说明自检成功；如果未接收到3D双目摄像头701采集的图像，则说明自检失败。
步骤902：确定交互设备的驱动挂载失败。
步骤903：确定交互设备的驱动挂载成功，然后执行步骤904。
这里，交互设备包括仿真实体键盘和仿真实体鼠标，在确定交互设备的驱动挂载成功后，可以接收交互设备对应的输入信息，否则，不需要接收交互设备对应的输入信息。
步骤904：判断是否可以从3D双目摄像头采集的图像中识别出交互设备，如果否，则重新执行步骤904，如果是，则执行步骤905。
步骤905：通过对图像人手和交互设备进行目标识别，确定三维空间中人手和交互设备的相对位置。
这里，可以在首帧图像后，对首帧图像中的交互设备进行目标识别，确定三维空间中交互设备的初始位置；这里，可以采用双摄三角形原理确定交互设备的初始位置的初始位置；即，首先可以基于双摄三角形原理确定第一帧图像中交互设备的深度信息，交互设备的深度信息可以反映交互设备与3D双目摄像头之间的距离，从而，基于交互设备与3D双目摄像头之间的距离、以及交互设备在每帧图像中的位置，可以在世界坐标系中确定交互设备的三维坐标，即，确定出三维空间中交互设备的初始位置。示例性地，可以确定出仿真实体鼠标、仿真实体键盘的初始位置。同理，也可以确定出仿真实体鼠标中各区域的初始位置、以及仿真实体键盘中各区域的初始位置，仿真实体鼠标中各区域可以包括滚轮和仿真实体按键。
同理，针对非首帧图像，可以对人手、交互设备、以及各交互区域进行目标识别，确定三维空间中人手、交互设备、以及各交互区域的位置，这样，可以通过对至少两帧图像的解析，确定人手、交互设备、以及各交互区域的位置变化信息。
步骤906：判断是否存在人手与交互设备的交互动作，如果否，则重新执行步骤906，如果是，则执行步骤907。
这里，交互动作可以包括人手对仿真实体键盘或仿真实体鼠标的按压动作、人手滚动仿真实体鼠标的滚轮的动作、以及人手移动仿真实体鼠标的动作。
在实际应用中，可以基于人手、交互设备、以及各交互区域的位置变化信息，判断是否存在人手与交互设备的交互动作。
步骤907：基于人手与交互设备的各交互动作的时序，生成输入数据。
这里，可以基于人手与交互设备的各交互动作的时序，确定每个交互动作对应的输入信息、以及每个交互动作的时间点；基于每个交互动作对应的输入信息、以及每个交互动作的时间点，生成输入数据。
步骤908：将输入数据发送至主机。
本公开实施例针对传统键鼠设备中存在的非静音和藏污纳垢的问题、以及虚拟键盘存在的无操作手感的问题，利用3D双目摄像头采用交互设备的图像，并通过在图像中进行交互设备的识别、以及进行人手的跟踪，以判断人手的输入动作，从而可以模拟传统键鼠设备的输入；即，本公开实施例可以利用AI算法处理板实现图像的目标识别和目标跟踪，从而通过对图像的解析，确定出交互设备向主机输入的数据。
本公开实施例可以应用于各种需要向主机输入数据的场景中，例如，在办公环境或家居环境中，采用本公开实施例的信息输入***可以通过对图像的解析，确定输入数据；本公开实施例的AI算法处理板等设备无需充电，在无需电池的情况下也可以工作；可以实现交互设备的静音工作，在交互设备使用时间较长的情况下，可以在拆卸后用水清洗，十分方便；交互设备的材料采用特制硅胶，使用起来舒适有手感。
基于前述的实施例，本公开实施例提供一种图像处理装置，该装置包括的各单元、以及各单元所包括的各模块，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
图10为本公开实施例的数据处理装置的结构示意图，如图10所示，该装置包括获取模块1001、第一处理模块1002和第二处理模块1003；其中，
获取模块1001，用于获取双目相机采集的至少两帧图像，所述至少两帧图像中的每帧图像表示交互对象和交互设备的图像，所述交互设备包括壳体和位于所述壳体之上的至少两个采用弹性材料制成的交互区域；
第一处理模块1002，用于通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序；
第二处理模块1003，用于基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，所述输入数据表示通过所述交互设备向主机输入的数据。
可以看出，本公开实施例无需采用传统的键鼠设备，也无需采用相关技术中的激光投影的虚拟键盘、以及VR键盘，而是可以通过目标跟踪技术识别交互对象按压交互区域的动作，从而，确定出交互设备向主机输入的数据；一方面，在交互设备的内部不设置弹簧、开关组件、以及电路阵列结构的情况下，同样可以采用目标跟踪技术识别交互设备向主机输入的数据，因此，在一定程度上降低了交互设备发出的噪音，有利于实现静音按压；另一方面，本公开实施例无需使用激光投影设备或VR设备，而是可以通过成本和功耗较低的双目相机采集图像，与相关技术中激光投影的虚拟键鼠设备或VR键鼠相比，可以降低成本和功耗。
在一些实施例中，所述第一处理模块1002，用于通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序，包括：
对所述至少两帧图像中的所述交互对象和所述交互设备进行目标识别，确定所述至少两帧图像的每帧图像中所述交互对象与所述至少两个交互区域的相对位置；
基于所述至少两帧图像中各帧图像的时序、以及所述每帧图像中所述交互对象与所述至少两个交互区域的相对位置，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序。
可以看出，本公开实施例可以基于述每帧图像中交互对象与所述至少两个交互区域的相对位置，确定交互对象按压至少两个交互区域中各个交互区域的按压动作，然后，结合至少两帧图像中各帧图像的时序，较为准确地确定出各个按压动作之间的先后顺序，从而可以较为准确地确定输入数据。
在一些实施例中，所述获取模块1001，还用于获取所述至少两帧图像的每帧图像中各个像素点的深度信息；
所述第一处理模块1002，用于对所述至少两帧图像中的所述交互对象和所述交互设备进行目标识别，确定所述至少两帧图像的每帧图像中所述交互对象与所述至少两个交互区域的相对位置，包括：
对所述每帧图像中所述交互对象与所述至少两个交互区域进行目标识别，确定所述交互对象与所述至少两个交互区域在所述每帧图像中的位置；
基于所述每帧图像中各个像素点的深度信息、以及所述交互对象与所述至少两个交互区域在所述每帧图像中的位置，确定所述交互对象的深度信息与所述至少两个交互区域的深度信息；
基于所述交互对象与所述至少两个交互区域在所述每帧图像中的位置、所述交互对象与所述至少两个交互区域的深度信息，确定所述交互对象与所述至少两个交互区域的三维空间位置；
基于所述交互对象与所述至少两个交互区域的三维空间位置，确定所述交互对象与所述至少两个交互区域的相对位置。
可以看出，本公开实施例可以根据每帧图像中各个像素点的深度信息，较为准确地确定交互对象与交互区域的三维空间位置，从而较为准确地确定交互对象与交互区域的相对位置。
在一些实施例中，所述第二处理模块1003，用于基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，包括：
基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定所述至少两个交互区域中每个被按压的交互区域对应的输入信息、以及所述每个被按压的交互区域的按压时间点；
基于所述每个被按压的交互区域对应的输入信息、以及所述每个被按压的交互区域的按压时间点，确定输入数据。
可以看出，本公开实施例可以基于交互区域对应的输入信息、以及交互区域被按压的时间点，较为准确地确定出输入数据。
在一些实施例中，所述交互设备为鼠标；所述第一处理模块1002，还用于通过对所述至少两帧图像中的所述交互对象和所述鼠标进行目标跟踪，确定所述鼠标至少一次移动的移动信息，所述鼠标每次移动的移动信息包括位置变化信息、移动开始时间和移动结束时间；
所述第二处理模块1003，用于基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，包括：
基于所述交互对象按压所述鼠标的交互区域的时序、以及所述鼠标至少一次移动的移动信息，确定所述输入数据。
可以看出，本公开实施例可以基于鼠标至少一次移动的移动信息、以及交互对象按压鼠标的各交互区域的时序，确定输入数据；由于在鼠标的交互区域被按压后鼠标的移动信息可以反映鼠标的拖动操作，从而，本公开实施例可以识别鼠标的拖动操作，有利于较为全面地实现鼠标向主机输入数据。
在一些实施例中，所述鼠标上设置有滚轮；所述第一处理模块1002，还用于通过对所述至少两帧图像中的所述交互对象和所述鼠标的滚轮进行目标跟踪，确定通过所述交互对象实现的至少一次滚轮动作；确定所述至少一次滚轮动作中每次滚轮动作的属性数据，所述属性数据包括：滚轮动作的开始时间点、滚轮动作的持续时长、以及滚轮动作的滚轮速度；
相应地，所述第二处理模块1003，用于基于所述交互对象按压所述鼠标的各交互区域的时序、以及所述鼠标至少一次移动的移动信息，确定所述输入数据，包括：
基于所述交互对象按压所述鼠标的各交互区域的时序、所述鼠标至少一次移动的移动信息、以及所述至少一次滚轮动作中每次滚轮动作的属性数据，确定所述输入数据。
可以看出，本公开实施例可以在确定交互对象按压鼠标的各交互区域的时序的基础上，通过识别鼠标至少一次移动的移动信息，确定鼠标的拖动事件；并且，可以通过确定至少一次滚轮动作中每次滚轮动作的属性数据，识别鼠标的至少一次滚轮动作，从而可以更加全面地识别通过鼠标输入主机的数据。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法，对于本公开装置实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
需要说明的是，本公开实施例中，如果以软件功能模块的形式实现上述的图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本公开实施例不限制于任何特定的硬件、软件或固件，或者硬件、软件、固件三者之间的任意结合。
本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种图像处理方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。
本公开实施例提供一种计算机程序，包括计算机可读代码，在所述计算机可读代码在计算机设备中运行的情况下，所述计算机设备中的处理器执行用于实现上述任意一种图像处理方法中的部分或全部步骤。
本公开实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述图像处理方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一些实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
这里需要指出的是：上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。
需要说明的是，图11为本公开实施例中电子设备的一种硬件实体示意图，如图11所示，电子设备1100可以包括：存储器1101、处理器1102以及存储在存储器1101上并可在处理器1102上运行的计算机程序；其中，
所述处理器1102用于运行所述计算机程序以执行上述任意一种图像处理方法。
在实际应用中，上述存储器1101可以是易失性存储器(volatile memory)，例如随机存取存储器(Random Access Memory，RAM)；或者非易失性存储器(non-volatilememory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器1102提供指令和数据。
本公开实施例还提供了一种信息输入***，该信息输入***与主机形成通信连接，所述信息输入***包括双目相机和至少一个交互设备，所述信息输入***还包括上述任意一种图像处理装置或上述任意一种电子设备。
本公开实施例中的信息输入***与相关技术中激光投影的虚拟键盘或VR键盘存在区别，下面进行详细说明。为了实现激光投影的虚拟键盘，需要定制发射光源栅格，从而在平面上投射出一个键盘影像轮廓，然后通过红外线技术跟踪手指的动作，完成输入数据的获取；可以看出，激光投影的虚拟键盘采用了主动投射式参与的原理，而本公开实施例的信息输入***采用被动的双摄测距原理，即，本公开实施例的信息输入***与激光投影的虚拟键盘的实现原理存在明显的区别。VR虚拟键盘的实现原理是将真实的键盘映射到虚拟***，可以看出，在整体技术方案以及AI处理侧重点方面，本公开实施例的信息输入***与VR虚拟键盘存在区别。
进一步地，本公开实施例中的信息输入***与相关技术中激光投影的虚拟键盘或VR键盘还具有以下优点：在交互区域为按键的情况下，交互设备具有实体按键，有利于保留用户使用传统机械键鼠设备的习惯，保留操作手感，在一定程度上提升了用户体验；本公开实施例无需使用激光投影设备或VR设备，因而，本公开实施例的信息输入***具有实现简单、成本较低、以及功耗较小的优点，便于用户接受。
本公开实施例中的信息输入***与传统的机械键鼠设备相比至少具备以下区别：1)可以使用硅胶等弹性材料制备交互区域，有利于通过信息输入***中的交互设备实现静音输入；2)在交互设备包括壳体以及采用弹性材料制成的交互区域，不包括弹簧、开关组件、以及电路阵列结构的情况下，便于对交互设备进行拆卸和清洗，在一定程度上解决了传统机械键鼠设备隙藏污纳垢难清洗问题。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各步骤/过程的序号的大小并不意味着执行顺序的先后，各步骤/过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本公开的实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取双目相机采集的至少两帧图像，所述至少两帧图像中的每帧图像表示交互对象和交互设备的图像，所述交互设备包括壳体和位于所述壳体之上的至少两个采用弹性材料制成的交互区域；
通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序；
基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，所述输入数据表示通过所述交互设备向主机输入的数据。
2.根据权利要求1所述的方法，其特征在于，所述通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序，包括：
对所述至少两帧图像中的所述交互对象和所述交互设备进行目标识别，确定所述至少两帧图像的每帧图像中所述交互对象与所述至少两个交互区域的相对位置；
基于所述至少两帧图像中各帧图像的时序、以及所述每帧图像中所述交互对象与所述至少两个交互区域的相对位置，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取所述至少两帧图像的每帧图像中各个像素点的深度信息；
所述对所述至少两帧图像中的所述交互对象和所述交互设备进行目标识别，确定所述至少两帧图像的每帧图像中所述交互对象与所述至少两个交互区域的相对位置，包括：
对所述每帧图像中所述交互对象与所述至少两个交互区域进行目标识别，确定所述交互对象与所述至少两个交互区域在所述每帧图像中的位置；
基于所述每帧图像中各个像素点的深度信息、以及所述交互对象与所述至少两个交互区域在所述每帧图像中的位置，确定所述交互对象的深度信息与所述至少两个交互区域的深度信息；
基于所述交互对象与所述至少两个交互区域在所述每帧图像中的位置、所述交互对象的深度信息与所述至少两个交互区域的深度信息，确定所述交互对象与所述至少两个交互区域的三维空间位置；
基于所述交互对象与所述至少两个交互区域的三维空间位置，确定所述交互对象与所述至少两个交互区域的相对位置。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，包括：
基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定所述至少两个交互区域中每个被按压的交互区域对应的输入信息、以及所述每个被按压的交互区域的按压时间点；
基于所述每个被按压的交互区域对应的输入信息、以及所述每个被按压的交互区域的按压时间点，确定输入数据。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述交互设备为鼠标；所述方法还包括：
通过对所述至少两帧图像中的所述交互对象和所述鼠标进行目标跟踪，确定所述鼠标至少一次移动的移动信息，所述鼠标每次移动的移动信息包括位置变化信息、移动开始时间和移动结束时间；
所述基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，包括：
基于所述交互对象按压所述鼠标的各交互区域的时序、以及所述鼠标至少一次移动的移动信息，确定所述输入数据。
6.根据权利要求5所述的方法，其特征在于，所述鼠标上设置有滚轮；所述方法还包括：
通过对所述至少两帧图像中的所述交互对象和所述鼠标的滚轮进行目标跟踪，确定通过所述交互对象实现的至少一次滚轮动作；
确定所述至少一次滚轮动作中每次滚轮动作的属性数据，所述属性数据包括：滚轮动作的开始时间点、滚轮动作的持续时长、以及滚轮动作的滚轮速度；
相应地，所述基于所述交互对象按压所述鼠标的各交互区域的时序、以及所述鼠标至少一次移动的移动信息，确定所述输入数据，包括：
基于所述交互对象按压所述鼠标的各交互区域的时序、所述鼠标至少一次移动的移动信息、以及所述至少一次滚轮动作中每次滚轮动作的属性数据，确定所述输入数据。
7.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取双目相机采集的至少两帧图像，所述至少两帧图像中的每帧图像表示交互对象和交互设备的图像，所述交互设备包括壳体和位于所述壳体之上的至少两个采用弹性材料制成的交互区域；
第一处理模块，用于通过对所述至少两帧图像中的所述交互对象和所述交互设备进行目标跟踪，确定所述交互对象按压所述至少两个交互区域中的各交互区域的时序；
第二处理模块，用于基于所述交互对象按压所述至少两个交互区域中的各交互区域的时序，确定输入数据，所述输入数据表示通过所述交互设备向主机输入的数据。
8.一种电子设备，其特征在于，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序以执行权利要求1至6任一项所述的图像处理方法。
9.一种信息输入***，其特征在于，所述信息输入***与主机形成通信连接，所述信息输入***包括双目相机和至少一个交互设备，所述信息输入***还包括权利要求7所述的图像处理装置或权利要求8所述的电子设备。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的图像处理方法。
CN202210911886.XA 2022-07-29 2022-07-29 图像处理方法、装置、电子设备、信息输入***和介质 Pending CN115268743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210911886.XA CN115268743A (zh) 2022-07-29 2022-07-29 图像处理方法、装置、电子设备、信息输入***和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210911886.XA CN115268743A (zh) 2022-07-29 2022-07-29 图像处理方法、装置、电子设备、信息输入***和介质

Publications (1)

Publication Number Publication Date
CN115268743A true CN115268743A (zh) 2022-11-01

Family

ID=83746431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210911886.XA Pending CN115268743A (zh) 2022-07-29 2022-07-29 图像处理方法、装置、电子设备、信息输入***和介质

Country Status (1)

Country Link
CN (1) CN115268743A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713737A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 用于智能眼镜的虚拟键盘***
CN111860239A (zh) * 2020-07-07 2020-10-30 佛山长光智能制造研究院有限公司 按键识别方法、装置、终端设备及计算机可读存储介质
CN114721507A (zh) * 2022-03-01 2022-07-08 奇点临近技术(上海)有限公司 智能交互方法、智能眼镜、智能交互设备及存储介质
CN114764270A (zh) * 2021-07-29 2022-07-19 华为技术有限公司 输入转换方法、电子设备和可读介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103713737A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 用于智能眼镜的虚拟键盘***
CN111860239A (zh) * 2020-07-07 2020-10-30 佛山长光智能制造研究院有限公司 按键识别方法、装置、终端设备及计算机可读存储介质
CN114764270A (zh) * 2021-07-29 2022-07-19 华为技术有限公司 输入转换方法、电子设备和可读介质
CN114721507A (zh) * 2022-03-01 2022-07-08 奇点临近技术(上海)有限公司 智能交互方法、智能眼镜、智能交互设备及存储介质

Similar Documents

Publication Publication Date Title
US9958952B2 (en) Recognition system for sharing information
WO2023279705A1 (zh) 直播方法、装置、***、计算机设备、存储介质及程序
CN109348135A (zh) 拍照方法、装置、存储介质及终端设备
CN110209273A (zh) 手势识别方法、交互控制方法、装置、介质与电子设备
US9632592B1 (en) Gesture recognition from depth and distortion analysis
CN105247859A (zh) 一个或多个卫星设备的主动立体显像
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
JP2014517361A (ja) カメラ式マルチタッチ相互作用装置、システム及び方法
CN111722769B (zh) 交互方法、装置、显示设备和存储介质
CN103581727A (zh) 一种基于智能电视平台的手势识别交互***及交互方法
CN111679742A (zh) 基于ar的交互控制方法、装置、电子设备及存储介质
CN109753153B (zh) 用于360°悬浮光场三维显示***的触觉交互装置及方法
CN111160088A (zh) Vr体感数据检测方法、装置、计算机设备及存储介质
CN115439171A (zh) 商品信息展示方法、装置及电子设备
KR20090111913A (ko) 모션 검출 방법 및 장치
KR20210017081A (ko) 객체에 대응하는 그래픽 요소 표시 방법 및 장치
CN114356090A (zh) 一种控制方法、装置、计算机设备及存储介质
CN115268743A (zh) 图像处理方法、装置、电子设备、信息输入***和介质
CN109426336A (zh) 一种虚拟现实辅助选型设备
CN115937725B (zh) 空间交互装置的姿态显示方法、装置、设备及其存储介质
CN115049819A (zh) 注视区域识别方法及装置
CN115756165A (zh) 一种用于虚拟场景的交互方法、***及介质
CN106709427B (zh) 键盘动作检测方法及装置
CN108765321A (zh) 拍照修复方法、装置、存储介质及终端设备
CN114615556A (zh) 虚拟直播增强互动方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination