CN113643438A - 一种控制方法、装置、控制设备、目标设备及存储介质 - Google Patents

一种控制方法、装置、控制设备、目标设备及存储介质 Download PDF

Info

Publication number
CN113643438A
CN113643438A CN202010345363.4A CN202010345363A CN113643438A CN 113643438 A CN113643438 A CN 113643438A CN 202010345363 A CN202010345363 A CN 202010345363A CN 113643438 A CN113643438 A CN 113643438A
Authority
CN
China
Prior art keywords
information
target device
position information
user
relative position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010345363.4A
Other languages
English (en)
Inventor
苑屹
王云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Original Assignee
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 7Invensun Technology Co Ltd filed Critical Beijing 7Invensun Technology Co Ltd
Priority to CN202010345363.4A priority Critical patent/CN113643438A/zh
Publication of CN113643438A publication Critical patent/CN113643438A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种控制方法、装置、控制设备、目标设备及存储介质。所述方法包括：获取前景图像；基于所述前景图像，确定目标设备相对于用户的相对位置信息；基于所述相对位置信息，对所述目标设备的位置进行调节，以使所述目标设备与所述用户的角度在设定范围内。利用该方法，能够在用户不便说话且不便手动控制时，有效的对目标设备进行控制，使得目标设备与用户的角度在设定范围内，便于用户观看目标设备，提升了目标设备使用体验。

Description

一种控制方法、装置、控制设备、目标设备及存储介质
技术领域
本发明实施例涉及控制技术领域，尤其涉及一种控制方法、装置、控制设备、目标设备及存储介质。
背景技术
随着科技的发展，智能设备日渐普及。智能设备就是将微处理器、传感器技术、网络通信技术引入终端设备(如家电或广告屏)后形成的产品。
在对智能设备的控制时，通常是声控和通过操作智能设备的操作界面实现对智能家电的控制。然而，如何在用户不便说话且不便手动控制时，实现对智能家电的控制是目前亟待解决的技术问题。
发明内容
本发明实施例提供了一种控制方法、装置、控制设备、目标设备及存储介质，利用该方法在用户不便说话且不便手动控制时，实现了对智能家电的控制。
第一方面，本发明实施例提供了一种控制方法，应用于控制设备，包括：
获取前景图像；
基于所述前景图像，确定目标设备相对于用户的相对位置信息；
基于所述相对位置信息，对所述目标设备的位置进行调节，以使所述目标设备与所述用户的角度在设定范围内。
进一步地，所述前景图像包括用户注视的目标设备和所述目标设备的标识物中的一个或多个，其中所述用户注视的目标设备是基于所述用户的注视信息确定的。
进一步地，所述基于所述前景图像，确定目标设备相对于用户的相对位置信息，包括：
在所述前景图像中包括至少两个标识物时，确定所述前景图像中所包含的标识物的第一图像信息，所述第一图像信息包括所述标识物的位置信息、尺寸信息和形状信息中的一个或多个，所述第一图像信息为所述前景图像中所包含的标识物的图像信息；
确定所述前景图像中所包含的标识物的实际位姿信息；
基于所述第一图像信息和所述实际位姿信息，确定所述目标设备相对于用户的相对位置信息。
进一步地，所述基于所述前景图像，确定目标设备相对于用户的相对位置信息，包括：
确定所述前景图像中目标设备的第二图像信息，所述第二图像信息为所述前景图像中目标设备的图像信息；
将所述第二图像信息和所述目标设备对应模型的各位姿的图像进行比较，确定所述目标设备相对于用户的相对位置信息。
进一步地，所述基于所述相对位置信息，对所述目标设备的位置进行调节，包括：
将所述相对位置信息发送至所述目标设备，以控制所述目标设备基于所述相对位置信息进行位置调节。
第二方面，本发明实施例提供了一种控制方法，应用于目标设备，包括：
获取控制设备发送的相对位置信息，所述相对位置信息为所述目标设备相对于用户的位置信息；
基于所述相对位置信息进行位置调节，以使所述目标设备与所述用户的角度在设定范围内。
进一步地，在基于所述相对位置信息进行位置调节之后，还包括：
获取环境信息，所述环境信息包括光照信息和声音信息；
基于所述环境信息，调节所述目标设备的亮度参数和音量参数。
第三方面，本发明实施例提供了一种控制装置，配置于控制设备，包括：
获取模块，用于获取前景图像；
确定模块，用于基于所述前景图像，确定目标设备相对于用户的相对位置信息；
调节模块，用于基于所述相对位置信息，对所述目标设备的位置进行调节，以使所述目标设备与所述用户的角度在设定范围内。
第四方面，本发明实施例提供了一种控制装置，配置于目标设备，包括：
获取模块，用于获取控制设备发送的相对位置信息，所述相对位置信息为所述目标设备相对于用户的位置信息；
调节模块，用于基于所述相对位置信息进行位置调节，以使所述目标设备与所述用户的角度在设定范围内。
第五方面，本发明实施例提供了一种控制设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面所述的方法。
第六方面，本发明实施例提供了一种目标设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第二方面所述的方法。
第七方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的方法。
本发明实施例提供了一种控制方法、装置、控制设备、目标设备及存储介质，该方案，首先获取前景图像；其次基于所述前景图像，确定目标设备相对于用户的相对位置信息；最后基于所述相对位置信息，对所述目标设备的位置进行调节，以使所述目标设备与所述用户的角度在设定范围内。利用上述方案，在用户不便说话且不便手动控制时，有效的对目标设备进行控制，使得目标设备与用户的角度在设定范围内，便于用户观看目标设备，提升了目标设备使用体验。
附图说明
图1为本发明实施例一提供的一种控制方法的流程示意图；
图2为本发明实施例二提供的一种控制方法的流程示意图；
图3为本发明实施例三提供的一种控制方法的流程示意图；
图4为本发明实施例四提供的一种控制方法的流程示意图；
图5为本发明实施例五提供的一种控制装置的结构示意图；
图6为本发明实施例六提供的一种控制装置的结构示意图；
图7为本发明实施例七提供的一种控制设备的结构示意图；
图8为本发明实施例八提供的一种目标设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
实施例一
图1为本发明实施例一提供的一种控制方法的流程示意图，该方法可适用于对目标设备进行控制的情况，该方法可以由本发明提供的控制装置执行，该装置可以由软件和/或硬件实现，并一般集成在控制设备上。本实施例中的控制设备包括但不限于：增强现实(Augmented Reality，AR)设备，如眼镜设备和AR眼动设备等。控制设备可以用于控制目标设备，目标设备可以为电视或广告屏等能进行内容播放以供用户查看的设备或者其他可以调整位置方位的设备，例如智能空调、智能机器人等。
如图1所示，本发明实施例一提供了一种控制方法，包括如下步骤：
S110、获取前景图像。
本实施例通过控制设备对目标设备进行控制，在对目标设备进行控制时，可以对目标设备的位置进行控制，如目标设备相对于用户的距离和角度等。
控制设备可以认为是用于控制目标设备的设备，控制设备可以为AR设备。本步骤可以通过控制设备的前置相机获取前景图像。前景图像中可以包含有用户视野范围内的物体。
本步骤可以在用户有控制目标设备的需求时触发执行本实施例所述的方法，以基于获取的前景图像控制目标设备。此处不对触发的手段进行限定可以通过物理按键控制，也可以语音控制，又或者通过注视信息进行控制，其中，注视信息包括注视时长、注视点和/或注视方向，该注视信息为用户在前景图像上的注视信息。
示例性的，在注视点停留时间大于预设时间阈值时，通过前景相机拍摄前景图像。S120、基于所述前景图像，确定目标设备相对于用户的相对位置信息。
相对位置信息可以理解为目标设备相对于用户的位置信息。获取前景图像后，本步骤可以对前景图像进行识别，以用于确定目标设备，以及目标设备相对于用户的相对位置信息。具体的，本步骤可以基于获取前景图像时对应的注视信息确定前景图像中用户注视的目标设备，即将前景图像中注视点位置处的设备作为目标设备。
具体的，在基于前景图像确定相对位置信息时，本步骤可基于前景图像中所包括的具体内容决定确定相对位置信息的具体方式。
示例性的，在前景图像中包括目标设备时，本步骤可以基于前景图像中所包括的目标设备确定相对位置信息；在前景图像中包括所述目标设备的标识物时，基于目标设备的标识物确定相对位置信息。
其中，标识物中可以包含有该标识物在实际场景中相对于目标设备的位置信息，如坐标。如以目标设备所在位置构建坐标系，确定标识物在该坐标系下的坐标，并将该坐标存储至标识物中，控制设备通过识别该标识物可以确定该标识物的坐标。示例性的，标识物可以为二维码或条形码等。目标设备周围可以布设有至少两个标识物，各标识物可以具有唯一标识。各标识物可以为二维码或条形码等能够存储有标识物的位置信息的图案，也可以为具有唯一性的物体，控制设备可以预存有标识物和位置信息的关系，通过对标识物进行识别，确定其位置信息。另外，标识物中还可以存储或对应有目标设备或标识物的其余信息，如目标设备的标识信息、目标设备坐标信息和标识物间的位置信息等。
在一个实施例中，在基于前景图像中的目标设备确定相对位置信息时，可以基于目标设备在前景图像中的位姿信息，即位置信息、姿态信息和姿态信息，与3D模型数据库中，所述目标设备对应模型的各个位姿的图像进行匹配，并将适配出的位姿信息对应的位置信息，确定为目标设备与用户的相对位置信息。
在一个实施例中，在基于前景图像中的标识物确定相对位置信息时，可以采用上述示例相同的方式，即进行3D模型数据库的匹配的方式确定相对位置信息。
在一个实施例中，在基于前景图像中的标识物确定相对位置信息时，可以确定前景图像中标识物的位置信息，然后基于实际场景中标识物的位置信息确定转换矩阵和旋转矩阵，从而确定前景相机所在坐标系与实际场景中目标设备所在坐标系的相对位置信息。具体的，本步骤可以在前景图像中通过图像算法尽可能的获取并识别标识物，然后结合识别到的标识物在实际场景中的位置信息，确定旋转矩阵和平移矩阵，以确定相对位置信息。
一般的，若前景相机中捕捉到足够多数量的标识物，则可仅考虑标识物作为前景图像中一点的情况，在该情况中，由于各标识物的对应关系已知(可以预存在标识物中，或在控制设备中预存标识物与各标识物的对应关系)，前景相机的焦距等参数已知，则可利用前景图像中的标志识物的位置信息和真实的标识物的位置信息，确定出一组最符合当前前景图像的旋转矩阵及平移矩阵，来反映当前两坐标系之间的相对位置关系，从而确定目标设备相对于用户的相对位置信息。
若标识物数量较少，则可能需将标识物本身视为多个点，例如，可以考虑其四个角为空间中四点等，也即利用了其形状信息或尺寸信息，相应的，可以在标识物中存储有其四个角的位置信息，或在控制设备中预存标识物四个角的位置信息。
S130、基于所述相对位置信息，对所述目标设备的位置进行调节，以使所述目标设备与所述用户的角度在设定范围内。
在确定出相对位置信息后，本步骤可以基于相对位置信息对目标设备进行控制。具体的，本步骤可以直接将相对位置信息发送至目标设备，以使目标设备基于相对位置信息进行位置调节，直至目标设备与用户的角度在设定范围内，该设定范围可以认为是便于用户更好的观看目标设备的范围。如使得目标设备正对用户，以完成目标设备的调节；本步骤也可以直接基于用户当前位置信息(如可以通过控制设备的位置传感器获取)和相对位置信息，确定目标设备的目标位置信息，即目标设备调节后的位置信息。然后将该目标位置信息发送至目标设备，以使目标设备与用户的角度在设定范围内。
本发明实施例提供了一种控制方法，首先获取前景图像；其次基于所述前景图像，确定目标设备相对于用户的相对位置信息；最后基于所述相对位置信息，对所述目标设备的位置进行调节，以使所述目标设备与所述用户的角度在设定范围内，利用该方法，在用户不便说话且不便手动控制时，有效的对目标设备进行控制，使得目标设备与用户的角度在设定范围内，便于用户观看目标设备，提升了目标设备使用体验。
进一步地，所述前景图像包括用户注视的目标设备和所述目标设备的标识物中的一个或多个，其中所述用户注视的目标设备是基于所述用户的注视信息确定的。
前景图像中可以包括有用户注视的目标设备和/或目标设备周围布设的一个或多个标识物。周围可以认为是距离目标设备的设定区域内，设定区域可以根据实际场景确定，此处不作限定。
进一步地，用户注视的目标设备是基于用户的注视信息确定的具体包括：
获取用户的注视信息；
当用户的注视点在设备上停留的时间大于预设时间阈值时，确定该设备为用户注视的目标设备，也即用户需要控制的目标设备。当前景图像中包含多个设备时，就需要用户通过注视信息确定需要控制的目标设备。
在获取用户的注视信息时，可以采用眼动追踪技术。目前，进行眼动追踪计算注视信息广泛应用的是光学记录法：用照相机或摄像机记录被试者，即用户的眼睛运动情况，即获取反映眼睛运动的眼部图像，以及从获取到的眼部图像中提取眼部特征，如眼动数据用于建立视线/注视点估计的模型。其中，眼部特征可以包括但不限于：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑(也称为普尔钦斑)位置等。
在光学记录法中，目前主流的眼球追踪方法称为瞳孔-角膜反射法。
除了光学记录法外，还有其他的获取实现追踪的方法，包括但不限于以下方式：
1.眼球追踪装置可以是MEMS微机电***，例如包括MEMS红外扫描反射镜、红外光源、红外接收器。
2.在其他另一个实施例中，眼球追踪装置还可以是接触/非接触式的传感器(例如电极、电容传感器)，其通过眼球与电容极板之间的电容值来检测眼球运动。
3.在其他又一个实施例中，眼球追踪装置还可以是肌电流检测器，例如通过在鼻梁、额头、耳朵或耳垂处放置电极，通过检测的肌电流信号模式来检测眼球运动。
其中，瞳孔-角膜反射法的工作原理可以概括为：获取眼部图像；根据眼部图像估计视线/注视点。
瞳孔-角膜反射法的硬件要求可以为：
(1)光源：一般为红外光源，因为红外光线不会影响眼睛的视觉；并且可以为多个红外光源，以预定的方式排列，例如品字形、一字形等；
(2)图像采集设备：例如红外摄像设备、红外图像传感器、照相机或摄像机等。
瞳孔-角膜反射法的具体实施可以为：
Part 1.眼部图像获取：
光源照向眼睛，由图像采集设备对眼部进行拍摄，相应拍摄光源在角膜上的反射点即光斑(也称为普尔钦斑)，由此获取带有光斑的眼部图像。
Part 2.视线/注视点估计：
随着眼球转动时，瞳孔中心与光斑的相对位置关系随之发生变化，相应采集到的带有光斑的若干眼部图像反映出这样的位置变化关系；根据所述位置变化关系进行视线/注视点估计。
使用注视信息确定目标设备可以更准确的了解用户意图，避免误操作；另外在前景图像中包含多个设备时，只用眼睛就可以确定需要控制的目标设备，可以方便那些行动和发声都不便的用户操作控制目标设备。
实施例二
图2为本发明实施例二提供的一种控制方法的流程示意图，本实施例在实施例一的基础上进行具体化。在本实施例中，将基于所述前景图像，确定目标设备相对于用户的相对位置信息，具体包括：在所述前景图像中包括至少两个标识物时，确定所述前景图像中所包含的标识物的第一图像信息，所述第一图像信息包括所述标识物的位置信息、尺寸信息和形状信息中的一个或多个，所述第一图像信息为所述前景图像中所包含的标识物的图像信息；
确定所述前景图像中所包含的标识物的实际位姿信息；
基于所述第一图像信息和所述实际位姿信息，确定所述目标设备相对于用户的相对位置信息。
进一步地，将基于所述相对位置信息，对所述目标设备的位置进行调节，具体包括：
将所述相对位置信息发送至所述目标设备，以控制所述目标设备基于所述相对位置信息进行位置调节。
如图2所示，本发明实施例二提供了一种控制方法，包括如下步骤：
S210、获取前景图像。
S220、在所述前景图像中包括至少两个标识物时，确定所述前景图像中所包含的标识物的第一图像信息。
在从前景图像中识别出至少两个标识物后，本发明可以截取前景图像，确定第一图像信息，第一图像信息可以认为是前景图像中包含标识物的图像。基于第一图像信息可以确定各标识物的位姿信息和各标识物间的相对位置信息。
所述第一图像信息包括所述标识物的位置信息、尺寸信息和形状信息中的一个或多个，所述第一图像信息为所述前景图像中所包含的标识物的图像信息。尺寸信息可以理解为表示标识物尺寸的信息。形状信息可以理解为表示标识物形状的信息。
S230、确定所述前景图像中所包含的标识物的实际位姿信息。
实际位姿信息可以认为是标识物在实际场景中的位置信息、尺寸信息和姿态信息。
确定前景图像中所包括的标识物后，本步骤可以确定前景图像中所包含标识物的实际位姿信息，即标识物在实际场景中的位置信息。实际位姿信息可以通过识别标识物确定，也可以预存在控制设备中。
S240、基于所述第一图像信息和所述实际位姿信息，确定所述目标设备相对于用户的相对位置信息。
本步骤可以基于第一图像信息中的位置信息和实际位姿信息确定平移矩阵和旋转矩阵，从而确定目标设备与用户的相对位置信息。
S250、将所述相对位置信息发送至所述目标设备，以控制所述目标设备基于所述相对位置信息进行位置调节。
本发明实施例二提供了一种控制方法，该方法具体化了确定目标设备相对于用户的相对位置信息的操作和对目标设备的位置进行调节的操作。利用该方法有效的通过了前景图像中的标识物对目标设备进行位置调节，提升了用户使用目标设备的体验。
实施例三
图3为本发明实施例三提供的一种控制方法的流程示意图，本发明实施例三在实施例一的基础上进行具体化，将基于所述前景图像，确定目标设备相对于用户的相对位置信息，具体包括：
确定所述前景图像中目标设备的第二图像信息，所述第二图像信息为所述前景图像中目标设备的图像信息；
将所述第二图像信息和所述目标设备对应模型的各位姿的图像进行比较，确定所述目标设备相对于用户的相对位置信息。
进一步地，将基于所述相对位置信息，对所述目标设备的位置进行调节，具体包括：
将所述相对位置信息发送至所述目标设备，以控制所述目标设备基于所述相对位置信息进行位置调节。
如图3所示，本发明实施例三提供了一种控制方法，包括如下步骤：
S310、获取前景图像。
S320、确定所述前景图像中目标设备的第二图像信息，所述第二图像信息为所述前景图像中目标设备的图像信息。
在前景图像中提取出目标设备时，本步骤可以从前景图像中提取确定包含目标设备的图像，即第二图像信息。基于第二图像信息中目标设备的位姿信息可以实现对目标设备的控制。
S330、将所述第二图像信息和所述目标设备对应模型的各位姿的图像进行比较，确定所述目标设备相对于用户的相对位置信息。
确定第二图像信息后，本步骤可以调取包含目标设备3D模型的数据库，通过对目标设备3D模型位姿改变，匹配第一图像信息中目标设备的位姿信息。在3D模型数据库中目标设备的3D模型所处位姿信息和第一图像中识别得到的位姿信息匹配，即偏差在设定范围内时，可以基于当前3D模型的位置信息确定目标设备相对于用户的相对位置信息。3D模型的初始位置可以认为是目标设备上次调节后的位置信息，若目标设备尚未被调节，则初始位置可以为目标设备初始的位置信息。
此外，在通过3D模型进行适配时，为了进一步提高适配结果的准确度，也可以结合前景图像中的标识物所包含的信息确定适配结果。相应的标识物中还可以包括有标识物相对于目标设备的方位信息，即表示标识物相对于目标设备的方位的信息，如左方、右方或上方等。
S340、将所述相对位置信息发送至所述目标设备，以控制所述目标设备基于所述相对位置信息进行位置调节。
本发明实施例三提供了一种控制方法，该方法具体化了确定相对位置信息的操作和对目标设备进行调节的情况，该方法有效的通过前景图像中的目标设备对实际场景中的目标设备进行位置调节，提升了目标设备的使用体验。
实施例四
图4为本发明实施例四提供的一种控制方法的流程示意图，该方法可适用于对目标设备进行控制的情况，该方法由本发明提供的控制装置执行，该装置可以由软件和/或硬件实现，并一般集成在目标设备上。本实施例尚未详尽之处参见上述实施例，此处不作赘述。
如图4所示，本发明实施例四提供了一种控制方法，包括：
S410、获取控制设备发送的相对位置信息，所述相对位置信息为所述目标设备相对于用户的位置信息。
基于相对位置信息可以实现对目标设备位置的调节。
S420、基于所述相对位置信息进行位置调节，以使所述目标设备与所述用户的角度在设定范围内。
目标设备获取相对位置信息后，可以基于该相对位置信息进行位置调节，如基于目标设备当前的位置信息和相对位置信息对目标设备当前的位置信息进行调节，使得目标设备与用户的角度在设定范围内。
本发明实施例四提供了一种控制方法，该方法首先获取控制设备发送的相对位置信息，所述相对位置信息为所述目标设备相对于用户的位置信息；然后基于所述相对位置信息进行位置调节，以使所述目标设备与所述用户的角度在设定范围内。利用该方法，在用户不便说话且不便手动控制时，有效的对目标设备进行控制，使得目标设备与用户的角度在设定范围内，便于用户观看目标设备，提升了目标设备使用体验。
进一步地，在基于所述相对位置信息进行位置调节之后，还包括：
获取环境信息，所述环境信息包括光照信息和声音信息；
基于所述环境信息，调节所述目标设备的亮度参数和音量参数。
环境信息可以理解为目标设备所处环境中的信息。光照信息可以认为是光照的数据。声音信息可以认为是环境中声音的数据。通过调节亮度参数可以调节目标设备的亮度，通过调节音量参数可以调节目标设备的音量。
环境信息的获取方式基于环境信息的具体内容进行限定，此处不作限定。
获取环境信息后，可以基于环境信息对调节目标设备的亮度参数和音量参数。不同环境信息和亮度参数和音量信息的对应关系此处不作限定可以根据用户的使用习惯确定。本发明在实现目标设备的自动调节的基础上，通过环境参数自动调节亮度参数和音量参数，能够保证调节后的目标设备能够为用户提供最优的播放效果。
实施例五
图5为本发明实施例五提供的一种控制装置的结构示意图，该装置可适用于对目标设备进行控制的情况，其中该装置可以由软件和/或硬件实现，并一般配置于控制设备上。
如图5所示，该装置包括：
获取模块51，用于获取前景图像；
确定模块52，用于基于所述前景图像，确定目标设备相对于用户的相对位置信息；
调节模块53，用于基于所述相对位置信息，对所述目标设备的位置进行调节，以使所述目标设备与所述用户的角度在设定范围内。
在本实施例中，通过获取模块51获取前景图像；通过确定模块52基于所述前景图像，确定目标设备相对于用户的相对位置信息；通过调节模块53基于所述相对位置信息，对所述目标设备的位置进行调节，以使所述目标设备与所述用户的角度在设定范围内。
本实施例提供了一种控制装置，能够在用户不便说话且不便手动控制时，有效的对目标设备进行控制，使得目标设备与用户的角度在设定范围内，便于用户观看目标设备，提升了目标设备使用体验。
进一步地，所述前景图像包括用户注视的目标设备和所述目标设备的标识物中的一个或多个，其中所述用户注视的目标设备是基于所述用户的注视信息确定的。
进一步地，确定模块52，具体包括：
在所述前景图像中包括至少两个标识物时，确定所述前景图像中所包含的标识物的第一图像信息，所述第一图像信息包括所述标识物的位置信息、尺寸信息和形状信息中的一个或多个，所述第一图像信息为所述前景图像中所包含的标识物的图像信息；
确定所述前景图像中所包含的标识物的实际位姿信息；
基于所述第一图像信息和所述实际位姿信息，确定所述目标设备相对于用户的相对位置信息。
进一步地，确定模块52，具体包括：
确定所述前景图像中目标设备的第二图像信息，所述第二图像信息为所述前景图像中目标设备的图像信息；
将所述第二图像信息和所述目标设备对应模型的各位姿的图像进行比较，确定所述目标设备相对于用户的相对位置信息。
进一步地，调节模块53具体包括：
将所述相对位置信息发送至所述目标设备，以控制所述目标设备基于所述相对位置信息进行位置调节。
实施例六
图6为本发明实施例六提供的一种控制装置的结构示意图，该装置可适用于对目标设备进行控制的情况，其中该装置可以由软件和/或硬件实现，并一般配置于目标设备上。
如图6所示，该装置包括：
获取模块61，用于获取控制设备发送的相对位置信息，所述相对位置信息为所述目标设备相对于用户的位置信息；
调节模块62，用于基于所述相对位置信息进行位置调节，以使所述目标设备与所述用户的角度在设定范围内。
本实施例提供的装置通过获取模块61获取控制设备发送的相对位置信息，所述相对位置信息为所述目标设备相对于用户的位置信息；通过调节模块62，基于所述相对位置信息进行位置调节，以使所述目标设备与所述用户的角度在设定范围内。
本实施例提供的控制装置，能够在用户不便说话且不便手动控制时，有效的对目标设备进行控制，使得目标设备与用户的角度在设定范围内，便于用户观看目标设备，提升了目标设备使用体验。
进一步地，在基于所述相对位置信息进行位置调节之后，还包括：
获取环境信息，所述环境信息包括光照信息和声音信息；
基于所述环境信息，调节所述目标设备的亮度参数和音量参数。
实施例七
图7为本发明实施例七提供的一种控制设备的结构示意图，如图7所示，本发明实施例七提供了一种控制设备包括：一个或多个处理器71和存储装置72；该控制设备中的处理器71可以是一个或多个，图7中以一个处理器71为例；存储装置72用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器71执行，使得所述一个或多个处理器71实现如本发明实施例一、二或三中任一项所述的控制方法。
所述控制设备还可以包括：输入装置73、输出装置74和通信装置75，通信装置75，用于与目标设备进行通信。通信装置75连接一个或多个处理器71。
控制设备中的处理器71、存储装置72、输入装置73、输出装置74和通信装置75可以通过总线或其他方式连接，图7中以通过总线连接为例。
该控制设备中的存储装置72作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一、二或三所提供的控制方法对应的程序指令/模块(例如，附图5所示的控制装置中的模块，包括：获取模块51、确定模块52和调节模块53)。处理器71通过运行存储在存储装置72中的软件程序、指令以及模块，从而执行控制设备的各种功能应用以及数据处理，即实现上述方法实施例中控制方法。
存储装置72可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据控制设备的使用所创建的数据等。此外，存储装置72可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置72可进一步包括相对于处理器71远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置73可用于接收输入的数字或字符信息，以及产生与控制设备的用户设置以及功能控制有关的键信号输入。输出装置74可包括显示屏等显示设备。
并且，当上述控制设备所包括一个或者多个程序被所述一个或者多个处理器71执行时，程序进行如下操作：
获取前景图像；
基于所述前景图像，确定目标设备相对于用户的相对位置信息；
基于所述相对位置信息，对所述目标设备的位置进行调节，以使所述目标设备与所述用户的角度在设定范围内。
实施例八
图8为本发明实施例八提供的一种目标设备的结构示意图。如图8所示，本发明实施例八提供了一种目标设备包括：一个或多个处理器81和存储装置82；该目标设备中的处理器81可以是一个或多个，图8中以一个处理器81为例；存储装置82用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器81执行，使得所述一个或多个处理器81实现如本发明实施例四所述的控制方法。
所述目标设备还可以包括：输入装置83、输出装置84和通信装置85，通信装置85，用于与控制设备进行通信。通信装置85连接一个或多个处理器81。
目标设备中的处理器81、存储装置82、输入装置83、输出装置84和通信装置85可以通过总线或其他方式连接，图8中以通过总线连接为例。
该目标设备中的存储装置82作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一、二或三所提供的控制方法对应的程序指令/模块(例如，附图6所示的控制装置中的模块，包括：获取模块61和调节模块62)。处理器81通过运行存储在存储装置82中的软件程序、指令以及模块，从而执行目标设备的各种功能应用以及数据处理，即实现上述方法实施例中控制方法。
存储装置82可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据目标设备的使用所创建的数据等。此外，存储装置82可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置82可进一步包括相对于处理器81远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置83可用于接收输入的数字或字符信息，以及产生与目标设备的用户设置以及功能控制有关的键信号输入。输出装置84可包括显示屏等显示设备。
并且，当上述目标设备所包括一个或者多个程序被所述一个或者多个处理器81执行时，程序进行如下操作：
获取控制设备发送的相对位置信息，所述相对位置信息为所述目标设备相对于用户的位置信息；
基于所述相对位置信息进行位置调节，以使所述目标设备与所述用户的角度在设定范围内。
实施例九
本发明实施例九提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行本发明提供的控制方法，该方法包括应用于控制设备的方法和应用于目标设备的方法。
应用于控制设备的方法包括：
获取前景图像；
基于所述前景图像，确定目标设备相对于用户的相对位置信息；
基于所述相对位置信息，对所述目标设备的位置进行调节，以使所述目标设备与所述用户的角度在设定范围内。
应用于目标设备的方法包括：
获取控制设备发送的相对位置信息，所述相对位置信息为所述目标设备相对于用户的位置信息；
基于所述相对位置信息进行位置调节，以使所述目标设备与所述用户的角度在设定范围内。
可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的控制方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种控制方法，其特征在于，应用于控制设备，包括：
获取前景图像；
基于所述前景图像，确定目标设备相对于用户的相对位置信息；
基于所述相对位置信息，对所述目标设备的位置进行调节，以使所述目标设备与所述用户的角度在设定范围内。
2.根据权利要求1所述的方法，其特征在于，所述前景图像包括用户注视的目标设备和所述目标设备的标识物中的一个或多个，其中所述用户注视的目标设备是基于所述用户的注视信息确定的。
3.根据权利要求2所述的方法，其特征在于，所述基于所述前景图像，确定目标设备相对于用户的相对位置信息，包括：
在所述前景图像中包括至少两个标识物时，确定所述前景图像中所包含的标识物的第一图像信息，所述第一图像信息包括所述标识物的位置信息、尺寸信息和形状信息中的一个或多个，所述第一图像信息为所述前景图像中所包含的标识物的图像信息；
确定所述前景图像中所包含的标识物的实际位姿信息；
基于所述第一图像信息和所述实际位姿信息，确定所述目标设备相对于用户的相对位置信息。
4.根据权利要求2所述的方法，其特征在于，所述基于所述前景图像，确定目标设备相对于用户的相对位置信息，包括：
确定所述前景图像中目标设备的第二图像信息，所述第二图像信息为所述前景图像中目标设备的图像信息；
将所述第二图像信息和所述目标设备对应模型的各位姿的图像进行比较，确定所述目标设备相对于用户的相对位置信息。
5.根据权利要求1所述的方法，其特征在于，所述基于所述相对位置信息，对所述目标设备的位置进行调节，包括：
将所述相对位置信息发送至所述目标设备，以控制所述目标设备基于所述相对位置信息进行位置调节。
6.一种控制方法，其特征在于，应用于目标设备，包括：
获取控制设备发送的相对位置信息，所述相对位置信息为所述目标设备相对于用户的位置信息；
基于所述相对位置信息进行位置调节，以使所述目标设备与所述用户的角度在设定范围内。
7.根据权利要求6所述的方法，其特征在于，在基于所述相对位置信息进行位置调节之后，还包括：
获取环境信息，所述环境信息包括光照信息和声音信息；
基于所述环境信息，调节所述目标设备的亮度参数和音量参数。
8.一种控制装置，其特征在于，配置于控制设备，包括：
获取模块，用于获取前景图像；
确定模块，用于基于所述前景图像，确定目标设备相对于用户的相对位置信息；
调节模块，用于基于所述相对位置信息，对所述目标设备的位置进行调节，以使所述目标设备与所述用户的角度在设定范围内。
9.一种控制装置，其特征在于，配置于目标设备，包括：
获取模块，用于获取控制设备发送的相对位置信息，所述相对位置信息为所述目标设备相对于用户的位置信息；
调节模块，用于基于所述相对位置信息进行位置调节，以使所述目标设备与所述用户的角度在设定范围内。
10.一种控制设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
11.一种目标设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求6-7中任一所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202010345363.4A 2020-04-27 2020-04-27 一种控制方法、装置、控制设备、目标设备及存储介质 Pending CN113643438A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010345363.4A CN113643438A (zh) 2020-04-27 2020-04-27 一种控制方法、装置、控制设备、目标设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010345363.4A CN113643438A (zh) 2020-04-27 2020-04-27 一种控制方法、装置、控制设备、目标设备及存储介质

Publications (1)

Publication Number Publication Date
CN113643438A true CN113643438A (zh) 2021-11-12

Family

ID=78415034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010345363.4A Pending CN113643438A (zh) 2020-04-27 2020-04-27 一种控制方法、装置、控制设备、目标设备及存储介质

Country Status (1)

Country Link
CN (1) CN113643438A (zh)

Similar Documents

Publication Publication Date Title
CN109410285B (zh) 一种校准方法、装置、终端设备及存储介质
CN109086726B (zh) 一种基于ar智能眼镜的局部图像识别方法及***
CN108919958B (zh) 一种图像传输方法、装置、终端设备及存储介质
KR102056221B1 (ko) 시선인식을 이용한 장치 연결 방법 및 장치
US11917126B2 (en) Systems and methods for eye tracking in virtual reality and augmented reality applications
CN108681399B (zh) 一种设备控制方法、装置、控制设备及存储介质
CN107390863B (zh) 设备的控制方法及装置、电子设备、存储介质
CN109032351B (zh) 注视点函数确定方法、注视点确定方法、装置及终端设备
CN109976535B (zh) 一种校准方法、装置、设备及存储介质
US20190377464A1 (en) Display method and electronic device
WO2019187487A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN110341617B (zh) 眼球追踪方法、装置、车辆和存储介质
CN110780742B (zh) 眼球追踪处理方法及相关装置
US11163994B2 (en) Method and device for determining iris recognition image, terminal apparatus, and storage medium
CN113495613B (zh) 眼球追踪校准方法及装置
CN105306819A (zh) 一种基于手势控制拍照的方法及装置
CN114690900A (zh) 一种虚拟场景中的输入识别方法、设备及存储介质
CN112099615B (zh) 注视信息确定方法、装置、眼球追踪设备及存储介质
CN112651270A (zh) 一种注视信息确定方法、装置、终端设备及展示对象
CN113641238A (zh) 一种控制方法、装置、终端设备、受控设备及存储介质
CN113491502A (zh) 一种眼球追踪校准检验方法、装置、设备及存储介质
CN111610886A (zh) 触控屏幕亮度的调整方法、设备及计算机可读存储介质
CN113643438A (zh) 一种控制方法、装置、控制设备、目标设备及存储介质
CN110338750B (zh) 一种眼球追踪设备
CN114816065A (zh) 屏幕背光的调节方法、虚拟现实设备以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination