CN105760106B - 一种智能家居设备交互方法和装置 - Google Patents

一种智能家居设备交互方法和装置 Download PDF

Info

Publication number
CN105760106B
CN105760106B CN201610130884.1A CN201610130884A CN105760106B CN 105760106 B CN105760106 B CN 105760106B CN 201610130884 A CN201610130884 A CN 201610130884A CN 105760106 B CN105760106 B CN 105760106B
Authority
CN
China
Prior art keywords
controlled plant
information
image acquisition
scene
acquisition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610130884.1A
Other languages
English (en)
Other versions
CN105760106A (zh
Inventor
赵辰
丛林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixian Advanced Technology Co.,Ltd.
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201610130884.1A priority Critical patent/CN105760106B/zh
Publication of CN105760106A publication Critical patent/CN105760106A/zh
Application granted granted Critical
Publication of CN105760106B publication Critical patent/CN105760106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的实施方式提供了一种智能家居设备交互方法，包括：通过图像采集单元对当前场景进行图像采集，在相应于图像采集单元的显示屏上呈现采集到的实时图像；确定图像采集单元的实时成像范围中的受控设备；在实时图像中的相应位置处标记受控设备，和/或响应于针对实时图像中的受控设备的触控操作、显示相应的控制操作菜单，和/或响应于实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。通过在实时场景图像上标记其中的受控设备，使得用户能够直观的定位其中可操作的受控设备，实现了用户所见即所得，所见即所控，显著地降低了用户操作难度，提高了用户体验。本发明的实施方式还提供了一种智能家居设备交互装置。

Description

一种智能家居设备交互方法和装置
技术领域
本发明的实施方式涉及物联网技术领域，更具体地，本发明的实施方式涉及一种智能家居设备交互方法和装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
智能家居即通过底层物联网协议，将家庭中的各个电器设备、照明元件、活动组件(如窗帘等)以Uniform Resource Identifiers(URIs，统一资源标识符)定位，并以Representational State Transfer(REST，表述性状态转移)的原则进行状态间的通信。
而在用户与智能家居设备交互方式方面，由于智能家居***中可交互的智能家居元件数量呈指数级增长，因此，传统的单品家居设备的物理级交互方式(通过开关、遥控器等与家居设备进行交互)无法适用于智能家居设备交互。
发明内容
目前，智能家居设备的交互方式主要有以下两种：第一种方式是通过移动设备上安装的APP(应用客户端)与智能家居设备进行交互，通过对智能家居设备进行分组，在APP交互界面以列表方式分层进行显示，例如，客厅-灯-灯1，用户在与某一智能家居设备交互时，需要逐层打开列表以定位需交互的家居设备，同时用户还需要记住每一家居设备的编码，如上述的灯编码，如果用户忘记，则可能需要进行多次尝试，显然这种交互方式下，交互界面不够简洁直观，增加了用户操作步骤，使得用户操作较为复杂，另一方面也增加了用户操作的难度，影响了用户体验；第二种方式是通过自然交互界面(NUI，Natural UserInterface)进行交互，用户通过语音、手势等自然交互界面进行交互，这种交互方式下，智能家居设备的注册是操作的瓶颈，例如，客厅内并排放置4个吊灯，用户需要事先对不同的等等进行编码，如灯1，灯2等，不同的家居设备需要对应不同的语音和手势，同样，用户需准确记住每个灯的编码以及为其定义的操作手势或者语音等，以便与其进行交互，这种操作方式同样不够直观，增加了用户操作的难度。
为此，非常需要一种改进的智能家居设备交互方法，以降低用户操作难度，提高家居设备交互的便捷性。
在本上下文中，本发明的实施方式期望提供一种智能家居设备交互方法和装置。
在本发明实施方式的第一方面中，提供了一种智能家居设备交互方法，包括：
通过图像采集单元对当前场景进行图像采集，并且在相应于所述图像采集单元的显示屏上呈现采集到的实时图像，所述当前场景中包含多个受控设备；
确定所述图像采集单元的实时成像范围中的受控设备；
在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备，和/或响应于针对所述实时图像中的受控设备的触控操作，显示相应的控制操作菜单，和/或响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。
在本发明实施方式的第二方面中，提供了一种智能家居设备交互装置，包括：
图像采集单元，用于对当前场景进行图像采集，所述当前场景中包含多个受控设备；
第一显示单元，用于呈现所述图像采集单元采集到的实时图像；
第一确定单元，用于确定所述图像采集单元的实时成像范围中的受控设备；
标记单元，用于在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备；和/或
第二显示单元，用于响应于针对所述实时图像中的受控设备的触控操作，显示相应的控制操作菜单，和/或响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。
在本发明实施方式的第三方面中，提供了一种智能家居设备交互装置，例如，可以包括存储器和处理器，其中，处理器可以用于读取存储器中的程序，执行下列过程：通过图像采集单元对当前场景进行图像采集，并且在相应于所述图像采集单元的显示屏上呈现采集到的实时图像，所述当前场景中包含多个受控设备；确定所述图像采集单元的实时成像范围中的受控设备；在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备，和/或响应于针对所述实时图像中的受控设备的触控操作，显示相应的控制操作菜单，和/或响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。
在本发明实施方式的第四方面中，提供了一种程序产品，其包括程序代码，当所述程序产品运行时，所述程序代码用于执行以下过程：通过图像采集单元对当前场景进行图像采集，并且在相应于所述图像采集单元的显示屏上呈现采集到的实时图像，所述当前场景中包含多个受控设备；确定所述图像采集单元的实时成像范围中的受控设备；在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备，和/或响应于针对所述实时图像中的受控设备的触控操作，显示相应的控制操作菜单，和/或响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。
根据本发明实施方式的智能家居设备交互方法和装置，可以通过在实时采集的场景图像上标记其中的受控设备，从而使得用户能够从当前显示的场景图像中直观的定位可操作的受控设备，另外，根据用户的触控操作，还可以在实时采集的场景图像中显示相应的控制操作菜单，以便用户可以对相应的受控设备进行控制操作，实现了用户所见即所得，所见即所控，从而显著地降低了用户操作难度，提高了智能家居设备交互的便捷性，为用户带来了更好的体验。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示意性地示出了根据本发明实施方式的应用场景示意图；
图2示意性地示出了根据本发明实施方式的采集场景中包含的受控设备的可控区域三维位置信息的实施流程示意图；
图3示意性地示出了根据本发明实施方式的存储的数据表的一种可能的结构示意图；
图4示意性地示出了根据本发明实施方式的智能家居设备交互初始化流程示意图；
图5示意性地示出了根据本发明实施方式的智能家居设备交互方法实施流程示意图；
图6a示意性地示出了根据本发明实施方式的确定图像采集单元采集的实时图像中的受控设备流程示意图；
图6b示意性地示出了根据本发明实施方式的确定图像采集单元的实施位置和实时朝向的流程示意图；
图7a示意性地示出了根据本发明实施方式的确定图像采集单元的实时位置和实时朝向流程示意图；
图7b示意性地示出了根据本发明实施方式的显示视口示意图；
图8示意性地示出了根据本发明实施方式的在显示屏呈现的实时图像中进行标记的流程示意图；
图9示意性地示出了根据本发明实施方式的显示屏显示的标记了相应的受控设备后的实时图像示意图；
图10示意性地示出了根据本发明实施方式的响应于针对显示屏上呈现的采集到的实时图像中受控设备的触控操作显示该受控设备对应的控制操作菜单的示意图；
图11示意性地示出了根据本发明另一实施例的智能家居设备交互装置示意图；
图12示意性地示出了根据本发明又一实施例的智能家居交互装置的结构示意图；
图13示意性地示出了根据本发明再一实施例的智能家居交互装置的程序产品示意图；
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种***、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种智能家居设备交互方法和设备。
在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
发明概述
本发明人发现，在现有的智能家居设备交互方式中，其交互界面不够简洁直观，使得用户操作复杂，另外，用户需要记住相同类型的不同家居设备对应的编码或者操作方式，增加了用户操作难度。
为了简化用户操作步骤，降低用户操作难度，本发明实施例中，可以利用终端设备上的摄像头等图像采集单元对包含智能家居设备的场景进行实时的图像采集，并将采集到的实时图像呈现在终端设备的显示屏上，通过确定实时图像中包含的智能家居设备(本发明实施例中称之为受控设备)并对其进行标记，使得用户能够在通过终端设备实时呈现的场景图像上直观的看到相应的受控设备，而响应于用户的触控操作，还可以显示相应受控设备的控制操作菜单，以便用户对相应受控设备进行操作控制。本发明实施例提供的家居设备交互方式中，交互界面简洁直观，实现了所见即所得，所见即所控，简化了用户操作步骤，林外，由于用户无需对相同类型的不同家居设备进行编码或者定义其对应的操作手势等，降低了用户操作难度。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
首先参考图1，其为本发明实施例提供的智能家居设备交互方法的应用场景示意图。其包括有多个智能家居设备，如空调11、电视12，空加湿器13等，对智能家居设备的进行控制的通信可以遵循物联网协议，也可以遵循其他通信协议。
示例性方法
下面结合图1的应用场景，参考图2-图9来描述根据本发明示例性实施方式的智能家居设备交互方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
为了实现本发明实施例，需要预先对具体的应用场景进行相关的数据采集和数据预处理。本发明实施例中涉及的应用场景可以为普通物业小区或写字楼中的任一套房屋中、还可以是任一套房屋中的一个房间，例如，客厅，卧室等，或者为酒店的一个房间等等。
具体实施时，通常需要采集以下数据：场景的三维结构信息和所述场景中各设备的三维位置信息，该场景中包含的受控设备的可控区域三维位置信息，以及选取场景中任一区域作为初始位置，以下分别进行介绍。
一、场景的三维结构信息和所述场景中各设备的三维位置信息。
本发明实施例中，可以通过任以任一方式获得场景的三维结构信息和该场景中各设备的三维位置信息：
方式一、通过获得的场景图片进行三维重建。
具体的，可以按照以下流程实施：接收针对场景拍摄的图像，根据接收到的图像进行三维重建得到该场景的三维结构信息和各设备的三维位置信息。
例如，可以采用计算机视觉中的从运动信息中恢复三维场景结构(SFM，Structurefrom motion)技术，其可以从二维的图像或者视频序列中恢复出相应的三维信息，包括成像摄像机的运动参数以及场景的三维结构信息。其输入可以为一系列二维图像或者视频序列，输出是场景的3D模型信息，输出包括了场景的大概尺寸、场景中各设备的顶点在场景中的三维位置信息，即输出还包括场景内部的细节物体的3D模型)。
方式二、接收用户提供的场景的三维结构信息和场景中各设备的三维位置信息。
这种实施方式下，通常可以由房间的所有者或者房屋的开发商直接提供场景的三维结构图，根据获得的三维结构图直接获取相应场景的三维结构信息和场景中各设备的三维位置信息。
二、场景中包含的受控设备的可控区域三维位置信息。
本发明实施例中，可以按照图2所示的流程采集场景中包含的受控设备的可控区域三维位置信息：
S21、获得场景的三维结构信息和该场景中各设备的三维位置信息。
具体实施时，可以按照上述两种方式中的任一种获得场景的三维结构信息和该场景中各设备的三维位置信息，这里不再赘述。
S22、将场景的三维结构信息和该场景中各设备的三维位置信息导入预设编辑工具中。
其中预设的编辑工具提供与用户交互的交互界面，用户通过交互界面导入场景的三维结构信息和该场景中各设备的三维位置信息。
S23、在编辑工具中，用户通过交互界面从该场景的各设备中选择受控设备以及该受控设备的可控区域。
具体实施时，可以通过编辑工具提供的交互界面，对受控设备及其可控区域进行注册，并为相应的受控设备添加说明信息，例如，注册的受控设备为客厅的灯1等。具体的，用户可以选择一些受控设备的关键顶点，例如受控设备的八个顶点，作为注册受控设备、选择可控区域时的信息输入，这些关键顶点***连线组成的区域可以理解为受控设备的可控区域。
S24、存储该场景中的受控设备的可控区域三维位置信息。
具体实施时，在确定出了受控设备的可控区域三维位置信息后，可以利用数据表以存储相关数据。在存储时，需要存储相应的场景标识与该场景内包含的各受控设备的可控区域三维位置信息。如图3所示，其为存储的数据表的一种可能的表结构示意图。其中，场景标识用于区分不同的场景，较佳的，场景标识可以表明不同的小区，不同的楼号，不同的房屋及不同的房间，受控设备标识用于区分不同的受控设备。
场景的三维结构信息和受控设备的可控区域三维位置信息，通常可以由8个顶点坐标组成。
需要说明的是，具体实施时，根据受控设备的形状的不同，受控设备的可控区域三维位置信息的描述上可能有所差异。例如，如果受控设备为规则形状，则受控设备的可控区域三维位置信息可能由8个顶点坐标组成。但是，如果受控设备为镶嵌在墙壁上的设备时，例如镶嵌在墙壁上的智能电视，其可能仅需要4个顶点坐标来描述该受控设备的可控区域三维位置信息。另外，具体实施时，根据实际场景的不同，在选择受控设备及其可控区域时也可以仅选择部分顶点坐标，其余顶点坐标采用对称映射的方法确定。而如果受控设备为不规则形状，则可以根据实际需要，选择具有代表性的关键点及其坐标来描述该受控设备的可控区域三维位置信息，所选择的关键点的***连线组成的区域能够代表该受控设备及其可控区域。图3中以每个受控设备由8个顶点坐标组成为例。
三、选取场景中任一区域作为后续图像识别的初始位置
较佳的，具体实施时，可以选取场景中包含有对比度较高的物体(即本发明实施例中的第一参照物，其中，对比度较高是指指颜色和纹理与周围物体差异较大，比如黑色的物体在白色背景上，其对比度较高)的区域作为后续图像识别的初始位置，具体实施时，初始位置可以由用户指定，并拍摄包含上述参照物的基准图像，记录基准图像中包含的第一参照物的三维位置信息和拍摄基准图像时的角度信息等相关数据。其中，拍摄基准图像时的角度信息是指拍摄基准图像时摄像头朝向与第一参照物的某一个参照面的角度关系。以正方形物体为例，正对物体拍摄时，该物体的4个顶点没有畸变，如果有一定的角度，可以根据畸变程度确定处拍摄时的角度信息；角度信息可以在拍摄时已知并且进行存储记录。
基于上述采集的相关数据，用户在需要与场景中包含的受控设备进行交互时，可以利用本发明实施例提供的方法进行交互，以下详细介绍之。
具体实施时，用户在需要与当前场景内的受控设备进行交互时，可以打开终端设备上的图像采集单元，例如，该图像采集单元可以为摄像头，在场景内进行漫游，基于用户在漫游过程中采集的场景图像序列完成初始化操作，即确定图像采集单元的初始位置和初始朝向(即初始拍摄方向)。
以下结合图4对初始化流程进行说明，可以包括以下步骤：
S41、接收图像采集单元采集的当前场景的第一图像序列。
具体实施时，用户在场景漫游过程中，图像采集单元按照预设帧率采集当前场景图像得到第一图像序列，并将采集的第一图像序列发送给处理单元。
S42、从接收到的第一图像序列中确定包含该当前场景中第一参照物的第一参考图像。
处理单元在接收到图像采集单元发送的场景图像序列后，从中识别出包含上述第一参照物的图像，利用现有的常见图像识别方法识别出图像中包含的第一参照物，并确定包含第一参照物的场景图像为第一参考图像。
S43、根据预置的、包含第一参照物的基准图像和第一参考图像，以及第一参照物的位置信息和拍摄基准图像时的角度信息，计算图像采集单元的初始位置和初始朝向。
处理器根据数据采集以及预处理过程中存储的包含第一参照物的基准图像和步骤S42中确定出的第一参考图像，并结合第一参照物的位置信息和拍摄基准图像时的角度信息，确定图像采集单元的初始位置和初始朝向。
例如，可以采用姿态预估技术(Pose Estimation)，根据基准图像的图像特征点和第一参考图像的图像特征点的匹配关系(例如，基准图像左上角顶点与第一参考图像的左上角的匹配关系)，通过RANSAC(Random Sample Consensus，随机抽样一致)算法消除错误匹配，通过PnP(Perspective N Point)方法(将n个点对应起来)求解图像采集单元的当前pose(姿态)，即图像采集单元的位置和朝向。
至此，完成了初始化流程。
基于此，本发明实施例提供的智能交互方法，可以按照图5所示的流程实施，包括以下步骤：
S51、通过图像采集单元对当前场景进行图像采集，并且在相应于图像采集单元的显示屏上呈现采集到的实时图像。
具体实施时，用户在需要与当前场景中的受控设备进行交互时，利用终端设备对包含该受控设备的当前场景进行图像采集，并在终端设备的显示屏上呈现采集到的实时图像。
S52、确定图像采集单元的实时成像范围中的受控设备。
具体的，确定出图像采集单元的实时成像范围中的多个受控设备，可以将所述实时成像范围中的所有受控设备都确定出来。
S53、在显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备，和/或响应于针对实时图像中的受控设备的触控操作、显示相应的控制操作菜单，和/或用于响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。
具体的，标记受控设备时，将识别出的实时成像范围中的多个受控设备进行标记；可以将识别出的实时成像范围中的所有受控设备均进行标记。
以下结合附图对步骤S52和S53进行详细说明。
在步骤S52中，本发明实施例提供以下两种实施方式确定图像采集单元实时成像范围中的受控设备，具体实施时，可以根据实际需要采用任一种实施方式。
第一种实施方式、图像识别方式
即根据预先采集的受控设备的图像信息，识别在终端设备显示屏上呈现的图像采集单元采集到的实时图像中的受控设备。
第二种实施方式、利用图像采集单元的实时位置、实时朝向、相关采集参数、当前场景中受控设备的可控区域三维信息，计算确定图像采集单元采集的实时图像中的受控设备。
这种实施方式下，可以按照图6a所示的流程确定图像采集单元采集的实时图像中的受控设备，包括以下步骤：
S521、确定图像采集单元在当前场景中的实时位置和实时朝向。
S522、根据图像采集单元的实时位置、实时朝向、以及图像采集单元的参数信息、预先采集的所述当前场景中所包含的受控设备的可控区域三维位置信息，确定图像采集单元的实时成像范围中的受控设备。
具体的，步骤S522中，可以利用计算机视觉中的投影成像原理：p2d＝Proj([R|T]p3d)_，p3d是指在世界坐标系中的3D坐标(相对于初始位置的坐标)，Proj()是投影函数，该投影函数可以根据图像采集单元的参数信息确定，[R|T]是当前相机的位置和朝向，R是朝向、T是位置，其中，R包含了3个自由度的信息，其表示图像采集单元分别相对于x轴，y轴和z轴的旋转量，其为一个3*3的矩阵，T是3维向量(x,y,z)，则[R|T]可以表示为一个3*4的矩阵，输出在2D屏幕上的坐标p2d，基于此，只要知道受控设备的8个3D顶点坐标就可以算出其在2D屏幕上的位置，如果计算出来的坐标p2d不在预设的2D屏幕坐标范围内，则该受控设备不在图像采集单元的实时成像范围内。所以不需要使用当前场景的三维结构的信息。
其中，步骤S521中可以按照图6b所示的流程确定图像采集单元的实施位置和实时朝向：
S5211、确定图像采集单元在当前场景中的初始位置和初始朝向。
其中，确定图像采集单元在当前场景中的初始位置和初始朝向的具体流程如图4所示，这里不再赘述。
S5212、采集图像采集单元的位移信息和转动信息。
具体实施时，可以利用终端设备中的加速度计采集图像采集单元的位移信息，并利用终端设备中的陀螺仪采集图像采集单元的转动信息。
其中，陀螺仪采集图像采集单元在时间t内的转动信息，加速度计采集图像采集单元在时间t内的直线加速度信息，由此，可以估计出图像采集单元在时间t内的位移。
S5213、根据图像采集单元的初始位置、初始朝向、位移信息和转动信息，确定图像采集单元的实时位置和实时朝向。
具体实施时，可以利用步骤S521中确定出的图像采集单元的初始位置和初始朝向，在图像采集单元的移动过程中，利用SLAM(Simultaneous Localization and Mapping，即时定位与地图构建)算法实时确定图像采集单元的实时位置和实时朝向。
基于此，步骤S522中，可以根据图像采集单元的实时位置、实时朝向、以及图像采集单元的参数信息、预先采集的当前场景的三维结构信息和所述当前场景中所包含的受控设备的可控区域三维位置信息，确定图像采集单元的实时成像范围以及实时成像范围中的受控设备。即根据本发明实施例，在确定图像采集单元的实时成像范围中的受控设备时，也可以使用当前场景的三维结构信息，计算出图像采集单元对于当前场景的成像范围，继而再根据受控设备在当前场景中的三维位置信息，计算出图像采集单元的实时成像范围中包含哪些受控设备。
其中，图像采集单元的参数信息可以包括图像采集单元的焦距、元件尺寸、畸变参数等。
较佳的，具体实施时，还可以在图像采集单元移动过程中，按照以下图7a所示的流程确定图像采集单元的实时位置和实时朝向：
S71、在图像采集单元移动过程中，提取图像采集单元采集的包含第二参照物的实时图像作为关键帧图像。
其中，第二参照物可以为图像中包含的对比度较高的物体，将图像采集单元采集的包含第二参照物的图像作为关键帧图像。后续利用关键帧图像来确定图像采集单元在采集到第二参考图像时的实时位置和实时朝向。其中利用关键帧图像的相关信息确定图像采集单元的实时位置和实时朝向的流程与上述利用基准图像的相关信息确定图像采集单元的实时位置和实时朝向的流程类似，以下简单介绍之。
S72、存储关键帧图像的图像信息、拍摄关键帧图像时图像采集单元的第一位置信息和第一朝向信息。
S73、接收图像采集单元采集的当前场景的第二图像序列。
用户继续在当前场景中漫游，相应的，在图像采集单元移动过程中，图像采集单元按照预设帧率(由终端设备自身参数决定)采集当前场景图像得到第二图像序列，并将采集的第二图像序列发送给处理单元。
S74、从接收到的第二图像序列中确定包含当前场景中第二参照物的第二参考图像。
处理单元在接收到图像采集单元发送的场景图像序列后，从接收到的场景图像序列中识别包含第二参照物的图像，将其作为第二参考图像。
S75、根据关键帧图像的图像信息、第二参考图像、第一位置信息和第一朝向信息，确定图像采集单元在采集到第二参考图像时的实时位置和实时朝向。
具体的，可以比较关键帧图像和第二参考图像，根据存储的关键帧图像的图像信息、拍摄关键帧图像时图像采集单元的第一位置信息和第一朝向信息，确定图像采集单元在采集到第二参考图像时的实时位置和实时朝向。
后续如果用户继续在场景中漫游，则可以根据采集到的图像采集单元的位移信息(使用终端设备中的加速度计进行采集)和转动信息(使用终端设备中的陀螺仪进行采集)以及采集到第二参考图像时图像采集单元的实时朝向和实时位置来确定图像采集单元在移动过程中的实时位置和实时朝向。
根据图像采集单元的实时位置和实时朝向，可以确定出图像采集单元的实时成像范围。具体的，当图像采集单元的位置和朝向发生变化时，即为图像采集单元拍摄场景的角度发生变化，导致显示视口(FOV，Field of View)不同，显示视口是指图像采集单元能拍摄到的最大视场范围，如图7b所示，其为显示视口示意图，camera(相机)即为本发明实施例中的图像采集单元，显示视口包括水平视口(Horizontal FOV)和垂直视口(Vertical FOV)。只有在显示视口内的场景呈现在与图像采集单元相应的显示屏上。显示视口由***面(Near)和远平面(Far)组成，位于***面和远平面之间的场景可以呈现在与图像采集单元相应的显示屏上。因此，根据图像采集单元的实时位置和实时朝向的不同，显示屏呈现的场景图像也不同，这是因为图像采集单元的成像范围不同而引起的。根据图像采集单元的实时位置和实时朝向可以确定出图像采集单元的实时成像范围，进而可以确定出图像采集单元采集的实时成像范围中的受控设备。
基于此，步骤S53中，根据确定出的、位于图像采集单元实时成像范围内的受控设备，按照图8所示的流程在显示屏呈现的实时图像中进行标记：
S531、根据预先采集的受控设备的可控区域三维位置信息，将位于实时成像范围中的受控设备的可控区域三维位置信息转换为在显示屏上呈现的采集到的实时图像中的二维位置信息。
与上述步骤S522类似，步骤S531中同样可以采用计算机视觉中的投影成像原理：p2d＝Proj([R|T]p3d)_，其中，p3d指在世界坐标系中的3D坐标，Proj()是投影函数，[R|T]是当前相机的位置和朝向，输出在2D屏幕上的坐标为p2d，因此，确定了受控设备的8个3D顶点坐标便可以计算出其在2D屏幕上的位置。
S532、根据确定出的位于实时成像范围中的受控设备在显示屏上呈现的采集到的实时图像中二维位置信息，在显示屏上呈现的采集到的实时图像中的相应位置处，标记相应的受控设备。
如图9所示，其为显示屏显示的标记了相应的受控设备后的实时图像示意图。
可选地，在标记了相应的受控设备后，还可以针对位于实时成像范围内的每一受控设备，确定该受控设备对应的控制操作菜单，并为该被标记的受控设备添加相应的隐藏的控制操作菜单。具体的，可以根据存储的受控设备的描述信息确定该受控设备对应的控制操作菜单。
更佳的，响应于针对显示屏上呈现的采集到的实时图像中受控设备的触控操作，例如在被标记范围内的触控操作，显示相应受控设备对应的控制操作菜单。或者，如果检测到显示屏上呈现的采集到的实时图像上标记范围内的任一位置被点击时，显示相应的控制操作菜单。如图10所示，其为响应于针对显示屏上呈现的采集到的实时图像中受控设备的触控操作显示该受控设备对应的控制操作菜单的示意图。此外，还可以设置如下的触发控制操作菜单显示的方式：在显示屏上预设位置做标记，例如在显示屏正中间做特定标记，用户调整手机朝向时，显示屏上显示的实时图像中的受控设备会在显示屏中移动显示位置，当受控设备移动至显示屏正中间的特定标记处时，显示相应的控制操作菜单。
较佳的，具体实施时，可以采用增强现实(AR)方式显示受控设备对应的控制操作菜单。
由于受控设备可以直观的显示在显示屏上，如果用户可以自行判断哪些为受控设备，因此，具体实施时，也可以不对受控设备进行标记，仅在用户在受控设备处进行触控操作时，显示相应受控设备对应的控制操作菜单即可。具体实施时，也可以仅仅对受控设备进行标记即可，或者，仅在显示屏上预设位置做标记，在图像采集单元移动过程中，如果有受控设备显示于该预设位置时，自动显示该受控设备相应的操作控制菜单。
需要说明的是，本发明实施例中涉及的终端设备可以为常见的手机、平板电脑等，也可以为可穿戴式设备，例如增强现实(AR)眼镜等。
本发明实施例提供的智能家居设备交互方式，可以通过终端设备的显示屏幕直观的显示当前场景的实时图像，并可以将其中包含的受控设备进行标记，方便用户识别，这样，使得用户可以通过终端屏幕(手机、平板电脑等的显示屏)直接定位相应受控设备，或者用户可以通过手势(应用于AR眼镜等可穿戴式设备中)直接定位相应受控设备，另外，响应于用户对相应受控设备的触控操作，实现用户与受控设备的交互(读取受控设备反馈信息或者进行控制操作等)。
示例性设备
在介绍了本发明示例性实施方式的方法之后，接下来，参考图11对本发明示例性实施方式的、智能家居设备交互装置进行说明。
如图11所示，本发明实施例提供的智能家居交互装置，可以包括：
图像采集单元111，用于对当前场景进行图像采集，所述当前场景中包含多个受控设备；
第一显示单元112，用于呈现所述图像采集单元采集到的实时图像；
第一确定单元113，用于确定所述图像采集单元111的实时成像范围中的受控设备；
标记单元114，用于在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备；和/或
第二显示单元115，用于响应于针对所述实时图像中的受控设备的触控操作，显示相应的控制操作菜单，和/或用于响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。
其中，第一确定单元113，可以包括：
第一确定子单元1131，用于确定所述图像采集单元在所述当前场景中的实时位置和实时朝向；
第二确定子单元1132，用于根据所述实时位置、实时朝向、所述图像采集单元的参数信息、以及预先采集的所述场景中包含的受控设备的可控区域三维位置信息，确定所述图像采集单元的实时成像范围中的受控设备。
具体实施时，第二确定子单元1132，具体用于根据所述实时位置和实时朝向、所述图像采集单元的参数信息、预先采集的所述当前场景的三维结构信息和所述场景中所包含的受控设备的可控区域三维位置信息，确定所述图像采集单元的实时成像范围以及所述实时成像范围中的受控设备。
具体实施时，第一确定子单元1131，包括：
第一确定模块，用于确定所述图像采集单元的初始位置和初始朝向；
采集模块，用于采集所述图像采集单元的位移信息和转动信息；
第二确定模块，用于根据所述初始位置、初始朝向、位移信息和转动信息，确定所述图像采集单元的实时位置和实时朝向。
其中，第一确定模块，包括：
第一接收子模块，用于接收所述图像采集单元采集的当前场景的第一图像序列；
第一确定子模块，用于从所述第一图像序列中确定包含所述当前场景中第一参照物的第一参考图像；
第一计算子模块，用于根据预置的、包含所述第一参照物的基准图像和所述第一参考图像，以及所述第一参照物的位置信息和拍摄所述基准图像时的角度信息，计算所述图像采集单元的初始位置和初始朝向。
可选的，第一确定模块，还包括提取子模块和存储子模块、第二接收子模块、第二确定子模块和第二计算子模块，其中：
所述提取子模块，用于在所述图像采集单元移动过程中，提取所述图像采集单元采集的包含第二参照物的实时图像作为关键帧图像；
所述存储子模块，用于存储所述关键帧图像的图像信息、拍摄所述关键帧图像时所述图像采集单元的第一位置信息和第一朝向信息；
所述第二接收子模块，用于接收所述图像采集单元采集的当前场景的第二图像序列；
第二确定子模块，用于从所述第二图像序列中确定包含所述当前场景中所述第二参照物的第二参考图像；
所述第二计算子模块，具体用于根据所述关键帧图像的图像信息、第二参考图像、第一位置信息和第一朝向信息，确定所述图像采集单元在采集到所述第二参考图像时的实时位置和实时朝向。
较佳的，第一确定单元113还可以包括识别子单元1133，用于根据预先采集的受控设备的图像信息，识别在所述显示屏上呈现的采集到的所述实时图像中的受控设备。
具体实施时，标记单元114，包括：
转换子单元1141，用于根据预先采集的受控设备的可控区域三维位置信息，将位于所述实时成像范围中的受控设备的可控区域三维位置信息转换为在所述显示屏上呈现的采集到的实时图像中的二维位置信息；
标记子单元1142，用于根据所述二维位置信息，在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备。
可选地，本发明实施例提供的智能家居设备交互装置，还可以包括：
获得单元116，用于获得所述场景的三维结构信息和所述场景中各设备的三维位置信息；
导入单元117，用于将所述场景的三维结构信息和所述各设备的三维位置信息导入预设编辑工具中；
选择单元118，用于在所述编辑工具中，从所述各设备中选择所述受控设备以及所述受控设备的可控区域；
存储单元119，用于存储所述受控设备的可控区域三维位置信息。
其中，所述获得单元116，包括：
接收子单元1161，用于接收针对所述场景拍摄的图像；或者接收用户提供的所述场景的三维结构信息和所述场景中各设备的三维位置信息；
重建子单元1162，用于根据所述接收子单元接收到的图像进行三维重建得到所述场景的三维结构信息和所述场景中各设备的三维位置信息。
可选地，本发明实施例提供的家居设备交互装置，还可以包括：
添加单元1120，用于在所述标记单元标记所述受控设备之后，针对位于所述实时成像范围内的每一受控设备，确定该受控设备对应的控制操作菜单，并为该被标记的受控设备添加相应的隐藏的控制操作菜单。
具体实施时，第二显示单元115，还用于如果检测到所述显示屏上呈现的采集到的实时图像上标记范围内的任一位置被点击时，显示相应的控制操作菜单。较佳的，所述第二显示单元115，可以用于采用增强现实AR方式显示相应的控制操作菜单。
本发明实施例提供的智能家居交互装置可以设置于终端设备(上述的手机、平板电脑以及可穿戴设备如AR眼镜等)中。
在介绍了本发明提供的智能家居设备交互方法和装置之后，接下来，介绍根据本发明的另一示例性实施方式的智能家居设备交互装置。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。
在一些可能的实施方式中，根据本发明的智能家居交互装置可以包括至少一个处理单元、以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的消息提示方法中的各种步骤。例如，所述处理单元可以执行如图5中所示的步骤S51，通过图像采集单元对当前场景进行图像采集，并且在相应于图像采集单元的显示屏上呈现采集到的实时图像，步骤S52，确定图像采集单元的实时成像范围中的受控设备；以及步骤S53，在显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备，和/或响应于针对实时图像中的受控设备的触控操作，显示相应的控制操作菜单，和/或用于响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
下面参照图12来描述根据本发明的这种实施方式的智能家居设备交互装置120。图12所示的用于智能家居设备交互装置仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图12所示，智能家居设备交互装置120可以以通用计算设备的形式表现。智能家居设备交互装置120的组件可以包括但不限于：上述至少一个处理单元121、上述至少一个存储单元122、连接不同***组件(包括存储单元122和处理单元121)的总线123。
总线123表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、***总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元122可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1221和/或高速缓存存储器1222，还可以进一步包括只读存储器(ROM)1223。
存储单元122还可以包括具有一组(至少一个)程序模块1224的程序/实用工具1225，这样的程序模块1224包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
智能家居设备交互装置120也可以与一个或多个外部设备124(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与智能家居设备交互装置120交互的设备通信，和/或与使得该智能家居设备交互装置120能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口125进行。并且，智能家居设备交互装置120还可以通过网络适配器126与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器126通过总线123与用于智能家居设备交互装置120的其它模块通信。应当理解，尽管图中未示出，可以结合智能家居设备交互装置120使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
示例性程序产品
在一些可能的实施方式中，本发明提供的智能家居设备交互方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的智能家居设备交互方法中的步骤，例如，所述终端设备可以执行如图5中所示的步骤S51，通过图像采集单元对当前场景进行图像采集，并且在相应于图像采集单元的显示屏上呈现采集到的实时图像，步骤S52，确定图像采集单元的实时成像范围中的受控设备；以及步骤S53，在显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备，和/或响应于针对实时图像中的受控设备的触控操作，显示相应的控制操作菜单，和/或用于响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
如图13所示，描述了根据本发明的实施方式的用于智能家居设备交互的程序产品130，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (26)

1.一种智能家居设备交互方法，包括：
通过图像采集单元对当前场景进行图像采集，并且在相应于所述图像采集单元的显示屏上呈现采集到的实时图像，所述当前场景中包含多个受控设备；
确定所述图像采集单元的实时成像范围中的受控设备；
在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备，和/或响应于针对所述实时图像中的受控设备的触控操作、显示相应的控制操作菜单，和/或响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。
2.根据权利要求1所述的方法，确定所述图像采集单元的实时成像范围中的受控设备，包括：
确定所述图像采集单元在所述当前场景中的实时位置和实时朝向；
根据所述实时位置、实时朝向、所述图像采集单元的参数信息、以及预先采集的所述场景中包含的受控设备的可控区域三维位置信息，确定所述图像采集单元的实时成像范围中的受控设备。
3.根据权利要求2所述的方法，根据所述实时位置、实时朝向、所述图像采集单元的参数信息、以及预先采集的所述场景中包含的受控设备的可控区域三维位置信息，确定所述图像采集单元的实时成像范围中的受控设备，包括：
根据所述实时位置、实时朝向、所述图像采集单元的参数信息、预先采集的所述当前场景的三维结构信息和所述当前场景中所包含的受控设备的可控区域三维位置信息，确定所述图像采集单元的实时成像范围以及所述实时成像范围中的受控设备。
4.根据权利要求2或3所述的方法，所述确定所述图像采集单元在所述当前场景中的实时位置和实时朝向，包括：
确定所述图像采集单元的初始位置和初始朝向；
采集所述图像采集单元的位移信息和转动信息；
根据所述初始位置、初始朝向、位移信息和转动信息，确定所述图像采集单元的实时位置和实时朝向。
5.根据权利要求4所述的方法，确定所述图像采集单元的初始位置和初始朝向，包括：
接收所述图像采集单元采集的所述当前场景的第一图像序列；
从所述第一图像序列中确定包含所述当前场景中第一参照物的第一参考图像；
根据预置的、包含所述第一参照物的基准图像和所述第一参考图像，以及所述第一参照物的位置信息和拍摄所述基准图像时的角度信息，计算所述图像采集单元的初始位置和初始朝向。
6.根据权利要求5所述的方法，还包括：
在所述图像采集单元移动过程中，提取所述图像采集单元采集的包含第二参照物的实时图像作为关键帧图像；并
存储所述关键帧图像的图像信息、拍摄所述关键帧图像时所述图像采集单元的第一位置信息和第一朝向信息；以及
所述方法还包括：
接收所述图像采集单元采集的所述当前场景的第二图像序列；
从所述第二图像序列中确定包含所述当前场景中所述第二参照物的第二参考图像；
根据所述关键帧图像的图像信息、第二参考图像、第一位置信息和第一朝向信息，确定所述图像采集单元在采集到所述第二参考图像时的实时位置和实时朝向。
7.根据权利要求1所述的方法，确定所述图像采集单元的实时成像范围中的受控设备，具体包括：
根据预先采集的受控设备的图像信息，识别在所述显示屏上呈现的采集到的所述实时图像中的受控设备。
8.根据权利要求3所述的方法，在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备，包括：
根据预先采集的受控设备的可控区域三维位置信息，将位于所述实时成像范围中的受控设备的可控区域三维位置信息转换为在所述显示屏上呈现的采集到的实时图像中的二维位置信息；
根据所述二维位置信息，在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备。
9.根据权利要求2或8所述的方法，按照以下过程采集所述受控设备的可控区域三维位置信息：
获得所述场景的三维结构信息和所述场景中各设备的三维位置信息；
将所述场景的三维结构信息和所述各设备的三维位置信息导入预设编辑工具中；
在所述编辑工具中，从所述各设备中选择所述受控设备以及所述受控设备的可控区域；
存储所述受控设备的可控区域三维位置信息。
10.根据权利要求9所述的方法，获得所述场景的三维结构信息和所述场景中各设备的三维位置信息，包括：
接收针对所述场景拍摄的图像，根据接收到的图像进行三维重建得到所述场景的三维结构信息和所述场景中各设备的三维位置信息；或者接收用户提供的所述场景的三维结构信息和所述场景中各设备的三维位置信息。
11.根据权利要求1所述的方法，标记所述受控设备之后，还包括：
针对位于所述实时成像范围内的每一受控设备，确定该受控设备对应的控制操作菜单，并为被标记的受控设备添加相应的隐藏的控制操作菜单。
12.根据权利要求11所述的方法，响应于针对所述实时图像中的受控设备的触控操作，显示相应的控制操作菜单，包括：
如果检测到所述显示屏上呈现的采集到的实时图像上标记范围内的任一位置被点击时，显示相应的控制操作菜单。
13.根据权利要求1-3、5-8以及11-12任一项权利要求所述的方法，显示相应的控制菜单，包括：
采用增强现实AR方式显示相应的控制操作菜单。
14.一种智能家居设备交互装置，包括：
图像采集单元，用于对当前场景进行图像采集，所述当前场景中包含多个受控设备；
第一显示单元，用于呈现所述图像采集单元采集到的实时图像；
第一确定单元，用于确定所述图像采集单元的实时成像范围中的受控设备；
标记单元，用于在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备；和/或
第二显示单元，用于响应于针对所述实时图像中的受控设备的触控操作，显示相应的控制操作菜单，和/或用于响应于所述实时图像中的受控设备显示于所述显示屏的预设位置处、显示相应的控制操作菜单。
15.根据权利要求14所述的装置，所述第一确定单元，包括：
第一确定子单元，用于确定所述图像采集单元在所述当前场景中的实时位置和实时朝向；
第二确定子单元，用于根据所述实时位置、实时朝向、所述图像采集单元的参数信息、以及预先采集的所述场景中包含的受控设备的可控区域三维位置信息，确定所述图像采集单元的实时成像范围中的受控设备。
16.根据权利要求15所述的装置，
所述第二确定子单元，具体用于根据所述实时位置和实时朝向、所述图像采集单元的参数信息、预先采集的所述当前场景的三维结构信息和所述场景中所包含的受控设备的可控区域三维位置信息，确定所述图像采集单元的实时成像范围以及所述实时成像范围中的受控设备。
17.根据权利要求15或16所述的装置，所述第一确定子单元，包括：
第一确定模块，用于确定所述图像采集单元的初始位置和初始朝向；
采集模块，用于采集所述图像采集单元的位移信息和转动信息；
第二确定模块，用于根据所述初始位置、初始朝向、位移信息和转动信息，确定所述图像采集单元的实时位置和实时朝向。
18.根据权利要求17所述的装置，所述第一确定模块，包括：
第一接收子模块，用于接收所述图像采集单元采集的所述当前场景的第一图像序列；
第一确定子模块，用于从所述第一图像序列中确定包含所述当前场景中第一参照物的第一参考图像；
第一计算子模块，用于根据预置的、包含所述第一参照物的基准图像和所述第一参考图像，以及所述第一参照物的位置信息和拍摄所述基准图像时的角度信息，计算所述图像采集单元的初始位置和初始朝向。
19.根据权利要求18所述的装置，所述第一确定模块，还包括提取子模块和存储子模块、第二接收子模块、第二确定子模块和第二计算子模块，其中：
所述提取子模块，用于在所述图像采集单元移动过程中，提取所述图像采集单元采集的包含第二参照物的实时图像作为关键帧图像；
所述存储子模块，用于存储所述关键帧图像的图像信息、拍摄所述关键帧图像时所述图像采集单元的第一位置信息和第一朝向信息；
所述第二接收子模块，用于接收所述图像采集单元采集的所述当前场景的第二图像序列；
第二确定子模块，用于从所述第二图像序列中确定包含所述当前场景中所述第二参照物的第二参考图像；
所述第二计算子模块，具体用于根据所述关键帧图像的图像信息、第二参考图像、第一位置信息和第一朝向信息，确定所述图像采集单元在采集到所述第二参考图像时的实时位置和实时朝向。
20.根据权利要求14所述的装置，所述第一确定单元，包括：
识别子单元，用于根据预先采集的受控设备的图像信息，识别在所述显示屏上呈现的采集到的所述实时图像中的受控设备。
21.根据权利要求16所述的装置，所述标记单元，包括：
转换子单元，用于根据预先采集的受控设备的可控区域三维位置信息，将位于所述实时成像范围中的受控设备的可控区域三维位置信息转换为在所述显示屏上呈现的采集到的实时图像中的二维位置信息；
标记子单元，用于根据所述二维位置信息，在所述显示屏上呈现的采集到的实时图像中的相应位置处，标记所述受控设备。
22.根据权利要求15或21所述的装置，还包括：
获得单元，用于获得所述场景的三维结构信息和所述场景中各设备的三维位置信息；
导入单元，用于将所述场景的三维结构信息和所述各设备的三维位置信息导入预设编辑工具中；
选择单元，用于在所述编辑工具中，从所述各设备中选择所述受控设备以及所述受控设备的可控区域；
存储单元，用于存储所述受控设备的可控区域三维位置信息。
23.根据权利要求22所述的装置，所述获得单元，包括：
接收子单元，用于接收针对所述场景拍摄的图像；或者接收用户提供的所述场景的三维结构信息和所述场景中各设备的三维位置信息；
重建子单元，用于根据所述接收子单元接收到的图像进行三维重建得到所述场景的三维结构信息和所述场景中各设备的三维位置信息。
24.根据权利要求14所述的装置，还包括：
添加单元，用于在所述标记单元标记所述受控设备之后，针对位于所述实时成像范围内的每一受控设备，确定该受控设备对应的控制操作菜单，并为被标记的受控设备添加相应的隐藏的控制操作菜单。
25.根据权利要求24所述的装置，
第二显示单元，还用于如果检测到所述显示屏上呈现的采集到的实时图像上标记范围内的任一位置被点击时，显示相应的控制操作菜单。
26.根据权利要求14-16、18-21以及24-25任一项所述的装置，
所述第二显示单元，具体用于采用增强现实AR方式显示相应的控制操作菜单。
CN201610130884.1A 2016-03-08 2016-03-08 一种智能家居设备交互方法和装置 Active CN105760106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610130884.1A CN105760106B (zh) 2016-03-08 2016-03-08 一种智能家居设备交互方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610130884.1A CN105760106B (zh) 2016-03-08 2016-03-08 一种智能家居设备交互方法和装置

Publications (2)

Publication Number Publication Date
CN105760106A CN105760106A (zh) 2016-07-13
CN105760106B true CN105760106B (zh) 2019-01-15

Family

ID=56332736

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610130884.1A Active CN105760106B (zh) 2016-03-08 2016-03-08 一种智能家居设备交互方法和装置

Country Status (1)

Country Link
CN (1) CN105760106B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102420857B1 (ko) * 2016-08-30 2022-07-15 스냅 인코포레이티드 동시 로컬화 및 매핑을 위한 시스템 및 방법
CN106406805B (zh) * 2016-09-13 2019-05-14 Oppo广东移动通信有限公司 一种音箱分组的方法及移动终端
CN106445298A (zh) * 2016-09-27 2017-02-22 三星电子（中国）研发中心 用于物联网设备的可视化操作方法和装置
US11119722B2 (en) * 2016-11-08 2021-09-14 Sharp Kabushiki Kaisha Movable body control apparatus and recording medium
CN106502118A (zh) * 2016-12-21 2017-03-15 惠州Tcl移动通信有限公司 一种基于ar摄像头的智能家居控制方法及***
CN107065522B (zh) * 2016-12-29 2020-06-16 冶金自动化研究设计院 非线性切换双时标***模糊慢状态反馈h∞控制方法
CN107797661A (zh) * 2017-09-14 2018-03-13 珠海格力电器股份有限公司 一种设备控制装置、方法及移动终端
CN109727321A (zh) * 2017-10-31 2019-05-07 中兴通讯股份有限公司 结算方法及装置
CN108548300B (zh) * 2018-03-02 2020-01-07 珠海格力电器股份有限公司 空调送风方法及装置、电子设备
CN110462574A (zh) * 2018-03-23 2019-11-15 深圳市大疆创新科技有限公司 控制方法、控制设备、控制***和计算机可读存储介质
KR102524586B1 (ko) * 2018-04-30 2023-04-21 삼성전자주식회사 전자 장치 및 그 동작방법
CN111314398A (zh) * 2018-12-11 2020-06-19 阿里巴巴集团控股有限公司 设备控制方法、配网方法、***及设备
CN109491263B (zh) * 2018-12-13 2022-06-03 深圳绿米联创科技有限公司 智能家居设备控制方法、装置、***及存储介质
CN109814822B (zh) * 2018-12-24 2021-08-24 维沃移动通信有限公司 一种多媒体的播放控制方法、装置及终端设备
CN110135238B (zh) * 2019-03-26 2021-04-06 浙江工业大学 一种基于移动ar的无标记物联网设备识别方法
CN112051919B (zh) * 2019-06-05 2022-10-18 北京外号信息技术有限公司 一种基于位置的交互方法和交互***
CN110297472A (zh) * 2019-06-28 2019-10-01 上海商汤智能科技有限公司 设备控制方法、终端、受控设备、电子设备和存储介质
CN111045344A (zh) * 2019-12-31 2020-04-21 维沃移动通信有限公司 一种家居设备的控制方法及电子设备
US20230198850A1 (en) * 2020-05-15 2023-06-22 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus for obtaining map of internet of things device
CN111787081B (zh) * 2020-06-21 2021-03-23 江苏永鼎通信有限公司 基于物联网交互和智能通信的信息处理方法及云计算平台
CN112346630B (zh) * 2020-10-27 2022-09-27 北京有竹居网络技术有限公司 状态确定方法、装置、设备和计算机可读介质
CN112817547A (zh) * 2021-01-22 2021-05-18 北京小米移动软件有限公司 显示方法及装置、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103135754A (zh) * 2011-12-02 2013-06-05 深圳泰山在线科技有限公司 交互设备及采用交互设备实现交互的方法
KR101358064B1 (ko) * 2012-10-29 2014-02-11 한국과학기술원 사용자 이미지를 이용한 원격 제어 방법 및 시스템
CN104461318A (zh) * 2013-12-10 2015-03-25 苏州梦想人软件科技有限公司 基于增强现实技术的点读方法及***
CN104851134A (zh) * 2015-05-18 2015-08-19 天机数码创新技术有限公司 虚拟触发与真实物体触发相结合的扩增实境***及其方法
CN105096180A (zh) * 2015-07-20 2015-11-25 北京易讯理想科技有限公司 基于增强现实的商品信息显示方法及装置
CN205028239U (zh) * 2014-12-10 2016-02-10 杭州凌手科技有限公司 虚拟现实智能投影手势互动一体机

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103135754A (zh) * 2011-12-02 2013-06-05 深圳泰山在线科技有限公司 交互设备及采用交互设备实现交互的方法
KR101358064B1 (ko) * 2012-10-29 2014-02-11 한국과학기술원 사용자 이미지를 이용한 원격 제어 방법 및 시스템
CN104461318A (zh) * 2013-12-10 2015-03-25 苏州梦想人软件科技有限公司 基于增强现实技术的点读方法及***
CN205028239U (zh) * 2014-12-10 2016-02-10 杭州凌手科技有限公司 虚拟现实智能投影手势互动一体机
CN104851134A (zh) * 2015-05-18 2015-08-19 天机数码创新技术有限公司 虚拟触发与真实物体触发相结合的扩增实境***及其方法
CN105096180A (zh) * 2015-07-20 2015-11-25 北京易讯理想科技有限公司 基于增强现实的商品信息显示方法及装置

Also Published As

Publication number Publication date
CN105760106A (zh) 2016-07-13

Similar Documents

Publication Publication Date Title
CN105760106B (zh) 一种智能家居设备交互方法和装置
US11263823B2 (en) Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US20190129607A1 (en) Method and device for performing remote control
CN107358007B (zh) 控制智能家居***的方法、装置和计算可读存储介质
CN107045844B (zh) 一种基于增强现实技术的景观导视方法
CN105631773B (zh) 用于提供地图服务的电子设备和方法
KR20140109020A (ko) 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법
EP3548993A1 (en) Virtual sensor configuration
US8537231B2 (en) User interface system based on pointing device
CN104142939B (zh) 一种基于运动特征信息匹配特征码的方法与设备
US11132845B2 (en) Real-world object recognition for computing device
WO2020069049A1 (en) Employing three-dimensional data predicted from two-dimensional images using neural networks for 3d modeling applications
KR20160003553A (ko) 지도 정보를 제공하기 위한 전자 장치
KR101181967B1 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
CN104301661B (zh) 一种智能家居监控方法、客户端及相应装置
TW202109450A (zh) 一種圖像處理方法、設備和儲存介質
CN111026261A (zh) 一种旅游景点ar互动展示的方法
CN109997364A (zh) 提供全向图像的映射的指示的方法、设备和流
CN109063799B (zh) 设备的定位方法和装置
CN109839827B (zh) 一种基于全空间位置信息的手势识别智能家居控制***
JP2021524119A (ja) 光ラベルに基づく情報デバイスインタラクション方法及びシステム
CN111179341B (zh) 一种增强现实设备与移动机器人的配准方法
KR101036107B1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
CN114945090A (zh) 视频生成方法、装置、计算机可读存储介质及计算机设备
US20240127552A1 (en) Augmented reality method and system enabling commands to control real-world devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210518

Address after: 311200 Room 102, 6 Blocks, C District, Qianjiang Century Park, Xiaoshan District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Yixian Advanced Technology Co.,Ltd.

Address before: 310052 Building No. 599, Changhe Street Network Business Road, Binjiang District, Hangzhou City, Zhejiang Province, 4, 7 stories

Patentee before: NETEASE (HANGZHOU) NETWORK Co.,Ltd.

TR01 Transfer of patent right