CN102577250A - 用于与增强对象进行交互的设备 - Google Patents

用于与增强对象进行交互的设备 Download PDF

Info

Publication number
CN102577250A
CN102577250A CN2010800444553A CN201080044455A CN102577250A CN 102577250 A CN102577250 A CN 102577250A CN 2010800444553 A CN2010800444553 A CN 2010800444553A CN 201080044455 A CN201080044455 A CN 201080044455A CN 102577250 A CN102577250 A CN 102577250A
Authority
CN
China
Prior art keywords
user
service
equipment
enhancing
definition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800444553A
Other languages
English (en)
Other versions
CN102577250B (zh
Inventor
A·帕斯特
J·吉恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Origin Asset Group Co ltd
Original Assignee
Alcatel Lucent SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent SAS filed Critical Alcatel Lucent SAS
Publication of CN102577250A publication Critical patent/CN102577250A/zh
Application granted granted Critical
Publication of CN102577250B publication Critical patent/CN102577250B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40195—Tele-operation, computer assisted manual operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/002—Special television systems not provided for by H04N7/007 - H04N7/18

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及一种用于与至少一个增强对象(3)进行交互的设备，其中增强对象(3)包括彼此相关联的物理对象(6)和虚拟对象(7)，所述虚拟对象(7)包括至少一个服务定义元素，其可以通过第一通信装置与增强对象(3)连接，所述设备包括：视频捕获装置(8)；用户终端(12)；自动识别增强对象(3)的装置；通信装置(10)，能够在设备和识别的增强对象(3)之间建立连接，并另外能够恢复所述服务定义元素；根据所述服务定义元素定义用于识别的增强对象(3)的服务的控制界面的装置；读取装置，能够读取与所述控制界面相关的命令；以及用于将所述命令通信给增强对象(3)以执行所述命令的装置(17)。

Description

用于与增强对象进行交互的设备
技术领域
本发明涉及一种新的交互范例，使用户能够通过视频链路媒介与环境中的至少一个对象(object)进行交互。
背景技术
许多环境和应用要求用户通过视频链路与能够看见的对象进行交互，例如在远程对象或危险环境的情况下。
例如US 6463343，经由视频链路显示包括至少一个“活动”对象的环境，以及叠加(superimpose)与所述对象提供的服务的相关联的命令界面(interface)元素是常见的，为了能够使用户与所述对象交互，视频链路使可视地监控交互结果成为可能。
然而，在US 6463343中，在进行任何动作之前，用户必须定义在一方面的典型地来自存储介质的命令界面元素和另一方面的由对象提供的服务之间的关联性。
随着物联网时代的到来，通过视频图像对远程对象的发现并控制已经成为主要的感兴趣领域。主要问题是通过视频链路来发现交互对象并对交互对象进行操作，并限制界面集成和配置工作。
这意味着从其它普通对象中自动区分出具有远程控制界面的对象的能力，以及将该控制界面连同所述视频呈现给用户的能力，比便能够使得用户通过使用由所述对象提供的服务来控制远程对象。
当前，常见的仅是将静态信息***到视频中，或将评论***到图像的特定区域中。
本发明通过提出将活动对象与控制界面自动关联的装置或定义这样界面的装置，克服了这些缺陷。通过增强对象的创新性概念使上述内容成为可能。这样的概念自然会在当前涉及物联网的发展中找到自己的位置。
发明内容
本发明的目的是一种使位于用户区域内的用户能够与在环境中呈现的至少一个增强对象进行交互的设备，所述增强对象位于对象区域中，增强对象包括物理对象和相关联的虚拟对象，所述虚拟对象包括至少一个用于由所述增强对象提供的至少一个服务的定义元素，所述增强对象能够通过第一通信装置进行连接，所述设备包括：
-捕获视频的装置，位于对象区域中，能够获取所述环境至少一部分的视频图像，
-第二通信装置，能够将对象区域的所述视频图像传送到用户区域，
-用户终端，位于用户区域中，能够显示所述视频图像，以便呈现给用户，
-当相关联的物理对象呈现在视频捕获装置的视野中时自动识别增强对象的装置，
-第一通信装置，能够建立在设备和识别的增强对象之间的连接，并恢复用于所述增强对象提供的服务的所述定义元素，
-定义控制界面的装置，能够根据所述服务定义元素来定义用于识别的增强对象的服务的控制界面，并且通过用户终端将所述控制界面呈现给用户，
-读取用于所述服务的命令的读取器，能够读取来自用户的与所述控制界面相关的命令，
-第三通信装置，能够将所述命令传送给增强对象，从而物理对象能够执行所述服务。
根据本发明的另一特点，设备还包括声音捕获装置，位于对象区域中，能够从环境中捕获声音；能够将来自对象区域的所述声音传送给用户区域的第四通信装置；用户终端包括能够为用户播放所述声音的声音重放装置。
根据本发明的另一特点，能够控制视频捕获装置的姿态(attitude)和/或位置，用户终端还包括能够使用户通过产生控制命令来执行所述控制的命令装置，并且设备还包括能够将所述控制命令从用户区域传送到对象区域的第五通信装置。
根据本发明的另一特点，自动识别增强对象的装置包括辨识物理对象的形状的设备。
根据本发明的另一特点，自动识别增强对象的装置包括对物理对象进行定位的装置。
根据本发明的另一特点，自动识别增强对象的装置包括位于物理对象上或位于物理对象附近的识别标记。
根据本发明的另一特点，界面定义装置能够使用由增强对象直接建议的控制界面。
根据本发明的替代特点，界面定义装置能够恢复根据来自存储装置的服务定义元素定义的控制界面。
根据本发明的另一特点，界面定义装置能够显示被嵌入到在用户终端上显示的视频图像中的所述控制界面。
根据本发明的另一特点，与所述控制界面相关联的读取用于所述服务的命令的装置包括：键盘、触控板和/或定点结构(pointing mechanism)。
根据本发明的另一特点，将用于所述服务的命令通信给增强对象的第三装置包括在用户终端和增强对象之间的链路，以及在虚拟对象和物理对象之间的专用连接界面。
根据本发明的另一有利特点，第一、第二、第三、第四和第五通信装置还包括互联网网络。
附图说明
通过下面通过参考附图的实施例的方式给出的详细描述，本发明的其它特点、细节和优势会更加明显，其中：
图1是根据本发明的设备的概要图；
图2描述了包括增强对象的对象区域的实施例；
图3示出了用于图2中呈现的增强对象的视频图像和控制界面的叠加显示的实施例。
具体实施方式
图1描述了根据本发明的设备1。在所谓的对象区域2中，存在包括至少一个增强(augmented)对象3的环境。所述设备1使位于用户区域4(典型地与对象区域2不同并远离对象区域2)中的用户5能够检测增强对象或对象3，并与它们进行交互。为此，根据本发明的基本特点，在物理对象6周围构建增强对象，在增强对象中添加虚拟对象7。在物理对象能够提供至少一个服务的情况下，所述物理对象6是真实世界的对象6，优选地是活动对象。
作为解释性和非限制性的实施例，可引用一些对象3以解释该点。因此，灯是一个对象，其能够提供两种服务：“打开”服务以打开所述灯，和“关闭”服务以关闭所述灯。多媒体播放器是另一对象，例如其可提供用于多媒体内容的“广播”服务。最后，电话是一个对象，其可提供“呼叫”服务以建立电话连接。
为了定义增强对象3和其可提供的服务，虚拟对象7与物理对象6相关联。该虚拟对象7是计算机世界的对象。因此，其仅包括数据和/或程序类型的软件元素，并且还可包括物理(典型地是电子)、管理、界面或互连元素。
所述虚拟对象7可包括至少一个用于物理对象6的定义和/或识别元素。因此，在指定的环境内唯一地定义增强对象3。与物理对象6相关联的虚拟对象7包括至少一个定义元素，定义由所述增强对象3通过物理对象6提供的服务或多个服务。
根据本发明的基本特点，可以通过第一通信装置10(例如网络)与增强对象连接。可通过增强对象3的虚拟对象7来完成与所述通信装置10的连接和通信接口。因此，用户5可通过用户终端12与增强对象3连接，以便进行对话和交换信息。
设备1包括能够获取至少部分环境的视频图像9的视频捕获装置8。该视频捕获装置8位于在对象区域2中。该视频捕获装置8可以包括至少一个摄像机，例如网络摄影机。
第二通信装置11，使将所述捕获的视频图像9从对象区域2传送到用户区域4成为可能。
用户5与设备1进行对话，并使用用户终端12对设备1进行控制。用户终端12位于在用户区域4中，并能够显示所捕获的所述视频图像9，并将所述视频图像9传送给用户5以进行呈现。因此，可以将在对象区域2中发生了什么方便地、远程地、实时可视地通知用户5。
设备1还包括在与该增强对象3相关联的物理对象6出现在视频捕捉装置8的视野内时，自动识别增强对象3的装置13。所述识别装置13可根据各种原则进行工作，包括一些将根据示例的方式进行描述的原则。识别可通过请求或连续地在任何时间执行。然而，对象3必须是可识别的，至少在其对于视频捕捉装置8是可见的且呈现在能呈现给用户5的视频图像9中时。如后所述，识别过程使得辨识对象3并唯一识别它成为可能。从而，该识别提供了定位所述对象3的装置，以便与其连接。因此，在通信网络的情况下，识别将唯一的网络地址提供给所述增强对象3，使得在网络上定位对象并与其连接成为可能。
设备1还包括第一通信装置10。第一通信装置10使得基于由识别装置13提供的识别元素或多个识别元素，在设备1和所识别的增强对象3之间建立连接成为可能。与增强对象3建立的连接使得查询增强对象3以恢复包含在与所述对象3相关联或由所述对象3所参照的存储装置中的与增强对象3相关的信息成为可能。
因此从所恢复的信息，设备1至少区分用于由所述增强对象3提供的一个或多个服务的定义元素。
因此，返回到灯的实施例中，设备连接到所识别的增强灯，并恢复两个服务“打开”和“关闭”，以及用于这些服务的定义元素。因此，在当前情况下，用于“打开”服务的定义元素包括例如其名称：“打开”、其类型：二进制命令，以及用于其实现所必须的元素：激活物理连接的地址以执行服务来打开灯。
不言而喻，如果能够在视频图像9中识别几个增强对象3，在设备1和每个不同的增强对象3之间串联或并联地建立几个连接，以便恢复与每个连接相关的信息。
设备1还包括定义控制界面的装置14，其中，基于用于增强对象3的服务定义元素，定义控制界面的装置14可定义用于所识别的增强对象3的服务的控制界面15。该控制界面15呈现可以显示在用户终端12上以便由用户5感知的前面板，例如是图形的。与该前面板有关，控制界面15包括需要将服务命令传送给增强对象3的连接。根据服务定义元素对控制界面15进行定义。
设备1还包括能够读取由用户5应用的命令的阅读器16。根据从所识别的增强对象3提取的服务定义元素并与所述控制界面15的前面板相关地，配置该阅读器16。
因此，返回到灯的实施例中，例如，两个服务“打开”和“关闭”会被显示在包括2个按钮的控制界面15上。这两个按钮将以图形方式显示，每个按钮可通过其名称进行识别。从而，读取器16能够检测由用户5激活的两个按钮中的一个或另一个。如果用户操作与“打开”服务相关联的按钮，则读取器16会读取相应的“打开”服务命令。
设备还包括第三通信装置17。该通信装置负责将由读取器16读取的命令传送给增强对象3。执行该传送，从而增强对象3接收所述命令并在物理对象6上执行相应服务。
因此，继续利用灯的实施例，读取“打开”命令。将打开”命令发送给增强的灯对象，增强的灯对象于是激活必要的界面元素，从而执行服务并且物理灯打开。
呈现给用户5的环境的感知通过视频图像9是有利地可视的。然而，其可以通过涉及其它感觉(sensory)装置的反馈进行替换或补充。从而，设备1可有利地在对象区域3中包括声音捕获装置，在地理上或近或远地靠近视频捕获装置8，以便从环境中捕获声音。随后使用第四传输装置将所述声音从对象区域2传送至用户区域4，以便使用包含在用户终端12中的诸如耳机或扬声器的声音产生装置将所述声音播放给用户5。
还可以增加基于相同原则的其它反馈，例如接触反馈。所有这些感知(perceptual)共同工作以助于将有关环境以及发生了什么通知给用户5，特别是响应于控制增强对象3的服务并因此修改所述环境的用户动作。
优选地，为了改变由视频捕获装置8感知的范围，并增大能够可由远程用户5感知的环境范围，可对视频捕获装置8进行控制。从而，例如根据海拔(elevation)和方位角(bearing)，可以控制视频捕获设备的姿态(attitude)。视频捕获设备还可以具有变焦控制。视频捕获设备还可具有位置控制。视频捕获装置还可以具有位置控制。可以使用诸如可控机器人的移动台来执行后一可能性，其中视频捕获设备安装在所述移动台上。这还可以利用与控制室类型的选择资源的装置相耦合的几个视频捕获设备来执行。还可以结合这些不同的实施方式。从而，用户终端12包括适合于视频捕获装置8的结构的、并使用户5能够执行所述控制并产生控制命令的控制装置18。有利地，设备1包括第五通信装置19，其能够将所述控制命令从用户区域4传送至对象区域2，由执行视频捕获装置8上的姿态、位置、选择命令的控制主体或多个控制主体来执行。
设备1的一个重要部分是对增强对象3的识别。可相同地应用几种技术以获得这样的识别。识别是重要的，是在于使得唯一地指定增强对象3以便与所述增强对象3连接成为可能。
识别装置的第一实施方式可使用根据任意现有方法的通过对视频图像9的分析的形状识别。然而，这样的分析能够实现辨识而并不能进行识别。因此，形状分析可以辨识到对象是灯，但是识别要求精确地知道是哪个灯。
因此，必须由其它装置来补充形状识别方法。因此可以通过使用预先建立的清单进行处理。如果仅有一个灯(或这种类型/颜色的一个灯，或该环境/房间内的一个灯)，则可以确定地识别出该灯。
识别装置13的另一实施方式可单独使用物理对象6的位置，或与诸如形状辨识的另一装置结合使用物理对象6的位置。从而，通过其位置来识别对象。由于对象在房间的左侧角落，因此对象是灯。或者再一次通过结合的方式，由于灯(唯一的灯)位于地板上方1米处，因此通过其形状将灯辨识为第3号灯。然而，这样的方法要求诸如以映射的方式预先定义各种对象的位置，从而减少设备的通用性质。另一缺陷是如果增强对象3已经移动则难以或无法对其进行识别。
可以基于视频捕获装置8的位置和姿态执行对对象位置的确定。从而，由于视频捕获设备的位置是固定的，或通过诸如GPS接收机的任意已知定位装置，导致视频捕获设备的位置是已知的，如果对象位置可变化，则可以通过了解所述视频捕获设备的姿态角度来确定对象位置。确切地说，这样的识别指示的是线而并不是位置。然而，如果在所述线上没有出现其它对象(或相同类型或相同形状等的对象)，这样的识别可足以识别对象3。
然而，不要求任何预先的映射准备且容许对象3潜在的并且通常可能发生的移动的识别装置13的实施方式是优选的。可以通过为用户想识别的增强对象3相关联的物理对象6配备识别标记20来实现这样的识别装置13。这样的标记20是唯一的，以便进行识别。将标记放置在物理对象6上或物理对象6附近。将标记如此放置，从而可根据其类型来看到/读取对象。将其特有的签名(形状、颜色、编码等)保存在可从设备1访问的查找表中，其中查找表将签名与唯一的增强对象标识符(例如所述增强对象3的网络地址)相关联。可替换的方法包括将能够实现连接的增强对象3的识别元素直接编码到识别标记20中。
根据该实施方式，这里也需要对环境进行预先准备。然而，这里，对于每个单独的和独立的增强对象3，仅执行一次准备。可以想到的是，在未来在工厂中将按照这种方式配置所有候选对象，将它们与唯一的可见/易读的识别标记20和诸如当前MAC地址的网络连接地址相关联。如果没有将识别标记20和连接识别元素之间的对应关系直接编码到识别标记自身中，则可以由对象的制造商在诸如国际互联网上发布所述查找表，以便于访问。
识别标记20可以是便于视频捕获装置8可见的可视标记(象形图、条形码、色码等)，从而由设备1例如通过图像分析来识别。诸如条形码的可视“编码”方便地使得直接将网络连接标识符包括其码中成为可能，还可以是地址或可以发现地址的任意其它参考装置。
方便地，这样的可视标记不要求任意附加的读取装置，这是由于其重复利用视频捕获装置8。这样的可视标记的一个缺陷在于其仅是特殊方向周围的空间的有限区域中可见的。
根据可替换的实施方式，识别标记是射频标签，也就是已知的RFID。在这种情况下，设备1还必须包括射频标签读取器。位于对象区域2中的读取器能够读取这样的射频标签。按照前述的优势对这样的射频标签进行“编码”。方便地，这样的射频标签不需要被看见才能进行读取，并且可被隐藏/嵌入到对象3中。同样方便地，可在任意空间方向上公平地执行对这样的射频标签的读取。
已经介绍的是，定义界面的装置14从增强对象3提取控制界面15的定义元素，其中控制界面15的定义元素与由所述增强对象3提供的服务相关联。控制界面至少由对象3的类型定义。因此，在灯的实施例中，用于控制界面15的定义元素至少包括两个服务“打开”和“关闭”中每一个的与二进制命令相关联的指示。对象还可以包括更多的专用指示，例如布置、外观、或者甚至由增强对象3提出的控制界面15的详细图形表示。
根据第一实施方式，定义界面的装置14直接地且完全地使用由增强对象3提出的控制界面。这使得服从增强对象3独有的图形美学成为可能。
可替换地，定义界面的装置14使用类型定义元素以构建与对象3和其服务相一致的控制界面15，但是定义图形外观时不考虑由增强对象3提出的控制界面。这使得定义界面装置14将具有来自一个增强对象3的同类图形美学的控制界面15提供给另一对象成为可能。
这种从视频图像9中识别的增强对象3中自动提取界面类型定义元素和它们图形表示的全部或部分、且不需要对象或环境的任何先验知识的能力是非常有优势的，优势在于其能够实现设备1而不需要预先定义、环境建模或配置。
此外，自动和自治的识别(不需要配置或准备)使得了解未知环境和容许所述环境的变化(例如对对象3进行移动)成为可能。
清楚的是，在与增强对象3建立连接后所提取的元素可从包含在增强对象3自身中的存储装置中提取。可替换地，可从指示存储这些元素的远程存储装置的对象3提取参考或地址。
在定义所述控制界面15后，定义装置14能够在用户终端12中包含的显示装置上方便地进行显示。
根据特定的优选实施方式，由直接覆盖在视频图像9上的图形执行对所述控制界面15的显示。因此，在单一的显示装置上，为了使用其服务，用户5具有用于与对象3进行交互所必须的全部信息。因此，在与控制界面相关联的增强对象3附近方便地设置控制界面。从而，用户5可以使用所述控制界面15来控制对象3的服务，并在相同显示器上观察使用服务的结果。
因此，仍利用灯的实施例，将控制界面的图形表示叠加(superimpose)到灯出现的视频图像上，从而在灯附近的关联是清楚的，显示出“打开”和“关闭”按钮。当用户4控制这两个服务中的一个时，他或她可通过视频图像9直接观察到环境的后果。因此，当控制“打开”服务时，灯被打开，用户5可观测到在环境中点灯的效果。
连同呈现给用户5的所述控制界面15，设备1包括读取由用户5执行命令的装置16。该读取器16可包括键盘、触控板、和/或定点设备(pointingdevice)。与控制界面15相关地配置该元素或这些元素。因此，在灯的实施例中，通过将键与“打开”和“关闭”这两个服务中的每一个相关联来使用键盘。按下相关联的键控制所述服务。还可使用触控板。方便地，其覆盖在显示装置上，其中在显示装置上显示控制界面15的图形表示。传统地，还可使用鼠标(或操纵杆、跟踪球、板等)定点设备。在这种情况下，通过点击其活动区域来激活图形按钮。
如与本发明相关地限定的，必须能够建立与增强对象3的连接。从而使用第一通信装置从对象访问信息，并定于其控制界面。
第三通信装置17还用于将用于服务的命令从读取来自用户5的所述命令的用户终端12传送给增强对象3，其中增强对象3执行所述命令以进行相应服务。
所述第三通信装置17***性地包括在用户终端12和增强对象3之间的第一链路。该连接(最通常的是通过网络)在用户终端12和虚拟对象7之间建立链路。其还可以包括第二连接。第二连接是虚拟对象7和物理对象6之间的专用连接界面。因此，在灯的情况下，在增强之前，灯是纯粹的物理对象，需要为其补充将两个虚拟服务“打开”和“关闭”与开关设备物理关联的专用连接界面。
在本质上包括网络接口的电子或计算机对象的情况下，例如具有国际互联网接口的网络驱动器或DVD播放器，这两个连接重叠(overlap)。
根据一个优选的实施方式，第一、第二、第三、第四和第五通信装置重叠，并包括通信网络，例如国际互联网。
因此，为了对设备1结构的这种说明进行补充和解释，现在会给出一个实施例以解释其使用，从而示出这这种新范例的潜力。
在家庭器具环境中，应用框架是应用于由父母(用户5)从他或她的办公场所使用终端12参与家庭的娱乐或儿童监控的远程交互。
用户5可从他或她的办公场所(用户区域4)使用网络摄影机8观看家庭内部(对象区域2)，其中通过国际互联网将网络摄影机8的图像方便地重传给标准的个人计算机(用户终端12)。视频图像9示出客厅。设备自动进行检测，并在可应用时以图形方式突出该场景中存在的三个增强对象：灯、电话和多媒体播放器。设备选择性的(例如在用户将光标移动到对象上时)使得显示或隐藏用于三个增强对象中每一个的控制界面15成为可能。
这是下午5:00且父母可通过视频观察到他或她的已经回家的孩子。
父母选择电话对象。这样显示至少提供“呼叫我”服务的控制界面。控制该服务并触发与家中存在的电话的电话呼叫的建立，并且其通过终端与父母连接，并通过所述电话与孩子连接。
在随后的交谈中，父母建议孩子从他们偏爱的组中观看父母刚下载的最新视频片段。
父母选择多媒体播放器。这样显示至少提供“播放”服务的控制界面。父母在他或她终端的桌面上选择视频片段，并将其拖拽到用于“广播”服务的控制界面上。这触发从工作场所将所述片段下载到家中的多媒体播放器，并且然后在所述多媒体播放器上播放用于孩子观看的所述片段。
为了不中断片段的广播，父母可选择灯对象以将其关闭，全部都是远程执行。

Claims (14)

1.一种使位于用户区域(4)中的用户(5)能够与环境中呈现的至少一个增强对象(3)进行交互的设备，所述增强对象(3)位于对象区域(2)中，增强对象(3)包括物理对象(6)和相关联的虚拟对象(7)，所述虚拟对象(7)包括至少一个用于由所述增强对象(2)提供的至少一个服务的定义元素，所述增强对象(3)能够通过第一通信装置(10)进行连接，并且所述设备(1)包括：
捕获视频装置(8)，位于对象区域(2)中，能够获得所述环境的至少一部分的视频图像(9)，
第二通信装置(11)，能够将对象区域(2)的所述视频图像(9)传送给用户区域(4)，
用户终端(12)，位于用户区域(4)中，能够显示所述视频图像(9)，以便呈现给用户(5)，
当相关联的物理对象(6)呈现在视频捕获装置(8)的视野中时自动识别增强对象(3)的装置(13)，
第一通信装置(10)，能够在设备(1)和识别的增强对象(3)之间建立连接，并恢复由所述增强对象(3)提供的服务的所述定义元素，
定义控制界面的装置(14)，能够根据所述服务定义元素来定义用于识别的增强对象(3)的服务的控制界面(15)，并将所述控制界面(15)通过用户终端(12)呈现给用户(5)，
读取用于所述服务的命令的装置(16)，能够读取来自用户(5)的与所述控制界面(15)相关的命令，
第三通信装置(17)，能够将所述命令传送给增强对象(3)，从而物理对象(6)能够执行所述服务。
2.根据权利要求1所述的设备，包括位于对象区域(2)中的声音捕获装置，其能够从环境中捕获声音；第四通信装置，能够将来自对象区域(2)的所述声音传送给用户区域(4)；用户终端(12)包括能够为用户(5)播放所述声音的声音重放装置。
3.根据权利要求1或2所述的设备，其中能够控制视频捕获装置的姿态和/或位置，其中用户终端(12)还包括能够使用户(5)通过产生控制命令来执行所述控制的视频控制装置(18)，并且所述设备还包括第五通信装置(19)，其能够将所述控制命令从用户区域(4)传送到对象区域(2)。
4.根据权利要求1至3中任意一项所述的设备，其中自动识别增强对象(3)的装置(13)包括辨识物理对象(6)的形状的装置。
5.根据权利要求1至4中任意一项所述的设备，其中自动识别增强对象(3)的装置(13)包括对物理对象(6)进行定位的装置。
6.根据权利要求1至5中任意一项所述的设备，其中自动识别增强对象(3)的装置(13)包括位于物理对象(6)处或位于物理对象(6)附近的识别标记(20)。
7.根据权利要求6所述的设备，其中识别标记(20)是可视标记。
8.根据权利要求6或7所述的设备，其中识别标记(20)是射频标签，并且其中设备还包括位于对象区域(2)中的能够读取这种射频标签的射频标签读取器。
9.根据权利要求1至8中任意一项所述的设备，其中定义界面的装置(14)能够使用由增强对象(3)直接提出的控制界面(15)。
10.根据权利要求1至9中任意一项所述的设备，其中定义界面的装置(14)能够恢复根据来自存储装置的服务定义元素定义的控制界面(15)。
11.根据权利要求1至10中任意一项所述的设备，其中定义界面的装置(14)能够通过将控制界面(15)嵌入到显示在用户终端(12)上的视频图像(9)中来显示所述控制界面(15)。
12.根据权利要求1至11中任意一项所述的设备，其中与所述控制界面(15)相关联的、读取用于所述服务的命令的装置(16)包括键盘、触控板和/或定点结构。
13.根据权利要求1至12中任意一项所述的设备，其中将用于所述服务的命令通信给增强对象(3)的第三装置(17)包括：在用户终端(12)和增强对象(3)之间的链路，以及在虚拟对象(7)和物理对象(6)之间的专用连接界面。
14.根据权利要求1至13中任意一项所述的设备，其中第一、第二、第三、第四和第五通信装置还包括国际互联网。
CN201080044455.3A 2009-10-05 2010-09-03 用于与增强对象进行交互的设备 Expired - Fee Related CN102577250B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0956914 2009-10-05
FR0956914A FR2950989B1 (fr) 2009-10-05 2009-10-05 Dispositif d'interaction avec un objet augmente.
PCT/FR2010/051837 WO2011042632A1 (fr) 2009-10-05 2010-09-03 Dispositif d'interaction avec un objet augmente

Publications (2)

Publication Number Publication Date
CN102577250A true CN102577250A (zh) 2012-07-11
CN102577250B CN102577250B (zh) 2014-12-03

Family

ID=41719226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080044455.3A Expired - Fee Related CN102577250B (zh) 2009-10-05 2010-09-03 用于与增强对象进行交互的设备

Country Status (8)

Country Link
US (1) US9063537B2 (zh)
EP (1) EP2486701B1 (zh)
JP (1) JP5799018B2 (zh)
KR (1) KR101470711B1 (zh)
CN (1) CN102577250B (zh)
ES (1) ES2464127T3 (zh)
FR (1) FR2950989B1 (zh)
WO (1) WO2011042632A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103777851A (zh) * 2014-02-26 2014-05-07 朱定局 物联网视频交互方法和***

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965564B2 (en) 2011-07-26 2018-05-08 Schneider Electric It Corporation Apparatus and method of displaying hardware status using augmented reality
US8825824B2 (en) * 2012-02-28 2014-09-02 General Electric Company Systems and methods for machine configuration
US9087403B2 (en) 2012-07-26 2015-07-21 Qualcomm Incorporated Maintaining continuity of augmentations
US9639984B2 (en) 2013-06-03 2017-05-02 Daqri, Llc Data manipulation based on real world object manipulation
US20160071319A1 (en) * 2014-09-09 2016-03-10 Schneider Electric It Corporation Method to use augumented reality to function as hmi display
KR102427328B1 (ko) * 2014-10-17 2022-08-01 삼성전자주식회사 사물 인터넷 단말 및 그 동작 방법
KR102332752B1 (ko) 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
US9760744B1 (en) 2016-06-01 2017-09-12 International Business Machines Corporation Physical interactive IDs (P2D)
US11222081B2 (en) 2017-11-27 2022-01-11 Evoqua Water Technologies Llc Off-line electronic documentation solutions
KR102359601B1 (ko) * 2019-11-29 2022-02-08 한국과학기술원 투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040121254A1 (en) * 2002-10-04 2004-06-24 Masashi Nagayama Image removing method, image removing device, and image forming apparatus
US6867699B2 (en) * 2000-03-18 2005-03-15 Rupert William Meldrum Curwen Method of and apparatus for actuating an operation
WO2006009521A1 (en) * 2004-07-23 2006-01-26 Agency For Science, Technology And Research System and method for replay generation for broadcast video
US6998987B2 (en) * 2003-02-26 2006-02-14 Activseye, Inc. Integrated RFID and video tracking system
CN101341420A (zh) * 2005-12-19 2009-01-07 皇家飞利浦电子股份有限公司 用于照明控制的方法和设备
WO2009113067A2 (en) * 2008-03-11 2009-09-17 In-Dot Ltd. Systems and methods for communication

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982438A (en) * 1987-06-02 1991-01-01 Hitachi, Ltd. Apparatus and method for recognizing three-dimensional shape of object
US6463343B1 (en) * 1999-08-10 2002-10-08 International Business Machines Corporation System and method for controlling remote devices from a client computer using digital images
JP4178697B2 (ja) * 1999-11-18 2008-11-12 ソニー株式会社 携帯型情報処理端末、情報入出力システム及び情報入出力方法
JP2002044646A (ja) 2000-07-26 2002-02-08 Kansai Electric Power Co Inc:The Ａｄｓｌを利用した監視システム
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US7054645B1 (en) * 2001-03-07 2006-05-30 At&T Corp. System for intelligent home controller and home monitor
US8042049B2 (en) * 2003-11-03 2011-10-18 Openpeak Inc. User interface for multi-device control
JP2005063225A (ja) * 2003-08-15 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
US7616782B2 (en) * 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
US8042048B2 (en) * 2005-11-17 2011-10-18 Att Knowledge Ventures, L.P. System and method for home automation
WO2008032225A2 (en) * 2006-03-21 2008-03-20 Ranco Incorporated Of Delaware Refrigeration monitor unit
US20080144884A1 (en) * 2006-07-20 2008-06-19 Babak Habibi System and method of aerial surveillance
JP5132138B2 (ja) * 2006-11-28 2013-01-30 キヤノン株式会社 位置姿勢計測方法、位置姿勢計測装置
US8295543B2 (en) * 2007-08-31 2012-10-23 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6867699B2 (en) * 2000-03-18 2005-03-15 Rupert William Meldrum Curwen Method of and apparatus for actuating an operation
US20040121254A1 (en) * 2002-10-04 2004-06-24 Masashi Nagayama Image removing method, image removing device, and image forming apparatus
US6998987B2 (en) * 2003-02-26 2006-02-14 Activseye, Inc. Integrated RFID and video tracking system
WO2006009521A1 (en) * 2004-07-23 2006-01-26 Agency For Science, Technology And Research System and method for replay generation for broadcast video
CN101341420A (zh) * 2005-12-19 2009-01-07 皇家飞利浦电子股份有限公司 用于照明控制的方法和设备
WO2009113067A2 (en) * 2008-03-11 2009-09-17 In-Dot Ltd. Systems and methods for communication

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103777851A (zh) * 2014-02-26 2014-05-07 朱定局 物联网视频交互方法和***
CN103777851B (zh) * 2014-02-26 2018-05-29 大国创新智能科技(东莞)有限公司 物联网视频交互方法和***

Also Published As

Publication number Publication date
FR2950989B1 (fr) 2011-10-28
US20120243743A1 (en) 2012-09-27
EP2486701A1 (fr) 2012-08-15
ES2464127T3 (es) 2014-05-30
KR20120063508A (ko) 2012-06-15
CN102577250B (zh) 2014-12-03
US9063537B2 (en) 2015-06-23
JP2013506925A (ja) 2013-02-28
EP2486701B1 (fr) 2014-04-09
FR2950989A1 (fr) 2011-04-08
KR101470711B1 (ko) 2014-12-08
JP5799018B2 (ja) 2015-10-21
WO2011042632A1 (fr) 2011-04-14

Similar Documents

Publication Publication Date Title
CN102577250B (zh) 用于与增强对象进行交互的设备
CN102498725B (zh) 自动确定操作模式的移动设备
CN104081317B (zh) 信息处理设备和信息处理方法
US11706485B2 (en) Display device and content recommendation method
CN104199542A (zh) 一种智能镜实现方法、装置和智能镜
CN102737228A (zh) 显示控制设备、显示控制方法和程序
US20170344332A1 (en) Virtual reality real-time visual navigation method and system
CN102884537A (zh) 用于设备定位和通信的方法
CN116074564A (zh) 一种界面显示方法及显示设备
CN106412710A (zh) 直播中通过图形标签进行信息交互的方法及装置
CN107817701B (zh) 设备控制方法、装置、计算机可读存储介质及终端
CN112073770B (zh) 显示设备及视频通讯数据处理方法
KR102043274B1 (ko) 3d 객체와 마커를 포함한 mr 콘텐츠를 제공하는 사이니지 시스템 및 그 방법
CN112269553B (zh) 显示***、显示方法及计算设备
CN114363705A (zh) 一种增强现实设备及交互增强方法
KR102248080B1 (ko) 실시간 영상을 통한 원격접속 융합현실 플랫폼 제공 시스템
KR101964192B1 (ko) 시뮬레이션용 스마트 테이블 장치
JP6897696B2 (ja) サーバ、方法、およびプログラム
CN106468954A (zh) 一种锁屏播放多媒体数据的方法及移动终端
CN112073777B (zh) 一种语音交互方法及显示设备
CN113727163B (zh) 一种显示设备
US11468728B2 (en) System and method for remote control of machines
CN103517121A (zh) 操作学习装置以及操作学习方法
CN113676709B (zh) 智能投影设备及多屏显示方法
WO2021044851A1 (ja) 情報処理装置、及び情報処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190603

Address after: American New York

Patentee after: Origin Asset Group Co.,Ltd.

Address before: Paris France

Patentee before: ALCATEL LUCENT

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141203

Termination date: 20210903