CN104205857A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN104205857A
CN104205857A CN201380015414.5A CN201380015414A CN104205857A CN 104205857 A CN104205857 A CN 104205857A CN 201380015414 A CN201380015414 A CN 201380015414A CN 104205857 A CN104205857 A CN 104205857A
Authority
CN
China
Prior art keywords
image
synchronous mode
control unit
mode
switch control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380015414.5A
Other languages
English (en)
Inventor
笠原俊一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104205857A publication Critical patent/CN104205857A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)

Abstract

一种信息处理设备可包括：图像接收单元，被配置成接收显示在显示监视器上的第一图像；显示控制单元，被配置成在显示单元上显示第二图像，其中，第二图像包括第一图像的至少一部分；以及切换控制单元，被配置成选择同步模式和异步模式之一。在同步模式中，第一图像可以与第二图像同步，以使得对第二图像做出的变更包括在第一图像中。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开涉及一种信息处理设备、信息处理方法和程序。
本申请要求来自2012年3月26日提交的日本专利申请2012-069501的优先权，其公开内容在此通过引用而被合并于此。
背景技术
近年来，由于图像识别技术的发展，变得可以识别例如通过对真实空间的图像拍摄而产生的图像中所包括的各种对象以及这样的对象的位置和姿势。这样的对象识别技术用在例如称为AR(增强现实)的技术中，该技术通过将信息覆盖到真实空间的图像上而为用户呈现附加信息。作为AR技术的一个示例，JP 2003-256876A公开了如下技术：其显示覆盖在真实空间的图像上的、通过对真实对象(诸如一件家具)进行建模而产生的虚拟对象的图像，以使得用户更容易尝试不同的家具布置等。
引用列表
专利文献
PTL 1:JP 2003-256876A
发明内容
技术问题
通过使用上述AR技术，还可以对通过对真实空间的图像拍摄而产生的图像中所包括的另一设备上的图像进行操作。然而，仍需提出用于改进在这样的情形下的可操作性的技术。
为此，本公开旨在提供一种新颖且改进的信息处理设备、信息处理方法和程序，其能够改进在对显示在图像中的另一设备上的图像进行操作时的可操作性。
问题的解决方案
根据本公开的实施例，信息处理设备可包括：图像接收单元，被配置成接收显示在显示监视器上的第一图像；显示控制单元，被配置成在显示单元上显示第二图像，其中，所述第二图像包括所述第一图像的至少一部分；以及切换控制单元，被配置成选择同步模式和异步模式之一，其中，在所述同步模式中，所述第一图像与所述第二图像同步，以使得对所述第二图像做出的变更被包括在所述第一图像中。
根据本公开的实施例，用于处理图像的方法可包括：接收第一图像，其中，所述第一图像被显示在显示监视器上；在显示单元上显示第二图像，其中，所述第二图像包括所述第一图像的至少一部分；以及选择同步模式和异步模式之一，其中，在所述同步模式中，所述第一图像与所述第二图像同步，以使得对所述第二图像做出的变更被包括在所述第一图像中。
根据本公开的实施例，程序可被编码在非暂态计算机可读介质上，该程序在由处理器执行时执行一种方法，该方法包括：接收第一图像，其中，所述第一图像被显示在显示监视器上；在显示单元上显示第二图像，其中，所述第二图像包括所述第一图像的至少一部分；以及选择同步模式和异步模式之一，其中，在所述同步模式中，所述第一图像与所述第二图像同步，以使得对所述第二图像做出的变更被包括在所述第一图像中。
本发明的有利效果
根据本公开的以上实施例，可以改进在对显示在图像内的另一设备上的图像进行操作时的可操作性。
附图说明
图1是用于说明本公开的第一实施例的概况的图。
图2是示出根据本公开的第一实施例的终端设备的功能配置的简化框图。
图3A是用于说明根据本公开的第一实施例的切换处理的示例的图。
图3B是用于说明根据本公开的第一实施例的切换处理的示例的图。
图4是示出用于图3A和图3B中的示例的处理的流程图。
图5A是用于说明根据本公开的第二实施例的切换处理的示例的图。
图5B是用于说明根据本公开的第二实施例的切换处理的示例的图。
图5C是用于说明根据本公开的第二实施例的切换处理的示例的图。
图6是示出用于图5A至图5C中的示例的处理的流程图。
图7A是用于说明根据本公开的第三实施例的切换处理的示例的图。
图7B是用于说明根据本公开的第三实施例的切换处理的示例的图。
图7C是用于说明根据本公开的第三实施例的切换处理的示例的图。
图8是示出用于图7A至图7C中的示例的处理的流程图。
图9是用于说明信息处理设备的硬件配置的框图。
具体实施方式
在下文中，将参照附图详细描述本公开的优选实施例。注意，在该说明书和附图中，以相同的附图标记来表示具有基本上相同的功能和结构的结构元件，并且省略这些结构元件的重复说明。
按以下指示的顺序给出以下描述。
1. 第一实施例
1-1. 概况
1-2. 设备配置
1-3. 切换处理的示例
2. 第二实施例
3. 第三实施例
4. 其它实施例
5. 补充
1. 第一实施例
1-1. 概况
首先，将参照图1描述本公开的第一实施例的概况。注意，该概况也适用于稍后描述的本公开的其它实施例。
图1是用于说明本实施例的概况的图。如图1所示，本实施例涉及终端设备100(“信息处理设备”的一个示例)和显示设备200。终端设备100获取包括显示设备200的真实空间的拍摄图像，并且基于该拍摄图像，在显示单元150上显示图像151。如稍后所述，终端设备100包括用于识别包括在拍摄图像中的对象的功能，并且能够在显示图像151时使用对拍摄图像的对象识别的结果。
同时，显示设备200包括显示屏幕250，并且具有显示在显示屏幕250上的图像251(“第一图像”的一个示例)。由于显示设备200包括在终端设备100所获取的拍摄图像中，因此显示在显示屏幕250上的图像251也包括在拍摄图像中。终端设备100从拍摄图像中识别显示屏幕250和图像251，并且在图像151中显示与图像251对应的虚拟图像153(“第二图像”的一个示例)。注意，可通过在拍摄图像的拍摄状态下绘制包括在拍摄图像中的图像251来产生虚拟图像153，或者可使用对拍摄图像的对象识别的结果而重绘虚拟图像153。
终端设备100是通常在由用户持握的同时***作的设备，诸如移动电话(或者智能电话)、平板PC(个人计算机)、移动游戏控制台或者媒体播放器。显示设备200是主要在放置状态下使用而没有被持握的设备，诸如电视机、台式或笔记本PC或者PC监视器。然而，本公开的实施例不限于这样的示例。作为替选示例，终端设备100和显示设备200二者均可以是智能电话。
如上所述，终端设备100具有用于识别包括在拍摄图像中的对象的功能。在所示出的示例中，终端设备100识别包括在拍摄图像中的显示屏幕250和图像251。例如，这意味着终端设备100能够获取对图像151中的虚拟图像153的操作并以与对实际图像251执行相同操作时相同的方式改变虚拟图像153。
例如，通过将显示单元150上的坐标转换为显示屏幕250上的坐标，终端设备100能够将与图像251中的GUI(图形用户界面)部件(诸如按钮、链接和滚动条)相同的功能分配给包括在虚拟图像153中的GUI部件。在该情况下，如果用户经由设置在显示单元150上的触摸面板执行操作，诸如按压、轻击、拖动或轻拂包括在虚拟图像153中的GUI部件，则虚拟图像153将以与当对图像251中的GUI部件执行相同操作时相同的方式改变。
当以此方式改变虚拟图像153时，终端设备100可以使当前图像251与虚拟图像153同步，或者可以不这样做。即，终端设备100的操作模式可包括图像251与虚拟图像153同步的同步模式以及图像251不与虚拟图像153同步的异步模式。注意，在本说明书中，表述“使图像同步”指的是使多个图像被绘制成使得在这些图像之间存在对应关系。作为一个示例，如果图像251与虚拟图像153同步，则图像251的改变可反映在虚拟图像153的改变中。以相同方式，虚拟图像153的改变可反映在图像251中。
接下来，将参照图1中的(a)描述同步模式的示例，并将参照图1中的(b)描述异步模式的示例。
在示出同步模式的示例的(a)中，拍摄图像在终端设备100的显示单元150上被显示为实时视频图像。作为一个示例，如果终端设备100已获取了对虚拟图像153的GUI部件的用户操作，则终端设备100根据该操作改变虚拟图像153，将关于该操作的信息转换为关于对图像251中的GUI部件的操作的信息，并且将转换后的信息传送到显示设备200。然后显示设备200基于所接收的信息而改变图像251。替选地，终端设备100可将已根据该操作而改变的图像的信息传送到显示设备200。
同时，如果在显示设备200处获取了对图像251的GUI部件的用户操作，则显示设备200根据该操作而改变图像251。这里，作为一个示例，终端设备100可以识别拍摄图像中的图像251的改变并以与图像251相同的方式改变虚拟图像153。替选地，显示设备200可将关于该操作的信息传送到终端设备100，并且终端设备100可基于所接收的信息而改变虚拟图像153。
在示出异步模式的示例的图1的(b)中，给定时间的拍摄图像在终端设备100的显示单元150上被显示为快照(静止图像)。这里，作为一个示例，如果在终端设备100处获取了对虚拟图像153的GUI部件的用户操作，则终端设备100根据该操作而改变虚拟图像153，但是不将信息传送到显示设备200。结果，虚拟图像153独立于当前图像251而改变。
同时，如果在显示设备200处获取了对图像251的GUI部件的用户操作，则显示设备200根据该操作而改变图像251。这里，作为一个示例，终端设备100可以识别拍摄图像中的图像251的改变，但不将识别结果反映在虚拟图像153中。替选地，在异步模式中，终端设备100可不执行对拍摄图像中的图像251的识别。
注意，从同步模式切换到异步模式的处理也被称为“退出(checkingout)”。作为一个示例，当如上述(a)所示设置了同步模式时，当终端设备100检测到某种类型的触发并切换到如(b)所示的异步模式时发生退出。由于退出，先前与图像251同步的虚拟图像153变得可以独立于图像251而自由地改变。
同时，两种类型的处理(即，“登记(checking in)”和“丢弃改变”)可用作从异步模式切换到同步模式的处理。作为一个示例，当如上述(b)所示设置了异步模式时，当终端设备100检测到某种类型的触发时存在到如(a)所示的同步模式的切换。在异步模式中，由于虚拟图像153可独立于当前图像251而改变，因此在一些情况下，虚拟图像153和图像251在切换时将不对应。在这样的情况下，用于改变图像251以显示与虚拟图像153相同的图像的处理称为“登记”。同时，用于改变虚拟图像153以显示与图像251相同的图像的处理称为“丢弃改变”。
例如，在终端设备100的操作期间，同步模式与异步模式之间的这样的切换可发生许多次。为此，同步模式与异步模式之间的切换应优选地通过容易且更直观的操作来实现。以下描述的本公开的第一实施例包括实现这样的切换的配置。
1-2.设备配置
接下来，将参照图2描述本公开的第一实施例的设备配置。注意，在本公开的其它实施例中，设备配置是相同的。
图2是示意性地示出根据本实施例的终端设备的功能配置的框图。如图2所示，终端设备100包括图像拍摄单元110(“拍摄图像获取单元”的一个示例)、对象识别单元120、显示控制单元130、切换控制单元140、显示单元150、通信单元160和操作单元170。在这样的部件中，对象识别单元120、显示控制单元130和切换控制单元140例如由根据存储在存储设备或可拆卸记录介质中的程序进行操作的终端设备100的CPU(中央处理单元)、RAM(随机存取存储器)和ROM(只读存储器)来实现。
图像拍摄单元
图像拍摄单元110由例如合并在终端设备100中或连接到终端设备100的图像拍摄设备来实现，并且获取拍摄图像。图像拍摄单元110可输出作为视频图像的拍摄图像，或者可输出作为静止图像的拍摄图像。如之前所述，显示了图像251的显示设备200的显示屏幕250被包括在这样的拍摄图像中。图像拍摄单元110将关于所获取的拍摄图像的图像数据提供到对象识别单元120。
对象识别单元
对象识别单元120使用从图像拍摄单元110提供的图像数据而识别包括在拍摄图像中的对象。作为一个示例，对象识别单元120将从拍摄图像提取的一组特征点与由模型数据定义的对象的形式进行匹配。对象识别单元120可将由模型数据定义的图像数据(诸如符号标记或文本标签)与拍摄图像进行匹配。另外，对象识别单元120可将由模型数据定义的现有对象的图像的特征量与从拍摄图像提取的特征量进行匹配。
注意，模型数据包括定义各种对象的形式的数据、诸如附于各个对象的指定符号标记或文本标签的图像数据、以及从每个对象的现有图像提取的特征量集合的数据。作为一个示例，模型数据是从存储在存储设备中的模型数据库获取的。替选地，模型数据可经由通信单元160从网络获取。
这里，对象识别单元120识别包括在拍摄图像中的显示屏幕250以及显示在显示屏幕250上的图像251。图像251的识别可通过例如搜索图像251的内容来执行。作为一个示例，如果图像251是显示在浏览器上的网页，则对象识别单元120搜索网页的URL(统一资源定位符)以及示出网页的操作状态的URI(统一资源标识符)。通过从URL获取HTML(超文本标记语言)信息，可以例如在图像151中重绘虚拟图像153。
另外，对象识别单元120使用诸如上述的HTML的信息以将图像151中的区域与图像251的GUI部件进行匹配(即，对图像151执行标记处理)。这样，变得可以以与图像251相同的方式使用GUI部件来操作虚拟图像153。
作为另一示例，如果图像251是电视机等的操作画面的图像，作为一个示例，终端设备100可从显示设备200获取关于包括在操作画面中的GUI部件的信息，并且以与上述示例相同的方式对图像151执行标记处理。
显示控制单元
显示控制单元130基于从图像拍摄单元110获取的拍摄图像的图像数据而在显示单元150上显示图像151。如先前所述，与从拍摄图像中识别的图像251对应的虚拟图像153被包括在图像151中。显示控制单元130可将图像151显示为下述图像：在该图像中，某种类型的附加信息已被覆盖在拍摄图像上。例如，显示控制单元130可使用由对象识别单元120提供的对图像251的识别结果来重绘图像251的内容并将重绘内容覆盖在拍摄图像上作为虚拟图像153。注意，如先前所述，例如，显示控制单元130可根据操作单元170获取的对虚拟图像153中的GUI部件的用户操作而改变显示中的虚拟图像153。
显示控制单元130还可经由通信单元160控制显示设备200上的图像251的显示。例如，如果设置了同步模式，则显示控制单元130可将由于用户操作而导致的虚拟图像153的改变反映在图像251中。以相同方式，如果设置了同步模式，则显示控制单元130可通过重绘与图像251的改变对应的虚拟图像153而将图像251的改变反映在虚拟图像153中。
另外，显示控制单元130可使得与同步模式和异步模式有关的各种通知显示在显示单元150或显示屏幕250上。例如，显示控制单元130可使得显示屏幕250显示用于通知设置了同步模式的显示。如果由于稍后描述的切换控制单元140的处理而发生了同步模式与异步模式之间的切换，则显示控制单元130可使得显示单元150和显示屏幕250之一或两者显示用于示出将发生切换的警告或者用于给出已发生切换的通知的显示。
切换控制单元
切换控制单元140在图像251与虚拟图像153同步的同步模式和图像251不与虚拟图像153同步的异步模式之间切换。作为一个示例，切换控制单元140根据对象识别单元120识别的拍摄图像中的显示屏幕250(或图像251)的位置或大小而在同步模式与异步模式之间切换。替选地，切换控制单元140可在操作单元170获取了指定用户操作的情况下在同步模式与异步模式之间切换。
显示单元
显示单元150由LCD(液晶显示器)、有机EL(电致发光)显示器等来实现，该LCD、有机EL显示器等例如作为输出设备由终端设备100所包括，或者作为外接设施而连接到终端设备100。显示单元150不限于平板显示器，并且可以是例如HMD(头戴式显示器)。显示单元150根据显示控制单元130的控制而显示图像151。
通信单元
例如，通信单元160被实现为用于合并到终端设备100或者连接到终端设备100的通信设备的接口。通信单元160经由这样的通信设备与显示设备200通信。当使图像251与虚拟图像153同步时，通信单元160将与对虚拟图像153的用户操作或者虚拟图像153的内容有关的信息传送到显示设备200。另外，通信单元160可将用于使得在图像251中显示下述显示的信息传送到显示设备200：用于通知设置了同步模式的显示、用于警告将发生同步模式与异步模式之间的切换的显示、或者用于通知已发生切换的显示。
操作单元
操作单元170获取用户操作，并且由设置在终端设备100中的或者连接到终端设备100作为外接设施的各种类型的输入设备(诸如触摸面板或者一个或多个按钮)来实现。操作单元170获取例如对显示在显示单元150上的虚拟图像153中的GUI部件的用户操作，并且将关于用户操作的信息提供到显示控制单元130。操作单元170也可用于获取用于使得切换控制单元140在同步模式与异步模式之间切换的用户操作。
1-3.切换处理的示例
接下来，将参照图3A、图3B和图4来描述根据本公开的第一实施例的同步模式与异步模式之间的切换处理的示例。图3A和图3B是用于说明根据本实施例的切换处理的示例的图。图4是示出用于图3A和图3B中的示例的处理的流程图。
在下述示例中，终端设备100的切换控制单元140根据用户操作而从同步模式切换为异步模式。
图3A示出了从设置同步模式的状态直到根据用户操作而进行的虚拟图像153的退出的阶段。图3A中的(a)示出了下述状态：设置同步模式，即，当前图像251的显示被同步到虚拟图像153的显示。在该状态下，如(b)所示，用户对显示单元150进行长按(这里假设终端设备100包括作为操作单元170的触摸面板)。
另外，如(c)所示，用户在继续长按的同时移动终端设备100。终端设备100的这种移动可以由例如设置在终端设备100中的传感器(诸如加速度传感器)来检测。此时，切换控制单元140从同步模式切换到异步模式。同时，显示控制单元130将(b)中的该时间的图像151转换为快照。为此，在时间(c)，图像151将处于与时间(b)相同的状态，而与由于终端设备100的移动导致的拍摄图像的任何改变无关。
这里，显示控制单元130可使得显示单元150和显示屏幕250之一或两者显示用于警告将发生从同步模式到异步模式的切换的显示或者用于通知已发生切换的显示。
作为一个示例，当用户在时间(b)对显示单元150进行了长按时，显示控制单元130可使得显示单元150和显示屏幕250之一或两者显示用于给出切换警告的消息。另外，当在时间(c)进行了到异步模式的切换时，显示控制单元130可使得显示单元150和显示屏幕250之一或两者显示用于给出设置了异步模式的通知的消息。注意，稍后还将在第二实施例中描述消息的显示。
图3B示出了在退出之后的异步模式中虚拟图像153的显示如何由于用户操作而改变。(a)示出了显示与图3A中显示在显示设备200上的图像251a相同的虚拟图像153a的状态。以此方式，甚至当设置了异步模式时，也可以存在相同图像显示在图像251a和虚拟图像153a中的情况。
这里，作为一个示例，如果对虚拟图像153a的GUI部件执行了诸如按压、拖动或轻拂的用户操作，则虚拟图像153a根据用户操作而改变为诸如(b)所示的虚拟图像153b。由于设置了异步模式，因此从虚拟图像153a到虚拟图像153b的改变没有反映在显示设备200上所显示的图像251a中。
处理流程
在图4所示的处理流程中，首先，终端设备100的对象识别单元120识别包括在拍摄图像中的对象(步骤S101)。接下来，切换控制单元140基于对象识别的结果而确定显示屏幕250是否出现在拍摄图像中(步骤S103)。
这里，如果确定显示屏幕250出现在拍摄图像中，则切换控制单元140设置同步模式(步骤S105)。切换控制单元140可在图像251出现在拍摄图像的指定区域中(例如，在拍摄图像的中心或中心附近)的情况下设置同步模式。这里，显示控制单元130可使得显示单元150和显示屏幕250之一或两者显示用于示出设置了同步模式的通知(步骤S107)。
在设置了同步模式的状态下，切换控制单元140确定操作单元170等是否获取了指定用户操作(步骤S109)。在本实施例中，指定用户操作是在对图像151进行长按的状态下移动终端设备100。注意，指定用户操作不限于该示例，并且可以是任何其它用户操作，诸如简单的长按或轻击、拖动虚拟图像153或者按压显示在图像151上的GUI按钮或终端设备100的硬件按钮。
在步骤S109中，当确定获取了指定用户操作时，切换控制单元140从同步模式切换到异步模式(步骤S111)。这里，显示控制单元130可使得显示单元150和显示屏幕250之一或两者显示异步模式的通知(步骤S113)。
根据上述本公开的第一实施例，通过用户做出的明确的操作而切换对于图像251和虚拟图像153的同步模式和异步模式。因此，作为一个示例，如用户期望的那样执行同步模式与异步模式之间的切换，这改进了在对图像(图像151)内显示的另一设备上的图像(虚拟图像153)进行操作时的可操作性。
2.第二实施例
接下来，将参照图5A至图5C和图6来描述根据本公开的第二实施例的同步模式与异步模式之间的切换处理的示例。图5A至图5C是用于说明根据本实施例的切换处理的示例的图。图6是示出用于图5A至图5C中的示例的处理的流程图。
在以下示例中，终端设备100的切换控制单元140根据拍摄图像中的显示屏幕250的区域而在同步模式与异步模式之间切换。
图5A示出了设置了使当前图像251与虚拟图像153同步的同步模式的状态。如图像151所示，显示了图像251的显示屏幕250在拍摄图像的中心或中心附近较大地出现。在该情况下，切换控制单元140设置同步模式。为此，如果虚拟图像153根据终端设备100的用户操作而改变，则这样的改变也反映在图像251中。
如果如图5A所示设置了同步模式，则显示控制单元130可使得终端设备100的显示单元150显示用于示出设置了同步模式的消息155。以相同方式，显示控制单元130还可使得显示设备200的显示屏幕250显示用于示出设置了同步模式的消息255。
图5B示出了准备进行从同步模式到异步模式的切换的状态。如(a)所示，用户对显示单元150进行长按(这里假设终端设备100包括作为操作单元170的触摸面板)。
另外，如(b)所示，用户在继续长按的同时移动终端设备100。由于终端设备100的移动，图像251移动远离拍摄图像的中心。在该类型的情形中，切换控制单元140准备从同步模式到异步模式的切换。同时，显示控制单元130将时间(b)的图像151转换成快照。为此，在随后时间(c)(未示出)，与由于终端设备100的移动而导致的拍摄图像的改变无关地，图像151将处于与时间(b)相同的状态。
如稍后所述，在本实施例中，通过随后将显示单元250移出拍摄图像的框，存在从同步模式到异步模式的切换。即，到异步模式的切换取决于拍摄图像中的显示屏幕250的位置。为此，如图所示，显示控制单元130可在显示单元150上显示包括显示屏幕250的实况预览图像(实时拍摄图像)161，以将该实况预览图像(实时拍摄图像)161透明地覆盖在图像151上。
以此方式，根据本实施例，显示控制单元130在显示单元150上显示包括在拍摄图像中的显示屏幕250的区域以及固定在某个时间的一定位置处的虚拟图像153(即，快照)。这样，在将虚拟图像153显示为用户易于操作的显示单元150上的一定位置处的快照的同时，可以使得用户能够识别显示屏幕250的当前位置，这使得从同步模式切换到异步模式的操作更容易且更直观。
显示控制单元130可使得终端设备100的显示单元150显示用于警告将终止同步模式的消息157。另外，尽管未示出，但是以相同方式，显示控制单元130也可使得显示设备200的显示屏幕250显示将终止同步模式的警告。
图5C示出了已完成了从同步模式到异步模式的切换的状态。如实况预览图像161所示，此时，图像251已移动远离拍摄图像的范围，从而仅剩下图像251的末端部分。在该情况下，切换控制单元140从同步模式切换到异步模式。即，如果显示屏幕250的区域没有包括在拍摄图像的指定区域中，则切换控制单元140从同步模式切换到异步模式。在本实施例中，拍摄图像的指定区域在拍摄图像的中心或者拍摄图像的中心附近。
此时，显示控制单元130可使得终端设备100的显示单元150显示用于示出已存在从同步模式到异步模式的切换的消息。以相同方式，显示控制单元130还可使得显示设备200的显示屏幕250显示用于示出已存在从同步模式到异步模式的切换的消息259。
如果切换控制单元140完成了从同步模式到异步模式的切换，则显示控制单元130可结束透明地覆盖在图像151上的实况预览图像161的显示。
处理流程
在图6所示的处理流程中，首先，终端设备100的切换控制单元140设置同步模式(步骤S201)。此后，由操作单元170等获取指定用户操作(步骤S203)。注意，至此的处理与例如图4中的步骤S101至S109中的处理相同。
当在步骤S203中获取了指定操作时，切换控制单元140确定显示屏幕250是否出现在拍摄图像的中心或者拍摄图像的中心附近(步骤S205)。作为示例，该确定可确定整个显示屏幕250是否包括在拍摄图像中，或者可确定显示屏幕250的至少指定比例是否包括在拍摄图像中。另外，切换控制单元140可确定包括在拍摄图像中的显示屏幕250是否是指定大小或更大。
如果在步骤S205中确定了显示屏幕250出现在拍摄图像的中心或者拍摄图像的中心附近，则切换控制单元140维持同步模式(步骤S207)。这里，显示控制单元130可显示透明地覆盖在图像151上的实况预览图像161(步骤S209)。
接下来，切换控制单元140确定显示屏幕250是否要从拍摄图像移出框(步骤S211)。这里，表述“显示屏幕250要从拍摄图像移出框”指的是显示屏幕250正从上述步骤S205中所述的“显示屏幕250出现在拍摄图像的中心或拍摄图像的中心附近”的状态移动远离的状态。因此，作为示例，步骤S211中的确定可确定显示屏幕250是否接近了拍摄图像的边缘，或者包括在拍摄图像中的显示屏幕250的部分的比例是否下降到了接近指定比例。上述确定还可确定显示屏幕250是否在拍摄图像中变得更小了。
如果在步骤S211中确定了显示屏幕250已移出拍摄图像的框，则显示控制单元130可使得显示单元150和显示屏幕250之一或者两者显示关于切换到异步模式的警告(步骤S213)。作为一个示例，关于切换到异步模式的警告可以是诸如图5B中的示例所示的消息157的消息。
此后，切换控制单元140重复显示屏幕250是否出现在拍摄图像的中心或者拍摄图像的中心附近的确定(步骤S205)。
如果在步骤S205中确定了图像251没有出现在拍摄图像的中心或者拍摄图像的中心附近，则切换控制单元140从同步模式切换到异步模式(步骤S215)。这里，显示控制单元130可使得显示单元150和显示屏幕250之一或者两者显示已执行了到异步模式的切换的通知(步骤S217)。作为一个示例，这样的通知可以是诸如图5C的示例中所示的消息159和消息259的消息。
根据上述本公开的第二实施例，根据显示屏幕250如何出现在拍摄图像中而自动地执行同步模式与异步模式之间的切换。因此，作为一个示例，用户可以直观地识别同步模式与异步模式之间的切换的时刻，这改进了在对图像(图像151)内显示的另一设备上的图像(虚拟图像153)进行操作时的可操作性。
注意，尽管在上述实施例中如果显示屏幕250的区域没有包括在拍摄图像的指定区域中则切换控制单元140从同步模式切换到异步模式，但是也可以以相同方式实现如下实施例：如果显示屏幕250的区域包括在拍摄图像的指定区域中，则切换控制单元140从异步模式切换到同步模式。
3.第三实施例
接下来，将参照图7A至图7C和图8描述根据本公开的第三实施例的同步模式与异步模式之间的切换处理的示例。图7A至图7C是用于说明根据本实施例的切换处理的示例的图。图8是示出用于图7A至图7C中的示例的处理的流程图。
在以下示例中，终端设备100的切换控制单元140根据包括在拍摄图像中的显示屏幕250的区域而在同步模式与异步模式之间切换。
图7A示出了从设置异步模式的状态直到获取指定用户操作的阶段。在(a)处，由于设置了当前图像251的显示不与虚拟图像153的显示同步的异步模式，因此显示在显示设备200上的图像251a和显示在终端设备100上的图像151中的虚拟图像153b具有不同的内容。以与图5A中的示例相同的方式，图像151也是快照。这意味着，虚拟图像153被显示为固定在当例如发生退出时的位置，并且这样的位置与拍摄图像中的显示屏幕250和图像251的位置不同。
在该状态下，如(b)所示，用户对显示单元150进行长按(这里假设终端设备100包括作为操作单元170的触摸面板)。
图7B示出了在用户的长按操作之后的状态。当执行了长按操作时，显示控制单元130将与实时拍摄图像(实况预览图像)中所包括的显示屏幕250对应的区域显示为透明地覆盖在图像151上，作为目标区域163。作为示例，可将目标区域163显示为如图7B所示的图标，或者可通过透明地覆盖实时拍摄图像(实况预览图像)本身来示出目标区域163。
以此方式，在本实施例中，显示控制单元130显示固定在某个时间处的一定位置的虚拟图像153(即，作为快照)，并且还在显示单元150上显示包括在拍摄图像中的显示屏幕250的区域(目标区域163)。这样，在将虚拟图像153显示为用户易于操作的显示单元150上的一定位置处的快照的同时，可以使得用户能够识别显示屏幕250的当前位置，这使得从异步模式切换到同步模式的操作更容易且更直观。
图7C示出了用户移动了终端设备100从而导致虚拟图像153b与目标区域163重合的状态。在本实施例中，这导致从异步模式到同步模式的切换。即，如果拍摄图像中的显示屏幕250的区域(目标区域163)和虚拟图像153的区域满足指定关系，则切换控制单元140从异步模式切换到同步模式。在本实施例中，区域之间的指定关系是区域的至少指定比例重叠的状态。
更具体地，在显示目标区域163的状态下，切换控制单元140检测在图像151中虚拟图像153b和目标区域163是否重叠的区域的大小。如果虚拟图像153b和目标区域163的至少指定比例重叠，则切换控制单元140从异步模式切换到同步模式。在所示出的示例中，在这样的时间，显示控制单元130经由通信单元160执行用于将显示屏幕250的显示从图像251a改变为与虚拟图像153b相同的图像251b的登记处理。
处理流程
在图8所示的处理流程中，首先，切换控制单元140设置异步模式(步骤S301)。注意，例如，直到步骤S201中的异步模式的设置的处理可以是诸如以上在第一或第二实施例中描述的处理。
当设置了异步模式时，切换控制单元140确定是否获取了指定用户操作(步骤S303)。这里，在图7A的示例中，指定用户操作是对显示单元150的长按。注意，以与上述第一实施例中相同的方式，指定用户操作可以是任意其他用户操作。
如果在步骤S303中确定已获取了指定用户操作，则显示控制单元130使得目标区域163显示在显示单元150上(步骤S305)。这里，显示控制单元130可在显示单元150和显示屏幕250的之一或两者上显示关于切换到同步模式的警告。
在显示目标区域163的状态下，切换控制单元140确定显示在图像151中的虚拟图像153是否被放置成与目标区域163重合(步骤S307)。如上所述，该确定可通过确定虚拟图像153b和目标区域163的至少指定比例是否重叠来执行。即，虚拟图像153和目标区域163不需要被放置成完全重合。
如果在步骤S307中确定了虚拟图像153和目标区域163已被放置成重合，则切换控制单元140从异步模式切换到同步模式(步骤S309)。这里，显示控制单元130可在显示单元150和显示屏幕250之一或两者上显示同步模式的通知。
根据上述本公开的第三实施例，根据明确的用户操作而在图像251和虚拟图像153的同步模式与异步模式之间执行切换，并且用于切换该模式的过程被直观地示出给用户。因此，改进了在对图像(图像151)内示出的另一设备上的图像(虚拟图像153)进行操作时的可操作性。
注意，尽管在上述实施例中，当拍摄图像中的显示屏幕250的区域(目标区域163)和虚拟图像153的区域满足指定关系时，切换控制单元140从异步模式切换到同步模式，但是可以以相同方式实现如下实施例：其中，当拍摄图像中的显示屏幕250的区域(目标区域163)和虚拟图像153的区域不满足指定关系时，切换控制单元140从同步模式切换到异步模式。
4.其它实施例
注意，本公开的实施例不限于上述实施例，并且可以进行如下述示例中所示的各种修改。
作为一个示例，终端设备100的切换控制单元140对同步模式和异步模式的设置可限于显示设备200上的设置。例如，如果使显示设备200的图像251通过终端设备100处的操作而改变是不合适的，则显示设备200可被设置成使得当在终端设备100处操作虚拟图像153时必须退出。在这样的情况下，当获取了操作时，即，在具有作为“指定用户操作”的对虚拟图像153的任意用户操作的情况下，切换控制单元140可从同步模式切换到异步模式。
作为另一示例，如果存在多个终端设备100并且已在某个终端设备100a处退出了显示在显示设备200上的图像251，则为了防止登记之间的冲突，显示设备200可禁止另一终端设备100b以同步模式对虚拟图像153的操作以及另一终端设备100b处对图像251的退出。
作为另一示例，终端设备100可与多个显示设备200进行登记和退出。作为一个示例，终端设备100可在显示在第一显示设备200c上的图像251c作为虚拟图像153c的情况下进行退出，然后针对显示在第二显示设备200d上的图像251d进行登记。在这样的情况下，第二显示设备200d上的图像251d被改变为与第一显示设备200c上的图像251c相同的图像。
切换控制单元140设置的模式不限于上述同步模式和异步模式。作为一个示例，切换控制单元140可设置中立模式作为初始设置。在中立模式中，包括在终端设备100的图像151中的虚拟图像153的显示(指示)根据当前图像251的显示而改变。在该情况下，切换控制单元140可以在获取了对虚拟图像153的用户操作时选择同步模式或异步模式。
如以上在实施例中描述的，各种触发可用于使得切换控制单元140在同步模式与异步模式之间切换。作为示例，触发可以是包括在拍摄图像中的显示屏幕250(或图像251)的位置或大小、对虚拟图像153中的GUI部件的用户操作、对诸如终端设备100上的按钮的硬件操作单元的用户操作、被显示为图像251的应用的切换、以及终端设备100和显示设备200的相对姿势(位置)之间的关系。
在以上给出的示例中，以下是在以终端设备100和显示设备200的相对姿势(位置)之间的关系作为触发的情况下切换控制单元140在同步模式与异步模式之间切换时的可想到的示例。作为第一示例，切换控制单元140可以当图像251以接近从前方查看图像251的状态包括在拍摄图像中时，设置同步模式，并且可以当图像251以在一定角度处查看图像251的状态包括在拍摄图像中时，设置异步模式。作为另一示例，切换控制单元140可根据包括在拍摄图像中的图像251相对于标准姿势的旋转角度(被表示为“直立”、“横向”、“倾斜”等)而在同步模式与异步模式之间切换。
另外，尽管在上述第三实施例中显示要设置虚拟图像153以便将模式从异步模式切换到同步模式的位置，但是可以在从同步模式切换到异步模式时使用相同的显示。作为一个示例，在上述第一实施例中，可以以与其它区域不同的状态显示放置虚拟图像153以引起从同步模式到异步模式的切换的图像151的边缘部分的区域。
注意，尽管在以上实施例中描述了终端设备100用作信息处理设备的示例，但是作为其它示例，显示设备200可用作信息处理设备。在这样的情况下，在显示设备200侧执行图像251是否要与虚拟图像153同步之间的切换。
另外，与终端设备100和显示设备200不同的第三设备可用作信息处理设备。在这样的情况下，第三设备具有例如用于控制终端设备100和显示设备200两者的显示的功能。这样的第三设备可例如是经由网络连接到终端设备100和显示设备200的服务器设备。注意，这样的服务器设备不需要由单个设备来实现。例如，通过经由网络配合地操作，多个设备的资源可实现服务器设备的功能。
另外，本公开的以上实施例可通过由诸如上述的信息处理设备执行的方法、用于使得信息处理设备起作用的程序、以及记录了这样的程序的记录介质来实现。
5.补充
<硬件配置>
最终，参照图9，将对能够实现根据本公开的实施例的信息处理设备(诸如终端设备100)的信息处理设备900的硬件配置进行描述。图9是示出信息处理设备的硬件配置的框图。
信息处理装置900包括CPU(中央处理单元)901、ROM(只读存储器)903和RAM(随机存取存储器)905。此外，信息处理装置900可包括主机总线907、桥909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。除了CPU 901之外或者替代CPU 901，信息处理装置900可包括诸如DSP(数字信号处理器)的处理电路。
CPU 901用作算术处理单元和控制单元，并且根据记录在ROM 903、RAM 905、存储装置919或可拆卸记录介质927上的各种程序而控制信息处理装置900内的全部操作或者操作的一部分。ROM 903存储CPU 901使用的程序、操作参数等。RAM 905暂时存储CPU 901的执行中使用的程序、在执行期间适当地改变的参数等。CPU 901、ROM 903和RAM 905通过由诸如CPU总线的内部总线构成的主机总线907而相互连接。此外，主机总线907经由桥909连接到诸如PCI(***部件互连/接口)的外部总线911。
输入装置915是用户使用的装置，诸如，例如鼠标、键盘、触摸面板、按钮、开关或控制杆。输入装置915可以是例如使用红外线或其它无线电波的远程控制装置，或者诸如与信息处理装置900的操作对应的便携式电话的外部连接装置929。输入装置915包括输入控制电路，该输入控制电路基于用户输入的信息而生成输入信号并且将输入信号输出到CPU 901。用户可以通过操作输入装置915而将各种数据输入到信息处理装置900或者指示信息处理装置900执行处理操作。
输出装置917包括可以在视觉上或听觉上向用户通知所获取的信息的装置。输出装置917可以是例如：显示装置，诸如LCD(液晶显示器)、PDP(等离子体显示面板)、有机EL(电致发光)显示器；音频输出装置，诸如扬声器或耳机；或者打印机装置。输出装置917输出作为文本或视频(诸如图像)或者作为声音(诸如话音或音频)的通过信息处理装置900的处理获得的结果。
存储装置919是用于存储数据的装置，其被构造为信息处理装置900的存储单元的示例。存储装置919包括例如诸如HDD(硬盘驱动器)的磁存储装置、半导体存储装置、光存储装置或者磁光存储装置。该存储装置929包括例如CPU 901执行的程序或各种数据或者从外部获取的各种数据。
驱动器921是用于可拆卸记录介质927(诸如磁盘、光盘、磁光盘或半导体存储器)的读取器/写入器，并且被合并在信息处理装置900中或者在外部附接到信息处理装置900。驱动器921读取所安装的可拆卸记录介质927上记录的信息，并且将该信息输出到RAM 905。驱动器921还将信息写入到所安装的可拆卸记录介质927。
连接端口923是用于将装置直接连接到信息处理装置900的端口。连接端口923可以是例如USB(通用串行总线)端口、IEEE 1394端口或者SCSI(小型计算机***接口)端口。另外，连接端口923可以是RS 232C端口、光学音频端子或者HDMI(高清多媒体接口)端口。当外部连接装置929连接到连接端口923时，信息处理装置900和外部连接装置929可以交换各种数据。
通信装置925是例如包括用于连接到通信网络931的通信装置等的通信接口。通信装置925可以是例如有线或无线LAN(局域网)或者用于蓝牙(注册商标)或WUSB(无线USB)的通信卡。替选地，通信装置925可以是用于光通信的路由器、用于ADSL(异步数字用户线路)的路由器或者用于各种通信的调制解调器。通信装置925例如使用诸如TCP/IP的预定协议将信号等经由因特网进行传送或接收或者将信号等传送到其它通信装置或从其它通信装置接收信号。另外，连接到通信装置925的通信网络931是有线地或无线地连接的网络，并且是例如因特网、家庭LAN、红外通信、无线电波通信或者卫星通信。
图像拍摄装置933是例如下述设备：该设备通过使用图像传感器(诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体))和用于将主体图像拍摄到图像传感器的各种部件(诸如透镜)而捕获真实世界并生成捕获图像。图像装置933可被配置成拍摄静止图像或运动图像。
传感器935可以是各种类型的传感器，诸如加速度传感器、陀螺仪传感器、地磁传感器、光传感器和声传感器。传感器935获取与信息处理设备900的状态有关的信息(诸如信息处理设备900的外壳的形状)和与信息处理设备900的周围环境有关的信息(诸如信息处理设备900周围的亮度或噪声)。另外，传感器935可包括用于接收GPS信号并测量设备的纬度、经度和高度的GPS(全球定位***)传感器。
已描述了信息处理设备900的硬件配置的示例。上述各个部件可使用通用元件来配置，并且可由专用于各个部件的功能的硬件来配置。这样的配置可以根据实现本实施例时的技术水平而适当地改变。
尽管以上参照附图详细描述了本公开的优选实施例，但是本公开不限于此。本领域技术人员应理解，根据设计要求和其它因素，可进行各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在所附权利要求或其等同的范围内即可。
另外，本技术还可如下进行配置。
(1)一种信息处理设备，包括：
图像接收单元，被配置成接收显示在显示监视器上的第一图像；
显示控制单元，被配置成在显示单元上显示第二图像，其中，所述第二图像包括所述第一图像的至少一部分；以及
切换控制单元，被配置成选择同步模式和异步模式之一，其中，在所述同步模式中，所述第一图像与所述第二图像同步，以使得对所述第二图像做出的变更被包括在所述第一图像中。
(2)根据(1)所述的信息处理设备，其中，响应于用户输入对所述第二图像进行所述变更。
(3)根据(1)所述的信息处理设备，其中，显示信息显示在所述显示单元上，其中，所述显示信息包括以下中的至少一个：指示设置了所述同步模式的信息、指示将发生所述同步模式与所述异步模式之间的改变的信息、以及指示已发生所述同步模式与所述异步模式之间的改变的信息。
(4)根据(1)所述的信息处理设备，还包括：通信单元，被配置成将显示信息传递到所述显示监视器，其中，所述显示信息包括以下中的至少一个：指示设置了所述同步模式的信息、指示将发生所述同步模式与所述异步模式之间的改变的信息、以及指示已发生所述同步模式与所述异步模式之间的改变的信息。
(5)根据(1)所述的信息处理设备，还包括：通信单元，被配置成将与所述变更相关联的信息传递到所述显示监视器。
(6)根据(1)所述的信息处理设备，其中，在所述异步模式中，在所述第二图像被变更的情况下，所述第一图像不与所述第二图像同步。
(7)根据(1)所述的信息处理设备，其中，所述切换控制单元被配置成在特定对象出现在所述第二图像中的情况下选择所述同步模式。
(8)根据(7)所述的信息处理设备，还包括：对象识别单元，被配置成确定所述特定对象是否出现在所述第二图像中，其中，响应于所述对象识别单元在所述第二图像中识别出所述特定对象，所述切换控制单元选择所述同步模式。
(9)根据(8)所述的信息处理设备，其中，所述特定对象是所述显示监视器的至少一部分。
(10)根据(1)所述的信息处理设备，其中，所述切换控制单元被配置成在特定对象没有出现在所述第二图像中的情况下选择所述异步模式。
(11)根据(1)所述的信息处理设备，其中，在所述切换控制单元选择所述同步模式和所述异步模式之一的情况下，所述显示监视器和所述显示单元中的至少一个显示对所选择的模式的指示。
(12)根据(1)所述的信息处理设备，其中，所述第一图像是被捕获的。
(13)根据(1)所述的信息处理设备，其中，所述第一图像是由外部装置捕获的。
(14)根据(1)所述的信息处理设备，其中，响应于在所述显示单元上接收的用户输入，所述切换控制单元选择所述同步模式和所述异步模式之一。
(15)根据(1)所述的信息处理设备，其中，响应于过去预定时间段，所述切换控制单元选择所述同步模式和所述异步模式之一。
(16)根据(1)所述的信息处理设备，其中，响应于所述第一图像的移动，所述切换控制单元选择所述同步模式和所述异步模式之一。
(17)根据(1)所述的信息处理设备，其中，响应于所述信息处理设备的移动，所述切换控制单元选择所述同步模式和所述异步模式之一。
(18)根据(1)所述的信息处理设备，其中，响应于所述信息处理设备的、使得所述第二图像与所述第一图像的至少一部分重叠的移动，所述切换控制单元选择所述同步模式。
(19)一种用于处理图像的方法，所述方法包括：
接收第一图像，其中，所述第一图像被显示在显示监视器上；
在显示单元上显示第二图像，其中，所述第二图像包括所述第一图像的至少一部分；以及
选择同步模式和异步模式之一，其中，在所述同步模式中，所述第一图像与所述第二图像同步，以使得对所述第二图像做出的变更被包括在所述第一图像中。
(20)一种被编码在非暂态计算机可读介质上的程序，所述程序在由处理器执行时执行一种方法，所述方法包括：
接收第一图像，其中，所述第一图像被显示在显示监视器上；
在显示单元上显示第二图像，其中，所述第二图像包括所述第一图像的至少一部分；以及
选择同步模式和异步模式之一，其中，在所述同步模式中，所述第一图像与所述第二图像同步，以使得对所述第二图像做出的变更被包括在所述第一图像中。
(21)一种信息处理设备，包括：
拍摄图像获取单元，获取包括显示第一图像的显示屏幕的拍摄图像；
显示控制单元，使得显示单元显示与从所述拍摄图像中识别的所述第一图像对应的第二图像；以及
切换控制单元，在所述第一图像与所述第二图像同步的同步模式和所述第一图像不与所述第二图像同步的异步模式之间切换。
(22)根据(21)所述的信息处理设备，
其中，所述切换控制单元根据所述拍摄图像中的所述显示屏幕的区域而在所述同步模式与所述异步模式之间切换。
(23)根据(22)所述的信息处理设备，
其中，所述切换控制单元根据所述显示屏幕的所述区域是否包括在所述拍摄图像的特定区域中而在所述同步模式与所述异步模式之间切换。
(24)根据(23)所述的信息处理设备，
其中，所述切换控制单元根据所述显示屏幕的所述区域是否位于所述拍摄图像的中心或中心附近而在所述同步模式与所述异步模式之间切换。
(25)根据(22)所述的信息处理设备，
其中，所述切换控制单元基于所述显示屏幕的所述区域与所述第二图像的区域之间的关系而在所述同步模式与所述异步模式之间切换。
(26)根据(22)所述的信息处理设备，
其中，所述切换控制单元基于所述显示屏幕的所述区域的至少指定比例与所述第二图像的所述区域是否重叠而在所述同步模式与所述异步模式之间切换。
(27)根据(22)至(26)中任一项所述的信息处理设备，
其中，所述显示控制单元显示固定于给定时间的位置处的所述第二图像，并且还使得所述显示单元显示包括在所述拍摄图像中的所述显示屏幕的区域。
(28)根据(27)所述的信息处理设备，
其中，所述显示控制单元显示固定于获取指定用户操作时的位置处的所述第二图像。
(29)根据(21)所述的信息处理设备，
其中，所述切换控制单元可操作用于当获取了指定用户操作时在所述同步模式与所述异步模式之间切换。
(30)根据(21)所述的信息处理设备，
其中，所述切换控制单元根据获取所述拍摄图像的图像拍摄设备和包括所述显示屏幕的显示设备的相对姿势之间的关系而在所述同步模式与所述异步模式之间切换。
(31)根据(31)至(30)中任一项所述的信息处理设备，
其中，所述显示控制单元使得所述显示单元显示下述显示中的一个：用于警告将发生所述同步模式与所述异步模式之间的切换的显示，以及用于通知已发生切换的显示。
(32)根据(31)至(31)中任一项所述的信息处理设备，
其中，所述显示控制单元使得所述显示屏幕显示下述显示中的一个：用于警告将发生所述同步模式与所述异步模式之间的切换的显示，以及用于通知已发生切换的显示。
(33)根据(31)至(32)中任一项所述的信息处理设备，
其中，所述显示控制单元使得所述显示单元和所述显示屏幕之一显示用于通知设置了所述同步模式的显示。
(34)根据(31)至(33)中任一项所述的信息处理设备，
其中，所述显示控制单元可操作用于当设置了所述同步模式时使所述第二图像的改变反映在所述第一图像中。
(35)根据(31)至(34)中任一项所述的信息处理设备，
其中，所述显示控制单元可操作用于当设置了所述同步模式时使所述第一图像的改变反映在所述第二图像中。
(36)根据(31)至(35)中任一项所述的信息处理设备，
还包括通信单元，所述通信单元与包括所述显示屏幕的显示设备通信。
(37)一种信息处理方法，包括：
获取包括显示第一图像的显示屏幕的拍摄图像；
使得显示单元显示与从所述拍摄图像中识别的所述第一图像对应的第二图像；以及
在所述第一图像与所述第二图像同步的同步模式和所述第一图像不与所述第二图像同步的异步模式之间切换。
(38)一种用于使得计算机实现以下功能的程序：
用于获取包括显示第一图像的显示屏幕的拍摄图像的功能；
用于使得显示单元显示与从所述拍摄图像中识别的第一图像对应的第二图像的功能；以及
用于在所述第一图像与所述第二图像同步的同步模式和所述第一图像不与所述第二图像同步的异步模式之间切换的功能。
附图标记列表
100 终端设备
110 图像拍摄单元
120 对象识别单元
130 显示控制单元
140 切换控制单元
150 显示单元
160 通信单元
170 操作单元
200 显示设备
250 显示屏幕
251 图像(第一图像)
151 图像(第二图像)
153 虚拟图像
161 实况预览图像
163 目标区域

Claims (20)

1.一种信息处理设备，包括：
图像接收单元，被配置成接收显示在显示监视器上的第一图像；
显示控制单元，被配置成在显示单元上显示第二图像，其中，所述第二图像包括所述第一图像的至少一部分；以及
切换控制单元，被配置成选择同步模式和异步模式之一，其中，在所述同步模式中，所述第一图像与所述第二图像同步，以使得对所述第二图像做出的变更被包括在所述第一图像中。
2.根据权利要求1所述的信息处理设备，其中，响应于用户输入对所述第二图像进行所述变更。
3.根据权利要求1所述的信息处理设备，其中，显示信息显示在所述显示单元上，其中，所述显示信息包括以下中的至少一个：指示设置了所述同步模式的信息、指示将发生所述同步模式与所述异步模式之间的改变的信息、以及指示已发生所述同步模式与所述异步模式之间的改变的信息。
4.根据权利要求1所述的信息处理设备，还包括：通信单元，被配置成将显示信息传递到所述显示监视器，其中，所述显示信息包括以下中的至少一个：指示设置了所述同步模式的信息、指示将发生所述同步模式与所述异步模式之间的改变的信息、以及指示已发生所述同步模式与所述异步模式之间的改变的信息。
5.根据权利要求1所述的信息处理设备，还包括：通信单元，被配置成将与所述变更相关联的信息传递到所述显示监视器。
6.根据权利要求1所述的信息处理设备，其中，在所述异步模式中，在所述第二图像被变更的情况下，所述第一图像不与所述第二图像同步。
7.根据权利要求1所述的信息处理设备，其中，所述切换控制单元被配置成在特定对象出现在所述第二图像中的情况下选择所述同步模式。
8.根据权利要求7所述的信息处理设备，还包括：对象识别单元，被配置成确定所述特定对象是否出现在所述第二图像中，其中，响应于所述对象识别单元在所述第二图像中识别出所述特定对象，所述切换控制单元选择所述同步模式。
9.根据权利要求8所述的信息处理设备，其中，所述特定对象是所述显示监视器的至少一部分。
10.根据权利要求1所述的信息处理设备，其中，所述切换控制单元被配置成在特定对象没有出现在所述第二图像中的情况下选择所述异步模式。
11.根据权利要求1所述的信息处理设备，其中，在所述切换控制单元选择所述同步模式和所述异步模式之一的情况下，所述显示监视器和所述显示单元中的至少一个显示对所选择的模式的指示。
12.根据权利要求1所述的信息处理设备，其中，所述第一图像是被捕获的。
13.根据权利要求1所述的信息处理设备，其中，所述第一图像是由外部装置捕获的。
14.根据权利要求1所述的信息处理设备，其中，响应于在所述显示单元上接收的用户输入，所述切换控制单元选择所述同步模式和所述异步模式之一。
15.根据权利要求1所述的信息处理设备，其中，响应于过去预定时间段，所述切换控制单元选择所述同步模式和所述异步模式之一。
16.根据权利要求1所述的信息处理设备，其中，响应于所述第一图像的移动，所述切换控制单元选择所述同步模式和所述异步模式之一。
17.根据权利要求1所述的信息处理设备，其中，响应于所述信息处理设备的移动，所述切换控制单元选择所述同步模式和所述异步模式之一。
18.根据权利要求1所述的信息处理设备，其中，响应于所述信息处理设备的、使得所述第二图像与所述第一图像的至少一部分重叠的移动，所述切换控制单元选择所述同步模式。
19.一种用于处理图像的方法，所述方法包括：
接收第一图像，其中，所述第一图像被显示在显示监视器上；
在显示单元上显示第二图像，其中，所述第二图像包括所述第一图像的至少一部分；以及
选择同步模式和异步模式之一，其中，在所述同步模式中，所述第一图像与所述第二图像同步，以使得对所述第二图像做出的变更被包括在所述第一图像中。
20.一种被编码在非暂态计算机可读介质上的程序，所述程序在由处理器执行时执行一种方法，所述方法包括：
接收第一图像，其中，所述第一图像被显示在显示监视器上；
在显示单元上显示第二图像，其中，所述第二图像包括所述第一图像的至少一部分；以及
选择同步模式和异步模式之一，其中，在所述同步模式中，所述第一图像与所述第二图像同步，以使得对所述第二图像做出的变更被包括在所述第一图像中。
CN201380015414.5A 2012-03-26 2013-03-22 信息处理设备、信息处理方法和程序 Pending CN104205857A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012069501A JP2013200775A (ja) 2012-03-26 2012-03-26 情報処理装置、情報処理方法およびプログラム
JP2012-069501 2012-03-26
PCT/JP2013/001963 WO2013145673A1 (en) 2012-03-26 2013-03-22 Information processing apparatus, information processing method, and program

Publications (1)

Publication Number Publication Date
CN104205857A true CN104205857A (zh) 2014-12-10

Family

ID=48140118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380015414.5A Pending CN104205857A (zh) 2012-03-26 2013-03-22 信息处理设备、信息处理方法和程序

Country Status (5)

Country Link
US (1) US20150070247A1 (zh)
EP (1) EP2832107B1 (zh)
JP (1) JP2013200775A (zh)
CN (1) CN104205857A (zh)
WO (1) WO2013145673A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108027700A (zh) * 2015-09-25 2018-05-11 索尼互动娱乐股份有限公司 信息处理装置
CN108307184A (zh) * 2016-08-11 2018-07-20 成都五维译鼎科技有限公司 一种数据交互方法及装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5913774B2 (ja) * 2014-01-24 2016-04-27 レノボ・シンガポール・プライベート・リミテッド Ｗｅｂサイトを共有する方法、電子機器およびコンピュータ・プログラム
JP1518564S (zh) * 2014-03-19 2015-03-02
JP1518563S (zh) * 2014-03-19 2015-03-02
DE102014106586A1 (de) * 2014-05-09 2015-11-12 Gira Giersiepen Gmbh & Co. Kg System der Gebäudeautomatisierung
JP2016126467A (ja) 2014-12-26 2016-07-11 富士通株式会社 モード同期方法、モード同期プログラム、及び端末
JP6435869B2 (ja) * 2015-01-14 2018-12-12 コニカミノルタ株式会社 操作表示装置、操作表示システム
CN106034212B (zh) * 2015-03-10 2019-02-26 深圳富泰宏精密工业有限公司 投影装置、控制装置及穿戴式投影***
JP2018013741A (ja) * 2016-07-22 2018-01-25 富士通株式会社 表示制御プログラム、表示制御装置、及び表示制御方法
JP6742871B2 (ja) * 2016-09-16 2020-08-19 キヤノン株式会社 情報処理システム、装置、情報処理方法、コンピュータプログラム、及び記憶媒体
JP6816465B2 (ja) * 2016-11-16 2021-01-20 株式会社リコー 画像表示システム、通信システム、画像表示方法、及びプログラム
WO2018098167A1 (en) 2016-11-22 2018-05-31 Caavo Inc Automatic screen navigation for media device configuration and control
US10585637B2 (en) * 2017-03-27 2020-03-10 Lenovo (Beijing) Co., Ltd. Information processing method and electronic device
US20210202472A1 (en) 2019-12-27 2021-07-01 Intel Corporation Integrated circuit structures including backside vias
JP6892960B1 (ja) * 2020-09-29 2021-06-23 Kddi株式会社 制御装置、情報処理システム、制御方法及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4032776B2 (ja) 2002-03-04 2008-01-16 ソニー株式会社 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
US7633483B2 (en) * 2006-06-27 2009-12-15 Microsoft Corporation Display extension using terminal clients
US20090294538A1 (en) * 2008-05-28 2009-12-03 Sony Ericsson Mobile Communications Ab Embedded tags in a media signal
US8160564B1 (en) * 2008-06-10 2012-04-17 Sprint Communications Company L.P. Remote control of computing device applications using mobile device
WO2011019155A2 (en) * 2009-08-14 2011-02-17 Lg Electronics Inc. Remote control device and remote control method using the same
KR101657565B1 (ko) * 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
EP2359915B1 (en) * 2009-12-31 2017-04-19 Sony Computer Entertainment Europe Limited Media viewing
US8532419B2 (en) * 2010-01-13 2013-09-10 iParse, LLC Automatic image capture
JP2011154478A (ja) * 2010-01-26 2011-08-11 Canon Inc 画面共有装置及びその制御方法、プログラム、画面共有システム
US8572303B2 (en) * 2010-02-03 2013-10-29 Tal Lavian Portable universal communication device
US9814977B2 (en) * 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
US20120068857A1 (en) * 2010-09-22 2012-03-22 Apple Inc. Configurable remote control
US10341711B2 (en) * 2010-11-10 2019-07-02 Saturn Licensing Llc Remote controller device with electronic programming guide and video display
US9137560B2 (en) * 2010-12-10 2015-09-15 Verizon Patent And Licensing Inc. Methods and systems for providing access to content during a presentation of a media content instance
US8836653B1 (en) * 2011-06-28 2014-09-16 Google Inc. Extending host device functionality using a mobile device
EP2613555A3 (en) * 2012-01-06 2014-04-30 LG Electronics, Inc. Mobile terminal with eye movement sensor and grip pattern sensor to control streaming of contents

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108027700A (zh) * 2015-09-25 2018-05-11 索尼互动娱乐股份有限公司 信息处理装置
CN108027700B (zh) * 2015-09-25 2021-10-08 索尼互动娱乐股份有限公司 信息处理装置
US11202008B2 (en) 2015-09-25 2021-12-14 Sony Interactive Entertainment Inc. Head mounted display having a plurality of display modes
US11601592B2 (en) 2015-09-25 2023-03-07 Sonmy Interactive Entertainment Inc. Head mounted display having a plurality of display modes
CN108307184A (zh) * 2016-08-11 2018-07-20 成都五维译鼎科技有限公司 一种数据交互方法及装置
CN108307184B (zh) * 2016-08-11 2020-05-01 成都五维译鼎科技有限公司 一种数据交互方法及装置

Also Published As

Publication number Publication date
US20150070247A1 (en) 2015-03-12
WO2013145673A1 (en) 2013-10-03
JP2013200775A (ja) 2013-10-03
EP2832107A1 (en) 2015-02-04
EP2832107B1 (en) 2020-03-04

Similar Documents

Publication Publication Date Title
CN104205857A (zh) 信息处理设备、信息处理方法和程序
EP2400737B1 (en) A method for providing an augmented reality display on a mobile device
WO2016052940A1 (en) User terminal device and method for controlling the user terminal device thereof
WO2014129862A1 (en) Method for controlling display of multiple objects depending on input related to operation of mobile terminal, and mobile terminal therefor
US10768881B2 (en) Multi-screen interaction method and system in augmented reality scene
WO2014017722A1 (en) Display device for executing multiple applications and method for controlling the same
EP4060969A1 (en) Application program sharing method and electronic device
CN103729054A (zh) 多显示设备及其控制方法
US10928977B2 (en) Mobile terminal and method of controlling medical apparatus by using the mobile terminal
CN110456953A (zh) 文件夹界面切换方法及终端设备
CN109857291A (zh) 一种图标显示方法及终端设备
CN109597558A (zh) 一种显示控制方法及终端设备
CN112068752B (zh) 一种空间展示方法、装置、电子设备及存储介质
CN109614061A (zh) 显示方法及终端
JP2015115046A (ja) 情報処理装置、プログラム、情報処理方法及び情報処理システム
CN109828731B (zh) 一种搜索方法及终端设备
CN109379484A (zh) 一种信息处理方法及终端
CN109525874A (zh) 一种截屏方法及终端设备
WO2018137304A1 (zh) 一种2d应用在vr设备中的显示方法及终端
EP2806622A1 (en) Displaying a group message
CN111176764B (zh) 显示控制方法和终端设备
CN109857289A (zh) 显示控制方法及终端设备
WO2021109960A1 (zh) 图像处理方法、电子设备及存储介质
CN109085968A (zh) 一种截屏方法及终端设备
KR20160035911A (ko) 이동단말기 및 그 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141210