CN105183408B - 信息处理***和显示控制方法 - Google Patents

信息处理***和显示控制方法 Download PDF

Info

Publication number
CN105183408B
CN105183408B CN201510319447.XA CN201510319447A CN105183408B CN 105183408 B CN105183408 B CN 105183408B CN 201510319447 A CN201510319447 A CN 201510319447A CN 105183408 B CN105183408 B CN 105183408B
Authority
CN
China
Prior art keywords
content
display
area
information
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510319447.XA
Other languages
English (en)
Other versions
CN105183408A (zh
Inventor
小松龙太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN105183408A publication Critical patent/CN105183408A/zh
Application granted granted Critical
Publication of CN105183408B publication Critical patent/CN105183408B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种信息处理设备包括：获取单元，被配置成获取图像；检测单元，被配置成从图像检测特定对象；计算单元，被配置成获取指示参照特定对象设置的第一空间的空间信息，并且基于图像中的特定对象的形状以及空间信息来计算第一区域信息，第一区域信息与在其中第一空间被投射至图像上的第一区域对应；以及控制单元，被配置成基于第一区域信息来控制显示以将与特定对象相关联的内容显示在第一区域中。

Description

信息处理***和显示控制方法
技术领域
本文所讨论的实施例涉及信息处理设备以及用于在图像上显示内容的显示控制程序。
背景技术
增强现实(AR)技术是众所周知的，通过增强现实技术，显示信息被叠置地显示在已由设置在终端设备中的摄像装置(图像捕获单元)捕获的图像的一部分之上。作为使用AR技术显示的显示信息的示例的数字内容被称为AR内容等。通过在屏幕上显示的捕获图像中显示方位和大小经调整的AR内容，终端设备可以将AR内容显示成就像AR内容存在于由摄像装置捕获的空间中那样。
对于AR内容，限定与参考对象(例如，AR标记等)的位置关系。基于参考对象与摄像装置之间的位置关系以及AR内容与参考对象之间的位置关系来计算摄像装置与AR内容之间的位置关系。通过在与摄像装置和AR内容之间的位置关系对应的方向上投射AR内容来生成要显示在屏幕上的AR内容的图像。
除预先通过管理员的操作而登记的内容以外，基于由终端设备识别的AR标记而显示的AR内容(诸如叠置的图像)还包括通过操作员等的操作而登记的内容。由于登记操作，诸如管理员和操作员的用户可以在相对于AR标记的位置处设置AR内容。
引用文献列表
[专利文献1]日本公开专利公布第2007-293895号
发明内容
技术问题
当将相同的参考对象用作参考的许多AR内容存在时，在屏幕上不存在足够的显示空间，使得AR内容的投射图像被显示成彼此交叠。例如，即使在预先设置在多个AR内容处的位置被布置成彼此不交叠的情况下，当参考对象从另一点(位置)被捕获时，AR内容组也被显示成彼此交叠。例如，当多个用户在任意时间添加AR内容时，难以将期望的AR内容的位置调整成使得AR内容与由其他用户设置的其他AR内容不交叠。此外，当在***侧自动地调整AR内容的位置时，图像中用户关注的目标对象被AR内容覆盖。
实施例的目的是恰当地显示叠置的显示信息。
针对问题的解决方案
根据本发明的一方面，一种信息处理设备包括：获取单元，被配置成获取图像；检测单元，被配置成从图像检测特定对象；计算单元，被配置成获取指示参照特定对象设置的第一空间的空间信息，并且基于图像中的特定对象的形状以及空间信息来计算第一区域信息，该第一区域信息与在其中第一空间被投射到图像上的第一区域对应；以及控制单元，被配置成基于第一区域信息来控制显示以将与特定对象相关联的内容显示在第一区域中。
附图说明
图1是示出信息处理***的示意性配置的示例的图；
图2是示出服务器的功能配置的示例的图；
图3是示出终端设备的功能配置的示例的图；
图4是示出服务器的硬件配置的示例的图；
图5是示出终端设备的硬件配置的示例的图；
图6A和图6B是示出AR标记被设置在实际对象上的示例的图；
图7A和图7B是示出在第一实施例中的显示控制处理的示例的流程图；
图8A和图8B是示出在第二实施例中的显示控制处理的示例的流程图；
图9A、图9B、图9C和图9D是示出布置区域信息的设置示例的图；
图10A、图10B、图10C和图10D是示出AR内容的显示示例的图；
图11是示出显示可用性映射的具体示例的图；
图12A、图12B、图12C和图12D是示出综合显示可用性映射的生成示例的图；
图13A、图13B和图13C是示出显示位置表格的生成示例的图；
图14A、图14B和图14C是示出屏幕显示示例的图(第一图)；
图15A和图15B是示出屏幕显示示例的图(第二图)；以及
图16A和图16B是示出屏幕显示示例的图(第三图)。
具体实施方式
参照附图描述实施例。
<信息处理***的示意性配置示例>
图1是示出信息处理***的示意性配置的示例的图。图1中示出的信息处理***10包括作为信息处理设备的示例的服务器11以及一个或多个终端设备12-1至12-n(适当地，下文中统称为“终端设备12”)。服务器11与终端设备12中的每个终端设备彼此连接，例如以通过通信网络13进行数据的传送和接收。
服务器11管理作为参考对象的示例的AR标记、被登记为与每个AR标记的标识信息(例如，标记ID)相关联的一个或多个AR内容、布置区域信息(布置启用区域(第一空间)、布置禁用区域(第二区域))等。例如，AR标记是用于指定各条内容信息(诸如，AR内容等、要显示的AR内容的位置等)的记号。例如，AR标记是其中特定设计、字形(character pattern)等形成在诸如二维码的某一区域中的图像、对象等，但是该实施例不限于这样的情况。
AR内容是例如布置在与实际空间对应的三维虚拟空间的三维对象的模型数据等，以及AR内容是例如被显示成叠置在由终端设备12捕获的图像之上的显示信息(对象信息)。此外，AR内容显示在例如已通过将包括在所捕获的图像中的AR标记用作参考的相对坐标(标记坐标系)设置的位置处。在实施例中的AR内容与标记ID等相关联，并且例如包括各种形式，诸如文本、图标、动画、标记、设计、图像和电影。此外，AR内容不限于被输出以便显示的内容，而可以例如是诸如音频的信息。
布置区域信息是例如下述信息：该信息用于控制已与图像中的AR标记的标记ID相关联的AR内容以显示成叠置在该图像之上，该图像是通过捕获在实际空间上的AR标记而获取的。布置区域信息包括例如其中允许AR内容布置在图像中的三维区域(第一空间、布置启用区域)和其中不允许叠置的AR内容显示的三维区域(第二空间、布置禁用区域)中的一个或两者。布置区域信息还可以是二维信息。
布置启用区域(第一空间)是例如用户不看作所捕获的空间中的关注目标的对象和空间，而是例如与不是检查目标的墙壁、地板(地面)或天花板(天空)对应的空间(区域)，但是实施例不限于这样的情况。此外，布置禁用区域(第二空间)是例如用户看作所捕获的空间中的关注目标的对象和空间以及是例如与作为检查目标对象的管道、服务器等对应的空间等，但是实施例不限于这样的情况。布置区域信息(布置启用区域、布置禁用区域)是例如通过将AR标记作为参考的相对坐标(标记坐标系)来设置的。标记坐标系是例如三维空间坐标系(X，Y，Z)，但是实施例不限于这样的情况，而标记坐标系还可以是二维平面坐标系(X，Y)。
服务器11例如通过终端设备12中的AR内容的设置处理(编写处理)来执行关于下述信息的登记：从终端设备12获取的关于AR标记的信息(例如，标记ID、AR标记的位置信息等)、以及已通过将AR标记的位置用作参考的相对位置坐标而设置的布置区域信息。此外，当服务器11通过终端设备12中的编写处理来从终端设备12获取与标记ID对应的一个或多个AR内容的设置信息时，服务器11执行对AR内容信息(例如，AR内容ID、内容类型、大小、旋转角度、字符信息等)的登记和管理。
此外，当服务器11从终端设备12接收对布置区域信息的获取请求、对AR内容的获取请求等时，服务器11使用从终端设备12传送的标记ID来参考预先登记的布置区域信息和AR内容提取对应信息。此外，服务器11将所提取的信息传送至发出获取请求的终端设备12。
实施例不限于这样的情况，例如，服务器11从终端设备12接收标记ID、终端设备12的位置信息、通过捕获AR标记而获取的图像等，并且可以在服务器11侧使用与标记ID对应的布置区域信息来执行对AR内容的显示控制。在该情况下，服务器11将受控的显示内容(例如，通过将AR内容叠置在某一位置之上而获取的图像等)传送至终端设备12。
服务器11可以是例如个人计算机(PC)等，但是实施例不限于这样的情况，服务器11可以是例如由包括一个或多个信息处理设备的云计算构成的云服务器等。
终端设备12通过诸如内置摄像装置的图像捕获单元来捕获设置在实际空间上的目标对象(例如，诸如管道、服务器机架等管理(检查)目标对象等)附近的AR标记。此外，终端设备12从所捕获的图像、电影等(在下文中被称为“捕获图像”)识别AR标记，并且使用AR标记的捕获位置作为参考来设置AR内容的布置区域信息(布置启用区域、布置禁用区域)以与通过标记识别而获取的标记ID相关联。此外，终端设备12设置标记ID以与AR内容相关联。此外，终端设备12将标记ID、布置区域信息以及AR内容登记到服务器11。
此外，终端设备12从由图像捕获单元捕获的图像、通过标记识别来获取标记ID，并且使用所获得的标记ID将布置区域信息和AR内容的获取请求发出到服务器11。此外，终端设备12从服务器11获取与标记ID对应的布置区域信息和AR内容，并且使用所获取的信息显示AR内容以将AR内容叠置在所捕获的图像的布置启用区域之上。在该情况下，终端设备12针对捕获图像动态地调整布置启用区域的投射区域，该投射区域与AR标记的位置以及当时的视点(摄像装置位置)对应。结果，例如，即使当从与布置区域信息被设置的位置不同的位置检测到AR标记时，也可以自动地执行对叠置的AR内容的恰当的显示而无需由用户调整。
此外，终端设备12可以将通过标记识别而识别的AR标记的标记ID、图像捕获的位置信息以及关于捕获图像的信息等传送至服务器11，获取在服务器11侧处理的AR内容的叠置图像，并且将图像显示在屏幕上。
例如，终端设备12是平板终端、智能手机、个人数字助理(PDA)、膝上型PC等，但是实施例不限于这样的情况，而终端设备12可以是例如游戏设备、诸如移动电话的通信终端等。
例如，通信网络13是互联网、局域网(LAN)等，但是实施例不限于这样的情况。此外，通信网络13可以是有线网络或无线网络，以及可以是有线网络与无线网络的组合。
图1中示出的信息处理***10由服务器11和终端设备12-1至12-n构成，但是实施例不限于这样的情况，而信息处理***10可以包括例如多个服务器。
在使用如图1所示的信息处理***10对AR内容的显示控制中，将AR内容的布置区域信息设置在包括在捕获图像中的空间上，并且基于所设置的空间将AR内容布置在布置启用区域中。此外，在实施例中，根据AR标记与摄像装置(图像捕获单元)之间的位置关系，调整在布置目标的空间中的针对图像捕获单元的投射区域，并且将叠置的图像布置在调整后的投射区域中。此外，在实施例中，当限定多个布置目标空间时，可以通过考虑分别对应于各空间的投射区域来布置叠置的图像。
<服务器11的功能配置示例>
参照附图描述以上所描述的服务器11的功能配置示例。图2是示出服务器的功能配置示例的图。服务器11包括通信单元21、存储单元22、登记单元23、提取单元24和控制单元25。
通信单元21通过通信网络13执行与终端设备12、另一计算机等的数据传送和接收。通信单元21从终端设备12接收例如对标记ID、布置区域信息(布置启用区域、布置禁用区域)、AR内容等的登记请求。此外，通信单元21从终端设备12接收标记ID等，并且将对应的布置区域信息和AR内容传送至终端设备12。
存储单元22存储在实施例中的显示控制处理所需的各条信息。存储单元22将例如与标记ID相关联的布置区域信息、AR内容等存储在终端设备12中。
登记单元23执行对各条登记信息等(诸如，从终端设备12获取的布置区域信息以及AR内容)的登记。例如，登记单元23执行对标记ID、标记ID的位置信息、被设置成与标记ID对应的布置区域信息、AR内容信息等的登记。所登记的各条信息存储在存储单元22中。
提取单元24基于从终端设备12获取的标记ID来参考存储单元22提取对应的布置区域信息、AR内容信息等。通过通信单元21将从提取单元24提取的布置区域信息、AR内容等传送至已传送标记ID的终端设备12。
当除标记ID以外还从终端设备12获取图像捕获位置信息、捕获图像等时，提取单元24基于与标记ID相关联的布置区域信息等调整针对捕获图像的布置启用区域以及布置禁用区域。在进行区域调整时，例如，可以使用随后描述的显示可用性映射等，但是本实施例不限于这样的情况。此外，基于调整布置区域信息，提取单元24可以将针对标记ID设置的AR内容叠置在捕获图像之上，并且将叠置的图像传送至终端设备12。
控制单元25控制服务器11中的全部配置。例如，控制单元25执行例如各段处理，诸如由通信单元21对各条信息的传送和接收、由存储单元22进行的数据存储、由登记单元23对布置区域信息、AR内容等的登记以及由提取单元24对布置区域信息、AR内容等的提取。由控制单元25执行的控制的内容不限于这样的情况。
<终端设备12的功能配置的示例>
以下参照附图描述以上所描述的终端设备12的功能配置示例。图3是示出终端设备的功能配置的示例的图。终端设备12包括通信单元31、图像捕获单元32、存储单元33、显示单元34、输入单元35、布置区域设置单元36、显示区域控制单元37、识别单元38、生成单元39、计算单元40和控制单元41。
通信单元31通过通信网络13执行与服务器11、另一计算机等的数据传送和接收。例如，通信单元31将各条设置信息(诸如，与AR标记的标记ID相关联的AR内容信息、布置区域信息(布置启用区域、布置禁用区域)等)传送至服务器11等。此外，通信单元31将通过标记识别而识别的标记ID传送至服务器11，并且接收与所传送的标记ID对应的布置区域信息和AR内容等。
图像捕获单元32以预先设置的帧间隔捕获图像。图像捕获单元32将捕获图像输出至控制单元41，并且使存储单元33存储图像。在以下描述中，描述了下述示例：将从图像捕获单元32获取的捕获图像设置为输入图像的示例，并且将AR内容显示成叠置在输入图像之上，但是实施例不限于这样的情况，例如，可以将从另一设备捕获的图像设置为输入图像。
存储单元33存储在实施例中的显示控制所需的各条信息(例如，布置区域信息、显示可用性映射、显示位置表格、AR内容、图标、缩略图图像等)。此外，存储单元33存储例如各条信息，诸如处理过程和处理结果、错误信息等。除由终端设备12设置的信息以外，各条信息还包括从服务器11获取的信息。此外，由终端设备12获取或设置的信息可以在该信息被传送至服务器11之后被删除。
显示单元34基于由识别单元38对AR标记的识别(检测)结果将用于执行对布置区域信息和AR内容的登记的画面等显示在捕获图像上。此外，显示单元34显示通过将被获取以与AR标记的标记ID对应的AR内容叠置在捕获图像之上而获取的图像、另外的各种设置图像等。
输入单元35接受与用户等进行的操作对应的内容的输入。例如，当显示单元34由触摸面板等构成时，输入单元35还可以获取触摸面板上的触摸位置坐标。输入单元35接受例如通过对显示在触摸面板上的输入键等的操作而输入的信息。此外，输入单元35可以接受通过在终端设备12中设置的或者外部设置的键盘、操作按钮等输入的信息。
布置区域设置单元36针对由图像捕获单元32捕获的图像，使用包括在图像中的AR标记的位置信息作为参考来设置与AR标记的标记ID相关联的AR内容的布置区域信息(布置启用区域、布置禁用区域)。例如，当AR内容被显示成叠置在包括在捕获图像中的实际对象(例如，检查目标对象等)之上时，用户在实际对象被用作参考的位置(例如，在实际对象附近)安置AR标记。此外，当执行对与AR标记的标记ID对应的AR内容的登记时，布置区域设置单元36限定布置启用区域或布置禁用区域。将所限定的布置区域信息等登记至服务器11。例如，布置区域设置单元36可以设置针对捕获图像的布置启用区域，并且将除所设置的布置启用区域以外的区域(空间)设置为布置禁用区域。此外，例如，布置区域设置单元36还可以设置针对捕获图像的布置禁用区域，并且将除所设置的布置禁用区域以外的区域设置为布置启用区域。
此外，布置区域设置单元36可以通过对捕获图像的识别处理来提取例如图像中的特征点，并且将特征量小的区域(例如，墙壁、地板等)设置为布置启用区域。可以基于像素的亮度值、与周围像素的亮度差等来提取特征点，但是实施例不限于这样的情况。此外，特征量小的区域是例如其中亮度差为特定值以下的区域、其中特征点的量为特定值以下的区域等，但是实施例不限于这样的情况。
此外，例如，当用户难以执行操作时，布置区域设置单元36预先通过文本数据对指示布置区域的信息(例如，坐标值等)进行管理，并且可以通过从存储单元33、服务器11等获取文本数据来执行对布置区域的设置等。用户等可以设置或改变以上所描述的方法之中的方法，并且可以基于特定条件等执行设置和改变。
可以在三维空间或二维平面内设置布置区域信息，并且可以根据用户、显示目标等的设置而选择性地使用三维空间或二维平面。例如，当显示目标对象(实际对象)在三维空间内时，理想的是根据原点由三维信息(体积)来限定该空间。此外，当显示目标对象在二维平面内时，理想的是根据原点由二维信息(面积)来限定平面区域，但是实施例不限于这样的情况。
此外，当多个AR标记包括在捕获图像中时，布置区域设置单元36可以设置AR标记的组合。在设置AR标记的组合时，例如，在捕获图像中存在多个AR标记的情况下，当同时捕获AR标记时，指定是否设置了共同图像的特征信息等。
显示区域控制单元37将由布置区域设置单元36设置的、所设置的布置启用区域或布置禁用区域投射到捕获图像上，并且获取针对布置启用区域或布置禁用区域的投射区域。布置启用区域或布置禁用区域存储在服务器11或存储单元33中。因此，显示区域控制单元37使用由识别单元38识别的标记ID来参考存储单元33，并且当在存储单元33中存在布置区域信息时获取与标记ID对应的布置区域信息。此外，当在存储单元33中不存在布置区域信息时，显示区域控制单元37通过向服务器11等发出获取请求来获取与标记ID对应的布置区域信息。
此外，显示区域控制单元37执行显示控制以在针对捕获图像的布置启用区域的投射区域(第一投射区域)内显示AR内容。投射区域根据AR标记与图像捕获单元32的摄像装置之间的位置关系而波动，例如，针对布置启用区域的投射区域(第一投射区域)和针对布置禁用区域的投射区域(第二投射区域)可能彼此交叠。因此，显示区域控制单元37根据AR标记和摄像装置(图像捕获单元32)之间的位置关系调整作为布置目标的空间的投射区域，并且将AR内容叠置在调整后的投射区域之上。例如，当布置启用区域与布置禁用区域彼此交叠时，优先化布置禁用区域，并且显示区域控制单元37将AR内容显示在布置启用区域中，其中，布置启用区域与布置禁用区域彼此交叠的区域被从布置启用区域去除。因此，显示区域控制单元37将在交叠之前显示在布置启用区域中的AR内容移动到另一布置启用区域，并且执行重新布置显示。
例如，显示区域控制单元37可以在调整投射区域时生成显示可用性映射等，并且基于所生成的映射控制显示区域。显示可用性映射是通过使用被限定成与AR标记相关联的布置启用区域和布置禁用区域将下述区域(空间)表示为映射而获得：在该区域(空间)中使AR内容能够显示在从当前捕获位置(视点)捕获的图像的区域(空间)上。例如以特定的时间间隔或者当捕获位置改变时连续地生成显示可用性映射。此外，例如，通过使用位数据等表示捕获图像中的布置启用区域和布置禁用区域来获取显示可用性映射，但是本实施例不限于这样的情况。
识别单元38识别包括在捕获图像中的参考对象(例如，AR标记)等。例如，识别单元38对由图像捕获单元32获取的捕获图像执行图像识别，并且根据识别结果获取关于AR标记的信息。此外，识别单元38获取针对图像捕获单元32的AR标记的位置(屏幕坐标)，并且获得AR标记的标识信息(标记ID)。在实施例中，存在下述情况：从多个不同的参考对象(AR标记)获取相同的标记ID。
在实施例中，例如，通过为包括在捕获图像中的实际空间上的对象(目标对象)提供AR标记，作为与AR标记的标记ID相关联的AR内容，例如，对象的使用方法、操作过程、注释、检查结果等可以被显示成叠置在捕获图像之上。
生成单元39基于识别单元38的识别结果来生成通过将与AR标记的标记ID对应的AR内容叠置在捕获图像的布置启用区域的投射区域内而获取的图像。生成单元39将例如与标记ID对应的AR内容的获取请求发出至服务器11等，并且获得对应的AR内容。此外，生成单元39将所获取的AR内容显示在例如捕获图像的布置启用区域的投射区域内。当AR内容叠置在捕获图像之上时，生成单元39可以将例如AR内容的坐标转换到屏幕坐标系，生成AR内容的投射图像(图)，并且将所生成的投射图像叠置在捕获图像之上。
例如，存在下述情况：由于AR内容的大小较大或者内容的数量较大，因此不允许AR内容(详细信息)显示成叠置在布置启用区域的投射区域内。在这样的情况下，生成单元39可以生成以特定缩小比率缩小的图像(缩略图图像等)，将AR内容转换成与预先设置的内容类型等对应的图标等，生成通过聚集多个AR内容而获取的聚集信息等，并且将图像、图标或信息叠置在投射区域之上。此外，当用户选择上述的缩略图图像、图标等时，显示区域控制单元37显示缩略图图像以便放大该图像，或者显示与图标对应的详细AR内容以将详细AR内容叠置在投射区域之上。
此外，生成单元39可以例如根据识别单元38的标记识别是否被成功地执行来生成不同的AR内容，并且将AR内容叠置在屏幕之上。此外，生成单元39可以根据在叠置显示时的时间信息来生成不同的AR内容，并且将AR内容叠置在屏幕之上。
计算单元40基于用于指定布置启用区域的、与布置启用区域相关联并且从外部(例如，用户操作等)接受的坐标、以及摄像装置(图像捕获单元32)与作为坐标的参考的AR标记之间的位置关系，计算例如由图像捕获单元32捕获的图像中的布置启用区域占据的区域(第一投射区域)。此外，计算单元40基于用于指定布置禁用区域的、与布置禁用区域相关联并且从外部接受的坐标、以及图像捕获单元32与作为坐标的参考的AR标记之间的位置关系，计算例如由图像捕获单元32捕获的图像中的布置禁用区域占据的区域(第二投射区域)。例如，计算单元40针对在布置区域设置单元36中设置的布置启用区域来执行计算以从三维或二维位置信息、诸如AR内容的大小的信息等获取指示布置位置的位置信息。例如，计算单元40可以使用特定的转换矩阵等来执行将布置启用区域中的布置区域信息的坐标或者AR内容的坐标转换至将捕获图像用作参考的屏幕坐标系中的处理。
控制单元41控制包括在终端设备12中的配置中的全部处理。控制单元41执行各段处理，诸如由图像捕获单元32进行的图像捕获、通过显示单元34对各条信息的屏幕显示以及由输入单元35从用户接收输入信息。此外，控制单元41执行各段处理，诸如由布置区域设置单元36对AR内容的布置区域的设置、由显示区域控制单元37对显示区域的控制以及由识别单元38对包括在捕获图像中的AR标记的识别。此外，控制单元41执行各段处理，诸如由生成单元39对AR内容、要叠置的图像等的生成、以及由计算单元40进行的特定计算。
<服务器11的硬件配置示例>
以下参照附图描述服务器11的硬件配置示例。图4是示出服务器的硬件配置的示例的图。在图4的示例中，服务器11包括输入设备51、输出设备52、驱动设备53、辅助存储设备54、主存储器55、中央处理单元(CPU)56和网络连接设备57，并且这些单元通过***总线B彼此连接。
输入设备51包括由用户等操作的指向设备(诸如键盘和鼠标)以及诸如麦克风的音频输入设备，并且接受输入，诸如来自用户等的程序的执行指令、各条操作信息以及用于启动软件等的信息。
输出设备52包括显示操作计算机(服务器11)所需要的各种窗口、各条数据等的显示器等，其中，该计算机执行实施例中的处理。输出设备52可以通过包括在CPU 56中的控制程序来显示程序的执行过程、执行结果等。
此处，在实施例中，例如，安装在计算机中的执行程序由记录介质58等提供。记录介质58可以安装在驱动设备53上。基于来自CPU 56的控制信号，将存储在记录介质58中的执行程序通过驱动设备53从记录介质58安装到辅助存储设备54中。
例如，辅助存储设备54是诸如硬盘驱动器(HDD)或固态驱动器(SSD)的存储单元等。辅助存储设备54基于来自CPU 56的控制信号存储实施例中的执行程序(显示控制程序)、安装到计算机中的控制程序等，并且适当地执行输入/输出。辅助存储设备54可以基于来自CPU 56的控制信号等来从每条存储的信息读取需要的信息以及将需要的信息写入每条存储的信息。
主存储器55存储通过CPU 56从辅助存储设备54读取的执行程序等。主存储器55是只读存储器(ROM)、随机存取存储器(RAM)等。
CPU 56基于诸如操作***(OS)的控制程序和存储在主存储器55中的执行程序来控制整个计算机的各段处理，诸如各段计算、以及将数据输入到每个硬件配置单元/从每个硬件配置单元输出数据以实现各段处理。可以从辅助存储设备54获取执行程序所需要的各条信息等，并且还可以将执行结果等存储在辅助存储设备54中。
CPU 56基于从输入设备51获取的程序的执行指令等，例如通过执行安装在辅助存储设备54中的程序来执行与主存储器55上的程序对应的各段处理。例如，CPU 56执行各段处理，诸如由上述的登记单元23利用AR标记对布置区域信息和AR内容的登记、由提取单元24对各条信息的提取、以及由控制单元25进行的显示控制以执行显示控制程序。CPU 56中的处理内容不限于上述内容。由CPU 56执行的内容适当地存储在辅助存储设备54等中。
网络连接设备57通过以上所描述的通信网络13执行与终端设备12或另一外部设备的通信。网络连接设备57基于来自CPU 56的控制信号，通过与通信网络13等的连接来从外部设备等获取执行程序、软件、设置信息等。此外，网络连接设备57可以将通过执行程序而获取的执行结果提供给终端设备12等，或者将实施例中的执行程序提供给外部设备等。
记录介质58是其中如以上所描述那样存储有执行程序等的计算机可读记录介质。例如，记录介质58是诸如闪存等的半导体存储器、或例如CD-ROM或DVD的便携式记录介质，但是本实施例不限于这样的情况。
当执行程序(例如，显示控制程序等)安装在图4所示的硬件配置中时，可以通过硬件源与软件之间的协作来实现实施例中的显示控制处理等。
<终端设备12的硬件配置示例>
以下参照附图描述终端设备12的硬件配置示例。图5是示出终端设备12的硬件配置的示例的图。在图5的示例中，终端设备12包括扩音器(在下文中被称为“麦克风”)61、扬声器62、显示单元63、操作单元64、传感器单元65、电源单元66、无线电单元67、短程通信单元68、辅助存储设备69、主存储器70、CPU 71和驱动设备72，并且这些单元通过***总线B彼此连接。
通过麦克风61执行对由用户发出的声音以及另外的声音的输入。扬声器62执行相对的呼叫方的声音的输出以及铃声等声音的输出。例如，当使用呼叫功能等执行与相对的呼叫方的谈话时，可以使用麦克风61和扬声器62，但是实施例不限于这样的情况，麦克风61和扬声器62可以用于通过声音输入/输出信息。
显示单元63为用户显示通过OS以及各种应用程序设置的画面。此外，显示单元63可以是触摸面板显示器等，并且在该情况下，显示单元63包括作为输入/输出单元的功能。
例如，显示单元63是诸如液晶显示器(LCD)、有机电致发光(EL)显示器等显示器。
操作单元64是显示在显示单元63的屏幕上的操作按钮、设置在终端设备12外部的操作按钮等。操作按钮可以是例如电源按钮或音量调节按钮，并且可以是用于输入以特定顺序排列的字符的操作键等。
例如当用户在显示单元63的屏幕上执行特定操作或者按压上述的操作按钮时，显示单元63检测屏幕上的触摸位置。此外，显示单元63可以将应用程序执行结果、内容、图标、光标等显示在屏幕上。
传感器单元65检测在特定点处的操作或者终端设备12的连续操作。例如，传感器单元65检测终端设备12的倾斜角度、加速度、方向、位置等，但是实施例不限于这样的情况。作为传感器单元65，例如，存在倾斜传感器、加速度传感器、陀螺仪传感器、全球定位***(GPS)等，但是实施例不限于这样的情况。
电源单元66向终端设备12的每个配置供应电力。电源单元66例如是诸如电池的内部电源，但是实施例不限于这样的情况。电源单元66可以随时或以特定的时间间隔检测电力量并且监测电力量的剩余量等。
无线电单元67是通信数据的收发器单元，其使用天线等从基站接收例如无线电信号(通信数据)，并且使用天线将无线电信号传送至基站。由于无线电单元67，与服务器11的数据传送和接收可以由通信网络13经由基站来执行。
短程通信单元68可以例如使用通信方法(诸如，红外通信、Wi-Fi(注册商标)、或蓝牙(注册商标))来执行与诸如另一终端设备12的计算机的短程通信。以上所描述的无线电单元67和短程通信单元68是通信接口，通过这些通信接口可以执行与另一计算机的数据传送和接收。
例如，辅助存储设备69是诸如HDD或SSD的存储单元。辅助存储设备69存储各种程序等，并且适当地执行数据的输入/输出。
主存储器70通过来自CPU 71的指令存储从辅助存储设备69读取的执行程序等，并且存储当程序正被执行时获取的各条信息等。主存储器70是例如ROM、RAM等，但实施例不限于这样的情况。
CPU 71基于诸如OS的控制程序和存储在主存储器70中的执行程序，通过控制整个计算机的各段处理(诸如，各段计算、以及将数据输入到每个硬件配置单元/从每个硬件配置单元输出数据)来实现在显示控制中的各段处理。
CPU 71基于从操作单元64等获取的程序的执行指令等，例如通过执行程序来在主存储器70上执行与安装在辅助存储设备69中的程序对应的处理。例如，CPU 71通过执行显示控制程序来执行各段处理，诸如，由上述图像捕获单元32进行的图像捕获、通过显示单元34对各条信息的屏幕显示、以及由输入单元35从用户接收输入信息。此外，CPU 71执行各段处理，诸如，由布置区域设置单元36对AR内容的布置区域的设置、由显示区域控制单元37对显示区域的控制以及由识别单元38对包括在捕获图像中的AR标记的识别。此外，CPU 71执行各段处理，诸如，由生成单元39对要叠置的AR内容和图像的生成以及由计算单元40进行的特定的计算。CPU 71中的处理内容不限于以上所描述的内容。由CPU 71执行的内容适当地存储在辅助存储设备69等中。
在驱动设备72上，例如，可以可拆卸地安装记录介质73等，并且可以读取记录到所安装的记录介质73的各条信息，以及可以将特定的信息写入记录介质73。驱动设备72例如是介质装载槽等，但是实施例不限于这样的情况。
记录介质73是存储如上所述的执行程序等的计算机可读记录介质。例如，记录介质73可以是诸如闪存的半导体存储器。此外，记录介质73可以是诸如USB存储器的便携式记录介质，但是实施例不限于这样的情况。
在实施例中，通过将执行程序(例如，显示控制程序等)安装到计算机的上述硬件配置中，可以通过硬件源与软件之间的协作来实现实施例中的显示控制处理等。
此外，与上述的显示控制处理对应的显示控制程序可以例如处于驻留在设备上的状态并且可以通过启动指令来启动。
<AR标记示例>
以下参照附图描述实施例中作为参考对象的示例的AR标记。图6A和图6B是示出AR标记设置在实际对象上的示例的图。例如，在图6A的示例中，作为在实际空间中的实际对象(例如，检查目标对象等)的示例，设置有管(管道)80。管80包括多个阀81-1至81-5。在实施例中，例如，AR标记90设置在允许将AR标记90与上述的管80一起捕获的位置处。
在实施例中，终端设备12的图像捕获单元32将AR标记90与管80一起捕获，并且识别单元38通过图像识别来读取AR标记90的标识信息(标记ID)。此外，布置区域设置单元36针对捕获图像的空间设置投射的布置区域信息等(布置目标信息、布置禁用信息)。在捕获图像中，将显示管80等的区域设置(限定)为布置禁用区域，以便阻止该区域因AR内容的显示而被覆盖。此外，将除管80以外的区域设置为布置启用区域。甚至在管80上，也可以设置布置启用区域，只要显示管80的区域不是用户的关注目标即可。
此外，在设置布置区域信息之后(此处，当已执行设置时可以省略该设置)，针对所设置的布置启用区域设置与AR标记90的标记ID对应的AR内容。
此外，当从在检查操作等时捕获的图像识别AR标记90时，将被设置成与AR标记90的标记ID对应的AR内容显示成叠置在针对捕获图像的布置启用区域的投射区域之上，使得用户(操作员等)可以基于显示在终端设备12的屏幕上的AR内容信息，例如通过操纵阀81-1至81-5来执行对管80的控制。此外，多个用户可以共享AR内容信息。
此外，从AR标记90获取的AR内容信息不限于以上所描述的操作内容，例如，在管80中存在破损(诸如破裂)的情况下，在需要修理的情况下等，AR内容信息可以是用于向用户等通知信息、注释等的信息。
可以针对单个目标对象(例如，管80)设置一个或多个AR标记90，并且可以针对多个目标对象设置单个AR标记90。此外，当在图像中存在多个AR标记时，使用通用确定条件来针对这些AR标记执行确定，并且可以根据确定结果显示AR内容。
此外，如图6B所示，例如，可以通过捕获AR标记90的图像来获取以及通过对图像执行图像识别来获取各条信息(详细信息)，诸如，诸如容置计算机(诸如服务器)的服务器机架82的设备(目标对象)的操作内容和维修信息(在故障发生时的操作日程表和联系信息)，该AR标记90被设置在允许将AR标记90与服务器机架一起捕获的位置处。
作为AR标记90的示例，例如，可以应用诸如条形码和QR码(注册商标)的二维码，并且可以应用使用颜色等的多维码，但是实施例不限于这样的示例，还可以应用另一参考对象。通过AR标记90将AR内容显示在其上的目标对象不限于以上所描述的情况。
<终端设备12中的显示控制处理的示例>
以下参照流程图描述以上所描述的终端设备12中的显示控制处理的示例。作为终端设备12中的处理，例如，存在诸如管理员或操作员的用户等设置布置区域信息、AR内容等以将各条信息与AR标记相关联的情况、以及显示与所识别的AR标记相关联的AR内容的情况。在这样的情况下，单个终端设备12可以由管理员或操作员使用，并且例如，可以将多个终端设备12重复地分配给用户(管理员、操作员)等以执行处理。在下述描述中，以下分别描述在以上情况下的处理示例。
<第一实施例>
图7A和图7B是示出第一实施例中的显示控制处理的示例的流程图。在图7A和图7B的示例中，终端设备12执行实施例中的显示控制程序等，并且启动例如AR显示模式(S01)。在S01的处理中，执行图像捕获单元32中的图像捕获等，并且该状态转变为AR标记的识别状态。
终端设备12的识别单元38确定从由图像捕获单元32捕获的图像中是否检测到AR标记(S02)，并且当检测到AR标记时(在S02中为是)获取与AR标记对应的布置区域信息(例如，布置启用区域、布置禁用区域)(S03)。在AR内容中，例如，将与AR标记对应的标记ID传送至服务器11，并且可以从向其传送了标记ID的服务器11获取与标记ID对应的布置区域信息，但是实施例不限于这样的情况。例如，当终端设备12将与标记ID对应的布置区域信息存储在存储单元33等中时，终端设备12可以使用该信息。在S03的处理中，作为布置区域信息的示例，获取布置启用区域和布置禁用区域的坐标(例如，相对于AR标记的相对坐标等)。
终端设备12将布置启用区域和布置禁用区域的坐标转换至与由图像捕获单元32捕获的空间对应的屏幕坐标系中(S04)。在S04的处理中，获取布置启用区域的投射区域(第一投射区域)和布置禁用区域的投射区域(第二投射区域)。此外，终端设备12确定是否存在检测到的另一AR标记(S05)。当存在另一AR标记时(在S05中为是)，流程返回S03的处理。
此外，当不存在另一AR标记时(在S05中为否)，终端设备12的显示区域控制单元37将所有AR标记的屏幕坐标彼此交叠，并且在捕获图像中生成AR内容的显示可用性映射(S06)。例如，在S06的处理中，例如，当预先设置的布置启用区域(叠置启用区域)和布置禁用区域(叠置禁用区域)彼此交叠时，显示区域控制单元37生成显示可用性映射作为布置禁用区域。这就是避免将AR内容叠置在被用户限定为布置禁用区域的区域之上的原因。此外，当预先限定的两个布置启用区域彼此交叠时，显示区域控制单元37将交叠的区域按原样设置为布置启用区域。此外，当两个布置禁用区域彼此交叠时，显示区域控制单元37将交叠的区域按原样设置为布置禁用区域。
终端设备12获取与通过S02的处理而获取的AR标记对应的AR内容(S07)。在S07的处理中，例如，终端设备12将与AR标记对应的标记ID等传送至服务器11等，并且从服务器11获取与标记ID对应的AR内容。在S07的处理中，实施例不限于这样的情况，并且当在存储单元33等中预先存在与标记ID对应的AR内容时，可以获取AR内容。
终端设备12将AR内容的坐标转换至屏幕坐标系中(S08)，并且生成AR内容的投射图像(图)(S09)。之后，终端设备12相对于以上所描述的显示可用性映射检查投射图像的显示位置(S10)，并且确定投射图像的整个区域是否是布置启用区域(S11)。在S11的处理中，当投射图像的整个区域是布置启用区域时(在S11中为是)，将投射图像显示成叠置在捕获图像上的指定位置之上(S12)。
此外，当并非投射图像的整个区域是布置启用区域时(在S11中为否)，终端设备12确定投射图像的一部分是否是布置启用区域(S13)。当投射图像的一部分是布置启用区域时(在S13中为是)，将投射图像变形并且显示成叠置在捕获图像上的指定位置之上(S14)。在S14的处理中，投射图像的变形例如是以特定的缩小比率缩小投射图像，但是实施例不限于这样的情况。此外，特定的缩小比率例如是下述缩小比率：通过以该缩小比率缩小投射图像，将投射图像的全部区域或特定区域或大部分显示在布置启用区域上，但是实施例不限于这样的情况，例如，特定的缩小比率可以是预先设置的固定缩小比率。
此外，在S14的处理中，作为投射图像的变形的示例，与AR内容对应的缩略图图像(投射图像)可以被生成并且显示成叠置在指定位置之上，并且与AR内容(投射图像)对应的图标等可以显示成叠置在指定位置之上。例如，预先将图标存储在存储单元33、服务器11等中以与AR内容的类型相关联，并且可以获取与要显示的AR内容对应的图标等并且将其显示成叠置在指定位置之上。可以通过由用户选择显示在屏幕上的缩略图图像或图标来将实际投射图像显示成例如弹出式画面等。在S12或S14的处理之后，例如，将显示区域(坐标)等记录到显示位置表格等(S15)。
此外，在S13的处理中，当投射图像的区域的任何一部分都不是布置启用区域时(在S13中为否)，将整个投射图像布置在布置禁用区域中，使得终端设备12不将投射图像显示在从当前角度(视点)等捕获的区域中，而将投射图像存储在存储单元33等中(S16)。
在S15或S16的处理之后，终端设备12确定是否存在另一AR标记(S17)，并且当存在另一AR标记时(在S17中为是)，流程返回至S07的处理。此外，当不存在另一AR标记时(在S17中为否)，获取在S16的处理中未被显示而被存储的投射图像(S18)，并且参考显示位置表格将在S18的处理中获取的投射图像显示在布置启用区域的空闲区域上(S19)。此外，终端设备12确定是否存在存储的另一投射图像(S20)。当存在另一存储的投射图像时(在S20中为是)，流程返回至S18的处理。
此外，当在S20的处理中不存在存储的另一投射图像时(在S20中为否)，或者当在S02的处理中未检测到AR标记时(在S02中为否)，确定是否存在通过用户等的操作的终止指令(S21)，当不存在终止指令时(在S21中为否)，流程返回至S02的处理。此外，当存在终止指令时(在S21中为是)，处理结束。
<第二实施例>
图8A和图8B是示出第二实施例中的显示控制处理的示例的流程图。图8A和图8B是例如当作为终端设备12的用户的管理员等设置与布置区域(布置启用区域、布置禁用区域)和AR标记对应的AR内容等时的流程图。
在图8A和图8B的示例中，终端设备12执行实施例中的显示控制程序等，并且例如，针对布置区域设置启动AR显示模式(S31)。在S31的处理中，在执行图像捕获单元32中的图像捕获等的同时状态转变为AR标记识别状态。
终端设备12的识别单元38确定是否在捕获图像中检测到AR标记(S32)，并且当检测到AR标记时(在S32中为是)，识别单元38执行标记识别处理(S33)。在S33的处理中，例如，执行与以上所描述的第一实施例中的S03至S05的处理相似的处理，因此此处省略详细描述。
终端设备12调用用于设置布置区域信息的编辑处理(S34)，执行到静止图像显示模式的切换(S35)，并且显示由图像捕获单元32捕获的图像、预先设置的操作菜单等(S36)。
终端设备12执行对布置区域信息(布置启用区域、布置禁用区域)的设置(S37)。之后，终端设备12选择AR限定对象(S37)。在S37的处理中，例如，可以针对显示的捕获图像的静止图像设置布置启用区域和布置禁用区域。当执行了布置区域信息的设置时，可以省略S37的处理。
终端设备12执行对与AR标记对应的AR内容的设置(S38)。在S38的处理中，将AR内容设置成与对应于AR标记的标记ID相关联。作为设置的AR内容，例如，可以选择预先存储在存储单元33中的多个AR内容中的至少一个AR内容，以及可以通过访问诸如服务器11的外部设备来选择累积在服务器11等中的多个AR内容中的至少一个AR内容。
终端设备12生成所设置的AR内容的投射图像(S39)，并且将AR对象的投射图像与捕获图像叠置并组合(S40)。之后，终端设备12确定是否存在来自用户等的通过操作菜单等的位置确定输入(S41)。当不存在位置确定输入时(在S41中为否)，终端设备12确定是否存在位置指定(S42)。在S42的处理中，例如，可以通过用户针对终端设备12的显示屏幕的触摸操作来执行位置指定，并且位置指定可以是通过坐标参数的数值设置等进行的位置指定等，但是实施例不限于这样的情况。期望的是，例如，在位置指定中，在布置启用区域内设置AR内容，但是即使当在布置启用区域内设置AR内容时，根据不同的捕获角度也很可能在布置禁用区域内显示AR内容，因此实施例不限于这样的情况。
在S42的处理中，当存在位置指定时(在S42中为是)，终端设备12将指定的坐标转换成屏幕坐标系的坐标(S43)。此外，终端设备12更新AR内容的坐标(S44)，并且流程返回至S36的处理。此外，在S42的处理中，当不存在位置指定时(在S42中为否)，类似地，在终端设备12中，流程返回至S36的处理。
在以上所描述的S41的处理中，当存在位置确定输入时(在S41的处理中为是)，将针对AR内容指定的位置的坐标转换成标记坐标系的坐标(将包括在捕获图像中的AR标记的位置用作参考的相对坐标系)(S45)。之后，终端设备12确定是否完成了编辑(S46)，并且当未完成编辑时(在S46中为否)，流程返回至S36的处理。此外，当完成了编辑时(在S46中为是)，执行对编辑数据的登记(S47)。在S47的处理中，例如，可以将与AR标记对应的标记ID、设置的布置区域信息、设置的AR内容等登记到服务器11，或者通过将设置的布置区域信息、AR内容等存储在存储单元33中来进行登记，但是实施例不限于这样的情况。
终端设备12确定是否从用户等接收到终止指令(S48)，并且当未接收到终止指令时(在S48中为否)，流程返回至S32的处理。此外，当接收到终止指令时(在S48中为是)，处理结束。
<显示控制的具体示例>
以下参照附图描述实施例中的显示控制的具体示例。图9A、图9B、图9C和图9D是示出布置区域信息的设置示例的图。图9A和图9B示出了三维空间内的布置区域信息的设置示例，而图9C和图9D示出了二维平面内的布置区域信息的设置示例。此外，图9A和图9C示出了从AR标记90的前面捕获到的图像的示例，而图9B和图9D示出了从上方看在图9A和图9C中捕获到的空间的示例。
在实施例中，例如，在实际空间中设置了AR标记之后，设置AR内容的布置启用区域和布置禁用区域，并且将设置的信息登记到服务器11、终端设备12的存储单元33等。在该情况下，可以在如图9A和图9B所示的三维空间中设置布置区域信息，并且可以在如图9C和图9D所示的二维平面内设置布置区域信息。例如，根据其中布置有AR内容的目标对象(实际对象)的内容、AR内容的形状等，可以选择性地使用这些设置。
例如，如图9A和图9B所示，当作为在其中显示有AR内容的目标的实际对象101是三维对象时，理想的是，根据原点以三维信息(体积)设置布置区域信息。如图9C和图9D所示，当显示的AR内容可以是二维平面时，可以根据原点以二维信息(面积)设置该平面。
例如，如图9A和图9B所示，对于其中分别设置有阀的诸如管道(管)的实际对象(关注目标对象)101-1至101-3，以三维坐标设置布置启用区域(例如，诸如墙壁或地板的空闲区域)102-1至102-4以及布置禁用区域103-1至103-3。在图9A和图9B的示例中，布置禁用区域103-1至103-3被设置成不覆盖实际对象101-1至101-3。
此外，在图9C和图9D的示例中，通过沿着平面的二维坐标、针对实际对象111-1至111-3(诸如大型服务器)设置布置启用区域112和布置禁用区域113。在图9C和图9D的示例中，针对多个实际对象111-1至111-3或多个AR标记90-1至90-3设置单个布置启用区域112，但是实施例不限于这样的情况，而是可以针对每个实际对象或针对每个AR标记设置布置区域信息。在登记布置区域信息时，将布置启用区域112和布置禁用区域113设置成与AR标记90-1至90-3中的每个AR标记相关联。
作为布置区域信息(布置启用区域、布置禁用区域)的设置方法，例如，可以通过终端设备12的编写处理、通过用户对屏幕的触摸操作来设置布置区域信息。此外，作为另一种方法，例如，通过对捕获图像的识别处理，提取图像中的特征点，并且将特征量小的区域(例如，墙壁、地板等)设置为布置启用区域。此外，作为另一种方法，利用文本数据预先管理指示布置区域的信息(例如，坐标值等)，以及例如，在用户难以执行操作的情况等下，通过从存储单元33、服务器11等获取文本数据来执行对布置区域信息的设置等。在布置区域信息(布置启用区域、布置禁用区域)中，例如，将将标记ID的位置用作参考的顶点(在矩形的情况下为4个点)的相对位置坐标登记以与标记ID对应。此外，当存在多个布置启用区域时，针对每个区域执行指示该区域的坐标的登记。
此处，例如假设布置区域信息如下。
标记ID：100，
<布置启用区域>区域ID1：(x,y,z)＝{(-50,30,0),(-50,-10,0),(-5,30,0),(-5,-100,0)}，区域ID2：{省略}，
<布置禁用区域>区域ID1：(x,y,z)＝{(-20,30,0),(-20,-10,0),(10,30,0),(10,-100,0)}，区域ID2：{省略}等。
然而，实施例不限于这样的情况。此外，登记AR内容、AR内容的显示位置等以与标记ID相关联。
图10A至图10D示出了AR内容的显示示例。图10A至图10D示出了与图9A对应的图。此外，图10A示出了从图10B所示的图中的视点A捕获的图像的示例，图10B是从上方看到的，而图10C示出了从图10D所示的图中的视点B捕获的图像的示例，图10D从是从上方看到的。在图10A至图10D的示例中，为了描述方便，显示了布置启用区域102以及布置禁用区域103。
在图10的示例中，终端设备12使用与检测到的AR标记90对应的标记ID访问服务器11，从服务器11获取关于与标记ID对应的布置区域和AR内容的各条信息，并且执行对布置启用区域的图像显示。
例如，在实施例中，当从其执行图像捕获的视点(角度)如图10B和图10D所示那样不同时，在如图10A和图10C所示那样布置的布置启用区域102的特定位置处显示AR内容120-1至120-6。在实施例中，AR内容120-1至120-6布置在实际对象101(诸如，作为用户的关注对象的管道)上，并且AR内容120被显示成不叠置在布置禁用区域103之上以便抑制用户的可见性受到阻碍。作为示例，在图10A和图10C中所示的AR内容120-1至120-6中的每个AR内容是包括“创建日期和时间”、“负责人”、“注释”等文本信息的内容，但是实施例不限于这样的情况，而例如，AR内容120-1至120-6中的每个AR内容可以是符号、标记、图像、电影、象形图(pictogram)、印记等。
此外，在实施例中，如在图10A的AR内容120-4至120-6中所示，AR内容可以显示成与布置启用区域102-2的大小相关联。此外，当从图10D中所示的视点B执行图像捕获时，存在下述情况：布置启用区域102-2和布置禁用区域103-1彼此交叠，如图10C所示。在这样的情况下，优先化布置禁用区域103-1，并且将AR内容显示在通过去除布置启用区域102-2与布置禁用区域103-1彼此交叠的区域而获取的布置启用区域中。因此，显示在布置启用区域102-2上的AR内容120-4至120-6被移至另一布置启用区域(例如，布置启用区域102-1)并且显示(重新布置显示)。在图10C的示例中，除AR内容120-4至120-6以外，还重新调整显示在布置启用区域102-1上的AR内容120-1至120-3的显示位置，并且AR内容被显示成叠置在捕获图像之上。
如上所述，根据捕获角度(视点)的改变来改变(重新布置)AR内容120-1至120-6的叠置位置，使得叠置位置从由用户实际指定的显示位置(坐标)移位。因此，在实施例中，例如，如图10C所示，箭头等被显示成从AR内容120-1至120-6指向由用户指定的显示位置。结果，用户可以正确地立即掌握所显示的AR内容所处的位置(空间)。
通过以上所描述的对AR内容的显示控制，即使当捕获包括AR标记90的区域(空间)的角度(视点)改变时，也可以将AR内容分散地布置成不与用户关注的目标对象(诸如，实际对象)交叠。
<显示可用性映射的具体示例>
以下描述上述的显示可用性映射的具体示例。图11是示出显示可用性映射的具体示例的图。图11的示例与以上所描述的图9A的图对应。在实施例中，如图11所示，从通过将当时识别的AR标记90的标记坐标系中的布置启用区域102-1至102-4、布置禁用区域103-1至103-3的各条位置信息转换至例如将图像的左上角用作参考的屏幕坐标系(X,Y)中而获取的投射区域生成的显示可用性映射。
例如，图11所示的显示可用性映射将布置启用区域和布置禁用区域的投射区域保持为屏幕分辨率部分的位映射数据。在显示可用性映射的数据格式中，投射区域被保持为掩码位。在该情况下，如图11的示例中所示，设置“1”为布置启用区域(“显示被启用”)而“0”为布置禁用区域(“显示被禁用”)的位模式(bit pattern)，但是实施例不限于这样的情况，例如，可以相反地分配“1”和“0”。此外，在实施例中，可以包括除布置启用区域和布置禁用区域以外的区域。在该情况下，例如，可以设置布置启用区域或布置禁用区域为“1”而其他区域为“0”的位模式。此外，在图11的示例中，示意性地示出了显示可用性映射的位模式，但是例如，可以针对每个像素设置位模式。
此外，在实施例中，例如，当从捕获图像中检测到多个AR标记(例如，AR标记90-1和90-2)时，针对所检测到的AR标记中的每个AR标记生成以上所描述的显示可用性映射时，将分别生成的显示可用性映射彼此组合以生成与多个AR标记对应的显示可用性映射。
图12A、图12B、图12C和图12D是综合显示可用性映射的生成图。例如，在图12A的示例中，当在捕获图像中存在实际对象101-1至101-3时，针对AR标记90-1设置布置启用区域121-1和121-2以及布置禁用区域122-1。此外，在图12B的示例中，针对包括在与图12A相同的捕获图像中的AR标记90-2设置布置启用区域121-3和121-4以及布置禁用区域122-2。
在该情况下，针对捕获图像的最终显示可用性映射与如图12C所示的通过将图12A和图12B中的区域彼此组合而获取的区域对应。在区域的结合中，当布置启用区域和布置禁用区域彼此交叠时，优先化布置禁用区域。此外，当多个布置启用区域彼此交叠时，将交叠的区域设置为布置启用区域。此外，当多个布置禁用区域彼此交叠时，将交叠的区域设置为布置禁用区域。
结果，在图12C的示例中，通过综合图12A和图12B的设置结果来设置布置启用区域121-5至121-7以及布置禁用区域122-1和122-2。此外，根据这样的结果生成如图12D所示的显示可用性映射。在生成上述的显示可用性映射时，在图像捕获期间以特定的时间间隔重复地执行处理，并且例如，根据对AR标记的不同的捕获角度(视点)等，基于与从该位置捕获到的图像对应的布置启用区域和布置禁用区域的投射区域来生成显示可用性映射。
<显示位置表格的生成示例>
以下参照附图描述上述显示位置表格的生成示例。图13A至图13C是示出显示位置表格的生成示例的图。在图13A至图13C中的每幅图中，在下侧出了与AR内容的显示状态相关联的显示位置表格，所述AR内容被叠置在上侧示出的捕获图像之上。在图13A至图13C的捕获图像中，设置针对AR标记90-1和90-2的布置启用区域121-5至121-7以及布置禁用区域122-1和122-2。
作为显示位置表格的各项，例如，存在“AR内容”、“标记ID”、“显示区域”等，但是实施例不限于这样的情况。此处，“AR内容”是被显示成与AR标记的标记ID相关联的AR内容的标识信息。此外，“标记ID”是从AR标记获取的标记的标识信息。此外，“显示区域”是指示AR内容的显示区域的信息。在图13A至图13C的示例中，显示区域例如由AR内容的矩形区域的顶点的坐标来表示，但是实施例不限于这样的情况。此外，在显示区域中，指示了使用针对捕获图像的二维屏幕坐标系(X，Y)的AR内容的显示位置信息，但是实施例不限于这样的情况，例如，可以使用三维坐标系等。
例如，相对于上述的显示可用性映射检查被设置成与AR标记的标记ID相关联的AR内容中的每一个，并且将其按顺序布置在包括在捕获图像中的布置启用(“显示启用”)区域中。
例如，如图13A所示，AR内容(例如，叠置1、叠置2)的投射图像(图)的所有叠置区域存在于布置启用区域121-5中，并且AR内容彼此不交叠。因此，按原样显示所有AR内容。此外，对于AR内容的显示区域等，将基于屏幕坐标系等的坐标等存储在显示位置表格中。例如，对于AR内容(叠置1)，存储了{左上角：(50，5)，左下角：(50，50)，右上角：(100，5)，右下角：(100，50)}。
此外，在将除图13A的显示内容以外的AR内容(例如，叠置3)显示在如图13B所示的布置启用区域121-6上的情况下，当叠置3的投射图像的一部分在布置启用区域内时，通过缩小大小来显示AR内容(投射图像)。例如，当投射图像的整个显示区域中的特定阈值(例如，约80％)以上的显示区域在布置启用区域内时，认为投射图像的一部分在布置启用区域内，但是实施例不限于这样的情况。此外，可以缩小在投射图像中显示的文本信息的字符大小以与上述的该区域的投射图像的缩小比率对应。
此外，在图13B的示例中，作为缩小投射图像的区域的示例，可以显示指示存在AR内容(叠置3)的缩略图图像、特定图标等。将叠置3中的显示区域等与AR内容、标记ID等一起存储在显示位置表格中。
此处，例如，当AR内容(例如，叠置4)显示在屏幕上时，预先指定的叠置4的显示位置(区域)由于捕获角度等的影响而包括布置禁用(“显示禁用”)区域(布置禁用区域122-2)。因此，不允许AR内容(叠置4)按原样显示在指定位置处。在这样的情况下，在AR内容(叠置4)存储在存储单元33中并且其他AR内容(叠置1至3)的显示完成之后，从布置启用区域当中搜索显示位置表格、显示可用性映射等以寻找AR内容未叠置之上的区域(空闲区域)。此外，当存在空闲区域时，使用该区域显示AR内容(叠置4)。
例如，在图13C中，使用布置启用区域121-6的空闲区域显示AR内容。此外，在图13C中，显示缩小后的AR内容(叠置4)。AR内容(叠置4)中已改变的显示区域等与AR内容、标记ID等一起存储在显示位置表格中。
对于图13A至图13C所示的显示位置表格的显示区域，设置矩形区域在二维空间中的顶点坐标，但是实施例不限于这样的情况，例如，可以采用三维坐标，并且可以采用使用其中将AR内容的中心坐标用作参考的特定半径的环形区域或球形区域。
<屏幕显示示例>
以下参照附图描述AR内容的屏幕显示示例。图14至图16是示出AR内容的屏幕显示示例的图(第一图至第三图)。在图14至图16的显示示例中的每个显示示例中，例如，生成单元39生成显示内容，并且显示区域控制单元37执行显示控制。此外，在图14至图16中示出的捕获图像、布置启用区域和布置禁用区域与图9A中的捕获图像、布置启用区域和布置禁用区域对应。此外，如在图14至图16的示例中所示，在实施例中，在AR内容(文本信息、图像等)的显示中，执行显示控制以使得阻止另一信息的视觉识别被AR内容的显示阻碍。
作为在生成单元39中的显示内容的生成，例如，存在AR内容的缩略图图像的生成、转换成图标、字型(字符大小)的改变、消息聚集(聚集信息)的生成等。此外，作为由显示区域控制单元37进行的显示控制，例如，存在仅最新信息的输出、基于用户权限级别的优先级显示、由于用户从缩略图图像、图标等的选择的放大显示。此外，作为显示控制的示例，存在使用历史的显示、与时间段对应的AR内容显示等，但是实施例不限于这样的情况。
例如，图14A、图14B和图14C是示出屏幕显示示例的图(第一图)。在图14C的示例中，设置与AR内容的类型(例如，文本、图像和手写)等相关联的图标131-1至131-3等。图标的类型不限于图14C的示例。
在图14A的示例中，与详细显示对应的AR内容120-1至120-3显示在布置启用区域102-1上。此外，与AR内容的类型对应的图标131-1至131-3显示在布置启用区域102-2上。在实施例中，例如，当原始详细信息的AR内容的显示区域比布置启用区域102-2大了特定阈值以上或者与布置禁用区域103-1等交叠时，显示图标，但是实施例不限于这样的情况。例如，对是否显示图标的设置可以在设置AR内容时由用户等执行。
此外，当用户选择了显示在布置启用区域102-2上的图标131-1至131-3中的一个图标(例如，图标131-1)时，如图14B所示，可以显示与所选择的图标对应的详细信息132-1。此外，不显示图标131，而是通过用户的选择放大显示被缩小显示的AR内容。如以上所描述的详细显示的AR内容以及放大显示的AR内容显示在布置禁用区域上，但是通过用户的许可(选择)来控制AR内容的显示，使得视觉识别不受阻碍。此外，在用户选择了AR内容的显示部分或者经过了一定时间段(例如10秒)之后，删除详细显示的AR内容的显示以及放大显示的AR内容，并且将AR内容还原为原始图像。
如上所述，在实施例中，通过图标等向用户通知与AR标记的标记ID对应的AR内容的存在，并且可以根据用户的选择来显示详细信息。
在图15A和图15B的示例中，显示区域控制单元37聚集在布置启用区域的投射区域内显示的多个AR内容，并且将所聚集的内容的数量显示在布置启用区域中。例如，如图15A所示，显示区域控制单元37可以对显示的AR内容执行消息聚集，并且将所聚集的内容的数量显示在屏幕上。在图15A的示例中，针对图标131-1显示指示的八个聚集内容的AR内容141-1，并且针对图标131-2显示指示三个聚集内容的AR内容141-2。
此处，例如，如图15B所示，通过选择与图标131-1对应的八个聚集内容的显示部分(AR内容141-1)来显示与八个消息对应的AR内容142。显示区域控制单元37可以按特定顺序(例如，登记顺序等)显示所有聚集消息(八个消息)中的至少一个消息(在图15B的示例中为AR内容142-1至142-4)，但是实施例不限于这样的情况。
此外，甚至在图15B的示例中，假设AR内容142-1至142-4显示在布置禁用区域103-3上，但是内容的显示通过用户的许可(选择)来控制，使得视觉识别不受阻碍。此外，在用户选择AR内容142-1至142-4的显示部分或者经过一定时间段(例如10秒)之后，删除显示，并且将图像还原为原始图像。如上所述，在实施例中，例如，可以通过用户选择聚集内容的显示部分来部署并显示聚集信息(消息等)。
在图16A和图16B的示例中，显示区域控制单元37将多个AR内容显示在布置启用区域的投射区域上以使AR内容按时间顺序彼此交叠，通过用户的选择将在前面的AR内容改变为交叠的另一AR内容，并且显示另外的内容。例如，如图16A所示，当存在针对AR标记90的标记ID显示的多个AR内容时，显示区域控制单元37将布置启用区域102-1上的内容显示为AR内容组151。在该情况下，显示区域控制单元37按登记的顺序对包括在AR内容组中的AR内容进行排序，并且将最新登记的信息显示在前面。
此外，例如，当用户选择AR内容组151的显示部分时，显示区域控制单元37将位于前面的AR内容布置在AR内容组151的后面，如图16B所示，并且将第二最新的AR内容显示在前面。结果，可以针对用户的每次选择而按时间顺序参考AR内容的各条信息。
如上所述，在实施例中，可以通过AR内容组151向用户通知多个AR内容的存在，并且可以通过用户的选择容易地参考各条信息。此外，在图16的示例中，可以在布置启用区域102-1中参考多个AR内容。
如上所述，在实施例中，可以适当地执行显示信息的叠置显示。例如，在实施例中，针对参考对象，由相对位置坐标来限定显示信息的布置启用区域(第一空间)、布置禁用区域(第二空间)等。此外，基于这样的限定信息，可以通过动态地计算与参考对象和视点的位置对应的适当显示区域来对显示信息自动地执行恰当的叠置显示，而无需用户进行调整。例如，即使当大量显示信息与相同的位置相关联时，也可以在不干扰用户关注的目标对象的可视性的情况下显示大量的显示信息。因此，在实施例中，可以阻止下述情况：由于显示信息的显示而阻碍另一信息的视觉识别。
以上描述了实施例，但不是对特定实施例进行限制，而是可以在权利要求的范围内进行各种修改和改变。此外，可以组合上述实施例的一部分或全部。
附图标记列表
10 信息处理***
11 服务器(信息处理设备)
12 终端设备
13 通信网络
21、31 通信单元
22、33 存储单元
23 登记单元
24 提取单元
25、41 控制单元
32 图像捕获单元
34、63 显示单元
35 输入单元
36 布置区域设置单元
37 显示区域控制单元
38 识别单元
39 生成单元
40 计算单元
51 输入设备
52 输出设备
53、72 驱动设备
54、69 辅助存储设备
55、70 主存储器
56、71 CPU
57 网络连接设备
58、73 记录介质
61 麦克风
62 扬声器
64 操作单元
65 传感器单元
66 电源单元
67 无线电单元
68 短程通信单元
80 管(管道)
81 阀
21 服务器机架
90 AR标记(参考对象)
101、111 实际对象
102、112、121 布置启用区域
103、113、122 布置禁用区域
120、141 AR内容
131 图标
132 详细信息
151 AR内容组

Claims (13)

1.一种信息处理设备，包括：
获取单元，被配置成获取图像；
检测单元，被配置成从所述图像检测特定对象；
计算单元，被配置成：
获取指示其参考是所述特定对象的坐标系中的第一空间的坐标信息，
基于所述图像中的所述特定对象的形状来将所述坐标信息转换成第一区域信息，所述第一区域信息与在其中所述第一空间被投射至所述图像上的第一区域对应，
获取指示所述坐标系中的第二空间的其他坐标信息，所述第二空间不同于所述第一空间，以及
基于所述图像中的所述特定对象的形状来将所述其他坐标信息转换成第二区域信息，所述第二区域信息与在其中所述第二空间被投射至所述图像上的第二区域对应；以及
控制单元，被配置成当所述第一区域中的至少一部分被包括在所述第二区域中时，基于所述第一区域信息和所述第二区域信息来控制显示，以将与所述特定对象相关联的内容显示在所述第一区域内的第三区域中，所述第三区域不被包括在所述第二区域中，
其中，所述特定对象的形状对应于所述图像中包括的对象区域。
2.根据权利要求1所述的信息处理设备，其中，所述控制单元被配置成：
基于所述坐标系中的所述内容的布置位置以及所述图像中的所述特定对象的形状来计算在其处所述内容被投射至所述图像上的显示位置，
基于所述显示位置和所述第二区域信息来确定所述内容的至少一部分是否与所述第二区域交叠，并且
当所述内容的至少一部分与所述第二区域交叠时，以特定的缩放因子缩小所述内容的大小。
3.根据权利要求1所述的信息处理设备，其中，所述控制单元被配置成：
基于所述坐标系中的所述内容的布置位置和所述图像中的所述特定对象的形状来计算在其处所述内容被投射至所述图像上的显示位置，
基于所述显示位置和所述第二区域信息来确定所述内容的至少一部分是否与所述第二区域交叠，并且
当所述内容的至少一部分要与所述第二区域交叠时，控制所述显示以将与所述内容对应的缩略图图像和图标图像之一显示在所述图像中的所述第一区域上。
4.根据权利要求3所述的信息处理设备，其中，所述控制单元被配置成：
根据从所述缩略图图像和所述图标图像当中的选择来显示所述内容。
5.根据权利要求1至4中任一项所述的信息处理设备，其中，所述控制单元被配置成：
对要显示在所述第一区域中的多个内容的数量进行计数，所述多个内容包括所述内容，并且
控制所述显示以进一步显示所述多个内容的数量。
6.根据权利要求5所述的信息处理设备，其中，所述控制单元被配置成：
基于生成所述多个内容时的时间信息来控制所述显示以显示所述多个内容的至少一部分，并且
控制所述显示以将一个内容显示在其他内容之上，所述一个内容由用户从所述多个内容当中选择。
7.一种由计算机执行的显示控制方法，包括：
获取图像；
从所述图像检测特定对象；
获取指示其参考是所述特定对象的坐标系中的第一空间的坐标信息；
基于所述图像中的所述特定对象的形状来将所述坐标信息转换成第一区域信息，所述第一区域信息与在其中所述第一空间被投射至所述图像上的第一区域对应；
获得指示所述坐标系中的第二空间的其他坐标信息，所述第二空间不同于所述第一空间；
基于所述图像中的所述特定对象的形状来将所述其他坐标信息转换成第二区域信息，所述第二区域信息与在其中所述第二空间被投射至所述图像上的第二区域对应；以及
当所述第一区域中的至少一部分被包括在所述第二区域中时，基于所述第一区域信息和所述第二区域信息来控制显示，以将与所述特定对象相关联的内容显示在所述第一区域内的第三区域中，所述第三区域不被包括在所述第二区域中，
其中，所述特定对象的形状对应于所述图像中包括的对象区域。
8.根据权利要求7所述的显示控制方法，还包括：
基于所述坐标系中的所述内容的布置位置以及所述图像中的所述特定对象的形状来计算在其处所述内容被投射至所述图像上的显示位置；
基于所述显示位置和所述第二区域信息来确定所述内容的至少一部分是否与所述第二区域交叠；并且
当所述内容的至少一部分与所述第二区域交叠时，以特定的缩放因子缩小所述内容的大小。
9.根据权利要求7所述的显示控制方法，还包括：
基于所述坐标系中的所述内容的布置位置以及所述图像中的所述特定对象的形状来计算在其处所述内容被投射至所述图像上的显示位置；
基于所述显示位置和所述第二区域信息来确定所述内容的至少一部分是否与所述第二区域交叠；并且
当所述内容的至少一部分要与所述第二区域交叠时，控制所述显示以将与所述内容对应的缩略图图像和图标图像之一显示在所述图像中的所述第一区域上。
10.根据权利要求9所述的显示控制方法，还包括：
根据从所述缩略图图像和所述图标图像当中的选择来显示所述内容。
11.根据权利要求7至10中任一项所述的显示控制方法，还包括：
对要显示在所述第一区域中的多个内容的数量进行计数，所述多个内容包括所述内容；并且
控制所述显示以进一步显示所述多个内容的数量。
12.根据权利要求11所述的显示控制方法，还包括：
基于生成所述多个内容时的时间信息来控制所述显示以显示所述多个内容的至少一部分；并且
控制所述显示以将一个内容显示在其他内容之上，所述一个内容由用户从所述多个内容当中选择。
13.一种存储显示控制程序的计算机可读介质，所述显示控制程序在由计算机执行时使得所述计算机实现根据权利要求7至12中任一项所述的显示控制方法。
CN201510319447.XA 2014-06-13 2015-06-11 信息处理***和显示控制方法 Expired - Fee Related CN105183408B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-122282 2014-06-13
JP2014122282A JP6326996B2 (ja) 2014-06-13 2014-06-13 端末装置、情報処理システム、及び表示制御プログラム

Publications (2)

Publication Number Publication Date
CN105183408A CN105183408A (zh) 2015-12-23
CN105183408B true CN105183408B (zh) 2018-08-31

Family

ID=53283993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510319447.XA Expired - Fee Related CN105183408B (zh) 2014-06-13 2015-06-11 信息处理***和显示控制方法

Country Status (5)

Country Link
US (1) US10430655B2 (zh)
EP (2) EP3330929B1 (zh)
JP (1) JP6326996B2 (zh)
CN (1) CN105183408B (zh)
AU (2) AU2015202589A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001875A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
JP6046874B1 (ja) * 2015-05-19 2016-12-21 楽天株式会社 情報処理装置、情報処理方法、プログラム
JP6256430B2 (ja) * 2015-08-17 2018-01-10 コニカミノルタ株式会社 コンテンツ提供サーバ、コンテンツ提供方法、およびコンピュータプログラム
JP6736898B2 (ja) * 2016-02-02 2020-08-05 富士通株式会社 設備点検支援プログラム、設備点検支援方法および情報処理装置
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
JP6826829B2 (ja) * 2016-07-19 2021-02-10 株式会社Ｎｔｔファシリティーズ 情報共有支援システム、情報共有支援方法、及びプログラム
TWI603227B (zh) 2016-12-23 2017-10-21 李雨暹 移動物件的虛擬訊息遠距管理方法與應用系統
JP6809267B2 (ja) * 2017-02-10 2021-01-06 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
WO2018158814A1 (ja) * 2017-02-28 2018-09-07 日本電気株式会社 点検支援装置、点検支援方法および記録媒体
JP6815290B2 (ja) * 2017-07-13 2021-01-20 ヤンマーパワーテクノロジー株式会社 物体識別システム
JP6939195B2 (ja) 2017-07-27 2021-09-22 株式会社大林組 検査処理システム、検査処理方法及び検査処理プログラム
JP6996147B2 (ja) * 2017-07-27 2022-01-17 株式会社大林組 検査処理システム、検査処理方法及び検査処理プログラム
CN109511004B (zh) * 2017-09-14 2023-09-01 中兴通讯股份有限公司 一种视频处理方法及装置
JP7039989B2 (ja) * 2017-12-20 2022-03-23 富士通株式会社 制御プログラム、制御方法及び制御装置
JP7017689B2 (ja) * 2017-12-29 2022-02-09 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
WO2020163218A1 (en) * 2019-02-04 2020-08-13 Beam Therapeutics Inc. Systems and methods for implemented mixed reality in laboratory automation
US10789780B1 (en) 2019-03-29 2020-09-29 Konica Minolta Laboratory U.S.A., Inc. Eliminating a projected augmented reality display from an image
JP2020198001A (ja) * 2019-06-04 2020-12-10 三菱電機株式会社 作業支援システム、作業支援方法及びプログラム
JP7341736B2 (ja) * 2019-06-06 2023-09-11 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2021125053A (ja) * 2020-02-06 2021-08-30 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、プログラム、情報処理システム、および情報処理方法
US11100328B1 (en) * 2020-02-12 2021-08-24 Danco, Inc. System to determine piping configuration under sink
US11798156B2 (en) 2020-03-26 2023-10-24 International Business Machines Corporation Hyperconverged configuration troubleshooting
US11374808B2 (en) * 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
JP7096295B2 (ja) * 2020-07-27 2022-07-05 ソフトバンク株式会社 表示制御システム、プログラム、及び表示制御方法
JP7055186B2 (ja) * 2020-12-16 2022-04-15 ヤンマーパワーテクノロジー株式会社 物体識別システム
US11995777B2 (en) * 2022-04-13 2024-05-28 Dell Products L.P. Augmented reality enablement for information technology infrastructure
US11995778B2 (en) 2022-04-13 2024-05-28 Dell Products L.P. Augmented reality location operation including augmented reality tracking handoff
US12051162B2 (en) 2022-04-14 2024-07-30 Dell Products L.P. Augmented reality location operation using constellation information

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10187747A (ja) * 1996-12-26 1998-07-21 Digital Vision Lab:Kk 情報提示方法及び装置、情報表示装置及び音声出力装置
JP3398796B2 (ja) 2001-01-31 2003-04-21 飛島建設株式会社 複合現実感を利用した３次元測量支援用画像システム
WO2002093491A1 (en) 2001-05-17 2002-11-21 The Trustees Of Columbia University In The City Of New York System and method for view management in three dimensional space
JP4144806B2 (ja) 2005-08-30 2008-09-03 株式会社プロフィールド 情報編集装置、情報編集システム、情報編集方法、およびプログラム
JP2007293895A (ja) 2007-06-12 2007-11-08 Fujitsu Ltd 情報オブジェクトの表示方法をコンピュータに実行させるためのプログラム
US9204050B2 (en) * 2008-12-25 2015-12-01 Panasonic Intellectual Property Management Co., Ltd. Information displaying apparatus and information displaying method
US20110161875A1 (en) * 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
JP2011166589A (ja) * 2010-02-12 2011-08-25 Aplix Corp 携帯端末および情報提示方法
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
WO2012135546A1 (en) * 2011-03-29 2012-10-04 Qualcomm Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
JP5932278B2 (ja) * 2011-10-04 2016-06-08 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、プログラム
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
JP5602702B2 (ja) 2011-10-13 2014-10-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US9235819B2 (en) * 2011-11-04 2016-01-12 Canon Kabushiki Kaisha Printing system, image forming apparatus, and method
KR101873525B1 (ko) * 2011-12-08 2018-07-03 삼성전자 주식회사 휴대단말기의 콘텐츠 표시장치 및 방법
JP5966510B2 (ja) 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
JP2013210793A (ja) * 2012-03-30 2013-10-10 Ntt Data Corp Ａｒ表示最適化のためのシステム、方法、およびプログラム
WO2014047876A1 (en) * 2012-09-28 2014-04-03 Intel Corporation Determination of augmented reality information
CN102945637A (zh) * 2012-11-29 2013-02-27 河海大学 一种基于增强现实的嵌入式教学模型及其方法
US20150100327A1 (en) * 2013-10-04 2015-04-09 Cerner Innovation, Inc. Maintaining context between applications utilizing a prioritized patient list
CN103530594B (zh) * 2013-11-05 2017-06-16 深圳市幻实科技有限公司 一种提供增强现实的方法、***及终端
US10528246B2 (en) * 2014-04-10 2020-01-07 Htc Corporation Method and device for managing information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A view management method for mobile mixed reality systems;Fumihisa Shibata etc.;《EGVE"08 Proceedings of the 14th Eurographics conference on Virtual Environments》;20080330;全文 *

Also Published As

Publication number Publication date
AU2017203098B2 (en) 2019-08-22
JP2016004292A (ja) 2016-01-12
US10430655B2 (en) 2019-10-01
EP3330929B1 (en) 2020-11-25
AU2017203098A1 (en) 2017-06-01
EP3330929A1 (en) 2018-06-06
JP6326996B2 (ja) 2018-05-23
US20150363076A1 (en) 2015-12-17
AU2015202589A1 (en) 2016-01-07
EP2955697A1 (en) 2015-12-16
CN105183408A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
CN105183408B (zh) 信息处理***和显示控制方法
JP6244954B2 (ja) 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
CN104160369B (zh) 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质
US20160012612A1 (en) Display control method and system
CN110168487B (zh) 一种触摸控制方法及装置
JP6217437B2 (ja) 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
KR20130070045A (ko) 메시지 관리 방법 및 장치
JP6543924B2 (ja) 情報処理方法、情報処理プログラム、及び情報処理装置
CN110536006A (zh) 一种对象位置调整方法及电子设备
JP6686547B2 (ja) 画像処理システム、プログラム、画像処理方法
CN113936699B (zh) 音频处理方法、装置、设备及存储介质
US9047244B1 (en) Multi-screen computing device applications
US20160284051A1 (en) Display control method and information processing apparatus
CN110969072B (zh) 模型优化方法、设备及图像分析***
CN113467663B (zh) 界面配置方法、装置、计算机设备及介质
CN112148499A (zh) 数据上报方法、装置、计算机设备及介质
JP2011060254A (ja) 拡張現実システム、拡張現実装置および仮想オブジェクト表示方法
KR102260193B1 (ko) 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템
CN113051485A (zh) 群组搜索方法、装置、终端及存储介质
CN107924272A (zh) 信息处理装置、信息处理方法和程序
CN105573688A (zh) 基于图像捕获的多屏幕互操作方法
CN105573605A (zh) 一种手机与电脑互动游戏方法
JP2014119811A (ja) 情報処理装置、システム、情報処理方法、及びプログラム
CN114189703B (zh) 资源信息处理方法、装置、电子设备及存储介质
CN113568552B (zh) 数据结构的对比结果显示方法、装置及计算机存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180831

CF01 Termination of patent right due to non-payment of annual fee