CN108463833A - 图像显示装置 - Google Patents

图像显示装置 Download PDF

Info

Publication number
CN108463833A
CN108463833A CN201680078584.1A CN201680078584A CN108463833A CN 108463833 A CN108463833 A CN 108463833A CN 201680078584 A CN201680078584 A CN 201680078584A CN 108463833 A CN108463833 A CN 108463833A
Authority
CN
China
Prior art keywords
control unit
work
image
display device
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680078584.1A
Other languages
English (en)
Inventor
岩田润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suncorporation
Original Assignee
Sun Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Electronics Co Ltd filed Critical Sun Electronics Co Ltd
Publication of CN108463833A publication Critical patent/CN108463833A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Manufacturing & Machinery (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)
  • Processing Or Creating Images (AREA)

Abstract

图像显示装置(10)的控制部(26)在显示部(14)显示了示出用于处理目标物品的工作次序的指示画面的期间，基于从第一摄像机(16)获取的第一拍摄图像和从第二摄像机(18)获取的第二拍摄图像，判断用户对目标物品实际进行的操作是否是按照由指示画面所指示的工作次序进行的。控制部(26)能够将其结果记录在工作次序列表，将该工作次序列表存储在存储器(28)。

Description

图像显示装置
技术领域
本说明书所公开的技术涉及佩戴在用户的头部使用的图像显示装置。
背景技术
例如，在日本特开2014-93050号公报(以下，称为专利文献1)中公开了一种佩戴在用户的头部使用的图像显示装置。这种图像显示装置具有显示部和计算机，所述显示部显示与用户的视野对应的范围的图像(即，现实图像)，所述计算机将对象图像与使显示部显示的现实图像进行合成显示，所述对象图像表示与使显示部显示的图像关联的对象。像这样地，通过计算机对人类所认知的现实世界进行增强以及扩展的技术作为增强现实(AR：Augumented Reality)而被公知。
发明内容
发明要解决的课题
也能够想到在专利文献1的图像显示装置中，在目标物品的物品图像显示在显示部的期间，将表示与目标物品的处理有关的操作指南的对象图像也一并显示在显示部。
但是，即使在该情况下，图像显示装置实际也无法判断是否按照操作指南示出的工作次序处理了目标物品，因此用户等无法确认是否按照操作指南示出的工作次序处理了目标物品。
在本说明书中公开了用户等能够确认是否按照操作指南示出的工作次序处理了目标物品的技术。
本说明书所公开的图像显示装置被佩戴在用户的头部来使用。图像显示装置具有：显示部；第一摄像机，其对与用户的视野范围对应的特定范围进行拍摄；第二摄像机，其设置在与第一摄像机不同的位置，并且对特定范围进行拍摄；传感器，其能够检测图像显示装置的姿态；控制部；以及存储器，其存储与目标物品的处理有关的操作指南。控制部基于从第一摄像机获取的第一标定图像和从第二摄像机获取的第二标定图像来确定空间信息，所述空间信息用于确定图像显示装置的周围的空间的特征，操作部基于空间信息、从第一摄像机获取的第一拍摄图像、从第二摄像机获取的第二拍摄图像、传感器检测的图像显示装置的姿态，确定空间内的图像显示装置的位置以及姿态，操作部在特定范围包含有目标物品的情况下，根据存储器内的操作指南，使所述显示部显示第一指示画面，所述第一指示画面包含第一对象图像，所述第一对象图像表示用于处理目标物品的第一工作次序，所述第一指示画面将第一对象图像与目标物品合并显示，操作部在显示部显示了第一指示画面的期间，基于第一拍摄图像和第二拍摄图像，判断用户对特定范围内的目标物品实际进行的操作是否是按照第一工作次序进行的，操作部将判断的结果存储在存储器。
根据上述结构，控制部在显示部显示了第一指示画面的期间，基于第一拍摄图像和第二拍摄图像，判断用户对特定范围内的目标物品实际进行的操作是否是按照第一工作次序进行的，并使判断的结果存储在存储器。因此，用户等能够通过确认存储在存储器的判断的结果，从而确认是否按照操作指南示出的工作次序处理了目标物品。
在此，“第一拍摄图像”可以是与第一标定图像相同的图像，也可以是不同的图像。同样地，“第二拍摄图像”可以是与第二标定图像相同的图像，也可以是不同的图像。在此，“目标物品的处理”包含目标物品的组装、拆卸、使用、修理等用于处理目标物品的任意的作业。“第一对象图像”包含静态图像和动态图像。
另外，用于实现上述图像显示装置的控制方法、计算机程序、以及存储该计算机程序的计算机可读存储介质也是新的，并且是有益的。
附图说明
图1示出通信***的概要。
图2示出图1的通信***的框图。
图3示出显示装置处理的流程图。
图4示出标定画面的例子。
图5示出实时处理的例子。
图6示出菜单对象图像的例子。
图7示出操作指南处理的例子。
图8示出物品表的例子。
图9示出工作次序列表的例子。
图10示出工作次序列表的另一个例子。
图11示出目标物品的例子。
图12示出指示画面的例子(1)。
图13示出指示画面的例子(2)。
图14示出完成作业后的目标物品的例子。
图15示出第二实施例的图像显示装置的外观。
具体实施方式
先列举出以下所说明的实施例的主要特征。另外，以下记载的技术要素为各自独立的技术要素，通过单独或各种组合来发挥技术的有益性，并不限定于申请时权利要求记载的组合。
(特征1)控制部可以在判断为操作是按照第一工作次序进行的情况下，根据存储器内的操作指南，代替第一指示画面而使显示部显示第二指示画面，所述第二指示画面包含第二对象图像，所述第二对象图像表示第一工作次序之后要执行的第二工作次序，所述第二指示画面将第二对象图像与目标物品合并显示。“第二对象图像”包含静态图像和动态图像。
根据这种结构，在判断为操作是按照第一工作次序进行的情况下，第二指示画面显示在显示部。即，控制部在判断为操作不是按照第一工作次序进行的情况下，可以不使第二操作指南画面显示在显示部。因此，用户能够按照操作指南示出的工作次序而恰当地处理目标物品的可能性变高。
(特征2)图像显示装置还可以具有接收部，其从工具接收与工具的动作内容有关的动作信息。操作可以包含使用工具的操作。在显示部显示了第一指示画面的期间，控制部基于第一拍摄图像、第二拍摄图像、从接收部获取的动作信息来判断操作是否是按照第一工作次序进行的。
根据该结构，控制部除了基于第一拍摄图像和第二拍摄图像以外，还基于从工具通过接收部获得的动作信息，来判断操作是否是按照第一工作次序进行的。因此，根据上述结构，控制部可更恰当地判断操作是否是按照第一工作次序进行的。
(特征3)图像显示装置还可以具有用于向外部服务器发送信息的发送部。控制部可以通过发送部向外部服务器发送包含存储器中存储的判断结果的作业信息。
根据该结构，控制部通过发送部向外部服务器发送包含存储器中存储的判断结果的作业信息。由此，在外部服务器中存储作业信息。外部服务器的管理者等通过观看存储在外部服务器的作业信息，能够确认目标物品是否恰当地被处理。
此外，在本说明书中，还公开了计算机程序，其用于能够与外部服务器进行通信的终端装置，所述外部服务器存储由上述图像显示装置发送的作业信息。终端装置具有显示部和计算机。计算机程序执行以下处理：与外部服务器进行通信而从外部服务器接收作业信息的处理、以及使显示部显示由接收到的作业信息表示的阅览画面的处理。
根据该结构，终端装置的用户能够通过观看显示在显示部的阅览画面，从而确认图像显示装置的用户是否恰当地处理了目标物品。
(第一实施例)
(通信***2的结构；图1、图2)
如图1、图2所示，通信***2具有图像显示装置10、工具40、服务器50以及外部PC(Personal Computer的简称：个人电脑的简称)70。图像显示装置10、服务器50、以及外部PC70能够通过互联网4彼此进行无线通信(具体而言，Wi-Fi通信)(参照图中的实线箭头)。此外，图像显示装置10和工具40能够彼此进行蓝牙(注册商标)通信(以下称为“BT通信”)(参照图中的虚线箭头)。
(图像显示装置10的结构)
图像显示装置10是佩戴在用户的头部使用的图像显示装置(所谓的头戴式显示器)。如图1所示，图像显示装置10具有支承体12、显示部14a、14b、投影部15a、15b、第一摄像机16、第二摄像机18、以及控制盒19。
支承体12为眼镜框状的构件。用户通过以佩戴眼镜的方式佩戴支承体12，从而能够将图像显示装置10佩戴在头部。
显示部14a、14b分别为透光性的显示构件。当用户将图像显示装置10佩戴在头部时，显示部14a配置在与用户的右眼相向的位置，显示部14b配置在与左眼相向的位置。以下，有时将左右的显示部14a、14b统称为显示部14。
投影部15a、15b为在显示部14a、14b投影图像的构件。投影部15a、15b设置在显示部14a、14b的侧部。以下，有时将左右的投影部15a、15b统称为投影部15。在本实施例中，投影部15按照控制部26的指示而在显示部14投影规定的对象图像。由此，用户能够看上去好像在透过显示部14用户能够辨认的现实世界的目标物或者/以及空间的规定的位置合成了上述对象图像那样，观看到现实世界的目标物或者/以及空间、和对象图像。以下，在本说明书中，对通过控制部26向投影部15指示图像的投影而使显示部14显示所期望的画面的情况进行说明，在该情况下有时省略投影部15的动作的说明，仅表现为“控制部26使显示部14显示所期望的图像”等。
第一摄像机16为在支承体12中的显示部14a的上方位置(即，与用户的右眼对应的位置)配置的摄像机。另一方面，第二摄像机18为在支承体12的显示部14b的上方位置(即，与用户的左眼对应的位置)配置的摄像机。能够分别通过第一摄像机16和第二摄像机18，从不同的角度对与佩戴图像显示装置10的用户的视野范围对应的范围(以下称为“特定范围”)进行拍摄。
控制盒19为在支承体12的局部安装的盒体。在控制盒19中收容有对图像显示装置10的控制***进行管理的各要素。具体而言，如图2所示，在控制盒19中收容有传感器20、BT接口22、Wi-Fi接口24、控制部26、以及存储器28。以下，将接口记载为“I/F”。
传感器20为三轴加速度传感器。传感器20对X、Y、Z的三轴的加速度进行检测。控制部26能够使用传感器20的检测值来确定图像显示装置10的姿态和运动状态。
BT I/F22为用于与外部装置(例如工具40)进行BT通信的I/F。
Wi-Fi I/F24为用于经由互联网4与外部装置(例如服务器50)进行Wi-Fi通信的I/F。
控制部26按照在存储器28存储的程序来执行各种处理。控制部26执行的处理的内容在后面详细地说明。此外，控制部26与显示部14、投影部15、第一摄像机16、第二摄像机18、传感器20、BT I/F22、Wi-Fi I/F24以及存储器28电连接，能够对这些各要素的动作进行控制。
存储器28存储有各种程序。程序包含操作指南应用程序30等各种应用程序。在图2中，将操作指南应用程序30显示为“操作指南应用30”。以下，有时将操作指南应用程序仅称为“操作指南应用”。在此，“操作指南应用”是指用于使用真实图像和对象图像(即，虚拟图像)来指示物品的处理(例如组装、拆卸、使用、修理等)方法的应用。控制部26按照操作指南应用30执行后述的操作指南处理(参照图6)。操作指南应用30包含物品表32(参照图8)和操作指南数据34。物品表32包含有与按照操作指南应用30来指示处理方法的物品相关的数据。物品表32的内容在后面详细地说明。操作指南数据34包含有针对多个物品的每一个说明该物品的处理方法的操作指南。进而，存储器28还具有用于存储伴随着后述的操作指南处理(参照图6)而生成的工作次序列表(参照图8、图9)的列表存储区域36。此外，在存储器28中还存储有分配给图像显示装置10的ID。如图1、图2所示，本实施例的图像显示装置10的ID为“D1”。
在图1的例子中，仅图示了1台图像显示装置10，但也可以在实际的通信***2内存在多台图像显示装置10。在该情况下，按每台图像显示装置10分配不同的ID。
(工具40的结构)
如图1所示，工具40是用户抓住来使用的螺丝刀工具(所谓的改锥)。如图2所示，工具40具有控制部42、存储器44以及BT I/F46。
BT I/F46为用于与外部装置(例如图像显示装置10)进行BT通信的I/F。控制部42按照存储在存储器44的程序，执行经由BT I/F46向图像显示装置10发送与工具的动作内容相关的动作信息的处理。具体而言，控制部42执行以下处理：检测在将螺丝拧紧时的扭矩值，并将包含检测到的扭矩值的作业信息经由BT I/F46发送到图像显示装置10的处理。存储器44存储有各种程序。
在图1的例子中，仅图示了1台工具40，但也可以在实际的通信***2内存在多台工具40。
(服务器50的结构)
图1、图2的服务器50为由图像显示装置10的管理者(例如，提供图像显示装置10的企业等)设置的服务器。服务器50对图像显示装置10的用户对物品的处理的实际结果进行管理。服务器50具有显示部52、操作部54、Wi-Fi I/F56、控制部58以及存储器60。
显示部52是能够显示各种信息的显示器。操作部54具有键盘和鼠标。服务器50的用户能够通过对操作部54进行操作而向服务器50输入各种指示。Wi-Fi I/F56为用于经由互联网4与外部装置(例如图像显示装置10、外部PC70)进行Wi-Fi通信的I/F。控制部58按照存储在存储器60的程序来执行各种处理。存储器60存储各种程序。此外，存储器60存储有通过图像显示装置10执行操作指南处理(参照图7)而从图像显示装置10接收的作业信息。
(外部PC70的结构)
图1、图2的外部PC70为图像显示装置10的管理者(例如，提供图像显示装置10的企业等)所使用的PC。外部PC70用于访问服务器50并阅览图像显示装置10的用户对物品的处理的实际结果。与服务器50同样地，外部PC70也具有显示部71、操作部72、Wi-Fi I/F73、控制部74以及存储器75。
显示部71是能够显示各种信息的显示器。操作部72具有键盘。外部PC70的用户能够通过对操作部72进行操作而向服务器50输入各种指示。Wi-Fi I/F73是用于经由互联网4与服务器50进行Wi-Fi通信的I/F。控制部74按照存储在存储器75的程序来执行各种处理。存储器75存储各种程序。在本实施例中，特别地，存储器75存储有用于外部PC70与服务器50进行通信、并阅览在服务器50存储的作业信息的阅览程序76。
(显示装置处理；图3)
参照图3，对图像显示装置10的控制部26执行的显示装置处理进行说明。当用户将图像显示装置10佩戴在自已的头部，并接通图像显示装置10的电源时，控制部26开始进行图3的显示装置处理。
在S10中，控制部26在显示部14显示规定的标定画面。标定画面为用于使用户进行标定的画面。在此，“标定”为用于确定空间信息(即标定数据)的处理，所述空间信息用于确定图像显示装置10的周围的空间的特征。此外，例如在图像显示装置10存在于室内的情况下，“图像显示装置10的周围的空间的特征”包含墙壁与本机之间的距离、墙壁的方向、天花板与本机之间的距离、天花板的高度、地板的面积、家具类的位置、与家具类之间的距离等的用于对室内空间进行表征的各种信息。另一方面，例如在图像显示装置10存在于室外的情况下，“图像显示装置10的周围的空间的特征”包含与周围的目标物之间的距离等的用于对本机的周围的空间进行表征的各种信息。
图4示出标定画面的例子。如图4的例子所示，在标定画面中包含有指针P、和用于促使用户以视线追随指针的消息。控制部26通过用户以视线追随指针P，从而以使图像显示装置10的周围的空间全部进入视野的方式在显示部14内移动指针P。
接着，在S12中，控制部26对空间信息的确定的完成情况进行监视。如上所述，在S10中显示部14显示了标定画面(参照图4)之后，通过用户进行以视线追随指针P的动作(即，用户配合指针P的移动而移动头部)，从而利用第一摄像机16和第二摄像机18拍摄周围的空间的各方向。此时，控制部26从第一摄像机16获取作为由第一摄像机16拍摄的特定范围(即，与用户的视野范围对应的范围)的图像的第一标定图像，并且从第二摄像机18获取作为由第二摄像机18拍摄的特定范围的图像的第二标定图像。控制部26通过对第一标定图像和第二标定图像共同的特征点进行确定，并进行三角测量，从而能够对特征点与图像显示装置10之间的距离进行计算。进而，控制部26还能够对以指针P的初始位置的坐标为基准的上述特征点的位置的坐标进行确定。控制部26针对在图像显示装置10的周围的所有方向上存在的多个特征点的每个特征点执行相同的处理。控制部26在针对存在于图像显示装置10的周围的所有方向上的多个特征点的每个特征点，确定了与该特征点之间的距离和该特征点的坐标的情况下，在S12中判断为是，并进入S14。即，S12中的“用于对图像显示装置10的周围的空间的特征进行确定的空间信息”意味着与各特征点之间的距离和各特征点的坐标。
在S14中，控制部26开始进行实时处理(参照图5)。当在S14中开始进行实时处理时，控制部26反复执行实时处理，直至图像显示装置10的电源被断开为止。当控制部26在S14中开始进行实时处理时，进入S16。以下，参照图5，对实时处理的内容进行说明。
(实时处理；图5)
在图5的S30中，控制部26从第一摄像机16获取作为在S30的时刻由第一摄像机16拍摄的特定范围的图像的第一拍摄图像，并且从第二摄像机18获取作为在S30的时刻由第二摄像机18拍摄的特定范围的图像的第二拍摄图像。即，在S30中获取的第一拍摄图像和第二拍摄图像均为与用户的当前时刻的视野范围相当的实时的拍摄图像。
接着，在S32中，控制部26对第一拍摄图像和第二拍摄图像共同的特定的特征点与图像显示装置10之间的距离进行计算。在此所谓的“特征点”为例如空间信息(图3的S12中为“是”的情况)所包含的多个特征点中的一个。特征点与图像显示装置10之间的距离是与上述的情况同样地通过使用第一拍摄图像和第二拍摄图像进行三角测量而计算的。
接着，在S34中，控制部26根据传感器20的检测值来计算该时刻的图像显示装置10的姿态。具体而言，控制部26根据传感器20的检测值(即，X轴、Y轴、Z轴的各轴方向上的加速度)来计算在将重力方向设为0°的情况下的X轴、Y轴、Z轴的倾斜角(θx、θy、θz)，基于这些倾斜角来计算S10时刻的图像显示装置10的姿态(即，相对于水平面的倾斜)。
接着，在S36中，控制部26使用在图3的S12中为“是”的情况下所确定的空间信息、在S32中所计算的与特征点之间的距离、和在S34中所计算的图像显示装置10的姿态，对图像显示装置10所存在的空间内的图像显示装置10的位置以及姿态进行确定。
当完成S36时，控制部26返回至S30，并反复执行S30～S36的各处理。即，控制部26通过反复执行S30～S36的处理，能够实时地对图像显示装置10所存在的空间内的图像显示装置10的位置以及姿态进行确定。
(显示装置处理的后续；图3的S16之后)
如上所述，当控制部26在图3的S14中开始进行实时处理(参照图5)后，进入S16。在S16中，控制部26生成表示主菜单对象的菜单对象图像，并与规定位置对应起来。换言之，控制部26生成菜单对象图像，并将其虚拟地配置在规定位置。在此，“将菜单对象图像虚拟地配置在规定位置”指的是，在特定范围(即，第一摄像机16和第二摄像机18的拍摄范围)中包含规定位置的情况下，以在空间内的规定位置配置有菜单对象图像的状态的画面被显示在显示部14的方式，将菜单对象图像与规定位置对应起来。另外，在S16中，控制部26将用户的视野的正面的位置指定为规定位置，并虚拟地配置菜单对象图像。因此，在S16的处理的时刻，在特定范围(即用户的视野范围)中包含规定位置。因此，如图6所示，在显示部14显示有表示菜单对象的菜单对象图像80配置于空间内的状态的画面。在本实施例中，由于显示部14为透光性的显示器，所以用户能够看到在透过显示部14可见的真实的物品(即，室内的景象)上合并了菜单对象图像80的方式的显示。
如图6所示，菜单对象图像80表示主菜单。菜单对象图像80显示了能够选择的六个图标82～92。各图标与各应用对应。例如，图标82表示邮件应用，图标84表示电影应用，图标86表示浏览器应用，图标88表示照片应用，图标90表示操作指南应用，图标92表示音乐应用。用户通过在特定范围内进行触摸所期望的图标的手势，从而能够启动与所期望的图标对应的应用。
接着，在S18中，控制部26对检测特定范围内的用户的操作的情况进行监视。在此，“特定范围内的用户的操作”包含以下各种动作：用户对菜单对象图像等的对象图像进行的手势(例如，对图像的移动、尺寸变更进行指示的手势、对图像的显示的结束进行指示的手势、对图标进行选择的手势、对图像显示装置10的电源断开进行指示的手势等)；空间内的用户的移动；用户的视野方向的变化等。在S18中，控制部26根据来自第一摄像机16的第一拍摄图像、来自第二摄像机18的第二拍摄图像以及传感器20的检测值，判断是否在特定范围内用户进行了操作。当控制部26检测到在特定范围内用户进行了操作时，在S18中判断为“是”，进入S20。
在S20中，控制部26判断用户进行的操作是否为指示图像显示装置10的电源断开的规定的手势(以下称为“结束手势”)。当控制部26判断为用户进行的操作是规定的结束手势时，在S20中判断为“是”，进入S24，使图像显示装置10的电源断开。在该情况下，图3的显示装置处理结束。在该情况下，图5的实时处理也同时结束。另一方面，当控制部26判断为用户进行的操作为规定的结束手势以外的操作时，在S20中判断为“否”，进入S22。
在S22中，控制部26执行与操作对应的处理。例如在用户进行的操作为菜单对象图像80(参照图6)的显示位置的移动操作的情况下，控制部26按照用户的操作来变更菜单对象图像80的显示位置。在该情况下，在显示部14显示有在变更后的位置配置了菜单对象图像80的状态的画面。此外，例如，如图6所示，在用户进行的操作为对菜单对象图像80中的操作指南应用的图标90进行选择的操作(例如，触摸图标90的操作)的情况下，控制部26按照用户的操作使操作指南应用启动。当操作指南应用启动时，控制部26开始进行图7的操作指南处理。操作指南处理的内容在后面详细地说明。
控制部26在完成S22后返回至S18，再次监视用户进行操作的情况。由此，每当用户在特定范围内进行手势，或者用户进行改变视线的方向的操作时，控制部26根据操作对显示部14所显示的对象图像、引导图像的显示位置以及显示方式进行变更。控制部26反复执行S18～S22的各处理，直至执行结束手势(在S20中为“是”)为止。
(操作指南处理；图7)
参照图7，对图像显示装置10的控制部26执行的操作指南处理进行说明。如上所述，当通过用户的操作而启动操作指南应用时，控制部26开始进行操作指南处理。
在S50中，控制部26基于来自第一摄像机16的第一拍摄图像和来自第二摄像机18的第二拍摄图像来识别存在于特定范围内的物品(以下，有时称为“目标物品”)的特征。具体而言，在S50中，控制部26基于在第一拍摄图像和第二拍摄图像中所包含的目标物品的图像来识别该目标物品的特征(例如，形状、颜色、材料等)。
接着，在S52中，控制部26对具有在S50中识别出的特征的目标物品的物品ID进行确定。具体而言，在S52中，控制部26判断具有在S50中识别出的特征的物品是否包含在存储器28内的物品表32内。如图8所示，在物品表32中包含有将物品ID(例如“物品P1”)和特征数据进行了关联的多个组合信息102、104、106等。特征数据包含有与物品ID对应的物品的形状、材料、颜色等的用于对该物品进行表征的数据。控制部26基于在S50中识别出的特征，对包含示出相同的特征的特征数据的组合信息进行确定。然后，控制部26对所确定的组合信息中包含的物品ID进行确定。当控制部26确定了物品ID时，进入S54。另一方面，控制部26在S52中无法确定物品ID的情况(即，具有在S50中识别出的特征的物品不包含在物品表32中的情况)下，产生错误而结束操作指南处理。
例如，在目标物品为图11所示的形状且为树脂制的白色的壳体400的情况下，在S52中，控制部26对包含示出与壳体400的特征相同的特征的特征数据的组合信息102进行确定。然后，控制部26对所确定的组合信息102中包含的物品ID“P1”进行确定。
在S54中，控制部26从操作指南数据34(参照图2)读出与在S52中确定的物品ID对应的操作指南。如上所述，操作指南数据34包含有多个操作指南。在操作指南数据34内包含有用于按每个物品ID对与该物品ID对应的物品的处理方法(例如，组装方法、拆卸方法、修理方法等)进行说明的操作指南。
接着，在S55中，控制部26使用在S54中读出的操作指南来生成工作次序列表。图9、图10分别示出工作次序列表。
图9的工作次序列表200为在S52中确定了物品ID“P1”(参照图8的组合信息102)的情况的例子。工作次序列表200包含图像显示装置10的ID“D1”、工作次序列表200的创建时间(“2015.12.18 10:00”)、工作次序列表200的最终更新时间(“2015.12.18 10:25”)。工作次序列表200还包含将工作次序栏和结果栏组合在一起的工作次序表202，所述工作次序栏示出用于对物品ID“P1”的物品进行处理的工作次序(“盖上盖”、“拧紧螺丝”等)，所述结果栏示出是否按照这些工作次序进行了操作的结果(“OK”、“NG”等)。在S55中创建了工作次序列表200的时刻，在各结果栏中包含意味着没有按照对应的工作次序执行操作的“NG”。
图10的工作次序列表300为在S52中确定了物品ID“P2”(参照图8的组合信息104)的情况的例子。工作次序列表300的基本的结构与图9的工作次序列表200相同。工作次序列表300包含有将工作次序栏和结果栏组合在一起的工作次序表302。所述工作次序栏示出用于对物品ID“P2”的物品进行处理的工作次序，所述结果栏示出是否完成了这些工作次序的结果。工作次序表302中包含的各工作次序的内容与图9的工作次序表202中包含的各工作次序的内容不同。
虽然在图7中未示出，但在S55中生成了工作次序列表之后，控制部26即使在作业结束前的任意时刻也能够根据用户的操作使表示工作次序列表的画面显示在显示部14。
接着，在S56中，控制部26判断存在于特定范围内的目标物品的配置方向是否与在S54中读出的操作指南所指定的特定的配置方向一致。在目标物品的配置方向与特定的配置方向一致的情况下，控制部26在S56中判断为“是”，并进入S58。另一方面，在目标物品的配置方向与特定的配置方向不一致的情况下，控制部26在S56中判断为“否”，并进入S57。在S57中，控制部26在显示部14显示用于催促用户应该将目标物品的配置方向变更为特定的配置方向的消息。当完成S57时，控制部26返回至S56的判断。
在S58中，控制部26按照在S55中创建的工作次序列表而使用于指示最初的工作次序的指示画面显示在显示部14。
例如，在S52中确定了物品ID“P1”(参照图8的组合信息102)的情况下，目标物品为图11所示的壳体400。在该情况下，如图9的工作次序列表200的工作次序表202所示，最初的工作次序为“盖上盖”。因此，如图12所示，在S58中，在特定范围内存在目标物品(即壳体400)的情况下，控制部26在显示部14显示将用于说明“盖上盖”工作次序的对象图像500加入到目标物品的物品图像(即真实的图像)中的指示画面。如图12所示，对象图像500包含虚拟地示出盖的图像、和用于指示将该虚拟的盖覆盖于壳体400的开口部的箭头图像。为了使用户容易辨认，盖的图像使用与壳体400不同的颜色来显示。像这样地，图12的指示画面为用于指示在作为目标物品的壳体400的开口部“盖上盖”的画面。
接着，在S60中，控制部26对按照在S58中显示了的指示画面中所指示的工作次序(以下，有时称为“特定的工作次序”)实际进行操作的情况进行监视。控制部26基于第一拍摄图像、第二拍摄图像、从工具40接收的动作信息中的至少一个，判断是否按照特定的工作次序进行了操作。控制部26在判断为按照特定的工作次序进行了操作时，在S60中判断为“是”，并进入S62。控制部26在判断为没有按照特定的工作次序进行操作的期间，在S60中不判断为“是”。在此，控制部26判断为“没有按照特定的工作次序进行操作”的情况包含例如：安装的部件错误的情况、螺丝拧紧的扭矩值小于规定值的情况、执行了错误的操作的情况等各种情况。
例如，在S58中显示了图12的指示画面的情况(即，指示了在壳体400的开口部“盖上盖”的情况)下，在S60中，控制部26对盖实际被盖在壳体400的开口部(参照图13的符号600)的情况进行监视。用户能够一边观看图12的指示画面，一边在壳体400的开口部盖上真实的盖。当控制部26基于第一拍摄图像和第二拍摄图像判断为如在指示画面中指示的那样盖实际被盖在壳体400的开口部时，在S60中判断为“是”，进入S62。
在S62中，控制部26对工作次序列表进行更新。即，控制部26将按照在S58的指示画面中所指示的工作次序进行了操作的情况记录于在S55中所创建的工作次序列表。
例如，在S58中显示了图12的指示画面的情况(即，指示了在壳体400的开口部“盖上盖”的情况)下，在S62中，控制部26将工作次序列表200(图9)的工作次序表202之中的与“盖上盖”工作次序对应的结果从“NG”变更为“OK”。进而，控制部26对最终更新时间进行更新。
接着，在S64中，控制部26判断全部的工作次序是否完成。具体而言，控制部26对在S55中所创建的工作次序列表示出的全部的工作次序是否完成(即，是否在结果栏中包含有“OK”)进行判断。在S55中所创建的工作次序列表示出的全部的工作次序已经完成的情况下，控制部26在S64中判断为“是”，进入S66。另一方面，在S55中所创建的工作次序列表示出的全部的工作次序未完成的情况下，控制部26在S64中判断为“否”，返回至S58。在该情况下，控制部26反复执行S58～S62的各处理，直到在S64中判断为“是”为止。
按照具体例子详细进行说明。例如，在S62中工作次序列表200(图9)的工作次序表202之中的与“盖上盖”工作次序对应的结果从“NG”变更为“OK”的情况下，在S64的时刻，工作次序列表200示出的全部的工作次序尚未完成。因此，控制部26在S64判断为“否”，进入S58。在第二次的S58中，控制部26基于工作次序列表200(参照图9)将用于对作为“盖上盖”工作次序的下一个工作次序的“拧紧螺丝”工作次序进行说明的指示画面(参照图13)显示在显示部14。如图13所示，在该指示画面上，将用于突出显示螺丝孔H1～H6的对象图像700、和用于指示要拧入到各螺丝孔H1～H6的螺丝的对象图像800组入地显示在目标物品(在该情况下，壳体400和盖600)的物品图像中。对象图像700与“H1”～“H6”的文字一起显示，以使得能够判别各螺丝孔H1～H6。对象图像800与“A”或“B”的文字一起显示，以使得能够判别螺丝的种类(螺丝A、螺丝B)。
在该情况下，在接下来的第二次的S60中，控制部26对螺丝实际被拧入到各螺丝孔H1～H6的情况进行监视。用户能够一边观看图13的指示画面，一边使用工具40向各螺丝孔H1～H6拧入真实的螺丝。此时，用户拧入适合各螺丝孔H1～H6的种类的螺丝(螺丝A或螺丝B)。在该例子中，螺丝A适合螺丝孔H1、H2、H5、H6，螺丝B适合螺丝孔H3、H4。此时，工具40检测用户将螺丝拧紧时的扭矩值，将包含检测到的扭矩值的作业信息经由BT I/F46发送到图像显示装置10。控制部26通过BT I/F22接收动作信息。控制部26基于第一拍摄图像、第二拍摄图像、以及动作信息，判断是否以规定的拧紧扭矩值将螺丝正确地拧入到各螺丝孔H1～H6。当控制部26基于第一拍摄图像、第二拍摄图像、以及动作信息，判断为以规定的拧紧扭矩值将螺丝正确地拧入到各螺丝孔H1～H6时，在S60中判断为“是”，进入S62。在该情况下，如图14所示，完成了在壳体400盖上盖600、用6根螺丝900进行了螺丝固定的目标物品。
在该情况下，在接下来的第二次的S62中，控制部26将工作次序列表200(图9)的工作次序表202之中的与“拧紧螺丝”工作次序对应的各结果从“NG”变更为“OK”。在图9的工作次序表202中，由于按每个螺丝孔设置有结果栏，所以控制部26将各结果栏的结果从“NG”变更为“OK”。此外，控制部26对最终更新时间进行更新。由此，如图9所示，完成了在工作次序表202的全部的结果栏中记录了“OK”的工作次序列表200。在该情况下，控制部26在接下来的第二次的S64中判断为“是”，进入S66。
在S66中，控制部26使完成的工作次序列表存储在存储器28的列表存储区域36。
接着，在S68中，控制部26生成包含存储于列表存储区域36中的工作次序列表的作业信息，并经由Wi-Fi I/F24向服务器50发送。作业信息除了工作次序列表以外还包含各种信息(例如发送时间等)。当完成S68时，控制部26结束图7的操作指南处理。
另外，虽然在图7中未示出，但存在以下情况：在S55中生成工作次序列表之后且在S64中判断为“是”之前(即，全部的工作次序完成之前)，用户在特定范围内进行规定的结束操作，或者使目标物品移动到特定范围之外等而使作业中断。在这种情况下，控制部26即使正在执行S55～S64的某个处理，也会中断处理而强制地进入S66。在该情况下，在S66中，控制部26使该时刻的工作次序列表存储在存储器28的列表存储区域36。例如，如图10的工作次序列表300那样，控制部26将结果栏中包含有“NG”的工作次序列表存储在列表存储区域36。然后，在S68中，控制部26生成包含存储于列表存储区域36中的工作次序列表的作业信息，并经由Wi-Fi I/F24向服务器50发送。然后，控制部26结束图7的操作指南处理。
如上所述，通过执行图7的操作指南处理，将工作次序列表存储于存储器28的列表存储区域36。图像显示装置10的用户能够在特定范围内进行用于对列表存储区域36内的工作次序列表进行阅览的操作。在该情况下，控制部26能够从列表存储区域36读出由用户指定的工作次序列表，将表示工作次序列表的画面显示在显示部14。用户通过观看显示在显示部14的工作次序列表，能够确认目标物品是否已被适当地处理。
(服务器50的控制部58的处理)
接着，对服务器50的控制部58执行的处理进行说明。如上所述，通过图像显示装置10的控制部26执行操作指南处理(参照图7)，从图像显示装置10向服务器50发送作业信息。服务器50的控制部58经由Wi-FiI/F56接收作业信息。控制部58将接收到的作业信息存储在存储器60。
此外，服务器50的用户通过对操作部54进行操作，从而能够向服务器50输入用于对存储器60内的作业信息进行阅览的阅览请求。当输入了阅览请求时，控制部58从存储器60读出由阅览请求而指定的作业信息，将由作业信息表示的画面显示在显示部52。在该情况下，由作业信息表示的画面包含与工作次序列表(参照图9、图10)相同的信息。
由此，服务器50的用户通过观看显示在显示部52的画面，从而能够确认是否由图像显示装置10的用户适当地处理目标物品。
此外，外部PC70的用户能够通过对操作部72进行操作而向外部PC70输入用于对服务器50内的作业信息进行阅览的操作。在该情况下，外部PC70的控制部74能够经由Wi-FiI/F73向服务器50发送用于对存储器60内的作业信息进行阅览的请求信号。在该情况下，控制部58经由Wi-FiI/F56接收请求信号。然后，控制部58从存储器60读出由请求信号而指定的作业信息，并经由Wi-Fi I/F56向外部PC70发送所读出的作业信息。
外部PC70的控制部74经由Wi-Fi I/F73接收作业信息。然后，控制部74能够使由接收到的作业信息表示的阅览画面显示在显示部71。在该情况下，由作业信息表示的阅览画面也包含与工作次序列表(参照图9、图10)相同的信息。由此，外部PC70的用户通过观看显示在显示部71的阅览画面，也能够确认是否由图像显示装置10的用户适当地处理目标物品。
(本实施例的效果)
以上，对本实施例的通信***2的结构、动作进行了说明。如上所述，在本实施例中，图像显示装置10的控制部26在显示部14显示有指示画面(例如参照图12)的期间，基于第一拍摄图像和第二拍摄图像，判断用户对特定范围内的目标物品实际进行的操作是否是按照由指示画面指示的工作次序来进行的(图7的S60)。控制部26能够将该结果记录在工作次序列表，并存储在存储器28(S66)。因此，图像显示装置10的用户等通过阅览存储在存储器28的工作次序列表，能够确认是否按照操作指南示出的工作次序处理了目标物品。
在本实施例中，图像显示装置10的控制部26在按照指示画面(参照12图)上所指示的特定的工作次序进行操作时(在S60中“是”)，将用于指示特定的工作次序的下一个工作次序的指示画面(参照图13)显示在显示部14。即，控制部26在判断为特定的工作次序未完成的情况下(在S60中为“否”)，不将用于对执行下一个工作次序进行指示的指示画面显示在显示部14。因此，图像显示装置10的用户能够按照操作指南示出的工作次序适当地处理目标物品的可能性变高。
此外，在本实施例中，图像显示装置10的控制部26经由BT I/F22从工具40接收包含用户拧紧螺丝时的扭矩值的动作信息。因此，除了第一拍摄图像和第二拍摄图像以外，控制部26还基于从工具40接收的动作信息，判断是否以规定的拧紧扭矩值将螺丝正确地拧入到各螺丝孔H1～H6(S60)。因此，控制部26能够恰当地判断是否以规定的拧紧扭矩值将螺丝正确地拧入到各螺丝孔H1～H6。
此外，在本实施例中，图像显示装置10的控制部26生成包含存储于列表存储区域36中的工作次序列表的作业信息，并经由Wi-Fi I/F24向服务器50发送(S68)。由此，在服务器50中存储作业信息。服务器50的用户、外部PC70的用户等通过观看按照在服务器50中存储的作业信息而显示的画面，能够确认是否适当地处理了目标物品。
(对应关系)
图9的工作次序表202中的“盖上盖”工作次序为“第一工作次序”的一个例子。图12的对象图像500为“第一对象图像”的一个例子。图12的指示画面为“第一指示画面”的一个例子。图9的工作次序表202中的“拧紧螺丝”工作次序为“第二工作次序”的一个例子。图13的对象图像700、800为“第二对象图像”的一个例子。图13的指示画面为“第二指示画面”的一个例子。BT I/F22为“接收部”的一个例子。Wi-Fi I/F24为“发送部”的一个例子。
(图像显示装置的第二实施例)
参照图15，以与第一实施例的不同点为中心对第二实施例的图像显示装置1010进行说明。在本实施例中，与第一实施例的不同点为：显示部1014为遮光性的显示器，在用户佩戴图像显示装置1010时遮住用户的视野。其它结构要素与第一实施例基本相同。
如上所述，在本实施例中，由于显示部1014为遮光性的显示器，所以当图像显示装置1010的电源接通时，控制部26使与用户的右眼相向的区域显示第一拍摄图像(即，第一摄像机16的拍摄图像)，使与用户的左眼相向的区域显示第二拍摄头像(即，第二摄像机18的拍摄头像)。并且，在例如特定范围内包含菜单对象图像80的配置位置的情况下，控制部26使显示部1014显示在第一拍摄图像和第二拍摄图像中合成了菜单对象图像80的画面。
以上，对实施例详细地进行了说明，但这些仅为例示，并不对专利请求的范围进行限定。在专利请求的范围内记载的技术中包含对以上例示的具体例子进行了各种变形、变更的技术方案。例如，也可以采用以下的变形例。
(变形例1)在上述的第二实施例中，控制部26使与用户的右眼相向的区域显示第一拍摄图像，使与用户的左眼相向的区域显示第二拍摄图像。并不限定于此，控制部26也可以在显示部1014仅显示第一拍摄图像和第二拍摄图像中的一方。此外，控制部26也可以使显示部1014显示对第一拍摄图像和第二拍摄图像进行合成而得到的图像。
(变形例2)在上述的各实施例中，在图3的S18中，控制部26对检测特定范围内的用户的操作的情况进行监视，在此所谓的“用户的操作”并不限于用户对菜单对象图像等的对象图像进行的手势、空间内的用户的移动、用户的视野方向的变化等，也可以包含用户通过输入单元(输入键等)输入的操作。在该情况下，图像显示装置10、1010也可以还具有输入单元。
(实施例3)在上述的各实施例中，控制部26在执行标定之后(图3的S10、S12中的“是”)，开始进行实时处理(S14)。并不限于此，控制部26也可以在执行标定的同时开始进行实时处理。在该情况下，“第一标定图像”和“第一拍摄图像”可以为相同的图像，“第二标定图像”和“第二拍摄图像”也可以为相同的图像。
(变形例4)在上述的各实施例中，图像显示装置10、1010均为具有大致眼镜状的支承框、并能够以佩戴眼镜的方式佩戴在用户的头部的装置。并不限于此，图像显示装置只要能够佩戴在用户的头部，则也可以具有帽子状、头盔状等任意的支承框。
(变形例5)图像显示装置也可以通过在为了视力矫正、眼睛的保护等用途而通常使用的护目镜(眼镜、太阳镜等)安装第一摄像机16、第二摄像机18以及控制盒19而形成。在该情况下，护目镜的镜片部分也可以作为显示部来使用。
(变形例6)在上述的各实施例中，控制部26基于第一拍摄图像和第二拍摄图像来识别目标物品的特征(图7的S50)，接着基于物品表32(参照图8)来确定具有所识别的特征的目标物品的物品ID(S52)。控制部26确定目标物品的物品ID的方法并不限定于此，可采用任意的方法。例如，也可以将记录有物品ID的信息代码预先附加于目标物品，通过控制部26对在第一拍摄图像和第二拍摄图像中所包含的信息代码进行解码，从而确定物品ID。
(变形例7)工具40并不限定于用户抓持使用的螺丝刀工具(所谓的改锥)，也可以是其它任意种类的工具(例如扳手、卡钳等)。在该情况下，工具40只要能够向图像显示装置10发送动作信息即可。
(变形例8)在上述的各实施例中，菜单对象图像80(图6)、对象图像500、700、800(图12、图13)的各种对象图像均显示为静态图像。并不限定于此，各种对象图像也可以显示为动态图像(即，至少一部分进行动画动作的图像)。
(变形例9)在上述的各实施例中，控制部26在判断为特定的工作次序未完成的情况下(在图7的S60中为“否”)，继续显示用于指示特定的工作次序的指示画面(即，包含对象图像的画面)。并不限定于此，控制部26即使在判断为特定的工作次序未完成的情况下，也可以在满足规定条件的情况(例如，从指示画面的显示开始起经过了规定时间的情况、特定的工作次序中的至少一部分操作已完成的情况)下使指示画面的显示结束。该变形例也是控制部26“使指示画面显示在显示部”的一个例子。
(变形例10)在上述的各实施例中，在图7的S60中，控制部26对实际进行(即，完成)特定的工作次序示出的操作的情况进行监视。并不限定于此，也可以在图7的S60中，除了判断是否完成了特定的工作次序示出的操作以外，控制部26还同时判断特定的工作次序示出的操作的作业阶段(例如，未作业、作业中、完成等)处于哪个阶段。
(变形例11)在上述的各实施例中，工作次序列表200、300(图9、图10)中的工作次序表202、302由工作次序栏和结果栏组合而成，所述工作次序栏示出用于对物品ID“P1”的物品进行处理的工作次序(“盖上盖”、“拧紧螺丝”等)，所述结果栏示出是否按照这些工作次序进行操作的结果(“OK”、“NG”等)。除了工作次序栏、结果栏以外，工作次序表202、302还可以组合有备注栏。在备注栏中可以记录例如在结果为“NG”的情况下的理由等各种信息。在该情况下，在图7的S60中，控制部26在判断为特定的工作次序示出的操作未完成的情况下，也可以同时对判断为特定的工作次序示出的操作未完成的理由(例如，要拧入的螺丝不存在于周围、拧紧螺丝时的扭矩小于规定值等)进行判断。在该情况下，控制部26可以在工作次序表202、302的备注栏中记录判断为特定的工作次序示出的操作未完成的理由。在该变形例中，在图7的S68中所生成的作业信息还可以包含在备注栏记录的信息。
(变形例12)在上述的各实施例中，控制部26在判断为特定的工作次序未完成的情况下(在图7的S60中为“否”)，不将用于对执行下一个工作次序进行指示的指示画面显示在显示部14。并不限定于此，控制部26即使在特定的工作次序完成之前，也可以根据用户的操作而将用于指示执行下一个工作次序的指示画面显示在显示部14。此外，控制部26即使在用于指示执行特定的工作次序的指示画面显示在显示部14的期间，也可以根据用户的操作而使已经完成的以前的工作次序的指示画面进行重新显示。
(变形例13)在通过操作指南示出的目标物品的处理方法所示的多个工作次序中，也可以包含能够跳过的工作次序(即，即使没有完成也不会影响到目标物品的处理的工作次序)。能够跳过的工作次序包含例如“在作业与作业之间清扫周围环境”，“在目标物品的表面粘贴装饰用的贴纸”等附带的工作次序。在该情况下，控制部26在显示部14显示了用于指示能够跳过的工作次序的指示画面的期间，即使在能够跳过的工作次序完成之前，也可以根据用户的操作而将用于指示执行下一个工作次序的指示画面显示在显示部14。
此外，在本说明书或附图中说明的技术要素通过单独或各种组合来发挥技术的有益性，并不限定于申请时权利要求记载的组合。此外，在本说明书或附图中例示的技术是同时达成多个目的的技术，达成其中的一个目的的技术本身就具有技术上的有益性。

Claims (5)

1.一种图像显示装置，其是佩戴在用户的头部使用的图像显示装置，具有：
显示部；
第一摄像机，其对与所述用户的视野范围对应的特定范围进行拍摄；
第二摄像机，其设置在与所述第一摄像机不同的位置，并且对所述特定范围进行拍摄；
传感器，其能够检测所述图像显示装置的姿态；
控制部；以及
存储器，其存储与目标物品的处理有关的操作指南，
所述控制部基于从所述第一摄像机获取的第一标定图像和从所述第二摄像机获取的第二标定图像来确定空间信息，所述空间信息用于确定所述图像显示装置的周围的空间的特征，
所述控制部基于所述空间信息、从所述第一摄像机获取的第一拍摄图像、从所述第二摄像机获取的第二拍摄图像、和所述传感器检测的所述图像显示装置的姿态，确定所述空间内的所述图像显示装置的位置和姿态，
所述控制部在所述特定范围包含有所述目标物品的情况下，根据所述存储器内的所述操作指南，使所述显示部显示第一指示画面，所述第一指示画面包含第一对象图像，所述第一对象图像表示用于处理所述目标物品的第一工作次序，所述第一指示画面将所述第一对象图像与所述目标物品合并显示，
所述控制部在所述显示部显示了所述第一指示画面的期间，基于所述第一拍摄图像和所述第二拍摄图像，判断所述用户对所述特定范围内的所述目标物品实际进行的操作是否是按照所述第一工作次序进行的，
所述控制部将判断的结果存储在所述存储器。
2.如权利要求1所示的图像显示装置，其中，
所述控制部在判断为所述操作是按照所述第一工作次序进行的情况下，根据所述存储器内的所述操作指南，代替所述第一指示画面而使所述显示部显示第二指示画面，所述第二指示画面包含第二对象图像，所述第二对象图像表示所述第一工作次序之后要执行的第二工作次序，所述第二指示画面将所述第二对象图像与所述目标物品合并显示。
3.如权利要求1或2所示的图像显示装置，其中，
所述图像显示装置还具有接收部，其从工具接收与所述工具的动作内容相关的动作信息，
所述操作包含使用所述工具的操作，
所述控制部在所述显示部显示了所述第一指示画面的期间，基于所述第一拍摄图像、所述第二拍摄图像、以及从所述接收部获取的所述动作信息，判断所述操作是否是按照所述第一工作次序进行的。
4.如权利要求1～3中的任一项所述的图像显示装置，其中，
所述图像显示装置还具有发送部，其向外部服务器发送包含所述存储器中存储的所述判断的结果的作业信息。
5.一种计算机程序，其用于能够与外部服务器进行通信的终端装置，所述外部服务器存储由权利要求4所述的所述图像显示装置发送的所述作业信息，
所述终端装置具有显示部和计算机，
所述计算机程序使所述计算机执行：
与所述外部服务器进行通信而从所述外部服务器接收所述作业信息的处理；以及
使所述显示部显示由接收到的所述作业信息表示的阅览画面的处理。
CN201680078584.1A 2016-01-12 2016-01-12 图像显示装置 Pending CN108463833A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/050674 WO2017122274A1 (ja) 2016-01-12 2016-01-12 画像表示装置

Publications (1)

Publication Number Publication Date
CN108463833A true CN108463833A (zh) 2018-08-28

Family

ID=59311122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680078584.1A Pending CN108463833A (zh) 2016-01-12 2016-01-12 图像显示装置

Country Status (5)

Country Link
US (1) US20190034733A1 (zh)
EP (1) EP3404609A4 (zh)
JP (1) JP6655633B2 (zh)
CN (1) CN108463833A (zh)
WO (1) WO2017122274A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7125101B2 (ja) * 2018-06-18 2022-08-24 京都機械工具株式会社 作業支援装置、作業支援方法、作業支援プログラム、締付工具
CN110264818B (zh) * 2019-06-18 2021-08-24 国家电网有限公司 一种基于增强现实的机组进水阀拆装训练方法
JP7350530B2 (ja) * 2019-06-25 2023-09-26 三菱電機株式会社 作業支援装置及び作業支援管理システム
US11137607B2 (en) * 2019-06-28 2021-10-05 Canon Kabushiki Kaisha Image capturing and display apparatus and wearable device
JP7491730B2 (ja) * 2020-04-30 2024-05-28 株式会社トプコン 作業管理システム，作業管理方法，そのための作業管理プログラム
US11875705B1 (en) * 2022-11-22 2024-01-16 Hyundai Mobis Co., Ltd. Apparatus and method for supporting equipment manufacturing process

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164446A (ja) * 2005-12-13 2007-06-28 Tohoku Ricoh Co Ltd 製造工程管理システム
JP2010140259A (ja) * 2008-12-11 2010-06-24 Fuji Xerox Co Ltd 情報処理装置、情報処理システム及びプログラム
US20120075343A1 (en) * 2010-09-25 2012-03-29 Teledyne Scientific & Imaging, Llc Augmented reality (ar) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
CN103309034A (zh) * 2012-03-07 2013-09-18 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN104062759A (zh) * 2013-03-22 2014-09-24 精工爱普生株式会社 信息显示***、信息显示方法、以及头戴式显示装置
US20150138595A1 (en) * 2013-11-18 2015-05-21 Konica Minolta, Inc. Ar display device, ar display control device, print condition setting system, print system, print setting display method, and non-transitory computer-readable recording medium
US20150146007A1 (en) * 2013-11-26 2015-05-28 Honeywell International Inc. Maintenance assistant system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102036A (ja) * 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
JP2010211623A (ja) * 2009-03-11 2010-09-24 Brother Ind Ltd 作業支援システム
JP5961848B2 (ja) * 2012-11-27 2016-08-02 株式会社日立製作所 計画管理システム及び計画管理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007164446A (ja) * 2005-12-13 2007-06-28 Tohoku Ricoh Co Ltd 製造工程管理システム
JP2010140259A (ja) * 2008-12-11 2010-06-24 Fuji Xerox Co Ltd 情報処理装置、情報処理システム及びプログラム
US20120075343A1 (en) * 2010-09-25 2012-03-29 Teledyne Scientific & Imaging, Llc Augmented reality (ar) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
CN103309034A (zh) * 2012-03-07 2013-09-18 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN104062759A (zh) * 2013-03-22 2014-09-24 精工爱普生株式会社 信息显示***、信息显示方法、以及头戴式显示装置
US20150138595A1 (en) * 2013-11-18 2015-05-21 Konica Minolta, Inc. Ar display device, ar display control device, print condition setting system, print system, print setting display method, and non-transitory computer-readable recording medium
US20150146007A1 (en) * 2013-11-26 2015-05-28 Honeywell International Inc. Maintenance assistant system

Also Published As

Publication number Publication date
JP6655633B2 (ja) 2020-02-26
EP3404609A4 (en) 2019-07-03
US20190034733A1 (en) 2019-01-31
JPWO2017122274A1 (ja) 2018-11-01
EP3404609A1 (en) 2018-11-21
WO2017122274A1 (ja) 2017-07-20

Similar Documents

Publication Publication Date Title
CN108463833A (zh) 图像显示装置
US20230186199A1 (en) Project management system with client interaction
CN108292489B (zh) 信息处理装置和图像生成方法
CN110402415A (zh) 记录增强现实数据的技术
US10115235B2 (en) Method for controlling head mounted display, and system for implemeting the method
US10438411B2 (en) Display control method for displaying a virtual reality menu and system for executing the display control method
JP7064040B2 (ja) 表示システム、及び表示システムの表示制御方法
CN103105926A (zh) 多传感器姿势识别
KR102499354B1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
CN108900829B (zh) 动态显示***
CN108037826B (zh) 信息处理方法及用于使计算机实施该信息处理方法的程序
US11720996B2 (en) Camera-based transparent display
WO2017122270A1 (ja) 画像表示装置
CN110688002B (zh) 虚拟内容的调整方法、装置、终端设备及存储介质
JP6306083B2 (ja) 仮想空間を提供する方法、プログラム、および記録媒体
CN111427452A (zh) 控制器的追踪方法及vr***
CN113066189B (zh) 一种增强现实设备及虚实物体遮挡显示方法
JP2021509214A (ja) 移動可能オブジェクトを光学的慣性追跡するための方法及びシステム
CN112308981A (zh) 图像处理方法、装置、电子设备及存储介质
JP2017224244A (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
US11521297B2 (en) Method and device for presenting AR information based on video communication technology
US20220036620A1 (en) Animation production system
JP2016192096A (ja) 物体認識選択装置、物体認識選択方法及びプログラム
JP2017201524A (ja) 仮想空間を提供する方法、プログラム、および記録媒体
US11061469B2 (en) Head mounted display system and rotation center correcting method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180828