JP6710555B2 - Image display system, information processing device, image display method, and computer program - Google Patents

Image display system, information processing device, image display method, and computer program Download PDF

Info

Publication number
JP6710555B2
JP6710555B2 JP2016054502A JP2016054502A JP6710555B2 JP 6710555 B2 JP6710555 B2 JP 6710555B2 JP 2016054502 A JP2016054502 A JP 2016054502A JP 2016054502 A JP2016054502 A JP 2016054502A JP 6710555 B2 JP6710555 B2 JP 6710555B2
Authority
JP
Japan
Prior art keywords
image
unit
identification information
display
head mount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016054502A
Other languages
Japanese (ja)
Other versions
JP2017167978A (en
Inventor
郁也 岡崎
郁也 岡崎
史織 佐々木
史織 佐々木
小堀　純
純 小堀
晃司 浅野
晃司 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2016054502A priority Critical patent/JP6710555B2/en
Publication of JP2017167978A publication Critical patent/JP2017167978A/en
Application granted granted Critical
Publication of JP6710555B2 publication Critical patent/JP6710555B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラムに関する。 The present invention relates to an image display system, an information processing device, an image display method, and a computer program.

従来、設備の保守や点検の作業では、作業者は、作業の手順が記載された作業手順書を適宜に閲覧しながら作業を行っていた。また、特許文献１には、コンピュータシステムの障害発生時に、作業者が頭部に装着しているヘッドマウントディスプレイ（Head Mounted Display）に、障害修復作業の方法を案内するコンピュータグラフィックス画像データを現実空間の映像と合成して表示する情報処理システムの技術が開示されている。また、特許文献２には、ヘッドマウントディスプレイの技術が開示されている。また、特許文献３，４には、被験者の視線を検出する視線検出装置の技術が開示されている。 Conventionally, in the maintenance and inspection work of equipment, a worker performs the work while appropriately browsing a work procedure manual in which work procedures are described. Further, in Patent Document 1, when a failure occurs in a computer system, computer graphics image data for guiding a method for repairing a failure is actually displayed on a head mounted display worn by an operator on the head. A technique of an information processing system for displaying a composite image with a space image is disclosed. Further, Patent Document 2 discloses a technique of a head mounted display. Further, Patent Documents 3 and 4 disclose the technology of a visual line detection device that detects the visual line of a subject.

特開２０１１−２４８８６０号公報JP, 2011-248860, A 特開２０１３−０７７０１３号公報JP, 2013-077013, A 特開２０１４−１７１５８６号公報JP, 2014-171586, A 特開２０１４−１９５６４７号公報JP, 2014-195647, A

作業者が作業中に作業手順書を閲覧する操作は、手間がかかるので、作業の効率の低下の一要因になり得る。また、作業場所によっては作業手順書を閲覧できるだけの空間がない場合もあった。この対処方法として、作業者が頭部に装着しているヘッドマウントディスプレイに作業手順書の内容を表示することが考えられる。しかし、上述した特許文献１の技術では、障害修復作業を行う対象の装置毎に障害修復作業の方法が異なると適用できない可能性があった。 Since it takes a lot of time and labor for the worker to view the work procedure manual during the work, it may be one of the factors for lowering the work efficiency. In addition, there are cases where there is no space for viewing the work procedure manual depending on the work place. As a coping method, it is conceivable to display the contents of the work procedure manual on the head mounted display worn by the worker on the head. However, there is a possibility that the technique of Patent Document 1 described above cannot be applied if the method of the fault repair work is different for each device to be subjected to the fault repair work.

本発明は、このような事情を考慮してなされたものであり、作業者が頭部に装着しているヘッドマウント装置によって該作業者に対して、作業を行う対象の各装置に対応する画像を提示することができる、画像表示システム、情報処理装置、画像表示方法及びコンピュータプログラムを提供することを課題とする。 The present invention has been made in consideration of such a situation, and an image corresponding to each device to be worked on by the head mount device worn by the worker on the worker An object of the present invention is to provide an image display system, an information processing device, an image display method, and a computer program capable of presenting.

（１）本発明の一態様は、情報処理装置と、表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、前記通信部は、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から画像を受信し、前記表示部は、前記通信部が前記情報処理装置から受信した画像を表示し、前記制御部は、前記表示部と前記撮像部とを制御し、前記情報処理装置は、前記ヘッドマウント装置の通信部と通信を行う通信部と、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記ヘッドマウント装置の通信部へ送信する画像提供部と、を備える画像表示システムであって、前記記憶装置は、前記ヘッドマウント装置の識別情報又は予定ユーザ識別情報と、予定時刻情報と、装置識別情報と、当該装置識別情報で識別される対象装置に関連付けられた画像の画像識別情報とが関連付けられた画像選択情報を記憶し、前記画像提供部は、前記ヘッドマウント装置の識別情報又は装着ユーザ識別情報と、時刻情報と、前記画像選択情報とに基づいて、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、画像表示システムであり、前記画像提供部は、前記判定の結果、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択しない場合には、作業者に対して作業内容を再確認するように警告する内容の警告画像を、前記情報処理装置の通信部によって前記ヘッドマウント装置の通信部へ送信する、画像表示システムである。 (1) One aspect of the present invention includes an information processing device, a head mount device including a display unit, an imaging unit, a communication unit, and a control unit, and a target device identified by the device identification information in association with the device identification information. A storage device that stores an image associated with the image capturing device, the communication unit transmits the image captured by the image capturing unit to the information processing device, receives the image from the information processing device, and the display unit includes The communication unit displays the image received from the information processing device, the control unit controls the display unit and the imaging unit, and the information processing device communicates with the communication unit of the head mount device. A communication unit to perform, a device identification information acquisition unit that acquires device identification information of a target device based on an image captured by the imaging unit, and an image associated with the device identification information acquired by the device identification information acquisition unit. An image display system comprising: an image providing unit that acquires the image from the storage device and transmits the acquired image to a communication unit of the head mount device by a communication unit of the information processing device, wherein the storage device is the head. The image selection information in which the mounting device identification information or the planned user identification information, the scheduled time information, the device identification information, and the image identification information of the image associated with the target device identified by the device identification information are associated with each other. The image providing unit associates with the device identification information acquired by the device identification information acquisition unit based on the identification information of the head mounted device or the wearing user identification information, the time information, and the image selection information. Is selected, the image is transmitted to the head mount device when it is determined that the image is selected, and the image is transmitted when it is determined that the image is not selected. The image display system does not transmit to the head mounted device , and when the image providing unit does not select an image associated with the device identification information acquired by the device identification information acquisition unit as a result of the determination, It is an image display system for transmitting a warning image of a content for warning a person to reconfirm work contents to the communication unit of the head mount device by the communication unit of the information processing device .

（２）本発明の一態様は、情報処理装置と、表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から受信した画像を前記ヘッドマウント装置へ出力する通信装置と、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、前記通信部は、前記撮像部が撮像した画像を前記通信装置へ送信し、前記通信装置から画像を受信し、前記表示部は、前記通信部が前記通信装置から受信した画像を表示し、前記制御部は、前記表示部と前記撮像部とを制御し、前記情報処理装置は、前記通信装置と通信を行う通信部と、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記通信装置へ送信する画像提供部と、を備える画像表示システムであって、前記ヘッドマウント装置の識別情報又は予定ユーザ識別情報と、予定時刻情報と、装置識別情報と、当該装置識別情報で識別される対象装置に関連付けられた画像の画像識別情報とが関連付けられた画像選択情報を備え、前記画像提供部は、前記ヘッドマウント装置の識別情報又は装着ユーザ識別情報と、時刻情報と、前記画像選択情報とに基づいて、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記通信装置へ送信し、該画像を選択しないと判定した場合には該画像を前記通信装置へ送信しない、画像表示システムであり、前記画像提供部は、前記判定の結果、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択しない場合には、作業者に対して作業内容を再確認するように警告する内容の警告画像を、前記情報処理装置の通信部によって前記通信装置へ送信する、画像表示システムである。 (2) According to one aspect of the present invention, an information processing device, a head mount device including a display unit, an imaging unit, a communication unit, and a control unit, and an image captured by the imaging unit is transmitted to the information processing device, A communication device which outputs the image received from the information processing device to the head mount device; and a storage device which stores the image associated with the device identification information and associated with the target device identified by the device identification information. The communication unit transmits the image captured by the image capturing unit to the communication device, receives the image from the communication device, and the display unit displays the image received by the communication unit from the communication device, The control unit controls the display unit and the image capturing unit, and the information processing device communicates with the communication device, and device identification information of a target device based on an image captured by the image capturing unit. And an image associated with the device identification information acquired by the device identification information acquisition unit is acquired from the storage device, and the acquired image is communicated by the communication unit of the information processing device. An image display system including an image providing unit for transmitting to an apparatus, which is identified by the identification information of the head mounted apparatus or the scheduled user identification information, the scheduled time information, the apparatus identification information, and the apparatus identification information. Image selection information associated with image identification information of an image associated with the target device is provided, and the image providing unit includes identification information of the head mount device or wearing user identification information, time information, and the image selection information. Based on the above, it is determined whether or not the image associated with the device identification information acquired by the device identification information acquisition unit is selected, and if it is determined that the image is selected, the image is transferred to the communication device. An image display system that does not transmit the image to the communication device when it determines that the image is transmitted and does not select the image, and the image providing unit acquires the device identification information acquisition unit as a result of the determination. When the image associated with the device identification information is not selected, a warning image for warning the operator to reconfirm the work content is transmitted to the communication device by the communication unit of the information processing device. It is an image display system.

（３）本発明の一態様は、上記（１）又は（２）のいずれかの画像表示システムにおいて、前記画像選択情報は、作業計画に基づいた情報であり、前記対象装置に関連付けられた画像は、前記作業計画に関連付いた画像である、画像表示システムである。 (3) One aspect of the present invention is the image display system according to any one of (1) and (2) above, wherein the image selection information is information based on a work plan and is an image associated with the target device. Is an image display system that is an image associated with the work plan .

（４）本発明の一態様は、情報処理装置と、表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、前記通信部は、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から画像を受信し、前記表示部は、前記通信部が前記情報処理装置から受信した画像を表示し、前記制御部は、前記表示部と前記撮像部とを制御し、前記情報処理装置は、前記ヘッドマウント装置の通信部と通信を行う通信部と、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記ヘッドマウント装置の通信部へ送信する画像提供部と、を備える画像表示システムであって、前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含め、前記承認入力部は、前記ヘッドマウント装置を装着する作業者の識別情報に応じて、画像の表示終了の承認の入力を受け付ける承認入力画面を前記表示装置に表示させるか否かを判断し、前記画像提供部は、前記承認入力画面が前記表示装置に表示される場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含め、前記承認入力画面が前記表示装置に表示されない場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含めない、画像表示システムである。
（５）本発明の一態様は、情報処理装置と、表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、前記通信部は、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から画像を受信し、前記表示部は、前記通信部が前記情報処理装置から受信した画像を表示し、前記制御部は、前記表示部と前記撮像部とを制御し、前記情報処理装置は、前記ヘッドマウント装置の通信部と通信を行う通信部と、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記ヘッドマウント装置の通信部へ送信する画像提供部と、を備える画像表示システムであって、前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含め、前記承認入力部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置についての難易度情報と、前記ヘッドマウント装置を装着する作業者の識別情報に関連付けられている作業者レベル情報とに基づいて、承認者のレベルと識別情報とが関連付けられている承認者リストから前記画像の表示終了の承認の入力を行う承認者の識別情報を選択し、選択した承認者の識別情報によって前記画像の表示終了の承認の入力を受け付ける、画像表示システムである。
（６）本発明の一態様は、情報処理装置と、表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から受信した画像を前記ヘッドマウント装置へ出力する通信装置と、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、前記通信部は、前記撮像部が撮像した画像を前記通信装置へ送信し、前記通信装置から画像を受信し、前記表示部は、前記通信部が前記通信装置から受信した画像を表示し、前記制御部は、前記表示部と前記撮像部とを制御し、前記情報処理装置は、前記通信装置と通信を行う通信部と、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記通信装置へ送信する画像提供部と、を備える画像表示システムであって、前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含め、前記承認入力部は、前記ヘッドマウント装置を装着する作業者の識別情報に応じて、画像の表示終了の承認の入力を受け付ける承認入力画面を前記表示装置に表示させるか否かを判断し、前記画像提供部は、前記承認入力画面が前記表示装置に表示される場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含め、
前記承認入力画面が前記表示装置に表示されない場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含めない、画像表示システムである。
（７）本発明の一態様は、情報処理装置と、表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から受信した画像を前記ヘッドマウント装置へ出力する通信装置と、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、前記通信部は、前記撮像部が撮像した画像を前記通信装置へ送信し、前記通信装置から画像を受信し、前記表示部は、前記通信部が前記通信装置から受信した画像を表示し、前記制御部は、前記表示部と前記撮像部とを制御し、前記情報処理装置は、前記通信装置と通信を行う通信部と、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記通信装置へ送信する画像提供部と、を備える画像表示システムであって、前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含め、前記承認入力部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置についての難易度情報と、前記ヘッドマウント装置を装着する作業者の識別情報に関連付けられている作業者レベル情報とに基づいて、承認者のレベルと識別情報とが関連付けられている承認者リストから前記画像の表示終了の承認の入力を行う承認者の識別情報を選択し、選択した承認者の識別情報によって前記画像の表示終了の承認の入力を受け付ける、画像表示システムである。 ( 4 ) One aspect of the present invention includes an information processing device, a head mount device including a display unit, an imaging unit, a communication unit, and a control unit, and a target device identified by the device identification information in association with the device identification information. A storage device that stores an image associated with the image capturing device, the communication unit transmits the image captured by the image capturing unit to the information processing device, receives the image from the information processing device, and the display unit includes The communication unit displays the image received from the information processing device, the control unit controls the display unit and the imaging unit, and the information processing device communicates with the communication unit of the head mount device. A communication unit to perform, a device identification information acquisition unit that acquires device identification information of a target device based on an image captured by the imaging unit, and an image associated with the device identification information acquired by the device identification information acquisition unit. An image display system comprising: an image providing unit that acquires the image from the storage device and transmits the acquired image to a communication unit of the head mount device by a communication unit of the information processing device, the communication unit of the information processing device. Further includes a display device for displaying an image captured by the image capturing unit, the information processing device further including an approval input unit that receives an input for approval of image display termination, and the image providing unit includes the display unit. The image displayed by the approval input unit is displayed on the condition necessary to update the image to be displayed on the next image applied to the target device identified by the device identification information acquired by the device identification information acquisition unit. The approval input unit includes an approval input screen for accepting an approval input for ending display of an image according to identification information of an operator who wears the head mount device, including accepting an approval input for ending the display device. In the case where the approval input screen is displayed on the display device, the image providing unit determines whether the approval of the display end of the image by the approval input screen is satisfied in the required condition. In the case where the approval input screen is not displayed on the display device including the input, the required condition does not include the input of the approval to end the display of the image by the approval input screen, the image display. System.
(5) One aspect of the present invention includes an information processing device, a head mount device including a display unit, an imaging unit, a communication unit, and a control unit, and a target device identified by the device identification information in association with the device identification information. A storage device that stores an image associated with the image capturing device, the communication unit transmits the image captured by the image capturing unit to the information processing device, receives the image from the information processing device, and the display unit includes The communication unit displays the image received from the information processing device, the control unit controls the display unit and the imaging unit, and the information processing device communicates with the communication unit of the head mount device. A communication unit to perform, a device identification information acquisition unit that acquires device identification information of a target device based on an image captured by the imaging unit, and an image associated with the device identification information acquired by the device identification information acquisition unit. An image display system comprising: an image providing unit that acquires the image from the storage device and transmits the acquired image to a communication unit of the head mount device by a communication unit of the information processing device, the communication unit of the information processing device. Further includes a display device for displaying an image captured by the image capturing unit, the information processing device further including an approval input unit that receives an input for approval of image display termination, and the image providing unit includes the display unit. The image displayed by the approval input unit is displayed on the condition necessary to update the image to be displayed on the next image applied to the target device identified by the device identification information acquired by the device identification information acquisition unit. The approval input unit, including accepting an end approval input, mounts the head mount device on difficulty information about the target device identified by the device identification information acquired by the device identification information acquisition unit. Based on the worker level information associated with the identification information of the worker, the approval level of the approver is input from the approver list in which the level of the approver and the identification information are associated with each other. It is an image display system that selects identification information, and receives an input of approval of display end of the image according to the identification information of the selected approver.
(6) According to one aspect of the present invention, an information processing device, a head mount device including a display unit, an imaging unit, a communication unit, and a control unit, and an image captured by the imaging unit is transmitted to the information processing device, A communication device which outputs the image received from the information processing device to the head mount device; and a storage device which stores the image associated with the device identification information and associated with the target device identified by the device identification information. The communication unit transmits the image captured by the image capturing unit to the communication device, receives the image from the communication device, and the display unit displays the image received by the communication unit from the communication device, The control unit controls the display unit and the image capturing unit, and the information processing device communicates with the communication device, and device identification information of a target device based on an image captured by the image capturing unit. And an image associated with the device identification information acquired by the device identification information acquisition unit is acquired from the storage device, and the acquired image is communicated by the communication unit of the information processing device. An image display system including: an image providing unit that transmits the image to an apparatus, further comprising a display device that displays an image captured by the image capturing unit received by the communication unit of the information processing apparatus; Further includes an approval input unit that receives an input of approval to end the display of the target device identified by the device identification information acquired by the device identification information acquisition unit, the image to be displayed on the display unit. The necessary condition for updating to the next image applied to includes including the acceptance of the input of the approval of the display end of the image by the approval input unit, the approval input unit is a work of mounting the head mount device. Depending on the identification information of the person, it is determined whether or not to display an approval input screen that accepts the approval of the end of image display on the display device, and the image providing unit displays the approval input screen on the display device. If displayed, the necessary conditions include that the approval of the display end of the image is input by the approval input screen,
In the image display system, when the approval input screen is not displayed on the display device, the required condition does not include the input of the approval to finish displaying the image on the approval input screen.
(7) According to one aspect of the present invention, an information processing device, a head mount device including a display unit, an imaging unit, a communication unit, and a control unit, and an image captured by the imaging unit is transmitted to the information processing device, A communication device which outputs the image received from the information processing device to the head mount device; and a storage device which stores the image associated with the device identification information and associated with the target device identified by the device identification information. The communication unit transmits the image captured by the image capturing unit to the communication device, receives the image from the communication device, and the display unit displays the image received by the communication unit from the communication device, The control unit controls the display unit and the image capturing unit, and the information processing device communicates with the communication device, and device identification information of a target device based on an image captured by the image capturing unit. And an image associated with the device identification information acquired by the device identification information acquisition unit is acquired from the storage device, and the acquired image is communicated by the communication unit of the information processing device. An image display system including: an image providing unit that transmits the image to an apparatus, further comprising a display device that displays an image captured by the image capturing unit received by the communication unit of the information processing apparatus; Further includes an approval input unit that receives an input of approval to end the display of the target device identified by the device identification information acquired by the device identification information acquisition unit, the image to be displayed on the display unit. The necessary condition for updating to the next image applied to includes including the acceptance of the input of the approval of the display end of the image by the approval input unit, the approval input unit is acquired by the device identification information acquisition unit. Based on the difficulty level information about the target device identified by the device identification information and the worker level information associated with the identification information of the worker who wears the head mount device, the level of the approver is identified. From the list of approvers associated with the information, select the identification information of the approver who inputs the approval to terminate the display of the image, and accept the approval input to terminate the display of the image according to the identification information of the selected approver , An image display system.

（８）本発明の一態様は、上記（１）から（７）のいずれかの画像表示システムにおいて、前記ヘッドマウント装置は、前記ヘッドマウント装置を装着する人の音声を収音する収音部をさらに備え、前記制御部は、前記収音部が収音した音声に基づいて前記ヘッドマウント装置に表示されている画像の表示終了を判断した場合に、前記情報処理装置へ画像の表示終了を通知し、前記画像提供部は、前記ヘッドマウント装置から画像の表示終了を通知されると、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像を前記記憶装置から取得し、取得した画像を前記ヘッドマウント装置へ提供する、画像表示システムである。(8) In one aspect of the present invention, in the image display system according to any one of (1) to (7), the head mount device collects a voice of a person wearing the head mount device. Further, when the control unit determines to end the display of the image displayed on the head mount device based on the sound collected by the sound collection unit, the control unit terminates the display of the image on the information processing device. When the image providing unit is notified of the display end of the image from the head mount device, the next image applied to the target device identified by the device identification information acquired by the device identification information acquisition unit. Is acquired from the storage device, and the acquired image is provided to the head mount device.
（９）本発明の一態様は、上記（１）から（７）のいずれかの画像表示システムにおいて、前記ヘッドマウント装置を装着する作業者の視線を検出する視線検出部をさらに備え、前記記憶装置は、作業者の視線によって特定される情報を画像に関連付けて記憶し、前記制御部は、前記視線検出部が検出した視線を示す視線情報と前記表示部に表示されている画像を識別する画像識別情報とを前記情報処理装置へ提供し、前記情報処理装置は、前記視線情報と、前記画像識別情報で識別される画像に関連付けて前記記憶装置に記憶されている情報とに基づいて、前記画像識別情報で識別される画像の表示終了を判断する判断部をさらに備え、前記画像提供部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像を前記記憶装置から取得し、取得した画像を前記ヘッドマウント装置へ提供する、画像表示システムである。(9) One aspect of the present invention is the image display system according to any one of (1) to (7), further including a line-of-sight detection unit that detects a line of sight of an operator who wears the head mount device, The device stores the information specified by the line of sight of the worker in association with the image, and the control unit identifies the line-of-sight information indicating the line of sight detected by the line-of-sight detection unit and the image displayed on the display unit. Providing image identification information to the information processing device, the information processing device, based on the line-of-sight information, and information stored in the storage device in association with the image identified by the image identification information, The image providing unit is applied to the target device identified by the device identification information acquired by the device identification information acquisition unit, further comprising a determination unit that determines whether display of the image identified by the image identification information is completed. An image display system that acquires the next image from the storage device and provides the acquired image to the head mount device.

本発明の一態様は、上記いずれかの画像表示システムにおいて、前記記憶装置が記憶する画像は、対象装置に適用される作業手順を示す作業手順画像である画像表示システムである。 One aspect of the present invention is the image display system according to any one of the above , wherein the image stored in the storage device is a work procedure image indicating a work procedure applied to the target device.

（１０）本発明の一態様は、ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、前記ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信部と、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を取得し、取得した画像を前記通信部によって前記ヘッドマウント装置へ提供する画像提供部と、を備える情報処理装置であって、前記記憶装置は、前記ヘッドマウント装置の識別情報又は予定ユーザ識別情報と、予定時刻情報と、装置識別情報と、当該装置識別情報で識別される対象装置に関連付けられた画像の画像識別情報とが関連付けられた画像選択情報を記憶し、前記画像提供部は、前記ヘッドマウント装置の識別情報又は装着ユーザ識別情報と、時刻情報と、前記画像選択情報とに基づいて、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、情報処理装置であり、前記画像提供部は、前記判定の結果、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択しない場合には、作業者に対して作業内容を再確認するように警告する内容の警告画像を、前記通信部によって前記ヘッドマウント装置へ送信する、情報処理装置である。 (10) According to one aspect of the present invention, a communication unit that receives an image captured by an imaging unit included in the head mount device and transmits an image displayed by a display unit included in the head mount device, and the imaging unit captures the image. From the device identification information acquisition unit that acquires the device identification information of the target device based on the image, and the storage device that stores the image applied to the target device identified by the device identification information in association with the device identification information, An image processing apparatus comprising: an image associated with the device identification information acquired by the device identification information acquisition unit; and an image providing unit that provides the acquired image to the head mount device by the communication unit, The storage device includes identification information of the head mounted device or planned user identification information, scheduled time information, device identification information, and image identification information of an image associated with the target device identified by the device identification information. The associated image selection information is stored, and the image providing unit determines that the device identification information acquisition unit is based on the identification information of the head mount device or the wearing user identification information, the time information, and the image selection information. It is determined whether or not an image associated with the acquired device identification information is selected, and when it is determined that the image is selected, the image is transmitted to the head mount device and it is determined that the image is not selected. In this case, the image providing unit does not transmit the image to the head mount device , and the image providing unit, as a result of the determination, displays an image associated with the device identification information acquired by the device identification information acquiring unit. When not selected, the information processing apparatus sends a warning image of a content for warning the operator to reconfirm the work content to the head mount device by the communication unit .

（１１）本発明の一態様は、情報処理装置が、ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、前記ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信ステップと、前記情報処理装置が、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得ステップと、前記情報処理装置が、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、前記装置識別情報取得ステップにより取得した装置識別情報に関連付けられている画像を取得し、取得した画像を前記通信ステップによって前記ヘッドマウント装置へ提供する画像提供ステップと、を含む画像表示方法であって、前記記憶装置は、前記ヘッドマウント装置の識別情報又は予定ユーザ識別情報と、予定時刻情報と、装置識別情報と、当該装置識別情報で識別される対象装置に関連付けられた画像の画像識別情報とが関連付けられた画像選択情報を記憶し、前記情報処理装置は、前記ヘッドマウント装置の識別情報又は装着ユーザ識別情報と、時刻情報と、前記画像選択情報とに基づいて、前記装置識別情報取得ステップにより取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、画像表示方法であり、前記情報処理装置は、前記判定の結果、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択しない場合には、作業者に対して作業内容を再確認するように警告する内容の警告画像を、前記通信ステップによって前記ヘッドマウント装置へ送信する、画像表示方法である。 (11) One aspect of the present invention includes a communication step in which the information processing device receives an image captured by an imaging unit included in the head mount device and transmits an image displayed by a display unit included in the head mount device, An apparatus identification information acquisition step in which the information processing apparatus acquires apparatus identification information of a target apparatus based on an image captured by the imaging unit; and the information processing apparatus identifies the apparatus identification information in association with the apparatus identification information. An image associated with the device identification information acquired in the device identification information acquisition step is acquired from a storage device that stores an image applied to the target device, and the acquired image is acquired in the head mount device by the communication step. And an image providing step of providing the image to the storage device, wherein the storage device includes identification information of the head mount device or planned user identification information, scheduled time information, device identification information, and the device identification information. Stores image selection information associated with the image identification information of the image associated with the target device identified by, the information processing device, identification information of the head mounted device or wearing user identification information, and time information. Based on the image selection information, it is determined whether or not an image associated with the device identification information acquired in the device identification information acquisition step is selected, and when it is determined that the image is selected, the image is selected. It was sent to the head-mounted device, if it is determined not to select the image does not transmit the image to the head-mounted device, an image display method, the information processing apparatus, a result of the determination, the device When the image associated with the device identification information acquired by the identification information acquisition unit is not selected, a warning image for warning the operator to reconfirm the work content is displayed by the communication step. This is an image display method for transmitting to the mount device .

（１２）本発明の一態様は、コンピュータに、ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、前記ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信機能と、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得機能と、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、前記装置識別情報取得機能が取得した装置識別情報に関連付けられている画像を取得し、取得した画像を前記通信機能によって前記ヘッドマウント装置へ提供する画像提供機能と、を実現させるためのコンピュータプログラムであって、前記記憶装置は、前記ヘッドマウント装置の識別情報又は予定ユーザ識別情報と、予定時刻情報と、装置識別情報と、当該装置識別情報で識別される対象装置に関連付けられた画像の画像識別情報とが関連付けられた画像選択情報を記憶し、前記画像提供機能は、前記ヘッドマウント装置の識別情報又は装着ユーザ識別情報と、時刻情報と、前記画像選択情報とに基づいて、前記装置識別情報取得機能が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、コンピュータプログラムであり、前記画像提供機能は、前記判定の結果、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択しない場合には、作業者に対して作業内容を再確認するように警告する内容の警告画像を、前記通信機能によって前記ヘッドマウント装置へ送信する、コンピュータプログラムである。
(12) According to one aspect of the present invention, a communication function of receiving an image captured by an imaging unit included in a head mount device and transmitting an image displayed by a display unit included in the head mount device to a computer; A device identification information acquisition function of acquiring device identification information of a target device based on an image captured by a unit, and a storage device storing an image applied to the target device identified by the device identification information in association with the device identification information. A computer for achieving an image associated with the device identification information acquired by the device identification information acquisition function and providing the acquired image to the head mount device by the communication function. In the program, the storage device stores identification information of the head mount device or planned user identification information, scheduled time information, device identification information, and an image associated with the target device identified by the device identification information. Image selection information stored in association with image identification information is stored, and the image providing function is based on the head mounting device identification information or the wearing user identification information, time information, and the image selection information. It is determined whether or not the image associated with the device identification information acquired by the identification information acquisition function is selected, and if it is determined that the image is selected, the image is transmitted to the head mount device, and the image is displayed. A computer program that does not transmit the image to the head mount device when it is determined not to be selected , and the image providing function is associated with the device identification information acquired by the device identification information acquisition unit as a result of the determination. When the selected image is not selected, the computer program is a program for transmitting a warning image of a content for warning the operator to reconfirm the work content to the head mount device by the communication function .

本発明によれば、作業者が頭部に装着しているヘッドマウント装置によって該作業者に対して、作業を行う対象の各装置に対応する画像を提示することができる。 According to the present invention, an image corresponding to each device to be worked can be presented to the worker by the head mount device worn by the worker on the head.

一実施形態に係る画像表示システム１の構成例を示す図である。It is a figure which shows the structural example of the image display system 1 which concerns on one Embodiment. 一実施形態に係るヘッドマウント装置２の構成例を示す図である。It is a figure which shows the structural example of the head mount device 2 which concerns on one Embodiment. 一実施形態に係る情報処理装置４のハードウェア構成例を示す図である。It is a figure showing an example of hardware constitutions of information processor 4 concerning one embodiment. 一実施形態に係る情報処理装置４の機能構成例を示す図である。It is a figure showing an example of functional composition of information processor 4 concerning one embodiment. 一実施形態に係る記憶装置６に格納される画像情報の構成例を示す図である。It is a figure which shows the structural example of the image information stored in the memory|storage device 6 which concerns on one Embodiment. 一実施形態に係る画像表示方法の一例を示すフローチャートである。6 is a flowchart showing an example of an image display method according to an embodiment. 一実施形態に係る画像表示方法の一例を示すフローチャートである。6 is a flowchart showing an example of an image display method according to an embodiment. 一実施形態に係る画像表示方法の一例を示すフローチャートである。6 is a flowchart showing an example of an image display method according to an embodiment. 一実施形態に係る画像選択情報の構成例を示す図である。It is a figure which shows the structural example of the image selection information which concerns on one Embodiment. 一実施形態に係る画像選択情報の構成例を示す図である。It is a figure which shows the structural example of the image selection information which concerns on one Embodiment. 一実施形態に係る作業者レベル情報の構成例を示す図である。It is a figure showing an example of composition of worker level information concerning one embodiment. 一実施形態に係る装置難易度情報の構成例を示す図である。It is a figure showing an example of composition of device difficulty information concerning one embodiment. 一実施形態に係る承認者リストの構成例を示す図である。It is a figure showing an example of composition of an approver list concerning one embodiment. 一実施形態に係る実施例の説明図である。It is explanatory drawing of the Example which concerns on one Embodiment. 一実施形態に係る画像例を示す図である。It is a figure which shows the example of an image which concerns on one Embodiment. 一実施形態に係る画像例を示す図である。It is a figure which shows the example of an image which concerns on one Embodiment. 一実施形態に係る画像表示システム１ａの構成例を示す図である。It is a figure which shows the structural example of the image display system 1a which concerns on one Embodiment. 一実施形態に係る画像表示システム１ｂの構成例を示す図である。It is a figure which shows the structural example of the image display system 1b which concerns on one Embodiment. 一実施形態に係る情報処理装置４ｂの機能構成例を示す図である。It is a figure showing an example of functional composition of information processor 4b concerning one embodiment. 一実施形態に係る通知情報の構成例を示す図である。It is a figure which shows the structural example of the notification information which concerns on one Embodiment.

以下、図面を参照し、本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

［第１実施形態］
図１は、本実施形態に係る画像表示システム１の構成例を示す図である。図１において、画像表示システム１は、ヘッドマウント装置２と、情報処理装置４と、記憶装置６とを備える。ヘッドマウント装置２と情報処理装置４とは、通信回線８を介して、データを送受する。通信回線８として、例えば携帯電話ネットワークやインターネット等の通信ネットワークを適用できる。 [First Embodiment]
FIG. 1 is a diagram showing a configuration example of an image display system 1 according to the present embodiment. In FIG. 1, the image display system 1 includes a head mount device 2, an information processing device 4, and a storage device 6. The head mount device 2 and the information processing device 4 send and receive data via the communication line 8. As the communication line 8, a communication network such as a mobile phone network or the Internet can be applied.

ヘッドマウント装置２は、作業者Ｘの頭部に装着される。ヘッドマウント装置２は、該ヘッドマウント装置２を頭部に装着している作業者Ｘに対して、該作業者Ｘが視認できる画像を提示できる構成になっている。例えば、ヘッドマウント装置２は、透過型のヘッドマウントディスプレイである。図１に示される例では、ヘッドマウント装置２は眼鏡型の透過型のヘッドマウントディスプレイである。なお、ヘッドマウント装置２は、眼鏡型以外の形状の頭部装着型のヘッドマウントディスプレイであってもよい。 The head mount device 2 is mounted on the head of the worker X. The head mount device 2 is configured to present an image that the worker X can visually recognize to the worker X who wears the head mount device 2 on his/her head. For example, the head mount device 2 is a transmissive head mount display. In the example shown in FIG. 1, the head mount device 2 is an eyeglass-type transmissive head mount display. The head mount device 2 may be a head-mounted head mount display having a shape other than the eyeglass type.

対象装置１０は、作業者Ｘが作業を行う対象の装置である。作業者Ｘは、ヘッドマウント装置２を頭部に装着して、対象装置１０に対する作業を行う。 The target device 10 is a target device on which the worker X works. The worker X mounts the head mount device 2 on the head and works on the target device 10.

情報処理装置４は、ヘッドマウント装置２に対して、該ヘッドマウント装置２によって表示する画像を提供する。記憶装置６は、対象装置１０に対応する画像を記憶している。承認者Ｙは、作業者Ｘが行う作業を監視する役目を持つ。 The information processing device 4 provides the head mount device 2 with an image to be displayed by the head mount device 2. The storage device 6 stores an image corresponding to the target device 10. The approver Y has a role of monitoring the work performed by the worker X.

図２は、本実施形態に係るヘッドマウント装置２の構成例を示す図である。図２において、ヘッドマウント装置２は、制御部２１と、表示部２２と、撮像部２３と、通信部２４と、記録部２５と、センサー部２６と、測位部２７と、視線検出部２８と、音声再生部２９と収音部３０とを備える。これら各部はデータを交換できるように構成されている。 FIG. 2 is a diagram showing a configuration example of the head mount device 2 according to the present embodiment. In FIG. 2, the head mount device 2 includes a control unit 21, a display unit 22, an imaging unit 23, a communication unit 24, a recording unit 25, a sensor unit 26, a positioning unit 27, and a line-of-sight detection unit 28. The audio reproducing unit 29 and the sound collecting unit 30 are provided. Each of these units is configured to exchange data.

制御部２１は、ヘッドマウント装置２が備える各部を制御する。制御部２１は、専用のハードウェアにより実現されるものであってもよく、又は、ＣＰＵ（Central Processing Unit：中央演算処理装置）及びメモリにより構成され、制御部２１の機能を実現するためのプログラムをＣＰＵが実行することによりその機能を実現させるものであってもよい。 The control unit 21 controls each unit included in the head mount device 2. The control unit 21 may be realized by dedicated hardware, or may be a program that includes a CPU (Central Processing Unit) and a memory and that realizes the functions of the control unit 21. May be realized by the CPU executing the function.

表示部２２は、ヘッドマウント装置２を頭部に装着している作業者Ｘが視認できる画像を表示する。例えば、ヘッドマウント装置２が透過型のヘッドマウントディスプレイである場合、表示部２２は、作業者Ｘの視線の先に透過型の仮想スクリーンを投影表示し、該透過型の仮想スクリーン上に画像を表示する。これにより、作業者Ｘは、自己の周辺の風景を見ながら、透過型の仮想スクリーン上に表示されている画像を視認することができる。制御部２１は、表示部２２によって表示する画像を表示部２２へ出力する。 The display unit 22 displays an image that can be visually recognized by the worker X wearing the head mount device 2 on the head. For example, when the head mount device 2 is a transmissive head mount display, the display unit 22 projects and displays a transmissive virtual screen in front of the line of sight of the worker X, and displays an image on the transmissive virtual screen. indicate. Thereby, the worker X can visually recognize the image displayed on the transmissive virtual screen while watching the scenery around him. The control unit 21 outputs the image displayed by the display unit 22 to the display unit 22.

撮像部２３は、ヘッドマウント装置２を頭部に装着している作業者Ｘの周辺の風景であって、該作業者Ｘの視線の方向の風景を撮像する。つまり、撮像部２３は、ヘッドマウント装置２を頭部に装着している作業者Ｘの視線の方向を撮像するように、ヘッドマウント装置２に取り付けられている。撮像部２３は、撮像した画像を通信部２４と記録部２５とへ出力する。撮像部２３が撮像した画像のことを撮像画像と称する場合がある。 The image capturing unit 23 captures a landscape around the worker X who wears the head mount device 2 on his/her head, and captures a landscape in the direction of the line of sight of the worker X. That is, the image capturing unit 23 is attached to the head mount device 2 so as to capture an image of the direction of the line of sight of the worker X who wears the head mount device 2 on his/her head. The image capturing unit 23 outputs the captured image to the communication unit 24 and the recording unit 25. The image captured by the image capturing unit 23 may be referred to as a captured image.

通信部２４は、通信回線８を介して情報処理装置４と通信を行う。通信部２４は、撮像画像を、通信回線８を介して情報処理装置４へ送信する。通信部２４は、通信回線８を介して情報処理装置４から画像を受信する。通信部２４が情報処理装置４から受信する画像は、例えば、情報処理装置４が記憶装置６から取得した対象装置１０に対応する画像である。表示部２２は、通信部２４が情報処理装置４から受信した画像を表示する。 The communication unit 24 communicates with the information processing device 4 via the communication line 8. The communication unit 24 transmits the captured image to the information processing device 4 via the communication line 8. The communication unit 24 receives an image from the information processing device 4 via the communication line 8. The image received by the communication unit 24 from the information processing device 4 is, for example, an image corresponding to the target device 10 acquired by the information processing device 4 from the storage device 6. The display unit 22 displays the image received by the communication unit 24 from the information processing device 4.

記録部２５は、撮像部２３が撮像した画像（撮像画像）のうち最新の一定時間分の撮像画像を記録する。記録部２５は、記録した撮像画像の量が一定時間分に達した場合には、記録した撮像画像のうち古い方の撮像画像から順次消去して新しい撮像画像を記録する。 The recording unit 25 records the latest picked-up image for a certain period of time among the images (picked-up images) picked up by the image pickup unit 23. When the amount of recorded captured images reaches a certain amount of time, the recording unit 25 sequentially erases the recorded image from the older captured image and records a new captured image.

センサー部２６は、一又は複数のセンサーを備える。センサー部２６が備えるセンサーとして、例えば、加速度センサー、地磁気センサーなどが挙げられる。センサー部２６は、センサーが検出した結果の検出信号を制御部２１へ出力する。
測位部２７は、ヘッドマウント装置２の位置を測定し、測定結果の測位値を制御部２１へ出力する。測位部２７として、例えば、ＧＰＳ（Global Positioning System）を利用してもよく、又は、準天頂衛星（quasi-zenith satellites: QZS）などの全地球航法衛星システム（Global Navigation Satellite System(s): GNSS）を利用してもよい。 The sensor unit 26 includes one or a plurality of sensors. Examples of the sensor included in the sensor unit 26 include an acceleration sensor and a geomagnetic sensor. The sensor unit 26 outputs a detection signal as a result of detection by the sensor to the control unit 21.
The positioning unit 27 measures the position of the head mount device 2 and outputs the positioning value of the measurement result to the control unit 21. As the positioning unit 27, for example, GPS (Global Positioning System) may be used, or Global Navigation Satellite System(s): GNSS such as quasi-zenith satellites (QZS). ) May be used.

視線検出部２８は、ヘッドマウント装置２を頭部に装着している作業者Ｘの視線を検出する。視線検出部２８は、検出した結果の視線を示す視線情報を制御部２１へ出力する。音声再生部２９は、スピーカ又はイヤホンによって音声信号を再生する。制御部２１は、音声再生部２９によって再生する音声信号を音声再生部２９へ出力する。収音部３０はマイクロフォンを備える。収音部３０は、マイクロフォンによって作業者Ｘの音声を収音する。また、収音部３０は、マイクロフォンによって作業者Ｘの周辺から発せられる音を収音してもよい。収音部３０は、マイクロフォンによって収音した音声や音の信号を制御部２１へ出力する。 The line-of-sight detection unit 28 detects the line of sight of the worker X who wears the head mount device 2 on his head. The visual line detection unit 28 outputs visual line information indicating the detected visual line to the control unit 21. The audio reproduction unit 29 reproduces an audio signal by using a speaker or an earphone. The control unit 21 outputs the audio signal reproduced by the audio reproduction unit 29 to the audio reproduction unit 29. The sound pickup unit 30 includes a microphone. The sound pickup unit 30 picks up the voice of the worker X by a microphone. Further, the sound pickup unit 30 may pick up a sound emitted from the vicinity of the worker X by the microphone. The sound pickup unit 30 outputs to the control unit 21 a voice or a sound signal picked up by the microphone.

図３は、本実施形態に係る情報処理装置４のハードウェア構成例を示す図である。図３において、情報処理装置４は、ＣＰＵ４１と、メモリ４２と、不揮発性メモリ４３と、操作部４４と、表示部４５と、通信部４６とを備える。これら各部はデータを交換できるように構成されている。ＣＰＵ４１は、不揮発性メモリ４３に格納されるプログラム４７を実行し、メモリ４２をワークメモリとして使用して、情報処理装置４の各部を制御する。 FIG. 3 is a diagram illustrating a hardware configuration example of the information processing device 4 according to the present embodiment. In FIG. 3, the information processing device 4 includes a CPU 41, a memory 42, a non-volatile memory 43, an operation unit 44, a display unit 45, and a communication unit 46. Each of these units is configured to exchange data. The CPU 41 executes the program 47 stored in the non-volatile memory 43, and uses the memory 42 as a work memory to control each unit of the information processing device 4.

メモリ４２は、半導体素子を利用した揮発性のメモリ等のＲＡＭによって構成され、ＣＰＵ４１のワークメモリとして使用される。不揮発性メモリ４３は、例えばハードディスク（ＨＤ）やＲＯＭ等によって構成される。不揮発性メモリ４３には、ＣＰＵ４１によって実行されるプログラム４７が格納される。 The memory 42 is composed of a RAM such as a volatile memory using a semiconductor element, and is used as a work memory of the CPU 41. The non-volatile memory 43 is composed of, for example, a hard disk (HD), a ROM, or the like. A program 47 executed by the CPU 41 is stored in the non-volatile memory 43.

操作部４４は、キーボード、テンキー、マウス等の入力デバイスから構成され、利用者の操作に応じたデータ入力を行う。表示部４５は、液晶表示装置等の表示デバイスから構成され、データ表示を行う。また、データ入力とデータ表示の両方が可能なタッチパネルを備えてもよい。通信部４６は、通信回線８を介してヘッドマウント装置２と通信を行う。情報処理装置４の通信部４６とヘッドマウント装置２の通信部２４とは、通信回線８を介してデータを送受する。 The operation unit 44 is composed of an input device such as a keyboard, a ten-key pad, a mouse, etc., and inputs data according to a user's operation. The display unit 45 includes a display device such as a liquid crystal display device and displays data. Further, a touch panel capable of both data input and data display may be provided. The communication unit 46 communicates with the head mount device 2 via the communication line 8. The communication unit 46 of the information processing device 4 and the communication unit 24 of the head mount device 2 send and receive data via the communication line 8.

情報処理装置４として、例えばタブレット型のコンピュータ（タブレットＰＣ）や据置き型のパーソナルコンピュータ、サーバコンピュータ等のコンピュータ装置を適用できる。 As the information processing device 4, for example, a computer device such as a tablet computer (tablet PC), a stationary personal computer, or a server computer can be applied.

図４は、本実施形態に係る情報処理装置４の機能構成例を示す図である。図４に示される各部の機能は、図３に示すＣＰＵ４１が不揮発性メモリ４３に格納されるプログラム４７を実行することにより実現される。図４において、情報処理装置４は、装置識別情報取得部４０１と、画像提供部４０２と、判断部４０３と、承認入力部４０４と、表示制御部４０５とを備える。 FIG. 4 is a diagram showing a functional configuration example of the information processing device 4 according to the present embodiment. The functions of the respective units shown in FIG. 4 are realized by the CPU 41 shown in FIG. 3 executing the program 47 stored in the nonvolatile memory 43. 4, the information processing device 4 includes a device identification information acquisition unit 401, an image providing unit 402, a determination unit 403, an approval input unit 404, and a display control unit 405.

装置識別情報取得部４０１は、ヘッドマウント装置２の撮像部２３が撮像した画像に基づいて対象装置１０の装置識別情報（装置ＩＤ）を取得する。 The device identification information acquisition unit 401 acquires the device identification information (device ID) of the target device 10 based on the image captured by the imaging unit 23 of the head mounted device 2.

画像提供部４０２は、ヘッドマウント装置２の表示部２２に表示される画像を通信部４６によってヘッドマウント装置２の通信部２４へ送信する。例えば、画像提供部４０２は、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を記憶装置６から取得し、該記憶装置６から取得した画像を通信部４６によってヘッドマウント装置２の通信部２４へ送信する。 The image providing unit 402 transmits the image displayed on the display unit 22 of the head mount device 2 to the communication unit 24 of the head mount device 2 by the communication unit 46. For example, the image providing unit 402 acquires the image associated with the device ID acquired by the device identification information acquisition unit 401 from the storage device 6, and the image acquired from the storage device 6 by the communication unit 46 by the head mount device 2 To the communication unit 24.

判断部４０３は、ヘッドマウント装置２の視線検出部２８が検出した結果の視線を示す視線情報と、ヘッドマウント装置２の表示部２２に表示されている画像に関連付けて記憶装置６に記憶されている情報とに基づいて、該画像の表示終了を判断する。 The determination unit 403 is stored in the storage device 6 in association with the line-of-sight information indicating the line-of-sight detected by the line-of-sight detection unit 28 of the head mount device 2 and the image displayed on the display unit 22 of the head mount device 2. The display end of the image is determined based on the existing information.

承認入力部４０４は承認の入力を受け付ける。該承認の入力は、承認者Ｙによって行われる。例えば、承認入力部４０４は、ヘッドマウント装置２の表示部２２に表示されている画像について表示終了の承認の入力を受け付ける。 The approval input unit 404 receives an approval input. The approver Y inputs the approval. For example, the approval input unit 404 accepts an input of approval to end display of the image displayed on the display unit 22 of the head mount device 2.

表示制御部４０５は、表示部４５に画像を表示させる制御を行う。例えば、表示制御部４０５は、通信部４６によってヘッドマウント装置２から受信した撮像画像を表示部４５に表示させる。 The display control unit 405 controls the display unit 45 to display an image. For example, the display control unit 405 causes the display unit 45 to display the captured image received from the head mount device 2 by the communication unit 46.

図５は、本実施形態に係る記憶装置６に格納される画像情報の構成例を示す図である。記憶装置６は、装置ＩＤに関連付けて該装置ＩＤで識別される対象装置１０に関連付けられた画像を記憶する。図５に示す画像情報の構成例では、記憶装置６は、装置ＩＤに関連付けて画像関連情報を格納する。画像関連情報は、画像識別情報（画像ＩＤ）と画像と付加情報との組を有する。例えば装置ＩＤ「ＤＩＤ＿ａ」に関連付けられた画像関連情報は、装置ＩＤ「ＤＩＤ＿ａ」で識別される対象装置１０に関連付けられた画像と該画像の画像ＩＤと該画像の付加情報とを有する。例えば、画像ＩＤ「ＩＭＩＤ＿ａ１」と画像ａ１と付加情報ａａ１との組において、画像ａ１は、装置ＩＤ「ＤＩＤ＿ａ」で識別される対象装置１０に関連付けられた画像である。画像ＩＤ「ＩＭＩＤ＿ａ１」は、画像ａ１を識別するＩＤである。付加情報ａａ１は、画像ａ１についての付加的な情報である。付加情報は、テキストによる情報であってもよく、又は、画像による情報であってもよく、又は、音声による情報であってもよい。 FIG. 5 is a diagram showing a configuration example of image information stored in the storage device 6 according to the present embodiment. The storage device 6 stores the image associated with the device ID and the target device 10 identified by the device ID. In the configuration example of the image information shown in FIG. 5, the storage device 6 stores the image-related information in association with the device ID. The image-related information has a set of image identification information (image ID), an image, and additional information. For example, the image-related information associated with the device ID “DID_a” includes an image associated with the target device 10 identified by the device ID “DID_a”, an image ID of the image, and additional information of the image. For example, in the set of the image ID “IMID_a1”, the image a1, and the additional information aa1, the image a1 is an image associated with the target device 10 identified by the device ID “DID_a”. The image ID “IMID_a1” is an ID that identifies the image a1. The additional information aa1 is additional information about the image a1. The additional information may be textual information, image-based information, or audio information.

なお、記憶装置６は、複数の装置ＩＤの組に対し関連付けて該装置ＩＤで識別される対象装置１０の組に関連付けられた画像を記憶してもよい。例えば、図５に例示される画像情報は、複数の装置ＩＤの組に対し関連付けられた画像関連情報を有してもよい。 The storage device 6 may store images associated with a set of a plurality of device IDs and associated with a set of the target devices 10 identified by the device IDs. For example, the image information illustrated in FIG. 5 may include image-related information associated with a plurality of device ID sets.

次に本実施形態に係る画像表示システム１の動作を説明する。 Next, the operation of the image display system 1 according to this embodiment will be described.

［ヘッドマウント装置の動作］
図６を参照して、本実施形態に係るヘッドマウント装置２の動作を説明する。図６は、本実施形態に係る画像表示方法の一例を示すフローチャートである。図６に示される処理は、例えば、ヘッドマウント装置２の電源がオンになると開始される。 [Operation of head mount device]
The operation of the head mount device 2 according to the present embodiment will be described with reference to FIG. FIG. 6 is a flowchart showing an example of the image display method according to this embodiment. The process shown in FIG. 6 is started, for example, when the power of the head mount device 2 is turned on.

（ステップＳ１０１）ヘッドマウント装置２において、制御部２１は、ヘッドマウント装置２の動作の開始を判断する。この動作開始の判断方法の例を以下に説明する。 (Step S101) In the head mount device 2, the control unit 21 determines whether to start the operation of the head mount device 2. An example of this operation start determination method will be described below.

［ヘッドマウント装置の動作開始の判断方法の例１］
ヘッドマウント装置２の動作開始の判断方法の例１では、センサー部２６は加速度センサーを備える。センサー部２６は、加速度センサーが検出した結果の加速度検出信号を制御部２１へ出力する。制御部２１は、センサー部２６から出力された加速度検出信号を使用して、ヘッドマウント装置２の移動の変化を測定する。制御部２１は、ヘッドマウント装置２の移動の変化の測定の結果に基づいて、ヘッドマウント装置２が所定時間継続して静止していると判断した場合に、ヘッドマウント装置２の動作を開始すると判断する。また、制御部２１は、ヘッドマウント装置２の動作を開始すると判断した後に、ヘッドマウント装置２の移動の変化の測定の結果に基づいて、ヘッドマウント装置２が所定時間継続して移動していると判断した場合に、ヘッドマウント装置２の動作の一時停止を判断してもよい。制御部２１は、ヘッドマウント装置２の動作を一時停止すると判断した後に、ヘッドマウント装置２の移動の変化の測定の結果に基づいて、ヘッドマウント装置２が所定時間継続して静止していると判断した場合に、ヘッドマウント装置２の動作の再開を判断する。 [Example 1 of Method of Determining Start of Operation of Head Mount Device]
In Example 1 of the method of determining the start of operation of the head mount device 2, the sensor unit 26 includes an acceleration sensor. The sensor unit 26 outputs an acceleration detection signal as a result of detection by the acceleration sensor to the control unit 21. The control unit 21 uses the acceleration detection signal output from the sensor unit 26 to measure the change in the movement of the head mount device 2. The control unit 21 starts the operation of the head mount device 2 when it determines that the head mount device 2 is stationary for a predetermined time based on the result of the measurement of the change in the movement of the head mount device 2. to decide. In addition, after determining that the operation of the head mount device 2 is started, the control unit 21 continuously moves the head mount device 2 for a predetermined time based on the measurement result of the change in the movement of the head mount device 2. If it is determined that the operation of the head mount device 2 is temporarily stopped. After determining that the operation of the head mount device 2 is temporarily stopped, the control unit 21 determines that the head mount device 2 remains stationary for a predetermined time based on the measurement result of the change in the movement of the head mount device 2. When the determination is made, the restart of the operation of the head mount device 2 is determined.

［ヘッドマウント装置の動作開始の判断方法の例２］
ヘッドマウント装置２の動作開始の判断方法の例２では、センサー部２６は加速度センサーと地磁気センサーとを備える。センサー部２６は、加速度センサーが検出した結果の加速度検出信号を制御部２１へ出力する。センサー部２６は、地磁気センサーが検出した結果の地磁気検出信号を制御部２１へ出力する。制御部２１は、センサー部２６から出力された加速度検出信号を使用して、ヘッドマウント装置２の移動の変化を測定する。制御部２１は、ヘッドマウント装置２の移動の変化の測定の結果に基づいて、ヘッドマウント装置２が継続して静止している時間（静止時間）を測定する。制御部２１は、センサー部２６から出力された地磁気検出信号を使用して、ヘッドマウント装置２の傾きを測定する。制御部２１は、該測定の結果である静止時間とヘッドマウント装置２の傾きとに基づいて、ヘッドマウント装置の動作の開始と一時停止と再開とを判断する。 [Example 2 of Method of Determining Start of Operation of Head Mount Device]
In Example 2 of the method of determining the start of operation of the head mount device 2, the sensor unit 26 includes an acceleration sensor and a geomagnetic sensor. The sensor unit 26 outputs an acceleration detection signal as a result of detection by the acceleration sensor to the control unit 21. The sensor unit 26 outputs to the control unit 21 a geomagnetism detection signal obtained as a result of detection by the geomagnetism sensor. The control unit 21 uses the acceleration detection signal output from the sensor unit 26 to measure the change in the movement of the head mount device 2. The control unit 21 measures the time during which the head mount device 2 is still (rest time) based on the result of the measurement of the change in the movement of the head mount device 2. The control unit 21 uses the geomagnetic detection signal output from the sensor unit 26 to measure the tilt of the head mount device 2. The control unit 21 determines the start, pause, and restart of the operation of the head mount device based on the stationary time that is the result of the measurement and the tilt of the head mount device 2.

［ヘッドマウント装置の動作開始の判断方法の例３］
ヘッドマウント装置２の動作開始の判断方法の例３では、センサー部２６は、ヘッドマウント装置２としての眼鏡型のヘッドマウントディスプレイのつる（テンプル）が眼鏡をかけることができるように開かれた開状態になったことを検出するつる開状態センサーを備える。センサー部２６は、つる開状態センサーが検出した結果のつる開状態検出信号を制御部２１へ出力する。制御部２１は、センサー部２６から出力されたつる開状態検出信号に基づいて、つるが開状態になったことを判断する。制御部２１は、つるが開状態になったと判断した場合に、ヘッドマウント装置２の動作を開始すると判断する。 [Example 3 of Method of Determining Start of Operation of Head Mount Device]
In Example 3 of the method for determining the start of operation of the head mount device 2, the sensor unit 26 is opened so that the temple (temple) of the eyeglass-type head mount display as the head mount device 2 can wear glasses. It is provided with a vine open state sensor that detects that the state has been reached. The sensor unit 26 outputs a temple open state detection signal, which is a result of detection by the temple open state sensor, to the controller 21. The control unit 21 determines that the temple is in the open state based on the temple open state detection signal output from the sensor unit 26. When the control unit 21 determines that the temple is in the open state, it determines that the operation of the head mount device 2 is started.

［ヘッドマウント装置の動作開始の判断方法の例４］
ヘッドマウント装置２の動作開始の判断方法の例４では、情報処理装置４からヘッドマウント装置２の動作を制御する。情報処理装置４は、承認者Ｙが行うヘッドマウント装置２を制御する操作に応じて、動作制御情報をヘッドマウント装置２へ送信する。ヘッドマウント装置２において、通信部２４は、情報処理装置４から受信した動作制御情報を制御部２１へ出力する。制御部２１は、通信部２４から出力された動作制御情報に従って、ヘッドマウント装置の動作の開始と一時停止と再開とを判断する。 [Example 4 of Method of Determining Start of Operation of Head Mount Device]
In Example 4 of the method of determining the start of operation of the head mount device 2, the operation of the head mount device 2 is controlled from the information processing device 4. The information processing device 4 transmits operation control information to the head mount device 2 in accordance with an operation performed by the approver Y to control the head mount device 2. In the head mount device 2, the communication unit 24 outputs the operation control information received from the information processing device 4 to the control unit 21. The control unit 21 determines whether to start, pause, or restart the operation of the head mount device according to the operation control information output from the communication unit 24.

［ヘッドマウント装置の動作開始の判断方法の例５］
ヘッドマウント装置２の動作開始の判断方法の例５では、測位部２７は、ヘッドマウント装置２の位置を測定し、測定結果の測位値を制御部２１へ出力する。制御部２１は、測位部２７から出力された測位値と、予め設定された作業位置情報とに基づいて、ヘッドマウント装置の動作の開始を判断する。例えば、作業位置情報は、作業対象の拠点又は装置から一定の範囲内の作業区域を示す情報である。制御部２１は、測位値と作業位置情報が示す作業区域とに基づいて、ヘッドマウント装置２が作業区域内に存在すると判断した場合に、ヘッドマウント装置２の動作を開始すると判断する。又は、制御部２１は、測位値と作業位置情報が示す作業区域とに基づいて、ヘッドマウント装置２が作業区域内に移動したと判断した場合に、ヘッドマウント装置２の動作を開始すると判断する。 [Example 5 of determination method of start of operation of head mount device]
In Example 5 of the method of determining the start of operation of the head mount device 2, the positioning unit 27 measures the position of the head mount device 2 and outputs the positioning value of the measurement result to the control unit 21. The control unit 21 determines the start of the operation of the head mount device based on the positioning value output from the positioning unit 27 and the preset work position information. For example, the work position information is information indicating a work area within a certain range from the work target site or device. The control unit 21 determines to start the operation of the head mount device 2 when it is determined that the head mount device 2 exists in the work region based on the positioning value and the work region indicated by the work position information. Alternatively, the control unit 21 determines to start the operation of the head mount device 2 when it is determined that the head mount device 2 has moved into the work region based on the positioning value and the work region indicated by the work position information. ..

以上が動作開始の判断方法の例の説明である。説明を図６に戻す。
ステップＳ１０１の判断の結果、ヘッドマウント装置２の動作を開始すると判断した場合にはステップＳ１０２へ進み、そうではない場合にはステップＳ１０１の処理を継続する。 The above is the description of the example of the operation start determination method. The description returns to FIG.
As a result of the determination in step S101, if it is determined that the operation of the head mount device 2 is started, the process proceeds to step S102, and if not, the process of step S101 is continued.

（ステップＳ１０２）制御部２１は、ヘッドマウント装置２の動作を開始すると判断すると、撮像部２３に対して撮像の開始を指示する。撮像部２３は、該制御部２１からの撮像の開始の指示に応じて、撮像を開始する。記録部２５は、該撮像部２３が撮像した画像の記録を開始する。通信部２４は、該撮像部２３が撮像した画像の情報処理装置４への送信を開始する。また、通信部２４は、撮像部２３が撮像した画像以外のデータを情報処理装置４へ送信してもよい。例えば、通信部２４は、ヘッドマウント装置２の識別情報（ヘッドマウント装置ＩＤ）、表示部２２が表示している画像の画像ＩＤ、測位部２７が測定した結果の測位値、視線検出部２８が検出した結果の視線を示す視線情報、収音部３０が収音した音声や音の信号などを情報処理装置４へ送信してもよい。また、通信部２４は、記録部２５に記録されている一定時間分の撮像画像を情報処理装置４へ送信してもよい。制御部２１は、通信部２４に対して、撮像画像及び撮像画像以外のデータを送信する制御を行う。 (Step S102) When the control unit 21 determines to start the operation of the head mount device 2, the control unit 21 instructs the imaging unit 23 to start imaging. The image capturing unit 23 starts image capturing according to an instruction to start image capturing from the control unit 21. The recording unit 25 starts recording the image captured by the image capturing unit 23. The communication unit 24 starts transmitting the image captured by the image capturing unit 23 to the information processing device 4. The communication unit 24 may also transmit data other than the image captured by the image capturing unit 23 to the information processing device 4. For example, the communication unit 24 includes the identification information of the head mount device 2 (head mount device ID), the image ID of the image displayed by the display unit 22, the positioning value of the result measured by the positioning unit 27, and the line-of-sight detection unit 28. The line-of-sight information indicating the line-of-sight of the detection result, the voice or sound signal collected by the sound collection unit 30, and the like may be transmitted to the information processing device 4. Further, the communication unit 24 may transmit the captured images for a certain period of time recorded in the recording unit 25 to the information processing device 4. The control unit 21 controls the communication unit 24 to transmit a captured image and data other than the captured image.

制御部２１は、ヘッドマウント装置２の動作を一時停止すると判断すると、撮像部２３に対して撮像の停止を指示する。撮像部２３は、該制御部２１からの撮像の停止の指示に応じて、撮像を停止する。なお、通信部２４は、撮像部２３が撮像を停止している場合に、撮像部２３が撮像した画像以外のその他のデータを情報処理装置４へ送信してもよい。 When determining that the operation of the head mount device 2 is temporarily stopped, the control unit 21 instructs the imaging unit 23 to stop imaging. The imaging unit 23 stops imaging in response to an instruction to stop imaging from the control unit 21. Note that the communication unit 24 may transmit other data other than the image captured by the image capturing unit 23 to the information processing device 4 when the image capturing unit 23 stops capturing the image.

制御部２１は、ヘッドマウント装置２の動作を一時停止すると判断した後にヘッドマウント装置の動作を再開すると判断すると、撮像部２３に対して撮像の開始を指示する。撮像部２３は、該制御部２１からの撮像の開始の指示に応じて、撮像を開始する。記録部２５は、該撮像部２３が撮像した画像を記録する。通信部２４は、該撮像部２３が撮像した画像を情報処理装置４へ送信する。 When determining that the operation of the head mount device 2 is resumed after determining that the operation of the head mount device 2 is temporarily stopped, the control unit 21 instructs the imaging unit 23 to start imaging. The image capturing unit 23 starts image capturing according to an instruction to start image capturing from the control unit 21. The recording unit 25 records the image captured by the image capturing unit 23. The communication unit 24 transmits the image captured by the image capturing unit 23 to the information processing device 4.

（ステップＳ１０３）通信部２４は、情報処理装置４から画像を受信する。通信部２４は、情報処理装置４から受信した画像を制御部２１へ出力する。 (Step S103) The communication unit 24 receives an image from the information processing device 4. The communication unit 24 outputs the image received from the information processing device 4 to the control unit 21.

（ステップＳ１０４）制御部２１は、通信部２４から出力された画像を表示部２２へ出力し、表示部２２によって該画像を表示させる制御を行う。表示部２２は、制御部２１から出力された画像を、制御部２１による制御に従って表示する。 (Step S104) The control unit 21 outputs the image output from the communication unit 24 to the display unit 22 and controls the display unit 22 to display the image. The display unit 22 displays the image output from the control unit 21 under the control of the control unit 21.

（ステップＳ１０５）本処理を継続する場合にはステップＳ１０３に戻り、そうではない場合には図６の処理を終了する。図６に示される処理は、例えば、情報処理装置４からの指示によって終了となる。例えば、承認者Ｙが情報処理装置４により作業の終了を承認する操作を行ったり、又は、情報処理装置４が作業の終了を判断したりした場合に、情報処理装置４からヘッドマウント装置２へ図６の処理の終了が指示される。 (Step S105) When continuing this process, it returns to step S103, and when that is not right, the process of FIG. 6 is complete|finished. The process shown in FIG. 6 is ended by an instruction from the information processing device 4, for example. For example, when the approver Y performs an operation of approving the end of the work by the information processing device 4 or when the information processing device 4 determines the end of the work, the information processing device 4 moves to the head mount device 2. The end of the process of FIG. 6 is instructed.

なお、制御部２１は、表示部２２によって各種の情報を表示させる制御を行ってもよい。例えば、制御部２１は、撮像部２３が撮像している時には、「撮像中」である旨を表示部２２によって表示させてもよい。また、制御部２１は、通信部２４が撮像画像を送信している時には、「撮像画像の送信中」である旨を表示部２２によって表示させてもよい。また、制御部２１は、通信部２４が情報処理装置４から画像を受信している時には、「画像取得中」である旨を表示部２２によって表示させてもよい。 The control unit 21 may control the display unit 22 to display various types of information. For example, the control unit 21 may cause the display unit 22 to display that “imaging is in progress” while the imaging unit 23 is capturing an image. Further, the control unit 21 may cause the display unit 22 to display that “the captured image is being transmitted” while the communication unit 24 is transmitting the captured image. Further, the control unit 21 may cause the display unit 22 to display that “the image is being acquired” when the communication unit 24 is receiving the image from the information processing device 4.

［情報処理装置の動作］
図７及び図８を参照して、本実施形態に係る情報処理装置４の動作を説明する。図７及び図８は、本実施形態に係る画像表示方法の一例を示すフローチャートである。図７及び図８に示される処理は、例えば、情報処理装置４においてプログラム４７が起動されると開始される。 [Operation of information processing device]
The operation of the information processing device 4 according to the present embodiment will be described with reference to FIGS. 7 and 8. 7 and 8 are flowcharts showing an example of the image display method according to the present embodiment. The processes shown in FIGS. 7 and 8 are started when the program 47 is activated in the information processing device 4, for example.

（ステップＳ２０１）情報処理装置４において、装置識別情報取得部４０１は、ヘッドマウント装置２の動作の開始を判断する。装置識別情報取得部４０１は、例えば、通信部４６によってヘッドマウント装置２からデータを受信した場合に、ヘッドマウント装置２が動作を開始したと判断する。ステップＳ２０１の判断の結果、ヘッドマウント装置２が動作を開始したと判断した場合にはステップＳ２０２へ進み、そうではない場合にはステップＳ２０１の処理を継続する。 (Step S201) In the information processing device 4, the device identification information acquisition unit 401 determines whether to start the operation of the head mount device 2. The device identification information acquisition unit 401 determines that the head mount device 2 has started operation, for example, when the communication unit 46 receives data from the head mount device 2. As a result of the determination in step S201, if it is determined that the head mount device 2 has started operating, the process proceeds to step S202, and if not, the process of step S201 is continued.

（ステップＳ２０２）装置識別情報取得部４０１は、通信部４６によってヘッドマウント装置２から受信したデータのうち、撮像部２３が撮像した画像に基づいて対象装置１０の装置ＩＤを取得する。この装置ＩＤの取得方法の例を以下に説明する。 (Step S202) Of the data received from the head mount device 2 by the communication unit 46, the device identification information acquisition unit 401 acquires the device ID of the target device 10 based on the image captured by the imaging unit 23. An example of the method of acquiring the device ID will be described below.

［装置ＩＤの取得方法の例］
対象装置１０には、対象装置１０の装置ＩＤを含む情報を表すバーコードが貼付されてある。ヘッドマウント装置２を頭部に装着している作業者Ｘが対象装置１０に貼付されているバーコードの方を見ることによって該バーコードが撮像部２３によって撮像され、該撮像画像が通信部２４によって情報処理装置４へ送信される。装置識別情報取得部４０１は、該撮像画像に写っているバーコードに基づいて装置ＩＤを取得する。
なお、対象装置１０には、対象装置１０の装置ＩＤが文字列で表示されていてもよい。この場合、ヘッドマウント装置２を頭部に装着している作業者Ｘが対象装置１０に表示されている装置ＩＤの文字列の方を見ることによって該装置ＩＤの文字列が撮像部２３によって撮像され、該撮像画像が通信部２４によって情報処理装置４へ送信される。装置識別情報取得部４０１は、該撮像画像に写っている装置ＩＤの文字列に基づいて装置ＩＤを取得する。 [Example of device ID acquisition method]
A barcode indicating information including the device ID of the target device 10 is attached to the target device 10. When the worker X who wears the head mount device 2 on his head looks at the barcode attached to the target device 10, the barcode is captured by the image capturing unit 23, and the captured image is captured by the communication unit 24. Is transmitted to the information processing device 4. The device identification information acquisition unit 401 acquires a device ID based on the barcode shown in the captured image.
The device ID of the target device 10 may be displayed in the target device 10 as a character string. In this case, the worker X wearing the head mount device 2 on his/her head looks at the character string of the device ID displayed on the target device 10, and the character string of the device ID is imaged by the imaging unit 23. Then, the captured image is transmitted to the information processing device 4 by the communication unit 24. The device identification information acquisition unit 401 acquires the device ID based on the character string of the device ID shown in the captured image.

以上が装置ＩＤの取得方法の例の説明である。説明を図７に戻す。
表示制御部４０５は、通信部４６によってヘッドマウント装置２から受信した撮像画像を表示部４５に表示させる。これにより、承認者Ｙは、情報処理装置４の表示部４５に表示された撮像画像によって、作業者Ｘが作業を実施しようとしている対象装置１０を確認することができる。また、表示制御部４０５は、装置識別情報取得部４０１が取得した装置ＩＤ又は該装置ＩＤに対応する対象装置１０の装置名等の装置情報を表示部４５に表示させてもよい。これにより、承認者Ｙは、情報処理装置４の表示部４５に表示された装置ＩＤ又は装置情報によって、作業者Ｘが作業を実施しようとしている対象装置１０を確認することができる。 The above is the description of the example of the method of acquiring the device ID. The description returns to FIG. 7.
The display control unit 405 causes the display unit 45 to display the captured image received from the head mount device 2 by the communication unit 46. Thereby, the approver Y can confirm the target device 10 on which the worker X is going to perform the work by the captured image displayed on the display unit 45 of the information processing device 4. Further, the display control unit 405 may cause the display unit 45 to display device information such as the device ID acquired by the device identification information acquisition unit 401 or the device name of the target device 10 corresponding to the device ID. Thereby, the approver Y can confirm the target device 10 on which the worker X is going to perform the work by the device ID or the device information displayed on the display unit 45 of the information processing device 4.

また、承認入力部４０４は、装置識別情報取得部４０１が取得した装置ＩＤについての承認の入力を受け付けるようにしてもよい。例えば、承認入力部４０４は、表示制御部４０５によって、装置識別情報取得部４０１が取得した装置ＩＤ又は該装置ＩＤに対応する対象装置１０の装置名等の装置情報と、該装置ＩＤ又は装置情報を承認するか否かの入力操作を行う対象装置承認入力画面と、を表示部４５に表示させる。承認入力部４０４は、該対象装置承認入力画面によって承認する入力操作が行われた場合には本処理をステップＳ２０３に進ませる。 In addition, the approval input unit 404 may receive an approval input for the device ID acquired by the device identification information acquisition unit 401. For example, the approval input unit 404, the display control unit 405, device information such as the device ID acquired by the device identification information acquisition unit 401 or the device name of the target device 10 corresponding to the device ID, and the device ID or device information. Is displayed on the display unit 45, and a target device approval input screen for inputting whether or not to approve. The approval input unit 404 advances the process to step S203 when an input operation for approval is performed on the target device approval input screen.

一方、承認入力部４０４は、該対象装置承認入力画面によって承認しない入力操作が行われた場合には本処理を中断させる。この場合、画像提供部４０２は、作業者Ｘに対して対象装置１０を再確認するように警告する内容の警告画像を、通信部４６によってヘッドマウント装置２へ送信する。該警告画像は、ヘッドマウント装置２の通信部２４によって受信されて表示部２２に表示される。この表示部２２に表示された警告画像によって、作業者Ｘに対し、現在作業を実施しようとしている対象装置１０を再確認するように警告することができる。これにより、作業者Ｘが作業すべき装置とは異なる装置に対して誤って作業を実施してしまうことを未然に防止する効果が得られる。また、警告画像と共に、音声によって警告の旨を作業者Ｘに伝えてもよい。 On the other hand, the approval input unit 404 suspends this process when an unapproved input operation is performed on the target device approval input screen. In this case, the image providing unit 402 transmits, to the head mount device 2 by the communication unit 46, a warning image that warns the worker X to reconfirm the target device 10. The warning image is received by the communication unit 24 of the head mount device 2 and displayed on the display unit 22. The warning image displayed on the display unit 22 can warn the worker X to reconfirm the target device 10 that is currently performing work. This has the effect of preventing the worker X from erroneously performing work on a device different from the device on which the worker X should work. In addition to the warning image, the operator X may be notified of the warning by voice.

なお、本処理の実行条件の一設定項目として、承認者Ｙによる承認の入力の受け付けの要否を任意に設定できるようにしてもよい。 In addition, as one setting item of the execution condition of this process, it may be possible to arbitrarily set the necessity of accepting the approval input by the approver Y.

（ステップＳ２０３）画像提供部４０２は、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を記憶装置６から取得する。この画像取得方法の例を以下に説明する。 (Step S203) The image providing unit 402 acquires, from the storage device 6, the image associated with the device ID acquired by the device identification information acquisition unit 401. An example of this image acquisition method will be described below.

［画像取得方法の例１］
画像取得方法の例１では、記憶装置６に格納されている図５に例示される画像情報から、装置ＩＤに関連付けられている画像を取得する。画像提供部４０２は、記憶装置６に格納されている画像情報に含まれる画像関連情報であって装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像関連情報から、画像を取得する。画像提供部４０２は、該画像関連情報に含まれる画像のうち、全ての画像を取得してもよく、又は、一部の画像を取得してもよい。例えば、所定の順番で一枚ずつ画像を取得してもよい。具体例として、複数の作業手順から構成される作業について、各作業手順を示す画像を１枚ずつ取得してヘッドマウント装置２へ送信することが挙げられる。 [Example 1 of image acquisition method]
In Example 1 of the image acquisition method, the image associated with the device ID is acquired from the image information illustrated in FIG. 5 stored in the storage device 6. The image providing unit 402 acquires an image from the image-related information included in the image information stored in the storage device 6 and the image-related information associated with the device ID acquired by the device identification information acquisition unit 401. .. The image providing unit 402 may acquire all the images or a part of the images included in the image-related information. For example, the images may be acquired one by one in a predetermined order. As a specific example, for a work including a plurality of work procedures, one image showing each work procedure is acquired and transmitted to the head mount device 2.

［画像取得方法の例２］
画像取得方法の例２では、記憶装置６に格納されている図５に例示される画像情報から、装置ＩＤに関連付けられている画像を取得する。但し、ヘッドマウント装置２のヘッドマウント装置ＩＤに基づいて、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像をヘッドマウント装置２へ送信し、該画像を選択しないと判定した場合には該画像をヘッドマウント装置２へ送信しない。 [Example 2 of image acquisition method]
In Example 2 of the image acquisition method, the image associated with the device ID is acquired from the image information illustrated in FIG. 5 stored in the storage device 6. However, based on the head mount device ID of the head mount device 2, it is determined whether or not an image associated with the device ID acquired by the device identification information acquisition unit 401 is selected, and it is determined that the image is selected. First, the image is transmitted to the head mount device 2, and when it is determined that the image is not selected, the image is not transmitted to the head mount device 2.

図９は、画像取得方法の例２に係る画像選択情報の構成例を示す図である。画像選択情報は記憶装置６に格納されている。画像選択情報は、ヘッドマウント装置ＩＤと装置ＩＤと画像ＩＤとを関連付けた区分を有する。例えば、画像選択情報のある一区分において、ヘッドマウント装置ＩＤ「ＨＭＩＤ＿ａ」と装置ＩＤ「ＤＩＤ＿ａ」と画像ＩＤ「ＩＭＩＤ＿ａ２，ＩＭＩＤ＿ａ５，・・・」とが関連付けられている。 FIG. 9 is a diagram illustrating a configuration example of image selection information according to the second example of the image acquisition method. The image selection information is stored in the storage device 6. The image selection information has a section in which the head mount device ID, the device ID, and the image ID are associated with each other. For example, in one section of the image selection information, the head mount device ID “HMID_a”, the device ID “DID_a”, and the image IDs “IMID_a2, IMID_a5,...” Are associated.

ヘッドマウント装置２の通信部２４は、自ヘッドマウント装置２のヘッドマウント装置ＩＤを情報処理装置４へ送信する。画像提供部４０２は、通信部４６によってヘッドマウント装置２から受信したヘッドマウント装置ＩＤに基づいて、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択するか否かを判定する。具体的には、画像提供部４０２は、画像選択情報において、ヘッドマウント装置ＩＤと装置識別情報取得部４０１が取得した装置ＩＤとが関連付けられている場合には、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択すると判定し、そうではない場合には、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択しないと判定する。画像提供部４０２は、該画像を選択すると判定した場合には、該画像を記憶装置６から取得する。一方、画像提供部４０２は、該画像を選択しないと判定した場合には、該画像を記憶装置６から取得しない。なお、画像提供部４０２は、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像のうち、全ての画像を記憶装置６から取得してもよく、又は、一部の画像を記憶装置６から取得してもよい。例えば、所定の順番で一枚ずつ画像を取得してもよい。具体例として、複数の作業手順から構成される作業について、各作業手順を示す画像を１枚ずつ取得してヘッドマウント装置２へ送信することが挙げられる。 The communication unit 24 of the head mount device 2 transmits the head mount device ID of the own head mount device 2 to the information processing device 4. The image providing unit 402 determines whether to select an image associated with the device ID acquired by the device identification information acquisition unit 401 based on the head mount device ID received from the head mount device 2 by the communication unit 46. To do. Specifically, when the head mount device ID is associated with the device ID acquired by the device identification information acquisition unit 401 in the image selection information, the image provision unit 402 acquires the device identification information acquisition unit 401. It is determined that the image associated with the device ID is selected, and if not, it is determined that the image associated with the device ID acquired by the device identification information acquisition unit 401 is not selected. If the image providing unit 402 determines to select the image, the image providing unit 402 acquires the image from the storage device 6. On the other hand, when the image providing unit 402 determines not to select the image, the image providing unit 402 does not acquire the image from the storage device 6. Note that the image providing unit 402 may acquire all the images from the storage device 6 among the images associated with the device ID acquired by the device identification information acquisition unit 401, or store some images. It may be acquired from the device 6. For example, the images may be acquired one by one in a predetermined order. As a specific example, for a work including a plurality of work procedures, one image showing each work procedure is acquired and transmitted to the head mount device 2.

［画像取得方法の例３］
画像取得方法の例３では、記憶装置６に格納されている図５に例示される画像情報から、装置ＩＤに関連付けられている画像を取得する。但し、ヘッドマウント装置２のヘッドマウント装置ＩＤ又はユーザ識別情報（ユーザＩＤ）と、時刻情報又はヘッドマウント装置２の位置情報とに基づいて、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像をヘッドマウント装置２へ送信し、該画像を選択しないと判定した場合には該画像をヘッドマウント装置２へ送信しない。 [Example 3 of image acquisition method]
In Example 3 of the image acquisition method, the image associated with the device ID is acquired from the image information illustrated in FIG. 5 stored in the storage device 6. However, it is associated with the device ID acquired by the device identification information acquisition unit 401 based on the head mount device ID of the head mount device 2 or the user identification information (user ID) and the time information or the position information of the head mount device 2. Image is selected, the image is transmitted to the head mount device 2 when it is determined that the image is selected, and the image is head mounted when it is determined that the image is not selected. Do not send to device 2.

図１０は、画像取得方法の例３に係る画像選択情報の構成例を示す図である。画像選択情報は、記憶装置６に格納されている。画像選択情報は、ヘッドマウント装置ＩＤと予定ユーザＩＤと予定日時情報と位置条件と装置ＩＤと画像ＩＤとを関連付けた区分を有する。但し、該一区分において、ヘッドマウント装置ＩＤ若しくは予定ユーザＩＤのいずれか一方のみが有されてもよく、又は、ヘッドマウント装置ＩＤ及び予定ユーザＩＤの両方が有されてもよい。また、予定日時情報若しくは位置条件のいずれか一方のみが有されてもよく、又は、予定日時情報及び位置条件の両方が有されてもよい。予定ユーザＩＤは、作業計画で定められた作業予定者の識別情報である。予定日時情報は、作業計画で定められた作業予定日時を示す情報である。位置条件は、作業計画で定められた作業予定場所に基づいた作業者の移動範囲を示す情報である。 FIG. 10 is a diagram showing a configuration example of image selection information according to Example 3 of the image acquisition method. The image selection information is stored in the storage device 6. The image selection information has a section in which the head mount device ID, the planned user ID, the planned date and time information, the position condition, the device ID, and the image ID are associated with each other. However, in the one section, only one of the head mount device ID and the planned user ID may be included, or both the head mount device ID and the planned user ID may be included. Further, only one of the scheduled date/time information and the position condition may be included, or both the scheduled date/time information and the position condition may be included. The planned user ID is identification information of a planned worker defined in the work plan. The scheduled date and time information is information indicating the scheduled work date and time defined in the work plan. The position condition is information indicating the range of movement of the worker based on the planned work place defined in the work plan.

ヘッドマウント装置２の通信部２４は、自ヘッドマウント装置２のヘッドマウント装置ＩＤを情報処理装置４へ送信する。なお、ヘッドマウント装置２の位置情報に基づいて、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択するか否かを判定する場合には、ヘッドマウント装置２の通信部２４は、測位部２７が測定した結果の測位値も情報処理装置４へ送信する。 The communication unit 24 of the head mount device 2 transmits the head mount device ID of the own head mount device 2 to the information processing device 4. When determining whether to select the image associated with the device ID acquired by the device identification information acquisition unit 401 based on the position information of the head mount device 2, the communication unit of the head mount device 2 is determined. 24 also transmits to the information processing device 4 the positioning value obtained as a result of measurement by the positioning unit 27.

情報処理装置４は現在の日時を示す現在日時情報を取得する。例えば、情報処理装置４は日時を刻む時計を備え、該時計から現在日時情報を取得する。また、情報処理装置４には、ヘッドマウント装置２を頭部に装着している作業者ＸのユーザＩＤが入力される。例えば、承認者Ｙが、該作業者ＸのユーザＩＤを情報処理装置４に入力する。ヘッドマウント装置２を頭部に装着している作業者ＸのユーザＩＤのことを装着ユーザＩＤと称する。 The information processing device 4 acquires current date and time information indicating the current date and time. For example, the information processing device 4 includes a clock that keeps time and date, and acquires current date and time information from the clock. Further, the user ID of the worker X who wears the head mount device 2 on his/her head is input to the information processing device 4. For example, the approver Y inputs the user ID of the worker X into the information processing device 4. The user ID of the worker X who wears the head mount device 2 on his/her head is referred to as a wearing user ID.

なお、ヘッドマウント装置２は、該ヘッドマウント装置２を頭部に装着している作業者Ｘの目を撮像する撮像部をさらに備え、該撮像部が撮像した作業者Ｘの目の画像を通信部２４によって情報処理装置４へ送信してもよい。情報処理装置４は、通信部４６によって情報処理装置４から受信した作業者Ｘの目の画像に基づいて、装着ユーザＩＤを取得するユーザＩＤ取得部をさらに備えてもよい。 The head mount device 2 further includes an imaging unit that images the eyes of the worker X who wears the head mount device 2 on the head, and communicates the image of the eyes of the worker X captured by the imaging unit. The information may be transmitted to the information processing device 4 by the unit 24. The information processing device 4 may further include a user ID acquisition unit that acquires the wearing user ID based on the image of the eyes of the worker X received from the information processing device 4 by the communication unit 46.

画像提供部４０２は、通信部４６によってヘッドマウント装置２から受信したヘッドマウント装置ＩＤ又は装着ユーザＩＤと、現在日時情報又は通信部４６によってヘッドマウント装置２から受信した測位値とに基づいて、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択するか否かを判定する。具体的には、画像提供部４０２は、画像選択情報において、ヘッドマウント装置ＩＤ又は予定ユーザＩＤに一致する装着ユーザＩＤと装置識別情報取得部４０１が取得した装置ＩＤとが関連付けられており、且つ、予定日時情報に一致する現在日時情報又は位置条件に一致する測位値と装置識別情報取得部４０１が取得した装置ＩＤとが関連付けられている場合には、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択すると判定し、そうではない場合には、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択しないと判定する。画像提供部４０２は、該画像を選択すると判定した場合には、該画像を記憶装置６から取得する。一方、画像提供部４０２は、該画像を選択しないと判定した場合には、該画像を記憶装置６から取得しない。 The image providing unit 402 is a device based on the head mount device ID or the wearing user ID received from the head mount device 2 by the communication unit 46 and the current date/time information or the positioning value received from the head mount device 2 by the communication unit 46. The identification information acquisition unit 401 determines whether or not to select an image associated with the acquired device ID. Specifically, the image providing unit 402 associates the mounting user ID that matches the head mounted device ID or the planned user ID with the device ID acquired by the device identification information acquisition unit 401 in the image selection information, and , The device ID acquired by the device identification information acquisition unit 401 is associated with the device ID acquired by the device identification information acquisition unit 401 and the positioning value that matches the current date and time information that matches the scheduled date and time information or the position condition. It is determined that the image associated with the ID is selected, and if not, it is determined that the image associated with the device ID acquired by the device identification information acquisition unit 401 is not selected. If the image providing unit 402 determines to select the image, the image providing unit 402 acquires the image from the storage device 6. On the other hand, when the image providing unit 402 determines not to select the image, the image providing unit 402 does not acquire the image from the storage device 6.

なお、画像提供部４０２は、画像選択情報において、ヘッドマウント装置ＩＤ及び予定ユーザＩＤに一致する装着ユーザＩＤと装置識別情報取得部４０１が取得した装置ＩＤとが関連付けられており、且つ、予定日時情報に一致する現在日時情報又は位置条件に一致する測位値と装置識別情報取得部４０１が取得した装置ＩＤとが関連付けられている場合には、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択すると判定し、そうではない場合には、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択しないと判定してもよい。また、画像提供部４０２は、画像選択情報において、ヘッドマウント装置ＩＤ又は予定ユーザＩＤに一致する装着ユーザＩＤと装置識別情報取得部４０１が取得した装置ＩＤとが関連付けられており、且つ、予定日時情報に一致する現在日時情報及び位置条件に一致する測位値と装置識別情報取得部４０１が取得した装置ＩＤとが関連付けられている場合には、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択すると判定し、そうではない場合には、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択しないと判定してもよい。また、画像提供部４０２は、画像選択情報において、ヘッドマウント装置ＩＤ及び予定ユーザＩＤに一致する装着ユーザＩＤと装置識別情報取得部４０１が取得した装置ＩＤとが関連付けられており、且つ、予定日時情報に一致する現在日時情報及び位置条件に一致する測位値と装置識別情報取得部４０１が取得した装置ＩＤとが関連付けられている場合には、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択すると判定し、そうではない場合には、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択しないと判定してもよい。 The image providing unit 402 associates the mounting user ID that matches the head mounted device ID and the planned user ID with the device ID acquired by the device identification information acquisition unit 401 in the image selection information, and the scheduled date and time. If the current date/time information that matches the information or the positioning value that matches the position condition and the device ID acquired by the device identification information acquisition unit 401 are associated, the device ID acquired by the device identification information acquisition unit 401 is associated. It may be determined that the selected image is selected, and if not, it may be determined that the image associated with the device ID acquired by the device identification information acquisition unit 401 is not selected. In the image selection information, the image providing unit 402 associates the wearing user ID that matches the head mounted device ID or the scheduled user ID with the device ID acquired by the device identification information acquisition unit 401, and the scheduled date and time. When the current date/time information that matches the information and the positioning value that matches the position condition are associated with the device ID acquired by the device identification information acquisition unit 401, the device ID acquired by the device identification information acquisition unit 401 is associated. It may be determined that the selected image is selected, and if not, it may be determined that the image associated with the device ID acquired by the device identification information acquisition unit 401 is not selected. In the image selection information, the image providing unit 402 associates the mounted user ID that matches the head mounted device ID and the planned user ID with the device ID acquired by the device identification information acquisition unit 401, and the planned date and time. When the current date/time information that matches the information and the positioning value that matches the position condition are associated with the device ID acquired by the device identification information acquisition unit 401, the device ID acquired by the device identification information acquisition unit 401 is associated. It may be determined that the selected image is selected, and if not, it may be determined that the image associated with the device ID acquired by the device identification information acquisition unit 401 is not selected.

画像提供部４０２は、該判定の結果、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像を選択しない場合には、本処理を中断させる。この場合、画像提供部４０２は、作業者Ｘに対して作業内容を再確認するように警告する内容の警告画像を、通信部４６によってヘッドマウント装置２へ送信する。該警告画像は、ヘッドマウント装置２の通信部２４によって受信されて表示部２２に表示される。この表示部２２に表示された警告画像によって、作業者Ｘに対し、現在実施しようとしている作業内容を再確認するように警告することができる。これにより、作業者Ｘが現在実施しようとしている作業内容が作業計画とは異なり誤って作業を実施してしまうことを未然に防止する効果が得られる。また、警告画像と共に、音声によって警告の旨を作業者Ｘに伝えてもよい。 If the image providing unit 402 does not select the image associated with the device ID acquired by the device identification information acquiring unit 401 as a result of the determination, the image providing unit 402 interrupts this process. In this case, the image providing unit 402 transmits, to the head mount device 2 by the communication unit 46, a warning image that warns the worker X to reconfirm the work content. The warning image is received by the communication unit 24 of the head mount device 2 and displayed on the display unit 22. With the warning image displayed on the display unit 22, it is possible to warn the worker X to reconfirm the work content that he is currently trying to perform. As a result, it is possible to prevent the work content that the worker X is currently trying to carry out from being carried out by mistake unlike the work plan. In addition to the warning image, the operator X may be notified of the warning by voice.

また、装置識別情報取得部４０１が取得した装置ＩＤに加えて、ヘッドマウント装置ＩＤ又は装着ユーザＩＤと、現在日時情報又はヘッドマウント装置２の測位値とに基づいて画像を送信するか否かが判定されるので、画像の情報（例えば、作業マニュアルの情報等）の漏洩を防ぐ効果が得られる。例えば、第三者がヘッドマウント装置２を装着した場合、装置ＩＤが画像選択情報に一致しても、画像選択情報の予定日時情報や位置条件に一致しなければ画像はヘッドマウント装置２へ送信されないので、画像の情報が第三者に漏洩することを防ぐことができる。 Whether or not an image is to be transmitted based on the device ID acquired by the device identification information acquisition unit 401, the head mount device ID or the wearing user ID, and the current date/time information or the positioning value of the head mount device 2 is determined. Since the determination is made, it is possible to obtain the effect of preventing leakage of image information (for example, work manual information). For example, when a third party wears the head mount device 2, the image is transmitted to the head mount device 2 if the device ID matches the image selection information but does not match the scheduled date/time information or the position condition of the image selection information. Since it is not performed, it is possible to prevent the image information from being leaked to a third party.

なお、記憶装置６が作業内容を示すキーワードと装置ＩＤとに関連付けされる画像を格納し、画像提供部４０２は、該キーワードと装置ＩＤとに基づいて、ヘッドマウント装置２へ送信する画像を取得してもよい。作業内容を示すキーワードは、例えば、音声によって入力されてもよい。
以上が画像取得方法の例の説明である。説明を図７に戻す。 The storage device 6 stores the image associated with the keyword indicating the work content and the device ID, and the image providing unit 402 acquires the image to be transmitted to the head mount device 2 based on the keyword and the device ID. You may. The keyword indicating the work content may be input by voice, for example.
The above is the description of the example of the image acquisition method. The description returns to FIG. 7.

（ステップＳ２０４）画像提供部４０２は、記憶装置６から取得した画像と該画像の画像ＩＤとを通信部４６によってヘッドマウント装置２へ送信する。該画像はヘッドマウント装置２の通信部２４によって受信されて表示部２２により表示される。 (Step S204) The image providing unit 402 transmits the image acquired from the storage device 6 and the image ID of the image to the head mount device 2 by the communication unit 46. The image is received by the communication unit 24 of the head mount device 2 and displayed on the display unit 22.

（ステップＳ２０５）本処理を継続する場合には図８のステップＳ２０６へ進み、そうではない場合には図７及び図８の処理を終了する。図７及び図８に示される処理は、例えば、情報処理装置４においてプログラム４７の実行が終了されることにより終了になる。 (Step S205) If this process is to be continued, the process proceeds to step S206 of FIG. 8, and if not, the processes of FIGS. 7 and 8 are ended. The processing shown in FIGS. 7 and 8 ends when the execution of the program 47 in the information processing apparatus 4 ends, for example.

（ステップＳ２０６）通信部４６は、ヘッドマウント装置２から、撮像画像等のデータを受信する。 (Step S206) The communication unit 46 receives data such as a captured image from the head mount device 2.

（ステップＳ２０７）判断部４０３は、通信部４６によってヘッドマウント装置２から受信した視線情報と画像ＩＤとを使用して、ヘッドマウント装置２の表示部２２に表示されている画像の表示終了を判断する処理を実行する。この表示終了の判断方法の例を以下に説明する。 (Step S207) The determination unit 403 determines the display end of the image displayed on the display unit 22 of the head mount device 2 using the line-of-sight information and the image ID received from the head mount device 2 by the communication unit 46. Execute the process. An example of the method of determining the end of display will be described below.

［表示終了の判断方法の例］
記憶装置６は、作業者の視線によって特定される情報を画像に関連付けて記憶している。記憶装置６に格納されている図５に例示される画像情報において、付加情報は、作業者の視線によって特定される情報を有する。作業者の視線によって特定される情報のことを視線特定情報と称する場合がある。 [Example of how to determine the end of display]
The storage device 6 stores the information specified by the line of sight of the worker in association with the image. In the image information illustrated in FIG. 5 stored in the storage device 6, the additional information has information specified by the line of sight of the operator. Information specified by the line of sight of the operator may be referred to as line-of-sight identification information.

例えば、装置ＩＤ「ＤＩＤ＿ａ」に関連付けられた画像関連情報の付加情報ａａ１は、画像ａ１についての視線特定情報を有する。例えば、視線特定情報は、作業者の視線によって特定される画像ａ１内の位置を示す情報である。視線特定情報が示す画像ａ１内の位置には、例えば、作業者が確認すべき情報が存在する。作業者が確認すべき情報として、例えば、作業が正しく実施されるように導くチェック項目が挙げられる。 For example, the additional information aa1 of the image-related information associated with the device ID “DID_a” has the line-of-sight identification information about the image a1. For example, the line-of-sight identification information is information indicating the position in the image a1 identified by the line of sight of the worker. At the position in the image a1 indicated by the line-of-sight specifying information, for example, there is information to be confirmed by the operator. The information to be confirmed by the worker includes, for example, check items for guiding the work to be carried out correctly.

作業者Ｘがヘッドマウント装置２を頭部に装着しており、該ヘッドマウント装置２の表示部２２が画像ａ１を表示している。この時に視線検出部２８が検出した結果の視線情報が示す視線が、付加情報ａａ１の視線特定情報が示す画像ａ１内の位置に合っていれば、該作業者Ｘは該視線特定情報が示す画像ａ１内の位置に存在する情報を視認したと判断することができる。 The worker X wears the head mount device 2 on his/her head, and the display unit 22 of the head mount device 2 displays the image a1. At this time, if the line-of-sight indicated by the line-of-sight information detected by the line-of-sight detection unit 28 is aligned with the position in the image a1 indicated by the line-of-sight identification information of the additional information aa1, the worker X indicates the image indicated by the line-of-sight identification information. It can be determined that the information existing at the position in a1 is visually recognized.

判断部４０３は、記憶装置６に格納されている画像情報に含まれる画像関連情報であって装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像関連情報から、通信部４６によってヘッドマウント装置２から受信した画像ＩＤに関連付けられている付加情報を取得する。例えば、判断部４０３は、装置識別情報取得部４０１が取得した装置ＩＤ「ＤＩＤ＿ａ」に関連付けられている画像関連情報から、ヘッドマウント装置２から受信した画像ＩＤ「ＩＭＩＤ＿ａ１」に関連付けられている付加情報ａａ１を取得する。ヘッドマウント装置２から受信した画像ＩＤ「ＩＭＩＤ＿ａ１」は、該ヘッドマウント装置２の表示部２２が表示している画像ａ１の画像ＩＤである。 The determination unit 403 uses the communication unit 46 to determine the head based on the image-related information included in the image information stored in the storage device 6 and associated with the device ID acquired by the device identification information acquisition unit 401. The additional information associated with the image ID received from the mount device 2 is acquired. For example, the determination unit 403 uses the image-related information associated with the device ID “DID_a” acquired by the device identification information acquisition unit 401 with the additional information associated with the image ID “IMID_a1” received from the head mounted device 2. Get aa1. The image ID “IMID_a1” received from the head mount device 2 is the image ID of the image a1 displayed on the display unit 22 of the head mount device 2.

判断部４０３は、該取得した付加情報ａａ１と、通信部４６によってヘッドマウント装置２から受信した視線情報とに基づいて、ヘッドマウント装置２の表示部２２に表示されている画像ａ１の表示終了を判断する。通信部４６によってヘッドマウント装置２から受信した視線情報は、該ヘッドマウント装置２の表示部２２が画像ａ１を表示している時に検出された視線情報である。判断部４０３は、ヘッドマウント装置２から受信した視線情報が示す視線が、付加情報ａａ１の視線特定情報が示す画像ａ１内の位置に合っているか否かを判断する。判断部４０３は、該判断の結果、該視線が該画像ａ１内の位置に合っている場合には画像ａ１の表示を終了すると判断する。これは、ヘッドマウント装置２を装着している作業者Ｘが、視線特定情報が示す画像ａ１内の位置に存在する情報を視認したと判断できるからである。 The determination unit 403 terminates the display of the image a1 displayed on the display unit 22 of the head mount device 2 based on the acquired additional information aa1 and the line-of-sight information received from the head mount device 2 by the communication unit 46. to decide. The line-of-sight information received from the head mount device 2 by the communication unit 46 is the line-of-sight information detected while the display unit 22 of the head mount device 2 is displaying the image a1. The determination unit 403 determines whether or not the line of sight indicated by the line-of-sight information received from the head mount device 2 matches the position in the image a1 indicated by the line-of-sight identification information of the additional information aa1. As a result of the determination, the determination unit 403 determines to end the display of the image a1 when the line of sight matches the position in the image a1. This is because it can be determined that the worker X wearing the head mount device 2 visually recognized the information existing at the position in the image a1 indicated by the line-of-sight identification information.

一方、判断部４０３は、該判断の結果、該視線が該画像ａ１内の位置に合っていない場合には画像ａ１の表示を終了しないと判断する。これは、ヘッドマウント装置２を装着している作業者Ｘが、視線特定情報が示す画像ａ１内の位置に存在する情報を視認したとは判断できないからである。なお、判断部４０３は、画像ａ１の表示を終了しないと判断した場合に、本処理を中断させてもよい。この場合、画像提供部４０２は、作業者Ｘに対して作業内容を再確認するように警告する内容の警告画像を、通信部４６によってヘッドマウント装置２へ送信する。該警告画像は、ヘッドマウント装置２の通信部２４によって受信されて表示部２２に表示される。この表示部２２に表示された警告画像によって、作業者Ｘに対し、現在実施しようとしている作業内容を再確認するように警告することができる。これにより、作業者Ｘが現在実施しようとしている作業内容が作業計画とは異なり誤って作業を実施してしまうことを未然に防止する効果が得られる。また、警告画像と共に、音声によって警告の旨を作業者Ｘに伝えてもよい。 On the other hand, as a result of the determination, the determination unit 403 determines that the display of the image a1 is not ended if the line of sight does not match the position in the image a1. This is because it cannot be determined that the worker X wearing the head mount device 2 visually recognized the information existing at the position in the image a1 indicated by the line-of-sight identification information. Note that the determination unit 403 may suspend this process when determining that the display of the image a1 should not be terminated. In this case, the image providing unit 402 transmits, to the head mount device 2 by the communication unit 46, a warning image that warns the worker X to reconfirm the work content. The warning image is received by the communication unit 24 of the head mount device 2 and displayed on the display unit 22. With the warning image displayed on the display unit 22, it is possible to warn the worker X to reconfirm the work content that he is currently trying to perform. As a result, it is possible to prevent the work content that the worker X is currently trying to carry out from being carried out by mistake unlike the work plan. In addition to the warning image, the operator X may be notified of the warning by voice.

［表示終了の判断方法の他の例］
ヘッドマウント装置２において、収音部３０は、ヘッドマウント装置２を装着する作業者Ｘの音声を収音する。制御部２１は、収音部３０が収音した音声に基づいて表示部２２に表示されている画像の表示終了を判断した場合に、情報処理装置４へ画像の表示終了を通知する。情報処理装置４において、画像提供部４０２は、ヘッドマウント装置２から画像の表示終了を通知されると、装置識別情報取得部４０１が取得した装置ＩＤで識別される対象装置に適用される次の画像を記憶装置６から取得し、取得した画像をヘッドマウント装置２へ提供する。 [Another example of the display end determination method]
In the head mount device 2, the sound pickup unit 30 picks up the voice of the worker X who wears the head mount device 2. When the control unit 21 determines that the display of the image displayed on the display unit 22 has ended based on the sound picked up by the sound pickup unit 30, the control unit 21 notifies the information processing device 4 of the end of the image display. In the information processing device 4, when the image mounting unit 402 is notified by the head mount device 2 that the display of the image has ended, the image providing unit 402 applies the following to the target device identified by the device ID acquired by the device identification information acquisition unit 401. An image is acquired from the storage device 6, and the acquired image is provided to the head mount device 2.

以上が表示終了の判断方法の例の説明である。説明を図８に戻す。 The above is the description of the example of the method of determining the display end. The description returns to FIG.

（ステップＳ２０８）ステップＳ２０７の判断の結果が表示を終了するである場合にはステップＳ２０９に進み、そうではない場合にはステップＳ２０６に戻る。 (Step S208) If the result of the determination in step S207 is to end the display, the process proceeds to step S209, and if not, the process returns to step S206.

（ステップＳ２０９）画像提供部４０２は、承認入力部４０４によって画像の表示終了の承認の入力を受け付け済みであるか否かを判断する。この判断の結果、画像の表示終了の承認の入力を受け付け済みである場合にはステップＳ２１０へ進み、そうではない場合にはステップＳ２０９の処理を継続する。承認入力部４０４は、画像の表示終了の承認の入力を受け付けが未完了である場合には、画像の表示終了の承認の入力を受け付ける処理を実行する。 (Step S209) The image providing unit 402 determines whether or not the approval input unit 404 has received an approval input to end displaying the image. As a result of this determination, if the input of the approval for ending the display of the image has been received, the process proceeds to step S210, and if not, the process of step S209 is continued. The approval input unit 404 executes a process of accepting the input of approval to end the display of the image when the acceptance of the input of approval to end the display of the image is not completed.

なお、本処理の実行条件の一設定項目である「画像の表示終了の承認の入力の受け付けの要否の設定項目」に設定されている内容が「承認の入力の受け付けを行わない」である場合には、ステップＳ２０９の処理を飛ばしてステップＳ２１０へ進む。つまり、「画像の表示終了の承認の入力の受け付けの要否の設定項目」に設定されている内容が「承認の入力の受け付けを行う」である場合にはステップＳ２０９の処理を実行し、そうではない場合にはステップＳ２０９の処理を実行しないでステップＳ２１０へ進む。 It should be noted that the content set in the “setting item for whether acceptance of input of approval of end of image display is set”, which is one setting item of execution conditions of this process, is “not accepting input of approval”. In this case, the process of step S209 is skipped and the process proceeds to step S210. In other words, if the content set in “Setting item for accepting acceptance of input of approval of display end of image” is “accept input of approval”, the process of step S209 is executed. If not, the process proceeds to step S210 without executing the process of step S209.

ここで、承認入力部４０４が画像の表示終了の承認の入力を受け付ける方法の例を説明する。 Here, an example of a method in which the approval input unit 404 receives an input of approval for ending display of an image will be described.

［画像の表示終了の承認の入力受付方法の例１］
承認入力部４０４は、表示制御部４０５によって、ヘッドマウント装置２の表示部２２に表示されている画像の表示終了を承認するか否かの入力操作を行う表示終了承認入力画面を表示部４５に表示させる。この時、情報処理装置４の表示部４５には表示制御部４０５によって撮像画像が表示されている。承認者Ｙは、該表示部４５に表示されている撮像画像等を確認し、表示終了承認入力画面に対する入力操作を行う。承認者Ｙが、表示終了承認入力画面に対して承認する入力操作を行った場合には、ヘッドマウント装置２の表示部２２に表示されている画像の表示終了の承認の入力を受け付け済みの状態になる。 [Example 1 of input acceptance method for approval of image display end]
The approval input unit 404 causes the display control unit 405 to display on the display unit 45 a display end approval input screen for performing an input operation as to whether or not to approve the display end of the image displayed on the display unit 22 of the head mount device 2. Display it. At this time, the display control unit 405 displays the captured image on the display unit 45 of the information processing device 4. The approver Y confirms the captured image and the like displayed on the display unit 45 and performs an input operation on the display end approval input screen. When the approver Y performs an input operation to approve the display end approval input screen, a state in which the approval input to end the display of the image displayed on the display unit 22 of the head mount device 2 has been accepted become.

一方、承認者Ｙが、表示終了承認入力画面に対して承認しない入力操作を行った場合には、ヘッドマウント装置２の表示部２２に表示されている画像の表示終了の承認の入力をまだ受け付けていない状態になる。承認入力部４０４は、該表示終了承認入力画面によって承認しない入力操作が行われた場合には本処理を中断させる。この場合、画像提供部４０２は、作業者Ｘに対して作業内容を再確認するように警告する内容の警告画像を、通信部４６によってヘッドマウント装置２へ送信する。該警告画像は、ヘッドマウント装置２の通信部２４によって受信されて表示部２２に表示される。この表示部２２に表示された警告画像によって、作業者Ｘに対し、現在実施しようとしている作業内容を再確認するように警告することができる。これにより、作業者Ｘが現在実施しようとしている作業内容が作業計画とは異なり誤って作業を実施してしまうことを未然に防止する効果が得られる。また、警告画像と共に、音声によって警告の旨を作業者Ｘに伝えてもよい。 On the other hand, if the approver Y performs an unapproved input operation on the display end approval input screen, the approval input for the display end of the image displayed on the display unit 22 of the head mount device 2 is still accepted. Not in a state. The approval input unit 404 suspends this processing when an input operation not approved is performed on the display end approval input screen. In this case, the image providing unit 402 transmits, to the head mount device 2 by the communication unit 46, a warning image that warns the worker X to reconfirm the work content. The warning image is received by the communication unit 24 of the head mount device 2 and displayed on the display unit 22. With the warning image displayed on the display unit 22, it is possible to warn the worker X to reconfirm the work content that he is currently trying to perform. As a result, it is possible to prevent the work content that the worker X is currently trying to carry out from being carried out by mistake unlike the work plan. In addition to the warning image, the operator X may be notified of the warning by voice.

［画像の表示終了の承認の入力受付方法の例２］
画像の表示終了の承認の入力受付方法の例２では、上記の画像の表示終了の承認の入力受付方法の例１において、承認入力部４０４は、作業者に応じて表示終了承認入力画面を表示部４５に表示させるか否かを判断する。この表示終了承認入力画面の表示の要否の判断方法の例を以下に説明する。 [Example 2 of input acceptance method for approval of image display end]
In Example 2 of the input acceptance method of the approval of the display end of the image, in the example 1 of the acceptance input method of the approval of the end of the image display, the approval input unit 404 displays the display end approval input screen according to the worker. It is determined whether or not to display on the unit 45. An example of a method of determining whether or not to display the display end approval input screen will be described below.

［表示終了承認入力画面の表示の要否の判断方法の例２−１］
表示終了承認入力画面の表示の要否の判断方法の例１では、作業者毎に、表示終了承認入力画面の表示の要否を予め設定しておく。具体的には、作業者のユーザＩＤと、表示終了承認入力画面の表示の要否を示す表示終了承認入力画面要否情報とを関連付けた作業者リストを、予め記憶装置６に格納しておく。情報処理装置４には、ヘッドマウント装置２を頭部に装着している作業者ＸのユーザＩＤ（装着ユーザＩＤ）が入力される。例えば、承認者Ｙが、装着ユーザＩＤを情報処理装置４に入力する。承認入力部４０４は、記憶装置６に格納されている作業者リストから、該装着ユーザＩＤに関連付けられている表示終了承認入力画面要否情報を取得する。承認入力部４０４は、該作業者リストから取得した表示終了承認入力画面要否情報が「表示要」を示す場合には、表示制御部４０５によって表示終了承認入力画面を表示部４５に表示させる。 [Example 2-1 of Method of Determining Necessity of Display of Display End Approval Input Screen]
In Example 1 of the method of determining the necessity of displaying the display end approval input screen, the necessity of displaying the display end approval input screen is preset for each worker. Specifically, a worker list in which the user ID of the worker and the display end approval input screen necessity information indicating the necessity of displaying the display end approval input screen are associated with each other is stored in the storage device 6 in advance. .. The user ID (wearing user ID) of the worker X who wears the head mount device 2 on the head is input to the information processing device 4. For example, the approver Y inputs the wearing user ID into the information processing device 4. The approval input unit 404 acquires the display end approval input screen necessity information associated with the wearing user ID from the worker list stored in the storage device 6. When the display end approval input screen necessity information acquired from the worker list indicates “display required”, the approval input unit 404 causes the display control unit 405 to display the display end approval input screen on the display unit 45.

一方、承認入力部４０４は、該作業者リストから取得した表示終了承認入力画面要否情報が「表示否」を示す場合には、表示終了承認入力画面の表示を行わない。この表示終了承認入力画面の表示を行わない場合には、そのままステップＳ２１０へ進む。 On the other hand, the approval input unit 404 does not display the display end approval input screen when the display end approval input screen necessity information acquired from the worker list indicates “display prohibited”. If the display end approval input screen is not displayed, the process directly proceeds to step S210.

［表示終了承認入力画面の表示の要否の判断方法の例２−２］
表示終了承認入力画面の表示の要否の判断方法の例２では、作業者のレベルに応じて、表示終了承認入力画面の表示の要否を判断する。図１１は、本実施形態に係る記憶装置６に格納される作業者レベル情報の構成例を示す図である。図１１において、作業者レベル情報は、作業者毎に、作業者のユーザＩＤと作業者レベルとの組を有する。作業者レベルは、作業者の熟練度を表す情報である。図１１の例では、作業者レベルは、「高」と「中」と「低」との３段階がある。作業者レベル「高」は、３段階のうち熟練度が最も高い段階を表す。作業者レベル「低」は、３段階のうち熟練度が最も低い段階を表す。作業者レベル「中」は、作業者レベル「高」又は「低」のいずれにも属さない中くらいの熟練度の段階を表す。 [Example 2-2 of method of determining necessity of display end approval input screen]
In Example 2 of the method of determining the necessity of displaying the display end approval input screen, the necessity of displaying the display end approval input screen is determined according to the level of the worker. FIG. 11 is a diagram showing a configuration example of worker level information stored in the storage device 6 according to the present embodiment. In FIG. 11, the worker level information has a set of a worker user ID and a worker level for each worker. The worker level is information indicating the skill level of the worker. In the example of FIG. 11, the worker level has three levels of “high”, “medium”, and “low”. The worker level “high” represents the highest skill level among the three levels. The worker level "low" represents the stage with the lowest skill level among the three stages. The worker level "medium" represents a stage of medium skill level that does not belong to any of the worker levels "high" or "low".

情報処理装置４には、ヘッドマウント装置２を頭部に装着している作業者ＸのユーザＩＤ（装着ユーザＩＤ）が入力される。例えば、承認者Ｙが、装着ユーザＩＤを情報処理装置４に入力する。承認入力部４０４は、記憶装置６に格納されている作業者レベル情報から、該装着ユーザＩＤに関連付けられている作業者レベルを取得する。承認入力部４０４は、該作業者レベル情報から取得した作業者レベルが所定の作業者レベル未満である場合には、表示制御部４０５によって表示終了承認入力画面を表示部４５に表示させる。例えば、承認入力部４０４は、該作業者レベル情報から取得した作業者レベルが「高」未満である場合には、つまり、作業者レベルが「中」又は「低」である場合には、表示制御部４０５によって表示終了承認入力画面を表示部４５に表示させる。 The user ID (wearing user ID) of the worker X who wears the head mount device 2 on the head is input to the information processing device 4. For example, the approver Y inputs the wearing user ID into the information processing device 4. The approval input unit 404 acquires the worker level associated with the wearing user ID from the worker level information stored in the storage device 6. When the worker level acquired from the worker level information is lower than the predetermined worker level, the approval input unit 404 causes the display control unit 405 to display the display end approval input screen on the display unit 45. For example, the approval input unit 404 displays when the worker level acquired from the worker level information is less than “high”, that is, when the worker level is “medium” or “low”. The control unit 405 causes the display unit 45 to display a display end approval input screen.

一方、承認入力部４０４は、該作業者レベル情報から取得した作業者レベルが所定の作業者レベル以上である場合には、表示終了承認入力画面の表示を行わない。例えば、承認入力部４０４は、該作業者レベル情報から取得した作業者レベルが「高」以上である場合には、つまり、作業者レベルが「高」である場合には、表示終了承認入力画面の表示を行わない。この表示終了承認入力画面の表示を行わない場合には、そのままステップＳ２１０へ進む。 On the other hand, the approval input unit 404 does not display the display end approval input screen when the worker level acquired from the worker level information is equal to or higher than the predetermined worker level. For example, the approval input unit 404 displays the display end approval input screen when the worker level acquired from the worker level information is “high” or higher, that is, when the worker level is “high”. Is not displayed. If the display end approval input screen is not displayed, the process directly proceeds to step S210.

［画像の表示終了の承認の入力受付方法の例３］
画像の表示終了の承認の入力受付方法の例３では、画像の表示終了の承認の入力を行う承認者の選択を行う。この画像の表示終了の承認の入力受付方法の例３は、上記の画像の表示終了の承認の入力受付方法の例１又は例２に適用できる。記憶装置６は、上記した図１１に例示される作業者レベル情報と、図１２に例示される装置難易度情報と、図１３に例示される承認者リストと、を格納する。 [Example 3 of input acceptance method for approval of end of image display]
In Example 3 of the method for accepting the input acceptance of the image display end, the approver who inputs the image display end approval is selected. The example 3 of the input acceptance method of the approval of the display end of the image can be applied to the example 1 or the example 2 of the input acceptance method of the approval of the end of the display of the image. The storage device 6 stores the worker level information illustrated in FIG. 11, the device difficulty information illustrated in FIG. 12, and the approver list illustrated in FIG.

図１２において、装置難易度情報は、装置毎に、装置ＩＤと難易度レベルとの組を有する。難易度レベルは、装置についての作業の難易度を表す情報である。図１２の例では、難易度レベルは、「難」と「中」と「易」との３段階がある。難易度レベル「難」は、３段階のうち難易度が最も難しい段階を表す。難易度レベル「易」は、３段階のうち難易度が最も易しい段階を表す。難易度レベル「中」は、難易度レベル「難」又は「易」のいずれにも属さない中くらいの難易度の段階を表す。 In FIG. 12, the device difficulty level information has a set of a device ID and a difficulty level for each device. The difficulty level is information indicating the difficulty level of work on the device. In the example of FIG. 12, the difficulty level has three levels of “difficult”, “medium”, and “easy”. The difficulty level “difficulty” represents the most difficult level of the three levels. The difficulty level “easy” represents the easiest difficulty level among the three levels. The difficulty level “medium” represents a level of medium difficulty that does not belong to either the difficulty level “difficult” or the “easy”.

図１３において、承認者リストは、承認者毎に、承認者の識別情報（承認者ＩＤ）と承認者レベルとの組を有する。承認者レベルは、承認者の熟練度を表す情報である。図１３の例では、承認者レベルは、「高」と「中」と「低」との３段階がある。承認者レベル「高」は、３段階のうち熟練度が最も高い段階を表す。承認者レベル「低」は、３段階のうち熟練度が最も低い段階を表す。承認者レベル「中」は、承認者レベル「高」又は「低」のいずれにも属さない中くらいの熟練度の段階を表す。 In FIG. 13, the approver list has a group of approver identification information (approver ID) and an approver level for each approver. The approver level is information indicating the skill level of the approver. In the example of FIG. 13, the approver level has three levels of “high”, “medium”, and “low”. The approver level “high” represents the stage with the highest skill level among the three stages. The approver level “low” represents the lowest level of skill among the three levels. The approver level “medium” represents a level of moderate skill that does not belong to either the approver level “high” or “low”.

情報処理装置４には、ヘッドマウント装置２を頭部に装着している作業者ＸのユーザＩＤ（装着ユーザＩＤ）が入力される。例えば、作業管理者が、装着ユーザＩＤを情報処理装置４に入力する。承認入力部４０４は、記憶装置６に格納されている作業者レベル情報から、該装着ユーザＩＤに関連付けられている作業者レベルを取得する。承認入力部４０４は、装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている難易度レベルを、記憶装置６に格納されている装置難易度情報から取得する。 The user ID (wearing user ID) of the worker X who wears the head mount device 2 on the head is input to the information processing device 4. For example, the work manager inputs the wearing user ID into the information processing device 4. The approval input unit 404 acquires the worker level associated with the wearing user ID from the worker level information stored in the storage device 6. The approval input unit 404 acquires the difficulty level associated with the device ID acquired by the device identification information acquisition unit 401 from the device difficulty information stored in the storage device 6.

承認入力部４０４は、該作業者レベル情報から取得した作業者レベルと、該装置難易度情報から取得した難易度レベルとに基づいて、記憶装置６に格納されている承認者リストから画像の表示終了の承認の入力を行う承認者の承認者ＩＤを選択する。承認入力部４０４は、該承認者リストから選択した承認者ＩＤによって、画像の表示終了の承認の入力を受け付ける。例えば、承認入力部４０４は、表示終了承認入力画面に対して入力操作を行う承認者ＩＤの認証を行う。該承認者ＩＤの認証方法の一例として、予め登録されている承認者ＩＤとパスワードの組合せによって、承認者ＩＤの認証を行うことが挙げられる。承認入力部４０４は、承認者リストから選択した承認者ＩＤのみを、認証合格の対象にする。したがって、承認入力部４０４が承認者リストから選択した承認者ＩＤによっては表示終了承認入力画面に対して入力操作を行うことができるが、該承認入力部４０４が承認者リストから選択した承認者ＩＤ以外の他の承認者ＩＤによっては表示終了承認入力画面に対して入力操作を行うことができない。 The approval input unit 404 displays an image from the approver list stored in the storage device 6 based on the worker level acquired from the worker level information and the difficulty level acquired from the device difficulty information. Select the approver ID of the approver who inputs the end approval. The approval input unit 404 accepts the input of approval for ending the display of the image by the approver ID selected from the approver list. For example, the approval input unit 404 authenticates the approver ID who performs an input operation on the display end approval input screen. An example of the method of authenticating the approver ID is to authenticate the approver ID with a combination of a pre-registered approver ID and a password. The approval input unit 404 sets only the approver ID selected from the approver list as the target of the authentication success. Therefore, depending on the approver ID selected by the approval input unit 404 from the approver list, an input operation can be performed on the display end approval input screen. However, the approval input unit 404 selects the approver ID from the approver list. Depending on the approver ID other than the above, the input operation cannot be performed on the display end approval input screen.

［承認者ＩＤの選択方法の例］
画像の表示終了の承認の入力を受け付ける承認者ＩＤの選択方法の例を説明する。作業者レベルと難易度レベルの組合せ毎に承認者レベルを関連付けたレベル対応表を、予め記憶装置６に格納しておく。レベル対応表における関連付けの一例として、作業者レベル「低」と難易度レベル「難」の組合せに対して承認者レベル「高」を関連付ける。該レベル対応表によって、作業者レベルと難易度レベルの組合せに対応する承認者レベルが示される。 [Example of approver ID selection method]
An example of a method of selecting an approver ID that receives an input of approval to finish displaying an image will be described. A level correspondence table in which the approver level is associated with each combination of the worker level and the difficulty level is stored in the storage device 6 in advance. As an example of the association in the level correspondence table, the approver level “high” is associated with the combination of the worker level “low” and the difficulty level “difficult”. The level correspondence table shows the approver level corresponding to the combination of the worker level and the difficulty level.

承認入力部４０４は、作業者レベル情報から取得した作業者レベルと装置難易度情報から取得した難易度レベルの組合せに関連付けられている承認者レベルを、記憶装置６に格納されているレベル対応表から取得する。承認入力部４０４は、該レベル対応表から取得した承認者レベルに関連付けられている承認者ＩＤを、記憶装置６に格納されている承認者リストから取得する。承認者リストから取得する承認者ＩＤは、該当する全ての承認者ＩＤであってもよく、又は、該当する承認者ＩＤのうち一部であってもよい。例えば、作業計画で定められた複数の承認候補者の識別情報に一致する承認者ＩＤのみを承認者リストから取得してもよい。
以上が承認者ＩＤの選択方法の例の説明である。 The approval input unit 404 stores the approver level associated with the combination of the worker level acquired from the worker level information and the difficulty level acquired from the device difficulty level information in the level correspondence table stored in the storage device 6. To get from. The approval input unit 404 acquires the approver ID associated with the approver level acquired from the level correspondence table from the approver list stored in the storage device 6. The approver IDs acquired from the approver list may be all applicable approver IDs, or may be a part of the applicable approver IDs. For example, only the approver IDs that match the identification information of the plurality of approval candidates defined in the work plan may be acquired from the approver list.
The above is the description of the example of the method of selecting the approver ID.

以上が画像の表示終了の承認の入力受付方法の例の説明である。説明を図８に戻す。 The above is the description of the example of the method for accepting the input of the approval for ending the display of the image. The description returns to FIG.

（ステップＳ２１０）画像提供部４０２は、装置識別情報取得部４０１が取得した装置ＩＤで識別される対象装置１０に適用される次の画像を記憶装置６から取得する。該次の画像は、記憶装置６に格納されている画像情報において該装置識別情報取得部４０１が取得した装置ＩＤに関連付けられている画像関連情報に含まれる付加情報であってヘッドマウント装置２の表示部２２に表示されている画像に対応する付加情報によって示される。ヘッドマウント装置２の表示部２２に表示されている画像の画像ＩＤは、通信部４６によってヘッドマウント装置２から受信されている。 (Step S210) The image providing unit 402 acquires from the storage device 6 the next image applied to the target device 10 identified by the device ID acquired by the device identification information acquisition unit 401. The next image is additional information included in the image-related information associated with the device ID acquired by the device identification information acquisition unit 401 in the image information stored in the storage device 6, and is the additional information of the head mount device 2. It is indicated by additional information corresponding to the image displayed on the display unit 22. The image ID of the image displayed on the display unit 22 of the head mount device 2 is received from the head mount device 2 by the communication unit 46.

例えば、図５に例示される画像情報において、ヘッドマウント装置２から受信した画像ＩＤ「ＩＭＩＤ＿ａ１」は、該ヘッドマウント装置２の表示部２２が表示している画像ａ１の画像ＩＤである。画像提供部４０２は、該画像ＩＤ「ＩＭＩＤ＿ａ１」に関連付けられている付加情報ａａ１を記憶装置６から取得する。該付加情報ａａ１は、画像ａ１の次に表示すべき画像を示す次表示画像情報を含む。画像提供部４０２は、記憶装置６から取得した付加情報ａａ１の次表示画像情報に基づいて、画像ａ１の次に表示すべき画像を記憶装置６から取得する。 For example, in the image information illustrated in FIG. 5, the image ID “IMID_a1” received from the head mount device 2 is the image ID of the image a1 displayed on the display unit 22 of the head mount device 2. The image providing unit 402 acquires the additional information aa1 associated with the image ID “IMID_a1” from the storage device 6. The additional information aa1 includes next display image information indicating an image to be displayed next to the image a1. The image providing unit 402 acquires the image to be displayed next to the image a1 from the storage device 6 based on the next display image information of the additional information aa1 acquired from the storage device 6.

（ステップＳ２０４）画像提供部４０２は、記憶装置６から取得した画像と該画像の画像ＩＤとを通信部４６によってヘッドマウント装置２へ送信する。該画像はヘッドマウント装置２の通信部２４によって受信されて表示部２２により表示される。作業者Ｘは、表示部２２によって表示された新しい画像を視認する。ステップＳ２０４の後に図７のステップＳ２０５へ進む。 (Step S204) The image providing unit 402 transmits the image acquired from the storage device 6 and the image ID of the image to the head mount device 2 by the communication unit 46. The image is received by the communication unit 24 of the head mount device 2 and displayed on the display unit 22. The worker X visually recognizes the new image displayed by the display unit 22. After step S204, the process proceeds to step S205 in FIG.

以上が図７及び図８に示される処理の説明である。 The above is the description of the processing illustrated in FIGS. 7 and 8.

図１４は、本実施形態に係る実施例の説明図である。図１４の実施例では、対象装置１０に適用される作業手順を示す作業手順画像を作業者Ｘへ提示する。記憶装置６に格納されている図５に例示される画像情報において、対象装置１０の装置ＩＤに関連付けられている画像関連情報は、該対象装置１０に適用される作業手順を示す作業手順画像を有する。例えば、対象装置１０の装置ＩＤ「ＤＩＤ＿ａ」に関連付けられている画像関連情報において、画像ＩＤ「ＩＭＩＤ＿ａ１」の画像ａ１は、該対象装置１０に適用される作業手順のうち最初の手順１を示す画像であり、画像ＩＤ「ＩＭＩＤ＿ａ２」の画像ａ２は、該対象装置１０に適用される作業手順のうち手順１の次の手順２を示す画像であり、画像ＩＤ「ＩＭＩＤ＿ａ３」の画像ａ３は、該対象装置１０に適用される作業手順のうち手順２の次の手順３を示す画像であり、画像ＩＤ「ＩＭＩＤ＿ａ４」の画像ａ４は、該対象装置１０に適用される作業手順のうち手順３の次の手順４を示す画像であり、画像ＩＤ「ＩＭＩＤ＿ａ２」の画像ａ５は、該対象装置１０に適用される作業手順のうち手順４の次の手順５を示す画像である。 FIG. 14 is an explanatory diagram of an example according to this embodiment. In the embodiment of FIG. 14, the work procedure image showing the work procedure applied to the target device 10 is presented to the worker X. In the image information illustrated in FIG. 5 stored in the storage device 6, the image-related information associated with the device ID of the target device 10 is a work procedure image indicating a work procedure applied to the target device 10. Have. For example, in the image-related information associated with the device ID “DID_a” of the target device 10, the image a1 with the image ID “IMID_a1” is an image showing the first step 1 of the work procedures applied to the target device 10. The image a2 with the image ID “IMID_a2” is an image showing the procedure 2 following the procedure 1 of the work procedures applied to the target device 10, and the image a3 with the image ID “IMID_a3” is the target Of the work procedure applied to the apparatus 10, it is an image showing the procedure 3 next to the procedure 2, and the image a4 of the image ID “IMID_a4” is the next to the procedure 3 of the work procedures applied to the target apparatus 10. The image a5 showing the procedure 4, and the image a5 having the image ID “IMID_a2” is an image showing the procedure 5 following the procedure 4 among the work procedures applied to the target device 10.

画像提供部４０２は、最初に画像ａ１、次いで画像ａ２、次いで画像ａ３、次いで画像ａ４、次いで画像ａ５の順番で、画像ａ１、画像ａ２、画像ａ３、画像ａ４及び画像ａ５をヘッドマウント装置２へ提供する。画像ａ２、画像ａ３、画像ａ４及び画像ａ５は、それぞれの前の画像の表示終了の判断後に、ヘッドマウント装置２へ提供される。さらには、画像ａ２、画像ａ３、画像ａ４及び画像ａ５は、画像の表示終了の承認の入力の受け付けの要の場合には、それぞれ前の画像の表示終了の承認の入力を受け付け後に、ヘッドマウント装置２へ提供される。 The image providing unit 402 first transfers the image a1, the image a2, the image a3, the image a4, and the image a5 to the head mount device 2 in the order of the image a1, the image a2, the image a3, the image a4, and the image a5. provide. The image a2, the image a3, the image a4, and the image a5 are provided to the head mount device 2 after it is determined that the display of the previous images has ended. Furthermore, in the case where the image a2, the image a3, the image a4, and the image a5 are required to receive the input of approval of the display end of the image, the head mount is performed after the input of approval of the display end of the previous image is received. Provided to the device 2.

図１４の例では、作業者Ｘは、手順３の終了後であって、ヘッドマウント装置２の表示部２２が手順４を示す画像ａ４を表示している時に、手順４を行わずに、手順５を行おうとした。この時、判断部４０３は、通信部４６によってヘッドマウント装置２から受信した視線情報に基づいて、画像ａ４の表示を終了しないと判断した。これにより、画像提供部４０２は、作業者Ｘに対して作業内容を再確認するように警告する内容の警告画像を、通信部４６によってヘッドマウント装置２へ送信する。該警告画像は、ヘッドマウント装置２の通信部２４によって受信されて表示部２２に表示される。この表示部２２に表示された警告画像によって、作業者Ｘに対し、現在実施しようとしている作業内容を再確認するように警告することができる。これにより、作業者Ｘが誤って手順５を実施してしまうことを未然に防止する効果が得られる。また、警告画像と共に、音声によって警告の旨を作業者Ｘに伝えてもよい。 In the example of FIG. 14, the worker X does not perform the procedure 4 after the procedure 3 is completed and when the display unit 22 of the head mount device 2 is displaying the image a4 indicating the procedure 4. I tried to do 5. At this time, the determination unit 403 determines not to end the display of the image a4 based on the line-of-sight information received from the head mount device 2 by the communication unit 46. As a result, the image providing unit 402 transmits, to the head mount device 2 by the communication unit 46, a warning image that warns the worker X to reconfirm the work content. The warning image is received by the communication unit 24 of the head mount device 2 and displayed on the display unit 22. With the warning image displayed on the display unit 22, it is possible to warn the worker X to reconfirm the work content he is currently trying to perform. As a result, the effect of preventing the worker X from performing the procedure 5 by mistake can be obtained. In addition to the warning image, the operator X may be notified of the warning by voice.

また、画像提供部４０２は、承認者Ｙが画像ａ４についての表示終了承認入力画面に対して承認しない入力操作を行った場合には、作業者Ｘに対して作業内容を再確認するように警告する内容の警告画像を、通信部４６によってヘッドマウント装置２へ送信する。この警告画像がヘッドマウント装置２の表示部２２に表示されることによって、作業者Ｘに対し、現在実施しようとしている作業内容を再確認するように警告することができる。これにより、作業者Ｘが誤って手順５を実施してしまうことを未然に防止する効果が得られる。また、警告画像と共に、音声によって警告の旨を作業者Ｘに伝えてもよい。 In addition, the image providing unit 402 warns the worker X to reconfirm the work content when the approver Y performs an input operation that does not approve the display end approval input screen for the image a4. The warning image of the content to be transmitted is transmitted to the head mount device 2 by the communication unit 46. By displaying this warning image on the display unit 22 of the head mount device 2, it is possible to warn the worker X to reconfirm the contents of the work he is currently trying to perform. As a result, the effect of preventing the worker X from performing the procedure 5 by mistake can be obtained. In addition to the warning image, the operator X may be notified of the warning by voice.

図１５及び図１６は、ヘッドマウント装置２の表示部２２に表示される画像の例を示す図である。図１５及び図１６の例では、作業者Ｘが実施すべき作業は、対象装置１０−１と対象装置１０−２との間にケーブルを敷設し、該ケーブルで対象装置１０−１と対象装置１０−２とを接続する作業である。装置９０−１、９０−２及び９０−３は、作業対象外の装置である。装置９０−１、９０−２、９０−３のことを対象外装置と称する。 15 and 16 are diagrams illustrating examples of images displayed on the display unit 22 of the head mount device 2. In the examples of FIGS. 15 and 16, the work to be performed by the worker X is to lay a cable between the target device 10-1 and the target device 10-2, and use the cable to target the target device 10-1 and the target device. This is a work for connecting with 10-2. The devices 90-1, 90-2, and 90-3 are devices that are not work targets. The devices 90-1, 90-2, and 90-3 are referred to as non-target devices.

図１５において、ヘッドマウント装置２の表示部２２は、画像ＩＭ１を表示している。画像ＩＭ１は、本作業のケーブルの敷設ルートを示す画像である。作業者Ｘは、対象装置１０−１と対象装置１０−２とを視認すると共に、表示部２２が表示する画像ＩＭ１を視認する。これにより、作業者Ｘは、表示部２２が表示する画像ＩＭ１によって本作業のケーブルの敷設ルートを確認して、実際のケーブルの敷設及び接続の作業を実施することができる。よって、作業者Ｘが作業中に作業手順書を閲覧しながら作業を実施する場合に比して、作業の効率の向上を図ることができる。また、作業者Ｘは、作業手順書を閲覧できるだけの空間がない作業場所であっても、ヘッドマウント装置２の表示部２２に表示されている作業手順画像によって作業手順を確認することができる。 In FIG. 15, the display unit 22 of the head mount device 2 displays the image IM1. The image IM1 is an image showing a cable laying route for this work. The worker X visually recognizes the target device 10-1 and the target device 10-2, and also visually recognizes the image IM1 displayed by the display unit 22. Thereby, the worker X can confirm the cable laying route of the main work by the image IM1 displayed on the display unit 22 and perform the actual cable laying and connecting work. Therefore, the efficiency of the work can be improved as compared with the case where the worker X performs the work while browsing the work procedure manual during the work. Further, the worker X can confirm the work procedure by the work procedure image displayed on the display unit 22 of the head mount device 2 even in a work place where there is no space for viewing the work procedure manual.

図１６において、ヘッドマウント装置２の表示部２２は、警告画像ＩＭ１０１、ＩＭ１０２、ＩＭ１０３、ＩＭ１０４、ＩＭ１０５及びＩＭ１０６を表示している。警告画像ＩＭ１０１及びＩＭ１０２は、該警告画像ＩＭ１０１及びＩＭ１０２の表示に対応する部分が作業対象であることを示している。 In FIG. 16, the display unit 22 of the head mount device 2 displays warning images IM101, IM102, IM103, IM104, IM105, and IM106. The warning images IM101 and IM102 indicate that the portion corresponding to the display of the warning images IM101 and IM102 is the work target.

一方、警告画像ＩＭ１０３、ＩＭ１０４、ＩＭ１０５及びＩＭ１０６は、該警告画像ＩＭ１０３、ＩＭ１０４、ＩＭ１０５及びＩＭ１０６の表示に対応する部分が作業対象ではないことを示している。警告画像ＩＭ１０３は、該警告画像ＩＭ１０３の表示に対応する部分が運用中であり注意するように、作業者Ｘに警告する画像である。警告画像ＩＭ１０４、ＩＭ１０５及びＩＭ１０６は、該警告画像ＩＭ１０４、ＩＭ１０５及びＩＭ１０６の表示に対応する部分が対象外装置であることを作業者Ｘに警告する画像である。警告画像ＩＭ１０５には、過去に誤作業が発生した箇所である旨と、該誤作業が発生した日時とが示されている。 On the other hand, the warning images IM103, IM104, IM105, and IM106 indicate that the portions corresponding to the display of the warning images IM103, IM104, IM105, and IM106 are not work targets. The warning image IM103 is an image that warns the worker X so that the portion corresponding to the display of the warning image IM103 is in operation and should be noted. The warning images IM104, IM105, and IM106 are images that warn the worker X that the portions corresponding to the display of the warning images IM104, IM105, and IM106 are non-target devices. In the warning image IM105, the fact that the incorrect work has occurred in the past and the date and time when the incorrect work has occurred are shown.

警告画像ＩＭ１０１、ＩＭ１０２、ＩＭ１０３、ＩＭ１０４、ＩＭ１０５及びＩＭ１０６によって、作業者Ｘに対し、作業内容の再確認を促すことができる。これにより、作業者Ｘが作業すべき内容とは異なる内容の作業を誤って実施してしまうことを未然に防止する効果が得られる。 The warning images IM101, IM102, IM103, IM104, IM105, and IM106 can prompt the worker X to reconfirm the work content. As a result, it is possible to prevent the worker X from erroneously performing a work having a content different from the work to be performed.

なお、実際に作業者Ｘが実施した作業内容を確認するために、ヘッドマウント装置２の記録部２５に記録されている一定時間分の撮像画像をヘッドマウント装置２から情報処理装置４へ送信し、該一定時間分の撮像画像を情報処理装置４の表示部４５で表示してもよい。例えば、作業者Ｘに警告する時に該作業者Ｘに作業を中断させ、ヘッドマウント装置２の記録部２５に記録されている一定時間分の撮像画像を情報処理装置４の表示部４５で表示するようにしてもよい。これにより、承認者Ｙは、作業者Ｘに警告する時に、該表示部４５が表示する一定時間分の撮像画像によって作業者Ｘが実施した作業内容を把握することができる。作業者Ｘが実施した作業内容を把握することによって、該把握内容を、作業者Ｘに対する警告内容や作業内容の指示などに反映することができる。
なお、情報処理装置４が特定の画像をヘッドマウント装置２へ送信した際には、その旨を情報処理装置４の表示部４５に表示又は承認者Ｙへ通知し、作業者Ｘが装着しているヘッドマウント装置２に表示されている画像と同一の画像を情報処理装置４の表示部４５に表示させてもよい。 In addition, in order to confirm the content of the work actually performed by the worker X, the head mount device 2 transmits to the information processing device 4 the picked-up images for a certain time recorded in the recording unit 25 of the head mount device 2. The captured image for the certain period of time may be displayed on the display unit 45 of the information processing device 4. For example, when a warning is given to the worker X, the worker X is interrupted in the work, and the picked-up images for a certain time recorded in the recording unit 25 of the head mount device 2 are displayed on the display unit 45 of the information processing device 4. You may do it. Thus, when the approver Y warns the worker X, the approver Y can grasp the work content performed by the worker X from the captured images for a certain period of time displayed on the display unit 45. By grasping the work contents performed by the worker X, the grasped contents can be reflected in the warning contents and the work contents instruction to the worker X.
When the information processing device 4 transmits a specific image to the head mount device 2, the fact is displayed on the display unit 45 of the information processing device 4 or notified to the approver Y, and the worker X mounts it. The same image as the image displayed on the head mounted device 2 may be displayed on the display unit 45 of the information processing device 4.

［第２実施形態］
図１７は、本実施形態に係る画像表示システム１ａの構成例を示す図である。図１７において図１の各部に対応する部分には同一の符号を付け、その説明を省略する。図１７に示す画像表示システム１ａでは、図１に示す画像表示システム１に対して通信装置１２を設ける。これ以外は図１に示す画像表示システム１と同じである。但し、ヘッドマウント装置２の通信部２４は、通信装置１２と通信を行う。通信装置１２は、通信回線８を介して、情報処理装置４とデータを送受する。ヘッドマウント装置２は、通信装置１２を介して、情報処理装置４とデータを送受する。 [Second Embodiment]
FIG. 17 is a diagram showing a configuration example of the image display system 1a according to the present embodiment. 17, parts corresponding to the respective parts in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted. In the image display system 1a shown in FIG. 17, the communication device 12 is provided to the image display system 1 shown in FIG. The rest is the same as the image display system 1 shown in FIG. However, the communication unit 24 of the head mount device 2 communicates with the communication device 12. The communication device 12 transmits/receives data to/from the information processing device 4 via the communication line 8. The head mount device 2 transmits/receives data to/from the information processing device 4 via the communication device 12.

ヘッドマウント装置２の通信部２４は、撮像画像等のデータを通信装置１２へ送信する。通信装置１２は、ヘッドマウント装置２から受信した撮像画像等のデータを、通信回線８を介して情報処理装置４へ送信する。 The communication unit 24 of the head mount device 2 transmits data such as a captured image to the communication device 12. The communication device 12 transmits data such as a captured image received from the head mount device 2 to the information processing device 4 via the communication line 8.

情報処理装置４の通信部４６は、通信回線８を介して画像等のデータを通信装置１２へ送信する。通信装置１２は、情報処理装置４から受信した画像等のデータをヘッドマウント装置２へ送信する。ヘッドマウント装置２の通信部２４は、通信装置１２から画像等のデータを受信する。ヘッドマウント装置２の表示部２２は、通信部２４が通信装置１２から受信した画像を表示する。 The communication unit 46 of the information processing device 4 transmits data such as an image to the communication device 12 via the communication line 8. The communication device 12 transmits data such as an image received from the information processing device 4 to the head mount device 2. The communication unit 24 of the head mount device 2 receives data such as an image from the communication device 12. The display unit 22 of the head mount device 2 displays the image received by the communication unit 24 from the communication device 12.

ヘッドマウント装置２の通信部２４と通信装置１２とは、例えばビーエルイー（Bluetooth（登録商標） Low Energy：ＢＬＥ）などの近距離無線通信技術によって無線データ通信を行う。これにより、ヘッドマウント装置２の通信部２４が通信装置１２を介さずに直接に通信回線８を介して情報処理装置４とデータを送受する場合に比して、ヘッドマウント装置２の消費電力を低減することができる。これは、ヘッドマウント装置２のバッテリーの持ちをよくし、ヘッドマウント装置２のより長い使用時間の実現に貢献できる。 The communication unit 24 of the head mount device 2 and the communication device 12 perform wireless data communication by a short-range wireless communication technology such as Bluetooth (registered trademark) low energy (BLE). As a result, the power consumption of the head mount device 2 is reduced as compared with the case where the communication unit 24 of the head mount device 2 directly transmits/receives data to/from the information processing device 4 via the communication line 8 without passing through the communication device 12. It can be reduced. This improves the battery life of the head mount device 2 and can contribute to the realization of a longer use time of the head mount device 2.

通信装置１２として、例えばスマートフォンやタブレットＰＣ等の携帯通信端末装置を適用できる。 As the communication device 12, for example, a mobile communication terminal device such as a smartphone or a tablet PC can be applied.

［第３実施形態］
図１８は、本実施形態に係る画像表示システム１ｂの構成例を示す図である。図１９は、本実施形態に係る情報処理装置４ｂの機能構成例を示す図である。図１８において図１の各部に対応する部分には同一の符号を付け、その説明を省略する。また、図１９において図４の各部に対応する部分には同一の符号を付け、その説明を省略する。図１８に示す画像表示システム１ｂでは、図１に示す画像表示システム１に対して通知情報記憶装置１４を設ける。また、図１８に示す画像表示システム１ｂでは、図１に示す画像表示システム１の情報処理装置４の代わりに情報処理装置４ｂを備える。これら以外は図１に示す画像表示システム１と同じである。 [Third Embodiment]
FIG. 18 is a diagram showing a configuration example of the image display system 1b according to the present embodiment. FIG. 19 is a diagram showing a functional configuration example of the information processing device 4b according to the present embodiment. 18, parts corresponding to the respective parts in FIG. 1 are designated by the same reference numerals, and description thereof will be omitted. Further, in FIG. 19, parts corresponding to the respective parts in FIG. 4 are designated by the same reference numerals, and description thereof will be omitted. In the image display system 1b shown in FIG. 18, the notification information storage device 14 is provided in the image display system 1 shown in FIG. The image display system 1b shown in FIG. 18 includes an information processing device 4b instead of the information processing device 4 of the image display system 1 shown in FIG. Other than these, it is the same as the image display system 1 shown in FIG.

また、図１９に示す情報処理装置４ｂでは、図４に示す情報処理装置４に対してＳＮＳ検索部４１０と通知情報提供部４１１とを設ける。これ以外は図４に示す情報処理装置４と同じである。 Further, in the information processing device 4b shown in FIG. 19, an SNS search unit 410 and a notification information providing unit 411 are provided for the information processing device 4 shown in FIG. Other than this, it is the same as the information processing device 4 shown in FIG.

図２０は、本実施形態に係る通知情報記憶装置１４に格納される通知情報の構成例を示す図である。通知情報記憶装置１４は、キーワードに関連付けて通知情報を記憶する。該通知情報は、ヘッドマウント装置２を装着する作業者Ｘへ通知する情報である。通知情報は、画像による情報であってもよく、又は、音声による情報であってもよい。 FIG. 20 is a diagram showing a configuration example of the notification information stored in the notification information storage device 14 according to this embodiment. The notification information storage device 14 stores the notification information in association with the keyword. The notification information is information to be notified to the worker X who wears the head mount device 2. The notification information may be image information or audio information.

ＳＮＳ検索部４１０は、通知情報記憶装置１４に格納されている通知情報に関連付けられているキーワードを使用して、ソーシャルネットワーキングサービス（social networking service：ＳＮＳ）の投稿記事を検索する。 The SNS search unit 410 searches for posted articles of a social networking service (SNS) using a keyword associated with the notification information stored in the notification information storage device 14.

通知情報提供部４１１は、ＳＮＳ検索部４１０が検索した投稿記事の検索数が所定数以上である場合に、ＳＮＳ検索部４１０が当該検索に使用したキーワードに関連付けられている通知情報を、通知情報記憶装置１４から取得する。通知情報提供部４１１は、該通知情報記憶装置１４から取得した通知情報を、通信部４６によってヘッドマウント装置２へ送信する。該通知情報が画像による情報である場合には、ヘッドマウント装置２の表示部２２が該通知情報の画像を表示する。この表示部２２に表示された通知情報の画像によって、作業者Ｘに対し、該通知情報の内容を伝えることができる。また、通知情報が音声による情報である場合には、ヘッドマウント装置２の音声再生部２９が該通知情報の音声を再生する。この音声再生部２９が再生した通知情報の音声によって、作業者Ｘに対し、該通知情報の内容を伝えることができる。 When the number of searches of posted articles searched by the SNS search unit 410 is equal to or larger than a predetermined number, the notification information provision unit 411 sets the notification information associated with the keyword used by the SNS search unit 410 for the search as the notification information. It is acquired from the storage device 14. The notification information providing unit 411 transmits the notification information acquired from the notification information storage device 14 to the head mount device 2 by the communication unit 46. When the notification information is information by image, the display unit 22 of the head mount device 2 displays the image of the notification information. The content of the notification information can be transmitted to the worker X by the image of the notification information displayed on the display unit 22. Further, when the notification information is information by voice, the audio reproduction unit 29 of the head mount device 2 reproduces the audio of the notification information. The content of the notification information can be transmitted to the worker X by the sound of the notification information reproduced by the audio reproduction unit 29.

通知情報記憶装置１４に格納されるキーワードとして、対象装置１０に対して実施される作業の結果としてＳＮＳの投稿記事に掲載される可能性が高い語句を使用する。また、該キーワードに関連付ける通知情報として、対象装置１０に対して実施される作業の結果として起こる事象についての情報を使用する。例えば、対象装置１０が通信会社Ａの通信装置であって、その作業が通信速度の向上に寄与する作業であるとする。この場合、キーワードとして「通信会社Ａ」、「通信速度」、「繋がらない」、「障害」などを使用し、これらに関連付ける通知情報として「要確認」、「障害発生」などを使用することが挙げられる。これにより、ＳＮＳの投稿記事を利用して作業結果の影響を即時に作業者Ｘに伝えることができる。 As a keyword stored in the notification information storage device 14, a phrase that is likely to be published in an article posted on the SNS as a result of work performed on the target device 10 is used. In addition, as the notification information associated with the keyword, information about an event that occurs as a result of the work performed on the target device 10 is used. For example, it is assumed that the target device 10 is the communication device of the communication company A, and that the work contributes to the improvement of the communication speed. In this case, "telecommunications company A", "communication speed", "not connected", "failure", etc. can be used as keywords, and "confirmation required", "failure occurrence", etc. can be used as notification information associated with these. Can be mentioned. As a result, the effect of the work result can be immediately notified to the worker X by using the posted article on the SNS.

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。 Although the embodiment of the present invention has been described in detail above with reference to the drawings, the specific configuration is not limited to this embodiment, and includes design changes and the like within a range not departing from the gist of the present invention.

上述した情報処理装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 A computer program for realizing the functions of the above-described information processing apparatus may be recorded in a computer-readable recording medium, and the program recorded in this recording medium may be read by a computer system and executed. The “computer system” may include an OS and hardware such as peripheral devices.
The “computer-readable recording medium” is a writable non-volatile memory such as a flexible disk, a magneto-optical disk, a ROM, a flash memory, a portable medium such as a DVD (Digital Versatile Disc), or a built-in computer system. A storage device such as a hard disk.

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 Further, the "computer-readable recording medium" means a volatile memory (for example, a DRAM (Dynamic) in a computer system that serves as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), which also holds the program for a certain period of time.
Further, the program may be transmitted from a computer system that stores the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the "transmission medium" for transmitting the program refers to a medium having a function of transmitting information such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
Further, the program may be a program for realizing a part of the functions described above. Further, it may be a so-called difference file (difference program) that can realize the above-mentioned functions in combination with a program already recorded in the computer system.

１，１ａ，１ｂ…画像表示システム、２…ヘッドマウント装置、４，４ｂ…情報処理装置、６…記憶装置、８…通信回線、１０…対象装置、１２…通信装置、１４…通知情報記憶装置、２１…制御部、２２…表示部、２３…撮像部、２４，４６…通信部、２５…記録部、２６…センサー部、２７…測位部、２８…視線検出部、２９…音声再生部、３０…収音部、４１…ＣＰＵ、４２…メモリ、４３…不揮発性メモリ、４４…操作部、４５…表示部、４７…プログラム、４０１…装置識別情報取得部、４０２…画像提供部、４０３…判断部、４０４…承認入力部、４０５…表示制御部、４１０…ＳＮＳ検索部、４１１…通知情報提供部 1, 1a, 1b... Image display system, 2... Head mount device, 4, 4b... Information processing device, 6... Storage device, 8... Communication line, 10... Target device, 12... Communication device, 14... Notification information storage device , 21... Control unit, 22... Display unit, 23... Imaging unit, 24, 46... Communication unit, 25... Recording unit, 26... Sensor unit, 27... Positioning unit, 28... Line-of-sight detecting unit, 29... Audio reproducing unit, 30... Sound collecting part, 41... CPU, 42... Memory, 43... Non-volatile memory, 44... Operation part, 45... Display part, 47... Program, 401... Device identification information acquisition part, 402... Image providing part, 403... Judgment unit, 404... Approval input unit, 405... Display control unit, 410... SNS search unit, 411... Notification information providing unit

Claims (12)

情報処理装置と、
表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、
前記通信部は、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から画像を受信し、
前記表示部は、前記通信部が前記情報処理装置から受信した画像を表示し、
前記制御部は、前記表示部と前記撮像部とを制御し、
前記情報処理装置は、
前記ヘッドマウント装置の通信部と通信を行う通信部と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記ヘッドマウント装置の通信部へ送信する画像提供部と、を備える画像表示システムであって、
前記記憶装置は、前記ヘッドマウント装置の識別情報又は予定ユーザ識別情報と、予定時刻情報と、装置識別情報と、当該装置識別情報で識別される対象装置に関連付けられた画像の画像識別情報とが関連付けられた画像選択情報を記憶し、
前記画像提供部は、前記ヘッドマウント装置の識別情報又は装着ユーザ識別情報と、時刻情報と、前記画像選択情報とに基づいて、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、画像表示システムであり、
前記画像提供部は、前記判定の結果、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択しない場合には、作業者に対して作業内容を再確認するように警告する内容の警告画像を、前記情報処理装置の通信部によって前記ヘッドマウント装置の通信部へ送信する、
画像表示システム。 An information processing device,
A head mount device including a display unit, an imaging unit, a communication unit, and a control unit;
A storage device that stores an image associated with the target device identified by the device identification information in association with the device identification information,
The communication unit transmits an image captured by the image capturing unit to the information processing device, receives an image from the information processing device,
The display unit displays an image received by the communication unit from the information processing device,
The control unit controls the display unit and the imaging unit,
The information processing device,
A communication unit that communicates with the communication unit of the head mount device;
A device identification information acquisition unit that acquires device identification information of a target device based on an image captured by the imaging unit,
An image providing unit that acquires an image associated with the device identification information acquired by the device identification information acquisition unit from the storage device, and transmits the acquired image to the communication unit of the head mount device by the communication unit of the information processing device. And an image display system including:
The storage device includes identification information of the head mounted device or planned user identification information, scheduled time information, device identification information, and image identification information of an image associated with the target device identified by the device identification information. Stores associated image selection information,
The image providing unit is associated with the device identification information acquired by the device identification information acquisition unit based on the identification information of the head mount device or the wearing user identification information, the time information, and the image selection information. It is determined whether or not an image is selected, the image is transmitted to the head mount device when it is determined that the image is selected, and the image is transmitted when the image is not selected. It is an image display system that does not send to
If the image providing unit does not select the image associated with the device identification information acquired by the device identification information acquiring unit as a result of the determination, the image providing unit warns the operator to reconfirm the work content. A warning image of the content to be transmitted to the communication unit of the head mount device by the communication unit of the information processing device,
Image display system. 情報処理装置と、
表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、
前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から受信した画像を前記ヘッドマウント装置へ出力する通信装置と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、
前記通信部は、前記撮像部が撮像した画像を前記通信装置へ送信し、前記通信装置から画像を受信し、
前記表示部は、前記通信部が前記通信装置から受信した画像を表示し、
前記制御部は、前記表示部と前記撮像部とを制御し、
前記情報処理装置は、
前記通信装置と通信を行う通信部と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記通信装置へ送信する画像提供部と、を備える画像表示システムであって、
前記ヘッドマウント装置の識別情報又は予定ユーザ識別情報と、予定時刻情報と、装置識別情報と、当該装置識別情報で識別される対象装置に関連付けられた画像の画像識別情報とが関連付けられた画像選択情報を備え、
前記画像提供部は、前記ヘッドマウント装置の識別情報又は装着ユーザ識別情報と、時刻情報と、前記画像選択情報とに基づいて、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記通信装置へ送信し、該画像を選択しないと判定した場合には該画像を前記通信装置へ送信しない、画像表示システムであり、
前記画像提供部は、前記判定の結果、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択しない場合には、作業者に対して作業内容を再確認するように警告する内容の警告画像を、前記情報処理装置の通信部によって前記通信装置へ送信する、
画像表示システム。 An information processing device,
A head mount device including a display unit, an imaging unit, a communication unit, and a control unit;
A communication device that transmits an image captured by the image capturing unit to the information processing device and outputs the image received from the information processing device to the head mount device;
A storage device that stores an image associated with the target device identified by the device identification information in association with the device identification information,
The communication unit transmits an image captured by the image capturing unit to the communication device, receives an image from the communication device,
The display unit displays an image received by the communication unit from the communication device,
The control unit controls the display unit and the imaging unit,
The information processing device,
A communication unit that communicates with the communication device;
A device identification information acquisition unit that acquires device identification information of a target device based on an image captured by the imaging unit,
An image providing unit that acquires an image associated with the device identification information acquired by the device identification information acquisition unit from the storage device, and transmits the acquired image to the communication device by the communication unit of the information processing device. An image display system comprising:
Image selection in which identification information of the head mounted device or planned user identification information, scheduled time information, device identification information, and image identification information of an image associated with the target device identified by the device identification information are associated with each other. Equipped with information,
The image providing unit is associated with the device identification information acquired by the device identification information acquisition unit based on the identification information of the head mount device or the wearing user identification information, the time information, and the image selection information. It is determined whether or not an image is selected, and when it is determined that the image is selected, the image is transmitted to the communication device, and when it is determined that the image is not selected, the image is transmitted to the communication device. Not an image display system,
If the image providing unit does not select the image associated with the device identification information acquired by the device identification information acquiring unit as a result of the determination, the image providing unit warns the operator to reconfirm the work content. A warning image of the content to be transmitted to the communication device by the communication unit of the information processing device,
Image display system. 前記画像選択情報は、作業計画に基づいた情報であり、
前記対象装置に関連付けられた画像は、前記作業計画に関連付いた画像である、
請求項１又は２のいずれか１項に記載の画像表示システム。 The image selection information is information based on a work plan,
The image associated with the target device is an image associated with the work plan,
The image display system according to claim 1. 情報処理装置と、
表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、
前記通信部は、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から画像を受信し、
前記表示部は、前記通信部が前記情報処理装置から受信した画像を表示し、
前記制御部は、前記表示部と前記撮像部とを制御し、
前記情報処理装置は、
前記ヘッドマウント装置の通信部と通信を行う通信部と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記ヘッドマウント装置の通信部へ送信する画像提供部と、を備える画像表示システムであって、
前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、
前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、
前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含め、
前記承認入力部は、前記ヘッドマウント装置を装着する作業者の識別情報に応じて、画像の表示終了の承認の入力を受け付ける承認入力画面を前記表示装置に表示させるか否かを判断し、
前記画像提供部は、
前記承認入力画面が前記表示装置に表示される場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含め、
前記承認入力画面が前記表示装置に表示されない場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含めない、
画像表示システム。 An information processing device,
A head mount device including a display unit, an imaging unit, a communication unit, and a control unit;
A storage device that stores an image associated with the target device identified by the device identification information in association with the device identification information,
The communication unit transmits an image captured by the image capturing unit to the information processing device, receives an image from the information processing device,
The display unit displays an image received by the communication unit from the information processing device,
The control unit controls the display unit and the imaging unit,
The information processing device,
A communication unit that communicates with the communication unit of the head mount device;
A device identification information acquisition unit that acquires device identification information of a target device based on an image captured by the imaging unit,
An image providing unit that acquires an image associated with the device identification information acquired by the device identification information acquisition unit from the storage device, and transmits the acquired image to the communication unit of the head mount device by the communication unit of the information processing device. And an image display system including:
Further comprising a display device for displaying an image captured by the image capturing unit received by the communication unit of the information processing device,
The information processing device further includes an approval input unit that receives an input of approval to end displaying an image,
The image providing unit satisfies the condition required to update the image displayed on the display unit to the next image applied to the target device identified by the device identification information acquired by the device identification information acquisition unit. , Including accepting the input of approval of the display end of the image by the approval input unit,
The approval input unit determines whether or not to display an approval input screen that accepts an input of approval for ending display of an image on the display device according to identification information of an operator who wears the head mount device,
The image providing unit,
In the case where the approval input screen is displayed on the display device, the necessary conditions include that the approval of the display end of the image is input by the approval input screen,
In a case where the approval input screen is not displayed on the display device, the required condition does not include the input of approval to end displaying the image by the approval input screen.
Image display system. 情報処理装置と、
表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、
前記通信部は、前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から画像を受信し、
前記表示部は、前記通信部が前記情報処理装置から受信した画像を表示し、
前記制御部は、前記表示部と前記撮像部とを制御し、
前記情報処理装置は、
前記ヘッドマウント装置の通信部と通信を行う通信部と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記ヘッドマウント装置の通信部へ送信する画像提供部と、を備える画像表示システムであって、
前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、
前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、
前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含め、
前記承認入力部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置についての難易度情報と、前記ヘッドマウント装置を装着する作業者の識別情報に関連付けられている作業者レベル情報とに基づいて、承認者のレベルと識別情報とが関連付けられている承認者リストから前記画像の表示終了の承認の入力を行う承認者の識別情報を選択し、選択した承認者の識別情報によって前記画像の表示終了の承認の入力を受け付ける、
画像表示システム。 An information processing device,
A head mount device including a display unit, an imaging unit, a communication unit, and a control unit;
A storage device that stores an image associated with the target device identified by the device identification information in association with the device identification information,
The communication unit transmits an image captured by the image capturing unit to the information processing device, receives an image from the information processing device,
The display unit displays an image received by the communication unit from the information processing device,
The control unit controls the display unit and the imaging unit,
The information processing device,
A communication unit that communicates with the communication unit of the head mount device;
A device identification information acquisition unit that acquires device identification information of a target device based on an image captured by the imaging unit,
An image providing unit that acquires an image associated with the device identification information acquired by the device identification information acquisition unit from the storage device, and transmits the acquired image to the communication unit of the head mount device by the communication unit of the information processing device. And an image display system including:
Further comprising a display device for displaying an image captured by the image capturing unit received by the communication unit of the information processing device,
The information processing device further includes an approval input unit that receives an input of approval to end displaying an image,
The image providing unit satisfies the condition required to update the image displayed on the display unit to the next image applied to the target device identified by the device identification information acquired by the device identification information acquisition unit. , Including accepting the input of approval of the display end of the image by the approval input unit,
The approval input unit is associated with difficulty information about a target device identified by the device identification information acquired by the device identification information acquisition unit and identification information of a worker who wears the head mounted device. Based on the person-level information, the identification information of the approver who inputs the approval for ending the display of the image is selected from the list of approvers associated with the level of the approver and the identification information, Accepting the input of approval of the display end of the image by the identification information,
Image display system. 情報処理装置と、
表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、
前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から受信した画像を前記ヘッドマウント装置へ出力する通信装置と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、
前記通信部は、前記撮像部が撮像した画像を前記通信装置へ送信し、前記通信装置から画像を受信し、
前記表示部は、前記通信部が前記通信装置から受信した画像を表示し、
前記制御部は、前記表示部と前記撮像部とを制御し、
前記情報処理装置は、
前記通信装置と通信を行う通信部と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記通信装置へ送信する画像提供部と、を備える画像表示システムであって、
前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、
前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、
前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含め、
前記承認入力部は、前記ヘッドマウント装置を装着する作業者の識別情報に応じて、画像の表示終了の承認の入力を受け付ける承認入力画面を前記表示装置に表示させるか否かを判断し、
前記画像提供部は、
前記承認入力画面が前記表示装置に表示される場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含め、
前記承認入力画面が前記表示装置に表示されない場合には、前記所要の条件に、前記承認入力画面によって画像の表示終了の承認が入力されることを含めない、
画像表示システム。 An information processing device,
A head mount device including a display unit, an imaging unit, a communication unit, and a control unit;
A communication device that transmits an image captured by the image capturing unit to the information processing device and outputs the image received from the information processing device to the head mount device;
A storage device that stores an image associated with the target device identified by the device identification information in association with the device identification information,
The communication unit transmits an image captured by the image capturing unit to the communication device, receives an image from the communication device,
The display unit displays an image received by the communication unit from the communication device,
The control unit controls the display unit and the imaging unit,
The information processing device,
A communication unit that communicates with the communication device;
A device identification information acquisition unit that acquires device identification information of a target device based on an image captured by the imaging unit,
An image providing unit that acquires an image associated with the device identification information acquired by the device identification information acquisition unit from the storage device, and transmits the acquired image to the communication device by the communication unit of the information processing device. An image display system comprising:
Further comprising a display device for displaying an image captured by the image capturing unit received by the communication unit of the information processing device,
The information processing device further includes an approval input unit that receives an input of approval to end displaying an image,
The image providing unit satisfies the condition required to update the image displayed on the display unit to the next image applied to the target device identified by the device identification information acquired by the device identification information acquisition unit. , Including accepting the input of approval of the display end of the image by the approval input unit,
The approval input unit determines whether or not to display an approval input screen that accepts an input of approval for ending display of an image on the display device according to identification information of an operator who wears the head mount device,
The image providing unit,
In the case where the approval input screen is displayed on the display device, the necessary conditions include that the approval of the display end of the image is input by the approval input screen,
In a case where the approval input screen is not displayed on the display device, the required condition does not include the input of approval to end displaying the image by the approval input screen.
Image display system. 情報処理装置と、
表示部と撮像部と通信部と制御部とを備えるヘッドマウント装置と、
前記撮像部が撮像した画像を前記情報処理装置へ送信し、前記情報処理装置から受信した画像を前記ヘッドマウント装置へ出力する通信装置と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に関連付けられた画像を記憶する記憶装置と、を備え、
前記通信部は、前記撮像部が撮像した画像を前記通信装置へ送信し、前記通信装置から画像を受信し、
前記表示部は、前記通信部が前記通信装置から受信した画像を表示し、
前記制御部は、前記表示部と前記撮像部とを制御し、
前記情報処理装置は、
前記通信装置と通信を行う通信部と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を前記記憶装置から取得し、取得した画像を前記情報処理装置の通信部によって前記通信装置へ送信する画像提供部と、を備える画像表示システムであって、
前記情報処理装置の通信部によって受信した前記撮像部による撮像画像を表示する表示装置をさらに備え、
前記情報処理装置は、画像の表示終了の承認の入力を受け付ける承認入力部をさらに備え、
前記画像提供部は、前記表示部に表示させる画像を、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像に更新することの所要の条件に、前記承認入力部によって画像の表示終了の承認の入力を受け付けることを含め、
前記承認入力部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置についての難易度情報と、前記ヘッドマウント装置を装着する作業者の識別情報に関連付けられている作業者レベル情報とに基づいて、承認者のレベルと識別情報とが関連付けられている承認者リストから前記画像の表示終了の承認の入力を行う承認者の識別情報を選択し、選択した承認者の識別情報によって前記画像の表示終了の承認の入力を受け付ける、
画像表示システム。 An information processing device,
A head mount device including a display unit, an imaging unit, a communication unit, and a control unit;
A communication device that transmits the image captured by the image capturing unit to the information processing device and outputs the image received from the information processing device to the head mount device;
A storage device that stores an image associated with the target device identified by the device identification information in association with the device identification information,
The communication unit transmits an image captured by the image capturing unit to the communication device, receives an image from the communication device,
The display unit displays an image received by the communication unit from the communication device,
The control unit controls the display unit and the imaging unit,
The information processing device,
A communication unit that communicates with the communication device;
A device identification information acquisition unit that acquires device identification information of a target device based on an image captured by the imaging unit,
An image providing unit that acquires an image associated with the device identification information acquired by the device identification information acquisition unit from the storage device, and transmits the acquired image to the communication device by the communication unit of the information processing device. An image display system comprising:
Further comprising a display device for displaying an image captured by the image capturing unit received by the communication unit of the information processing device,
The information processing device further includes an approval input unit that receives an input of approval to end displaying an image,
The image providing unit satisfies the condition required to update the image displayed on the display unit to the next image applied to the target device identified by the device identification information acquired by the device identification information acquisition unit. , Including accepting the input of approval of the display end of the image by the approval input unit,
The approval input unit is associated with difficulty information about a target device identified by the device identification information acquired by the device identification information acquisition unit and identification information of a worker who wears the head mounted device. Based on the person-level information, the identification information of the approver who inputs the approval for ending the display of the image is selected from the list of approvers associated with the level of the approver and the identification information, Accepting the input of approval of the display end of the image by the identification information,
Image display system. 前記ヘッドマウント装置は、前記ヘッドマウント装置を装着する人の音声を収音する収音部をさらに備え、
前記制御部は、前記収音部が収音した音声に基づいて前記ヘッドマウント装置に表示されている画像の表示終了を判断した場合に、前記情報処理装置へ画像の表示終了を通知し、
前記画像提供部は、前記ヘッドマウント装置から画像の表示終了を通知されると、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像を前記記憶装置から取得し、取得した画像を前記ヘッドマウント装置へ提供する、
請求項１から７のいずれか１項に記載の画像表示システム。 The head mount device further includes a sound pickup unit that picks up a voice of a person wearing the head mount device,
The control unit, when determining the display end of the image displayed on the head mounted device based on the sound collected by the sound collection unit, notifies the information processing device of the display end of the image,
When the image providing unit is notified of the display end of the image from the head mount device, the image providing unit stores the next image applied to the target device identified by the device identification information acquired by the device identification information acquisition unit. Acquiring from the device and providing the acquired image to the head mount device,
The image display system according to any one of claims 1 to 7. 前記ヘッドマウント装置を装着する作業者の視線を検出する視線検出部をさらに備え、
前記記憶装置は、作業者の視線によって特定される情報を画像に関連付けて記憶し、
前記制御部は、前記視線検出部が検出した視線を示す視線情報と前記表示部に表示されている画像を識別する画像識別情報とを前記情報処理装置へ提供し、
前記情報処理装置は、
前記視線情報と、前記画像識別情報で識別される画像に関連付けて前記記憶装置に記憶されている情報とに基づいて、前記画像識別情報で識別される画像の表示終了を判断する判断部をさらに備え、
前記画像提供部は、前記装置識別情報取得部が取得した前記装置識別情報で識別される対象装置に適用される次の画像を前記記憶装置から取得し、取得した画像を前記ヘッドマウント装置へ提供する、
請求項１から７のいずれか１項に記載の画像表示システム。 Further comprising a line-of-sight detection unit that detects the line-of-sight of an operator wearing the head mount device,
The storage device stores information specified by an operator's line of sight in association with an image,
The control unit provides the information processing device with visual line information indicating the visual line detected by the visual line detection unit and image identification information for identifying an image displayed on the display unit,
The information processing device,
And a determination unit configured to determine display end of the image identified by the image identification information based on the line-of-sight information and information stored in the storage device in association with the image identified by the image identification information. Prepare,
The image providing unit acquires the next image applied to the target device identified by the device identification information acquired by the device identification information acquisition unit from the storage device, and provides the acquired image to the head mount device. To do
The image display system according to any one of claims 1 to 7. ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、前記ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信部と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得部と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を取得し、取得した画像を前記通信部によって前記ヘッドマウント装置へ提供する画像提供部と、を備える情報処理装置であって、
前記記憶装置は、前記ヘッドマウント装置の識別情報又は予定ユーザ識別情報と、予定時刻情報と、装置識別情報と、当該装置識別情報で識別される対象装置に関連付けられた画像の画像識別情報とが関連付けられた画像選択情報を記憶し、
前記画像提供部は、前記ヘッドマウント装置の識別情報又は装着ユーザ識別情報と、時刻情報と、前記画像選択情報とに基づいて、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、情報処理装置であり、
前記画像提供部は、前記判定の結果、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択しない場合には、作業者に対して作業内容を再確認するように警告する内容の警告画像を、前記通信部によって前記ヘッドマウント装置へ送信する、
情報処理装置。 A communication unit that receives an image captured by an image capturing unit included in the head mount device and transmits an image displayed by a display unit included in the head mount device,
A device identification information acquisition unit that acquires device identification information of a target device based on an image captured by the imaging unit,
From the storage device that stores the image applied to the target device identified by the device identification information in association with the device identification information, obtain the image associated with the device identification information obtained by the device identification information obtaining unit, An information processing apparatus comprising: an image providing unit that provides the acquired image to the head mount device by the communication unit,
The storage device includes identification information of the head mounted device or planned user identification information, scheduled time information, device identification information, and image identification information of an image associated with the target device identified by the device identification information. Stores associated image selection information,
The image providing unit is associated with the device identification information acquired by the device identification information acquisition unit based on the identification information of the head mount device or the wearing user identification information, the time information, and the image selection information. It is determined whether or not an image is selected, the image is transmitted to the head mount device when it is determined that the image is selected, and the image is transmitted when the image is not selected. Is an information processing device that does not send to
If the image providing unit does not select the image associated with the device identification information acquired by the device identification information acquiring unit as a result of the determination, the image providing unit warns the operator to reconfirm the work content. A warning image of the content to be transmitted to the head mount device by the communication unit,
Information processing device. 情報処理装置が、ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、前記ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信ステップと、
前記情報処理装置が、前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得ステップと、
前記情報処理装置が、装置識別情報に関連付けて前記装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、前記装置識別情報取得ステップにより取得した装置識別情報に関連付けられている画像を取得し、取得した画像を前記通信ステップによって前記ヘッドマウント装置へ提供する画像提供ステップと、を含む画像表示方法であって、
前記記憶装置は、前記ヘッドマウント装置の識別情報又は予定ユーザ識別情報と、予定時刻情報と、装置識別情報と、当該装置識別情報で識別される対象装置に関連付けられた画像の画像識別情報とが関連付けられた画像選択情報を記憶し、
前記情報処理装置は、前記ヘッドマウント装置の識別情報又は装着ユーザ識別情報と、時刻情報と、前記画像選択情報とに基づいて、前記装置識別情報取得ステップにより取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、画像表示方法であり、
前記情報処理装置は、前記判定の結果、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択しない場合には、作業者に対して作業内容を再確認するように警告する内容の警告画像を、前記通信ステップによって前記ヘッドマウント装置へ送信する、
画像表示方法。 A communication step in which the information processing device receives an image captured by an imaging unit included in the head mount device and transmits an image displayed by a display unit included in the head mount device;
A device identification information acquisition step in which the information processing device acquires device identification information of a target device based on an image captured by the imaging unit;
The information processing device is associated with the device identification information acquired in the device identification information acquisition step from a storage device that stores an image applied to a target device identified by the device identification information in association with the device identification information. An image display step of acquiring an image that is present and providing the acquired image to the head mount device by the communication step,
The storage device includes identification information of the head mounted device or planned user identification information, scheduled time information, device identification information, and image identification information of an image associated with the target device identified by the device identification information. Stores associated image selection information,
The information processing device is associated with the device identification information acquired in the device identification information acquisition step based on the identification information of the head mount device or the wearing user identification information, the time information, and the image selection information. It is determined whether or not an image is selected, the image is transmitted to the head mount device when it is determined that the image is selected, and the image is transmitted when the image is not selected. It is an image display method that is not sent to
If the information processing device does not select an image associated with the device identification information acquired by the device identification information acquisition unit as a result of the determination, the information processing device warns the operator to reconfirm the work content. A warning image of the content to be transmitted to the head mount device by the communication step,
Image display method. コンピュータに、
ヘッドマウント装置に備わる撮像部が撮像した画像を受信し、前記ヘッドマウント装置に備わる表示部によって表示される画像を送信する通信機能と、
前記撮像部が撮像した画像に基づいて対象装置の装置識別情報を取得する装置識別情報取得機能と、
装置識別情報に関連付けて前記装置識別情報で識別される対象装置に適用される画像を記憶する記憶装置から、前記装置識別情報取得機能が取得した装置識別情報に関連付けられている画像を取得し、取得した画像を前記通信機能によって前記ヘッドマウント装置へ提供する画像提供機能と、を実現させるためのコンピュータプログラムであって、
前記記憶装置は、前記ヘッドマウント装置の識別情報又は予定ユーザ識別情報と、予定時刻情報と、装置識別情報と、当該装置識別情報で識別される対象装置に関連付けられた画像の画像識別情報とが関連付けられた画像選択情報を記憶し、
前記画像提供機能は、前記ヘッドマウント装置の識別情報又は装着ユーザ識別情報と、時刻情報と、前記画像選択情報とに基づいて、前記装置識別情報取得機能が取得した装置識別情報に関連付けられている画像を選択するか否かを判定し、該画像を選択すると判定した場合には該画像を前記ヘッドマウント装置へ送信し、該画像を選択しないと判定した場合には該画像を前記ヘッドマウント装置へ送信しない、コンピュータプログラムであり、
前記画像提供機能は、前記判定の結果、前記装置識別情報取得部が取得した装置識別情報に関連付けられている画像を選択しない場合には、作業者に対して作業内容を再確認するように警告する内容の警告画像を、前記通信機能によって前記ヘッドマウント装置へ送信する、
コンピュータプログラム。 On the computer,
A communication function of receiving an image captured by an imaging unit included in the head mount device and transmitting an image displayed by a display unit included in the head mount device,
A device identification information acquisition function for acquiring device identification information of a target device based on an image captured by the imaging unit,
From the storage device that stores the image applied to the target device identified by the device identification information in association with the device identification information, obtain the image associated with the device identification information obtained by the device identification information acquisition function, A computer program for realizing an image providing function of providing the acquired image to the head mount device by the communication function,
The storage device includes identification information of the head mounted device or planned user identification information, scheduled time information, device identification information, and image identification information of an image associated with the target device identified by the device identification information. Stores associated image selection information,
The image providing function is associated with the device identification information acquired by the device identification information acquisition function based on the identification information of the head mounted device or the wearing user identification information, the time information, and the image selection information. It is determined whether or not an image is selected, the image is transmitted to the head mount device when it is determined that the image is selected, and the image is transmitted when the image is not selected. Is a computer program that does not send to
If the image providing function does not select an image associated with the device identification information acquired by the device identification information acquisition unit as a result of the determination, the image providing function warns the operator to reconfirm the work content. A warning image of the content to be transmitted to the head mount device by the communication function,
Computer program.
JP2016054502A 2016-03-17 2016-03-17 Image display system, information processing device, image display method, and computer program Active JP6710555B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016054502A JP6710555B2 (en) 2016-03-17 2016-03-17 Image display system, information processing device, image display method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016054502A JP6710555B2 (en) 2016-03-17 2016-03-17 Image display system, information processing device, image display method, and computer program

Publications (2)

Publication Number Publication Date
JP2017167978A JP2017167978A (en) 2017-09-21
JP6710555B2 true JP6710555B2 (en) 2020-06-17

Family

ID=59913862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016054502A Active JP6710555B2 (en) 2016-03-17 2016-03-17 Image display system, information processing device, image display method, and computer program

Country Status (1)

Country Link
JP (1) JP6710555B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6617217B1 (en) * 2019-03-01 2019-12-11 株式会社ネイン Glasses-type wearable device and charging device
JP6973860B2 (en) * 2019-04-01 2021-12-01 Ｎｅｃプラットフォームズ株式会社 Maintenance support system, maintenance support method and computer program for maintenance support
JP2020140196A (en) * 2019-11-11 2020-09-03 株式会社ネイン Spectacle-type wearable device and charging device
JP7347409B2 (en) * 2020-12-28 2023-09-20 横河電機株式会社 Apparatus, method and program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123366A (en) * 2006-11-14 2008-05-29 Nec Corp Remote work support system, remote work support program, and server
JP4895875B2 (en) * 2007-03-15 2012-03-14 株式会社京三製作所 Work management system
MY183362A (en) * 2010-03-30 2021-02-18 Ns Solutions Corp Information processing apparatus, information processing method, and program
JP5099182B2 (en) * 2010-06-24 2012-12-12 日本電気株式会社 Confirmation work support system, server device, head mounted display device, wearable terminal, confirmation work support method and program
JP6119228B2 (en) * 2012-12-13 2017-04-26 セイコーエプソン株式会社 Head-mounted display device, head-mounted display device control method, and work support system
JP6082272B2 (en) * 2013-02-25 2017-02-15 東京エレクトロン株式会社 Support information display method, substrate processing apparatus maintenance support method, support information display control apparatus, substrate processing system, and program
JP6364952B2 (en) * 2014-05-23 2018-08-01 富士通株式会社 Information processing apparatus, information processing system, and information processing method

Also Published As

Publication number Publication date
JP2017167978A (en) 2017-09-21

Similar Documents

Publication Publication Date Title
US12002340B2 (en) Safety service system and method thereof
JP6710555B2 (en) Image display system, information processing device, image display method, and computer program
US20200099780A1 (en) Mobile terminal and method of operating the same
US20110064281A1 (en) Picture sharing methods for a portable device
JP6105180B1 (en) Work support device, work support method and program
EP4009187A1 (en) Block processing method and apparatus, and data query method and apparatus based on blockchain
US8797921B2 (en) Communication terminal and method for data transmission
RU2543950C2 (en) Image forming apparatus and control method therefor
KR20150004501A (en) Method for controlling function and an electronic device thereof
KR20110087637A (en) Information providing apparatus and method thereof
JP2017167992A (en) Head mount device, program, work support system, and information processing device
EP3680807B1 (en) Password verification method, password setting method, and mobile terminal
WO2018133681A1 (en) Method and device for sorting search results, server and storage medium
JP2017162103A (en) Inspection work support system, inspection work support method, and inspection work support program
US20170124338A1 (en) Work Recording Apparatus, Work Recording System, Work Recording Program, and Work Recording Method
JP2018061213A (en) Monitor video analysis system and monitor video analysis method
JPWO2015145769A1 (en) Imaging apparatus, information processing apparatus, photographing assistance system, photographing assistance program, and photographing assistance method
CN112261218A (en) Video control method, video control device, electronic device, and readable storage medium
JP2020086980A (en) Facility inspection supporting terminal, facility inspection supporting system, and program
JP2017167991A (en) Head mount device, program, and work support system
CN103514228A (en) File processing method and electronic device
JP2019009562A (en) Monitoring image display system, monitoring image display device, monitoring information management server, and monitoring image display method
CN113377271A (en) Text acquisition method and device, computer equipment and medium
JP2021190082A (en) Computer program, information processing apparatus, information processing system, augmented reality image display method, and information processing method
JP2018181339A (en) System, and information processing method and program

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180313

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200527

R150 Certificate of patent or registration of utility model

Ref document number: 6710555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150