JP2014071756A - Work assistance system and program - Google Patents
Work assistance system and program Download PDFInfo
- Publication number
- JP2014071756A JP2014071756A JP2012218599A JP2012218599A JP2014071756A JP 2014071756 A JP2014071756 A JP 2014071756A JP 2012218599 A JP2012218599 A JP 2012218599A JP 2012218599 A JP2012218599 A JP 2012218599A JP 2014071756 A JP2014071756 A JP 2014071756A
- Authority
- JP
- Japan
- Prior art keywords
- image
- work
- worker
- information
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- General Factory Administration (AREA)
Abstract
Description
本発明は、作業者の頭部に装着される表示装置に作業の指示を提示する作業補助システムおよびプログラムに関する。 The present invention relates to a work assistance system and a program for presenting work instructions to a display device mounted on a worker's head.
作業者(点検者)が作業対象物(点検対象)に対して作業に関する情報を、作業者の頭部に装着するヘッドマウントディスプレイ(頭部装着型表示装置)に表示することのできるシステムが知られている(例えば特許文献1参照)。特許文献1では、点検者はプラント内を巡回し、点検対象の点検を行う。点検対象に対応する位置にIDタグが取り付けられており、IDタグが発する識別信号が読み取られ、点検者のヘッドマウントディスプレイに、識別信号に対応する点検対象に関する情報が表示される。
A system is known in which an operator (inspector) can display information on an object to be worked (inspection object) on a head-mounted display (head-mounted display device) attached to the head of the operator. (See, for example, Patent Document 1). In
しかしながら、特許文献1において、点検者は巡回の経路を予め把握しておく必要があり、経路を間違えると点検対象の位置にたどり着けず、作業を行えないという問題があった。また、予め点検対象に対応する位置にIDタグを取り付けておく必要があり、手間がかかるという問題があった。さらに、1つの点検対象に複数の点検箇所がある場合、各点検箇所にIDタグを取り付けることになるが、特に視野内に複数の点検箇所がある場合、識別信号に対応する点検箇所がどの箇所であるかわからないという問題もあった。
However, in
本発明は、上記の問題点を解決するためになされたものであり、作業対象物を検出し、作業対象物に対する作業者の現在の方位から作業を行う方位への移動を指示することができる作業補助システムおよびプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and can detect a work object and instruct movement from the current direction of the worker to the work direction with respect to the work object. An object is to provide a work support system and program.
本発明の実施態様によれば、作業者の頭部に装着可能に構成され、画像を表示可能な表示装置と、前記作業者が作業を行う作業対象物を撮影可能な撮影装置と、前記作業者が前記作業対象物に対する所定の方位から前記作業対象物側を向き、前記作業対象物に対して行う作業の手順を画像で前記表示装置に表示するための手順情報を取得する第一取得手段と、前記撮影装置が撮影した撮影画像から、前記作業対象物における所定の部位の画像である所定画像を、方位を特定する特定情報として取得する第二取得手段と、前記特定情報に基づいて、前記作業対象物に対する前記作業者の現在の方位を決定する決定手段と、前記作業者の現在の方位が、前記手順情報が示す作業手順において対象とする前記所定の方位である場合、前記表示装置に、前記手順情報に基づく画像を表示する第一表示手段と、前記作業者の現在の方位が、前記手順情報が示す作業手順において対象とする前記所定の方位でない場合に、前記作業者の現在の方位と前記所定の方位との関係に応じて決定される指示情報を前記表示装置に表示する第二表示手段と、を備えた作業補助システムが提供される。 According to an embodiment of the present invention, a display device configured to be attachable to a worker's head and capable of displaying an image, a photographing device capable of photographing a work object on which the worker works, and the work First acquisition means for acquiring procedure information for displaying a procedure of an operation to be performed on the work object on the display device as an image by a person facing the work object from a predetermined direction with respect to the work object And, based on the specific information, second acquisition means for acquiring a predetermined image that is an image of a predetermined part in the work object from the captured image captured by the imaging device as specific information for specifying the orientation, When the determination means for determining the current direction of the worker with respect to the work object and the current direction of the worker are the predetermined direction targeted in the work procedure indicated by the procedure information, the display device In First display means for displaying an image based on the procedure information, and when the worker's current orientation is not the predetermined orientation targeted in the work procedure indicated by the procedure information, the worker's current orientation And a second display means for displaying on the display device instruction information determined according to the relationship between the predetermined orientation and the predetermined orientation.
本実施態様は、作業者に、現在の方位から次の作業を行う所定の部位に対する所定の方位への移動の指示情報を提示できるので、作業者が、作業の順番を取り違えたり、所定の方位とは異なる方位に移動してしまったりすることがない。作業者は、所定の部位に対する作業が終わったら、次の所定の部位への移動経路を手順書などで確認する必要がなく、直ちに次の所定の部位に対する作業に移ることができるので、効率よく作業を行うことができる。 In this embodiment, the operator can be instructed to move from the current direction to the predetermined direction for the predetermined part to perform the next operation, so that the operator can change the order of the operations, It will not move in a different direction. When the operator finishes the work on the predetermined part, the operator does not need to confirm the moving route to the next predetermined part by using a procedure manual or the like, and can immediately move to the work on the next predetermined part. Work can be done.
以下、本発明を具体化した一実施の形態について、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものである。図示された装置の構成等は、その形態のみに限定する趣旨ではなく、単なる説明例である。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. The drawings to be referred to are used to explain technical features that can be adopted by the present invention. The configuration of the illustrated apparatus is not intended to be limited only to the form, but merely an illustrative example.
本発明に係る作業補助システムは、ヘッドマウントディスプレイ1(以下、「HMD1」という。図1参照)と、作業に関する情報をHMD1に送信するパーソナルコンピュータ300(以下、「PC300」という。図2参照)とから構成されるシステムである。HMD1は、作業者の眼の前方に配置されるハーフミラー8(後述)を透過する外界の風景に重ねて画像を表示する。HMD1は公知の無線通信を用いてPC300に接続し、PC300との間で画像データを含む各種データの送受信を行う。以下の説明において、図1の上方、下方、右斜め下方、左斜め上方、右斜め上方および左斜め下方が、それぞれ、HMD1の上方、下方、前方、後方、右方および左方である。
The work assistance system according to the present invention includes a head mounted display 1 (hereinafter referred to as “HMD1”, see FIG. 1) and a personal computer 300 (hereinafter, referred to as “PC300”, see FIG. 2) that transmits information related to work to the HMD1. It is a system composed of The
図1に示すように、HMD1は、投影装置100および制御装置200を備える。投影装置100は専用の装着具である眼鏡91に装着して使用される。投影装置100は、作業者が日常的に使用する眼鏡、ヘルメット、ヘッドホンなど、他の装着具に取り付けられてもよい。投影装置100は、作業者の眼に画像光を照射する。投影装置100はハーネス150を介して制御装置200と着脱可能に接続する。制御装置200は、例えば作業者の腰ベルト等に装着して使用される。制御装置200は、投影装置100を制御する。
As shown in FIG. 1, the HMD 1 includes a
投影装置100の構成について説明する。投影装置100は筐体2を備える。筐体2の内部には、画像表示部36(図2参照)と接眼光学系(図示略)とが含まれる。画像表示部36は、制御装置200からハーネス150を介して送信される映像信号に基づいて画像を表示する。画像表示部36は、例えば、液晶素子等の空間変調素子および光源である。画像表示部36は、二次元光スキャナおよび光源からなる網膜走査型表示部や、有機EL(Organic Electro-luminescence)素子等であってもよい。接眼光学系は、画像表示部36に表示された画像を示す画像光を、作業者の眼に導くために集光する。接眼光学系から射出された画像光は、筐体2の左側に設けられたハーフミラー8によって少なくとも一部(例えば半分)が反射され、作業者の左の眼球(図示略)に入射する。ハーフミラー8は外界の実像からの光の少なくとも一部を透過するので、作業者は、自己の視野において実像(外界の風景)に重畳して画像を視認できる。
The configuration of the
眼鏡91は、投影装置100を作業者の頭部に保持するための構成である。投影装置100の筐体2は、支持部96によって、眼鏡91に取り付けられる。支持部96は作業者側から見て眼鏡91の上面左端側(図1における上面右端)に設けられる。支持部96には調整棒98が組み付けられる。調整棒98は支持部96に対して左右方向にスライド可能である。調整棒98は上下方向に延び、上端に三角形状の突起部97を有する。調整棒98は、支持部96の上面側に突起部97を露出させた状態で、支持部96から下方へ向けて突出する。筐体2は眼鏡91と向き合う部分(背面側)に取付部49を有する。取付部49は調整棒98に取り付けられる。筐体2は、調整棒98に沿って上下方向に位置移動可能である。また、突起部97を左右にスライドすることで、筐体2は調整棒98ごと支持部96に対して左右方向に位置移動可能である。作業者は、眼球の位置に合わせた位置にハーフミラー8を配置することができる。
The
眼鏡91は、フレーム94の左右方向略中央に、カメラ39を備える。カメラ39は、作業者の視野前方の外界の風景の画像を撮像する。カメラ39の撮影方向および画角は、予め、作業者の視野に合わせて設定されている。より詳細には、カメラ39の撮影方向および画角は、カメラ39による外界の風景の撮影範囲が、ハーフミラー8を透過する実像に重ねることのできる画像表示部36からの画像光の表示範囲とほぼ一致するように設定されている。また、眼鏡91は、フレーム94の右端側に、骨伝導イヤホンおよびマイクを内蔵するヘッドセット35を備える。なお、眼鏡91自体の形状は通常の眼鏡に類似のため、詳細な説明は省略する。
The
制御装置200の構成について説明する。制御装置200は、例えば略直方体状のシステムボックスである。制御装置200は電源ランプ52を内蔵する電源スイッチ51を含む操作部50を備える。作業者は、電源スイッチ51を操作し、HMD1の電源をオンまたはオフにすることができる。また、作業者は、投影装置100における各種設定や、使用時における各種操作等を、操作部50を介して行うことが可能である。制御装置200は、無線通信を介してPC300と接続し、各種データの送受信を行うことが可能である。制御装置200は有線通信のインターフェイスを備え、通信ケーブルを用いてネットワーク250に接続してもよいし、あるいは直接PC300に接続してもよい。なお、後述するPC300は、パーソナルコンピュータであるが、スマートフォンやネットワーク対応型ストレージなど、その他の機器であってもよい。
The configuration of the
図2を参照し、HMD1の電気的構成について説明する。投影装置100は、投影装置100全体の制御を司るCPU21を備える。CPU21は、プログラムROM23、RAM25、画像表示部36、インターフェイス12、接続コントローラ37と電気的に接続する。また、CPU21は、インターフェイス12を介してカメラ39およびヘッドセット35と電気的に接続する。プログラムROM23は、CPU21が実行する各種プログラム等を記憶する。各種プログラムは、投影装置100の出荷時にプログラムROM23に記憶される。なおCPU21は、後述する制御装置200のフラッシュROM47に記憶されたプログラムも実行することができる。RAM25は、各種データを一時的に記憶する。
The electrical configuration of the
画像表示部36は前述の通り、映像信号に基づいて画像を表示する。以下、画像表示部36に表示させる画像を「表示画像」という。インターフェイス12はカメラ39およびヘッドセット35に接続し、信号の入出力を制御する。接続コントローラ37は、ハーネス150を介して制御装置200の接続コントローラ48に接続し、有線通信を行う。カメラ39は、静止画像または動画像(以下、「撮影画像」という。)を撮影する。ヘッドセット35は骨電動イヤホンおよびマイクを備える。なお、投影装置100または制御装置200がスピーカおよびマイクを内蔵してもよい。
As described above, the
制御装置200の電気的構成について説明する。制御装置200は、制御装置200全体の制御を司るCPU41を備える。CPU41は、プログラムROM43、RAM45、フラッシュROM47、接続コントローラ48、ビデオRAM57、画像処理部59、インターフェイス55、および無線通信部53と電気的に接続する。プログラムROM43は、CPU41が実行する各種プログラム等を記憶する。各種プログラムは、制御装置200の出荷時にプログラムROM43に記憶される。なおCPU41は、フラッシュROM47に記憶されたプログラムも実行することができる。
The electrical configuration of the
RAM45は、各種データを一時的に記憶する。フラッシュROM47は、制御装置200の出荷後にインストールされた各種プログラムや、後述する作業補助プログラムにおいて使用する各種データ(特徴部位を検索するためのサンプル画像、作業対象物を識別するための対象物識別テーブル等(後述))を記憶する。また、フラッシュROM47は、後述するPC300から手順情報(後述)を取得した場合に、その手順情報を記憶する。接続コントローラ48は、ハーネス150を介して投影装置100の接続コントローラ37に接続し、有線通信を行う。無線通信部53は、ネットワーク250のアクセスポイント(図示略)へ無線で接続し、ネットワーク250に接続する他の機器と通信を行う。無線通信部53はネットワーク250を介さずに、直接PC300と無線による接続を行ってもよい。インターフェイス55は電源スイッチ51および電源ランプ52を含む操作部50に接続し、作業者による操作の入力信号やランプの点灯信号等の入出力を行う。画像処理部59は、投影装置100の画像表示部36に表示させる表示画像を形成する処理を行う。ビデオRAM57は、画像処理部59が形成した表示画像を画像表示部36に表示するための映像信号を生成するため、表示画像を仮想的に表示した仮想画面を記憶領域内に形成する。
The
PC300は、CPU、ROM、RAM等を搭載した公知のパーソナルコンピュータである。本実施形態において、PC300は、作業対象物に対して行う作業の手順に関する手順情報(後述)を、複数の作業対象物について保持し、データベースとしてハードディスクドライブ(HDD)350に蓄積(記憶)する。PC300は、制御装置200のCPU41からの要求に応じ、ネットワーク250を介して手順情報を提供するサーバとして機能する。また、図示しないが、PC300はネットワーク250に接続するための通信部を有する。
The
図3〜図10を参照し、HMD1の制御装置200のCPU41が実行する作業補助プログラムの各処理について説明する。まず、作業補助プログラムの実行に伴いCPU41が行う各種処理の内容について説明する。後述する作業補助プログラムの実行に伴う処理において、CPU41は、カメラ39で撮影した撮影画像の解析を行う。CPU41は、撮影画像を解析し、撮影画像に写る作業対象物において特徴量を有する部位の画像である「特徴画像」の検出を行う。
Each process of the work assistance program executed by the
「特徴量を有する部位」とは、例えば、作業対象物が車両の場合、エンブレムや車名のロゴマーク、テールランプなど他の車両とは異なる固有の形状を有する部位、全体の形状、特徴的な塗装などである。すなわち、対象となる車両の撮影画像を解析した場合に、当該車両の車種や、撮影画像に写る当該車両の側面がどの側面であるか、などを特定することができる部位である。以下、特徴量を有する部位を「特徴部位」とよぶ。予め作業対象物にマーカー等の目印を設け、特徴部位としてもよい。 For example, when the work target is a vehicle, the “part having the characteristic amount” is a part having a unique shape different from other vehicles such as an emblem, a logo mark of a car name, a tail lamp, an overall shape, a characteristic Such as painting. That is, when a captured image of a target vehicle is analyzed, the vehicle type of the vehicle, a side surface of a side surface of the vehicle that appears in the captured image, and the like can be specified. Hereinafter, a part having a feature amount is referred to as a “feature part”. A mark such as a marker may be provided in advance on the work object to make it a characteristic part.
画像解析の詳細については公知であるため説明を省略するが、例えば、輪郭線の検出、特徴部位のサンプル画像とのマッチング、配色パターンの検出など、公知の様々な方法を用いて特徴部位を検出することが可能である。本実施形態では、CPU41は、サンプル画像とのマッチングにより、撮影画像において特徴部位の画像である特徴画像の検出を行うものとする。「サンプル画像」は、作業対象物の特徴部位として検出する対象となる部位を予め撮影もしくは描画した画像である。サンプル画像は、作業対象物の特徴部位を確認できる側面に対して直交する向きに、当該特徴部位を見た場合に得られる画像である。サンプル画像は作業対象物の種類ごとに複数用意され、予めフラッシュROM47に記憶されている。また、各作業対象物と、各作業対象物が有する特徴部位との対応付けがなされたテーブル(以下、「対象物識別テーブル」という。)も作成され、予めフラッシュROM47に記憶されている。
The details of the image analysis are well known and will not be described here. For example, feature parts are detected using various known methods such as detection of contour lines, matching of feature parts with sample images, and detection of color schemes. Is possible. In the present embodiment, it is assumed that the
CPU41は、サンプル画像の回転、拡大縮小、変形等を行いつつ、撮影画像内でサンプル画像に類似する部位を検索する。CPU41は、類似する部位すなわち特徴部位が見つかると、当該特徴部位の画像である特徴画像を、方位を示す特徴情報としてRAM45に記憶する。「特徴情報」とは、特徴画像が撮影画像内において表す情報であり、例えば、撮影画像内における特徴画像の位置(座標)、サンプル画像に対する特徴画像の回転角度、拡大・縮小率、変形率などである。また、特徴情報は、検索された特徴画像と検索元のサンプル画像との対応付けの情報も含む。
The
また、CPU41は、作業補助プログラムの処理において、撮影画像に写る作業対象物の識別を行う。その際にCPU41は、上記の対象物識別テーブルを参照する。対象物識別テーブルには、さらに、基準となる複数の向き(例えば六面(平面、底面、正面、背面および左右側面))から作業対象物を見た場合に、各面において確認することができる特徴部位の位置関係や大きさ、向きなどの情報が、各作業対象物に対応付けられている。
上記したように、特徴情報は、撮影画像内における特徴画像の位置(座標)、サンプル画像に対する特徴画像の回転角度、拡大・縮小率、変形率などを含む。したがってCPU41は、撮影画像内における特徴画像の位置に基づいて、検出した特徴画像に写る特徴部位を確認することができる作業対象物の側面を特定することができる。さらにCPU41は、サンプル画像に対する特徴画像の回転角度、拡大縮小率、変形率などに基づいて、特定した作業対象物の側面に対し、どの向きから当該側面に向き合う状態であるかを特定することができる。よってCPU41は、撮影画像が作業対象物に対してどの向き(方位)から撮影されたかを特定することができる。
Further, the
As described above, the feature information includes the position (coordinates) of the feature image in the captured image, the rotation angle of the feature image with respect to the sample image, the enlargement / reduction rate, the deformation rate, and the like. Therefore, the
また、CPU41は、作業補助プログラムの処理において、識別した作業対象物に対応する手順情報を取得する。「手順情報」は、作業対象物に対して行う作業の手順を、画像(スーパーインポーズした文字・記号等も含む)により示すことのできる情報である。以下、手順情報に基づく画像を「手順画像」という。手順画像は、作業対象物において作業を行う対象となる部位(以下、「対象部位」という。)を示すため、作業を行うのに望ましい所定の方位(以下、「作業方位」という。)から作業対象物を描画または撮影した画像と、対象部位を示す画像、文字・記号等を含む。手順画像は、静止画であってもよいし、動画であってもよい。なお、作業方位は、作業者が作業対象物に正面から向き合う場合を方位の基準の方位とし、作業対象物の径方向外方を周方向に移動する場合の角度によって示される方位であり、予め設定されている。また、手順情報は、作業方位の情報を含み、作業対象物に対象部位が複数ある場合、各対象部位に対応する作業方位の情報を含む。さらに、手順情報は、対象部位の総数の情報と、各対象部位に対して作業を行う順番であり予め設定された順番についての情報を含む。
In addition, the
また、CPU41は、作業補助プログラムの処理において、作業者に対して指示情報を提示する。「指示情報」は、作業者の現在の方位(撮影画像を撮影したときの作業対象物に対する作業者の方位)と作業方位との関係に応じて決定される情報であり、具体的には、作業者に、現在の方位から作業方位へ移動させる指示を示す情報である。指示情報は、例えば、現在の方位から作業方位へ向かう方向を指す矢印の画像を表した画像情報である。また、指示情報は、例えば、現在の方位から作業方位へ向かう方向を作業者に知らせる内容を文字で表した画像情報である。あるいは、指示情報は、例えば、現在の方位から作業方位へ向かう方向を音声で作業者に知らせる音声情報である。
Further, the
作業補助プログラムの実行に伴いCPU41が行う各種処理の動作について説明する。作業者がHMD1の電源スイッチ51をオンに操作すると、CPU41は、図3に示す、プログラムROM43に記憶された作業補助プログラムを実行する。作業補助プログラムの実行開始時の初期設定において、CPU41はRAM45に記憶するフラグやデータを初期化し、無線通信部53を稼働させ、ネットワーク250に無線通信で接続する(S9)。CPU41は予めネットワーク250において公開されるPC300との接続を試みて、予め設定されているIDおよびパスワードでログイン可能であるか確認する。
Various operations performed by the
投影装置100のカメラ39は外界の風景を常時撮影しており、CPU21は撮影画像をRAM25に上書きしながら記憶する。CPU41はCPU21に指示信号を出力し、最新の撮影画像をRAM25から取得して、RAM45に記憶する(S11)。CPU41は、取得した撮影画像において、上記のようにサンプル画像とのマッチングを行い、特徴部位を検索して特徴画像を検出する(S13)。特徴画像が検出できなかった場合、CPU41は、撮影画像に作業対象物が写っていないと判断し(S15:NO)、S11に戻り、作業者が撮影画像に作業対象物が写る位置に移動するまでS11〜S15を繰り返す。
The
特徴画像を検出できた場合、CPU41は、検出した特徴画像を、方位を示す特徴情報としてRAM45に記憶する。CPU41は、撮影画像と特徴情報に基づいて、撮影画像に写る作業対象物を識別する(S15:YES)。CPU41は、特徴画像として検出した特徴部位を有する作業対象物をフラッシュROM47に記憶する対象物識別テーブルから検索する。CPU41は、作業対象物を対象物識別テーブルにおいて特定したら、識別結果をRAM45に記憶する。
When the feature image can be detected, the
作業対象物に対する方位についての説明を容易にするため、側面を判別しやすいサイコロ形状の物体を作業対象物400として例に挙げる。図4に、作業対象物400が撮影画像350に写る様子を示す。撮影画像350には、作業対象物400の側面のうち、他の目とは大きさの異なる赤色の目405を有する第一側面410、黒色の目406を2つ有する第二側面420、黒色の目406を3つ有する第三側面430が写る。赤色の目405および黒色の目406を特徴部位とする。CPU41は、撮影画像350において、サンプル画像とのマッチングにより、1つの赤色の目405と、変形率が同じ2つの黒色の目406と、先の2つの黒色の目406とは異なる変形率ながら、変形率が同じ3つの黒色の目406を特徴部位として検出する。CPU41は、対象物識別テーブルを参照し、当該特徴部位を有する物体が作業対象物400であると識別する。
In order to facilitate the explanation of the orientation with respect to the work object, a dice-shaped object whose side surface can be easily identified is taken as an example of the
図3に示すように、CPU41は、ネットワーク250を介してPC300に接続し、識別した作業対象物に対応する手順情報を要求する。CPU41は、PC300から取得した手順情報をフラッシュROM47に記憶する(S17)。また、CPU41は、手順情報に含まれる対象部位についての情報(作業方位の情報、総数の情報、各対象部位に対して作業を行う順番についての情報)を、RAM45に記憶する。RAM45に、今回識別した作業対象物の手順情報に対応する対象部位についての情報がすでに記憶されている場合、すなわちS17の処理の初回実行時でない場合、CPU41は対象部位についての情報を上書きしない。CPU41は、S15で作業対象物を識別することによって、作業対象物に対応する手順情報を取得することができる。よって作業者が予め作業対象物に応じた手順情報を用意する手間を省くことができる。
As shown in FIG. 3, the
CPU41は、撮影画像と特徴情報に基づいて、撮影画像に写る作業対象物に対し、現在、どの方位から作業者が向いているかを決定する(S19)。CPU41は、上記した基準の方位を基準に、撮影画像を撮影したときの作業者の作業対象物に対する方位(現在の方位)を決定する。
Based on the photographed image and the feature information, the
図4の作業対象物400について、CPU41は、特徴情報に基づき、赤色の目405の特徴画像が他の目(黒色の目406)よりもサンプル画像に対する拡大率が大きく、且つ変形率が小さいことがわかる。よってCPU41は、赤色の目405を有する第一側面410が、2つの黒色の目406を有する第二側面420や3つの黒色の目406を有する第三側面430よりも作業者に近い側に位置し、且つ作業者側を向く側面であることがわかる。すなわちCPU41は、作業対象物400に対する作業者の現在の方位が、作業者が第一側面410と向き合う状態となる方位であることを検出する。より詳細に、CPU41は、第一側面410を作業対象物400の正面(基準)とすると、第一側面410の赤色の目405の変形率と、右側面である第二側面420の黒色の目406の変形率に基づき、現在の方位を求める。
For the
図3に示すように、次にCPU41は、S17でRAM45に記憶した対象部位の情報を参照し、作業の完了していない対象部位で、作業の順番において次に作業を行う対象部位の作業方位を取得する(S21)。CPU41は、撮影画像を解析し、例えば作業対象物の輪郭線の検出などを行うことで、撮影画像内における作業対象物の位置(座標)を特定する(S23)。
As shown in FIG. 3, the
CPU41は、S19で決定した作業者の現在の方位が、S21で取得した対象部位の作業方位を中心とする所定角度範囲内に含まれる方位であるか否かを確認する(S25)。言い換えると、CPU41は、作業者が現在の方位から作業対象物に向き合った場合に、これから作業を行う対象部位の位置が、作業を行うのに望ましい位置にあるか否かを確認する。
The
CPU41は、作業方位の所定角度範囲内に現在の方位が含まれず、現在の方位において作業対象物の望ましい位置に対象部位がない場合(S25:NO)、画像表示部36に手順画像を表示している場合であれば、手順画像を非表示にする(S33)。CPU41は、作業者が現在の方位から次の対象部位の作業方位へ移動するにあたって、最短となる移動距離を求める(S35)。具体的にCPU41は、作業者の現在の方位と作業方位との角度差を計算し、値の小さい方を移動角度(作業対象物の周方向における最小の移動角度)として求める。
The
CPU41は、作業者を現在の方位から次の対象部位の作業方位へ移動させるための指示情報を提示する(S37)。CPU41は、画像処理部59において、現在の方位から作業方位へ最短で向かう方向を指し、移動角度に応じた長さの矢印の画像を指示情報として形成する。また、CPU41は、矢印が指す方向に応じて予め作業対象物に対し相対的に設定された表示画像内の位置に矢印の画像を表示するため、S23で撮影画像内において特定した作業対象物の位置を基準に、矢印の画像の表示画像内における配置位置を決定する。さらに、CPU41は、矢印が指す方向に応じて予め用意された文字(文章)等により表される指示情報を形成し、表示画像内に配置する。画像処理部59で形成された表示画像はビデオRAM57に仮想画面として形成され、CPU41は、仮想画面に基づく映像信号を生成し、投影装置100に映像信号を出力する。投影装置100の画像表示部36は映像信号に基づく表示画像を表示する。また、CPU41は、矢印が指す方向に応じて予め用意された音声による指示情報に基づき、音声信号を投影装置100のヘッドセット35に出力する。作業者は、ハーフミラー8を介して眼球に入射される表示画像に示される指示情報と、ヘッドセット35の骨伝導イヤホンから発声される音声を認識する。CPU41は、作業者に、作業方位へ最短で向かう方向を矢印で指して示し、すなわち、作業者に作業方位へ向かう最小の経路を案内するので、作業者が次の対象部位への移動を速やかに行うことができる。CPU41は、作業者に、現在の方位と作業方位との差(移動角度)に応じた長さの矢印で次の対象部位への移動方向を指し示すことができるので、作業者は、直感的に移動方向と距離を把握することができ、次の対象部位への移動を速やかに行うことができる。表示画面内で作業対象物に対して移動方向に応じた相対的な位置に矢印の画像を表示することで、作業者は、表示画面内のどの位置に作業対象物の位置があっても、その作業対象物に対して直感的に移動方向を把握することができ、次の対象部位への移動を速やかに行うことができる。
The
図4において、作業対象物400の次の対象部位が第一側面410の背面側の第六側面460(図6参照)にあるものとする。図5に示すように、ハーフミラー8を透過する作業対象物400の実像の右手側に指示情報を示す画像470が表示される。指示情報を示す画像470は、右回りに作業対象物400の背面側への移動を指示する矢印の画像471と、その下部に、移動の説明文を構成する文字の画像472とを含む。また、音声による指示情報も提示される。作業者は、提示された指示情報に従って、作業対象物400の周囲を右回りに第六側面460と向き合う位置に移動する。
In FIG. 4, it is assumed that the next target portion of the
図3に示すように、CPU41はS37の処理の後S11に戻る。作業者の移動中、作業方位の所定角度範囲内に現在の方位が含まれない状態が継続されるので、CPU41は、作業者が作業方位に到達するまでS11〜S25、S33〜S37を繰り返す。
As shown in FIG. 3, the
図6に示す撮影画像360に、黒色の目406を6つ有する第六側面460、黒色の目406を2つ有する第二側面420、黒色の目406を3つ有する第三側面430が写る。CPU41は、上記同様、作業対象物400の特徴情報に基づき、作業者が第六側面460と向き合う状態となる方位であることを検出する。
A captured
図3に示すように、作業者が作業方位に到達し、作業者の現在の位置が作業方位の所定角度範囲内に含まれる状態となると(S25:YES)、CPU41は、画像表示部36に、対象部位に対して行う作業の手順を示す手順画像を表示する(S27)。CPU41は、撮影画像内において特定した作業対象物の位置を避けて、表示画像内に手順画像を表示する。
As shown in FIG. 3, when the worker reaches the work direction and the current position of the worker is within a predetermined angle range of the work direction (S25: YES), the
図7に、ハーフミラー8を透過する作業対象物400の実像と重ならないように、実像の右手側に手順画像480が表示された様子を示す。手順画像480は、作業対象物400の第六側面460の対象部位を示す画像481と、その下部に、作業の手順を示す説明文を構成する文字の画像482を含む。作業者は、表示された手順画像480に従って、対象部位に対する作業を行う。
FIG. 7 shows a state in which the
CPU41は、対象部位に対する作業の完了を、例えば、予め手順情報として取得する対象部位の完成形の画像とのマッチングにより検出する。CPU41は、対象部位に対する作業が完了しないうちは手順画像の表示を継続してS27に戻る(S29:NO)。CPU41は、対象部位に対する作業の完了を検出すると(S29:YES)、RAM45に記憶する対象部位の情報のうち作業が完了した対象部位について作業完了を表すフラグを記憶し、対象部位の総数を1減らす。CPU41はS31に進み、対象部位の総数が1以上であれば、作業対象物にまだ完了していない作業があると判断し(S31:YES)、S11に戻る。CPU41は、対象部位に対する作業の完了を検出することで、次の対象部位の手順情報を、作業者の操作に因らずに表示することができるので、作業者の手を煩わせることがなく、作業者が効率よく作業を行うことができる。
The
図7において、作業対象物400の次の対象部位が第二側面420にあるものとする。図8に示すように、ハーフミラー8を透過する作業対象物400の実像の左手側に指示情報を示す画像490が表示される。指示情報を示す画像490は、左回りに作業対象物400の左側面側への移動を指示する矢印の画像491と、その下部に、移動の説明文を構成する文字の画像492とを含む。また、音声による指示情報も提示される。上記の図5の場合、作業対象物400の正面側から背面側へ移動するため移動角度は略180度であるが、図7の場合、作業対象物400の正面側から左側面側への移動であるため、移動角度は略90度である。したがって、CPU41は、指示情報として矢印の画像を形成する際に、今回の移動時における矢印の画像491に示される矢印の長さを、前回の移動時における矢印の画像471に示される矢印の長さよりも短くする。作業者は、提示された指示情報に従って、作業対象物400の周囲を左回りに第二側面420と向き合う位置に移動する。
In FIG. 7, it is assumed that the next target portion of the
図9に示すように、上記同様、ハーフミラー8を透過する作業対象物400の実像の右手側に、第二側面420の対象部位を示す画像501と文字の画像502を含む手順画像500が表示される。作業者は、手順画像500に従って、対象部位に対する作業を行う。
As shown in FIG. 9, the
図3に示すように、S29において作業の完了に伴い対象部位の総数が1減らされて0となった場合、CPU41はS31において作業対象物に対する作業がすべて完了したと判断し(S31:NO)、作業補助プログラムを終了する。
As shown in FIG. 3, when the total number of target parts is reduced by 1 with the completion of work in S29 and becomes 0, the
なお、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々変更を加え得ることが可能である。S13における画像解析は、制御装置200のCPU41が行ったが、CPU41は、ネットワーク250を介して撮影画像をPC300に送信し、PC300のCPUが撮影画像の解析を行い、解析結果をCPU41に送信してもよい。
The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention. The image analysis in S13 is performed by the
CPU41は、指示情報を移動距離が最短となるように提示したが、撮影画像において移動経路上に障害物等が写る場合、障害物を回避しつつ最短となる経路を示す指示情報を提示してもよい。指示情報として矢印の画像を表示したが、矢印の画像は静止画で示してもよいし、点滅したり画像の位置が表示画面内で移動するアニメーション等を用いた動画で示してもよい。また、本実施形態では、矢印の画像に加えて文字の画像の表示や音声による指示の発声を行ったが、矢印の画像のみを表示して、文字や音声による指示はなくともよい。あるいは、矢印の画像がなく、文字や音声による指示を提示してもよい。また、CPU41は、矢印の画像を、表示画像内で、矢印が指す方向に応じて作業対象物に対し相対的な位置に表示したが、矢印が指す方向に応じて表示画像内における絶対的な位置に表示してもよい。例えば、右回りの移動を指示する場合であれば、表示画像の右端に、右回りの移動を示す矢印の画像を表示すればよい。表示画面内で移動方向に応じた絶対的な位置に矢印の画像を表示することで、作業者は、直感的に移動方向を把握することができ、次の対象部位への移動を速やかに行うことができる。
The
S29において、CPU41は作業完了の判断を対象部位の完成形の画像とのマッチングにより行ったが、作業者による操作部50の操作に基づき作業完了と判断してもよい。または、タイマーを設定し、対象部位における作業が予め設定した時間を経過したら、CPU41は作業が完了したと判断してもよい。あるいは、撮影画像を解析し、作業に用いる道具が予め決められた場所に置かれたことを検出したら、CPU41は作業が完了したと判断してもよい。
In S <b> 29, the
カメラ39の代わりに、作業対象物を含めた周囲の様子を撮影できる定点カメラを所定の定位置に設置してもよい。PC300は、定点カメラの撮影画像に基づいて指示情報を生成し、HMD1に送信してもよい。また、CPU41は、ネットワーク250を介しPC300から指示情報を取得したが、制御装置200のフラッシュROM47に予め記憶し、フラッシュROM47から取得してもよい。この場合、HMD1はネットワーク250に接続しなくともよい。すなわち、HMD1の単体で、作業者に作業方位への移動を指示できるようにしてもよい。
Instead of the
本実施形態では、指示情報として、作業者に現在の方位から作業方位へ向かう経路を案内し、作業対象物に対する作業者の移動を促す形態の情報が提示されたが、作業者の現在の方位を基準とし、作業対象物を動かして作業対象物の作業方位を現在の方位へ向けさせる形態の情報として提示されてもよい。例えば、作業対象物を載置した台を手動で回転させたり移動させたりする場合、どの方向へ向け、どれぐらい回転または移動させるかを示す情報を提示するようにしてもよい。 In the present embodiment, as the instruction information, information on a form in which the worker is guided along the route from the current direction to the work direction and the worker is moved with respect to the work target is presented. May be presented as information in a form in which the work object is moved to direct the work direction of the work object to the current direction. For example, when the table on which the work object is placed is manually rotated or moved, information indicating in which direction and how much the table is rotated or moved may be presented.
本実施形態では、特徴画像の有する特徴情報(特徴画像の位置関係や拡大・縮小率、変形率などの情報)に基づいて、作業対象物に対する作業者の現在の方位を決定した。これに限らず、例えば、特徴部位の特徴画像を作業対象物に対する方位に対応させてフラッシュROM47に記憶してもよい。この場合にCPU41は、撮影画像内で特徴画像を検出したら、特徴画像に対応する方位を、作業者の現在の方位として決定してもよい。また、作業対象物の全体像を複数の方位から撮影したサンプル画像を予め撮影し、フラッシュROM47に記憶してもよい。この場合、撮影画像に写る作業対象物の背景等がサンプル画像と異なる場合があるため、CPU41は、撮影画像に最も類似するサンプル画像を特定し、作業者の現在の方位を決定するとよい。
In the present embodiment, the current orientation of the worker with respect to the work target is determined based on the feature information (information such as the positional relationship of the feature image, the enlargement / reduction ratio, and the deformation rate) of the feature image. For example, the feature image of the feature part may be stored in the
なお、本実施の形態においては、画像表示部36が本発明の「表示装置」に相当する。カメラ39が「撮影装置」に相当する。作業方位が「所定の方位」に相当する。S17において手順情報を取得するCPU41が「第一取得手段」に相当する。特徴部位が「所定の部位」に相当する。特徴画像が「所定画像」に相当する。特徴情報が「特定情報」に相当する。S13において撮影画像を解析して特徴画像を検出し、特徴情報を取得するCPU41が「第二取得手段」に相当する。S19において撮影画像の解析によって取得した特徴情報に基づいて、作業対象物に対する作業者の現在の方位を決定するCPU41が「決定手段」に相当する。S27において手順画像を表示するCPU41が「第一表示手段」に相当する。S37において指示情報に基づく矢印の画像を表示するCPU41が「第二表示手段」に相当する。ハーフミラー8が「表示部」に相当する。S23において撮影画像内における作業対象物の位置を特定するCPU41が「特定手段」に相当する。S15において撮影画像の解析によって取得した特徴情報に基づいて、作業対象物を識別するCPU41が「識別手段」に相当する。ヘッドセット35の骨伝導イヤホンが「発音装置」に相当する。S37で指示情報に基づく音声を出力するCPU41が「出力手段」に相当する。S29で作業の完了を検出し、S31で次の対象部位がある場合にS11に戻るCPU41であり、これにより、S25を実行し、S27で次の対象部位の手順情報を表示するCPU41が、「切替手段」に相当する。
In the present embodiment, the
1 ヘッドマウントディスプレイ
8 ハーフミラー
35 ヘッドセット
36 画像表示部
39 カメラ
1
Claims (8)
前記作業者が作業を行う作業対象物を撮影可能な撮影装置と、
前記作業者が前記作業対象物に対する所定の方位から前記作業対象物側を向き、前記作業対象物に対して行う作業の手順を画像で前記表示装置に表示するための手順情報を取得する第一取得手段と、
前記撮影装置が撮影した撮影画像から、前記作業対象物における所定の部位の画像である所定画像を、方位を特定する特定情報として取得する第二取得手段と、
前記特定情報に基づいて、前記作業対象物に対する前記作業者の現在の方位を決定する決定手段と、
前記作業者の現在の方位が、前記手順情報が示す作業手順において対象とする前記所定の方位である場合、前記表示装置に、前記手順情報に基づく画像を表示する第一表示手段と、
前記作業者の現在の方位が、前記手順情報が示す作業手順において対象とする前記所定の方位でない場合に、前記作業者の現在の方位と前記所定の方位との関係に応じて決定される指示情報を前記表示装置に表示する第二表示手段と、
を備えたことを特徴とする作業補助システム。 A display device configured to be mounted on the operator's head and capable of displaying an image;
A photographing device capable of photographing a work object on which the worker performs work;
The operator acquires the procedure information for displaying the procedure of the work to be performed on the work object on the display device as an image by facing the work object side from a predetermined direction with respect to the work object. Acquisition means;
A second acquisition means for acquiring a predetermined image, which is an image of a predetermined part of the work object, from the captured image captured by the imaging device as specific information for specifying an orientation;
Determining means for determining a current orientation of the worker with respect to the work object based on the specific information;
A first display means for displaying an image based on the procedure information on the display device when the current orientation of the worker is the predetermined orientation targeted in the work procedure indicated by the procedure information;
An instruction determined according to the relationship between the current direction of the worker and the predetermined direction when the current direction of the worker is not the predetermined direction targeted in the work procedure indicated by the procedure information Second display means for displaying information on the display device;
A work assistance system characterized by comprising:
前記第二表示手段は、前記作業者の現在の方位と前記所定の方位とに応じて予め設定された前記表示部内の表示位置に、前記指示情報を表示することを特徴とする請求項1に記載の作業補助システム。 The display device reflects at least a part of image light emitted from an image forming element that forms an image and enters the eye of the worker, and transmits at least a part of light from an external real image. A display unit for visually recognizing the image superimposed on a real image in the field of view of the worker,
The said 2nd display means displays the said instruction information on the display position in the said display part preset according to the said operator's present azimuth | direction and the said predetermined | prescribed azimuth | direction. Work assistance system as described.
前記撮影装置が撮影した前記撮影画像から、前記表示部内において前記作業対象物の実像が表示される位置を特定する特定手段をさらに備え、
前記第二表示手段は、前記特定手段が特定した前記表示部内における前記作業対象物の位置を基準位置とし、前記作業者の現在の方位と前記所定の方位とに応じて予め前記基準位置に対して相対的に設定された表示位置を前記表示部に適用し、前記指示情報を表示することを特徴とする請求項2に記載の作業補助システム。 The imaging device is configured to be attachable to the operator's head, and a shooting direction and an angle of view are set in accordance with an external field of view visible through the display unit, out of the worker's field of view. Has been
Further comprising a specifying means for specifying a position where a real image of the work object is displayed in the display unit from the captured image captured by the imaging device;
The second display means uses the position of the work object in the display unit specified by the specifying means as a reference position, and in advance with respect to the reference position according to the current direction of the worker and the predetermined direction. The work assistance system according to claim 2, wherein a display position set relatively is applied to the display unit to display the instruction information.
前記第一取得手段は、前記識別手段が識別した前記作業対象物に対応する前記手順情報を取得することを特徴とする請求項1から3のいずれかに記載の作業補助システム。 Based on the specific information acquired by the second acquisition means, further comprising identification means for identifying the work object;
4. The work assistance system according to claim 1, wherein the first acquisition unit acquires the procedure information corresponding to the work object identified by the identification unit. 5.
前記指示情報によって前記作業者が指示される前記所定の方位への移動の経路は、前記作業者の現在の方位と前記所定の方位との差が最小となる経路であることを特徴とする請求項1から4のいずれかに記載の作業補助システム。 The instruction information is information including at least one of an image and characters using arrows,
The route of movement to the predetermined direction instructed by the operator by the instruction information is a route in which a difference between the current direction of the worker and the predetermined direction is minimum. Item 5. The work assistance system according to any one of Items 1 to 4.
コンピュータに、
前記作業者が前記作業対象物に対する所定の方位から前記作業対象物側を向き、前記作業対象物に対して行う作業の手順を画像で前記表示装置に表示するための手順情報が取得される第一取得ステップと、
前記撮影装置が撮影した撮影画像から、前記作業対象物における所定の部位の画像である所定画像が方位を特定する特定情報として取得される第二取得ステップと、
前記撮影画像と前記特定情報とに基づいて、前記作業対象物に対する前記作業者の現在の方位が決定される決定ステップと、
前記作業者の現在の方位が、前記手順情報が示す作業手順において対象とする前記所定の方位である場合、前記表示装置に、前記手順情報に基づく画像が表示される第一表示ステップと、
前記作業者の現在の方位が、前記手順情報が示す作業手順において対象とする前記所定の方位でない場合に、前記作業者の現在の方位と前記所定の方位との関係に応じて決定される指示情報が前記表示装置に表示される第二表示ステップと、
を実行させるプログラム。 An image is displayed on a display device configured to be attachable to the worker's head based on a photographed image obtained by photographing the work object with a photographing device, and the worker performs work on the work object. A program for functioning as a work assistance device for assisting the worker in the case,
On the computer,
Procedure information for the operator to face the work object side from a predetermined orientation with respect to the work object and to display the procedure of the work to be performed on the work object on the display device as an image is acquired. An acquisition step;
A second acquisition step in which a predetermined image, which is an image of a predetermined part of the work object, is acquired as specific information for specifying an orientation from a captured image captured by the imaging device;
A determination step in which a current orientation of the worker with respect to the work object is determined based on the captured image and the specific information;
A first display step in which an image based on the procedure information is displayed on the display device when the current orientation of the worker is the predetermined orientation targeted in the work procedure indicated by the procedure information;
An instruction determined according to the relationship between the current direction of the worker and the predetermined direction when the current direction of the worker is not the predetermined direction targeted in the work procedure indicated by the procedure information A second display step in which information is displayed on the display device;
A program that executes
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012218599A JP2014071756A (en) | 2012-09-28 | 2012-09-28 | Work assistance system and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012218599A JP2014071756A (en) | 2012-09-28 | 2012-09-28 | Work assistance system and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014071756A true JP2014071756A (en) | 2014-04-21 |
Family
ID=50746875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012218599A Pending JP2014071756A (en) | 2012-09-28 | 2012-09-28 | Work assistance system and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014071756A (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105242400A (en) * | 2015-07-10 | 2016-01-13 | 上海鹰为智能科技有限公司 | Virtual reality glasses |
JP2016103162A (en) * | 2014-11-28 | 2016-06-02 | セイコーエプソン株式会社 | Electronic apparatus and control method of electronic apparatus |
WO2016132731A1 (en) * | 2015-02-16 | 2016-08-25 | 日本電気株式会社 | Work assistance device, work assistance system, work assistance method, and recording medium storing work assistance program |
WO2016194844A1 (en) * | 2015-05-29 | 2016-12-08 | 京セラ株式会社 | Wearable device |
JP2016218306A (en) * | 2015-05-22 | 2016-12-22 | セイコーエプソン株式会社 | Head-mount type display device, display system, control method of head-mount type display device and computer program |
JP2017010183A (en) * | 2015-06-19 | 2017-01-12 | セイコーエプソン株式会社 | Electronic apparatus and control method for the same |
JP2017016056A (en) * | 2015-07-06 | 2017-01-19 | セイコーエプソン株式会社 | Display system, display device, display device control method, and program |
JP2017079019A (en) * | 2015-10-21 | 2017-04-27 | 株式会社シナノキ環境美装 | System for construction field |
WO2017081920A1 (en) * | 2015-11-10 | 2017-05-18 | 日本電気株式会社 | Information processing device, control method, and program |
WO2017150292A1 (en) * | 2016-03-04 | 2017-09-08 | 新日鉄住金ソリューションズ株式会社 | Display system, information processing device, information processing method, and program |
JP2017182413A (en) * | 2016-03-30 | 2017-10-05 | セイコーエプソン株式会社 | Head-mounted type display device, control method for the same, and computer program |
JP2018073155A (en) * | 2016-10-31 | 2018-05-10 | 京セラドキュメントソリューションズ株式会社 | Work support system |
WO2019039219A1 (en) * | 2017-08-25 | 2019-02-28 | 株式会社イシダ | Work assistance system |
US10303435B2 (en) | 2015-01-15 | 2019-05-28 | Seiko Epson Corporation | Head-mounted display device, method of controlling head-mounted display device, and computer program |
-
2012
- 2012-09-28 JP JP2012218599A patent/JP2014071756A/en active Pending
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016103162A (en) * | 2014-11-28 | 2016-06-02 | セイコーエプソン株式会社 | Electronic apparatus and control method of electronic apparatus |
US10303435B2 (en) | 2015-01-15 | 2019-05-28 | Seiko Epson Corporation | Head-mounted display device, method of controlling head-mounted display device, and computer program |
WO2016132731A1 (en) * | 2015-02-16 | 2016-08-25 | 日本電気株式会社 | Work assistance device, work assistance system, work assistance method, and recording medium storing work assistance program |
JP2016218306A (en) * | 2015-05-22 | 2016-12-22 | セイコーエプソン株式会社 | Head-mount type display device, display system, control method of head-mount type display device and computer program |
US10591729B2 (en) | 2015-05-29 | 2020-03-17 | Kyocera Corporation | Wearable device |
WO2016194844A1 (en) * | 2015-05-29 | 2016-12-08 | 京セラ株式会社 | Wearable device |
JPWO2016194844A1 (en) * | 2015-05-29 | 2018-01-18 | 京セラ株式会社 | Wearable device |
JP2017010183A (en) * | 2015-06-19 | 2017-01-12 | セイコーエプソン株式会社 | Electronic apparatus and control method for the same |
JP2017016056A (en) * | 2015-07-06 | 2017-01-19 | セイコーエプソン株式会社 | Display system, display device, display device control method, and program |
US10564919B2 (en) | 2015-07-06 | 2020-02-18 | Seiko Epson Corporation | Display system, display apparatus, method for controlling display apparatus, and program |
CN105242400B (en) * | 2015-07-10 | 2017-12-29 | 上海鹰为智能科技有限公司 | Virtual reality glasses |
CN105242400A (en) * | 2015-07-10 | 2016-01-13 | 上海鹰为智能科技有限公司 | Virtual reality glasses |
JP2017079019A (en) * | 2015-10-21 | 2017-04-27 | 株式会社シナノキ環境美装 | System for construction field |
JPWO2017081920A1 (en) * | 2015-11-10 | 2018-04-05 | 日本電気株式会社 | Information processing apparatus, control method, and program |
WO2017081920A1 (en) * | 2015-11-10 | 2017-05-18 | 日本電気株式会社 | Information processing device, control method, and program |
US10713488B2 (en) | 2015-11-10 | 2020-07-14 | Nec Corporation | Inspection spot output apparatus, control method, and storage medium |
JPWO2017150292A1 (en) * | 2016-03-04 | 2018-03-08 | 新日鉄住金ソリューションズ株式会社 | Display system, information processing apparatus, information processing method, and program |
JP6279159B2 (en) * | 2016-03-04 | 2018-02-14 | 新日鉄住金ソリューションズ株式会社 | Display system, information processing apparatus, information processing method, and program |
WO2017150292A1 (en) * | 2016-03-04 | 2017-09-08 | 新日鉄住金ソリューションズ株式会社 | Display system, information processing device, information processing method, and program |
JP2017182413A (en) * | 2016-03-30 | 2017-10-05 | セイコーエプソン株式会社 | Head-mounted type display device, control method for the same, and computer program |
JP2018073155A (en) * | 2016-10-31 | 2018-05-10 | 京セラドキュメントソリューションズ株式会社 | Work support system |
WO2019039219A1 (en) * | 2017-08-25 | 2019-02-28 | 株式会社イシダ | Work assistance system |
JP2019040469A (en) * | 2017-08-25 | 2019-03-14 | 株式会社イシダ | Work assistance system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014071756A (en) | Work assistance system and program | |
CN105589199B (en) | Display device, control method for display device, and program | |
US10902239B2 (en) | Methods and systems for training an object detection algorithm using synthetic images | |
US9959591B2 (en) | Display apparatus, method for controlling display apparatus, and program | |
JP5564300B2 (en) | Head mounted augmented reality video presentation device and virtual display object operating method thereof | |
JP7003633B2 (en) | Transparent display device, display control method, and computer program | |
JP2017126302A5 (en) | ||
JP5895792B2 (en) | Work assistance system and program | |
JP6812203B2 (en) | Information processing system, information processing method, mobile projection terminal | |
TW201619933A (en) | Image processing apparatus, control method for image processing apparatus, and computer program | |
JP5949501B2 (en) | Work assistance system and program | |
JP5266426B1 (en) | Information processing terminal, information processing method, information processing program | |
JP2016224086A (en) | Display device, control method of display device and program | |
CA3130748A1 (en) | Systems for simulating joining operations using mobile devices | |
JP2022106801A (en) | Multi-layer viewing system and method | |
US10877269B2 (en) | Head-mounted display apparatus, inspection supporting display system, display method, and recording medium recording display program | |
CA3130780A1 (en) | Weld training system with a mobile connection device | |
US20220070365A1 (en) | Mixed reality image capture and smart inspection | |
JP2018151742A (en) | Information display system | |
JP6733401B2 (en) | Display system, display device, information display method, and program | |
JP5907034B2 (en) | Work assistance system and program | |
JP5932889B2 (en) | Head mounted augmented reality video presentation device and virtual display object operating method | |
JPWO2018100631A1 (en) | Information processing device | |
JP6064737B2 (en) | Speech recognition apparatus and speech recognition program | |
KR20180116044A (en) | Augmented reality device and method for outputting augmented reality therefor |