JP6912150B2 - Work support equipment, work support methods and programs - Google Patents

Work support equipment, work support methods and programs Download PDF

Info

Publication number
JP6912150B2
JP6912150B2 JP2019551164A JP2019551164A JP6912150B2 JP 6912150 B2 JP6912150 B2 JP 6912150B2 JP 2019551164 A JP2019551164 A JP 2019551164A JP 2019551164 A JP2019551164 A JP 2019551164A JP 6912150 B2 JP6912150 B2 JP 6912150B2
Authority
JP
Japan
Prior art keywords
work
image
worker
erroneous
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019551164A
Other languages
Japanese (ja)
Other versions
JPWO2019087870A1 (en
Inventor
友昭 牧野
友昭 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Fielding Ltd
Original Assignee
NEC Fielding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Fielding Ltd filed Critical NEC Fielding Ltd
Publication of JPWO2019087870A1 publication Critical patent/JPWO2019087870A1/en
Priority to JP2021110677A priority Critical patent/JP7156731B2/en
Application granted granted Critical
Publication of JP6912150B2 publication Critical patent/JP6912150B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)
  • User Interface Of Digital Computer (AREA)

Description

（関連出願についての記載）
本発明は、日本国特許出願：特願２０１７−２０９１７９号（２０１７年１０月３０日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、作業支援装置、作業支援方法及びプログラムに関する。(Description of related application)
The present invention is based on the priority claim of Japanese patent application: Japanese Patent Application No. 2017-209179 (filed on October 30, 2017), and all the contents of the application are incorporated in this document by citation. Shall be.
The present invention relates to a work support device, a work support method and a program.

特許文献１に、発電所や変電所等の現場機器の保守・点検作業において、作業者の負担を軽減すると共に、保守・点検作業業務の省力化を図ることのできるという保守支援システムが開示されている。同文献には、保守・点検作業に関する情報を保持した複数のデータベースを備えたサーバ１０を設けることが記載されている。一方、作業者が携行する携帯端末６には、作業者が被るヘルメット１に取り付けられたカメラ２により保守作業の所定の工程ごとにその進捗状況を撮影してサーバ１０に伝送する機能が備えられる。そして、サーバ１０は、カメラ２によって撮影された進捗状況に応じてデータベースから作業に必要なデータを抽出して、作業者が被るヘルメット１に取り付けられたディスプレイ５から作業に必要な情報を提供することが記載されている。 Patent Document 1 discloses a maintenance support system that can reduce the burden on workers and save labor in maintenance / inspection work in the maintenance / inspection work of on-site equipment such as power plants and substations. ing. The document describes that a server 10 provided with a plurality of databases holding information on maintenance / inspection work is provided. On the other hand, the mobile terminal 6 carried by the worker is provided with a function of photographing the progress of each predetermined process of maintenance work by a camera 2 attached to the helmet 1 worn by the worker and transmitting the progress to the server 10. .. Then, the server 10 extracts the data necessary for the work from the database according to the progress taken by the camera 2, and provides the information necessary for the work from the display 5 attached to the helmet 1 worn by the worker. It is stated that.

特許文献２には、監視者に頼ることなく、作業状態や作業現場の状況等を分析して評価することができるという作業管理システムが開示されている。同文献によると、この作業管理システムの入力部１は、熟練度の高い作業者が作業を進めている様子を撮像し、この動画像を周知の画像処理方法を用いてパターン化してから記憶部３に記憶する。また、この作業管理システムの検出部２は、通常の作業者が作業を進めている様子を撮像し、この動画像を周知の画像処理方法を用いてパターン化してから記憶部３に記憶したり、中央処理装置４に与える。そして、この作業管理システムの中央処理装置４は、２つの動画像を比較して、熟練度の高い作業者に対する通常の作業者の作業速度の差や作業手順の誤りを判定する。 Patent Document 2 discloses a work management system that can analyze and evaluate a work state, a work site situation, and the like without relying on an observer. According to the same document, the input unit 1 of this work management system captures a state in which a highly skilled worker is proceeding with work, patterns this moving image using a well-known image processing method, and then stores the image. Store in 3. Further, the detection unit 2 of this work management system captures a state in which a normal worker is proceeding with work, patterns this moving image using a well-known image processing method, and then stores it in the storage unit 3. , Is given to the central processing unit 4. Then, the central processing unit 4 of this work management system compares two moving images and determines a difference in work speed of a normal worker and an error in a work procedure with respect to a highly skilled worker.

特開２００５−２１６１３７号公報Japanese Unexamined Patent Publication No. 2005-216137 特開２００３−１６７６１３号公報Japanese Unexamined Patent Publication No. 2003-167613

以下の分析は、本発明によって与えられたものである。作業者を現地に派遣して、保守やメインテナンス作業を行う場合において、作業工程誤りが発生する場合がある。本発明者の分析によれば、これら作業誤りの多くは、作業者の誤認識、忘れ、見過ごし、思い込み等に起因するものであり、作業の中の特定のシーンを確認するだけで、その誤りを判定可能である。この点、特許文献１は、サーバ１０の主制御部１１が「所定の保守工程ごとに前記携帯端末６から伝送される保守作業の進捗状況から、該工程の保守作業の良否を判定する作業良否判定手段の役割を担う。」と包括的な記載がなされるに止まっている。 The following analysis is given by the present invention. When a worker is dispatched to the site to perform maintenance or maintenance work, a work process error may occur. According to the analysis of the present inventor, many of these work errors are caused by the worker's misrecognition, forgetting, oversight, belief, etc., and the mistakes can be made only by checking a specific scene in the work. Can be determined. In this regard, in Patent Document 1, the main control unit 11 of the server 10 "determines the quality of the maintenance work of the process from the progress of the maintenance work transmitted from the mobile terminal 6 for each predetermined maintenance process. It plays the role of a judgment means. "

また、特許文献２の方法は、予め熟練度の高い作業者の作業映像を撮影しておき、通常の作業者の作業映像と比較するものであり、通常の作業者の作業の評価の良し悪しは、熟練度の高い作業者の作業映像次第となってしまう。また、特許文献２の方法は、同文献の図２に示された卓上作業などには使えるが、毎度、作業現場の環境が異なりうる訪問型、出張型の作業の確認には使えない場合があると考えられる。 Further, the method of Patent Document 2 is to capture a work image of a highly skilled worker in advance and compare it with a work image of a normal worker, and the evaluation of the work of the normal worker is good or bad. Depends on the work image of a highly skilled worker. Further, although the method of Patent Document 2 can be used for desktop work shown in FIG. 2 of the same document, it may not be used for confirmation of visiting type or business trip type work in which the environment of the work site may be different each time. It is believed that there is.

本発明は、作業者に対し、精度よく作業工程誤り等の発生を知らせ、その作業効率の向上に貢献することのできる作業支援装置、作業支援方法及びプログラムを提供することを目的とする。 An object of the present invention is to provide a work support device, a work support method, and a program capable of accurately notifying a worker of the occurrence of a work process error or the like and contributing to the improvement of the work efficiency.

第１の視点によれば、少なくとも第１の工程と第１の工程の後に行われる第２の工程とを含む作業と、前記第１の工程と、前記第２の工程とにおいてそれぞれ行われる作業を代表する工程毎の代表画像とを対応付けて保持する記憶部と、前記作業者が作業を行っている過程における画像を入力する入力部と、前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する確認部と、前記作業者に対し、前記確認の結果を通知する通知部と、を備えた作業支援装置が提供される。 According to the first viewpoint, the work including at least the first step and the second step performed after the first step, and the work performed in the first step and the second step, respectively. A storage unit that holds a representative image for each process that represents the above, an input unit that inputs an image in the process in which the worker is performing the work, the input image, and the representative image. A work support device including a confirmation unit for collating and confirming whether or not the work is performed in a predetermined order and a notification unit for notifying the worker of the result of the confirmation is provided. NS.

第２の視点によれば、少なくとも第１の工程と第１の工程の後に行われる第２の工程とを含む作業と、前記第１、前記第２の工程において行われる作業を代表する工程毎の代表画像とを対応付けて保持する手段にアクセス可能なコンピュータが、前記作業者が作業を行っている過程における画像を入力するステップと、前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認するステップと、前記作業者に対し、前記確認の結果を通知するステップと、を含む作業支援方法が提供される。本方法は、作業支援装置として機能するコンピュータという、特定の機械に結びつけられている。 According to the second viewpoint, each step representing the work including at least the first step and the second step performed after the first step, and the work performed in the first and second steps. A computer that can access the means for associating and holding the representative image of the above collates the input image with the representative image in the step of inputting the image in the process in which the worker is performing the work. A work support method including a step of confirming whether or not the work is performed in a predetermined order and a step of notifying the worker of the result of the confirmation is provided. This method is tied to a specific machine, a computer that functions as a work support device.

第３の視点によれば、少なくとも第１の工程と第１の工程の後に行われる第２の工程とを含む作業と、前記第１、前記第２の工程において行われる作業を代表する工程毎の代表画像とを対応付けて保持する手段にアクセス可能なコンピュータに、前記作業者が作業を行っている過程における画像を入力する処理と、前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する処理と、前記作業者に対し、前記確認の結果を通知する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジエントな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。 According to the third viewpoint, each step representing the work including at least the first step and the second step performed after the first step, and the work performed in the first and second steps. The process of inputting an image in the process in which the worker is performing the work into a computer that can access the means for associating and holding the representative image of the above, and collating the input image with the representative image. A program for confirming whether or not the work is performed in a predetermined order and a process for notifying the worker of the result of the confirmation are provided. The program can be recorded on a computer-readable (non-transient) storage medium. That is, the present invention can also be embodied as a computer program product.

本発明によれば、作業者に対し、精度よく作業工程誤り等の発生を知らせ、その作業効率を向上させることが可能となる。即ち、本発明は、背景技術に記載した作業支援装置を、その作業工程誤りの有無の確認機能を飛躍的に向上させたものへと変換するものとなっている。 According to the present invention, it is possible to accurately notify an operator of the occurrence of a work process error or the like and improve the work efficiency. That is, the present invention is to convert the work support device described in the background technology into one in which the function of confirming the presence or absence of an error in the work process is dramatically improved.

本発明の一実施形態の構成を示す図である。It is a figure which shows the structure of one Embodiment of this invention. 本発明の一実施形態の別の構成例を示す図である。It is a figure which shows another structural example of one Embodiment of this invention. 本発明の一実施形態の作業支援装置の記憶部に準備する情報を説明するための図である。It is a figure for demonstrating the information prepared in the storage part of the work support apparatus of one Embodiment of this invention. 本発明の一実施形態の動作を説明するための図である。It is a figure for demonstrating operation of one Embodiment of this invention. 本発明の第１の実施形態の構成を示す図である。It is a figure which shows the structure of the 1st Embodiment of this invention. 本発明の第１の実施形態で用いるウェアラブル端末の構成を示す図である。It is a figure which shows the structure of the wearable terminal used in the 1st Embodiment of this invention. 本発明の第１の実施形態のサーバの構成を示す図である。It is a figure which shows the structure of the server of the 1st Embodiment of this invention. 本発明の第１の実施形態のサーバの作業情報データベース（作業情報ＤＢ）に保持される情報の一例を示す図である。It is a figure which shows an example of the information held in the work information database (work information DB) of the server of the 1st Embodiment of this invention. 本発明の第１の実施形態のウェアラブル端末及びサーバの工程画像データベース（工程画像ＤＢ）に保持される情報の一例を示す図である。It is a figure which shows an example of the information held in the process image database (process image DB) of the wearable terminal and the server of the 1st Embodiment of this invention. 本発明の第１の実施形態のウェアラブル端末の動作を表したフローチャートである。It is a flowchart which showed the operation of the wearable terminal of 1st Embodiment of this invention. 本発明の第２の実施形態の構成を示す図である。It is a figure which shows the structure of the 2nd Embodiment of this invention.

はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースがあるが図示省略する。 First, an outline of one embodiment of the present invention will be described with reference to the drawings. It should be noted that the drawing reference reference numerals added to this outline are added to each element for convenience as an example for assisting understanding, and the present invention is not intended to be limited to the illustrated embodiment. Further, the connecting line between blocks such as drawings referred to in the following description includes both bidirectional and unidirectional. The one-way arrow schematically shows the flow of the main signal (data), and does not exclude interactivity. Further, although there are ports or interfaces at the input / output connection points of each block in the figure, they are not shown.

本発明は、その一実施形態において、図１に示すように、記憶部１１ａと、入力部１２ａと、確認部１３ａと、通知部１４ａと、を備える作業支援装置１０ａにて実現できる。記憶部１１ａは、少なくとも第１の工程と第１の工程の後に行われる第２の工程と含む「作業」と、前記第１の工程と、前記第２の工程とにおいてそれぞれ行われる作業を代表する工程毎の代表画像とを対応付けて保持する。 In one embodiment of the present invention, as shown in FIG. 1, the present invention can be realized by a work support device 10a including a storage unit 11a, an input unit 12a, a confirmation unit 13a, and a notification unit 14a. The storage unit 11a represents a "work" including at least a first step and a second step performed after the first step, and a work performed in the first step and the second step, respectively. The representative image for each process to be performed is associated and held.

入力部１２ａは、前記作業者が前記選択した作業を行っている過程における画像を入力する。 The input unit 12a inputs an image in the process in which the worker is performing the selected work.

確認部１３ａは、前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する。 The confirmation unit 13a collates the input image with the representative image to confirm whether or not the work is performed in a predetermined order.

通知部１４ａは、前記作業者に対し、前記確認の結果を通知する。 The notification unit 14a notifies the worker of the result of the confirmation.

なお、図１に示した作業支援装置１０ａは、図２に示すようなコンピュータ１０ｂにて実現することもできる。この場合、メモリー１１ｂが、上記した記憶部１１ａとして機能し、入力手段１２ｂが、入力部１２ａとして機能することになる。なお、メモリー１１ｂには、各種のディスクドライブ等の補助記憶装置も含まれる。また、入力手段１２ｂは、作業を行っている過程における画像を撮影するカメラや、そのようなカメラから画像を受け取る入力インタフェース等であってもよい。また、確認部１３ａ及び通知部１４ａは、プロセッサ１３ｂにおいて、上記した確認部１３ａの確認処理と、その結果を出力手段１４ｂから出力（通知）させるコンピュータプログラムによって実現することが可能である。 The work support device 10a shown in FIG. 1 can also be realized by a computer 10b as shown in FIG. In this case, the memory 11b functions as the storage unit 11a described above, and the input means 12b functions as the input unit 12a. The memory 11b also includes auxiliary storage devices such as various disk drives. Further, the input means 12b may be a camera that captures an image in the process of performing the work, an input interface that receives an image from such a camera, or the like. Further, the confirmation unit 13a and the notification unit 14a can be realized by the above-mentioned confirmation process of the confirmation unit 13a and a computer program that outputs (notifies) the result from the output means 14b in the processor 13b.

ここで、あるアプリケーションプログラムのコンピュータへのインストール作業の支援を例に挙げて、本実施形態の動作を説明する。このアプリケーションプログラムでは、インストール工程（第２の工程）の前に、古いバージョンのプログラムのアンインストール作業（第１の工程）が必要とされているものとする。図３は、この場合に、記憶部１１ａに記憶する代表画像の例を示す。図３の例では、第１の工程の代表画像として、アンインストール中にモニタ上に表示されるサブウインドウが表示された画像が記憶される。同様に、第２の工程の代表画像として、インストール中にモニタ上に表示されるサブウインドウが表示された画像が記憶される。 Here, the operation of the present embodiment will be described by taking as an example the support for installing an application program on a computer. In this application program, it is assumed that the work of uninstalling the old version of the program (first step) is required before the installation step (second step). FIG. 3 shows an example of a representative image stored in the storage unit 11a in this case. In the example of FIG. 3, as a representative image of the first step, an image in which a sub-window displayed on the monitor during uninstallation is displayed is stored. Similarly, as a representative image of the second step, an image in which a sub-window displayed on the monitor during installation is displayed is stored.

そして、入力部１２ａに、例えば、カメラを介して、作業者が選択した作業を行っている過程における画像の入力がなされると、確認部１３ａは、入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する。例えば、入力された画像が、第１の工程の代表画像と一致すると、確認部１３ａが、作業が正しく開始されたと判定する。その後、第２の工程の代表画像と一致する画像が入力されると、確認部１３ａは、作業が正しく行われたものと判定する。ここで、確認部１３ａが、通知部１４ａに、作業者に対して、作業が正しく行われていることを通知させるようにしてもよい。このようにすることで、作業者はアプリケーションのインストール作業を正しく実行できたことを確認できる。その後、アプリケーションプログラムの動作に問題が生じたとしても、作業者は、インストール作業自体は正しくできていたという情報が得られているので、問題は他の箇所にあると認識することができる。 Then, when an image is input to the input unit 12a in the process of performing the work selected by the operator via, for example, the camera, the confirmation unit 13a inputs the input image and the representative image. By collating, it is confirmed whether or not the work is carried out in a predetermined order. For example, when the input image matches the representative image of the first step, the confirmation unit 13a determines that the work has been started correctly. After that, when an image matching the representative image of the second step is input, the confirmation unit 13a determines that the work has been performed correctly. Here, the confirmation unit 13a may cause the notification unit 14a to notify the worker that the work is being performed correctly. By doing so, the worker can confirm that the application installation work has been performed correctly. After that, even if a problem occurs in the operation of the application program, the worker can recognize that the problem is in another place because the information that the installation work itself has been performed correctly is obtained.

一方、入力された画像と、第１の工程の代表画像との一致の前に、第２の工程の代表画像と、一致した場合、確認部１３ａは、第１の工程よりも先に第２の工程が行われたものと判定する。この場合、確認部１３ａは、通知部１４ａに、作業者に対して、作業が正しく行われていないことを通知することが好ましい。このようにすることで、作業者はアプリケーションのインストール作業を間違っていたことを認識できる。これにより、次の作業や工程に入る前に、プログラムのインストールのやり直しを行うことができる。また、その際に、確認部１３ａが、通知部１４ａに、具体的な修正作業の内容を通知するように指示してもよい。例えば、図４の例の場合、確認部１３ａが、作業者に対し、Ｖ１．１のアプリケーションのアンインストールと、Ｖ１．０のアプリケーションのアンインストールを行った後、Ｖ１．１のインストールを行うべきことを通知することが考えられる。 On the other hand, if the input image matches the representative image of the second step before the representative image of the first step matches, the confirmation unit 13a performs the second step before the first step. It is determined that the process of In this case, it is preferable that the confirmation unit 13a notifies the worker 14a that the work is not performed correctly. By doing so, the worker can recognize that the application installation work was wrong. As a result, the program can be re-installed before starting the next work or process. At that time, the confirmation unit 13a may instruct the notification unit 14a to notify the specific content of the correction work. For example, in the case of the example of FIG. 4, the confirmation unit 13a should install V1.1 after uninstalling the application of V1.1 and the application of V1.0 for the worker. It is conceivable to notify that.

［第１の実施形態］
続いて、作業支援装置として、ウェアラブル端末を用いる本発明の第１の実施形態について図面を参照して詳細に説明する。図５は、本発明の第１の実施形態の作業支援装置の構成を示す図である。図５を参照すると、作業者１００ａが着用するメガネ型のウェアラブル端末（作業者装着端末）１００と、サーバ２００とがネットワーク１０１を介して接続された構成が示されている。なお、以下の実施形態では、作業画像の入力装置としてウェアラブル端末を用いるものとして説明するが、作業画像の入力装置としてウェアラブル端末に限られるものではない。例えば、スマートフォンやその他カメラ付きの業務用端末を作業画像の入力装置として用いることも可能である。また、カメラ自体が独立した構成であってもよく、カメラから送信された画像を上記ウェアラブル端末、スマートフォン、業務用端末等を介して、作業支援装置に送信することとしてもよい。なお、メガネ型のウェアラブル端末としては、スマートグラスやヘッドセット型端末と呼ばれるものを用いることができる。[First Embodiment]
Subsequently, the first embodiment of the present invention using the wearable terminal as the work support device will be described in detail with reference to the drawings. FIG. 5 is a diagram showing a configuration of a work support device according to the first embodiment of the present invention. With reference to FIG. 5, a configuration is shown in which the glasses-type wearable terminal (worker-worn terminal) 100 worn by the worker 100a and the server 200 are connected via the network 101. In the following embodiments, the wearable terminal is used as the input device for the work image, but the wearable terminal is not limited to the input device for the work image. For example, a smartphone or other business terminal with a camera can be used as a work image input device. Further, the camera itself may have an independent configuration, and the image transmitted from the camera may be transmitted to the work support device via the wearable terminal, the smartphone, the business terminal, or the like. As the glasses-type wearable terminal, what is called a smart glass or a headset-type terminal can be used.

なお、ウェアラブル端末１００及びサーバ２００のネットワーク１０１への接続形態（通信方式）としては、種々の方式を用いることができる。例えば、移動体通信網を介した接続、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）による接続等が考えられる。その他、Ｂｌｕｅｔｏｏｔｈ（登録商標）や赤外線通信等の近距離無線通信を介して、ウェアラブル端末１００及びサーバ２００がネットワーク１０１に接続することとしてもよい。もちろん、有線ＬＡＮ等の有線通信を介して、ウェアラブル端末１００及びサーバ２００がネットワーク１０１に接続する方法も採用可能である。 As the connection form (communication method) of the wearable terminal 100 and the server 200 to the network 101, various methods can be used. For example, a connection via a mobile communication network, a connection via a wireless LAN (Local Area Network), or the like can be considered. In addition, the wearable terminal 100 and the server 200 may be connected to the network 101 via short-range wireless communication such as Bluetooth (registered trademark) or infrared communication. Of course, a method in which the wearable terminal 100 and the server 200 are connected to the network 101 via a wired communication such as a wired LAN can also be adopted.

図６は、本発明の第１の実施形態のウェアラブル端末の構成を示す図である。図６を参照すると、制御部１０２、通信部１０３、画像入力部１０４、音声入力部１０５、入力部１０６、表示部１０７、音声出力部１０８、計時部１０９及び記憶部１１０を備えるウェアラブル端末１００が示されている。 FIG. 6 is a diagram showing a configuration of a wearable terminal according to the first embodiment of the present invention. Referring to FIG. 6, a wearable terminal 100 including a control unit 102, a communication unit 103, an image input unit 104, a voice input unit 105, an input unit 106, a display unit 107, a voice output unit 108, a timekeeping unit 109, and a storage unit 110 It is shown.

通信部１０３は、ネットワーク１０１を介して、ウェアラブル端末１００とサーバ２００の間のデータの通信を行う。 The communication unit 103 communicates data between the wearable terminal 100 and the server 200 via the network 101.

画像入力部１０４は、例えば、撮影装置（カメラ）によって構成することができる。具体的には、画像入力部１０４は、制御部１０２からの指示に応じて、作業者が視認する領域の画像（動画でも良く、所定間隔（動画像より、撮像時間間隔が広くても良い）毎に撮像した静止画でも良い）を取り込む。画像入力部１０４は、記憶部１１０の工程画像ＤＢ１１１に取り込んだ画像を保存する。なお、画像入力部１０４は、必ずしも撮影装置（カメラ）である必要はなく、撮影装置（カメラ）等を接続可能なインターフェースであってもよい。 The image input unit 104 can be configured by, for example, a photographing device (camera). Specifically, the image input unit 104 is an image of an area visually recognized by the operator in response to an instruction from the control unit 102 (a moving image may be used, or a predetermined interval (the imaging time interval may be wider than the moving image)). It may be a still image taken every time). The image input unit 104 stores the image captured in the process image DB 111 of the storage unit 110. The image input unit 104 does not necessarily have to be a photographing device (camera), and may be an interface to which a photographing device (camera) or the like can be connected.

音声入力部１０５は、マイク（マイクロフォン）によって構成することができる。音声入力部１０５を介して、作業者から音声による指示を受け付け、ウェアラブル端末１００の動作を制御してもよい。この音声入力部１０５から、特定の装置等の作業対象が発する音、作業者の周囲の音を取り込んで、作業が正しく行われているか否かの確認を行うようにしてもよい。 The voice input unit 105 can be configured by a microphone (microphone). The operation of the wearable terminal 100 may be controlled by receiving a voice instruction from the operator via the voice input unit 105. From the voice input unit 105, the sound emitted by the work target of a specific device or the like and the sound around the worker may be taken in to confirm whether or not the work is being performed correctly.

入力部１０６は、タッチパネルやスライドパッド、マウス、キーボード等の情報入力手段によって構成される。作業者から入力部１０６を介して指示を受け付け、ウェアラブル端末１００の動作を制御してもよい。また、作業者が、入力部１０６を介して入力した情報（例えば、工程画像ＤＢの修正データ）を、記憶部１１０の工程画像ＤＢ１１１等に記憶するようにしてもよい。なお、上記した音声入力部１０５や入力部１０６は適宜省略することもできる。例えば、作業者からの指示を、画像入力部１０４によって作業者のジェスチャーを認識して受け取る場合、音声入力部１０５や入力部１０６を省略することができる。 The input unit 106 is composed of information input means such as a touch panel, a slide pad, a mouse, and a keyboard. An instruction may be received from the operator via the input unit 106 to control the operation of the wearable terminal 100. Further, the information input by the operator via the input unit 106 (for example, the correction data of the process image DB) may be stored in the process image DB 111 or the like of the storage unit 110. The voice input unit 105 and the input unit 106 may be omitted as appropriate. For example, when the image input unit 104 recognizes and receives the gesture of the operator, the voice input unit 105 and the input unit 106 can be omitted.

なお、上記した画像入力部１０４、音声入力部１０５、入力部１０６における画像等や音声等の情報の入力は、制御部１０２の指示するタイミングで行われるものとする。 It is assumed that the above-mentioned image input unit 104, sound input unit 105, and input unit 106 input information such as images and sounds at the timing instructed by the control unit 102.

表示部１０７は、制御部１０２からの指示で、出力画像（動画でも良い）を表示する液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイによって構成される。 The display unit 107 is composed of a liquid crystal display or an organic EL (Electroluminescence) display that displays an output image (which may be a moving image) according to an instruction from the control unit 102.

音声出力部１０８は、制御部１０２からの指示で、音声を出力する。例えば、作業対象の装置に対して行われた操作の際の動作音の取得が必要な場合は、制御部１０２が、表示部１０７または音声出力部１０８に対して、作業者に対し、必要な操作の実行を促すメッセージ（音声案内等）を出力させるようにしてもよい。また、音声出力部１０８に代えて、出力手段として、作業者に注意を促すための振動モータ、振動を発生するデバイスや、ランプを用いることもできる。 The voice output unit 108 outputs voice in response to an instruction from the control unit 102. For example, when it is necessary to acquire the operation sound at the time of the operation performed on the device to be worked, the control unit 102 is required for the operator with respect to the display unit 107 or the voice output unit 108. A message (voice guidance, etc.) prompting the execution of the operation may be output. Further, instead of the voice output unit 108, a vibration motor for calling attention to the operator, a device for generating vibration, or a lamp can be used as the output means.

計時部１０９は、作業の開始から各工程までの所要時間（経過時間）を計測する。この計測した所要時間と、標準時間や最大許容時間と比較することにより、作業の遅れの有無や、トラブルの発生有無等を把握することができる。 The timekeeping unit 109 measures the required time (elapsed time) from the start of the work to each process. By comparing the measured required time with the standard time or the maximum permissible time, it is possible to grasp whether or not there is a delay in work, whether or not a trouble has occurred, and the like.

制御部１０２は、上記したウェアラブル端末１００の各部を制御し、画像入力部１０４から入力された画像と代表画像や誤り画像とを照合し、作業の進捗管理（図１０のフローチャート参照）を行う。また本実施形態の制御部１０２は、各工程の所要時間（経過時間）と別途定められた標準時間や最大許容時間とを比較することにより、作業の進捗を管理する。また本実施形態の制御部１０２は、予め定められた警告発動条件が成立すると、作業者に対し警告を出力する機能を備えている。このような制御部１０２は、ウェアラブル端末１００の各部を制御するプログラム１１２を、記憶部１１０から読み出してプロセッサに実行させることにより実現することもできる。 The control unit 102 controls each unit of the wearable terminal 100 described above, collates the image input from the image input unit 104 with the representative image and the error image, and manages the progress of the work (see the flowchart of FIG. 10). Further, the control unit 102 of the present embodiment manages the progress of the work by comparing the required time (elapsed time) of each process with the separately determined standard time and maximum allowable time. Further, the control unit 102 of the present embodiment has a function of outputting a warning to the operator when a predetermined warning activation condition is satisfied. Such a control unit 102 can also be realized by reading a program 112 that controls each unit of the wearable terminal 100 from the storage unit 110 and causing the processor to execute the program 112.

記憶部１１０は、工程画像データベース（工程画像ＤＢ）１１１として機能する。この工程画像ＤＢ１１１には、サーバ２００から受信した工程画像情報が登録される。工程画像情報の詳細については、後に、詳細に説明する。 The storage unit 110 functions as a process image database (process image DB) 111. The process image information received from the server 200 is registered in the process image DB 111. The details of the process image information will be described in detail later.

図７は、本発明の第１の実施形態のサーバ２００の構成を示す図である。図７を参照すると、制御部２０２、通信部２０３、画像入力部２０４、音声入力部２０５、入力部２０６、表示部２０７、音声出力部２０８及び記憶部２０９を備えるサーバ２００が示されている。 FIG. 7 is a diagram showing the configuration of the server 200 according to the first embodiment of the present invention. With reference to FIG. 7, a server 200 including a control unit 202, a communication unit 203, an image input unit 204, a voice input unit 205, an input unit 206, a display unit 207, a voice output unit 208, and a storage unit 209 is shown.

通信部２０３は、ネットワーク１０１を介して、ウェアラブル端末１００とサーバ２００の間のデータの通信を行う。 The communication unit 203 communicates data between the wearable terminal 100 and the server 200 via the network 101.

画像入力部２０４は、ウェアラブル端末１００側から、作業者が視認する領域の画像（動画でも良く、所定間隔（動画像より、撮像時間間隔が広くても良い）毎に撮像した静止画でも良い）を受け取るインタフェースである。 The image input unit 204 may be an image of an area visually recognized by the operator from the wearable terminal 100 side (a moving image may be used, or a still image may be taken at predetermined intervals (the imaging time interval may be wider than the moving image)). Is the interface that receives.

音声入力部２０５は、ウェアラブル端末１００側から音声データを受け取るインタフェースである。音声入力部２０５を介して、作業者から音声による指示を受け付け、サーバ２００の動作を制御してもよい。この音声入力部２０５から、特定の装置等の作業対象が発する音、作業者の周囲の音を取り込んで、作業が正しく行われているか否かの確認を行うようにしてもよい。 The voice input unit 205 is an interface for receiving voice data from the wearable terminal 100 side. The operation of the server 200 may be controlled by receiving a voice instruction from the operator via the voice input unit 205. From the voice input unit 205, the sound emitted by the work target of a specific device or the like and the sound around the worker may be taken in to confirm whether or not the work is being performed correctly.

入力部２０６は、タッチパネルやスライドパッド、マウス、キーボード等の情報入力手段によって構成される。作業者から入力部２０６を介して指示を受け付け、サーバ２００の動作を制御してもよい。また、作業者が、入力部２０６を介して入力した情報（例えば、工程画像ＤＢの修正データ）を、記憶部２０９の工程画像ＤＢ２１１等に記憶するようにしてもよい。 The input unit 206 is composed of information input means such as a touch panel, a slide pad, a mouse, and a keyboard. The operation of the server 200 may be controlled by receiving an instruction from the operator via the input unit 206. Further, the information input by the operator via the input unit 206 (for example, the correction data of the process image DB) may be stored in the process image DB 211 or the like of the storage unit 209.

表示部２０７は、サーバ２００側の操作者に必要なメッセージ等を出力したり、入出力内容を表示する液晶ディスプレイや有機ＥＬディスプレイによって構成される。 The display unit 207 is composed of a liquid crystal display or an organic EL display that outputs a message or the like necessary for the operator on the server 200 side and displays input / output contents.

音声出力部２０８は、制御部２０２からの指示により、サーバ側の操作者に対し、必要な操作の実行を促すメッセージ（音声案内等）を出力する。また、音声出力部２０８に代えて、出力手段として、光で操作者に注意を促すためのランプ等を用いることもできる。 The voice output unit 208 outputs a message (voice guidance or the like) prompting the operator on the server side to execute a necessary operation in response to an instruction from the control unit 202. Further, instead of the voice output unit 208, a lamp or the like for calling attention to the operator with light can be used as the output means.

制御部２０２は、上記したサーバ２００の各部を制御する。この制御部２０２は、サーバ２００の各部を制御するプログラム（非図示）を、記憶部２０９から読み出してプロセッサに実行させることにより実現することもできる。また、ウェアラブル端末１００からサーバ２００側に、画像入力部１０４から入力された画像が送信される場合、この制御部２０２において、作業の進捗管理（図１０のフローチャート参照）を行う処理を行わせても良い。具体的には、制御部２０２は、ウェアラブル端末１００から受信された画像と代表画像や誤り画像とを照合し、作業の進捗管理を行うことになる。また、制御部２０２において、作業を開始してからの経過時間を記録し、別途定めた標準的な所要時間との比較により、作業の遅れの有無を判定させてもよい。 The control unit 202 controls each unit of the server 200 described above. The control unit 202 can also be realized by reading a program (not shown) for controlling each unit of the server 200 from the storage unit 209 and causing the processor to execute the program. Further, when the image input from the image input unit 104 is transmitted from the wearable terminal 100 to the server 200 side, the control unit 202 is allowed to perform a process of performing work progress management (see the flowchart of FIG. 10). Is also good. Specifically, the control unit 202 collates the image received from the wearable terminal 100 with the representative image and the error image, and manages the progress of the work. Further, the control unit 202 may record the elapsed time from the start of the work and determine whether or not there is a delay in the work by comparing it with a standard required time separately determined.

ここで、サーバ２００の記憶部２０９に保持される情報について説明する。記憶部２０９には、作業情報と、工程画像情報が登録され、それぞれ作業情報データベース（作業情報ＤＢ）２１０、工程画像データベース（工程画像ＤＢ）２１１として機能する。 Here, the information stored in the storage unit 209 of the server 200 will be described. Work information and process image information are registered in the storage unit 209, and function as a work information database (work information DB) 210 and a process image database (process image DB) 211, respectively.

図８は、作業情報ＤＢ２１０に保持される情報の一例を示す図である。図８を参照すると、装置名、作業種類、障害内容によって特定される「作業」に一意に付与される作業Ｎｏ．を対応づけたエントリが示されている。この作業情報ＤＢ２１０は、ウェアラブル端末１００から、工程画像の送信要求を受けた際に、入力された作業内容から作業Ｎｏ．を特定するために用いられる。例えば、ある作業者が、起動しないパソコンの故障修理を行う場合、その作業は＃１の作業として特定される。なお、作業の内容は、図８の例に限られず、本発明を適用可能なさまざまな「作業」を特定するための情報を登録してもよい。例えば、図８の例のほか、装置撤去作業や定期点検作業を作業情報ＤＢ２１０に登録してもよい。また例えば、自動車のオイル交換であれば、装置フィールドには、自動車の車種名や型番（型式）を示す情報が設定され、作業種類フィールドには、オイル交換が設定される（なお、障害内容フィールドは、図８の＃４のサーバ４の設置と同様に空欄でもよいし、あるいは、オイルエレメント交換の要否等を設定してもよい）。 FIG. 8 is a diagram showing an example of information held in the work information DB 210. With reference to FIG. 8, the work No. uniquely assigned to the "work" specified by the device name, the work type, and the content of the failure. The entries associated with are shown. When the work information DB 210 receives a process image transmission request from the wearable terminal 100, the work information DB 210 is based on the work content input to the work No. Is used to identify. For example, when a worker repairs a malfunction of a personal computer that does not start, the work is specified as the work # 1. The content of the work is not limited to the example of FIG. 8, and information for identifying various "work" to which the present invention can be applied may be registered. For example, in addition to the example of FIG. 8, the device removal work and the periodic inspection work may be registered in the work information DB 210. Further, for example, in the case of oil change of an automobile, information indicating the vehicle model name and model number (model) of the automobile is set in the device field, and oil change is set in the work type field (note that the failure content field). May be left blank in the same manner as the installation of the server 4 of # 4 in FIG. 8, or the necessity of replacing the oil element may be set).

図９は、工程画像ＤＢ２１１に保持される情報の一例を示す図である。図９を参照すると、作業Ｎｏ．２の「作業」における各工程の代表画像と、この代表画像等を用いて、工程の進捗管理を行うための情報が対応付けて登録されている。図９の例は、図８の作業情報ＤＢにて作業Ｎｏ．２と特定される、プリンタ２の故障修理（紙詰まり）を行う際の情報が登録されている。また、図９は、作業Ｎｏ．２を構成する６つの工程のうち、工程３まで正常に進み、工程４にて作業の誤りを検出した状態を示している。以下、図９の各項目について説明する。 FIG. 9 is a diagram showing an example of information held in the process image DB 211. With reference to FIG. 9, the work No. The representative image of each process in the "work" of 2 and the information for managing the progress of the process are registered in association with each other by using the representative image and the like. In the example of FIG. 9, the work No. is shown in the work information DB of FIG. Information for repairing a failure (paper jam) of the printer 2, which is specified as 2, is registered. Further, FIG. 9 shows the work No. Of the six steps constituting 2, the process normally proceeds to step 3, and the state in which an error in the work is detected in step 4 is shown. Hereinafter, each item of FIG. 9 will be described.

「代表画像」フィールドは、各工程において、正しく作業が行われたことを確認するための画像を登録するためのフィールドである。この代表画像は、ウェアラブル端末１００にて画像の一致確認がし易いよう、作業者（例えば、装置の保守作業者であっても良い）が視認する領域（厳密にはウェアラブル端末１００に入力が想定される画像と同一の領域）を撮像したものが好ましい。より望ましくは、代表画像の角度、大きさ、画素数等は、ウェアラブル端末１００に入力される画像と同一になるように設定される。 The "representative image" field is a field for registering an image for confirming that the work has been performed correctly in each process. This representative image is assumed to be input to the area (strictly speaking, the wearable terminal 100) that is visible to the operator (for example, a maintenance worker of the device) so that the matching of the images can be easily confirmed on the wearable terminal 100. An image of the same area as the image to be formed) is preferable. More preferably, the angle, size, number of pixels, etc. of the representative image are set to be the same as the image input to the wearable terminal 100.

また、誤判定を防ぐため、代表画像は、他の工程でも撮影出来る画像ではなく、その工程でのみ得られる画像であることが好ましい。また、この代表画像は、ウェアラブル端末１００に入力が想定される画像の一部と照合する画像であってもよい。また、ウェアラブル端末１００に入力が想定される画像と代表画像の角度、大きさ、画素数等が、必ずしも一致している必要はない。例えば、いずれか一方の画像を座標変換により、傾けた画像としたり、画像の大きさや画素数を変換したりすることで、双方を照合する方法も採用可能である。 Further, in order to prevent erroneous determination, it is preferable that the representative image is not an image that can be captured in other steps, but an image that can be obtained only in that step. Further, the representative image may be an image that is collated with a part of the image that is expected to be input to the wearable terminal 100. Further, the angle, size, number of pixels, and the like of the image expected to be input to the wearable terminal 100 and the representative image do not necessarily have to match. For example, it is possible to adopt a method of collating either one of the images by converting the coordinates into a tilted image or by converting the size and the number of pixels of the image.

代表画像の例としては、ハードディスク交換作業におけるハードディスクドライブの外観画像、回路基板や機構部品の交換作業における対象装置での実装状態を想定した回路基板や機構部品の外観画像が挙げられる。また、代表画像の別の例として、機器接続作業における作業対象装置での外部に露出しているコネクタの外観やその接続状態を示す画像が挙げられる。 Examples of the representative image include an external image of the hard disk drive in the hard disk replacement work, and an external image of the circuit board and the mechanical component assuming the mounting state in the target device in the circuit board and the mechanical component replacement work. Further, as another example of the representative image, there is an image showing the appearance of the connector exposed to the outside in the work target device in the device connection work and the connection state thereof.

図９の「撮像画像」フィールドは、ウェアラブル端末１００の画像入力部１０４から入力された画像のうち、代表画像や誤り画像（後述）との照合がとれた画像が登録されるフィールドである。図９の例では、サーバ２００側の工程画像ＤＢ２１１に「撮像画像」フィールドが設けられているが、ウェアラブル端末１００側でのみ代表画像との照合を行う場合、サーバ２００側の工程画像ＤＢ２１１の「撮像画像」フィールドは省略できる。前述のとおり、図９の例では、工程１〜３までが確認されたので、「撮像画像」フィールドには、代表画像と一致すると判定された画像が登録されている。図９の工程４は、誤り画像との一致が検出されたので、「撮像画像」フィールドには、誤り画像と一致すると判定された画像が登録されている。 The “captured image” field of FIG. 9 is a field in which, among the images input from the image input unit 104 of the wearable terminal 100, an image that has been collated with a representative image or an erroneous image (described later) is registered. In the example of FIG. 9, the “captured image” field is provided in the process image DB 211 on the server 200 side, but when collating with the representative image only on the wearable terminal 100 side, the process image DB 211 on the server 200 side “ The "Captured image" field can be omitted. As described above, in the example of FIG. 9, since steps 1 to 3 have been confirmed, an image determined to match the representative image is registered in the “captured image” field. In step 4 of FIG. 9, since a match with the erroneous image was detected, an image determined to match the erroneous image is registered in the “captured image” field.

図９の「実施状況」フィールドは、ウェアラブル端末１００の制御部１０２又はサーバ２００の制御部２０２で代表画像との照合により、確認された工程の進捗状況等を記録するフィールドである。図９の例では、サーバ２００側の工程画像ＤＢ２１１に「実施状況」フィールドが設けられているが、ウェアラブル端末１００側でのみ代表画像との照合を行う場合、サーバ２００側の工程画像ＤＢ２１１の「実施状況」フィールドは省略できる。前述のとおり、図９の例では、工程１〜３までが確認されたので、「実施状況」フィールドには、「作業開始」、「工程確認」といった情報が登録されている。図９の工程４は、誤り画像との一致が検出されたので、「実施状況」フィールドには、「誤り検知」という情報が登録されている。また、工程５以降は行われていないため、「未実施」という初期状態の情報が登録されている。 The “implementation status” field in FIG. 9 is a field for recording the progress status of the process confirmed by the control unit 102 of the wearable terminal 100 or the control unit 202 of the server 200 by collating with the representative image. In the example of FIG. 9, the "implementation status" field is provided in the process image DB 211 on the server 200 side, but when collation with the representative image is performed only on the wearable terminal 100 side, the process image DB 211 on the server 200 side is "implemented". The Implementation Status field can be omitted. As described above, in the example of FIG. 9, since steps 1 to 3 have been confirmed, information such as "work start" and "process confirmation" is registered in the "implementation status" field. In step 4 of FIG. 9, since a match with the error image was detected, the information "error detection" is registered in the "implementation status" field. Further, since the process 5 and subsequent steps have not been performed, the information in the initial state of "not performed" is registered.

図９の「手順情報」フィールドは、各工程の次の工程の作業内容等が登録されるフィールドである。「手順情報」フィールドの内容は、必要に応じ、表示部１０７や音声出力部１０８を介して、作業者に通知される。 The "procedure information" field of FIG. 9 is a field in which the work contents and the like of the next process of each process are registered. The contents of the "procedure information" field are notified to the operator via the display unit 107 and the voice output unit 108, if necessary.

図９の「通知情報」フィールドは、各工程に到達した際に、作業者に通知する情報が登録されるフィールドである。例えば、撮像画像と代表画像が適合し、作業開始と判定した場合、通知情報フィールドに登録されている内容が作業者に通知される。作業情報との差異は、作業情報が作業内容を伝えるという観点で作成されているのに対し、通知情報は、注意事項、連絡事項や、次工程作業を行う上で、作業誤りを防ぐ為の注意喚起の情報が設定されている点である。なお、上記した作業情報や通知情報として、文字、音声、動作、図形等の形態を採ることができる。また、ウェアラブル端末１００の眼鏡型のスクリーンに、上記作業情報や通知情報を示す文字や図形を重畳表示し、作業者の作業を支援するようにしてもよい。 The "notification information" field of FIG. 9 is a field in which information to be notified to the operator when each process is reached is registered. For example, when the captured image and the representative image match and it is determined that the work has started, the content registered in the notification information field is notified to the worker. The difference from the work information is created from the viewpoint that the work information conveys the work content, while the notification information is used for precautions, communication items, and to prevent work errors in performing the next process work. The point is that the information for calling attention is set. The work information and notification information described above can be in the form of characters, voices, actions, figures, and the like. In addition, characters and figures indicating the work information and notification information may be superimposed and displayed on the glasses-shaped screen of the wearable terminal 100 to support the work of the worker.

「誤り画像」フィールドは、各工程において、作業ミスが行われたことを検出するための画像を登録するためのフィールドである。この誤り画像も、代表画像と同様に、ウェアラブル端末１００にて画像の一致確認がし易いよう、作業者（例えば、装置の保守作業者であっても良い）が視認する領域（厳密にはウェアラブル端末１００に入力が想定される画像と同一の領域）を撮像したものが好ましい。より望ましくは、誤り画像の角度、大きさ、画素数等は、ウェアラブル端末１００に入力される画像と同一になるように設定される。 The "error image" field is a field for registering an image for detecting that a work error has been made in each process. Similar to the representative image, this error image is also a region (strictly speaking, wearable) that is visible to the operator (for example, a maintenance worker of the device) so that the matching of the images can be easily confirmed on the wearable terminal 100. An image of the same area as the image expected to be input to the terminal 100) is preferable. More preferably, the angle, size, number of pixels, etc. of the erroneous image are set to be the same as the image input to the wearable terminal 100.

また、誤判定を防ぐため、誤り画像も、他の工程でも撮影出来る画像ではなく、その工程でのみ得られる画像であることが好ましい。また、この誤り画像は、ウェアラブル端末１００に入力が想定される画像の一部と照合する画像であってもよい。また、ウェアラブル端末１００に入力が想定される画像と誤り画像の角度、大きさ、画素数等が、必ずしも一致している必要はない。例えば、いずれか一方の画像を座標変換により、傾けた画像としたり、画像の大きさや画素数を変換したりすることで、双方を照合する方法も採用可能である。 Further, in order to prevent erroneous determination, it is preferable that the erroneous image is not an image that can be captured in other steps but an image that can be obtained only in that step. Further, this erroneous image may be an image that is collated with a part of the image that is expected to be input to the wearable terminal 100. Further, the angle, size, number of pixels, and the like of the image expected to be input to the wearable terminal 100 and the erroneous image do not necessarily have to match. For example, it is possible to adopt a method of collating either one of the images by converting the coordinates into a tilted image or by converting the size and the number of pixels of the image.

図９の「標準時間」フィールドは、各工程間の標準的な作業時間が登録されるフィールドである。この標準時間と実際の作業時間を比較することにより作業の進捗具合（遅れ具合）を把握することが可能となる。また、図９の「最大許容時間」フィールドは、各工程間の所要時間として許容される時間が登録されるフィールドである（即ち、最大許容時間＞標準時間である）。図９の「経過時間」フィールドは、各工程間の実際の所要時間が登録されるフィールドである。なお、図９の例では、最終工程である工程６の標準時間と最大許容時間が空欄となっているが、これは、この工程の代表画像との一致をもって作業終了となり、判定の必要が無いためである。 The “standard time” field in FIG. 9 is a field in which the standard working time between each process is registered. By comparing this standard time with the actual work time, it is possible to grasp the progress (delay) of the work. Further, the "maximum allowable time" field in FIG. 9 is a field in which the time allowed as the required time between each process is registered (that is, the maximum allowable time> standard time). The “elapsed time” field in FIG. 9 is a field in which the actual required time between each process is registered. In the example of FIG. 9, the standard time and the maximum allowable time of the final process 6 are blank, but this is the end of the work when it matches the representative image of this process, and there is no need to judge. Because.

図９の「遅れ判定」フィールドは、各工程の進捗が、標準的な所要時間と比較して進んでいるのか、遅れているのかの判定結果が格納されるフィールドである。図９の例では、経過時間が、標準時間より短い場合「早め判定」としている。例えば、工程３は、標準時間１５分に対し、経過時間が８分であるため、「早め判定」となっている。図９の例では、経過時間が、最大許容時間より長い場合「遅延判定」としている。例えば、工程２、４は、最大許容時間より、経過時間が長いため、「遅延判定」となっている。図９の例では、経過時間が、最大許容時間よりも短いが標準時間より長い場合「遅れ判定」としている。例えば、工程１は、標準時間５分に対し、経過時間が８分、最大許容時間が１０分となっているため、「遅れ判定」となっている。なお、これらの判定基準はあくまで一例であり、判定を行う作業の種別や性質により適宜変更することができる。例えば、図９のような工程単位での判定のほか、累積標準時間や累積最大許容時間を設定し、累積の経過時間との比較を行って判定結果を得ても良い。 The "delay determination" field of FIG. 9 is a field in which the determination result of whether the progress of each process is advanced or delayed as compared with the standard required time is stored. In the example of FIG. 9, when the elapsed time is shorter than the standard time, it is defined as "early determination". For example, in step 3, since the elapsed time is 8 minutes with respect to the standard time of 15 minutes, it is an “early determination”. In the example of FIG. 9, when the elapsed time is longer than the maximum allowable time, it is defined as "delay determination". For example, steps 2 and 4 are "delayed determination" because the elapsed time is longer than the maximum allowable time. In the example of FIG. 9, when the elapsed time is shorter than the maximum allowable time but longer than the standard time, it is defined as "delay determination". For example, in step 1, the elapsed time is 8 minutes and the maximum allowable time is 10 minutes with respect to the standard time of 5 minutes, so that the process 1 is a "delay determination". It should be noted that these judgment criteria are merely examples, and can be appropriately changed depending on the type and nature of the work to be judged. For example, in addition to the determination in process units as shown in FIG. 9, the cumulative standard time and the cumulative maximum allowable time may be set and compared with the cumulative elapsed time to obtain the determination result.

また、標準時間と最大許容時間との関係も工程の内容に応じて適宜設定することができる。ごく簡単には、標準時間に所定時間を加えたものを最大許容時間としてもよいし、標準時間に所定の率を乗じたものを最大許容時間としてもよい。 Further, the relationship between the standard time and the maximum allowable time can be appropriately set according to the content of the process. Quite simply, the standard time plus a predetermined time may be the maximum permissible time, or the standard time multiplied by a predetermined rate may be the maximum permissible time.

図９の「遅れ判定」フィールドに更新が行われたタイミングで、作業者に対して、音声や画像により、その判定結果や遅延量等を通知してもよい。これにより、作業者は、作業の遅れや、その程度を把握することが可能となる。 At the timing when the "delay determination" field of FIG. 9 is updated, the operator may be notified of the determination result, the delay amount, or the like by voice or image. As a result, the worker can grasp the delay of the work and the degree thereof.

図９の「警告情報」フィールドは、「警告発動条件」フィールドに設定された条件が成立した際に、作業者に通知される警告内容が格納されるフィールドである。例えば、図９の例では工程２と工程４に警告情報と、その警告発動条件が設定されている。これにより、作業中の特に重要な工程について、誤りや遅延が発生した際に作業者に警告（通知）を行うことが可能となっている。 The "warning information" field of FIG. 9 is a field in which the warning content notified to the operator when the condition set in the "warning triggering condition" field is satisfied is stored. For example, in the example of FIG. 9, warning information and warning activation conditions are set in steps 2 and 4. This makes it possible to warn (notify) the operator when an error or delay occurs in a particularly important process during work.

続いて、本実施形態の動作について図面を参照して詳細に説明する。図１０は、本発明の第１の実施形態のウェアラブル端末の動作を表したフローチャートである。図１０を参照すると、まず、作業者が、ウェアラブル端末１００の入力部１０６から、図８に示す作業を特定するための情報（装置名、作業種類、障害内容等）を入力する（ステップＳ３０１）。 Subsequently, the operation of the present embodiment will be described in detail with reference to the drawings. FIG. 10 is a flowchart showing the operation of the wearable terminal according to the first embodiment of the present invention. Referring to FIG. 10, first, the operator inputs information (device name, work type, failure content, etc.) for identifying the work shown in FIG. 8 from the input unit 106 of the wearable terminal 100 (step S301). ..

ウェアラブル端末１００の制御部１０２は、サーバ２００に対し、前記入力された情報を送信し、作業Ｎｏの特定と、特定した作業Ｎｏに対応する工程画像の送信を要求する。サーバ２００は、作業情報ＤＢ２１０から、ウェアラブル端末１００から受け取った情報（装置名、作業種類、障害内容等）に対応する作業Ｎｏを特定する。次に、サーバ２００は、工程画像ＤＢ２１１から作業Ｎｏに対応するデータを特定し、作業Ｎｏとともに、ウェアラブル端末１００に送信する。ウェアラブル端末１００は、サーバ２００から受け取った情報を、工程画像ＤＢ１１１に格納する（ステップＳ３０２）。 The control unit 102 of the wearable terminal 100 transmits the input information to the server 200, and requests the identification of the work number and the transmission of the process image corresponding to the specified work number. The server 200 specifies the work No. corresponding to the information (device name, work type, failure content, etc.) received from the wearable terminal 100 from the work information DB 210. Next, the server 200 identifies the data corresponding to the work No. from the process image DB 211, and transmits the data together with the work No. to the wearable terminal 100. The wearable terminal 100 stores the information received from the server 200 in the process image DB 111 (step S302).

ウェアラブル端末１００の制御部１０２は、工程数を示す変数に「１」を設定し、入力画像との照合動作を開始する（ステップＳ３０３）。 The control unit 102 of the wearable terminal 100 sets “1” in the variable indicating the number of steps, and starts the collation operation with the input image (step S303).

ウェアラブル端末１００の制御部１０２は、画像入力部１０４から作業者の視認する領域の画像を取り込む（ステップＳ３０４）。取り込んだ画像は工程画像ＤＢ１１１の撮像画像フィールドに一次保存される。ウェアラブル端末１００の制御部１０２は、取り込んだ画像と、工程画像ＤＢ１１１の該当する作業Ｎｏの工程数＝１の代表画像とを比較する（ステップＳ３０５）。ここで、取り込んだ画像と、工程画像ＤＢ１１１の該当する作業Ｎｏの工程数＝１の代表画像とが一致しない場合（ステップＳ３０５の「一致しない」）、ウェアラブル端末１００の制御部１０２は、作業は開始されていないと判定する。従って、ウェアラブル端末１００の制御部１０２は、画像入力部１０４から作業者の視認する領域の画像の取り込みを継続する（ステップＳ３０４へ）。 The control unit 102 of the wearable terminal 100 captures an image of an area visually recognized by the operator from the image input unit 104 (step S304). The captured image is primarily stored in the captured image field of the process image DB 111. The control unit 102 of the wearable terminal 100 compares the captured image with the representative image of the process image DB 111 having the number of processes of the corresponding work No. 1 (step S305). Here, when the captured image and the representative image of the process number of the corresponding work No. = 1 in the process image DB 111 do not match (“mismatch” in step S305), the control unit 102 of the wearable terminal 100 performs the work. Determine that it has not started. Therefore, the control unit 102 of the wearable terminal 100 continues to capture the image of the area visually recognized by the operator from the image input unit 104 (to step S304).

なお、ステップＳ３０５以下における画像同士の照合には種々の方法を用いることができる。その具体例は、後に、詳細に説明する。 In addition, various methods can be used for collation between images in step S305 or lower. A specific example thereof will be described in detail later.

一方、取り込んだ画像と、工程画像ＤＢ１１１の該当する作業Ｎｏの工程数＝１の代表画像とが一致した場合（ステップＳ３０５の「一致」）、ウェアラブル端末１００の制御部１０２は、作業がスタートしたと認識する（ステップＳ３０６）。この段階で、例えば、図９の工程Ｎｏ．１の実施状況が「作業開始」となり、計時部１０９にて経過時間のカウントがスタートする。 On the other hand, when the captured image and the representative image of the process number of the corresponding work No. 1 in the process image DB 111 match (“match” in step S305), the control unit 102 of the wearable terminal 100 starts the work. (Step S306). At this stage, for example, step No. 9 in FIG. The implementation status of 1 becomes "work start", and the counting of the elapsed time starts at the timekeeping unit 109.

ウェアラブル端末１００の制御部１０２は、工程数を示す変数に１加算し（インクリメント）、入力画像と次工程との照合動作を開始する（ステップＳ３０７）。 The control unit 102 of the wearable terminal 100 adds 1 to the variable indicating the number of steps (increment), and starts the collation operation between the input image and the next step (step S307).

ウェアラブル端末１００の制御部１０２は、画像入力部１０４から作業者の視認する領域の画像を取り込む（ステップＳ３０８）。取り込んだ画像は工程画像ＤＢ１１１の撮像画像フィールドに一次保存される。ウェアラブル端末１００の制御部１０２は、取り込んだ画像と、工程画像ＤＢ１１１の該当する工程数の代表画像とを比較する（ステップＳ３０９）。ここで、取り込んだ画像と、工程画像ＤＢ１１１の該当する工程数の代表画像が一致しない場合（ステップＳ３０９の「一致しない」）、ウェアラブル端末１００の制御部１０２は、取り込んだ画像と、現工程数より先のすべての工程の代表画像との照合を行う（ステップＳ３１６）。ここで、取り込んだ画像と、現工程数より先のすべての工程の代表画像とが一致しない場合（ステップＳ３１６の「一致しない」）、ウェアラブル端末１００の制御部１０２は、ステップＳ３０９に戻り、取り込んだ画像と、工程画像ＤＢ１１１の該当する工程数の代表画像との照合を継続する。 The control unit 102 of the wearable terminal 100 captures an image of an area visually recognized by the operator from the image input unit 104 (step S308). The captured image is primarily stored in the captured image field of the process image DB 111. The control unit 102 of the wearable terminal 100 compares the captured image with the representative image of the corresponding number of processes in the process image DB 111 (step S309). Here, when the captured image and the representative image of the corresponding number of processes in the process image DB 111 do not match (“mismatch” in step S309), the control unit 102 of the wearable terminal 100 determines the captured image and the current number of processes. Collation with the representative images of all the previous steps is performed (step S316). Here, when the captured image does not match the representative images of all the processes prior to the current number of processes (“mismatch” in step S316), the control unit 102 of the wearable terminal 100 returns to step S309 and captures the image. However, the collation between the image and the representative image of the corresponding number of processes in the process image DB 111 is continued.

一方、ステップＳ３１６で比較した代表画像のうちのいずれか一つと、取り込んだ画像とが一致した場合、ウェアラブル端末１００の制御部１０２は、正しい作業順序で作業が行われていないと認識する（ステップＳ３１７）。そして、ウェアラブル端末１００の制御部１０２は、表示部１０７又は音声出力部１０８を介して、作業者に対し、作業の順序誤りを通知する（ステップＳ３１８）。その際に、ウェアラブル端末１００の制御部１０２が、該当する工程の作業情報や通知情報を出力して、作業者に対し正しい作業内容や戻し作業の内容を指示してもよい。 On the other hand, when any one of the representative images compared in step S316 matches the captured image, the control unit 102 of the wearable terminal 100 recognizes that the work is not performed in the correct work order (step). S317). Then, the control unit 102 of the wearable terminal 100 notifies the operator of the work order error via the display unit 107 or the voice output unit 108 (step S318). At that time, the control unit 102 of the wearable terminal 100 may output work information and notification information of the corresponding process to instruct the worker on the correct work content and the content of the return work.

一方、ステップＳ３０９で、取り込んだ画像と、工程画像ＤＢ１１１の該当する工程数の代表画像が一致した場合（ステップＳ３０９の「一致」）、ウェアラブル端末１００の制御部１０２は、正しい作業順序で作業が行われていると認識する（ステップＳ３１０）。この場合、ウェアラブル端末１００の制御部１０２は、表示部１０７又は音声出力部１０８を介して、作業者に対し、正しい順序で作業が行われていることを通知する（ステップＳ３１１）。 On the other hand, when the captured image and the representative image of the corresponding number of steps in the process image DB 111 match in step S309 (“match” in step S309), the control unit 102 of the wearable terminal 100 performs the work in the correct work order. Recognize that it is being done (step S310). In this case, the control unit 102 of the wearable terminal 100 notifies the operator via the display unit 107 or the audio output unit 108 that the work is being performed in the correct order (step S311).

次に、ウェアラブル端末１００の制御部１０２は、工程数を示す変数が最終工程数に一致するか否かを確認する（ステップＳ３１２）。ここで、工程数を示す変数が最終工程数未満である場合、作業は終わっていないので、ウェアラブル端末１００の制御部１０２は、ステップＳ３０８に戻って、取り込んだ画像と、工程画像ＤＢ１１１の該当する工程数の代表画像との比較を継続する（ステップＳ３１２の「最終工程でない」）。 Next, the control unit 102 of the wearable terminal 100 confirms whether or not the variable indicating the number of steps matches the number of final steps (step S312). Here, when the variable indicating the number of steps is less than the final number of steps, the work is not completed, so the control unit 102 of the wearable terminal 100 returns to step S308, and the captured image and the process image DB 111 correspond to each other. The comparison with the representative image of the number of steps is continued (“not the final step” in step S312).

一方、工程数を示す変数が最終工程数と一致した場合、ウェアラブル端末１００の制御部１０２は、該当する作業Ｎｏの全工程が正しく行われたものと認識する（ステップＳ３１３）。ウェアラブル端末１００の制御部１０２は、表示部１０７又は音声出力部１０８を介して、作業者に対し、正しい順序で作業が完了したことを通知する（ステップＳ３１４）。これにより、一連の作業の進捗管理が完了する。 On the other hand, when the variable indicating the number of steps matches the number of final steps, the control unit 102 of the wearable terminal 100 recognizes that all the steps of the corresponding work No. have been performed correctly (step S313). The control unit 102 of the wearable terminal 100 notifies the operator via the display unit 107 or the audio output unit 108 that the work has been completed in the correct order (step S314). This completes the progress management of a series of operations.

なお、図１０のフローチャートでは省略しているが、ウェアラブル端末１００の制御部１０２は、ステップＳ３０９の新しい画像と次工程の代表画像の一致を確認したタイミング等で、その時点での経過時間と、前工程の標準時間、最大許容時間との比較を行う。この比較の結果に応じて、ウェアラブル端末１００の制御部１０２は、前工程の遅れ等を確認し、工程画像ＤＢの遅れ判定フィールドの内容を更新する。また、遅れが検出された場合、ウェアラブル端末１００の制御部１０２は、作業者に対し、作業遅れ等を通知する。図１０のフローチャートでは省略しているが、ウェアラブル端末１００の制御部１０２は、所定の周期で、図９の工程画像ＤＢ１１１の警告発動条件フィールドに規定された条件が成立したか否かを確認する。ここで、警告発動条件フィールドに規定された条件が成立したと判定した場合、ウェアラブル端末１００の制御部１０２は、警告情報フィールドに設定された内容を用いて作業者に対し、警告を行う。 Although omitted in the flowchart of FIG. 10, the control unit 102 of the wearable terminal 100 determines the elapsed time at that time and the elapsed time at the timing of confirming the match between the new image in step S309 and the representative image of the next process. Compare with the standard time and maximum allowable time of the previous process. According to the result of this comparison, the control unit 102 of the wearable terminal 100 confirms the delay of the previous process and the like, and updates the content of the delay determination field of the process image DB. When a delay is detected, the control unit 102 of the wearable terminal 100 notifies the operator of the work delay or the like. Although omitted in the flowchart of FIG. 10, the control unit 102 of the wearable terminal 100 confirms whether or not the conditions specified in the warning activation condition field of the process image DB 111 of FIG. 9 are satisfied at a predetermined cycle. .. Here, when it is determined that the condition specified in the warning activation condition field is satisfied, the control unit 102 of the wearable terminal 100 warns the operator using the contents set in the warning information field.

以上説明した本実施形態のウェアラブル端末１００及びサーバ２００によれば、作業者が行っている作業をリアルタイムに観測し、正しい順序で行われているか否かを確認することが可能となる。また、本実施形態では、作業者に対し、各工程で必要な情報を提供したり、作業の遅れの有無や、警告を発することも可能となっている。このため、作業工程進捗の管理を、省力化ないし自動化することが可能となる。 According to the wearable terminal 100 and the server 200 of the present embodiment described above, it is possible to observe the work performed by the worker in real time and confirm whether or not the work is performed in the correct order. Further, in the present embodiment, it is possible to provide the worker with necessary information in each process, to issue a warning as to whether or not there is a delay in the work, and to issue a warning. Therefore, it is possible to save labor or automate the management of the progress of the work process.

本実施形態を適用した工程の進捗管理の例を説明する。
（工程１）カバーを取り外す工程
代表画像としては、カバー全体の画像を用いる。この画像には、事前にマーカを付加したカバーの画像を用いてもよい。また、このマーカに代えて、カバー外形の形状や大きさ（撮像倍率も考慮する）、カバーを認識できるような画像を用意してもよい。これにより作業の開始が検出される。An example of progress management of a process to which this embodiment is applied will be described.
(Step 1) Step of removing the cover As a representative image, an image of the entire cover is used. For this image, an image of a cover to which a marker is added in advance may be used. Further, instead of this marker, an image capable of recognizing the shape and size of the outer shape of the cover (taking into consideration the imaging magnification) and the cover may be prepared. This detects the start of work.

（工程２）カバーの固定
カバーの固定は、取り外し可能な複数のボルト（雄ねじ、を意味する。）による、ネジ固定を行うものとする。この場合、ネジ固定後のカバー画像を代表画像として用いることで、カバーの固定が正しく行われていることを検出できる。あるいは、この代表画像との照合に代えて、これらのボルトの位置を予め記憶しておき、取得した撮像画像から、カバー部を検出し、そのカバー全体の位置から、各ボルトの、相対位置部分の画像を切りだし、この切り出した画像の中に、ボルト特有の色（例えば、亜鉛メッキの色）部分が、ボルトの頭の大きさが入る所定範囲の領域に有るか、検出、判断を行うことで、その位置にボルトが有るかを判断する方法も採用ができる。仮に、カバーの４隅、４か所に、ボルトでカバーを取り付ける部分が有るとしたら、その領域にボルトが存在することを検出し、すべての個所に、ボルトが有ると判断した場合、正しく、カバーが取り付けられ固定されていると判断する。(Step 2) Fixing the cover The cover is fixed by screws with a plurality of removable bolts (meaning male screws). In this case, by using the cover image after fixing the screws as a representative image, it is possible to detect that the cover is fixed correctly. Alternatively, instead of collating with this representative image, the positions of these bolts are stored in advance, the cover portion is detected from the acquired captured image, and the relative position portion of each bolt is detected from the position of the entire cover. The image of the bolt is cut out, and it is detected and judged whether the color peculiar to the bolt (for example, the color of galvanized) is in the region within a predetermined range where the size of the head of the bolt is contained in the cut out image. Therefore, a method of determining whether or not there is a bolt at that position can also be adopted. If there are parts to attach the cover with bolts at the four corners and four places of the cover, if it is detected that there are bolts in that area and it is determined that there are bolts at all places, it is correct. Judge that the cover is attached and fixed.

更に、前記ボルトの取り付け順序が有る場合（例えば、カバーの右上、左下（右上の対角）、左上、右下（左上の対角）、の順に締めなければならない、という順序がある場合）には、工程２を細分化してもよい。例えば、ボルトを締める毎に、その順番に従って取り付けられるボルトの位置にボルトの像が増える代表画像を、予め用意しておき、撮像画像と、前記ボルトを締める順番に従った代表画像と、その順番通りにマッチングを行うことができる。そして、その順番通りに、画像が一致した場合、定められた順番通りに、ボルトが締められたと判断することができる。 Further, when the bolts are attached in the order of attachment (for example, the cover must be tightened in the order of upper right, lower left (diagonal to the upper right), upper left, and lower right (diagonal to the upper left)). May subdivide step 2. For example, a representative image in which the image of the bolt increases at the position of the bolt to be attached each time the bolt is tightened is prepared in advance, and the captured image, the representative image according to the order of tightening the bolt, and the order thereof. Matching can be done on the street. Then, if the images match in that order, it can be determined that the bolts have been tightened in the predetermined order.

（工程３）ケーブルの抜去
ケーブルの端部が、装置の所定の場所、端子に接続されている、すなわち、差し込まれている状態を撮影した代表画像とケーブルが無い状態を撮影した代表画像を用意する。そして、画像入力部１０４から取得した画像が、前記ケーブルの端部が差し込まれている画像から、ケーブルが無い画像に変化した場合、ケーブルが作業手順に従って抜かれた、と判断することができる。(Step 3) Removing the cable Prepare a representative image of the end of the cable connected to the specified location and terminal of the device, that is, the state of being plugged in, and the representative image of the state without the cable. do. Then, when the image acquired from the image input unit 104 changes from an image in which the end of the cable is inserted to an image in which there is no cable, it can be determined that the cable has been pulled out according to the work procedure.

または、抜去されたコネクタの装置側の画像を代表画像とし、画像入力部１０４から取得した画像と一致したことをもって、ケーブルが正しく抜かれた、と判断しても良い。 Alternatively, it may be determined that the cable has been correctly pulled out by using the image of the device side of the removed connector as a representative image and matching the image obtained from the image input unit 104.

（工程４）スイッチの操作
スイッチ、トグルスイッチ等の操作部分が、スイッチのオン、オフ、に従い変化する場合や、スイッチのオンオフを行うと、スイッチの一部の色が変わる変化が有る場合、スイッチがオン状態の画像と、オフ状態の画像をそれぞれ代表画像として用意しておく。画像入力部１０４から取得した画像が、スイッチがオン状態の画像と一致した後、スイッチがオフの画像と一致した場合、スイッチが正しく操作された、と判断することができる。そして、一連の作業がスイッチをオフにすることで完了する場合、本工程をもって作業が完了したことを確認できる。(Step 4) Switch operation When the operation part of the switch, toggle switch, etc. changes according to the on / off of the switch, or when the color of a part of the switch changes when the switch is turned on / off, the switch is switched. Prepare an image in which is on and an image in which is off as representative images. If the image acquired from the image input unit 104 matches the image in which the switch is on and then matches the image in which the switch is off, it can be determined that the switch has been operated correctly. Then, when the series of operations is completed by turning off the switch, it can be confirmed that the operations are completed by this step.

［第２の実施形態］
続いて、本発明の第２の実施形態について説明する。図１１は、本発明の第２の実施形態のウェアラブル端末１００ｂの構成を示す図である。図６に示した第１の実施形態のウェアラブル端末１００との構成上の相違点は、記憶部１１０ａに作業情報ＤＢ１１３が配置されている点である。[Second Embodiment]
Subsequently, a second embodiment of the present invention will be described. FIG. 11 is a diagram showing a configuration of a wearable terminal 100b according to a second embodiment of the present invention. The structural difference from the wearable terminal 100 of the first embodiment shown in FIG. 6 is that the work information DB 113 is arranged in the storage unit 110a.

具体的には、本実施形態のウェアラブル端末１００ｂは、作業情報ＤＢ１１３を備えているため、ウェアラブル端末１００ｂ単体で、作業Ｎｏを特定することが可能となっている。また、ウェアラブル端末１００ｂの工程画像ＤＢ１１１には、事前に、その作業者が行う作業に必要なデータが格納されている。そして、本実施形態のウェアラブル端末１００ｂは、工程画像ＤＢ１１１から、前記特定した作業Ｎｏに対応するデータを読み出してセットする。以降の動作は、図１０に示した第１の実施形態のステップＳ３０３以降と同一であるので、説明を省略する。 Specifically, since the wearable terminal 100b of the present embodiment includes the work information DB 113, it is possible to specify the work number by the wearable terminal 100b alone. Further, the process image DB 111 of the wearable terminal 100b stores data necessary for the work performed by the worker in advance. Then, the wearable terminal 100b of the present embodiment reads out and sets the data corresponding to the specified work No. from the process image DB 111. Since the subsequent operations are the same as those after step S303 of the first embodiment shown in FIG. 10, the description thereof will be omitted.

以上のように、本実施形態によれば、ウェアラブル端末１００ｂ単体で、作業者の作業をチェックすることが可能となっており、特に、通信インフラが整っていない場所での作業を行うケースに好適に適用することができる。 As described above, according to the present embodiment, it is possible to check the work of the worker with the wearable terminal 100b alone, and it is particularly suitable for the case where the work is performed in a place where the communication infrastructure is not prepared. Can be applied to.

最後に、本発明のいくつかの変形実施形態について説明する。
［ウェアラブル端末］
上記したウェアラブル端末として、スマートグラスやヘッドセット端末と呼ばれる頭部装着型で、装着した者の視界に情報を表示できる端末を用いることができる。また、このようなウェアラブル端末において、作業者の網膜上で結像する光束を、対象者の目に直接照射して、網膜上に像を結像させ、対象者に、視野上の像（虚像）として認識させるタイプの機器を用いることもできる。Finally, some modified embodiments of the present invention will be described.
[Wearable device]
As the wearable terminal described above, a head-mounted terminal called a smart glass or a headset terminal that can display information in the field of view of the wearer can be used. Further, in such a wearable terminal, the light beam formed on the retina of the worker is directly irradiated to the eyes of the subject to form an image on the retina, and the image on the visual field (virtual image) is formed on the subject. ) Can also be used.

より望ましくは、これらスマートグラスやヘッドセット端末の内側に、装着した者の眼の動きをセンシングするセンサを取り付けることもできる。例えば、これらのセンサを備えたウェアラブル端末は、表示部１０７に映し出される像が見難いときに行われる作業者の目を細める動作を検出する。このような動作が行われたとき、これらのウェアラブル端末は、画像入力部１０４から得られる入力画像をズームし、表示部１０７にて、拡大表示する。なお、上記目を細める動作が行われているか否かは、上記センサから得られる反射光量が所定範囲内かつ所定時間以上継続したか否か等により判断することができる。また、上記センサの精度を向上させるためには、反射光を入力させるために眼球方向に補助光を照射することが望ましく、その照射光は不可視光（近赤外光が望ましい）で、かつ、その光強度は、眼球および網膜に影響の無い範囲であることが好ましい。 More preferably, a sensor that senses the movement of the wearer's eyes can be attached to the inside of these smart glasses or headset terminals. For example, a wearable terminal equipped with these sensors detects a worker's squinting action performed when the image projected on the display unit 107 is difficult to see. When such an operation is performed, these wearable terminals zoom the input image obtained from the image input unit 104 and enlarge the display on the display unit 107. Whether or not the squinting operation is performed can be determined by whether or not the amount of reflected light obtained from the sensor continues within a predetermined range and for a predetermined time or longer. Further, in order to improve the accuracy of the sensor, it is desirable to irradiate the auxiliary light in the direction of the eyeball in order to input the reflected light, and the irradiating light is invisible light (preferably near infrared light) and The light intensity is preferably in a range that does not affect the eyeball and the retina.

また、上記したウェアラブル端末等の端末において、装置の姿勢を検出する３軸加速度センサを内蔵し、重力方向を検出させることも好ましい。これにより、撮像方向や、対象物の画像範囲での大きさ、対象装置の傾き等の情報を得ることが可能となる。これにより、下記マッチングにおいて、画像の傾きの補正や、大きさの変更等の前処理を適切に行うことが可能となる。 It is also preferable that the terminal such as the wearable terminal described above has a built-in 3-axis acceleration sensor that detects the posture of the device to detect the direction of gravity. This makes it possible to obtain information such as the imaging direction, the size of the object in the image range, and the tilt of the target device. As a result, in the following matching, it is possible to appropriately perform preprocessing such as correction of image tilt and change of size.

［代表画像とのマッチング処理］
上記図１０のステップＳ３０５、Ｓ３０９、Ｓ３１６で行われる、画像入力部１０４より取り込んだ画像と代表画像の一致判定処理の変形例について説明する。画像入力部１０４より取り込んだ画像と代表画像の一致判定は、画像の中の特徴点を抽出し、特徴点同士のマッチングを行う画像マッチング処理と呼ばれる方法を用いて行うことができる。[Matching process with representative image]
A modified example of the match determination process between the image captured from the image input unit 104 and the representative image, which is performed in steps S305, S309, and S316 of FIG. 10 will be described. The match determination between the image captured from the image input unit 104 and the representative image can be performed by using a method called an image matching process in which the feature points in the image are extracted and the feature points are matched with each other.

特定の作業の工程の確認においては、画像入力部１０４より取り込んだ画像と代表画像のマッチングがし易い様、画像入力部１０４より取り込んだ画像と代表画像とが、予め定めた角度や大きさで撮像されるように調整されていることが好ましい。例えば、代表画像として、作業者が着用するウェアラブル端末１００と同一のウェアラブル端末のカメラにて撮影された画像を用いることが好ましい。また、代表画像は、他の工程でも検出出来る画像ではなく、その工程でのみ得られる画像であることが好ましい。 In confirming the process of a specific work, the image captured from the image input unit 104 and the representative image are at a predetermined angle and size so that the image captured from the image input unit 104 and the representative image can be easily matched. It is preferable that the image is adjusted so as to be imaged. For example, as a representative image, it is preferable to use an image taken by the camera of the same wearable terminal as the wearable terminal 100 worn by the operator. Further, it is preferable that the representative image is not an image that can be detected in other steps, but an image that can be obtained only in that step.

また、画像入力部１０４より取り込んだ画像又は代表画像の少なくとも一方が傾いていたり、大きさが異なる場合、座標変換により傾きを補正したり、画像の大きさを変更する等してからマッチングすることが好ましい。特定の作業の工程の確認においては、回路基板の撮像画像を代表画像とすることができる。回路基板のマッチングにおいて、外形を認識して、一致検出を行っても良く、予め定めた形状や色（背景から浮かび上がらせる為、背景色と異なる色）にて、一致検出を行ってもよい。また、作業の対象となる対象物と代表画像の双方に、事前に、複数のマーカ（少なくとも３点。３点で、画像の位置と大きさと角度の検出が可能。更には、画像一致判断の為の、画像の大きさの調整と姿勢のアライメントが可能。）を付し、これらのマーカを特徴点として用いてマッチングを行っても良い。またマーカを使用する場合において、比較対象画像の背景との色の差による２値化を行い、各マーカの位置を抽出してマッチングを行ってもよい。さらには、これらのマーカにより、その位置（撮像面内での、Ｘ、Ｙ方向、撮像方向に垂直な面内で、それぞれ垂直に交わる軸）、姿勢（角度θz、撮像面に垂直方向を中心にした回転方向）や大きさを抽出してマッチングを行っても良い。 If at least one of the image captured from the image input unit 104 or the representative image is tilted or the size is different, the tilt is corrected by coordinate transformation, the size of the image is changed, and then matching is performed. Is preferable. In the confirmation of the process of a specific work, the captured image of the circuit board can be used as a representative image. In the matching of the circuit board, the outer shape may be recognized and the match detection may be performed, or the match detection may be performed with a predetermined shape or color (a color different from the background color in order to make it stand out from the background). In addition, a plurality of markers (at least 3 points. The position, size, and angle of the image can be detected at 3 points on both the object to be worked and the representative image. Furthermore, the image matching judgment can be performed. Therefore, the size of the image can be adjusted and the posture can be aligned.), And these markers may be used as feature points for matching. Further, when using markers, binarization may be performed based on the color difference between the background of the image to be compared and the background, and the positions of the markers may be extracted for matching. Furthermore, these markers enable the position (the axes that intersect vertically in the X, Y directions, and the plane perpendicular to the imaging direction in the imaging plane), the posture (angle θz, and the direction perpendicular to the imaging plane). You may perform matching by extracting the rotation direction) and the size.

また、上記マーカによる一致判定に加えて、基準位置からの各部位のパターンの一致度を算出し、この一致度を用いて最終的な同一性判断を行ってもよい。より具体的には、画像の、角度と大きさを合わせた後の、比較画像との差分、例えば、各画素毎の輝度を、輝度の平均が一致する様、画像全体で正規化後、所定以上の輝度差が有る部分の面積の差分により判断する手法を用いることができる。 Further, in addition to the matching determination by the above marker, the matching degree of the pattern of each part from the reference position may be calculated, and the final identity determination may be performed using this matching degree. More specifically, the difference between the image and the comparison image after matching the angle and size, for example, the brightness of each pixel is determined after normalizing the entire image so that the average brightness matches. It is possible to use a method of determining by the difference in the area of the portion having the above luminance difference.

なお、前記マッチング処理において、演算量を減らすため、所定の閾値（スレッショルド）で２値化した画像間でマッチングを行っても良い。また、前記マッチングにおいて、画像全体でなく、その一部を抽出してマッチングを行ってもよい。例えば、画像入力部１０４より取り込んだ画像の予め定めた割合の一部の画像が、代表画像と、所定度以上一致するかを判断するマッチング処理を行うことができる。この場合において、画像入力部１０４より取り込んだ画像の一部の領域を、所定の割合で移動させ、移動の都度、マッチング処理を行い、所定以上の一致度が得られるか否かにより、画像入力部１０４より取り込んだ画像内に代表画像が有るかを検出しても良い。 In the matching process, in order to reduce the amount of calculation, matching may be performed between images binarized with a predetermined threshold (threshold value). Further, in the matching, not only the whole image but a part thereof may be extracted and matched. For example, it is possible to perform a matching process for determining whether a part of the images captured from the image input unit 104 at a predetermined ratio matches the representative image by a predetermined degree or more. In this case, a part of the image captured from the image input unit 104 is moved at a predetermined ratio, matching processing is performed each time the movement is performed, and image input is performed depending on whether or not a degree of matching equal to or higher than a predetermined value can be obtained. It may be detected whether or not there is a representative image in the image captured from the unit 104.

また、画像入力部１０４より取り込んだ画像から切り出す際に前記予め定めた割合を、等倍から所定倍率まで、所定間隔で変化させ、取得した画像中に、代表画像と一致する領域が有るか否かの判断を繰り返しても良い。これにより、画像の大きさが変化しても、画像の一致を検出することが可能となる。 Further, when cutting out from the image captured from the image input unit 104, the predetermined ratio is changed from the same magnification to a predetermined magnification at predetermined intervals, and whether or not there is a region matching the representative image in the acquired image. You may repeat the judgment. This makes it possible to detect image matching even if the size of the image changes.

また、画像の領域を移動する度に、所定角度画像を回転させ、その都度、マッチングを行う方法も採用可能である。３６０度回転させるまでの間に、所定以上の一致度が得られるか否かを確認することで、対象画像が回転していても、正しい判断が出来る様になる。 Further, it is also possible to adopt a method of rotating the image at a predetermined angle each time the area of the image is moved and performing matching each time. By confirming whether or not a predetermined degree of coincidence can be obtained before rotating the target image by 360 degrees, it becomes possible to make a correct judgment even if the target image is rotated.

［部品交換作業の際の作業者へのガイダンス］
また、作業が部品交換作業である場合、部品交換の画像が記憶されている部品の交換時、交換前の部品の画像を代表画像として、交換対象の部品の画像照合を行う場合がある。その際に、部品を交換する作業を撮影する過程で、他の物品等と重ならない画像が得られるような作業手順を定めておくことが好ましい。このような作業手順は、通知情報等により、作業者に案内することができる。[Guidance for workers during parts replacement work]
Further, when the work is a part replacement work, when the part in which the image of the part replacement is stored is replaced, the image of the part before the replacement may be used as a representative image to collate the image of the part to be replaced. At that time, it is preferable to establish a work procedure so that an image that does not overlap with other articles or the like can be obtained in the process of photographing the work of exchanging parts. Such a work procedure can be guided to the worker by means of notification information or the like.

また、前記作業手順において、撮像方向中心軸に対し垂直方向の軸（２軸）を中心とした傾きが所定角度以上とならない様に、交換対象の部品を把持することを指示することも好ましい。この様にすることで、新旧部品が画像中で重ならず、個々検出可能となる。さらに、この様にすることで、各部品の移動を追跡して、誤った取り付けが行われていないことを、画像で判断することが可能となる。上記の様にすることにより、２つの画像を比較する際、マッチング対象の画像の姿勢や大きさを合わせる前処理を省略することが可能となる。また、上記の様にすることにより、２つの画像に写る部品の姿勢が類似し、位置も大きく相違することがない為、マッチングの判定が容易になり、その精度を高めることが可能となる。 Further, in the work procedure, it is also preferable to instruct to grip the part to be replaced so that the inclination about the axis (2 axes) in the direction perpendicular to the central axis in the imaging direction does not exceed a predetermined angle. By doing so, the old and new parts do not overlap in the image and can be individually detected. Further, by doing so, it is possible to track the movement of each part and judge from the image that the wrong mounting has not been performed. By doing so, when comparing two images, it is possible to omit the preprocessing for matching the posture and size of the images to be matched. Further, by doing so as described above, since the postures of the parts shown in the two images are similar and the positions are not significantly different, the matching determination can be facilitated and the accuracy can be improved.

さらに、このような作業手順を取り決めておくことにより、取り外した部品を含む画像を比較的短時間の間隔（検出対象画像が大きく動かない程度の時間間隔で、画像を撮像する）で撮像することが可能となる。そして、対象部品の位置の変化を算出することにより、取り外した部品と交換部品を取り違えて、取り外した部品を再度取り付けてしまうことを検出できるようにもなる。 Furthermore, by arranging such a work procedure, images including the removed parts can be captured at relatively short intervals (images are captured at intervals such that the image to be detected does not move significantly). Is possible. Then, by calculating the change in the position of the target component, it becomes possible to detect that the removed component and the replacement component are mistaken for each other and the removed component is reattached.

また、取り外した部品を、再度取り付けた場合（画像では、取り外した部品の画像を追跡し、取り付け位置から所定距離以内に近付いた時で判断しても良い）、警告を通知することも好ましい。このような通知を行うことにより、部品等の交換がされていないという交換ミスを防ぐことが出来る。 It is also preferable to notify a warning when the removed part is reattached (in the image, the image of the removed part may be tracked and judged when the removed part is approached within a predetermined distance). By giving such a notification, it is possible to prevent a replacement error that the parts and the like have not been replaced.

以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。 Although each embodiment of the present invention has been described above, the present invention is not limited to the above-described embodiment, and further modifications, substitutions, and adjustments are made without departing from the basic technical idea of the present invention. Can be added. For example, the network configuration, the configuration of each element, and the expression form of the message shown in each drawing are examples for assisting the understanding of the present invention, and are not limited to the configurations shown in these drawings.

最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点による作業支援装置参照）
［第２の形態］
上記した作業支援装置の前記記憶部は、前記作業者が担当する複数種の作業毎に、前記代表画像を対応付けて保持しており、
前記確認部は、
さらに、前記作業者から、開始する作業に関する情報の入力を受け付け、
前記作業者から入力された情報に基づいて、開始される作業を特定し、該特定した作業が所定の順序で実施されているか否かを確認する構成を採ることができる。
［第３の形態］
上記した作業支援装置の前記記憶部は、
前記代表画像に加えて、誤った作業が行われた場合の状況を表した誤り画像を記憶しており、
さらに、
前記確認部は、
前記入力された画像と、前記誤り画像とを照合して、誤った作業が行われたか否かを確認し、
前記通知部は、
前記確認部において誤った作業がなされたと判定した場合、前記作業者に対して誤りが発生したことを通知する構成を採ることができる。
［第４の形態］
上記した作業支援装置の前記記憶部は、
前記第１の工程から前記第２の工程に至る所要時間を、前記第１、第２の工程の代表画像を対応付けて保持し、
さらに、
前記確認部は、
前記第１の工程から前記第２の工程に至るまでの作業に、遅延が生じているか否かを確認し、
前記通知部は、前記作業者に対し、前記作業の遅延の有無を通知する構成を採ることができる。
［第５の形態］
上記した作業支援装置の前記記憶部は、
さらに、前記第２の工程の後に行われる第３の工程の代表画像を保持し、
前記確認部は、
前記第１の工程の後に、入力された画像が、前記第３の工程の代表画像と一致した場合、前記作業に順序誤りが発生したと判定し、
前記通知部は、前記作業者に対し、前記作業に順序誤りが発生していることを通知する構成を採ることができる。
［第６の形態］
上記した作業支援装置の前記記憶部は、
さらに、前記第２の工程の後に行われる工程の代表画像を保持し、
前記確認部は、
前記第１の工程の後に、入力された画像が、前記第２の工程の後に行われるべき工程の代表画像のいずれかと一致した場合、前記作業に順序誤りが発生したと判定し、
前記通知部は、前記作業者に対し、前記作業に順序誤りが発生していることを通知する構成を採ることができる。
［第７の形態］
上記した作業支援装置において、
前記作業者が作業を行っている過程における画像として、前記作業者が着用しているウェアラブル端末のカメラにて撮影された画像を用いることができる。
［第８の形態］
上記した作業支援装置において、
前記代表画像として、前記作業者が着用するウェアラブル端末と同一のウェアラブル端末のカメラにて撮影された画像を用いることができる。
［第９の形態］
上記した作業支援装置は、
前記作業者から、開始する作業に関する情報の入力を受け付ける作業支援装置（ウェアラブル端末）と、
前記作業者から入力された情報に基づいて、開始される作業を特定し、該特定した作業に対応するデータを作業支援装置（ウェアラブル端末）に提供するサーバとを含む構成にて実現することができる。
［第１０の形態］
（上記第２の視点による作業支援方法参照）
［第１１の形態］
（上記第３の視点によるプログラム参照）
なお、上記第１０〜第１１の形態は、第１の形態と同様に、第２〜第９の形態に展開することが可能である。Finally, a preferred embodiment of the present invention is summarized.
[First form]
(Refer to the work support device from the first viewpoint above)
[Second form]
The storage unit of the work support device described above associates and holds the representative image for each of a plurality of types of work that the worker is in charge of.
The confirmation part
Furthermore, it accepts input of information about the work to be started from the worker, and receives
Based on the information input from the worker, it is possible to specify the work to be started and to confirm whether or not the specified work is performed in a predetermined order.
[Third form]
The storage unit of the work support device described above is
In addition to the representative image, an erroneous image showing the situation when an erroneous work is performed is stored.
Moreover,
The confirmation part
By collating the input image with the erroneous image, it is confirmed whether or not erroneous work has been performed.
The notification unit
When the confirmation unit determines that an erroneous work has been performed, it is possible to adopt a configuration for notifying the worker that an erroneous work has occurred.
[Fourth form]
The storage unit of the work support device described above is
The time required from the first step to the second step is held in association with the representative images of the first and second steps.
Moreover,
The confirmation part
It is confirmed whether or not there is a delay in the work from the first step to the second step.
The notification unit may adopt a configuration for notifying the worker of the presence or absence of delay in the work.
[Fifth form]
The storage unit of the work support device described above is
Further, a representative image of the third step performed after the second step is retained.
The confirmation part
If the input image matches the representative image of the third step after the first step, it is determined that an order error has occurred in the work.
The notification unit may adopt a configuration for notifying the worker that an order error has occurred in the work.
[Sixth form]
The storage unit of the work support device described above is
Further, a representative image of the steps performed after the second step is retained.
The confirmation part
If the input image after the first step matches any of the representative images of the steps to be performed after the second step, it is determined that an order error has occurred in the work.
The notification unit may adopt a configuration for notifying the worker that an order error has occurred in the work.
[7th form]
In the above work support device
As an image in the process in which the worker is performing the work, an image taken by the camera of the wearable terminal worn by the worker can be used.
[8th form]
In the above work support device
As the representative image, an image taken by the camera of the same wearable terminal as the wearable terminal worn by the worker can be used.
[9th form]
The above-mentioned work support device is
A work support device (wearable terminal) that receives input of information about the work to be started from the worker, and
It is possible to specify the work to be started based on the information input from the worker and realize the configuration including a server that provides the data corresponding to the specified work to the work support device (wearable terminal). can.
[10th form]
(Refer to the work support method from the second viewpoint above)
[11th form]
(Refer to the program from the third viewpoint above)
The tenth to eleventh forms can be developed into the second to ninth forms in the same manner as the first form.

なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。 Each disclosure of the above patent documents shall be incorporated into this document by citation. Within the framework of the entire disclosure (including the scope of claims) of the present invention, it is possible to change or adjust the embodiments or examples based on the basic technical idea thereof. Further, within the framework of the disclosure of the present invention, various combinations or selections (parts) of various disclosure elements (including each element of each claim, each element of each embodiment or embodiment, each element of each drawing, etc.) (Including target deletion) is possible. That is, it goes without saying that the present invention includes all disclosure including claims, and various modifications and modifications that can be made by those skilled in the art in accordance with the technical idea. In particular, with respect to the numerical range described in this document, it should be interpreted that any numerical value or small range included in the range is specifically described even if there is no other description.

１０ａ 作業支援装置
１１ａ 記憶部
１２ａ 入力部
１３ａ 確認部
１４ａ 通知部
１０ｂ コンピュータ
１１ｂ メモリー
１２ｂ 入力手段
１３ｂ プロセッサ
１４ｂ 出力手段
１００、１００ｂ ウェアラブル端末
１００ａ 作業者
１０１ ネットワーク
１０２、２０２ 制御部
１０３、２０３ 通信部
１０４、２０４ 画像入力部
１０５、２０５ 音声入力部
１０６、２０６ 入力部
１０７、２０７ 表示部
１０８、２０８ 音声出力部
１０９ 計時部
１１０、１１０ａ、２０９ 記憶部
１１１、２１１ 工程画像データベース（工程画像ＤＢ）
１１２ プログラム
１１３、２１０ 作業情報データベース（作業情報ＤＢ）
２００ サーバ10a Work support device 11a Storage unit 12a Input unit 13a Confirmation unit 14a Notification unit 10b Computer 11b Memory 12b Input means 13b Processor 14b Output means 100, 100b Wearable terminal 100a Worker
101 Network 102, 202 Control unit 103, 203 Communication unit 104, 204 Image input unit 105, 205 Audio input unit 106, 206 Input unit 107, 207 Display unit 108, 208 Audio output unit 109 Timekeeping unit 110, 110a, 209 Storage unit 111, 211 Process image database (process image DB)
112 Program 113, 210 Work information database (work information DB)
200 servers

Claims (9)

少なくとも第１の工程と第１の工程の後に行われる第２の工程とを含む作業と、前記第１の工程と、前記第２の工程とにおいてそれぞれ行われる作業を代表する工程毎の代表画像とを対応付けて保持する記憶部と、
作業者が作業を行っている過程における画像を入力する入力部と、
前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する確認部と、
前記作業者に対し、前記確認の結果を通知する通知部と、
を備え、
前記記憶部は、
前記代表画像に加えて、誤った作業が行われた場合の状況を表した誤り画像を記憶しており、
さらに、
前記確認部は、
前記入力された画像と、前記誤り画像とを照合して、誤った作業が行われたか否かを確認し、
前記通知部は、
前記確認部において誤った作業がなされたと判定した場合、前記作業者に対して、誤りが発生したことを通知する作業支援装置。 Representative image for each step representing the work including at least the first step and the second step performed after the first step, and the work performed in the first step and the second step, respectively. A storage unit that holds the image in association with
An input unit for inputting images in the process of the worker's work,
A confirmation unit that collates the input image with the representative image and confirms whether or not the work is performed in a predetermined order.
A notification unit that notifies the worker of the result of the confirmation,
Equipped with a,
The storage unit
In addition to the representative image, an erroneous image showing the situation when an erroneous work is performed is stored.
Moreover,
The confirmation part
By collating the input image with the erroneous image, it is confirmed whether or not erroneous work has been performed.
The notification unit
A work support device that notifies the worker that an error has occurred when the confirmation unit determines that an erroneous work has been performed. 前記記憶部は、前記作業者が担当する複数種の作業毎に、前記代表画像を対応付けて保持しており、
前記確認部は、
さらに、前記作業者から、開始する作業に関する情報の入力を受け付け、
前記作業者から入力された情報に基づいて、開始される作業を特定し、該特定した作業が所定の順序で実施されているか否かを確認する請求項１の作業支援装置。 The storage unit holds the representative image in association with each other for each of a plurality of types of work that the worker is in charge of.
The confirmation part
Furthermore, it accepts input of information about the work to be started from the worker, and receives
The work support device according to claim 1, which identifies the work to be started based on the information input from the worker, and confirms whether or not the specified work is performed in a predetermined order. 前記記憶部は、
前記第１の工程から前記第２の工程に至る所要時間を、前記第１、第２の工程の代表画像を対応付けて保持し、
さらに、
前記確認部は、
前記第１の工程から前記第２の工程に至るまでの作業に、遅延が生じているか否かを確認し、
前記通知部は、前記作業者に対し、前記作業の遅延の有無を通知する、
請求項１または２の作業支援装置。 The storage unit
The time required from the first step to the second step is held in association with the representative images of the first and second steps.
Moreover,
The confirmation part
It is confirmed whether or not there is a delay in the work from the first step to the second step.
The notification unit notifies the worker of the presence or absence of delay in the work.
The work support device according to claim 1 or 2. 前記記憶部は、さらに、前記第２の工程の後に行われる第３の工程の代表画像を保持し、
前記確認部は、
前記第１の工程の後に、入力された画像が、前記第３の工程の代表画像と一致した場合、前記作業に順序誤りが発生したと判定し、
前記通知部は、前記作業者に対し、前記作業に順序誤りが発生していることを通知する、
請求項１から３いずれか一の作業支援装置。 The storage unit further holds a representative image of the third step performed after the second step.
The confirmation part
If the input image matches the representative image of the third step after the first step, it is determined that an order error has occurred in the work.
The notification unit notifies the worker that an order error has occurred in the work.
The work support device according to any one of claims 1 to 3. 前記記憶部は、さらに、前記第２の工程の後に行われる工程の代表画像を保持し、
前記確認部は、
前記第１の工程の後に、入力された画像が、前記第２の工程の後に行われるべき工程の代表画像のいずれかと一致した場合、前記作業に順序誤りが発生したと判定し、
前記通知部は、前記作業者に対し、前記作業に順序誤りが発生していることを通知する、
請求項１から３いずれか一の作業支援装置。 The storage unit further holds a representative image of a step performed after the second step.
The confirmation part
If the input image after the first step matches any of the representative images of the steps to be performed after the second step, it is determined that an order error has occurred in the work.
The notification unit notifies the worker that an order error has occurred in the work.
The work support device according to any one of claims 1 to 3. 前記作業者が作業を行っている過程における画像が、前記作業者が着用しているウェアラブル端末のカメラにて撮影された画像である請求項１から５いずれか一の作業支援装置。 The work support device according to any one of claims 1 to 5 , wherein the image in the process of the worker performing the work is an image taken by the camera of the wearable terminal worn by the worker. 前記代表画像として、前記作業者が着用するウェアラブル端末と同一のウェアラブル端末のカメラにて撮影された画像を用いる請求項６の作業支援装置。 The work support device according to claim 6 , wherein as the representative image, an image taken by a camera of the same wearable terminal as the wearable terminal worn by the worker is used. 少なくとも第１の工程と第１の工程の後に行われる第２の工程とを含む作業と、前記第１、前記第２の工程において行われる作業を代表する工程毎の代表画像と、前記代表画像に加えて、誤った作業が行われた場合の状況を表した誤り画像と、を対応付けて保持する手段にアクセス可能なコンピュータが、
作業者が作業を行っている過程における画像を入力するステップと、
前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認するステップと、
前記入力された画像と、前記誤り画像とを照合して、誤った作業が行われたか否かを確認するステップと、
前記作業者に対し、前記確認の結果を通知するステップと、
前記作業者に対し、誤った作業がなされたと判定した場合、前記作業者に対して、誤りが発生したことを通知するステップと、
を含む作業支援方法。 A representative image for each step representing the work including at least the first step and the second step performed after the first step, the work performed in the first and second steps, and the representative image. In addition, a computer that has access to a means of associating and holding an erroneous image showing the situation in the event of erroneous work
Steps to input images in the process of the worker's work,
A step of collating the input image with the representative image to confirm whether or not the work is performed in a predetermined order.
A step of collating the input image with the erroneous image to confirm whether or not erroneous work has been performed, and
The step of notifying the worker of the result of the confirmation and
When it is determined that the erroneous work has been performed to the worker, the step of notifying the worker that the erroneous work has occurred and the step.
Work support methods including. 少なくとも第１の工程と第１の工程の後に行われる第２の工程とを含む作業と、前記第１、前記第２の工程において行われる作業を代表する工程毎の代表画像と、前記代表画像に加えて、誤った作業が行われた場合の状況を表した誤り画像と、を対応付けて保持する手段にアクセス可能なコンピュータに、
作業者が作業を行っている過程における画像を入力する処理と、
前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する処理と、
前記入力された画像と、前記誤り画像とを照合して、誤った作業が行われたか否かを確認する処理と、
前記作業者に対し、前記確認の結果を通知する処理と、
前記作業者に対し、誤った作業がなされたと判定した場合、前記作業者に対して、誤りが発生したことを通知する処理と、
を実行させるプログラム。 A representative image for each step representing the work including at least the first step and the second step performed after the first step, the work performed in the first and second steps, and the representative image. In addition, to a computer that has access to a means of associating and holding an erroneous image showing the situation in the event of erroneous work.
The process of inputting an image in the process of the worker's work,
A process of collating the input image with the representative image to confirm whether or not the work is performed in a predetermined order.
A process of collating the input image with the erroneous image to confirm whether or not an erroneous work has been performed.
The process of notifying the worker of the result of the confirmation and
When it is determined that an erroneous work has been performed on the worker, a process of notifying the worker that an error has occurred and a process of notifying the worker that an erroneous work has occurred.
A program that executes.
JP2019551164A 2017-10-30 2018-10-23 Work support equipment, work support methods and programs Active JP6912150B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021110677A JP7156731B2 (en) 2017-10-30 2021-07-02 Work support device, work support method and program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017209179 2017-10-30
JP2017209179 2017-10-30
PCT/JP2018/039376 WO2019087870A1 (en) 2017-10-30 2018-10-23 Work assistance device, work assistance method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021110677A Division JP7156731B2 (en) 2017-10-30 2021-07-02 Work support device, work support method and program

Publications (2)

Publication Number Publication Date
JPWO2019087870A1 JPWO2019087870A1 (en) 2020-12-03
JP6912150B2 true JP6912150B2 (en) 2021-07-28

Family

ID=66331946

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019551164A Active JP6912150B2 (en) 2017-10-30 2018-10-23 Work support equipment, work support methods and programs
JP2021110677A Active JP7156731B2 (en) 2017-10-30 2021-07-02 Work support device, work support method and program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021110677A Active JP7156731B2 (en) 2017-10-30 2021-07-02 Work support device, work support method and program

Country Status (3)

Country Link
JP (2) JP6912150B2 (en)
CN (1) CN111328402A (en)
WO (1) WO2019087870A1 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7329392B2 (en) * 2019-08-30 2023-08-18 Hoya株式会社 Endoscope reprocess support device, endoscope reprocess support method and program
JP7015503B2 (en) * 2019-12-18 2022-02-03 Ａｒｉｔｈｍｅｒ株式会社 Lending object management system, lending object management program and lending object management method.
JP7471878B2 (en) * 2020-03-18 2024-04-22 東芝テック株式会社 Image Processing Device
JP7433126B2 (en) 2020-04-21 2024-02-19 三菱電機株式会社 Image display system, image display device, server, image display method and program
WO2022037281A1 (en) * 2020-08-19 2022-02-24 广西电网有限责任公司贺州供电局 Real-time substation field operation monitoring and alarm system based on machine vision
KR102315865B1 (en) * 2020-12-21 2021-10-21 쿠팡 주식회사 Electronic apparatus for managing working information and method thereof
JP7415912B2 (en) * 2020-12-23 2024-01-17 横河電機株式会社 Apparatus, system, method and program
US20220358671A1 (en) * 2021-05-07 2022-11-10 Tencent America LLC Methods of estimating pose graph and transformation matrix between cameras by recognizing markers on the ground in panorama images
JPWO2023176030A1 (en) * 2022-03-18 2023-09-21
JP7406038B1 (en) * 2023-09-19 2023-12-26 株式会社日立パワーソリューションズ Work support system and work support method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06162034A (en) * 1992-11-20 1994-06-10 Kumahira Safe Co Inc Working hour managing device
JP3156220B2 (en) * 1996-01-17 2001-04-16 明光産業株式会社 Gas container bottom inspection device
JP4784752B2 (en) * 2006-06-30 2011-10-05 サクサ株式会社 Image processing device
JP2009279193A (en) * 2008-05-22 2009-12-03 Fujifilm Corp Medical apparatus management system
JP6113631B2 (en) * 2013-11-18 2017-04-12 東芝三菱電機産業システム株式会社 Work confirmation system
JP6399437B2 (en) * 2014-06-04 2018-10-03 パナソニックＩｐマネジメント株式会社 Control device and work management system using the same
JP6451133B2 (en) * 2014-08-01 2019-01-16 株式会社リコー Anomaly detection device, anomaly detection method, anomaly detection system, and program

Also Published As

Publication number Publication date
CN111328402A (en) 2020-06-23
JPWO2019087870A1 (en) 2020-12-03
JP2021152979A (en) 2021-09-30
WO2019087870A1 (en) 2019-05-09
JP7156731B2 (en) 2022-10-19

Similar Documents

Publication Publication Date Title
JP6912150B2 (en) Work support equipment, work support methods and programs
CN106340217B (en) Manufacturing equipment intelligence system and its implementation based on augmented reality
US20130010068A1 (en) Augmented reality system
JP2005250990A (en) Operation support apparatus
US20210224752A1 (en) Work support system and work support method
JP2017191490A (en) Skill transmission system and method
JP2015196231A (en) Screw fastening device
JP2008235504A (en) Assembly inspection device
JP7114885B2 (en) Worksite monitoring devices and programs
US7377650B2 (en) Projection of synthetic information
CN111049687B (en) Equipment maintenance video operation guide file processing method and device and AR terminal
JP2015061339A (en) Wire connection work support system
JP6270488B2 (en) Operator monitoring control device and operator monitoring control method
WO2023100743A1 (en) Work assistance system, work subject identification device, and method
JP7265667B2 (en) Work support system and work support method
CN112949457A (en) Maintenance method, device and system based on augmented reality technology
JP6803794B2 (en) Image processing equipment and manufacturing system
US10133900B2 (en) Controlling the output of contextual information using a computing device
KR102597228B1 (en) System for guiding information anc checking mobile facility based on artificial intelligence
KR102603276B1 (en) Device, method and program for assisting supevision based on XR
JP7191560B2 (en) content creation system
JP2020197971A (en) Intrusion detection device, program, and intrusion detection system
CN207259864U (en) The massaging device of fiber web machine
CN111462341A (en) Augmented reality construction assisting method, device, terminal and medium
JP7094759B2 (en) System, information processing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210706

R150 Certificate of patent or registration of utility model

Ref document number: 6912150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150