JP6912150B2 - Work support equipment, work support methods and programs - Google Patents
Work support equipment, work support methods and programs Download PDFInfo
- Publication number
- JP6912150B2 JP6912150B2 JP2019551164A JP2019551164A JP6912150B2 JP 6912150 B2 JP6912150 B2 JP 6912150B2 JP 2019551164 A JP2019551164 A JP 2019551164A JP 2019551164 A JP2019551164 A JP 2019551164A JP 6912150 B2 JP6912150 B2 JP 6912150B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- image
- worker
- erroneous
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 146
- 230000008569 process Effects 0.000 claims description 119
- 238000012790 confirmation Methods 0.000 claims description 38
- 238000012423 maintenance Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000009434 installation Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- General Factory Administration (AREA)
- User Interface Of Digital Computer (AREA)
Description
(関連出願についての記載)
本発明は、日本国特許出願:特願2017−209179号(2017年10月30日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、作業支援装置、作業支援方法及びプログラムに関する。(Description of related application)
The present invention is based on the priority claim of Japanese patent application: Japanese Patent Application No. 2017-209179 (filed on October 30, 2017), and all the contents of the application are incorporated in this document by citation. Shall be.
The present invention relates to a work support device, a work support method and a program.
特許文献1に、発電所や変電所等の現場機器の保守・点検作業において、作業者の負担を軽減すると共に、保守・点検作業業務の省力化を図ることのできるという保守支援システムが開示されている。同文献には、保守・点検作業に関する情報を保持した複数のデータベースを備えたサーバ10を設けることが記載されている。一方、作業者が携行する携帯端末6には、作業者が被るヘルメット1に取り付けられたカメラ2により保守作業の所定の工程ごとにその進捗状況を撮影してサーバ10に伝送する機能が備えられる。そして、サーバ10は、カメラ2によって撮影された進捗状況に応じてデータベースから作業に必要なデータを抽出して、作業者が被るヘルメット1に取り付けられたディスプレイ5から作業に必要な情報を提供することが記載されている。
特許文献2には、監視者に頼ることなく、作業状態や作業現場の状況等を分析して評価することができるという作業管理システムが開示されている。同文献によると、この作業管理システムの入力部1は、熟練度の高い作業者が作業を進めている様子を撮像し、この動画像を周知の画像処理方法を用いてパターン化してから記憶部3に記憶する。また、この作業管理システムの検出部2は、通常の作業者が作業を進めている様子を撮像し、この動画像を周知の画像処理方法を用いてパターン化してから記憶部3に記憶したり、中央処理装置4に与える。そして、この作業管理システムの中央処理装置4は、2つの動画像を比較して、熟練度の高い作業者に対する通常の作業者の作業速度の差や作業手順の誤りを判定する。
以下の分析は、本発明によって与えられたものである。作業者を現地に派遣して、保守やメインテナンス作業を行う場合において、作業工程誤りが発生する場合がある。本発明者の分析によれば、これら作業誤りの多くは、作業者の誤認識、忘れ、見過ごし、思い込み等に起因するものであり、作業の中の特定のシーンを確認するだけで、その誤りを判定可能である。この点、特許文献1は、サーバ10の主制御部11が「所定の保守工程ごとに前記携帯端末6から伝送される保守作業の進捗状況から、該工程の保守作業の良否を判定する作業良否判定手段の役割を担う。」と包括的な記載がなされるに止まっている。
The following analysis is given by the present invention. When a worker is dispatched to the site to perform maintenance or maintenance work, a work process error may occur. According to the analysis of the present inventor, many of these work errors are caused by the worker's misrecognition, forgetting, oversight, belief, etc., and the mistakes can be made only by checking a specific scene in the work. Can be determined. In this regard, in
また、特許文献2の方法は、予め熟練度の高い作業者の作業映像を撮影しておき、通常の作業者の作業映像と比較するものであり、通常の作業者の作業の評価の良し悪しは、熟練度の高い作業者の作業映像次第となってしまう。また、特許文献2の方法は、同文献の図2に示された卓上作業などには使えるが、毎度、作業現場の環境が異なりうる訪問型、出張型の作業の確認には使えない場合があると考えられる。
Further, the method of
本発明は、作業者に対し、精度よく作業工程誤り等の発生を知らせ、その作業効率の向上に貢献することのできる作業支援装置、作業支援方法及びプログラムを提供することを目的とする。 An object of the present invention is to provide a work support device, a work support method, and a program capable of accurately notifying a worker of the occurrence of a work process error or the like and contributing to the improvement of the work efficiency.
第1の視点によれば、少なくとも第1の工程と第1の工程の後に行われる第2の工程とを含む作業と、前記第1の工程と、前記第2の工程とにおいてそれぞれ行われる作業を代表する工程毎の代表画像とを対応付けて保持する記憶部と、前記作業者が作業を行っている過程における画像を入力する入力部と、前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する確認部と、前記作業者に対し、前記確認の結果を通知する通知部と、を備えた作業支援装置が提供される。 According to the first viewpoint, the work including at least the first step and the second step performed after the first step, and the work performed in the first step and the second step, respectively. A storage unit that holds a representative image for each process that represents the above, an input unit that inputs an image in the process in which the worker is performing the work, the input image, and the representative image. A work support device including a confirmation unit for collating and confirming whether or not the work is performed in a predetermined order and a notification unit for notifying the worker of the result of the confirmation is provided. NS.
第2の視点によれば、少なくとも第1の工程と第1の工程の後に行われる第2の工程とを含む作業と、前記第1、前記第2の工程において行われる作業を代表する工程毎の代表画像とを対応付けて保持する手段にアクセス可能なコンピュータが、前記作業者が作業を行っている過程における画像を入力するステップと、前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認するステップと、前記作業者に対し、前記確認の結果を通知するステップと、を含む作業支援方法が提供される。本方法は、作業支援装置として機能するコンピュータという、特定の機械に結びつけられている。 According to the second viewpoint, each step representing the work including at least the first step and the second step performed after the first step, and the work performed in the first and second steps. A computer that can access the means for associating and holding the representative image of the above collates the input image with the representative image in the step of inputting the image in the process in which the worker is performing the work. A work support method including a step of confirming whether or not the work is performed in a predetermined order and a step of notifying the worker of the result of the confirmation is provided. This method is tied to a specific machine, a computer that functions as a work support device.
第3の視点によれば、少なくとも第1の工程と第1の工程の後に行われる第2の工程とを含む作業と、前記第1、前記第2の工程において行われる作業を代表する工程毎の代表画像とを対応付けて保持する手段にアクセス可能なコンピュータに、前記作業者が作業を行っている過程における画像を入力する処理と、前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する処理と、前記作業者に対し、前記確認の結果を通知する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な(非トランジエントな)記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。 According to the third viewpoint, each step representing the work including at least the first step and the second step performed after the first step, and the work performed in the first and second steps. The process of inputting an image in the process in which the worker is performing the work into a computer that can access the means for associating and holding the representative image of the above, and collating the input image with the representative image. A program for confirming whether or not the work is performed in a predetermined order and a process for notifying the worker of the result of the confirmation are provided. The program can be recorded on a computer-readable (non-transient) storage medium. That is, the present invention can also be embodied as a computer program product.
本発明によれば、作業者に対し、精度よく作業工程誤り等の発生を知らせ、その作業効率を向上させることが可能となる。即ち、本発明は、背景技術に記載した作業支援装置を、その作業工程誤りの有無の確認機能を飛躍的に向上させたものへと変換するものとなっている。 According to the present invention, it is possible to accurately notify an operator of the occurrence of a work process error or the like and improve the work efficiency. That is, the present invention is to convert the work support device described in the background technology into one in which the function of confirming the presence or absence of an error in the work process is dramatically improved.
はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号(データ)の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースがあるが図示省略する。 First, an outline of one embodiment of the present invention will be described with reference to the drawings. It should be noted that the drawing reference reference numerals added to this outline are added to each element for convenience as an example for assisting understanding, and the present invention is not intended to be limited to the illustrated embodiment. Further, the connecting line between blocks such as drawings referred to in the following description includes both bidirectional and unidirectional. The one-way arrow schematically shows the flow of the main signal (data), and does not exclude interactivity. Further, although there are ports or interfaces at the input / output connection points of each block in the figure, they are not shown.
本発明は、その一実施形態において、図1に示すように、記憶部11aと、入力部12aと、確認部13aと、通知部14aと、を備える作業支援装置10aにて実現できる。記憶部11aは、少なくとも第1の工程と第1の工程の後に行われる第2の工程と含む「作業」と、前記第1の工程と、前記第2の工程とにおいてそれぞれ行われる作業を代表する工程毎の代表画像とを対応付けて保持する。
In one embodiment of the present invention, as shown in FIG. 1, the present invention can be realized by a
入力部12aは、前記作業者が前記選択した作業を行っている過程における画像を入力する。
The
確認部13aは、前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する。
The
通知部14aは、前記作業者に対し、前記確認の結果を通知する。
The
なお、図1に示した作業支援装置10aは、図2に示すようなコンピュータ10bにて実現することもできる。この場合、メモリー11bが、上記した記憶部11aとして機能し、入力手段12bが、入力部12aとして機能することになる。なお、メモリー11bには、各種のディスクドライブ等の補助記憶装置も含まれる。また、入力手段12bは、作業を行っている過程における画像を撮影するカメラや、そのようなカメラから画像を受け取る入力インタフェース等であってもよい。また、確認部13a及び通知部14aは、プロセッサ13bにおいて、上記した確認部13aの確認処理と、その結果を出力手段14bから出力(通知)させるコンピュータプログラムによって実現することが可能である。
The
ここで、あるアプリケーションプログラムのコンピュータへのインストール作業の支援を例に挙げて、本実施形態の動作を説明する。このアプリケーションプログラムでは、インストール工程(第2の工程)の前に、古いバージョンのプログラムのアンインストール作業(第1の工程)が必要とされているものとする。図3は、この場合に、記憶部11aに記憶する代表画像の例を示す。図3の例では、第1の工程の代表画像として、アンインストール中にモニタ上に表示されるサブウインドウが表示された画像が記憶される。同様に、第2の工程の代表画像として、インストール中にモニタ上に表示されるサブウインドウが表示された画像が記憶される。
Here, the operation of the present embodiment will be described by taking as an example the support for installing an application program on a computer. In this application program, it is assumed that the work of uninstalling the old version of the program (first step) is required before the installation step (second step). FIG. 3 shows an example of a representative image stored in the
そして、入力部12aに、例えば、カメラを介して、作業者が選択した作業を行っている過程における画像の入力がなされると、確認部13aは、入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する。例えば、入力された画像が、第1の工程の代表画像と一致すると、確認部13aが、作業が正しく開始されたと判定する。その後、第2の工程の代表画像と一致する画像が入力されると、確認部13aは、作業が正しく行われたものと判定する。ここで、確認部13aが、通知部14aに、作業者に対して、作業が正しく行われていることを通知させるようにしてもよい。このようにすることで、作業者はアプリケーションのインストール作業を正しく実行できたことを確認できる。その後、アプリケーションプログラムの動作に問題が生じたとしても、作業者は、インストール作業自体は正しくできていたという情報が得られているので、問題は他の箇所にあると認識することができる。
Then, when an image is input to the
一方、入力された画像と、第1の工程の代表画像との一致の前に、第2の工程の代表画像と、一致した場合、確認部13aは、第1の工程よりも先に第2の工程が行われたものと判定する。この場合、確認部13aは、通知部14aに、作業者に対して、作業が正しく行われていないことを通知することが好ましい。このようにすることで、作業者はアプリケーションのインストール作業を間違っていたことを認識できる。これにより、次の作業や工程に入る前に、プログラムのインストールのやり直しを行うことができる。また、その際に、確認部13aが、通知部14aに、具体的な修正作業の内容を通知するように指示してもよい。例えば、図4の例の場合、確認部13aが、作業者に対し、V1.1のアプリケーションのアンインストールと、V1.0のアプリケーションのアンインストールを行った後、V1.1のインストールを行うべきことを通知することが考えられる。
On the other hand, if the input image matches the representative image of the second step before the representative image of the first step matches, the
[第1の実施形態]
続いて、作業支援装置として、ウェアラブル端末を用いる本発明の第1の実施形態について図面を参照して詳細に説明する。図5は、本発明の第1の実施形態の作業支援装置の構成を示す図である。図5を参照すると、作業者100aが着用するメガネ型のウェアラブル端末(作業者装着端末)100と、サーバ200とがネットワーク101を介して接続された構成が示されている。なお、以下の実施形態では、作業画像の入力装置としてウェアラブル端末を用いるものとして説明するが、作業画像の入力装置としてウェアラブル端末に限られるものではない。例えば、スマートフォンやその他カメラ付きの業務用端末を作業画像の入力装置として用いることも可能である。また、カメラ自体が独立した構成であってもよく、カメラから送信された画像を上記ウェアラブル端末、スマートフォン、業務用端末等を介して、作業支援装置に送信することとしてもよい。なお、メガネ型のウェアラブル端末としては、スマートグラスやヘッドセット型端末と呼ばれるものを用いることができる。[First Embodiment]
Subsequently, the first embodiment of the present invention using the wearable terminal as the work support device will be described in detail with reference to the drawings. FIG. 5 is a diagram showing a configuration of a work support device according to the first embodiment of the present invention. With reference to FIG. 5, a configuration is shown in which the glasses-type wearable terminal (worker-worn terminal) 100 worn by the
なお、ウェアラブル端末100及びサーバ200のネットワーク101への接続形態(通信方式)としては、種々の方式を用いることができる。例えば、移動体通信網を介した接続、無線LAN(Local Area Network)による接続等が考えられる。その他、Bluetooth(登録商標)や赤外線通信等の近距離無線通信を介して、ウェアラブル端末100及びサーバ200がネットワーク101に接続することとしてもよい。もちろん、有線LAN等の有線通信を介して、ウェアラブル端末100及びサーバ200がネットワーク101に接続する方法も採用可能である。
As the connection form (communication method) of the
図6は、本発明の第1の実施形態のウェアラブル端末の構成を示す図である。図6を参照すると、制御部102、通信部103、画像入力部104、音声入力部105、入力部106、表示部107、音声出力部108、計時部109及び記憶部110を備えるウェアラブル端末100が示されている。
FIG. 6 is a diagram showing a configuration of a wearable terminal according to the first embodiment of the present invention. Referring to FIG. 6, a
通信部103は、ネットワーク101を介して、ウェアラブル端末100とサーバ200の間のデータの通信を行う。
The
画像入力部104は、例えば、撮影装置(カメラ)によって構成することができる。具体的には、画像入力部104は、制御部102からの指示に応じて、作業者が視認する領域の画像(動画でも良く、所定間隔(動画像より、撮像時間間隔が広くても良い)毎に撮像した静止画でも良い)を取り込む。画像入力部104は、記憶部110の工程画像DB111に取り込んだ画像を保存する。なお、画像入力部104は、必ずしも撮影装置(カメラ)である必要はなく、撮影装置(カメラ)等を接続可能なインターフェースであってもよい。
The
音声入力部105は、マイク(マイクロフォン)によって構成することができる。音声入力部105を介して、作業者から音声による指示を受け付け、ウェアラブル端末100の動作を制御してもよい。この音声入力部105から、特定の装置等の作業対象が発する音、作業者の周囲の音を取り込んで、作業が正しく行われているか否かの確認を行うようにしてもよい。
The
入力部106は、タッチパネルやスライドパッド、マウス、キーボード等の情報入力手段によって構成される。作業者から入力部106を介して指示を受け付け、ウェアラブル端末100の動作を制御してもよい。また、作業者が、入力部106を介して入力した情報(例えば、工程画像DBの修正データ)を、記憶部110の工程画像DB111等に記憶するようにしてもよい。なお、上記した音声入力部105や入力部106は適宜省略することもできる。例えば、作業者からの指示を、画像入力部104によって作業者のジェスチャーを認識して受け取る場合、音声入力部105や入力部106を省略することができる。
The input unit 106 is composed of information input means such as a touch panel, a slide pad, a mouse, and a keyboard. An instruction may be received from the operator via the input unit 106 to control the operation of the
なお、上記した画像入力部104、音声入力部105、入力部106における画像等や音声等の情報の入力は、制御部102の指示するタイミングで行われるものとする。
It is assumed that the above-mentioned
表示部107は、制御部102からの指示で、出力画像(動画でも良い)を表示する液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイによって構成される。
The display unit 107 is composed of a liquid crystal display or an organic EL (Electroluminescence) display that displays an output image (which may be a moving image) according to an instruction from the
音声出力部108は、制御部102からの指示で、音声を出力する。例えば、作業対象の装置に対して行われた操作の際の動作音の取得が必要な場合は、制御部102が、表示部107または音声出力部108に対して、作業者に対し、必要な操作の実行を促すメッセージ(音声案内等)を出力させるようにしてもよい。また、音声出力部108に代えて、出力手段として、作業者に注意を促すための振動モータ、振動を発生するデバイスや、ランプを用いることもできる。
The
計時部109は、作業の開始から各工程までの所要時間(経過時間)を計測する。この計測した所要時間と、標準時間や最大許容時間と比較することにより、作業の遅れの有無や、トラブルの発生有無等を把握することができる。
The
制御部102は、上記したウェアラブル端末100の各部を制御し、画像入力部104から入力された画像と代表画像や誤り画像とを照合し、作業の進捗管理(図10のフローチャート参照)を行う。また本実施形態の制御部102は、各工程の所要時間(経過時間)と別途定められた標準時間や最大許容時間とを比較することにより、作業の進捗を管理する。また本実施形態の制御部102は、予め定められた警告発動条件が成立すると、作業者に対し警告を出力する機能を備えている。このような制御部102は、ウェアラブル端末100の各部を制御するプログラム112を、記憶部110から読み出してプロセッサに実行させることにより実現することもできる。
The
記憶部110は、工程画像データベース(工程画像DB)111として機能する。この工程画像DB111には、サーバ200から受信した工程画像情報が登録される。工程画像情報の詳細については、後に、詳細に説明する。
The
図7は、本発明の第1の実施形態のサーバ200の構成を示す図である。図7を参照すると、制御部202、通信部203、画像入力部204、音声入力部205、入力部206、表示部207、音声出力部208及び記憶部209を備えるサーバ200が示されている。
FIG. 7 is a diagram showing the configuration of the
通信部203は、ネットワーク101を介して、ウェアラブル端末100とサーバ200の間のデータの通信を行う。
The
画像入力部204は、ウェアラブル端末100側から、作業者が視認する領域の画像(動画でも良く、所定間隔(動画像より、撮像時間間隔が広くても良い)毎に撮像した静止画でも良い)を受け取るインタフェースである。
The
音声入力部205は、ウェアラブル端末100側から音声データを受け取るインタフェースである。音声入力部205を介して、作業者から音声による指示を受け付け、サーバ200の動作を制御してもよい。この音声入力部205から、特定の装置等の作業対象が発する音、作業者の周囲の音を取り込んで、作業が正しく行われているか否かの確認を行うようにしてもよい。
The
入力部206は、タッチパネルやスライドパッド、マウス、キーボード等の情報入力手段によって構成される。作業者から入力部206を介して指示を受け付け、サーバ200の動作を制御してもよい。また、作業者が、入力部206を介して入力した情報(例えば、工程画像DBの修正データ)を、記憶部209の工程画像DB211等に記憶するようにしてもよい。
The
表示部207は、サーバ200側の操作者に必要なメッセージ等を出力したり、入出力内容を表示する液晶ディスプレイや有機ELディスプレイによって構成される。
The
音声出力部208は、制御部202からの指示により、サーバ側の操作者に対し、必要な操作の実行を促すメッセージ(音声案内等)を出力する。また、音声出力部208に代えて、出力手段として、光で操作者に注意を促すためのランプ等を用いることもできる。
The
制御部202は、上記したサーバ200の各部を制御する。この制御部202は、サーバ200の各部を制御するプログラム(非図示)を、記憶部209から読み出してプロセッサに実行させることにより実現することもできる。また、ウェアラブル端末100からサーバ200側に、画像入力部104から入力された画像が送信される場合、この制御部202において、作業の進捗管理(図10のフローチャート参照)を行う処理を行わせても良い。具体的には、制御部202は、ウェアラブル端末100から受信された画像と代表画像や誤り画像とを照合し、作業の進捗管理を行うことになる。また、制御部202において、作業を開始してからの経過時間を記録し、別途定めた標準的な所要時間との比較により、作業の遅れの有無を判定させてもよい。
The
ここで、サーバ200の記憶部209に保持される情報について説明する。記憶部209には、作業情報と、工程画像情報が登録され、それぞれ作業情報データベース(作業情報DB)210、工程画像データベース(工程画像DB)211として機能する。
Here, the information stored in the
図8は、作業情報DB210に保持される情報の一例を示す図である。図8を参照すると、装置名、作業種類、障害内容によって特定される「作業」に一意に付与される作業No.を対応づけたエントリが示されている。この作業情報DB210は、ウェアラブル端末100から、工程画像の送信要求を受けた際に、入力された作業内容から作業No.を特定するために用いられる。例えば、ある作業者が、起動しないパソコンの故障修理を行う場合、その作業は#1の作業として特定される。なお、作業の内容は、図8の例に限られず、本発明を適用可能なさまざまな「作業」を特定するための情報を登録してもよい。例えば、図8の例のほか、装置撤去作業や定期点検作業を作業情報DB210に登録してもよい。また例えば、自動車のオイル交換であれば、装置フィールドには、自動車の車種名や型番(型式)を示す情報が設定され、作業種類フィールドには、オイル交換が設定される(なお、障害内容フィールドは、図8の#4のサーバ4の設置と同様に空欄でもよいし、あるいは、オイルエレメント交換の要否等を設定してもよい)。
FIG. 8 is a diagram showing an example of information held in the
図9は、工程画像DB211に保持される情報の一例を示す図である。図9を参照すると、作業No.2の「作業」における各工程の代表画像と、この代表画像等を用いて、工程の進捗管理を行うための情報が対応付けて登録されている。図9の例は、図8の作業情報DBにて作業No.2と特定される、プリンタ2の故障修理(紙詰まり)を行う際の情報が登録されている。また、図9は、作業No.2を構成する6つの工程のうち、工程3まで正常に進み、工程4にて作業の誤りを検出した状態を示している。以下、図9の各項目について説明する。
FIG. 9 is a diagram showing an example of information held in the
「代表画像」フィールドは、各工程において、正しく作業が行われたことを確認するための画像を登録するためのフィールドである。この代表画像は、ウェアラブル端末100にて画像の一致確認がし易いよう、作業者(例えば、装置の保守作業者であっても良い)が視認する領域(厳密にはウェアラブル端末100に入力が想定される画像と同一の領域)を撮像したものが好ましい。より望ましくは、代表画像の角度、大きさ、画素数等は、ウェアラブル端末100に入力される画像と同一になるように設定される。
The "representative image" field is a field for registering an image for confirming that the work has been performed correctly in each process. This representative image is assumed to be input to the area (strictly speaking, the wearable terminal 100) that is visible to the operator (for example, a maintenance worker of the device) so that the matching of the images can be easily confirmed on the
また、誤判定を防ぐため、代表画像は、他の工程でも撮影出来る画像ではなく、その工程でのみ得られる画像であることが好ましい。また、この代表画像は、ウェアラブル端末100に入力が想定される画像の一部と照合する画像であってもよい。また、ウェアラブル端末100に入力が想定される画像と代表画像の角度、大きさ、画素数等が、必ずしも一致している必要はない。例えば、いずれか一方の画像を座標変換により、傾けた画像としたり、画像の大きさや画素数を変換したりすることで、双方を照合する方法も採用可能である。
Further, in order to prevent erroneous determination, it is preferable that the representative image is not an image that can be captured in other steps, but an image that can be obtained only in that step. Further, the representative image may be an image that is collated with a part of the image that is expected to be input to the
代表画像の例としては、ハードディスク交換作業におけるハードディスクドライブの外観画像、回路基板や機構部品の交換作業における対象装置での実装状態を想定した回路基板や機構部品の外観画像が挙げられる。また、代表画像の別の例として、機器接続作業における作業対象装置での外部に露出しているコネクタの外観やその接続状態を示す画像が挙げられる。 Examples of the representative image include an external image of the hard disk drive in the hard disk replacement work, and an external image of the circuit board and the mechanical component assuming the mounting state in the target device in the circuit board and the mechanical component replacement work. Further, as another example of the representative image, there is an image showing the appearance of the connector exposed to the outside in the work target device in the device connection work and the connection state thereof.
図9の「撮像画像」フィールドは、ウェアラブル端末100の画像入力部104から入力された画像のうち、代表画像や誤り画像(後述)との照合がとれた画像が登録されるフィールドである。図9の例では、サーバ200側の工程画像DB211に「撮像画像」フィールドが設けられているが、ウェアラブル端末100側でのみ代表画像との照合を行う場合、サーバ200側の工程画像DB211の「撮像画像」フィールドは省略できる。前述のとおり、図9の例では、工程1〜3までが確認されたので、「撮像画像」フィールドには、代表画像と一致すると判定された画像が登録されている。図9の工程4は、誤り画像との一致が検出されたので、「撮像画像」フィールドには、誤り画像と一致すると判定された画像が登録されている。
The “captured image” field of FIG. 9 is a field in which, among the images input from the
図9の「実施状況」フィールドは、ウェアラブル端末100の制御部102又はサーバ200の制御部202で代表画像との照合により、確認された工程の進捗状況等を記録するフィールドである。図9の例では、サーバ200側の工程画像DB211に「実施状況」フィールドが設けられているが、ウェアラブル端末100側でのみ代表画像との照合を行う場合、サーバ200側の工程画像DB211の「実施状況」フィールドは省略できる。前述のとおり、図9の例では、工程1〜3までが確認されたので、「実施状況」フィールドには、「作業開始」、「工程確認」といった情報が登録されている。図9の工程4は、誤り画像との一致が検出されたので、「実施状況」フィールドには、「誤り検知」という情報が登録されている。また、工程5以降は行われていないため、「未実施」という初期状態の情報が登録されている。
The “implementation status” field in FIG. 9 is a field for recording the progress status of the process confirmed by the
図9の「手順情報」フィールドは、各工程の次の工程の作業内容等が登録されるフィールドである。「手順情報」フィールドの内容は、必要に応じ、表示部107や音声出力部108を介して、作業者に通知される。
The "procedure information" field of FIG. 9 is a field in which the work contents and the like of the next process of each process are registered. The contents of the "procedure information" field are notified to the operator via the display unit 107 and the
図9の「通知情報」フィールドは、各工程に到達した際に、作業者に通知する情報が登録されるフィールドである。例えば、撮像画像と代表画像が適合し、作業開始と判定した場合、通知情報フィールドに登録されている内容が作業者に通知される。作業情報との差異は、作業情報が作業内容を伝えるという観点で作成されているのに対し、通知情報は、注意事項、連絡事項や、次工程作業を行う上で、作業誤りを防ぐ為の注意喚起の情報が設定されている点である。なお、上記した作業情報や通知情報として、文字、音声、動作、図形等の形態を採ることができる。また、ウェアラブル端末100の眼鏡型のスクリーンに、上記作業情報や通知情報を示す文字や図形を重畳表示し、作業者の作業を支援するようにしてもよい。
The "notification information" field of FIG. 9 is a field in which information to be notified to the operator when each process is reached is registered. For example, when the captured image and the representative image match and it is determined that the work has started, the content registered in the notification information field is notified to the worker. The difference from the work information is created from the viewpoint that the work information conveys the work content, while the notification information is used for precautions, communication items, and to prevent work errors in performing the next process work. The point is that the information for calling attention is set. The work information and notification information described above can be in the form of characters, voices, actions, figures, and the like. In addition, characters and figures indicating the work information and notification information may be superimposed and displayed on the glasses-shaped screen of the
「誤り画像」フィールドは、各工程において、作業ミスが行われたことを検出するための画像を登録するためのフィールドである。この誤り画像も、代表画像と同様に、ウェアラブル端末100にて画像の一致確認がし易いよう、作業者(例えば、装置の保守作業者であっても良い)が視認する領域(厳密にはウェアラブル端末100に入力が想定される画像と同一の領域)を撮像したものが好ましい。より望ましくは、誤り画像の角度、大きさ、画素数等は、ウェアラブル端末100に入力される画像と同一になるように設定される。
The "error image" field is a field for registering an image for detecting that a work error has been made in each process. Similar to the representative image, this error image is also a region (strictly speaking, wearable) that is visible to the operator (for example, a maintenance worker of the device) so that the matching of the images can be easily confirmed on the
また、誤判定を防ぐため、誤り画像も、他の工程でも撮影出来る画像ではなく、その工程でのみ得られる画像であることが好ましい。また、この誤り画像は、ウェアラブル端末100に入力が想定される画像の一部と照合する画像であってもよい。また、ウェアラブル端末100に入力が想定される画像と誤り画像の角度、大きさ、画素数等が、必ずしも一致している必要はない。例えば、いずれか一方の画像を座標変換により、傾けた画像としたり、画像の大きさや画素数を変換したりすることで、双方を照合する方法も採用可能である。
Further, in order to prevent erroneous determination, it is preferable that the erroneous image is not an image that can be captured in other steps but an image that can be obtained only in that step. Further, this erroneous image may be an image that is collated with a part of the image that is expected to be input to the
図9の「標準時間」フィールドは、各工程間の標準的な作業時間が登録されるフィールドである。この標準時間と実際の作業時間を比較することにより作業の進捗具合(遅れ具合)を把握することが可能となる。また、図9の「最大許容時間」フィールドは、各工程間の所要時間として許容される時間が登録されるフィールドである(即ち、最大許容時間>標準時間である)。図9の「経過時間」フィールドは、各工程間の実際の所要時間が登録されるフィールドである。なお、図9の例では、最終工程である工程6の標準時間と最大許容時間が空欄となっているが、これは、この工程の代表画像との一致をもって作業終了となり、判定の必要が無いためである。
The “standard time” field in FIG. 9 is a field in which the standard working time between each process is registered. By comparing this standard time with the actual work time, it is possible to grasp the progress (delay) of the work. Further, the "maximum allowable time" field in FIG. 9 is a field in which the time allowed as the required time between each process is registered (that is, the maximum allowable time> standard time). The “elapsed time” field in FIG. 9 is a field in which the actual required time between each process is registered. In the example of FIG. 9, the standard time and the maximum allowable time of the
図9の「遅れ判定」フィールドは、各工程の進捗が、標準的な所要時間と比較して進んでいるのか、遅れているのかの判定結果が格納されるフィールドである。図9の例では、経過時間が、標準時間より短い場合「早め判定」としている。例えば、工程3は、標準時間15分に対し、経過時間が8分であるため、「早め判定」となっている。図9の例では、経過時間が、最大許容時間より長い場合「遅延判定」としている。例えば、工程2、4は、最大許容時間より、経過時間が長いため、「遅延判定」となっている。図9の例では、経過時間が、最大許容時間よりも短いが標準時間より長い場合「遅れ判定」としている。例えば、工程1は、標準時間5分に対し、経過時間が8分、最大許容時間が10分となっているため、「遅れ判定」となっている。なお、これらの判定基準はあくまで一例であり、判定を行う作業の種別や性質により適宜変更することができる。例えば、図9のような工程単位での判定のほか、累積標準時間や累積最大許容時間を設定し、累積の経過時間との比較を行って判定結果を得ても良い。
The "delay determination" field of FIG. 9 is a field in which the determination result of whether the progress of each process is advanced or delayed as compared with the standard required time is stored. In the example of FIG. 9, when the elapsed time is shorter than the standard time, it is defined as "early determination". For example, in
また、標準時間と最大許容時間との関係も工程の内容に応じて適宜設定することができる。ごく簡単には、標準時間に所定時間を加えたものを最大許容時間としてもよいし、標準時間に所定の率を乗じたものを最大許容時間としてもよい。 Further, the relationship between the standard time and the maximum allowable time can be appropriately set according to the content of the process. Quite simply, the standard time plus a predetermined time may be the maximum permissible time, or the standard time multiplied by a predetermined rate may be the maximum permissible time.
図9の「遅れ判定」フィールドに更新が行われたタイミングで、作業者に対して、音声や画像により、その判定結果や遅延量等を通知してもよい。これにより、作業者は、作業の遅れや、その程度を把握することが可能となる。 At the timing when the "delay determination" field of FIG. 9 is updated, the operator may be notified of the determination result, the delay amount, or the like by voice or image. As a result, the worker can grasp the delay of the work and the degree thereof.
図9の「警告情報」フィールドは、「警告発動条件」フィールドに設定された条件が成立した際に、作業者に通知される警告内容が格納されるフィールドである。例えば、図9の例では工程2と工程4に警告情報と、その警告発動条件が設定されている。これにより、作業中の特に重要な工程について、誤りや遅延が発生した際に作業者に警告(通知)を行うことが可能となっている。
The "warning information" field of FIG. 9 is a field in which the warning content notified to the operator when the condition set in the "warning triggering condition" field is satisfied is stored. For example, in the example of FIG. 9, warning information and warning activation conditions are set in
続いて、本実施形態の動作について図面を参照して詳細に説明する。図10は、本発明の第1の実施形態のウェアラブル端末の動作を表したフローチャートである。図10を参照すると、まず、作業者が、ウェアラブル端末100の入力部106から、図8に示す作業を特定するための情報(装置名、作業種類、障害内容等)を入力する(ステップS301)。 Subsequently, the operation of the present embodiment will be described in detail with reference to the drawings. FIG. 10 is a flowchart showing the operation of the wearable terminal according to the first embodiment of the present invention. Referring to FIG. 10, first, the operator inputs information (device name, work type, failure content, etc.) for identifying the work shown in FIG. 8 from the input unit 106 of the wearable terminal 100 (step S301). ..
ウェアラブル端末100の制御部102は、サーバ200に対し、前記入力された情報を送信し、作業Noの特定と、特定した作業Noに対応する工程画像の送信を要求する。サーバ200は、作業情報DB210から、ウェアラブル端末100から受け取った情報(装置名、作業種類、障害内容等)に対応する作業Noを特定する。次に、サーバ200は、工程画像DB211から作業Noに対応するデータを特定し、作業Noとともに、ウェアラブル端末100に送信する。ウェアラブル端末100は、サーバ200から受け取った情報を、工程画像DB111に格納する(ステップS302)。
The
ウェアラブル端末100の制御部102は、工程数を示す変数に「1」を設定し、入力画像との照合動作を開始する(ステップS303)。
The
ウェアラブル端末100の制御部102は、画像入力部104から作業者の視認する領域の画像を取り込む(ステップS304)。取り込んだ画像は工程画像DB111の撮像画像フィールドに一次保存される。ウェアラブル端末100の制御部102は、取り込んだ画像と、工程画像DB111の該当する作業Noの工程数=1の代表画像とを比較する(ステップS305)。ここで、取り込んだ画像と、工程画像DB111の該当する作業Noの工程数=1の代表画像とが一致しない場合(ステップS305の「一致しない」)、ウェアラブル端末100の制御部102は、作業は開始されていないと判定する。従って、ウェアラブル端末100の制御部102は、画像入力部104から作業者の視認する領域の画像の取り込みを継続する(ステップS304へ)。
The
なお、ステップS305以下における画像同士の照合には種々の方法を用いることができる。その具体例は、後に、詳細に説明する。 In addition, various methods can be used for collation between images in step S305 or lower. A specific example thereof will be described in detail later.
一方、取り込んだ画像と、工程画像DB111の該当する作業Noの工程数=1の代表画像とが一致した場合(ステップS305の「一致」)、ウェアラブル端末100の制御部102は、作業がスタートしたと認識する(ステップS306)。この段階で、例えば、図9の工程No.1の実施状況が「作業開始」となり、計時部109にて経過時間のカウントがスタートする。
On the other hand, when the captured image and the representative image of the process number of the corresponding work No. 1 in the process image DB 111 match (“match” in step S305), the
ウェアラブル端末100の制御部102は、工程数を示す変数に1加算し(インクリメント)、入力画像と次工程との照合動作を開始する(ステップS307)。
The
ウェアラブル端末100の制御部102は、画像入力部104から作業者の視認する領域の画像を取り込む(ステップS308)。取り込んだ画像は工程画像DB111の撮像画像フィールドに一次保存される。ウェアラブル端末100の制御部102は、取り込んだ画像と、工程画像DB111の該当する工程数の代表画像とを比較する(ステップS309)。ここで、取り込んだ画像と、工程画像DB111の該当する工程数の代表画像が一致しない場合(ステップS309の「一致しない」)、ウェアラブル端末100の制御部102は、取り込んだ画像と、現工程数より先のすべての工程の代表画像との照合を行う(ステップS316)。ここで、取り込んだ画像と、現工程数より先のすべての工程の代表画像とが一致しない場合(ステップS316の「一致しない」)、ウェアラブル端末100の制御部102は、ステップS309に戻り、取り込んだ画像と、工程画像DB111の該当する工程数の代表画像との照合を継続する。
The
一方、ステップS316で比較した代表画像のうちのいずれか一つと、取り込んだ画像とが一致した場合、ウェアラブル端末100の制御部102は、正しい作業順序で作業が行われていないと認識する(ステップS317)。そして、ウェアラブル端末100の制御部102は、表示部107又は音声出力部108を介して、作業者に対し、作業の順序誤りを通知する(ステップS318)。その際に、ウェアラブル端末100の制御部102が、該当する工程の作業情報や通知情報を出力して、作業者に対し正しい作業内容や戻し作業の内容を指示してもよい。
On the other hand, when any one of the representative images compared in step S316 matches the captured image, the
一方、ステップS309で、取り込んだ画像と、工程画像DB111の該当する工程数の代表画像が一致した場合(ステップS309の「一致」)、ウェアラブル端末100の制御部102は、正しい作業順序で作業が行われていると認識する(ステップS310)。この場合、ウェアラブル端末100の制御部102は、表示部107又は音声出力部108を介して、作業者に対し、正しい順序で作業が行われていることを通知する(ステップS311)。
On the other hand, when the captured image and the representative image of the corresponding number of steps in the process image DB 111 match in step S309 (“match” in step S309), the
次に、ウェアラブル端末100の制御部102は、工程数を示す変数が最終工程数に一致するか否かを確認する(ステップS312)。ここで、工程数を示す変数が最終工程数未満である場合、作業は終わっていないので、ウェアラブル端末100の制御部102は、ステップS308に戻って、取り込んだ画像と、工程画像DB111の該当する工程数の代表画像との比較を継続する(ステップS312の「最終工程でない」)。
Next, the
一方、工程数を示す変数が最終工程数と一致した場合、ウェアラブル端末100の制御部102は、該当する作業Noの全工程が正しく行われたものと認識する(ステップS313)。ウェアラブル端末100の制御部102は、表示部107又は音声出力部108を介して、作業者に対し、正しい順序で作業が完了したことを通知する(ステップS314)。これにより、一連の作業の進捗管理が完了する。
On the other hand, when the variable indicating the number of steps matches the number of final steps, the
なお、図10のフローチャートでは省略しているが、ウェアラブル端末100の制御部102は、ステップS309の新しい画像と次工程の代表画像の一致を確認したタイミング等で、その時点での経過時間と、前工程の標準時間、最大許容時間との比較を行う。この比較の結果に応じて、ウェアラブル端末100の制御部102は、前工程の遅れ等を確認し、工程画像DBの遅れ判定フィールドの内容を更新する。また、遅れが検出された場合、ウェアラブル端末100の制御部102は、作業者に対し、作業遅れ等を通知する。図10のフローチャートでは省略しているが、ウェアラブル端末100の制御部102は、所定の周期で、図9の工程画像DB111の警告発動条件フィールドに規定された条件が成立したか否かを確認する。ここで、警告発動条件フィールドに規定された条件が成立したと判定した場合、ウェアラブル端末100の制御部102は、警告情報フィールドに設定された内容を用いて作業者に対し、警告を行う。
Although omitted in the flowchart of FIG. 10, the
以上説明した本実施形態のウェアラブル端末100及びサーバ200によれば、作業者が行っている作業をリアルタイムに観測し、正しい順序で行われているか否かを確認することが可能となる。また、本実施形態では、作業者に対し、各工程で必要な情報を提供したり、作業の遅れの有無や、警告を発することも可能となっている。このため、作業工程進捗の管理を、省力化ないし自動化することが可能となる。
According to the
本実施形態を適用した工程の進捗管理の例を説明する。
(工程1)カバーを取り外す工程
代表画像としては、カバー全体の画像を用いる。この画像には、事前にマーカを付加したカバーの画像を用いてもよい。また、このマーカに代えて、カバー外形の形状や大きさ(撮像倍率も考慮する)、カバーを認識できるような画像を用意してもよい。これにより作業の開始が検出される。An example of progress management of a process to which this embodiment is applied will be described.
(Step 1) Step of removing the cover As a representative image, an image of the entire cover is used. For this image, an image of a cover to which a marker is added in advance may be used. Further, instead of this marker, an image capable of recognizing the shape and size of the outer shape of the cover (taking into consideration the imaging magnification) and the cover may be prepared. This detects the start of work.
(工程2)カバーの固定
カバーの固定は、取り外し可能な複数のボルト(雄ねじ、を意味する。)による、ネジ固定を行うものとする。この場合、ネジ固定後のカバー画像を代表画像として用いることで、カバーの固定が正しく行われていることを検出できる。あるいは、この代表画像との照合に代えて、これらのボルトの位置を予め記憶しておき、取得した撮像画像から、カバー部を検出し、そのカバー全体の位置から、各ボルトの、相対位置部分の画像を切りだし、この切り出した画像の中に、ボルト特有の色(例えば、亜鉛メッキの色)部分が、ボルトの頭の大きさが入る所定範囲の領域に有るか、検出、判断を行うことで、その位置にボルトが有るかを判断する方法も採用ができる。仮に、カバーの4隅、4か所に、ボルトでカバーを取り付ける部分が有るとしたら、その領域にボルトが存在することを検出し、すべての個所に、ボルトが有ると判断した場合、正しく、カバーが取り付けられ固定されていると判断する。(Step 2) Fixing the cover The cover is fixed by screws with a plurality of removable bolts (meaning male screws). In this case, by using the cover image after fixing the screws as a representative image, it is possible to detect that the cover is fixed correctly. Alternatively, instead of collating with this representative image, the positions of these bolts are stored in advance, the cover portion is detected from the acquired captured image, and the relative position portion of each bolt is detected from the position of the entire cover. The image of the bolt is cut out, and it is detected and judged whether the color peculiar to the bolt (for example, the color of galvanized) is in the region within a predetermined range where the size of the head of the bolt is contained in the cut out image. Therefore, a method of determining whether or not there is a bolt at that position can also be adopted. If there are parts to attach the cover with bolts at the four corners and four places of the cover, if it is detected that there are bolts in that area and it is determined that there are bolts at all places, it is correct. Judge that the cover is attached and fixed.
更に、前記ボルトの取り付け順序が有る場合(例えば、カバーの右上、左下(右上の対角)、左上、右下(左上の対角)、の順に締めなければならない、という順序がある場合)には、工程2を細分化してもよい。例えば、ボルトを締める毎に、その順番に従って取り付けられるボルトの位置にボルトの像が増える代表画像を、予め用意しておき、撮像画像と、前記ボルトを締める順番に従った代表画像と、その順番通りにマッチングを行うことができる。そして、その順番通りに、画像が一致した場合、定められた順番通りに、ボルトが締められたと判断することができる。
Further, when the bolts are attached in the order of attachment (for example, the cover must be tightened in the order of upper right, lower left (diagonal to the upper right), upper left, and lower right (diagonal to the upper left)). May subdivide
(工程3)ケーブルの抜去
ケーブルの端部が、装置の所定の場所、端子に接続されている、すなわち、差し込まれている状態を撮影した代表画像とケーブルが無い状態を撮影した代表画像を用意する。そして、画像入力部104から取得した画像が、前記ケーブルの端部が差し込まれている画像から、ケーブルが無い画像に変化した場合、ケーブルが作業手順に従って抜かれた、と判断することができる。(Step 3) Removing the cable Prepare a representative image of the end of the cable connected to the specified location and terminal of the device, that is, the state of being plugged in, and the representative image of the state without the cable. do. Then, when the image acquired from the
または、抜去されたコネクタの装置側の画像を代表画像とし、画像入力部104から取得した画像と一致したことをもって、ケーブルが正しく抜かれた、と判断しても良い。
Alternatively, it may be determined that the cable has been correctly pulled out by using the image of the device side of the removed connector as a representative image and matching the image obtained from the
(工程4)スイッチの操作
スイッチ、トグルスイッチ等の操作部分が、スイッチのオン、オフ、に従い変化する場合や、スイッチのオンオフを行うと、スイッチの一部の色が変わる変化が有る場合、スイッチがオン状態の画像と、オフ状態の画像をそれぞれ代表画像として用意しておく。画像入力部104から取得した画像が、スイッチがオン状態の画像と一致した後、スイッチがオフの画像と一致した場合、スイッチが正しく操作された、と判断することができる。そして、一連の作業がスイッチをオフにすることで完了する場合、本工程をもって作業が完了したことを確認できる。(Step 4) Switch operation When the operation part of the switch, toggle switch, etc. changes according to the on / off of the switch, or when the color of a part of the switch changes when the switch is turned on / off, the switch is switched. Prepare an image in which is on and an image in which is off as representative images. If the image acquired from the
[第2の実施形態]
続いて、本発明の第2の実施形態について説明する。図11は、本発明の第2の実施形態のウェアラブル端末100bの構成を示す図である。図6に示した第1の実施形態のウェアラブル端末100との構成上の相違点は、記憶部110aに作業情報DB113が配置されている点である。[Second Embodiment]
Subsequently, a second embodiment of the present invention will be described. FIG. 11 is a diagram showing a configuration of a wearable terminal 100b according to a second embodiment of the present invention. The structural difference from the
具体的には、本実施形態のウェアラブル端末100bは、作業情報DB113を備えているため、ウェアラブル端末100b単体で、作業Noを特定することが可能となっている。また、ウェアラブル端末100bの工程画像DB111には、事前に、その作業者が行う作業に必要なデータが格納されている。そして、本実施形態のウェアラブル端末100bは、工程画像DB111から、前記特定した作業Noに対応するデータを読み出してセットする。以降の動作は、図10に示した第1の実施形態のステップS303以降と同一であるので、説明を省略する。
Specifically, since the wearable terminal 100b of the present embodiment includes the
以上のように、本実施形態によれば、ウェアラブル端末100b単体で、作業者の作業をチェックすることが可能となっており、特に、通信インフラが整っていない場所での作業を行うケースに好適に適用することができる。 As described above, according to the present embodiment, it is possible to check the work of the worker with the wearable terminal 100b alone, and it is particularly suitable for the case where the work is performed in a place where the communication infrastructure is not prepared. Can be applied to.
最後に、本発明のいくつかの変形実施形態について説明する。
[ウェアラブル端末]
上記したウェアラブル端末として、スマートグラスやヘッドセット端末と呼ばれる頭部装着型で、装着した者の視界に情報を表示できる端末を用いることができる。また、このようなウェアラブル端末において、作業者の網膜上で結像する光束を、対象者の目に直接照射して、網膜上に像を結像させ、対象者に、視野上の像(虚像)として認識させるタイプの機器を用いることもできる。Finally, some modified embodiments of the present invention will be described.
[Wearable device]
As the wearable terminal described above, a head-mounted terminal called a smart glass or a headset terminal that can display information in the field of view of the wearer can be used. Further, in such a wearable terminal, the light beam formed on the retina of the worker is directly irradiated to the eyes of the subject to form an image on the retina, and the image on the visual field (virtual image) is formed on the subject. ) Can also be used.
より望ましくは、これらスマートグラスやヘッドセット端末の内側に、装着した者の眼の動きをセンシングするセンサを取り付けることもできる。例えば、これらのセンサを備えたウェアラブル端末は、表示部107に映し出される像が見難いときに行われる作業者の目を細める動作を検出する。このような動作が行われたとき、これらのウェアラブル端末は、画像入力部104から得られる入力画像をズームし、表示部107にて、拡大表示する。なお、上記目を細める動作が行われているか否かは、上記センサから得られる反射光量が所定範囲内かつ所定時間以上継続したか否か等により判断することができる。また、上記センサの精度を向上させるためには、反射光を入力させるために眼球方向に補助光を照射することが望ましく、その照射光は不可視光(近赤外光が望ましい)で、かつ、その光強度は、眼球および網膜に影響の無い範囲であることが好ましい。
More preferably, a sensor that senses the movement of the wearer's eyes can be attached to the inside of these smart glasses or headset terminals. For example, a wearable terminal equipped with these sensors detects a worker's squinting action performed when the image projected on the display unit 107 is difficult to see. When such an operation is performed, these wearable terminals zoom the input image obtained from the
また、上記したウェアラブル端末等の端末において、装置の姿勢を検出する3軸加速度センサを内蔵し、重力方向を検出させることも好ましい。これにより、撮像方向や、対象物の画像範囲での大きさ、対象装置の傾き等の情報を得ることが可能となる。これにより、下記マッチングにおいて、画像の傾きの補正や、大きさの変更等の前処理を適切に行うことが可能となる。 It is also preferable that the terminal such as the wearable terminal described above has a built-in 3-axis acceleration sensor that detects the posture of the device to detect the direction of gravity. This makes it possible to obtain information such as the imaging direction, the size of the object in the image range, and the tilt of the target device. As a result, in the following matching, it is possible to appropriately perform preprocessing such as correction of image tilt and change of size.
[代表画像とのマッチング処理]
上記図10のステップS305、S309、S316で行われる、画像入力部104より取り込んだ画像と代表画像の一致判定処理の変形例について説明する。画像入力部104より取り込んだ画像と代表画像の一致判定は、画像の中の特徴点を抽出し、特徴点同士のマッチングを行う画像マッチング処理と呼ばれる方法を用いて行うことができる。[Matching process with representative image]
A modified example of the match determination process between the image captured from the
特定の作業の工程の確認においては、画像入力部104より取り込んだ画像と代表画像のマッチングがし易い様、画像入力部104より取り込んだ画像と代表画像とが、予め定めた角度や大きさで撮像されるように調整されていることが好ましい。例えば、代表画像として、作業者が着用するウェアラブル端末100と同一のウェアラブル端末のカメラにて撮影された画像を用いることが好ましい。また、代表画像は、他の工程でも検出出来る画像ではなく、その工程でのみ得られる画像であることが好ましい。
In confirming the process of a specific work, the image captured from the
また、画像入力部104より取り込んだ画像又は代表画像の少なくとも一方が傾いていたり、大きさが異なる場合、座標変換により傾きを補正したり、画像の大きさを変更する等してからマッチングすることが好ましい。特定の作業の工程の確認においては、回路基板の撮像画像を代表画像とすることができる。回路基板のマッチングにおいて、外形を認識して、一致検出を行っても良く、予め定めた形状や色(背景から浮かび上がらせる為、背景色と異なる色)にて、一致検出を行ってもよい。また、作業の対象となる対象物と代表画像の双方に、事前に、複数のマーカ(少なくとも3点。3点で、画像の位置と大きさと角度の検出が可能。更には、画像一致判断の為の、画像の大きさの調整と姿勢のアライメントが可能。)を付し、これらのマーカを特徴点として用いてマッチングを行っても良い。またマーカを使用する場合において、比較対象画像の背景との色の差による2値化を行い、各マーカの位置を抽出してマッチングを行ってもよい。さらには、これらのマーカにより、その位置(撮像面内での、X、Y方向、撮像方向に垂直な面内で、それぞれ垂直に交わる軸)、姿勢(角度θz、撮像面に垂直方向を中心にした回転方向)や大きさを抽出してマッチングを行っても良い。
If at least one of the image captured from the
また、上記マーカによる一致判定に加えて、基準位置からの各部位のパターンの一致度を算出し、この一致度を用いて最終的な同一性判断を行ってもよい。より具体的には、画像の、角度と大きさを合わせた後の、比較画像との差分、例えば、各画素毎の輝度を、輝度の平均が一致する様、画像全体で正規化後、所定以上の輝度差が有る部分の面積の差分により判断する手法を用いることができる。 Further, in addition to the matching determination by the above marker, the matching degree of the pattern of each part from the reference position may be calculated, and the final identity determination may be performed using this matching degree. More specifically, the difference between the image and the comparison image after matching the angle and size, for example, the brightness of each pixel is determined after normalizing the entire image so that the average brightness matches. It is possible to use a method of determining by the difference in the area of the portion having the above luminance difference.
なお、前記マッチング処理において、演算量を減らすため、所定の閾値(スレッショルド)で2値化した画像間でマッチングを行っても良い。また、前記マッチングにおいて、画像全体でなく、その一部を抽出してマッチングを行ってもよい。例えば、画像入力部104より取り込んだ画像の予め定めた割合の一部の画像が、代表画像と、所定度以上一致するかを判断するマッチング処理を行うことができる。この場合において、画像入力部104より取り込んだ画像の一部の領域を、所定の割合で移動させ、移動の都度、マッチング処理を行い、所定以上の一致度が得られるか否かにより、画像入力部104より取り込んだ画像内に代表画像が有るかを検出しても良い。
In the matching process, in order to reduce the amount of calculation, matching may be performed between images binarized with a predetermined threshold (threshold value). Further, in the matching, not only the whole image but a part thereof may be extracted and matched. For example, it is possible to perform a matching process for determining whether a part of the images captured from the
また、画像入力部104より取り込んだ画像から切り出す際に前記予め定めた割合を、等倍から所定倍率まで、所定間隔で変化させ、取得した画像中に、代表画像と一致する領域が有るか否かの判断を繰り返しても良い。これにより、画像の大きさが変化しても、画像の一致を検出することが可能となる。
Further, when cutting out from the image captured from the
また、画像の領域を移動する度に、所定角度画像を回転させ、その都度、マッチングを行う方法も採用可能である。360度回転させるまでの間に、所定以上の一致度が得られるか否かを確認することで、対象画像が回転していても、正しい判断が出来る様になる。 Further, it is also possible to adopt a method of rotating the image at a predetermined angle each time the area of the image is moved and performing matching each time. By confirming whether or not a predetermined degree of coincidence can be obtained before rotating the target image by 360 degrees, it becomes possible to make a correct judgment even if the target image is rotated.
[部品交換作業の際の作業者へのガイダンス]
また、作業が部品交換作業である場合、部品交換の画像が記憶されている部品の交換時、交換前の部品の画像を代表画像として、交換対象の部品の画像照合を行う場合がある。その際に、部品を交換する作業を撮影する過程で、他の物品等と重ならない画像が得られるような作業手順を定めておくことが好ましい。このような作業手順は、通知情報等により、作業者に案内することができる。[Guidance for workers during parts replacement work]
Further, when the work is a part replacement work, when the part in which the image of the part replacement is stored is replaced, the image of the part before the replacement may be used as a representative image to collate the image of the part to be replaced. At that time, it is preferable to establish a work procedure so that an image that does not overlap with other articles or the like can be obtained in the process of photographing the work of exchanging parts. Such a work procedure can be guided to the worker by means of notification information or the like.
また、前記作業手順において、撮像方向中心軸に対し垂直方向の軸(2軸)を中心とした傾きが所定角度以上とならない様に、交換対象の部品を把持することを指示することも好ましい。この様にすることで、新旧部品が画像中で重ならず、個々検出可能となる。さらに、この様にすることで、各部品の移動を追跡して、誤った取り付けが行われていないことを、画像で判断することが可能となる。上記の様にすることにより、2つの画像を比較する際、マッチング対象の画像の姿勢や大きさを合わせる前処理を省略することが可能となる。また、上記の様にすることにより、2つの画像に写る部品の姿勢が類似し、位置も大きく相違することがない為、マッチングの判定が容易になり、その精度を高めることが可能となる。 Further, in the work procedure, it is also preferable to instruct to grip the part to be replaced so that the inclination about the axis (2 axes) in the direction perpendicular to the central axis in the imaging direction does not exceed a predetermined angle. By doing so, the old and new parts do not overlap in the image and can be individually detected. Further, by doing so, it is possible to track the movement of each part and judge from the image that the wrong mounting has not been performed. By doing so, when comparing two images, it is possible to omit the preprocessing for matching the posture and size of the images to be matched. Further, by doing so as described above, since the postures of the parts shown in the two images are similar and the positions are not significantly different, the matching determination can be facilitated and the accuracy can be improved.
さらに、このような作業手順を取り決めておくことにより、取り外した部品を含む画像を比較的短時間の間隔(検出対象画像が大きく動かない程度の時間間隔で、画像を撮像する)で撮像することが可能となる。そして、対象部品の位置の変化を算出することにより、取り外した部品と交換部品を取り違えて、取り外した部品を再度取り付けてしまうことを検出できるようにもなる。 Furthermore, by arranging such a work procedure, images including the removed parts can be captured at relatively short intervals (images are captured at intervals such that the image to be detected does not move significantly). Is possible. Then, by calculating the change in the position of the target component, it becomes possible to detect that the removed component and the replacement component are mistaken for each other and the removed component is reattached.
また、取り外した部品を、再度取り付けた場合(画像では、取り外した部品の画像を追跡し、取り付け位置から所定距離以内に近付いた時で判断しても良い)、警告を通知することも好ましい。このような通知を行うことにより、部品等の交換がされていないという交換ミスを防ぐことが出来る。 It is also preferable to notify a warning when the removed part is reattached (in the image, the image of the removed part may be tracked and judged when the removed part is approached within a predetermined distance). By giving such a notification, it is possible to prevent a replacement error that the parts and the like have not been replaced.
以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。 Although each embodiment of the present invention has been described above, the present invention is not limited to the above-described embodiment, and further modifications, substitutions, and adjustments are made without departing from the basic technical idea of the present invention. Can be added. For example, the network configuration, the configuration of each element, and the expression form of the message shown in each drawing are examples for assisting the understanding of the present invention, and are not limited to the configurations shown in these drawings.
最後に、本発明の好ましい形態を要約する。
[第1の形態]
(上記第1の視点による作業支援装置参照)
[第2の形態]
上記した作業支援装置の前記記憶部は、前記作業者が担当する複数種の作業毎に、前記代表画像を対応付けて保持しており、
前記確認部は、
さらに、前記作業者から、開始する作業に関する情報の入力を受け付け、
前記作業者から入力された情報に基づいて、開始される作業を特定し、該特定した作業が所定の順序で実施されているか否かを確認する構成を採ることができる。
[第3の形態]
上記した作業支援装置の前記記憶部は、
前記代表画像に加えて、誤った作業が行われた場合の状況を表した誤り画像を記憶しており、
さらに、
前記確認部は、
前記入力された画像と、前記誤り画像とを照合して、誤った作業が行われたか否かを確認し、
前記通知部は、
前記確認部において誤った作業がなされたと判定した場合、前記作業者に対して誤りが発生したことを通知する構成を採ることができる。
[第4の形態]
上記した作業支援装置の前記記憶部は、
前記第1の工程から前記第2の工程に至る所要時間を、前記第1、第2の工程の代表画像を対応付けて保持し、
さらに、
前記確認部は、
前記第1の工程から前記第2の工程に至るまでの作業に、遅延が生じているか否かを確認し、
前記通知部は、前記作業者に対し、前記作業の遅延の有無を通知する構成を採ることができる。
[第5の形態]
上記した作業支援装置の前記記憶部は、
さらに、前記第2の工程の後に行われる第3の工程の代表画像を保持し、
前記確認部は、
前記第1の工程の後に、入力された画像が、前記第3の工程の代表画像と一致した場合、前記作業に順序誤りが発生したと判定し、
前記通知部は、前記作業者に対し、前記作業に順序誤りが発生していることを通知する構成を採ることができる。
[第6の形態]
上記した作業支援装置の前記記憶部は、
さらに、前記第2の工程の後に行われる工程の代表画像を保持し、
前記確認部は、
前記第1の工程の後に、入力された画像が、前記第2の工程の後に行われるべき工程の代表画像のいずれかと一致した場合、前記作業に順序誤りが発生したと判定し、
前記通知部は、前記作業者に対し、前記作業に順序誤りが発生していることを通知する構成を採ることができる。
[第7の形態]
上記した作業支援装置において、
前記作業者が作業を行っている過程における画像として、前記作業者が着用しているウェアラブル端末のカメラにて撮影された画像を用いることができる。
[第8の形態]
上記した作業支援装置において、
前記代表画像として、前記作業者が着用するウェアラブル端末と同一のウェアラブル端末のカメラにて撮影された画像を用いることができる。
[第9の形態]
上記した作業支援装置は、
前記作業者から、開始する作業に関する情報の入力を受け付ける作業支援装置(ウェアラブル端末)と、
前記作業者から入力された情報に基づいて、開始される作業を特定し、該特定した作業に対応するデータを作業支援装置(ウェアラブル端末)に提供するサーバとを含む構成にて実現することができる。
[第10の形態]
(上記第2の視点による作業支援方法参照)
[第11の形態]
(上記第3の視点によるプログラム参照)
なお、上記第10〜第11の形態は、第1の形態と同様に、第2〜第9の形態に展開することが可能である。Finally, a preferred embodiment of the present invention is summarized.
[First form]
(Refer to the work support device from the first viewpoint above)
[Second form]
The storage unit of the work support device described above associates and holds the representative image for each of a plurality of types of work that the worker is in charge of.
The confirmation part
Furthermore, it accepts input of information about the work to be started from the worker, and receives
Based on the information input from the worker, it is possible to specify the work to be started and to confirm whether or not the specified work is performed in a predetermined order.
[Third form]
The storage unit of the work support device described above is
In addition to the representative image, an erroneous image showing the situation when an erroneous work is performed is stored.
Moreover,
The confirmation part
By collating the input image with the erroneous image, it is confirmed whether or not erroneous work has been performed.
The notification unit
When the confirmation unit determines that an erroneous work has been performed, it is possible to adopt a configuration for notifying the worker that an erroneous work has occurred.
[Fourth form]
The storage unit of the work support device described above is
The time required from the first step to the second step is held in association with the representative images of the first and second steps.
Moreover,
The confirmation part
It is confirmed whether or not there is a delay in the work from the first step to the second step.
The notification unit may adopt a configuration for notifying the worker of the presence or absence of delay in the work.
[Fifth form]
The storage unit of the work support device described above is
Further, a representative image of the third step performed after the second step is retained.
The confirmation part
If the input image matches the representative image of the third step after the first step, it is determined that an order error has occurred in the work.
The notification unit may adopt a configuration for notifying the worker that an order error has occurred in the work.
[Sixth form]
The storage unit of the work support device described above is
Further, a representative image of the steps performed after the second step is retained.
The confirmation part
If the input image after the first step matches any of the representative images of the steps to be performed after the second step, it is determined that an order error has occurred in the work.
The notification unit may adopt a configuration for notifying the worker that an order error has occurred in the work.
[7th form]
In the above work support device
As an image in the process in which the worker is performing the work, an image taken by the camera of the wearable terminal worn by the worker can be used.
[8th form]
In the above work support device
As the representative image, an image taken by the camera of the same wearable terminal as the wearable terminal worn by the worker can be used.
[9th form]
The above-mentioned work support device is
A work support device (wearable terminal) that receives input of information about the work to be started from the worker, and
It is possible to specify the work to be started based on the information input from the worker and realize the configuration including a server that provides the data corresponding to the specified work to the work support device (wearable terminal). can.
[10th form]
(Refer to the work support method from the second viewpoint above)
[11th form]
(Refer to the program from the third viewpoint above)
The tenth to eleventh forms can be developed into the second to ninth forms in the same manner as the first form.
なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし選択(部分的削除を含む)が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。 Each disclosure of the above patent documents shall be incorporated into this document by citation. Within the framework of the entire disclosure (including the scope of claims) of the present invention, it is possible to change or adjust the embodiments or examples based on the basic technical idea thereof. Further, within the framework of the disclosure of the present invention, various combinations or selections (parts) of various disclosure elements (including each element of each claim, each element of each embodiment or embodiment, each element of each drawing, etc.) (Including target deletion) is possible. That is, it goes without saying that the present invention includes all disclosure including claims, and various modifications and modifications that can be made by those skilled in the art in accordance with the technical idea. In particular, with respect to the numerical range described in this document, it should be interpreted that any numerical value or small range included in the range is specifically described even if there is no other description.
10a 作業支援装置
11a 記憶部
12a 入力部
13a 確認部
14a 通知部
10b コンピュータ
11b メモリー
12b 入力手段
13b プロセッサ
14b 出力手段
100、100b ウェアラブル端末
100a 作業者
101 ネットワーク
102、202 制御部
103、203 通信部
104、204 画像入力部
105、205 音声入力部
106、206 入力部
107、207 表示部
108、208 音声出力部
109 計時部
110、110a、209 記憶部
111、211 工程画像データベース(工程画像DB)
112 プログラム
113、210 作業情報データベース(作業情報DB)
200 サーバ10a
112
200 servers
Claims (9)
作業者が作業を行っている過程における画像を入力する入力部と、
前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する確認部と、
前記作業者に対し、前記確認の結果を通知する通知部と、
を備え、
前記記憶部は、
前記代表画像に加えて、誤った作業が行われた場合の状況を表した誤り画像を記憶しており、
さらに、
前記確認部は、
前記入力された画像と、前記誤り画像とを照合して、誤った作業が行われたか否かを確認し、
前記通知部は、
前記確認部において誤った作業がなされたと判定した場合、前記作業者に対して、誤りが発生したことを通知する作業支援装置。 Representative image for each step representing the work including at least the first step and the second step performed after the first step, and the work performed in the first step and the second step, respectively. A storage unit that holds the image in association with
An input unit for inputting images in the process of the worker's work,
A confirmation unit that collates the input image with the representative image and confirms whether or not the work is performed in a predetermined order.
A notification unit that notifies the worker of the result of the confirmation,
Equipped with a,
The storage unit
In addition to the representative image, an erroneous image showing the situation when an erroneous work is performed is stored.
Moreover,
The confirmation part
By collating the input image with the erroneous image, it is confirmed whether or not erroneous work has been performed.
The notification unit
A work support device that notifies the worker that an error has occurred when the confirmation unit determines that an erroneous work has been performed.
前記確認部は、
さらに、前記作業者から、開始する作業に関する情報の入力を受け付け、
前記作業者から入力された情報に基づいて、開始される作業を特定し、該特定した作業が所定の順序で実施されているか否かを確認する請求項1の作業支援装置。 The storage unit holds the representative image in association with each other for each of a plurality of types of work that the worker is in charge of.
The confirmation part
Furthermore, it accepts input of information about the work to be started from the worker, and receives
The work support device according to claim 1, which identifies the work to be started based on the information input from the worker, and confirms whether or not the specified work is performed in a predetermined order.
前記第1の工程から前記第2の工程に至る所要時間を、前記第1、第2の工程の代表画像を対応付けて保持し、
さらに、
前記確認部は、
前記第1の工程から前記第2の工程に至るまでの作業に、遅延が生じているか否かを確認し、
前記通知部は、前記作業者に対し、前記作業の遅延の有無を通知する、
請求項1または2の作業支援装置。 The storage unit
The time required from the first step to the second step is held in association with the representative images of the first and second steps.
Moreover,
The confirmation part
It is confirmed whether or not there is a delay in the work from the first step to the second step.
The notification unit notifies the worker of the presence or absence of delay in the work.
The work support device according to claim 1 or 2.
前記確認部は、
前記第1の工程の後に、入力された画像が、前記第3の工程の代表画像と一致した場合、前記作業に順序誤りが発生したと判定し、
前記通知部は、前記作業者に対し、前記作業に順序誤りが発生していることを通知する、
請求項1から3いずれか一の作業支援装置。 The storage unit further holds a representative image of the third step performed after the second step.
The confirmation part
If the input image matches the representative image of the third step after the first step, it is determined that an order error has occurred in the work.
The notification unit notifies the worker that an order error has occurred in the work.
The work support device according to any one of claims 1 to 3.
前記確認部は、
前記第1の工程の後に、入力された画像が、前記第2の工程の後に行われるべき工程の代表画像のいずれかと一致した場合、前記作業に順序誤りが発生したと判定し、
前記通知部は、前記作業者に対し、前記作業に順序誤りが発生していることを通知する、
請求項1から3いずれか一の作業支援装置。 The storage unit further holds a representative image of a step performed after the second step.
The confirmation part
If the input image after the first step matches any of the representative images of the steps to be performed after the second step, it is determined that an order error has occurred in the work.
The notification unit notifies the worker that an order error has occurred in the work.
The work support device according to any one of claims 1 to 3.
作業者が作業を行っている過程における画像を入力するステップと、
前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認するステップと、
前記入力された画像と、前記誤り画像とを照合して、誤った作業が行われたか否かを確認するステップと、
前記作業者に対し、前記確認の結果を通知するステップと、
前記作業者に対し、誤った作業がなされたと判定した場合、前記作業者に対して、誤りが発生したことを通知するステップと、
を含む作業支援方法。 A representative image for each step representing the work including at least the first step and the second step performed after the first step, the work performed in the first and second steps, and the representative image. In addition, a computer that has access to a means of associating and holding an erroneous image showing the situation in the event of erroneous work
Steps to input images in the process of the worker's work,
A step of collating the input image with the representative image to confirm whether or not the work is performed in a predetermined order.
A step of collating the input image with the erroneous image to confirm whether or not erroneous work has been performed, and
The step of notifying the worker of the result of the confirmation and
When it is determined that the erroneous work has been performed to the worker, the step of notifying the worker that the erroneous work has occurred and the step.
Work support methods including.
作業者が作業を行っている過程における画像を入力する処理と、
前記入力された画像と、前記代表画像とを照合して、前記作業が所定の順序で実施されているか否かを確認する処理と、
前記入力された画像と、前記誤り画像とを照合して、誤った作業が行われたか否かを確認する処理と、
前記作業者に対し、前記確認の結果を通知する処理と、
前記作業者に対し、誤った作業がなされたと判定した場合、前記作業者に対して、誤りが発生したことを通知する処理と、
を実行させるプログラム。 A representative image for each step representing the work including at least the first step and the second step performed after the first step, the work performed in the first and second steps, and the representative image. In addition, to a computer that has access to a means of associating and holding an erroneous image showing the situation in the event of erroneous work.
The process of inputting an image in the process of the worker's work,
A process of collating the input image with the representative image to confirm whether or not the work is performed in a predetermined order.
A process of collating the input image with the erroneous image to confirm whether or not an erroneous work has been performed.
The process of notifying the worker of the result of the confirmation and
When it is determined that an erroneous work has been performed on the worker, a process of notifying the worker that an error has occurred and a process of notifying the worker that an erroneous work has occurred.
A program that executes.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021110677A JP7156731B2 (en) | 2017-10-30 | 2021-07-02 | Work support device, work support method and program |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017209179 | 2017-10-30 | ||
JP2017209179 | 2017-10-30 | ||
PCT/JP2018/039376 WO2019087870A1 (en) | 2017-10-30 | 2018-10-23 | Work assistance device, work assistance method, and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021110677A Division JP7156731B2 (en) | 2017-10-30 | 2021-07-02 | Work support device, work support method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019087870A1 JPWO2019087870A1 (en) | 2020-12-03 |
JP6912150B2 true JP6912150B2 (en) | 2021-07-28 |
Family
ID=66331946
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019551164A Active JP6912150B2 (en) | 2017-10-30 | 2018-10-23 | Work support equipment, work support methods and programs |
JP2021110677A Active JP7156731B2 (en) | 2017-10-30 | 2021-07-02 | Work support device, work support method and program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021110677A Active JP7156731B2 (en) | 2017-10-30 | 2021-07-02 | Work support device, work support method and program |
Country Status (3)
Country | Link |
---|---|
JP (2) | JP6912150B2 (en) |
CN (1) | CN111328402A (en) |
WO (1) | WO2019087870A1 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7329392B2 (en) * | 2019-08-30 | 2023-08-18 | Hoya株式会社 | Endoscope reprocess support device, endoscope reprocess support method and program |
JP7015503B2 (en) * | 2019-12-18 | 2022-02-03 | Arithmer株式会社 | Lending object management system, lending object management program and lending object management method. |
JP7471878B2 (en) * | 2020-03-18 | 2024-04-22 | 東芝テック株式会社 | Image Processing Device |
JP7433126B2 (en) | 2020-04-21 | 2024-02-19 | 三菱電機株式会社 | Image display system, image display device, server, image display method and program |
WO2022037281A1 (en) * | 2020-08-19 | 2022-02-24 | 广西电网有限责任公司贺州供电局 | Real-time substation field operation monitoring and alarm system based on machine vision |
KR102315865B1 (en) * | 2020-12-21 | 2021-10-21 | 쿠팡 주식회사 | Electronic apparatus for managing working information and method thereof |
JP7415912B2 (en) * | 2020-12-23 | 2024-01-17 | 横河電機株式会社 | Apparatus, system, method and program |
US20220358671A1 (en) * | 2021-05-07 | 2022-11-10 | Tencent America LLC | Methods of estimating pose graph and transformation matrix between cameras by recognizing markers on the ground in panorama images |
JPWO2023176030A1 (en) * | 2022-03-18 | 2023-09-21 | ||
JP7406038B1 (en) * | 2023-09-19 | 2023-12-26 | 株式会社日立パワーソリューションズ | Work support system and work support method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06162034A (en) * | 1992-11-20 | 1994-06-10 | Kumahira Safe Co Inc | Working hour managing device |
JP3156220B2 (en) * | 1996-01-17 | 2001-04-16 | 明光産業株式会社 | Gas container bottom inspection device |
JP4784752B2 (en) * | 2006-06-30 | 2011-10-05 | サクサ株式会社 | Image processing device |
JP2009279193A (en) * | 2008-05-22 | 2009-12-03 | Fujifilm Corp | Medical apparatus management system |
JP6113631B2 (en) * | 2013-11-18 | 2017-04-12 | 東芝三菱電機産業システム株式会社 | Work confirmation system |
JP6399437B2 (en) * | 2014-06-04 | 2018-10-03 | パナソニックIpマネジメント株式会社 | Control device and work management system using the same |
JP6451133B2 (en) * | 2014-08-01 | 2019-01-16 | 株式会社リコー | Anomaly detection device, anomaly detection method, anomaly detection system, and program |
-
2018
- 2018-10-23 WO PCT/JP2018/039376 patent/WO2019087870A1/en active Application Filing
- 2018-10-23 CN CN201880070359.2A patent/CN111328402A/en active Pending
- 2018-10-23 JP JP2019551164A patent/JP6912150B2/en active Active
-
2021
- 2021-07-02 JP JP2021110677A patent/JP7156731B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN111328402A (en) | 2020-06-23 |
JPWO2019087870A1 (en) | 2020-12-03 |
JP2021152979A (en) | 2021-09-30 |
WO2019087870A1 (en) | 2019-05-09 |
JP7156731B2 (en) | 2022-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6912150B2 (en) | Work support equipment, work support methods and programs | |
CN106340217B (en) | Manufacturing equipment intelligence system and its implementation based on augmented reality | |
US20130010068A1 (en) | Augmented reality system | |
JP2005250990A (en) | Operation support apparatus | |
US20210224752A1 (en) | Work support system and work support method | |
JP2017191490A (en) | Skill transmission system and method | |
JP2015196231A (en) | Screw fastening device | |
JP2008235504A (en) | Assembly inspection device | |
JP7114885B2 (en) | Worksite monitoring devices and programs | |
US7377650B2 (en) | Projection of synthetic information | |
CN111049687B (en) | Equipment maintenance video operation guide file processing method and device and AR terminal | |
JP2015061339A (en) | Wire connection work support system | |
JP6270488B2 (en) | Operator monitoring control device and operator monitoring control method | |
WO2023100743A1 (en) | Work assistance system, work subject identification device, and method | |
JP7265667B2 (en) | Work support system and work support method | |
CN112949457A (en) | Maintenance method, device and system based on augmented reality technology | |
JP6803794B2 (en) | Image processing equipment and manufacturing system | |
US10133900B2 (en) | Controlling the output of contextual information using a computing device | |
KR102597228B1 (en) | System for guiding information anc checking mobile facility based on artificial intelligence | |
KR102603276B1 (en) | Device, method and program for assisting supevision based on XR | |
JP7191560B2 (en) | content creation system | |
JP2020197971A (en) | Intrusion detection device, program, and intrusion detection system | |
CN207259864U (en) | The massaging device of fiber web machine | |
CN111462341A (en) | Augmented reality construction assisting method, device, terminal and medium | |
JP7094759B2 (en) | System, information processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6912150 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |