JP6198990B2 - Work instruction system - Google Patents
Work instruction system Download PDFInfo
- Publication number
- JP6198990B2 JP6198990B2 JP2017507039A JP2017507039A JP6198990B2 JP 6198990 B2 JP6198990 B2 JP 6198990B2 JP 2017507039 A JP2017507039 A JP 2017507039A JP 2017507039 A JP2017507039 A JP 2017507039A JP 6198990 B2 JP6198990 B2 JP 6198990B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- data
- unit
- instruction
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 129
- 230000010365 information processing Effects 0.000 claims description 45
- 238000003384 imaging method Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 33
- 238000013500 data storage Methods 0.000 claims description 28
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241000872198 Serjania polyphylla Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
- B23P21/00—Machines for assembling a multiplicity of different parts to compose units, with or without preceding or subsequent working of such parts, e.g. with programme control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- General Factory Administration (AREA)
- Automatic Assembly (AREA)
Description
本発明は、作業者に対して作業内容を指示する作業指示システムに関する。 The present invention relates to a work instruction system for instructing a worker about work contents.
従来、作業員に作業内容を指示する際には、作業内容を印刷した紙媒体を配布する方法か、デジタル屋台のモニタに作業内容を表示する方法が用いられていた。デジタル屋台とは、作業台にモニタを敷設し、動画又は静止画で作業内容を教えるeラーニングと、電動ドライバ及び可動式の部品棚といった生産設備とを融合したシステムである。 Conventionally, when instructing a worker about work content, a method of distributing a paper medium on which the work content is printed or a method of displaying the work content on a monitor of a digital stand has been used. A digital stall is a system in which a monitor is laid on a workbench, e-learning that teaches the work content with a moving image or a still image, and production equipment such as an electric driver and a movable parts shelf.
特許文献1には、検知順序とは異なる順序で検知対象が検知されると異常と判定して報知命令を出力する作業検知システムが開示されている。 Patent Document 1 discloses a work detection system that determines that an abnormality is detected and outputs a notification command when a detection target is detected in an order different from the detection order.
しかしながら、紙媒体又はデジタル屋台を用いる方法では、紙媒体又はモニタを確認するために、加工対象から顔を背ける必要があるため、効率的に作業を行いにくい。また、従来の作業検知システムは、単色光を順次投影するだけであり、作業指示の情報量が不足している。 However, in the method using a paper medium or a digital stall, it is necessary to turn away from the object to be processed in order to check the paper medium or the monitor. Also, the conventional work detection system only projects monochromatic light sequentially, and the amount of work instruction information is insufficient.
本発明は、上記に鑑みてなされたものであって、作業内容の確認ために加工対象から顔を背ける必要のない作業指示システムを得ることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to obtain a work instruction system that does not need to turn away from the object to be processed in order to confirm the work content.
上述した課題を解決し、目的を達成するために、本発明は、載置手段の上に載置された加工対象の距離画像を撮像する撮像装置を備える。また、本発明は、作業工程ごとの作業指示データを記憶するデータ記憶部と、撮像装置が撮像した距離画像を基に、加工対象の形状及び位置を算出する映像データ処理部と、作業指示データと加工対象の形状及び位置とに基づいて、投影内容を生成するデータ処理部と、データ処理部が決定した投影内容を画像化して作業内容指示画像を生成する表示生成部とを有する情報処理装置を備える。また、本発明は、作業内容指示画像を、加工対象を中心にして載置手段に投影する投影装置を備える。 In order to solve the above-described problems and achieve the object, the present invention includes an imaging device that captures a distance image of a processing target placed on a placement unit. The present invention also includes a data storage unit that stores work instruction data for each work process, a video data processing unit that calculates a shape and a position of a processing target based on a distance image captured by an imaging device, and work instruction data Information processing apparatus including a data processing unit that generates projection content based on the shape and position of the processing target, and a display generation unit that generates an operation content instruction image by imaging the projection content determined by the data processing unit Is provided. In addition, the present invention includes a projection device that projects the work content instruction image onto the placing means with the processing object as the center.
本発明にかかる作業指示システムは、作業内容の確認のために加工対象から顔を背ける必要がないという効果を奏する。 The work instruction system according to the present invention has an effect that it is not necessary to turn away from the processing target in order to confirm the work content.
以下に、本発明の実施の形態にかかる作業指示システムを図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。 Hereinafter, a work instruction system according to an embodiment of the present invention will be described in detail with reference to the drawings. Note that the present invention is not limited to the embodiments.
実施の形態1.
図1は、本発明の実施の形態1にかかる作業指示システムの構成を示す図である。作業指示システム200は、加工対象105を載置する載置手段である加工台101に載置された加工対象105の距離画像を撮像する撮像装置103と、撮像装置103が撮像した距離画像に基づいて、作業内容指示画像を生成する情報処理装置100と、情報処理装置100が生成した作業内容指示画像を、加工対象105を中心にして加工台101に投影する投影装置104とを有する。撮像装置103には、距離画像センサを適用できる。投影装置104には、プロジェクタを適用できる。なお、以下の説明では、載置手段が加工台101である構成を例にするが、加工対象105を載置しつつ搬送する装置が載置手段であってもよい。加工対象105を載置しつつ搬送する装置の具体例には、コンベアを挙げることができる。Embodiment 1 FIG.
FIG. 1 is a diagram illustrating a configuration of a work instruction system according to the first embodiment of the present invention. The
図2は、実施の形態1にかかる作業指示システムの情報処理装置の構成を示す図である。情報処理装置100は、撮像装置103から距離画像を受信する撮像装置接続インタフェース14と、撮像装置接続インタフェース14が撮像装置103から受信した距離画像から加工対象105の形状及び位置を算出する映像データ処理部16と、作業指示内容のデータを記憶するデータ記憶部17と、映像データ処理部16が算出した加工対象105の形状及び位置と、データ記憶部17に記憶された情報とを基に投影内容を生成するデータ処理部15と、データ処理部15が生成した投影内容を基に作業内容指示画像を生成する表示生成部20と、作業内容指示画像を投影装置104に出力する投影装置接続インタフェース12とを有する。
FIG. 2 is a diagram illustrating a configuration of the information processing apparatus of the work instruction system according to the first embodiment. The
図3は、実施の形態1にかかる作業指示システムの情報処理装置のハードウェア構成を示す図である。情報処理装置100は、プログラムを実行する演算装置21と、演算装置21がワークエリアに用いるメモリ22と、撮像装置103及び投影装置104との通信用の通信装置23と、ソフトウェア及びデータを記憶する記憶装置24とを備える。情報処理装置100には、汎用のコンピュータ端末のみならず、モニタレスのプログラマブル表示器を適用することも可能である。演算装置21には、中央演算装置(Central Processing Unit, CPU)を適用できる。メモリ22には、RAM(Random Access Memory)を適用できる。記憶装置24には、フラッシュメモリを適用できる。
FIG. 3 is a diagram illustrating a hardware configuration of the information processing apparatus of the work instruction system according to the first embodiment. The
図2に示した映像データ処理部16、データ処理部15及び表示生成部20は、記憶装置24に記憶されたソフトウェアを演算装置21がメモリ22をワークエリアにして実行することによって実現される。データ記憶部17は、記憶装置24によって実現される。投影装置接続インタフェース12及び撮像装置接続インタフェース14は、メモリ22をワークエリアにして記憶装置24に記憶されたソフトウェアを実行した演算装置21が通信装置23を用いることによって実現される。また、複数の演算装置及び複数のメモリが連携して上記機能を実行してもよい。
The video
図4は、実施の形態1にかかる作業指示システムの動作の流れを示すフローチャートである。ステップS101で、映像データ処理部16は、撮像装置接続インタフェース14を通じて撮像装置103から加工対象105の距離画像を取得する。
FIG. 4 is a flowchart of an operation flow of the work instruction system according to the first embodiment. In step S <b> 101, the video
ステップS102で、映像データ処理部16は、ステップS101で取得した距離画像から加工対象105の形状及び位置を算出する。
In step S102, the video
ステップS103で、データ処理部15は、データ記憶部17から作業指示内容のデータを読み出し、加工対象の形状及び位置に応じて投影内容を生成する。ここでの投影内容とは、加工対象105を中心とする加工台101上の領域のどの部分にどのような作業指示を表示するかである。
In step S103, the
ステップS104で、表示生成部20は、ステップS103でデータ処理部15が生成した投影内容を画像化して作業内容指示画像を生成する。
In step S104, the
ステップS105で、表示生成部20は、投影装置接続インタフェース12経由で作業内容指示画像を投影装置104に出力し、投影装置104から作業対象105を中心にして加工台101に作業内容指示画像を投影する。
In step S <b> 105, the
図5は、実施の形態1にかかる作業指示システムによる作業内容指示画像の表示の一例を示す図である。加工対象105のねじ孔に配置されたねじ51に隣接して、ねじ51の位置を示すリング52と、「工具Aでねじを締める」という作業内容を表す文章53と、ねじを締める方向を表す矢印54とが表示されている。また、加工対象105のコネクタ55に隣接して、「矢印の方向からケーブルを差し込む」という作業内容を表す文章56と、ケーブルを差し込む方向を表す矢印57とが表示されている。
FIG. 5 is a diagram illustrating an example of a work content instruction image displayed by the work instruction system according to the first embodiment. Adjacent to the
上記の処理を定期的に行うことにより、作業中に加工対象105の位置又は姿勢に変化が生じた場合でも、加工対象105の位置又は姿勢の変化に追随して作業指示を行うことができる。
By periodically performing the above processing, even when a change in the position or orientation of the
実施の形態1において、作業内容指示画像は、加工対象105を中心にして加工台101の上に表示される。したがって、作業員は、加工対象105から視線を外すことなく、現在行うべき作業の内容を把握することができ、効率的に作業を行うことができる。よって、作業員が作業指示を確認することなく作業を行うことは発生しにくくなり、ヒューマンエラーは生じにくくなる。
In the first embodiment, the work content instruction image is displayed on the processing table 101 with the
なお、実施の形態1にかかる作業指示システムは、撮像装置接続インタフェース14を通じて撮像装置103から入力される画像データを、データ記憶部17に記憶させることもできる。撮像装置103から入力される画像データを蓄積することにより、作業の所要時間を蓄積した画像データを基に算出できる。したがって、撮像装置103から入力される画像データを蓄積することにより、作業工程の順序を変えたりして作業の効率化を図ることができる。作業工程ごとに作業時間を取得するにあたって、作業員とは別に計測員を配置する必要がないため、作業時間を取得するコストを抑えることができる。また、加工対象105を中心にして作業内容指示画像を投影することにより、搬送手段にコンベアを用いる場合でも、加工対象105の動きに追従して、作業内容の指示が必要な箇所に指示内容を表示することができる。
The work instruction system according to the first embodiment can also store the image data input from the
実施の形態2.
図6は、本発明の実施の形態2にかかる作業指示システムの構成を示す図である。実施の形態2にかかる作業指示システム210は、加工対象105に対する作業に用いられる電動工具106と、電動工具106の動作時間を監視し、監視結果を情報処理装置110へ出力する制御装置102を有する。
FIG. 6 is a diagram showing a configuration of a work instruction system according to the second embodiment of the present invention. The
図7は、実施の形態2にかかる作業指示システムの情報処理装置の構成を示す図である。情報処理装置110は、制御装置102から電動工具106の動作時間の監視結果を受信する制御装置接続インタフェース13を有する点で実施の形態1の情報処理装置100と相違する。なお、情報処理装置110は、作業工程ごとの電動工具106の動作時間の基準値をデータ記憶部17に記憶している。また、データ処理部15は、映像データ処理部16が算出した加工対象105の形状及び位置と、制御装置接続インタフェース13が取得した情報と、データ記憶部17に記憶された情報とを基に投影内容を生成する。すなわち、データ処理部15は、制御装置102から取得した電動工具106の動作時間が基準値を下回る場合には、作業が不完全であることを警告するメッセージを含む投影内容を生成する。
FIG. 7 is a diagram illustrating a configuration of the information processing apparatus of the work instruction system according to the second embodiment. The
図7に示した制御装置接続インタフェース13は、ソフトウェアを実行した演算装置21が通信装置23を用いることによって実現される。また、複数の演算装置及び複数のメモリが連携して上記機能を実行してもよい。
The control
実施の形態2にかかる作業指示システムによれば、電動工具106の動作時間を反映した作業指示画面を加工台101に加工対象105を中心にして投影できる。したがって、電動工具106の動作時間がデータ記憶部17に記憶されている基準値を下回り、作業が不完全となっている懸念がある場合に、作業を完全に行うように作業員に警告を発することができる。具体例を挙げると、電動工具106が電動ドライバである場合に、ねじの締め付け不足が懸念される時には、締め付け不足を警告するメッセージを表示することで、増し締めを促して、組立不良の発生を低減できる。
According to the work instruction system according to the second embodiment, a work instruction screen reflecting the operation time of the
実施の形態3.
図8は、本発明の実施の形態3にかかる作業指示システムの情報処理装置の構成を示す図である。実施の形態3にかかる作業指示システムの情報処理装置120は、作業パス解析部18を有する点で、実施の形態1の作業指示システム200の情報処理装置100と相違している。また、データ記憶部17には、作業工程ごとに固有作業パスのデータが格納されている。ここでの作業パスには、作業者の手の位置及び動線を例に挙げることができる。固有作業パスは、現在の作業工程が完了したか否かを判断するための条件となる作業パスである。Embodiment 3 FIG.
FIG. 8 is a diagram illustrating the configuration of the information processing apparatus of the work instruction system according to the third embodiment of the present invention. The
また、実施の形態3にかかる作業指示システムの情報処理装置120では、映像データ処理部16は、加工対象105の位置及び形状に加え、作業員の手の位置を取得する。
In the
実施の形態3にかかる作業指示システムの情報処理装置120のハードウェア構成は、実施の形態1の情報処理装置100と同様である。したがって、作業パス解析部18は、記憶装置24に記憶されたソフトウェアを、メモリ22をワークエリアにして演算装置21が実行することによって実現される。
The hardware configuration of the
実施の形態3にかかる作業指示システムでは、作業パス解析部18は、映像データ処理部16が取得した距離画像を時系列的に並べることで、作業員の手の位置及び動線を算出する。
In the work instruction system according to the third embodiment, the work
図9は、実施の形態3にかかる作業指示システムの作業内容指示画像の切替処理の流れを示すフローチャートである。ステップS201で、作業パス解析部18は、撮像装置接続インタフェース14を通じて取得した距離画像の画像データから作業パスを取得する。
FIG. 9 is a flowchart of a switching process of the work content instruction image of the work instruction system according to the third embodiment. In step S <b> 201, the work
ステップS202で、作業パス解析部18は、ステップS201で取得した作業パスが固有作業パスに該当するかを判断する。ステップS201で取得した作業パスが固有作業パスに該当しなければ、ステップS202でNoとなり、作業内容指示画像の切替処理を終了する。ステップS201で取得した作業パスが固有作業パスに該当するならば、ステップS202でYesとなり、ステップS203に進む。
In step S202, the work
ステップS203で、データ処理部15は、次の作業工程に移行する。すなわち、投影内容を生成する際にデータ記憶部17から読み出す作業指示内容を、次の作業工程のものに変更する。次の作業工程へ移行したのち、作業内容指示画像の切替処理を終了する。
In step S203, the
作業内容指示画像の切替処理の終了後には、図4に示した処理が行われて作業内容指示画像が作成及び投影される。 After completion of the work content instruction image switching process, the process shown in FIG. 4 is performed to create and project the work content instruction image.
実施の形態3にかかる作業指示システムは、撮像装置103が撮像した画像を基づいて、作業パスが固有作業パスに該当する場合には、作業指示内容を次の作業工程のものに変更できる。従って、作業員は、作業指示内容を切り替えるために紙媒体をめくったり、スイッチを操作したりする必要がなくなり、作業効率を向上させることができる。また、作業工程ごとに作業パスを取得するにあたって、作業員とは別に計測員を配置する必要がないため、作業パスを取得するコストを抑えることができる。
The work instruction system according to the third embodiment can change the work instruction content to the next work process when the work path corresponds to the unique work path based on the image captured by the
実施の形態4.
図10は、本発明の実施の形態4にかかる作業指示システムの情報処理装置の構成を示す図である。本発明の実施の形態4にかかる作業指示システムの情報処理装置130は、画像を非表示とするマスクのマスクデータを作成するマスクデータ作成部19を有する点で実施の形態1の情報処理装置100と相違する。また、映像データ処理部16は、加工対象105の位置及び形状に加え、作業員の手の位置及び形状を取得する。また、表示生成部20は、マスクデータと重なる部分が黒色になるように作業内容指示画像を生成する。この他については、実施の形態1と同様である。Embodiment 4 FIG.
FIG. 10 is a diagram showing the configuration of the information processing apparatus of the work instruction system according to the fourth embodiment of the present invention. The
図11は、実施の形態4にかかる作業指示システムの動作の流れを示すフローチャートである。ステップS301で、映像データ処理部16は、撮像装置接続インタフェース14を通じて撮像装置103から加工対象105の距離画像を取得する。
FIG. 11 is a flowchart of an operation flow of the work instruction system according to the fourth embodiment. In step S <b> 301, the video
ステップS302で、映像データ処理部16は、ステップS301で取得した距離画像から加工対象105の形状及び位置及び作業員の手の形状及び位置を算出する。
In step S302, the video
ステップS303で、マスクデータ作成部19は、作業員の手の形状に合わせたマスクデータを作成する。
In step S303, the mask
ステップS304で、データ処理部15は、データ記憶部17から作業指示内容のデータを読み出し、作業者の形状及び位置に応じて投影内容を生成する。なお、ステップS303とステップS304とは、逆の順序で行っても良いし、並列に処理を行っても良い。
In step S304, the
ステップS305で、表示生成部20は、ステップS304でデータ処理部15が生成した投影内容を画像化して作業内容指示画像を生成する。この際表示生成部20は、マスクデータ作成部19が作成したマスクデータに基づき、作業員の手がある部分を黒色にして作業内容指示画像を生成する。
In step S305, the
ステップS306で、表示生成部20は、作業内容指示画像を投影装置接続インタフェース12を通じて投影装置104に出力し、作業内容指示画像を投影する。
In step S306, the
図12は、実施の形態4にかかる作業指示システムによる作業内容指示画像の一例を示す図である。マスクデータ作成部19によって作成されたマスク61と、マスク処理前の作業内容指示画像62とを重ね合わせ、マスク61とマスク処理前の作業内容指示画像62とが重なる部分を黒色にすることで、作業内容指示画像63が生成される。したがって、作業内容指示画像63は、作業者の手と重なる部分がマスクされて黒色になっている。よって、投影装置104から作業内容指示画像63を投影しても、作業者の手の上には画像光が当たらない。これにより、作業員の手の上に作業内容指示画像が重畳表示されることがないため、視認性を向上させることができる。
FIG. 12 is a diagram illustrating an example of a work content instruction image by the work instruction system according to the fourth embodiment. By superimposing the
実施の形態5.
本発明の実施の形態5にかかる作業指示システムの情報処理装置は、データ記憶部17に加工対象105の型データが記憶されている点で実施の形態1と相違する。この他については、実施の形態1と同様である。Embodiment 5. FIG.
The information processing apparatus of the work instruction system according to the fifth embodiment of the present invention is different from the first embodiment in that the mold data of the
実施の形態5にかかる作業指示システムのデータ処理部15は、型データに基づいて、加工対象105の切断位置を示す投影内容を生成する。実施の形態5にかかる作業指示システムは、加工対象105がシート状、例えば布類である場合の切断作業の工程において、切断する位置を加工対象105に重畳表示できる。したがって、加工対象105に形状を転写する工程を削減し、作業工数を減らすことができる。
The
以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。 The configuration described in the above embodiment shows an example of the contents of the present invention, and can be combined with another known technique, and can be combined with other configurations without departing from the gist of the present invention. It is also possible to omit or change the part.
12 投影装置接続インタフェース、13 制御装置接続インタフェース、14 撮像装置接続インタフェース、15 データ処理部、16 映像データ処理部、17 データ記憶部、18 作業パス解析部、19 マスクデータ作成部、20 表示生成部、21 演算装置、22 メモリ、23 通信装置、24 記憶装置、100,110,120,130 情報処理装置、101 加工台、102 制御装置、103 撮像装置、104 投影装置、105 加工対象、106 電動工具、200,210 作業指示システム。
12 Projection Device Connection Interface, 13 Control Device Connection Interface, 14 Imaging Device Connection Interface, 15 Data Processing Unit, 16 Video Data Processing Unit, 17 Data Storage Unit, 18 Work Path Analysis Unit, 19 Mask Data Creation Unit, 20 Display Generation Unit , 21 Computing device, 22 Memory, 23 Communication device, 24 Storage device, 100, 110, 120, 130 Information processing device, 101 Processing table, 102 Control device, 103 Imaging device, 104 Projection device, 105 Processing object, 106
Claims (13)
作業工程ごとの作業指示データを記憶するデータ記憶部と、前記撮像装置が撮像した最新の距離画像を基に、前記加工対象の形状及び位置を算出する映像データ処理部と、前記作業指示データと前記加工対象の形状及び位置とに基づいて、投影内容を生成するデータ処理部と、前記データ処理部が生成した投影内容を画像化して作業内容指示画像を生成する表示生成部とを有する情報処理装置と、
前記作業内容指示画像を、前記加工対象を中心にして前記載置手段に投影する投影装置とを備え、
前記情報処理装置は、作業員の手の位置及び動線によって示される作業パスを算出する作業パス解析部を有し、
前記データ記憶部には、現在の作業工程が完了したか否かの判断の条件である固有作業パスが記憶されており、
前記映像データ処理部は、前記距離画像から作業員の手の位置を取得し、
前記作業パス解析部は、前記距離画像を時系列的に並べることによって前記作業員の手の位置及び動線を算出することを特徴とする作業指示システム。 An imaging device that periodically captures a distance image of the processing target placed on the placing means;
A data storage unit that stores work instruction data for each work process, a video data processing unit that calculates the shape and position of the processing object based on the latest distance image captured by the imaging device, and the work instruction data Information processing having a data processing unit that generates projection content based on the shape and position of the processing target, and a display generation unit that generates an operation content instruction image by imaging the projection content generated by the data processing unit Equipment,
A projection device for projecting the work content instruction image onto the above-mentioned placing means centering on the processing object;
The information processing apparatus includes a work path analysis unit that calculates a work path indicated by the position and flow line of a worker's hand,
The data storage unit stores a unique work path that is a condition for determining whether or not the current work process is completed,
The video data processing unit obtains the position of a worker's hand from the distance image,
The working path analysis part, work instruction system that is characterized by calculating the position and the flow line of the hand of the operator by arranging the distance image in time series.
作業工程ごとの作業指示データを記憶するデータ記憶部と、前記撮像装置が撮像した最新の距離画像を基に、前記加工対象の形状及び位置を算出する映像データ処理部と、前記作業指示データと前記加工対象の形状及び位置とに基づいて、投影内容を生成するデータ処理部と、前記データ処理部が生成した投影内容を画像化して作業内容指示画像を生成する表示生成部とを有する情報処理装置と、
前記作業内容指示画像を、前記加工対象を中心にして前記載置手段に投影する投影装置とを備え、
前記情報処理装置は、作業員の手の形状及び位置に基づいて画像を非表示とするマスクのマスクデータを作成するマスクデータ作成部を有し、
前記表示生成部は、前記マスクと重なる部分を黒色にして前記作業内容指示画像を生成することを特徴とする作業指示システム。 An imaging device that periodically captures a distance image of the processing target placed on the placing means;
A data storage unit that stores work instruction data for each work process, a video data processing unit that calculates the shape and position of the processing object based on the latest distance image captured by the imaging device, and the work instruction data Information processing having a data processing unit that generates projection content based on the shape and position of the processing target, and a display generation unit that generates an operation content instruction image by imaging the projection content generated by the data processing unit Equipment,
A projection device for projecting the work content instruction image onto the above-mentioned placing means centering on the processing object;
The information processing apparatus has a mask data creation unit that creates mask data of a mask that hides an image based on the shape and position of a worker's hand,
The display generation unit may work instruction system that is characterized in that to generate the work instruction image and a portion overlapping with the mask to black.
前記電動工具を制御する制御装置とを有し、
前記情報処理装置は、
前記電動工具の動作時間の基準値を前記データ記憶部に記憶し、前記制御装置から取得した前記電動工具の動作時間が前記基準値を下回る場合には、前記データ処理部は、作業が不完全であることを警告するメッセージを含む前記投影内容を生成することを特徴とする請求項1から3のいずれか1項に記載の作業指示システム。 An electric tool used for the processing work to be processed;
A control device for controlling the power tool,
The information processing apparatus includes:
The reference value of the operation time of the electric tool is stored in the data storage unit, and when the operation time of the electric tool acquired from the control device is less than the reference value, the data processing unit is incomplete The work instruction system according to any one of claims 1 to 3 , wherein the projection content including a message that warns of the occurrence of the projection is generated.
作業工程ごとの作業指示データを記憶するデータ記憶部と、前記撮像装置が撮像した最新の距離画像を基に、前記加工対象の形状及び位置を算出する映像データ処理部と、前記作業指示データと前記加工対象の形状及び位置とに基づいて、投影内容を生成するデータ処理部と、前記データ処理部が生成した投影内容を画像化して作業内容指示画像を生成する表示生成部とを有する情報処理装置と、 A data storage unit that stores work instruction data for each work process, a video data processing unit that calculates the shape and position of the processing object based on the latest distance image captured by the imaging device, and the work instruction data Information processing having a data processing unit that generates projection content based on the shape and position of the processing target, and a display generation unit that generates an operation content instruction image by imaging the projection content generated by the data processing unit Equipment,
前記作業内容指示画像を、前記加工対象を中心にして前記載置手段に投影する投影装置と、 A projection device for projecting the work content instruction image onto the placement unit with the processing object as a center;
前記加工対象の加工作業に用いられる電動工具と、 An electric tool used for the processing work to be processed;
前記電動工具を制御する制御装置とを有し、 A control device for controlling the power tool,
前記情報処理装置は、 The information processing apparatus includes:
前記電動工具の動作時間の基準値を前記データ記憶部に記憶し、前記制御装置から取得した前記電動工具の動作時間が前記基準値を下回る場合には、前記データ処理部は、作業が不完全であることを警告するメッセージを含む前記投影内容を生成することを特徴とする作業指示システム。 The reference value of the operation time of the electric tool is stored in the data storage unit, and when the operation time of the electric tool acquired from the control device is less than the reference value, the data processing unit is incomplete A work instruction system that generates the projection content including a message that warns that it is.
作業工程ごとの作業指示データを記憶するデータ記憶部と、前記撮像装置が撮像した距離画像を基に、前記加工対象の形状及び位置を算出する映像データ処理部と、前記作業指示データと前記加工対象の形状及び位置とに基づいて、投影内容を生成するデータ処理部と、前記データ処理部が生成した投影内容を画像化して作業内容指示画像を生成する表示生成部とを有する情報処理装置と、
前記作業内容指示画像を、前記加工対象を中心にして前記載置手段に投影する投影装置とを備え、
前記情報処理装置は、作業員の手の位置及び動線によって示される作業パスを算出する作業パス解析部とを有し、
前記データ記憶部には、現在の作業工程が完了したか否かの判断の条件である固有作業パスが記憶されており、
前記映像データ処理部は、前記距離画像から作業員の手の位置を取得し、
前記作業パス解析部は、前記距離画像を時系列的に並べることによって前記作業員の手の位置及び動線を算出することを特徴とする作業指示システム。 An imaging device that captures a distance image of a processing target placed on the placing means;
A data storage unit that stores work instruction data for each work process, a video data processing unit that calculates the shape and position of the processing object based on a distance image captured by the imaging device, the work instruction data, and the processing An information processing apparatus having a data processing unit that generates projection content based on the shape and position of a target, and a display generation unit that generates an operation content instruction image by imaging the projection content generated by the data processing unit ,
The work instruction image, and a projection device for projecting said placing means prior to about the processing target,
The information processing apparatus includes a work path analysis unit that calculates a work path indicated by the position and flow line of a worker's hand,
The data storage unit stores a unique work path that is a condition for determining whether or not the current work process is completed,
The video data processing unit obtains the position of a worker's hand from the distance image,
The work path analysis unit calculates the position and flow line of the worker's hand by arranging the distance images in time series.
前記表示生成部は、前記マスクと重なる部分を黒色にして前記作業内容指示画像を生成することを特徴とする請求項6又は7に記載の作業指示システム。 The information processing apparatus has a mask data creation unit that creates mask data of a mask that hides an image based on the shape and position of a worker's hand,
The display generation unit, the operation instructing system according to claim 6 or 7, characterized in that to generate the work instruction image and a portion overlapping with the mask to black.
作業工程ごとの作業指示データを記憶するデータ記憶部と、前記撮像装置が撮像した距離画像を基に、前記加工対象の形状及び位置を算出する映像データ処理部と、前記作業指示データと前記加工対象の形状及び位置とに基づいて、投影内容を生成するデータ処理部と、前記データ処理部が生成した投影内容を画像化して作業内容指示画像を生成する表示生成部とを有する情報処理装置と、
前記作業内容指示画像を、前記加工対象を中心にして前記載置手段に投影する投影装置とを有し、
前記情報処理装置は、作業員の手の形状及び位置に基づいて画像を非表示とするマスクのマスクデータを作成するマスクデータ作成部を有し、
前記表示生成部は、前記マスクと重なる部分を黒色にして前記作業内容指示画像を生成することを特徴とする作業指示システム。 An imaging device that captures a distance image of a processing target placed on the placing means;
A data storage unit that stores work instruction data for each work process, a video data processing unit that calculates the shape and position of the processing object based on a distance image captured by the imaging device, the work instruction data, and the processing An information processing apparatus having a data processing unit that generates projection content based on the shape and position of a target, and a display generation unit that generates an operation content instruction image by imaging the projection content generated by the data processing unit ,
A projection device for projecting the work content instruction image onto the placement unit with the processing object as a center;
The information processing apparatus has a mask data creation unit that creates mask data of a mask that hides an image based on the shape and position of a worker's hand,
The work generation system, wherein the display generation unit generates the work content instruction image by making a portion overlapping the mask black.
前記電動工具を制御する制御装置とを有し、
前記情報処理装置は、
前記電動工具の動作時間の基準値を前記データ記憶部に記憶し、前記制御装置から取得した前記電動工具の動作時間が前記基準値を下回る場合には、前記データ処理部は、作業が不完全であることを警告するメッセージを含む前記投影内容を生成することを特徴とする請求項6から9のいずれか1項に記載の作業指示システム。 An electric tool used for the processing work to be processed;
A control device for controlling the power tool,
The information processing apparatus includes:
The reference value of the operation time of the electric tool is stored in the data storage unit, and when the operation time of the electric tool acquired from the control device is less than the reference value, the data processing unit is incomplete The work instruction system according to any one of claims 6 to 9 , wherein the projection content including a message warning that the projection is included is generated.
作業工程ごとの作業指示データを記憶するデータ記憶部と、前記撮像装置が撮像した最新の距離画像を基に、前記加工対象の形状及び位置を算出する映像データ処理部と、前記作業指示データと前記加工対象の形状及び位置とに基づいて、投影内容を生成するデータ処理部と、前記データ処理部が生成した投影内容を画像化して作業内容指示画像を生成する表示生成部とを有する情報処理装置と、
前記作業内容指示画像を、前記加工対象を中心にして前記載置手段に投影する投影装置と、
前記加工対象の加工作業に用いられる電動工具と、
前記電動工具を制御する制御装置とを有し、
前記情報処理装置は、
前記電動工具の動作時間の基準値を前記データ記憶部に記憶し、前記制御装置から取得した前記電動工具の動作時間が前記基準値を下回る場合には、前記データ処理部は、作業が不完全であることを警告するメッセージを含む前記投影内容を生成することを特徴とする作業指示システム。 An imaging device that captures a distance image of a processing target placed on the placing means;
A data storage unit that stores work instruction data for each work process, a video data processing unit that calculates the shape and position of the processing object based on the latest distance image captured by the imaging device, and the work instruction data Information processing having a data processing unit that generates projection content based on the shape and position of the processing target, and a display generation unit that generates an operation content instruction image by imaging the projection content generated by the data processing unit Equipment,
A projection device for projecting the work content instruction image onto the placement unit with the processing object as a center;
An electric tool used for the processing work to be processed;
A control device for controlling the power tool,
The information processing apparatus includes:
The reference value of the operation time of the electric tool is stored in the data storage unit, and when the operation time of the electric tool acquired from the control device is less than the reference value, the data processing unit is incomplete A work instruction system that generates the projection content including a message that warns that it is.
前記データ処理部は、前記型データに基づいて、前記加工対象の切断位置を示す投影内容を生成することを特徴とする請求項1から11のいずれか1項に記載の作業指示システム。 The data storage unit stores the mold data to be processed,
The work instruction system according to any one of claims 1 to 11 , wherein the data processing unit generates a projection content indicating a cutting position of the processing target based on the mold data.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/060396 WO2016157484A1 (en) | 2015-04-01 | 2015-04-01 | Operation instruction system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016157484A1 JPWO2016157484A1 (en) | 2017-06-08 |
JP6198990B2 true JP6198990B2 (en) | 2017-09-20 |
Family
ID=57004021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017507039A Active JP6198990B2 (en) | 2015-04-01 | 2015-04-01 | Work instruction system |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6198990B2 (en) |
CN (1) | CN107407930A (en) |
WO (1) | WO2016157484A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021100388A1 (en) | 2019-11-22 | 2021-05-27 | オムロン株式会社 | Work instruction system and work instruction method |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019064398A1 (en) * | 2017-09-27 | 2019-04-04 | 三菱重工機械システム株式会社 | Device and method for analyzing setup time in paper processing machine |
CN111372698A (en) * | 2017-11-02 | 2020-07-03 | 川崎重工业株式会社 | Work support system and work support method |
JP7470578B2 (en) | 2020-06-19 | 2024-04-18 | 株式会社Subaru | Work Support System |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04259803A (en) * | 1991-02-15 | 1992-09-16 | Nissan Motor Co Ltd | Working operation measuring instrument |
JPH0790503B2 (en) * | 1993-05-18 | 1995-10-04 | 北川工業株式会社 | Cutting device |
JP4135332B2 (en) * | 2001-04-18 | 2008-08-20 | 松下電工株式会社 | Work analysis system |
JP4305431B2 (en) * | 2005-09-06 | 2009-07-29 | ソニー株式会社 | Image processing apparatus, mask creation method and program |
JP2007115134A (en) * | 2005-10-21 | 2007-05-10 | Sharp Corp | Operation record collection system |
JP4766269B2 (en) * | 2007-03-06 | 2011-09-07 | 株式会社安川電機 | Object detection method, object detection apparatus, and robot equipped with the same |
JP2009037392A (en) * | 2007-08-01 | 2009-02-19 | Olympus Corp | Operation support system |
JP3140252U (en) * | 2007-11-20 | 2008-03-21 | 光峰科技股▲ふん▼有限公司 | Projection device for eye protection |
JP5525202B2 (en) * | 2009-07-30 | 2014-06-18 | 株式会社構造計画研究所 | Motion analysis apparatus, motion analysis method, and motion analysis program |
JP2012208439A (en) * | 2011-03-30 | 2012-10-25 | Sony Corp | Projection device, projection method and projection program |
JP5382262B1 (en) * | 2012-02-06 | 2014-01-08 | 新日鐵住金株式会社 | Refining work support device, refining work support method, and refining work support system |
JP2014035635A (en) * | 2012-08-08 | 2014-02-24 | Utsunomiya Univ | Object management system |
JP6287293B2 (en) * | 2014-02-07 | 2018-03-07 | セイコーエプソン株式会社 | Display system, display device, and display method |
-
2015
- 2015-04-01 CN CN201580078160.0A patent/CN107407930A/en active Pending
- 2015-04-01 WO PCT/JP2015/060396 patent/WO2016157484A1/en active Application Filing
- 2015-04-01 JP JP2017507039A patent/JP6198990B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021100388A1 (en) | 2019-11-22 | 2021-05-27 | オムロン株式会社 | Work instruction system and work instruction method |
KR20220054666A (en) | 2019-11-22 | 2022-05-03 | 오므론 가부시키가이샤 | Work order system and work order method |
Also Published As
Publication number | Publication date |
---|---|
CN107407930A (en) | 2017-11-28 |
JPWO2016157484A1 (en) | 2017-06-08 |
WO2016157484A1 (en) | 2016-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3022524B1 (en) | Inspection system for inspecting an object and inspection method for same | |
JP6198990B2 (en) | Work instruction system | |
JP2019038075A (en) | Robot system | |
JP2012234524A5 (en) | Handheld devices used to troubleshoot malfunctions in multifunction devices | |
JP2009037392A (en) | Operation support system | |
JP6207764B2 (en) | Work support system, work support device, and work support method | |
JP2013132736A (en) | Work management device and work management system | |
JP2016038716A (en) | Work supervisory device, work supervisory system and program | |
JP2018180875A (en) | Determination device, determination method and determination program | |
JP2011073876A (en) | Picking operation detection system, picking operation detection method and picking operation detection program | |
JP2017140681A (en) | Management device and management system | |
JP2014115939A5 (en) | ||
JP2008059322A (en) | Work management system | |
JP2014065060A (en) | Supporting system, and method therefor | |
JP2011251395A (en) | Robot teaching system | |
JP2012048510A (en) | Operation inspection system | |
JP5755387B1 (en) | Display, display method, display program | |
JP6589541B2 (en) | Tightening support system and tightening support method | |
JP2006319526A5 (en) | ||
JP6220514B2 (en) | Robot control system and robot control method | |
JP7292344B2 (en) | Welding system, welding method and program | |
EP3984680A1 (en) | Repair welding system | |
JP2019012321A (en) | Information processing device, process time calculation method and process time calculation program | |
JP2019168304A (en) | Method and device | |
WO2016056293A1 (en) | Article-disposition assistance device and article-disposition assistance method for disposing article on surface plate of welding robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170207 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170207 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20170207 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170508 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6198990 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |