JP2008225704A - 作業評価装置、作業評価方法、および、制御プログラム - Google Patents
作業評価装置、作業評価方法、および、制御プログラム Download PDFInfo
- Publication number
- JP2008225704A JP2008225704A JP2007061050A JP2007061050A JP2008225704A JP 2008225704 A JP2008225704 A JP 2008225704A JP 2007061050 A JP2007061050 A JP 2007061050A JP 2007061050 A JP2007061050 A JP 2007061050A JP 2008225704 A JP2008225704 A JP 2008225704A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- worker
- work
- image data
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 149
- 238000004364 calculation method Methods 0.000 claims abstract description 84
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 230000033001 locomotion Effects 0.000 claims description 300
- 238000004519 manufacturing process Methods 0.000 claims description 45
- 230000008859 change Effects 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 10
- 230000006872 improvement Effects 0.000 abstract description 54
- 239000002699 waste material Substances 0.000 description 116
- 238000000034 method Methods 0.000 description 55
- 230000008569 process Effects 0.000 description 29
- 238000012545 processing Methods 0.000 description 24
- 238000000605 extraction Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000012854 evaluation process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- General Factory Administration (AREA)
Abstract
【課題】繰り返し精度の低い作業の評価を行う際に改善担当者の負担を軽減すること可能な作業評価装置を実現する。
【解決手段】本発明の作業評価装置1は、撮像装置2が撮像する動画データに含まれる、評価対象フレームと該評価対象フレームより一定時間前に得られた比較対象フレームとを比較し、上記評価対象フレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出部13と、上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するムダ判定部15とを備えている。
【選択図】図1
【解決手段】本発明の作業評価装置1は、撮像装置2が撮像する動画データに含まれる、評価対象フレームと該評価対象フレームより一定時間前に得られた比較対象フレームとを比較し、上記評価対象フレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出部13と、上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するムダ判定部15とを備えている。
【選択図】図1
Description
本発明は、生産性の向上を図る生産性向上活動を支援するシステムに関するものであり、特に、作業者の手作業による生産作業の評価を行う作業評価装置、作業評価方法、および、制御プログラムに関するものである。
工場などの生産現場において、生産性の向上を図るために、生産作業者の動作を分析・評価し、問題点(ムリ・ムダ・ムラ)を見つけて改善していく生産性向上活動が実施されている。
上記生産性向上活動は、一般に、製造ラインや製造セルを改善担当者が目視観察したり、ビデオカメラなどで常時撮影し改善担当者が撮影した画像をチェックしたりして、作業分析、評価、および、問題点の抽出を行うことから始まる。従来、このような生産性向上活動を支援する技術は多数存在する。
例えば、特許文献1には、撮影動画から実測した作業時間と、作業の種類ごとに定義された付加価値係数を該作業時間に乗算した値を用いて作業(のムダ)を評価する装置付加価値率評価システムが開示されている。
しかしながら、作業現場または作業を撮影した動画を目視確認して作業時間を実測するなどの作業は、依然、改善担当者に大きな負担強いることとなっていた。
改善担当者にかかるこのような負担を軽減するために、同じような動作が繰り返し行われる(繰り返し精度の高い)手元の作業を自動で分析し、改善点を特定することが行われている。具体的には、作業者によって同じような動作が繰り返されることによって現われるパターンを記憶し、パターンと違う動きをしたところにムダな動き(問題点)があると捉える技術が挙げられる。
また、特許文献2には、作業者の動きを検出するトラッキングデータから、タクト単位作業を抽出し、特徴ベクトルを導出して、該作業者の作業の問題点を判定する作業動作解析装置が開示されている。これにより、改善担当者は、定量的な作業分析結果に基づいて改善ポイントを効率よく特定することが可能となる。
特開2003−122424公報(2003年4月25日公開)
特開2006−209468公報(2006年8月10日公開)
しかしながら、上記従来の技術では、繰り返し精度の低い作業の評価に適用することは困難であるという問題を生じる。
具体的には、特許文献2の技術では、装置を使用して行われる一連の作業を評価の対象としている。すなわち、動作がある程度パターン化できる(繰り返し精度の高い)作業を評価対象としている。パターン化可能なタクト単位作業の特徴ベクトルを導出することにより作業の評価ができる構成であるので、繰り返し精度の低い作業の評価には適用できないという問題がある。繰り返し精度の低い作業とは、動作をパターン化できない生産作業、例えば、作業者の完全手作業、特に、ライン生産で複数のワークに同じ作業を繰り返すのではなく、セル生産で作業者が一つのワークに対して行う一連の手作業などを示す。
さらに、特許文献2の構成では、上記トラッキングデータを得るために、センサなどの測定装置を作業者に装着する必要があり、それらを装着することにより作業性が低下するという問題がある。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、繰り返し精度の低い作業の評価を行う際に改善担当者の負担を軽減する作業評価装置、作業評価方法、および、制御プログラムを実現することにある。
本発明の作業評価装置は、上記課題を解決するために、撮像装置が生産現場の作業者を撮影して得た動画データを用いて、該作業者が行った作業を評価する作業評価装置において、上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出手段と、上記動作量算出手段によって上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定手段とを備えていることを特徴としている。
上記構成によれば、動作量算出手段は、動画データに含まれる評価対象のフレームを、該評価対象のフレームより一定時間前(例えばNフレーム前)に得られた比較対象のフレームと比較し、評価対象のフレームにおいて作業者が写っている領域である作業者領域が、比較対象のフレームの作業者領域から変化した度合いに基づいて動作量を算出する。動作量とは、作業者にかかる負荷を定量化した値であり、上記作業者領域の前後のフレームでの変化が大きいほど、動作量も大きくなる。
続いて、フレーム特定手段は、上記動作量算出手段によって上記動画データのフレームごとに算出された動作量を参照し、所定の基準に従って動作量が大きいと判定したフレームを、ムダな動作を行う作業者が写っているフレームとして特定する。
フレーム特定手段によって特定されたフレームは、作業者の動作量が大きいシーンを写しているフレームであり、作業者に大きな負荷がかかる作業が行われていると考えられる。そして、負荷が大きいということは、作業者が行っている作業の中にムダな動作が潜んでいる可能性が高いということを示している。
つまり、作業評価装置によって特定された、動作量が大きいシーンを写すフレーム群を重点的に確認することで、改善担当者は、作業のムダを写すシーンを効率よく発見し、改善ポイントを容易に見つけることが可能となる。
以上のことから、改善担当者は、動作量が大きいと判定された(ムダな動作が行われている)シーンのみを確認するだけで、問題点を把握することが可能となるので、すべての作業を目視確認する必要がなくなり、改善担当者の負担を軽減することが可能となる。特に、動作量の大きさの観点から問題のシーンを抽出するだけであるので、繰り返し精度の低い作業の評価を行う際にも適用でき、改善担当者の負担を大幅に軽減することが可能となる。
さらに、上記フレーム特定手段は、フレームごとに算出された動作量を閾値と比較し、閾値を越える動作量のフレームを特定してもよい。
上記構成によれば、フレーム特定手段は、フレームごとに各動作量と上記閾値とを比較して、閾値を越える動作量を持つフレームを、動作量の大きいフレームとして特定する。
これにより、閾値を用いて、作業のムダを写すシーンを効率よく抽出し、改善担当者が確認することができる。
なお、上記閾値は、あらかじめ定められていてもよいし、改善担当者が、特定されたフレームの結果を見て適切な閾値を調節したり、過去の経験・知識から適切な閾値を選択したりして設定されてもよい。
あるいは、上記フレーム特定手段は、所定時間分のフレームを上記動画データから動作量の大きい順に特定してもよい。
上記構成によれば、フレーム特定手段は、所定時間(例えば、10分など)分に相当する枚数のフレームを、上記動画データから、動作量の大きい順に特定する。
動作量が大きいものから順に、所定枚数分特定されたフレームは、動作量の大きいフレームであると考えることができる。
これにより、改善担当者は、抽出する作業のムダのシーンの長さを指定することができる。
例えば、改善担当者が、その工程の作業時間をあと10分短縮したいと望んでいるとすると、上記所定時間を10分と定めればよい。また、改善担当者が、問題点を見つける作業に対して、10分の時間しか費やせないといった事情がある場合にも適用できる。改善担当者は、フレームの抽出時間を指定して、動作量の大きいシーンから優先的にチェックすることができるので、効率よく生産性向上活動を行うことができる。
上記作業評価装置は、さらに、上記フレーム特定手段が特定したフレームのみを上記動画データから抽出して表示部に表示する作業評価結果出力手段を備えていることが好ましい。
これにより、作業評価結果出力手段は、動作量が大きいと判定されたフレームのみを動画データから抽出して表示部に表示することができる。
改善担当者は、ムダな動作が潜んでいる可能性の高いシーンだけを容易に確認でき、結果として、改善担当者の負担を軽減することが可能となる。
上記動作量算出手段は、上記評価対象のフレームおよび上記比較対象のフレームの各作業者領域上に複数定められたポイントを検出し、上記評価対象のフレームのポイントを終点とし、該ポイントと対応する上記比較対象のフレームのポイントを始点とするベクトルの大きさを求め、ポイントごとに求めたベクトルの大きさの和を動作量として算出することを特徴としている。
上記構成によれば、作業者の動作が大きく変化するほど動作量が大きくなる。したがって、動きが大きい作業シーンをムダな作業シーンとして抽出することができる。
上記作業評価装置は、さらに、上記評価対象のフレームから、作業者によって運搬される運搬物を検出する運搬物検出手段を備え、上記動作量算出手段は、運搬物に対応付けて重量を記憶する重量情報記憶部から、上記運搬物検出手段によって検出された運搬物の重量を取得し、上記評価対象のフレームにおける上記作業者領域の変化の度合いとともに、上記運搬物の重量にも基づいて動作量を算出してもよい。
上記構成によれば、運搬物検出手段は、評価対象のフレームに写っている運搬物を検出し、重量情報記憶部を参照して、当該運搬物の重量を求める。
続いて、上記動作量算出手段は、上述した方法で求めた作業者領域の変化の度合いとともに、上記運搬物の重量も考慮して動作量を算出する。
これにより、作業者が感じる負担の程度をより忠実に反映した動作量を算出することが可能となり、より高い精度で動作に係るムダな作業シーンを抽出することが可能となる。
上記作業評価装置は、さらに、上記評価対象のフレームを上記比較対象のフレームと比較し、該比較対象のフレームから該評価対象のフレームまでの間の作業者の移動距離を移動量として算出する移動量算出手段を備え、上記フレーム特定手段は、上記移動量算出手段によって上記動画データのフレームごとに算出された移動量に基づいて、所定の基準に従って移動量が大きなフレームを、ムダに移動する作業者が写っているフレームとして特定することが好ましい。
上記構成によれば、移動量算出手段は、各フレームの作業者領域の位置の変化から作業者の移動距離を算出し、単位時間あたりの移動距離を移動量として算出する。例えば、1フレームあたりに作業者の重心が何ピクセル移動したか、などを移動量とすることが挙げられる。
これにより、大きく移動したか否かによって、作業のムダのシーンを把握することが可能となる。さらに、動作のムダのシーンとして特定されたフレームのうち、それがムダな移動に起因するものであるか否かを判断し、ムダな作業についてより詳細な分析を行うことができる。
本発明の作業評価方法は、上記課題を解決するために、撮像装置が生産現場の作業者を撮影して得た動画データを用いて、該作業者が行った作業を評価する作業評価装置における作業評価方法であって、上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出ステップと、上記動作量算出ステップにて上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定ステップとを含むことを特徴としている。
上記方法によれば、動作量に基づいて、繰り返し精度に関係なく動作のムダが含まれている可能性の高いシーンを自動で特定することできるので、改善担当者は、効率よく問題点を把握することができる。したがって、繰り返し精度の低い作業の評価を行う際に改善担当者の負担を軽減することが可能となる。
なお、上記作業評価装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記作業評価装置をコンピュータにて実現させる作業評価装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明の作業評価装置は、以上のように、上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出手段と、上記動作量算出手段によって上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定手段とを備えていることを特徴としている。
本発明の作業評価方法は、以上のように、上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出ステップと、上記動作量算出ステップにて上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定ステップとを含むことを特徴としている。
したがって、繰り返し精度の低い作業の評価を行う際に改善担当者の負担を軽減することができるという効果を奏する。
本発明の一実施形態について図面に基づいて説明すると以下の通りである。本実施形態では、一例として、大型(例えば、人の身長程度の大きさ)機械1台を、一人または複数の作業者がセル生産で組み立てる場合の作業を評価する作業評価装置について説明する。
〔生産管理システムの概略構成〕
まず、本実施形態に係る作業評価装置1が適用される、大型機械の生産管理システム100について、図2に基づいて説明する。図2は、本発明の実施形態に係る生産管理システム100の概略構成を示す図である。
まず、本実施形態に係る作業評価装置1が適用される、大型機械の生産管理システム100について、図2に基づいて説明する。図2は、本発明の実施形態に係る生産管理システム100の概略構成を示す図である。
図2に示す例では、生産管理システム100は、ワークWを動かすことなく1ヶ所で作業者Uの複数の工程における手作業により製品を組み立てるための生産セルと、該生産セルを撮影し、作業者の動作を捉えた動画データDを取得する撮像装置2と、撮像装置2が取得した動画データDを格納する動画データデータベース(DB)3と、動画データDB3から取得した動画データDを処理して作業者Uの作業を評価する作業評価装置1とを備えた構成となっている。
この作業評価装置1は、例えば一般的なPC(Personal Computer)によって構成される。この場合、作業評価装置1は、作業評価装置1に対する各種入力に要する表示や処理結果などの表示が行われる表示装置(後述する表示部41)、および、利用者からの入力を受け付ける入力装置(後述する操作部42)を備えている。表示装置としては、情報の表示が可能な表示装置であればどのような装置でもよく、例えばCRT(Cathode Ray Tube)、液晶表示装置などが挙げられる。また、入力装置としては、利用者からの情報の入力が可能な入力装置であればどのような装置でもよく、例えばマウス、キーボードなどが挙げられる。
作業評価装置1が処理する動画データDは、静止画である複数のフレームFからなっており、各々のフレームFは動画データDに関連付けて動画データDB3に記憶される。
図3は、動画データDB3に記憶される動画データのデータ構造の一例を示す図である。上述したとおり、動画データDに関連付けて、各フレームFが記憶される。フレームの各々にはフレーム番号が付与されているので、動画IDと、フレーム番号とによって、フレーム(静止画)が一意に特定される。この他に、動画データDに関連付けて、撮影開始日時、作業現場、ワークの型式、フレームレートなどの情報が格納されていてもよい。
本実施形態では、撮像装置2を生産セルの上方中央に設置して、作業者Uの頭上から撮影を行い、生産セル全体を真上から捉えたフレームF(図2)を取得するものとする。
なお、撮像装置2の設置位置は、特に限定されず、生産セルを真横から捉える構成としてもよい。
また、生産管理システム100に、生産セルが複数含まれていてもよく、必要に応じて撮像装置2を複数設置しても構わない。この場合、動画データDB3には、どの生産セルの動画データであるのかが分かるように、動画データと生産セルの情報とが紐付けされて記憶される。
撮像装置2と動画データDB3、および、動画データDB3と作業評価装置1とは、通信網を介して通信可能に接続されている。より具体的には、作業評価装置1および撮像装置2は、図示しない通信手段(有線通信、赤外線通信、Bluetooth(登録商標)、および無線LAN(Local Area Network)など)を用いて、動画データDB3にアクセスし、動画データDの書き込み、読み出しを行っている。
あるいは、生産管理システム100において、作業評価装置1が動画データDB3を備え、撮像装置2が直接作業評価装置1に動画データDを送信する構成としてもよい。
〔作業評価装置の機能構成〕
次に、作業評価装置1の機能構成について、図1に示すブロック図を参照しながら説明する。図1は、本発明の実施形態に係る作業評価装置1の要部構成を示す図である。
次に、作業評価装置1の機能構成について、図1に示すブロック図を参照しながら説明する。図1は、本発明の実施形態に係る作業評価装置1の要部構成を示す図である。
図1に示すように、作業評価装置1は、制御部10、記憶部30、表示部41、および、操作部42を備えた構成となっている。
制御部10は、作業評価装置1が備える各部の各種動作を制御するものであり、機能ブロックとしての作業者領域抽出部11、動作量算出部13、作業者追跡処理部12、移動量算出部14、ムダ判定部15、判定結果出力部16、および、閾値設定部17を備えた構成となっている。さらに、運搬物検出部18を備えていてもよい。
記憶部30は、制御部10が実行する制御プログラム、OSプログラム、および、制御部10が作業を評価するための各処理を実行するときに読み出す各種データを記録するものであり、ハードディスクなどの不揮発性の記憶装置によって構成されるものである。記憶部30に記録される上記各種データとしては、算出結果記憶部31、判定結果記憶部32、閾値記憶部33の各記憶部に記録されるデータが挙げられる。さらに、重量情報記憶部34が含まれていてもよい。これらのデータ構造の具体例や詳細については後述する。
上記機能ブロックとして示される各部は、CPU(central processing unit)としての制御部10が、ROM(read only memory)等の記憶装置としての記憶部30に記憶されているプログラムを不図示のRAM(random access memory)等に読み出して実行することで実現できる。
作業者領域抽出部11は、動画データDのフレームF(静止画データ)から、作業者Uを示す作業者領域を抽出するものである。本実施形態では、具体的には、静止画データをマトリックス状に区分し、作業者Uを示す領域を含むマスを作業者領域として特定する。図4に示す例では、フレームF1において、作業者Uを含むマスの集合A1を作業者領域として抽出する。なお、一つの生産セルに複数人の作業者がいる場合には、作業者ごとに作業者領域を抽出することができる。
作業者領域抽出部11の抽出処理の結果は、作業者追跡処理部12および動作量算出部13に伝達される。
なお、作業者領域抽出部11が行う作業者領域抽出処理において、作業者Uを示す領域を検出する方法としては、公知の技術を用いることが可能である。例えば、背景差分法では、あらかじめ用意しておいた背景画像と処理対象画像(各フレームF)との差分をとることで、非背景物体(作業者U)を検出する。
さらに、背景差分法のみでは、部品箱や工具などが生産セル内に置かれた場合に、それを作業者領域として誤認識してしまうおそれがある。そこで、道具や箱などの非背景物体の領域に対し、その領域は全く動かないという特徴を利用して、当該領域を非作業者領域として検出し、背景に同化させる背景更新処理を別途実行してもよい。
あるいは、非背景物体の領域の大きさが、作業者領域の平均的な大きさからかけ離れている領域を、非作業者領域として作業者領域から取り除いてもよい。さらに、非背景物体の領域内の色ヒストグラムを、あらかじめ学習させておいた作業者領域の色ヒストグラムと比較して、一致度が低い場合に非作業者領域として作業者領域から取り除いてもよい。
作業者追跡処理部12は、時間軸上に作業者Uの動き(作業者領域)を追跡するものである。具体的には、作業者領域抽出部11がフレームFから抽出した作業者領域に対して
ラベルを付与して(ラベリング処理)、各フレームの作業者領域の対応付けを行う。これにより、前後のフレームで、作業者領域のどのマスがどこからどこに移動したのかを追跡することができる。フレームに複数の作業者領域が存在する場合も、ラベルにより作業者領域を個々に識別することが可能となる。
ラベルを付与して(ラベリング処理)、各フレームの作業者領域の対応付けを行う。これにより、前後のフレームで、作業者領域のどのマスがどこからどこに移動したのかを追跡することができる。フレームに複数の作業者領域が存在する場合も、ラベルにより作業者領域を個々に識別することが可能となる。
さらに、本実施形態では、作業者追跡処理部12は、作業者領域に含まれるマスの一つを作業者Uの位置を特定する基準として選択し、対応するマスが時間の経過とともに(後のフレームになるにつれ)どのように移動するかによって、作業者Uの位置を追跡することが可能である。
図4に示す例では、フレームF1から抽出された作業者領域A1に基づいて、作業者追跡処理部12は、作業者位置を示す基準のマス、作業者位置C1を決定する。作業者位置C1の決定方法は特に限定されないが、例えば、作業者領域A1の重心位置を含むマスを作業者位置として決定することなどが挙げられる。続いて、フレームF1に後続するフレームF2から抽出された作業者領域A2に基づいて同様の方法で作業者位置C2を決定する。作業者追跡処理部12の追跡処理の結果は、動作量算出部13および移動量算出部14に伝達される。
これにより、前後のフレーム(F1・F2)を比較して、作業者Uがどのように動いたか、あるいは、どこからどこへ移動したのかを動作量算出部13および移動量算出部14が認識することが可能となる。
動作量算出部13は、評価対象フレームの作業者領域を、当該評価対象フレームより前に取得された比較対象フレームの作業者領域と比較して、作業者領域の変化の大きさを示す動作量を算出するものである。動作量とは、作業者が動作を行うためにどのくらいエネルギーを消費したか、つまり、作業者にかかる負荷(作業者の苦労の程度)を定量化したものである。作業者が大きく動くほどエネルギーが消費され苦労の程度が増し、動作量が大きくなるという考え方に基づいている。本実施形態では、オプティカルフロー(optical flow)推定により動作量を算出する。オプティカルフローとは、動画データ中の運動物体(ここでは、作業者領域)の見かけの速度場のことである。動画データの前後のフレームにおける対応する各ポイントを始点・終点としたベクトルの大きさで表される。
動作量の算出方法の具体例を図5(a)〜(c)に基づき説明すると以下のとおりである。図5(a)の破線で示される各マスは、比較対象フレームの作業者領域を形成するマスを示し、実線で示される各マスは、評価対象フレームの作業者領域を形成するマスを示す。動作量算出部13は、作業者追跡処理部12の追跡処理結果に基づいて、前の比較対象フレームの各マスが、後の評価対象フレームでどこに動いたかを認識する(図5(a))。次に、前後のフレームにおいて対応するマス上のあるポイント間の距離(例えば、前のフレームのマスの中央ポイントを始点、後のフレームのマスの中央ポイントを終点とするベクトルの大きさ)を、評価対象フレームの作業者領域を形成するマス(ポイント)ごとに算出する(図5(b))。最後に、マスごとに求めたベクトルの大きさの総和を求めて、それを上記評価対象フレームの動作量として出力する(図5(c))。動作量算出部13は、求めた動作量を上記評価対象フレームに対応付けて算出結果記憶部31に記憶する。評価対象フレームに、複数の作業者領域がある場合は、すべての作業者領域について動作量を求め、そのうち最大の値を示す動作量を、最大動作量として算出結果記憶部31に記憶する。
なお、上述の例では、動作量算出部13は、動作量を対応マス間のベクトルの大きさから導出しているが、作業者の移動距離と正比例の関係になく、移動距離とは異なる指標である。動作量を利用することで、作業者が移動はあまり行っていなくとも、多大な労力を費やして行った動作(例えば、振り返って道具を取るなど)を動作のムダとして判定することが可能となる。
移動量算出部14は、評価対象フレームの作業者領域における基準のマス(作業者位置)を、当該評価対象フレームより前に取得された比較対象フレームの作業者領域における作業者位置と比較して、作業者の単位時間あたりの移動距離を示す移動量を算出するものである。移動量とは、作業者がある一定の期間にどのくらいの距離を移動したのかを示す指標である。
本実施形態では、評価対象フレームとNフレーム前の作業者位置(マス)の変化をユークリッド距離を算出することにより移動量を求める。図6に示す例では、移動量算出部14は、評価対象フレームの作業者領域A2の作業者位置C2を、比較対象フレームの作業者領域A1の作業者位置C1と比較して、作業者位置C2と作業者位置C1との距離を求める。本実施形態では、1フレームあたり、静止画データの何ピクセル分を移動したかを移動量(単位:pixel/frame)として算出するものとし、求めた上記ユークリッド距離をフレーム数(N)で除算して移動量とする。移動量の単位は、これに限定されず、実際の距離(cm、m)および時間(秒、分)などを用いてもよい。
移動量算出部14は、求めた移動量を上記評価対象フレームに対応付けて算出結果記憶部31に記憶する。評価対象フレームに、複数の作業者領域がある場合は、すべての作業者領域について移動量を求め、そのうち最大の値を示す移動量を、最大移動量として算出結果記憶部31に記憶する。
図7は、算出結果記憶部31に記憶される動作量および移動量の算出結果の一例を示す図である。上述したとおり、動画データDの各フレームに対応付けて、動作量算出部13が算出した最大動作量、および、移動量算出部14が算出した最大移動量が記憶される。複数の動画データDについて、動作量および移動量を記憶しておく場合は、各フレームに、動画IDを関連付けて記憶しておけばよい。
ムダ判定部15は、動作量算出部13がフレームごとに算出した動作量に基づいて、動作量の大きい(動作のムダ候補)シーンを写すフレームを特定するものである。また、移動量算出部14がフレームごとに算出した移動量に基づいて、作業者が大きく移動した(移動のムダ候補)シーンを写すフレームを特定するものである。本実施形態では、ムダ判定部15は、自身が特定した動作量が大きいフレームを「動作のムダ候補」、また、特定した移動量が大きいフレームを「移動のムダ候補」と判定する。
これは、動作量および移動量が大きいほど、そのフレームに写っている作業には動作および移動のムダが多く潜んでいるという考え方に基づいている。
より詳細には、作業者が製品の製造にかける「作業時間」は、(1)実際に製品を組み立てる作業(付加価値作業)の時間、(2)それ以外の作業(非付加価値作業)(部品を取りに歩く、モノを運搬するなど)の時間とに大きく分類できる。従来、(1)の作業時間に着目し、繰り返し作業の中のいつもと違う動きにムダがある、作業者が動いていない(=怠けている)ところをムダとして捉えるという考え方に基づいてムダが抽出されていた。一方、本発明では、(2)の作業時間に着目し、作業者の動作・移動に費やされるエネルギーの多い部分に、問題点(ムリ・ムダ・ムラ)が存在するという考え方に基づいてムダを抽出している。
ムダ判定部15は、上述の考え方に基づいて、フレームの動作量・移動量に基づいてフレームを特定することにより「動作(移動)のムダ候補」であるか否かの判定を行い、判定結果を判定結果記憶部32に記憶する。
なお、ムダ判定部15が行う判定処理の詳細については後述する。
図8は、判定結果記憶部32に記憶される判定結果の一例を示す図である。上述したとおり、動画データDの各フレームに対応付けて、ムダ判定部15が行った判定処理の結果(判定タグ)が記憶される。
図8に示す例では、判定タグを格納するためのフィールドを1つ設け、移動量または動作量が大きいシーンとして特定されたフレームには、動作または移動のいずれかのムダを示す判定タグが記憶されるようになっている。本実施形態では、まず移動量に基づいて移動のムダの有無を判定し、移動のムダがないと判定されたフレームについて、動作のムダの有無を判定する。すなわち、判定タグのフィールドには、「移動のムダ候補」の判定タグが優先付与される。これにより、例えば、作業者が移動はあまり行っていなくとも、多大な労力を費やして行った動作について、移動の判定のみでは、ムダを発見できなかった作業シーンを、動作のムダとして判定し発見することが可能となる。
しかし、ムダ判定部15の判定タグの付与方法は上記に限定されない。判定タグのフィールドが1つしか設けられていない構成の場合に以下のようにしてもよい。すなわち、動作量の大きいフレームを特定して「動作のムダ候補」の判定タグを付与したのちに、動作のムダ候補と判定されたフレームについて、移動量の大きいフレームか否かを判定して、「移動のムダ候補」の判定タグを付与する方法が考えられる。この場合、動作のムダと判定された作業シーン(フレーム)のうち、それが移動によって生じたものであるのか否かを、「移動のムダ候補」の判定タグによって識別することが可能となる。
あるいは、判定結果記憶部32のデータ構造を、移動および動作のムダそれぞれについて、判定タグのフィールドを2つ設ける構成とし、移動のムダの判定結果と、動作のムダの判定結果とを、フレームごとに別々に記憶してもよい。これにより、改善担当者は、移動のみ、動作のみの観点からムダな作業をもれなく抽出し分析することが可能となる。
判定結果出力部16は、ムダ判定部15の判定処理によって得られた判定結果を表示部41に出力するものである。
判定結果を表示部41にどのように表示するのかは特定に限定されない。例えば、図8に示すとおり、フレームごとの判定タグを一覧表にして表示部41に表示してもよいし、あるいは、上記判定結果に基づいて動画データDB3からムダがあると判定されたフレームのみを動画データDから抽出し、ムダな作業のシーンを撮影したと思われる部分のみを表示部41に再生してもよい。
上述した一連の作業評価処理により、改善担当者は、動作量(移動量)が大きく、動作(移動)のムダ(の候補)と判定されたフレームのみを効率よく確認することが可能となり、改善担当者の作業分析の負担を軽減することができる。
〔作業評価装置の作業評価フロー〕
図9は、作業評価装置1における作業評価処理の流れを示すフローチャートである。
図9は、作業評価装置1における作業評価処理の流れを示すフローチャートである。
作業評価装置1は、改善担当者から操作部42を介して作業評価処理を開始する指示が入力されると、あるいは、動画データDB3に動画データDが新たに記憶されると、作業評価処理を開始する。
まず、作業者領域抽出部11は、動画データDB3から評価したい動画データのフレームを取り出し(S1)、フレームの作業者領域を抽出する(S2)。このとき作業者領域は1フレーム内に複数あってもよい。また、ここで、1つの評価対象フレームのみ作業者領域抽出処理を行ってもよいし、すべてのフレームについて処理を行ってもよい。
評価対象フレームから作業者領域が抽出されると(S3においてYES)、作業者追跡処理部12、動作量算出部13、および、移動量算出部14は、移動量および動作量の算出を行う(S4、S5)。S4およびS5はどちらを先に実行しても構わない。上記評価対象フレームに複数の作業者領域が存在する場合は、すべての作業者領域に対して、S4およびS5が繰り返される(S6においてYES)。すべての作業者領域についてS4およびS5が実行されると(S6においてNO)、S4、S5で求まった最大移動量および最大動作量を当該評価対象フレームに対応付けて算出結果記憶部31に記憶する(S7)。続いて、必要に応じて背景更新処理を実行し(S8)、未処理のフレームがあれば(S9においてYES)、S1〜S8の処理を繰り返す。なお、S3においてフレームから作業者領域が抽出されなかった場合には(NO)、作業者領域抽出部11は、必要に応じて背景更新処理を実行し(S8)、S9に進む。
すべてのフレームについてS4、S5の処理が実行されると(S9においてNO)、ムダ判定部15は、算出結果記憶部31に記憶された算出結果に基づいて、動画データDの各フレームの動作(および移動)のムダの有無を判定する(S10)。そして、すべてのフレームについてムダの判定が実行されると、判定結果出力部16は、その判定結果を表示部41に表示する(S11)。
図10は、移動量算出部14における移動量算出処理の流れを示すフローチャートである。
まず、移動量算出部14は、評価対象フレームおよび該評価対象フレームのNフレーム前の比較対象フレームの作業者領域を取得する(S101)。作業者領域が複数存在する場合には、作業者追跡処理部12の追跡処理結果に基づいて、対応する作業者領域同士を取得する。続いて、取得した作業者領域に含まれる各作業者位置を取得する(S102)。
移動量算出部14は、評価対象フレームの作業者位置と、比較対象フレームの作業者位置との間のユークリッド距離を算出し、当該距離に相当するピクセル数を求め、フレーム数Nで割って移動量を算出する(S103)。
評価対象フレームに作業者領域が複数ある場合は、移動量が複数求まる。S103において算出された移動量が、これまでに求められた移動量よりも大きい場合は(S104においてYES)、S103において算出された移動量を最大移動量として、図示しないRAMなどの一時記憶部に一時的に記憶する(S105)。
一方、これまでに求められた移動量よりも小さい場合は、最大移動量を更新せずに移動量算出処理を終了し、次の処理に進む。
図11は、動作量算出部13における動作量算出処理の流れを示すフローチャートである。
まず、動作量算出部13は、評価対象フレームおよび該評価対象フレームのNフレーム前の比較対象フレームの作業者領域を取得する(S201)。作業者領域が複数存在する場合には、作業者追跡処理部12の追跡処理結果に基づいて、対応する作業者領域同士を取得する。続いて、取得した作業者領域の変化を認識し、マスごとにベクトルの大きさを求める(オプティカルフロー推定)(S202)。次に、求められた各ベクトルの大きさの和を動作量として算出する(S203)。
S203において算出された動作量が、これまでに求められた動作量よりも大きい場合は(S204においてYES)、S203において算出された動作量を最大動作量として、上記一時記憶部に一時的に記憶する(S205)。
一方、これまでに求められた動作量よりも小さい場合は、最大動作量を更新せずに動作量算出処理を終了し、次の処理に進む。
図12は、ムダ判定部15における判定処理の流れを示すフローチャートである。本実施形態では、フレームごと関連付けられた動作量(および移動量)を、あらかじめ設定されている動作量閾値(および移動量閾値)と比較することにより、フレームごとに作業のムダの有無を判定する。
動作量閾値および移動量閾値は、図1に示す閾値記憶部33にそれぞれ記憶されており、ムダ判定部15は、閾値記憶部33に記憶されている各閾値を参照して、閾値を越える動作量(移動量)のフレームを、ムダな動作(移動)を行う作業者が写っているフレームとして特定する。
まず、ムダ判定部15は、判定対象フレームに対応付けられている算出結果(最大移動量および最大動作量)を算出結果記憶部31から取得する(S301)。次に、ムダ判定部15は、閾値記憶部33に記憶されている移動量閾値と、取得した最大移動量とを比較し、最大移動量が上記閾値を越えている場合には(S302においてYES)、移動のムダ候補と判定し(S303)、当該フレームに「移動のムダ候補」の判定タグを付与する。
一方、上記最大移動量が閾値以下の場合には(S302においてNO)、当該フレームに移動のムダはないと判定し(S304)、動作のムダの判定するステップに進む。
続いて、ムダ判定部15は、閾値記憶部33に記憶されている動作量閾値と、取得した最大動作量とを比較し、最大動作量が上記閾値を越えている場合には(S305においてYES)、動作のムダ候補と判定し(S306)、当該フレームに「動作のムダ候補」の判定タグを付与する。
一方、上記最大動作量が閾値以下の場合には(S305においてNO)、当該フレームに動作のムダはないと判定する(S307)。本実施形態では、ムダ判定部15がS307において動作のムダがないと判定した場合、移動および動作の両方についてムダがないことになり、当該フレームに映る作業は、作業者が製品を組み立てるための作業(付加価値作業)であると判断される。この場合、当該フレームには「付加価値作業」の判定タグを付与してもよいし、いずれのタグも付与しない構成としてもよい。
最後に、ムダ判定部15は、フレーム対して付与した判定タグを、当該フレームに対応付けて判定結果記憶部32に記憶する(S308)。
続いて、まだ判定を行っていない未処理のフレームが残っている場合には(S309においてYES)、S301に戻り、上述した各ステップを繰り返す。すべてのフレームについて作業の評価(ムダの判定)を終了すると(S309においてYES)、作業評価処理を終了する。
上記構成および方法によれば、動作量算出部13(および移動量算出部14)は、動画データDに含まれる評価対象フレームを、該評価対象フレームより一定時間前(例えばNフレーム前)に得られた比較対象フレームと比較し、評価対象フレームにおける作業者を示す作業者領域の、比較対象フレームからの変化の大きさ(各マスのベクトルの大きさの和)を動作量として算出する。また、各フレームの作業者領域の作業者位置間のユークリッド距離から1フレームあたりの作業者の移動距離(ピクセル)を移動量として算出する。
ムダ判定部15は、上記動作量(および上記移動量)を、あらかじめ定められた閾値と比較して、閾値を越える動作量(移動量)をもつフレームを、作業のムダを映したフレームであると判定する。
これにより、非付加価値作業のうち作業のムダと判定されたシーンのみを改善担当者が効率よく把握することが可能となるので、すべての作業を目視確認する必要がなくなり、改善担当者の負担を軽減することが可能となる。
なお、上述の例では、移動のムダおよび動作のムダの両方について評価を行ったが、動作量の観点からのみムダの有無を評価したい場合には、作業評価装置1は、移動量算出部14を必ずしも備えていなくてよい。
また、上述の例では、移動量算出部14および動作量算出部13が、すべてのフレームについて移動量および動作量を算出してから、ムダ判定部15が作業のムダを判定する場合について説明したが、本発明の作業評価方法は、これに限定されない。例えば、一つのフレームについて、移動量および動作量を算出し、判定を行うという処理を、フレームの枚数分繰り返す手順で実行してもよい。
図13〜図15は、ムダ判定部15の判定結果を判定結果出力部16が表示部41に出力した場合の画面表示例を示す図である。
図13に示す例では、作業者が生産セルにいるか否か(フレームに作業者領域があるか否か)を示す帯グラフが時間軸上に色分けして表示される。また、作業者が映っているフレームについては、そのシーンがムダな作業であるか否かを示す帯グラフが色分けして表示される。
ここで、動画データを再生するとともに、再生中のフレームの位置を帯グラフ上に示せば(ライン92)、改善担当者は、現在再生されているシーンが、作業のムダであるか否かを容易に確認することが可能となる。
図14に示す例では、動画データを再生するとともに、フレームごとに、作業者領域および当該領域について求められた動作量(および移動量)の情報が表示される。さらに、再生中のフレームに対応付けられた動作量および移動量の値をX軸およびY軸上にプロットした2次元グラフを閾値とともに表示させてもよい。
これにより、改善担当者は、現在再生中のフレームが、移動、動作のいずれのムダであるのか、あるいは、付加価値作業であるのかを容易に確認することが可能となる。
図15は、図14の2次元グラフにさらに閾値を動かすためのスクロールバーを表示した例を示す。このスクロールバーを操作することにより改善担当者は、容易に各閾値を設定しなおすことが可能となる。
〔変形例−ムダ判定方法〕
(判定方法1)閾値を手動で変更する方法
図15の例に示すとおり、閾値記憶部33に設定されている閾値を、改善担当者が経験や知識に基づき、利用場面に応じて設定しなおすことが可能である。改善担当者が操作部42を介して、新たな閾値を入力すると、閾値設定部17は、閾値記憶部33を新たに入力された閾値に更新する。閾値が更新されたことを検知して自動でムダ判定部15が判定を再開する構成としてもよい。
(判定方法1)閾値を手動で変更する方法
図15の例に示すとおり、閾値記憶部33に設定されている閾値を、改善担当者が経験や知識に基づき、利用場面に応じて設定しなおすことが可能である。改善担当者が操作部42を介して、新たな閾値を入力すると、閾値設定部17は、閾値記憶部33を新たに入力された閾値に更新する。閾値が更新されたことを検知して自動でムダ判定部15が判定を再開する構成としてもよい。
(判定方法2)閾値を使わない判定方法
ムダ判定部15は、閾値を用いた判定方法に限定されない。あらかじめ、ムダとして抽出したい時間(またはフレーム数)を設定し、それに基づいて、ムダ判定部15が、移動量・動作量の大きいものから(ムダが大きいものから)順にムダ候補の判定タグをつける構成でもよい。
ムダ判定部15は、閾値を用いた判定方法に限定されない。あらかじめ、ムダとして抽出したい時間(またはフレーム数)を設定し、それに基づいて、ムダ判定部15が、移動量・動作量の大きいものから(ムダが大きいものから)順にムダ候補の判定タグをつける構成でもよい。
具体的には、改善担当者が動画データからムダ候補のシーンを10分だけ抽出したいと望んでいる場合に、操作部42を介して、抽出時間「10分」の指定を作業評価装置1に入力する。ムダ判定部15は、「10分」分に相当するフレーム枚数の分だけ、動作量(および移動量)の多い順に、動画データからフレームを特定し、ムダ候補の判定タグを付与する。
これにより、改善担当者の目的や都合(「作業時間をあと10分短縮したい。」「改善作業に10分しか費やせない。」など)に応じて、ムダが多いと考えられるシーンから優先的に確認することが可能となるので、改善担当者の作業効率を高めることができる。
(判定方法3)
本発明の作業評価装置1を閾値による判定方法と、抽出時間を指定する判定方法とを使い分ける構成とすることも可能である。
本発明の作業評価装置1を閾値による判定方法と、抽出時間を指定する判定方法とを使い分ける構成とすることも可能である。
図16は、ムダ判定部15における他の判定処理の流れを示すフローチャートである。
判定処理の開始が制御部10によって指示されると、閾値記憶部33に閾値が設定されている場合、あるいは、閾値設定部17によって閾値を更新されている場合には(S401においてYES)、上述した図12に示す方法で判定処理を実行する。
一方、閾値が設定(更新)されていない場合には(S401においてNO)、ムダ判定部15は、改善担当者からの抽出時間の指定を待ち受ける(S402)。
操作部42を介して改善担当者が指定する抽出時間が入力されると(S402においてYES)、ムダ判定部15は、評価対象である動画データのフレームレートを取得し(S403)、指定された抽出時間に相当するフレーム枚数を求める(S404)。
続いて、ムダ判定部15は、算出結果記憶部31を参照し、フレーム枚数分のフレームを、移動量の大きいものから順に特定する(S405)。そして、特定した移動量上位のフレーム群に対して、「移動のムダ候補」の判定タグを付与する(S406)。
次に、ムダ判定部15は、算出結果記憶部31を参照し、フレーム枚数分のフレームを動作量の大きいものから順に特定する(S407)。そして、特定した動作量上位のフレーム群に対して、「動作のムダ候補」の判定タグを付与する(S408)。
そして、ムダ判定部15は、いずれかのムダ候補の判定タグを付与した上述のフレームごとに、フレームに対応付けられている最大移動量と最大動作量との合計の値を求め、合計が大きいものから順に上記フレーム枚数分のフレームを再度特定する(S409)。
最後に、S409にて特定した各フレームに付与された判定タグの結果を判定結果記憶部32に記憶する(S410)。ここで、判定結果記憶部32における判定タグのフィールドが1つ設けられている場合には、「移動のムダ候補」の判定タグを優先して記憶すればよい。
これにより、移動量および動作量に基づいて、ムダが大きいと予測されるフレームから順に指定枚数のフレームを抽出し、ムダ候補のフレームとして改善担当者に提示することができる。
なお、上述の例では、移動量および動作量の両方を考慮して、指定枚数のフレームを抽出する方法について説明したが、いずれか一方のみを考慮して、指定枚数のフレームを抽出してもよい。
さらに、上述の各ステップにより抽出されたムダ候補のフレームの移動量・動作量の中で最も小さな値を、次回に使用する移動量閾値・動作量閾値として設定するように閾値設定部17を構成してもよい。閾値設定部17は、算出結果記憶部31および判定結果記憶部32を参照して、ムダと判定されたフレームの最も小さな移動量、動作量を取得し、閾値として閾値記憶部33に記憶する。
これにより、指定枚数のフレームを抽出するのに適切な閾値が自動で設定されるので、改善担当者は、適切な閾値がいずれであるかを試行錯誤せずとも、次回以降の作業評価処理において用いることが可能となる。したがって、熟練した改善担当者でなくとも効率よくムダのシーンを抽出し、確認することが可能となる。
(判定方法4)
判定結果出力部16が表示部41に出力した判定結果を改善担当者が手動で修正するツールを提示してもよい。
判定結果出力部16が表示部41に出力した判定結果を改善担当者が手動で修正するツールを提示してもよい。
図17は、ムダ判定部15の判定結果を判定結果出力部16が表示部41に出力した場合の他の画面表示例を示す図である。
図17に示す例では、動画データを再生する領域とともに、ムダ判定部15の判定結果のリストを表示するリスト領域90と、該リストに示された判定タグを改善担当者が修正するためのツールを表示するツール領域91が設けられている。
これにより、改善担当者は、動画データを確認し、判定結果と異なるシーンを発見した場合には、判定タグの修正を行うことができる。具体的には、リスト領域90から修正を行いたいフレームの行を選択し、ツール領域91からどの判定タグに修正したいのかを選択する。そして「修正」ボタンをクリックするのみで、簡単に判定タグを修正することが可能となる。
〔変形例−動作量の算出方法〕
上述の実施形態では、動作量算出部13は、作業者領域を形成する各マスの変化の大きさ(動きの大きさ)を考慮して動作量を算出しているが、これに限定されない。上述したとおり、動作量とは、作業者の苦労の程度を定量化したものであるので、作業者の苦労の程度を定量化するために有効なあらゆる情報を考慮して動作量を算出することができる。
上述の実施形態では、動作量算出部13は、作業者領域を形成する各マスの変化の大きさ(動きの大きさ)を考慮して動作量を算出しているが、これに限定されない。上述したとおり、動作量とは、作業者の苦労の程度を定量化したものであるので、作業者の苦労の程度を定量化するために有効なあらゆる情報を考慮して動作量を算出することができる。
具体的には、作業者のモノを運搬するという動作を評価する場合、作業者が手にする運搬物の重量を考慮して動作量を算出することが挙げられる。当然、運搬物の重量が大きいほど、動作量は大きくなる。
図1に示すとおり、重量を考慮するために、作業評価装置1の制御部10は、さらに運搬物検出部18を備えており、記憶部30は、重量情報記憶部34を含んでいる。
運搬物検出部18は、動画データDB3から取得した評価対象フレーム(静止画データ)から、作業者によって運搬されている運搬物を検出するものである。運搬物検出部18は、検出した運搬物を特定し、該運搬物の情報を動作量算出部13に伝達する。
より具体的には、例えば、検出すべき各種運搬物の画像情報(色や大きさの情報)が運搬物IDに対応付けてあらかじめ記憶部30に学習されているものとする。そして、運搬物検出部18は、上記フレームに含まれる非背景物体の領域の中に、学習されている運搬物の画像情報と一致度の高い領域を検出し、どの運搬物であるのかを特定する。次に、特定した運搬物の運搬物IDを動作量算出部13に伝達する。
あるいは、運搬物に位置発信機を取り付けておき、該位置発信機から作業評価装置1に運搬物IDとともに送信される運搬物の位置情報と作業者の作業者位置とに基づいて、運搬物検出部18が「運搬している動作」を検出してもよい。
動作量算出部13は、運搬物検出部18から運搬物IDが伝達されると、評価対象フレームの作業者領域について動作量を算出する際に、上記運搬物IDによって特定される運搬物の重量を考慮する。各運搬物の重量は、重量情報記憶部34に記憶されている。
図18は、重量情報記憶部34に記憶される重量情報の一例を示す図である。運搬物の重量が、運搬物IDに対応付けて記憶されており、動作量算出部13は、運搬物検出部18から受け取った運搬物IDに基づいて、重量情報記憶部34から考慮すべき重量を取得する。
次に、動作量算出部13は、特定された運搬物の重量xに基づいて重量指数yを算出する。重量指数yとは、動作量を算出するために、上述した方法で求めた作業者領域のベクトルの和に対して加算する数値のことである。ここで、重量xに基づいて重量指数yを求めるための重量関数をF(x)とすると、本実施形態では、動作量は以下のようにして算出される。
動作量=作業者領域のベクトルの和+F(x)
図19(a)および(b)は、重量関数F(x)の例を示す図である。なお、重量関数F(x)は、記憶部30のうちの図示しない重量関数記憶部に記憶されているものとする。
動作量=作業者領域のベクトルの和+F(x)
図19(a)および(b)は、重量関数F(x)の例を示す図である。なお、重量関数F(x)は、記憶部30のうちの図示しない重量関数記憶部に記憶されているものとする。
図19(a)および(b)では、X軸を重量、Y軸を重量指数とする2次元グラフにより重量関数F(x)を示している。
図19(a)に示す例では、重量と重量指数との関係は正比例の関係にあり、運搬物が重たいほど、動作量に含めるべき重量指数の値が大きくなる。
また、図19(b)に示すような関数に基づいて重量指数を求めてもよい。作業者が重さを感じないほどの軽さでは、重量と作業者の負担は必ずしも比例の関係にないため、ある一定の重さまでは傾きを0に近づけておき、逆に、ある一定以上運搬物が重たくなると、作業者が感じる負担には大差がなくなるため、ある一定以上の重さについても傾きを0に近づける。このような関数を用いれば、作業者が感じる負担と重さとの関係をより忠実に反映した動作量を算出することが可能となる。
重量関数F(x)は、上述の例に限定されず、重量x1>x2ならばF(x1)≧F(x2)の関係を満たすような関数であればどのような関数を用いてもよい。これは、運搬物の重量が重いほど、動作量が大きくなるという関係は不変であるという考え方に基づいている。
上記構成によれば、作業者がモノを運搬する動作を行っているシーンにおいて、運搬物の重量を考慮して動作量を算出することができる。これにより、作業者が感じる実際の苦労の程度をより正確に反映した動作量に基づいて、適切に動作のムダを判定することが可能となる。
なお、本発明の作業評価装置は、大型装置のセル生産で行われる作業に限らず、様々な生産形態における人の手による生産作業を評価することが可能である。
ただし、大型の装置をセル生産にて手作業で生産するときの作業を評価する場合は、本発明の作業評価装置を適用することによる効果は特に大きい。
なぜなら、大型の装置のセル生産では、単位作業時間が非常に長いため、繰り返し精度が極端に低く、動作のパターン化ができないために、装置を用いた自動分析は困難であり、また、人(改善担当者)が分析を行うにしても、いくつもの工程の長い時間の作業を、多くの時間を要して確認しなければならないので、分析に多大な負担がかかるからである。
つまり、単位作業時間が非常に長く、繰り返し精度が低い作業からなる生産システム(例えば、大型装置のセル生産)は、機械が分析を得意としていた分野でもなく、人が容易に分析可能であった分野でもなく、従来作業の評価が非常に困難な生産形態であった。
上述の生産形態における作業を評価する際に、本発明の作業評価装置を適用することにより、改善担当者の負担を大幅に低減することができる。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、作業評価装置1の各ブロック、特に動作量算出部13およびムダ判定部15は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、作業評価装置1は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである作業評価装置1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記作業評価装置1に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、作業評価装置1を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は、人が手作業で加工・組立て作業を行う生産形態における作業(特に、繰り返し精度の低い作業)の評価を行う作業評価装置に好適に用いることができる。
1 作業評価装置
2 撮像装置
3 動画データデータベース
10 制御部
11 作業者領域抽出部
12 作業者追跡処理部
13 動作量算出部(動作量算出手段)
14 移動量算出部(移動量算出手段)
15 ムダ判定部(フレーム特定手段)
16 判定結果出力部(作業評価結果出力手段)
17 閾値設定部
18 運搬物検出部(運搬物検出手段)
30 記憶部
31 算出結果記憶部
32 判定結果記憶部
33 閾値記憶部
34 重量情報記憶部
41 表示部
42 操作部
100 生産管理システム
2 撮像装置
3 動画データデータベース
10 制御部
11 作業者領域抽出部
12 作業者追跡処理部
13 動作量算出部(動作量算出手段)
14 移動量算出部(移動量算出手段)
15 ムダ判定部(フレーム特定手段)
16 判定結果出力部(作業評価結果出力手段)
17 閾値設定部
18 運搬物検出部(運搬物検出手段)
30 記憶部
31 算出結果記憶部
32 判定結果記憶部
33 閾値記憶部
34 重量情報記憶部
41 表示部
42 操作部
100 生産管理システム
Claims (9)
- 撮像装置が生産現場の作業者を撮影して得た動画データを用いて、該作業者が行った作業を評価する作業評価装置において、
上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出手段と、
上記動作量算出手段によって上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定手段とを備えていることを特徴とする作業評価装置。 - 上記フレーム特定手段は、フレームごとに算出された動作量を閾値と比較し、閾値を越える動作量のフレームを特定することを特徴とする請求項1に記載の作業評価装置。
- 上記フレーム特定手段は、所定時間分のフレームを上記動画データから動作量の大きい順に特定することを特徴とする請求項1に記載の作業評価装置。
- 上記フレーム特定手段が特定したフレームのみを上記動画データから抽出して表示部に表示する作業評価結果出力手段を備えていることを特徴とする請求項1に記載の作業評価装置。
- 上記動作量算出手段は、
上記評価対象のフレームおよび上記比較対象のフレームの各作業者領域上に複数定められたポイントを検出し、
上記評価対象のフレームのポイントを終点とし、該ポイントと対応する上記比較対象のフレームのポイントを始点とするベクトルの大きさを求め、
ポイントごとに求めたベクトルの大きさの和を動作量として算出することを特徴とする請求項1に記載の作業評価装置。 - 上記評価対象のフレームから、作業者によって運搬される運搬物を検出する運搬物検出手段を備え、
上記動作量算出手段は、
運搬物に対応付けて重量を記憶する重量情報記憶部から、上記運搬物検出手段によって検出された運搬物の重量を取得し、
上記評価対象のフレームにおける上記作業者領域の変化の度合いとともに、上記運搬物の重量にも基づいて動作量を算出することを特徴とする請求項1に記載の作業評価装置。 - 上記評価対象のフレームを上記比較対象のフレームと比較し、該比較対象のフレームから該評価対象のフレームまでの間の作業者の移動距離を移動量として算出する移動量算出手段を備え、
上記フレーム特定手段は、
上記移動量算出手段によって上記動画データのフレームごとに算出された移動量に基づいて、所定の基準に従って移動量が大きなフレームを、ムダに移動する作業者が写っているフレームとして特定することを特徴とする請求項1に記載の作業評価装置。 - 撮像装置が生産現場の作業者を撮影して得た動画データを用いて、該作業者が行った作業を評価する作業評価装置における作業評価方法であって、
上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出ステップと、
上記動作量算出ステップにて上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定ステップとを含むことを特徴とする作業評価方法。 - 撮像装置が生産現場の作業者を撮影して得た動画データを用いて、該作業者が行った作業を評価する作業評価装置の制御プログラムであって、
上記動画データに含まれる、評価対象のフレームと該評価対象のフレームより一定時間前に得られた比較対象のフレームとを比較し、上記評価対象のフレームに含まれる、作業者が写っている領域である作業者領域が上記比較対象のフレームの作業者領域から変化した度合いに基づいて、作業者にかかる負荷を定量化した値である動作量を算出する動作量算出ステップと、
上記動作量算出ステップにて上記動画データのフレームごとに算出された動作量に基づいて、所定の基準に従って動作量が大きなフレームを、ムダな動作を行う作業者が写っているフレームとして特定するフレーム特定ステップとをコンピュータに実行させるための制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007061050A JP2008225704A (ja) | 2007-03-09 | 2007-03-09 | 作業評価装置、作業評価方法、および、制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007061050A JP2008225704A (ja) | 2007-03-09 | 2007-03-09 | 作業評価装置、作業評価方法、および、制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008225704A true JP2008225704A (ja) | 2008-09-25 |
Family
ID=39844270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007061050A Withdrawn JP2008225704A (ja) | 2007-03-09 | 2007-03-09 | 作業評価装置、作業評価方法、および、制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008225704A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012198644A (ja) * | 2011-03-18 | 2012-10-18 | Fujitsu Ltd | 作業支援装置、および作業支援プログラム |
JP2014006647A (ja) * | 2012-06-22 | 2014-01-16 | Toshiba Corp | 負担推定装置、方法、およびチェックアウト装置 |
JP2016177791A (ja) * | 2015-03-03 | 2016-10-06 | 株式会社ブロードリーフ | プログラム、情報処理装置及び情報処理方法 |
JP2018045669A (ja) * | 2016-09-12 | 2018-03-22 | 沖電気工業株式会社 | 生産ナビゲーションシステム、そのサポートシステム、及び、データ管理方法 |
JP2020038631A (ja) * | 2018-08-30 | 2020-03-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラムおよびシステム |
WO2020250498A1 (ja) * | 2019-06-14 | 2020-12-17 | オムロン株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 |
JP2021501424A (ja) * | 2017-11-28 | 2021-01-14 | 株式会社日立製作所 | 作業者評価システム、作業者評価装置、及び作業者評価方法 |
CN113147176A (zh) * | 2021-04-06 | 2021-07-23 | 东莞先知大数据有限公司 | 丝印环节操作规范检测方法 |
JP7471435B2 (ja) | 2020-09-17 | 2024-04-19 | 株式会社日立国際電気 | 映像処理装置、撮像装置、及び、映像処理方法 |
US11989029B2 (en) | 2018-08-30 | 2024-05-21 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, information processing system, and storage medium |
-
2007
- 2007-03-09 JP JP2007061050A patent/JP2008225704A/ja not_active Withdrawn
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012198644A (ja) * | 2011-03-18 | 2012-10-18 | Fujitsu Ltd | 作業支援装置、および作業支援プログラム |
JP2014006647A (ja) * | 2012-06-22 | 2014-01-16 | Toshiba Corp | 負担推定装置、方法、およびチェックアウト装置 |
JP2016177791A (ja) * | 2015-03-03 | 2016-10-06 | 株式会社ブロードリーフ | プログラム、情報処理装置及び情報処理方法 |
JP7139570B2 (ja) | 2016-09-12 | 2022-09-21 | 沖電気工業株式会社 | 生産ナビゲーションシステム |
JP2018045669A (ja) * | 2016-09-12 | 2018-03-22 | 沖電気工業株式会社 | 生産ナビゲーションシステム、そのサポートシステム、及び、データ管理方法 |
JP2021501424A (ja) * | 2017-11-28 | 2021-01-14 | 株式会社日立製作所 | 作業者評価システム、作業者評価装置、及び作業者評価方法 |
JP2020038631A (ja) * | 2018-08-30 | 2020-03-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラムおよびシステム |
US11989029B2 (en) | 2018-08-30 | 2024-05-21 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, information processing system, and storage medium |
JP7479799B2 (ja) | 2018-08-30 | 2024-05-09 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラムおよびシステム |
JP2020204819A (ja) * | 2019-06-14 | 2020-12-24 | オムロン株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 |
JP7272128B2 (ja) | 2019-06-14 | 2023-05-12 | オムロン株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 |
WO2020250498A1 (ja) * | 2019-06-14 | 2020-12-17 | オムロン株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体 |
JP7471435B2 (ja) | 2020-09-17 | 2024-04-19 | 株式会社日立国際電気 | 映像処理装置、撮像装置、及び、映像処理方法 |
CN113147176B (zh) * | 2021-04-06 | 2021-11-02 | 东莞先知大数据有限公司 | 丝印环节操作规范检测方法 |
CN113147176A (zh) * | 2021-04-06 | 2021-07-23 | 东莞先知大数据有限公司 | 丝印环节操作规范检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008225704A (ja) | 作業評価装置、作業評価方法、および、制御プログラム | |
Luo et al. | Towards efficient and objective work sampling: Recognizing workers' activities in site surveillance videos with two-stream convolutional networks | |
Yang et al. | Vision-based tower crane tracking for understanding construction activity | |
JP4752721B2 (ja) | 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体 | |
CA2778267C (en) | A method for automatic material classification and texture simulation for 3d models | |
US10512941B2 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
US20090021580A1 (en) | Camera calibration device and camera calibration method | |
US12045936B2 (en) | Machine learning based object identification using scaled diagram and three-dimensional model | |
US11734338B2 (en) | Image search in walkthrough videos | |
EP3434622A1 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
EP3434621A1 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
JP2019021150A (ja) | 工事支援装置 | |
JP2019075130A (ja) | 情報処理装置、制御方法、プログラム | |
EP3434623A1 (en) | Projection indicator, cargo assortment system, and projection indicating method | |
JP2020140518A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
KR20220085115A (ko) | 생산부품의 스마트 비전검사를 위한 인공지능머신의 라벨링 학습방법 | |
Hui et al. | Automated in-placed brick counting for façade construction progress estimation | |
EP3434625B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
US20230267767A1 (en) | Image processing device, image processing method, and non-transitory computer readable medium | |
CN113808107B (zh) | 图像推荐方法、装置、电子设备和存储介质 | |
US11216969B2 (en) | System, method, and computer-readable medium for managing position of target | |
CN110662106B (zh) | 一种录像回放的方法及装置 | |
Lee et al. | A System Model for Analyzing and Accumulating Construction Work Crew′ s Productivity Data Using Image Processing Technologies | |
US20240112353A1 (en) | Image processing apparatus, image processing system, image processing method, and non-transitory recording medium | |
CN103900703A (zh) | 红外匹配更新装置和红外匹配更新方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100511 |