JP7509966B1 - Work analysis device, work analysis method, and work analysis program - Google Patents
Work analysis device, work analysis method, and work analysis program Download PDFInfo
- Publication number
- JP7509966B1 JP7509966B1 JP2023105193A JP2023105193A JP7509966B1 JP 7509966 B1 JP7509966 B1 JP 7509966B1 JP 2023105193 A JP2023105193 A JP 2023105193A JP 2023105193 A JP2023105193 A JP 2023105193A JP 7509966 B1 JP7509966 B1 JP 7509966B1
- Authority
- JP
- Japan
- Prior art keywords
- analysis
- work
- analysis process
- video
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 968
- 238000000034 method Methods 0.000 claims abstract description 508
- 230000008569 process Effects 0.000 claims abstract description 490
- 238000012545 processing Methods 0.000 claims abstract description 172
- 230000009471 action Effects 0.000 claims abstract description 43
- 238000003384 imaging method Methods 0.000 claims description 173
- 230000033001 locomotion Effects 0.000 claims description 65
- 238000011156 evaluation Methods 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 description 80
- 238000012937 correction Methods 0.000 description 36
- 238000009434 installation Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- -1 parts Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Landscapes
- General Factory Administration (AREA)
Abstract
【課題】複数の分析処理の中から適切な分析処理を行うことが可能な作業分析装置を提供する。【解決手段】作業分析装置1は、作業を撮像した作業動画をもとに作業分析を行う。作業分析装置1は、作業を撮像した作業動画に対して作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行う第1の分析処理部と、作業動画に対して作業に関する分析要素に基づく、第1の分析処理とは異なる第2の分析処理を作業要素ごとに行う第2の分析処理部と、作業に関する分析要素に基づいて少なくとも第1の分析処理及び第2の分析処理の中から所定の分析処理を選定する分析処理選定部と、分析処理選定部によって選定された分析処理を提示する分析処理提示部と、を具備する。【選択図】図5[Problem] To provide an action analysis device capable of performing an appropriate analysis process from among multiple analysis processes. [Solution] The action analysis device 1 performs action analysis based on a work video in which the work is filmed. The action analysis device 1 comprises a first analysis processing unit that performs a first analysis process for each work element on the work video in which the work is filmed, based on analysis elements related to the work, a second analysis processing unit that performs a second analysis process for each work element on the work video, which is different from the first analysis process and is based on the analysis elements related to the work, an analysis process selection unit that selects a predetermined analysis process from at least the first analysis process and the second analysis process based on the analysis elements related to the work, and an analysis process presentation unit that presents the analysis process selected by the analysis process selection unit. [Selected Figure] Figure 5
Description
本発明は、作業分析装置、作業分析方法及び作業分析プログラムに係り、特に、作業を撮像した作業動画をもとに作業分析を行う作業分析装置、作業分析方法及び作業分析プログラムに関する。 The present invention relates to a task analysis device, a task analysis method, and a task analysis program, and in particular to a task analysis device, a task analysis method, and a task analysis program that perform task analysis based on a task video that is a captured image of the task.
従来、作業者、機械及びモノの動きや時間を「見える化」し、生産現場の作業時間短縮、省力化及びコスト低減を果たすことを目的として、作業を撮像した作業動画を表示して当該作業の動作分析をすることが可能な作業分析装置が知られている(例えば、特許文献1参照)。
また、上記作業分析装置の中には、複数の作業工程からなるライン作業において、各々の作業工程における作業を撮像するために持ち運び可能なモバイル作業分析装置が知られている(例えば、特許文献2参照)。
Conventionally, there has been known a work analysis device that can display a video of a work operation and analyze the movements of the work, with the aim of "visualizing" the movements and time of workers, machines, and objects, thereby shortening work time, saving labor, and reducing costs at production sites (see, for example, Patent Document 1).
Among the above-mentioned work analysis devices, a mobile work analysis device is known that can be carried around to capture images of work in each work process in line work consisting of a plurality of work processes (see, for example, Patent Document 2).
上記において特許文献1の作業分析装置は、作業動画から作業者の骨格情報を抽出し、当該抽出結果から作業者の動作が規定動作であるか否かを判定し、当該規定動作であると判定したときの抽出タイミングで作業動画を作業要素ごとに分節する分析処理を行うことが開示されている。
このように作業に関する分析要素(例えば作業者の動作)に基づいた分析処理を行うことが可能な作業分析装置において、分析者の要望に応じて、複数の分析処理の中から適切な分析処理を行うことが可能な技術が求められていた。
The work analysis device in
In a work analysis device capable of performing analysis processing based on analysis elements related to work (e.g., the actions of a worker), there has been a demand for technology that can select an appropriate analysis processing from multiple analysis processing methods in response to the analyst's requests.
本発明は、上記の課題に鑑みてなされたものであり、本発明の目的は、複数の分析処理の中から適切な分析処理を行うことが可能な作業分析装置、作業分析方法及び作業分析プログラムを提供することにある。 The present invention has been made in consideration of the above problems, and an object of the present invention is to provide a task analysis device, a task analysis method, and a task analysis program that are capable of performing an appropriate analysis process from among multiple analysis processes.
前記課題は、本発明の作業分析装置によれば、作業を撮像した作業動画をもとに作業分析を行う作業分析装置であって、作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行う第1の分析処理部と、前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行う第2の分析処理部と、前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定する分析処理選定部と、前記分析処理選定部によって選定された分析処理を提示する分析処理提示部と、を具備すること、により解決される。 The above-mentioned problem is solved by the work analysis device of the present invention, which performs work analysis based on a work video captured by filming the work, and which includes a first analysis processing unit that performs a first analysis process for each work element on the work video captured by filming the work based on an analysis element related to the work, a second analysis processing unit that performs a second analysis process for each work element on the work video, the second analysis process being different from the first analysis process and based on the analysis element related to the work, an analysis process selection unit that selects a predetermined analysis process from at least the first analysis process and the second analysis process based on the analysis element related to the work, and an analysis process presentation unit that presents the analysis process selected by the analysis process selection unit.
上記のように、作業分析装置は、作業に関する分析要素に基づいて、少なくとも第1の分析処理及び第2の分析処理の中から所定の分析処理を選定する分析処理選定部と、分析処理選定部によって選定された分析処理を提示する分析処理提示部と、を具備している。
そのため、作業に関する分析要素に基づいて、複数の分析処理の中から適切な分析処理を選定し、選定した分析処理を提示することが可能となっている。そして、適切な分析処理を行うことが可能となっている。
As described above, the work analysis device includes an analysis process selection unit that selects a predetermined analysis process from at least a first analysis process and a second analysis process based on an analysis element related to the work, and an analysis process presentation unit that presents the analysis process selected by the analysis process selection unit.
Therefore, it is possible to select an appropriate analysis process from among a plurality of analysis processes based on the analysis elements related to the work, and to present the selected analysis process. Thus, it is possible to perform an appropriate analysis process.
また前記課題は、本発明の作業分析方法によれば、作業を撮像した作業動画をもとに作業分析を行うコンピュータによって実行される作業分析方法であって、前記コンピュータが、作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行うことと、前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行うことと、前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定することと、を実行することによっても解決される。 The above-mentioned problem is also solved by the work analysis method of the present invention, which is executed by a computer that performs work analysis based on a work video that has been filmed, in which the computer performs a first analysis process for each work element on the work video that has been filmed, based on an analysis element related to the work, performs a second analysis process for each work element on the work video that is different from the first analysis process, based on the analysis element related to the work, and selects a predetermined analysis process from at least the first analysis process and the second analysis process, based on the analysis element related to the work.
また前記課題は、本発明の作業分析プログラムによれば、作業を撮像した作業動画をもとに作業分析を行う作業分析装置としてのコンピュータに、作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行う処理と、前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行う処理と、前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定する処理と、選定された分析処理を提示する処理と、を実行させることによっても解決される。 The above problem is also solved by the work analysis program of the present invention, by having a computer as a work analysis device that performs work analysis based on a work video that has been filmed perform the following processes on the work video: a first analysis process based on an analysis element related to the work, for each work element; a second analysis process different from the first analysis process, for each work element, on the work video, based on the analysis element related to the work; a process of selecting a predetermined analysis process from at least the first analysis process and the second analysis process, based on the analysis element related to the work; and a process of presenting the selected analysis process.
本発明の作業分析装置、作業分析方法及び作業分析プログラムによれば、複数の分析処理の中から適切な分析処理を行うことが可能となる。
また、作業分析を行うユーザの要望に応じて、複数の分析処理の中から適切な分析処理を選定し、選定した分析処理を提案することが可能となる。
According to the task analysis device, task analysis method, and task analysis program of the present invention, it is possible to select an appropriate analysis process from among a plurality of analysis processes.
Furthermore, it is possible to select an appropriate analysis process from among a plurality of analysis processes in response to the request of a user who performs an operation analysis, and to propose the selected analysis process.
<作業分析システムの全体構成>
以下、本発明の実施形態について図1~図17を参照して説明する。
作業分析システムSは、図1に示すように、作業を撮像した作業動画をもとに作業分析を行う作業分析装置1と、作業分析装置1と通信可能にそれぞれ接続され、作業を撮像して作業動画を記録し、作業分析装置1に作業動画(作業動画データ)を送信する撮像装置100、200、300と、を備えている。
本実施形態において「作業」とは、複数の作業工程からなり、各作業工程が連関して行われるライン作業やセル作業である。作業者によって行われる作業のほか、ロボット等の機械によって行われる作業がある。
「ライン作業」とは、一連の作業工程の集合体を示すものであって、所定のライン形状で作業工程が配置されたライン生産方式と称される方式で行われる作業である。また、「セル作業」とは、一連の作業工程の集合体を示すものであって、ライン作業における所定のライン形状のうち、U字形状や二の字形状などの特別な形状で作業工程が配置されたセル生産方式と称される方式で行われる作業である。
作業の一例としては、加工、組立、接合、塗装、検品、ピッキング等の各作業工程を経て商品や組立物の組み立てが行われる組み立てライン等が挙げられる。「作業工程(作業工程における作業)」とは、一連の作業要素の集合体を示すものであって、例えば、エンジン組み付け、バンパー取り付け、タイヤ取り付け等が挙げられる。
「作業要素」とは、一連の動作の集合体を示すものであって、例えば、車両部品を準備、車両部品のセット位置を確認、車両部品をセット、車両部品の組み付け等が挙げられる。「動作」とは、作業を細分化したときの最小単位を示すものである。
<Overall configuration of the work analysis system>
Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
As shown in FIG. 1 , the work analysis system S includes a
In this embodiment, a "task" refers to a line job or cell job that is made up of a plurality of work steps and in which each work step is performed in a linked manner. In addition to work performed by workers, there is also work performed by machines such as robots.
"Line work" refers to a collection of a series of work processes, and is work carried out in a system known as a line production system, in which the work processes are arranged in a specific line shape. "Cell work" refers to a collection of a series of work processes, and is work carried out in a system known as a cell production system, in which the work processes are arranged in a special shape, such as a U-shape or a C-shape, among the specific line shapes in line work.
An example of an operation is an assembly line where products or assemblies are assembled through each operation process such as processing, assembly, joining, painting, inspection, picking, etc. An "operation process (operation in an operation process)" refers to a collection of a series of operation elements, and examples of such operations include assembling an engine, attaching a bumper, and mounting tires.
An "operation element" refers to a collection of a series of actions, such as preparing vehicle parts, checking the setting positions of the vehicle parts, setting the vehicle parts, assembling the vehicle parts, etc. An "action" refers to the smallest unit into which a task is broken down.
作業分析装置1は、図1、図2に示すように、作業分析を行う分析者によって用いられるコンピュータであって、撮像装置100、200、300と通信を行い、これら撮像装置から取得した作業動画(作業動画データ)を記憶する。そして、作業の改善を図るために、作業動画に基づいてユーザ操作を主とした作業分析(手動作業分析とも称する。)、ユーザ操作を主としない作業分析(自動作業分析、AI作業分析とも称する。)等を行う。
そして、作業分析装置1は、分析処理の結果(分析結果)を基に作業標準データを作成し、作業標準データを表示画面に出力表示するほか、紙媒体で出力印刷することもできる。
作業分析装置1は、上記自動作業分析(AI作業分析)として、図4に示すメニュー画面、図5に示す作業分析画面を通じて、後述する種々の作業分析処理(作業分節処理とも称する。)を行うことができる。
1 and 2, the
The
As the above-mentioned automatic task analysis (AI task analysis), the
撮像装置100、200、300は、図1、図2に示すように、種別の異なる撮像装置(例えば撮像カメラ)であって、一連の作業を撮像して作業動画を記録する。そして、作業動画を示す作業動画データを作成し、作業分析装置1に作業動画データを送信する。
撮像装置100、200、300は、それぞれ設置位置(設置箇所、設置場所とも称する。)を異にし、また撮像対象を異にするものである。
「設置位置」の違いとしては、作業空間(作業部屋)における天井位置、壁面位置(側面位置)、床位置、入り口等が挙げられ、また作業分析者の手元位置、作業者の身***置(例えば作業者の頭部)等が挙げられる。「撮像対象」の違いとしては、作業者、機械、部品(製品)、等の対象オブジェクトが挙げられ、また対象オブジェクトの作業内容(移動、手元の動作、アームの動作等)が挙げられる。なお、「撮像対象」の違いには、作業空間の全体、作業空間の一部(特定領域)、作業者の手元等の撮像内容がさらに挙げられても良い。
1 and 2, the
The
Differences in "installation positions" include the ceiling position, wall position (side position), floor position, entrance, etc. in the work space (work room), as well as the position of the work analyst's hands and the body position of the worker (e.g. the worker's head). Differences in "image capture targets" include target objects such as workers, machines, parts (products), etc., as well as the work content of the target objects (movement, hand movements, arm movements, etc.). Differences in "image capture targets" may further include the image capture content of the entire work space, a part of the work space (specific area), the worker's hands, etc.
第1撮像装置100は、分析者の手元位置を「設置位置」とする手持ちカメラであって、全ての対象オブジェクト、全ての作業内容を「撮像対象」とするものである。主として作業者の移動、作業者の手元の動きを「撮像対象」とする。なお、作業空間の一部を「撮像対象」とすることもできる。
第2撮像装置200は、作業者の頭部に身に着けられ、作業者の身***置(頭部位置)を「設置位置」とするウェアラブルカメラであって、主として作業者の手元の動き、機械のアームの動きを「撮像対象」とするものである。
第3撮像装置300は、作業空間の天井位置を「設置位置」とする天井カメラであって、主として作業者の移動を「撮像対象」とするものである。また、作業空間の一部又は全体を「撮像対象」とすることもできる。
具体例として、図10には、各撮像装置100、200、300によって撮像された作業動画(作業動画の一部)が示されている。
The
The
The
As a specific example, FIG. 10 shows a work video (a part of the work video) captured by each of the
撮像装置の種類としては、手持ちカメラ、ウェアラブルカメラ、天井カメラのほか、固定カメラ(壁面固定カメラ)、追尾カメラ、360度カメラ等がある。
より詳しくは、図9に示す「撮像装置種別データ」に、撮像装置の種別情報、具体的には「種類」、「設置位置」、「撮像対象」に関する種別情報が対応付けて示されている。
このように、所定の作業を撮像する撮像装置の「種類」や「設置位置」、「撮像対象」によって、同じ作業であっても撮像される作業内容が異なって記録され、異なる作業動画データが作成される。
The types of imaging devices include handheld cameras, wearable cameras, ceiling cameras, fixed cameras (wall-mounted cameras), tracking cameras, 360-degree cameras, and the like.
More specifically, the "imaging device type data" shown in FIG. 9 shows type information of the imaging device, specifically type information related to "type", "installation position" and "imaging subject", in association with each other.
In this way, depending on the "type,""installationlocation," and "image capture target" of the imaging device that captures a specific task, the captured work content will be recorded differently even for the same task, and different work video data will be created.
なお、作業分析システムSは、作業分析装置1と、撮像装置100、200、300とを備えた構成に限定されず、種別の異なる撮像装置や種別の同じ撮像装置をさらに備えていても良い。作業分析システムSは、作業分析装置1と、1つの撮像装置とを備えた構成にしても良い。
あるいは、作業分析装置1が撮像部(撮像装置)を兼ね備えたものであっても良い。具体的には、作業分析装置1が、作業を撮像して作業動画を記録しながらリアルタイムで作業分析する際に用いられるモバイル型の作業分析装置であっても良い。その場合には、作業分析システムSは、作業分析装置1(モバイル作業分析装置)のみを備えた構成にしても良い。
The work analysis system S is not limited to a configuration including the
Alternatively, the
<<手動作業分析>>
作業分析装置1は、作業動画を表示画面に表示し、ユーザ操作を受け付けて作業動画に対し作業要素ごとに分節する処理を行い、分析処理の結果(分析結果データ)を出力する。例えば、所定の作業を複数サイクル撮像した作業動画それぞれに対し分節する処理を行い、各サイクルの作業(作業要素)のバラツキを確認するサイクル分析を行うことができる。
<<Manual Work Analysis>>
The
具体的には、作業分析装置1は、図5、図6に示すように、ユーザ操作の入力を受け付けて作業要素ごとに「レイティング率(Rat)」を設定し、「作業標準時間(標準時間)」を算出する。そのほか、作業要素ごとに「動作種別(種別)」等を設定できる。
なお、図5は、後述の「自動作業分析」における作業分析画面を示すが、「手動作業分析」における作業分析画面においても同様の画面レイアウトとなる。図6に示す「作業要素一覧データ」は、作業要素ごとの詳細内容の一覧を示すデータであって、ユーザ操作の入力を受け付けて上述した項目内容が入力、更新されるものである。
Specifically, the
5 shows a work analysis screen for "automatic work analysis" described below, but the work analysis screen for "manual work analysis" has a similar screen layout. The "work element list data" shown in Fig. 6 is data showing a list of detailed content for each work element, and the above-mentioned item content is input and updated by accepting input from a user operation.
「レイティング率」とは、対象物に対して所定の基準に基づいて等級分けや数値化を図るための数値である。例えば、作業動画内に表示された作業者が成熟しているか否か、作業に慣れているか否か等を評価する評価値である。
「作業標準時間」とは、その仕事に適性を持ち、成熟した作業者が、所定の作業条件のもとで、必要な余裕を持ち、正常な作業ペースによって仕事を遂行するために必要とされる時間である。作業標準時間は、一般に有効動作の時間に対してレイティング率を積算することで算出される。
「動作種別」とは、例えば、各作業要素に対し「有効動作」、「無効動作」及び「無駄動作」の分類の中から1つ選択して入力される項目である。「有効動作」は、作業における有効な動作がなされたことを示し、「無効動作」は、作業における無効な動作がなされたことを示す。「無駄動作」は、作業としては有効な動作であるが、分析結果として「不必要」であると認定した動作である(無効動作とは異なる動作である)。
そのほか、図示していないが、作業分析装置1は、作業要素ごとに「区分」等を設定できる。「区分」とは、各作業要素に対し「稼働」、「準稼働」及び「非稼働」の分類の中から1つ選択して入力される項目である。「稼働」は作業者が作業中の状態を示し、「準稼働」は機械が動作する状態を示し、「非稼働」は作業者も機械も動作していない待ち状態を示す。
The "rating rate" is a numerical value for classifying or quantifying an object based on a predetermined standard. For example, it is an evaluation value for evaluating whether a worker shown in a work video is mature or accustomed to the work.
"Standard work time" is the time required for a mature worker who is suitable for a job to complete the job under specified working conditions with the necessary leeway and at a normal work pace. Standard work time is generally calculated by multiplying the rating rate by the effective operation time.
"Action type" is an item in which, for example, one of the categories of "valid action,""invalidaction," and "wasteful action" is selected and input for each work element. "Valid action" indicates that a valid action has been performed in the work, and "invalid action" indicates that an invalid action has been performed in the work. "Wasteful action" is an action that is valid as a work, but has been determined to be "unnecessary" as a result of analysis (it is different from invalid actions).
In addition, although not shown, the
<<自動作業分析>>
作業分析装置1は、作業に関する分析要素(例えば作業者、作業内容、撮像装置の種別など)に基づいた複数の分析処理(分析AIとも称する。)を作業要素ごとに行う。
作業分析装置1は、ユーザ操作による所定の分析要素の選択を選択条件として受け付けて、複数の分析処理の中からユーザによる選択条件に基づく、適切な分析処理を選定する。そして、選定された分析処理の中から、ユーザ操作により決定された分析処理の実行を行い(自動で行い)、分析処理の結果(分析結果データ)を出力する。
具体的には、以下の通りである(もちろん以下の手法に限定されるものではない)。
<<Automatic Work Analysis>>
The
The
Specifically, the method is as follows (of course, the method is not limited to the following method).
作業分析装置1は、まず、ユーザ操作を受け付けて(手動で)、1サイクル分の作業動画に対し作業要素ごとに分析処理(分節処理)を行い、分析結果データを「教師データ」として学習する。そして、3次元対象認識技術を用いて「教師データ」となる「分析結果データ」から対象オブジェクト(作業者、機械など)の3次元空間上での姿勢、体勢、形態を推定する。例えば、作業者の上半身の姿勢の変化を特徴量として取得し、類似する特徴量をグループ化して複数の単位動作に分類する。作業者の姿勢の変化の特徴が類似する場合には、同一動作が行われたものとみなす。そうすることで、作業者の作業位置の違いや、撮像装置の設置位置の違い等に対応して対象オブジェクトの動作を認識できる。
そして、作業分析装置1は、「教師データ」となる、作業要素の区切り目が設定された「分析結果データ」を用いて、作業における作業要素と、作業要素を細分化した単位動作の並びとの対応付けを行う。また、作業要素を構成する単位動作の組み合わせの変化パターンを推定し、「AI学習モデル(機械学習モデル)」を生成する。そうすることで、同じ作業であっても、作業者ごとに異なる動作の違いや同じ作業者で生じる細かな動作の違いを認識できる。また、「AI学習モデル」が単位動作の並びに基づいて作業要素を認識することで、一連の作業の中で「ネジ部品を締め付ける」などの同じ作業要素が複数存在する場合であっても、作業分析装置1が作業における単位動作の並びを考慮して作業要素を検出できる。
上記手法により、作業分析装置1は、対象オブジェクト(作業者、機械など)の動作を認識し(自動認識し)、対象オブジェクトによる作業(作業内容)を作業要素ごとに種々分析することができる。
The
The
Using the above method, the
<<分析処理(分析AI)>>
作業分析装置1は、ユーザの要望に応じて(ユーザ操作による分析要素の選択を選択条件として受け付けて)、複数の分析処理の中から適切な1又は複数の分析処理を選定し、選定した分析処理を表示画面に提示する。
選定される分析処理群(分析AI群、作業改善AI群とも称する)は、下記の通りである。なお、下記の分析処理に限定されるものではなく、新規な分析処理を適宜アップデートすることも可能である。
<<Analysis processing (analysis AI)>>
The
The analysis process group (also called analysis AI group or work improvement AI group) to be selected is as follows. Note that the analysis process is not limited to the following, and it is also possible to update new analysis processes as appropriate.
作業分析装置1によって選定され、実行される分析処理として、作業分節処理(作業分節AI)、手元分析処理(手元分析AI)、部材位置トラッキング処理(部材位置トラッキングAI)、機械動作トラッキング処理(機械動作トラッキングAI)、エルゴノミクス処理(エルゴノミクスAI)、両手・片手分析処理(両手・片手分析AI)、画像異変検知処理(画像異変検知AI)、サーブリック分析処理(サーブリック分析AI)、動作経済の原則処理(動作経済の原則AI)等が挙げられる。
The analysis processes selected and executed by the
「作業分節処理」は、図11に示すように、撮像装置によって記録された作業動画に対し、作業者を分析対象(対象オブジェクトとも称する。)として作業者の作業内容を作業要素ごとに自動分節する処理である。具体的な作業内容としては、上半身作業、歩行を伴う作業、他の作業者との共同作業、機械との共同作業等が挙げられる。手元作業を分析することも可能である。分析対象は、機械、部品、製品であっても良い。
「手元分析処理」は、作業動画に対し、作業者を分析対象とし、主として作業者の手元の細かい作業内容を作業要素ごとに自動分節する処理である。具体的な作業内容としては、手元作業、上半身作業等が挙げられる。他方で、「作業分節処理」で行われる歩行を伴う作業、共同作業等には、比較的不向きな処理とも言える。
As shown in FIG. 11, the "task segmentation process" is a process for automatically segmenting the work content of a worker into work elements for a work video recorded by an imaging device, with the worker as the analysis target (also called the target object). Specific work content includes upper body work, work involving walking, collaborative work with other workers, collaborative work with machines, etc. It is also possible to analyze the work at hand. The analysis target may be a machine, a part, or a product.
The "hands analysis process" is a process that analyzes the worker in the work video and automatically segments the detailed work content of the worker's hands into work elements. Specific work content includes hand work, upper body work, etc. On the other hand, it can be said that this process is relatively unsuitable for work that involves walking, collaborative work, etc., which are performed in the "work segmentation process."
「部材位置変化トラッキング処理」は、作業動画に対し、部品や製品等の作業対象物を分析対象とし、主として作業対象物の位置、向き、変化(状態変化)を作業要素ごとに自動分節する処理である。具体的には、ライン作業や機械加工作業等において作業対象物の位置や向き、変化をトラッキングする際に用いられる分析処理である。
「機械動作トラッキング処理」は、作業動画に対し、機械を分析対象とし、主として機械の動作を作業要素ごとに自動分節する処理である。具体的には、ライン作業や機械加工作業等において機械の動作に伴う位置や向きをトラッキングする際に用いられる分析処理である。
The "part position change tracking process" is a process that automatically segments the position, orientation, and changes (state changes) of work objects, such as parts and products, for each work element in the work video. Specifically, it is an analysis process used when tracking the position, orientation, and changes of work objects in line work, machining work, etc.
"Machine movement tracking processing" is a process that automatically segments the machine movement into each work element by analyzing the machine in the work video. Specifically, it is an analysis process used to track the position and orientation of the machine movement in line work, machining work, etc.
「エルゴノミクス処理」は、作業動画に対し、作業者を分析対象として作業者の動作が「所定の動作基準」に基づいた動作となっているか否かを判断し、作業動画の一部に対して作業者の動作が「所定の動作基準」に基づいた動作となっていないと判断した場合に、作業動画の一部に対して「動作基準に関する記録情報」を付与する処理である。
具体的には、エルゴノミクス処理は、作業動画に対し、作業者の動作が「人間工学に即した動作」となっているか否かを判断する。すなわち、作業者が作業を適切に行っているときであっても、作業者が無理な態勢や体に負担がかかった状態で作業を行っている場合には、エルゴノミクス処理が当該作業者による動作を検出する。
エルゴノミクス処理は、作業動画に対し、作業者が無理な態勢や体に大きな負担がかかった状態で行った作業を分節することができる。
"Ergonomics processing" is a process in which a work video is analyzed to determine whether the worker's movements are based on "predetermined movement standards," and if it is determined that the worker's movements for a part of the work video are not based on the "predetermined movement standards,""recorded information related to the movement standards" is added to that part of the work video.
Specifically, the ergonomics process judges whether the movements of the worker in the work video are "ergonomic movements." In other words, even if the worker is performing the work appropriately, if the worker is performing the work in an unnatural position or with a strain on the body, the ergonomics process detects the movements of the worker.
Ergonomics processing can segment work videos into tasks performed by workers in awkward positions or under great strain on the body.
エルゴノミクス処理は、図12に示すように、作業者の動作が「所定の動作基準」に基づいた動作となっていないと判断した場合に、作業動画の一部に対して「動作基準に関する記録マーク」を付与する。なお、記録マークに限定されず、記録メモのような記録情報であっても良い。
具体的には、エルゴノミクス処理は、図13に示す「エルゴノミクス評価データ」を参照して、「作業対象物の重量による負荷」と、「作業者の姿勢による負荷」とに基づいて決定される記録マークを付与する。
「エルゴノミクス評価データ」によれば、「作業対象の重量による負荷」は、記録マークの大きさ(例えば大マーク、中マーク、小マーク)によって示される。また、「作業者の姿勢による負荷」は、記録マークの色の違い(例えば、黒色、灰色、白色)によって示される。
例えば、図12に示す左側から3番目の作業要素の動画によれば、エルゴノミクス処理は、作業者による「部品を取る動作」が「人間工学に即した動作」となっていないことを判断し、作業者の腰部に「黒色の大マーク」を付与し、また作業者の上半身(肘部)に「白色の小マーク」を付与していることが分かる。
In the ergonomics process, when it is determined that the worker's movement is not based on the "predetermined movement standard," a "record mark related to the movement standard" is added to a part of the work video, as shown in Fig. 12. Note that the mark is not limited to a record mark, and may be record information such as a record memo.
Specifically, the ergonomics processing refers to the "ergonomics evaluation data" shown in FIG. 13 and assigns a recording mark that is determined based on the "load due to the weight of the work object" and the "load due to the worker's posture."
According to the "ergonomics evaluation data," the "load caused by the weight of the work object" is indicated by the size of the recording mark (e.g., large mark, medium mark, small mark), and the "load caused by the worker's posture" is indicated by the different colors of the recording mark (e.g., black, gray, white).
For example, in the video of the third task element from the left in FIG. 12, it can be seen that the ergonomics processing has determined that the "action of picking up the part" by the worker is not an "ergonomic action," and has placed a "large black mark" on the worker's lower back and a "small white mark" on the worker's upper body (elbow).
「両手・片手分析処理」は、作業動画に対し、作業者を分析対象として作業者の手の種別(例えば片手(右手、左手)、両手、なし)を自動検出し、手の種別を作業要素ごとに分節する処理である。詳しく述べると、両手・片手分析処理は、作業者が片手作業をしているか、両手作業をしているか、手作業をおこなっていないか等を自動検出する。
例えば、図14に示す作業動画の分節処理によれば、両手・片手分析処理は、作業動画に対し、作業者の片手作業と、作業者の両手作業とをそれぞれ検出し、作業分節する処理を行っていることが分かる。
なお、図14に示すように、作業者の片手作業を示す動画と、作業者の両手作業を示す動画とを異なる色でハイライト表示して識別することができる。あるいは、片手作業を示す動画に対して文字「片手」を付与し、両手作業を示す動画に対して文字「両手」を付与することで識別しても良い。
The "two-handed/one-handed analysis process" is a process that automatically detects the type of hand of a worker (e.g., one hand (right hand, left hand), both hands, none) for a work video, analyzing the worker, and segments the hand type for each work element. In more detail, the two-handed/one-handed analysis process automatically detects whether a worker is performing one-handed work, two-handed work, or no manual work.
For example, according to the segmentation process of the work video shown in Figure 14, it can be seen that the two-handed/one-handed analysis process detects the work video as being performed by a worker with one hand and the work video as being performed by a worker with both hands, and performs the process of segmenting the work.
As shown in Fig. 14, videos showing a worker performing one-handed tasks and videos showing a worker performing two-handed tasks can be distinguished by highlighting them in different colors. Alternatively, the characters "one hand" may be added to videos showing one-handed tasks and the characters "both hands" may be added to videos showing two-handed tasks.
「画像異変検知処理」は、作業動画に対し、作業者を分析対象として作業者の不正な動作を自動検出し、作業動画の一部に対して作業者の不正動作を検出した場合に、当該作業動画の一部に対して「不正な動作を示す記録情報」を付与する処理である。
詳しく述べると、エルゴノミクス処理は、作業者が作業を行っているときに「禁止された動作、不要な動作(明らかに不要な動作)」、「使用禁止されたツール、材料、部品、製品を使用した動作、不正なツールを使用した動作」等を検出する。
The "image anomaly detection process" is a process in which a work video is analyzed to automatically detect any unauthorized behavior by the worker, and if unauthorized behavior by a worker is detected in part of the work video, "recorded information indicating unauthorized behavior" is added to that part of the work video.
In detail, ergonomics processing detects "prohibited actions, unnecessary actions (clearly unnecessary actions),""actions using prohibited tools, materials, parts, and products, actions using unauthorized tools," etc. while a worker is performing work.
「画像異変検知処理」は、「禁止された動作」や「使用禁止されたツールを用いた動作」の検知(第1不正検知)を行い、また「明らかに不要な動作」や「不正なツールを使用した動作」の検知(第2不正検知)を行うことができる。第1不正検知は、第2不正検知よりも重要度(不正の重要度)が高いものである。例えば重要度は、不正の重要度が高い順に「高」、「中」、「小」などと表現されると良い。
そうすることで、画像異変検知処理は、不正検知の検知レベルによって第1不正検知、第2不正検知等を設定しながら、作業分節を行うことができる。
画像異変検知処理は、作業動画の一部に対して検知レベルに応じた記録情報を付与する。このときの記録情報は、検知レベルによって異なる記録マーク、記録メモ、記号等であると良い。
なお、第1不正検知を検出した場合には、画像異変検知処理は、緊急アラートを報知することとしても良い。
The "image anomaly detection process" can detect "prohibited actions" and "actions using prohibited tools" (first fraud detection), and can also detect "clearly unnecessary actions" and "actions using unauthorized tools" (second fraud detection). The first fraud detection has a higher importance (importance of fraud) than the second fraud detection. For example, the importance can be expressed in order of increasing importance of fraud as "high,""medium," or "low."
In this way, the image anomaly detection process can be divided into tasks while setting a first fraud detection, a second fraud detection, etc. according to the detection level of the fraud detection.
In the image anomaly detection process, recording information according to the detection level is added to a part of the work video. The recording information at this time may be a recording mark, a recording memo, a symbol, or the like that differs depending on the detection level.
In addition, when the first fraud detection is detected, the image anomaly detection process may be configured to issue an emergency alert.
「サーブリック分析処理」は、微動作分析処理とも称され、作業動画に対し、作業者を分析対象として作業者の両手を主とした手元の微動作を作業要素ごとに分節する処理である。当該処理では、作業者の手元動作の順序や方法を18種類の基本動作(サーブリック動作とも称される。)の繋がりをもって分析する処理である。例えば、作業者の細かい手元作業の分析に向いた処理と言える。 "Servric analysis processing", also known as micro-motion analysis processing, is a process that analyzes a video of a worker and segments the micro-motions of the worker's hands, mainly those of both hands, into individual work elements. This process analyzes the sequence and method of the worker's hand movements in relation to 18 types of basic movements (also known as Servric movements). For example, this process is suitable for analyzing the detailed manual work of a worker.
「動作経済の原則処理」は、作業動画に対し、作業者を分析対象として作業者の動作が「動作経済の原則」に基づいた動作となっているか否かを判断する。そして、作業動画の一部に対して作業者の動作が「動作経済の原則」に基づいた動作となっていないと判断した場合に、作業動画の一部に対して「動作経済の原則に関する記録情報」を付与する。
「動作経済の原則」とは、作業者が最小限の疲労で最大の成果を上げられるように、最も良い作業動作を実現しようとする原則を言う。具体的には、動作経済の原則処理は、(1)動作の数を減らす、(2)動作を同時に行う、(3)動作の距離を短くする、(4)動作を楽にする、という4つの基本原則に基づいた動作が実現されているか否かを判断する。
動作経済の原則処理は、作業動画の一部に対して、作業者の動作が「動作経済の原則」に基づいていない動作と判断したときに記録情報を付与する。このときの記録情報は、動作経済の検知レベルによって異なる記録マーク、記録メモ、記号等であると良い。
The "principle of motion economy processing" analyzes the worker in the work video and judges whether the worker's movements are based on the "principle of motion economy." If it is judged that the worker's movements for a part of the work video are not based on the "principle of motion economy,""record information related to the principle of motion economy" is added to the part of the work video.
The "principle of motion economy" refers to a principle that aims to realize the best work motions so that a worker can achieve the maximum results with the minimum fatigue. Specifically, the motion economy processing judges whether or not the motions based on the four basic principles of (1) reducing the number of motions, (2) performing the motions simultaneously, (3) shortening the distance of the motion, and (4) making the motion easier are realized.
The principle of motion economy processing adds recording information to a part of a work video when it is determined that the worker's motion is not based on the "principle of motion economy." The recording information at this time may be a recording mark, a recording memo, a symbol, etc. that differs depending on the detection level of the motion economy.
<<分析処理の選定>>
作業分析装置1は、作業に関する複数の分析処理と、作業に関する複数の分析要素と、分析要素ごとの分析処理の重みを示す評価情報(スコア)とを含む「分析特徴データ」を記憶している(図7A、図7B参照)。
作業分析装置1は、ユーザ操作による所定の分析要素の選択を選択条件として受け付けると、「分析特徴データ」を参照して上記複数の分析処理の中から、ユーザによる選択条件に基づく、分析処理の重みに応じた1又は複数の分析処理(分析AI)を選定する(第1の選定処理)。
あるいは、作業分析装置1は、作業の撮像に用いられる「撮像装置の種別情報」を取得し、図7A、Bに示す「分析特徴データ」と、図8に示す「第2分析特徴データ」とを参照して上記複数の分析処理の中から1又は複数の分析処理(分析AI)を選定しても良い(第2の選定処理)。
<<Selection of analysis process>>
The
When the
Alternatively, the
詳細は後述するが、前者の「第1の選定処理」として、作業分析装置1は、撮像装置によって記録される作業動画の内容については問わず、ユーザの要望に基づいて「分析特徴データ」をもとに適切な分析処理を選定する。
例えば、ユーザが対象オブジェクトごとの動作を分析したい場合に、対象オブジェクトの分析を得意とする分析処理群を選定する。
後者の「第2の選定処理」としては、作業分析装置1は、作業動画の全体内容を俯瞰して撮像装置の種別情報(例えば種類、設置位置、設置角度など)を取得した上で、ユーザの要望に基づいて「分析特徴データ」、「第2分析特徴データ」をもとに適切な分析処理を選定する。
例えば、箱の組み立て作業を分析する場合に、まずは作業動画の全体内容を俯瞰して(全体内容をもとに画像構成を把握して)、天井に設置された撮像装置によって記録されたものであること、作業者のみ、機械のみ、あるいは作業者及び機械によって行われた作業動画であること等を把握する。その上で、ユーザが対象オブジェクトごとの動作を分析したい場合に、撮像装置の種別と、対象オブジェクトの種別とを考慮しながら、対象オブジェクトの分析を得意とする分析処理群を選定する。
Details will be described later, but in the former "first selection process", the
For example, when a user wants to analyze the operation of each target object, the user selects an analysis process group that is good at analyzing target objects.
As the latter "second selection process", the
For example, when analyzing the assembly work of a box, first, the entire content of the work video is overviewed (the image composition is understood based on the entire content), and it is understood that it was recorded by an imaging device installed on the ceiling, that it is a video of work performed by only workers, only machines, or both workers and machines, etc. If the user then wants to analyze the actions of each target object, an analysis process group that is good at analyzing target objects is selected while taking into consideration the type of imaging device and the type of target object.
言い換えれば、「第1の選定処理」では、作業分析装置1が、全ての分析処理群(分析AI群)から適切な分析処理を選定する。「第2の選定処理」では、作業分析装置1が、「作業動画の内容」をもとに不適合の分析処理を選定候補から除外した上で、残りの分析処理群から適切な分析処理を選定するものである。
なお、「第1の選定処理」と「第2の選定処理」において、選定処理のプロセスに違いはあるものの、結果的に同じ分析処理(分析AI)が選定されることがある。他方で、選定候補となる分析処理が多数存在する場合には、「第2の選定処理」を採用することで、より精度の高い選定を行うことができる。具体的には、多数の分析処理群の中から選定候補となり得る分析処理を大まかに選定(予備選定)した上で、その選定候補の中からユーザの要望に応じた分析処理を選定(本選定)することができる。
In other words, in the "first selection process", the
Although there are differences in the selection process between the "first selection process" and the "second selection process", the same analysis process (analysis AI) may be selected as a result. On the other hand, when there are many analysis processes that can be selected as candidates, a more accurate selection can be performed by adopting the "second selection process". Specifically, it is possible to roughly select (preliminary selection) analysis processes that can be selection candidates from a large number of analysis process groups, and then select (main selection) an analysis process that meets the user's needs from the selection candidates.
<<分析処理と撮像装置の対応付け>>
作業分析装置1は、所定の作業動画に対して所定の分析処理を行うにあたって、作業動画を記録する撮像装置の種別(種類、設置位置、撮像対象等)と、分析処理の特徴(分析要素1、2、3等)とに基づいて、撮像装置と当該撮像装置に適した分析処理との対応付けを行う。
詳しく述べると、作業分析装置1は、図7A、Bに示す「分析特徴データ」と、図9に示す「撮像装置種別データ」ともとに撮像装置ごとに適した分析処理の対応付けを行う。
なお、作業分析装置1が、1台の撮像装置によって記録された作業動画に対して1又は複数の作業分析を行う場合には、撮像装置と分析処理の対応付けを改めて行う必要はない。また、作業分析装置1が、複数の撮像装置によって記録された作業動画に対して1の作業分析を行う場合であっても、対応付けを改めて行う必要はない。
<<Association of analysis process and imaging device>>
When performing a specified analysis process on a specified work video, the
More specifically, the
When the
一例として、作業分析装置1が、図1に示す作業に対して、上述した分析処理の選定、ユーザによる分析処理の決定を経て、「作業分節処理」、「エルゴノミクス処理」及び「両手・片手分析処理」を行う場合を想定する。
この場合、作業分析装置1は、図7A、Bに示す「分析特徴データ」と、図9に示す「撮像装置種別データ」とをもとに、第1撮像装置100(手持ちカメラ)に「作業分節処理」、「エルゴノミクス処理」、「両手・片手分析処理」を対応付けて、第2撮像装置200(ウェアラブルカメラ)に「作業分節処理」、「両手・片手分析処理」を対応付けて、第3撮像装置300(天井カメラ)に「作業分節処理」を対応付ける。
As an example, assume that the
In this case, based on the "analysis feature data" shown in Figures 7A and B and the "imaging device type data" shown in Figure 9, the
なお、作業分析装置1は、作業動画を記録する撮像装置と、撮像装置に適した分析処理との対応付けを予め指定しておいても良い。つまりは、撮像装置ごとに任意の分析処理がデフォルト設定された状態となっていても良い。その場合には、撮像装置の種別(種類、設置位置、撮像対象)と、分析処理の特徴(分析要素1、2、3)とに基づいて、撮像装置ごとに適した分析処理が設定されていると良い。予め対応付けが行われている場合には、当然ながら作業分析装置1は、複数の分析処理の中から適した分析処理を選定する必要はない。
作業分析装置1は、ユーザ操作による任意の決定に基づいて撮像装置ごとに分析処理の対応づけを行っても良い。この場合においても、当然ながら作業分析装置1は、分析処理の選定を行う必要はない。
The
The
<<分析処理の実行>>
作業分析装置1は、作業を記録した作業動画に対して、選定された分析処理の中からユーザ操作により決定された「1又は複数の分析処理」を行い、分析処理の結果(分析結果データ)を出力する。
詳しく述べると、作業分析装置1は、撮像装置によって記録された作業動画に対して、当該撮像装置に対応付けられた「1又は複数の分析処理」を行い、分析処理の結果を出力する。
作業分析装置1は、所定の作業(作業動画)に対して複数の分析処理を行う場合には、複数の分析処理の結果を組み合わせた(併合させた)分析処理の結果(併合分析結果とも称する。)を出力する。具体的には、所定の作業に対して作業動画の併合(マージとも称する。)と、それぞれの分析結果の併合とを行った併合分析結果(併合分析結果データ)を出力する。
なお、作業分析装置1は、それぞれ個別の分析結果、作業動画の併合のみを行った分析結果、作業動画の併合を行わずに分析結果の併合のみを行った結果を出力しても良い。
<<Executing analysis process>>
The
More specifically, the
When multiple analysis processes are performed on a predetermined task (task video), the
The
具体例として、図1、図10~図14に示すように、作業分析装置1が、第1撮像装置100、第2撮像装置200及び第3撮像装置300と通信可能に接続され、部品の組み立て作業(作業動画)に対して「作業分節処理」、「エルゴノミクス処理」及び「両手・片手分析処理」を行う場合を想定する。
作業分析装置1は、第1撮像装置100(手持ちカメラ)によって記録された作業動画に対して「作業分節処理」、「エルゴノミクス処理」、「手元分析処理」を行う。そして、第2撮像装置200(ウェアラブルカメラ)によって記録された作業動画に対して「作業分節処理」、「手元分析処理」を行う。そして、第3撮像装置300(天井カメラ)によって記録された作業動画に対して「作業分節処理」を行う。
その後、作業分析装置1は、図15に示すように、それぞれの作業動画の併合と、それぞれの分析処理結果の併合とを行った併合分析結果を出力する。
図15の併合分析結果によれば、(1)作業要素ごとに分節処理が行われていること、(2)作業者が「人間工学に即した動作」となっていない作業(作業要素)に対して記録マークが付与されていること、そして、(3)作業者の片手作業と、作業者の両手作業とを作業要素ごとに異なる色でハイライト表示していることが分かる。
As a specific example, as shown in Figures 1 and 10 to 14, it is assumed that the
The
Thereafter, the
The combined analysis results in Figure 15 show that (1) segmentation processing is performed for each work element, (2) a record mark is added to work (work element) in which the worker does not perform "ergonomic movements," and (3) the worker's one-handed work and the worker's two-handed work are highlighted in different colors for each work element.
作業分析装置1は、図15に示すように、所定の作業に対して作業動画の併合と、それぞれの分析結果の併合とを行った併合分析結果をサイクルごとに表示画面(作業分析画面)に出力できる。具体的には、図5に示す作業分析画面を通じて、併合させた作業動画を再生することができ、それぞれの分析結果を作業要素ごとに一覧表示することができる。
As shown in FIG. 15, the
図5に示す作業分析画面40のレイアウトによれば、左上部分の表示領域には、作業動画41(併合された作業動画)が表示されている。
作業分析画面40の下部分の表示領域には、分析結果42(併合分析結果)が作業要素ごとに分節されて表示されている。分析結果42には、作業動画の分節位置の情報と、分析処理により記録された記録情報とが表示され、また作業動画の再生時点を示すシークバー42aと、分析処理(分析処理の名称)42bとが表示されている。
作業分析画面40の右上部分の表示領域には、作業要素一覧表43が表示されている。作業要素一覧表43には、識別番号(Nо.)、作業要素、エルゴノミクス評価(エルゴ評価)、両手・片手評価(両手・片手)、種別、要素時間、有効時間、無効時間、レイティング(Rat)、標準時間の情報のほか、作業の合計時間(計)、サイクル情報等が表示されている。なお、全サイクルにおいてベストラップ、ワーストラップの作業時間を示す表示マークなどが表示されても良い。
上記「エルゴノミクス評価」は、エルゴノミクス処理の結果、作業要素に対して記録された記録情報を示すものである。「両手・片手評価」は、両手・片手分析処理の結果、作業要素に対して記録された片手作業の情報(両手作業の情報)を示すものである。
作業分析画面40の画面レイアウトについては、レイアウト切替ボタン44によって適宜切り替えることができる。また、サイクル切替ボタン45によってサイクルを切り替え表示することができる。
According to the layout of the
The analysis results 42 (combined analysis results) are displayed segmented by work element in the display area at the bottom of the
A
The "ergonomics evaluation" indicates recorded information recorded for a task element as a result of ergonomics processing. The "two-handed/one-handed evaluation" indicates one-handed task information (two-handed task information) recorded for a task element as a result of two-handed/one-handed analysis processing.
The screen layout of the
<<分析処理(分節処理)による分節位置の補正>>
作業分析装置1は、所定の作業を複数の撮像装置によって記録した各作業動画に対し、複数の分節処理を行い、それぞれ分節された分節位置に基づいて「分節位置の補正」を行う。そして、補正された「補正後の分節位置の情報」を含む分析処理の結果を出力する。
詳しく述べると、作業分析装置1は、複数の分節処理の中から、「分析対象及び/又は作業内容の種別」に基づいて所定の分節処理を抽出し、抽出された分節処理それぞれによって分節された分節位置に基づいて「分節位置の補正」を行う。
より詳しく述べると、抽出された分節処理それぞれには、分析対象や作業内容の種別に応じて向き不向き(得手不得手)があること(分節処理の性能に応じた相性があること)から、分析対象や作業内容の種別ごとの「重みづけ」がなされている。
そのため、作業分析装置1は、複数の分節処理の中から、分析対象及び/又は作業内容の種別に基づいて所定の分節処理を抽出し、抽出された分節処理それぞれに対し「所定の重み付け」を行い、抽出された分節処理それぞれによって分節された「分節位置」と、分節処理それぞれになされた「重み」とに基づいて「分節位置の補正」を行う。
上記分析対象(対象オブジェクト)、作業内容の種別ごとの分節処理の重みの情報は、図7A、Bに示す「分析特徴データ」に含まれている。
<<Correction of segment position by analysis processing (segment processing)>>
The
In detail, the
More specifically, since each of the extracted segmentation processes has its own strengths and weaknesses depending on the type of analysis subject and work content (there is compatibility depending on the performance of the segmentation process), a "weighting" is given to each type of analysis subject and work content.
Therefore, the
The information on the weight of the segmentation process for each analysis target (target object) and type of work content is included in the "analysis feature data" shown in FIGS. 7A and 7B.
具体例として、図1、図10~図14に示すように、作業分析装置1が、第1撮像装置100、第2撮像装置200及び第3撮像装置300と通信可能に接続され、部品の組み立て作業(作業動画)に対して「作業分節処理」、「エルゴノミクス処理」及び「手元分析処理」を行う場合を想定する。
この場合に、作業分析装置1は、図15に示すように、「作業分節処理」と、「エルゴノミクス処理」と、「手元分析処理」とによって分節された分節位置に基づいて分節位置の補正を行い、「補正後の分節位置の情報」を含む分析処理の結果を出力する。
より具体的には、以下の通りである。
As a specific example, as shown in Figures 1 and 10 to 14, it is assumed that a
In this case, the
More specifically, it is as follows.
第1の補正パターンとして、作業分析装置1は、第1撮像装置100(手持ちカメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置A1と、第3撮像装置300(天井カメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置A2とから補正を行い、補正後の分節位置Aを設定する。
このように、設置位置が異なる(撮像対象が異なる)撮像装置100、300によって記録された別々の作業動画に対して同じ分析処理を行ったときに、それぞれの分節位置に基づいて分節位置の補正を行うことができる。
As a first correction pattern, the
In this way, when the same analysis process is performed on separate work videos recorded by
第2の補正パターンとして、作業分析装置1は、第1撮像装置100(手持ちカメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置B1と、第2撮像装置200(ウェアラブルカメラ)によって記録された作業動画に対して「手元分析処理」を行った分節位置B2とから補正を行い、補正後の分節位置Bを設定する。
このように、設置位置が異なる(撮像対象が異なる)撮像装置100、200によって記録された別々の作業動画に対して異なる分析処理を行ったときに、それぞれの分節位置に基づいて分節位置の補正を行うことができる。
As a second correction pattern, the
In this way, when different analysis processes are performed on separate work videos recorded by
そのほか、図示していないが、作業分析装置1は、同じ撮像装置(例えば手持ちカメラ)によってサイクルごとに記録された作業動画に対して、第1サイクル目に「作業分節処理」を行った分節位置と、第2サイクル目に「作業分節処理」を行った分節位置とに基づいて補正を行い、補正後の分節位置を設定しても良い。
あるいは、作業分析装置1は、同じ撮像装置(例えば手持ちカメラ)によってサイクルごとに記録された作業動画に対して、第1サイクル目に「作業分節処理」を行った分節位置と、第2サイクル目に「両手・片手分析処理」を行った分節位置とに基づいて補正を行い、補正後の分節位置を設定しても良い。
In addition, although not shown, the
Alternatively, the
上記により、作業分析装置1は、撮像装置によって記録された作業動画に対して、当該撮像装置に対応付けられた分析処理によって作業要素ごとに分節を行い、当該分節を行った分節位置をさらに補正することができる。そのため、作業動画に対してより適切な分節処理を行うことができる。
特に、設置位置が異なる(撮像対象が異なる)撮像装置によって記録された作業動画によって異なった分節位置を考慮して、作業動画(作業内容)の特徴を踏まえながら分節位置の補正を行うことができる。
As a result, the
In particular, it is possible to take into account different segment positions in work videos recorded by imaging devices with different installation positions (different imaging targets) and correct the segment positions while taking into account the characteristics of the work video (work content).
<作業分析システムのハードウェア構成>
作業分析装置1は、図2に示すように、データの演算・制御処理装置としてのCPU2と、ROM、RAM及びHDD(SSD)を有する記憶装置3と、ネットワークを通じて情報データの送受信を行う通信インタフェース4と、文字又は画像の情報を表示する表示部5と、CPUに所定の指令を入力するときにユーザ操作される入力部6と、文字又は画像の情報を出力する出力部7と、を備えたコンピュータである。
作業分析装置1は、撮像装置によって記録された作業動画(作業動画データ)を撮像装置ごとに、またサイクルごとに分けて記憶する。また、作業工程ごとに分けて記憶することもできる。
作業分析装置1の記憶装置3(メモリ)には、コンピュータとして必要な機能を果たすメインプログラムに加えて、作業分析プログラムが記憶されており、当該プログラムがCPU(プロセッサ)によって実行されることにより、作業分析装置1の機能が発揮されることになる。あるいは、CPUを実装した半導体集積回路又はFPGA(Field-Programmable Gate Array)によって実行されても良い。
なお、撮像装置100、200、300についても同様のハード構成を備えたコンピュータである。
<Hardware configuration of the work analysis system>
As shown in FIG. 2, the
The
In addition to a main program that performs the functions required of a computer, a work analysis program is stored in the storage device 3 (memory) of the
The
なお、作業分析装置1がモバイル作業分析装置である場合には、CPU2と、記憶装置3と、通信インタフェース4と、表示部5と、入力部6と、出力部7と、撮像部(撮像装置)と、を備えたモバイルコンピュータとなる。
その場合には、モバイル作業分析装置1は、不図示の外部分析装置と通信を行い、作業分析に関する分析データを送信する。外部分析装置は、モバイル作業分析装置1と通信を行い、分析データを受信し、当該分析データに基づいて詳細分析を行い、詳細分析データを送信する。
In addition, when the
In this case, the mobile
<作業分析システムの機能>
作業分析装置1は、図3に示すように、機能面から説明すると、「作業動画データ」、「作業要素一覧データ」、「分析特徴データ」、「第2分析特徴データ」「撮像装置種別データ」、「分析データ(併合分析データ)」等、各種プログラム及び各種データを記憶しておく記憶部10と、画面表示部11と、分析処理部12と、分析処理選定部13と、種別情報取得部14と、分析処理提示部15と、対応付け部16と、分析実行部17と、分析結果出力部18と、分節位置補正部19と、を主な構成要素として備えている。
これらは、CPU(プロセッサ)、ROM、RAM、HDD、通信用インタフェース、及び各種プログラム等によって構成されている。
<Functions of the work analysis system>
As shown in Figure 3, from a functional perspective, the
These are composed of a CPU (processor), ROM, RAM, HDD, a communication interface, various programs, and the like.
撮像装置100、200、300についても機能面から説明すると、各種プログラム及び各種データを記憶する記憶部110、210、310と、作業分析装置1との間で各種データを送受信する通信部111、211、311と、ユーザ操作の入力を受け付けて操作処理を実行する操作実行部112、212、312と、を主な構成要素として備えている。
Explaining the
以下、作業分析装置1の機能(特に自動分析処理)について詳しく説明する。なお、本実施形態では作業分析装置1が記憶部10を備える構成としているが、あくまで一例に過ぎず、作業分析装置1の外部に設けられた外部記憶装置において記憶部10を実現することとしても良い。この場合、作業分析装置1と外部記憶装置は通信路によって接続されていると良い。
The functions of the work analysis device 1 (particularly the automatic analysis process) are described in detail below. Note that in this embodiment, the
<<1.分析画面の表示>>
画面表示部11は、例えば、ユーザ操作の入力を受け付けて作業分析装置1にインストールされたソフトウェアを実行し、ユーザログインがなされることで、初期画面である「メニュー画面」を表示する。当該メニュー画面は、自動分析処理を行うためのメニュー画面である。
具体的には、画面表示部11は、図4に示すように、メニュー画面30として複数の選択項目から所定の選択項目をユーザ選択させるための一覧画面を表示する。
画面表示部11は、メニュー画面30において選択項目31「お手本登録」のユーザ選択を受け付けると、不図示の動画登録画面へ遷移させる。当該画面では、自動作業分析を行うにあたって、上述したように1サイクル分の作業動画を分析した分析結果データを「お手本データ(教師データ)」として登録する。分析処理部12は、当該分析結果データを「教師データ」として学習する。
<<1. Displaying the analysis screen>>
The
Specifically, as shown in FIG. 4, the
When the
画面表示部11は、メニュー画面30において選択項目32「自動分析」のユーザ選択を受け付けると、図5に示す作業分析画面40へ遷移させる。作業分析画面40は、作業動画を登録して作業分析を行うために用いられる表示画面である。
作業分析画面40では、撮像後の作業動画を表示しながらサイクルごとに作業要素に分節し、作業要素時間の算出、種別設定等を行うことができる。各サイクルの作業(作業要素)のバラツキを確認し、作業要素の並べ替えや、作業工程の編成(組み換え、入れ替え、並び替え)をすることもできる。
When the
On the
画面表示部11は、具体的な機能部として、動画表示部11aと、分析結果表示部11bと、作業要素一覧表示部11cと、を有している。
動画表示部11aは、作業を記録した作業動画を表示画面に表示するものであって、具体的には、作業分析画面40において作業動画41を表示する。
The
The
分析結果表示部11bは、ユーザ操作の入力を受け付けて自動分析処理を行った分析結果を表示する。具体的には、作業分析画面40において分析結果42を表示する。
分析結果42には、シークバー42aと、作業動画に対して行われた分析処理(分析処理の名称)42bとが表示されている。また、分析処理によってなされた分節位置の情報と、付与された記録情報(マークやハイライト)とが表示されている。
図5に示す分析結果42を見ると、複数の分析処理の結果を併合(作業動画の併合、分析結果の併合)した併合分析結果であることが分かる。また、分析処理42bを見ると、「作業分節処理」、「エルゴノミクス処理」及び「両手・片手分析処理」が行われたことが分かる。
The analysis
The
5, it can be seen that the
作業要素一覧表示部11cは、分節された作業要素ごとの作業時間の情報と、作業時間を集計した合計時間の情報とを含む作業要素一覧表43を表示画面に表示する。
具体的には、作業要素一覧表43は、作業要素を識別する識別番号(Nо.)と、作業要素名と、エルゴノミクス評価(エルゴ評価)と、両手・片手評価(両手・片手)と、種別と、作業要素時間の情報と、全ての作業要素の合計時間の情報とを含むものであって、記憶部10に記憶されている。
また、上記作業要素一覧データには、全サイクルにおける平均作業時間、最大作業時間、最小作業時間、各サイクルの作業時間の情報が含まれている。
なお、作業分析画面40を通じた作業要素一覧表43の情報の更新に伴って、図6示す「作業要素一覧データ」の情報も更新され、記憶部10に記憶される。
The task element
Specifically, the
The work element list data also includes information on the average work time, maximum work time, minimum work time, and work time for each cycle in the entire cycle.
In addition, when the information of the
図5に示す作業要素一覧表43を見ると、識別番号「3」、作業要素名「部品をとる」において、エルゴ評価「●○」、両手・片手「片手」、種別「有効」、サイクル1の要素時間「5.00(秒)」、レイティング(Rat)「100(%)」、標準時間「5.00(秒)」であることが分かる。また、作業要素の合計の標準時間「45.00(秒)」であることが分かる。
なお、サイクル1とは、第1番目のサイクルを意味する。
5, it can be seen that for the identification number "3" and task name "pick up parts", the ergonomic evaluation is "●○", both hands/one hand is "one hand", type is "effective", element time for
It should be noted that
<<2.分析処理の選定、提示>>
分析処理部12は、撮像装置によって一連の作業が撮像された作業動画に対し、作業に関する分析要素に基づく分析処理を作業要素ごとに行う。
分析処理部12は、分析処理群とも称され、上述したように分析要素に応じた複数の分析処理部を含むものである。具体的には、作業分節処理、手元分析処理、部材位置トラッキング処理、機械動作トラッキング処理、エルゴノミクス処理、両手・片手分析処理、画像異変検知処理、サーブリック分析処理、動作経済の原則処理等が挙げられる。
本実施形態では、作業分析装置1が、「作業分節処理」を行う第1分析処理部12aと、「エルゴノミクス処理」を行う第2分析処理部12bと、「両手・片手分析処理」を行う第3分析処理部12cとによる分析処理を行うものとして以下、説明する(もちろん、作業分析装置1が「画像異変検知処理」をさらに行っても良い)。
<<2. Selection and presentation of analysis processing>>
The
The
In this embodiment, the
(第1の選定処理)
分析処理選定部13は、作業に関する分析要素に基づいて、複数の分析処理(分析処理部)の中から、所定の分析処理(分析処理部)を選定する。
詳しく述べると、分析処理選定部13は、ユーザ操作による所定の分析要素の選択を選択条件として受け付けて、図7A、Bに示す「分析特徴データ」を参照して複数の分析処理の中から、ユーザによる選択条件に基づく、分析処理の重みに応じた1又は複数の分析処理を選定する。
分析処理提示部15は、分析処理選定部13によって選定された分析処理を表示画面に提示する。
以下、第1の選定処理について具体的に説明する。
(First Selection Process)
The analysis
In detail, the analysis
The analysis
The first selection process will now be described in detail.
記憶部10は、図7A、Bに示すような、作業に関する複数の分析処理と、作業に関する複数の分析要素と、分析要素ごとの分析処理の重みを示す評価情報とを含む「分析特徴データ」を記憶している。
図7A、Bに示す「分析特徴データ」は、作業に関する分析要素に基づいて、分析処理(分析AI)の選択を可能とする分析処理の選択条件データである。具体的には、「分析要素」ごとに各分析処理の重みを示す「評価情報(スコア)」が示されている。
The
7A and 7B are selection condition data for analysis processing that enables selection of analysis processing (analysis AI) based on analysis elements related to the work. Specifically, "evaluation information (score)" indicating the weight of each analysis processing for each "analysis element" is shown.
「分析要素」としては、分析要素1「対象オブジェクト(分析対象)」、分析要素2「作業内容」、分析要素3「撮像装置」、分析要素4「平均処理速度」、分析要素5「利用料金」、分析要素6「実績データ」が挙げられている。
これら分析要素は、上述したように分析処理の重みによってスコアリングされた第1グループに属する分析要素1、2、3と、分析処理の重みによってスコアリングされていない第2グループに属する分析要素4、5、6とに分類される。
第1グループに属する分析要素1、2、3では、スコアをもとに適格性を判断して分析処理の選択が行われる。当該スコアは、各分析処理が行う分析において得意とする又は不得意とする度合いを示す情報(適格性の度合いを示す情報)である。分析処理選定部13は、分析要素1、2、3ごとのスコアをもとに、複数の分析処理の中から適格な分析処理を選定する。
The “analysis elements” include
These analysis elements are classified into
For the
分析要素1「対象オブジェクト」とは、分析対象として作業者(人)、機械、部品、製品等の有体物を示したものである。
例えば、ユーザとなる分析者が「作業者」を分析対象として作業動画の分析処理を行いたい場合、ユーザは分析要素1において「作業者」を選択する。当該選択条件に基づいて、分析処理選定部13は、分析要素1「対象オブジェクト:作業者」の評価(スコア)が高い分析処理を選定候補とする(優先して選定する)。言い換えれば、分析処理選定部13は、作業動画に対して作業者を分析対象として識別し、作業者の作業を作業要素ごとに分節することを得意とする分析処理を選定候補とする。
The
For example, if a user analyst wants to perform analysis processing of a work video with "worker" as the analysis target, the user selects "worker" in
分析要素2「作業内容」とは、分析内容として手元作業、上半身作業、歩行を伴う作業、他の作業者との共同作業、機械との共同作業等を示したものである。
例えば、ユーザが「作業者の手元作業」の作業動画を分析処理したい場合に、ユーザは分析要素2において「手元作業」を選択する。当該選択条件に基づいて、分析処理選定部13は、分析要素2「作業内容:手元作業」の評価(スコア)が高い分析処理を選定候補とする。言い換えれば、分析処理選定部13は、作業動画に対して「作業者(作業者の両手、片手)」を分析対象として識別し、手元作業を作業要素ごとに分節することを得意とする分析処理を選定候補とする。
より詳しく述べると、分析要素2において選定候補となる分析処理は、作業動画に含まれる対象オブジェクト(作業者、機械、工具、材料、部品、製品等)、作業者の位置、機械の配置構成、作業場所の情報、作業時間の情報等の組み合わせから、所定の作業(手元作業、上半身作業等)を識別(特定)し、分節処理を行うことを可能とする処理である。
For example, when a user wishes to analyze a work video of "worker's manual tasks", the user selects "manual tasks" in
More specifically, the analysis process that is a candidate for selection in
分析要素3「撮像装置」とは、撮像装置の種別(種類、設置位置等)として天井カメラ、固定カメラ、ウェアラブルカメラ、手持ちカメラ等を示したものである。
例えば、ユーザが「ウェアラブルカメラ」を用いて撮像した作業動画の分析処理を行いたい場合に、ユーザは分析要素3において「ウェアラブルカメラ」を選択する。当該選択条件に基づいて、分析処理選定部13は、分析要素3「撮像装置:ウェアラブルカメラ」の評価(スコア)が高い分析処理を選定候補とする。
図7A、Bによれば、分析処理選定部13は、「ウェアラブルカメラ」に適した分析処理として、作業分節処理(スコア:7点)、手元分析処理(スコア:8点)、部材位置トラッキング処理(スコア:9点)を優先して選定することが想定される。
For example, if a user wants to perform analysis processing on a work video captured using a "wearable camera," the user selects "wearable camera" in
According to Figures 7A and B, it is expected that the analysis
分析要素4「平均処理速度」とは、作業動画の再生時間に対する割合(%)で示されるものである。例えば、平均処理速度が125%であるとき、再生時間が1時間の作業動画に対しておよそ1.25時間で分析処理を行うことができる。
分析要素5「利用料金」とは、作業動画の再生時間に応じた分析処理の利用料金を示す。例えば、利用料金が1ドル/時間(h)であるとき、再生時間が1時間(1h)の作業動画に対して分析処理を行う場合におよそ1ドルの料金が発生する。
分析要素6「実績データ」とは、過去の利用実績を示すものである。例えば、実績時間が10million/hである場合には、該当する分析処理が過去に1000万時間利用されていることを示す。
上記において、分析処理選定部13は、図7A、Bに示す「分析特徴データ」に含まれる第1グループに属する分析要素1、2、3に基づく場合に、ユーザによる選択条件に基づく、分析処理の重み(スコア)に応じた1又は複数の分析処理を選定する。また、「分析特徴データ」に含まれる第2グループに属する分析要素に基づく場合に、分析処理の重み(スコア)によらない、ユーザによる選択条件に基づいた1又は複数の分析処理を選定する。
そして、分析処理提示部15は、第1グループに属する分析要素及び/又は第2グループに属する分析要素に基づいて選定された分析処理を表示画面に提示する。
In the above, the analysis
Then, the analytical
つまりは、分析処理選定部13は、第1グループの分析要素1、2、3を用いて分析処理の選定を行う場合、各分析要素のスコアに基づいて行う。他方で、第2グループの分析要素4、5、6を用いて分析処理の選定を行う場合には、ユーザの選択条件にそのまま合致する分析処理を選定する。言い換えれば、後者の場合にはユーザによる相対的な選択基準に従って分析処理を選定する。
なお、分析処理選定部13は、ユーザ操作による選択の結果、単一の分析要素に基づいて1又は複数の分析処理の選定を行っても良いし、複数の分析要素に基づいて1又は複数の分析処理の選定を行っても良い。
In other words, when the analysis
In addition, the analysis
より詳しく説明すると、分析処理選定部13は、複数の分析要素(例えば分析要素1×分析要素2)を組み合わせて分析処理を選定する場合に、各スコアを用いた所定の演算結果に基づいて分析処理を選定する。所定の演算方法として、例えば平均値を算出する方法、分析要素の優先度に応じた重みづけを行った値を用いて平均値を算出する方法等がある。
図7A、Bに示すような「分析特徴データ」を記憶している状態において、ユーザは、ユーザ操作による選択条件を指定する(条件を1つ1つ指定する方法、予め指定した条件の組み合わせを選択する方法等がある)。ユーザが選択条件を指定するにあたって、例えば第1グループに属する分析要素を少なくとも1つ選択することを必要とし、第2グループに属する分析要素については任意とすることが可能である。
分析処理選定部13は、ユーザによって選択された条件を掛け合わせて適応度が高い分析処理を優先して選定する。そして、分析処理提示部15は、適応度が高い順に分析処理を並べて提示する。ユーザは、提示された分析処理の中から分析処理を決定する。
More specifically, when the analysis
7A and 7B, the user specifies the selection conditions by user operation (there are a method of specifying the conditions one by one, a method of selecting a combination of pre-specified conditions, etc.). When the user specifies the selection conditions, for example, it is necessary to select at least one analysis element belonging to the first group, and the analysis element belonging to the second group can be arbitrary.
The analysis
(第2の選定処理)
分析処理選定部13は、「第1の選定処理」とは異なる「第2の選定処理」によって複数の分析処理の中から所定の分析処理を選定しても良い。具体的には、下記の通りである。
記憶部10は、図7A、Bに示す「分析特徴データ」を記憶するほか、図8に示すような、撮像装置の種別(作業内容)と、分析対象と、分析処理(分析処理の性能)とを対応付けた「第2分析特徴データ」を記憶している。
種別情報取得部14は、作業の分析を行うにあたって、当該作業を撮像するための「撮像装置の種別情報」を取得する。
分析処理選定部13は、「撮像装置の種別情報」を得て、図7A、Bに示す「分析特徴データ」と、図8に示す「第2分析特徴データ」とを参照して上記複数の分析処理の中から1又は複数の分析処理(分析AI)を選定する。
より具体的には、分析処理選定部13は、作業動画の全体内容を俯瞰して「撮像装置の種別情報(例えば種類、設置位置、設置角度など)」を得て、「分析特徴データ」、「第2分析特徴データ」をもとに選定候補となり得る分析処理を予備選定する(選定候補とはならない分析処理を除外する)。そして、ユーザの要望を受け付けて、「分析特徴データ」、「第2分析特徴データ」をもとに適切な分析処理を本選定する。
(Second Selection Process)
The analysis
The
When analyzing an operation, the type
The analysis
More specifically, the analysis
図8に示す「第2分析特徴データ」では、「撮像装置の種別」として手持ちカメラ、固定カメラ、ウェアラブルカメラ、手元カメラ、天井カメラ、センサー等が設定され、「分析対象」として作業、エルゴノミクス、指先、オブジェクト全体等が設定され、「分析処理の性能」として分析処理1-1、1-2、1-3等が設定されている。
また、「第2分析特徴データ」には、「撮像装置の種別」と「分析対象」とに基づいた「分析処理の性能」の評価情報(選定優先度)が記号「◎、〇、△、×」で記されている。
分析処理の性能とは、分析処理によって行われる分析要素の解析手法等の違い(特徴量情報とも称する。)を示すものである。例えば、分析処理1-1、1-2、1-3は、作業分節処理を行うものであって、分析処理1-1は、「作業者の動作をボーンデータによって解析する手法」により作業分節処理を行う。分析処理1-2は、「作業者の動作を人物形状によって解析する手法」により作業分節処理を行う。
例えば、撮像装置の種別「手持ちカメラ」、分析対象「作業」の場合には、「作業者の動作を人物形状によって解析する手法」を持つ分析処理1-2(評価:△)よりも、「作業者の動作をボーンデータによって解析する手法」を持つ分析処理1-1(評価:◎)が高い評価を有し(特徴量が大きく)、分析処理1-1を優先して選定した方が良いことを示している。
In the "second analysis characteristic data" shown in Figure 8, the "type of imaging device" is set to handheld camera, fixed camera, wearable camera, hand camera, ceiling camera, sensor, etc., the "analysis target" is set to work, ergonomics, fingertips, entire object, etc., and the "analysis processing performance" is set to analysis processes 1-1, 1-2, 1-3, etc.
In addition, the "second analysis characteristic data" indicates evaluation information (selection priority) of the "analysis processing performance" based on the "type of imaging device" and the "analysis subject" using the symbols "◎, ◯, △, ×".
The performance of an analysis process indicates the difference in the analysis method of the analysis elements performed by the analysis process (also called feature amount information). For example, analysis processes 1-1, 1-2, and 1-3 perform task segmentation processing, and analysis process 1-1 performs task segmentation processing by "a method of analyzing the worker's movements using bone data." Analysis process 1-2 performs task segmentation processing by "a method of analyzing the worker's movements using human shape."
For example, in the case of a “handheld camera” type of imaging device and an “operation” as the analysis target, analysis process 1-1 (rating: ◎), which has a “method of analyzing the worker’s movements using bone data,” has a higher rating (larger feature value) than analysis process 1-2 (rating: △), which has a “method of analyzing the worker’s movements using human shape,” indicating that analysis process 1-1 should be selected as a priority.
具体例として、撮像装置「手持ちカメラ」によって撮像された作業動画を用いて「作業者の上半身作業」を分析処理する場合を想定する。
種別情報取得部14は、撮像装置によって記録された作業動画の全体内容を俯瞰することで、「撮像装置の種別情報(手持ちカメラであること)」を取得する。
分析処理選定部13は、「撮像装置の種別情報」を得た上で、図8に示す「第2分析特徴データ」をもとに予備選定を行い、「手持ちカメラ」に不向きな分析処理を除外する。
分析処理選定部13は、ユーザ操作による分析要素の選択を選択条件として受け付ける。例えば、分析要素1「対象オブジェクト:作業者」、分析要素2「作業内容:上半身作業」を選択条件として受け付ける。
分析処理選定部13は、ユーザによる選択条件から、図7A、Bに示す「分析特徴データ」、図8に示す「第2分析特徴データ」をもとに本選定を行い、「作業分節処理」、特に、「作業者の動作をボーンデータによって解析する手法を持つ作業分節処理」を選定する。
As a specific example, let us consider a case where "upper body work of a worker" is analyzed and processed using a work video captured by an imaging device "handheld camera."
The type
After obtaining the "image capture device type information", the analysis
The analysis
The analysis
上記によれば、第1の選定処理よりも精度の高い選定を行うことができる。具体的には、多数の分析処理群の中から選定候補となり得る分析処理を大まかに選定(予備選定)した上で、その選定候補の中からユーザの要望に応じた分析処理を選定(本選定)することができる。特に、分析処理の性能に応じた分析処理の選定を行うことができる。 According to the above, it is possible to perform a more accurate selection than the first selection process. Specifically, it is possible to roughly select (preliminary selection) analysis processes that can be candidates for selection from a large number of analysis processes, and then select (main selection) an analysis process that meets the user's needs from the selection candidates. In particular, it is possible to select an analysis process according to its performance.
<<3.分析処理と撮像装置の対応付け>>
対応付け部16は、所定の作業動画に対して所定の分析処理を行うにあたって、作業動画を記録する撮像装置の種別(種類、設置位置、撮像対象)と、分析処理の特徴(分析要素1、2、3)とに基づいて、撮像装置と当該撮像装置に適した分析処理との対応付けを行う。
詳しく述べると、対応付け部16は、図7A、Bに示す「分析特徴データ」と、図9に示す「撮像装置種別データ」とをもとに撮像装置ごとに適した分析処理の対応付けを行う。
なお、分析処理選定部13が、所定の作業(作業動画)に対して複数の分析処理の中から所定の分析処理を選定したときに、作業動画ごとに(撮像装置ごとに)分析処理を対応付けておいても良い。その場合には、対応付け部16が撮像装置と分析処理の対応付けを改めて行う必要はない。
<<3. Association of analysis processing and imaging device>>
When performing a specified analysis process on a specified work video, the matching
More specifically, the
When the analysis
図9に示す「撮像装置種別データ」によれば、撮像装置の「種類」、「設置位置」に応じて撮像対象となる「対象オブジェクト」、「作業内容」が異なることを示している。
例えば、種類「固定カメラ1」、設置位置「入口」となる撮像装置は、撮像対象として「作業者」を検出できるが、「機械」を検出できないことを示している。つまりは、「固定カメラ1」の場合には、作業分析装置1が「作業者」による作業(移動、手元の動き)を作業要素ごとに分節できるが、「機械」による作業を分節できないことを示している。
また、種類「天井カメラ1」の場合には、作業分析装置1が、対象オブジェクト「作業者」、「機械」の両方を検出して作業分節できること示している。
According to the "imaging device type data" shown in FIG. 9, it is shown that the "target object" and "work content" to be imaged vary depending on the "type" and "installation location" of the imaging device.
For example, an imaging device of type "
Also, in the case of the type "
具体例として、作業分析装置1が、図1に示す「部品組み立て作業」を撮像した撮像装置100、200、300によって記録された作業動画に対して、上述した分析処理の選定、ユーザによる分析処理の決定を経て、「作業分節処理」、「エルゴノミクス処理」及び「両手・片手分析処理」を行う場合を想定する。
この場合、対応付け部16は、図7A、Bに示す「分析特徴データ」と、図9に示す「撮像装置種別データ」とをもとに、第1撮像装置100(手持ちカメラ)に「作業分節処理」、「エルゴノミクス処理」、「両手・片手分析処理」を対応付けて、第2撮像装置200(ウェアラブルカメラ)に「作業分節処理」、「両手・片手分析処理」を対応付けて、第3撮像装置300(天井カメラ)に「作業分節処理」を対応付ける。
As a specific example, assume that the
In this case, based on the "analysis feature data" shown in Figures 7A and B and the "imaging device type data" shown in Figure 9, the
上記具体例によれば、「作業分節処理」は、撮像装置100、200、300に対応付けられ、これら撮像装置によって撮像された作業動画それぞれに対して作業要素ごとに分析処理を行う。
「エルゴノミクス処理」は、第1撮像装置100のみに対応付けられ、第1撮像装置100によって撮像された作業動画に対して作業要素ごとに分析処理を行う。
「作業分節処理」は、第1撮像装置100、第2撮像装置200に対応付けられ、これら撮像装置によって撮像された作業動画に対して作業要素ごとに分析処理を行う。
According to the above specific example, the "task segmentation process" is associated with the
The "ergonomics process" is associated only with the
The "task segmentation process" is associated with the
<<4.分析処理の実行>>
分析実行部17は、作業動画に対して、選定された分析処理の中からユーザ操作により決定された分析処理を行い、分析結果出力部18は、分析処理の結果(分析結果データ)を出力する。
詳しく述べると、分析実行部17は、各撮像装置によって記録された作業動画に対して、当該撮像装置に対応付けられた「1又は複数の分析処理」を行い、分析結果出力部18は、分析処理の結果を出力する。
分析結果出力部18は、図10~図12、図14に示すように、所定の作業に対して複数の作業動画が記録され、複数の分析処理が実行されたときに、複数の分析処理の結果を組み合わせた(併合させた)分析処理の結果(併合分析結果)を出力する。具体的には、所定の作業に対して各作業動画の併合を行い、また各分析結果の併合を行った併合分析結果(併合分析結果データ)を出力する。
<<4. Execution of analysis process>>
The
In detail, the
10 to 12 and 14, when multiple work videos are recorded for a specific work and multiple analysis processes are executed, the analysis
具体例として、図11によれば、分析実行部17は作業動画に対して「作業分節処理」を行っている。ここで、分析実行部17は、図10に示す複数の作業動画(撮像装置100、200、300によって撮像された作業動画)を併合させた作業動画に対して「作業分節処理」を行っているが、もちろん作業動画ごとに「作業分節処理」を行っても良い。
また、図12によれば、分析実行部17は、作業動画に対して「エルゴノミクス処理」を行っている。図14によれば、分析実行部17は、作業動画に対して「両手・片手分析処理」を行っている。
As a specific example, in Fig. 11, the
Also, according to Fig. 12, the
分析結果出力部18は、図15に示すように、所定の作業に対して作業動画の併合と、それぞれの分析処理結果の併合とを行った併合分析結果をサイクルごとに表示画面(作業分析画面)に出力できる。具体的には、図5に示す作業分析画面を通じて、併合させた作業動画を再生することができ、それぞれの分析結果を作業要素ごとに一覧表示させることができる。
As shown in FIG. 15, the analysis
<<5.分析処理(分節処理)による分節位置の補正>>
分節位置補正部19は、所定の作業を複数の撮像装置によって記録した各作業動画に対し、複数の分析処理を行い、それぞれ分節された分節位置に基づいて「分節位置の補正」を行う。そして、分析結果出力部18は、補正された「補正後の分節位置の情報」を含む分析処理の結果を出力する。
詳しく述べると、分節位置補正部19は、上記複数の分析処理の中から、「分析対象及び/又は作業内容の種別」に基づいて所定の分析処理を抽出し、抽出された分析処理それぞれに対し「所定の重み付け」を行い、抽出された分析処理それぞれによって分節された「分節位置」と、分析処理それぞれになされた「重み」とに基づいて「分節位置の補正」を行う。
上記分析対象(作業者、機械)、作業内容の種別ごとの「分節処理の重みの情報」として、図7A、Bに示す「分析特徴データ」に含まれる「スコア(重み)」が用いられる。
<<5. Correction of segment position by analysis processing (segment processing)>>
The segment
In detail, the segment
The "score (weight)" included in the "analysis feature data" shown in Figures 7A and 7B is used as "segmentation process weight information" for each analysis target (worker, machine) and type of work content.
なお、分節位置補正部19は、「分析対象及び/又は作業内容の種別」に基づいて所定の分析処理を抽出するほか、「撮像装置の種類、設置位置、撮像対象(図9参照)」に基づいて所定の分析処理を抽出しても良い。これらの組み合わせに基づいて所定の分析処理を抽出しても良い。
あるいは、分節位置補正部19は、分析処理に重み付けすることなく、全ての分析処理の結果をもとに分節結果の平均値を算出し、当該平均値となる分節位置を補正後の分節位置に設定しても良い。
The segment
Alternatively, the segment
具体例として、分節位置補正部19は、図15に示すように、「作業分節処理」と、「エルゴノミクス処理」と、「手元分析処理」とによって分節された分節位置に基づいて分節位置の補正を行う場合を想定する。
As a specific example, assume that the segment
「第1の補正パターン」として、分節位置補正部19は、第1撮像装置100(手持ちカメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置A1と、第3撮像装置300(天井カメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置A2とから補正を行い、補正後の分節位置Aを設定する。
このように、設置位置が異なる(撮像対象が異なる)撮像装置100、300によって記録された別々の作業動画に対して「同じ分析処理」を行ったときに、それぞれの分節位置に基づいて分節位置の補正を行うことができる。
なお、第1撮像装置100、第3撮像装置300には、図7A、Bに示す「分析特徴データ」に含まれる「スコア(重み)」が設定されており、「スコア(重み)」を考慮して補正後の分節位置が設定されている。
As the "first correction pattern", the segment
In this way, when the "same analysis process" is performed on separate work videos recorded by
In addition, the
「第2の補正パターン」として、分節位置補正部19は、第1撮像装置100(手持ちカメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置B1と、第2撮像装置200(ウェアラブルカメラ)によって記録された作業動画に対して「手元分析処理」を行った分節位置B2とから補正を行い、補正後の分節位置Bを設定する。
このように、設置位置が異なる(撮像対象が異なる)撮像装置100、200によって記録された別々の作業動画に対して「異なる分析処理」を行ったときに、それぞれの分節位置に基づいて分節位置の補正を行うことができる。
As a "second correction pattern", the segment
In this way, when "different analysis processes" are performed on separate work videos recorded by
上記のような作業分析装置1を利用することで、作業分析を行うユーザの要望に応じて、複数の分析処理の中から適切な分析処理を選定、提案し、ユーザにより決定された分析処理を実行することが可能となる。
また、作業分析装置1を利用することで、作業動画に対して作業要素ごとに分節処理を行うにあたって、より適切な位置で分節処理を行うことが可能となる。
By using the above-described
Furthermore, by using the
<作業分析方法>
次に、作業分析システムSで実行される作業分析プログラム(作業分析方法)の処理の一例について、図16、図17に基づいて説明する。
本実施形態に係る上記プログラムは、記憶部10を備えた作業分析装置1の機能的な構成要素として、上述した画面表示部11と、分析処理部12と、分析処理選定部13と、種別情報取得部14と、分析処理提示部15と、対応付け部16と、分析実行部17と、分析結果出力部18と、分節位置補正部19とを実現させるためのプログラムであって、作業分析装置1のCPU(プロセッサ)がこの走行制御プログラムを実行する。
上記プログラムは、ユーザ(具体的には、作業分析者)からの操作指示を受け付けて実行されるものである。
<Work analysis method>
Next, an example of the processing of the task analysis program (task analysis method) executed by the task analysis system S will be described with reference to FIGS.
The above-mentioned program in this embodiment is a program for realizing the above-mentioned
The above program is executed upon receiving an operational instruction from a user (specifically, a task analyst).
図16に示すフローは、「作業分析方法」の一部の処理フローを示す。具体的には、作業に関する分析要素に基づいて分析処理(分析AI)を提案し、作業動画に対して分析処理を行う方法の処理フローを示す。
図17に示すフローは、作業動画に対して複数の分析処理を実行し、各分析処理によって分節された分節位置の補正を行う方法の処理フローを示す。
The flow shown in Fig. 16 shows a part of the processing flow of the "work analysis method". Specifically, the processing flow of a method for proposing an analysis process (analysis AI) based on analysis elements related to the work and performing the analysis process on a work video is shown.
The flow shown in FIG. 17 shows a processing flow of a method for executing a plurality of analysis processes on a work video and correcting the segmentation positions segmented by each analysis process.
図16に示す作業分析フロー(1)では、まず、画面表示部11が、図4に示すメニュー画面30において選択項目32「自動分析」のユーザ選択を受け付けて、図5に示す作業分析画面40(分析画面)を表示するステップ(S1)から始まる。
なお、画面表示部11は、例えば、ユーザ操作の入力を受け付けて作業分析装置1にインストールされたソフトウェアを実行し、ユーザログインがなされることで、初期画面であるメニュー画面30を表示する。
The work analysis flow (1) shown in FIG. 16 begins with a step (S1) in which the
The
ステップ2では、作業分析装置1(作業動画取得部とも称する。)が、撮像装置によって撮像された作業動画を取得する。具体的には、ユーザ操作の選択を受け付けて、作業分析を行う対象となる作業動画を取り込む。
なお、作業分析装置1は、作業分析画面40を表示する前に作業動画を取得しておいても良い。
In
The
ステップ3では、分析処理選定部13が、ユーザ操作による所定の分析要素の選択を選択条件として受け付けて、図7A、Bに示す「分析特徴データ」を参照して複数の分析処理の中から、ユーザによる選択条件に基づく、分析処理の重みに応じた1又は複数の分析処理を選定する(第1の選定処理)。
なお、分析処理選定部13は、上述したように、「第1の選定処理」とは異なる「第2の選定処理」によって所定の分析処理を選定しても良い。「第2の選定処理」の場合には、分析処理選定部13は、作業動画の全体内容を俯瞰して「撮像装置の種別情報(例えば種類、設置位置、設置角度など)」を得て、図7A、Bに示す「分析特徴データ」、図8に示す「第2分析特徴データ」をもとに選定候補とはならない分析処理を除外する。そして、ユーザの選択条件を受け付けて、「分析特徴データ」、「第2分析特徴データ」をもとに適切な分析処理を本選定する。
In
As described above, the analysis
ステップ4では、分析処理提示部15が、分析処理選定部13によって選定された分析処理を表示画面に提示する。
具体的には、分析処理提示部15は、選定された「分析処理の候補」と、分析要素ごとに重み付けされた「分析処理のスコア(分析処理の決定にあたっての補足情報)」とを表示画面に提示する。つまりは、分析処理提示部15は、適応度が高い順に分析処理を並べて提示する。
In
Specifically, the analysis
ステップ5では、作業分析装置1(分析処理決定部とも称する。)が、ユーザ操作による選択を受け付けて、提示された複数の分析処理の中から分析処理を決定する。
具体的には、ユーザは、表示画面に提示された「分析処理の候補」と、「分析処理のスコア」とを参考にしながら、表示画面に提示された分析処理の中から分析処理を選択決定する。
In
Specifically, the user selects and determines an analysis process from among the analysis processes presented on the display screen while referring to the "candidate analysis processes" and "score of the analysis process" presented on the display screen.
ステップ6では、対応付け部16が、作業動画を記録する撮像装置の種別(種類、設置位置、撮像対象)と、分析処理の特徴(分析要素1、2、3等)とに基づいて、「撮像装置」と当該撮像装置に適した「分析処理」との対応付けを行う。
具体的には、対応付け部16は、図9に示す「撮像装置種別データ」と、図7A、Bに示す「分析特徴データ」とをもとに撮像装置ごとに適した分析処理の対応付けを行う。
なお、分析処理選定部13が、所定の作業(作業動画)に対して複数の分析処理の中から所定の分析処理を選定したときに、作業動画ごとに(撮像装置ごとに)分析処理を対応付けても良い。その場合には、ステップ6で、対応付け部16が撮像装置と分析処理の対応付けを改めて行う必要はない。
In
Specifically, the
When the analysis
ステップ7では、分析実行部17が、作業動画に対して、ユーザ操作により決定された分析処理を行う。
詳しく述べると、分析実行部17は、各撮像装置によって記録された作業動画に対して、当該撮像装置に対応付けられた「1又は複数の分析処理」を行う。
そして、ステップ8で、分析結果出力部18は、分析処理の結果(分析結果データ)を出力する。詳しく述べると、分析結果出力部18は、複数の作業動画が記録され、複数の分析処理が実行されたときに、複数の分析処理の結果を併合した「併合分析結果」を出力する。具体的には、各作業動画の併合を行い、また各分析結果の併合を行った併合分析結果データを出力する。
上記ステップ1からステップ8を経て図16のプロセスを終了する。
In
More specifically, the
Then, in
The process of FIG. 16 is completed through
次に、図17に示すように、複数の分析処理を実行し、各分析処理によって分節された分節位置の補正を行う方法の処理フローを示す。
図17に示す作業分析フロー(2)では、まず、作業分析装置1(作業動画取得部)が、複数の撮像装置から作業動画を取得するステップ(S101)から始まる。
Next, as shown in FIG. 17, a process flow of a method for executing a plurality of analysis processes and correcting the segment positions segmented by each analysis process will be described.
The work analysis flow (2) shown in FIG. 17 starts with a step (S101) in which the work analysis device 1 (work video acquisition unit) acquires work videos from a plurality of imaging devices.
ステップ102では、対応付け部16が、作業動画を記録する撮像装置の種別(種類、設置位置、撮像対象)と、分析処理の特徴(分析要素)とに基づいて、「撮像装置」と当該撮像装置に適した「分析処理」との対応付けを行う。
具体的には、対応付け部16は、図9に示す「撮像装置種別データ」と、図7A、Bに示す「分析特徴データ」とをもとに撮像装置ごとに適した分析処理の対応付けを行う。
なお、分析処理選定部13が所定の作業(作業動画)に対して複数の分析処理の中から所定の分析処理を選定し、対応付け部16が作業動画ごとに(撮像装置ごとに)分析処理を対応付けても良い。
In step 102, the matching
Specifically, the
In addition, the analysis
ステップ103では、分析実行部17が、各撮像装置によって記録された作業動画に対して、当該撮像装置に対応付けられた複数の分析処理を行う。
In step 103, the
ステップ104では、分節位置補正部19が、各分析処理によって分節された分節位置を認識する。
具体的には、分節位置補正部19は、複数の分節処理の中から、「分析対象及び/又は作業内容の種別」に基づいて所定の分節処理を抽出し、抽出された分節処理によって分節された分節位置を認識する。
そして、ステップ105で、分節位置補正部19が、認識された分節位置に基づいて「分節位置の補正」を行う。
具体的には、分節位置補正部19は、抽出された分析処理それぞれに対し「所定の重み付け」を行い、認識された「分節位置」と、分析処理それぞれになされた「重み」とに基づいて「分節位置の補正」を行う。「分節処理の重みの情報」として、図7A、Bに示す「分析特徴データ」に含まれる「スコア(重み)」が用いられる。
In step 104, the segment
Specifically, the segmentation
Then, in step 105, the segment
Specifically, the segment
ステップ106では、分析結果出力部18が、分節位置補正部19によって補正された補正後の分節位置の情報を含む分析処理の結果(分析結果データ)を出力する。
上記ステップ101からステップ106を経て図17のプロセスを終了する。
In step 106 , the analysis
The process of FIG. 17 is completed through steps 101 to 106.
<その他の実施形態>
上記実施形態では、図5に示すように、作業分析装置1が、作業分析画面40を表示して作業分析を実行するところ、作業分析画面40以外の分析画面を表示して種々の作業分析を実行してもよい。
例えば、作業分析装置1は、作業要素一覧表を表示して、サイクルごとに詳細分析を行う「サイクル分析画面」や、山積みグラフを表示して、各サイクルの作業要素のバラツキを確認し、作業要素の編成を行う「山積みグラフ画面」を表示しても良い。あるいは、複数の作業動画を同時に表示する「作業比較画面」を表示し、異なるサイクルや作業者による作業動画の比較を行う分析を実行しても良い。
<Other embodiments>
In the above embodiment, as shown in FIG. 5, the
For example, the
上記実施形態では、作業分析装置1が読み取り可能な記録媒体に作業分析プログラムが記憶されており、作業分析装置1が当該プログラムを読み出して実行することによって処理が実行される。ここで作業分析装置1が読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。
そのほか、作業分析装置1となる端末(モバイル端末)を利用して専用ソフトウェアを起動させて、ウェブブラウザ上で作業分析プログラムが実行されても良い。
In the above embodiment, a work analysis program is stored in a recording medium readable by the
Alternatively, a dedicated software may be started using a terminal (mobile terminal) serving as the
上記実施形態では、主として本発明に係る作業分析装置、作業分析方法及び作業分析御プログラムに関して説明した。
ただし、上記の実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物が含まれることは勿論である。
In the above embodiment, the task analysis device, the task analysis method, and the task analysis control program according to the present invention have been mainly described.
However, the above embodiment is merely an example for facilitating understanding of the present invention, and does not limit the present invention. The present invention can be modified and improved without departing from the spirit of the present invention, and the present invention naturally includes equivalents thereof.
S 作業分析システム
1 作業分析装置、モバイル作業分析装置
2 CPU
3 記憶装置
4 通信インタフェース
5 表示部
6 入力部
7 出力部
10 記憶部
11 画面表示部
11a 動画表示部
11b 分析結果表示部
11c 作業要素一覧表示部
12 分析処理部
12a 第1分析処理部(第1分節処理部)
12b 第2分析処理部(第2分節処理部)
12c 第3分析処理部(第3分節処理部)
13 分析処理選定部
14 種別情報取得部
15 分析処理提示部
16 対応付け部
17 分析実行部
18 分析結果出力部
19 分節位置補正部
30 メニュー画面
31、32 選択項目
40 作業分析画面
41 作業動画
42 分析結果
42aシークバー
42b 分析処理
43 作業要素一覧表
44 レイアウト切替ボタン
45 サイクル切替ボタン
100 第1撮像装置(手持ちカメラ)
110 記憶部
111 通信部
112 操作実行部
200 第2撮像装置(ウェアラブルカメラ)
210 記憶部
211 通信部
212 操作実行部
300 第3撮像装置(天井カメラ)
310 記憶部
311 通信部
312 操作実行部
A、A1、A2 分節位置
B、B1、B2 分節位置
S
3
12b Second analysis processing unit (second segmentation processing unit)
12c Third analysis processing unit (third segmentation processing unit)
13 Analysis
110: Storage unit 111: Communication unit 112: Operation execution unit 200: Second imaging device (wearable camera)
210: Memory unit 211: Communication unit 212: Operation execution unit 300: Third imaging device (ceiling camera)
310 Storage unit 311 Communication unit 312 Operation execution unit A, A1, A2 Segment position B, B1, B2 Segment position
Claims (9)
作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行う第1の分析処理部と、
前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行う第2の分析処理部と、
前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定する分析処理選定部と、
前記分析処理選定部によって選定された分析処理を提示する分析処理提示部と、を具備する作業分析装置。 A task analysis device that performs task analysis based on a task video obtained by capturing a task,
a first analysis processing unit that performs a first analysis process based on an analysis element related to the work on a work video obtained by capturing the work, for each work element;
a second analysis processing unit that performs a second analysis process, which is different from the first analysis process, on the work video based on an analysis element related to the work, for each work element;
an analysis process selection unit that selects a predetermined analysis process from at least the first analysis process and the second analysis process based on an analysis element related to the work;
an analysis process presentation unit that presents the analysis process selected by the analysis process selection unit;
前記分析処理選定部は、
ユーザ操作による所定の分析要素の選択を選択条件として受け付けて、
前記分析特徴データを参照して前記第1の分析処理、前記第2の分析処理を含む複数の分析処理の中から、ユーザによる前記選択条件に基づく、前記分析処理の重みに応じた1又は複数の分析処理を選定する、請求項1に記載の作業分析装置。 a storage unit that stores analysis feature data including a plurality of analysis processes related to the work, a plurality of analysis elements related to the work, and evaluation information indicating a weight of the analysis process for each of the analysis elements;
The analysis process selection unit
Accept the selection of a given analysis element by a user operation as a selection condition,
2. The work analysis device according to claim 1, wherein one or more analysis processes are selected from a plurality of analysis processes including the first analysis process and the second analysis process by referring to the analysis feature data, according to a weight of the analysis process based on the selection condition by a user.
前記分析処理の重みによってスコアリングされた第1のグループに属する分析要素と、
前記分析処理の重みによってスコアリングされていない第2のグループに属する分析要素と、に分類され、
前記分析処理選定部は、
前記分析特徴データに含まれる前記第1のグループに属する分析要素に基づく場合に、ユーザによる前記選択条件に基づく、前記分析処理の重みに応じた1又は複数の分析処理を選定し、
前記分析特徴データに含まれる前記第2のグループに属する分析要素に基づく場合に、前記分析処理の重みによらない、ユーザによる前記選択条件に基づいた1又は複数の分析処理を選定し、
前記分析処理提示部は、前記第1のグループに属する分析要素及び/又は前記第2のグループに属する分析要素に基づいて選定された分析処理を提示する、請求項2に記載の作業分析装置。 The plurality of analysis elements related to the work included in the analysis feature data include:
an analysis element belonging to a first group scored by the weight of the analysis process;
and a second group of analytical elements that are not scored by the weights of the analytical process;
The analysis process selection unit
selecting one or more analysis processes according to a weight of the analysis process based on the selection condition by a user when the weight is based on an analysis element belonging to the first group included in the analysis feature data;
selecting one or more analysis processes based on the selection conditions set by a user, regardless of the weight of the analysis process, when the selection is based on an analysis element belonging to the second group included in the analysis feature data;
The work analysis device according to claim 2 , wherein the analysis process presentation unit presents an analysis process selected based on the analysis elements belonging to the first group and/or the analysis elements belonging to the second group.
前記分析特徴データに含まれる前記作業に関する複数の分析要素は、撮像対象が異なる撮像装置の種別を分析要素の一つとして含み、
前記分析処理選定部は、
ユーザ操作による前記撮像装置の種別の選択を前記選択条件として受け付けて、
前記分析特徴データを参照して複数の分析処理の中から、ユーザによる前記撮像装置の種別の選択に基づく、前記分析処理の重みに応じた1又は複数の分析処理を選定する、請求項2に記載の作業分析装置。 the work analysis device acquires work videos from an imaging device that records the work videos, and performs work analysis based on the work videos;
The plurality of analysis elements related to the work included in the analysis feature data includes a type of imaging device having a different imaging target as one of the analysis elements,
The analysis process selection unit
accepting a selection of the type of the imaging device by a user operation as the selection condition;
The work analysis device according to claim 2 , wherein the analysis feature data is referenced to select one or more analysis processes from among a plurality of analysis processes according to a weight of the analysis process based on a user's selection of the type of the imaging device.
前記第2の分析処理部は、
前記第2の分析処理として前記作業動画に対し、作業者を分析対象として作業者の動作が所定の動作基準に基づいた動作となっているか否かを判断する処理を行い、
前記作業動画の一部に対して前記作業者の動作が前記動作基準に基づいた動作となっていないと判断した場合に、前記作業動画の一部に対して前記動作基準に関する記録情報を付与する処理を行い、
前記作業分析装置は、前記第1の分析処理及び前記第2の分析処理が実行されたときに、前記第1の分析処理の結果と、前記第2の分析処理の結果とを組み合わせた分析処理の結果を出力する、請求項2乃至4のいずれか一項に記載の作業分析装置。 The first analysis processing unit performs a process of segmenting the work content of the worker into work elements by analyzing the worker on the work video as the first analysis process,
The second analysis processing unit includes:
As the second analysis process, a process is performed on the work video to determine whether or not the worker's movements are based on a predetermined movement standard, with the worker being an analysis target;
When it is determined that the motion of the worker for a part of the work video is not based on the motion standard, a process of adding record information regarding the motion standard to the part of the work video is performed;
5. The work analysis device according to claim 2, wherein when the first analysis process and the second analysis process are executed, the work analysis device outputs a result of an analysis process that combines a result of the first analysis process and a result of the second analysis process.
前記第2の分析処理部は、
前記第2の分析処理として前記作業動画に対し、作業者を分析対象として作業者の不正な動作を検出する処理を行い、
前記作業動画の一部に対して前記作業者の不正動作を検出した場合に、前記作業動画の一部に対して不正な動作を示す記録情報を付与する処理を行い、
前記作業分析装置は、前記第1の分析処理及び前記第2の分析処理が実行されたときに、前記第1の分析処理の結果と、前記第2の分析処理の結果とを組み合わせた分析処理の結果を出力する、請求項2乃至4のいずれか一項に記載の作業分析装置。 The first analysis processing unit performs a process of segmenting the work content of the worker into work elements by analyzing the worker on the work video as the first analysis process,
The second analysis processing unit includes:
As the second analysis process, a process is performed on the work video to detect unauthorized actions of the worker by analyzing the worker;
When an unauthorized action of the worker is detected in a portion of the work video, a process of adding record information indicating the unauthorized action to the portion of the work video is performed;
5. The work analysis device according to claim 2, wherein when the first analysis process and the second analysis process are executed, the work analysis device outputs a result of an analysis process that combines a result of the first analysis process and a result of the second analysis process.
前記分析処理選定部は、前記種別情報取得部によって得られた前記撮像装置の種別と、前記作業に関する分析要素とに基づいて所定の分析処理を選定し、
前記作業分析装置は、前記分析処理提示部によって提示された所定の分析処理を実行し、分析処理の結果を出力する分析結果出力部をさらに具備する、請求項1に記載の作業分析装置。 A type information acquisition unit is provided for acquiring type information of an imaging device that captures an image of a work and records the work video,
the analysis processing selection unit selects a predetermined analysis processing based on the type of the imaging device obtained by the type information acquisition unit and an analysis element related to the work;
The work analysis device according to claim 1 , further comprising an analysis result output section that executes a predetermined analysis process presented by the analysis process presentation section and outputs a result of the analysis process.
前記コンピュータが、
作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行うことと、
前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行うことと、
前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定することと、
選定された分析処理を提示することと、を実行する、作業分析方法。 A computer-implemented task analysis method for analyzing tasks based on a task video, the method comprising:
The computer,
performing a first analysis process for each work element based on an analysis element related to the work for a work video obtained by capturing the work;
performing a second analysis process, which is different from the first analysis process, on the work video based on an analysis element related to the work for each work element;
selecting a predetermined analysis process from at least the first analysis process and the second analysis process based on an analysis element related to the work;
A work analysis method comprising presenting and executing a selected analysis process.
作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行う処理と、
前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行う処理と、
前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定する処理と、
選定された分析処理を提示する処理と、を実行させる作業分析プログラム。 A computer that acts as a work analysis device that performs work analysis based on work videos that have been recorded during work.
A process of performing a first analysis process for each work element based on an analysis element related to the work on a work video obtained by capturing the work;
A process of performing a second analysis process, which is different from the first analysis process, on the work video for each work element based on an analysis element related to the work;
a process of selecting a predetermined analysis process from at least the first analysis process and the second analysis process based on an analysis element related to the work;
A process for presenting the selected analysis process; and a work analysis program for executing the process.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023105193A JP7509966B1 (en) | 2023-06-27 | 2023-06-27 | Work analysis device, work analysis method, and work analysis program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023105193A JP7509966B1 (en) | 2023-06-27 | 2023-06-27 | Work analysis device, work analysis method, and work analysis program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP7509966B1 true JP7509966B1 (en) | 2024-07-02 |
Family
ID=91671309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023105193A Active JP7509966B1 (en) | 2023-06-27 | 2023-06-27 | Work analysis device, work analysis method, and work analysis program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7509966B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019221081A1 (en) | 2018-05-16 | 2019-11-21 | パナソニックIpマネジメント株式会社 | Work analyzing system and work analyzing method |
-
2023
- 2023-06-27 JP JP2023105193A patent/JP7509966B1/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019221081A1 (en) | 2018-05-16 | 2019-11-21 | パナソニックIpマネジメント株式会社 | Work analyzing system and work analyzing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4752721B2 (en) | Movement pattern identification device, movement pattern identification method, movement pattern identification program, and recording medium recording the same | |
JP4792824B2 (en) | Motion analysis device | |
JP6717572B2 (en) | Work analysis system and work analysis method | |
JP6210234B2 (en) | Image processing system, image processing method, and program | |
US20050180637A1 (en) | Motion classification support apparatus and motion classification device | |
US20230044842A1 (en) | Work analyzing device and work analyzing method | |
GB2529943A (en) | Tracking processing device and tracking processing system provided with same, and tracking processing method | |
US9158996B2 (en) | Learning image collection apparatus, learning apparatus, and target object detection apparatus | |
JP6334767B1 (en) | Information processing apparatus, program, and information processing method | |
US9600893B2 (en) | Image processing device, method, and medium for discriminating a type of input image using non-common regions | |
WO2014050432A1 (en) | Information processing system, information processing method and program | |
JP6575845B2 (en) | Image processing system, image processing method, and program | |
CN111164622B (en) | Work analysis device and work analysis method | |
CN113010805A (en) | Index data processing method, device, equipment and storage medium | |
JP7509966B1 (en) | Work analysis device, work analysis method, and work analysis program | |
JP6928880B2 (en) | Motion analysis device, motion analysis method, motion analysis program and motion analysis system | |
CN112368724A (en) | Learning device, learning system, and learning method | |
JP7028729B2 (en) | Object tracking device, object tracking system, and object tracking method | |
JP7484569B2 (en) | Image processing device, image processing method, and program | |
JP7481559B2 (en) | Work analysis device, work analysis method, and work analysis program | |
JP2018005612A (en) | Image processing device, image processing method, and program | |
JP4895201B2 (en) | Image sorting apparatus, method, and program | |
JP2021086218A (en) | Cooperative work system, analysis device, and analysis program | |
WO2022239291A1 (en) | Object detection device and method | |
US20230267727A1 (en) | Image analysis apparatus, image analysis method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written |