JP7509966B1 - Work analysis device, work analysis method, and work analysis program - Google Patents

Work analysis device, work analysis method, and work analysis program Download PDF

Info

Publication number
JP7509966B1
JP7509966B1 JP2023105193A JP2023105193A JP7509966B1 JP 7509966 B1 JP7509966 B1 JP 7509966B1 JP 2023105193 A JP2023105193 A JP 2023105193A JP 2023105193 A JP2023105193 A JP 2023105193A JP 7509966 B1 JP7509966 B1 JP 7509966B1
Authority
JP
Japan
Prior art keywords
analysis
work
analysis process
video
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023105193A
Other languages
Japanese (ja)
Inventor
尚英 荒尾
弘明 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Broadleaf Co Ltd
Original Assignee
Broadleaf Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Broadleaf Co Ltd filed Critical Broadleaf Co Ltd
Priority to JP2023105193A priority Critical patent/JP7509966B1/en
Application granted granted Critical
Publication of JP7509966B1 publication Critical patent/JP7509966B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • General Factory Administration (AREA)

Abstract

【課題】複数の分析処理の中から適切な分析処理を行うことが可能な作業分析装置を提供する。【解決手段】作業分析装置1は、作業を撮像した作業動画をもとに作業分析を行う。作業分析装置1は、作業を撮像した作業動画に対して作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行う第1の分析処理部と、作業動画に対して作業に関する分析要素に基づく、第1の分析処理とは異なる第2の分析処理を作業要素ごとに行う第2の分析処理部と、作業に関する分析要素に基づいて少なくとも第1の分析処理及び第2の分析処理の中から所定の分析処理を選定する分析処理選定部と、分析処理選定部によって選定された分析処理を提示する分析処理提示部と、を具備する。【選択図】図5[Problem] To provide an action analysis device capable of performing an appropriate analysis process from among multiple analysis processes. [Solution] The action analysis device 1 performs action analysis based on a work video in which the work is filmed. The action analysis device 1 comprises a first analysis processing unit that performs a first analysis process for each work element on the work video in which the work is filmed, based on analysis elements related to the work, a second analysis processing unit that performs a second analysis process for each work element on the work video, which is different from the first analysis process and is based on the analysis elements related to the work, an analysis process selection unit that selects a predetermined analysis process from at least the first analysis process and the second analysis process based on the analysis elements related to the work, and an analysis process presentation unit that presents the analysis process selected by the analysis process selection unit. [Selected Figure] Figure 5

Description

本発明は、作業分析装置、作業分析方法及び作業分析プログラムに係り、特に、作業を撮像した作業動画をもとに作業分析を行う作業分析装置、作業分析方法及び作業分析プログラムに関する。 The present invention relates to a task analysis device, a task analysis method, and a task analysis program, and in particular to a task analysis device, a task analysis method, and a task analysis program that perform task analysis based on a task video that is a captured image of the task.

従来、作業者、機械及びモノの動きや時間を「見える化」し、生産現場の作業時間短縮、省力化及びコスト低減を果たすことを目的として、作業を撮像した作業動画を表示して当該作業の動作分析をすることが可能な作業分析装置が知られている(例えば、特許文献1参照)。
また、上記作業分析装置の中には、複数の作業工程からなるライン作業において、各々の作業工程における作業を撮像するために持ち運び可能なモバイル作業分析装置が知られている(例えば、特許文献2参照)。
Conventionally, there has been known a work analysis device that can display a video of a work operation and analyze the movements of the work, with the aim of "visualizing" the movements and time of workers, machines, and objects, thereby shortening work time, saving labor, and reducing costs at production sites (see, for example, Patent Document 1).
Among the above-mentioned work analysis devices, a mobile work analysis device is known that can be carried around to capture images of work in each work process in line work consisting of a plurality of work processes (see, for example, Patent Document 2).

特開2021-163293号公報JP 2021-163293 A 特開2022-184111号公報JP 2022-184111 A

上記において特許文献1の作業分析装置は、作業動画から作業者の骨格情報を抽出し、当該抽出結果から作業者の動作が規定動作であるか否かを判定し、当該規定動作であると判定したときの抽出タイミングで作業動画を作業要素ごとに分節する分析処理を行うことが開示されている。
このように作業に関する分析要素(例えば作業者の動作)に基づいた分析処理を行うことが可能な作業分析装置において、分析者の要望に応じて、複数の分析処理の中から適切な分析処理を行うことが可能な技術が求められていた。
The work analysis device in Patent Document 1 described above is disclosed to extract skeletal information of a worker from a work video, determine from the extraction result whether or not the worker's movement is a prescribed movement, and perform an analysis process to segment the work video into work elements at the extraction timing when it is determined that the movement is the prescribed movement.
In a work analysis device capable of performing analysis processing based on analysis elements related to work (e.g., the actions of a worker), there has been a demand for technology that can select an appropriate analysis processing from multiple analysis processing methods in response to the analyst's requests.

本発明は、上記の課題に鑑みてなされたものであり、本発明の目的は、複数の分析処理の中から適切な分析処理を行うことが可能な作業分析装置、作業分析方法及び作業分析プログラムを提供することにある。 The present invention has been made in consideration of the above problems, and an object of the present invention is to provide a task analysis device, a task analysis method, and a task analysis program that are capable of performing an appropriate analysis process from among multiple analysis processes.

前記課題は、本発明の作業分析装置によれば、作業を撮像した作業動画をもとに作業分析を行う作業分析装置であって、作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行う第1の分析処理部と、前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行う第2の分析処理部と、前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定する分析処理選定部と、前記分析処理選定部によって選定された分析処理を提示する分析処理提示部と、を具備すること、により解決される。 The above-mentioned problem is solved by the work analysis device of the present invention, which performs work analysis based on a work video captured by filming the work, and which includes a first analysis processing unit that performs a first analysis process for each work element on the work video captured by filming the work based on an analysis element related to the work, a second analysis processing unit that performs a second analysis process for each work element on the work video, the second analysis process being different from the first analysis process and based on the analysis element related to the work, an analysis process selection unit that selects a predetermined analysis process from at least the first analysis process and the second analysis process based on the analysis element related to the work, and an analysis process presentation unit that presents the analysis process selected by the analysis process selection unit.

上記のように、作業分析装置は、作業に関する分析要素に基づいて、少なくとも第1の分析処理及び第2の分析処理の中から所定の分析処理を選定する分析処理選定部と、分析処理選定部によって選定された分析処理を提示する分析処理提示部と、を具備している。
そのため、作業に関する分析要素に基づいて、複数の分析処理の中から適切な分析処理を選定し、選定した分析処理を提示することが可能となっている。そして、適切な分析処理を行うことが可能となっている。
As described above, the work analysis device includes an analysis process selection unit that selects a predetermined analysis process from at least a first analysis process and a second analysis process based on an analysis element related to the work, and an analysis process presentation unit that presents the analysis process selected by the analysis process selection unit.
Therefore, it is possible to select an appropriate analysis process from among a plurality of analysis processes based on the analysis elements related to the work, and to present the selected analysis process. Thus, it is possible to perform an appropriate analysis process.

また前記課題は、本発明の作業分析方法によれば、作業を撮像した作業動画をもとに作業分析を行うコンピュータによって実行される作業分析方法であって、前記コンピュータが、作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行うことと、前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行うことと、前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定することと、を実行することによっても解決される。 The above-mentioned problem is also solved by the work analysis method of the present invention, which is executed by a computer that performs work analysis based on a work video that has been filmed, in which the computer performs a first analysis process for each work element on the work video that has been filmed, based on an analysis element related to the work, performs a second analysis process for each work element on the work video that is different from the first analysis process, based on the analysis element related to the work, and selects a predetermined analysis process from at least the first analysis process and the second analysis process, based on the analysis element related to the work.

また前記課題は、本発明の作業分析プログラムによれば、作業を撮像した作業動画をもとに作業分析を行う作業分析装置としてのコンピュータに、作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行う処理と、前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行う処理と、前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定する処理と、選定された分析処理を提示する処理と、を実行させることによっても解決される。 The above problem is also solved by the work analysis program of the present invention, by having a computer as a work analysis device that performs work analysis based on a work video that has been filmed perform the following processes on the work video: a first analysis process based on an analysis element related to the work, for each work element; a second analysis process different from the first analysis process, for each work element, on the work video, based on the analysis element related to the work; a process of selecting a predetermined analysis process from at least the first analysis process and the second analysis process, based on the analysis element related to the work; and a process of presenting the selected analysis process.

本発明の作業分析装置、作業分析方法及び作業分析プログラムによれば、複数の分析処理の中から適切な分析処理を行うことが可能となる。
また、作業分析を行うユーザの要望に応じて、複数の分析処理の中から適切な分析処理を選定し、選定した分析処理を提案することが可能となる。
According to the task analysis device, task analysis method, and task analysis program of the present invention, it is possible to select an appropriate analysis process from among a plurality of analysis processes.
Furthermore, it is possible to select an appropriate analysis process from among a plurality of analysis processes in response to the request of a user who performs an operation analysis, and to propose the selected analysis process.

作業分析システム全体の構成図である。FIG. 1 is a configuration diagram of an entire work analysis system. 作業分析システムのハードウェア構成を説明する図である。FIG. 2 is a diagram illustrating a hardware configuration of the work analysis system. 作業分析システムの機能を説明する図である。FIG. 2 is a diagram illustrating functions of the work analysis system. メニュー画面を示す図である。FIG. 13 is a diagram showing a menu screen. 作業分析画面を示す図である。FIG. 13 is a diagram showing a work analysis screen. 「作業要素一覧データ」を示す図である。FIG. 13 is a diagram showing "work element list data." 「分析特徴データ」を示す図である。FIG. 13 is a diagram showing “analysis feature data.” 「分析特徴データ」を示す図である。FIG. 13 is a diagram showing “analysis feature data.” 「第2分析特徴データ」を示す図である。FIG. 13 is a diagram showing “second analysis feature data.” 「撮像装置種別データ」を示す図である。FIG. 13 is a diagram showing “imaging device type data.” 撮像装置によって記録された作業動画(作業動画の一部)を示す図である。FIG. 13 is a diagram showing a work video (a part of the work video) recorded by an imaging device. 「作業分節処理」による分析結果を示す図である。FIG. 13 is a diagram showing the analysis results by the "task segmentation process." 「エルゴノミクス処理」による分析結果を示す図である。FIG. 13 is a diagram showing the analysis results by "ergonomics processing." 「エルゴノミクス評価データ」を示す図である。FIG. 13 is a diagram showing "ergonomics evaluation data." 「両手・片手分析処理」による分析結果を示す図である。FIG. 13 is a diagram showing the analysis results by the "two-hand/one-hand analysis process." 分節位置の補正処理、併合分析結果を説明する図である。13A to 13C are diagrams illustrating the segment position correction process and the merged analysis results. 作業分析方法(1)を示す処理フロー図である。FIG. 1 is a process flow diagram showing a work analysis method (1). 作業分析方法(2)を示す処理フロー図である。FIG. 11 is a process flow diagram showing the work analysis method (2).

<作業分析システムの全体構成>
以下、本発明の実施形態について図1~図17を参照して説明する。
作業分析システムSは、図1に示すように、作業を撮像した作業動画をもとに作業分析を行う作業分析装置1と、作業分析装置1と通信可能にそれぞれ接続され、作業を撮像して作業動画を記録し、作業分析装置1に作業動画(作業動画データ)を送信する撮像装置100、200、300と、を備えている。
本実施形態において「作業」とは、複数の作業工程からなり、各作業工程が連関して行われるライン作業やセル作業である。作業者によって行われる作業のほか、ロボット等の機械によって行われる作業がある。
「ライン作業」とは、一連の作業工程の集合体を示すものであって、所定のライン形状で作業工程が配置されたライン生産方式と称される方式で行われる作業である。また、「セル作業」とは、一連の作業工程の集合体を示すものであって、ライン作業における所定のライン形状のうち、U字形状や二の字形状などの特別な形状で作業工程が配置されたセル生産方式と称される方式で行われる作業である。
作業の一例としては、加工、組立、接合、塗装、検品、ピッキング等の各作業工程を経て商品や組立物の組み立てが行われる組み立てライン等が挙げられる。「作業工程(作業工程における作業)」とは、一連の作業要素の集合体を示すものであって、例えば、エンジン組み付け、バンパー取り付け、タイヤ取り付け等が挙げられる。
「作業要素」とは、一連の動作の集合体を示すものであって、例えば、車両部品を準備、車両部品のセット位置を確認、車両部品をセット、車両部品の組み付け等が挙げられる。「動作」とは、作業を細分化したときの最小単位を示すものである。
<Overall configuration of the work analysis system>
Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
As shown in FIG. 1 , the work analysis system S includes a work analysis device 1 that performs work analysis based on a work video that captures the work, and imaging devices 100, 200, 300 that are each communicatively connected to the work analysis device 1, capture images of the work, record the work video, and transmit the work video (work video data) to the work analysis device 1.
In this embodiment, a "task" refers to a line job or cell job that is made up of a plurality of work steps and in which each work step is performed in a linked manner. In addition to work performed by workers, there is also work performed by machines such as robots.
"Line work" refers to a collection of a series of work processes, and is work carried out in a system known as a line production system, in which the work processes are arranged in a specific line shape. "Cell work" refers to a collection of a series of work processes, and is work carried out in a system known as a cell production system, in which the work processes are arranged in a special shape, such as a U-shape or a C-shape, among the specific line shapes in line work.
An example of an operation is an assembly line where products or assemblies are assembled through each operation process such as processing, assembly, joining, painting, inspection, picking, etc. An "operation process (operation in an operation process)" refers to a collection of a series of operation elements, and examples of such operations include assembling an engine, attaching a bumper, and mounting tires.
An "operation element" refers to a collection of a series of actions, such as preparing vehicle parts, checking the setting positions of the vehicle parts, setting the vehicle parts, assembling the vehicle parts, etc. An "action" refers to the smallest unit into which a task is broken down.

作業分析装置1は、図1、図2に示すように、作業分析を行う分析者によって用いられるコンピュータであって、撮像装置100、200、300と通信を行い、これら撮像装置から取得した作業動画(作業動画データ)を記憶する。そして、作業の改善を図るために、作業動画に基づいてユーザ操作を主とした作業分析(手動作業分析とも称する。)、ユーザ操作を主としない作業分析(自動作業分析、AI作業分析とも称する。)等を行う。
そして、作業分析装置1は、分析処理の結果(分析結果)を基に作業標準データを作成し、作業標準データを表示画面に出力表示するほか、紙媒体で出力印刷することもできる。
作業分析装置1は、上記自動作業分析(AI作業分析)として、図4に示すメニュー画面、図5に示す作業分析画面を通じて、後述する種々の作業分析処理(作業分節処理とも称する。)を行うことができる。
1 and 2, the work analysis device 1 is a computer used by an analyst who performs work analysis, which communicates with imaging devices 100, 200, and 300 and stores work videos (work video data) acquired from these imaging devices. Then, in order to improve the work, the work analysis is performed based on the work videos, such as work analysis that mainly involves user operations (also referred to as manual work analysis), work analysis that does not mainly involve user operations (also referred to as automatic work analysis or AI work analysis), etc.
The work analysis device 1 then creates work standard data based on the results of the analysis process (analysis results), and outputs and displays the work standard data on a display screen, and can also output and print the work standard data on paper.
As the above-mentioned automatic task analysis (AI task analysis), the task analysis device 1 can perform various task analysis processes (also referred to as task segmentation processes) described below through the menu screen shown in FIG. 4 and the task analysis screen shown in FIG. 5.

撮像装置100、200、300は、図1、図2に示すように、種別の異なる撮像装置(例えば撮像カメラ)であって、一連の作業を撮像して作業動画を記録する。そして、作業動画を示す作業動画データを作成し、作業分析装置1に作業動画データを送信する。
撮像装置100、200、300は、それぞれ設置位置(設置箇所、設置場所とも称する。)を異にし、また撮像対象を異にするものである。
「設置位置」の違いとしては、作業空間(作業部屋)における天井位置、壁面位置(側面位置)、床位置、入り口等が挙げられ、また作業分析者の手元位置、作業者の身***置(例えば作業者の頭部)等が挙げられる。「撮像対象」の違いとしては、作業者、機械、部品(製品)、等の対象オブジェクトが挙げられ、また対象オブジェクトの作業内容(移動、手元の動作、アームの動作等)が挙げられる。なお、「撮像対象」の違いには、作業空間の全体、作業空間の一部(特定領域)、作業者の手元等の撮像内容がさらに挙げられても良い。
1 and 2, the imaging devices 100, 200, and 300 are different types of imaging devices (e.g., imaging cameras) that capture a series of tasks to record work videos. Then, they create work video data indicative of the work videos and transmit the work video data to the work analysis device 1.
The imaging devices 100, 200, and 300 are installed at different positions (also referred to as installation locations or installation places) and image different subjects.
Differences in "installation positions" include the ceiling position, wall position (side position), floor position, entrance, etc. in the work space (work room), as well as the position of the work analyst's hands and the body position of the worker (e.g. the worker's head). Differences in "image capture targets" include target objects such as workers, machines, parts (products), etc., as well as the work content of the target objects (movement, hand movements, arm movements, etc.). Differences in "image capture targets" may further include the image capture content of the entire work space, a part of the work space (specific area), the worker's hands, etc.

第1撮像装置100は、分析者の手元位置を「設置位置」とする手持ちカメラであって、全ての対象オブジェクト、全ての作業内容を「撮像対象」とするものである。主として作業者の移動、作業者の手元の動きを「撮像対象」とする。なお、作業空間の一部を「撮像対象」とすることもできる。
第2撮像装置200は、作業者の頭部に身に着けられ、作業者の身***置(頭部位置)を「設置位置」とするウェアラブルカメラであって、主として作業者の手元の動き、機械のアームの動きを「撮像対象」とするものである。
第3撮像装置300は、作業空間の天井位置を「設置位置」とする天井カメラであって、主として作業者の移動を「撮像対象」とするものである。また、作業空間の一部又は全体を「撮像対象」とすることもできる。
具体例として、図10には、各撮像装置100、200、300によって撮像された作業動画(作業動画の一部)が示されている。
The first imaging device 100 is a handheld camera whose "installation position" is the position of the analyst's hands, and which "image capture targets" all target objects and all work contents. The "image capture targets" mainly include the movement of the worker and the movement of the worker's hands. It is also possible to use a part of the work space as the "image capture target."
The second imaging device 200 is a wearable camera worn on the worker's head, with the worker's body position (head position) as its "installation position," and its "imaging subjects" are primarily the movements of the worker's hands and the movements of the machine's arm.
The third imaging device 300 is a ceiling camera whose "installation position" is the ceiling position of the work space, and whose main imaging target is the movement of the worker. In addition, a part or the entire work space can also be the "imaging target."
As a specific example, FIG. 10 shows a work video (a part of the work video) captured by each of the imaging devices 100, 200, and 300.

撮像装置の種類としては、手持ちカメラ、ウェアラブルカメラ、天井カメラのほか、固定カメラ(壁面固定カメラ)、追尾カメラ、360度カメラ等がある。
より詳しくは、図9に示す「撮像装置種別データ」に、撮像装置の種別情報、具体的には「種類」、「設置位置」、「撮像対象」に関する種別情報が対応付けて示されている。
このように、所定の作業を撮像する撮像装置の「種類」や「設置位置」、「撮像対象」によって、同じ作業であっても撮像される作業内容が異なって記録され、異なる作業動画データが作成される。
The types of imaging devices include handheld cameras, wearable cameras, ceiling cameras, fixed cameras (wall-mounted cameras), tracking cameras, 360-degree cameras, and the like.
More specifically, the "imaging device type data" shown in FIG. 9 shows type information of the imaging device, specifically type information related to "type", "installation position" and "imaging subject", in association with each other.
In this way, depending on the "type,""installationlocation," and "image capture target" of the imaging device that captures a specific task, the captured work content will be recorded differently even for the same task, and different work video data will be created.

なお、作業分析システムSは、作業分析装置1と、撮像装置100、200、300とを備えた構成に限定されず、種別の異なる撮像装置や種別の同じ撮像装置をさらに備えていても良い。作業分析システムSは、作業分析装置1と、1つの撮像装置とを備えた構成にしても良い。
あるいは、作業分析装置1が撮像部(撮像装置)を兼ね備えたものであっても良い。具体的には、作業分析装置1が、作業を撮像して作業動画を記録しながらリアルタイムで作業分析する際に用いられるモバイル型の作業分析装置であっても良い。その場合には、作業分析システムSは、作業分析装置1(モバイル作業分析装置)のみを備えた構成にしても良い。
The work analysis system S is not limited to a configuration including the work analysis device 1 and the imaging devices 100, 200, 300, and may further include imaging devices of different types or the same type. The work analysis system S may also be configured to include the work analysis device 1 and one imaging device.
Alternatively, the work analysis device 1 may also include an imaging unit (imaging device). Specifically, the work analysis device 1 may be a mobile work analysis device used to image work and analyze work in real time while recording a work video. In that case, the work analysis system S may be configured to include only the work analysis device 1 (mobile work analysis device).

<<手動作業分析>>
作業分析装置1は、作業動画を表示画面に表示し、ユーザ操作を受け付けて作業動画に対し作業要素ごとに分節する処理を行い、分析処理の結果(分析結果データ)を出力する。例えば、所定の作業を複数サイクル撮像した作業動画それぞれに対し分節する処理を行い、各サイクルの作業(作業要素)のバラツキを確認するサイクル分析を行うことができる。
<<Manual Work Analysis>>
The work analysis device 1 displays a work video on a display screen, accepts user operations to perform processing to segment the work video into work elements, and outputs the results of the analysis processing (analysis result data). For example, it can perform processing to segment each of work videos that have been captured in multiple cycles of a specific work, and perform cycle analysis to check the variation in the work (work elements) of each cycle.

具体的には、作業分析装置1は、図5、図6に示すように、ユーザ操作の入力を受け付けて作業要素ごとに「レイティング率(Rat)」を設定し、「作業標準時間(標準時間)」を算出する。そのほか、作業要素ごとに「動作種別(種別)」等を設定できる。
なお、図5は、後述の「自動作業分析」における作業分析画面を示すが、「手動作業分析」における作業分析画面においても同様の画面レイアウトとなる。図6に示す「作業要素一覧データ」は、作業要素ごとの詳細内容の一覧を示すデータであって、ユーザ操作の入力を受け付けて上述した項目内容が入力、更新されるものである。
Specifically, the work analysis device 1 accepts input from a user operation, sets a "rating rate (Rat)" for each work element, and calculates a "work standard time (standard time)," as shown in Figures 5 and 6. In addition, an "action type (type)" and the like can be set for each work element.
5 shows a work analysis screen for "automatic work analysis" described below, but the work analysis screen for "manual work analysis" has a similar screen layout. The "work element list data" shown in Fig. 6 is data showing a list of detailed content for each work element, and the above-mentioned item content is input and updated by accepting input from a user operation.

「レイティング率」とは、対象物に対して所定の基準に基づいて等級分けや数値化を図るための数値である。例えば、作業動画内に表示された作業者が成熟しているか否か、作業に慣れているか否か等を評価する評価値である。
「作業標準時間」とは、その仕事に適性を持ち、成熟した作業者が、所定の作業条件のもとで、必要な余裕を持ち、正常な作業ペースによって仕事を遂行するために必要とされる時間である。作業標準時間は、一般に有効動作の時間に対してレイティング率を積算することで算出される。
「動作種別」とは、例えば、各作業要素に対し「有効動作」、「無効動作」及び「無駄動作」の分類の中から1つ選択して入力される項目である。「有効動作」は、作業における有効な動作がなされたことを示し、「無効動作」は、作業における無効な動作がなされたことを示す。「無駄動作」は、作業としては有効な動作であるが、分析結果として「不必要」であると認定した動作である(無効動作とは異なる動作である)。
そのほか、図示していないが、作業分析装置1は、作業要素ごとに「区分」等を設定できる。「区分」とは、各作業要素に対し「稼働」、「準稼働」及び「非稼働」の分類の中から1つ選択して入力される項目である。「稼働」は作業者が作業中の状態を示し、「準稼働」は機械が動作する状態を示し、「非稼働」は作業者も機械も動作していない待ち状態を示す。
The "rating rate" is a numerical value for classifying or quantifying an object based on a predetermined standard. For example, it is an evaluation value for evaluating whether a worker shown in a work video is mature or accustomed to the work.
"Standard work time" is the time required for a mature worker who is suitable for a job to complete the job under specified working conditions with the necessary leeway and at a normal work pace. Standard work time is generally calculated by multiplying the rating rate by the effective operation time.
"Action type" is an item in which, for example, one of the categories of "valid action,""invalidaction," and "wasteful action" is selected and input for each work element. "Valid action" indicates that a valid action has been performed in the work, and "invalid action" indicates that an invalid action has been performed in the work. "Wasteful action" is an action that is valid as a work, but has been determined to be "unnecessary" as a result of analysis (it is different from invalid actions).
In addition, although not shown, the work analysis device 1 can set a "category" for each work element. A "category" is an item that is selected and input for each work element from among the categories of "operating,""semi-operating," and "non-operating.""Operating" indicates a state in which a worker is working, "semi-operating" indicates a state in which a machine is operating, and "non-operating" indicates a waiting state in which neither a worker nor a machine is operating.

<<自動作業分析>>
作業分析装置1は、作業に関する分析要素(例えば作業者、作業内容、撮像装置の種別など)に基づいた複数の分析処理(分析AIとも称する。)を作業要素ごとに行う。
作業分析装置1は、ユーザ操作による所定の分析要素の選択を選択条件として受け付けて、複数の分析処理の中からユーザによる選択条件に基づく、適切な分析処理を選定する。そして、選定された分析処理の中から、ユーザ操作により決定された分析処理の実行を行い(自動で行い)、分析処理の結果(分析結果データ)を出力する。
具体的には、以下の通りである(もちろん以下の手法に限定されるものではない)。
<<Automatic Work Analysis>>
The work analysis device 1 performs a plurality of analysis processes (also referred to as analysis AI) based on analysis elements related to work (for example, worker, work content, type of imaging device, etc.) for each work element.
The work analysis device 1 accepts the selection of a predetermined analysis element by a user operation as a selection condition, selects an appropriate analysis process from among a plurality of analysis processes based on the selection condition by the user, and then executes (automatically executes) the analysis process determined by the user operation from among the selected analysis processes, and outputs the results of the analysis process (analysis result data).
Specifically, the method is as follows (of course, the method is not limited to the following method).

作業分析装置1は、まず、ユーザ操作を受け付けて(手動で)、1サイクル分の作業動画に対し作業要素ごとに分析処理(分節処理)を行い、分析結果データを「教師データ」として学習する。そして、3次元対象認識技術を用いて「教師データ」となる「分析結果データ」から対象オブジェクト(作業者、機械など)の3次元空間上での姿勢、体勢、形態を推定する。例えば、作業者の上半身の姿勢の変化を特徴量として取得し、類似する特徴量をグループ化して複数の単位動作に分類する。作業者の姿勢の変化の特徴が類似する場合には、同一動作が行われたものとみなす。そうすることで、作業者の作業位置の違いや、撮像装置の設置位置の違い等に対応して対象オブジェクトの動作を認識できる。
そして、作業分析装置1は、「教師データ」となる、作業要素の区切り目が設定された「分析結果データ」を用いて、作業における作業要素と、作業要素を細分化した単位動作の並びとの対応付けを行う。また、作業要素を構成する単位動作の組み合わせの変化パターンを推定し、「AI学習モデル(機械学習モデル)」を生成する。そうすることで、同じ作業であっても、作業者ごとに異なる動作の違いや同じ作業者で生じる細かな動作の違いを認識できる。また、「AI学習モデル」が単位動作の並びに基づいて作業要素を認識することで、一連の作業の中で「ネジ部品を締め付ける」などの同じ作業要素が複数存在する場合であっても、作業分析装置1が作業における単位動作の並びを考慮して作業要素を検出できる。
上記手法により、作業分析装置1は、対象オブジェクト(作業者、機械など)の動作を認識し(自動認識し)、対象オブジェクトによる作業(作業内容)を作業要素ごとに種々分析することができる。
The work analysis device 1 first accepts user operations (manually), performs analysis processing (segmentation processing) for each work element on one cycle of work video, and learns the analysis result data as "teaching data". Then, using three-dimensional object recognition technology, it estimates the posture, position, and form of the target object (worker, machine, etc.) in three-dimensional space from the "analysis result data" that becomes the "teaching data". For example, it acquires changes in the posture of the worker's upper body as features, groups similar features, and classifies them into multiple unit actions. When the features of changes in the worker's posture are similar, it is considered that the same action has been performed. In this way, it is possible to recognize the action of the target object in response to differences in the worker's work position, differences in the installation position of the imaging device, etc.
The work analysis device 1 then uses the "analysis result data" in which the boundaries of work elements are set, which serves as "teacher data," to associate the work elements in the work with the sequence of unit actions into which the work elements are subdivided. The work analysis device 1 also estimates the change pattern of the combination of unit actions that make up the work elements, and generates an "AI learning model (machine learning model)." In this way, it is possible to recognize differences in actions that differ from worker to worker and small differences in actions that occur within the same worker, even when the same work is performed. Furthermore, because the "AI learning model" recognizes work elements based on the sequence of unit actions, the work analysis device 1 can detect work elements by taking into account the sequence of unit actions in the work, even when there are multiple identical work elements, such as "tightening a screw part," in a series of work tasks.
Using the above method, the work analysis device 1 can recognize (automatically recognize) the actions of a target object (worker, machine, etc.), and perform various analyses of the work (work content) performed by the target object for each work element.

<<分析処理(分析AI)>>
作業分析装置1は、ユーザの要望に応じて(ユーザ操作による分析要素の選択を選択条件として受け付けて)、複数の分析処理の中から適切な1又は複数の分析処理を選定し、選定した分析処理を表示画面に提示する。
選定される分析処理群(分析AI群、作業改善AI群とも称する)は、下記の通りである。なお、下記の分析処理に限定されるものではなく、新規な分析処理を適宜アップデートすることも可能である。
<<Analysis processing (analysis AI)>>
The work analysis device 1 selects one or more appropriate analysis processes from among a plurality of analysis processes in response to a user's request (accepts the selection of an analysis element by user operation as a selection condition) and presents the selected analysis processes on the display screen.
The analysis process group (also called analysis AI group or work improvement AI group) to be selected is as follows. Note that the analysis process is not limited to the following, and it is also possible to update new analysis processes as appropriate.

作業分析装置1によって選定され、実行される分析処理として、作業分節処理(作業分節AI)、手元分析処理(手元分析AI)、部材位置トラッキング処理(部材位置トラッキングAI)、機械動作トラッキング処理(機械動作トラッキングAI)、エルゴノミクス処理(エルゴノミクスAI)、両手・片手分析処理(両手・片手分析AI)、画像異変検知処理(画像異変検知AI)、サーブリック分析処理(サーブリック分析AI)、動作経済の原則処理(動作経済の原則AI)等が挙げられる。 The analysis processes selected and executed by the work analysis device 1 include work segmentation processing (work segmentation AI), hand analysis processing (hand analysis AI), component position tracking processing (component position tracking AI), machine operation tracking processing (machine operation tracking AI), ergonomics processing (ergonomics AI), two-hand/one-hand analysis processing (two-hand/one-hand analysis AI), image anomaly detection processing (image anomaly detection AI), servric analysis processing (servric analysis AI), and principle of motion economics processing (principle of motion economics AI).

「作業分節処理」は、図11に示すように、撮像装置によって記録された作業動画に対し、作業者を分析対象(対象オブジェクトとも称する。)として作業者の作業内容を作業要素ごとに自動分節する処理である。具体的な作業内容としては、上半身作業、歩行を伴う作業、他の作業者との共同作業、機械との共同作業等が挙げられる。手元作業を分析することも可能である。分析対象は、機械、部品、製品であっても良い。
「手元分析処理」は、作業動画に対し、作業者を分析対象とし、主として作業者の手元の細かい作業内容を作業要素ごとに自動分節する処理である。具体的な作業内容としては、手元作業、上半身作業等が挙げられる。他方で、「作業分節処理」で行われる歩行を伴う作業、共同作業等には、比較的不向きな処理とも言える。
As shown in FIG. 11, the "task segmentation process" is a process for automatically segmenting the work content of a worker into work elements for a work video recorded by an imaging device, with the worker as the analysis target (also called the target object). Specific work content includes upper body work, work involving walking, collaborative work with other workers, collaborative work with machines, etc. It is also possible to analyze the work at hand. The analysis target may be a machine, a part, or a product.
The "hands analysis process" is a process that analyzes the worker in the work video and automatically segments the detailed work content of the worker's hands into work elements. Specific work content includes hand work, upper body work, etc. On the other hand, it can be said that this process is relatively unsuitable for work that involves walking, collaborative work, etc., which are performed in the "work segmentation process."

「部材位置変化トラッキング処理」は、作業動画に対し、部品や製品等の作業対象物を分析対象とし、主として作業対象物の位置、向き、変化(状態変化)を作業要素ごとに自動分節する処理である。具体的には、ライン作業や機械加工作業等において作業対象物の位置や向き、変化をトラッキングする際に用いられる分析処理である。
「機械動作トラッキング処理」は、作業動画に対し、機械を分析対象とし、主として機械の動作を作業要素ごとに自動分節する処理である。具体的には、ライン作業や機械加工作業等において機械の動作に伴う位置や向きをトラッキングする際に用いられる分析処理である。
The "part position change tracking process" is a process that automatically segments the position, orientation, and changes (state changes) of work objects, such as parts and products, for each work element in the work video. Specifically, it is an analysis process used when tracking the position, orientation, and changes of work objects in line work, machining work, etc.
"Machine movement tracking processing" is a process that automatically segments the machine movement into each work element by analyzing the machine in the work video. Specifically, it is an analysis process used to track the position and orientation of the machine movement in line work, machining work, etc.

「エルゴノミクス処理」は、作業動画に対し、作業者を分析対象として作業者の動作が「所定の動作基準」に基づいた動作となっているか否かを判断し、作業動画の一部に対して作業者の動作が「所定の動作基準」に基づいた動作となっていないと判断した場合に、作業動画の一部に対して「動作基準に関する記録情報」を付与する処理である。
具体的には、エルゴノミクス処理は、作業動画に対し、作業者の動作が「人間工学に即した動作」となっているか否かを判断する。すなわち、作業者が作業を適切に行っているときであっても、作業者が無理な態勢や体に負担がかかった状態で作業を行っている場合には、エルゴノミクス処理が当該作業者による動作を検出する。
エルゴノミクス処理は、作業動画に対し、作業者が無理な態勢や体に大きな負担がかかった状態で行った作業を分節することができる。
"Ergonomics processing" is a process in which a work video is analyzed to determine whether the worker's movements are based on "predetermined movement standards," and if it is determined that the worker's movements for a part of the work video are not based on the "predetermined movement standards,""recorded information related to the movement standards" is added to that part of the work video.
Specifically, the ergonomics process judges whether the movements of the worker in the work video are "ergonomic movements." In other words, even if the worker is performing the work appropriately, if the worker is performing the work in an unnatural position or with a strain on the body, the ergonomics process detects the movements of the worker.
Ergonomics processing can segment work videos into tasks performed by workers in awkward positions or under great strain on the body.

エルゴノミクス処理は、図12に示すように、作業者の動作が「所定の動作基準」に基づいた動作となっていないと判断した場合に、作業動画の一部に対して「動作基準に関する記録マーク」を付与する。なお、記録マークに限定されず、記録メモのような記録情報であっても良い。
具体的には、エルゴノミクス処理は、図13に示す「エルゴノミクス評価データ」を参照して、「作業対象物の重量による負荷」と、「作業者の姿勢による負荷」とに基づいて決定される記録マークを付与する。
「エルゴノミクス評価データ」によれば、「作業対象の重量による負荷」は、記録マークの大きさ(例えば大マーク、中マーク、小マーク)によって示される。また、「作業者の姿勢による負荷」は、記録マークの色の違い(例えば、黒色、灰色、白色)によって示される。
例えば、図12に示す左側から3番目の作業要素の動画によれば、エルゴノミクス処理は、作業者による「部品を取る動作」が「人間工学に即した動作」となっていないことを判断し、作業者の腰部に「黒色の大マーク」を付与し、また作業者の上半身(肘部)に「白色の小マーク」を付与していることが分かる。
In the ergonomics process, when it is determined that the worker's movement is not based on the "predetermined movement standard," a "record mark related to the movement standard" is added to a part of the work video, as shown in Fig. 12. Note that the mark is not limited to a record mark, and may be record information such as a record memo.
Specifically, the ergonomics processing refers to the "ergonomics evaluation data" shown in FIG. 13 and assigns a recording mark that is determined based on the "load due to the weight of the work object" and the "load due to the worker's posture."
According to the "ergonomics evaluation data," the "load caused by the weight of the work object" is indicated by the size of the recording mark (e.g., large mark, medium mark, small mark), and the "load caused by the worker's posture" is indicated by the different colors of the recording mark (e.g., black, gray, white).
For example, in the video of the third task element from the left in FIG. 12, it can be seen that the ergonomics processing has determined that the "action of picking up the part" by the worker is not an "ergonomic action," and has placed a "large black mark" on the worker's lower back and a "small white mark" on the worker's upper body (elbow).

「両手・片手分析処理」は、作業動画に対し、作業者を分析対象として作業者の手の種別(例えば片手(右手、左手)、両手、なし)を自動検出し、手の種別を作業要素ごとに分節する処理である。詳しく述べると、両手・片手分析処理は、作業者が片手作業をしているか、両手作業をしているか、手作業をおこなっていないか等を自動検出する。
例えば、図14に示す作業動画の分節処理によれば、両手・片手分析処理は、作業動画に対し、作業者の片手作業と、作業者の両手作業とをそれぞれ検出し、作業分節する処理を行っていることが分かる。
なお、図14に示すように、作業者の片手作業を示す動画と、作業者の両手作業を示す動画とを異なる色でハイライト表示して識別することができる。あるいは、片手作業を示す動画に対して文字「片手」を付与し、両手作業を示す動画に対して文字「両手」を付与することで識別しても良い。
The "two-handed/one-handed analysis process" is a process that automatically detects the type of hand of a worker (e.g., one hand (right hand, left hand), both hands, none) for a work video, analyzing the worker, and segments the hand type for each work element. In more detail, the two-handed/one-handed analysis process automatically detects whether a worker is performing one-handed work, two-handed work, or no manual work.
For example, according to the segmentation process of the work video shown in Figure 14, it can be seen that the two-handed/one-handed analysis process detects the work video as being performed by a worker with one hand and the work video as being performed by a worker with both hands, and performs the process of segmenting the work.
As shown in Fig. 14, videos showing a worker performing one-handed tasks and videos showing a worker performing two-handed tasks can be distinguished by highlighting them in different colors. Alternatively, the characters "one hand" may be added to videos showing one-handed tasks and the characters "both hands" may be added to videos showing two-handed tasks.

「画像異変検知処理」は、作業動画に対し、作業者を分析対象として作業者の不正な動作を自動検出し、作業動画の一部に対して作業者の不正動作を検出した場合に、当該作業動画の一部に対して「不正な動作を示す記録情報」を付与する処理である。
詳しく述べると、エルゴノミクス処理は、作業者が作業を行っているときに「禁止された動作、不要な動作(明らかに不要な動作)」、「使用禁止されたツール、材料、部品、製品を使用した動作、不正なツールを使用した動作」等を検出する。
The "image anomaly detection process" is a process in which a work video is analyzed to automatically detect any unauthorized behavior by the worker, and if unauthorized behavior by a worker is detected in part of the work video, "recorded information indicating unauthorized behavior" is added to that part of the work video.
In detail, ergonomics processing detects "prohibited actions, unnecessary actions (clearly unnecessary actions),""actions using prohibited tools, materials, parts, and products, actions using unauthorized tools," etc. while a worker is performing work.

「画像異変検知処理」は、「禁止された動作」や「使用禁止されたツールを用いた動作」の検知(第1不正検知)を行い、また「明らかに不要な動作」や「不正なツールを使用した動作」の検知(第2不正検知)を行うことができる。第1不正検知は、第2不正検知よりも重要度(不正の重要度)が高いものである。例えば重要度は、不正の重要度が高い順に「高」、「中」、「小」などと表現されると良い。
そうすることで、画像異変検知処理は、不正検知の検知レベルによって第1不正検知、第2不正検知等を設定しながら、作業分節を行うことができる。
画像異変検知処理は、作業動画の一部に対して検知レベルに応じた記録情報を付与する。このときの記録情報は、検知レベルによって異なる記録マーク、記録メモ、記号等であると良い。
なお、第1不正検知を検出した場合には、画像異変検知処理は、緊急アラートを報知することとしても良い。
The "image anomaly detection process" can detect "prohibited actions" and "actions using prohibited tools" (first fraud detection), and can also detect "clearly unnecessary actions" and "actions using unauthorized tools" (second fraud detection). The first fraud detection has a higher importance (importance of fraud) than the second fraud detection. For example, the importance can be expressed in order of increasing importance of fraud as "high,""medium," or "low."
In this way, the image anomaly detection process can be divided into tasks while setting a first fraud detection, a second fraud detection, etc. according to the detection level of the fraud detection.
In the image anomaly detection process, recording information according to the detection level is added to a part of the work video. The recording information at this time may be a recording mark, a recording memo, a symbol, or the like that differs depending on the detection level.
In addition, when the first fraud detection is detected, the image anomaly detection process may be configured to issue an emergency alert.

「サーブリック分析処理」は、微動作分析処理とも称され、作業動画に対し、作業者を分析対象として作業者の両手を主とした手元の微動作を作業要素ごとに分節する処理である。当該処理では、作業者の手元動作の順序や方法を18種類の基本動作(サーブリック動作とも称される。)の繋がりをもって分析する処理である。例えば、作業者の細かい手元作業の分析に向いた処理と言える。 "Servric analysis processing", also known as micro-motion analysis processing, is a process that analyzes a video of a worker and segments the micro-motions of the worker's hands, mainly those of both hands, into individual work elements. This process analyzes the sequence and method of the worker's hand movements in relation to 18 types of basic movements (also known as Servric movements). For example, this process is suitable for analyzing the detailed manual work of a worker.

「動作経済の原則処理」は、作業動画に対し、作業者を分析対象として作業者の動作が「動作経済の原則」に基づいた動作となっているか否かを判断する。そして、作業動画の一部に対して作業者の動作が「動作経済の原則」に基づいた動作となっていないと判断した場合に、作業動画の一部に対して「動作経済の原則に関する記録情報」を付与する。
「動作経済の原則」とは、作業者が最小限の疲労で最大の成果を上げられるように、最も良い作業動作を実現しようとする原則を言う。具体的には、動作経済の原則処理は、(1)動作の数を減らす、(2)動作を同時に行う、(3)動作の距離を短くする、(4)動作を楽にする、という4つの基本原則に基づいた動作が実現されているか否かを判断する。
動作経済の原則処理は、作業動画の一部に対して、作業者の動作が「動作経済の原則」に基づいていない動作と判断したときに記録情報を付与する。このときの記録情報は、動作経済の検知レベルによって異なる記録マーク、記録メモ、記号等であると良い。
The "principle of motion economy processing" analyzes the worker in the work video and judges whether the worker's movements are based on the "principle of motion economy." If it is judged that the worker's movements for a part of the work video are not based on the "principle of motion economy,""record information related to the principle of motion economy" is added to the part of the work video.
The "principle of motion economy" refers to a principle that aims to realize the best work motions so that a worker can achieve the maximum results with the minimum fatigue. Specifically, the motion economy processing judges whether or not the motions based on the four basic principles of (1) reducing the number of motions, (2) performing the motions simultaneously, (3) shortening the distance of the motion, and (4) making the motion easier are realized.
The principle of motion economy processing adds recording information to a part of a work video when it is determined that the worker's motion is not based on the "principle of motion economy." The recording information at this time may be a recording mark, a recording memo, a symbol, etc. that differs depending on the detection level of the motion economy.

<<分析処理の選定>>
作業分析装置1は、作業に関する複数の分析処理と、作業に関する複数の分析要素と、分析要素ごとの分析処理の重みを示す評価情報(スコア)とを含む「分析特徴データ」を記憶している(図7A、図7B参照)。
作業分析装置1は、ユーザ操作による所定の分析要素の選択を選択条件として受け付けると、「分析特徴データ」を参照して上記複数の分析処理の中から、ユーザによる選択条件に基づく、分析処理の重みに応じた1又は複数の分析処理(分析AI)を選定する(第1の選定処理)。
あるいは、作業分析装置1は、作業の撮像に用いられる「撮像装置の種別情報」を取得し、図7A、Bに示す「分析特徴データ」と、図8に示す「第2分析特徴データ」とを参照して上記複数の分析処理の中から1又は複数の分析処理(分析AI)を選定しても良い(第2の選定処理)。
<<Selection of analysis process>>
The work analysis device 1 stores "analysis feature data" including a plurality of analysis processes related to the work, a plurality of analysis elements related to the work, and evaluation information (scores) indicating the weights of the analysis processes for each analysis element (see Figures 7A and 7B).
When the work analysis device 1 accepts the selection of a specific analysis element by user operation as a selection condition, it refers to the "analysis feature data" and selects one or more analysis processes (analysis AI) from the above-mentioned multiple analysis processes according to the weight of the analysis process based on the user's selection condition (first selection process).
Alternatively, the work analysis device 1 may acquire "type information of imaging device" used to image the work, and select one or more analysis processes (analysis AI) from the above-mentioned multiple analysis processes by referring to the "analysis feature data" shown in Figures 7A and 7B and the "second analysis feature data" shown in Figure 8 (second selection process).

詳細は後述するが、前者の「第1の選定処理」として、作業分析装置1は、撮像装置によって記録される作業動画の内容については問わず、ユーザの要望に基づいて「分析特徴データ」をもとに適切な分析処理を選定する。
例えば、ユーザが対象オブジェクトごとの動作を分析したい場合に、対象オブジェクトの分析を得意とする分析処理群を選定する。
後者の「第2の選定処理」としては、作業分析装置1は、作業動画の全体内容を俯瞰して撮像装置の種別情報(例えば種類、設置位置、設置角度など)を取得した上で、ユーザの要望に基づいて「分析特徴データ」、「第2分析特徴データ」をもとに適切な分析処理を選定する。
例えば、箱の組み立て作業を分析する場合に、まずは作業動画の全体内容を俯瞰して(全体内容をもとに画像構成を把握して)、天井に設置された撮像装置によって記録されたものであること、作業者のみ、機械のみ、あるいは作業者及び機械によって行われた作業動画であること等を把握する。その上で、ユーザが対象オブジェクトごとの動作を分析したい場合に、撮像装置の種別と、対象オブジェクトの種別とを考慮しながら、対象オブジェクトの分析を得意とする分析処理群を選定する。
Details will be described later, but in the former "first selection process", the work analysis device 1 selects an appropriate analysis process based on the "analysis feature data" in accordance with the user's requests, regardless of the content of the work video recorded by the imaging device.
For example, when a user wants to analyze the operation of each target object, the user selects an analysis process group that is good at analyzing target objects.
As the latter "second selection process", the work analysis device 1 obtains type information of the imaging device (e.g., type, installation position, installation angle, etc.) by taking an overview of the entire content of the work video, and then selects an appropriate analysis process based on the "analysis feature data" and the "second analysis feature data" in accordance with the user's request.
For example, when analyzing the assembly work of a box, first, the entire content of the work video is overviewed (the image composition is understood based on the entire content), and it is understood that it was recorded by an imaging device installed on the ceiling, that it is a video of work performed by only workers, only machines, or both workers and machines, etc. If the user then wants to analyze the actions of each target object, an analysis process group that is good at analyzing target objects is selected while taking into consideration the type of imaging device and the type of target object.

言い換えれば、「第1の選定処理」では、作業分析装置1が、全ての分析処理群(分析AI群)から適切な分析処理を選定する。「第2の選定処理」では、作業分析装置1が、「作業動画の内容」をもとに不適合の分析処理を選定候補から除外した上で、残りの分析処理群から適切な分析処理を選定するものである。
なお、「第1の選定処理」と「第2の選定処理」において、選定処理のプロセスに違いはあるものの、結果的に同じ分析処理(分析AI)が選定されることがある。他方で、選定候補となる分析処理が多数存在する場合には、「第2の選定処理」を採用することで、より精度の高い選定を行うことができる。具体的には、多数の分析処理群の中から選定候補となり得る分析処理を大まかに選定(予備選定)した上で、その選定候補の中からユーザの要望に応じた分析処理を選定(本選定)することができる。
In other words, in the "first selection process", the work analysis device 1 selects an appropriate analysis process from all analysis process groups (analysis AI group). In the "second selection process", the work analysis device 1 excludes incompatible analysis processes from the selection candidates based on the "contents of the work video", and then selects an appropriate analysis process from the remaining analysis process group.
Although there are differences in the selection process between the "first selection process" and the "second selection process", the same analysis process (analysis AI) may be selected as a result. On the other hand, when there are many analysis processes that can be selected as candidates, a more accurate selection can be performed by adopting the "second selection process". Specifically, it is possible to roughly select (preliminary selection) analysis processes that can be selection candidates from a large number of analysis process groups, and then select (main selection) an analysis process that meets the user's needs from the selection candidates.

<<分析処理と撮像装置の対応付け>>
作業分析装置1は、所定の作業動画に対して所定の分析処理を行うにあたって、作業動画を記録する撮像装置の種別(種類、設置位置、撮像対象等)と、分析処理の特徴(分析要素1、2、3等)とに基づいて、撮像装置と当該撮像装置に適した分析処理との対応付けを行う。
詳しく述べると、作業分析装置1は、図7A、Bに示す「分析特徴データ」と、図9に示す「撮像装置種別データ」ともとに撮像装置ごとに適した分析処理の対応付けを行う。
なお、作業分析装置1が、1台の撮像装置によって記録された作業動画に対して1又は複数の作業分析を行う場合には、撮像装置と分析処理の対応付けを改めて行う必要はない。また、作業分析装置1が、複数の撮像装置によって記録された作業動画に対して1の作業分析を行う場合であっても、対応付けを改めて行う必要はない。
<<Association of analysis process and imaging device>>
When performing a specified analysis process on a specified work video, the work analysis device 1 matches the imaging device with an analysis process suitable for the imaging device based on the type (type, installation location, imaging target, etc.) of the imaging device that records the work video and the characteristics of the analysis process (analysis elements 1, 2, 3, etc.).
More specifically, the work analysis device 1 associates an analysis process suitable for each imaging device based on the "analysis feature data" shown in FIGS. 7A and 7B and the "imaging device type data" shown in FIG.
When the work analysis device 1 performs one or more work analyses on work videos recorded by one imaging device, there is no need to reassociate the imaging device with the analysis process. Even when the work analysis device 1 performs one work analysis on work videos recorded by multiple imaging devices, there is no need to reassociate the imaging device with the analysis process.

一例として、作業分析装置1が、図1に示す作業に対して、上述した分析処理の選定、ユーザによる分析処理の決定を経て、「作業分節処理」、「エルゴノミクス処理」及び「両手・片手分析処理」を行う場合を想定する。
この場合、作業分析装置1は、図7A、Bに示す「分析特徴データ」と、図9に示す「撮像装置種別データ」とをもとに、第1撮像装置100(手持ちカメラ)に「作業分節処理」、「エルゴノミクス処理」、「両手・片手分析処理」を対応付けて、第2撮像装置200(ウェアラブルカメラ)に「作業分節処理」、「両手・片手分析処理」を対応付けて、第3撮像装置300(天井カメラ)に「作業分節処理」を対応付ける。
As an example, assume that the work analysis device 1 performs "task segmentation processing,""ergonomicsprocessing," and "two-handed/one-handed analysis processing" for the work shown in Figure 1, after selecting the above-mentioned analysis processing and having the user decide on the analysis processing.
In this case, based on the "analysis feature data" shown in Figures 7A and B and the "imaging device type data" shown in Figure 9, the work analysis device 1 associates "task segmentation processing,""ergonomicsprocessing," and "two-hand/single-hand analysis processing" with the first imaging device 100 (handheld camera), associates "task segmentation processing" and "two-hand/single-hand analysis processing" with the second imaging device 200 (wearable camera), and associates "task segmentation processing" with the third imaging device 300 (ceiling camera).

なお、作業分析装置1は、作業動画を記録する撮像装置と、撮像装置に適した分析処理との対応付けを予め指定しておいても良い。つまりは、撮像装置ごとに任意の分析処理がデフォルト設定された状態となっていても良い。その場合には、撮像装置の種別(種類、設置位置、撮像対象)と、分析処理の特徴(分析要素1、2、3)とに基づいて、撮像装置ごとに適した分析処理が設定されていると良い。予め対応付けが行われている場合には、当然ながら作業分析装置1は、複数の分析処理の中から適した分析処理を選定する必要はない。
作業分析装置1は、ユーザ操作による任意の決定に基づいて撮像装置ごとに分析処理の対応づけを行っても良い。この場合においても、当然ながら作業分析装置1は、分析処理の選定を行う必要はない。
The work analysis device 1 may previously specify an association between the imaging device that records the work video and an analysis process suitable for the imaging device. In other words, an arbitrary analysis process may be set as a default for each imaging device. In that case, an analysis process suitable for each imaging device may be set based on the type of imaging device (type, installation location, imaging target) and the characteristics of the analysis process (analysis elements 1, 2, 3). If an association has been established in advance, it goes without saying that the work analysis device 1 does not need to select an appropriate analysis process from among multiple analysis processes.
The work analysis apparatus 1 may associate an analysis process with each imaging device based on an arbitrary decision made by a user operation. Even in this case, it goes without saying that the work analysis apparatus 1 does not need to select an analysis process.

<<分析処理の実行>>
作業分析装置1は、作業を記録した作業動画に対して、選定された分析処理の中からユーザ操作により決定された「1又は複数の分析処理」を行い、分析処理の結果(分析結果データ)を出力する。
詳しく述べると、作業分析装置1は、撮像装置によって記録された作業動画に対して、当該撮像装置に対応付けられた「1又は複数の分析処理」を行い、分析処理の結果を出力する。
作業分析装置1は、所定の作業(作業動画)に対して複数の分析処理を行う場合には、複数の分析処理の結果を組み合わせた(併合させた)分析処理の結果(併合分析結果とも称する。)を出力する。具体的には、所定の作業に対して作業動画の併合(マージとも称する。)と、それぞれの分析結果の併合とを行った併合分析結果(併合分析結果データ)を出力する。
なお、作業分析装置1は、それぞれ個別の分析結果、作業動画の併合のみを行った分析結果、作業動画の併合を行わずに分析結果の併合のみを行った結果を出力しても良い。
<<Executing analysis process>>
The work analysis device 1 performs "one or more analysis processes" determined by user operation from among the selected analysis processes on a work video that records the work, and outputs the results of the analysis processes (analysis result data).
More specifically, the work analysis device 1 performs "one or more analysis processes" associated with an imaging device on a work video recorded by the imaging device, and outputs the results of the analysis processes.
When multiple analysis processes are performed on a predetermined task (task video), the work analysis device 1 outputs the result of the analysis process (also called a merged analysis result) that combines (combines) the results of the multiple analysis processes. Specifically, it outputs a merged analysis result (merged analysis result data) that combines (merges) the work videos for the predetermined task and combines the respective analysis results.
The work analysis device 1 may output each individual analysis result, an analysis result in which only the work videos have been merged, or a result in which only the analysis results have been merged without merging the work videos.

具体例として、図1、図10~図14に示すように、作業分析装置1が、第1撮像装置100、第2撮像装置200及び第3撮像装置300と通信可能に接続され、部品の組み立て作業(作業動画)に対して「作業分節処理」、「エルゴノミクス処理」及び「両手・片手分析処理」を行う場合を想定する。
作業分析装置1は、第1撮像装置100(手持ちカメラ)によって記録された作業動画に対して「作業分節処理」、「エルゴノミクス処理」、「手元分析処理」を行う。そして、第2撮像装置200(ウェアラブルカメラ)によって記録された作業動画に対して「作業分節処理」、「手元分析処理」を行う。そして、第3撮像装置300(天井カメラ)によって記録された作業動画に対して「作業分節処理」を行う。
その後、作業分析装置1は、図15に示すように、それぞれの作業動画の併合と、それぞれの分析処理結果の併合とを行った併合分析結果を出力する。
図15の併合分析結果によれば、(1)作業要素ごとに分節処理が行われていること、(2)作業者が「人間工学に即した動作」となっていない作業(作業要素)に対して記録マークが付与されていること、そして、(3)作業者の片手作業と、作業者の両手作業とを作業要素ごとに異なる色でハイライト表示していることが分かる。
As a specific example, as shown in Figures 1 and 10 to 14, it is assumed that the work analysis device 1 is communicatively connected to the first imaging device 100, the second imaging device 200, and the third imaging device 300, and performs "work segmentation processing,""ergonomicsprocessing," and "two-handed/one-handed analysis processing" for part assembly work (work video).
The work analysis device 1 performs "work segmentation processing,""ergonomicsprocessing," and "hands analysis processing" on work videos recorded by the first imaging device 100 (handheld camera). It then performs "work segmentation processing" and "hands analysis processing" on work videos recorded by the second imaging device 200 (wearable camera). It then performs "work segmentation processing" on work videos recorded by the third imaging device 300 (ceiling camera).
Thereafter, the work analysis device 1 outputs a merged analysis result in which the work videos and the analysis process results are merged, as shown in FIG. 15 .
The combined analysis results in Figure 15 show that (1) segmentation processing is performed for each work element, (2) a record mark is added to work (work element) in which the worker does not perform "ergonomic movements," and (3) the worker's one-handed work and the worker's two-handed work are highlighted in different colors for each work element.

作業分析装置1は、図15に示すように、所定の作業に対して作業動画の併合と、それぞれの分析結果の併合とを行った併合分析結果をサイクルごとに表示画面(作業分析画面)に出力できる。具体的には、図5に示す作業分析画面を通じて、併合させた作業動画を再生することができ、それぞれの分析結果を作業要素ごとに一覧表示することができる。 As shown in FIG. 15, the work analysis device 1 can output the merged analysis results, which are obtained by merging work videos for a specific work and merging the respective analysis results, to a display screen (work analysis screen) for each cycle. Specifically, the merged work videos can be played back through the work analysis screen shown in FIG. 5, and each analysis result can be displayed in a list for each work element.

図5に示す作業分析画面40のレイアウトによれば、左上部分の表示領域には、作業動画41(併合された作業動画)が表示されている。
作業分析画面40の下部分の表示領域には、分析結果42(併合分析結果)が作業要素ごとに分節されて表示されている。分析結果42には、作業動画の分節位置の情報と、分析処理により記録された記録情報とが表示され、また作業動画の再生時点を示すシークバー42aと、分析処理(分析処理の名称)42bとが表示されている。
作業分析画面40の右上部分の表示領域には、作業要素一覧表43が表示されている。作業要素一覧表43には、識別番号(Nо.)、作業要素、エルゴノミクス評価(エルゴ評価)、両手・片手評価(両手・片手)、種別、要素時間、有効時間、無効時間、レイティング(Rat)、標準時間の情報のほか、作業の合計時間(計)、サイクル情報等が表示されている。なお、全サイクルにおいてベストラップ、ワーストラップの作業時間を示す表示マークなどが表示されても良い。
上記「エルゴノミクス評価」は、エルゴノミクス処理の結果、作業要素に対して記録された記録情報を示すものである。「両手・片手評価」は、両手・片手分析処理の結果、作業要素に対して記録された片手作業の情報(両手作業の情報)を示すものである。
作業分析画面40の画面レイアウトについては、レイアウト切替ボタン44によって適宜切り替えることができる。また、サイクル切替ボタン45によってサイクルを切り替え表示することができる。
According to the layout of the work analysis screen 40 shown in FIG. 5, a work video 41 (merged work video) is displayed in the display area in the upper left portion.
The analysis results 42 (combined analysis results) are displayed segmented by work element in the display area at the bottom of the work analysis screen 40. The analysis results 42 display information on the segmentation position of the work video and recording information recorded by the analysis process, as well as a seek bar 42a indicating the playback time of the work video and the analysis process (the name of the analysis process) 42b.
A task element list 43 is displayed in the display area in the upper right part of the task analysis screen 40. The task element list 43 displays information such as the identification number (No.), task element, ergonomics evaluation (ergo evaluation), both-hand/one-hand evaluation (both-hand/one-hand), type, element time, valid time, invalid time, rating (Rat), and standard time, as well as total task time (total), cycle information, etc. Note that display marks indicating the task times of the best lap and worst lap in the entire cycle may also be displayed.
The "ergonomics evaluation" indicates recorded information recorded for a task element as a result of ergonomics processing. The "two-handed/one-handed evaluation" indicates one-handed task information (two-handed task information) recorded for a task element as a result of two-handed/one-handed analysis processing.
The screen layout of the work analysis screen 40 can be appropriately changed by using a layout change button 44. In addition, the cycle change button 45 can be used to change the cycle displayed.

<<分析処理(分節処理)による分節位置の補正>>
作業分析装置1は、所定の作業を複数の撮像装置によって記録した各作業動画に対し、複数の分節処理を行い、それぞれ分節された分節位置に基づいて「分節位置の補正」を行う。そして、補正された「補正後の分節位置の情報」を含む分析処理の結果を出力する。
詳しく述べると、作業分析装置1は、複数の分節処理の中から、「分析対象及び/又は作業内容の種別」に基づいて所定の分節処理を抽出し、抽出された分節処理それぞれによって分節された分節位置に基づいて「分節位置の補正」を行う。
より詳しく述べると、抽出された分節処理それぞれには、分析対象や作業内容の種別に応じて向き不向き(得手不得手)があること(分節処理の性能に応じた相性があること)から、分析対象や作業内容の種別ごとの「重みづけ」がなされている。
そのため、作業分析装置1は、複数の分節処理の中から、分析対象及び/又は作業内容の種別に基づいて所定の分節処理を抽出し、抽出された分節処理それぞれに対し「所定の重み付け」を行い、抽出された分節処理それぞれによって分節された「分節位置」と、分節処理それぞれになされた「重み」とに基づいて「分節位置の補正」を行う。
上記分析対象(対象オブジェクト)、作業内容の種別ごとの分節処理の重みの情報は、図7A、Bに示す「分析特徴データ」に含まれている。
<<Correction of segment position by analysis processing (segment processing)>>
The work analysis device 1 performs multiple segmentation processes on each work video recorded by multiple imaging devices, performs "segment position correction" based on each segmented segment position, and outputs the result of the analysis process including the corrected "information on the corrected segment position".
In detail, the work analysis device 1 extracts a specific segmentation process from among multiple segmentation processes based on the "type of analysis subject and/or work content", and performs "segment position correction" based on the segmentation positions segmented by each of the extracted segmentation processes.
More specifically, since each of the extracted segmentation processes has its own strengths and weaknesses depending on the type of analysis subject and work content (there is compatibility depending on the performance of the segmentation process), a "weighting" is given to each type of analysis subject and work content.
Therefore, the work analysis device 1 extracts a specific segmentation process from among multiple segmentation processes based on the type of analysis target and/or work content, applies a "specific weighting" to each of the extracted segmentation processes, and performs a "segment position correction" based on the "segment position" segmented by each extracted segmentation process and the "weighting" applied to each segmentation process.
The information on the weight of the segmentation process for each analysis target (target object) and type of work content is included in the "analysis feature data" shown in FIGS. 7A and 7B.

具体例として、図1、図10~図14に示すように、作業分析装置1が、第1撮像装置100、第2撮像装置200及び第3撮像装置300と通信可能に接続され、部品の組み立て作業(作業動画)に対して「作業分節処理」、「エルゴノミクス処理」及び「手元分析処理」を行う場合を想定する。
この場合に、作業分析装置1は、図15に示すように、「作業分節処理」と、「エルゴノミクス処理」と、「手元分析処理」とによって分節された分節位置に基づいて分節位置の補正を行い、「補正後の分節位置の情報」を含む分析処理の結果を出力する。
より具体的には、以下の通りである。
As a specific example, as shown in Figures 1 and 10 to 14, it is assumed that a work analysis device 1 is communicatively connected to a first imaging device 100, a second imaging device 200, and a third imaging device 300, and performs "work segmentation processing,""ergonomicsprocessing," and "hand analysis processing" for part assembly work (work video).
In this case, the work analysis device 1 corrects the segment position based on the segment positions segmented by the "task segmentation processing", the "ergonomics processing", and the "hand analysis processing", as shown in Figure 15, and outputs the results of the analysis processing including "information on the corrected segment position".
More specifically, it is as follows.

第1の補正パターンとして、作業分析装置1は、第1撮像装置100(手持ちカメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置A1と、第3撮像装置300(天井カメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置A2とから補正を行い、補正後の分節位置Aを設定する。
このように、設置位置が異なる(撮像対象が異なる)撮像装置100、300によって記録された別々の作業動画に対して同じ分析処理を行ったときに、それぞれの分節位置に基づいて分節位置の補正を行うことができる。
As a first correction pattern, the work analysis device 1 performs correction based on a segment position A1 where a "work segmentation process" was performed on a work video recorded by the first imaging device 100 (handheld camera) and a segment position A2 where a "work segmentation process" was performed on a work video recorded by the third imaging device 300 (ceiling camera), and sets a corrected segment position A.
In this way, when the same analysis process is performed on separate work videos recorded by imaging devices 100 and 300 that are installed in different positions (i.e., different imaging targets), the segment positions can be corrected based on each segment position.

第2の補正パターンとして、作業分析装置1は、第1撮像装置100(手持ちカメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置B1と、第2撮像装置200(ウェアラブルカメラ)によって記録された作業動画に対して「手元分析処理」を行った分節位置B2とから補正を行い、補正後の分節位置Bを設定する。
このように、設置位置が異なる(撮像対象が異なる)撮像装置100、200によって記録された別々の作業動画に対して異なる分析処理を行ったときに、それぞれの分節位置に基づいて分節位置の補正を行うことができる。
As a second correction pattern, the work analysis device 1 performs correction based on a segment position B1 where a "work segmentation process" was performed on a work video recorded by the first imaging device 100 (handheld camera) and a segment position B2 where a "hand-held analysis process" was performed on a work video recorded by the second imaging device 200 (wearable camera), and sets a corrected segment position B.
In this way, when different analysis processes are performed on separate work videos recorded by imaging devices 100 and 200 that are installed in different positions (different imaging targets), the segment positions can be corrected based on each segment position.

そのほか、図示していないが、作業分析装置1は、同じ撮像装置(例えば手持ちカメラ)によってサイクルごとに記録された作業動画に対して、第1サイクル目に「作業分節処理」を行った分節位置と、第2サイクル目に「作業分節処理」を行った分節位置とに基づいて補正を行い、補正後の分節位置を設定しても良い。
あるいは、作業分析装置1は、同じ撮像装置(例えば手持ちカメラ)によってサイクルごとに記録された作業動画に対して、第1サイクル目に「作業分節処理」を行った分節位置と、第2サイクル目に「両手・片手分析処理」を行った分節位置とに基づいて補正を行い、補正後の分節位置を設定しても良い。
In addition, although not shown, the work analysis device 1 may perform corrections on work videos recorded for each cycle by the same imaging device (e.g., a handheld camera) based on the segment positions where the ``task segmentation processing'' was performed in the first cycle and the segment positions where the ``task segmentation processing'' was performed in the second cycle, and set the corrected segment positions.
Alternatively, the work analysis device 1 may perform corrections on work videos recorded for each cycle by the same imaging device (e.g., a handheld camera) based on the segment positions where the ``work segmentation processing'' was performed in the first cycle and the segment positions where the ``two-handed/one-hand analysis processing'' was performed in the second cycle, and set the corrected segment positions.

上記により、作業分析装置1は、撮像装置によって記録された作業動画に対して、当該撮像装置に対応付けられた分析処理によって作業要素ごとに分節を行い、当該分節を行った分節位置をさらに補正することができる。そのため、作業動画に対してより適切な分節処理を行うことができる。
特に、設置位置が異なる(撮像対象が異なる)撮像装置によって記録された作業動画によって異なった分節位置を考慮して、作業動画(作業内容)の特徴を踏まえながら分節位置の補正を行うことができる。
As a result, the work analysis device 1 can segment the work video recorded by the imaging device into work elements by analysis processing associated with the imaging device, and can further correct the segmentation positions where the segmentation was performed, thereby enabling more appropriate segmentation processing to be performed on the work video.
In particular, it is possible to take into account different segment positions in work videos recorded by imaging devices with different installation positions (different imaging targets) and correct the segment positions while taking into account the characteristics of the work video (work content).

<作業分析システムのハードウェア構成>
作業分析装置1は、図2に示すように、データの演算・制御処理装置としてのCPU2と、ROM、RAM及びHDD(SSD)を有する記憶装置3と、ネットワークを通じて情報データの送受信を行う通信インタフェース4と、文字又は画像の情報を表示する表示部5と、CPUに所定の指令を入力するときにユーザ操作される入力部6と、文字又は画像の情報を出力する出力部7と、を備えたコンピュータである。
作業分析装置1は、撮像装置によって記録された作業動画(作業動画データ)を撮像装置ごとに、またサイクルごとに分けて記憶する。また、作業工程ごとに分けて記憶することもできる。
作業分析装置1の記憶装置3(メモリ)には、コンピュータとして必要な機能を果たすメインプログラムに加えて、作業分析プログラムが記憶されており、当該プログラムがCPU(プロセッサ)によって実行されることにより、作業分析装置1の機能が発揮されることになる。あるいは、CPUを実装した半導体集積回路又はFPGA(Field-Programmable Gate Array)によって実行されても良い。
なお、撮像装置100、200、300についても同様のハード構成を備えたコンピュータである。
<Hardware configuration of the work analysis system>
As shown in FIG. 2, the work analysis device 1 is a computer equipped with a CPU 2 as a data calculation/control processing device, a storage device 3 having ROM, RAM, and HDD (SSD), a communications interface 4 for sending and receiving information data via a network, a display unit 5 for displaying text or image information, an input unit 6 that is operated by the user when inputting specified commands to the CPU, and an output unit 7 for outputting text or image information.
The work analysis device 1 stores the work videos (work video data) recorded by the imaging devices, separated by imaging device and separated by cycle. It can also store the work videos separated by work process.
In addition to a main program that performs the functions required of a computer, a work analysis program is stored in the storage device 3 (memory) of the work analysis device 1, and the program is executed by a CPU (processor) to achieve the functions of the work analysis device 1. Alternatively, the program may be executed by a semiconductor integrated circuit or a Field-Programmable Gate Array (FPGA) equipped with a CPU.
The image capturing apparatuses 100, 200, and 300 are also computers having similar hardware configurations.

なお、作業分析装置1がモバイル作業分析装置である場合には、CPU2と、記憶装置3と、通信インタフェース4と、表示部5と、入力部6と、出力部7と、撮像部(撮像装置)と、を備えたモバイルコンピュータとなる。
その場合には、モバイル作業分析装置1は、不図示の外部分析装置と通信を行い、作業分析に関する分析データを送信する。外部分析装置は、モバイル作業分析装置1と通信を行い、分析データを受信し、当該分析データに基づいて詳細分析を行い、詳細分析データを送信する。
In addition, when the work analysis device 1 is a mobile work analysis device, it is a mobile computer equipped with a CPU 2, a memory device 3, a communication interface 4, a display unit 5, an input unit 6, an output unit 7, and an imaging unit (imaging device).
In this case, the mobile work analysis device 1 communicates with an external analysis device (not shown) and transmits analysis data related to the work analysis. The external analysis device communicates with the mobile work analysis device 1, receives the analysis data, performs a detailed analysis based on the analysis data, and transmits the detailed analysis data.

<作業分析システムの機能>
作業分析装置1は、図3に示すように、機能面から説明すると、「作業動画データ」、「作業要素一覧データ」、「分析特徴データ」、「第2分析特徴データ」「撮像装置種別データ」、「分析データ(併合分析データ)」等、各種プログラム及び各種データを記憶しておく記憶部10と、画面表示部11と、分析処理部12と、分析処理選定部13と、種別情報取得部14と、分析処理提示部15と、対応付け部16と、分析実行部17と、分析結果出力部18と、分節位置補正部19と、を主な構成要素として備えている。
これらは、CPU(プロセッサ)、ROM、RAM、HDD、通信用インタフェース、及び各種プログラム等によって構成されている。
<Functions of the work analysis system>
As shown in Figure 3, from a functional perspective, the work analysis device 1 mainly comprises a memory unit 10 that stores various programs and various data such as "work video data,""work element list data,""analysis feature data,""second analysis feature data,""imaging device type data," and "analysis data (combined analysis data)," a screen display unit 11, an analysis processing unit 12, an analysis processing selection unit 13, a type information acquisition unit 14, an analysis processing presentation unit 15, a matching unit 16, an analysis execution unit 17, an analysis result output unit 18, and a segment position correction unit 19.
These are composed of a CPU (processor), ROM, RAM, HDD, a communication interface, various programs, and the like.

撮像装置100、200、300についても機能面から説明すると、各種プログラム及び各種データを記憶する記憶部110、210、310と、作業分析装置1との間で各種データを送受信する通信部111、211、311と、ユーザ操作の入力を受け付けて操作処理を実行する操作実行部112、212、312と、を主な構成要素として備えている。 Explaining the imaging devices 100, 200, 300 from a functional perspective, their main components are a memory unit 110, 210, 310 that stores various programs and various data, a communication unit 111, 211, 311 that transmits and receives various data to and from the work analysis device 1, and an operation execution unit 112, 212, 312 that receives user operation input and executes operation processing.

以下、作業分析装置1の機能(特に自動分析処理)について詳しく説明する。なお、本実施形態では作業分析装置1が記憶部10を備える構成としているが、あくまで一例に過ぎず、作業分析装置1の外部に設けられた外部記憶装置において記憶部10を実現することとしても良い。この場合、作業分析装置1と外部記憶装置は通信路によって接続されていると良い。 The functions of the work analysis device 1 (particularly the automatic analysis process) are described in detail below. Note that in this embodiment, the work analysis device 1 is configured to include a memory unit 10, but this is merely an example, and the memory unit 10 may also be realized in an external storage device provided outside the work analysis device 1. In this case, it is preferable that the work analysis device 1 and the external storage device are connected by a communication path.

<<1.分析画面の表示>>
画面表示部11は、例えば、ユーザ操作の入力を受け付けて作業分析装置1にインストールされたソフトウェアを実行し、ユーザログインがなされることで、初期画面である「メニュー画面」を表示する。当該メニュー画面は、自動分析処理を行うためのメニュー画面である。
具体的には、画面表示部11は、図4に示すように、メニュー画面30として複数の選択項目から所定の選択項目をユーザ選択させるための一覧画面を表示する。
画面表示部11は、メニュー画面30において選択項目31「お手本登録」のユーザ選択を受け付けると、不図示の動画登録画面へ遷移させる。当該画面では、自動作業分析を行うにあたって、上述したように1サイクル分の作業動画を分析した分析結果データを「お手本データ(教師データ)」として登録する。分析処理部12は、当該分析結果データを「教師データ」として学習する。
<<1. Displaying the analysis screen>>
The screen display unit 11, for example, accepts input of a user operation, executes software installed in the work analysis device 1, and displays a "menu screen" which is an initial screen when the user logs in. This menu screen is a menu screen for performing automatic analysis processing.
Specifically, as shown in FIG. 4, the screen display unit 11 displays a list screen as a menu screen 30 for allowing the user to select a desired selection item from a plurality of selection items.
When the screen display unit 11 receives a user selection of the option 31 "Model Registration" on the menu screen 30, it transitions to a video registration screen (not shown). On this screen, in order to perform automatic task analysis, analysis result data obtained by analyzing one cycle of task video as described above is registered as "model data (teaching data)". The analysis processing unit 12 learns the analysis result data as "teaching data".

画面表示部11は、メニュー画面30において選択項目32「自動分析」のユーザ選択を受け付けると、図5に示す作業分析画面40へ遷移させる。作業分析画面40は、作業動画を登録して作業分析を行うために用いられる表示画面である。
作業分析画面40では、撮像後の作業動画を表示しながらサイクルごとに作業要素に分節し、作業要素時間の算出、種別設定等を行うことができる。各サイクルの作業(作業要素)のバラツキを確認し、作業要素の並べ替えや、作業工程の編成(組み換え、入れ替え、並び替え)をすることもできる。
When the screen display unit 11 receives a user selection of the selection item 32 “automatic analysis” on the menu screen 30, it transitions to a work analysis screen 40 shown in Fig. 5. The work analysis screen 40 is a display screen used for registering a work video and performing a work analysis.
On the work analysis screen 40, while displaying the work video after shooting, it is possible to segment the work into work elements for each cycle, calculate the work element time, set the type, etc. It is also possible to check the variation in the work (work elements) of each cycle, rearrange the work elements, and organize (recombine, replace, rearrange) the work process.

画面表示部11は、具体的な機能部として、動画表示部11aと、分析結果表示部11bと、作業要素一覧表示部11cと、を有している。
動画表示部11aは、作業を記録した作業動画を表示画面に表示するものであって、具体的には、作業分析画面40において作業動画41を表示する。
The screen display unit 11 has, as specific functional units, a moving image display unit 11a, an analysis result display unit 11b, and an operation element list display unit 11c.
The video display unit 11 a displays a work video that records work on a display screen, and specifically displays a work video 41 on a work analysis screen 40 .

分析結果表示部11bは、ユーザ操作の入力を受け付けて自動分析処理を行った分析結果を表示する。具体的には、作業分析画面40において分析結果42を表示する。
分析結果42には、シークバー42aと、作業動画に対して行われた分析処理(分析処理の名称)42bとが表示されている。また、分析処理によってなされた分節位置の情報と、付与された記録情報(マークやハイライト)とが表示されている。
図5に示す分析結果42を見ると、複数の分析処理の結果を併合(作業動画の併合、分析結果の併合)した併合分析結果であることが分かる。また、分析処理42bを見ると、「作業分節処理」、「エルゴノミクス処理」及び「両手・片手分析処理」が行われたことが分かる。
The analysis result display unit 11b displays the analysis results obtained by performing automatic analysis processing in response to user input. Specifically, the analysis result display unit 11b displays the analysis results 42 on the task analysis screen 40.
The analysis result 42 displays a seek bar 42a and an analysis process (the name of the analysis process) 42b performed on the work video. Also displayed are information on the segmentation position determined by the analysis process and the assigned record information (marks and highlights).
5, it can be seen that the analysis result 42 is a combined analysis result obtained by combining the results of multiple analysis processes (combining task videos and analysis results). Also, looking at the analysis process 42b, it can be seen that a "task segmentation process," a "ergonomics process," and a "two-handed/one-handed analysis process" were performed.

作業要素一覧表示部11cは、分節された作業要素ごとの作業時間の情報と、作業時間を集計した合計時間の情報とを含む作業要素一覧表43を表示画面に表示する。
具体的には、作業要素一覧表43は、作業要素を識別する識別番号(Nо.)と、作業要素名と、エルゴノミクス評価(エルゴ評価)と、両手・片手評価(両手・片手)と、種別と、作業要素時間の情報と、全ての作業要素の合計時間の情報とを含むものであって、記憶部10に記憶されている。
また、上記作業要素一覧データには、全サイクルにおける平均作業時間、最大作業時間、最小作業時間、各サイクルの作業時間の情報が含まれている。
なお、作業分析画面40を通じた作業要素一覧表43の情報の更新に伴って、図6示す「作業要素一覧データ」の情報も更新され、記憶部10に記憶される。
The task element list display unit 11c displays on a display screen a task element list 43 including information on task time for each segmented task element and information on the total time obtained by tallying up the task times.
Specifically, the work element list 43 includes an identification number (No.) for identifying a work element, a work element name, an ergonomics evaluation (ergo evaluation), a two-hand/one-hand evaluation (two-hand/one-hand), a type, information on the work element time, and information on the total time of all the work elements, and is stored in the memory unit 10.
The work element list data also includes information on the average work time, maximum work time, minimum work time, and work time for each cycle in the entire cycle.
In addition, when the information of the work element list 43 is updated via the work analysis screen 40, the information of the “work element list data” shown in FIG.

図5に示す作業要素一覧表43を見ると、識別番号「3」、作業要素名「部品をとる」において、エルゴ評価「●○」、両手・片手「片手」、種別「有効」、サイクル1の要素時間「5.00(秒)」、レイティング(Rat)「100(%)」、標準時間「5.00(秒)」であることが分かる。また、作業要素の合計の標準時間「45.00(秒)」であることが分かる。
なお、サイクル1とは、第1番目のサイクルを意味する。
5, it can be seen that for the identification number "3" and task name "pick up parts", the ergonomic evaluation is "●○", both hands/one hand is "one hand", type is "effective", element time for cycle 1 is "5.00 (seconds)", rating (Rat) is "100 (%)", and standard time is "5.00 (seconds)". It can also be seen that the total standard time for the task elements is "45.00 (seconds)".
It should be noted that cycle 1 refers to the first cycle.

<<2.分析処理の選定、提示>>
分析処理部12は、撮像装置によって一連の作業が撮像された作業動画に対し、作業に関する分析要素に基づく分析処理を作業要素ごとに行う。
分析処理部12は、分析処理群とも称され、上述したように分析要素に応じた複数の分析処理部を含むものである。具体的には、作業分節処理、手元分析処理、部材位置トラッキング処理、機械動作トラッキング処理、エルゴノミクス処理、両手・片手分析処理、画像異変検知処理、サーブリック分析処理、動作経済の原則処理等が挙げられる。
本実施形態では、作業分析装置1が、「作業分節処理」を行う第1分析処理部12aと、「エルゴノミクス処理」を行う第2分析処理部12bと、「両手・片手分析処理」を行う第3分析処理部12cとによる分析処理を行うものとして以下、説明する(もちろん、作業分析装置1が「画像異変検知処理」をさらに行っても良い)。
<<2. Selection and presentation of analysis processing>>
The analysis processing unit 12 performs analysis processing for each work element based on analysis elements related to the work for a work video in which a series of work is captured by an imaging device.
The analysis processing unit 12 is also called an analysis processing group, and includes a plurality of analysis processing units according to the analysis elements as described above. Specifically, the analysis processing units include a task segmentation processing unit, a hand analysis processing unit, a component position tracking processing unit, a machine operation tracking processing unit, an ergonomics processing unit, a two-handed/one-handed analysis processing unit, an image anomaly detection processing unit, a servicing analysis processing unit, and a motion economy principle processing unit.
In this embodiment, the work analysis device 1 is described below as performing analysis processing using a first analysis processing unit 12a that performs "task segmentation processing", a second analysis processing unit 12b that performs "ergonomics processing", and a third analysis processing unit 12c that performs "two-hand/one-hand analysis processing" (of course, the work analysis device 1 may also perform "image anomaly detection processing").

(第1の選定処理)
分析処理選定部13は、作業に関する分析要素に基づいて、複数の分析処理(分析処理部)の中から、所定の分析処理(分析処理部)を選定する。
詳しく述べると、分析処理選定部13は、ユーザ操作による所定の分析要素の選択を選択条件として受け付けて、図7A、Bに示す「分析特徴データ」を参照して複数の分析処理の中から、ユーザによる選択条件に基づく、分析処理の重みに応じた1又は複数の分析処理を選定する。
分析処理提示部15は、分析処理選定部13によって選定された分析処理を表示画面に提示する。
以下、第1の選定処理について具体的に説明する。
(First Selection Process)
The analysis processing selection unit 13 selects a predetermined analysis processing (analysis processing unit) from among a plurality of analysis processing (analysis processing units) based on an analysis element related to the work.
In detail, the analysis process selection unit 13 accepts the selection of a specific analysis element by user operation as a selection condition, and selects one or more analysis processes from among multiple analysis processes by referring to the "analysis feature data" shown in Figures 7A and B according to the weight of the analysis process based on the selection conditions set by the user.
The analysis process presentation unit 15 presents the analysis process selected by the analysis process selection unit 13 on a display screen.
The first selection process will now be described in detail.

記憶部10は、図7A、Bに示すような、作業に関する複数の分析処理と、作業に関する複数の分析要素と、分析要素ごとの分析処理の重みを示す評価情報とを含む「分析特徴データ」を記憶している。
図7A、Bに示す「分析特徴データ」は、作業に関する分析要素に基づいて、分析処理(分析AI)の選択を可能とする分析処理の選択条件データである。具体的には、「分析要素」ごとに各分析処理の重みを示す「評価情報(スコア)」が示されている。
The memory unit 10 stores "analysis feature data" including multiple analysis processes related to the work, multiple analysis elements related to the work, and evaluation information indicating the weight of the analysis process for each analysis element, as shown in Figures 7A and 7B.
7A and 7B are selection condition data for analysis processing that enables selection of analysis processing (analysis AI) based on analysis elements related to the work. Specifically, "evaluation information (score)" indicating the weight of each analysis processing for each "analysis element" is shown.

「分析要素」としては、分析要素1「対象オブジェクト(分析対象)」、分析要素2「作業内容」、分析要素3「撮像装置」、分析要素4「平均処理速度」、分析要素5「利用料金」、分析要素6「実績データ」が挙げられている。
これら分析要素は、上述したように分析処理の重みによってスコアリングされた第1グループに属する分析要素1、2、3と、分析処理の重みによってスコアリングされていない第2グループに属する分析要素4、5、6とに分類される。
第1グループに属する分析要素1、2、3では、スコアをもとに適格性を判断して分析処理の選択が行われる。当該スコアは、各分析処理が行う分析において得意とする又は不得意とする度合いを示す情報(適格性の度合いを示す情報)である。分析処理選定部13は、分析要素1、2、3ごとのスコアをもとに、複数の分析処理の中から適格な分析処理を選定する。
The “analysis elements” include analysis element 1 “target object (subject of analysis)”, analysis element 2 “work content”, analysis element 3 “imaging device”, analysis element 4 “average processing speed”, analysis element 5 “usage fee”, and analysis element 6 “performance data”.
These analysis elements are classified into analysis elements 1, 2, and 3, which belong to the first group and are scored according to the weight of the analysis process as described above, and analysis elements 4, 5, and 6, which belong to the second group and are not scored according to the weight of the analysis process.
For the analysis elements 1, 2, and 3 belonging to the first group, the suitability is judged based on the score and an analysis process is selected. The score is information indicating the degree to which each analysis process is good or bad at the analysis it performs (information indicating the degree of suitability). The analysis process selection unit 13 selects a suitable analysis process from among the multiple analysis processes based on the score for each of the analysis elements 1, 2, and 3.

分析要素1「対象オブジェクト」とは、分析対象として作業者(人)、機械、部品、製品等の有体物を示したものである。
例えば、ユーザとなる分析者が「作業者」を分析対象として作業動画の分析処理を行いたい場合、ユーザは分析要素1において「作業者」を選択する。当該選択条件に基づいて、分析処理選定部13は、分析要素1「対象オブジェクト:作業者」の評価(スコア)が高い分析処理を選定候補とする(優先して選定する)。言い換えれば、分析処理選定部13は、作業動画に対して作業者を分析対象として識別し、作業者の作業を作業要素ごとに分節することを得意とする分析処理を選定候補とする。
The analysis element 1 "target object" indicates a tangible object such as a worker (person), machine, part, or product as the analysis target.
For example, if a user analyst wants to perform analysis processing of a work video with "worker" as the analysis target, the user selects "worker" in analysis element 1. Based on the selection conditions, the analysis processing selection unit 13 selects as selection candidates (preferentially selects) analysis processing with a high evaluation (score) for analysis element 1 "target object: worker". In other words, the analysis processing selection unit 13 selects as selection candidates analysis processing that is good at identifying a worker as the analysis target for a work video and segmenting the work of the worker into work elements.

分析要素2「作業内容」とは、分析内容として手元作業、上半身作業、歩行を伴う作業、他の作業者との共同作業、機械との共同作業等を示したものである。
例えば、ユーザが「作業者の手元作業」の作業動画を分析処理したい場合に、ユーザは分析要素2において「手元作業」を選択する。当該選択条件に基づいて、分析処理選定部13は、分析要素2「作業内容:手元作業」の評価(スコア)が高い分析処理を選定候補とする。言い換えれば、分析処理選定部13は、作業動画に対して「作業者(作業者の両手、片手)」を分析対象として識別し、手元作業を作業要素ごとに分節することを得意とする分析処理を選定候補とする。
より詳しく述べると、分析要素2において選定候補となる分析処理は、作業動画に含まれる対象オブジェクト(作業者、機械、工具、材料、部品、製品等)、作業者の位置、機械の配置構成、作業場所の情報、作業時間の情報等の組み合わせから、所定の作業(手元作業、上半身作業等)を識別(特定)し、分節処理を行うことを可能とする処理である。
Analysis element 2 "work content" indicates the analysis content, such as manual work, upper body work, work involving walking, collaborative work with other workers, and collaborative work with machines.
For example, when a user wishes to analyze a work video of "worker's manual tasks", the user selects "manual tasks" in analysis element 2. Based on the selection conditions, the analysis process selection unit 13 selects as selection candidates those analysis processes with high evaluations (scores) for analysis element 2 "task content: manual tasks". In other words, the analysis process selection unit 13 identifies "worker (both hands, one hand)" as the analysis target for the work video, and selects as selection candidates those analysis processes that are good at segmenting manual tasks into task elements.
More specifically, the analysis process that is a candidate for selection in analysis element 2 is a process that enables identifying (specifying) specific work (hand work, upper body work, etc.) and performing segmentation processing from a combination of target objects (workers, machines, tools, materials, parts, products, etc.) included in the work video, the position of the worker, the layout and configuration of the machines, information on the work location, information on the work time, etc.

分析要素3「撮像装置」とは、撮像装置の種別(種類、設置位置等)として天井カメラ、固定カメラ、ウェアラブルカメラ、手持ちカメラ等を示したものである。
例えば、ユーザが「ウェアラブルカメラ」を用いて撮像した作業動画の分析処理を行いたい場合に、ユーザは分析要素3において「ウェアラブルカメラ」を選択する。当該選択条件に基づいて、分析処理選定部13は、分析要素3「撮像装置:ウェアラブルカメラ」の評価(スコア)が高い分析処理を選定候補とする。
図7A、Bによれば、分析処理選定部13は、「ウェアラブルカメラ」に適した分析処理として、作業分節処理(スコア:7点)、手元分析処理(スコア:8点)、部材位置トラッキング処理(スコア:9点)を優先して選定することが想定される。
Analysis element 3 "imaging device" indicates the type (type, installation location, etc.) of imaging device, such as ceiling camera, fixed camera, wearable camera, handheld camera, etc.
For example, if a user wants to perform analysis processing on a work video captured using a "wearable camera," the user selects "wearable camera" in analysis element 3. Based on the selection conditions, the analysis processing selection unit 13 selects analysis processing with a high evaluation (score) for analysis element 3 "imaging device: wearable camera" as a selection candidate.
According to Figures 7A and B, it is expected that the analysis process selection unit 13 will prioritize selecting the task segmentation process (score: 7 points), the hand-held analysis process (score: 8 points), and the component position tracking process (score: 9 points) as analysis processes suitable for the "wearable camera."

分析要素4「平均処理速度」とは、作業動画の再生時間に対する割合(%)で示されるものである。例えば、平均処理速度が125%であるとき、再生時間が1時間の作業動画に対しておよそ1.25時間で分析処理を行うことができる。
分析要素5「利用料金」とは、作業動画の再生時間に応じた分析処理の利用料金を示す。例えば、利用料金が1ドル/時間(h)であるとき、再生時間が1時間(1h)の作業動画に対して分析処理を行う場合におよそ1ドルの料金が発生する。
分析要素6「実績データ」とは、過去の利用実績を示すものである。例えば、実績時間が10million/hである場合には、該当する分析処理が過去に1000万時間利用されていることを示す。
Analysis element 4 "average processing speed" is expressed as a percentage of the playback time of the work video. For example, when the average processing speed is 125%, analysis processing can be completed in approximately 1.25 hours for a work video with a playback time of 1 hour.
Analysis element 5 "usage fee" indicates the usage fee for analysis processing according to the playback time of the work video. For example, when the usage fee is 1 dollar/hour (h), a fee of about 1 dollar is charged when performing analysis processing on a work video with a playback time of 1 hour (1h).
Analysis element 6 "performance data" indicates past usage performance. For example, if the performance time is 10 million/h, it indicates that the corresponding analysis process has been used for 10 million hours in the past.

上記において、分析処理選定部13は、図7A、Bに示す「分析特徴データ」に含まれる第1グループに属する分析要素1、2、3に基づく場合に、ユーザによる選択条件に基づく、分析処理の重み(スコア)に応じた1又は複数の分析処理を選定する。また、「分析特徴データ」に含まれる第2グループに属する分析要素に基づく場合に、分析処理の重み(スコア)によらない、ユーザによる選択条件に基づいた1又は複数の分析処理を選定する。
そして、分析処理提示部15は、第1グループに属する分析要素及び/又は第2グループに属する分析要素に基づいて選定された分析処理を表示画面に提示する。
In the above, the analysis process selection unit 13 selects one or more analysis processes according to the weight (score) of the analysis process based on the selection conditions by the user when it is based on the analysis elements 1, 2, and 3 belonging to the first group included in the "analysis feature data" shown in Figures 7A and B. Also, when it is based on the analysis elements belonging to the second group included in the "analysis feature data", it selects one or more analysis processes based on the selection conditions by the user, not on the weight (score) of the analysis process.
Then, the analytical process presentation unit 15 presents on the display screen the analytical process selected based on the analytical elements belonging to the first group and/or the analytical elements belonging to the second group.

つまりは、分析処理選定部13は、第1グループの分析要素1、2、3を用いて分析処理の選定を行う場合、各分析要素のスコアに基づいて行う。他方で、第2グループの分析要素4、5、6を用いて分析処理の選定を行う場合には、ユーザの選択条件にそのまま合致する分析処理を選定する。言い換えれば、後者の場合にはユーザによる相対的な選択基準に従って分析処理を選定する。
なお、分析処理選定部13は、ユーザ操作による選択の結果、単一の分析要素に基づいて1又は複数の分析処理の選定を行っても良いし、複数の分析要素に基づいて1又は複数の分析処理の選定を行っても良い。
In other words, when the analysis process selection unit 13 selects an analysis process using the analysis elements 1, 2, and 3 in the first group, it does so based on the scores of each analysis element. On the other hand, when the analysis process selection unit 13 selects an analysis process using the analysis elements 4, 5, and 6 in the second group, it selects an analysis process that directly matches the user's selection conditions. In other words, in the latter case, the analysis process is selected according to the relative selection criteria set by the user.
In addition, the analysis process selection unit 13 may select one or more analysis processes based on a single analysis element as a result of selection by user operation, or may select one or more analysis processes based on multiple analysis elements.

より詳しく説明すると、分析処理選定部13は、複数の分析要素(例えば分析要素1×分析要素2)を組み合わせて分析処理を選定する場合に、各スコアを用いた所定の演算結果に基づいて分析処理を選定する。所定の演算方法として、例えば平均値を算出する方法、分析要素の優先度に応じた重みづけを行った値を用いて平均値を算出する方法等がある。
図7A、Bに示すような「分析特徴データ」を記憶している状態において、ユーザは、ユーザ操作による選択条件を指定する(条件を1つ1つ指定する方法、予め指定した条件の組み合わせを選択する方法等がある)。ユーザが選択条件を指定するにあたって、例えば第1グループに属する分析要素を少なくとも1つ選択することを必要とし、第2グループに属する分析要素については任意とすることが可能である。
分析処理選定部13は、ユーザによって選択された条件を掛け合わせて適応度が高い分析処理を優先して選定する。そして、分析処理提示部15は、適応度が高い順に分析処理を並べて提示する。ユーザは、提示された分析処理の中から分析処理を決定する。
More specifically, when the analysis process selection unit 13 selects an analysis process by combining multiple analysis elements (e.g., analysis element 1 x analysis element 2), it selects the analysis process based on a predetermined calculation result using each score. The predetermined calculation method includes, for example, a method of calculating an average value, a method of calculating an average value using values weighted according to the priority of the analysis elements, and the like.
7A and 7B, the user specifies the selection conditions by user operation (there are a method of specifying the conditions one by one, a method of selecting a combination of pre-specified conditions, etc.). When the user specifies the selection conditions, for example, it is necessary to select at least one analysis element belonging to the first group, and the analysis element belonging to the second group can be arbitrary.
The analysis process selection unit 13 multiplies the conditions selected by the user and selects the analysis process with the highest adaptability by priority. The analysis process presentation unit 15 then presents the analysis processes in descending order of adaptability. The user selects an analysis process from the presented analysis processes.

(第2の選定処理)
分析処理選定部13は、「第1の選定処理」とは異なる「第2の選定処理」によって複数の分析処理の中から所定の分析処理を選定しても良い。具体的には、下記の通りである。
記憶部10は、図7A、Bに示す「分析特徴データ」を記憶するほか、図8に示すような、撮像装置の種別(作業内容)と、分析対象と、分析処理(分析処理の性能)とを対応付けた「第2分析特徴データ」を記憶している。
種別情報取得部14は、作業の分析を行うにあたって、当該作業を撮像するための「撮像装置の種別情報」を取得する。
分析処理選定部13は、「撮像装置の種別情報」を得て、図7A、Bに示す「分析特徴データ」と、図8に示す「第2分析特徴データ」とを参照して上記複数の分析処理の中から1又は複数の分析処理(分析AI)を選定する。
より具体的には、分析処理選定部13は、作業動画の全体内容を俯瞰して「撮像装置の種別情報(例えば種類、設置位置、設置角度など)」を得て、「分析特徴データ」、「第2分析特徴データ」をもとに選定候補となり得る分析処理を予備選定する(選定候補とはならない分析処理を除外する)。そして、ユーザの要望を受け付けて、「分析特徴データ」、「第2分析特徴データ」をもとに適切な分析処理を本選定する。
(Second Selection Process)
The analysis process selection unit 13 may select a predetermined analysis process from among a plurality of analysis processes by a "second selection process" different from the "first selection process." Specifically, this is as follows.
The memory unit 10 stores the "analysis feature data" shown in Figures 7A and 7B, and also stores "second analysis feature data" as shown in Figure 8, which associates the type of imaging device (work content), the analysis target, and the analysis process (performance of the analysis process).
When analyzing an operation, the type information acquisition unit 14 acquires "type information of the imaging device" used to image the operation.
The analysis process selection unit 13 obtains the "imaging device type information" and selects one or more analysis processes (analysis AI) from the above-mentioned multiple analysis processes by referring to the "analysis feature data" shown in Figures 7A and B and the "second analysis feature data" shown in Figure 8.
More specifically, the analysis process selection unit 13 obtains "image capture device type information (e.g., type, installation position, installation angle, etc.)" by overviewing the entire content of the work video, and preliminarily selects analysis processes that can be candidates for selection based on the "analysis feature data" and "second analysis feature data" (excluding analysis processes that are not candidates for selection).Then, upon receiving a request from the user, the analysis process selection unit 13 finally selects an appropriate analysis process based on the "analysis feature data" and "second analysis feature data".

図8に示す「第2分析特徴データ」では、「撮像装置の種別」として手持ちカメラ、固定カメラ、ウェアラブルカメラ、手元カメラ、天井カメラ、センサー等が設定され、「分析対象」として作業、エルゴノミクス、指先、オブジェクト全体等が設定され、「分析処理の性能」として分析処理1-1、1-2、1-3等が設定されている。
また、「第2分析特徴データ」には、「撮像装置の種別」と「分析対象」とに基づいた「分析処理の性能」の評価情報(選定優先度)が記号「◎、〇、△、×」で記されている。
分析処理の性能とは、分析処理によって行われる分析要素の解析手法等の違い(特徴量情報とも称する。)を示すものである。例えば、分析処理1-1、1-2、1-3は、作業分節処理を行うものであって、分析処理1-1は、「作業者の動作をボーンデータによって解析する手法」により作業分節処理を行う。分析処理1-2は、「作業者の動作を人物形状によって解析する手法」により作業分節処理を行う。
例えば、撮像装置の種別「手持ちカメラ」、分析対象「作業」の場合には、「作業者の動作を人物形状によって解析する手法」を持つ分析処理1-2(評価:△)よりも、「作業者の動作をボーンデータによって解析する手法」を持つ分析処理1-1(評価:◎)が高い評価を有し(特徴量が大きく)、分析処理1-1を優先して選定した方が良いことを示している。
In the "second analysis characteristic data" shown in Figure 8, the "type of imaging device" is set to handheld camera, fixed camera, wearable camera, hand camera, ceiling camera, sensor, etc., the "analysis target" is set to work, ergonomics, fingertips, entire object, etc., and the "analysis processing performance" is set to analysis processes 1-1, 1-2, 1-3, etc.
In addition, the "second analysis characteristic data" indicates evaluation information (selection priority) of the "analysis processing performance" based on the "type of imaging device" and the "analysis subject" using the symbols "◎, ◯, △, ×".
The performance of an analysis process indicates the difference in the analysis method of the analysis elements performed by the analysis process (also called feature amount information). For example, analysis processes 1-1, 1-2, and 1-3 perform task segmentation processing, and analysis process 1-1 performs task segmentation processing by "a method of analyzing the worker's movements using bone data." Analysis process 1-2 performs task segmentation processing by "a method of analyzing the worker's movements using human shape."
For example, in the case of a “handheld camera” type of imaging device and an “operation” as the analysis target, analysis process 1-1 (rating: ◎), which has a “method of analyzing the worker’s movements using bone data,” has a higher rating (larger feature value) than analysis process 1-2 (rating: △), which has a “method of analyzing the worker’s movements using human shape,” indicating that analysis process 1-1 should be selected as a priority.

具体例として、撮像装置「手持ちカメラ」によって撮像された作業動画を用いて「作業者の上半身作業」を分析処理する場合を想定する。
種別情報取得部14は、撮像装置によって記録された作業動画の全体内容を俯瞰することで、「撮像装置の種別情報(手持ちカメラであること)」を取得する。
分析処理選定部13は、「撮像装置の種別情報」を得た上で、図8に示す「第2分析特徴データ」をもとに予備選定を行い、「手持ちカメラ」に不向きな分析処理を除外する。
分析処理選定部13は、ユーザ操作による分析要素の選択を選択条件として受け付ける。例えば、分析要素1「対象オブジェクト:作業者」、分析要素2「作業内容:上半身作業」を選択条件として受け付ける。
分析処理選定部13は、ユーザによる選択条件から、図7A、Bに示す「分析特徴データ」、図8に示す「第2分析特徴データ」をもとに本選定を行い、「作業分節処理」、特に、「作業者の動作をボーンデータによって解析する手法を持つ作業分節処理」を選定する。
As a specific example, let us consider a case where "upper body work of a worker" is analyzed and processed using a work video captured by an imaging device "handheld camera."
The type information acquisition unit 14 acquires "type information of the imaging device (that it is a handheld camera)" by taking an overview of the entire content of the work video recorded by the imaging device.
After obtaining the "image capture device type information", the analysis process selection unit 13 performs a preliminary selection based on the "second analysis feature data" shown in FIG. 8, and excludes analysis processes that are unsuitable for a "handheld camera".
The analysis process selection unit 13 accepts the selection of an analysis element by a user operation as a selection condition. For example, the analysis element 1 "target object: worker" and the analysis element 2 "operation: upper body operation" are accepted as selection conditions.
The analysis process selection unit 13 makes a final selection based on the "analysis feature data" shown in Figures 7A and 7B and the "second analysis feature data" shown in Figure 8 from the user's selection conditions, and selects a "task segmentation process", in particular a "task segmentation process having a method of analyzing the worker's movements using bone data."

上記によれば、第1の選定処理よりも精度の高い選定を行うことができる。具体的には、多数の分析処理群の中から選定候補となり得る分析処理を大まかに選定(予備選定)した上で、その選定候補の中からユーザの要望に応じた分析処理を選定(本選定)することができる。特に、分析処理の性能に応じた分析処理の選定を行うことができる。 According to the above, it is possible to perform a more accurate selection than the first selection process. Specifically, it is possible to roughly select (preliminary selection) analysis processes that can be candidates for selection from a large number of analysis processes, and then select (main selection) an analysis process that meets the user's needs from the selection candidates. In particular, it is possible to select an analysis process according to its performance.

<<3.分析処理と撮像装置の対応付け>>
対応付け部16は、所定の作業動画に対して所定の分析処理を行うにあたって、作業動画を記録する撮像装置の種別(種類、設置位置、撮像対象)と、分析処理の特徴(分析要素1、2、3)とに基づいて、撮像装置と当該撮像装置に適した分析処理との対応付けを行う。
詳しく述べると、対応付け部16は、図7A、Bに示す「分析特徴データ」と、図9に示す「撮像装置種別データ」とをもとに撮像装置ごとに適した分析処理の対応付けを行う。
なお、分析処理選定部13が、所定の作業(作業動画)に対して複数の分析処理の中から所定の分析処理を選定したときに、作業動画ごとに(撮像装置ごとに)分析処理を対応付けておいても良い。その場合には、対応付け部16が撮像装置と分析処理の対応付けを改めて行う必要はない。
<<3. Association of analysis processing and imaging device>>
When performing a specified analysis process on a specified work video, the matching unit 16 matches the imaging device with an analysis process suitable for the imaging device based on the type (type, installation location, imaging target) of the imaging device that records the work video and the characteristics of the analysis process (analysis elements 1, 2, 3).
More specifically, the association unit 16 associates an analysis process suitable for each imaging device based on the "analysis feature data" shown in FIGS. 7A and 7B and the "imaging device type data" shown in FIG.
When the analysis process selection unit 13 selects a predetermined analysis process from among a plurality of analysis processes for a predetermined task (task video), the analysis process may be associated with each task video (each imaging device). In this case, the association unit 16 does not need to reassociate the imaging device with the analysis process.

図9に示す「撮像装置種別データ」によれば、撮像装置の「種類」、「設置位置」に応じて撮像対象となる「対象オブジェクト」、「作業内容」が異なることを示している。
例えば、種類「固定カメラ1」、設置位置「入口」となる撮像装置は、撮像対象として「作業者」を検出できるが、「機械」を検出できないことを示している。つまりは、「固定カメラ1」の場合には、作業分析装置1が「作業者」による作業(移動、手元の動き)を作業要素ごとに分節できるが、「機械」による作業を分節できないことを示している。
また、種類「天井カメラ1」の場合には、作業分析装置1が、対象オブジェクト「作業者」、「機械」の両方を検出して作業分節できること示している。
According to the "imaging device type data" shown in FIG. 9, it is shown that the "target object" and "work content" to be imaged vary depending on the "type" and "installation location" of the imaging device.
For example, an imaging device of type "Fixed Camera 1" and installed at the "Entrance" can detect a "Worker" as an imaging target, but cannot detect a "Machine." In other words, in the case of "Fixed Camera 1," the work analysis device 1 can segment the work (movement, hand movements) performed by a "Worker" into work elements, but cannot segment the work performed by a "Machine."
Also, in the case of the type "ceiling camera 1", it is shown that the work analysis device 1 can detect both the target objects "worker" and "machine" and segment the work.

具体例として、作業分析装置1が、図1に示す「部品組み立て作業」を撮像した撮像装置100、200、300によって記録された作業動画に対して、上述した分析処理の選定、ユーザによる分析処理の決定を経て、「作業分節処理」、「エルゴノミクス処理」及び「両手・片手分析処理」を行う場合を想定する。
この場合、対応付け部16は、図7A、Bに示す「分析特徴データ」と、図9に示す「撮像装置種別データ」とをもとに、第1撮像装置100(手持ちカメラ)に「作業分節処理」、「エルゴノミクス処理」、「両手・片手分析処理」を対応付けて、第2撮像装置200(ウェアラブルカメラ)に「作業分節処理」、「両手・片手分析処理」を対応付けて、第3撮像装置300(天井カメラ)に「作業分節処理」を対応付ける。
As a specific example, assume that the work analysis device 1 performs "task segmentation processing,""ergonomicsprocessing," and "two-handed/one-handed analysis processing" on a work video recorded by the imaging devices 100, 200, and 300 that captured the "parts assembly work" shown in Figure 1, after selecting the above-mentioned analysis processing and having the user decide on the analysis processing.
In this case, based on the "analysis feature data" shown in Figures 7A and B and the "imaging device type data" shown in Figure 9, the association unit 16 associates "task segmentation processing,""ergonomicsprocessing," and "two-hand/one-hand analysis processing" with the first imaging device 100 (handheld camera), associates "task segmentation processing" and "two-hand/one-hand analysis processing" with the second imaging device 200 (wearable camera), and associates "task segmentation processing" with the third imaging device 300 (ceiling camera).

上記具体例によれば、「作業分節処理」は、撮像装置100、200、300に対応付けられ、これら撮像装置によって撮像された作業動画それぞれに対して作業要素ごとに分析処理を行う。
「エルゴノミクス処理」は、第1撮像装置100のみに対応付けられ、第1撮像装置100によって撮像された作業動画に対して作業要素ごとに分析処理を行う。
「作業分節処理」は、第1撮像装置100、第2撮像装置200に対応付けられ、これら撮像装置によって撮像された作業動画に対して作業要素ごとに分析処理を行う。
According to the above specific example, the "task segmentation process" is associated with the image capture devices 100, 200, and 300, and performs analysis process for each task element on each of the task videos captured by these image capture devices.
The "ergonomics process" is associated only with the first imaging device 100, and performs an analysis process for each task element on the task video captured by the first imaging device 100.
The "task segmentation process" is associated with the first imaging device 100 and the second imaging device 200, and performs an analysis process for each task element on the task video captured by these imaging devices.

<<4.分析処理の実行>>
分析実行部17は、作業動画に対して、選定された分析処理の中からユーザ操作により決定された分析処理を行い、分析結果出力部18は、分析処理の結果(分析結果データ)を出力する。
詳しく述べると、分析実行部17は、各撮像装置によって記録された作業動画に対して、当該撮像装置に対応付けられた「1又は複数の分析処理」を行い、分析結果出力部18は、分析処理の結果を出力する。
分析結果出力部18は、図10~図12、図14に示すように、所定の作業に対して複数の作業動画が記録され、複数の分析処理が実行されたときに、複数の分析処理の結果を組み合わせた(併合させた)分析処理の結果(併合分析結果)を出力する。具体的には、所定の作業に対して各作業動画の併合を行い、また各分析結果の併合を行った併合分析結果(併合分析結果データ)を出力する。
<<4. Execution of analysis process>>
The analysis execution unit 17 performs an analysis process determined by a user operation from among the selected analysis processes on the work video, and the analysis result output unit 18 outputs the results of the analysis process (analysis result data).
In detail, the analysis execution unit 17 performs "one or more analysis processes" corresponding to each imaging device on the work video recorded by each imaging device, and the analysis result output unit 18 outputs the results of the analysis processes.
10 to 12 and 14, when multiple work videos are recorded for a specific work and multiple analysis processes are executed, the analysis result output unit 18 outputs the result of the analysis process (merged analysis result) that combines (merges) the results of the multiple analysis processes. Specifically, the analysis result output unit 18 merges each work video for a specific work and outputs the merged analysis result (merged analysis result data) that merges each analysis result.

具体例として、図11によれば、分析実行部17は作業動画に対して「作業分節処理」を行っている。ここで、分析実行部17は、図10に示す複数の作業動画(撮像装置100、200、300によって撮像された作業動画)を併合させた作業動画に対して「作業分節処理」を行っているが、もちろん作業動画ごとに「作業分節処理」を行っても良い。
また、図12によれば、分析実行部17は、作業動画に対して「エルゴノミクス処理」を行っている。図14によれば、分析実行部17は、作業動画に対して「両手・片手分析処理」を行っている。
As a specific example, in Fig. 11, the analysis execution unit 17 performs "task segmentation processing" on a work video. Here, the analysis execution unit 17 performs "task segmentation processing" on a work video obtained by merging a plurality of work videos (work videos captured by the imaging devices 100, 200, and 300) shown in Fig. 10, but of course the "task segmentation processing" may be performed for each work video.
Also, according to Fig. 12, the analysis execution unit 17 performs "ergonomics processing" on the work video. According to Fig. 14, the analysis execution unit 17 performs "two-handed/one-handed analysis processing" on the work video.

分析結果出力部18は、図15に示すように、所定の作業に対して作業動画の併合と、それぞれの分析処理結果の併合とを行った併合分析結果をサイクルごとに表示画面(作業分析画面)に出力できる。具体的には、図5に示す作業分析画面を通じて、併合させた作業動画を再生することができ、それぞれの分析結果を作業要素ごとに一覧表示させることができる。 As shown in FIG. 15, the analysis result output unit 18 can output the merged analysis results, which are the result of merging work videos for a specific task and merging the respective analysis processing results, to a display screen (task analysis screen) for each cycle. Specifically, the merged work videos can be played back through the task analysis screen shown in FIG. 5, and each analysis result can be displayed in a list for each task element.

<<5.分析処理(分節処理)による分節位置の補正>>
分節位置補正部19は、所定の作業を複数の撮像装置によって記録した各作業動画に対し、複数の分析処理を行い、それぞれ分節された分節位置に基づいて「分節位置の補正」を行う。そして、分析結果出力部18は、補正された「補正後の分節位置の情報」を含む分析処理の結果を出力する。
詳しく述べると、分節位置補正部19は、上記複数の分析処理の中から、「分析対象及び/又は作業内容の種別」に基づいて所定の分析処理を抽出し、抽出された分析処理それぞれに対し「所定の重み付け」を行い、抽出された分析処理それぞれによって分節された「分節位置」と、分析処理それぞれになされた「重み」とに基づいて「分節位置の補正」を行う。
上記分析対象(作業者、機械)、作業内容の種別ごとの「分節処理の重みの情報」として、図7A、Bに示す「分析特徴データ」に含まれる「スコア(重み)」が用いられる。
<<5. Correction of segment position by analysis processing (segment processing)>>
The segment position correction unit 19 performs multiple analysis processes on each work video recorded by multiple imaging devices, and performs "segment position correction" based on each segmented segment position. The analysis result output unit 18 then outputs the analysis process result including the corrected "segment position information after correction."
In detail, the segment position correction unit 19 extracts a specific analysis process from the multiple analysis processes based on the "type of analysis subject and/or work content", performs a "specified weighting" on each of the extracted analysis processes, and performs "segment position correction" based on the "segment positions" segmented by each extracted analysis process and the "weighting" assigned to each analysis process.
The "score (weight)" included in the "analysis feature data" shown in Figures 7A and 7B is used as "segmentation process weight information" for each analysis target (worker, machine) and type of work content.

なお、分節位置補正部19は、「分析対象及び/又は作業内容の種別」に基づいて所定の分析処理を抽出するほか、「撮像装置の種類、設置位置、撮像対象(図9参照)」に基づいて所定の分析処理を抽出しても良い。これらの組み合わせに基づいて所定の分析処理を抽出しても良い。
あるいは、分節位置補正部19は、分析処理に重み付けすることなく、全ての分析処理の結果をもとに分節結果の平均値を算出し、当該平均値となる分節位置を補正後の分節位置に設定しても良い。
The segment position correction unit 19 may extract a predetermined analysis process based on the "type of analysis target and/or type of work content" or may extract a predetermined analysis process based on the "type of imaging device, installation position, imaging target (see FIG. 9)". A predetermined analysis process may be extracted based on a combination of these.
Alternatively, the segment position correction unit 19 may calculate an average value of the segmentation results based on the results of all the analysis processes without weighting the analysis processes, and set the segment position resulting from this average value as the corrected segment position.

具体例として、分節位置補正部19は、図15に示すように、「作業分節処理」と、「エルゴノミクス処理」と、「手元分析処理」とによって分節された分節位置に基づいて分節位置の補正を行う場合を想定する。 As a specific example, assume that the segment position correction unit 19 corrects the segment position based on the segment positions segmented by the "task segmentation process", the "ergonomics process", and the "hand analysis process", as shown in FIG. 15.

「第1の補正パターン」として、分節位置補正部19は、第1撮像装置100(手持ちカメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置A1と、第3撮像装置300(天井カメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置A2とから補正を行い、補正後の分節位置Aを設定する。
このように、設置位置が異なる(撮像対象が異なる)撮像装置100、300によって記録された別々の作業動画に対して「同じ分析処理」を行ったときに、それぞれの分節位置に基づいて分節位置の補正を行うことができる。
なお、第1撮像装置100、第3撮像装置300には、図7A、Bに示す「分析特徴データ」に含まれる「スコア(重み)」が設定されており、「スコア(重み)」を考慮して補正後の分節位置が設定されている。
As the "first correction pattern", the segment position correction unit 19 performs correction based on a segment position A1 at which "work segmentation processing" was performed on a work video recorded by the first imaging device 100 (handheld camera) and a segment position A2 at which "work segmentation processing" was performed on a work video recorded by the third imaging device 300 (ceiling camera), and sets a corrected segment position A.
In this way, when the "same analysis process" is performed on separate work videos recorded by imaging devices 100 and 300 that are installed in different positions (i.e., different imaging targets), the segment positions can be corrected based on each segment position.
In addition, the first imaging device 100 and the third imaging device 300 are set with a "score (weight)" included in the "analysis feature data" shown in Figures 7A and B, and the corrected segmentation position is set taking into account the "score (weight)."

「第2の補正パターン」として、分節位置補正部19は、第1撮像装置100(手持ちカメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置B1と、第2撮像装置200(ウェアラブルカメラ)によって記録された作業動画に対して「手元分析処理」を行った分節位置B2とから補正を行い、補正後の分節位置Bを設定する。
このように、設置位置が異なる(撮像対象が異なる)撮像装置100、200によって記録された別々の作業動画に対して「異なる分析処理」を行ったときに、それぞれの分節位置に基づいて分節位置の補正を行うことができる。
As a "second correction pattern", the segment position correction unit 19 performs correction based on a segment position B1 where a "work segmentation process" is performed on a work video recorded by the first imaging device 100 (handheld camera) and a segment position B2 where a "hands-held analysis process" is performed on a work video recorded by the second imaging device 200 (wearable camera), and sets a corrected segment position B.
In this way, when "different analysis processes" are performed on separate work videos recorded by imaging devices 100 and 200 that are installed in different positions (i.e., different imaging targets), the segment positions can be corrected based on each segment position.

上記のような作業分析装置1を利用することで、作業分析を行うユーザの要望に応じて、複数の分析処理の中から適切な分析処理を選定、提案し、ユーザにより決定された分析処理を実行することが可能となる。
また、作業分析装置1を利用することで、作業動画に対して作業要素ごとに分節処理を行うにあたって、より適切な位置で分節処理を行うことが可能となる。
By using the above-described work analysis device 1, it is possible to select and propose an appropriate analysis process from among multiple analysis processes according to the needs of the user performing the work analysis, and to execute the analysis process determined by the user.
Furthermore, by using the work analysis device 1, it becomes possible to perform segmentation processing at more appropriate positions when performing segmentation processing on a work video for each work element.

<作業分析方法>
次に、作業分析システムSで実行される作業分析プログラム(作業分析方法)の処理の一例について、図16、図17に基づいて説明する。
本実施形態に係る上記プログラムは、記憶部10を備えた作業分析装置1の機能的な構成要素として、上述した画面表示部11と、分析処理部12と、分析処理選定部13と、種別情報取得部14と、分析処理提示部15と、対応付け部16と、分析実行部17と、分析結果出力部18と、分節位置補正部19とを実現させるためのプログラムであって、作業分析装置1のCPU(プロセッサ)がこの走行制御プログラムを実行する。
上記プログラムは、ユーザ(具体的には、作業分析者)からの操作指示を受け付けて実行されるものである。
<Work analysis method>
Next, an example of the processing of the task analysis program (task analysis method) executed by the task analysis system S will be described with reference to FIGS.
The above-mentioned program in this embodiment is a program for realizing the above-mentioned screen display unit 11, analysis processing unit 12, analysis processing selection unit 13, type information acquisition unit 14, analysis processing presentation unit 15, matching unit 16, analysis execution unit 17, analysis result output unit 18 and segment position correction unit 19 as functional components of a work analysis device 1 equipped with a memory unit 10, and the CPU (processor) of the work analysis device 1 executes this driving control program.
The above program is executed upon receiving an operational instruction from a user (specifically, a task analyst).

図16に示すフローは、「作業分析方法」の一部の処理フローを示す。具体的には、作業に関する分析要素に基づいて分析処理(分析AI)を提案し、作業動画に対して分析処理を行う方法の処理フローを示す。
図17に示すフローは、作業動画に対して複数の分析処理を実行し、各分析処理によって分節された分節位置の補正を行う方法の処理フローを示す。
The flow shown in Fig. 16 shows a part of the processing flow of the "work analysis method". Specifically, the processing flow of a method for proposing an analysis process (analysis AI) based on analysis elements related to the work and performing the analysis process on a work video is shown.
The flow shown in FIG. 17 shows a processing flow of a method for executing a plurality of analysis processes on a work video and correcting the segmentation positions segmented by each analysis process.

図16に示す作業分析フロー(1)では、まず、画面表示部11が、図4に示すメニュー画面30において選択項目32「自動分析」のユーザ選択を受け付けて、図5に示す作業分析画面40(分析画面)を表示するステップ(S1)から始まる。
なお、画面表示部11は、例えば、ユーザ操作の入力を受け付けて作業分析装置1にインストールされたソフトウェアを実行し、ユーザログインがなされることで、初期画面であるメニュー画面30を表示する。
The work analysis flow (1) shown in FIG. 16 begins with a step (S1) in which the screen display unit 11 accepts a user selection of the option 32 “automatic analysis” on the menu screen 30 shown in FIG. 4 and displays the work analysis screen 40 (analysis screen) shown in FIG. 5.
The screen display unit 11, for example, executes software installed in the work analysis apparatus 1 upon receiving input of a user operation, and displays a menu screen 30, which is an initial screen, upon user login.

ステップ2では、作業分析装置1(作業動画取得部とも称する。)が、撮像装置によって撮像された作業動画を取得する。具体的には、ユーザ操作の選択を受け付けて、作業分析を行う対象となる作業動画を取り込む。
なお、作業分析装置1は、作業分析画面40を表示する前に作業動画を取得しておいても良い。
In step 2, the work analysis device 1 (also referred to as a work video acquisition unit) acquires a work video captured by an imaging device. Specifically, the work analysis device 1 accepts a user operation selection and imports a work video to be subjected to work analysis.
The work analysis device 1 may acquire the work video before displaying the work analysis screen 40 .

ステップ3では、分析処理選定部13が、ユーザ操作による所定の分析要素の選択を選択条件として受け付けて、図7A、Bに示す「分析特徴データ」を参照して複数の分析処理の中から、ユーザによる選択条件に基づく、分析処理の重みに応じた1又は複数の分析処理を選定する(第1の選定処理)。
なお、分析処理選定部13は、上述したように、「第1の選定処理」とは異なる「第2の選定処理」によって所定の分析処理を選定しても良い。「第2の選定処理」の場合には、分析処理選定部13は、作業動画の全体内容を俯瞰して「撮像装置の種別情報(例えば種類、設置位置、設置角度など)」を得て、図7A、Bに示す「分析特徴データ」、図8に示す「第2分析特徴データ」をもとに選定候補とはならない分析処理を除外する。そして、ユーザの選択条件を受け付けて、「分析特徴データ」、「第2分析特徴データ」をもとに適切な分析処理を本選定する。
In step 3, the analysis process selection unit 13 accepts the selection of a specific analysis element by user operation as a selection condition, and selects one or more analysis processes from among the multiple analysis processes based on the weight of the analysis process and the user's selection conditions, by referring to the ``analysis feature data'' shown in Figures 7A and B (first selection process).
As described above, the analysis process selection unit 13 may select a predetermined analysis process by a "second selection process" different from the "first selection process." In the case of the "second selection process," the analysis process selection unit 13 obtains "type information of the imaging device (e.g., type, installation position, installation angle, etc.)" by overviewing the entire content of the work video, and excludes analysis processes that are not candidates for selection based on the "analysis feature data" shown in Figures 7A and 7B and the "second analysis feature data" shown in Figure 8. Then, the analysis process selection unit 13 accepts the selection conditions of the user and finally selects an appropriate analysis process based on the "analysis feature data" and the "second analysis feature data."

ステップ4では、分析処理提示部15が、分析処理選定部13によって選定された分析処理を表示画面に提示する。
具体的には、分析処理提示部15は、選定された「分析処理の候補」と、分析要素ごとに重み付けされた「分析処理のスコア(分析処理の決定にあたっての補足情報)」とを表示画面に提示する。つまりは、分析処理提示部15は、適応度が高い順に分析処理を並べて提示する。
In step 4, the analysis process presentation unit 15 presents the analysis process selected by the analysis process selection unit 13 on the display screen.
Specifically, the analysis process presentation unit 15 presents the selected "candidate analysis processes" and the "scores of the analysis processes (supplementary information for determining the analysis process)" weighted for each analysis element on the display screen. In other words, the analysis process presentation unit 15 presents the analysis processes in order of suitability.

ステップ5では、作業分析装置1(分析処理決定部とも称する。)が、ユーザ操作による選択を受け付けて、提示された複数の分析処理の中から分析処理を決定する。
具体的には、ユーザは、表示画面に提示された「分析処理の候補」と、「分析処理のスコア」とを参考にしながら、表示画面に提示された分析処理の中から分析処理を選択決定する。
In step 5, the work analysis device 1 (also referred to as the analysis process determination unit) accepts a selection made by a user operation and determines an analysis process from among the multiple analysis processes presented.
Specifically, the user selects and determines an analysis process from among the analysis processes presented on the display screen while referring to the "candidate analysis processes" and "score of the analysis process" presented on the display screen.

ステップ6では、対応付け部16が、作業動画を記録する撮像装置の種別(種類、設置位置、撮像対象)と、分析処理の特徴(分析要素1、2、3等)とに基づいて、「撮像装置」と当該撮像装置に適した「分析処理」との対応付けを行う。
具体的には、対応付け部16は、図9に示す「撮像装置種別データ」と、図7A、Bに示す「分析特徴データ」とをもとに撮像装置ごとに適した分析処理の対応付けを行う。
なお、分析処理選定部13が、所定の作業(作業動画)に対して複数の分析処理の中から所定の分析処理を選定したときに、作業動画ごとに(撮像装置ごとに)分析処理を対応付けても良い。その場合には、ステップ6で、対応付け部16が撮像装置と分析処理の対応付けを改めて行う必要はない。
In step 6, the matching unit 16 matches the "imaging device" with an "analysis process" suitable for the imaging device based on the type (type, installation location, imaging target) of the imaging device that records the work video and the characteristics of the analysis process (analysis elements 1, 2, 3, etc.).
Specifically, the association unit 16 associates an analysis process suitable for each imaging device based on the "imaging device type data" shown in FIG. 9 and the "analysis feature data" shown in FIGS. 7A and 7B.
When the analysis process selection unit 13 selects a predetermined analysis process from among a plurality of analysis processes for a predetermined task (task video), the analysis process may be associated with each task video (each imaging device). In this case, the association unit 16 does not need to reassociate the imaging device with the analysis process in step 6.

ステップ7では、分析実行部17が、作業動画に対して、ユーザ操作により決定された分析処理を行う。
詳しく述べると、分析実行部17は、各撮像装置によって記録された作業動画に対して、当該撮像装置に対応付けられた「1又は複数の分析処理」を行う。
そして、ステップ8で、分析結果出力部18は、分析処理の結果(分析結果データ)を出力する。詳しく述べると、分析結果出力部18は、複数の作業動画が記録され、複数の分析処理が実行されたときに、複数の分析処理の結果を併合した「併合分析結果」を出力する。具体的には、各作業動画の併合を行い、また各分析結果の併合を行った併合分析結果データを出力する。
上記ステップ1からステップ8を経て図16のプロセスを終了する。
In step 7, the analysis execution unit 17 performs an analysis process determined by a user operation on the work video.
More specifically, the analysis execution unit 17 performs "one or more analysis processes" associated with each imaging device on the work video recorded by that imaging device.
Then, in step 8, the analysis result output unit 18 outputs the result of the analysis process (analysis result data). More specifically, when multiple work videos are recorded and multiple analysis processes are executed, the analysis result output unit 18 outputs a "combined analysis result" that combines the results of the multiple analysis processes. Specifically, the analysis result output unit 18 combines each work video and outputs combined analysis result data that combines each analysis result.
The process of FIG. 16 is completed through steps 1 to 8.

次に、図17に示すように、複数の分析処理を実行し、各分析処理によって分節された分節位置の補正を行う方法の処理フローを示す。
図17に示す作業分析フロー(2)では、まず、作業分析装置1(作業動画取得部)が、複数の撮像装置から作業動画を取得するステップ(S101)から始まる。
Next, as shown in FIG. 17, a process flow of a method for executing a plurality of analysis processes and correcting the segment positions segmented by each analysis process will be described.
The work analysis flow (2) shown in FIG. 17 starts with a step (S101) in which the work analysis device 1 (work video acquisition unit) acquires work videos from a plurality of imaging devices.

ステップ102では、対応付け部16が、作業動画を記録する撮像装置の種別(種類、設置位置、撮像対象)と、分析処理の特徴(分析要素)とに基づいて、「撮像装置」と当該撮像装置に適した「分析処理」との対応付けを行う。
具体的には、対応付け部16は、図9に示す「撮像装置種別データ」と、図7A、Bに示す「分析特徴データ」とをもとに撮像装置ごとに適した分析処理の対応付けを行う。
なお、分析処理選定部13が所定の作業(作業動画)に対して複数の分析処理の中から所定の分析処理を選定し、対応付け部16が作業動画ごとに(撮像装置ごとに)分析処理を対応付けても良い。
In step 102, the matching unit 16 matches the "imaging device" with an "analysis process" suitable for the imaging device based on the type (type, installation location, imaging target) of the imaging device that records the work video and the characteristics (analysis elements) of the analysis process.
Specifically, the association unit 16 associates an analysis process suitable for each imaging device based on the "imaging device type data" shown in FIG. 9 and the "analysis feature data" shown in FIGS. 7A and 7B.
In addition, the analysis process selection unit 13 may select a predetermined analysis process from a plurality of analysis processes for a predetermined task (work video), and the association unit 16 may associate the analysis process with each work video (each imaging device).

ステップ103では、分析実行部17が、各撮像装置によって記録された作業動画に対して、当該撮像装置に対応付けられた複数の分析処理を行う。 In step 103, the analysis execution unit 17 performs multiple analysis processes associated with each imaging device on the work video recorded by that imaging device.

ステップ104では、分節位置補正部19が、各分析処理によって分節された分節位置を認識する。
具体的には、分節位置補正部19は、複数の分節処理の中から、「分析対象及び/又は作業内容の種別」に基づいて所定の分節処理を抽出し、抽出された分節処理によって分節された分節位置を認識する。
そして、ステップ105で、分節位置補正部19が、認識された分節位置に基づいて「分節位置の補正」を行う。
具体的には、分節位置補正部19は、抽出された分析処理それぞれに対し「所定の重み付け」を行い、認識された「分節位置」と、分析処理それぞれになされた「重み」とに基づいて「分節位置の補正」を行う。「分節処理の重みの情報」として、図7A、Bに示す「分析特徴データ」に含まれる「スコア(重み)」が用いられる。
In step 104, the segment position correction unit 19 recognizes the segment positions segmented by each analysis process.
Specifically, the segmentation position correction unit 19 extracts a specific segmentation process from among multiple segmentation processes based on the "type of analysis subject and/or work content", and recognizes the segmentation position segmented by the extracted segmentation process.
Then, in step 105, the segment position correction unit 19 performs "segment position correction" based on the recognized segment position.
Specifically, the segment position correction unit 19 performs "predetermined weighting" for each of the extracted analysis processes, and performs "segment position correction" based on the recognized "segment position" and the "weighting" assigned to each analysis process. The "score (weighting)" included in the "analysis feature data" shown in Figures 7A and 7B is used as "segment process weighting information."

ステップ106では、分析結果出力部18が、分節位置補正部19によって補正された補正後の分節位置の情報を含む分析処理の結果(分析結果データ)を出力する。
上記ステップ101からステップ106を経て図17のプロセスを終了する。
In step 106 , the analysis result output unit 18 outputs the results of the analysis process (analysis result data) including information on the segment positions corrected by the segment position correction unit 19 .
The process of FIG. 17 is completed through steps 101 to 106.

<その他の実施形態>
上記実施形態では、図5に示すように、作業分析装置1が、作業分析画面40を表示して作業分析を実行するところ、作業分析画面40以外の分析画面を表示して種々の作業分析を実行してもよい。
例えば、作業分析装置1は、作業要素一覧表を表示して、サイクルごとに詳細分析を行う「サイクル分析画面」や、山積みグラフを表示して、各サイクルの作業要素のバラツキを確認し、作業要素の編成を行う「山積みグラフ画面」を表示しても良い。あるいは、複数の作業動画を同時に表示する「作業比較画面」を表示し、異なるサイクルや作業者による作業動画の比較を行う分析を実行しても良い。
<Other embodiments>
In the above embodiment, as shown in FIG. 5, the work analysis device 1 displays the work analysis screen 40 and performs work analysis, but it may also display an analysis screen other than the work analysis screen 40 and perform various work analyses.
For example, the work analysis device 1 may display a "cycle analysis screen" that displays a list of work elements and performs a detailed analysis for each cycle, or a "piling graph screen" that displays a pile graph to check the variation in work elements for each cycle and organize the work elements. Alternatively, it may display a "work comparison screen" that simultaneously displays multiple work videos and perform an analysis to compare work videos of different cycles or workers.

上記実施形態では、作業分析装置1が読み取り可能な記録媒体に作業分析プログラムが記憶されており、作業分析装置1が当該プログラムを読み出して実行することによって処理が実行される。ここで作業分析装置1が読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。
そのほか、作業分析装置1となる端末(モバイル端末)を利用して専用ソフトウェアを起動させて、ウェブブラウザ上で作業分析プログラムが実行されても良い。
In the above embodiment, a work analysis program is stored in a recording medium readable by the work analysis device 1, and processing is performed by the work analysis device 1 reading and executing the program. Here, the recording medium readable by the work analysis device 1 refers to a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, etc.
Alternatively, a dedicated software may be started using a terminal (mobile terminal) serving as the work analysis device 1, and the work analysis program may be executed on a web browser.

上記実施形態では、主として本発明に係る作業分析装置、作業分析方法及び作業分析御プログラムに関して説明した。
ただし、上記の実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物が含まれることは勿論である。
In the above embodiment, the task analysis device, the task analysis method, and the task analysis control program according to the present invention have been mainly described.
However, the above embodiment is merely an example for facilitating understanding of the present invention, and does not limit the present invention. The present invention can be modified and improved without departing from the spirit of the present invention, and the present invention naturally includes equivalents thereof.

S 作業分析システム
1 作業分析装置、モバイル作業分析装置
2 CPU
3 記憶装置
4 通信インタフェース
5 表示部
6 入力部
7 出力部
10 記憶部
11 画面表示部
11a 動画表示部
11b 分析結果表示部
11c 作業要素一覧表示部
12 分析処理部
12a 第1分析処理部(第1分節処理部)
12b 第2分析処理部(第2分節処理部)
12c 第3分析処理部(第3分節処理部)
13 分析処理選定部
14 種別情報取得部
15 分析処理提示部
16 対応付け部
17 分析実行部
18 分析結果出力部
19 分節位置補正部
30 メニュー画面
31、32 選択項目
40 作業分析画面
41 作業動画
42 分析結果
42aシークバー
42b 分析処理
43 作業要素一覧表
44 レイアウト切替ボタン
45 サイクル切替ボタン
100 第1撮像装置(手持ちカメラ)
110 記憶部
111 通信部
112 操作実行部
200 第2撮像装置(ウェアラブルカメラ)
210 記憶部
211 通信部
212 操作実行部
300 第3撮像装置(天井カメラ)
310 記憶部
311 通信部
312 操作実行部
A、A1、A2 分節位置
B、B1、B2 分節位置
S Work analysis system 1 Work analysis device, mobile work analysis device 2 CPU
3 Storage device 4 Communication interface 5 Display unit 6 Input unit 7 Output unit 10 Storage unit 11 Screen display unit 11a Video display unit 11b Analysis result display unit 11c Work element list display unit 12 Analysis processing unit 12a First analysis processing unit (first segmentation processing unit)
12b Second analysis processing unit (second segmentation processing unit)
12c Third analysis processing unit (third segmentation processing unit)
13 Analysis process selection unit 14 Type information acquisition unit 15 Analysis process presentation unit 16 Correlation unit 17 Analysis execution unit 18 Analysis result output unit 19 Segment position correction unit 30 Menu screen 31, 32 Selection item 40 Work analysis screen 41 Work video 42 Analysis result 42a Seek bar 42b Analysis process 43 Work element list 44 Layout switching button 45 Cycle switching button 100 First imaging device (handheld camera)
110: Storage unit 111: Communication unit 112: Operation execution unit 200: Second imaging device (wearable camera)
210: Memory unit 211: Communication unit 212: Operation execution unit 300: Third imaging device (ceiling camera)
310 Storage unit 311 Communication unit 312 Operation execution unit A, A1, A2 Segment position B, B1, B2 Segment position

Claims (9)

作業を撮像した作業動画をもとに作業分析を行う作業分析装置であって、
作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行う第1の分析処理部と、
前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行う第2の分析処理部と、
前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定する分析処理選定部と、
前記分析処理選定部によって選定された分析処理を提示する分析処理提示部と、を具備する作業分析装置。
A task analysis device that performs task analysis based on a task video obtained by capturing a task,
a first analysis processing unit that performs a first analysis process based on an analysis element related to the work on a work video obtained by capturing the work, for each work element;
a second analysis processing unit that performs a second analysis process, which is different from the first analysis process, on the work video based on an analysis element related to the work, for each work element;
an analysis process selection unit that selects a predetermined analysis process from at least the first analysis process and the second analysis process based on an analysis element related to the work;
an analysis process presentation unit that presents the analysis process selected by the analysis process selection unit;
前記作業に関する複数の分析処理と、前記作業に関する複数の分析要素と、前記分析要素ごとの前記分析処理の重みを示す評価情報とを含む分析特徴データを記憶する記憶部を具備し、
前記分析処理選定部は、
ユーザ操作による所定の分析要素の選択を選択条件として受け付けて、
前記分析特徴データを参照して前記第1の分析処理、前記第2の分析処理を含む複数の分析処理の中から、ユーザによる前記選択条件に基づく、前記分析処理の重みに応じた1又は複数の分析処理を選定する、請求項1に記載の作業分析装置。
a storage unit that stores analysis feature data including a plurality of analysis processes related to the work, a plurality of analysis elements related to the work, and evaluation information indicating a weight of the analysis process for each of the analysis elements;
The analysis process selection unit
Accept the selection of a given analysis element by a user operation as a selection condition,
2. The work analysis device according to claim 1, wherein one or more analysis processes are selected from a plurality of analysis processes including the first analysis process and the second analysis process by referring to the analysis feature data, according to a weight of the analysis process based on the selection condition by a user.
前記分析特徴データに含まれる前記作業に関する複数の分析要素は、
前記分析処理の重みによってスコアリングされた第1のグループに属する分析要素と、
前記分析処理の重みによってスコアリングされていない第2のグループに属する分析要素と、に分類され、
前記分析処理選定部は、
前記分析特徴データに含まれる前記第1のグループに属する分析要素に基づく場合に、ユーザによる前記選択条件に基づく、前記分析処理の重みに応じた1又は複数の分析処理を選定し、
前記分析特徴データに含まれる前記第2のグループに属する分析要素に基づく場合に、前記分析処理の重みによらない、ユーザによる前記選択条件に基づいた1又は複数の分析処理を選定し、
前記分析処理提示部は、前記第1のグループに属する分析要素及び/又は前記第2のグループに属する分析要素に基づいて選定された分析処理を提示する、請求項2に記載の作業分析装置。
The plurality of analysis elements related to the work included in the analysis feature data include:
an analysis element belonging to a first group scored by the weight of the analysis process;
and a second group of analytical elements that are not scored by the weights of the analytical process;
The analysis process selection unit
selecting one or more analysis processes according to a weight of the analysis process based on the selection condition by a user when the weight is based on an analysis element belonging to the first group included in the analysis feature data;
selecting one or more analysis processes based on the selection conditions set by a user, regardless of the weight of the analysis process, when the selection is based on an analysis element belonging to the second group included in the analysis feature data;
The work analysis device according to claim 2 , wherein the analysis process presentation unit presents an analysis process selected based on the analysis elements belonging to the first group and/or the analysis elements belonging to the second group.
前記作業分析装置は、作業動画を記録する撮像装置から前記作業動画を取得して、前記作業動画をもとに作業分析を行い、
前記分析特徴データに含まれる前記作業に関する複数の分析要素は、撮像対象が異なる撮像装置の種別を分析要素の一つとして含み、
前記分析処理選定部は、
ユーザ操作による前記撮像装置の種別の選択を前記選択条件として受け付けて、
前記分析特徴データを参照して複数の分析処理の中から、ユーザによる前記撮像装置の種別の選択に基づく、前記分析処理の重みに応じた1又は複数の分析処理を選定する、請求項2に記載の作業分析装置。
the work analysis device acquires work videos from an imaging device that records the work videos, and performs work analysis based on the work videos;
The plurality of analysis elements related to the work included in the analysis feature data includes a type of imaging device having a different imaging target as one of the analysis elements,
The analysis process selection unit
accepting a selection of the type of the imaging device by a user operation as the selection condition;
The work analysis device according to claim 2 , wherein the analysis feature data is referenced to select one or more analysis processes from among a plurality of analysis processes according to a weight of the analysis process based on a user's selection of the type of the imaging device.
前記第1の分析処理部は、前記第1の分析処理として前記作業動画に対し、作業者を分析対象として作業者の作業内容を作業要素ごとに分節する処理を行い、
前記第2の分析処理部は、
前記第2の分析処理として前記作業動画に対し、作業者を分析対象として作業者の動作が所定の動作基準に基づいた動作となっているか否かを判断する処理を行い、
前記作業動画の一部に対して前記作業者の動作が前記動作基準に基づいた動作となっていないと判断した場合に、前記作業動画の一部に対して前記動作基準に関する記録情報を付与する処理を行い、
前記作業分析装置は、前記第1の分析処理及び前記第2の分析処理が実行されたときに、前記第1の分析処理の結果と、前記第2の分析処理の結果とを組み合わせた分析処理の結果を出力する、請求項2乃至4のいずれか一項に記載の作業分析装置。
The first analysis processing unit performs a process of segmenting the work content of the worker into work elements by analyzing the worker on the work video as the first analysis process,
The second analysis processing unit includes:
As the second analysis process, a process is performed on the work video to determine whether or not the worker's movements are based on a predetermined movement standard, with the worker being an analysis target;
When it is determined that the motion of the worker for a part of the work video is not based on the motion standard, a process of adding record information regarding the motion standard to the part of the work video is performed;
5. The work analysis device according to claim 2, wherein when the first analysis process and the second analysis process are executed, the work analysis device outputs a result of an analysis process that combines a result of the first analysis process and a result of the second analysis process.
前記第1の分析処理部は、前記第1の分析処理として前記作業動画に対し、作業者を分析対象として作業者の作業内容を作業要素ごとに分節する処理を行い、
前記第2の分析処理部は、
前記第2の分析処理として前記作業動画に対し、作業者を分析対象として作業者の不正な動作を検出する処理を行い、
前記作業動画の一部に対して前記作業者の不正動作を検出した場合に、前記作業動画の一部に対して不正な動作を示す記録情報を付与する処理を行い、
前記作業分析装置は、前記第1の分析処理及び前記第2の分析処理が実行されたときに、前記第1の分析処理の結果と、前記第2の分析処理の結果とを組み合わせた分析処理の結果を出力する、請求項2乃至4のいずれか一項に記載の作業分析装置。
The first analysis processing unit performs a process of segmenting the work content of the worker into work elements by analyzing the worker on the work video as the first analysis process,
The second analysis processing unit includes:
As the second analysis process, a process is performed on the work video to detect unauthorized actions of the worker by analyzing the worker;
When an unauthorized action of the worker is detected in a portion of the work video, a process of adding record information indicating the unauthorized action to the portion of the work video is performed;
5. The work analysis device according to claim 2, wherein when the first analysis process and the second analysis process are executed, the work analysis device outputs a result of an analysis process that combines a result of the first analysis process and a result of the second analysis process.
作業を撮像して作業動画を記録する撮像装置の種別情報を取得する種別情報取得部を具備し、
前記分析処理選定部は、前記種別情報取得部によって得られた前記撮像装置の種別と、前記作業に関する分析要素とに基づいて所定の分析処理を選定し、
前記作業分析装置は、前記分析処理提示部によって提示された所定の分析処理を実行し、分析処理の結果を出力する分析結果出力部をさらに具備する、請求項1に記載の作業分析装置。
A type information acquisition unit is provided for acquiring type information of an imaging device that captures an image of a work and records the work video,
the analysis processing selection unit selects a predetermined analysis processing based on the type of the imaging device obtained by the type information acquisition unit and an analysis element related to the work;
The work analysis device according to claim 1 , further comprising an analysis result output section that executes a predetermined analysis process presented by the analysis process presentation section and outputs a result of the analysis process.
作業を撮像した作業動画をもとに作業分析を行うコンピュータによって実行される作業分析方法であって、
前記コンピュータが、
作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行うことと、
前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行うことと、
前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定することと、
選定された分析処理を提示することと、を実行する、作業分析方法。
A computer-implemented task analysis method for analyzing tasks based on a task video, the method comprising:
The computer,
performing a first analysis process for each work element based on an analysis element related to the work for a work video obtained by capturing the work;
performing a second analysis process, which is different from the first analysis process, on the work video based on an analysis element related to the work for each work element;
selecting a predetermined analysis process from at least the first analysis process and the second analysis process based on an analysis element related to the work;
A work analysis method comprising presenting and executing a selected analysis process.
作業を撮像した作業動画をもとに作業分析を行う作業分析装置としてのコンピュータに、
作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行う処理と、
前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行う処理と、
前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定する処理と、
選定された分析処理を提示する処理と、を実行させる作業分析プログラム。
A computer that acts as a work analysis device that performs work analysis based on work videos that have been recorded during work.
A process of performing a first analysis process for each work element based on an analysis element related to the work on a work video obtained by capturing the work;
A process of performing a second analysis process, which is different from the first analysis process, on the work video for each work element based on an analysis element related to the work;
a process of selecting a predetermined analysis process from at least the first analysis process and the second analysis process based on an analysis element related to the work;
A process for presenting the selected analysis process; and a work analysis program for executing the process.
JP2023105193A 2023-06-27 2023-06-27 Work analysis device, work analysis method, and work analysis program Active JP7509966B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023105193A JP7509966B1 (en) 2023-06-27 2023-06-27 Work analysis device, work analysis method, and work analysis program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023105193A JP7509966B1 (en) 2023-06-27 2023-06-27 Work analysis device, work analysis method, and work analysis program

Publications (1)

Publication Number Publication Date
JP7509966B1 true JP7509966B1 (en) 2024-07-02

Family

ID=91671309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023105193A Active JP7509966B1 (en) 2023-06-27 2023-06-27 Work analysis device, work analysis method, and work analysis program

Country Status (1)

Country Link
JP (1) JP7509966B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019221081A1 (en) 2018-05-16 2019-11-21 パナソニックIpマネジメント株式会社 Work analyzing system and work analyzing method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019221081A1 (en) 2018-05-16 2019-11-21 パナソニックIpマネジメント株式会社 Work analyzing system and work analyzing method

Similar Documents

Publication Publication Date Title
JP4752721B2 (en) Movement pattern identification device, movement pattern identification method, movement pattern identification program, and recording medium recording the same
JP4792824B2 (en) Motion analysis device
JP6717572B2 (en) Work analysis system and work analysis method
JP6210234B2 (en) Image processing system, image processing method, and program
US20050180637A1 (en) Motion classification support apparatus and motion classification device
US20230044842A1 (en) Work analyzing device and work analyzing method
GB2529943A (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
US9158996B2 (en) Learning image collection apparatus, learning apparatus, and target object detection apparatus
JP6334767B1 (en) Information processing apparatus, program, and information processing method
US9600893B2 (en) Image processing device, method, and medium for discriminating a type of input image using non-common regions
WO2014050432A1 (en) Information processing system, information processing method and program
JP6575845B2 (en) Image processing system, image processing method, and program
CN111164622B (en) Work analysis device and work analysis method
CN113010805A (en) Index data processing method, device, equipment and storage medium
JP7509966B1 (en) Work analysis device, work analysis method, and work analysis program
JP6928880B2 (en) Motion analysis device, motion analysis method, motion analysis program and motion analysis system
CN112368724A (en) Learning device, learning system, and learning method
JP7028729B2 (en) Object tracking device, object tracking system, and object tracking method
JP7484569B2 (en) Image processing device, image processing method, and program
JP7481559B2 (en) Work analysis device, work analysis method, and work analysis program
JP2018005612A (en) Image processing device, image processing method, and program
JP4895201B2 (en) Image sorting apparatus, method, and program
JP2021086218A (en) Cooperative work system, analysis device, and analysis program
WO2022239291A1 (en) Object detection device and method
US20230267727A1 (en) Image analysis apparatus, image analysis method, and storage medium

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written