JP2016167265A - Program, information processing apparatus, and information processing method - Google Patents
Program, information processing apparatus, and information processing method Download PDFInfo
- Publication number
- JP2016167265A JP2016167265A JP2016040423A JP2016040423A JP2016167265A JP 2016167265 A JP2016167265 A JP 2016167265A JP 2016040423 A JP2016040423 A JP 2016040423A JP 2016040423 A JP2016040423 A JP 2016040423A JP 2016167265 A JP2016167265 A JP 2016167265A
- Authority
- JP
- Japan
- Prior art keywords
- time
- work
- cpu
- information
- column
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 101
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000011156 evaluation Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 180
- 230000008569 process Effects 0.000 claims description 129
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 8
- 230000036962 time dependent Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 35
- 238000005070 sampling Methods 0.000 description 114
- 238000004458 analytical method Methods 0.000 description 48
- 238000005259 measurement Methods 0.000 description 45
- 238000003466 welding Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 27
- 230000000737 periodic effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 239000002184 metal Substances 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000000284 resting effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000036982 action potential Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、動画を分析するプログラム等に関する。 The present invention relates to a program for analyzing a moving image.
従来、人又は機械等の対象物が行う作業を動画に撮像し、撮像した動画を時間毎に分割した動作要素を分析する技術が知られている(例えば特許文献1)。 2. Description of the Related Art Conventionally, there has been known a technique for capturing an operation performed by an object such as a person or a machine on a moving image and analyzing an operation element obtained by dividing the captured moving image for each time (for example, Patent Document 1).
しかし、特許文献1に開示された技術では、一の動作要素を分析することを目的としているため、動作要素内の複数の対象物に対して分析を行うことが難しいという問題がある。また、各動作要素について標準的な動作時間を算出する上で、動作要素内の対象物に対してレーティング率等の評価値を設定し、当該評価値にて実際の動作時間を修正することがある。一方、上記の評価値を設定する際には、対象物が置かれている環境や対象物自体の状態(コンディション)を考慮する必要がある。
However, since the technique disclosed in
そこで、本発明は、上記の問題に鑑みてなされたものであり、その目的は、容易に複数の対象物に対して分析を行うことができるプログラム等を提供することである。
また、本発明の他の目的は、分割動画内に表示された対象物に対する評価値が入力される際に、対象物が置かれている環境や対象物自体の状態(コンディション)を考慮して適切な値が入力されるようにすることである。
Therefore, the present invention has been made in view of the above problems, and an object thereof is to provide a program or the like that can easily analyze a plurality of objects.
Another object of the present invention is to consider the environment where the object is placed and the state (condition) of the object itself when the evaluation value for the object displayed in the divided video is input. The appropriate value is to be entered.
前述の課題は、本発明のプログラムによれば、情報処理装置に用いられるプログラムであって、前記情報処理装置に、作業を撮像した複数の動画を作業毎に分割した複数の分割動画を表示し、各分割動画内に表示された対象物に対する評価値の入力を受け付け、前記各分割動画内に表示された対象物が作業に対して有効な動作をした時間を示す動作時間に前記評価値を積算することで前記作業の標準を示す標準時間を算出する処理を実行させることにより解決される。 According to the program of the present invention, the above-described problem is a program used in an information processing apparatus, and displays a plurality of divided moving images obtained by dividing a plurality of moving images obtained by capturing work for each work on the information processing device. The evaluation value for the object displayed in each divided video is received, and the evaluation value is set to the operation time indicating the time when the object displayed in each of the divided videos is effective for the work. This is solved by executing a process of calculating a standard time indicating the standard of the work by integrating.
また、上記のプログラムに関して好適な構成を述べると、前記情報処理装置に、前記分割動画に対する種別を複数種類受け付ける処理を実行させてもよい。
また、上記のプログラムに関してより好適な構成を述べると、複数の分割動画の長さを示す複数の作業時間と複数の種別とが対応づけられており、前記情報処理装置に、種別毎に前記作業時間を表示する処理を実行させてもよい。
また、上記のプログラムに関して更に好適な構成を述べると、前記情報処理装置に、前記対象物の状態を計測した状態情報及び前記対象物の周辺の環境を計測した環境情報のうちの少なくとも一つの情報を取得し、取得した前記少なくとも一つの情報の経時変化を表示する処理を実行させてもよい。
また、上記のプログラムに関してより一層好適な構成を述べると、前記情報処理装置に、取得した前記少なくとも一つの情報の経時変化を、前記分割動画を表示する際の時間軸と同一の時間軸に沿って前記分割動画と同期させながら表示する処理を実行させてもよい。
また、上記のプログラムに関して尚一層好適な構成を述べると、前記情報処理装置に、前記各分割動画に前記対象物の動作が人又は機械が行う動作であることを示す動作情報を受け付け、人が行う動作である動作情報に対応づけられた複数の分割動画を抽出し、抽出した複数の分割動画の標準時間を合計した合計標準時間を算出する処理を実行させてもよい。
また、上記のプログラムに関して益々好適な構成を述べると、前記情報処理装置に、前記対象物が前記作業に対して無効な動作をした時間を示す無効時間を分割動画毎に受け付け、複数の分割動画の無効時間を合計した無効合計時間と、該複数の分割動画の動作時間を合計した動作合計時間とを算出し、算出した無効合計時間及び動作合計時間に基づいてグラフを表示する処理を実行させてもよい。
また、上記のプログラムに関して一段と好適な構成を述べると、前記情報処理装置に、前記対象物の動作が人又は機械が行う動作であることを示す動作情報を分割動画毎に受け付け、人が行う動作である動作情報に対応づけられた複数の分割動画を抽出し、抽出した複数の分割動画の動作時間を合計した抽出合計時間と、前記動作合計時間から抽出合計時間を引いた稼動合計時間とを算出し、算出した稼動合計時間、抽出合計時間及び無効合計時間に基づいてグラフを表示する処理を実行させてもよい。
また、上記のプログラムに関して殊更好適な構成を述べると、前記情報処理装置に、各分割動画及び複数の動画全体に対するコメントを受け付け、受け付けたコメントを表示する処理を実行させてもよい。
In a preferred configuration regarding the above program, the information processing apparatus may execute processing for accepting a plurality of types for the divided moving image.
Further, a more preferable configuration regarding the above program is described. A plurality of work times indicating the lengths of a plurality of divided videos are associated with a plurality of types, and the information processing apparatus stores the work for each type. You may perform the process which displays time.
Further, regarding a more preferable configuration regarding the above program, at least one information of state information obtained by measuring the state of the object and environment information obtained by measuring an environment around the object is provided to the information processing apparatus. And a process of displaying a change over time of the acquired at least one piece of information may be executed.
Further, regarding a more preferable configuration regarding the above program, the time-dependent change of the acquired at least one information is displayed on the information processing apparatus along the same time axis as when displaying the divided moving image. The display process may be executed while synchronizing with the divided moving image.
In addition, when a still more preferable configuration is described with respect to the above program, the information processing apparatus receives operation information indicating that the operation of the object is an operation performed by a person or a machine in each divided moving image. A process of extracting a plurality of divided videos associated with the action information that is the action to be performed and calculating a total standard time obtained by adding the standard times of the extracted plurality of divided videos may be executed.
In addition, to describe a more and more preferable configuration regarding the above program, the information processing apparatus accepts, for each divided video, an invalid time indicating the time when the object performs an invalid operation for the work, and a plurality of divided videos. The total invalid time obtained by summing the invalid times and the total operation time obtained by summing the operation times of the plurality of divided videos are calculated, and a process of displaying a graph based on the calculated invalid total time and total operation time is executed. May be.
In addition, when a more preferable configuration is described with respect to the above program, the information processing apparatus receives operation information indicating that the operation of the object is an operation performed by a person or a machine for each divided video, and an operation performed by the person A plurality of divided videos associated with the motion information, and a total extraction time obtained by adding up the operation times of the extracted plurality of divided videos, and a total operation time obtained by subtracting the total extraction time from the total operation time. A process of displaying the graph based on the calculated total operation time, the total extraction time, and the total invalid time may be executed.
Further, regarding a particularly preferable configuration regarding the above-described program, the information processing apparatus may receive a comment for each divided moving image and a plurality of moving images and display the received comment.
また、前述の課題は、本発明の情報処理装置によれば、作業を撮像した複数の動画を作業毎に分割した複数の分割動画を表示する複数表示部と、各分割動画内に表示された対象物に対する評価値の入力を受け付ける受け付け部と、前記各分割動画内に表示された対象物が作業に対して有効な動作をした時間を示す動作時間に前記評価値を積算することで前記作業の標準を示す標準時間を算出する算出部と、を備えることにより解決される。 In addition, according to the information processing apparatus of the present invention, the above-described problem is displayed in each divided video and a plurality of display units that display a plurality of divided videos obtained by dividing a plurality of videos obtained by imaging work for each work A receiving unit that receives an input of an evaluation value for the object, and the work is performed by accumulating the evaluation value in an operation time that indicates a time during which the object displayed in each of the divided moving images is effective for the work This is solved by providing a calculation unit that calculates a standard time indicating the standard.
また、前述の課題は、本発明の情報処理方法によれば、情報処理装置によって実現される情報処理方法であって、前記情報処理装置が、作業を撮像した複数の動画を作業毎に分割した複数の分割動画を表示し、前記情報処理装置が、各分割動画内に表示された対象物に対する評価値の入力を受け付け、前記情報処理装置が、前記各分割動画内に表示された対象物が作業に対して有効な動作をした時間を示す動作時間に前記評価値を積算することで前記作業の標準を示す標準時間を算出することにより解決される。 The above-described problem is an information processing method realized by an information processing device according to the information processing method of the present invention, wherein the information processing device divides a plurality of moving images obtained by capturing work for each work. A plurality of divided videos are displayed, the information processing apparatus receives an input of an evaluation value for the object displayed in each divided video, and the information processing apparatus receives the target displayed in each of the divided videos. The problem is solved by calculating a standard time indicating the standard of the work by accumulating the evaluation value in an operation time indicating a time during which the work is performed effectively for the work.
本発明によれば、容易に複数の対象物に対して分析を行うことができるプログラム等を提供することができる。
また、本発明によれば、分割動画内に表示された対象物に対する評価値が入力される際に、対象物が置かれている環境や対象物自体の状態(コンディション)を考慮して適切な値が入力されるようになる。
According to the present invention, it is possible to provide a program or the like that can easily analyze a plurality of objects.
In addition, according to the present invention, when an evaluation value for an object displayed in a divided video is input, it is appropriate in consideration of an environment where the object is placed and a state (condition) of the object itself. A value is entered.
(実施の形態1)
以下本実施の形態を、図面を参照して説明する。図1は情報処理システムの概要を示す説明図である。本実施形態における情報処理システムは情報処理装置1及び撮像装置2A、2B及び2C等を備える。撮像装置2A、2B、2C……は以下場合により撮像装置2で代表する。情報処理装置1及び撮像装置2はインターネット、LAN(Local Area Network)または携帯電話網等の通信網Nにより相互に接続されている。
(Embodiment 1)
Hereinafter, the present embodiment will be described with reference to the drawings. FIG. 1 is an explanatory diagram showing an outline of an information processing system. The information processing system in the present embodiment includes an
以下では情報処理システムの概要を説明する。撮像装置2は人又は機械等の対象物が行う作業を撮像するための撮像装置であり、例えばCCD(Charge-coupled device)カメラ、CMOS(Complementary Metal Oxide Semiconductor)カメラ又は赤外線カメラ等である。撮像装置2A、2B及び2Cは対象物が行う作業を複数の位置及び角度に基づいて複数の動画で撮像し、撮像した複数の動画を情報処理装置1へ出力する。
The outline of the information processing system will be described below. The
情報処理装置1は例えばコンピュータ又はスマートフォン等である。情報処理装置1は出力された複数の動画を取得する。情報処理装置1はユーザから入力を後述する入力部14で受け付け、受け付けた入力に基づいて取得した複数の動画を作業毎に分割した複数の動作要素(分割動画)に分割する。情報処理装置1は動作要素又は動作要素に関連する情報を表示することで対象物が行う標準的な作業時間を示す標準時間を算出する処理を行う。標準時間とは、標準の技能を持った人が作業を行う時間である。しかし、標準の技能を持った人を見極めるのは困難であり、人の技能は作業毎に変化する場合も多い。このため、一般的に標準時間は対象物が作業に対して有効な動作をした時間を示す動作時間に、各分割動画内に表示された対象物に対するレーティング率(評価値)を積算することにより算出する。例えば、情報処理装置1は以下の方法で標準時間を算出する。情報処理装置1は動作要素内で無駄な時間を削除することで動作時間を算出する。ユーザは分割動画を視聴することで分割動画内の作業員がベテランであるか否か又は作業に慣れているか否か等を判断し、レーティング率を決定する。例えば、作業員がベテランであり、かつ作業に慣れていると判断した場合、情報処理装置1でレーティング率を1より低い値に設定する。情報処理装置1は算出した動作時間に1より低い値のレーティング率を積算することで分割動画内の作業時間より早い標準時間を算出する。
The
以下では情報処理システムの詳細を説明する。図2は情報処理装置1のハードウェア群を示すブロック図である。図2に示す情報処理装置1は、一または複数の演算制御装置であるCPU11、ハードディスク、半導体メモリディスク等の記憶装置である記憶部12、SRAM(Static RAM)、DRAM(Dynamic RAM)またはフラッシュメモリ等のRAM13、マウス、キーボード、タッチパネル、ペンタブレット、マイク等の入力機器である入力部14、ディスプレイ、プロジェクタ、ヘッドマウントディスプレイ等の表示部15、通信網Nとの間で通信を行う通信部16を含む。
Details of the information processing system will be described below. FIG. 2 is a block diagram illustrating a hardware group of the
記憶部12にはCPU11が処理を行う際に必要とする種々のデータ、要素情報DB121、集計情報DB122、種別情報DB123、コメントDB124及びプログラム12Pを格納する。かかるプログラム12Pが本発明のプログラムに該当する。
The
通信部16は、通信網Nを介して撮像装置2が撮像した動画を取得する。なお、本実施形態では撮像装置2から動画を取得したが、これに限られず、USB(Universal Serial Bus)メモリ、光ディスク又は記憶部12等から動画を取得してもよい。
The
図3は要素情報DB121に格納されているデータの一例を示す図である。要素情報DB121は動作要素に関する情報を記憶するデータベースである。要素情報DB121は動作要素列、種別列、開始時間列、終了時間列、要素時間列、動作時間列、無効時間列、比較値列、差異列、非定常列、区分列、レーティング率列、標準時間列、動画データ列及びマニュアル列等を備える。動作要素列には動作要素の名称が記憶される。種別列には動作要素の種類を示す種別が複数記憶される。種別とは例えば「手作業」又は「第1工程」等の各作業工程である。種別列の種別は種別を分類するための種別分類で分けられている。種別分類とは例えば種別1、種別2又は種別3等である。例えば、種別列の種別1列には「溶接」の種別が「手作業」であること又は「パネルの固定」の種別が「工具作業」であること等が記憶される。また種別列の種別2列には「溶接」の種別が「第1工程」であること又は「ボルトの締め付け」の種別が「第2工程」であること等が記憶される。また種別列の種別3列には「溶接」の種別が「人作業」であること又は「ボルトの締め付け」の種別が「機械作業」であること等が記憶される。
FIG. 3 is a diagram illustrating an example of data stored in the
開始時間列には動画内で動作要素が開始される開始時間が動作要素に対応づけられて記憶される。終了時間列には動画内で動作要素が終了される終了時間が動作要素に対応づけられて記憶される。要素時間列には動作要素の時間の長さを示す要素時間(作業時間)が動作要素に対応づけられて記憶される。動作時間列には動作時間が動作要素に対応づけられて記憶される。無効時間列には対象物が作業に対して無効な動作をした時間を示す無効時間が動作要素に対応づけられて記憶される。比較値列には動作時間と比較するための比較値が動作要素に対応づけられて記憶される。比較値列には例えば、ユーザが予想した標準時間を示す予想標準時間が記憶される。差異列には比較値と動作時間との差異が動作要素に対応づけられて記憶される。開始時間列、終了時間列、要素時間列、動作時間列、無効時間列、比較値列及び差異列の単位は例えば秒である。非定常列には対象物が周期性のある動作をしているか否かを示す非定常情報(周期性情報)が動作要素に対応づけられて記憶される。周期性のある動作とは例えば、作業員Aが複数回、金具をセットする動作である。また周期性のない動作とは例えば、作業員Aが1回だけ金具をセットする動作である。○は対象物が周期性のない動作をしていることを示す。×は対象物が周期性のある動作をしていることを示す。区分列には、稼動、準稼動、非稼動の動作情報が、動作要素と対応づけて記憶される。本明細書においては、稼動とは人が作業中の状態であり、準稼動とは機械が動作する状態であり、非稼動とは人も機械も動作していない待ち状態等のような状態をいう。 In the start time column, the start time at which the motion element is started in the moving image is stored in association with the motion element. In the end time column, an end time at which the motion element is terminated in the moving image is stored in association with the motion element. In the element time column, an element time (working time) indicating the length of time of the operation element is stored in association with the operation element. In the operation time column, the operation time is stored in association with the operation element. In the invalid time column, an invalid time indicating a time during which the object performs an invalid operation on the work is stored in association with the operation element. In the comparison value column, a comparison value for comparison with the operation time is stored in association with the operation element. In the comparison value column, for example, an expected standard time indicating a standard time predicted by the user is stored. In the difference column, the difference between the comparison value and the operation time is stored in association with the operation element. The units of the start time sequence, end time sequence, element time sequence, operation time sequence, invalid time sequence, comparison value sequence, and difference sequence are, for example, seconds. In the non-stationary column, non-stationary information (periodic information) indicating whether or not the object is performing a periodic operation is stored in association with the operation element. The operation with periodicity is, for example, an operation in which the worker A sets the metal fitting a plurality of times. Further, the operation without periodicity is, for example, an operation in which the worker A sets the metal fitting only once. ○ indicates that the object is operating without periodicity. X indicates that the object is operating with periodicity. In the classification column, operation information about operation, semi-operation, and non-operation is stored in association with operation elements. In this specification, operation is a state in which a person is working, semi-operation is a state in which a machine is operating, and non-operation is a state such as a waiting state in which neither a person nor a machine is operating. Say.
レーティング率列にはレーティング率が動作要素に対応づけられて記憶される。標準時間列には標準時間が動作要素に対応づけられて記憶される。動画データ列には撮像した動画を動作要素毎に分割した動画データが記憶される。例えば、動画データ列には動画A(作業員Aが行う作業を撮像した動画)を動作要素毎に分割した動画データが記憶される。マニュアル列には動作要素に対応するマニュアルが記憶される。 In the rating rate column, the rating rate is stored in association with the operating element. In the standard time column, the standard time is stored in association with the operation element. In the moving image data string, moving image data obtained by dividing the captured moving image for each operation element is stored. For example, the moving image data string stores moving image data obtained by dividing the moving image A (moving image of the work performed by the worker A) for each operation element. Manuals corresponding to the operating elements are stored in the manual column.
CPU11は後述する分析画面5で動作要素、動作要素の種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、非定常情報、区分又はレーティング率の入力を入力部14で受け付ける。CPU11は受け付けた動作要素、動作要素の種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、非定常情報、区分又はレーティング率を要素情報DB121に記憶させる。CPU11は動作時間から比較値を引いた差異を差異列に記憶させる。CPU11は動作時間にレーティング率を積算した標準時間を標準時間列に記憶させる。なお、本実施形態の動画データ列及びマニュアル列は予めユーザが登録しているものとする。
The
図4は集計情報DB122に格納されているデータの一例を示す図である。集計情報DB122は動作要素に関する情報を集計した集計情報が記憶されたデータベースである。集計情報DB122は要素合計時間列、動作合計時間列、稼動合計時間列、無効合計時間列、合計差異列、全体レーティング率、準稼動合計時間列及び標準合計時間列等を備える。要素合計時間列には複数の動作要素の要素時間を合計した要素合計時間(合計時間)が記憶される。動作合計時間列には複数の動作要素の動作時間を合計した動作合計時間が記憶される。稼動合計時間列には対象物が稼動動作を行う複数の動作要素の動作時間を合計した稼動合計時間が記憶される。無効合計時間列には複数の動作要素の無効時間を合計した無効合計時間が記憶される。合計差異列には、標準時間と比較値の差異の合計時間が記憶される。全体レーティング率には複数のレーティング率の平均値を示す全体レーティング率が記憶される。準稼動合計時間列には準稼働時間を合計した準稼動合計時間(抽出合計時間)が記憶される。標準合計時間列には動作合計時間に全体レーティング率を積算した標準合計時間が記憶される。集計情報DB122の記憶方法は後述する。
FIG. 4 is a diagram illustrating an example of data stored in the
図5は種別情報DB123に格納されているデータの一例を示す図である。種別情報DB123は、作業又は動作の区分を管理するものである。図5Aに示すように例えば1つの動画を作業及び工程等に分割したい場合には、種別1に作業種別、種別2に工程種別を入力すればよい。また種別3には種別を利用して人に依存する作業と機械に依存する作業を入力させることもできる。また図5Bに示すように作業種別毎に色を設定することにより、作業種別の時間を棒グラフで表示する際に、作業時間の比較が行いやすくなる。
FIG. 5 is a diagram illustrating an example of data stored in the
図6はコメントDB124に格納されているデータの一例を示す図である。図7は動作要素の分析を行うための分析画面5の一例を示す説明図である。コメントDB124には動作要素列、個別コメント列及び総括コメント列を備える。動作要素列には動作要素が記憶される。個別コメント列はウィンドウ1列、ウィンドウ2列、ウィンドウ3列及びウィンドウ4列を備える。個別コメント列は図7に示す表示ウィンドウ51に表示された各動作要素の動画データに対するコメントを示す個別コメントが記憶される。ウィンドウ1列、ウィンドウ2列、ウィンドウ3列及びウィンドウ4列の夫々は後述する表示ウィンドウ51A、51B、51C及び51Dの夫々に対応する。動作要素列の動作要素は要素情報DB121の動作要素列に対応する。CPU11は後述する個別コメント欄56に動作要素表(作業表)52で選択した動作要素に対する個別コメントの入力を入力部14で受け付ける。CPU11は受け付けた個別コメントをコメントDB124の個別コメント列に記憶させる。総括コメント列には取得した動画全体に対するコメントを示す総括コメントが記憶される。CPU11は総括コメント欄57に総括コメントの入力を入力部14で受け付ける。CPU11は受け付けた総括コメントを集計情報DB122に記憶させる。
FIG. 6 is a diagram illustrating an example of data stored in the
分析画面5は上部に分割された表示ウィンドウ51A、51B、51C及び51Dと、表示ウィンドウ51A、51B、51C及び51Dの下部に設けられた動作要素表52と、左下部に設けられた種別グラフ53A及び53Bと、表示ウィンドウ51Dの右部に設けられた集計表54と、集計表54の右部に設けられた切替ボタン510と、集計表54の下部に設けられた稼動グラフ55と、動作要素表52の右部に設けられた個別コメント欄56と、個別コメント欄56の下部に設けられた総括コメント欄57とを備える。動作要素表52の下部には合計欄523が設けられている。動作要素表52及び合計欄523にはレーティング欄521及び非定常欄522が設けられている。表示ウィンドウ51Aの左端にはレーティング率欄511が設けられている。表示ウィンドウ51Aの左上部には決定レーティング率欄512が設けられている。表示ウィンドウ51A、51B、51C及び51D等は場合により表示ウィンドウ51で代表する。種別グラフ53A及び53B等は場合により種別グラフ53で代表する。稼動グラフ55は非稼動部分55A、準稼動部分55B及び稼動部分55Cにより構成される。個別コメント欄56の上部にはコメントタブ561が設けられている。表示ウィンドウ51A、51B及び51Cに表示されている動画は、同一時間軸で撮影又は再生する動画である。ここで表示ウィンドウ51Aには作業員A、表示ウィンドウ51Bには作業員Bの動画が表示されているものとする。
The
表示ウィンドウ51は動画データ又はマニュアル等の動作要素に関連する情報を表示するウィンドウである。レーティング率欄511はレーティング率の入力を行うための欄である。決定レーティング率欄512は動作要素のレーティング率を表示するための欄である。動作要素表52は動作要素に関する情報を表示する表である。レーティング欄521はレーティングを行うか否かを判定するためのチェックボックスを備える欄である。非定常欄522は非定常情報であるか否かを判定するためのチェックボックスを備える欄である。合計欄523は複数の動作要素に関する情報を合計した合計関連情報を表示する表である。種別グラフ53は種別分類毎に種別に対応する要素時間の割合を表示した棒グラフである。集計表54は集計情報を表示する表である。稼動グラフ55は動作合計時間、準稼動合計時間及び無効合計時間の割合を表示した円グラフである。個別コメント欄56は個別コメントを表示する欄である。コメントタブ561は個別コメントを切り替えるためのタブである。コメントタブ561は複数であり、左端から表示ウィンドウ51A、51B、51C及び51Dの夫々に対応している。総括コメント欄57は取得した動画全体に対する総括コメントを表示する欄である。切替ボタン510は各表示ウィンドウ51の動画データに対応する動作要素表52を切り替えるためのボタンである。
The
分析画面5の動作は以下の通りである。なお、本実施形態では予め撮像された各動画を動作要素に分割しているものとする。CPU11は要素情報DB121を参照し、動作要素表52に動作要素、種別、開始時間、要素時間、比較値、差異、区分、非定常情報、レーティング率等を表示する。また動作要素表52は、表示ウィンドウ51A、51B及び51Cに設定することができる。ユーザが図7の切替ボタン510を入力部14で選択した場合、CPU11は表示ウィンドウ51A、51B又は51Cに対する動作要素表52を切り替えて分析画面5に表示させる事ができる。また非定常欄522のチェックボックスにより非定常情報の入力をすることができる。動作要素表52の各欄が入力部14で選択された場合、CPU11は動作要素の選択を入力部14で受け付ける。CPU11は選択された動作要素に対応する複数の動画データを表示ウィンドウ51に表示する。例えば、CPU11は表示ウィンドウ51Aに表示される作業員Aの動作要素「溶接」を選択した場合、表示ウィンドウ51B及び51Cの夫々には、同時間軸上の他の作業員の動画等が表示する。CPU11は表示ウィンドウ51Dに動作要素「溶接」に対応するマニュアルAを表示する。
The operation of the
ユーザは表示ウィンドウ51に表示された動画データを視聴することで、動画データ内にて作業者が作業に対して無効な動作をしているか否かを判断する。ユーザは作業者が作業に対して無効な動作をしていると判断した場合、表示ウィンドウ51を入力部14で選択することで無効時間を算出する。具体的にはCPU11は動画データを表示ウィンドウ51で再生中に表示ウィンドウ51を入力部14で選択してから再度表示ウィンドウ51を入力部14で選択するまでの時間を無効時間として算出する。CPU11は要素時間から無効時間を引くことで動作時間を算出する。なお、CPU11はさらにレーティング率の入力を入力部14で受け付け、受け付けたレーティング率を要素時間から無効時間を引いた値に積算することで動作時間を算出してもよい。CPU11は算出した無効時間及び動作時間を動作要素表52に表示する。動作要素表52において各種別には色が対応づけられている。CPU11は種別情報DB123を参照し、各種別に対応づけられた色を動作要素表52の種別に表示する。
The user views the moving image data displayed on the
CPU11は種別グラフ53に種別毎の要素時間を時系列順に表示する。例えば、CPU11は種別グラフ53Aに作業単位の種別である「手作業」、「工具作業」、「マシン作業」及び「手作業」に対応する色を「手作業」、「工具作業」、「マシン作業」及び「手作業」の時系列順に表示する。さらにCPU11は種別グラフ53Bに工程単位の種別「第1工程」及び「第2工程」に対応する色を「第1工程」及び「第2工程」の時系列順に表示する。種別グラフ53A及び53Bの各色の割合は各種別の要素時間の割合に対応している。なお、本実施形態の種別グラフ53は種別毎の要素時間を時系列順に表示したが、これに限られない。また本実施形態では種別は3つであるが、これ以上またはこれ以下の種別を設定することができる。例えば、種別グラフ53は種別毎の動作時間、無効時間又は標準時間を時系列順に表示してもよい。また種別グラフ53には、異なるウィンドウに表示される作業員の種別毎の要素時間を時系列順に表示することもできる。例えば表示ウィンドウ51Aに表示される作業員Aと表示ウィンドウ51Bに表示される作業員Bの工程単位の種別を表示することで、作業員Aと作業員Bの作業を比較することができる。
The
レーティング率及び標準時間の算出方法の一例は以下の通りである。ユーザは表示ウィンドウ51A、51B及び51Cに同一時間軸上の動画データを視聴する。ユーザは表示ウィンドウ51DのマニュアルAを確認し、作業員AがマニュアルAに則っていると判断する。ユーザは種別グラフ53に表示ウィンドウ51Aに表示されている作業員Aの作業単位の種別と、表示ウィンドウ51Bに表示されている作業員Bの作業単位の種別を表示することによって、作業員Aと作業員Bが同じ作業に対してどのくらい遅れが発生しているのかを容易に確認することができる。ここで作業員Aの動作要素の動作時間が通常の作業より遅いと考えた場合には、ユーザはレーティング率欄511で1.1倍を選択する。CPU11は決定レーティング率欄512に1.1倍を表示する。例えば「動作要素」の「溶接」について上記のとおりレーティングを行う場合には、CPU11はレーティング欄521と同一の列にある動作要素の動作時間「3.50」にレーティング率「1.1」を積算することで標準時間「3.85」を算出する。CPU11はレーティング率「1.1」及び標準時間「3.85」を動作要素表52に表示し、要素情報DB121に記憶する。また動作要素「金具Aをセット」の動作時間は通常の作業より遅いと考えた場合、ユーザはレーティング率欄511で0.8倍を選択する。CPU11は決定レーティング率欄512に0.8倍を表示する。CPU11はレーティング欄521と同一の列にある動作要素の動作時間「8.00」にレーティング率「0.8」を積算することで標準時間「6.40」を算出する。CPU11はレーティング率「0.8」及び標準時間「6.40」を動作要素表52に表示し、要素情報DB121に記憶する。以下、同様であり、簡潔のため記載を省略する。
An example of the rating rate and standard time calculation method is as follows. The user views moving image data on the same time axis in the
ユーザが標準時間で動作要素の動画データを視聴したいと希望した場合、以下の手順で動作要素の動画データを標準時間で再生できる。CPU11はレーティング欄521内のチェックボックスに入力を入力部14で受け付ける。例えば、ユーザがレーティング欄521内の1行目の「1.1」のチェックボックスを入力部14で入力した場合、表示ウィンドウ51Aの動画101の再生時間は1.1倍され、動作時間「3.5」にレーティング率「1.1」を乗算した値である「3.85」を標準時間として設定する。CPU11は再生時間が標準時間「3.85」になるように動画101をスロー再生する。また、ユーザが切替ボタン510を入力部14で選択した場合、作業員Bの動作要素表52が分析画面5に表示される。以下、同様の動作により再生時間が標準時間になるように表示ウィンドウ51Bの動画をスロー再生又は再生スピードを早くして再生する。表示ウィンドウ51Cについても同様であり、簡潔のため、記載を省略する。
When the user desires to view the motion element moving image data in the standard time, the motion element moving image data can be reproduced in the standard time by the following procedure. The
CPU11は要素合計時間、動作合計時間、無効合計時間、合計比較値、合計差異、全体レーティング率、準稼動合計時間、稼動合計時間及び標準合計時間等を算出する。例えば、CPU11は動作要素表52の全ての要素時間を合計した要素合計時間「27.00」を算出する。CPU11は動作要素表52の全ての動作時間を合計した動作合計時間「22.00」を算出する。CPU11は動作要素表52の全ての無効時間を合計した無効合計時間「5.00」を算出する。
The
CPU11は動作要素表52の1列目、2列目、4列目の区分が「準稼動」であるため、動作時間「3.50」、「2.50」及び「8.00」を合計した準稼動合計時間「14.00」を算出し、図4の準稼動合計時間に値を入力する。CPU11は全てのレーティング率の平均値を算出することで全体レーティング率「1.07」を算出する。CPU11は動作合計時間にレーティング率「1.07」を積算した標準合計時間「23.54」を算出する。CPU11は動作要素表52の全ての比較値を合計した合計比較値「23.5」を算出する。CPU11は合計比較値「23.5」から標準合計時間「23.54」を減算した合計差異「0.04」を算出する。CPU11は動作合計時間「22.00」から準稼動合計時間「14.00」を減算した稼動合計時間「8.00」を算出する。なお、本実施形態では要素合計時間、動作合計時間、無効合計時間、準稼動合計時間は取得した動画の動作要素の全てを合計した値だが、これに限られない。例えば、要素合計時間、動作合計時間、無効合計時間、準稼動合計時間及び稼動合計時間は動作要素表52で一又は複数選択された動作要素の要素合計時間、動作合計時間、無効合計時間、準稼動合計時間及び稼動合計時間であってもよい。
The
CPU11は算出した要素合計時間、動作合計時間、無効合計時間、合計差異、全体レーティング率、準稼動合計時間及び標準合計時間を合計欄523に表示する。CPU11は算出した要素合計時間、動作合計時間、無効合計時間、合計差異、全体レーティング率、準稼動合計時間及び標準合計時間を集計情報DB122に記憶させる。
The
CPU11は算出した要素合計時間「27.00」、動作合計時間「22.00」及び無効合計時間「5.00」を集計表54に表示する。なお、CPU11は集計表54に準稼動合計時間又は稼動合計時間を表示してもよい。
The
CPU11が稼動グラフ55を表示する処理は以下の通りである。CPU11は要素合計時間「27.00」に対する無効合計時間「5.00」の割合で非稼動部分55Aを生成する。CPU11は要素合計時間「27.00」に対する準稼動合計時間「14.00」の割合で準稼動部分55Bを生成する。CPU11は要素合計時間「27.00」に対する稼動合計時間「8.00」の割合で稼動部分55Cを生成する。CPU11は生成した非稼動部分55A、準稼動部分55B及び稼動部分55Cに基づいて稼動グラフ55を生成し、表示する。
The process in which the
ユーザは入力部14でコメントタブ561の内、表示ウィンドウ51Aに対応するタブを選択する。CPU11は個別コメント欄56に動作要素表52で選択した動作要素の動画201に対応する個別コメントの入力を入力部14で受け付ける。ユーザは入力部14で個別コメント欄56に「頑張って働いている」を入力する。CPU11は受け付けた個別コメント「頑張って働いている」をコメントDB124に記憶させる。ユーザは入力部14でコメントタブ561の内、表示ウィンドウ51Bに対応するタブを選択する。CPU11は個別コメント欄56に動作要素表52で選択した動作要素の動画201に対応する個別コメントの入力を入力部14で受け付ける。ユーザは入力部14で個別コメント欄56に「1人休憩している」を入力する。CPU11は受け付けた個別コメント「1人休憩している」をコメントDB124に記憶させる。以下、同様であり、簡潔のため記載を省略する。CPU11は総括コメント欄57に総括コメントの入力を入力部14で受け付ける。ユーザは稼動グラフ55を確認し、総括コメント欄57に「全体的に準稼動合計時間が多い」を入力部14で入力する。CPU11は受け付けた総括コメント「全体的に準稼動合計時間が多い」をコメントDB124に記憶させる。
The user selects a tab corresponding to the
図8〜9は本実施形態における情報処理システムの処理手順を示したフローチャートである。CPU11は動作要素、種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、差異、区分、非定常情報、レーティング率及び標準時間等を記憶部12から読込又は入力部14で入力を受け付ける(ステップS11)。CPU11は動作要素、種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、差異、区分、非定常情報、レーティング率及び標準時間等に基づいて動作要素表52及び種別グラフ53を表示する(ステップS12)。
8 to 9 are flowcharts showing the processing procedure of the information processing system in this embodiment. The
CPU11は表示ウィンドウ51でレーティング率の選択を入力部14で受け付ける(ステップS13)。CPU11は動作時間に受け付けたレーティング率を積算することで標準時間を算出する(ステップS14)。CPU11は動作要素、動作要素の種別、開始時間、要素時間、動作時間、無効時間、比較値、差異、区分、非定常情報、レーティング率、標準時間等に基づいて要素合計時間、動作合計時間、無効合計時間、合計比較値、合計差異、全体レーティング率、準稼動合計時間、稼動合計時間及び標準合計時間等を算出する(ステップS15)。
The
CPU11は要素合計時間、動作合計時間、無効合計時間、合計差異、全体レーティング率、準稼動合計時間及び標準合計時間等に基づいて合計欄523を表示し、要素合計時間、動作合計時間及び無効合計時間等に基づいて集計表54を表示する(ステップS16)。CPU11は要素合計時間、稼動合計時間、準稼働合計時間及び無効合計時間に基づいて稼動グラフ55を生成及び表示する(ステップS17)。なお、要素合計時間は無効合計時間、準稼動合計時間及び稼動合計時間を合計することで算出できる。このため、無効合計時間、準稼動合計時間及び稼動合計時間に基づいて稼動グラフ55を生成し、表示することもできる。CPU11は動作要素の選択を入力部14で受け付ける(ステップS18)。CPU11は受けつけた動作要素に対応する複数の動画データの内、同一時間の動作要素の動画データを表示ウィンドウ51に表示する(ステップS19)。CPU11は受けつけた動作要素に対応するマニュアルを表示ウィンドウ51に表示する(ステップS20)。
The
CPU11は個別コメント欄56及び総括コメント欄57に受け付けた動作要素の個別コメント及び総括コメントの入力を入力部14で受け付ける(ステップS21)。CPU11は個別コメント欄56及び総括コメント欄57に受け付けた個別コメント及び総括コメントを表示し(ステップS22)、処理をS11に移し、処理を繰り返す。
The
なお、本実施形態における表示ウィンドウ51Aは任意の2線間の角度を表示できるようにしてもよい。また、本実施形態では要素合計時間、稼動合計時間、準稼働合計時間及び無効合計時間に基づいて稼動グラフ55を生成及び表示したが、動作合計時間及び無効合計時間に基づいて稼動グラフ55を生成及び表示してもよい。
Note that the
一つの側面では、容易に複数の対象物に対して分析を行うことができる。 In one aspect, it is possible to easily analyze a plurality of objects.
一つの側面では、容易に複数の対象物に対して同一時間軸上で分析を行うことができる。 In one aspect, it is possible to easily analyze a plurality of objects on the same time axis.
一つの側面では、種別グラフ53が同一時間軸上で種別毎の要素時間を表示できるため、要素毎の比較が容易となり、効率化できる工程の発見が容易になる。
In one aspect, since the
一つの側面では、各動画データに対して個別コメントを表示することで各動画データの理解に役立てることができる。 In one aspect, displaying individual comments for each moving picture data can help understanding each moving picture data.
ユーザは例えば、稼動グラフ55で無効合計時間又は準稼動合計時間の割合が多いことが即座に確認できる。このため、ユーザは稼動グラフ55を確認することで無駄時間の多い作業からレーティングを行うなど柔軟なレーティング作業が可能となる。
For example, the user can immediately confirm on the
一つの側面では、他の作業員の作業と比較しながら分析を行う事ができるので、より効率的な標準時間の設定が可能になる。 In one aspect, the analysis can be performed while comparing with the work of other workers, so that a more efficient standard time can be set.
(実施の形態2)
実施の形態2は、対象物の状態を計測した状態情報又は対象物の周辺の環境を計測した環境情報を取得し、表示ウィンドウ51に表示する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態1と同等であり、簡潔のため記載を省略する。
(Embodiment 2)
The second embodiment relates to an embodiment in which state information obtained by measuring the state of the object or environment information obtained by measuring the environment around the object is acquired and displayed on the
本実施形態における情報処理装置1は計時部(図示せず)を備える。計時部は動画を撮像してからの時間を計時し、CPU11に計時した時間を出力している。動画を撮像してからの時間とはすなわち動画の再生時間である。
The
また、情報処理システムは、図10に示すように、状態情報の一例として対象物(具体的には作業員)の生体情報を計測する生体センサ61A及び61Bを備える。図10は、情報処理システムの概要を示す説明図である。生体センサ61A及び61B等は、場合により生体センサ610で代表する。
In addition, as illustrated in FIG. 10, the information processing system includes
生体センサ61A及び61Bの夫々は、例えば圧力センサからなり、作業員A及びBの夫々に取り付けられている。なお、圧力センサとは、静電容量型加速度センサ又はピエゾ抵抗型加速度センサ等の加速度センサである。生体センサ610は、作業員A及びBの腰又は腕等の脈拍数を定期的に(例えば1秒間隔で)計測し、計測した脈拍数を情報処理装置1へ出力する。CPU11は、脈拍数を生体センサ610から取得する。このとき、CPU11は、脈拍数の計測時刻(厳密には脈拍数の取得時刻)を計時部からの出力に基づいて特定する。
Each of the
CPU11は、取得した脈拍数を時系列の生体グラフ(経時変化に相当)で表示ウィンドウ51Eに表示する。このとき、CPU11は、表示ウィンドウ51A〜51Cに表示された動画データ(換言すると、作業の動画を動作要素毎に分割した際の分割動画)と同期させながら上記の生体グラフを表示する。かかる内容について図11A及び図11Bを参照しながら説明する。図11A及び図11Bは、分析画面5の一例を示す説明図である。
The
先ず、図11Aを参照しながら説明すると、表示ウィンドウ51Aには作業員Aの動作要素が表示され、表示ウィンドウ51Bには同時間軸上の他の作業員(作業員B)の動画が表示される。また、表示ウィンドウ51Eには作業員A及びBに取り付けられた生体センサから取得した脈拍数の生体グラフが表示されている。縦軸は脈拍数であり、単位はbpmである。横軸は時間であり、単位は秒である。
First, with reference to FIG. 11A, the movement element of the worker A is displayed on the
また、CPU11は、表示ウィンドウ51A及び51Bの其々に表示する動作要素を同期させながら表示する。具体的には、表示ウィンドウ51A及び51Bの其々において表示される動作要素間で再生時間(具体的には、上記の計測部によって計時された時間)が揃うように調整する。さらに、CPU11は、表示ウィンドウ51Eに生体グラフを表示する際、表示ウィンドウ51A及び51Bにて表示される各動作要素と同じ時間軸に沿って当該各動作要素と同期させながら生体グラフを表示させる。具体的には、表示ウィンドウ51A及び51Bに表示される動作要素の再生開始時刻と脈拍数の計測開始時刻とが揃うように調整する処理、すなわち頭出し処理を実行する。
Further, the
なお、頭出し処理において動作要素の再生開始時刻と脈拍数の計測開始時刻とを揃える際には、それぞれについて計時部が計時した時刻同士を合わせるとよい。ただし、これに限定されるものではなく、動作要素の中で作業員A又はBが最も動いた時点(可動量が最大となるピーク時点)と、生体グラフにおいて脈拍数が最大となった時点(脈拍数のピーク時点)とを合わせてもよい。ちなみに、それぞれのピーク時点を抽出してピーク時点同士を合わせる作業については、ユーザが表示ウィンドウ51における表示内容を見ながら行ってもよく、CPU11が当該表示内容を解析して自動的に行ってもよい。
In addition, when aligning the reproduction start time of the motion element and the measurement start time of the pulse rate in the cueing process, it is preferable to match the times measured by the time measuring unit for each. However, the present invention is not limited to this, and the point in time when the worker A or B moves most among the operating elements (the peak point at which the movable amount becomes maximum) and the point at which the pulse rate becomes maximum in the biological graph ( (Pulse rate peak time) may be combined. Incidentally, the operation of extracting each peak time point and matching the peak time points may be performed while the user is viewing the display contents in the
以上のような構成により、ユーザは、表示ウィンドウ51Eに表示された生体グラフから作業員A及びBの筋肉負荷を知ることができる。よって主観的に作業員の作業速度の遅速を判断するのではなく、客観的に作業員の作業速度の遅速を判断することができる。具体的には、作業員の作業速度が遅く感じた場合でも、その時間帯の筋肉負荷が大きい場合には、その作業員の作業速度は遅いものではなく、適切なものと判断する事ができる。
With the configuration as described above, the user can know the muscle loads of the workers A and B from the biological graph displayed in the
以上のように客観的に作業員の作業速度の遅速を判断することができるようになる結果、ユーザは、適正なレーティングを行う事ができる。すなわち、作業員A及びBの状態(コンディション)を考慮した上で妥当なレーティング率が入力部14を通じて入力されるようになる。
As described above, the user can objectively determine the slowness of the work speed, and as a result, the user can perform an appropriate rating. That is, an appropriate rating rate is input through the
ちなみに、図11Aに図示のケースでは、表示ウィンドウ51A及び51Bの其々に異なる作業員の動画(動作要素)が表示され、表示ウィンドウ51Eには二人分の生体グラフが同時表示されることとしたが、これに限られない。図11Bに示すように、表示ウィンドウ51A〜51Dの其々に、一人の作業員が行う作業を異なる角度から撮像した各撮像角度別の動画を表示し、表示ウィンドウ51Eに一人分の生体グラフを表示してもよい。
Incidentally, in the case shown in FIG. 11A, moving images (motion elements) of different workers are displayed on the
図12は、本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S22の処理は上述の実施の形態1に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11は、ステップS19の処理を終了した後、通信部16で生体センサ610から生体情報を取得する(ステップS31)。その後、CPU11は、取得した生体情報に基づいて生体グラフを表示ウィンドウ51に表示し(ステップS32)、処理をS20に移す。
FIG. 12 is a flowchart showing a processing procedure of the information processing system in the present embodiment. Since the processes in steps S11 to S22 are the same as those in the information processing system according to the first embodiment, the description thereof is omitted for the sake of brevity. CPU11 acquires biometric information from the
なお、本実施形態においてCPU11は、対象物の生体情報の一例として脈拍数を取得することとしたが、これに限定されるものではなく、計測可能な他の生体情報、例えば、脳波、筋の活動電位、体温及び音声(厳密には、音声波形の振幅や周波数等)などを取得してもよい。また、対象物の状態を示す状態情報としては、生体情報に限られず、計測可能な他の状態情報、例えば、ジャイロセンサによって計測される対象物の傾き(姿勢)やGPSによって計測される対象物の座標位置(緯度・経度)などを取得してもよい。
In this embodiment, the
また、本実施形態においてCPU11は、対象物の生体情報を取得し、取得した生体情報に基づいて生体グラフを表示したが、これに限られない。CPU11は、例えば湿度計や温度計等の環境センサが計測した温度や湿度等の環境情報を取得し、取得した環境情報に基づいて環境情報を時系列で表示した環境グラフ(経時変化に相当)を表示してもよい。具体的には、季節によって湿度又は温度が変化するような作業場においては、湿度又は温度変化を確認しながら季節にあった標準時間の設定が可能になる。
Moreover, in this embodiment, although CPU11 acquired the biometric information of the target object and displayed the biograph based on the acquired biometric information, it is not restricted to this. The
以上のように本実施形態においてユーザは、状態情報及び環境情報のうちの少なくとも一方の情報を確認することで、主観的に行っていたレーティング率の決定を、より客観的に行うことができ、より精度の高い標準時間を算出できる。 As described above, in the present embodiment, the user can more objectively determine the rating rate that has been performed subjectively by confirming at least one of the state information and the environment information. More accurate standard time can be calculated.
(実施の形態3)
実施の形態3は区分に基づいて標準合計時間を算出する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態1と同等であり、簡潔のため記載を省略する。CPU11は図3を参照し、区分が準稼動である動作要素「溶接」、「パネルの固定」及び「金具Aをセット」を抽出する。CPU11は抽出した動作要素「溶接」、「パネルの固定」及び「金具Aをセット」の標準時間「3.85」、「3.00」及び「9.60」を合計した標準合計時間「16.45」を算出し、算出した標準合計時間「16.45」を合計欄523及び集計表54に表示する。
(Embodiment 3)
The third embodiment relates to an embodiment for calculating the standard total time based on the category. In the following, the configuration and operation other than those specifically described are the same as those of the first embodiment, and the description is omitted for the sake of brevity. With reference to FIG. 3, the
図13は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S22の処理は上述の実施の形態1に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はステップS14の処理を終了した後、区分が準稼動である動作要素を抽出する(ステップS41)。CPU11は抽出した動作要素の標準合計時間を算出し(ステップS42)、処理をS15に移す。
FIG. 13 is a flowchart showing the processing procedure of the information processing system in this embodiment. Since the processes in steps S11 to S22 are the same as those in the information processing system according to the first embodiment, the description thereof is omitted for the sake of brevity. After completing the process in step S14, the
CPU11は区分に基づいて標準合計時間を算出することができるため、機械が主として行う動作要素を省いた標準合計時間を算出することができる。このことにより、分析する必要のない動作要素を省くことができるため、時間の短縮をすることができる。
Since the
(実施の形態4)
実施の形態4は一の動画を複数の観点から分析するための観点分析画面6を表示する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態1と同等であり、簡潔のため記載を省略する。
(Embodiment 4)
図14は作業員Aに関するデータを格納する要素情報DB12Aである。図15は作業員Bに関するデータを格納する要素情報DB12Bである。本実施形態における要素情報DB121は動作要素を分析する観点毎に要素情報DB12A、要素情報DB12B等の複数のデータベースを備える。本実施形態における観点は対象物毎に観察を行うものであるが、これに限られるものではない。観要素情報DB121は計測回数列を備える。計測回数列には無効時間を計測した計測回数が記憶される。CPU11は動作要素内で無効時間を計測する毎に計測回数をインクリメントする。CPU11はインクリメントした計測回数を動作要素に対応する計測回数列に記憶させる。
FIG. 14 shows an element information DB 12A that stores data related to the worker A. FIG. 15 shows an element information DB 12B that stores data related to the worker B. The
図16はView1を選択した観点分析画面6の一例を示す説明図である。図17はView2を選択した観点分析画面6の一例を示す説明図である。観点分析画面6は例えば、作業員A又は作業員B等の観点により分割した動作要素に関する情報が表示される。以下、観点分析画面6の詳細について説明する。観点分析画面6は左上部に分割された表示ウィンドウ61と、右上部に設けられた種別表68A及び68Bと、種別表68A及び68Bの下部に設けられた動作要素表62と、動作要素表62の下部に設けられた集計表64と、集計表64の下部に設けられた種別グラフ63A及び63Bと、種別グラフ63A及び63Bの下部に設けられた稼動グラフ65と、表示ウィンドウ61の下部に設けられた無効欄66と、稼動グラフ65の右部に設けられた個別コメント欄67とを備える。動作要素表62の右端にはレーティング欄621及び非定常欄623が設けられている。動作要素表62の上部にはタブ622が設けられている。表示ウィンドウ61の左端にはレーティング率欄611が設けられている。表示ウィンドウ61の左上部には決定レーティング率欄612が設けられている。種別グラフ63A及び63B等は場合により種別グラフ63で代表する。種別グラフ63A及び63B等は、種別1と種別2又は種別2と種別3等、種別毎に時間軸を合わせて表示させたものである。稼動グラフ65は非稼動部分65A、準稼動部分65B及び稼動部分65Cにより構成される。無効欄66は無効割合グラフ66A、66B、66C及び66Dと、計測回数欄661と、全体計測欄662とを備える。無効割合グラフ66A、66B、66C及び66Dは場合により無効割合グラフ660で代表する。種別表68A及び68B等は場合により種別表68で代表する。表示ウィンドウ61、種別グラフ63、集計表64、稼動グラフ65及び個別コメント欄67は表示ウィンドウ51、種別グラフ53、集計表54、稼動グラフ55及び個別コメント欄56と同様の構成及び動作であり、簡潔のため記載を省略する。
FIG. 16 is an explanatory diagram illustrating an example of the
種別表68は動作要素の種別を表示する表である。タブ622は動作要素表62を観点毎に切り替えるためのタブである。無効欄66は無効時間に関する情報を表示する欄である。無効割合グラフ660は要素時間に対する無効時間の割合を表示した棒グラフである。計測回数欄661は計測回数を表示する欄である。全体計測欄662は取得した動画内で無効時間を計測した回数を示す全体計測回数を表示する欄である。
The type table 68 is a table that displays types of operation elements. A
観点分析画面6の動作は以下の通りである。図16に示すようにユーザがタブ622の「View1」を入力部14で選択した場合、CPU11は要素情報DB12Aを参照し、作業員Aに関する動作要素の情報を表示ウィンドウ61、動作要素表62、種別グラフ63、集計表64及び稼動グラフ65を表示する。CPU11は種別表68Aに作業員Aの動作要素の種別を表示し、種別表68Bに作業種類の動作要素の種別を表示する。CPU11は無効欄66において要素時間に対する無効時間の割合を無効割合グラフ660の下側に表示し、要素時間に対する動作時間の割合を無効割合グラフ660の上側に表示する。例えばCPU11は動作要素表62の1行目の動作要素を選択した場合、行番号に対応する左端の無効割合グラフ66Aを選択する。CPU11は要素情報DB12Aを参照し、計測回数欄661に選択した動作要素に対応する計測回数を表示する。CPU11は要素情報DB12A及び12B等の複数のデータベースの計測回数列の計測回数を合計することで全体計測回数を算出する。CPU11は算出した全体計測回数を全体計測欄662に表示する。
The operation of the
図17に示すようにユーザがタブ622の「View2」を入力部14で選択した場合、CPU11は要素情報DB12Bを参照し、作業員Bに関する動作要素の情報を表示ウィンドウ61、動作要素表62、種別グラフ63、集計表64、稼動グラフ65、種別表68及び無効欄66を表示する。
As shown in FIG. 17, when the user selects “
ユーザはタブ622を切り替えることで作業員A及び作業員Bの情報を比較し、作業員A及び作業員B夫々の標準時間等の設定に利用することができる。例えば、作業員Aの動作要素「右側の溶接」の無効時間が「0.50」であり、かつ作業員Bの動作要素「左側の溶接」の無効時間が「1.00」である場合、ユーザは無効割合グラフ660で作業員Bに対して作業員Aの無効時間の割合が少ないことが解る。ユーザは計測回数欄661で作業員Aに対応する計測回数が「3」であり、かつ作業員Bに対応する計測回数が「4」であることが解る。ユーザは全体計測欄662で作業員Aに対応する全体計測回数が「12」であり、かつ作業員Bに対応する全体計測回数が「16」であることが解る。
The user can compare the information of the worker A and the worker B by switching the
以上よりユーザは作業員Aが熟練の作業員であることが解る。このことによりユーザは作業員Aに対応する動作要素のレーティング率を増加させた値を入力部14で入力する。CPU11は入力したレーティング率及び動作時間に基づいて適正な標準時間を算出する。ユーザがタブ622の「View1」を入力部14で選択し、CPU11は個別コメント欄67に入力を入力部14で受け付ける。ユーザは個別コメント欄67に「作業員Aは熟練である」を入力する。CPU11は個別コメント欄67に「作業員Aは熟練である」を表示する。ユーザがタブ622の「View2」を入力部14で選択し、CPU11は個別コメント欄67に入力を入力部14で受け付ける。ユーザは個別コメント欄67に「作業員Bは新人である」を入力する。CPU11は個別コメント欄67に「作業員Bは新人である」を表示する。
From the above, the user understands that worker A is a skilled worker. Accordingly, the user inputs a value obtained by increasing the rating rate of the motion element corresponding to the worker A through the
図18〜19は本実施形態における情報処理システムの処理手順を示したフローチャートである。CPU11はタブ622で観点の選択を入力部14で受け付ける(ステップS51)。CPU11は選択した観点に基づいて要素情報DB121を読み込む(ステップS52)。CPU11は動作要素、非定常情報、種別、開始時間、要素時間、動作時間、無効時間、比較値、差異、区分、レーティング率及び標準時間等を記憶部12から読込又は入力部14で入力を受け付け(ステップS53)、処理をS12に移す。ステップS12〜S18の処理は上述の実施の形態1に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はS18の処理を終了した後、一の動画データを表示ウィンドウ61に表示する(ステップS54)。CPU11は要素時間、動作時間及び無効時間に基づいて無効割合グラフ660を表示する(ステップS55)。CPU11は計測回数及び全体計測回数の夫々を計測回数欄661及び全体計測欄662の夫々に表示する(ステップS56)。CPU11は個別コメント欄67に個別コメントを表示し(ステップS57)、タブ622で観点の選択を入力部14で受け付ける(ステップS58)。CPU11は異なる観点を選択したか否かを判定する(ステップS59)。CPU11は異なる観点を選択しなかったと判定した場合(ステップS59:NO)、異なる観点を選択するまで待機する。CPU11は異なる観点を選択したと判定した場合(ステップS59:YES)、内容の異なる動作要素表62等を表示する画面に切り替え(ステップS60)、処理をステップS52に移し、処理を繰り返す。
18 to 19 are flowcharts showing the processing procedure of the information processing system in this embodiment. The
一つの側面では、観点毎に種別グラフ63の表示をタブ622により切り替えることで観点毎の種別又は動作時間等の比較が容易になる。
In one aspect, by switching the display of the
一つの側面では、タブ622を切り替えることで対象物毎に比較することができるため、作業員同士の作業の優劣を即座に理解することができる。このことによりレーティング率の算出に役立てることができる。
In one aspect, by switching the
一つの側面では、観点毎に稼動グラフ65の表示をタブ622により切り替えることで観点毎の無効合計時間又は準稼動合計時間等の比較が容易になる。このことによりレーティング率の算出に役立てることができる。
In one aspect, by switching the display of the
一つの側面では、無効割合グラフ660を表示することで各種別の無効時間の割合を理解することが容易になる。このことによりレーティング率の算出に役立てることができる。
In one aspect, displaying the
一つの側面では、動作要素毎に非定常情報を表示することでユーザが周期的な作業であるか否かを理解することができる。このため、周期的な作業であった場合、慣れているためレーティング率を低く設定する等、レーティング率の算出に役立てることができる。 In one aspect, the non-stationary information is displayed for each operation element, so that the user can understand whether or not the work is a periodic operation. For this reason, if it is a periodic work, it can be used to calculate the rating rate, such as setting the rating rate low because it is used to it.
(実施の形態5)
実施の形態5は非定常情報に関する情報を分析するためのサイクル画面7を表示する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態1と同等であり、簡潔のため記載を省略する。記憶部12はさらに非定常情報DB127を備える。
(Embodiment 5)
The fifth embodiment relates to an embodiment in which a
図20は非定常情報DB127に格納されているデータの一例を示す図である。非定常情報DB127は非定常情報に関する情報を記憶するデータベースである。非定常情報DB127は動作要素列、非定常列、種別1列、1サイクル列、2サイクル列及び3サイクル列等を備える。以下、場合により1サイクル列、2サイクル列及び3サイクル列等はサイクル列で代表する。サイクル列は動作要素内の作業が繰り返される回数を示すサイクル数を示し、開始時間列及び要素時間列を備える。非定常情報DB127の動作要素列、非定常列、種別1列、開始時間列及び要素時間列は要素情報DB121と同様の構成であり、簡潔のため記載を省略する。CPU11は要素情報DB121を参照し、サイクル表72の動作要素列、非定常列、作業員A列に動作要素、非定常情報及び種別を非定常情報DB127に記憶させる。CPU11はサイクル画面7で各サイクル列の開始時間及び要素時間の入力を入力部14で受け付け、受け付けた開始時間及び要素時間を各サイクル列の開始時間列及び要素時間列に記憶させる。
FIG. 20 is a diagram illustrating an example of data stored in the non-stationary information DB 127. The unsteady information DB 127 is a database that stores information related to unsteady information. The unsteady information DB 127 includes an operation element row, an unsteady row, a
図21はサイクル画面7の一例を示す説明図である。サイクル画面7は左上部に分割された表示ウィンドウ71と、右上部に設けられた種別表78、種別表78の下部に設けられたサイクル表72と、表示ウィンドウ71の下部に設けられたサイクルコメント欄77とを備える。表示ウィンドウ71の左端にはレーティング率欄711が設けられている。表示ウィンドウ71の左上部には決定レーティング率欄712が設けられている。サイクル表72は下部に合計欄721を備える。サイクル表72は非定常情報に関する情報を表示するための表である。表示ウィンドウ71、サイクルコメント欄77及び種別表78は表示ウィンドウ61、個別コメント欄67及び種別表68と同様の構成及び動作であり、簡潔のため記載を省略する。
FIG. 21 is an explanatory diagram showing an example of the
サイクル画面7の動作は以下の通りである。CPU11はサイクル画面7の表示の選択を入力部14で受け付ける。ユーザはサイクル画面7の表示を選択し、CPU11はサイクル画面7を表示する。CPU11は要素情報DB121を参照し、サイクル表72の動作要素列及び作業員A列に動作要素、非定常情報及び種別を表示する。CPU11は動作要素の非定常情報が周期性のある動作を示すか否かを判定する。
The operation of the
CPU11は動作要素「溶接」、「パネルの固定」及び「ボルトの締め付け」の非定常情報列が×であると判定する。例えば、作業員Aが3回動作要素「溶接」、「パネルの固定」及び「ボルトの締め付け」の作業を行っている場合、CPU11は動作要素「溶接」、「パネルの固定」及び「ボルトの締め付け」の1サイクル列、2サイクル列及び3サイクル列等に入力を入力部14で受け付ける。ユーザは1サイクル列、2サイクル列及び3サイクル列の開始時間及び要素時間を入力部14で入力する。CPU11は動作要素の非定常情報が周期性のない動作を示すと判定した場合、要素情報DB121を参照し、動作要素「金具Aをセット」に対応する1サイクル列に要素情報DB121の開始時間及び要素時間を表示する。CPU11は1サイクル列、2サイクル列及び3サイクル列の要素時間の合計「27.00」、「15.00」及び「18.00」を算出し、算出した要素時間の合計「27.00」、「15.00」及び「18.00」を各サイクル列の下部の合計欄721に表示する。
The
図22は本実施形態における情報処理システムの処理手順を示したフローチャートである。CPU11はサイクル画面7の表示の選択を入力部14で受け付ける。ステップS11〜S22の処理は上述の実施の形態1に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はステップS22の処理を終了した後、サイクル画面7の表示の選択を入力部14で受け付ける(ステップS61)。CPU11は要素情報DB121に基づいてサイクル表72を表示する(ステップS62)。具体的にはCPU11は要素情報DB121を参照し、サイクル表72の動作要素列及び種別1列に動作要素、非定常情報及び種別を表示する。
FIG. 22 is a flowchart showing the processing procedure of the information processing system in this embodiment. The
CPU11は動作要素の非定常情報が周期性のある動作であるか否かを判定する(ステップS63)。CPU11は動作要素の非定常情報が周期性のある動作を示すと判定した場合(ステップS63:YES)、サイクル表72において動作要素に対応する各サイクル列に開始時間及び要素時間の入力を入力部14で受け付ける(ステップS64)。CPU11は受け付けた開始時間及び要素時間を各サイクル列の開始時間列及び要素時間列に表示し(ステップS65)、処理をS67に移す。CPU11は動作要素の非定常情報が周期性のない動作を示すと判定した場合(ステップS63:NO)、要素情報DB121を参照し、動作要素に対応する1サイクル列に要素情報DB121の開始時間及び要素時間を表示する(ステップS66)。CPU11は全ての動作要素について判定を行ったか否かを判定する(ステップS67)。CPU11は全ての動作要素について判定を行っていないと判定した場合(ステップS67:NO)、処理をステップS63に移す。CPU11は全ての動作要素について判定を行ったと判定した場合(ステップS67:YES)、要素時間の合計を算出し、合計欄721に表示し(ステップS68)、処理をS11に移す。
The
一つの側面によれば、周期性のある動作について詳細に分析することができる。 According to one aspect, a periodic operation can be analyzed in detail.
(実施の形態6)
実施の形態6はワークサンプリング法を用いて動作要素に関する情報を作成する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態4及び5と同等であり、簡潔のため記載を省略する。ワークサンプリングとは、作業者が行っている各作業を瞬時に計測して、統計的に集計・分類を行うものである。瞬間的に観測を行うので、作業者は撮影行為を意識せず作業を行える為、比較的実測に近い状態で観測する方法として一般的に用いられている。具体的なワークサンプリング法とは以下の通りである。動画から一定間隔又はランダムな間隔で対象物の画像を所定の回数抽出し、抽出した対象物の画像を分析することで対象物が行う作業種類に係る回数の構成比率を算出する。ユーザは算出した構成比率に基づいて分析画面5、観点分析画面6又はサイクル画面7等により標準時間、動作時間又は無効時間等の動作要素に関する情報を作成する手法である。以下、本実施形態に係る情報処理システムの詳細を説明する。
(Embodiment 6)
本実施形態に係る記憶部12はさらにサンプリングテーブル125、対応テーブル126及びサンプリング集計テーブル127を備える。図23はサンプリングテーブル125及び対応テーブル126に格納されているデータの一例を示す図である。サンプリングテーブル125はワークサンプリング法に用いられるサンプリングデータを記憶するデータベースである。本実施形態におけるサンプリングテーブル125はサンプル数(対象物)毎にサンプリングテーブル12A、サンプリングテーブル12B等の複数のデータベースを備える。サンプル数とは1つの画像に映る作業員の数である。図23Aは作業員Aのサンプリングテーブル12Aに格納されているデータの一例を示す図である。図23Bは作業員Bのサンプリングテーブル12Bに格納されているデータの一例を示す図である。
The
サンプリングテーブル125は画像ID列、画像列、作業種類列及び稼動情報列等を備える。画像ID列には画像を識別するための画像IDが記憶される。画像列には抽出した画像が画像IDに対応づけて記憶される。作業種類列には表示された画像に対応する対象物が行う作業の種類を示す作業種類が記憶される。作業種類とは例えば「左側の溶接」又は「ロボットによる組み立て」等である。例えば、作業種類列には作業員Aの作業の種類が「左側の溶接」であること又は作業員Aの作業の種類が「ロボットによる組み立て」であること等が記憶される。稼動情報列には対象物が稼動しているか否かを示す稼動情報が画像IDに対応づけて記憶される。稼動情報列には例えば、稼動、非稼動又は準稼動が記憶される。稼動は対象物が稼動していることを示す。非稼動は対象物が非稼動であることを示す。準稼動は対象物が準稼動動作をしていることを示す。 The sampling table 125 includes an image ID column, an image column, a work type column, an operation information column, and the like. An image ID for identifying an image is stored in the image ID column. In the image sequence, the extracted image is stored in association with the image ID. The work type column stores a work type indicating the type of work performed by the object corresponding to the displayed image. The work type is, for example, “left welding” or “assembly by robot”. For example, the work type column stores information indicating that the work type of the worker A is “left side welding” or the work type of the worker A is “assembly by robot”. In the operation information column, operation information indicating whether or not the object is operating is stored in association with the image ID. For example, operation, non-operation, or semi-operation is stored in the operation information column. Operation indicates that the object is operating. Non-operation indicates that the object is non-operation. Semi-operation indicates that the object is performing semi-operation.
CPU11は後述するワークサンプリング画面8で作業種類、稼動情報及び画像IDの入力を入力部14で受け付け、受け付けた情報を対応テーブル126に記憶させる。
The
図24は複数の作業種類毎にまとめた作業工程と画像ID等とを対応づける対応テーブル126に格納されているデータの一例を示す図である。対応テーブル126は作業工程列及び画像ID列を備える。作業工程列には作業工程が記憶される。画像ID列には画像IDが作業工程に対応づけて記憶される。CPU11は作業工程及び画像IDの選択を受け付け、受け付けた作業工程及び画像IDを対応づけて対応テーブル126に記憶させる。
FIG. 24 is a diagram showing an example of data stored in the correspondence table 126 for associating work processes, image IDs, and the like collected for a plurality of work types. The correspondence table 126 includes a work process column and an image ID column. A work process is stored in the work process column. An image ID is stored in the image ID column in association with a work process. The
図25はサンプリング集計テーブル127に格納されているデータの一例を示す図である。サンプリング集計テーブル127はサンプリングデータを集計したサンプリング集計データを記憶するデータベースである。サンプリング集計テーブル127は生成動画列、作業工程列、サンプリング回数列、稼動数列、準稼動数列及び非稼動数列を備える。生成動画列には画像から生成した生成動画の名称が記憶される。生成動画は取得した動画から画像を抽出し、抽出した画像を時系列順に並べることで生成する。作業工程列には作業工程が記憶される。サンプリング回数列にはサンプリング回数が記憶される。サンプリング回数とは画像を取得した取得回数である。稼動数列には稼動情報が「稼動」である画像の数を計数した稼動数が記憶される。準稼動数列には稼動情報が「準稼動」である画像の数を計数した準稼動数が記憶される。非稼動数列には稼動情報が「非稼動」である画像の数を計数した非稼動数が記憶される。サンプリング回数列、稼動数列、準稼動数列及び非稼動数列の最後の行には夫々、サンプリング回数、稼動数、準稼動数及び非稼動数の合計が記憶される。CPU11は動画の名称を自動的に生成する。CPU11は生成した動画の名称をサンプリング集計テーブル127に記憶させる。CPU11は後述する算出方法でサンプリング回数、稼動数、準稼動数及び非稼動数を算出し、算出したサンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング集計テーブル127に記憶させる。
FIG. 25 is a diagram illustrating an example of data stored in the sampling total table 127. The sampling total table 127 is a database that stores sampling total data obtained by totaling sampling data. The sampling total table 127 includes a generated moving image column, a work process column, a sampling number column, an operation number column, a semi-operation number column, and a non-operation number column. The name of the generated moving image generated from the image is stored in the generated moving image sequence. The generated moving image is generated by extracting an image from the acquired moving image and arranging the extracted images in time series. A work process is stored in the work process column. The number of samplings is stored in the sampling number column. The number of times of sampling is the number of times that an image has been acquired. In the operation number column, the operation number obtained by counting the number of images whose operation information is “operation” is stored. The semi-operation number column stores the number of semi-operations obtained by counting the number of images whose operation information is “semi-operation”. The non-operating number column stores the non-operating number obtained by counting the number of images whose operation information is “non-operating”. The last number of the sampling number column, the operation number column, the semi-operation number column, and the non-operation number column stores the total of the sampling number, the operation number, the semi-operation number, and the non-operation number, respectively. The
図26はワークサンプリング法を実行するためのワークサンプリング画面8の一例を示す説明図である。ワークサンプリング画面8は左上部に設けられた観測モード選択欄82と、観測モード選択欄82の下部に設けられた計測選択欄83と、計測選択欄83の下部に設けられた開始ボタン84と、観測モード選択欄82、計測選択欄83及び開始ボタン84の右部に設けられた画像欄81と、画像欄81の下部に設けられた作業種類表85と、作業種類表85の下部に設けられたサンプリング表86と、サンプリング表86の左下部に設けられた算出欄87と、算出欄87の右部に設けられた稼動グラフ88と、右部に設けられた画像欄81A及び81B等と、右上部に設けられたボタン89A、89B、89C及び89D等と、登録ボタン80と、ボタン810とを備える。
FIG. 26 is an explanatory diagram showing an example of the
以下、画像欄81A、81B等は場合により画像欄811で代表する。稼動グラフ88は非稼動部分88A、準稼動部分88B及び稼動部分88Cにより構成される。以下、ボタン89A、89B、89C及び89D等は場合によりボタン89で代表する。画像欄81は選択した画像を表示する欄である。画像欄811は取得した画像を表示する欄である。観測モード選択欄82は観測モードを選択するための欄である。計測選択欄83は計測方法を選択するための欄である。開始ボタン84はワークサンプリングを実行するためのボタンである。作業種類表85は作業種類を表示するための表である。サンプリング表86はワークサンプリング法に用いられるデータを表示する表である。算出欄87は十分な確からしさを得るために必要サンプリング回数を算出する式に入力を行うための欄である。稼動グラフ88は稼動数、準稼動数及び非稼動数の割合を表示した円グラフである。ボタン89A、89B、89C及び89Dの夫々は分析画面5、観点分析画面6、サイクル画面7及びワークサンプリング画面8の夫々を表示するためのボタンである。登録ボタン80は作業種類を登録するためのボタンである。なお、ボタン810は後述する実施の形態で用いるため、本実施形態では説明を省略する。
Hereinafter, the
ワークサンプリング画面8の動作は以下の通りである。CPU11は後述する登録ボタン80を入力部14で登録ボタン80の選択を受け付け、ユーザが登録ボタン80を入力部14で選択した場合、CPU11は作業種類表85に作業種類の入力を入力部14で受け付ける。CPU11は受け付けた作業種類を作業種類表85に表示し、サンプリングテーブル125に記憶させる。観測モード選択欄82は時間帯別観測モード及び多人数観測モードを選択することができる。ユーザが入力部14で時間帯別観測モードを選択した場合、一の対象物に注目してワークサンプリングを実行する。ユーザが入力部14で多人数観測モードを選択した場合、複数の対象物に注目してワークサンプリングを実行する。
The operation of the
計測選択欄83はランダム時刻表計測及び定時計測を選択することができる。ユーザが入力部14でランダム時刻表計測を選択した場合、CPU11は取得した動画からランダムな時間で画像を抽出する。ユーザが入力部14で定時計測を選択した場合、CPU11は取得した動画から所定の時間間隔で画像を抽出する。所定の時間間隔とは例えば0.1秒である。
In the
ユーザが例えば、入力部14で時間帯別観測モードを選択し、ランダム時刻表計測を選択し、かつ開始ボタン84を選択した場合、取得した動画からランダムで作業員Aの画像を抽出し、抽出した作業員Aの画像を画像欄811に表示する。またユーザが例えば、入力部14で多人数観測モードを選択し、定時計測を選択し、かつ開始ボタン84を選択した場合、取得した動画から所定の時間間隔で作業員A及びBの画像を抽出し、抽出した作業員A及びBの画像を画像欄811に表示する。
For example, when the user selects an observation mode by time zone with the
ユーザが例えば画像欄81Aの画像Aを選択した場合、CPU11は画像Aを画像欄81に表示する。CPU11は作業種類表85の作業種類の選択を入力部14で受け付ける。ユーザは入力部14で作業種類表85から「左側の溶接」を選択する。CPU11は画像Aの画像ID「001」に作業種類「左側の溶接」を対応づけ、サンプリングテーブル125に記憶させる。CPU11は稼動情報の入力を入力部14で受け付ける。ユーザは稼動情報「準稼動」を入力する。CPU11は受け付けた稼動情報「準稼動」を画像Aの画像ID「001」に対応づけてサンプリングテーブル125に記憶させる。
For example, when the user selects the image A in the
ユーザが画像ID、作業種類及び稼動情報の対応づけを終えた後、CPU11は対応テーブル126及びサンプリングテーブル125を参照し、作業工程に対応するサンプリング回数及び稼動数、準稼動数、非稼動数を算出する。具体的にはCPU11は溶接に対応する画像IDが画像ID「001〜004」であるため、図23A及び図23Bに示すように、サンプリング回数「7」、稼動数「2」、準稼動数「3」、非稼動数「2」を算出する。以下同様であり、簡潔のため記載を省略する。CPU11は算出したサンプリング回数、稼動数、準稼動数及び非稼動数の合計を算出し、算出した稼動数、準稼動数及び非稼動数の合計をサンプリング回数で割り、100を積算することで構成比を算出する。構成比とは稼動数、準稼動数及び非稼動数の比率である。CPU11は動画の名称、作業工程、サンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング表86に表示する。CPU11は動画の名称、作業工程、サンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング集計テーブル127に記憶させる。
After the user finishes associating the image ID, work type, and operation information, the
CPU11は算出欄87の各欄に数値を入力部14で受け付ける。ユーザは各欄に数値を入力する。CPU11は入力した数値を式に代入し、必要サンプリング回数を算出する。算出欄87に表示された式は例えば下記の通りである。
N=t×t×(1−P)÷(S×S×P)
N:必要サンプリング回数、t:信頼度、S:精度、P:構成比
CPU11はサンプリング回数が必要サンプリング回数以下か否かを判定する。CPU11はサンプリング回数が必要サンプリング回数以下であると判定した場合、算出欄87に所定のメッセージを表示する。所定のメッセージとは例えば「サンプリング回数が不足しています」である。
The
N = t * t * (1-P) / (S * S * P)
N: Required sampling count, t: Reliability, S: Accuracy, P: Composition ratio The
CPU11はサンプリングテーブル125を参照し、稼動情報及び作業時間に基づいて稼動グラフ88を生成する。CPU11が稼動グラフ88を生成する処理は以下の通りである。CPU11はサンプリング回数に対する非稼動数の割合で非稼動部分88Aを生成する。CPU11はサンプリング回数に対する準稼動数の割合で準稼動部分88Bを生成する。CPU11はサンプリング回数に対する稼動数の割合で稼動部分88Cを生成する。CPU11は生成した非稼動部分88A、準稼動部分88B及び稼動部分88Cに基づいて稼動グラフ88を生成し、表示する。すなわちCPU11は各画像内の対象物が稼動している割合を表示する。ユーザは例えば、稼動グラフ88で非稼動数、稼動数又は準稼動数の割合が多いことが即座に確認できる。このため、ユーザは稼動グラフ88を確認することでおおよそのレーティング率を決定することができる。
The
ユーザがボタン89A、89B及び89Cの夫々を入力部14で選択した場合、CPU11は分析画面5、観点分析画面6及びサイクル画面7の夫々を表示する。ボタン89A、89B及び89Cは分析画面5、観点分析画面6及びサイクル画面7にも設けられており、同様の動作を行う。さらに分析画面5、観点分析画面6及びサイクル画面7でユーザがボタン89Dを選択した場合、ワークサンプリング画面8を表示する。
When the user selects each of the
図27〜29は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S22、S51〜S58及びS61〜68の処理は上述の実施の形態4及び5に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11は入力部14で観測モードの入力を入力部14で受け付ける(ステップS71)。CPU11は入力部14で計測方法の入力を入力部14で受け付ける(ステップS72)。CPU11は入力部14で開始ボタン84の選択がされたか否かを判定する(ステップS73)。CPU11は入力部14で開始ボタン84の選択がされなかったと判定した場合(ステップS73:NO)、処理をS71に移す。CPU11は入力部14で開始ボタン84の選択がされたと判定した場合(ステップS73:YES)、観測モード及び計測方法に基づいてワークサンプリング法により画像の抽出を実行する(ステップS74)。
27 to 29 are flowcharts showing the processing procedure of the information processing system in this embodiment. Since the processes of steps S11 to S22, S51 to S58, and S61 to 68 are the same as those of the information processing system according to the above-described fourth and fifth embodiments, the description thereof is omitted for the sake of brevity. CPU11 receives the input of observation mode in the
CPU11は入力部14で画像の選択を入力部14で受け付ける(ステップS75)。CPU11は作業種類及び稼動情報の入力を入力部14で受け付ける(ステップS76)。CPU11は受け付けた画像の画像IDに作業種類及び稼動情報を対応づける(ステップS77)。CPU11は対応テーブル126及びサンプリングテーブル125を参照し、作業工程に対応するサンプリング回数、稼動数、準稼動数及び非稼動数を算出する(ステップS78)。CPU11は算出したサンプリング回数、稼動数、準稼動数及び非稼動数の合計を算出し、算出した稼動数、準稼動数及び非稼動数の合計をサンプリング回数で割り、100を積算することで構成比を算出する(ステップS79)。CPU11は動画の名称、作業工程、サンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング表86に表示する(ステップS80)。CPU11は算出欄87の各欄に入力を入力部14で受け付ける(ステップS81)。CPU11は算出欄87の各欄に入力された値に基づいて必要サンプリング回数を算出する(ステップS82)。CPU11はサンプリング回数が必要サンプリング回数以下であるか否かを判定する(ステップS83)。
The
CPU11はサンプリング回数が必要サンプリング回数以下でないと判定した場合(ステップS83:NO)、すなわちサンプリング回数が必要サンプリング回数を超えたと判定した場合、処理をS85に移す。CPU11はサンプリング回数が必要サンプリング回数以下であると判定した場合(ステップS83:YES)、算出欄87に所定のメッセージを表示する(ステップS84)。CPU11は稼動数、準稼動数、非稼動数及びサンプリング回数の合計に基づいて稼動グラフ55を表示する(ステップS85)。
If the
CPU11は分析画面5の表示を選択したか否かを判定する(ステップS86)。すなわち、CPU11はボタン89Aを選択したか否かを判定する。CPU11は分析画面5の表示を選択したと判定した場合(ステップS86:YES)、処理をステップS11に移し、分析画面5の表示処理を行う。CPU11は分析画面5の表示を選択しなかったと判定した場合(ステップS86:NO)、観点分析画面6の表示を選択したか否かを判定する(ステップS87)。すなわち、CPU11はボタン89Bを選択したか否かを判定する。CPU11は観点分析画面6の表示を選択したと判定した場合(ステップS87:YES)、処理をS51に移し、観点分析画面6の表示処理を行う。
The
CPU11は観点分析画面6の表示を選択しなかったと判定した場合(ステップS87:NO)、サイクル画面7の表示を選択したか否かを判定する(ステップS88)。すなわち、CPU11はボタン89Cを選択したか否かを判定する。CPU11はサイクル画面7の表示を選択したと判定した場合(ステップS88:YES)、処理をS61に移す。CPU11はサイクル画面7の表示を選択しなかったと判定した場合(ステップS88:NO)、処理をS71に移す。
When determining that the display of the
一つの側面によれば、ワークサンプリング法を用いた動画は比較的実測に近い状態で観測された動画であり、これらの動画を分析又は観点分析を行う事でより精度の高い解析・分析結果を入手することができる。 According to one aspect, videos using the work sampling method are videos that are observed relatively close to actual measurement, and by analyzing or analyzing these videos, more accurate analysis and analysis results can be obtained. It can be obtained.
また、一つの側面によれば、ワークサンプリング法を用いた後で即座に稼動状況の構成比を表示でき、当該構成比から動画の分析画面に即座に移動することができるため、分析時間をより短縮をすることができる。 In addition, according to one aspect, after using the work sampling method, the composition ratio of the operation status can be displayed immediately, and the composition ratio can be immediately moved to the video analysis screen. It can be shortened.
(実施の形態7)
実施の形態7はテンプレートマッチング又はパターンマッチング等の画像処理を用いて作業種類、稼動情報及び画像を対応づける実施の形態に関する。なお、本実施形態における画像処理はテンプレートマッチングを用いる。以下、特に説明する構成、作用以外の構成及び作用は実施の形態5と同等であり、簡潔のため記載を省略する。
(Embodiment 7)
The seventh embodiment relates to an embodiment for associating work types, operation information, and images using image processing such as template matching or pattern matching. Note that the image processing in this embodiment uses template matching. In the following, the configuration and operation other than those specifically described are the same as those of the fifth embodiment, and the description is omitted for the sake of brevity.
記憶部12はさらにテンプレートDB128を備える。図30はテンプレートDB128に格納されているデータの一例を示す図である。テンプレートDB128は画像処理に用いるテンプレート画像(作業画像)と作業種類とを対応づけて記憶させるデータベースである。テンプレートDB128はテンプレート画像列、作業種類列及び稼動情報列等を備える。テンプレート画像列にはテンプレート画像が記憶される。テンプレート画像とは例えば対象物が作業種類の作業を行っている画像である。作業種類列には作業種類が記憶される。稼動情報列には稼動情報が記憶される。
The
テンプレートDB128にテンプレート画像及び作業種類を記憶させる方法は以下の通りである。ユーザが本実施形態における登録ボタン80を入力部14で入力した場合、CPU11は図30に示すテンプレート画像を登録するための画像登録画面9を表示する。図31は画像登録画面9の一例を示す説明図である。画像登録画面9は左上部及び左下部に設けられた稼動情報登録欄91A及び91Bと、右部に設けられた画像登録欄92とを備える。以下、場合により稼動情報登録欄91A及び91Bを稼動情報登録欄91で代表する。稼動情報登録欄91は上部に設けられた作業種類欄911と、作業種類欄911の右部に設けられた稼動情報欄912と、左部及び右部に設けられた画像欄913及びテンプレート画像欄914とを備える。画像登録欄92は上部に設けられたテンプレート画像欄921と、画像欄921の左下部に設けられた範囲指定欄922と、範囲指定欄922の右部に設けられた閾値欄923と、範囲指定欄922及び閾値欄923の下部に設けられたコメント欄924とを備える。
A method for storing the template image and the work type in the template DB 128 is as follows. When the user inputs the
稼動情報登録欄91は稼動情報を登録するための欄である。画像登録欄92はテンプレート画像を登録するための欄である。作業種類欄911は作業種類を入力するための欄である。稼動情報欄912は稼動情報を選択するためのチェックボックスである。画像欄913は抽出した画像を表示するための欄である。テンプレート画像欄914はテンプレート画像の範囲を表示するための欄である。テンプレート画像欄921はテンプレート画像の範囲を表示するための欄である。範囲指定欄922はテンプレート画像の範囲を指定するための欄である。閾値欄923はテンプレート画像との一致度の閾値を設定するための欄である。コメント欄924はテンプレート画像に対するコメントを表示するための欄である。
The operation
画像登録画面9の動作は以下の通りである。CPU11は稼動情報登録欄91Aにおいて、選択した画像Aを画像欄913及びテンプレート画像欄921に表示する。CPU11は範囲指定欄922で範囲の指定方法の選択を入力部14で受け付ける。範囲の指定方法は例えば、矩形、楕円又は投げ縄等である。例えば、ユーザが入力部14で投げ縄を選択した場合、CPU11はテンプレート画像欄921にN次の曲線を有する輪を表示することができる。CPU11は閾値欄923で閾値の入力を入力部14で受け付ける。ユーザは任意の閾値を入力部14で入力した場合、テンプレート画像欄921でテンプレート画像にする範囲の入力を入力部14で受け付ける。ユーザは入力部14により作業員A及び機械をN次の曲線を有する輪で囲む。CPU11は輪で囲まれた画像を抽出し、抽出した画像を作業種類「左側の溶接」に対応するテンプレート画像AとしてテンプレートDB128に記憶させる。
The operation of the
CPU11はテンプレート画像欄921の画像と同一の画像をテンプレート画像欄914に表示する。CPU11は作業種類欄911で作業種類の入力を入力部14で受け付ける。ユーザが作業種類「左側の溶接」及び「右側の溶接」を作業種類欄911に入力した場合、テンプレート画像Aと作業種類「左側の溶接」及び「右側の溶接」とを対応づけてテンプレートDB128に記憶させる。CPU11は稼動情報欄912に稼動情報の選択を入力部14で受け付ける。ユーザが稼動情報欄912で稼動情報「準稼動」を選択した場合、テンプレート画像Aと稼動情報「準稼動」とを対応づけてテンプレートDB128に記憶させる。CPU11はコメント欄924にコメントを入力部14で受け付ける。ユーザは「人間をテンプレート画像として設定した」を入力部14で入力する。以下、画像登録画面9は稼動情報登録欄91Bについても同様の動作を行うため、記載を省略する。
The
ユーザがボタン810を入力部14で入力した場合、観測モード及び計測方法に基づいてワークサンプリング法により画像の抽出を実行した後、テンプレートDB128からテンプレート画像を読み出し、抽出した画像Aにテンプレートマッチングを実行する。CPU11は抽出した画像Aとテンプレート画像Aとの一致度を算出する。具体的にはCPU11は抽出した画像Aとテンプレート画像Aとの相関関数を取ることで画像Aとテンプレート画像Aの相関を算出する。すなわち一致度とは抽出した画像とテンプレート画像との相関値である。CPU11は一致度が閾値欄923で入力した閾値を超えた場合、テンプレートDB128を参照し、テンプレート画像Aに対応する作業種類「左側の溶接」及び「右側の溶接」並びに稼動情報「準稼動」を特定する。CPU11は特定した作業種類「左側の溶接」及び「右側の溶接」並びに稼動情報「準稼動」を画像Aに対応づけ、サンプリングテーブル125に記憶させる。以下、CPU11は抽出した画像について同様の処理を行う。
When the user inputs the
図32〜33は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S89の処理は上述の実施の形態6に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はステップS74の処理を終了した後、画像登録画面9の表示の選択をしたか否かを判定する(ステップS91)。すなわちCPU11は登録ボタン80を入力部14で入力したか否かを判定する。CPU11は画像登録画面9の表示の選択をしなかったと判定した場合(ステップS91:NO)、処理をステップS95に移す。CPU11は画像登録画面9の表示の選択をしたと判定した場合(ステップS91:YES)、画像登録画面9を表示する(ステップS92)。CPU11は画像登録画面9でテンプレート画像、作業種類及び稼動情報を入力部14で受け付ける(ステップS93)。CPU11は受け付けたテンプレート画像、作業種類及び稼動情報をテンプレートDB128に記憶させる(ステップS94)。
32 to 33 are flowcharts showing the processing procedure of the information processing system in this embodiment. Since the processing of steps S11 to S89 is the same as that of the information processing system according to the above-described sixth embodiment, description thereof is omitted for the sake of brevity. After completing the process in step S74, the
CPU11はテンプレートマッチングの選択をしたか否かを判定する(ステップS95)。すなわちCPU11はボタン810を入力部14で入力したか否かを判定する。CPU11はテンプレートマッチングの選択をしなかったと判定した場合(ステップS95:NO)、処理をS75に移す。CPU11はテンプレートマッチングの選択をしたと判定した場合(ステップS95:YES)、テンプレートDB128からテンプレート画像を読み出し、抽出した画像に画像処理を実行する(ステップS96)。CPU11は表示した画像とテンプレート画像との一致度を算出する(ステップS97)。CPU11は算出した一致度が閾値を超えるか否かを判定する(ステップS98)。CPU11は算出した一致度が閾値を超えないと判定した場合(ステップS98:NO)、処理をステップS101に移す。CPU11は算出した一致度が閾値を超えると判定した場合(ステップS98:YES)、テンプレートDB128を参照し、テンプレート画像に対応する作業種類及び稼動情報を特定する(ステップS99)。CPU11は特定した作業種類及び稼動情報と画像とを対応づける(ステップS100)。
The
CPU11は全ての画像について画像処理を実行したか否かを判定する(ステップS101)。CPU11は全ての画像について画像処理を実行しなかったと判定した場合(ステップS101:NO)、処理をステップS96に移す。CPU11は全ての画像について画像処理を実行したと判定した場合(ステップS101:YES)、処理をS75に移す。
The
一つの側面によれば、画像処理により、画像に作業種類を対応づけることができる。このことによりワークサンプリング法の処理時間を短縮することができる。 According to one aspect, work types can be associated with images by image processing. As a result, the processing time of the work sampling method can be shortened.
(実施の形態8)
実施の形態8は画像の画像IDと動画の再生時間及び動画IDとを対応づけ、かつ動画の再生時間と実施の形態1における動作要素の時間とを対応づけることで画像から動作要素を選択する実施の形態に関する。なお、本実施形態における画像処理はテンプレートマッチングを用いる。以下、特に説明する構成、作用以外の構成及び作用は実施の形態7と同等であり、簡潔のため記載を省略する。
(Embodiment 8)
In the eighth embodiment, an image element ID is associated with a moving image reproduction time and a moving image ID, and a moving element is selected from the image by associating the moving image reproduction time with the operation element time in the first embodiment. It relates to an embodiment. Note that the image processing in this embodiment uses template matching. In the following, the configuration and operation other than those specifically described are the same as those of the seventh embodiment, and the description is omitted for the sake of brevity.
図34はサンプリングテーブル125に格納されているデータの一例を示す図である。サンプリングテーブル125はさらに再生時間列、動画ID列及び動作要素列を備える。再生時間列には動画の再生時間が記憶される。動画ID列には動画を識別するための動画IDが記憶される。動作要素列には動画IDに対応づけられた動作要素が記憶される。CPU11は画像を抽出した場合、画像を抽出した際の動画の再生時間及び動画IDを特定し、特定した再生時間及び動画IDをサンプリングテーブル125に記憶する。CPU11は動作要素の入力を受け付け、受け付けた動作要素をサンプリングテーブル125に記憶する。
FIG. 34 is a diagram illustrating an example of data stored in the sampling table 125. The sampling table 125 further includes a playback time column, a moving image ID column, and an operation element column. The playback time of the moving image is stored in the playback time column. A moving image ID for identifying a moving image is stored in the moving image ID column. An operation element associated with the moving image ID is stored in the operation element column. When the
図35は要素情報DB121に格納されているデータの一例を示す図である。図35に示す要素情報DB121は対象物毎に複数設けられている。各要素情報DB121は動画IDに対応づけられている。例えば、動画ID「11」には図35に示す要素情報DB121が対応づけられている。また動画ID「12」は図示しない他の要素情報DB121が対応づけられている。CPU11は画像を抽出した動画の再生時間及び動画IDを特定し、特定した再生時間及び動画IDを画像に対応づけてサンプリングテーブル125に記憶させる。
FIG. 35 is a diagram illustrating an example of data stored in the
CPU11は以下の方法により画像に対応づけられた再生時間を用いて画像の並び替えを行うことができる。CPU11は画像を抽出する際に画像を抽出した動画の再生時間及び動画IDを特定する。CPU11は動画ID「11」の動画の内、再生時間「2.0」に対応づけられた画像ID「001」の画像Aを画像欄81Aに配置し、再生時間「4.0」に対応づけられた画像ID「003」の画像Cを画像欄81Bに配置する。CPU11は動画ID「12」の動画の内、再生時間「3.0」に対応づけられた画像ID「002」の画像Bを画像欄81Aの左部に配置し、再生時間「5.0」に対応づけられた画像ID「004」の画像Dを画像欄81Bの左部に配置する。すなわち、CPU11は動画ID毎に再生時間順に画像欄811を並び替える。
The
画像から動作要素を選択する方法は以下の通りである。ユーザは画像欄811の画像Aを入力部14で選択する。CPU11は入力部14を介して画像Aの選択を受け付ける。CPU11は画像欄81に受け付けた画像Aを表示する。CPU11はサンプリングテーブル125を参照し、画像Aの画像ID「001」に対応づけられた動作要素「溶接」を抽出し、動作要素「溶接」に対応づけられた動画ID「11」を抽出する。ユーザがボタン89A、89B及び89Cの夫々を入力部14で選択した場合、CPU11は動作要素「溶接」を選択した状態で分析画面5、観点分析画面6及びサイクル画面7の夫々を表示する。例えば、ユーザがボタン89Aを選択した場合、CPU11は抽出した動画ID「11」に対応する要素情報DB121を参照し、図7に示す分析画面5を表示し、表示ウィンドウ51Aに動作要素「溶接」に対応する動画101を表示し、抽出した動画ID「11」の要素情報DB121に対応する動作要素表52を表示する。また例えば、ユーザがボタン89Bを選択した場合、CPU11は抽出した動画ID「11」の要素情報DB121を参照し、図16に示す観点分析画面6の表示ウィンドウ61に動作要素「溶接」に対応する動画101を表示し、抽出した動画ID「11」の要素情報DB121の動作要素「溶接」に対応する無効割合グラフ66Aを選択した状態を表示する。例えば、ユーザがボタン89Cを選択した場合、CPU11は抽出した動画ID「11」の要素情報DB121を参照し、図21に示すサイクル画面7の表示ウィンドウ71に動作要素「溶接」に対応する動画101を表示する。
A method for selecting an operation element from an image is as follows. The user selects the image A in the
図36は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S89の処理は上述の実施の形態7に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はステップS74の処理を終了した後、画像を抽出した際の動画の再生時間及び動画IDを特定する(ステップS101)。CPU11は動画ID毎に再生時間順に画像を並び替え(ステップS102)、処理をS75に移す。CPU11はS75の処理を終了した後、サンプリングテーブル125を参照し、受け付けた画像の画像IDに基づいて動作要素及び動作要素に対応づけられた動画IDを抽出し(ステップS103)、処理をS76に移す。
FIG. 36 is a flowchart showing the processing procedure of the information processing system in this embodiment. Since the processing of steps S11 to S89 is the same as that of the information processing system according to the above-described seventh embodiment, description thereof is omitted for the sake of brevity. After completing the process in step S74, the
一つの側面によれば、自動的に動作要素を抽出することができるため、画像と動作要素との対応関係を即座に理解することができる。 According to one aspect, since the motion element can be automatically extracted, the correspondence between the image and the motion element can be immediately understood.
(実施の形態9)
実施の形態9はワークサンプリング法で算出した稼動グラフと動作要素の情報から算出した稼動グラフとを比較する実施の形態に関する。なお、本実施形態における画像処理はテンプレートマッチングを用いる。以下、特に説明する構成、作用以外の構成及び作用は実施の形態5と同等であり、簡潔のため記載を省略する。
(Embodiment 9)
ユーザが稼動グラフ88を入力部14で選択した場合、CPU11は動画IDの入力を受け付ける。CPU11は受け付けた動画IDに対応する要素情報DB121を参照し、ワークサンプリング法で算出した稼動グラフと動作要素の情報から算出した稼動グラフとを比較する比較画面20を表示する。図37は比較画面20の一例を示す説明図である。
When the user selects the
比較画面20は左上部に設けられた表示ウィンドウ201と、左中央部に設けられた稼動グラフ202と、稼動グラフ202の下部に設けられたコメント欄203と、稼動グラフ202の右上部に設けられた表示ウィンドウ204と、表示ウィンドウ204の右下部に設けられた稼動グラフ(割合グラフ)205と、稼動グラフ205の下部に設けられたコメント欄206とを備える。稼動グラフ202の準稼動部分は準稼動部分207、208及び209で構成される。表示ウィンドウ201及び204は動画データを表示するためのウィンドウである。稼動グラフ202は動作要素の情報から算出した動作合計時間(稼動時間)、準稼動合計時間(準稼動時間)及び無効合計時間(非稼動時間)の割合を表示した円グラフである。稼動グラフ202は実施の形態1の方法で生成される。稼動グラフ205はワークサンプリング法で算出した稼動数、準稼動数及び非稼動数の割合を表示した円グラフである。稼動グラフ205は実施の形態6の方法で生成される。コメント欄203及び206は動作要素のコメントを表示するための欄である。準稼動部分207、208及び209は準稼動部分をさらに動作要素で分けたものである。また同様に稼動グラフ205の稼動部分、準稼動部分及び非稼動部分はさらに作業工程で分けられており、準稼動部分210及び211は準稼動部分をさらに動作要素で分けたものである。稼動グラフ202及び稼動グラフ205の分け方は一例であり、この方法に限られない。
The
比較画面20の動作は以下の通りである。稼動グラフ202の稼動部分、準稼動部分及び非稼動部分はさらに動作要素で分けられている。例えば、ユーザが準稼動部分207を入力部14で選択した場合、要素情報DB121及びコメントDB124を参照し、準稼動部分207の動作要素「溶接」に対応づけられた「動画101」を表示ウィンドウ201に表示し、かつコメント欄203に「頑張って働いている」を表示する。またユーザが準稼動部分208を入力部14で選択した場合、要素情報DB121及びコメントDB124を参照し、準稼動部分207の動作要素「パネルの固定」に対応づけられた「動画102」を表示ウィンドウ201に表示し、かつコメント欄203に「頑張って働いている」を表示する。
The operation of the
稼動グラフ202の稼動部分、準稼動部分及び非稼動部分はさらに作業工程毎に分けられている。ユーザが稼動グラフ202の準稼動部分209を入力部14で選択した場合、準稼動である作業工程「溶接」の動画を表示ウィンドウ201に表示する。CPU11はコメント欄203に入力部14で入力を受け付ける。ユーザは入力部14でコメント欄203に「頑張って働いている」を入力する。CPU11はコメント欄203に「頑張って働いている」を表示する。
The operation part, the semi-operation part, and the non-operation part of the
ユーザが稼動グラフ202又は205を入力部14で選択した場合、動作要素及び作業工程の動画の詳細を比較する詳細比較画面21を表示する。図38は詳細比較画面21の一例を示す説明図である。詳細比較画面21は上部に設けられた選択動作要素211と、選択動作要素211の下部に設けられた表示ウィンドウ212及び218と、表示ウィンドウ212及び218の下部に設けられた標準時間欄213と、標準時間欄213の下部に設けられたレーティング率欄214と、レーティング率欄214の下部に設けられたコメント欄216及び224と、標準時間欄213及びレーティング率欄214の左部に設けられた稼動グラフ215と、コメント欄216の下部に設けられた動作要素表217とを備える。稼動グラフ215の準稼動部分は準稼動部分227、228及び229で構成される。
When the user selects the
表示ウィンドウ212及び218、コメント欄216及び224、稼動グラフ215及び222は表示ウィンドウ201及び204、コメント欄203及び206、稼動グラフ202及び205並びに動作要素表52の構成と同様であるため、記載を省略する。選択動作要素211は選択された動作要素に関する情報を表示する表である。標準時間欄213は、動作要素の標準時間を表示するための欄である。レーティング率欄214は動作要素のレーティング率を表示するための欄である。
The
詳細比較画面21の動作は以下の通りである。CPU11は動画IDに対応する要素情報DB121を参照し、下部の動作要素表を表示する。ユーザが準稼動部分227を入力部14で選択した場合、CPU11は準稼動部分227の動作要素「溶接」を選択し、選択動作要素211に動作要素「溶接」に関する情報を表示する。またCPU11は標準時間欄213に動作要素「溶接」の標準時間「3.85」を表示し、レーティング率欄214に動作要素「溶接」のレーティング率「1.10」を表示し、動作要素「溶接」に対応づけられた「動画101」を表示ウィンドウ212に表示し、コメント欄216に「作業員は頑張っている」を表示する。また実施の形態1と同様にレーティング率欄214を操作することで表示ウィンドウ212の動画データの再生時間を変えることができる。
The operation of the
例えばユーザが稼動グラフ(割合グラフ)215の準稼動部分229を入力部14で選択した場合、作業工程「溶接」の内、準稼動に対応づけられた生成動画を表示ウィンドウ212に表示する。CPU11はコメント欄224に入力部14で入力を受け付ける。ユーザは入力部14でコメント欄224に「熟練である」を入力する。CPU11はコメント欄224に「熟練である」を表示する。このことにより同一の画面上にワークサンプリング法及び動作要素の情報から算出した稼動グラフを表示することができる。また同一の画面上で稼動グラフから種別に対応する分割動画及び作業種類に対応する動画を再生することができる。このことにより分析画面5の分割動画とワークサンプリング法で生成した生成動画との対比が容易に行える。なお、下部の動作要素表217及び選択動作要素211は稼動グラフ222を選択しても表示されない。
For example, when the user selects the
図39は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S103の処理は上述の実施の形態8に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はステップS103の処理を終了した後、動画IDの入力を受け付ける(ステップS110)。CPU11は同一の画面上に動画IDに対応する稼動グラフ202及び205並びに215及び222を表示する(ステップS111)。CPU11は稼動グラフ202及び215の各部分を動作要素毎に対応づけて分割する(ステップS112)。CPU11は稼動グラフ205及び222の各部分を作業工程毎に対応づけて分割する(ステップS113)。CPU11は稼動グラフ202、215、205及び222における分割した各部分の選択を入力部14で受け付ける(ステップS114)。なお、同一画面上に選択した作業工程又は動作要素を表示しても良い。
FIG. 39 is a flowchart showing the processing procedure of the information processing system in this embodiment. Since the processing of steps S11 to S103 is the same as that of the information processing system according to the above-described eighth embodiment, description thereof is omitted for the sake of brevity. After completing the process in step S103, the
CPU11は受け付けた部分が作業工程に対応づけられているか否かを判定する(ステップS115)。CPU11は受け付けた部分が作業工程に対応づけられていると判定した場合(ステップS115:YES)、処理をステップS116に移す。CPU11はサンプリング集計テーブル127を参照し、作業工程に対応する生成動画を他の動画と同一の画面上に表示し(ステップS116)、処理をS76に移す。すなわち作業工程に対応する動画を動作要素に対応する動画IDの動画と同一の画面上に表示する。CPU11は受け付けた部分が作業工程に対応づけられていないと判定した場合(ステップS115:NO)、すなわち動作要素に対応づけられていると判定した場合、処理をステップS117に移す。CPU11は要素情報DB121を参照し、動作要素に対応する動画を他の動画と同一の画面上に表示する(ステップS117)。CPU11は選択動作要素211を表示し(ステップS118)、処理をS76に移す。すなわち動作要素に対応する動画を作業工程に対応する動画IDの動画と同一の画面上に表示する。本実施形態では、実施例7で記載したワークサンプリング法で算出した動画と実施例1で記載した動画の比較を行ったが、ワークサンプリング法で算出した動画と作業改善を施した画像の対比を行ってもよい。またCPU11は生成動画内に表示された対象物が行う作業と同一の作業を行う分割動画を稼動グラフ202及び205並びに215及び222と同一の画面上に表示してもよい。標準的な作業動画であるワークサンプリング法で算出した動画と、作業改善後の動画を比較することで改善効果がより明確になる。またワークサンプリング法で算出した動画とベテラン作業員の動画を比較してもよい。標準的な作業動画であるワークサンプリング法で算出した動画と、ベテラン作業員の動画を比較することで作業効率化のヒントを見出せることがある。また初心者作業員の動画と比較した場合には、初心者作業員の問題点が明確になる。
The
一つの側面によれば、ワークサンプリング法及び動作要素の情報から算出した稼動グラフを比較することでレーティング率の算出に役立てることができる。 According to one aspect, comparing the operation graphs calculated from the work sampling method and the information of the operation elements can help to calculate the rating rate.
(実施の形態10)
実施の形態10は種別を選択するための選択図形を表示する実施の形態に関する。図40は分析画面5の表示ウィンドウ51Aの一例を示す説明図である。表示ウィンドウ51Aはさらに選択図形58を備える。選択図形58は選択部分58A及び58B等により構成される。選択部分58A又は58B等は以下場合により選択部分58で代表する。選択図形58は入力部14による入力の支援を行うためのジェスチャーマップである。選択図形58は例えば円である。なお、選択図形58は矩形又は三角等の任意の図形であってもよい。
(Embodiment 10)
The tenth embodiment relates to an embodiment for displaying a selected figure for selecting a type. FIG. 40 is an explanatory diagram showing an example of the
選択図形58の動作は以下の通りである。ユーザは表示ウィンドウ51を入力部14で任意の入力操作をした場合、種別情報DB123を参照し、種別を選択部分581に表示する。具体的にはCPU11は選択部分581の夫々に種別1、種別2、種別3及び種別4を表示する(図40A)。ユーザが例えば入力部14で選択部分58Aを選択した場合、CPU11は種別1に対応する「第1工程」、「第2工程」、「第3工程」、「第4工程」及び「第5工程」を選択図形58に表示させる(図40B)。ユーザが例えば入力部14で選択部分58Bを選択した場合、他の選択部分581を消去し、選択部分58Bのみを表示する(図40C)。入力部14による選択部分581の選択方法は例えば、マウスのカーソルを選択部分に動かし、左又は右のボタンを離す。またはマウスのカーソルで選択部分を通過する方法でもよい。CPU11は表示ウィンドウ51Aに表示された動画データの動作要素に種別「第1工程」を対応づけ、要素情報DB121に種別「第1工程」を記憶させる。本実施形態における選択図形58は種別の数が増える毎に円の半径が増加する。このことにより種別は下位に行くほど、種別の数が増えるため、種別が増えた場合には円形の半径を大きくすることで対応させることができる。
The operation of the selected figure 58 is as follows. When the user performs an arbitrary input operation on the
図41は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S22の処理は上述の実施の形態1に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はステップS19の処理を終了した後、表示ウィンドウ51に入力部14で入力を受け付ける(ステップS121)。CPU11は種別情報DB123を参照し、種別を選択部分581に表示することで選択図形58を表示する(ステップS122)。CPU11は選択部分581に入力部14で選択を受け付ける(ステップS123)。CPU11は表示ウィンドウ51Aに表示された動画データの動作要素に選択された選択部分581に表示された種別を対応づけ(ステップ124)、処理をS20に移す。
FIG. 41 is a flowchart showing the processing procedure of the information processing system in this embodiment. Since the processes in steps S11 to S22 are the same as those in the information processing system according to the first embodiment, the description thereof is omitted for the sake of brevity. After completing the process in step S19, the
一つの側面によれば、種別の選択を表示ウィンドウ51上で行える。このことにより、作業種別毎に円表表示させ、画像の種別の入力を容易にすることができる。
According to one aspect, the type can be selected on the
(実施の形態11)
実施の形態11は表示ウィンドウ51の動画内における2点間の距離を画像処理により算出する実施の形態に関する。
(Embodiment 11)
The eleventh embodiment relates to an embodiment in which the distance between two points in the moving image of the
CPU11が例えば、表示ウィンドウ51Aに動画101を表示させる。CPU11は角度及び解像度に基づいて画像処理を行うことにより表示ウィンドウ51A上の2点間の距離を算出する。
For example, the
図42は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップS11〜S22の処理は上述の実施の形態1に係る情報処理システムと同様であるので、簡潔のため説明を省略する。CPU11はステップS19の処理を終了した後、表示ウィンドウ51に画像処理を行うことにより距離を算出する(ステップS131)。CPU11は表示ウィンドウ51に算出した距離を表示し(ステップS132)、処理をS20に移す。
FIG. 42 is a flowchart showing the processing procedure of the information processing system in this embodiment. Since the processes in steps S11 to S22 are the same as those in the information processing system according to the first embodiment, the description thereof is omitted for the sake of brevity. After completing the process of step S19, the
一つの側面によれば、距離を表示することで、動画データの理解に役立てることができる。 According to one aspect, displaying the distance can be useful for understanding moving image data.
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、各実施の形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 The embodiment disclosed this time is to be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the meanings described above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims. Further, each embodiment can be appropriately combined within a range in which processing contents are not contradictory.
1 情報処理装置
12P プログラム
52 動作要素表(作業表)
1
Claims (11)
前記情報処理装置に、
作業を撮像した複数の動画を作業毎に分割した複数の分割動画を表示し、
各分割動画内に表示された対象物に対する評価値の入力を受け付け、
前記各分割動画内に表示された対象物が作業に対して有効な動作をした時間を示す動作時間に前記評価値を積算することで前記作業の標準を示す標準時間を算出する
処理を実行させることを特徴とするプログラム。 A program used in an information processing apparatus,
In the information processing apparatus,
A plurality of divided videos obtained by dividing a plurality of videos that capture the work for each work are displayed.
Accepts input of evaluation values for objects displayed in each split video,
The standard time indicating the standard of the work is calculated by adding the evaluation value to the operation time indicating the time when the object displayed in each of the divided videos performs an effective action for the work. A program characterized by that.
前記情報処理装置に、種別毎に前記作業時間を表示する処理を実行させることを特徴とする請求項2に記載のプログラム。 Multiple work times indicating the length of multiple split videos are associated with multiple types,
The program according to claim 2, wherein the information processing apparatus is caused to execute a process of displaying the work time for each type.
前記対象物の状態を計測した状態情報及び前記対象物の周辺の環境を計測した環境情報のうちの少なくとも一つの情報を取得し、
取得した前記少なくとも一つの情報の経時変化を表示する
処理を実行させることを特徴とする請求項1乃至3のいずれか1項に記載のプログラム。 In the information processing apparatus,
Obtaining at least one information of state information obtained by measuring the state of the object and environment information obtained by measuring an environment around the object;
The program according to any one of claims 1 to 3, wherein a process of displaying a change with time of the acquired at least one piece of information is executed.
前記各分割動画に前記対象物の動作が人又は機械が行う動作であることを示す動作情報を受け付け、
人が行う動作である動作情報に対応づけられた複数の分割動画を抽出し、
抽出した複数の分割動画の標準時間を合計した合計標準時間を算出する
処理を実行させることを特徴とする請求項1乃至5のいずれか1項に記載のプログラム。 In the information processing apparatus,
Accepting motion information indicating that the motion of the object is motion performed by a person or machine in each of the divided videos,
Extract multiple segmented videos that are associated with motion information that is human motion,
The program according to any one of claims 1 to 5, wherein a process for calculating a total standard time obtained by summing standard times of the plurality of extracted divided moving images is executed.
前記対象物が前記作業に対して無効な動作をした時間を示す無効時間を分割動画毎に受け付け、
複数の分割動画の無効時間を合計した無効合計時間と、該複数の分割動画の動作時間を合計した動作合計時間とを算出し、
算出した無効合計時間及び動作合計時間に基づいてグラフを表示する
処理を実行させることを特徴とする請求項1乃至6のいずれか1項に記載のプログラム。 In the information processing apparatus,
Accepting, for each divided video, an invalid time indicating a time when the object performs an invalid operation for the work;
Calculate the invalid total time that is the sum of the invalid times of multiple segmented videos and the total operation time that is the sum of the durations of the segmented videos,
The program according to any one of claims 1 to 6, wherein a program for displaying a graph based on the calculated total invalid time and total operation time is executed.
前記対象物の動作が人又は機械が行う動作であることを示す動作情報を分割動画毎に受け付け、
人が行う動作である動作情報に対応づけられた複数の分割動画を抽出し、
抽出した複数の分割動画の動作時間を合計した抽出合計時間と、前記動作合計時間から抽出合計時間を引いた稼動合計時間とを算出し、
算出した稼動合計時間、抽出合計時間及び無効合計時間に基づいてグラフを表示する
処理を実行させることを特徴とする請求項7に記載のプログラム。 In the information processing apparatus,
Receiving motion information indicating that the motion of the object is a motion performed by a person or machine for each divided video;
Extract multiple segmented videos that are associated with motion information that is human motion,
Calculating an extraction total time obtained by adding the operation times of the plurality of extracted divided videos and an operation total time obtained by subtracting the extraction total time from the operation total time;
The program according to claim 7, wherein a process of displaying a graph based on the calculated total operation time, total extraction time, and total invalid time is executed.
各分割動画及び複数の動画全体に対するコメントを受け付け、
受け付けたコメントを表示する
処理を実行させることを特徴とする請求項1乃至7のいずれか1項に記載のプログラム。 In the information processing apparatus,
Accept comments for each split video and multiple videos,
The program according to any one of claims 1 to 7, wherein a process for displaying an accepted comment is executed.
各分割動画内に表示された対象物に対する評価値の入力を受け付ける受け付け部と、
前記各分割動画内に表示された対象物が作業に対して有効な動作をした時間を示す動作時間に前記評価値を積算することで前記作業の標準を示す標準時間を算出する算出部と、を備えることを特徴とする情報処理装置。 A plurality of display units for displaying a plurality of divided videos obtained by dividing a plurality of videos obtained by imaging a work for each work;
A receiving unit that receives an input of an evaluation value for an object displayed in each divided video;
A calculation unit that calculates a standard time indicating the standard of the work by accumulating the evaluation value to an operation time indicating a time when the object displayed in each of the divided videos performs an effective operation for the work; An information processing apparatus comprising:
前記情報処理装置が、作業を撮像した複数の動画を作業毎に分割した複数の分割動画を表示し、
前記情報処理装置が、各分割動画内に表示された対象物に対する評価値の入力を受け付け、
前記情報処理装置が、前記各分割動画内に表示された対象物が作業に対して有効な動作をした時間を示す動作時間に前記評価値を積算することで前記作業の標準を示す標準時間を算出することを特徴とする情報処理方法。 An information processing method realized by an information processing apparatus,
The information processing apparatus displays a plurality of divided videos obtained by dividing a plurality of videos obtained by imaging work for each work,
The information processing apparatus accepts input of an evaluation value for an object displayed in each divided video,
The information processing apparatus adds a standard time indicating the standard of the work by adding the evaluation value to an operation time indicating a time during which the object displayed in each of the divided videos has an effective action for the work. An information processing method characterized by calculating.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015041851 | 2015-03-03 | ||
JP2015041851 | 2015-03-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016167265A true JP2016167265A (en) | 2016-09-15 |
JP6783060B2 JP6783060B2 (en) | 2020-11-11 |
Family
ID=56897587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016040423A Active JP6783060B2 (en) | 2015-03-03 | 2016-03-02 | Programs, information processing devices and information processing methods |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6783060B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019067206A (en) * | 2017-10-02 | 2019-04-25 | 富士通株式会社 | Detection system, detection method, and detection program |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1190794A (en) * | 1997-09-19 | 1999-04-06 | Kubota Corp | Working time measuring device for production line |
JP2000354943A (en) * | 1999-06-09 | 2000-12-26 | Nippon Telegr & Teleph Corp <Ntt> | Work management and support method and device, and recording medium having program therefor recorded |
JP2001014016A (en) * | 1999-06-29 | 2001-01-19 | Yoriaki Yamai | Analyzing method of working state, analysis system of working state to execute the same method and managing device of working state using the same system |
JP2007323222A (en) * | 2006-05-31 | 2007-12-13 | Hitachi Ltd | Working motion analysis method, working motion analysis apparatus and working motion analysis program |
JP2008059322A (en) * | 2006-08-31 | 2008-03-13 | Sharp Corp | Work management system |
JP2008077424A (en) * | 2006-09-21 | 2008-04-03 | Toshiba Corp | Operation analysis system and method |
US20110010623A1 (en) * | 2009-07-10 | 2011-01-13 | Vanslette Paul J | Synchronizing Audio-Visual Data With Event Data |
-
2016
- 2016-03-02 JP JP2016040423A patent/JP6783060B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1190794A (en) * | 1997-09-19 | 1999-04-06 | Kubota Corp | Working time measuring device for production line |
JP2000354943A (en) * | 1999-06-09 | 2000-12-26 | Nippon Telegr & Teleph Corp <Ntt> | Work management and support method and device, and recording medium having program therefor recorded |
JP2001014016A (en) * | 1999-06-29 | 2001-01-19 | Yoriaki Yamai | Analyzing method of working state, analysis system of working state to execute the same method and managing device of working state using the same system |
JP2007323222A (en) * | 2006-05-31 | 2007-12-13 | Hitachi Ltd | Working motion analysis method, working motion analysis apparatus and working motion analysis program |
JP2008059322A (en) * | 2006-08-31 | 2008-03-13 | Sharp Corp | Work management system |
JP2008077424A (en) * | 2006-09-21 | 2008-04-03 | Toshiba Corp | Operation analysis system and method |
US20110010623A1 (en) * | 2009-07-10 | 2011-01-13 | Vanslette Paul J | Synchronizing Audio-Visual Data With Event Data |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019067206A (en) * | 2017-10-02 | 2019-04-25 | 富士通株式会社 | Detection system, detection method, and detection program |
JP7091629B2 (en) | 2017-10-02 | 2022-06-28 | 富士通株式会社 | Detection system, detection method and detection program |
Also Published As
Publication number | Publication date |
---|---|
JP6783060B2 (en) | 2020-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5525202B2 (en) | Motion analysis apparatus, motion analysis method, and motion analysis program | |
US10713770B2 (en) | Analysis apparatus and analysis method | |
CN104239416A (en) | User identification method and system | |
KR102466438B1 (en) | Cognitive function assessment system and method of assessing cognitive funtion | |
JP6842044B2 (en) | Information processing equipment, information processing methods, programs | |
US20200125839A1 (en) | Method and system for automatic repetitive step and cycle detection for manual assembly line operations | |
US20230044842A1 (en) | Work analyzing device and work analyzing method | |
JP6803431B2 (en) | Programs, information processing devices and information processing methods | |
JPWO2017033539A1 (en) | Work support device, work support method and program | |
JP2020091801A (en) | Work analysis system and work analysis method | |
JP6279635B2 (en) | Program, information processing apparatus and information processing method | |
CN106601217B (en) | Interactive musical instrument playing method and device | |
JP2019185188A (en) | Information processing method, information processing apparatus, and information processing system | |
JP2017080197A (en) | Information processing device, information processing method and program | |
KR20160076488A (en) | Apparatus and method of measuring the probability of muscular skeletal disease | |
JP6783060B2 (en) | Programs, information processing devices and information processing methods | |
JP2021026336A (en) | Information processing device and marketing activity support device | |
JP2019093152A (en) | Information processing device, information processing method and program | |
JP6643806B2 (en) | Program, information processing apparatus and information processing method | |
JP2017118319A (en) | Video retrieval system | |
JP2017080199A (en) | Information processing device, information processing method and program | |
Nurai et al. | A research protocol of an observational study on efficacy of microsoft kinect azure in evaluation of static posture in normal healthy population | |
JP2017080200A (en) | Information processing device, information processing method and program | |
JP2017080201A (en) | Information processing device, information processing method and program | |
WO2023182424A1 (en) | Information processing method, computer program, and information processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190308 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200716 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201013 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201021 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6783060 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |