JP2016167265A - Program, information processing apparatus, and information processing method - Google Patents
Program, information processing apparatus, and information processing method Download PDFInfo
- Publication number
- JP2016167265A JP2016167265A JP2016040423A JP2016040423A JP2016167265A JP 2016167265 A JP2016167265 A JP 2016167265A JP 2016040423 A JP2016040423 A JP 2016040423A JP 2016040423 A JP2016040423 A JP 2016040423A JP 2016167265 A JP2016167265 A JP 2016167265A
- Authority
- JP
- Japan
- Prior art keywords
- time
- work
- cpu
- information
- column
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 101
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000011156 evaluation Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 180
- 230000008569 process Effects 0.000 claims description 129
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 8
- 230000036962 time dependent Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 35
- 238000005070 sampling Methods 0.000 description 114
- 238000004458 analytical method Methods 0.000 description 48
- 238000005259 measurement Methods 0.000 description 45
- 238000003466 welding Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 27
- 230000000737 periodic effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 239000002184 metal Substances 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000000284 resting effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000036982 action potential Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、動画を分析するプログラム等に関する。 The present invention relates to a program for analyzing a moving image.
従来、人又は機械等の対象物が行う作業を動画に撮像し、撮像した動画を時間毎に分割した動作要素を分析する技術が知られている（例えば特許文献１）。 2. Description of the Related Art Conventionally, there has been known a technique for capturing an operation performed by an object such as a person or a machine on a moving image and analyzing an operation element obtained by dividing the captured moving image for each time (for example, Patent Document 1).
しかし、特許文献１に開示された技術では、一の動作要素を分析することを目的としているため、動作要素内の複数の対象物に対して分析を行うことが難しいという問題がある。また、各動作要素について標準的な動作時間を算出する上で、動作要素内の対象物に対してレーティング率等の評価値を設定し、当該評価値にて実際の動作時間を修正することがある。一方、上記の評価値を設定する際には、対象物が置かれている環境や対象物自体の状態（コンディション）を考慮する必要がある。
However, since the technique disclosed in
そこで、本発明は、上記の問題に鑑みてなされたものであり、その目的は、容易に複数の対象物に対して分析を行うことができるプログラム等を提供することである。
また、本発明の他の目的は、分割動画内に表示された対象物に対する評価値が入力される際に、対象物が置かれている環境や対象物自体の状態（コンディション）を考慮して適切な値が入力されるようにすることである。
Therefore, the present invention has been made in view of the above problems, and an object thereof is to provide a program or the like that can easily analyze a plurality of objects.
Another object of the present invention is to consider the environment where the object is placed and the state (condition) of the object itself when the evaluation value for the object displayed in the divided video is input. The appropriate value is to be entered.
前述の課題は、本発明のプログラムによれば、情報処理装置に用いられるプログラムであって、前記情報処理装置に、作業を撮像した複数の動画を作業毎に分割した複数の分割動画を表示し、各分割動画内に表示された対象物に対する評価値の入力を受け付け、前記各分割動画内に表示された対象物が作業に対して有効な動作をした時間を示す動作時間に前記評価値を積算することで前記作業の標準を示す標準時間を算出する処理を実行させることにより解決される。 According to the program of the present invention, the above-described problem is a program used in an information processing apparatus, and displays a plurality of divided moving images obtained by dividing a plurality of moving images obtained by capturing work for each work on the information processing device. The evaluation value for the object displayed in each divided video is received, and the evaluation value is set to the operation time indicating the time when the object displayed in each of the divided videos is effective for the work. This is solved by executing a process of calculating a standard time indicating the standard of the work by integrating.
また、上記のプログラムに関して好適な構成を述べると、前記情報処理装置に、前記分割動画に対する種別を複数種類受け付ける処理を実行させてもよい。
また、上記のプログラムに関してより好適な構成を述べると、複数の分割動画の長さを示す複数の作業時間と複数の種別とが対応づけられており、前記情報処理装置に、種別毎に前記作業時間を表示する処理を実行させてもよい。
また、上記のプログラムに関して更に好適な構成を述べると、前記情報処理装置に、前記対象物の状態を計測した状態情報及び前記対象物の周辺の環境を計測した環境情報のうちの少なくとも一つの情報を取得し、取得した前記少なくとも一つの情報の経時変化を表示する処理を実行させてもよい。
また、上記のプログラムに関してより一層好適な構成を述べると、前記情報処理装置に、取得した前記少なくとも一つの情報の経時変化を、前記分割動画を表示する際の時間軸と同一の時間軸に沿って前記分割動画と同期させながら表示する処理を実行させてもよい。
また、上記のプログラムに関して尚一層好適な構成を述べると、前記情報処理装置に、前記各分割動画に前記対象物の動作が人又は機械が行う動作であることを示す動作情報を受け付け、人が行う動作である動作情報に対応づけられた複数の分割動画を抽出し、抽出した複数の分割動画の標準時間を合計した合計標準時間を算出する処理を実行させてもよい。
また、上記のプログラムに関して益々好適な構成を述べると、前記情報処理装置に、前記対象物が前記作業に対して無効な動作をした時間を示す無効時間を分割動画毎に受け付け、複数の分割動画の無効時間を合計した無効合計時間と、該複数の分割動画の動作時間を合計した動作合計時間とを算出し、算出した無効合計時間及び動作合計時間に基づいてグラフを表示する処理を実行させてもよい。
また、上記のプログラムに関して一段と好適な構成を述べると、前記情報処理装置に、前記対象物の動作が人又は機械が行う動作であることを示す動作情報を分割動画毎に受け付け、人が行う動作である動作情報に対応づけられた複数の分割動画を抽出し、抽出した複数の分割動画の動作時間を合計した抽出合計時間と、前記動作合計時間から抽出合計時間を引いた稼動合計時間とを算出し、算出した稼動合計時間、抽出合計時間及び無効合計時間に基づいてグラフを表示する処理を実行させてもよい。
また、上記のプログラムに関して殊更好適な構成を述べると、前記情報処理装置に、各分割動画及び複数の動画全体に対するコメントを受け付け、受け付けたコメントを表示する処理を実行させてもよい。
In a preferred configuration regarding the above program, the information processing apparatus may execute processing for accepting a plurality of types for the divided moving image.
Further, a more preferable configuration regarding the above program is described. A plurality of work times indicating the lengths of a plurality of divided videos are associated with a plurality of types, and the information processing apparatus stores the work for each type. You may perform the process which displays time.
Further, regarding a more preferable configuration regarding the above program, at least one information of state information obtained by measuring the state of the object and environment information obtained by measuring an environment around the object is provided to the information processing apparatus. And a process of displaying a change over time of the acquired at least one piece of information may be executed.
Further, regarding a more preferable configuration regarding the above program, the time-dependent change of the acquired at least one information is displayed on the information processing apparatus along the same time axis as when displaying the divided moving image. The display process may be executed while synchronizing with the divided moving image.
In addition, when a still more preferable configuration is described with respect to the above program, the information processing apparatus receives operation information indicating that the operation of the object is an operation performed by a person or a machine in each divided moving image. A process of extracting a plurality of divided videos associated with the action information that is the action to be performed and calculating a total standard time obtained by adding the standard times of the extracted plurality of divided videos may be executed.
In addition, to describe a more and more preferable configuration regarding the above program, the information processing apparatus accepts, for each divided video, an invalid time indicating the time when the object performs an invalid operation for the work, and a plurality of divided videos. The total invalid time obtained by summing the invalid times and the total operation time obtained by summing the operation times of the plurality of divided videos are calculated, and a process of displaying a graph based on the calculated invalid total time and total operation time is executed. May be.
In addition, when a more preferable configuration is described with respect to the above program, the information processing apparatus receives operation information indicating that the operation of the object is an operation performed by a person or a machine for each divided video, and an operation performed by the person A plurality of divided videos associated with the motion information, and a total extraction time obtained by adding up the operation times of the extracted plurality of divided videos, and a total operation time obtained by subtracting the total extraction time from the total operation time. A process of displaying the graph based on the calculated total operation time, the total extraction time, and the total invalid time may be executed.
Further, regarding a particularly preferable configuration regarding the above-described program, the information processing apparatus may receive a comment for each divided moving image and a plurality of moving images and display the received comment.
また、前述の課題は、本発明の情報処理装置によれば、作業を撮像した複数の動画を作業毎に分割した複数の分割動画を表示する複数表示部と、各分割動画内に表示された対象物に対する評価値の入力を受け付ける受け付け部と、前記各分割動画内に表示された対象物が作業に対して有効な動作をした時間を示す動作時間に前記評価値を積算することで前記作業の標準を示す標準時間を算出する算出部と、を備えることにより解決される。 In addition, according to the information processing apparatus of the present invention, the above-described problem is displayed in each divided video and a plurality of display units that display a plurality of divided videos obtained by dividing a plurality of videos obtained by imaging work for each work A receiving unit that receives an input of an evaluation value for the object, and the work is performed by accumulating the evaluation value in an operation time that indicates a time during which the object displayed in each of the divided moving images is effective for the work This is solved by providing a calculation unit that calculates a standard time indicating the standard.
また、前述の課題は、本発明の情報処理方法によれば、情報処理装置によって実現される情報処理方法であって、前記情報処理装置が、作業を撮像した複数の動画を作業毎に分割した複数の分割動画を表示し、前記情報処理装置が、各分割動画内に表示された対象物に対する評価値の入力を受け付け、前記情報処理装置が、前記各分割動画内に表示された対象物が作業に対して有効な動作をした時間を示す動作時間に前記評価値を積算することで前記作業の標準を示す標準時間を算出することにより解決される。 The above-described problem is an information processing method realized by an information processing device according to the information processing method of the present invention, wherein the information processing device divides a plurality of moving images obtained by capturing work for each work. A plurality of divided videos are displayed, the information processing apparatus receives an input of an evaluation value for the object displayed in each divided video, and the information processing apparatus receives the target displayed in each of the divided videos. The problem is solved by calculating a standard time indicating the standard of the work by accumulating the evaluation value in an operation time indicating a time during which the work is performed effectively for the work.
本発明によれば、容易に複数の対象物に対して分析を行うことができるプログラム等を提供することができる。
また、本発明によれば、分割動画内に表示された対象物に対する評価値が入力される際に、対象物が置かれている環境や対象物自体の状態（コンディション）を考慮して適切な値が入力されるようになる。
According to the present invention, it is possible to provide a program or the like that can easily analyze a plurality of objects.
In addition, according to the present invention, when an evaluation value for an object displayed in a divided video is input, it is appropriate in consideration of an environment where the object is placed and a state (condition) of the object itself. A value is entered.
（実施の形態１）
以下本実施の形態を、図面を参照して説明する。図１は情報処理システムの概要を示す説明図である。本実施形態における情報処理システムは情報処理装置１及び撮像装置２Ａ、２Ｂ及び２Ｃ等を備える。撮像装置２Ａ、２Ｂ、２Ｃ……は以下場合により撮像装置２で代表する。情報処理装置１及び撮像装置２はインターネット、ＬＡＮ(Local Area Network)または携帯電話網等の通信網Ｎにより相互に接続されている。
(Embodiment 1)
Hereinafter, the present embodiment will be described with reference to the drawings. FIG. 1 is an explanatory diagram showing an outline of an information processing system. The information processing system in the present embodiment includes an
以下では情報処理システムの概要を説明する。撮像装置２は人又は機械等の対象物が行う作業を撮像するための撮像装置であり、例えばＣＣＤ（Charge-coupled device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ又は赤外線カメラ等である。撮像装置２Ａ、２Ｂ及び２Ｃは対象物が行う作業を複数の位置及び角度に基づいて複数の動画で撮像し、撮像した複数の動画を情報処理装置１へ出力する。
The outline of the information processing system will be described below. The
情報処理装置１は例えばコンピュータ又はスマートフォン等である。情報処理装置１は出力された複数の動画を取得する。情報処理装置１はユーザから入力を後述する入力部１４で受け付け、受け付けた入力に基づいて取得した複数の動画を作業毎に分割した複数の動作要素（分割動画）に分割する。情報処理装置１は動作要素又は動作要素に関連する情報を表示することで対象物が行う標準的な作業時間を示す標準時間を算出する処理を行う。標準時間とは、標準の技能を持った人が作業を行う時間である。しかし、標準の技能を持った人を見極めるのは困難であり、人の技能は作業毎に変化する場合も多い。このため、一般的に標準時間は対象物が作業に対して有効な動作をした時間を示す動作時間に、各分割動画内に表示された対象物に対するレーティング率（評価値）を積算することにより算出する。例えば、情報処理装置１は以下の方法で標準時間を算出する。情報処理装置１は動作要素内で無駄な時間を削除することで動作時間を算出する。ユーザは分割動画を視聴することで分割動画内の作業員がベテランであるか否か又は作業に慣れているか否か等を判断し、レーティング率を決定する。例えば、作業員がベテランであり、かつ作業に慣れていると判断した場合、情報処理装置１でレーティング率を１より低い値に設定する。情報処理装置１は算出した動作時間に１より低い値のレーティング率を積算することで分割動画内の作業時間より早い標準時間を算出する。
The
以下では情報処理システムの詳細を説明する。図２は情報処理装置１のハードウェア群を示すブロック図である。図２に示す情報処理装置１は、一または複数の演算制御装置であるＣＰＵ１１、ハードディスク、半導体メモリディスク等の記憶装置である記憶部１２、ＳＲＡＭ（Static RAM）、ＤＲＡＭ（Dynamic RAM）またはフラッシュメモリ等のＲＡＭ１３、マウス、キーボード、タッチパネル、ペンタブレット、マイク等の入力機器である入力部１４、ディスプレイ、プロジェクタ、ヘッドマウントディスプレイ等の表示部１５、通信網Ｎとの間で通信を行う通信部１６を含む。
Details of the information processing system will be described below. FIG. 2 is a block diagram illustrating a hardware group of the
記憶部１２にはＣＰＵ１１が処理を行う際に必要とする種々のデータ、要素情報ＤＢ１２１、集計情報ＤＢ１２２、種別情報ＤＢ１２３、コメントＤＢ１２４及びプログラム１２Ｐを格納する。かかるプログラム１２Ｐが本発明のプログラムに該当する。
The
通信部１６は、通信網Ｎを介して撮像装置２が撮像した動画を取得する。なお、本実施形態では撮像装置２から動画を取得したが、これに限られず、ＵＳＢ（Universal Serial Bus）メモリ、光ディスク又は記憶部１２等から動画を取得してもよい。
The
図３は要素情報ＤＢ１２１に格納されているデータの一例を示す図である。要素情報ＤＢ１２１は動作要素に関する情報を記憶するデータベースである。要素情報ＤＢ１２１は動作要素列、種別列、開始時間列、終了時間列、要素時間列、動作時間列、無効時間列、比較値列、差異列、非定常列、区分列、レーティング率列、標準時間列、動画データ列及びマニュアル列等を備える。動作要素列には動作要素の名称が記憶される。種別列には動作要素の種類を示す種別が複数記憶される。種別とは例えば「手作業」又は「第１工程」等の各作業工程である。種別列の種別は種別を分類するための種別分類で分けられている。種別分類とは例えば種別１、種別２又は種別３等である。例えば、種別列の種別１列には「溶接」の種別が「手作業」であること又は「パネルの固定」の種別が「工具作業」であること等が記憶される。また種別列の種別２列には「溶接」の種別が「第１工程」であること又は「ボルトの締め付け」の種別が「第２工程」であること等が記憶される。また種別列の種別３列には「溶接」の種別が「人作業」であること又は「ボルトの締め付け」の種別が「機械作業」であること等が記憶される。
FIG. 3 is a diagram illustrating an example of data stored in the
開始時間列には動画内で動作要素が開始される開始時間が動作要素に対応づけられて記憶される。終了時間列には動画内で動作要素が終了される終了時間が動作要素に対応づけられて記憶される。要素時間列には動作要素の時間の長さを示す要素時間（作業時間）が動作要素に対応づけられて記憶される。動作時間列には動作時間が動作要素に対応づけられて記憶される。無効時間列には対象物が作業に対して無効な動作をした時間を示す無効時間が動作要素に対応づけられて記憶される。比較値列には動作時間と比較するための比較値が動作要素に対応づけられて記憶される。比較値列には例えば、ユーザが予想した標準時間を示す予想標準時間が記憶される。差異列には比較値と動作時間との差異が動作要素に対応づけられて記憶される。開始時間列、終了時間列、要素時間列、動作時間列、無効時間列、比較値列及び差異列の単位は例えば秒である。非定常列には対象物が周期性のある動作をしているか否かを示す非定常情報（周期性情報）が動作要素に対応づけられて記憶される。周期性のある動作とは例えば、作業員Ａが複数回、金具をセットする動作である。また周期性のない動作とは例えば、作業員Ａが１回だけ金具をセットする動作である。○は対象物が周期性のない動作をしていることを示す。×は対象物が周期性のある動作をしていることを示す。区分列には、稼動、準稼動、非稼動の動作情報が、動作要素と対応づけて記憶される。本明細書においては、稼動とは人が作業中の状態であり、準稼動とは機械が動作する状態であり、非稼動とは人も機械も動作していない待ち状態等のような状態をいう。 In the start time column, the start time at which the motion element is started in the moving image is stored in association with the motion element. In the end time column, an end time at which the motion element is terminated in the moving image is stored in association with the motion element. In the element time column, an element time (working time) indicating the length of time of the operation element is stored in association with the operation element. In the operation time column, the operation time is stored in association with the operation element. In the invalid time column, an invalid time indicating a time during which the object performs an invalid operation on the work is stored in association with the operation element. In the comparison value column, a comparison value for comparison with the operation time is stored in association with the operation element. In the comparison value column, for example, an expected standard time indicating a standard time predicted by the user is stored. In the difference column, the difference between the comparison value and the operation time is stored in association with the operation element. The units of the start time sequence, end time sequence, element time sequence, operation time sequence, invalid time sequence, comparison value sequence, and difference sequence are, for example, seconds. In the non-stationary column, non-stationary information (periodic information) indicating whether or not the object is performing a periodic operation is stored in association with the operation element. The operation with periodicity is, for example, an operation in which the worker A sets the metal fitting a plurality of times. Further, the operation without periodicity is, for example, an operation in which the worker A sets the metal fitting only once. ○ indicates that the object is operating without periodicity. X indicates that the object is operating with periodicity. In the classification column, operation information about operation, semi-operation, and non-operation is stored in association with operation elements. In this specification, operation is a state in which a person is working, semi-operation is a state in which a machine is operating, and non-operation is a state such as a waiting state in which neither a person nor a machine is operating. Say.
レーティング率列にはレーティング率が動作要素に対応づけられて記憶される。標準時間列には標準時間が動作要素に対応づけられて記憶される。動画データ列には撮像した動画を動作要素毎に分割した動画データが記憶される。例えば、動画データ列には動画Ａ（作業員Ａが行う作業を撮像した動画）を動作要素毎に分割した動画データが記憶される。マニュアル列には動作要素に対応するマニュアルが記憶される。 In the rating rate column, the rating rate is stored in association with the operating element. In the standard time column, the standard time is stored in association with the operation element. In the moving image data string, moving image data obtained by dividing the captured moving image for each operation element is stored. For example, the moving image data string stores moving image data obtained by dividing the moving image A (moving image of the work performed by the worker A) for each operation element. Manuals corresponding to the operating elements are stored in the manual column.
ＣＰＵ１１は後述する分析画面５で動作要素、動作要素の種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、非定常情報、区分又はレーティング率の入力を入力部１４で受け付ける。ＣＰＵ１１は受け付けた動作要素、動作要素の種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、非定常情報、区分又はレーティング率を要素情報ＤＢ１２１に記憶させる。ＣＰＵ１１は動作時間から比較値を引いた差異を差異列に記憶させる。ＣＰＵ１１は動作時間にレーティング率を積算した標準時間を標準時間列に記憶させる。なお、本実施形態の動画データ列及びマニュアル列は予めユーザが登録しているものとする。
The
図４は集計情報ＤＢ１２２に格納されているデータの一例を示す図である。集計情報ＤＢ１２２は動作要素に関する情報を集計した集計情報が記憶されたデータベースである。集計情報ＤＢ１２２は要素合計時間列、動作合計時間列、稼動合計時間列、無効合計時間列、合計差異列、全体レーティング率、準稼動合計時間列及び標準合計時間列等を備える。要素合計時間列には複数の動作要素の要素時間を合計した要素合計時間（合計時間）が記憶される。動作合計時間列には複数の動作要素の動作時間を合計した動作合計時間が記憶される。稼動合計時間列には対象物が稼動動作を行う複数の動作要素の動作時間を合計した稼動合計時間が記憶される。無効合計時間列には複数の動作要素の無効時間を合計した無効合計時間が記憶される。合計差異列には、標準時間と比較値の差異の合計時間が記憶される。全体レーティング率には複数のレーティング率の平均値を示す全体レーティング率が記憶される。準稼動合計時間列には準稼働時間を合計した準稼動合計時間（抽出合計時間）が記憶される。標準合計時間列には動作合計時間に全体レーティング率を積算した標準合計時間が記憶される。集計情報ＤＢ１２２の記憶方法は後述する。
FIG. 4 is a diagram illustrating an example of data stored in the
図５は種別情報ＤＢ１２３に格納されているデータの一例を示す図である。種別情報ＤＢ１２３は、作業又は動作の区分を管理するものである。図５Ａに示すように例えば１つの動画を作業及び工程等に分割したい場合には、種別１に作業種別、種別２に工程種別を入力すればよい。また種別３には種別を利用して人に依存する作業と機械に依存する作業を入力させることもできる。また図５Ｂに示すように作業種別毎に色を設定することにより、作業種別の時間を棒グラフで表示する際に、作業時間の比較が行いやすくなる。
FIG. 5 is a diagram illustrating an example of data stored in the
図６はコメントＤＢ１２４に格納されているデータの一例を示す図である。図７は動作要素の分析を行うための分析画面５の一例を示す説明図である。コメントＤＢ１２４には動作要素列、個別コメント列及び総括コメント列を備える。動作要素列には動作要素が記憶される。個別コメント列はウィンドウ１列、ウィンドウ２列、ウィンドウ３列及びウィンドウ４列を備える。個別コメント列は図７に示す表示ウィンドウ５１に表示された各動作要素の動画データに対するコメントを示す個別コメントが記憶される。ウィンドウ１列、ウィンドウ２列、ウィンドウ３列及びウィンドウ４列の夫々は後述する表示ウィンドウ５１Ａ、５１Ｂ、５１Ｃ及び５１Ｄの夫々に対応する。動作要素列の動作要素は要素情報ＤＢ１２１の動作要素列に対応する。ＣＰＵ１１は後述する個別コメント欄５６に動作要素表（作業表）５２で選択した動作要素に対する個別コメントの入力を入力部１４で受け付ける。ＣＰＵ１１は受け付けた個別コメントをコメントＤＢ１２４の個別コメント列に記憶させる。総括コメント列には取得した動画全体に対するコメントを示す総括コメントが記憶される。ＣＰＵ１１は総括コメント欄５７に総括コメントの入力を入力部１４で受け付ける。ＣＰＵ１１は受け付けた総括コメントを集計情報ＤＢ１２２に記憶させる。
FIG. 6 is a diagram illustrating an example of data stored in the
分析画面５は上部に分割された表示ウィンドウ５１Ａ、５１Ｂ、５１Ｃ及び５１Ｄと、表示ウィンドウ５１Ａ、５１Ｂ、５１Ｃ及び５１Ｄの下部に設けられた動作要素表５２と、左下部に設けられた種別グラフ５３Ａ及び５３Ｂと、表示ウィンドウ５１Ｄの右部に設けられた集計表５４と、集計表５４の右部に設けられた切替ボタン５１０と、集計表５４の下部に設けられた稼動グラフ５５と、動作要素表５２の右部に設けられた個別コメント欄５６と、個別コメント欄５６の下部に設けられた総括コメント欄５７とを備える。動作要素表５２の下部には合計欄５２３が設けられている。動作要素表５２及び合計欄５２３にはレーティング欄５２１及び非定常欄５２２が設けられている。表示ウィンドウ５１Ａの左端にはレーティング率欄５１１が設けられている。表示ウィンドウ５１Ａの左上部には決定レーティング率欄５１２が設けられている。表示ウィンドウ５１Ａ、５１Ｂ、５１Ｃ及び５１Ｄ等は場合により表示ウィンドウ５１で代表する。種別グラフ５３Ａ及び５３Ｂ等は場合により種別グラフ５３で代表する。稼動グラフ５５は非稼動部分５５Ａ、準稼動部分５５Ｂ及び稼動部分５５Ｃにより構成される。個別コメント欄５６の上部にはコメントタブ５６１が設けられている。表示ウィンドウ５１Ａ、５１Ｂ及び５１Ｃに表示されている動画は、同一時間軸で撮影又は再生する動画である。ここで表示ウィンドウ５１Ａには作業員Ａ、表示ウィンドウ５１Ｂには作業員Ｂの動画が表示されているものとする。
The
表示ウィンドウ５１は動画データ又はマニュアル等の動作要素に関連する情報を表示するウィンドウである。レーティング率欄５１１はレーティング率の入力を行うための欄である。決定レーティング率欄５１２は動作要素のレーティング率を表示するための欄である。動作要素表５２は動作要素に関する情報を表示する表である。レーティング欄５２１はレーティングを行うか否かを判定するためのチェックボックスを備える欄である。非定常欄５２２は非定常情報であるか否かを判定するためのチェックボックスを備える欄である。合計欄５２３は複数の動作要素に関する情報を合計した合計関連情報を表示する表である。種別グラフ５３は種別分類毎に種別に対応する要素時間の割合を表示した棒グラフである。集計表５４は集計情報を表示する表である。稼動グラフ５５は動作合計時間、準稼動合計時間及び無効合計時間の割合を表示した円グラフである。個別コメント欄５６は個別コメントを表示する欄である。コメントタブ５６１は個別コメントを切り替えるためのタブである。コメントタブ５６１は複数であり、左端から表示ウィンドウ５１Ａ、５１Ｂ、５１Ｃ及び５１Ｄの夫々に対応している。総括コメント欄５７は取得した動画全体に対する総括コメントを表示する欄である。切替ボタン５１０は各表示ウィンドウ５１の動画データに対応する動作要素表５２を切り替えるためのボタンである。
The
分析画面５の動作は以下の通りである。なお、本実施形態では予め撮像された各動画を動作要素に分割しているものとする。ＣＰＵ１１は要素情報ＤＢ１２１を参照し、動作要素表５２に動作要素、種別、開始時間、要素時間、比較値、差異、区分、非定常情報、レーティング率等を表示する。また動作要素表５２は、表示ウィンドウ５１Ａ、５１Ｂ及び５１Ｃに設定することができる。ユーザが図７の切替ボタン５１０を入力部１４で選択した場合、ＣＰＵ１１は表示ウィンドウ５１Ａ、５１Ｂ又は５１Ｃに対する動作要素表５２を切り替えて分析画面５に表示させる事ができる。また非定常欄５２２のチェックボックスにより非定常情報の入力をすることができる。動作要素表５２の各欄が入力部１４で選択された場合、ＣＰＵ１１は動作要素の選択を入力部１４で受け付ける。ＣＰＵ１１は選択された動作要素に対応する複数の動画データを表示ウィンドウ５１に表示する。例えば、ＣＰＵ１１は表示ウィンドウ５１Ａに表示される作業員Ａの動作要素「溶接」を選択した場合、表示ウィンドウ５１Ｂ及び５１Ｃの夫々には、同時間軸上の他の作業員の動画等が表示する。ＣＰＵ１１は表示ウィンドウ５１Ｄに動作要素「溶接」に対応するマニュアルＡを表示する。
The operation of the
ユーザは表示ウィンドウ５１に表示された動画データを視聴することで、動画データ内にて作業者が作業に対して無効な動作をしているか否かを判断する。ユーザは作業者が作業に対して無効な動作をしていると判断した場合、表示ウィンドウ５１を入力部１４で選択することで無効時間を算出する。具体的にはＣＰＵ１１は動画データを表示ウィンドウ５１で再生中に表示ウィンドウ５１を入力部１４で選択してから再度表示ウィンドウ５１を入力部１４で選択するまでの時間を無効時間として算出する。ＣＰＵ１１は要素時間から無効時間を引くことで動作時間を算出する。なお、ＣＰＵ１１はさらにレーティング率の入力を入力部１４で受け付け、受け付けたレーティング率を要素時間から無効時間を引いた値に積算することで動作時間を算出してもよい。ＣＰＵ１１は算出した無効時間及び動作時間を動作要素表５２に表示する。動作要素表５２において各種別には色が対応づけられている。ＣＰＵ１１は種別情報ＤＢ１２３を参照し、各種別に対応づけられた色を動作要素表５２の種別に表示する。
The user views the moving image data displayed on the
ＣＰＵ１１は種別グラフ５３に種別毎の要素時間を時系列順に表示する。例えば、ＣＰＵ１１は種別グラフ５３Ａに作業単位の種別である「手作業」、「工具作業」、「マシン作業」及び「手作業」に対応する色を「手作業」、「工具作業」、「マシン作業」及び「手作業」の時系列順に表示する。さらにＣＰＵ１１は種別グラフ５３Ｂに工程単位の種別「第１工程」及び「第２工程」に対応する色を「第１工程」及び「第２工程」の時系列順に表示する。種別グラフ５３Ａ及び５３Ｂの各色の割合は各種別の要素時間の割合に対応している。なお、本実施形態の種別グラフ５３は種別毎の要素時間を時系列順に表示したが、これに限られない。また本実施形態では種別は３つであるが、これ以上またはこれ以下の種別を設定することができる。例えば、種別グラフ５３は種別毎の動作時間、無効時間又は標準時間を時系列順に表示してもよい。また種別グラフ５３には、異なるウィンドウに表示される作業員の種別毎の要素時間を時系列順に表示することもできる。例えば表示ウィンドウ５１Ａに表示される作業員Ａと表示ウィンドウ５１Ｂに表示される作業員Ｂの工程単位の種別を表示することで、作業員Ａと作業員Ｂの作業を比較することができる。
The
レーティング率及び標準時間の算出方法の一例は以下の通りである。ユーザは表示ウィンドウ５１Ａ、５１Ｂ及び５１Ｃに同一時間軸上の動画データを視聴する。ユーザは表示ウィンドウ５１ＤのマニュアルＡを確認し、作業員ＡがマニュアルＡに則っていると判断する。ユーザは種別グラフ５３に表示ウィンドウ５１Ａに表示されている作業員Ａの作業単位の種別と、表示ウィンドウ５１Ｂに表示されている作業員Ｂの作業単位の種別を表示することによって、作業員Ａと作業員Ｂが同じ作業に対してどのくらい遅れが発生しているのかを容易に確認することができる。ここで作業員Ａの動作要素の動作時間が通常の作業より遅いと考えた場合には、ユーザはレーティング率欄５１１で１．１倍を選択する。ＣＰＵ１１は決定レーティング率欄５１２に１．１倍を表示する。例えば「動作要素」の「溶接」について上記のとおりレーティングを行う場合には、ＣＰＵ１１はレーティング欄５２１と同一の列にある動作要素の動作時間「３．５０」にレーティング率「１．１」を積算することで標準時間「３．８５」を算出する。ＣＰＵ１１はレーティング率「１．１」及び標準時間「３．８５」を動作要素表５２に表示し、要素情報ＤＢ１２１に記憶する。また動作要素「金具Ａをセット」の動作時間は通常の作業より遅いと考えた場合、ユーザはレーティング率欄５１１で０．８倍を選択する。ＣＰＵ１１は決定レーティング率欄５１２に０．８倍を表示する。ＣＰＵ１１はレーティング欄５２１と同一の列にある動作要素の動作時間「８．００」にレーティング率「０．８」を積算することで標準時間「６．４０」を算出する。ＣＰＵ１１はレーティング率「０．８」及び標準時間「６．４０」を動作要素表５２に表示し、要素情報ＤＢ１２１に記憶する。以下、同様であり、簡潔のため記載を省略する。
An example of the rating rate and standard time calculation method is as follows. The user views moving image data on the same time axis in the
ユーザが標準時間で動作要素の動画データを視聴したいと希望した場合、以下の手順で動作要素の動画データを標準時間で再生できる。ＣＰＵ１１はレーティング欄５２１内のチェックボックスに入力を入力部１４で受け付ける。例えば、ユーザがレーティング欄５２１内の１行目の「１．１」のチェックボックスを入力部１４で入力した場合、表示ウィンドウ５１Ａの動画１０１の再生時間は１．１倍され、動作時間「３．５」にレーティング率「１．１」を乗算した値である「３．８５」を標準時間として設定する。ＣＰＵ１１は再生時間が標準時間「３．８５」になるように動画１０１をスロー再生する。また、ユーザが切替ボタン５１０を入力部１４で選択した場合、作業員Ｂの動作要素表５２が分析画面５に表示される。以下、同様の動作により再生時間が標準時間になるように表示ウィンドウ５１Ｂの動画をスロー再生又は再生スピードを早くして再生する。表示ウィンドウ５１Ｃについても同様であり、簡潔のため、記載を省略する。
When the user desires to view the motion element moving image data in the standard time, the motion element moving image data can be reproduced in the standard time by the following procedure. The
ＣＰＵ１１は要素合計時間、動作合計時間、無効合計時間、合計比較値、合計差異、全体レーティング率、準稼動合計時間、稼動合計時間及び標準合計時間等を算出する。例えば、ＣＰＵ１１は動作要素表５２の全ての要素時間を合計した要素合計時間「２７．００」を算出する。ＣＰＵ１１は動作要素表５２の全ての動作時間を合計した動作合計時間「２２．００」を算出する。ＣＰＵ１１は動作要素表５２の全ての無効時間を合計した無効合計時間「５．００」を算出する。
The
ＣＰＵ１１は動作要素表５２の１列目、２列目、４列目の区分が「準稼動」であるため、動作時間「３．５０」、「２．５０」及び「８．００」を合計した準稼動合計時間「１４．００」を算出し、図４の準稼動合計時間に値を入力する。ＣＰＵ１１は全てのレーティング率の平均値を算出することで全体レーティング率「１．０７」を算出する。ＣＰＵ１１は動作合計時間にレーティング率「１．０７」を積算した標準合計時間「２３．５４」を算出する。ＣＰＵ１１は動作要素表５２の全ての比較値を合計した合計比較値「２３．５」を算出する。ＣＰＵ１１は合計比較値「２３．５」から標準合計時間「２３．５４」を減算した合計差異「０．０４」を算出する。ＣＰＵ１１は動作合計時間「２２．００」から準稼動合計時間「１４．００」を減算した稼動合計時間「８．００」を算出する。なお、本実施形態では要素合計時間、動作合計時間、無効合計時間、準稼動合計時間は取得した動画の動作要素の全てを合計した値だが、これに限られない。例えば、要素合計時間、動作合計時間、無効合計時間、準稼動合計時間及び稼動合計時間は動作要素表５２で一又は複数選択された動作要素の要素合計時間、動作合計時間、無効合計時間、準稼動合計時間及び稼動合計時間であってもよい。
The
ＣＰＵ１１は算出した要素合計時間、動作合計時間、無効合計時間、合計差異、全体レーティング率、準稼動合計時間及び標準合計時間を合計欄５２３に表示する。ＣＰＵ１１は算出した要素合計時間、動作合計時間、無効合計時間、合計差異、全体レーティング率、準稼動合計時間及び標準合計時間を集計情報ＤＢ１２２に記憶させる。
The
ＣＰＵ１１は算出した要素合計時間「２７．００」、動作合計時間「２２．００」及び無効合計時間「５．００」を集計表５４に表示する。なお、ＣＰＵ１１は集計表５４に準稼動合計時間又は稼動合計時間を表示してもよい。
The
ＣＰＵ１１が稼動グラフ５５を表示する処理は以下の通りである。ＣＰＵ１１は要素合計時間「２７．００」に対する無効合計時間「５．００」の割合で非稼動部分５５Ａを生成する。ＣＰＵ１１は要素合計時間「２７．００」に対する準稼動合計時間「１４．００」の割合で準稼動部分５５Ｂを生成する。ＣＰＵ１１は要素合計時間「２７．００」に対する稼動合計時間「８．００」の割合で稼動部分５５Ｃを生成する。ＣＰＵ１１は生成した非稼動部分５５Ａ、準稼動部分５５Ｂ及び稼動部分５５Ｃに基づいて稼動グラフ５５を生成し、表示する。
The process in which the
ユーザは入力部１４でコメントタブ５６１の内、表示ウィンドウ５１Ａに対応するタブを選択する。ＣＰＵ１１は個別コメント欄５６に動作要素表５２で選択した動作要素の動画２０１に対応する個別コメントの入力を入力部１４で受け付ける。ユーザは入力部１４で個別コメント欄５６に「頑張って働いている」を入力する。ＣＰＵ１１は受け付けた個別コメント「頑張って働いている」をコメントＤＢ１２４に記憶させる。ユーザは入力部１４でコメントタブ５６１の内、表示ウィンドウ５１Ｂに対応するタブを選択する。ＣＰＵ１１は個別コメント欄５６に動作要素表５２で選択した動作要素の動画２０１に対応する個別コメントの入力を入力部１４で受け付ける。ユーザは入力部１４で個別コメント欄５６に「１人休憩している」を入力する。ＣＰＵ１１は受け付けた個別コメント「１人休憩している」をコメントＤＢ１２４に記憶させる。以下、同様であり、簡潔のため記載を省略する。ＣＰＵ１１は総括コメント欄５７に総括コメントの入力を入力部１４で受け付ける。ユーザは稼動グラフ５５を確認し、総括コメント欄５７に「全体的に準稼動合計時間が多い」を入力部１４で入力する。ＣＰＵ１１は受け付けた総括コメント「全体的に準稼動合計時間が多い」をコメントＤＢ１２４に記憶させる。
The user selects a tab corresponding to the
図８〜９は本実施形態における情報処理システムの処理手順を示したフローチャートである。ＣＰＵ１１は動作要素、種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、差異、区分、非定常情報、レーティング率及び標準時間等を記憶部１２から読込又は入力部１４で入力を受け付ける（ステップＳ１１）。ＣＰＵ１１は動作要素、種別、開始時間、終了時間、要素時間、動作時間、無効時間、比較値、差異、区分、非定常情報、レーティング率及び標準時間等に基づいて動作要素表５２及び種別グラフ５３を表示する（ステップＳ１２）。
8 to 9 are flowcharts showing the processing procedure of the information processing system in this embodiment. The
ＣＰＵ１１は表示ウィンドウ５１でレーティング率の選択を入力部１４で受け付ける（ステップＳ１３）。ＣＰＵ１１は動作時間に受け付けたレーティング率を積算することで標準時間を算出する（ステップＳ１４）。ＣＰＵ１１は動作要素、動作要素の種別、開始時間、要素時間、動作時間、無効時間、比較値、差異、区分、非定常情報、レーティング率、標準時間等に基づいて要素合計時間、動作合計時間、無効合計時間、合計比較値、合計差異、全体レーティング率、準稼動合計時間、稼動合計時間及び標準合計時間等を算出する（ステップＳ１５）。
The
ＣＰＵ１１は要素合計時間、動作合計時間、無効合計時間、合計差異、全体レーティング率、準稼動合計時間及び標準合計時間等に基づいて合計欄５２３を表示し、要素合計時間、動作合計時間及び無効合計時間等に基づいて集計表５４を表示する（ステップＳ１６）。ＣＰＵ１１は要素合計時間、稼動合計時間、準稼働合計時間及び無効合計時間に基づいて稼動グラフ５５を生成及び表示する（ステップＳ１７）。なお、要素合計時間は無効合計時間、準稼動合計時間及び稼動合計時間を合計することで算出できる。このため、無効合計時間、準稼動合計時間及び稼動合計時間に基づいて稼動グラフ５５を生成し、表示することもできる。ＣＰＵ１１は動作要素の選択を入力部１４で受け付ける（ステップＳ１８）。ＣＰＵ１１は受けつけた動作要素に対応する複数の動画データの内、同一時間の動作要素の動画データを表示ウィンドウ５１に表示する（ステップＳ１９）。ＣＰＵ１１は受けつけた動作要素に対応するマニュアルを表示ウィンドウ５１に表示する（ステップＳ２０）。
The
ＣＰＵ１１は個別コメント欄５６及び総括コメント欄５７に受け付けた動作要素の個別コメント及び総括コメントの入力を入力部１４で受け付ける（ステップＳ２１）。ＣＰＵ１１は個別コメント欄５６及び総括コメント欄５７に受け付けた個別コメント及び総括コメントを表示し（ステップＳ２２）、処理をＳ１１に移し、処理を繰り返す。
The
なお、本実施形態における表示ウィンドウ５１Ａは任意の２線間の角度を表示できるようにしてもよい。また、本実施形態では要素合計時間、稼動合計時間、準稼働合計時間及び無効合計時間に基づいて稼動グラフ５５を生成及び表示したが、動作合計時間及び無効合計時間に基づいて稼動グラフ５５を生成及び表示してもよい。
Note that the
一つの側面では、容易に複数の対象物に対して分析を行うことができる。 In one aspect, it is possible to easily analyze a plurality of objects.
一つの側面では、容易に複数の対象物に対して同一時間軸上で分析を行うことができる。 In one aspect, it is possible to easily analyze a plurality of objects on the same time axis.
一つの側面では、種別グラフ５３が同一時間軸上で種別毎の要素時間を表示できるため、要素毎の比較が容易となり、効率化できる工程の発見が容易になる。
In one aspect, since the
一つの側面では、各動画データに対して個別コメントを表示することで各動画データの理解に役立てることができる。 In one aspect, displaying individual comments for each moving picture data can help understanding each moving picture data.
ユーザは例えば、稼動グラフ５５で無効合計時間又は準稼動合計時間の割合が多いことが即座に確認できる。このため、ユーザは稼動グラフ５５を確認することで無駄時間の多い作業からレーティングを行うなど柔軟なレーティング作業が可能となる。
For example, the user can immediately confirm on the
一つの側面では、他の作業員の作業と比較しながら分析を行う事ができるので、より効率的な標準時間の設定が可能になる。 In one aspect, the analysis can be performed while comparing with the work of other workers, so that a more efficient standard time can be set.
（実施の形態２）
実施の形態２は、対象物の状態を計測した状態情報又は対象物の周辺の環境を計測した環境情報を取得し、表示ウィンドウ５１に表示する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態１と同等であり、簡潔のため記載を省略する。
(Embodiment 2)
The second embodiment relates to an embodiment in which state information obtained by measuring the state of the object or environment information obtained by measuring the environment around the object is acquired and displayed on the
本実施形態における情報処理装置１は計時部（図示せず）を備える。計時部は動画を撮像してからの時間を計時し、ＣＰＵ１１に計時した時間を出力している。動画を撮像してからの時間とはすなわち動画の再生時間である。
The
また、情報処理システムは、図１０に示すように、状態情報の一例として対象物（具体的には作業員）の生体情報を計測する生体センサ６１Ａ及び６１Ｂを備える。図１０は、情報処理システムの概要を示す説明図である。生体センサ６１Ａ及び６１Ｂ等は、場合により生体センサ６１０で代表する。
In addition, as illustrated in FIG. 10, the information processing system includes
生体センサ６１Ａ及び６１Ｂの夫々は、例えば圧力センサからなり、作業員Ａ及びＢの夫々に取り付けられている。なお、圧力センサとは、静電容量型加速度センサ又はピエゾ抵抗型加速度センサ等の加速度センサである。生体センサ６１０は、作業員Ａ及びＢの腰又は腕等の脈拍数を定期的に（例えば１秒間隔で）計測し、計測した脈拍数を情報処理装置１へ出力する。ＣＰＵ１１は、脈拍数を生体センサ６１０から取得する。このとき、ＣＰＵ１１は、脈拍数の計測時刻（厳密には脈拍数の取得時刻）を計時部からの出力に基づいて特定する。
Each of the
ＣＰＵ１１は、取得した脈拍数を時系列の生体グラフ（経時変化に相当）で表示ウィンドウ５１Ｅに表示する。このとき、ＣＰＵ１１は、表示ウィンドウ５１Ａ〜５１Ｃに表示された動画データ（換言すると、作業の動画を動作要素毎に分割した際の分割動画）と同期させながら上記の生体グラフを表示する。かかる内容について図１１Ａ及び図１１Ｂを参照しながら説明する。図１１Ａ及び図１１Ｂは、分析画面５の一例を示す説明図である。
The
先ず、図１１Ａを参照しながら説明すると、表示ウィンドウ５１Ａには作業員Ａの動作要素が表示され、表示ウィンドウ５１Ｂには同時間軸上の他の作業員（作業員Ｂ）の動画が表示される。また、表示ウィンドウ５１Ｅには作業員Ａ及びＢに取り付けられた生体センサから取得した脈拍数の生体グラフが表示されている。縦軸は脈拍数であり、単位はｂｐｍである。横軸は時間であり、単位は秒である。
First, with reference to FIG. 11A, the movement element of the worker A is displayed on the
また、ＣＰＵ１１は、表示ウィンドウ５１Ａ及び５１Ｂの其々に表示する動作要素を同期させながら表示する。具体的には、表示ウィンドウ５１Ａ及び５１Ｂの其々において表示される動作要素間で再生時間（具体的には、上記の計測部によって計時された時間）が揃うように調整する。さらに、ＣＰＵ１１は、表示ウィンドウ５１Ｅに生体グラフを表示する際、表示ウィンドウ５１Ａ及び５１Ｂにて表示される各動作要素と同じ時間軸に沿って当該各動作要素と同期させながら生体グラフを表示させる。具体的には、表示ウィンドウ５１Ａ及び５１Ｂに表示される動作要素の再生開始時刻と脈拍数の計測開始時刻とが揃うように調整する処理、すなわち頭出し処理を実行する。
Further, the
なお、頭出し処理において動作要素の再生開始時刻と脈拍数の計測開始時刻とを揃える際には、それぞれについて計時部が計時した時刻同士を合わせるとよい。ただし、これに限定されるものではなく、動作要素の中で作業員Ａ又はＢが最も動いた時点（可動量が最大となるピーク時点）と、生体グラフにおいて脈拍数が最大となった時点（脈拍数のピーク時点）とを合わせてもよい。ちなみに、それぞれのピーク時点を抽出してピーク時点同士を合わせる作業については、ユーザが表示ウィンドウ５１における表示内容を見ながら行ってもよく、ＣＰＵ１１が当該表示内容を解析して自動的に行ってもよい。
In addition, when aligning the reproduction start time of the motion element and the measurement start time of the pulse rate in the cueing process, it is preferable to match the times measured by the time measuring unit for each. However, the present invention is not limited to this, and the point in time when the worker A or B moves most among the operating elements (the peak point at which the movable amount becomes maximum) and the point at which the pulse rate becomes maximum in the biological graph ( (Pulse rate peak time) may be combined. Incidentally, the operation of extracting each peak time point and matching the peak time points may be performed while the user is viewing the display contents in the
以上のような構成により、ユーザは、表示ウィンドウ５１Ｅに表示された生体グラフから作業員Ａ及びＢの筋肉負荷を知ることができる。よって主観的に作業員の作業速度の遅速を判断するのではなく、客観的に作業員の作業速度の遅速を判断することができる。具体的には、作業員の作業速度が遅く感じた場合でも、その時間帯の筋肉負荷が大きい場合には、その作業員の作業速度は遅いものではなく、適切なものと判断する事ができる。
With the configuration as described above, the user can know the muscle loads of the workers A and B from the biological graph displayed in the
以上のように客観的に作業員の作業速度の遅速を判断することができるようになる結果、ユーザは、適正なレーティングを行う事ができる。すなわち、作業員Ａ及びＢの状態（コンディション）を考慮した上で妥当なレーティング率が入力部１４を通じて入力されるようになる。
As described above, the user can objectively determine the slowness of the work speed, and as a result, the user can perform an appropriate rating. That is, an appropriate rating rate is input through the
ちなみに、図１１Ａに図示のケースでは、表示ウィンドウ５１Ａ及び５１Ｂの其々に異なる作業員の動画（動作要素）が表示され、表示ウィンドウ５１Ｅには二人分の生体グラフが同時表示されることとしたが、これに限られない。図１１Ｂに示すように、表示ウィンドウ５１Ａ〜５１Ｄの其々に、一人の作業員が行う作業を異なる角度から撮像した各撮像角度別の動画を表示し、表示ウィンドウ５１Ｅに一人分の生体グラフを表示してもよい。
Incidentally, in the case shown in FIG. 11A, moving images (motion elements) of different workers are displayed on the
図１２は、本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ２２の処理は上述の実施の形態１に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１は、ステップＳ１９の処理を終了した後、通信部１６で生体センサ６１０から生体情報を取得する（ステップＳ３１）。その後、ＣＰＵ１１は、取得した生体情報に基づいて生体グラフを表示ウィンドウ５１に表示し（ステップＳ３２）、処理をＳ２０に移す。
FIG. 12 is a flowchart showing a processing procedure of the information processing system in the present embodiment. Since the processes in steps S11 to S22 are the same as those in the information processing system according to the first embodiment, the description thereof is omitted for the sake of brevity. CPU11 acquires biometric information from the
なお、本実施形態においてＣＰＵ１１は、対象物の生体情報の一例として脈拍数を取得することとしたが、これに限定されるものではなく、計測可能な他の生体情報、例えば、脳波、筋の活動電位、体温及び音声（厳密には、音声波形の振幅や周波数等）などを取得してもよい。また、対象物の状態を示す状態情報としては、生体情報に限られず、計測可能な他の状態情報、例えば、ジャイロセンサによって計測される対象物の傾き（姿勢）やＧＰＳによって計測される対象物の座標位置（緯度・経度）などを取得してもよい。
In this embodiment, the
また、本実施形態においてＣＰＵ１１は、対象物の生体情報を取得し、取得した生体情報に基づいて生体グラフを表示したが、これに限られない。ＣＰＵ１１は、例えば湿度計や温度計等の環境センサが計測した温度や湿度等の環境情報を取得し、取得した環境情報に基づいて環境情報を時系列で表示した環境グラフ（経時変化に相当）を表示してもよい。具体的には、季節によって湿度又は温度が変化するような作業場においては、湿度又は温度変化を確認しながら季節にあった標準時間の設定が可能になる。
Moreover, in this embodiment, although CPU11 acquired the biometric information of the target object and displayed the biograph based on the acquired biometric information, it is not restricted to this. The
以上のように本実施形態においてユーザは、状態情報及び環境情報のうちの少なくとも一方の情報を確認することで、主観的に行っていたレーティング率の決定を、より客観的に行うことができ、より精度の高い標準時間を算出できる。 As described above, in the present embodiment, the user can more objectively determine the rating rate that has been performed subjectively by confirming at least one of the state information and the environment information. More accurate standard time can be calculated.
（実施の形態３）
実施の形態３は区分に基づいて標準合計時間を算出する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態１と同等であり、簡潔のため記載を省略する。ＣＰＵ１１は図３を参照し、区分が準稼動である動作要素「溶接」、「パネルの固定」及び「金具Ａをセット」を抽出する。ＣＰＵ１１は抽出した動作要素「溶接」、「パネルの固定」及び「金具Ａをセット」の標準時間「３．８５」、「３．００」及び「９．６０」を合計した標準合計時間「１６．４５」を算出し、算出した標準合計時間「１６．４５」を合計欄５２３及び集計表５４に表示する。
(Embodiment 3)
The third embodiment relates to an embodiment for calculating the standard total time based on the category. In the following, the configuration and operation other than those specifically described are the same as those of the first embodiment, and the description is omitted for the sake of brevity. With reference to FIG. 3, the
図１３は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ２２の処理は上述の実施の形態１に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１はステップＳ１４の処理を終了した後、区分が準稼動である動作要素を抽出する（ステップＳ４１）。ＣＰＵ１１は抽出した動作要素の標準合計時間を算出し（ステップＳ４２）、処理をＳ１５に移す。
FIG. 13 is a flowchart showing the processing procedure of the information processing system in this embodiment. Since the processes in steps S11 to S22 are the same as those in the information processing system according to the first embodiment, the description thereof is omitted for the sake of brevity. After completing the process in step S14, the
ＣＰＵ１１は区分に基づいて標準合計時間を算出することができるため、機械が主として行う動作要素を省いた標準合計時間を算出することができる。このことにより、分析する必要のない動作要素を省くことができるため、時間の短縮をすることができる。
Since the
（実施の形態４）
実施の形態４は一の動画を複数の観点から分析するための観点分析画面６を表示する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態１と同等であり、簡潔のため記載を省略する。
(Embodiment 4)
図１４は作業員Ａに関するデータを格納する要素情報ＤＢ１２Ａである。図１５は作業員Ｂに関するデータを格納する要素情報ＤＢ１２Ｂである。本実施形態における要素情報ＤＢ１２１は動作要素を分析する観点毎に要素情報ＤＢ１２Ａ、要素情報ＤＢ１２Ｂ等の複数のデータベースを備える。本実施形態における観点は対象物毎に観察を行うものであるが、これに限られるものではない。観要素情報ＤＢ１２１は計測回数列を備える。計測回数列には無効時間を計測した計測回数が記憶される。ＣＰＵ１１は動作要素内で無効時間を計測する毎に計測回数をインクリメントする。ＣＰＵ１１はインクリメントした計測回数を動作要素に対応する計測回数列に記憶させる。
FIG. 14 shows an element information DB 12A that stores data related to the worker A. FIG. 15 shows an element information DB 12B that stores data related to the worker B. The
図１６はＶｉｅｗ１を選択した観点分析画面６の一例を示す説明図である。図１７はＶｉｅｗ２を選択した観点分析画面６の一例を示す説明図である。観点分析画面６は例えば、作業員Ａ又は作業員Ｂ等の観点により分割した動作要素に関する情報が表示される。以下、観点分析画面６の詳細について説明する。観点分析画面６は左上部に分割された表示ウィンドウ６１と、右上部に設けられた種別表６８Ａ及び６８Ｂと、種別表６８Ａ及び６８Ｂの下部に設けられた動作要素表６２と、動作要素表６２の下部に設けられた集計表６４と、集計表６４の下部に設けられた種別グラフ６３Ａ及び６３Ｂと、種別グラフ６３Ａ及び６３Ｂの下部に設けられた稼動グラフ６５と、表示ウィンドウ６１の下部に設けられた無効欄６６と、稼動グラフ６５の右部に設けられた個別コメント欄６７とを備える。動作要素表６２の右端にはレーティング欄６２１及び非定常欄６２３が設けられている。動作要素表６２の上部にはタブ６２２が設けられている。表示ウィンドウ６１の左端にはレーティング率欄６１１が設けられている。表示ウィンドウ６１の左上部には決定レーティング率欄６１２が設けられている。種別グラフ６３Ａ及び６３Ｂ等は場合により種別グラフ６３で代表する。種別グラフ６３Ａ及び６３Ｂ等は、種別１と種別２又は種別２と種別３等、種別毎に時間軸を合わせて表示させたものである。稼動グラフ６５は非稼動部分６５Ａ、準稼動部分６５Ｂ及び稼動部分６５Ｃにより構成される。無効欄６６は無効割合グラフ６６Ａ、６６Ｂ、６６Ｃ及び６６Ｄと、計測回数欄６６１と、全体計測欄６６２とを備える。無効割合グラフ６６Ａ、６６Ｂ、６６Ｃ及び６６Ｄは場合により無効割合グラフ６６０で代表する。種別表６８Ａ及び６８Ｂ等は場合により種別表６８で代表する。表示ウィンドウ６１、種別グラフ６３、集計表６４、稼動グラフ６５及び個別コメント欄６７は表示ウィンドウ５１、種別グラフ５３、集計表５４、稼動グラフ５５及び個別コメント欄５６と同様の構成及び動作であり、簡潔のため記載を省略する。
FIG. 16 is an explanatory diagram illustrating an example of the
種別表６８は動作要素の種別を表示する表である。タブ６２２は動作要素表６２を観点毎に切り替えるためのタブである。無効欄６６は無効時間に関する情報を表示する欄である。無効割合グラフ６６０は要素時間に対する無効時間の割合を表示した棒グラフである。計測回数欄６６１は計測回数を表示する欄である。全体計測欄６６２は取得した動画内で無効時間を計測した回数を示す全体計測回数を表示する欄である。
The type table 68 is a table that displays types of operation elements. A
観点分析画面６の動作は以下の通りである。図１６に示すようにユーザがタブ６２２の「Ｖｉｅｗ１」を入力部１４で選択した場合、ＣＰＵ１１は要素情報ＤＢ１２Ａを参照し、作業員Ａに関する動作要素の情報を表示ウィンドウ６１、動作要素表６２、種別グラフ６３、集計表６４及び稼動グラフ６５を表示する。ＣＰＵ１１は種別表６８Ａに作業員Ａの動作要素の種別を表示し、種別表６８Ｂに作業種類の動作要素の種別を表示する。ＣＰＵ１１は無効欄６６において要素時間に対する無効時間の割合を無効割合グラフ６６０の下側に表示し、要素時間に対する動作時間の割合を無効割合グラフ６６０の上側に表示する。例えばＣＰＵ１１は動作要素表６２の１行目の動作要素を選択した場合、行番号に対応する左端の無効割合グラフ６６Ａを選択する。ＣＰＵ１１は要素情報ＤＢ１２Ａを参照し、計測回数欄６６１に選択した動作要素に対応する計測回数を表示する。ＣＰＵ１１は要素情報ＤＢ１２Ａ及び１２Ｂ等の複数のデータベースの計測回数列の計測回数を合計することで全体計測回数を算出する。ＣＰＵ１１は算出した全体計測回数を全体計測欄６６２に表示する。
The operation of the
図１７に示すようにユーザがタブ６２２の「Ｖｉｅｗ２」を入力部１４で選択した場合、ＣＰＵ１１は要素情報ＤＢ１２Ｂを参照し、作業員Ｂに関する動作要素の情報を表示ウィンドウ６１、動作要素表６２、種別グラフ６３、集計表６４、稼動グラフ６５、種別表６８及び無効欄６６を表示する。
As shown in FIG. 17, when the user selects “
ユーザはタブ６２２を切り替えることで作業員Ａ及び作業員Ｂの情報を比較し、作業員Ａ及び作業員Ｂ夫々の標準時間等の設定に利用することができる。例えば、作業員Ａの動作要素「右側の溶接」の無効時間が「０．５０」であり、かつ作業員Ｂの動作要素「左側の溶接」の無効時間が「１．００」である場合、ユーザは無効割合グラフ６６０で作業員Ｂに対して作業員Ａの無効時間の割合が少ないことが解る。ユーザは計測回数欄６６１で作業員Ａに対応する計測回数が「３」であり、かつ作業員Ｂに対応する計測回数が「４」であることが解る。ユーザは全体計測欄６６２で作業員Ａに対応する全体計測回数が「１２」であり、かつ作業員Ｂに対応する全体計測回数が「１６」であることが解る。
The user can compare the information of the worker A and the worker B by switching the
以上よりユーザは作業員Ａが熟練の作業員であることが解る。このことによりユーザは作業員Ａに対応する動作要素のレーティング率を増加させた値を入力部１４で入力する。ＣＰＵ１１は入力したレーティング率及び動作時間に基づいて適正な標準時間を算出する。ユーザがタブ６２２の「Ｖｉｅｗ１」を入力部１４で選択し、ＣＰＵ１１は個別コメント欄６７に入力を入力部１４で受け付ける。ユーザは個別コメント欄６７に「作業員Ａは熟練である」を入力する。ＣＰＵ１１は個別コメント欄６７に「作業員Ａは熟練である」を表示する。ユーザがタブ６２２の「Ｖｉｅｗ２」を入力部１４で選択し、ＣＰＵ１１は個別コメント欄６７に入力を入力部１４で受け付ける。ユーザは個別コメント欄６７に「作業員Ｂは新人である」を入力する。ＣＰＵ１１は個別コメント欄６７に「作業員Ｂは新人である」を表示する。
From the above, the user understands that worker A is a skilled worker. Accordingly, the user inputs a value obtained by increasing the rating rate of the motion element corresponding to the worker A through the
図１８〜１９は本実施形態における情報処理システムの処理手順を示したフローチャートである。ＣＰＵ１１はタブ６２２で観点の選択を入力部１４で受け付ける（ステップＳ５１）。ＣＰＵ１１は選択した観点に基づいて要素情報ＤＢ１２１を読み込む（ステップＳ５２）。ＣＰＵ１１は動作要素、非定常情報、種別、開始時間、要素時間、動作時間、無効時間、比較値、差異、区分、レーティング率及び標準時間等を記憶部１２から読込又は入力部１４で入力を受け付け（ステップＳ５３）、処理をＳ１２に移す。ステップＳ１２〜Ｓ１８の処理は上述の実施の形態１に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１はＳ１８の処理を終了した後、一の動画データを表示ウィンドウ６１に表示する（ステップＳ５４）。ＣＰＵ１１は要素時間、動作時間及び無効時間に基づいて無効割合グラフ６６０を表示する（ステップＳ５５）。ＣＰＵ１１は計測回数及び全体計測回数の夫々を計測回数欄６６１及び全体計測欄６６２の夫々に表示する（ステップＳ５６）。ＣＰＵ１１は個別コメント欄６７に個別コメントを表示し（ステップＳ５７）、タブ６２２で観点の選択を入力部１４で受け付ける（ステップＳ５８）。ＣＰＵ１１は異なる観点を選択したか否かを判定する（ステップＳ５９）。ＣＰＵ１１は異なる観点を選択しなかったと判定した場合（ステップＳ５９：ＮＯ）、異なる観点を選択するまで待機する。ＣＰＵ１１は異なる観点を選択したと判定した場合（ステップＳ５９：ＹＥＳ）、内容の異なる動作要素表６２等を表示する画面に切り替え（ステップＳ６０）、処理をステップＳ５２に移し、処理を繰り返す。
18 to 19 are flowcharts showing the processing procedure of the information processing system in this embodiment. The
一つの側面では、観点毎に種別グラフ６３の表示をタブ６２２により切り替えることで観点毎の種別又は動作時間等の比較が容易になる。
In one aspect, by switching the display of the
一つの側面では、タブ６２２を切り替えることで対象物毎に比較することができるため、作業員同士の作業の優劣を即座に理解することができる。このことによりレーティング率の算出に役立てることができる。
In one aspect, by switching the
一つの側面では、観点毎に稼動グラフ６５の表示をタブ６２２により切り替えることで観点毎の無効合計時間又は準稼動合計時間等の比較が容易になる。このことによりレーティング率の算出に役立てることができる。
In one aspect, by switching the display of the
一つの側面では、無効割合グラフ６６０を表示することで各種別の無効時間の割合を理解することが容易になる。このことによりレーティング率の算出に役立てることができる。
In one aspect, displaying the
一つの側面では、動作要素毎に非定常情報を表示することでユーザが周期的な作業であるか否かを理解することができる。このため、周期的な作業であった場合、慣れているためレーティング率を低く設定する等、レーティング率の算出に役立てることができる。 In one aspect, the non-stationary information is displayed for each operation element, so that the user can understand whether or not the work is a periodic operation. For this reason, if it is a periodic work, it can be used to calculate the rating rate, such as setting the rating rate low because it is used to it.
（実施の形態５）
実施の形態５は非定常情報に関する情報を分析するためのサイクル画面７を表示する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態１と同等であり、簡潔のため記載を省略する。記憶部１２はさらに非定常情報ＤＢ１２７を備える。
(Embodiment 5)
The fifth embodiment relates to an embodiment in which a
図２０は非定常情報ＤＢ１２７に格納されているデータの一例を示す図である。非定常情報ＤＢ１２７は非定常情報に関する情報を記憶するデータベースである。非定常情報ＤＢ１２７は動作要素列、非定常列、種別１列、１サイクル列、２サイクル列及び３サイクル列等を備える。以下、場合により１サイクル列、２サイクル列及び３サイクル列等はサイクル列で代表する。サイクル列は動作要素内の作業が繰り返される回数を示すサイクル数を示し、開始時間列及び要素時間列を備える。非定常情報ＤＢ１２７の動作要素列、非定常列、種別１列、開始時間列及び要素時間列は要素情報ＤＢ１２１と同様の構成であり、簡潔のため記載を省略する。ＣＰＵ１１は要素情報ＤＢ１２１を参照し、サイクル表７２の動作要素列、非定常列、作業員Ａ列に動作要素、非定常情報及び種別を非定常情報ＤＢ１２７に記憶させる。ＣＰＵ１１はサイクル画面７で各サイクル列の開始時間及び要素時間の入力を入力部１４で受け付け、受け付けた開始時間及び要素時間を各サイクル列の開始時間列及び要素時間列に記憶させる。
FIG. 20 is a diagram illustrating an example of data stored in the non-stationary information DB 127. The unsteady information DB 127 is a database that stores information related to unsteady information. The unsteady information DB 127 includes an operation element row, an unsteady row, a
図２１はサイクル画面７の一例を示す説明図である。サイクル画面７は左上部に分割された表示ウィンドウ７１と、右上部に設けられた種別表７８、種別表７８の下部に設けられたサイクル表７２と、表示ウィンドウ７１の下部に設けられたサイクルコメント欄７７とを備える。表示ウィンドウ７１の左端にはレーティング率欄７１１が設けられている。表示ウィンドウ７１の左上部には決定レーティング率欄７１２が設けられている。サイクル表７２は下部に合計欄７２１を備える。サイクル表７２は非定常情報に関する情報を表示するための表である。表示ウィンドウ７１、サイクルコメント欄７７及び種別表７８は表示ウィンドウ６１、個別コメント欄６７及び種別表６８と同様の構成及び動作であり、簡潔のため記載を省略する。
FIG. 21 is an explanatory diagram showing an example of the
サイクル画面７の動作は以下の通りである。ＣＰＵ１１はサイクル画面７の表示の選択を入力部１４で受け付ける。ユーザはサイクル画面７の表示を選択し、ＣＰＵ１１はサイクル画面７を表示する。ＣＰＵ１１は要素情報ＤＢ１２１を参照し、サイクル表７２の動作要素列及び作業員Ａ列に動作要素、非定常情報及び種別を表示する。ＣＰＵ１１は動作要素の非定常情報が周期性のある動作を示すか否かを判定する。
The operation of the
ＣＰＵ１１は動作要素「溶接」、「パネルの固定」及び「ボルトの締め付け」の非定常情報列が×であると判定する。例えば、作業員Ａが３回動作要素「溶接」、「パネルの固定」及び「ボルトの締め付け」の作業を行っている場合、ＣＰＵ１１は動作要素「溶接」、「パネルの固定」及び「ボルトの締め付け」の１サイクル列、２サイクル列及び３サイクル列等に入力を入力部１４で受け付ける。ユーザは１サイクル列、２サイクル列及び３サイクル列の開始時間及び要素時間を入力部１４で入力する。ＣＰＵ１１は動作要素の非定常情報が周期性のない動作を示すと判定した場合、要素情報ＤＢ１２１を参照し、動作要素「金具Ａをセット」に対応する１サイクル列に要素情報ＤＢ１２１の開始時間及び要素時間を表示する。ＣＰＵ１１は１サイクル列、２サイクル列及び３サイクル列の要素時間の合計「２７．００」、「１５．００」及び「１８．００」を算出し、算出した要素時間の合計「２７．００」、「１５．００」及び「１８．００」を各サイクル列の下部の合計欄７２１に表示する。
The
図２２は本実施形態における情報処理システムの処理手順を示したフローチャートである。ＣＰＵ１１はサイクル画面７の表示の選択を入力部１４で受け付ける。ステップＳ１１〜Ｓ２２の処理は上述の実施の形態１に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１はステップＳ２２の処理を終了した後、サイクル画面７の表示の選択を入力部１４で受け付ける（ステップＳ６１）。ＣＰＵ１１は要素情報ＤＢ１２１に基づいてサイクル表７２を表示する（ステップＳ６２）。具体的にはＣＰＵ１１は要素情報ＤＢ１２１を参照し、サイクル表７２の動作要素列及び種別１列に動作要素、非定常情報及び種別を表示する。
FIG. 22 is a flowchart showing the processing procedure of the information processing system in this embodiment. The
ＣＰＵ１１は動作要素の非定常情報が周期性のある動作であるか否かを判定する（ステップＳ６３）。ＣＰＵ１１は動作要素の非定常情報が周期性のある動作を示すと判定した場合（ステップＳ６３：ＹＥＳ）、サイクル表７２において動作要素に対応する各サイクル列に開始時間及び要素時間の入力を入力部１４で受け付ける（ステップＳ６４）。ＣＰＵ１１は受け付けた開始時間及び要素時間を各サイクル列の開始時間列及び要素時間列に表示し（ステップＳ６５）、処理をＳ６７に移す。ＣＰＵ１１は動作要素の非定常情報が周期性のない動作を示すと判定した場合（ステップＳ６３：ＮＯ）、要素情報ＤＢ１２１を参照し、動作要素に対応する１サイクル列に要素情報ＤＢ１２１の開始時間及び要素時間を表示する（ステップＳ６６）。ＣＰＵ１１は全ての動作要素について判定を行ったか否かを判定する（ステップＳ６７）。ＣＰＵ１１は全ての動作要素について判定を行っていないと判定した場合（ステップＳ６７：ＮＯ）、処理をステップＳ６３に移す。ＣＰＵ１１は全ての動作要素について判定を行ったと判定した場合（ステップＳ６７：ＹＥＳ）、要素時間の合計を算出し、合計欄７２１に表示し（ステップＳ６８）、処理をＳ１１に移す。
The
一つの側面によれば、周期性のある動作について詳細に分析することができる。 According to one aspect, a periodic operation can be analyzed in detail.
（実施の形態６）
実施の形態６はワークサンプリング法を用いて動作要素に関する情報を作成する実施の形態に関する。以下、特に説明する構成、作用以外の構成及び作用は実施の形態４及び５と同等であり、簡潔のため記載を省略する。ワークサンプリングとは、作業者が行っている各作業を瞬時に計測して、統計的に集計・分類を行うものである。瞬間的に観測を行うので、作業者は撮影行為を意識せず作業を行える為、比較的実測に近い状態で観測する方法として一般的に用いられている。具体的なワークサンプリング法とは以下の通りである。動画から一定間隔又はランダムな間隔で対象物の画像を所定の回数抽出し、抽出した対象物の画像を分析することで対象物が行う作業種類に係る回数の構成比率を算出する。ユーザは算出した構成比率に基づいて分析画面５、観点分析画面６又はサイクル画面７等により標準時間、動作時間又は無効時間等の動作要素に関する情報を作成する手法である。以下、本実施形態に係る情報処理システムの詳細を説明する。
(Embodiment 6)
本実施形態に係る記憶部１２はさらにサンプリングテーブル１２５、対応テーブル１２６及びサンプリング集計テーブル１２７を備える。図２３はサンプリングテーブル１２５及び対応テーブル１２６に格納されているデータの一例を示す図である。サンプリングテーブル１２５はワークサンプリング法に用いられるサンプリングデータを記憶するデータベースである。本実施形態におけるサンプリングテーブル１２５はサンプル数（対象物）毎にサンプリングテーブル１２Ａ、サンプリングテーブル１２Ｂ等の複数のデータベースを備える。サンプル数とは１つの画像に映る作業員の数である。図２３Ａは作業員Ａのサンプリングテーブル１２Ａに格納されているデータの一例を示す図である。図２３Ｂは作業員Ｂのサンプリングテーブル１２Ｂに格納されているデータの一例を示す図である。
The
サンプリングテーブル１２５は画像ＩＤ列、画像列、作業種類列及び稼動情報列等を備える。画像ＩＤ列には画像を識別するための画像ＩＤが記憶される。画像列には抽出した画像が画像ＩＤに対応づけて記憶される。作業種類列には表示された画像に対応する対象物が行う作業の種類を示す作業種類が記憶される。作業種類とは例えば「左側の溶接」又は「ロボットによる組み立て」等である。例えば、作業種類列には作業員Ａの作業の種類が「左側の溶接」であること又は作業員Ａの作業の種類が「ロボットによる組み立て」であること等が記憶される。稼動情報列には対象物が稼動しているか否かを示す稼動情報が画像ＩＤに対応づけて記憶される。稼動情報列には例えば、稼動、非稼動又は準稼動が記憶される。稼動は対象物が稼動していることを示す。非稼動は対象物が非稼動であることを示す。準稼動は対象物が準稼動動作をしていることを示す。 The sampling table 125 includes an image ID column, an image column, a work type column, an operation information column, and the like. An image ID for identifying an image is stored in the image ID column. In the image sequence, the extracted image is stored in association with the image ID. The work type column stores a work type indicating the type of work performed by the object corresponding to the displayed image. The work type is, for example, “left welding” or “assembly by robot”. For example, the work type column stores information indicating that the work type of the worker A is “left side welding” or the work type of the worker A is “assembly by robot”. In the operation information column, operation information indicating whether or not the object is operating is stored in association with the image ID. For example, operation, non-operation, or semi-operation is stored in the operation information column. Operation indicates that the object is operating. Non-operation indicates that the object is non-operation. Semi-operation indicates that the object is performing semi-operation.
ＣＰＵ１１は後述するワークサンプリング画面８で作業種類、稼動情報及び画像ＩＤの入力を入力部１４で受け付け、受け付けた情報を対応テーブル１２６に記憶させる。
The
図２４は複数の作業種類毎にまとめた作業工程と画像ＩＤ等とを対応づける対応テーブル１２６に格納されているデータの一例を示す図である。対応テーブル１２６は作業工程列及び画像ＩＤ列を備える。作業工程列には作業工程が記憶される。画像ＩＤ列には画像ＩＤが作業工程に対応づけて記憶される。ＣＰＵ１１は作業工程及び画像ＩＤの選択を受け付け、受け付けた作業工程及び画像ＩＤを対応づけて対応テーブル１２６に記憶させる。
FIG. 24 is a diagram showing an example of data stored in the correspondence table 126 for associating work processes, image IDs, and the like collected for a plurality of work types. The correspondence table 126 includes a work process column and an image ID column. A work process is stored in the work process column. An image ID is stored in the image ID column in association with a work process. The
図２５はサンプリング集計テーブル１２７に格納されているデータの一例を示す図である。サンプリング集計テーブル１２７はサンプリングデータを集計したサンプリング集計データを記憶するデータベースである。サンプリング集計テーブル１２７は生成動画列、作業工程列、サンプリング回数列、稼動数列、準稼動数列及び非稼動数列を備える。生成動画列には画像から生成した生成動画の名称が記憶される。生成動画は取得した動画から画像を抽出し、抽出した画像を時系列順に並べることで生成する。作業工程列には作業工程が記憶される。サンプリング回数列にはサンプリング回数が記憶される。サンプリング回数とは画像を取得した取得回数である。稼動数列には稼動情報が「稼動」である画像の数を計数した稼動数が記憶される。準稼動数列には稼動情報が「準稼動」である画像の数を計数した準稼動数が記憶される。非稼動数列には稼動情報が「非稼動」である画像の数を計数した非稼動数が記憶される。サンプリング回数列、稼動数列、準稼動数列及び非稼動数列の最後の行には夫々、サンプリング回数、稼動数、準稼動数及び非稼動数の合計が記憶される。ＣＰＵ１１は動画の名称を自動的に生成する。ＣＰＵ１１は生成した動画の名称をサンプリング集計テーブル１２７に記憶させる。ＣＰＵ１１は後述する算出方法でサンプリング回数、稼動数、準稼動数及び非稼動数を算出し、算出したサンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング集計テーブル１２７に記憶させる。
FIG. 25 is a diagram illustrating an example of data stored in the sampling total table 127. The sampling total table 127 is a database that stores sampling total data obtained by totaling sampling data. The sampling total table 127 includes a generated moving image column, a work process column, a sampling number column, an operation number column, a semi-operation number column, and a non-operation number column. The name of the generated moving image generated from the image is stored in the generated moving image sequence. The generated moving image is generated by extracting an image from the acquired moving image and arranging the extracted images in time series. A work process is stored in the work process column. The number of samplings is stored in the sampling number column. The number of times of sampling is the number of times that an image has been acquired. In the operation number column, the operation number obtained by counting the number of images whose operation information is “operation” is stored. The semi-operation number column stores the number of semi-operations obtained by counting the number of images whose operation information is “semi-operation”. The non-operating number column stores the non-operating number obtained by counting the number of images whose operation information is “non-operating”. The last number of the sampling number column, the operation number column, the semi-operation number column, and the non-operation number column stores the total of the sampling number, the operation number, the semi-operation number, and the non-operation number, respectively. The
図２６はワークサンプリング法を実行するためのワークサンプリング画面８の一例を示す説明図である。ワークサンプリング画面８は左上部に設けられた観測モード選択欄８２と、観測モード選択欄８２の下部に設けられた計測選択欄８３と、計測選択欄８３の下部に設けられた開始ボタン８４と、観測モード選択欄８２、計測選択欄８３及び開始ボタン８４の右部に設けられた画像欄８１と、画像欄８１の下部に設けられた作業種類表８５と、作業種類表８５の下部に設けられたサンプリング表８６と、サンプリング表８６の左下部に設けられた算出欄８７と、算出欄８７の右部に設けられた稼動グラフ８８と、右部に設けられた画像欄８１Ａ及び８１Ｂ等と、右上部に設けられたボタン８９Ａ、８９Ｂ、８９Ｃ及び８９Ｄ等と、登録ボタン８０と、ボタン８１０とを備える。
FIG. 26 is an explanatory diagram showing an example of the
以下、画像欄８１Ａ、８１Ｂ等は場合により画像欄８１１で代表する。稼動グラフ８８は非稼動部分８８Ａ、準稼動部分８８Ｂ及び稼動部分８８Ｃにより構成される。以下、ボタン８９Ａ、８９Ｂ、８９Ｃ及び８９Ｄ等は場合によりボタン８９で代表する。画像欄８１は選択した画像を表示する欄である。画像欄８１１は取得した画像を表示する欄である。観測モード選択欄８２は観測モードを選択するための欄である。計測選択欄８３は計測方法を選択するための欄である。開始ボタン８４はワークサンプリングを実行するためのボタンである。作業種類表８５は作業種類を表示するための表である。サンプリング表８６はワークサンプリング法に用いられるデータを表示する表である。算出欄８７は十分な確からしさを得るために必要サンプリング回数を算出する式に入力を行うための欄である。稼動グラフ８８は稼動数、準稼動数及び非稼動数の割合を表示した円グラフである。ボタン８９Ａ、８９Ｂ、８９Ｃ及び８９Ｄの夫々は分析画面５、観点分析画面６、サイクル画面７及びワークサンプリング画面８の夫々を表示するためのボタンである。登録ボタン８０は作業種類を登録するためのボタンである。なお、ボタン８１０は後述する実施の形態で用いるため、本実施形態では説明を省略する。
Hereinafter, the
ワークサンプリング画面８の動作は以下の通りである。ＣＰＵ１１は後述する登録ボタン８０を入力部１４で登録ボタン８０の選択を受け付け、ユーザが登録ボタン８０を入力部１４で選択した場合、ＣＰＵ１１は作業種類表８５に作業種類の入力を入力部１４で受け付ける。ＣＰＵ１１は受け付けた作業種類を作業種類表８５に表示し、サンプリングテーブル１２５に記憶させる。観測モード選択欄８２は時間帯別観測モード及び多人数観測モードを選択することができる。ユーザが入力部１４で時間帯別観測モードを選択した場合、一の対象物に注目してワークサンプリングを実行する。ユーザが入力部１４で多人数観測モードを選択した場合、複数の対象物に注目してワークサンプリングを実行する。
The operation of the
計測選択欄８３はランダム時刻表計測及び定時計測を選択することができる。ユーザが入力部１４でランダム時刻表計測を選択した場合、ＣＰＵ１１は取得した動画からランダムな時間で画像を抽出する。ユーザが入力部１４で定時計測を選択した場合、ＣＰＵ１１は取得した動画から所定の時間間隔で画像を抽出する。所定の時間間隔とは例えば０．１秒である。
In the
ユーザが例えば、入力部１４で時間帯別観測モードを選択し、ランダム時刻表計測を選択し、かつ開始ボタン８４を選択した場合、取得した動画からランダムで作業員Ａの画像を抽出し、抽出した作業員Ａの画像を画像欄８１１に表示する。またユーザが例えば、入力部１４で多人数観測モードを選択し、定時計測を選択し、かつ開始ボタン８４を選択した場合、取得した動画から所定の時間間隔で作業員Ａ及びＢの画像を抽出し、抽出した作業員Ａ及びＢの画像を画像欄８１１に表示する。
For example, when the user selects an observation mode by time zone with the
ユーザが例えば画像欄８１Ａの画像Ａを選択した場合、ＣＰＵ１１は画像Ａを画像欄８１に表示する。ＣＰＵ１１は作業種類表８５の作業種類の選択を入力部１４で受け付ける。ユーザは入力部１４で作業種類表８５から「左側の溶接」を選択する。ＣＰＵ１１は画像Ａの画像ＩＤ「００１」に作業種類「左側の溶接」を対応づけ、サンプリングテーブル１２５に記憶させる。ＣＰＵ１１は稼動情報の入力を入力部１４で受け付ける。ユーザは稼動情報「準稼動」を入力する。ＣＰＵ１１は受け付けた稼動情報「準稼動」を画像Ａの画像ＩＤ「００１」に対応づけてサンプリングテーブル１２５に記憶させる。
For example, when the user selects the image A in the
ユーザが画像ＩＤ、作業種類及び稼動情報の対応づけを終えた後、ＣＰＵ１１は対応テーブル１２６及びサンプリングテーブル１２５を参照し、作業工程に対応するサンプリング回数及び稼動数、準稼動数、非稼動数を算出する。具体的にはＣＰＵ１１は溶接に対応する画像ＩＤが画像ＩＤ「００１〜００４」であるため、図２３Ａ及び図２３Ｂに示すように、サンプリング回数「７」、稼動数「２」、準稼動数「３」、非稼動数「２」を算出する。以下同様であり、簡潔のため記載を省略する。ＣＰＵ１１は算出したサンプリング回数、稼動数、準稼動数及び非稼動数の合計を算出し、算出した稼動数、準稼動数及び非稼動数の合計をサンプリング回数で割り、１００を積算することで構成比を算出する。構成比とは稼動数、準稼動数及び非稼動数の比率である。ＣＰＵ１１は動画の名称、作業工程、サンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング表８６に表示する。ＣＰＵ１１は動画の名称、作業工程、サンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング集計テーブル１２７に記憶させる。
After the user finishes associating the image ID, work type, and operation information, the
ＣＰＵ１１は算出欄８７の各欄に数値を入力部１４で受け付ける。ユーザは各欄に数値を入力する。ＣＰＵ１１は入力した数値を式に代入し、必要サンプリング回数を算出する。算出欄８７に表示された式は例えば下記の通りである。
Ｎ＝ｔ×ｔ×（１−Ｐ）÷（Ｓ×Ｓ×Ｐ）
Ｎ：必要サンプリング回数、ｔ：信頼度、Ｓ：精度、Ｐ：構成比
ＣＰＵ１１はサンプリング回数が必要サンプリング回数以下か否かを判定する。ＣＰＵ１１はサンプリング回数が必要サンプリング回数以下であると判定した場合、算出欄８７に所定のメッセージを表示する。所定のメッセージとは例えば「サンプリング回数が不足しています」である。
The
N = t * t * (1-P) / (S * S * P)
N: Required sampling count, t: Reliability, S: Accuracy, P: Composition ratio The
ＣＰＵ１１はサンプリングテーブル１２５を参照し、稼動情報及び作業時間に基づいて稼動グラフ８８を生成する。ＣＰＵ１１が稼動グラフ８８を生成する処理は以下の通りである。ＣＰＵ１１はサンプリング回数に対する非稼動数の割合で非稼動部分８８Ａを生成する。ＣＰＵ１１はサンプリング回数に対する準稼動数の割合で準稼動部分８８Ｂを生成する。ＣＰＵ１１はサンプリング回数に対する稼動数の割合で稼動部分８８Ｃを生成する。ＣＰＵ１１は生成した非稼動部分８８Ａ、準稼動部分８８Ｂ及び稼動部分８８Ｃに基づいて稼動グラフ８８を生成し、表示する。すなわちＣＰＵ１１は各画像内の対象物が稼動している割合を表示する。ユーザは例えば、稼動グラフ８８で非稼動数、稼動数又は準稼動数の割合が多いことが即座に確認できる。このため、ユーザは稼動グラフ８８を確認することでおおよそのレーティング率を決定することができる。
The
ユーザがボタン８９Ａ、８９Ｂ及び８９Ｃの夫々を入力部１４で選択した場合、ＣＰＵ１１は分析画面５、観点分析画面６及びサイクル画面７の夫々を表示する。ボタン８９Ａ、８９Ｂ及び８９Ｃは分析画面５、観点分析画面６及びサイクル画面７にも設けられており、同様の動作を行う。さらに分析画面５、観点分析画面６及びサイクル画面７でユーザがボタン８９Ｄを選択した場合、ワークサンプリング画面８を表示する。
When the user selects each of the
図２７〜２９は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ２２、Ｓ５１〜Ｓ５８及びＳ６１〜６８の処理は上述の実施の形態４及び５に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１は入力部１４で観測モードの入力を入力部１４で受け付ける（ステップＳ７１）。ＣＰＵ１１は入力部１４で計測方法の入力を入力部１４で受け付ける（ステップＳ７２）。ＣＰＵ１１は入力部１４で開始ボタン８４の選択がされたか否かを判定する（ステップＳ７３）。ＣＰＵ１１は入力部１４で開始ボタン８４の選択がされなかったと判定した場合（ステップＳ７３：ＮＯ）、処理をＳ７１に移す。ＣＰＵ１１は入力部１４で開始ボタン８４の選択がされたと判定した場合（ステップＳ７３：ＹＥＳ）、観測モード及び計測方法に基づいてワークサンプリング法により画像の抽出を実行する（ステップＳ７４）。
27 to 29 are flowcharts showing the processing procedure of the information processing system in this embodiment. Since the processes of steps S11 to S22, S51 to S58, and S61 to 68 are the same as those of the information processing system according to the above-described fourth and fifth embodiments, the description thereof is omitted for the sake of brevity. CPU11 receives the input of observation mode in the
ＣＰＵ１１は入力部１４で画像の選択を入力部１４で受け付ける（ステップＳ７５）。ＣＰＵ１１は作業種類及び稼動情報の入力を入力部１４で受け付ける（ステップＳ７６）。ＣＰＵ１１は受け付けた画像の画像ＩＤに作業種類及び稼動情報を対応づける（ステップＳ７７）。ＣＰＵ１１は対応テーブル１２６及びサンプリングテーブル１２５を参照し、作業工程に対応するサンプリング回数、稼動数、準稼動数及び非稼動数を算出する（ステップＳ７８）。ＣＰＵ１１は算出したサンプリング回数、稼動数、準稼動数及び非稼動数の合計を算出し、算出した稼動数、準稼動数及び非稼動数の合計をサンプリング回数で割り、１００を積算することで構成比を算出する（ステップＳ７９）。ＣＰＵ１１は動画の名称、作業工程、サンプリング回数、稼動数、準稼動数及び非稼動数をサンプリング表８６に表示する（ステップＳ８０）。ＣＰＵ１１は算出欄８７の各欄に入力を入力部１４で受け付ける（ステップＳ８１）。ＣＰＵ１１は算出欄８７の各欄に入力された値に基づいて必要サンプリング回数を算出する（ステップＳ８２）。ＣＰＵ１１はサンプリング回数が必要サンプリング回数以下であるか否かを判定する（ステップＳ８３）。
The
ＣＰＵ１１はサンプリング回数が必要サンプリング回数以下でないと判定した場合（ステップＳ８３：ＮＯ）、すなわちサンプリング回数が必要サンプリング回数を超えたと判定した場合、処理をＳ８５に移す。ＣＰＵ１１はサンプリング回数が必要サンプリング回数以下であると判定した場合（ステップＳ８３：ＹＥＳ）、算出欄８７に所定のメッセージを表示する（ステップＳ８４）。ＣＰＵ１１は稼動数、準稼動数、非稼動数及びサンプリング回数の合計に基づいて稼動グラフ５５を表示する（ステップＳ８５）。
If the
ＣＰＵ１１は分析画面５の表示を選択したか否かを判定する（ステップＳ８６）。すなわち、ＣＰＵ１１はボタン８９Ａを選択したか否かを判定する。ＣＰＵ１１は分析画面５の表示を選択したと判定した場合（ステップＳ８６：ＹＥＳ）、処理をステップＳ１１に移し、分析画面５の表示処理を行う。ＣＰＵ１１は分析画面５の表示を選択しなかったと判定した場合（ステップＳ８６：ＮＯ）、観点分析画面６の表示を選択したか否かを判定する（ステップＳ８７）。すなわち、ＣＰＵ１１はボタン８９Ｂを選択したか否かを判定する。ＣＰＵ１１は観点分析画面６の表示を選択したと判定した場合（ステップＳ８７：ＹＥＳ）、処理をＳ５１に移し、観点分析画面６の表示処理を行う。
The
ＣＰＵ１１は観点分析画面６の表示を選択しなかったと判定した場合（ステップＳ８７：ＮＯ）、サイクル画面７の表示を選択したか否かを判定する（ステップＳ８８）。すなわち、ＣＰＵ１１はボタン８９Ｃを選択したか否かを判定する。ＣＰＵ１１はサイクル画面７の表示を選択したと判定した場合（ステップＳ８８：ＹＥＳ）、処理をＳ６１に移す。ＣＰＵ１１はサイクル画面７の表示を選択しなかったと判定した場合（ステップＳ８８：ＮＯ）、処理をＳ７１に移す。
When determining that the display of the
一つの側面によれば、ワークサンプリング法を用いた動画は比較的実測に近い状態で観測された動画であり、これらの動画を分析又は観点分析を行う事でより精度の高い解析・分析結果を入手することができる。 According to one aspect, videos using the work sampling method are videos that are observed relatively close to actual measurement, and by analyzing or analyzing these videos, more accurate analysis and analysis results can be obtained. It can be obtained.
また、一つの側面によれば、ワークサンプリング法を用いた後で即座に稼動状況の構成比を表示でき、当該構成比から動画の分析画面に即座に移動することができるため、分析時間をより短縮をすることができる。 In addition, according to one aspect, after using the work sampling method, the composition ratio of the operation status can be displayed immediately, and the composition ratio can be immediately moved to the video analysis screen. It can be shortened.
（実施の形態７）
実施の形態７はテンプレートマッチング又はパターンマッチング等の画像処理を用いて作業種類、稼動情報及び画像を対応づける実施の形態に関する。なお、本実施形態における画像処理はテンプレートマッチングを用いる。以下、特に説明する構成、作用以外の構成及び作用は実施の形態５と同等であり、簡潔のため記載を省略する。
(Embodiment 7)
The seventh embodiment relates to an embodiment for associating work types, operation information, and images using image processing such as template matching or pattern matching. Note that the image processing in this embodiment uses template matching. In the following, the configuration and operation other than those specifically described are the same as those of the fifth embodiment, and the description is omitted for the sake of brevity.
記憶部１２はさらにテンプレートＤＢ１２８を備える。図３０はテンプレートＤＢ１２８に格納されているデータの一例を示す図である。テンプレートＤＢ１２８は画像処理に用いるテンプレート画像（作業画像）と作業種類とを対応づけて記憶させるデータベースである。テンプレートＤＢ１２８はテンプレート画像列、作業種類列及び稼動情報列等を備える。テンプレート画像列にはテンプレート画像が記憶される。テンプレート画像とは例えば対象物が作業種類の作業を行っている画像である。作業種類列には作業種類が記憶される。稼動情報列には稼動情報が記憶される。
The
テンプレートＤＢ１２８にテンプレート画像及び作業種類を記憶させる方法は以下の通りである。ユーザが本実施形態における登録ボタン８０を入力部１４で入力した場合、ＣＰＵ１１は図３０に示すテンプレート画像を登録するための画像登録画面９を表示する。図３１は画像登録画面９の一例を示す説明図である。画像登録画面９は左上部及び左下部に設けられた稼動情報登録欄９１Ａ及び９１Ｂと、右部に設けられた画像登録欄９２とを備える。以下、場合により稼動情報登録欄９１Ａ及び９１Ｂを稼動情報登録欄９１で代表する。稼動情報登録欄９１は上部に設けられた作業種類欄９１１と、作業種類欄９１１の右部に設けられた稼動情報欄９１２と、左部及び右部に設けられた画像欄９１３及びテンプレート画像欄９１４とを備える。画像登録欄９２は上部に設けられたテンプレート画像欄９２１と、画像欄９２１の左下部に設けられた範囲指定欄９２２と、範囲指定欄９２２の右部に設けられた閾値欄９２３と、範囲指定欄９２２及び閾値欄９２３の下部に設けられたコメント欄９２４とを備える。
A method for storing the template image and the work type in the template DB 128 is as follows. When the user inputs the
稼動情報登録欄９１は稼動情報を登録するための欄である。画像登録欄９２はテンプレート画像を登録するための欄である。作業種類欄９１１は作業種類を入力するための欄である。稼動情報欄９１２は稼動情報を選択するためのチェックボックスである。画像欄９１３は抽出した画像を表示するための欄である。テンプレート画像欄９１４はテンプレート画像の範囲を表示するための欄である。テンプレート画像欄９２１はテンプレート画像の範囲を表示するための欄である。範囲指定欄９２２はテンプレート画像の範囲を指定するための欄である。閾値欄９２３はテンプレート画像との一致度の閾値を設定するための欄である。コメント欄９２４はテンプレート画像に対するコメントを表示するための欄である。
The operation
画像登録画面９の動作は以下の通りである。ＣＰＵ１１は稼動情報登録欄９１Ａにおいて、選択した画像Ａを画像欄９１３及びテンプレート画像欄９２１に表示する。ＣＰＵ１１は範囲指定欄９２２で範囲の指定方法の選択を入力部１４で受け付ける。範囲の指定方法は例えば、矩形、楕円又は投げ縄等である。例えば、ユーザが入力部１４で投げ縄を選択した場合、ＣＰＵ１１はテンプレート画像欄９２１にＮ次の曲線を有する輪を表示することができる。ＣＰＵ１１は閾値欄９２３で閾値の入力を入力部１４で受け付ける。ユーザは任意の閾値を入力部１４で入力した場合、テンプレート画像欄９２１でテンプレート画像にする範囲の入力を入力部１４で受け付ける。ユーザは入力部１４により作業員Ａ及び機械をＮ次の曲線を有する輪で囲む。ＣＰＵ１１は輪で囲まれた画像を抽出し、抽出した画像を作業種類「左側の溶接」に対応するテンプレート画像ＡとしてテンプレートＤＢ１２８に記憶させる。
The operation of the
ＣＰＵ１１はテンプレート画像欄９２１の画像と同一の画像をテンプレート画像欄９１４に表示する。ＣＰＵ１１は作業種類欄９１１で作業種類の入力を入力部１４で受け付ける。ユーザが作業種類「左側の溶接」及び「右側の溶接」を作業種類欄９１１に入力した場合、テンプレート画像Ａと作業種類「左側の溶接」及び「右側の溶接」とを対応づけてテンプレートＤＢ１２８に記憶させる。ＣＰＵ１１は稼動情報欄９１２に稼動情報の選択を入力部１４で受け付ける。ユーザが稼動情報欄９１２で稼動情報「準稼動」を選択した場合、テンプレート画像Ａと稼動情報「準稼動」とを対応づけてテンプレートＤＢ１２８に記憶させる。ＣＰＵ１１はコメント欄９２４にコメントを入力部１４で受け付ける。ユーザは「人間をテンプレート画像として設定した」を入力部１４で入力する。以下、画像登録画面９は稼動情報登録欄９１Ｂについても同様の動作を行うため、記載を省略する。
The
ユーザがボタン８１０を入力部１４で入力した場合、観測モード及び計測方法に基づいてワークサンプリング法により画像の抽出を実行した後、テンプレートＤＢ１２８からテンプレート画像を読み出し、抽出した画像Ａにテンプレートマッチングを実行する。ＣＰＵ１１は抽出した画像Ａとテンプレート画像Ａとの一致度を算出する。具体的にはＣＰＵ１１は抽出した画像Ａとテンプレート画像Ａとの相関関数を取ることで画像Ａとテンプレート画像Ａの相関を算出する。すなわち一致度とは抽出した画像とテンプレート画像との相関値である。ＣＰＵ１１は一致度が閾値欄９２３で入力した閾値を超えた場合、テンプレートＤＢ１２８を参照し、テンプレート画像Ａに対応する作業種類「左側の溶接」及び「右側の溶接」並びに稼動情報「準稼動」を特定する。ＣＰＵ１１は特定した作業種類「左側の溶接」及び「右側の溶接」並びに稼動情報「準稼動」を画像Ａに対応づけ、サンプリングテーブル１２５に記憶させる。以下、ＣＰＵ１１は抽出した画像について同様の処理を行う。
When the user inputs the
図３２〜３３は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ８９の処理は上述の実施の形態６に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１はステップＳ７４の処理を終了した後、画像登録画面９の表示の選択をしたか否かを判定する（ステップＳ９１）。すなわちＣＰＵ１１は登録ボタン８０を入力部１４で入力したか否かを判定する。ＣＰＵ１１は画像登録画面９の表示の選択をしなかったと判定した場合（ステップＳ９１：ＮＯ）、処理をステップＳ９５に移す。ＣＰＵ１１は画像登録画面９の表示の選択をしたと判定した場合（ステップＳ９１：ＹＥＳ）、画像登録画面９を表示する（ステップＳ９２）。ＣＰＵ１１は画像登録画面９でテンプレート画像、作業種類及び稼動情報を入力部１４で受け付ける（ステップＳ９３）。ＣＰＵ１１は受け付けたテンプレート画像、作業種類及び稼動情報をテンプレートＤＢ１２８に記憶させる（ステップＳ９４）。
32 to 33 are flowcharts showing the processing procedure of the information processing system in this embodiment. Since the processing of steps S11 to S89 is the same as that of the information processing system according to the above-described sixth embodiment, description thereof is omitted for the sake of brevity. After completing the process in step S74, the
ＣＰＵ１１はテンプレートマッチングの選択をしたか否かを判定する（ステップＳ９５）。すなわちＣＰＵ１１はボタン８１０を入力部１４で入力したか否かを判定する。ＣＰＵ１１はテンプレートマッチングの選択をしなかったと判定した場合（ステップＳ９５：ＮＯ）、処理をＳ７５に移す。ＣＰＵ１１はテンプレートマッチングの選択をしたと判定した場合（ステップＳ９５：ＹＥＳ）、テンプレートＤＢ１２８からテンプレート画像を読み出し、抽出した画像に画像処理を実行する（ステップＳ９６）。ＣＰＵ１１は表示した画像とテンプレート画像との一致度を算出する（ステップＳ９７）。ＣＰＵ１１は算出した一致度が閾値を超えるか否かを判定する（ステップＳ９８）。ＣＰＵ１１は算出した一致度が閾値を超えないと判定した場合（ステップＳ９８：ＮＯ）、処理をステップＳ１０１に移す。ＣＰＵ１１は算出した一致度が閾値を超えると判定した場合（ステップＳ９８：ＹＥＳ）、テンプレートＤＢ１２８を参照し、テンプレート画像に対応する作業種類及び稼動情報を特定する（ステップＳ９９）。ＣＰＵ１１は特定した作業種類及び稼動情報と画像とを対応づける（ステップＳ１００）。
The
ＣＰＵ１１は全ての画像について画像処理を実行したか否かを判定する（ステップＳ１０１）。ＣＰＵ１１は全ての画像について画像処理を実行しなかったと判定した場合（ステップＳ１０１：ＮＯ）、処理をステップＳ９６に移す。ＣＰＵ１１は全ての画像について画像処理を実行したと判定した場合（ステップＳ１０１：ＹＥＳ）、処理をＳ７５に移す。
The
一つの側面によれば、画像処理により、画像に作業種類を対応づけることができる。このことによりワークサンプリング法の処理時間を短縮することができる。 According to one aspect, work types can be associated with images by image processing. As a result, the processing time of the work sampling method can be shortened.
（実施の形態８）
実施の形態８は画像の画像ＩＤと動画の再生時間及び動画ＩＤとを対応づけ、かつ動画の再生時間と実施の形態１における動作要素の時間とを対応づけることで画像から動作要素を選択する実施の形態に関する。なお、本実施形態における画像処理はテンプレートマッチングを用いる。以下、特に説明する構成、作用以外の構成及び作用は実施の形態７と同等であり、簡潔のため記載を省略する。
(Embodiment 8)
In the eighth embodiment, an image element ID is associated with a moving image reproduction time and a moving image ID, and a moving element is selected from the image by associating the moving image reproduction time with the operation element time in the first embodiment. It relates to an embodiment. Note that the image processing in this embodiment uses template matching. In the following, the configuration and operation other than those specifically described are the same as those of the seventh embodiment, and the description is omitted for the sake of brevity.
図３４はサンプリングテーブル１２５に格納されているデータの一例を示す図である。サンプリングテーブル１２５はさらに再生時間列、動画ＩＤ列及び動作要素列を備える。再生時間列には動画の再生時間が記憶される。動画ＩＤ列には動画を識別するための動画ＩＤが記憶される。動作要素列には動画ＩＤに対応づけられた動作要素が記憶される。ＣＰＵ１１は画像を抽出した場合、画像を抽出した際の動画の再生時間及び動画ＩＤを特定し、特定した再生時間及び動画ＩＤをサンプリングテーブル１２５に記憶する。ＣＰＵ１１は動作要素の入力を受け付け、受け付けた動作要素をサンプリングテーブル１２５に記憶する。
FIG. 34 is a diagram illustrating an example of data stored in the sampling table 125. The sampling table 125 further includes a playback time column, a moving image ID column, and an operation element column. The playback time of the moving image is stored in the playback time column. A moving image ID for identifying a moving image is stored in the moving image ID column. An operation element associated with the moving image ID is stored in the operation element column. When the
図３５は要素情報ＤＢ１２１に格納されているデータの一例を示す図である。図３５に示す要素情報ＤＢ１２１は対象物毎に複数設けられている。各要素情報ＤＢ１２１は動画ＩＤに対応づけられている。例えば、動画ＩＤ「１１」には図３５に示す要素情報ＤＢ１２１が対応づけられている。また動画ＩＤ「１２」は図示しない他の要素情報ＤＢ１２１が対応づけられている。ＣＰＵ１１は画像を抽出した動画の再生時間及び動画ＩＤを特定し、特定した再生時間及び動画ＩＤを画像に対応づけてサンプリングテーブル１２５に記憶させる。
FIG. 35 is a diagram illustrating an example of data stored in the
ＣＰＵ１１は以下の方法により画像に対応づけられた再生時間を用いて画像の並び替えを行うことができる。ＣＰＵ１１は画像を抽出する際に画像を抽出した動画の再生時間及び動画ＩＤを特定する。ＣＰＵ１１は動画ＩＤ「１１」の動画の内、再生時間「２．０」に対応づけられた画像ＩＤ「００１」の画像Ａを画像欄８１Ａに配置し、再生時間「４．０」に対応づけられた画像ＩＤ「００３」の画像Ｃを画像欄８１Ｂに配置する。ＣＰＵ１１は動画ＩＤ「１２」の動画の内、再生時間「３．０」に対応づけられた画像ＩＤ「００２」の画像Ｂを画像欄８１Ａの左部に配置し、再生時間「５．０」に対応づけられた画像ＩＤ「００４」の画像Ｄを画像欄８１Ｂの左部に配置する。すなわち、ＣＰＵ１１は動画ＩＤ毎に再生時間順に画像欄８１１を並び替える。
The
画像から動作要素を選択する方法は以下の通りである。ユーザは画像欄８１１の画像Ａを入力部１４で選択する。ＣＰＵ１１は入力部１４を介して画像Ａの選択を受け付ける。ＣＰＵ１１は画像欄８１に受け付けた画像Ａを表示する。ＣＰＵ１１はサンプリングテーブル１２５を参照し、画像Ａの画像ＩＤ「００１」に対応づけられた動作要素「溶接」を抽出し、動作要素「溶接」に対応づけられた動画ＩＤ「１１」を抽出する。ユーザがボタン８９Ａ、８９Ｂ及び８９Ｃの夫々を入力部１４で選択した場合、ＣＰＵ１１は動作要素「溶接」を選択した状態で分析画面５、観点分析画面６及びサイクル画面７の夫々を表示する。例えば、ユーザがボタン８９Ａを選択した場合、ＣＰＵ１１は抽出した動画ＩＤ「１１」に対応する要素情報ＤＢ１２１を参照し、図７に示す分析画面５を表示し、表示ウィンドウ５１Ａに動作要素「溶接」に対応する動画１０１を表示し、抽出した動画ＩＤ「１１」の要素情報ＤＢ１２１に対応する動作要素表５２を表示する。また例えば、ユーザがボタン８９Ｂを選択した場合、ＣＰＵ１１は抽出した動画ＩＤ「１１」の要素情報ＤＢ１２１を参照し、図１６に示す観点分析画面６の表示ウィンドウ６１に動作要素「溶接」に対応する動画１０１を表示し、抽出した動画ＩＤ「１１」の要素情報ＤＢ１２１の動作要素「溶接」に対応する無効割合グラフ６６Ａを選択した状態を表示する。例えば、ユーザがボタン８９Ｃを選択した場合、ＣＰＵ１１は抽出した動画ＩＤ「１１」の要素情報ＤＢ１２１を参照し、図２１に示すサイクル画面７の表示ウィンドウ７１に動作要素「溶接」に対応する動画１０１を表示する。
A method for selecting an operation element from an image is as follows. The user selects the image A in the
図３６は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ８９の処理は上述の実施の形態７に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１はステップＳ７４の処理を終了した後、画像を抽出した際の動画の再生時間及び動画ＩＤを特定する（ステップＳ１０１）。ＣＰＵ１１は動画ＩＤ毎に再生時間順に画像を並び替え（ステップＳ１０２）、処理をＳ７５に移す。ＣＰＵ１１はＳ７５の処理を終了した後、サンプリングテーブル１２５を参照し、受け付けた画像の画像ＩＤに基づいて動作要素及び動作要素に対応づけられた動画ＩＤを抽出し（ステップＳ１０３）、処理をＳ７６に移す。
FIG. 36 is a flowchart showing the processing procedure of the information processing system in this embodiment. Since the processing of steps S11 to S89 is the same as that of the information processing system according to the above-described seventh embodiment, description thereof is omitted for the sake of brevity. After completing the process in step S74, the
一つの側面によれば、自動的に動作要素を抽出することができるため、画像と動作要素との対応関係を即座に理解することができる。 According to one aspect, since the motion element can be automatically extracted, the correspondence between the image and the motion element can be immediately understood.
（実施の形態９）
実施の形態９はワークサンプリング法で算出した稼動グラフと動作要素の情報から算出した稼動グラフとを比較する実施の形態に関する。なお、本実施形態における画像処理はテンプレートマッチングを用いる。以下、特に説明する構成、作用以外の構成及び作用は実施の形態５と同等であり、簡潔のため記載を省略する。
(Embodiment 9)
ユーザが稼動グラフ８８を入力部１４で選択した場合、ＣＰＵ１１は動画ＩＤの入力を受け付ける。ＣＰＵ１１は受け付けた動画ＩＤに対応する要素情報ＤＢ１２１を参照し、ワークサンプリング法で算出した稼動グラフと動作要素の情報から算出した稼動グラフとを比較する比較画面２０を表示する。図３７は比較画面２０の一例を示す説明図である。
When the user selects the
比較画面２０は左上部に設けられた表示ウィンドウ２０１と、左中央部に設けられた稼動グラフ２０２と、稼動グラフ２０２の下部に設けられたコメント欄２０３と、稼動グラフ２０２の右上部に設けられた表示ウィンドウ２０４と、表示ウィンドウ２０４の右下部に設けられた稼動グラフ（割合グラフ）２０５と、稼動グラフ２０５の下部に設けられたコメント欄２０６とを備える。稼動グラフ２０２の準稼動部分は準稼動部分２０７、２０８及び２０９で構成される。表示ウィンドウ２０１及び２０４は動画データを表示するためのウィンドウである。稼動グラフ２０２は動作要素の情報から算出した動作合計時間（稼動時間）、準稼動合計時間（準稼動時間）及び無効合計時間（非稼動時間）の割合を表示した円グラフである。稼動グラフ２０２は実施の形態１の方法で生成される。稼動グラフ２０５はワークサンプリング法で算出した稼動数、準稼動数及び非稼動数の割合を表示した円グラフである。稼動グラフ２０５は実施の形態６の方法で生成される。コメント欄２０３及び２０６は動作要素のコメントを表示するための欄である。準稼動部分２０７、２０８及び２０９は準稼動部分をさらに動作要素で分けたものである。また同様に稼動グラフ２０５の稼動部分、準稼動部分及び非稼動部分はさらに作業工程で分けられており、準稼動部分２１０及び２１１は準稼動部分をさらに動作要素で分けたものである。稼動グラフ２０２及び稼動グラフ２０５の分け方は一例であり、この方法に限られない。
The
比較画面２０の動作は以下の通りである。稼動グラフ２０２の稼動部分、準稼動部分及び非稼動部分はさらに動作要素で分けられている。例えば、ユーザが準稼動部分２０７を入力部１４で選択した場合、要素情報ＤＢ１２１及びコメントＤＢ１２４を参照し、準稼動部分２０７の動作要素「溶接」に対応づけられた「動画１０１」を表示ウィンドウ２０１に表示し、かつコメント欄２０３に「頑張って働いている」を表示する。またユーザが準稼動部分２０８を入力部１４で選択した場合、要素情報ＤＢ１２１及びコメントＤＢ１２４を参照し、準稼動部分２０７の動作要素「パネルの固定」に対応づけられた「動画１０２」を表示ウィンドウ２０１に表示し、かつコメント欄２０３に「頑張って働いている」を表示する。
The operation of the
稼動グラフ２０２の稼動部分、準稼動部分及び非稼動部分はさらに作業工程毎に分けられている。ユーザが稼動グラフ２０２の準稼動部分２０９を入力部１４で選択した場合、準稼動である作業工程「溶接」の動画を表示ウィンドウ２０１に表示する。ＣＰＵ１１はコメント欄２０３に入力部１４で入力を受け付ける。ユーザは入力部１４でコメント欄２０３に「頑張って働いている」を入力する。ＣＰＵ１１はコメント欄２０３に「頑張って働いている」を表示する。
The operation part, the semi-operation part, and the non-operation part of the
ユーザが稼動グラフ２０２又は２０５を入力部１４で選択した場合、動作要素及び作業工程の動画の詳細を比較する詳細比較画面２１を表示する。図３８は詳細比較画面２１の一例を示す説明図である。詳細比較画面２１は上部に設けられた選択動作要素２１１と、選択動作要素２１１の下部に設けられた表示ウィンドウ２１２及び２１８と、表示ウィンドウ２１２及び２１８の下部に設けられた標準時間欄２１３と、標準時間欄２１３の下部に設けられたレーティング率欄２１４と、レーティング率欄２１４の下部に設けられたコメント欄２１６及び２２４と、標準時間欄２１３及びレーティング率欄２１４の左部に設けられた稼動グラフ２１５と、コメント欄２１６の下部に設けられた動作要素表２１７とを備える。稼動グラフ２１５の準稼動部分は準稼動部分２２７、２２８及び２２９で構成される。
When the user selects the
表示ウィンドウ２１２及び２１８、コメント欄２１６及び２２４、稼動グラフ２１５及び２２２は表示ウィンドウ２０１及び２０４、コメント欄２０３及び２０６、稼動グラフ２０２及び２０５並びに動作要素表５２の構成と同様であるため、記載を省略する。選択動作要素２１１は選択された動作要素に関する情報を表示する表である。標準時間欄２１３は、動作要素の標準時間を表示するための欄である。レーティング率欄２１４は動作要素のレーティング率を表示するための欄である。
The
詳細比較画面２１の動作は以下の通りである。ＣＰＵ１１は動画ＩＤに対応する要素情報ＤＢ１２１を参照し、下部の動作要素表を表示する。ユーザが準稼動部分２２７を入力部１４で選択した場合、ＣＰＵ１１は準稼動部分２２７の動作要素「溶接」を選択し、選択動作要素２１１に動作要素「溶接」に関する情報を表示する。またＣＰＵ１１は標準時間欄２１３に動作要素「溶接」の標準時間「３．８５」を表示し、レーティング率欄２１４に動作要素「溶接」のレーティング率「１．１０」を表示し、動作要素「溶接」に対応づけられた「動画１０１」を表示ウィンドウ２１２に表示し、コメント欄２１６に「作業員は頑張っている」を表示する。また実施の形態１と同様にレーティング率欄２１４を操作することで表示ウィンドウ２１２の動画データの再生時間を変えることができる。
The operation of the
例えばユーザが稼動グラフ（割合グラフ）２１５の準稼動部分２２９を入力部１４で選択した場合、作業工程「溶接」の内、準稼動に対応づけられた生成動画を表示ウィンドウ２１２に表示する。ＣＰＵ１１はコメント欄２２４に入力部１４で入力を受け付ける。ユーザは入力部１４でコメント欄２２４に「熟練である」を入力する。ＣＰＵ１１はコメント欄２２４に「熟練である」を表示する。このことにより同一の画面上にワークサンプリング法及び動作要素の情報から算出した稼動グラフを表示することができる。また同一の画面上で稼動グラフから種別に対応する分割動画及び作業種類に対応する動画を再生することができる。このことにより分析画面５の分割動画とワークサンプリング法で生成した生成動画との対比が容易に行える。なお、下部の動作要素表２１７及び選択動作要素２１１は稼動グラフ２２２を選択しても表示されない。
For example, when the user selects the
図３９は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ１０３の処理は上述の実施の形態８に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１はステップＳ１０３の処理を終了した後、動画ＩＤの入力を受け付ける（ステップＳ１１０）。ＣＰＵ１１は同一の画面上に動画ＩＤに対応する稼動グラフ２０２及び２０５並びに２１５及び２２２を表示する（ステップＳ１１１）。ＣＰＵ１１は稼動グラフ２０２及び２１５の各部分を動作要素毎に対応づけて分割する（ステップＳ１１２）。ＣＰＵ１１は稼動グラフ２０５及び２２２の各部分を作業工程毎に対応づけて分割する（ステップＳ１１３）。ＣＰＵ１１は稼動グラフ２０２、２１５、２０５及び２２２における分割した各部分の選択を入力部１４で受け付ける（ステップＳ１１４）。なお、同一画面上に選択した作業工程又は動作要素を表示しても良い。
FIG. 39 is a flowchart showing the processing procedure of the information processing system in this embodiment. Since the processing of steps S11 to S103 is the same as that of the information processing system according to the above-described eighth embodiment, description thereof is omitted for the sake of brevity. After completing the process in step S103, the
ＣＰＵ１１は受け付けた部分が作業工程に対応づけられているか否かを判定する（ステップＳ１１５）。ＣＰＵ１１は受け付けた部分が作業工程に対応づけられていると判定した場合（ステップＳ１１５：ＹＥＳ）、処理をステップＳ１１６に移す。ＣＰＵ１１はサンプリング集計テーブル１２７を参照し、作業工程に対応する生成動画を他の動画と同一の画面上に表示し（ステップＳ１１６）、処理をＳ７６に移す。すなわち作業工程に対応する動画を動作要素に対応する動画ＩＤの動画と同一の画面上に表示する。ＣＰＵ１１は受け付けた部分が作業工程に対応づけられていないと判定した場合（ステップＳ１１５：ＮＯ）、すなわち動作要素に対応づけられていると判定した場合、処理をステップＳ１１７に移す。ＣＰＵ１１は要素情報ＤＢ１２１を参照し、動作要素に対応する動画を他の動画と同一の画面上に表示する（ステップＳ１１７）。ＣＰＵ１１は選択動作要素２１１を表示し（ステップＳ１１８）、処理をＳ７６に移す。すなわち動作要素に対応する動画を作業工程に対応する動画ＩＤの動画と同一の画面上に表示する。本実施形態では、実施例７で記載したワークサンプリング法で算出した動画と実施例１で記載した動画の比較を行ったが、ワークサンプリング法で算出した動画と作業改善を施した画像の対比を行ってもよい。またＣＰＵ１１は生成動画内に表示された対象物が行う作業と同一の作業を行う分割動画を稼動グラフ２０２及び２０５並びに２１５及び２２２と同一の画面上に表示してもよい。標準的な作業動画であるワークサンプリング法で算出した動画と、作業改善後の動画を比較することで改善効果がより明確になる。またワークサンプリング法で算出した動画とベテラン作業員の動画を比較してもよい。標準的な作業動画であるワークサンプリング法で算出した動画と、ベテラン作業員の動画を比較することで作業効率化のヒントを見出せることがある。また初心者作業員の動画と比較した場合には、初心者作業員の問題点が明確になる。
The
一つの側面によれば、ワークサンプリング法及び動作要素の情報から算出した稼動グラフを比較することでレーティング率の算出に役立てることができる。 According to one aspect, comparing the operation graphs calculated from the work sampling method and the information of the operation elements can help to calculate the rating rate.
（実施の形態１０）
実施の形態１０は種別を選択するための選択図形を表示する実施の形態に関する。図４０は分析画面５の表示ウィンドウ５１Ａの一例を示す説明図である。表示ウィンドウ５１Ａはさらに選択図形５８を備える。選択図形５８は選択部分５８Ａ及び５８Ｂ等により構成される。選択部分５８Ａ又は５８Ｂ等は以下場合により選択部分５８で代表する。選択図形５８は入力部１４による入力の支援を行うためのジェスチャーマップである。選択図形５８は例えば円である。なお、選択図形５８は矩形又は三角等の任意の図形であってもよい。
(Embodiment 10)
The tenth embodiment relates to an embodiment for displaying a selected figure for selecting a type. FIG. 40 is an explanatory diagram showing an example of the
選択図形５８の動作は以下の通りである。ユーザは表示ウィンドウ５１を入力部１４で任意の入力操作をした場合、種別情報ＤＢ１２３を参照し、種別を選択部分５８１に表示する。具体的にはＣＰＵ１１は選択部分５８１の夫々に種別１、種別２、種別３及び種別４を表示する（図４０Ａ）。ユーザが例えば入力部１４で選択部分５８Ａを選択した場合、ＣＰＵ１１は種別１に対応する「第１工程」、「第２工程」、「第３工程」、「第４工程」及び「第５工程」を選択図形５８に表示させる（図４０Ｂ）。ユーザが例えば入力部１４で選択部分５８Ｂを選択した場合、他の選択部分５８１を消去し、選択部分５８Ｂのみを表示する（図４０Ｃ）。入力部１４による選択部分５８１の選択方法は例えば、マウスのカーソルを選択部分に動かし、左又は右のボタンを離す。またはマウスのカーソルで選択部分を通過する方法でもよい。ＣＰＵ１１は表示ウィンドウ５１Ａに表示された動画データの動作要素に種別「第１工程」を対応づけ、要素情報ＤＢ１２１に種別「第１工程」を記憶させる。本実施形態における選択図形５８は種別の数が増える毎に円の半径が増加する。このことにより種別は下位に行くほど、種別の数が増えるため、種別が増えた場合には円形の半径を大きくすることで対応させることができる。
The operation of the selected figure 58 is as follows. When the user performs an arbitrary input operation on the
図４１は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ２２の処理は上述の実施の形態１に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１はステップＳ１９の処理を終了した後、表示ウィンドウ５１に入力部１４で入力を受け付ける（ステップＳ１２１）。ＣＰＵ１１は種別情報ＤＢ１２３を参照し、種別を選択部分５８１に表示することで選択図形５８を表示する（ステップＳ１２２）。ＣＰＵ１１は選択部分５８１に入力部１４で選択を受け付ける（ステップＳ１２３）。ＣＰＵ１１は表示ウィンドウ５１Ａに表示された動画データの動作要素に選択された選択部分５８１に表示された種別を対応づけ（ステップ１２４）、処理をＳ２０に移す。
FIG. 41 is a flowchart showing the processing procedure of the information processing system in this embodiment. Since the processes in steps S11 to S22 are the same as those in the information processing system according to the first embodiment, the description thereof is omitted for the sake of brevity. After completing the process in step S19, the
一つの側面によれば、種別の選択を表示ウィンドウ５１上で行える。このことにより、作業種別毎に円表表示させ、画像の種別の入力を容易にすることができる。
According to one aspect, the type can be selected on the
（実施の形態１１）
実施の形態１１は表示ウィンドウ５１の動画内における２点間の距離を画像処理により算出する実施の形態に関する。
(Embodiment 11)
The eleventh embodiment relates to an embodiment in which the distance between two points in the moving image of the
ＣＰＵ１１が例えば、表示ウィンドウ５１Ａに動画１０１を表示させる。ＣＰＵ１１は角度及び解像度に基づいて画像処理を行うことにより表示ウィンドウ５１Ａ上の２点間の距離を算出する。
For example, the
図４２は本実施形態における情報処理システムの処理手順を示したフローチャートである。ステップＳ１１〜Ｓ２２の処理は上述の実施の形態１に係る情報処理システムと同様であるので、簡潔のため説明を省略する。ＣＰＵ１１はステップＳ１９の処理を終了した後、表示ウィンドウ５１に画像処理を行うことにより距離を算出する（ステップＳ１３１）。ＣＰＵ１１は表示ウィンドウ５１に算出した距離を表示し（ステップＳ１３２）、処理をＳ２０に移す。
FIG. 42 is a flowchart showing the processing procedure of the information processing system in this embodiment. Since the processes in steps S11 to S22 are the same as those in the information processing system according to the first embodiment, the description thereof is omitted for the sake of brevity. After completing the process of step S19, the
一つの側面によれば、距離を表示することで、動画データの理解に役立てることができる。 According to one aspect, displaying the distance can be useful for understanding moving image data.
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、各実施の形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 The embodiment disclosed this time is to be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the meanings described above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims. Further, each embodiment can be appropriately combined within a range in which processing contents are not contradictory.
１ 情報処理装置
１２Ｐ プログラム
５２ 動作要素表（作業表）
1
Claims (11)
前記情報処理装置に、
作業を撮像した複数の動画を作業毎に分割した複数の分割動画を表示し、
各分割動画内に表示された対象物に対する評価値の入力を受け付け、
前記各分割動画内に表示された対象物が作業に対して有効な動作をした時間を示す動作時間に前記評価値を積算することで前記作業の標準を示す標準時間を算出する
処理を実行させることを特徴とするプログラム。 A program used in an information processing apparatus,
In the information processing apparatus,
A plurality of divided videos obtained by dividing a plurality of videos that capture the work for each work are displayed.
Accepts input of evaluation values for objects displayed in each split video,
The standard time indicating the standard of the work is calculated by adding the evaluation value to the operation time indicating the time when the object displayed in each of the divided videos performs an effective action for the work. A program characterized by that.
前記情報処理装置に、種別毎に前記作業時間を表示する処理を実行させることを特徴とする請求項２に記載のプログラム。 Multiple work times indicating the length of multiple split videos are associated with multiple types,
The program according to claim 2, wherein the information processing apparatus is caused to execute a process of displaying the work time for each type.
前記対象物の状態を計測した状態情報及び前記対象物の周辺の環境を計測した環境情報のうちの少なくとも一つの情報を取得し、
取得した前記少なくとも一つの情報の経時変化を表示する
処理を実行させることを特徴とする請求項１乃至３のいずれか１項に記載のプログラム。 In the information processing apparatus,
Obtaining at least one information of state information obtained by measuring the state of the object and environment information obtained by measuring an environment around the object;
The program according to any one of claims 1 to 3, wherein a process of displaying a change with time of the acquired at least one piece of information is executed.
前記各分割動画に前記対象物の動作が人又は機械が行う動作であることを示す動作情報を受け付け、
人が行う動作である動作情報に対応づけられた複数の分割動画を抽出し、
抽出した複数の分割動画の標準時間を合計した合計標準時間を算出する
処理を実行させることを特徴とする請求項１乃至５のいずれか１項に記載のプログラム。 In the information processing apparatus,
Accepting motion information indicating that the motion of the object is motion performed by a person or machine in each of the divided videos,
Extract multiple segmented videos that are associated with motion information that is human motion,
The program according to any one of claims 1 to 5, wherein a process for calculating a total standard time obtained by summing standard times of the plurality of extracted divided moving images is executed.
前記対象物が前記作業に対して無効な動作をした時間を示す無効時間を分割動画毎に受け付け、
複数の分割動画の無効時間を合計した無効合計時間と、該複数の分割動画の動作時間を合計した動作合計時間とを算出し、
算出した無効合計時間及び動作合計時間に基づいてグラフを表示する
処理を実行させることを特徴とする請求項１乃至６のいずれか１項に記載のプログラム。 In the information processing apparatus,
Accepting, for each divided video, an invalid time indicating a time when the object performs an invalid operation for the work;
Calculate the invalid total time that is the sum of the invalid times of multiple segmented videos and the total operation time that is the sum of the durations of the segmented videos,
The program according to any one of claims 1 to 6, wherein a program for displaying a graph based on the calculated total invalid time and total operation time is executed.
前記対象物の動作が人又は機械が行う動作であることを示す動作情報を分割動画毎に受け付け、
人が行う動作である動作情報に対応づけられた複数の分割動画を抽出し、
抽出した複数の分割動画の動作時間を合計した抽出合計時間と、前記動作合計時間から抽出合計時間を引いた稼動合計時間とを算出し、
算出した稼動合計時間、抽出合計時間及び無効合計時間に基づいてグラフを表示する
処理を実行させることを特徴とする請求項７に記載のプログラム。 In the information processing apparatus,
Receiving motion information indicating that the motion of the object is a motion performed by a person or machine for each divided video;
Extract multiple segmented videos that are associated with motion information that is human motion,
Calculating an extraction total time obtained by adding the operation times of the plurality of extracted divided videos and an operation total time obtained by subtracting the extraction total time from the operation total time;
The program according to claim 7, wherein a process of displaying a graph based on the calculated total operation time, total extraction time, and total invalid time is executed.
各分割動画及び複数の動画全体に対するコメントを受け付け、
受け付けたコメントを表示する
処理を実行させることを特徴とする請求項１乃至７のいずれか１項に記載のプログラム。 In the information processing apparatus,
Accept comments for each split video and multiple videos,
The program according to any one of claims 1 to 7, wherein a process for displaying an accepted comment is executed.
各分割動画内に表示された対象物に対する評価値の入力を受け付ける受け付け部と、
前記各分割動画内に表示された対象物が作業に対して有効な動作をした時間を示す動作時間に前記評価値を積算することで前記作業の標準を示す標準時間を算出する算出部と、を備えることを特徴とする情報処理装置。 A plurality of display units for displaying a plurality of divided videos obtained by dividing a plurality of videos obtained by imaging a work for each work;
A receiving unit that receives an input of an evaluation value for an object displayed in each divided video;
A calculation unit that calculates a standard time indicating the standard of the work by accumulating the evaluation value to an operation time indicating a time when the object displayed in each of the divided videos performs an effective operation for the work; An information processing apparatus comprising:
前記情報処理装置が、作業を撮像した複数の動画を作業毎に分割した複数の分割動画を表示し、
前記情報処理装置が、各分割動画内に表示された対象物に対する評価値の入力を受け付け、
前記情報処理装置が、前記各分割動画内に表示された対象物が作業に対して有効な動作をした時間を示す動作時間に前記評価値を積算することで前記作業の標準を示す標準時間を算出することを特徴とする情報処理方法。 An information processing method realized by an information processing apparatus,
The information processing apparatus displays a plurality of divided videos obtained by dividing a plurality of videos obtained by imaging work for each work,
The information processing apparatus accepts input of an evaluation value for an object displayed in each divided video,
The information processing apparatus adds a standard time indicating the standard of the work by adding the evaluation value to an operation time indicating a time during which the object displayed in each of the divided videos has an effective action for the work. An information processing method characterized by calculating.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015041851 | 2015-03-03 | ||
| JP2015041851 | 2015-03-03 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016167265A true JP2016167265A (en) | 2016-09-15 |
| JP6783060B2 JP6783060B2 (en) | 2020-11-11 |
Family
ID=56897587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016040423A Active JP6783060B2 (en) | 2015-03-03 | 2016-03-02 | Programs, information processing devices and information processing methods |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6783060B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019067206A (en) * | 2017-10-02 | 2019-04-25 | 富士通株式会社 | Detection system, detection method, and detection program |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1190794A (en) * | 1997-09-19 | 1999-04-06 | Kubota Corp | Working time measuring device for production line |
| JP2000354943A (en) * | 1999-06-09 | 2000-12-26 | Nippon Telegr & Teleph Corp <Ntt> | Work management and support method and device, and recording medium having program therefor recorded |
| JP2001014016A (en) * | 1999-06-29 | 2001-01-19 | Yoriaki Yamai | Analyzing method of working state, analysis system of working state to execute the same method and managing device of working state using the same system |
| JP2007323222A (en) * | 2006-05-31 | 2007-12-13 | Hitachi Ltd | Working motion analysis method, working motion analysis apparatus and working motion analysis program |
| JP2008059322A (en) * | 2006-08-31 | 2008-03-13 | Sharp Corp | Work management system |
| JP2008077424A (en) * | 2006-09-21 | 2008-04-03 | Toshiba Corp | Operation analysis system and method |
| US20110010623A1 (en) * | 2009-07-10 | 2011-01-13 | Vanslette Paul J | Synchronizing Audio-Visual Data With Event Data |
-
2016
- 2016-03-02 JP JP2016040423A patent/JP6783060B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1190794A (en) * | 1997-09-19 | 1999-04-06 | Kubota Corp | Working time measuring device for production line |
| JP2000354943A (en) * | 1999-06-09 | 2000-12-26 | Nippon Telegr & Teleph Corp <Ntt> | Work management and support method and device, and recording medium having program therefor recorded |
| JP2001014016A (en) * | 1999-06-29 | 2001-01-19 | Yoriaki Yamai | Analyzing method of working state, analysis system of working state to execute the same method and managing device of working state using the same system |
| JP2007323222A (en) * | 2006-05-31 | 2007-12-13 | Hitachi Ltd | Working motion analysis method, working motion analysis apparatus and working motion analysis program |
| JP2008059322A (en) * | 2006-08-31 | 2008-03-13 | Sharp Corp | Work management system |
| JP2008077424A (en) * | 2006-09-21 | 2008-04-03 | Toshiba Corp | Operation analysis system and method |
| US20110010623A1 (en) * | 2009-07-10 | 2011-01-13 | Vanslette Paul J | Synchronizing Audio-Visual Data With Event Data |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019067206A (en) * | 2017-10-02 | 2019-04-25 | 富士通株式会社 | Detection system, detection method, and detection program |
| JP7091629B2 (en) | 2017-10-02 | 2022-06-28 | 富士通株式会社 | Detection system, detection method and detection program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6783060B2 (en) | 2020-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5525202B2 (en) | Motion analysis apparatus, motion analysis method, and motion analysis program | |
| US10713770B2 (en) | Analysis apparatus and analysis method | |
| CN104239416A (en) | User identification method and system | |
| KR102466438B1 (en) | Cognitive function assessment system and method of assessing cognitive funtion | |
| JP6842044B2 (en) | Information processing equipment, information processing methods, programs | |
| US20200125839A1 (en) | Method and system for automatic repetitive step and cycle detection for manual assembly line operations | |
| US20230044842A1 (en) | Work analyzing device and work analyzing method | |
| JP6803431B2 (en) | Programs, information processing devices and information processing methods | |
| JPWO2017033539A1 (en) | Work support device, work support method and program | |
| JP2020091801A (en) | Work analysis system and work analysis method | |
| JP6279635B2 (en) | Program, information processing apparatus and information processing method | |
| CN106601217B (en) | Interactive musical instrument playing method and device | |
| JP2019185188A (en) | Information processing method, information processing apparatus, and information processing system | |
| JP2017080197A (en) | Information processing device, information processing method and program | |
| KR20160076488A (en) | Apparatus and method of measuring the probability of muscular skeletal disease | |
| JP6783060B2 (en) | Programs, information processing devices and information processing methods | |
| JP2021026336A (en) | Information processing device and marketing activity support device | |
| JP2019093152A (en) | Information processing device, information processing method and program | |
| JP6643806B2 (en) | Program, information processing apparatus and information processing method | |
| JP2017118319A (en) | Video retrieval system | |
| JP2017080199A (en) | Information processing device, information processing method and program | |
| Nurai et al. | A research protocol of an observational study on efficacy of microsoft kinect azure in evaluation of static posture in normal healthy population | |
| JP2017080200A (en) | Information processing device, information processing method and program | |
| JP2017080201A (en) | Information processing device, information processing method and program | |
| WO2023182424A1 (en) | Information processing method, computer program, and information processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190308 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200526 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200716 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201013 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201021 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6783060 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |