JP7254546B2 - Information processing device, information processing method and program - Google Patents
Information processing device, information processing method and program Download PDFInfo
- Publication number
- JP7254546B2 JP7254546B2 JP2019021476A JP2019021476A JP7254546B2 JP 7254546 B2 JP7254546 B2 JP 7254546B2 JP 2019021476 A JP2019021476 A JP 2019021476A JP 2019021476 A JP2019021476 A JP 2019021476A JP 7254546 B2 JP7254546 B2 JP 7254546B2
- Authority
- JP
- Japan
- Prior art keywords
- period
- work
- content
- information processing
- work content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- General Factory Administration (AREA)
Description
本発明は、情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.
従来、主に工場等の生産現場において、画像中の人物がどのような作業を行っているかを検出する手法及びその結果に基づいて作業を行っているタイミングを検出する手法が知られている。また、特許文献1には、学習モデルを用いた機械学習により、時系列データから状況を認識する認識装置が開示されている。
2. Description of the Related Art Conventionally, a method of detecting what kind of work a person in an image is doing and a method of detecting the timing of the work based on the result are known, mainly at a production site such as a factory. Further,
しかしながら、上述のような機械学習を用いた画像認識においては、誤認識が生じる可能性があるという問題がある。一方で、時系列を考慮した機械学習を行うこととした場合には、多大な時間を要し、また学習データの収集が十分に行えない場合もある。 However, in image recognition using machine learning as described above, there is a problem that erroneous recognition may occur. On the other hand, when it is decided to perform machine learning considering the time series, it takes a lot of time, and there are cases where learning data cannot be sufficiently collected.
本発明はこのような問題点に鑑みなされたもので、作業内容を特定する精度を向上させることを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of such problems, and it is an object of the present invention to improve the accuracy of identifying work content.
そこで、本発明は、情報処理装置であって、映像を構成するフレームを取得する取得手段と、前記フレームの画像に基づいて、学習済みの学習モデルを用いた機械学習により、作業内容を特定する作業特定手段と、前記映像に含まれる期間のうち、前記作業特定手段により第1の作業内容が特定された連続フレームに対応する第1の期間と、前記映像に含まれる期間のうち、前記第1の期間と異なる期間で、第2の作業内容が特定された連続フレームに対応する第2の期間との時系列関係と、予め定められた複数の作業内容についての作業順と、に基づいて、前記フレームの画像に対応付く作業内容を補正し、前記作業順に対応した各作業の期間を特定する期間特定手段とを有する。 Therefore, the present invention is an information processing apparatus, and an acquisition unit that acquires a frame that constitutes a video; work identifying means; a first period corresponding to a continuous frame in which the first work content is identified by the work identifying means among the periods included in the image; Based on a time-series relationship with a second period corresponding to consecutive frames in which the second work content is specified in a period different from the first period, and a predetermined work order for a plurality of work contents. and period identifying means for correcting the work contents associated with the frame image and identifying the period of each work corresponding to the work order.
本発明によれば、作業内容を特定する精度を向上させることができる。 ADVANTAGE OF THE INVENTION According to this invention, the precision which specifies a work content can be improved.
以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
図1は、第1の実施形態に係る作業特定システムの全体図である。作業特定システムは、サーバ装置100と、撮像装置110と、を有している。サーバ装置100と撮像装置110は、例えばTCP/IPを用いて通信を行う。なお、サーバ装置100と撮像装置110は、他の通信プロトロコルを用いてもよい。撮像装置110は、人物Aが物体120に対し、一連の作業を行う様子を撮像し、映像を撮像装置110に送信する。ここで、物体120は、作業対象となる物体である。物体120は、図1に示すように机130の上に載るサイズのものに限定されるものではなく、例えばネジ等のように掌や指に載るサイズのものでもよく、床に置かれるような大型サイズのものであってもよい。また、人物Aが行う一連の作業は、複数の作業を含み、各作業の作業順は予め定められているものとする。一連の作業には、例えば、作業A、作業B、作業Cが含まれ、各作業はこの順に実行されるものとする。本実施形態のサーバ装置100は、一連の作業に含まれる各作業の作業順に、1、2、3というように連続する整数をラベルとして割り当てて管理するものとする。なお、ラベルに用いる記号は、各作業の順番が識別可能なものであればよく、実施形態に限定されるものではない。ラベルに用いる記号の他の例としては、1、3、5というような奇数列や、a、b、cというようなアルファベット順が挙げられる。なお、サーバ装置100は、情報処理装置の一例である。
BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is an overall diagram of a work identification system according to the first embodiment. The work identification system has a
図2は、サーバ装置100のハードウェア構成図である。CPU201は、RAM206やROM207に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりCPU201は、サーバ装置100全体の動作制御を行うと共に、サーバ装置100が行うものとして後述する各処理を実行若しくは制御する。
FIG. 2 is a hardware configuration diagram of the
入力装置202は、ボタン群などのユーザインターフェースであり、ユーザが操作することで各種の入力をサーバ装置100に対して行うことができる。出力装置203は、液晶画面等の表示部やスピーカを有し、CPU201による処理結果を表示したり音声出力したりすることができる。なお、入力装置202によるユーザインターフェース機能と出力装置203による表示機能とを組み合わせてタッチパネル画面を構成しても構わない。通信装置204は、サーバ外部からのデータの入出力を受け付けるためのUSBポート、LANポートなどのインターフェースにより構成されている。映像データを取得するためのカメラや、映像データを記録したメディア、本装置により計測された作業時間を記録するためのメディア等が通信装置204に接続され、処理対象データの入出力が行われる。
The
記憶装置205は、ハードディスクドライブ装置やフラッシュメモリなどにより構成されている。記憶装置205には、OS(オペレーティングシステム)や、サーバ装置100が行うものとして後述する各処理をCPU201に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。以降の説明において、処理に用いる映像データや検出された作業実施有無履歴、計測された作業時間データの登録先は記憶装置205となる。記憶装置205に保存されているコンピュータプログラムやデータは、CPU201による制御に従って適宜RAM206にロードされ、CPU201による処理対象となる。
The
RAM206は、記憶装置205からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。更にRAM206は、CPU201が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM206は、各種のエリアを適宜提供することができる。ROM207には、サーバ装置100の設定データや起動プログラムなど、書き換え不要なコンピュータプログラムやデータが保存されている。なお、後述するサーバ装置100の機能や処理は、CPU201がROM207又は記憶装置205に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。CPU201、入力装置202、出力装置203、通信装置204、記憶装置205、RAM206、ROM207は何れもバス(BUS)208に接続されている。
図3は、サーバ装置100の機能構成図である。作業特定部301は、撮像装置110から入力された動画像を構成するフレームの画像に基づいて、学習済みの学習モデルを用いた機械学習により作業内容を特定する。なお、作業特定部301は、フレームの時系列関係を示す時系列情報等の情報を利用することなく、1フレームの画像の情報のみを用いて作業内容を特定するものとする。期間特定部302は、作業特定部301により特定された作業内容が同一の複数のフレームを、特定された作業内容の作業期間として特定する。期間特定部302はさらに、予め設定された作業順情報に基づいて、作業内容及び作業期間を適宜補正する。ここで、作業順情報とは、一連の作業に含まれる複数の作業の作業内容と順番とを示す情報である。表示処理部303は、各種情報を表示部に表示するよう制御する。
FIG. 3 is a functional configuration diagram of the
図4は、サーバ装置100による作業検出処理を示すフローチャートである。作業検出処理は、映像に基づいて、作業内容を検出する処理である。S401において、作業特定部301は、通信装置204を介して撮像装置110かをフレーム単位で取得する。なお、動画像の取得は、ストリーミング形式で逐次行われるものとする。また、他の例としては、撮像装置110により得られた動画像は、一旦記憶装置205に記録され、作業特定部301は、記憶装置205に記憶された動画像をフレーム単位で取得してもよい。
FIG. 4 is a flow chart showing work detection processing by the
次に、S402において、作業特定部301は、取得したフレームの画像情報に基づいて、作業内容を特定する。本処理は作業特定処理の一例である。具体的には、予め定められた複数の作業内容の動作特徴を学習した学習済みモデルを作成しておき、作業特定部301は、各作業内容に対するスコアを求める。作業特定部301は、スコアが最大となる作業内容を、フレームに対応する作業内容として特定する。本実施形態においては、作業内容を識別する作業ラベルが予め設定されているものとし、作業特定部301は、特定した作業内容に対応した作業ラベルを、フレームに対応付けて例えばRAM206等の記憶部に記録する。
Next, in S402, the
本実施形態においては、作業ラベルは、1~8までの整数とする。このうち、1~7は、予め定められた作業内容で、互いに異なる作業内容を示す。8は、予め定められた作業内容が検出されなかったことを示す。さらに、本実施形態においては、実行順が定められた複数の作業を連続して行う様子が撮影された映像が処理対象となるものとし、作業ラベルは、実行順も識別可能な情報とする。本実施形態においては、作業ラベル1、2、3は、作業の順番を示すと共に、異なる番号であることは作業内容が異なることを示している。 In this embodiment, the work label is an integer from 1 to 8. Among these, 1 to 7 are predetermined work contents, and indicate work contents different from each other. 8 indicates that the predetermined work content was not detected. Furthermore, in the present embodiment, a video in which a plurality of tasks with a predetermined execution order are continuously performed is processed, and the work label is information that allows the execution order to be identified. In this embodiment, work labels 1, 2, and 3 indicate the order of work, and different numbers indicate different work contents.
なお、前述の学習モデルの作成においては、様々な方法が存在し、その方法は特に限定されるものではない。例えば深層学習と呼ばれる方法を用いる場合には、最初に正しい作業内容を撮影したデータを大量に用意しておき、これらのデータを学習用のネットワークに入力することでモデルを作成する。 There are various methods for creating the learning model described above, and the method is not particularly limited. For example, when using a method called deep learning, a large amount of data of correct work content is first prepared, and a model is created by inputting this data into a learning network.
また、作業特定部301は、画像に基づいて作業内容を特定すればよく、そのための具体的な処理は実施形態に限定されるものではない。他の例としては、各作業内容の代表的な動きの画像を用意しておき、作業特定部301は、用意された画像と処理対象の画像を比較し、比較結果に応じて作業内容を特定してもよい。また、他の例としては、各作業時に必ず触れるエリアを設定しておき、そこを触ったかどうか、どの程度触ったか等に基づいて、作業内容を特定してもよい。
Further, the
次に、S403において、期間特定部302は、S401において取得したフレーム画像が映像の最終フレームか否かを判定する。期間特定部302は、最終フレームと判定した場合には(S403でYES)、次のフレームが存在しないため、処理をS405へ進める。期間特定部302は、最終フレームでないと判定した場合には(S403でNO)、処理をS404へ進める。S404において、期間特定部302は、S401において取得したフレーム画像において特定された作業内容が、直前のフレームの作業内容と別の作業内容か否かを判定する。このとき、期間特定部302は、作業ラベルを参照するものとする。期間特定部302は、別の作業内容の場合には(S404でYES)、処理をS405へ進める。期間特定部302は、同じ作業内容の場合には(S404でNO)、処理をS401へ進める。
Next, in S403, the
S405において、期間特定部302は、S401において取得したフレームの作業内容の連続期間を、時系列を遡ってカウントする。次に、S406において、期間特定部302は、S405においてカウントしたフレーム数(連続フレーム数)と第1閾値とを比較する。ここで第1の閾値は、予め定められたフレーム数である。期間特定部302は、連続フレーム数が第1閾値よりも大きいと判定した場合には(S406でYES)、処理をS407へ進める。期間特定部302は、連続フレーム数が第1閾値以下と判定した場合には(S406でNO)、処理をS408へ進める。S407において、期間特定部302は、連続フレームを、S401において特定した作業内容の作業期間として抽出し、作業期間の開始フレーム、終了フレーム、作業内容をRAM206等の記憶部に記録し、その後処理をS409へ進める。
In S405, the
一方、S408において、期間特定部302は、連続フレームを、直前の作業期間に追加し、その後処理をS409へ進める。本処理は、連続期間が極端に短い場合には誤認識の可能性が高いことに対応した処理である。S408において、期間特定部302は、具体的には、直前の作業期間が作業ラベル2で識別される期間の場合には、連続フレームについても作業ラベル2の期間として、作業内容を置き換え、期間を統合する。
On the other hand, in S408, the
S409において、期間特定部302は、補正対象の作業期間が存在するか否かを判定する。本実施形態においては、期間特定部302は、直前の作業期間が特定され、かつ直後の作業期間が特定されているような作業期間が存在する場合に、前後に挟まれた作業期間を、補正対象の作業期間として特定するものとする。以下、補正対象の作業期間を対象期間と称する。期間特定部302は、対象期間が存在する場合には(S409でYES)、処理をS410へ進める。期間特定部302は、対象期間が存在しない場合には(S409でNO)、処理をS401へ進める。なお、最終フレームを含む作業期間においては、次の作業期間は存在しないが、この場合には、特例として処理をS410へ進めるものとする。
In S409, the
S410において、期間特定部302は、対象期間に対する補正処理を行う。補正処理は、対象期間の長さの補正や、誤認識の修正、作業の有無の判定等を行う処理である。補正処理については、図5を参照しつつ後述する。次に、S411において、期間特定部302は、S401において取得したフレームが最終フレームか否かを判定する。期間特定部302は、最終フレームと判定した場合には(S411でYES)、作業検出処理を終
了する。期間特定部302は、最終フレームと判定しなかった場合には(S411でNO)、処理をS401へ進める。
In S410, the
図5は、図4を参照しつつ説明した補正処理(S410)における詳細な処理を示すフローチャートである。図6及び図7は、補正処理の説明図である。図6(a)は、作業期間列600を示し、図6(b)は、作業期間列610を示している。作業期間列600は、補正処理(S410)が行われる前にS408までの処理で得られた作業期間列であり、作業期間列610は、作業期間列600に対して補正処理が行われた後の作業期間列である。同様に、図7(a)は、補正処理の前の作業期間列700を示し、図7(b)は、補正処理の後の作業期間列710を示している。作業期間列710は、作業期間列700に対応している。
FIG. 5 is a flowchart showing detailed processing in the correction processing (S410) described with reference to FIG. 6 and 7 are explanatory diagrams of the correction process. 6A shows the
作業期間列600,700においては、作業期間を識別するNoと、開始フレームと、終了フレームと、作業ラベルと、を対応付けて示している。ここで、Noは、作業期間を識別する情報である。作業ラベルは、作業内容を識別する情報である。本実施形態においては、作業ラベルは、1~8までの整数とする。このうち、1~7は、予め定められた作業内容で、互いに異なる作業内容を示す。8は、予め定められた作業内容が検出されなかったことを示す。
In the
図5において、S501において、期間特定部302は、対象期間が非作業期間か否かを判定する。具体的には、期間特定部302は、対象期間の作業ラベルが「8」の場合に、非作業期間と判定する。期間特定部302は、非作業期間と判定した場合には(S501でYES)、処理をS502へ進める。期間特定部302は、非作業期間でないと判定した場合には(S501でNO)、処理をS503へ進める。S502において、期間特定部302は、対象期間に対応する作業内容に対応した期間から、対象期間を削除する。以上で補正処理(S410)は終了する。この場合、期間特定部302は、その後処理をS411へ進める。
In FIG. 5, in S501, the
一方、S503において、期間特定部302は、対象期間と、その直前の作業期間の作業ラベルが同一か否かを判定する。期間特定部302は、作業ラベルが同一と判定した場合には(S503でYES)、処理をS504へ進める。期間特定部302は、作業ラベルが異なると判定した場合には(S503でNO)、処理をS506へ進める。S504において、期間特定部302は、対象期間を、割り当てられている作業内容(作業ラベル)に対応した期間として特定する。次に、S505において、期間特定部302は、対象期間の期間を直前の作業期間に統合する。以上で、補正処理(S410)を終了する。例えば、図6(a)の作業期間列600においては、No5の作業期間は、S504において作業内容として作業ラベル3が特定され、S505においてNo5の作業期間がNo4の作業期間に統合される。
On the other hand, in S503, the
S506において、期間特定部302は、対象期間の作業ラベルが直前の作業期間の作業ラベルよりも数値が小さいか否かを判定する。なお、以下においては、対象期間の作業ラベルを対象のラベル、直前の作業期間の作業ラベルを直前のラベルと称する。期間特定部302は、対象のラベルが直前のラベルよりも小さいと判定した場合には(S506でYES)、処理をS507へ進める。期間特定部302は、対象のラベルが直前のラベル以上と判定した場合には(S506でNO)、処理をS508へ進める。S507において、期間特定部302は、対象期間に対応する作業内容に対応した期間から、対象期間を削除する。以上で補正処理(S410)は終了する。なお、S506で参照される作業期間は対象期間よりも前の作業期間であればよく、直前の作業期間に限定されるものではない。
In S506, the
本実施形態においては、予め定められた実行順に従い作業が行われている場合には、作業ラベルは昇順になるはずである。これに対応し、S506、S507の処理は、昇順を満たさない場合には誤認識結果として削除するものである。例えば、図6(a)の作業期間列600においては、No7の作業期間の作業ラベルが「2」であり、直前のNo6の作業期間の作業ラベル「4」よりも小さい。このため、No7の作業期間はS507の処理で削除される。なお、S507の処理は、作業順において対象期間の作業内容が直前の作業期間の作業内容よりも前の作業内容として定義されている場合に、対象期間を削除する処理の一例である。
In this embodiment, when the work is performed according to the predetermined execution order, the work labels should be in ascending order. Corresponding to this, the processing of S506 and S507 is to delete it as an erroneous recognition result when the ascending order is not satisfied. For example, in the
S508において、期間特定部302は、対象のラベルと直前のラベルの差が1か否かを判定する。前述の通り、作業ラベルは作業順に対応しているものであり、S508の処理は、作業順にあった順序で作業が行われているかを確認するものである。したがって、期間特定部302は、作業順に応じた作業ラベルの差が1以外の他の値の場合には、他の値に基づいて、判断するものとする。期間特定部302は、差が1であると判定した場合には(S508でYES)、処理をS509へ進める。期間特定部302は、差が1でないと判定した場合には(S508でNO)、処理をS510へ進める。
In S508, the
S509において、期間特定部302は、対象期間を、対象期間において特定された作業内容(作業ラベル)に対応した期間として特定する。以上で補正処理(S410)を終了する。例えば、図6(a)の作業期間列600においては、No3の作業期間を対象期間とした処理において、No3の作業期間が作業ラベル2の作業期間として特定される。同様に、No4の作業期間を対象期間とした処理において、No4の作業期間が作業ラベル3の作業期間として特定される。なお、S509の処理は、対象期間の作業内容と直前の作業内容と、対象期間の作業内容とが、作業順においてこの順に連続した作業内容として定義されている場合に、対象期間を、対応する作業内容の期間として特定する処理の一例である。
In S509, the
また、図7(a)の作業期間列700のNo10の作業期間のように、前の作業期間が存在しない場合がある。この場合には、期間特定部302は、S503、S505では共にNOと判定し、S508でYESと判定することにより、作業期間として確定するものとする。また、他の例としては、補正対象の作業期間の作業ラベルが「1」の場合には、直前の作業期間が存在しない場合に、作業ラベル「1」を作業内容として確定してもよい。本処理においては、他の作業期間の作業ラベルとの比較を行うことなく、補正対象の作業期間の作業内容を決定することができる。
Also, there are cases where there is no previous work period, such as the work period No. 10 in the
S510において、期間特定部302は、対象期間の次の作業期間の作業ラベル(次のラベル)と、直前のラベルの差が1か否かを判定する。本処理は、次の作業と直前の作業とが連続する作業であるか否かを確認する処理である。期間特定部302は、作業ラベルの差が1であると判定した場合には(S510でYES)、処理をS511へ進める。期間特定部302は、作業ラベルの差が1でないと判定した場合には(S510でNO)、処理をS512へ進める。S511において、期間特定部302は、対象期間に対応する作業内容に対応した期間から、対象期間を削除する。以上で補正処理(S410)が終了する。
In S510, the
次のラベルと直前のラベルの差が1の場合には、直前の作業期間と次の作業期間は連続した作業順に対応した期間であり、したがって、対象期間はノイズの期間であったと考えられる。そこで、本実施形態においては、この場合には、S511において、対象期間を対応する作業内容に対応した期間から削除するものとする。例えば、図7(a)の作業期間列700においては、No11~No13の作業期間において、作業ラベル2、4、3が割り当てられている。これに対し、S511処理が実行されると、No12の作業期間は、削除される。なお、S510の処理は、直前の期間と次の期間の作業内容が作業順において連続した作業内容として定義されているか否かを判定する処理である。また、S511の処理は、直前の期間と次の期間の作業内容が作業順において連続した作業内容として定義されている場合に、対象期間を、対応する作業内容の期間として特定する処理の一例である。
If the difference between the next label and the immediately preceding label is 1, the previous work period and the next work period are periods corresponding to continuous work order, and therefore the period of interest is considered to be the period of noise. Therefore, in this embodiment, in this case, in S511, the target period is deleted from the period corresponding to the corresponding work content. For example, in the
一方、S512においては、期間特定部302は、作業漏れがあると判断し、作業漏れがある旨の通知情報を出力し、以上で補正処理(S410)が終了する。通知情報の出力の具体的な処理としては、通知情報を作業管理者のPC等にメールで送信する、警告音を出力する、通知情報を表示部に表示する、等が挙げられる。
On the other hand, in S512, the
例えば、図7(a)の作業期間列700においては、No20~No22の作業期間において作業ラベル4、6、7が割り当てられている。この場合、S508でNOと判定され、S510でNOと判定されることになり、S512の処理が行われる。そして、S511の処理により、No5の作業が行われていないと判定され、No5の作業の作業漏れがある旨の通知情報が出力される。なお、S512においては、予め定められた特定の処理を行えばよく、具体的な処理は、実施形態に限定されるものではない。以上の補正処理により、図6(a)の作業期間列600から図6(b)の作業期間列610が確定し、図7(a)の作業期間列700から図7(b)作業期間列710が確定する。なお、補正処理(S410)は、複数の期間の時間的な関係と、予め定められた作業順と、に基づいて、作業順に対応した各作業の期間を特定する処理であり、期間特定処理の一例である。
For example, in the
以上のように、サーバ装置100は、作業順を考慮することにより、作業内容及び作業期間の特定精度を向上させることができる。
As described above, the
(第2の実施形態)
次に、第2の実施形態に係る作業特定システムについて、第1の実施形態に係る作業特定システムと異なる点を主に説明する。図8は、第2の実施形態に係る作業特定システムのサーバ装置100の機能構成図である。第2の実施形態に係るサーバ装置100は、スコア算出部801と、期間特定部802と、表示処理部803と、を有している。
(Second embodiment)
Next, the work identification system according to the second embodiment will be described mainly with respect to differences from the work identification system according to the first embodiment. FIG. 8 is a functional configuration diagram of the
スコア算出部801は、撮像装置110から入力された動画像を構成するフレームの画像に基づいて、学習済みの学習モデルを用いた機械学習により各作業のスコアを算出する。なお、スコア算出部801は、フレームの時系列関係を示す時系列情報等の情報を利用することなく、1フレームの画像の情報のみを用いて作業内容を特定するものとする。期間特定部802は、スコア算出部801により算出されたスコアと、出力確率モデルと、遷移確率モデルと、に基づいて、作業内容及び作業期間を検出する。ここで、出力確率モデルとは、各作業のスコアから作業内容を推測するためのモデルである。遷移確率モデルとは、複数の作業間の遷移確率を定義したモデルである。表示処理部803は、各種情報を表示部に表示するよう制御する。
The
図9は、サーバ装置100による作業検出処理を示すフローチャートである。作業検出処理は、映像に基づいて、作業内容を検出する処理である。S901において、スコア算出部801は、作業検出処理を終了するかを判定する。判定には様々な方法がり、その方法は特に限定されるものではない。例えば時刻に基づいて判定することや、動作物体がいるかいないかに基づいて判定することや、電源が切られたことに基づいて判定することや、映像の終了を検知して判定するという方法がある。スコア算出部801は、作業検出処理を終了すると判定した場合には(S901でYES)、作業検出処理を終了する。スコア算出部801は、作業検出処理を終了すると判定しなかった場合には(S901でNO)、処理をS902に進める。
FIG. 9 is a flow chart showing work detection processing by the
S902において、スコア算出部801は、通信装置204を介して撮像装置110から動画像をフレーム単位で取得する。なお、動画像の取得は、ストリーミング形式で逐次行われるものとする。また、他の例としては、撮像装置110により得られた動画像は、一旦記憶装置205に記録され、作業特定部301は、記憶装置205に記憶された動画像をフレーム単位で取得してもよい。
In S<b>902 , the
次に、S903において、スコア算出部801は、S902で取得したフレームに対して、各作業内容に対するスコアを求める。本処理はスコア特定処理の一例である。具体的には、予め定められた複数の作業内容の動作特徴を学習した学習済みモデルが予め設定されているものとし、スコア算出部801は、学習済みモデルに基づいて各作業内容に対するスコアを求め、スコアをRAM206等の記憶部に記録する。
Next, in S903, the
なお、前述の学習モデルの作成においては、様々な方法が存在し、その方法は特に限定されるものではない。例えば深層学習と呼ばれる方法を用いる場合には、最初に正しい作業内容の動作を撮影したデータとその作業内容を特定したデータとを大量に用意しておき、これらのデータを学習用のネットワークに入力することでモデルを作成する。学習済みモデルに、作業内容を撮影した動画像のフレームを入力すると、出力として作業内容が特定される。 There are various methods for creating the learning model described above, and the method is not particularly limited. For example, when using a method called deep learning, first prepare a large amount of data that captures the movement of the correct work content and data that specifies the work content, and input these data to the learning network. Create a model by doing When a frame of a moving image of the content of work is input to the trained model, the content of the work is specified as an output.
また、スコア算出部801は、画像に基づいて各作業のスコアを算出すればよく、そのための具体的な処理は実施形態に限定されるものではない。他の例としては、各作業内容の代表的な動きの画像を用意しておき、スコア算出部801は、用意された画像と処理対象の画像を比較し、比較結果に応じて各作業のスコアを算出してもよい。また、他の例としては、各作業時に必ず触れるエリアを設定しておき、そこを触ったかどうか、どの程度触ったか等に基づいて、各作業のスコアを算出してもよい。
Also, the
次に、S904において、期間特定部802は、S902で取得された動画像に含まれる期間のうち、S905以降で処理されるために十分な期間を検出する。期間特定部802は、例えば、一連の作業期間の開始から終了までの期間を十分な期間とし、一連の作業の終わりのタイミングを検出した場合に、十分な期間を検出したと判定する。具体的には、期間特定部802は、作業1、作業2、作業3、作業4の4つの作業をこの順に行う一連の作業を対象とする場合には、スコアに基づいて、作業4の終了を探し、作業4の終了を検出した場合に十分な期間を検出したと判定するものとする。ここで、十分な期間は、系列期間、所定の期間の一例である。なお、十分な期間を検出する処理は、スコアに基づいて、系列期間を決定する系列期間決定処理の一例である。期間特定部802は、十分な期間が検出された場合には(S904でYES)、処理をS905へ進める。期間特定部802は、十分な期間が検出されなかった場合には(S904でNO)、処理をS901へ進める。
Next, in S904, the
S905において、期間特定部802は、S904において検出した十分な期間に対応するスコアを結合して、スコア系列を生成する。次に、S906において、期間特定部802は、S905において生成したスコア系列に含まれる各スコアに対応する各フレームに、尤もらしい作業内容のラベルを付与したラベル系列を生成する。期間特定部802は、ラベル系列の生成においては、出力確率モデルと、遷移確率モデルを用いる。また、遷移確率モデルは、各作業から各作業へ遷移する確率を定義したモデルである。期間特定部802は、これらのモデルに対する尤度を計算することで、スコア系列のそれぞれのスコアと対応するフレームに尤もらしいラベルを与える。
In S905, the
期間特定部802は、さらに、各作業の継続時間に基づいて尤度を調整する。例えば、予め各作業の継続時間の平均と分散を計測しておき、その平均と分散から各作業の継続時間の正規分布を作成しておく。そして、期間特定部802は、尤度の計算の際、生成した各作業の継続時間が、各作業の継続時間の正規分布から外れる場合、その尤度を低くする。
The
なお、各作業の継続時間に基づいて尤度を調整する方法は様々なものがあり、期間特定部802が実行する方法は、特に限定されるものではない。例えば正規分布でなく、別の分布を用いる方法が挙げられる。また、他の例としては、期間特定部802は、予め各作業の継続時間の平均を計算しておき、その平均とどのくらい異なっているかに基づいて調整してもよい。また、作業者の違いによって作業の継続時間が異なるので、期間特定部802は、予め作成した別の作業者の作業の継続時間に基づいて、その継続時間の違いに応じた分布を作成してもよい。また、前述の各作業の継続時間に基づいて尤度を変更する処理は、必須のものではない。
Note that there are various methods for adjusting the likelihood based on the duration of each task, and the method executed by the
次に、S907において、期間特定部802は、S906において生成したラベル系列のラベルの連続期間を、時系列を遡ってカウントし、連続期間を作業期間候補としてまとめる。次に、S908において、期間特定部802は、S907でまとめられた作業期間候補をフィルタリングする。具体的には、期間特定部802は、作業期間候補の長さと予め定められた作業期間の長さとの差分が閾値よりも短い場合に、この作業期間候補を作業期間として特定する。一方で、期間特定部802は、差分が閾値よりも大きい場合に、この作業期間候補については作業期間と特定しない。このように、期間特定部802は、作業の継続期間に基づいて、作業期間を特定する。さらに、期間特定部802は、作業期間候補に含まれるフレームのうち、フレームのスコアと予め設定された期待スコアとの差分がスコア閾値以上となるフレームの数がフレーム閾値未満の場合に、この作業期間候補を作業期間として特定する。一方で、期間特定部802は、フレームの数がフレーム閾値以上の場合には、この作業期間候補については作業期間と特定しない。
Next, in S907, the
次に、S909において、期間特定部802は、S908でフィルタリングされた作業期間候補を作業期間として特定し、作業期間の開始フレーム、終了フレーム、ラベル、S906で計算された尤度を記憶装置205等の記憶部に記録する。図10(a)は、検出結果を保存する形式の一例である。図10(a)に示すように、期間特定部802は、検出した作業期間に関する情報を行毎に記述していく。
Next, in S909, the
次に、S910において、期間特定部802は、S909でまとめた作業期間において、作業抜けがあるか判断する。期間特定部802は、図10(b)に示すように時系列に沿って並べられた検出結果において、予め定められている定義順と比較することで作業抜けを検出する。例えば、図10(b)の例では、予め定められた作業ラベルの定義順は3、4、5、6だが、検出結果の作業ラベルは、3、4、6の順である。このため、作業ラベル5が抜けていると判断される。期間特定部802は、作業抜けがあった場合には(S910でYES)、処理をS911へ進める。期間特定部802は、作業抜けがなかった場合には(S910でNO)、処理をS901へ進める。
Next, in S910, the
S911において、期間特定部802は、作業抜けがある旨の通知情報を出力する。通知情報の出力の具体的な処理としては、通知情報を作業管理者のPC等にメールで送信する、警告音を出力する、通知情報を表示部に表示する、等が挙げられる。上記作業抜けがある旨の通知情報を出力した後、処理をS901に進める。
In S<b>911 , the
以上のように、サーバ装置100は、スコア系列をモデル化することで、作業内容及び作業期間の特定精度を向上させることができる。
As described above, the
なお、S910の作業抜けがあるかの判断とS911の作業抜けがある旨の通知情報の処理は本実施形態において必須の処理ではなく、作業内容を記録するだけでもよい。作業抜け判断の処理を行わない場合は、期間特定部802は、S909の処理の後、処理をS901へ進めればよい。また、S909において、記憶部へ記録した検出結果は、作業抜けの判定が終わった後に、その記憶領域を解放してもよい。また、S909において、期間特定部802は、必ずしも作業期間の開始フレーム、終了フレーム、ラベル、S906で計算された尤度の全てを保存しなくてもよい。期間特定部802は、例えば、作業抜けの判断に必要な作業ラベルだけを保存してもよい。
It should be noted that the determination of whether or not there is an omission of work in S910 and the processing of notification information to the effect that there is omission of work in S911 are not essential processes in this embodiment, and it is sufficient to simply record the content of the work. If the work omission determination process is not to be performed, the
また、本実施形態においては、期間特定部802は、図9に示す作業検出処理のS904において、十分な期間として一連の作業の期間を検出した。ただし、S904においては、ある程度の長さの期間を検出できればよく、検出対象の期間は実施形態に限定されるものではない。他の例としては、期間特定部802は、1つの作業の期間を十分な期間として検出してもよい。この場合には、S905以降では、作業の期間を対象としてスコア系列の生成、作業期間の決定等が行われる。
Also, in the present embodiment, the
また他の例としては、期間特定部802は、一定のフレーム数、一定の時間等を十分な期間として検出してもよい。また、他の例としては、作業中に作業者の体が通るエリアを設定しておき、そのエリアを作業者が通った場合に、センサからサーバ装置100へ通知されるものとする。そして、期間特定部802は、サーバ装置100がセンサから通知を受信した場合に、この通知により十分な期間を検出してもよい。また、他の例としては、作業中に動作するプログラムが実行された場合に、プログラムを搭載した装置からサーバ装置100へ通知されるものとし、期間特定部802は、通知を受信した場合に、十分な期間を検出してもよい。また、他の例としては、ボタン等の機材を用意し、その機材が使用された場合に、機材からサーバ装置100へ通知されるものとしてもよい。
As another example, the
(第3の実施形態)
次に、第3の実施形態に係る作業特定システムについて、他の実施形態に係る作業特定システムと異なる点を主に説明する。図11に示すように、期間No1~No6の作業期間が得られたとする。No1~No6の作業期間それぞれに対する正解の作業ラベルが1、2、3、3、3、4であるところ、学習済みモデルを用いた処理により作業ラベル1、2、3、4、3、4が特定されたとする。この場合、第1の実施形態においては、No3の期間が作業ラベル3の期間として特定され、No4~6の期間が作業ラベル4の期間として特定されることになる。すなわち、正解の作業内容と異なる結果となってしまう。第3の実施形態に係る作業特定システムにおいては、このような特定結果が得られた場合においても、正しい作業期間を特定する。
(Third Embodiment)
Next, the work identification system according to the third embodiment will be described mainly with respect to the differences from the work identification systems according to the other embodiments. As shown in FIG. 11, it is assumed that work periods No. 1 to No. 6 are obtained. While the correct work labels for each of the work periods No. 1 to No. 6 are 1, 2, 3, 3, 3, and 4, the work labels 1, 2, 3, 4, 3, and 4 are obtained by processing using the learned model. Suppose it is specified. In this case, in the first embodiment, the No. 3 period is specified as the
図12は、第3の実施形態に係るサーバ装置100による補正処理(S410)における詳細な処理を示すフローチャートである。期間特定部302は、S501において非作業期間でないと判定した場合には(S501でNO)、処理をS901へ進める。S901において、期間特定部302は、対象期間に含まれるフレーム数(対象のフレーム数)と第2閾値とを比較する。ここで、第2閾値は、予め定められたフレーム数である。また、第2閾値は、S406(図4)において参照される第1の閾値に比べて大きい値である。期間特定部302は、対象のフレーム数が第2閾値よりも小さい場合には(S901でYES)、処理をS902へ進める。期間特定部302は、対象のフレーム数が第2閾値以上の場合には(S901でNO)、処理をS503へ進める。S902において、期間特定部302は、対象期間に対応する作業内容に対応した期間から、対象期間を削除する。以上で補正処理(S410)は終了する。
FIG. 12 is a flowchart showing detailed processing in the correction processing (S410) by the
S406の処理は、数フレーム程度現れる誤認識結果を除くための処理であり、一方で、S901の処理は、ある程度長い期間発生している誤認識結果を除くための処理である。S406において第2閾値を参照することとすると、誤認識の影響で細切れになっている正しい認識結果まで除かれてしまう可能性がある。これを避けるため、このように、2段階で閾値処理を行うこととした。 The process of S406 is a process for removing erroneous recognition results that appear in several frames, while the process of S901 is a process for removing erroneous recognition results that occur for a relatively long period of time. If the second threshold value is referred to in S406, there is a possibility that correct recognition results that are fragmented due to erroneous recognition may be excluded. In order to avoid this, threshold processing is performed in two steps as described above.
図11を参照しつつ、S901及びS902の処理について具体的に説明する。ここでは、S406(図4)において参照される第1閾値を8フレーム、S901において参照される第2閾値を15フレームとする。No4の期間が作業期間として処理が行われる場合において、No4の作業期間のフレーム数が第2閾値未満であることから、No4の期間は、S901、S902の処理により誤認識として処理対象から削除される。続いて、No5の期間が作業期間として処理が行われる場合において、No5の期間は直前の作業期間であるNo3の期間と統合される。すなわち、No3~No5の期間が作業ラベル3の期間として特定され、続くNo6の期間が作業ラベル4の期間として特定される。なお、第3の実施形態に係る作業特定システムのこれ以外の構成及び処理は、他の実施形態に係る作業特定システムの構成及び処理と同様である。
The processing of S901 and S902 will be specifically described with reference to FIG. Here, it is assumed that the first threshold referred to in S406 (FIG. 4) is 8 frames, and the second threshold referred to in S901 is 15 frames. When the period No. 4 is processed as the work period, the number of frames in the work period No. 4 is less than the second threshold value, so the period No. 4 is recognized as an error by the processes of S901 and S902 and is deleted from the processing target. be. Subsequently, when the period No. 5 is processed as the work period, the period No. 5 is integrated with the period No. 3, which is the immediately preceding work period. That is, the period No. 3 to No. 5 is specified as the period for
以上のように、第3の実施形態に係る作業特定システムにおいては、2つの閾値を利用することで、作業内容及び作業期間の特定精度を向上させることができる。 As described above, in the work identification system according to the third embodiment, it is possible to improve the accuracy of identifying work content and work period by using two thresholds.
第3の実施形態の変形例としては、サーバ装置100は、S506における判定条件を変更し、作業のオーバーラップを許す形で、各作業期間を特定してもよい。例えば、S506の判定条件を「(対象のラベル+1)<直前のラベル?」とし、YESの場合に、S507へ進み、NOの場合に、S508へ進むようにしてもよい。これにより、例えば、途中で部品が足りなくなる等して第1の作業を中断し、続く第2の作業を一部始めた後で部品が届いたので第1の作業を再開する、といったパターンにも対応できる。また、一度第1の作業を終了し、続く第2の作業を開始したものの、念のためもう一度第1の作業を行うといったパターンにも対応できる。この場合、例えば、作業ラベル3、4、3がそれぞれ対応する、作業期間列が得られるが、作業をある程度長くやっていれば第2閾値で削除されることはないため、正しく作業内容と作業期間を特定することができる。
As a modification of the third embodiment, the
(第4の実施形態)
次に、第4の実施形態に係る作業特定システムについて、第3の実施形態に係る作業特定システムと異なる点を主に説明する。第4の実施形態に係る作業特定システムも、第3の実施形態に係る作業特定システムと同様に、図11を参照しつつ説明したような特定結果が得られた場合においても、正しい作業期間を特定する。
(Fourth embodiment)
Next, the work identification system according to the fourth embodiment will be described mainly with respect to differences from the work identification system according to the third embodiment. In the work identification system according to the fourth embodiment, as in the work identification system according to the third embodiment, even when the identification result described with reference to FIG. 11 is obtained, the correct work period is determined. Identify.
図13は、第4の実施形態に係るサーバ装置100による補正処理(S410)における詳細な処理を示すフローチャートである。期間特定部302は、S501において非作業期間でないと判定した場合には(S501でNO)、処理をS1001へ進める。S1001において、期間特定部302は、対象期間に含まれるフレーム数と期待値の差分の絶対値を求める。そして、期間特定部302は、差分の絶対値と第3閾値とを比較する。図14は、期待値の一例を示す図である。なお、期待値は、作業ラベルで識別される作業内容において期待されるフレーム数に応じて任意に設定される値である。また、第3閾値は、予め定められたフレーム数の差分の閾値である。期待値や第3閾値は、例えば記憶装置205に予め記憶されている。
FIG. 13 is a flowchart showing detailed processing in the correction processing (S410) by the
期間特定部302は、差分の絶対値が第3閾値以上の場合には(S1001でYES)、処理をS1002へ進める。期間特定部302は、差分の絶対値が第3閾値よりも小さい場合には(S1001でNO)、処理をS503へ進める。S1002において、期間特定部302は、対象期間に対応する作業内容に対応した期間から、対象期間を削除する。以上で補正処理(S410)は終了する。
If the absolute value of the difference is greater than or equal to the third threshold (YES in S1001), the
次に、図11を参照しつつ、S1001及びS1002の処理について具体的に説明する。ここでは、映像のフレームレートが一定であるとし、フレーム数は、時間に対応するものとする。また、第3閾値を10フレームとする。No4の作業期間のフレーム数(10)と作業ラベル4の期待値(50)との差分は第3閾値(10)以上である。このため、No4の期間が作業期間として処理が行われる場合において、No4の作業期間は誤認識として処理対象から削除される。続いて、No5の期間が作業期間として処理が行われる場合において、No5の期間は直前の作業期間であるNo3の期間と統合される。すなわち、No3~No5の期間が作業ラベル3の期間として特定され、続くNo6の期間が作業ラベル4の期間として特定される。なお、第4の実施形態に係る作業特定システムのこれ以外の構成及び処理は、他の実施形態に係る作業特定システムの構成及び処理と同様である。
Next, the processing of S1001 and S1002 will be specifically described with reference to FIG. Here, it is assumed that the frame rate of video is constant and the number of frames corresponds to time. Also, the third threshold is assumed to be 10 frames. The difference between the number of frames (10) in the work period of No. 4 and the expected value (50) of
以上のように、第4の実施形態に係る作業特定システムにおいては、期待値との差分と、閾値とを参照することで、作業内容及び作業期間の特定精度を向上させることができる。 As described above, in the work identification system according to the fourth embodiment, by referring to the difference from the expected value and the threshold value, it is possible to improve the accuracy of identifying work content and work period.
第4の実施形態の変形例としては、第3の実施形態の変形例において説明したのと同様に、サーバ装置100は、S506における判定条件を変更し、作業のオーバーラップを許す形で、各作業期間を特定してもよい。
As a modification of the fourth embodiment, similar to the modification of the third embodiment, the
(第5の実施形態)
次に、第5の実施形態に係る作業特定システムについて、第3の実施形態に係る作業特定システムと異なる点を主に説明する。第5の実施形態に係る作業特定システムは、作業順に従い、適宜作業内容を変更する処理を行う。図15に示すような複数の作業期間が得られたとする。No6の期間の正解の作業ラベルが6であるところ、学習済みモデルを用いた処理により作業ラベル1が特定されたとする。本実施形態の作業特定システムでは、このような誤った特定結果を、正しい作業内容に変更する。
(Fifth embodiment)
Next, the work identification system according to the fifth embodiment will be described mainly with regard to differences from the work identification system according to the third embodiment. The work identification system according to the fifth embodiment performs processing for appropriately changing the work content according to the order of work. Assume that a plurality of work periods as shown in FIG. 15 are obtained. Suppose that the correct work label for the period No. 6 is 6, and the
図16は、第5の実施形態に係るサーバ装置100による補正処理(S410)における詳細な処理を示すフローチャートである。期間特定部302は、S501において非作業期間でないと判定した場合には(S501でNO)、処理をS1301へ進める。S1301において、期間特定部302は、対象期間の作業内容が、作業順から期待される作業内容であるか否かを判定する。本実施形態においては、期間特定部302は、対象のラベルが直前のラベルに1加算した値である場合に期待される作業期間と判定する。期間特定部302は、期待される作業内容の場合には(S1301でYES)、処理をS503へ進める。期間特定部302は、期待される作業内容でない場合には(S1301でNO)、処理を1302へ進める。
FIG. 16 is a flowchart showing detailed processing in the correction processing (S410) by the
S1302において、期間特定部302は、類似テーブルを参照し、対象期間の作業内容に類似する作業内容の有無を判定する。ここで、類似テーブルは、各作業内容に類似する作業内容を定義した情報であり、例えば、記憶装置205に予め記憶されている。図17は、類似テーブルの一例を示す図である。期間特定部302は、類似する作業内容があると判定した場合には(S1302でYES)、処理をS1303へ進める。期間特定部302は、類似する作業内容がないと判定した場合には(S1302でNO)、処理をS503へ進める。S1303において、期間特定部302は、対象期間の作業ラベルを、類似する作業内容の作業ラベルに変更し、その後処理をS503へ進める。
In S1302, the
例えば、図15に示すNo6の期間が作業期間として処理が行われている場合には、図17に示す類似テーブルを参照すると、作業ラベル1に対し類似作業として作業ラベル6,8が対応付けられている。したがって、期間特定部302は、S1302において、類似の作業内容があると判定し、処理をS1303へ進める。そして、期間特定部302は、S1303において、対象期間の作業ラベルを「1」から、直前の作業ラベル「5」に続く「6」に変更する。これにより、図15の例では、No6、7の期間は、統合され、作業ラベル6に対応した期間として特定される。なお、第5の実施形態に係る作業特定システムのこれ以外の構成及び処理は、他の実施形態に係る作業特定システムの構成及び処理と同様である。なお、S1301~S1303の処理は、対象期間の作業内容と、直前の作業期間の作業内容が作業順に定められた作業内容と一致しない場合に、対象期間の作業内容を、類似する作業内容に変更する変更処理の一例である。
For example, if the period No. 6 shown in FIG. 15 is processed as a work period, referring to the similarity table shown in FIG. ing. Therefore, the
以上のように、第5の実施形態に係る作業特定システムにおいては、作業順と作業内容とを考慮することで、作業内容及び作業期間の特定精度を向上させることができる。 As described above, in the work identification system according to the fifth embodiment, it is possible to improve the accuracy of identifying the work content and the work period by considering the work order and the work content.
なお、上記においては、各実施形態において説明したサーバ装置100の処理を、1つのサーバ装置100が処理を切り替えることで実行してもよい。例えば、サーバ装置100は、単純な作業を繰り返す等、作業途中での誤認識の発生が少ないと期待される場合には、第1の実施形態に係る処理を行うのが望ましい。そして、サーバ装置100は、作業中にミスや想定外の動きが想定される等、誤認識の可能性がある場合には、第3から第5の実施形態に係る処理を行うのが望ましい。さらに、サーバ装置100は、各作業で期待される所要時間のばらつきが少ない場合や、誤認識の恐れのある動きの継続時間が短いと想定される場合には第3の実施形態の処理を行うのが望ましい。逆に、各作業で期待される所要時間のばらつきが大きい場合や、誤認識の恐れのある動きの継続時間が長いと想定される場合には、サーバ装置100は、第4の実施形態の処理を行うのが望ましい。
In the above, the processing of the
また、他の例としては、似ている作業が含まれている場合には、サーバ装置100は、第5の実施形態に係る処理を行うのが望ましい。また、他の例としては、サーバ装置100は、複数の実施形態に係る処理を組み合わせた処理を実行してもよい。例えば、サーバ装置100は、第3の実施形態に係る処理と第4の実施形態に係る処理を組み合わせて実行することで、誤認識かどうかの判定精度をより高めることができる。
As another example, when similar tasks are included, the
上述の実施形態の説明では、判定の際に用いる閾値が固定である例を挙げているが、閾値は固定値でなくともよく、またフレーム数以外を閾値として用いてもよい。例えば、サーバ装置100は、誤認識の期間の傾向を機械学習で学習し、状況に応じて閾値を変更するといったことを行ってもよい。具体的には、作業者毎に作業時間の傾向が異なっている、生産計画次第で作業時間が変わってくるといった場合には、サーバ装置100は、作業時間以外の要素を含めた学習を行い、その状況毎に適した閾値を求めてもよい。また、他の例としては、サーバ装置100は、1フレーム毎の作業の認識スコアを利用し、誤認識をしているフレームにおいて2番目や3番目に高いスコアと1番高いスコアとの差が小さい場合には、それらの認識結果を考慮して判定を行ってもよい。
In the above description of the embodiment, an example in which the threshold used for determination is fixed is given, but the threshold may not be a fixed value, and a threshold other than the number of frames may be used as the threshold. For example, the
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the invention described in the claims.・Changes are possible.
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
100 サーバ装置
110 撮像装置
100
Claims (20)
前記フレームの画像に基づいて、学習済みの学習モデルを用いた機械学習により、作業内容を特定する作業特定手段と、
前記映像に含まれる期間のうち、前記作業特定手段により第1の作業内容が特定された連続フレームに対応する第1の期間と、前記映像に含まれる期間のうち、前記第1の期間と異なる期間で、第2の作業内容が特定された連続フレームに対応する第2の期間との時系列関係と、予め定められた複数の作業内容についての作業順と、に基づいて、前記フレームの画像に対応付く作業内容を補正し、前記作業順に対応した各作業の期間を特定する期間特定手段と
を有することを特徴とする情報処理装置。 Acquisition means for acquiring frames constituting video;
Work identifying means for identifying work content by machine learning using a learned learning model based on the frame image;
Among the periods included in the image, a first period corresponding to the continuous frames in which the first work content is identified by the work identifying means, and Among the periods included in the image, a first period different from the first period an image of the frame based on the time-series relationship with the second period corresponding to the continuous frames in which the second work content is specified in the period and the predetermined work order of the plurality of work content; and period identifying means for correcting the work content associated with the work order and identifying the period of each work corresponding to the order of work.
前記フレームの画像に基づいて、複数の作業それぞれに対するスコアを特定するスコア特定手段と、
所定の期間に含まれる複数のフレームそれぞれのスコアを結合したスコア系列と、予め定められた前記複数の作業の作業順と、に基づいて、作業の期間を特定する期間特定手段と
を有することを特徴とする情報処理装置。 Acquisition means for acquiring frames constituting video;
score specifying means for specifying a score for each of a plurality of tasks based on the image of the frame;
a period identifying means for identifying a work period based on a score sequence combining scores of a plurality of frames included in a predetermined period and a predetermined work order of the plurality of works; An information processing device characterized by:
前記期間特定手段は、前記系列期間のスコアを結合した前記スコア系列と、前記作業順と、に基づいて、前記作業の期間を特定することを特徴とする請求項11に記載の情報処理装置。 Based on the score, further comprising series period determination means for determining a series period,
12. The information processing apparatus according to claim 11, wherein said period identifying means identifies said work period based on said score series obtained by combining scores of said series periods and said work order.
映像を構成するフレームを取得する取得ステップと、
前記フレームの画像に基づいて、学習済みの学習モデルを用いた機械学習により、作業内容を特定する作業特定ステップと、
前記映像に含まれる期間のうち、前記作業特定ステップにおいて第1の作業内容が特定された連続フレームに対応する第1の期間と、前記映像に含まれる期間のうち、前記第1の期間と異なる期間で、第2の作業内容が特定された連続フレームに対応する第2の期間との時系列関係と、予め定められた複数の作業内容についての作業順と、に基づいて、前記フレームの画像に対応付く作業内容を補正し、前記作業順に対応した各作業の期間を特定する期間特定ステップと
を含むことを特徴とする情報処理方法。 An information processing method executed by an information processing device,
an acquisition step of acquiring frames that make up a video;
a work identification step of identifying work content by machine learning using a learned learning model based on the image of the frame;
A first period, among the periods included in the image, corresponding to the continuous frames in which the first work content is identified in the work identification step, and a period different from the first period, among the periods included in the image. an image of the frame based on the time-series relationship with the second period corresponding to the continuous frames in which the second work content is specified in the period and the predetermined work order of the plurality of work content; and a period specifying step of correcting work contents associated with the work order and specifying a period of each work corresponding to the order of work.
映像を構成するフレームを取得する取得ステップと、
前記フレームの画像に基づいて、複数の作業それぞれに対するスコアを特定するスコア特定ステップと、
所定の期間に含まれる複数のフレームそれぞれのスコアを結合したスコア系列と、予め定められた前記複数の作業の作業順と、に基づいて、作業の期間を特定する期間特定ステップと
を含むことを特徴とする情報処理方法。 An information processing method executed by an information processing device,
an acquisition step of acquiring frames that make up a video;
a score identification step of identifying a score for each of a plurality of tasks based on the image of the frame;
and a period identifying step of identifying a work period based on a score sequence combining scores of a plurality of frames included in a predetermined period and a predetermined work order of the plurality of works. Information processing method characterized by:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/006447 WO2019167775A1 (en) | 2018-02-27 | 2019-02-21 | Information processing device, information processing method, and program |
US17/000,053 US11216667B2 (en) | 2018-02-27 | 2020-08-21 | Information processing apparatus, method for information processing, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018033046 | 2018-02-27 | ||
JP2018033046 | 2018-02-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019149154A JP2019149154A (en) | 2019-09-05 |
JP7254546B2 true JP7254546B2 (en) | 2023-04-10 |
Family
ID=67849617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019021476A Active JP7254546B2 (en) | 2018-02-27 | 2019-02-08 | Information processing device, information processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7254546B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7311373B2 (en) * | 2019-09-20 | 2023-07-19 | 株式会社日立製作所 | COMPUTER SYSTEM, PLAN GENERATION METHOD, AND PROGRAM |
JP7247133B2 (en) * | 2020-03-12 | 2023-03-28 | 株式会社東芝 | Detection device, detection method and program |
JP7217996B2 (en) * | 2020-10-27 | 2023-02-06 | 株式会社コジマプラスチックス | WORK MANAGEMENT SYSTEM AND TEACHING DATA GENERATION METHOD |
WO2023195122A1 (en) * | 2022-04-07 | 2023-10-12 | 日本電気株式会社 | Processing device, processing method, and recording medium |
WO2024047715A1 (en) * | 2022-08-29 | 2024-03-07 | 富士通株式会社 | Machine learning program, machine learning method, and information processing device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008108008A (en) | 2006-10-24 | 2008-05-08 | Omron Corp | Moving pattern specification device, moving pattern specification method, moving pattern specification program, and recording medium that recorded this |
WO2017222070A1 (en) | 2016-06-23 | 2017-12-28 | Necソリューションイノベータ株式会社 | Work analysis device, work analysis method, and computer-readable recording medium |
JP2018005752A (en) | 2016-07-07 | 2018-01-11 | 株式会社日立システムズ | Behavior detection system |
JP2018022210A (en) | 2016-08-01 | 2018-02-08 | 株式会社日立製作所 | Working motion instruction apparatus |
-
2019
- 2019-02-08 JP JP2019021476A patent/JP7254546B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008108008A (en) | 2006-10-24 | 2008-05-08 | Omron Corp | Moving pattern specification device, moving pattern specification method, moving pattern specification program, and recording medium that recorded this |
WO2017222070A1 (en) | 2016-06-23 | 2017-12-28 | Necソリューションイノベータ株式会社 | Work analysis device, work analysis method, and computer-readable recording medium |
JP2018005752A (en) | 2016-07-07 | 2018-01-11 | 株式会社日立システムズ | Behavior detection system |
JP2018022210A (en) | 2016-08-01 | 2018-02-08 | 株式会社日立製作所 | Working motion instruction apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2019149154A (en) | 2019-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7254546B2 (en) | Information processing device, information processing method and program | |
US11093789B2 (en) | Method and apparatus for object re-identification | |
JP6319271B2 (en) | Event analysis device, event analysis system, event analysis method, and event analysis program | |
KR102441757B1 (en) | Job motion analysis system and job motion analysis method | |
JP7380567B2 (en) | Information processing device, information processing method, and information processing program | |
JPWO2012147960A1 (en) | Information processing apparatus, information processing method, and program | |
JP2019003299A (en) | Image recognition device and image recognition method | |
US20160379088A1 (en) | Apparatus and method for creating an image recognizing program having high positional recognition accuracy | |
JP2017117139A (en) | Information processing unit, control method, program | |
JP7446060B2 (en) | Information processing device, program and information processing method | |
JP6943333B2 (en) | Object tracking device, object tracking method, and object tracking program | |
CN111695584A (en) | Time series data monitoring system and time series data monitoring method | |
US20180336435A1 (en) | Apparatus and method for classifying supervisory data for machine learning | |
WO2019167775A1 (en) | Information processing device, information processing method, and program | |
JP6618349B2 (en) | Video search system | |
JP7483095B2 (en) | A multi-purpose anomaly detection system for industrial systems | |
JP6405851B2 (en) | Predictive detection support program, method, apparatus, and predictive detection program, | |
JP6393495B2 (en) | Image processing apparatus and object recognition method | |
JP2017010276A (en) | Apparatus and method for analyzing image | |
JP2010170212A (en) | Action estimation device and method | |
JP2010087937A (en) | Video detection device, video detection method and video detection program | |
JP5464965B2 (en) | Image processing apparatus, control method therefor, program, and storage medium | |
JP6648930B2 (en) | Editing device, editing method and program | |
JP2016021155A (en) | Imaging apparatus | |
JP2023059299A (en) | Learning model optimization device, learning model optimization method, and learning model optimization program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230329 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7254546 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |