WO2018008702A1 - 振る舞い検知システム - Google Patents
振る舞い検知システム Download PDFInfo
- Publication number
- WO2018008702A1 WO2018008702A1 PCT/JP2017/024714 JP2017024714W WO2018008702A1 WO 2018008702 A1 WO2018008702 A1 WO 2018008702A1 JP 2017024714 W JP2017024714 W JP 2017024714W WO 2018008702 A1 WO2018008702 A1 WO 2018008702A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- motion
- recognition
- action
- detection system
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Definitions
- the present invention relates to a behavior detection system, and more particularly to a technique effective for motion analysis for recognizing and analyzing human motion.
- Patent Document 1 describes that, for example, a feature quantity extracted from a sensor attached to a person is compared with a feature quantity stored in a feature quantity database to recognize the action of the person.
- An object of the present invention is to provide a technique capable of identifying an operation with high accuracy even when the types of the recognized operation are increased.
- a typical behavior detection system recognizes an element action to be recognized and analyzes an action meaning indicating the meaning of the recognized element action.
- This behavior detection system includes an operation model storage unit, a photographing unit, a position recognition unit, and an operation recognition unit.
- the behavior model storage unit stores a behavior model representing the recognized element behavior as numerical information.
- the photographing unit photographs a work operation to be recognized.
- the position recognition unit recognizes the position of the recognition target from the shooting information acquired by the shooting unit.
- the behavior detection system has a work position operation table that associates the position of the recognition target, the element operation performed at the corresponding position, and the operation meaning of the element operation.
- the motion recognition unit refers to the work position motion table, acquires an element motion associated with the position recognized by the position recognition unit, and further extracts a motion model corresponding to the element motion from the motion model storage unit. .
- the motion recognition unit recognizes the element motion of the recognition target by comparing the extracted motion model with the motion of the recognition target. Further, the motion recognition unit extracts the motion meaning from the recognition target position and the recognized element motion with reference to the work position motion table.
- the motion recognition unit generates recognition information that associates the motion meaning corresponding to the acquired motion model, the position detected by the position recognition unit, and the time when the recognition target element motion is recognized.
- the constituent elements are not necessarily indispensable unless otherwise specified and apparently essential in principle. Needless to say.
- FIG. 1 is an explanatory diagram illustrating an example of a configuration in a behavior detection system 10 according to an embodiment.
- the behavior detection system 10 is a system that recognizes the position and element motion of a worker who is a recognition target, and stores the meaning of the recognized element motion, time, and the like in association with each other. As shown in FIG. 1, the behavior detection system 10 includes a video photographing device 11, a recognition processing unit 12, and a display device 13.
- the video photographing device 11 as a photographing unit is, for example, a web camera or a surveillance camera capable of photographing a color image, a depth sensor capable of photographing a distance to a photographing target, or the like.
- the recognition processing unit 12 extracts information related to a person's movement (hereinafter referred to as movement-related information) from the shooting information shot by the video shooting apparatus 11.
- the motion-related information is, for example, time series information of a human joint position or information obtained by abstracting it.
- the above-described abstracted information is, for example, information representing the speed of joint movement, the distance between joints, the speed of joint movement expressed in frequency, or the combination thereof. Both are expressed as numerical information.
- the display device 13 is composed of a display such as a liquid crystal monitor, for example, and displays recognition information described later under the control of the recognition processing unit 12.
- the recognition processing unit 12 includes a position recognition unit 15, an operation recognition unit 16, and a storage unit 17.
- the position recognizing unit 15 recognizes the position of the worker, that is, where the worker is in the work place, from the photographing information photographed by the video photographing device 11.
- This position recognition can be performed, for example, by giving in advance the angle of view, the distance to the floor, and the angle of the floor of the image capturing device 11. If the photographing apparatus is a normal color camera, the position in the workplace can be recognized from the size and position of the subject on the image. In the case of a depth camera, depth information can also be used, so that the position can be recognized with high accuracy.
- the motion recognition unit 16 recognizes the worker's elemental motion from the shooting information of the video shooting device 11.
- the storage unit 17 includes a nonvolatile storage device such as a hard disk device (HDD) or a flash memory, and stores various types of information.
- the storage unit 17 includes a place operation table 20, an operation model storage unit 21, and a recognition information storage unit 22.
- the place operation table 20 which is a work position operation table is a table in which a position is associated with an element operation of a worker performed at the position.
- the motion model storage unit 21 stores motion models of element motions to be detected. This motion model is a series of motion related information when, for example, a worker performs a standard work motion.
- FIG. 2 is an explanatory diagram illustrating an example of a data configuration in the place operation table 20 included in the storage unit 17 of FIG.
- the place action table 20 stores the area where the element action can be executed and the meaning of the action indicated by the element action in the area for the element action of the worker to be recognized. As shown in FIG. 2, the place operation table 20 is composed of data of “place”, “operation ID”, and “operation meaning”.
- “Location” is data indicating which position or area of the workplace, and is represented by coordinates, for example.
- Action ID specifies the element action of the worker to be recognized in the “place”, and is indicated by a number in the example of FIG.
- the “motion meaning” is data indicating the meaning of the element motion of the worker to be recognized at the place.
- FIG. 3 is an explanatory diagram showing another example of the data structure in the place operation table 20 of FIG.
- FIG. 4 is an explanatory diagram showing an example of a data configuration in the behavior model accumulated in the behavior model accumulation unit 21 included in the storage unit 17 of FIG.
- the operation model stored in the operation model storage unit 21 includes “operation ID” and “operation model” as shown in FIG.
- the “motion model” is a numerical value of the elemental motion of the worker to be recognized as described above.
- the motion related information captured once may be used as the motion model as it is, or the motion related information captured multiple times is used as the motion model. It may be used. In the latter case, motion-related information captured a plurality of times may be used as an operation model as it is, or an average may be used.
- the recognition information storage unit 22 stores the recognition information generated by the motion recognition unit 16.
- the recognition information stored in the recognition information storage unit 22 includes, for example, “time”, “location”, “operation ID”, and “operation meaning”.
- Time is, for example, the time when the worker started work. Alternatively, it may be from the time when the work is started to the time when the work is finished. This is the time when the motion recognition unit 16 recognizes the worker's element motion, for example.
- “Location” indicates the position where the worker is working. “Operation ID” identifies the element operation of the worker to be recognized. The “motion meaning” indicates what meaning the “motion ID” has at the corresponding “location”.
- FIG. 5 is a flowchart showing an example of the operation in the behavior detection system 10 of FIG. In FIG. 5, behavior recognition processing by the behavior detection system 10 will be described.
- the behavior recognition process is a process for recognizing a worker's work position and element motion, generating recognition information, and storing the recognition information.
- FIG. 5 illustrates the case where the behavior recognition process described below is executed by hardware such as the position recognition unit 15 and the action recognition unit 16, and the behavior recognition process is, for example, the recognition processing unit of FIG. 1.
- the program may be executed on the basis of software in a program format stored in a program storage memory (not shown) provided in FIG.
- the software When executed based on software, the software is executed by, for example, a CPU (Central Processing Unit) (not shown) included in the recognition processing unit 12.
- a CPU Central Processing Unit
- the position recognition unit 15 recognizes the position of the worker who started the work based on, for example, the above-described method (step S101).
- the position recognition unit 15 outputs the recognized worker position to the operation recognition unit 16.
- the motion recognition unit 16 acquires the recognition target corresponding to the position recognized by the position recognition unit 15 with reference to the place motion table 20 of FIG. 2, that is, the element motion of the worker (step S102).
- the motion recognition unit 16 reads all the motion models corresponding to the “motion ID” acquired in the process of step S102 from the motion model storage unit 21 of the storage unit 17 (step S103).
- the motion recognition unit 16 calculates motion related information from the shooting information of the worker shot by the video shooting device 11 (step S104). Then, the motion recognition unit 16 operates the “motion ID” of the most similar motion model among the motion models read out in step S103 with respect to the motion-related information calculated in step S104. Obtained as a recognition result (step S105).
- the motion recognition result is “1”.
- the movement related information calculated in the process of step S104 is compared with movement related information in each movement model, The most similar result is adopted as a comparison result with the corresponding behavior model.
- the motion recognition unit 16 acquires the motion meaning corresponding to the recognition result by the process of step S105 from the place motion table 20 (step S106), generates recognition information, and the recognition information storage unit 22 of the storage unit 17. (Step S107).
- the operation meaning is “turn the lever”.
- the recognition information generated by the motion recognition unit 16 associates the time when the work is started, the position of the worker, the motion recognition result, and the motion meaning as described above.
- the load on the recognition processing of the motion recognition unit 16 can be reduced.
- the recognition processing time can be shortened, and the performance of the behavior detection system 10 can be improved.
- the recognition information stored in the recognition information storage unit 22 may be displayed on the display device 13.
- the operation recognition unit 16 reads the recognition information stored in the recognition information storage unit 22 and causes the display device 13 to display the display.
- the operation recognition unit 16 reads the recognition information in the recognition information storage unit 22 and displays the display device 13. You may make it display on.
- a predetermined work (hereinafter referred to as a prescribed work) is arranged to be performed in a predetermined time zone.
- the action recognition unit 16 may determine whether or not the prescribed work is being performed, and may output an alert to the display device 13 or the like when the prescribed work is not being performed by the worker.
- the storage unit 17 includes a prescribed work information storage unit.
- the specified work information storage unit stores specified work information indicating the position, time zone, and operation meaning of the specified work.
- the motion recognition unit 16 searches the recognition information stored in the recognition information storage unit 22, and is the operation corresponding to the determined motion meaning being performed at the position defined in the prescribed work information? No, as an example, the order of work and the excess / shortage of work are determined.
- the motion recognition unit 16 uses the time of the recognition information stored in the recognition information storage unit 22 to extract the corresponding specified work information, and is determined at a position determined in the extracted specified work information. It may be determined whether or not an operation corresponding to the operation meaning is performed.
- the action recognition unit 16 determines that the prescribed work has not been performed, and outputs an alert to the display device 13 or the like indicating that the prescribed work has not been performed.
- the supervisor can efficiently check the operation of the worker.
- the operation model storage unit 21 is included in the storage unit 17.
- the operation model storage unit 21 may be connected via, for example, the Internet.
- FIG. 6 is an explanatory diagram showing another configuration example of the behavior detection system 10 of FIG.
- the behavior model storage unit 21 includes, for example, storage on the cloud, so-called cloud storage.
- the behavior model storage unit 21 is connected to the recognition processing unit 12 through a communication line 30 such as the Internet.
- the behavior model may be uploaded to the behavior model storage unit 21 through the communication line 30, and the operation model is individually input in advance at each workplace. Can be made unnecessary. Thereby, the man-hour at the time of using the behavior detection system 10 can be reduced.
- a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. .
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
認識する動作の種類が増加しても、高精度に動作を識別する。振る舞い検知システム10は、動作モデル蓄積部21、映像撮影装置11、位置認識部15、および動作認識部16を有する。動作モデル蓄積部21は、検出する要素動作のモデルとなる動作モデルを蓄積する。映像撮影装置11は、認識対象の作業動作を撮影する。位置認識部15は、映像撮影装置11部が撮影した撮影情報から認識対象の位置を検出する。動作認識部16は、認識対象の要素動作を認識する。また、動作認識部16は、動作モデル蓄積部21に蓄積される動作モデルを検索して、認識した認識対象の要素動作に類似する動作モデルを取得し、取得した動作モデルに対応する動作意味を取得する。
Description
本発明は、振る舞い検知システムに関し、特に、人の動作を認識して解析する動作解析に有効な技術に関する。
近年、店舗における従業員の不正行動の防止あるいはHACCP(Hazard Analysis and Critical Control Point)による衛生管理技術による製品の安全の確保などの観点から、人の行動認識へのニーズが高まっている。
この種の行動認識の技術としては、人間や動物あるいは機械などの移動体の動作や行動を自動認識するものがある(例えば特許文献1参照)。この特許文献1には、例えば人に付けたセンサから抽出した特徴量と、特徴量データベースに格納された特徴量とを比較して、該人の動作を認識する旨が記載されている。
しかしながら、上述した特許文献1の技術では、人に取り付けたセンサが取得した特徴量をデータベースに格納された特徴量と比較するだけであるので、認識する動作の種類が増加した場合には、処理量が多くなってしまい、動作の認識に時間がかってしまう恐れがある。
また、同じ動作であっても、動作対象、例えば作業する場所が異なった場合には、異なる動作を意味することがある。そのような場合には、動作を認識することは困難であり、その結果、動作認識の精度が低下してしまうという問題がある。
本発明の目的は、認識する動作の種類が増加しても、高精度に動作を識別することのできる技術を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
すなわち、代表的な振る舞い検知システムは、認識対象の要素動作を認識して、認識した要素動作の意味を示す動作意味を解析する。この振る舞い検知システムは、動作モデル蓄積部、撮影部、位置認識部、および動作認識部を有する。
動作モデル蓄積部は、認識する要素動作を数値情報として表した動作モデルを蓄積する。撮影部は、認識対象の作業動作を撮影する。位置認識部は、撮影部が取得した撮影情報から認識対象の位置を認識する。
振る舞い検知システムは、認識対象の位置、該当位置にて行われる要素動作、および要素動作の動作意味を対応付けした作業位置動作テーブルを有する。動作認識部は、この作業位置動作テーブルを参照して、位置認識部が認識した位置に対応づけられた要素動作を取得し、さらに要素動作に対応した動作モデルを、動作モデル蓄積部から抽出する。動作認識部は、抽出された動作モデルと、認識対象の動作とを比較することで、認識対象の要素動作を認識する。さらに、動作認識部は、認識対象の位置と、認識した要素動作とから、上記作業位置動作テーブルを参照して、動作意味を抽出する。
また、動作認識部は、取得した動作モデルに対応する動作意味、位置認識部が検出した位置、および認識対象の要素動作を認識した際の時間を関連付けした認識情報を生成する。
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
(1)要素動作の認識精度を向上させることができる。
(2)要素動作の認識速度を向上することができる。
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
また、以下の実施の形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
さらに、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
以下、実施の形態を詳細に説明する。
〈振る舞い検知システムの構成例〉
図1は、一実施の形態による振る舞い検知システム10における構成の一例を示す説明図である。
図1は、一実施の形態による振る舞い検知システム10における構成の一例を示す説明図である。
振る舞い検知システム10は、認識対象である作業員の位置および要素動作を認識し、認識した要素動作の意味、および時刻などを対応付けして蓄積するシステムである。この振る舞い検知システム10は、図1に示すように、映像撮影装置11、認識処理部12、および表示装置13を有する。
撮影部である映像撮影装置11は、例えばカラー画像を撮影できるWebカメラや監視カメラ、撮影対象までの距離を撮影できる深度センサなどである。認識処理部12は、映像撮影装置11が撮影した撮影情報から人の動作に関する情報(以降、動作関連情報と称する)を抽出する。動作関連情報は、例えば、人の関節位置の時系列情報、もしくはそれを抽象化した情報である。
カラー情報から人の関節位置の時系列情報を取得するには、Toshevらの方法(A. Toshev and C. Szegedy, “Deeppose: Human pose estimation via deep neural networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 1653-1660.)を用いればよいし、深度センサを用いた場合はShottonらの方法 (J. Shotton, T. Sharp, A. Kipman, A. Fitzgibbon, M. Finocchio, A. Blake, M. Cook, and R. Moore, “Real-time human pose recognition in parts from single depth images,” Communications of the ACM, vol. 56, no. 1, pp. 116-124, 2013.)を用いればよい。
前述の抽象化した情報とは例えば、関節の動きの速さ、関節間の距離、関節の動きの速さを周波数で表現した情報、あるいはそれらの組み合わせの情報である。いずれも、数値情報として表現される。
表示装置13は、例えば液晶モニタなどの表示ディスプレイなどからなり、認識処理部12の制御によって後述する認識情報などを表示する。
認識処理部12は、位置認識部15、動作認識部16、および記憶部17を有する。位置認識部15は、映像撮影装置11が撮影した撮影情報から作業者の位置、すなわち作業者が作業場のどの場所にいるかを認識する。
この位置認識は、例えば映像撮影装置11の画角および床との距離、床との角度を事前に与えておくことで可能となる。撮影装置が通常のカラーカメラであれば、画像上での被写体の大きさおよび位置から、作業場における位置を認識できる。深度カメラであれば、さらに奥行きの情報も利用できるため、精度よく位置を認識できる。動作認識部16は、映像撮影装置11の撮影情報から作業員の要素動作を認識する。
記憶部17は、ハードディスク装置(HDD)あるいはフラッシュメモリのような不揮発性の記憶装置からなり、各種の情報を格納する。この記憶部17は、場所動作テーブル20、動作モデル蓄積部21、および認識情報蓄積部22を有する。
作業位置動作テーブルとなる場所動作テーブル20は、位置とその位置にて行われる作業員の要素動作とを対応付けしたテーブルである。動作モデル蓄積部21は、検知すべき要素動作の動作モデルが蓄積されている。この動作モデルは、例えば作業員が標準的な作業動作を行った際の、一連の動作関連情報である。
〈場所動作テーブルの構成例〉
図2は、図1の記憶部17が有する場所動作テーブル20におけるデータ構成の一例を示す説明図である。
図2は、図1の記憶部17が有する場所動作テーブル20におけるデータ構成の一例を示す説明図である。
場所動作テーブル20は、認識対象となる作業員の要素動作に対して、その要素動作が実行されうる領域および該領域における要素動作が示す動作の意味を格納したものである。場所動作テーブル20は、図2に示すように、「場所」、「動作ID」、および「動作意味」のデータから構成されている。
「場所」は、作業場のどの位置あるいは領域であるかを示すデータであり、例えば座標などによって表される。「動作ID」は、その「場所」において認識対象となる作業員の要素動作を特定するもので、図2の例では、数字によって示されている。「動作意味」は、その場所における認識対象となる作業員の要素動作がどのような意味を持つのかを示すデータである。
〈場所動作テーブルの他の構成例〉
図3は、図2の場所動作テーブル20におけるデータ構成の他の例を示す説明図である。
図3は、図2の場所動作テーブル20におけるデータ構成の他の例を示す説明図である。
図2に示す場所動作テーブル20の場合、「場所」毎に「動作ID」と「動作意味」とがそれぞれ対応していたが、この図3に示す場所動作テーブル20では、「動作ID」毎に「場所」と「動作意味」とがそれぞれ対応するテーブルとなっている。
〈動作モデルの構成例〉
図4は、図1の記憶部17が有する動作モデル蓄積部21に蓄積される動作モデルにおけるデータ構成の一例を示す説明図である。
図4は、図1の記憶部17が有する動作モデル蓄積部21に蓄積される動作モデルにおけるデータ構成の一例を示す説明図である。
動作モデル蓄積部21に蓄積される動作モデルは、図4に示すように、「動作ID」および「動作モデル」からなる。
「動作モデル」は、前述のように、認識対象となる作業員の要素動作を数値化したものである。予め作業員が標準的な作業を行った際の一連の動作関連情報であり、1回撮影した動作関連情報をそのまま動作モデルとして用いてもよいし、複数回撮影した動作関連情報を動作モデルとして用いてもよい。後者の場合は、複数回撮影した動作関連情報をそのまま動作モデルとして用いてもよいし、平均を用いてもよい。
認識情報蓄積部22は、動作認識部16が生成した認識情報を蓄積する。この認識情報蓄積部22に蓄積される認識情報は、例えば「時刻」、「場所」、「動作ID」、および「動作意味」からなる。
「時刻」は、例えば作業者が作業を開始した時間である。あるいは作業を開始した時間から該作業を終了した時間までであってもよい。これは、例えば動作認識部16が作業員の要素動作を認識した際の時間である。
「場所」は、作業者が作業している位置を示す。「動作ID」は、認識対象となる作業員の要素動作を特定するものである。「動作意味」は、その「動作ID」が該当「場所」においてどのような意味を持つ動作であるかを示す。
〈振る舞い検知システムの動作例〉
続いて、振る舞い検知システム10の動作について説明する。
続いて、振る舞い検知システム10の動作について説明する。
図5は、図1の振る舞い検知システム10における動作の一例を示すフローチャートである。この図5では、振る舞い検知システム10による振る舞い認識処理について説明する。振る舞い認識処理は、作業員の作業位置および要素動作を認識して認識情報を生成し、該認識情報を格納する処理である。
なお、図5では、以下に説明する振る舞い認識処理を位置認識部15および動作認識部16などによるハードウェアによって実行する場合について説明するが、該振る舞い認識処理は、例えば、図1の認識処理部12に設けられた図示しないプログラム格納メモリなどに記憶されているプログラム形式のソフトウェアに基づいて実行するようにしてもよい。
ソフトウェアに基づいて実行される場合、該ソフトウェアは、例えば認識処理部12が有する図示しないCPU(Central Processing Unit)などによって実行されるものとする。
まず、位置認識部15は、作業を開始した作業者の位置を、例えば上述の方法に基づいて認識する(ステップS101)。
続いて、位置認識部15は、認識した作業者の位置を動作認識部16に出力する。動作認識部16は、図2の場所動作テーブル20を参照して位置認識部15が認識した位置に対応する認識対象、すなわち作業者の要素動作を取得する(ステップS102)。
例えば図2の場所動作テーブル20において、位置認識部15が認識した位置が(1.0,2.0)の場合には、認識対象の要素動作の「動作ID」は’1’および’2’となる。
そして、動作認識部16は、記憶部17の動作モデル蓄積部21からステップS102の処理にて取得した「動作ID」に対応するすべての動作モデルを読み出す(ステップS103)。
続いて、動作認識部16は、映像撮影装置11が撮影した作業員の撮影情報から、動作関連情報を算出する(ステップS104)。そして、動作認識部16は、ステップS104の処理にて算出した動作関連情報に対して、ステップS103の処理にて読み出した動作モデルのうち、もっとも類似している動作モデルの「動作ID」を動作認識結果として取得する(ステップS105)。
図4の動作モデル蓄積部21において、例えば作業情報に最も類似している動作モデルが(0.53、0.52、0.33)であった場合、該動作モデルに対応する「動作ID」は、’1’となる。よって、動作認識結果は、’1’となる。なお、一つの動作モデルに複数の動作関連情報が蓄積されている場合は、例えば、ステップS104の処理にて算出した動作関連情報と、該当動作モデル内のそれぞれとの動作関連情報を比較し、そのうち最も類似していた結果を、該当動作モデルとの比較結果として採用する。
続いて、動作認識部16は、ステップS105の処理による認識結果に対応する動作意味を場所動作テーブル20から取得して(ステップS106)、認識情報を生成して記憶部17の認識情報蓄積部22に蓄積する(ステップS107)。
例えばステップS101の処理にて位置認識部15が認識した位置が(1.0,2.0)であり、ステップS105の処理にて動作認識結果が’1’であった場合、図2の場所動作テーブル20を参照すると、動作意味は「レバーを回す」となる。
また、動作認識部16が生成する認識情報は、上述したように作業を開始した時刻、作業員の位置、動作認識結果、および動作意味を関連付けしたものである。
以上により、振る舞い認識処理が終了となる。
このように、作業員の要素動作だけでなく、作業員の位置を加味して動作認識を行うことにより、同じ要素動作であっても作業員の作業位置によって異なる動作意味があることを認識することができる。
これにより、作業動作の認識精度を向上させることができる。
また、上述したように、作業員の位置別に異なる動作意味を認識するので、動作認識部16の認識処理にかかる負荷を軽減することができる。その結果、認識処理の時間を短縮することができ、振る舞い検知システム10のパフォーマンスを向上させることができる。さらに、動作モデル蓄積部21に蓄積される動作モデルを増やすことによって、より作業動作の認識精度を向上させることができる。
〈認識情報の表示例〉
ここで、認識情報蓄積部22に蓄積する認識情報は、表示装置13に表示するようにしてもよい。この表示は、例えば動作認識部16が認識情報蓄積部22の認識情報を読み出して表示装置13に表示させる。
ここで、認識情報蓄積部22に蓄積する認識情報は、表示装置13に表示するようにしてもよい。この表示は、例えば動作認識部16が認識情報蓄積部22の認識情報を読み出して表示装置13に表示させる。
あるいは、振る舞い検知システム10が有する図示しないマウスやキーボードなどの入力部によって認識情報を表示する要求が入力された際に、動作認識部16が認識情報蓄積部22の認識情報を読み出して表示装置13に表示させるようにしてもよい。
これにより、監督者が表示装置13に表示されている認識情報を閲覧することにより、作業者が予め定められた作業を行っているかなどを効率よく確認することができる。
また、作業によっては、予め定められた時間帯に定められた作業(以下、規定作業という)を行うことが取り決めされているものがある。動作認識部16は、規定作業が行われているか否かを判定し、作業員による規定作業が行われていない場合には、表示装置13などにアラートを出力するようにしてもよい。
この場合、記憶部17には、規定作業情報蓄積部が含まれる。該規定作業情報蓄積部には、規定作業を行う位置、時間帯、および動作意味を表す規定作業情報を格納する。
そして、動作認識部16は、認識情報蓄積部22に蓄積されている認識情報を検索して、規定作業情報に定められた位置にて、定められた動作意味に対応した動作が行われているか否か、一例としては作業の順番や作業の過不足を判定する。
そして、動作認識部16は、認識情報蓄積部22に蓄積されている認識情報を検索して、規定作業情報に定められた位置にて、定められた動作意味に対応した動作が行われているか否か、一例としては作業の順番や作業の過不足を判定する。
このとき、動作認識部16は、認識情報蓄積部22に蓄積されている認識情報の時刻を用いて、対応する規定作業情報を抽出し、抽出した規定作業情報に定められた位置で、定められた動作意味に対応した動作が行われているか否かを判定するようにしてもよい。
動作認識部16は、規定作業情報に類似する認識情報がない場合、規定作業が行われていないと判断して、表示装置13などに規定作業が行われていない旨のアラートを出力する。
これにより、監督者は、作業員が規定作業を行ったか否かをより短時間で簡単に確認することができる。
以上により、監督者による作業員の作業動作の確認を効率よく行うことができる。
〈振る舞い検知システムの他の構成例〉
また、本実施の形態では、記憶部17に動作モデル蓄積部21を有する構成としたが、該動作モデル蓄積部21は、例えばインターネットなどを通じて接続される構成としてもよい。
また、本実施の形態では、記憶部17に動作モデル蓄積部21を有する構成としたが、該動作モデル蓄積部21は、例えばインターネットなどを通じて接続される構成としてもよい。
図6は、図1の振る舞い検知システム10の他の構成例を示す説明図である。
図6の振る舞い検知システム10が図1の振る舞い検知システム10と異なるところは、動作モデル蓄積部21が例えばクラウド上のストレージ、いわゆるクラウドストレージからなる点である。この場合、動作モデル蓄積部21は、インターネットなどの通信回線30を通じて認識処理部12に接続される。
例えば作業内容や作業場の構成などがほぼ同じであれば、通信回線30を通じて動作モデルを動作モデル蓄積部21にアップロードするだけでよく、各々の作業場において、個別に動作モデルを予め入力するなどの作業を不要とすることができる。これにより、振る舞い検知システム10を用いる際の工数を削減することができる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。
10 振る舞い検知システム
11 映像撮影装置
12 認識処理部
13 表示装置
15 位置認識部
16 動作認識部
17 記憶部
20 場所動作テーブル
21 動作モデル蓄積部
22 認識情報蓄積部
11 映像撮影装置
12 認識処理部
13 表示装置
15 位置認識部
16 動作認識部
17 記憶部
20 場所動作テーブル
21 動作モデル蓄積部
22 認識情報蓄積部
Claims (7)
- 認識対象の要素動作を認識して、認識した前記要素動作の意味を示す動作意味を解析する振る舞い検知システムであって、
検出する要素動作のモデルとなる動作モデルを蓄積する動作モデル蓄積部と、
前記認識対象の作業動作を撮影する撮影部と、
前記撮影部が撮影した撮影情報から前記認識対象の位置を認識する位置認識部と、
前記認識対象の要素動作を認識する動作認識部と、
を有し、
前記動作認識部は、前記動作モデル蓄積部に蓄積される前記動作モデルを検索して、認識した前記認識対象の要素動作に類似する動作モデルを取得し、取得した前記動作モデルに対応する前記動作意味を取得する、振る舞い検知システム。 - 請求項1記載の振る舞い検知システムにおいて、
前記動作認識部は、取得した前記動作モデルに対応する前記動作意味、前記位置認識部が検出した位置、および前記認識対象の要素動作を認識した際の時間を関連付けした認識情報を生成する、振る舞い検知システム。 - 請求項2記載の振る舞い検知システムにおいて、
前記動作認識部が生成した前記認識情報を蓄積する認識情報蓄積部を有する、振る舞い検知システム。 - 請求項1記載の振る舞い検知システムにおいて、
前記認識対象の位置、前記位置にて行われる要素動作、および前記要素動作の動作意味を対応付けした作業位置動作テーブルを有し、
前記動作認識部は、前記作業位置動作テーブルを参照して前記位置認識部が検出した位置に対応する前記要素動作の動作意味を抽出する、振る舞い検知システム。 - 請求項1記載の振る舞い検知システムにおいて、
前記動作モデル蓄積部に蓄積される前記動作モデルは、前記認識対象の動作要素を数値化したものである、振る舞い検知システム。 - 請求項3記載の振る舞い検知システムにおいて、
予め設定された規定作業の作業条件からなる規定作業情報を蓄積する規定作業情報蓄積部を有し、
前記動作認識部は、前記規定作業情報蓄積部に蓄積される作業情報を検索して、前記認識情報蓄積部に蓄積されている認識情報に類似する前記作業情報があるか否かを判定し、前記認識情報に類似する前記作業情報がないと判定した際にアラートを出力する、振る舞い検知システム。 - 請求項1記載の振る舞い検知システムにおいて、
前記動作モデル蓄積部は、クラウドストレージである、振る舞い検知システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016134827A JP6841608B2 (ja) | 2016-07-07 | 2016-07-07 | 振る舞い検知システム |
JP2016-134827 | 2016-07-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018008702A1 true WO2018008702A1 (ja) | 2018-01-11 |
Family
ID=60912874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/024714 WO2018008702A1 (ja) | 2016-07-07 | 2017-07-05 | 振る舞い検知システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6841608B2 (ja) |
WO (1) | WO2018008702A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019167775A1 (ja) * | 2018-02-27 | 2019-09-06 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7254546B2 (ja) * | 2018-02-27 | 2023-04-10 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7332465B2 (ja) * | 2019-12-26 | 2023-08-23 | 株式会社日立製作所 | 動作認識システム、動作認識装置、および領域設定方法 |
JPWO2022009489A1 (ja) * | 2020-07-10 | 2022-01-13 | ||
EP4198996A4 (en) * | 2020-08-13 | 2024-07-10 | Hyungsook Kim | MOTION CODE-BASED SYSTEM FOR ANALYSIS OF EMOTIONAL BEHAVIOR |
WO2024048741A1 (ja) * | 2022-09-01 | 2024-03-07 | 味の素株式会社 | 調理動作推定装置、調理動作推定方法、および、調理動作推定プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003167613A (ja) * | 2001-11-30 | 2003-06-13 | Sharp Corp | 作業管理システム、作業管理方法、及びその方法を実現するためのプログラムを記憶した記録媒体 |
JP2005202653A (ja) * | 2004-01-15 | 2005-07-28 | Canon Inc | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム |
WO2013145631A1 (ja) * | 2012-03-30 | 2013-10-03 | 日本電気株式会社 | 動線データ解析装置、システム、プログラム及び方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015043141A (ja) * | 2013-08-26 | 2015-03-05 | キヤノン株式会社 | ジェスチャ認識装置および制御プログラム |
-
2016
- 2016-07-07 JP JP2016134827A patent/JP6841608B2/ja active Active
-
2017
- 2017-07-05 WO PCT/JP2017/024714 patent/WO2018008702A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003167613A (ja) * | 2001-11-30 | 2003-06-13 | Sharp Corp | 作業管理システム、作業管理方法、及びその方法を実現するためのプログラムを記憶した記録媒体 |
JP2005202653A (ja) * | 2004-01-15 | 2005-07-28 | Canon Inc | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム |
WO2013145631A1 (ja) * | 2012-03-30 | 2013-10-03 | 日本電気株式会社 | 動線データ解析装置、システム、プログラム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6841608B2 (ja) | 2021-03-10 |
JP2018005752A (ja) | 2018-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018008702A1 (ja) | 振る舞い検知システム | |
US10810438B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
JP6286474B2 (ja) | 画像処理装置および領域追跡プログラム | |
US11188788B2 (en) | System and method to determine a timing update for an image recognition model | |
RU2607774C2 (ru) | Способ управления в системе захвата изображения, устройство управления и машиночитаемый носитель данных | |
JP6847254B2 (ja) | 歩行者追跡の方法および電子デバイス | |
JP6112616B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム | |
JP6024658B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
CN104919794A (zh) | 用于从主从式相机跟踪***提取元数据的方法和*** | |
JP2014192700A (ja) | 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法 | |
CN104811660A (zh) | 控制装置及控制方法 | |
US10970551B2 (en) | Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor | |
US8284292B2 (en) | Probability distribution constructing method, probability distribution constructing apparatus, storage medium of probability distribution constructing program, subject detecting method, subject detecting apparatus, and storage medium of subject detecting program | |
JP7446060B2 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP2017076288A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2019152802A (ja) | 作業動作解析システム及び作業動作解析方法 | |
CN113283408A (zh) | 基于监控视频的社交距离监测方法、装置、设备和介质 | |
KR102559586B1 (ko) | 인공지능을 이용한 구조물 외관 점검 시스템 및 방법 | |
JP6618349B2 (ja) | 映像検索システム | |
JP2020181290A (ja) | 物品認識システムおよび物品認識方法 | |
JP7028729B2 (ja) | 物体追跡装置、物体追跡システム、および物体追跡方法 | |
JP2007048232A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
JP4449483B2 (ja) | 画像解析装置、および画像解析方法、並びにコンピュータ・プログラム | |
JP2020064684A (ja) | 制御装置、制御方法及びプログラム | |
WO2023095329A1 (ja) | 動作評価システム、動作評価方法、及び非一時的なコンピュータ可読媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17824305 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17824305 Country of ref document: EP Kind code of ref document: A1 |