JPWO2018154709A1 - 動作学習装置、技能判別装置および技能判別システム - Google Patents

動作学習装置、技能判別装置および技能判別システム Download PDF

Info

Publication number
JPWO2018154709A1
JPWO2018154709A1 JP2019500950A JP2019500950A JPWO2018154709A1 JP WO2018154709 A1 JPWO2018154709 A1 JP WO2018154709A1 JP 2019500950 A JP2019500950 A JP 2019500950A JP 2019500950 A JP2019500950 A JP 2019500950A JP WO2018154709 A1 JPWO2018154709 A1 JP WO2018154709A1
Authority
JP
Japan
Prior art keywords
unit
motion
worker
feature
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019500950A
Other languages
English (en)
Other versions
JP6570786B2 (ja
Inventor
諒介 佐々木
諒介 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2018154709A1 publication Critical patent/JPWO2018154709A1/ja
Application granted granted Critical
Publication of JP6570786B2 publication Critical patent/JP6570786B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Social Psychology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

熟練作業者と一般作業者とのそれぞれを撮像した動画像データに基づいて、熟練作業者および一般作業者の動作の軌跡特徴を抽出する第１の動作特徴抽出部（１０２）と、抽出された軌跡特徴の中から決定した基準となる軌跡特徴に類似する軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成し、生成したヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う動作特徴学習部（１０３）と、判別学習の結果を参照し、熟達した動作であるか否かを判別するための境界を示す判別関数を生成する判別関数生成部（１０４）とを備える。

Description

この発明は、動画像データに基づいて、評価対象者の動作を評価する技術に関するものである。
工場等で作業する作業者の作業効率を向上させるため、熟練した作業者（以下、熟練作業者と記載する）の技能を抽出し、熟練した作業者でない一般の作業者（以下、一般作業者と記載する）に伝達する仕組み作りが求められている。具体的には、熟練作業者の動作の中で、一般作業者とは異なる動きを検出し、検出した動きを一般作業者に教示することにより、一般作業者の技能の向上を支援する。
例えば、特許文献１に開示された動作特徴抽出装置では、ある作業工程に従事する熟練作業者の姿を撮影し、同じ撮影アングルで同一の作業工程に従事するときの一般作業者の姿を撮影して、一般作業者による異常動作を抽出している。より詳細には、熟練作業者の動画像データから立体高次自己相関（ＣＨＬＡＣ）特徴を抽出し、一般作業者の評価対象画像からＣＨＬＡＣ特徴を抽出し、抽出したＣＨＬＡＣ特徴の相関関係に基づいて、一般作業者の異常動作を抽出している。
特開２０１１−１３３９８４号公報
しかし、上述した特許文献１に開示された技術では、動画像データ中の動作特徴に関して、ＣＨＬＡＣ特徴という固定のマスクパターンを複数用意する必要があり、熟練作業者の動きに対するマスクパターンをユーザが設計する必要があるという課題があった。
この発明は、上記のような課題を解決するためになされたもので、熟練作業者の動きに対するマスクパターンを設計することなく、動画像データから抽出された熟練作業者の動きに基づいて評価対象である作業者の技能を判別するための指標を得ることを目的とする。
この発明に係る発明の動作学習装置は、熟練作業者と一般作業者とのそれぞれを撮像した動画像データに基づいて、熟練作業者および一般作業者の動作の軌跡特徴を抽出する第１の動作特徴抽出部と、第１の動作特徴抽出部が抽出した軌跡特徴の中から決定した基準となる軌跡特徴に類似する軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成し、生成したヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う動作特徴学習部と、動作特徴学習部の判別学習の結果を参照し、熟達した動作であるか否かを判別するための境界を示す判別関数を生成する判別関数生成部とを備える。
この発明によれば、動画像データから熟練作業者の熟達した動きを抽出することができ、抽出された動きに基づいて評価対象である作業者の技能を判別するための指標を得ることができる。
実施の形態１に係る技能判別システムの構成を示すブロック図である。 図２Ａ、図２Ｂは、実施の形態１に係る動作学習装置のハードウェア構成 図３Ａ，図３Ｂは、実施の形態１に係る技能判別装置のハードウェア構成例を示す図である。 実施の形態１に係る動作学習装置の動作を示すフローチャートである。 実施の形態１に係る技能判別装置の動作を示すフローチャートである。 図６Ａ，図６Ｂ，図６Ｃ，図６Ｄは、実施の形態１に係る動作学習装置の処理を示す説明図である。 実施の形態１に係る技能判別装置の判別結果の表示例を示す図である。 実施の形態２に係る技能判別システムの構成を示すブロック図である。 実施の形態２に係る動作学習装置の動作を示すフローチャートである。 実施の形態２に係る技能判別装置の動作を示すフローチャートである。 実施の形態１に係る動作学習装置においてスパース正則化項を追加した場合の効果を示す図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る技能判別システムの構成を示すブロック図である。
技能判別システムは、動作学習装置１００および技能判別装置２００で構成されている。動作学習装置１００は、熟練した作業者（以下、熟練作業者と記載する）と、熟練した作業者でない一般の作業者（以下、一般作業者と記載する）との動作の特徴の違いを解析し、評価対象である作業者の技能を判別するための関数を生成する。ここで、評価対象である作業者には、熟練作業者および一般作業者が含まれるものとする。技能判別装置２００は、動作学習装置１００で生成された関数を用いて、評価対象である作業者の技能が熟達しているか否かを判別する。
動作学習装置１００は、動画像データベース１０１、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４を備えて構成される。
動画像データベース１０１は、複数の熟練作業者および複数の一般作業者の作業の様子を撮影した動画像データを格納したデータベースである。第１の動作特徴抽出部１０２は、動画像データベース１０１に格納された動画像データから熟練作業者および一般作業者の動作の軌跡特徴を抽出する。第１の動作特徴抽出部１０２は、抽出した動作の軌跡特徴を動作特徴学習部１０３に出力する。
動作特徴学習部１０３は、第１の動作特徴抽出部１０２が抽出した動作の軌跡特徴から、基準となる動作の軌跡特徴を決定する。動作特徴学習部１０３は、基準となる動作の軌跡特徴に基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う。動作特徴学習部１０３は、決定した基準となる動作の軌跡特徴を記述した動作特徴辞書を生成し、技能判別装置２００の動作特徴辞書格納部２０２に格納する。また、動作特徴学習部１０３は、判別学習の結果を判別関数生成部１０４に出力する。判別関数生成部１０４は、動作特徴学習部１０３の学習結果を参照し、評価対象である作業者の技能が熟達しているか否かを判別するための関数（以下、判別関数と記載する）を生成する。判別関数生成部１０４は、生成した判別関数を技能判別装置２００の判別関数蓄積部２０４に蓄積する。
技能判別装置２００は、画像情報取得部２０１、動作特徴辞書格納部２０２、第２の動作特徴抽出部２０３、判別関数蓄積部２０４、技能判別部２０５および表示制御部２０６で構成されている。また、技能判別装置２００には、評価対象である作業者の作業を撮像するカメラ３００、および技能判別装置２００の表示制御に基づいて情報を表示する表示装置４００が接続されている。
画像情報取得部２０１は、カメラ３００が評価対象である作業者の作業の様子を撮像した動画像データ（以下、評価対象の動画像データという）を取得する。画像情報取得部２０１は、取得した動画像データを第２の動作特徴抽出部２０３に出力する。動作特徴辞書格納部２０２には、動作学習装置１００から入力された基準となる動作の軌跡特徴を記述した動作特徴辞書が格納されている。
第２の動作特徴抽出部２０３は、動作特徴辞書格納部２０２に格納された動作特徴辞書を参照し、画像情報取得部２０１が取得した評価対象の動画像データから動作の軌跡特徴を抽出する。第２の動作特徴抽出部２０３は、抽出した動作の軌跡特徴を技能判別部２０５に出力する。判別関数蓄積部２０４は、動作学習装置１００の判別関数生成部１０４が生成した判別関数を蓄積する領域である。技能判別部２０５は、判別関数蓄積部２０４に蓄積された判別関数を用いて、第２の動作特徴抽出部２０３が抽出した動作の軌跡特徴から評価対象である作業者の技能が熟達しているか否か判別を行う。技能判別部２０５は、判別結果を表示制御部２０６に出力する。表示制御部２０６は、技能判別部２０５の判別結果に応じて、支援情報として評価対象である作業者に表示すべき情報を決定する。表示制御部２０６は、決定した情報を表示するための表示制御を表示装置４００に対して行う。
次に、動作学習装置１００および技能判別装置２００のハードウェア構成例を説明する。
まず、動作学習装置１００のハードウェア構成例について説明する。
図２Ａおよび図２Ｂは、実施の形態１に係る動作学習装置１００のハードウェア構成例を示す図である。
動作学習装置１００における第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４の各機能は、処理回路により実現される。即ち、動作学習装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図２Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図２Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。
図２Ａに示すように第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
図２Ｂに示すように、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４の各機能を実現する。即ち、動作特徴抽出部、動作特徴学習部１０３および判別関数生成部１０４は、プロセッサ１００ｂにより実行されるときに、後述する図４に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４の手順または方法をコンピュータに実行させるものであるともいえる。
ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
なお、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、動作学習装置１００における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
次に、技能判別装置２００のハードウェア構成例について説明する。
図３Ａおよび図３Ｂは、実施の形態１に係る技能判別装置２００のハードウェア構成例を示す図である。
技能判別装置２００における画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６の各機能は、処理回路により実現される。即ち、技能判別装置２００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図３Ａに示すように専用のハードウェアである処理回路２００ａであってもよいし、図３Ｂに示すようにメモリ２００ｃに格納されているプログラムを実行するプロセッサ２００ｂであってもよい。
図３Ａに示すように画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６が専用のハードウェアである場合、処理回路２００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらを組み合わせたものが該当する。画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
図３Ｂに示すように、画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６がプロセッサ２００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ２００ｃに格納される。プロセッサ２００ｂは、メモリ２００ｃに記憶されたプログラムを読み出して実行することにより、画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６の各機能を実現する。即ち、画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６は、プロセッサ２００ｂにより実行されるときに、後述する図５に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ２００ｃを備える。また、これらのプログラムは、画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６の手順または方法をコンピュータに実行させるものであるともいえる。
なお、画像情報取得部２０１、第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、技能判別装置２００における処理回路２００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
次に、動作学習装置１００の動作および技能判別装置２００の動作について説明する。まず、動作学習装置１００の動作について説明する。
図４は、実施の形態１に係る動作学習装置１００の動作を示すフローチャートである。
第１の動作特徴抽出部１０２は、動画像データベース１０１から熟練作業者および一般作業者の動作を撮影した動画像データを読み出す（ステップＳＴ１）。第１の動作特徴抽出部１０２は、ステップＳＴ１で読み出した動画像データから動作の軌跡特徴を抽出する（ステップＳＴ２）。第１の動作特徴抽出部１０２は、抽出した軌跡特徴を動作特徴学習部１０３に出力する。
上述したステップＳＴ２の処理の詳細について説明する。
第１の動作特徴抽出部１０２は、動画像データの特徴点を追跡し、ある一定以上のフレーム数の特徴点の座標の変遷を軌跡特徴として抽出する。また、第１の動作特徴抽出部１０２は、座標の変遷に加えて、動画像データの特徴点の周辺のエッジ情報、オプティカルフローのヒストグラム、またはオプティカルフローの一次微分のヒストグラムのうちの少なくともいずれか１つを追加して抽出してもよい。その場合、第１の動作特徴抽出部１０２は、座標の変遷に加えて得られた情報を統合した数値情報を軌跡特徴として抽出する。
動作特徴学習部１０３は、ステップＳＴ２で抽出された軌跡特徴の中から基準となる複数の軌跡特徴を決定する（ステップＳＴ３）。動作特徴学習部１０３は、ステップＳＴ３で決定した基準となる複数の軌跡特徴を用いて動作特徴辞書を作成し、技能判別装置２００の動作特徴辞書格納部２０２に格納する（ステップＳＴ４）。
ステップＳＴ４の動作特徴辞書の作成では、ｋ−ｍｅａｎｓアルゴリズム等のクラスタリング手法によって、各クラスタの中央値を基準の軌跡特徴とする方法を適用することが可能である。
動作特徴学習部１０３は、ステップＳＴ３で決定した基準となる軌跡特徴を用いて、ステップＳＴ２で抽出された各軌跡特徴を類似する軌跡特徴同士でクラスタリングする（ステップＳＴ５）。
ステップＳＴ５の処理では、動作特徴学習部１０３は、まずステップＳＴ２で抽出された各軌跡特徴をベクトル化する。次に、動作特徴学習部１０３は、各軌跡特徴のベクトルと、ステップＳＴ３で決定された基準となる軌跡特徴のベクトルとの距離に基づいて、各軌跡特徴が基準となる軌跡特徴に類似しているか否か判定する。動作特徴学習部１０３は、類似しているか否かの判定結果に基づいて、各軌跡特徴のクラスタリングを行う。
動作特徴学習部１０３は、ステップＳＴ５のクラスタリング結果に基づき、類似した軌跡特徴の出現頻度に応じたヒストグラムを生成する（ステップＳＴ６）。ステップＳＴ６の処理では、熟練作業者群と、一般作業者群とで、それぞれヒストグラムを生成する。動作特徴学習部１０３は、ステップＳＴ６で生成したヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う（ステップＳＴ７）。動作特徴学習部１０３は、ステップＳＴ７の判別学習の学習結果に基づいて、作業者の熟練の度合いに応じた軸への射影変換行列を生成する（ステップＳＴ８）。動作特徴学習部１０３は、ステップＳＴ８で生成した射影変換行列を、判別関数生成部１０４に出力する。
判別関数生成部１０４は、ステップＳＴ８で生成された射影変換行列に基づいて、評価対象である作業者の動作が熟達した動作であるか識別するための境界を示す判別関数を生成する（ステップＳＴ９）。具体的に、ステップＳＴ９において、判別関数生成部１０４は、射影変換行列により変換された軸において、熟達した動作と、一般的な動作とを識別する線形識別関数を設計する。判別関数生成部１０４は、ステップＳＴ９で生成した判別関数を、技能判別装置２００の判別関数蓄積部２０４に蓄積し（ステップＳＴ１０）、処理を終了する。ステップＳＴ１０において蓄積された線形識別関数である判別関数は、「０」以上であれば、評価対象である作業者の動作が熟達した動作であることを示し、「０」未満であれば、評価対象である作業者の動作が熟達していない一般的な動作であることを示す。
上述したステップＳＴ７およびステップＳＴ８の処理の詳細について説明する。
動作特徴学習部１０３は、ステップＳＴ６で生成されたヒストグラムを用いて判別分析を行い、熟練作業者群と一般作的作業者群とのクラス間の分散が最大、且つ各クラス内の分散が最小となる射影軸を計算し、判別境界を決定する。動作特徴学習部１０３による演算は、以下の式（１）で示すフィッシャーの評価基準を最大化する。
Figure 2018154709
式（１）において、ＳＢはクラス間分散、ＳＷはクラス内分散を表している。また、式（１）において、Ａはヒストグラムを一次元の数値に変換する行列であり、上述した射影変換行列である。
式（１）のＪＳ（Ａ）を最大化させるＡは、ラグランジュの未定乗数法より、以下の式（２）における極値を求める問題に変わる。
Figure 2018154709

Figure 2018154709
また、このとき主成分分析を用いてデータの分散の大きい軸を予め計算し、次元圧縮のために主成分に変換する処理をした上で判別分析やＳＶＭ（Support Vector Machine）等の判別器を利用してもよい。これにより、動作特徴学習部１０３は、熟練作業者群と一般作業者群との分散が最大となる軸を検出し、熟達した動きであるか、または一般的な動きであるかを判別するのに有用な軌跡を得ることができる。即ち、動作特徴学習部１０３は、熟達した動きを示す軌跡を特定することができ、当該軌跡を可視化することができる。
このように、動作特徴学習部１０３は、ヒストグラムの判別分析の結果、熟練作業者群と一般作業者群とのクラス間の分散が最大となる軸を固有ベクトルとする特異値分解を行い、固有ベクトルに対応した射影変換行列を計算する。動作特徴学習部１０３は、計算した射影変換行列を、熟練成分変換行列として、判別関数生成部１０４に出力する。
次に、技能判別装置２００の動作について説明する。
図５は、実施の形態１に係る技能判別装置２００の動作を示すフローチャートである。
画像情報取得部２０１が、評価対象である作業者の作業の様子を撮像した動画像データを取得すると（ステップＳＴ２１）、第２の動作特徴抽出部２０３は、ステップＳＴ２１で取得された動画像データの動作の軌跡特徴を抽出する（ステップＳＴ２２）。第２の動作特徴抽出部２０３は、動作特徴辞書格納部２０２に格納された動作特徴辞書を参照し、抽出した軌跡特徴をクラスタリングし、出現頻度に応じたヒストグラムを生成する（ステップＳＴ２３）。第２の動作特徴抽出部２０３は、ステップＳＴ２３で生成されたヒストグラムを技能判別部２０５に出力する。
技能判別部２０５は、判別関数蓄積部２０４に蓄積された判別関数により、ステップＳＴ２３で生成されたヒストグラムから評価対象である作業者の技能が熟達しているか否か判別する（ステップＳＴ２４）。技能判別部２０５は、判別結果を表示制御部２０６に出力する。表示制御部２０６は、評価対象である作業者の技能が熟達している場合（ステップＳＴ２４；ＹＥＳ）、表示装置４００に対して、熟練した作業者に対する情報を表示するための表示制御を行う（ステップＳＴ２５）。一方、表示制御部２０６は、評価対象である作業者の技能が熟達していない場合（ステップＳＴ２４；ＮＯ）、表示装置４００に対して、一般の作業者に対する情報を表示するための表示制御を行う（ステップＳＴ２６）。以上で処理を終了する。
上述したように、判別関数蓄積部２０４に蓄積された判別関数は、「０」以上であるか、「０」未満であるかに応じて、作業者の技能を判別する。そこで、ステップＳＴ２４の判別処理において、技能判別部２０５は、判別関数が「０」以上であれば作業者の技能が熟達していると判別し、判別関数が「０」未満であれば作業者の技能が熟達していないと判別する。
次に、動作学習装置１００による学習の効果について、図６および図７を参照しながら説明する。
図６は、実施の形態１に係る動作学習装置１００の処理を示す説明図である。
図６Ａは、第１の動作特徴抽出部１０２が読み出した動画像データを示す図であり、作業者Ｘの動画像データを例に示している。
図６Ｂは、第１の動作特徴抽出部１０２が、図６Ａの動画像データから抽出した動作の軌跡特徴を示す図である。図６Ｂの例では、作業者Ｘの手Ｘａの動作の軌跡特徴Ｙを示している。
図６Ｃは、動作特徴学習部１０３が、図６Ｂの軌跡特徴Ｙを学習した結果を示す図である。図６Ｃに示すように、動作特徴学習部１０３は、軌跡特徴Ｙから、基準となる３つの第１の軌跡特徴Ａ、第２の軌跡特徴Ｂ、第３の軌跡特徴Ｃを決定した場合を示している。また、図６Ｂで示した軌跡特徴Ｙを、第１の軌跡特徴Ａ、第２の軌跡特徴Ｂおよび第３の軌跡特徴Ｃにクラスタリングし、ヒストグラムを生成した結果を示している。動作特徴学習部１０３は、熟練作業者および一般作業者についてヒストグラムを生成することから、図６Ｃに示すように、熟練作業者群のヒストグラムと一般作業者群のヒストグラムが生成される。図６Ｃで示した熟練作業者群のヒストグラムでは第３の軌跡特徴Ｃが最も高く、一方、一般作業者群のヒストグラムでは第１の軌跡特徴Ａが最も高い。
図６Ｄは、動作特徴学習部１０３が特定した熟達した動作を示す軌跡Ｄを、作業の技能を示す空間（以下、作業技能空間）において可視化して表示した場合を示している。図６Ｄで示した横軸は第３の軌跡特徴Ｃを示し、その他の各軸は各軌跡特徴の出現頻度を表している。図６Ｄの例では、軌跡Ｄの矢印方向に進むにつれて熟練度が高くなり、軌跡Ｄの反矢印方向に進むにつれて熟練度が低くなることを示している。熟練作業者および一般作業者の軌跡特徴をヒストグラム化することにより、作業技能空間が生成され、動作特徴学習部１０３が特定した動作をマッピングすることができる。これにより、熟練作業者と一般作業者の動作が、作業技能空間内でそれぞれ異なる領域に分布されると仮定することができる。動作特徴学習部１０３は、図６Ｄで示した熟練度が低い領域Ｐと、熟練度が高い領域Ｑとの、クラス間の分散のみに着目し、まず境界を学習する。動作特徴学習部１０３は、学習した境界と直交する直線を熟練した軌跡の軸として求める。
技能判別装置２００の表示制御部２０６は、図６Ｄで示した作業技能空間を用いて、技能判別部２０５の判別結果に基づいて、評価対象である作業者の技能レベルの程度を表示する制御を行ってもよい。
図７は、実施の形態１に係る技能判別装置２００の判別結果を表示装置４００に表示する場合の一例を示す図である。
図７の例では、作業者Ｘの技能が熟達していないと判別され、当該作業者Ｘに対して、表示装置４００を介して熟達した動作の軌跡Ｄａを表示している。作業者Ｘは当該表示を視認することにより、自身が改善すべき箇所を容易に認識可能である。
以上のように、この実施の形態１によれば、熟練作業者と一般作業者とのそれぞれを撮像した動画像データに基づいて、熟練作業者および一般作業者の動作の軌跡特徴を抽出する第１の動作特徴抽出部１０２と、抽出された軌跡特徴の中から決定した基準となる軌跡特徴に類似する軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成し、生成したヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う動作特徴学習部１０３と、判別学習の結果を参照し、熟達した動作であるか否かを判別するための境界を示す判別関数を生成する判別関数生成部１０４とを備えるように構成したので、動画像データから熟練作業者の熟達した動きを抽出することができ、抽出した動きから評価対象である作業者の技能を判別するための指標を得ることができる。
また、この実施の形態１によれば、評価対象の作業者の作業を撮像した動画像データから、当該評価対象の作業者の動作の軌跡特徴を抽出し、予め決定された基準となる軌跡特徴を用いて、抽出した軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成する第２の動作特徴抽出部２０３と、予め求められた、熟達した動作を判別する判別関数により、生成されたヒストグラムから、評価対象の作業者の動作が熟達しているか否か判別する技能判別部２０５と、判別結果に基づいて、評価対象の作業者の動作が熟達している場合には熟練した作業者に対する情報を表示する制御を行い、評価対象の作業者の動作が熟達していない場合には熟練していない作業者に対する情報を表示する制御を行う表示制御部２０６とを備えるように構成したので、評価対象である作業者の作業を撮像した動画像データから、当該作業者の技能を判別することができる。判別結果に応じて、提示する情報を切り替えることができ、熟練作業者の作業を阻害する、あるいは作業効率を低下させてしまうのを抑制しつつ、一般作業者に技能を伝達することができる。
実施の形態２．
この実施の形態２では、評価対象である作業者の体の部位毎に、技能を評価する構成を示す。
図８は、実施の形態２に係る技能判別システムの構成を示すブロック図である。
実施の形態２に係る技能判別システムの動作学習装置１００Ａは、図１に示した実施の形態１の動作学習装置１００に部位検出部１０５を追加して構成している。また、第１の動作特徴抽出部１０２、動作特徴学習部１０３および判別関数生成部１０４に替えて、第１の動作特徴抽出部１０２ａ、動作特徴学習部１０３ａおよび判別関数生成部１０４ａを備えて構成している。
実施の形態２に係る技能判別システムの技能判別装置２００Ａは、図１に示した実施の形態１の第２の動作特徴抽出部２０３、技能判別部２０５および表示制御部２０６に替えて、第２の動作特徴抽出部２０３ａ、技能判別部２０５ａおよび表示制御部２０６ａを備えて構成している。
以下では、実施の形態１に係る動作学習装置１００および技能判別装置２００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
部位検出部１０５は、動画像データベース１０１に格納された動画像データを解析し、動画像データに含まれている熟練作業者および一般作業者の部位（以下、作業者の部位と記載する）を検出する。ここで、作業者の部位とは、作業者の指、手のひらおよび手首等である。部位検出部１０５は、検出した部位を示す情報と、動画像データとを第１の動作特徴抽出部１０２ａに出力する。第１の動作特徴抽出部１０２ａは、部位検出部１０５で検出された部位毎に、動画像データから熟練作業者および一般作業者の動作の軌跡特徴を抽出する。第１の動作特徴抽出部１０２ａは、抽出した動作の軌跡特徴を、作業者の部位を示す情報と紐付けて動作特徴学習部１０３ａに出力する。
動作特徴学習部１０３ａは、第１の動作特徴抽出部１０２ａが抽出した動作の軌跡特徴から、部位毎に基準となる動作の軌跡特徴を決定する。動作特徴学習部１０３ａは、基準となる動作の軌跡特徴に基づいて、部位毎に熟達した動作の軌跡特徴を特定するための判別学習を行う。動作特徴学習部１０３ａは、決定した基準となる動作の軌跡特徴を部位毎に格納した動作特徴辞書を生成して技能判別装置２００Ａの動作特徴辞書格納部２０２に格納する。また、動作特徴学習部１０３ａは、部位毎の判別学習の結果を判別関数生成部１０４ａに出力する。判別関数生成部１０４ａは、動作特徴学習部１０３ａの学習結果を参照し、部位毎に判別関数を生成する。判別関数生成部１０４ａは、生成した判別関数を技能判別装置２００Ａの判別関数蓄積部２０４に蓄積する。
第２の動作特徴抽出部２０３ａは、動作特徴辞書格納部２０２に格納された動作特徴辞書を参照し、画像情報取得部２０１が取得した評価対象の動画像データから動作の軌跡特徴を抽出する。第２の動作特徴抽出部２０３ａは、抽出した動作の軌跡特徴を作業者の部位を示す情報と紐付けて技能判別部２０５ａに出力する。技能判別部２０５ａは、判別関数蓄積部２０４に蓄積された判別関数を用いて、第２の動作特徴抽出部２０３ａが抽出した動作の軌跡特徴から評価対象である作業者の技能が熟達しているか否か判別を行う。技能判別部２０５ａは、動作の軌跡特徴に紐付けられた部位毎に判別を行う。技能判別部２０５ａは、判別結果を作業者の部位を示す情報に紐付けて表示制御部２０６ａに出力する。表示制御部２０６ａは、技能判別部２０５ａの判別結果に応じて、作業者の部位毎に支援情報として評価対象である作業者に表示すべき情報を決定する。
次に、動作学習装置１００Ａおよび技能判別装置２００Ａのハードウェア構成例を説明する。なお、実施の形態１と同一の構成の説明は省略する。
動作学習装置１００Ａにおける部位検出部１０５、第１の動作特徴抽出部１０２ａ、動作特徴学習部１０３ａおよび判別関数生成部１０４ａは、図２Ａで示した処理回路１００ａ、または図２Ｂで示したメモリ１００ｃに格納されるプログラムを実行するプロセッサ１００ｂである。
技能判別装置２００Ａにおける第２の動作特徴抽出部２０３ａ、技能判別部２０５ａおよび表示制御部２０６ａ、図３Ａで示した処理回路２００ａ、または図３Ｂで示したメモリ２００ｃに格納されるプログラムを実行するプロセッサ２００ｂである。
次に、動作学習装置１００Ａの動作および技能判別装置２００Ａの動作について説明する。まず、動作学習装置１００Ａの動作について説明する。
図９は、実施の形態２に係る動作学習装置１００Ａの動作を示すフローチャートである。なお、図９のフローチャートにおいて、図４で示した実施の形態１のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
部位検出部１０５は、動画像データベース１０１から熟練作業者および一般作業者の動作を撮影した動画像データを読み出す（ステップＳＴ３１）。部位検出部１０５は、ステップＳＴ３１で読み出した動画像データに含まれる作業者の部位を検出する（ステップＳＴ３２）。部位検出部１０５は、検出した部位を示す情報と、読み出した動画像データとを第１の動作特徴抽出部１０２ａに出力する。第１の動作特徴抽出部１０２ａは、ステップＳＴ３１で読み出された動画像データから、ステップＳＴ３２で検出された作業者の部位毎に、動作の軌跡特徴を抽出する（ステップＳＴ２ａ）。第１の動作特徴抽出部１０２ａは、作業者の部位毎の動作の軌跡特徴を動作特徴学習部１０３ａに出力する。
動作特徴学習部１０３ａは、作業者の部位毎に、基準となる複数の軌跡特徴を決定する（ステップＳＴ３ａ）。動作特徴学習部１０３ａは、ステップＳＴ３ａで決定した基準となる複数の軌跡特徴を用いて、作業者の部位毎に動作特徴辞書を作成し、技能判別装置２００Ａの動作特徴辞書格納部２０２に格納する（ステップＳＴ４ａ）。動作特徴学習部１０３ａは、ステップＳＴ５からステップＳＴ７の処理を行い、作業者の部位毎に射影変換行列を生成する（ステップＳＴ８ａ）。判別関数生成部１０４ａは、作業者の部位毎に判別関数を生成する（ステップＳＴ９ａ）。判別関数生成部１０４ａは、生成した判別関数を作業者の部位と紐付けて、技能判別装置２００Ａの判別関数蓄積部２０４に蓄積し（ステップＳＴ１０ａ）、処理を終了する。
次に、技能判別装置２００Ａの動作について説明する。
図１０は、実施の形態２に係る技能判別装置２００Ａの動作を示すフローチャートである。なお、図１０のフローチャートにおいて、図５で示した実施の形態１のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
第２の動作特徴抽出部２０３ａは、動作特徴辞書格納部２０２に格納された動作特徴辞書を参照し、抽出した軌跡特徴をクラスタリングし、出現頻度に応じたヒストグラムを部位毎に生成する（ステップＳＴ２３ａ）。第２の動作特徴抽出部２０３ａは、ステップＳＴ２３ａで生成したヒストグラムと作業者の部位とを紐付けて技能判別部２０５ａに出力する。技能判別部２０５ａは、判別関数蓄積部２０４に蓄積された部位毎の判別関数により、ステップＳＴ２３ａで生成されたヒストグラムから、作業者の部位毎の技能が熟達しているか否か判別する（ステップＳＴ２４ａ）。技能判別部２０５ａは、ステップＳＴ２４ａにおいて、全ての部位の技能について判別を行うと、判別結果を表示制御部２０６ａに出力する。
表示制御部２０６ａは、ある部位に関して作業中の作業者の技能が熟達している場合（ステップＳＴ２４ａ；ＹＥＳ）、表示装置４００に対して、当該部位に関して熟練した作業者に対する情報を表示するための表示制御を行う（ステップＳＴ２５ａ）。一方、表示制御部２０６ａは、ある部位に関して作業中の作業者の技能が熟達していない場合（ステップＳＴ２４ａ；ＮＯ）、表示装置４００に対して、一般の作業者に対する情報を表示するための表示制御を行う（ステップＳＴ２６ａ）。以上で処理を終了する。なお、技能判別部２０５ａの判別結果が、ある部位に関して技能が熟達しているが、ある部位に関して技能が熟達していないことを示していた場合、表示制御部２０６ａは、ステップＳＴ２５ａおよびステップＳＴ２６ａの双方の処理を行う。
以上のように、この実施の形態２によれば、動画像データから、熟練作業者および一般作業者の撮像された部位を検出する部位検出部１０５を備え、第１の動作特徴抽出部１０２ａが、検出された部位毎に軌跡特徴を抽出し、動作特徴学習部１０３ａが、検出された部位毎にヒストグラムを部位毎に生成して判別学習を行い、判別関数生成部１０４ａが、検出された部位毎に判別関数を生成するように構成したので、作業者の部位毎に、動作特徴を学習することができる。
また、技能判別装置２００Ａにおいて、評価対象の作業者に対して部位毎に情報を提示することができ、詳細な情報の提示が可能となる。
動作特徴学習部１０３，１０３ａが、判別分析において、熟練作業者群と一般的作業者群の２クラス分類を行う際に、クラス間の分散が最大、且つクラス内の分散が最小となる射影軸を計算し、判別境界を決定する構成を示した。スパース正規化項を追加して射影軸を計算すると、影響度の低い要素は重み「０」として学習される。これにより、動作特徴学習部１０３，１０３ａが射影軸を計算する際に、軸の成分が「０」を多く含むようにスパース正規化項を追加して射影軸を計算する構成とすることが可能である。
動作特徴学習部１０３，１０３ａが、スパース正規化項を追加して射影軸を計算することにより、判別境界を決定するのに必要な特徴軌跡が、複数の軌跡の組み合わせという複雑な特徴軌跡の抽出となるのを抑制することができる。そのため、動作特徴学習部１０３は、複数の特徴軌跡の中からより少ない種類の特徴軌跡の組み合わせから、射影軸を計算して判別境界を決定することができる。これにより、技能判別装置２００，２００Ａは、作業者にとって分かりやすい技能レベルの提示を実現することができる。
図１１は、実施の形態１に係る動作学習装置１００においてスパース正則化項を追加した場合の効果を示す図である。
図１１では、実施の形態１の図６Ｃで示した学習結果に対して、スパース正則化項を追加して射影軸を計算して得られた際の、作業空間および軌跡Ｅを示している。図１１Ｄで示した横軸は第３の軌跡特徴Ｃを示し、その他の各軸は各軌跡特徴の出現頻度を表している。軌跡Ｅは、第３の軌跡特徴Ｃに対して平行であり、作業者に熟達した動きを示す軌跡をより分かりやすく表示している。
上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
この発明に係る動作学習装置は、作業者の熟達した動きを学習することができるため、作業者を支援するシステム等に適用し、作業者に熟練した作業者の動きの特徴を教示し、熟練した作業者の技能の伝達を実現するのに適している。
１００，１００Ａ 動作学習装置、１０１ 動画像データベース、１０２，１０２ａ 第１の動作特徴抽出部、１０３，１０３ａ 動作特徴学習部、１０４，１０４ａ 判別関数生成部、１０５ 部位検出部、２００，２００Ａ 技能判別装置、２０１ 画像情報取得部、２０２ 動作特徴辞書格納部、２０３，２０３ａ 第２の動作特徴抽出部、２０４ 判別関数蓄積部、２０５，２０５ａ 技能判別部、２０６，２０６ａ 表示制御部。
この発明に係る発明の動作学習装置は、熟練作業者と一般作業者とのそれぞれを撮像した動画像データに基づいて、熟練作業者および一般作業者の動作の軌跡特徴を抽出する第１の動作特徴抽出部と、第１の動作特徴抽出部が抽出した軌跡特徴の中から決定した基準となる軌跡特徴に類似する軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成し、生成したヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う動作特徴学習部と、動作特徴学習部の判別学習の結果を参照し、熟達した動作であるか否かを判別するための境界を示す判別関数を生成する判別関数生成部とを備える。さらに、動画像データから、熟練作業者および一般作業者の撮像された部位を検出する部位検出部を備え、第１の動作特徴抽出部は、検出された部位毎に軌跡特徴を抽出し、動作特徴学習部は、部位検出部で検出された部位毎にヒストグラムを生成して判別学習を行い、判別関数生成部は、検出された部位毎に判別関数を生成する。

Claims (7)

  1. 熟練作業者と一般作業者とのそれぞれを撮像した動画像データに基づいて、前記熟練作業者および前記一般作業者の動作の軌跡特徴を抽出する第１の動作特徴抽出部と、
    前記第１の動作特徴抽出部が抽出した前記軌跡特徴の中から決定した基準となる軌跡特徴に類似する軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成し、生成した前記ヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う動作特徴学習部と、
    前記動作特徴学習部の判別学習の結果を参照し、熟達した動作であるか否かを判別するための境界を示す判別関数を生成する判別関数生成部とを備えた動作学習装置。
  2. 前記動作特徴学習部は、前記熟練作業者群のヒストグラムと、前記一般作業者群のヒストグラムとを用いて、前記熟練作業者群と前記一般作業者群との間の分散が最大、且つ各群内の分散が最小となる射影軸を計算し、前記判別関数を生成することを特徴とする請求項１記載の動作学習装置。
  3. 前記動作特徴学習部は、機械学習による判別器を用いて前記判別学習を行うことを特徴とする請求項１記載の動作学習装置。
  4. 前記動画像データから、前記熟練作業者および前記一般作業者の撮像された部位を検出する部位検出部を備え、
    前記第１の動作特徴抽出部は、前記検出された部位毎に前記軌跡特徴を抽出し、
    前記動作特徴学習部は、前記部位検出部で検出された部位毎に前記ヒストグラムを生成して前記判別学習を行い、
    前記判別関数生成部は、前記検出された部位毎に前記判別関数を生成することを特徴とする請求項１記載の動作学習装置。
  5. 前記動作特徴学習部は、スパース正則化項を追加し、前記判別器を用いた前記判別学習を行うことを特徴とする請求項３記載の動作学習装置。
  6. 評価対象の作業者の作業を撮像した動画像データから、当該評価対象の作業者の動作の軌跡特徴を抽出し、予め決定された基準となる軌跡特徴を用いて、前記抽出した前記評価対象の作業者の軌跡特徴をクラスタリングし、クラスタリングした軌跡特徴の出現頻度に応じてヒストグラムを生成する第２の動作特徴抽出部と、
    予め求められた、熟達した動作を判別する判別関数により、前記第２の動作特徴抽出部が生成したヒストグラムから、前記評価対象の作業者の動作が熟達しているか否か判別する技能判別部と、
    前記技能判別部の判別結果に基づいて、前記評価対象の作業者の動作が熟達している場合には熟練作業者に対する情報を表示する制御を行い、前記評価対象の作業者の動作が熟達していない場合には一般作業者に対する情報を表示する制御を行う表示制御部とを備えた技能判別装置。
  7. 熟練作業者と一般作業者とのそれぞれを撮像した動画像データに基づいて、前記熟練作業者および前記一般作業者の動作の第１の軌跡特徴を抽出する第１の動作特徴抽出部と、
    前記第１の動作特徴抽出部が抽出した前記第１の軌跡特徴の中から基準となる軌跡特徴を決定し、決定した基準となる軌跡特徴に類似する前記第１の軌跡特徴をクラスタリングし、クラスタリングした前記第１の軌跡特徴の出現頻度に応じてヒストグラムを生成し、当該ヒストグラムに基づいて、熟達した動作の軌跡特徴を特定するための判別学習を行う動作特徴学習部と、
    前記動作特徴学習部の判別学習の結果を参照し、熟達した動作であるか否かを判別するための境界を示す判別関数を生成する判別関数生成部と、
    評価対象の作業者の作業を撮像した動画像データから、前記評価対象の作業者の動作の第２の軌跡特徴を抽出し、前記動作特徴学習部が決定した前記基準となる軌跡特徴を用いて、前記第２の軌跡特徴をクラスタリングし、クラスタリングした前記第２の軌跡特徴の出現頻度に応じてヒストグラムを生成する第２の動作特徴抽出部と、
    前記判別関数生成部が生成した前記判別関数により、前記第２の動作特徴抽出部が生成したヒストグラムから、前記作業中の作業者の動作が熟達しているか否か判別する技能判別部と、
    前記技能判別部の判別結果に基づいて、前記作業中の作業者の動作が熟達している場合には前記熟練作業者に対する情報を表示する制御を行い、前記作業中の作業者の動作が熟達していない場合には前記一般作業者に対する情報を表示する制御を行う表示制御部とを備えた技能判別システム。
JP2019500950A 2017-02-24 2017-02-24 動作学習装置、技能判別装置および技能判別システム Expired - Fee Related JP6570786B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/007104 WO2018154709A1 (ja) 2017-02-24 2017-02-24 動作学習装置、技能判別装置および技能判別システム

Publications (2)

Publication Number Publication Date
JPWO2018154709A1 true JPWO2018154709A1 (ja) 2019-06-27
JP6570786B2 JP6570786B2 (ja) 2019-09-04

Family

ID=63252523

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019500950A Expired - Fee Related JP6570786B2 (ja) 2017-02-24 2017-02-24 動作学習装置、技能判別装置および技能判別システム

Country Status (7)

Country Link
US (1) US20190370982A1 (ja)
JP (1) JP6570786B2 (ja)
KR (1) KR20190099537A (ja)
CN (1) CN110291559A (ja)
DE (1) DE112017006891T5 (ja)
TW (1) TW201832182A (ja)
WO (1) WO2018154709A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7106851B2 (ja) * 2017-12-12 2022-07-27 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP6912513B2 (ja) * 2018-10-31 2021-08-04 ファナック株式会社 表示システム、機械学習装置、及び表示装置
US11119716B2 (en) 2018-10-31 2021-09-14 Fanuc Corporation Display system, machine learning device, and display device
KR102618732B1 (ko) * 2019-08-27 2023-12-27 엘지전자 주식회사 얼굴 인식 활용 단말기 및 얼굴 인식 활용 방법
JP7393720B2 (ja) 2019-10-29 2023-12-07 オムロン株式会社 技能評価装置、技能評価方法及び技能評価プログラム
CN111046739A (zh) * 2019-11-14 2020-04-21 京东数字科技控股有限公司 一种操作熟练度识别方法、装置及存储介质
KR102466433B1 (ko) * 2020-09-03 2022-11-11 (주)넥스트랩 영상 분석 기반 작업 동작 인식 장치 및 방법
JP7249444B1 (ja) * 2022-02-14 2023-03-30 日鉄ソリューションズ株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
CN114783611B (zh) * 2022-06-22 2022-08-23 新泰市中医医院 基于人工智能的神经康复动作检测***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011133984A (ja) * 2009-12-22 2011-07-07 Panasonic Corp 動作特徴抽出装置および動作特徴抽出方法
JP2012088881A (ja) * 2010-10-19 2012-05-10 Nippon Hoso Kyokai <Nhk> 人物動作検出装置およびそのプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011133984A (ja) * 2009-12-22 2011-07-07 Panasonic Corp 動作特徴抽出装置および動作特徴抽出方法
JP2012088881A (ja) * 2010-10-19 2012-05-10 Nippon Hoso Kyokai <Nhk> 人物動作検出装置およびそのプログラム

Also Published As

Publication number Publication date
JP6570786B2 (ja) 2019-09-04
TW201832182A (zh) 2018-09-01
KR20190099537A (ko) 2019-08-27
WO2018154709A1 (ja) 2018-08-30
CN110291559A (zh) 2019-09-27
DE112017006891T5 (de) 2019-10-10
US20190370982A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
JP6570786B2 (ja) 動作学習装置、技能判別装置および技能判別システム
US9098740B2 (en) Apparatus, method, and medium detecting object pose
US9875427B2 (en) Method for object localization and pose estimation for an object of interest
JP4860749B2 (ja) 画像中の人物における位置決め指示との適合性を判定する機器、システム、及び方法
JP6007682B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5417494B2 (ja) 画像処理方法およびシステム
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
JP2004157850A (ja) 運動検出装置
TWI640931B (zh) 影像目標追蹤方法及裝置
JP2010176380A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP6487642B2 (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
JP2014093023A (ja) 物体検出装置、物体検出方法及びプログラム
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
JP2017010224A (ja) 物体追尾装置、物体追尾方法及びプログラム
JP5174492B2 (ja) 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム
KR20120089948A (ko) Ｍｈｉ의 형태 정보를 이용한 실시간 동작 인식시스템 및 실시간 동작 인식 방법
CN110991292A (zh) 动作识别比对方法、***、计算机存储介质和电子装置
US20220095959A1 (en) Feigned Injury Detection Systems And Methods
JP6384167B2 (ja) 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム
CN117593792A (zh) 一种基于视频帧的异常姿态检测方法和装置
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
JP5482412B2 (ja) ロボット、位置推定方法及びプログラム
JP5791361B2 (ja) パターン識別装置、パターン識別方法およびプログラム
JP6393495B2 (ja) 画像処理装置および物体認識方法
JP2011232845A (ja) 特徴点抽出装置および方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190404

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190404

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190404

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190806

R150 Certificate of patent or registration of utility model

Ref document number: 6570786

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees