JP7362037B2 - 要素作業分割装置、要素作業分割方法、要素作業分割プログラム及び要素作業分割システム - Google Patents

要素作業分割装置、要素作業分割方法、要素作業分割プログラム及び要素作業分割システム Download PDF

Info

Publication number
JP7362037B2
JP7362037B2 JP2019200826A JP2019200826A JP7362037B2 JP 7362037 B2 JP7362037 B2 JP 7362037B2 JP 2019200826 A JP2019200826 A JP 2019200826A JP 2019200826 A JP2019200826 A JP 2019200826A JP 7362037 B2 JP7362037 B2 JP 7362037B2
Authority
JP
Japan
Prior art keywords
information
elemental
work
time
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019200826A
Other languages
English (en)
Other versions
JP2021076920A (ja
Inventor
タンニー 王
佑治 水野
佑一朗 東
洋貴 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2019200826A priority Critical patent/JP7362037B2/ja
Priority to US17/068,822 priority patent/US20210133442A1/en
Priority to CN202011089408.2A priority patent/CN112784668A/zh
Publication of JP2021076920A publication Critical patent/JP2021076920A/ja
Application granted granted Critical
Publication of JP7362037B2 publication Critical patent/JP7362037B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/004Measuring arrangements characterised by the use of electric or magnetic techniques for measuring coordinates of points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398Performance of employee with respect to a job function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04Manufacturing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/11Hand-related biometrics; Hand pose recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Manufacturing & Machinery (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • General Factory Administration (AREA)

Description

本発明は、要素作業分割装置、要素作業分割方法、要素作業分割プログラム及び要素作業分割システムに関する。
工場等の生産現場では、作業者の動作を解析することにより、作業者の技能等を評価することがある。例えば、下記特許文献1には、ピッキング検出手段により作業者のピッキングに関する動作を検出し、作業者の作業習熟度を評価する工順編成装置が開示されている。この工順編成装置は、部品がピッキングされた動作を部品種ごとに検出し、ある部品のピッキング動作から次の部品のピッキング動作までのデータに基づいて算出した作業時間を作業習熟度として工順を編成する。
また、下記特許文献2には、作業者に取り付けたセンサによって記録された作業者の動作を示す作業データを解析し、作業者の作業性を評価する作業性評価装置が開示されている。この作業性評価装置は、作業者の動作の変化に基づいて作業を複数の部分作業に分け、部分作業ごとに作業性を評価する。
特開平8-174387号公報 特開2018-45512号公報
特許文献1では、作業者のピッキング動作を検出できるものの、それ以外の動作については検出できないため、ある部品をピッキングしてから次の部品をピッキングするまでの作業をさらに部分作業に分けて評価することができない。また、特許文献2では、作業者の動作の変化に基づいて部分作業に分けるため、作業者にかかわらず動きの変化が概ね共通する作業であれば、各作業者の動作を所定の意味付けに基づく部分作業に分割できる。しかしながら、作業者ごとに動きの変化が異なるような作業では、作業者によって作業区切りの粒度や動作の意味付けが変わり得るため、一様な技能評価をすることができないおそれがある。
そこで、本発明は、客観的に把握し易い単位で作業者の作業状態を分割することができる要素作業分割装置、要素作業分割方法、要素作業分割プログラム及び要素作業分割システムを提供する。
本開示の一態様に係る要素作業分割装置は、作業者の動作に関する時系列情報を取得する取得部と、前記時系列情報の中から、部品を接触又は分離する動作に該当すると判定されるように予め定めた対象動作を検出する検出部と、前記検出された前記対象動作を示す動作情報を、前記対象動作の発生時間及び前記部品の識別情報に対応付けて対象動作情報を生成する生成部と、一連の作業に含まれる複数の要素作業それぞれを開始する動作を示す開始動作情報及び前記要素作業それぞれを終了する動作を示す終了動作情報を、それぞれの前記要素作業に対応付けることで生成された要素作業情報を記憶する記憶部と、前記対象動作情報及び前記要素作業情報に基づいて、前記部品の識別情報ごとに、前記要素作業それぞれの開始時間及び終了時間を当該要素作業に対応付けたデータを出力する出力部と、を備える。
この態様によれば、作業者の動作に関する時系列情報を取得し、その時系列情報の中から、部品を接触又は分離する対象動作を検出し、検出した対象動作と、その発生時間及び部品の識別情報とを対応付けた対象動作情報を生成するとともに、要素作業それぞれの開始動作及び終了動作を定めた要素作業情報及び対象動作情報に基づいて、時系列情報を、部品単位かつ要素作業単位に分割するためのデータを出力することができる。
上記態様において、前記時系列情報は、画像センサ、圧力センサ、光電センサ及び視線検出センサのうち少なくとも何れかにより出力される時系列の情報であることとしてもよい。
この態様によれば、画像センサ、圧力センサ、光電センサ及び視線検出センサの何れかにより出力される時系列の情報を、部品単位かつ要素作業単位に分割するためのデータを出力することができる。
上記態様において、前記時系列情報が、画像センサにより出力される場合に、前記検出部は、作業者の手が存在する画像上の位置に基づいて、前記対象動作を検出することとしてもよい。
この態様によれば、画像センサにより出力される時系列情報のうち、作業者の手が存在する画像上の位置に基づいて、対象動作を検出することができる。
上記態様において、前記時系列情報が、圧力センサにより検出される場合に、前記検出部は、作業台上に配置される複数の圧力センサのうち、圧力値が変化した圧力センサに対応する作業台上の位置及び圧力値の変化状態に基づいて、前記対象動作を検出することとしてもよい。
この態様によれば、圧力センサにより出力される時系列情報のうち、圧力値が変化した圧力センサに対応する作業台上の位置及び圧力値の変化状態に基づいて、対象動作を検出することができる。
上記態様において、前記時系列情報が、光電センサにより検出される場合に、前記検出部は、作業台上に設置される複数の光電センサのうち、出力信号が変化した光電センサに対応する作業台上の位置に基づいて、前記対象動作を検出することとしてもよい。
この態様によれば、光電センサにより出力される時系列情報のうち、出力信号が変化した光電センサに対応する作業台上の位置に基づいて、対象動作を検出することができる。
本開示の他の態様に係る要素作業分割方法は、作業者の動作に関する時系列情報を取得することと、前記時系列情報の中から、部品を接触又は分離する動作に該当すると判定されるように予め定めた対象動作を検出することと、前記検出された前記対象動作を示す動作情報を、前記対象動作の発生時間及び前記部品の識別情報に対応付けて対象動作情報を生成することと、一連の作業に含まれる複数の要素作業それぞれを開始する動作を示す開始動作情報及び前記要素作業それぞれを終了する動作を示す終了動作情報を、それぞれの前記要素作業に対応付けることで生成された要素作業情報を記憶することと、前記対象動作情報及び前記要素作業情報に基づいて、前記部品の識別情報ごとに、前記要素作業それぞれの開始時間及び終了時間を当該要素作業に対応付けたデータを出力することと、を含む。
この態様によれば、作業者の動作に関する時系列情報を取得し、その時系列情報の中から、部品を接触又は分離する対象動作を検出し、検出した対象動作と、その発生時間及び部品の識別情報とを対応付けた対象動作情報を生成するとともに、要素作業それぞれの開始動作及び終了動作を定めた要素作業情報及び対象動作情報に基づいて、時系列情報を、部品単位かつ要素作業単位に分割するためのデータを出力することができる。
本開示の他の態様に係る要素作業分割プログラムは、コンピュータを、作業者の動作に関する時系列情報を取得する取得部、前記時系列情報の中から、部品を接触又は分離する動作に該当すると判定されるように予め定めた対象動作を検出する検出部、前記検出された前記対象動作を示す動作情報を、前記対象動作の発生時間及び前記部品の識別情報に対応付けて対象動作情報を生成する生成部、一連の作業に含まれる複数の要素作業それぞれを開始する動作を示す開始動作情報及び前記要素作業それぞれを終了する動作を示す終了動作情報を、それぞれの前記要素作業に対応付けることで生成された要素作業情報を記憶する記憶部、前記対象動作情報及び前記要素作業情報に基づいて、前記部品の識別情報ごとに、前記要素作業それぞれの開始時間及び終了時間を当該要素作業に対応付けたデータを出力する出力部、として機能させる。
この態様によれば、作業者の動作に関する時系列情報を取得し、その時系列情報の中から、部品を接触又は分離する対象動作を検出し、検出した対象動作と、その発生時間及び部品の識別情報とを対応付けた対象動作情報を生成するとともに、要素作業それぞれの開始動作及び終了動作を定めた要素作業情報及び対象動作情報に基づいて、時系列情報を、部品単位かつ要素作業単位に分割するためのデータを出力することができる。
本開示の他の態様に係る要素作業分割システムは、一つ以上のセンサと要素作業分割装置とを備える要素作業分割システムであって、
前記センサは、作業者の動作を検知して当該動作に関する時系列情報を出力する検知部を、備え、
前記要素作業分割装置は、前記時系列情報を取得する取得部と、前記時系列情報の中から、部品を接触又は分離する動作に該当すると判定されるように予め定めた対象動作を検出する検出部と、前記検出された前記対象動作を示す動作情報を、前記対象動作の発生時間及び前記部品の識別情報に対応付けて対象動作情報を生成する生成部と、一連の作業に含まれる複数の要素作業それぞれを開始する動作を示す開始動作情報及び前記要素作業それぞれを終了する動作を示す終了動作情報を、それぞれの前記要素作業に対応付けることで生成された要素作業情報を記憶する記憶部と、前記対象動作情報及び前記要素作業情報に基づいて、前記部品の識別情報ごとに、前記要素作業それぞれの開始時間及び終了時間を当該要素作業に対応付けたデータを出力する出力部と、を備える。
この態様によれば、作業者の動作に関する時系列情報を取得し、その時系列情報の中から、部品を接触又は分離する対象動作を検出し、検出した対象動作と、その発生時間及び部品の識別情報とを対応付けた対象動作情報を生成するとともに、要素作業それぞれの開始動作及び終了動作を定めた要素作業情報及び対象動作情報に基づいて、時系列情報を、部品単位かつ要素作業単位に分割するためのデータを出力することができる。
本発明によれば、客観的に把握し易い単位で作業者の作業状態を分割することができる要素作業分割装置、要素作業分割方法、要素作業分割プログラム及び要素作業分割システムを提供することができる。
本発明の実施形態に係る要素作業分割システムの概要を例示する図である。 各部品箱に収容された部品を組み立てて完成品を作成することを例示する模式図である。 本実施形態に係る要素作業分割システムの機能構成を例示する図である。 本実施形態に係る要素作業分割装置に記憶される対象動作情報の一例を示す図である。 本実施形態に係る要素作業分割装置に記憶される要素作業情報の一例を示す図である。 本実施形態に係る要素作業分割装置に記憶される部品単位要素作業データの一例を示す図である。 本実施形態に係る要素作業分割装置のハードウェア構成を例示する図である。 本実施形態に係る要素作業分割装置により実行される要素作業分割処理のフローチャートである。 第1変形例に係る要素作業分割システムの概要を例示する図である。 第1変形例に係る要素作業分割装置により実行される要素作業分割処理のフローチャートである。 第2変形例に係る要素作業分割システムの概要を例示する図である。 第2変形例に係る要素作業分割装置により実行される要素作業分割処理のフローチャートである。
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」と表記する。)を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
§1 適用例
まず、図1を参照して、本発明が適用される場面の一例について説明する。本実施形態に係る要素作業分割システム100は、ある作業領域(作業台)Rで行われる作業者Aの動作(作業状態)を画像センサ20a、20b、20cで撮影し、その撮影した動画を取得した要素作業分割装置10が、部品を接触又は分離する対象動作、及び一連の作業に含まれる要素作業に基づいて、動画に含まれる作業者Aの動作を、部品単位に要素作業に分割する。
部品を接触又は分離する対象動作として、例えば、手が部品に接触する、部品が部品から分離する、部品が部品に接触する、完成品が収納場所に接触する、及び手が完成品から分離する等の各動作が該当する。
一連の作業に含まれる要素作業として、例えば、各部品箱Ra、Rb、Rcに収容されている部品をそれぞれ「把持」する作業、把持した部品を作業スペースRdに「運搬」する作業、作業スペースRdに運搬した部品を組み立てる等の部品を「調整」する作業、及び完成品を収納場所Reに「収納」する作業等が該当する。
ここで、作業領域Rで作業者Aが行う作業の一例について、図1及び図2を参照して説明する。作業者Aは、部品箱Ra、部品箱Rb及び部品箱Rcに収容されている部品Pa群、部品Pb群及び部品Pc群の中から、それぞれ一個の部品Pa、部品Pb及び部品Pcを順に把持し(要素作業:把持)、作業スペースRd上にそれぞれ運搬する(要素作業:運搬)。続いて、作業者Aは、作業スペースRd上で部品Pa、部品Pb及び部品Pcを順に組み立てて(要素作業:調整)、組み立てられた完成品Peを収納場所Reに収納する(要素作業:収納)。
このような作業を行う作業者Aの動作が、画像センサ20a、20b、20cにより撮影され、その撮影された動画が要素作業分割装置10に取得される。要素作業分割装置10は、取得した動画の中から対象動作を検出し、検出した対象動作の発生時間及び部品の識別情報を含む対象動作情報を生成する。続いて、要素作業分割装置10は、要素作業の開始動作及び終了動作を要素作業ごとに定義した要素作業情報、及び対象動作情報に基づいて、部品ごとに、要素作業それぞれの開始時間及び終了時間を対応付けたデータを生成し、出力する。
このように、本実施形態に係る要素作業分割装置10によれば、部品単位かつ要素作業単位という客観的に把握し易い単位で作業者の動作(作業状態)を分割することができる。
§2 構成例
[機能構成]
次に、図3を参照して、本実施形態に係る要素作業分割システム100の機能構成について、その一例を説明する。要素作業分割システム100は、三台の画像センサ20a、20b、20cと、要素作業分割装置10とを備える。以下において、三台の画像センサ20a、20b、20cを特に区別して記載する必要がない場合には、画像センサ20と記載する。要素作業分割装置10は、機能的な構成として、例えば、取得部11、検出部12、生成部13、出力部14及び記憶部19を有する。記憶部19は、例えば、動画19a、対象動作情報19b、要素作業情報19c及び部品単位要素作業データ19dを記憶する。各機能構成の詳細について、以下に順に記載する。
<画像センサ>
画像センサ20は、例えば、汎用のカメラであり、作業者Aが作業領域Rで動作を行っている場面を含む動画を撮影する。画像センサ20は、機能的な構成として、例えば、検知部を有する。検知部は、作業者Aの動作を検知し、その動作を示す動画を時系列情報として出力する。
各画像センサ20a、20b、20cは、作業領域Rの全域及び作業者Aを撮影できるように配置される。例えば、各画像センサ20a、20b、20cのそれぞれが、作業領域Rの全域及び作業者Aを撮影できるように配置されてもよいし、各画像センサ20a、20b、20cのそれぞれが、作業領域R及び作業者Aの一部分を撮影し、それぞれの動画を合わせることで作業領域Rの全域及び作業者Aをカバーできるように配置されてもよい。また、各画像センサ20a、20b、20cが、それぞれ異なる倍率で作業領域R及び作業者Aを撮影することとしてもよい。画像センサ20は、三台備える必要はなく、少なくとも一台以上備えることとすればよい。
<取得部>
取得部11は、作業者Aが行った動作に関する時系列情報(本実施形態では動画)を画像センサ20から取得する。取得部11が取得した時系列情報は、記憶部19に伝送され、動画19aとして記憶される。
<検出部>
検出部12は、動画19aの中から、作業者Aの手が存在する画像上の位置を認識し、対象動作を検出する。対象動作は、動画19aから認識した動作が、部品を接触又は分離する動作に該当すると判定できるように予め定める。対象動作として、例えば、手が部品に接触する、部品が部品から分離する、部品が部品に接触する、完成品が収納場所に接触する、及び手が完成品から分離する等の各動作を設定することができる。対象動作は、作業内容に応じて適宜設定することができ、設定した対象動作の内容を動作情報として記憶部19に記憶させておくことが好ましい。
例えば、検出部12は、作業者Aの手が存在する動画19aの画像上の位置を認識し、作業者Aの手が部品に接触する動作に該当すると判定した場合に、その動作を、対象動作として検出する。
<生成部>
生成部13は、検出部12により検出された対象動作を示す動作情報を、対象動作の発生時間及び部品ID(部品の識別情報)に対応付けて対象動作情報19bを生成する。図4を参照し、対象動作情報19bについて説明する。
対象動作情報19bは、データ項目として、例えば、発生時間項目、動作情報項目、部品ID項目を有する。発生時間項目は、対象動作が発生した時間を格納する。発生時間として、例えば、一連の作業が開始された時間からの経過時間を用いることができる。動作情報項目は、上述した対象動作の内容を格納する。部品ID項目は、部品を特定する識別情報を格納する。例えば、図2に示す部品Paの部品IDを“1”とし、部品Pbの部品IDを“2”とし、部品Pcの部品IDを“3”とし、完成品Peの部品IDを“4”とすることができる。
図4に例示する対象動作情報19bは、以下(1)~(10)の動作によって生成されたものとなる。(1)“00:00:00”に手が部品Paに接触する。(2)“00:00:01”に手が部品Pbに接触する。(3)“00:00:02”に部品Paが部品箱Raの部品Pa群から分離する。(4)“00:00:04”に部品Pbが部品箱Rbの部品Pb群から分離する。(5)“00:00:06”に部品Pbが部品Paに接触する。(6)“00:01:08”に手が部品Pcに接触する。(7)“00:01:09”に部品Pcが部品箱Rcの部品Pc群から分離する。(8)“00:01:10”に部品cが部品(部品Pa+部品Pb)に接触する。(9)“00:02:05”に完成品Peが収納場所Reに接触する。(10)“00:02:10”に手が完成品Peから分離する。
<出力部>
図3の説明に戻る。出力部14は、対象動作情報19b及び要素作業情報19cに基づいて、部品単位要素作業データ19dを出力する。出力された部品単位要素作業データ19dは、記憶部19に記憶される。要素作業情報19c及び部品単位要素作業データ19dについて、以下に順に説明する。
図5を参照して、要素作業情報19cについて説明する。要素作業情報19cは、データ項目として、例えば、要素作業項目、開始動作項目、終了動作項目を有する。要素作業項目は、一連の作業に含まれる要素作業のいずれかを格納する。開始動作項目は、要素作業を開始する動作を格納する。終了動作項目は、要素作業を終了する動作を格納する。
例示的に、要素作業が“把持”である場合、“手が部品に接触”する動作が開始動作となり、“部品が部品から分離”する動作が終了動作となる。要素作業が“運搬”である場合、“部品が部品から分離”する動作が開始動作となり、“部品が部品に接触”する動作が終了動作となる。要素作業が“調整”である場合、“部品が部品に接触”する動作が開始動作となり、“(次の)部品が部品に接触”する動作が終了動作となる。要素作業が“収納”である場合、“完成品が収納場所に接触”する動作が開始動作となり、“手が完成品から分離”する動作が終了動作となる。
図6を参照して部品単位要素作業データ19dについて説明する。部品単位要素作業データ19dは、部品IDごとに、要素作業それぞれの開始時間及び終了時間を当該要素作業に対応付けたデータである。部品単位要素作業データ19dは、データ項目として、例えば、作業者ID項目、作業NO項目、作業名項目、製品NO項目、部品ID項目、要素作業項目、開始時間項目、終了時間項目を有する。
作業者ID項目は、作業者Aを特定する識別情報を格納する。作業NO項目は、作業を特定する識別情報を格納する。作業名項目は、作業の名称を格納する。製品NO項目は、製品を特定する識別情報を格納する。部品ID項目は、部品を特定する識別情報を格納する。要素作業項目は、一連の作業に含まれる要素作業のいずれかを格納する。開始時間項目は、要素作業を開始した時間を格納する。終了時間項目は、要素作業を終了した時間を格納する。開始時間及び終了時間として、例えば、一連の作業が開始された時間からの経過時間を用いることができる。
図6に示す部品単位要素作業データ19dは、部品IDが“1”である部品Paに対して“把持”及び“運搬”の各要素作業が行われたことを例示し、部品IDが“2”である部品Pbに対して“把持”、“運搬”及び“調整”の各要素作業が行われたことを例示し、部品IDが“3”である部品Pcに対して“把持”、“運搬”及び“調整”の各作業が行われたことを例示し、部品IDが“4”である完成品Peに対して“把持”、“運搬”及び“調整”の各作業が行われたことを例示する。
図6に例示する9件の部品単位要素作業データ19dは、図4に例示する対象動作情報19b及び図5に例示する要素作業情報19cに基づいて、以下のように生成される。
(1件目)図6に示す部品IDが“1”かつ要素作業が“把持”のデータは、図4に示す発生時間が“00:00:00”かつ部品IDが“1”であるときの“手が部品に接触”する動作が、図5に示す“把持”の開始動作に該当すると判定され、さらに、図4に示す発生時間が“00:00:02”かつ部品IDが“1”であるときの“部品が部品から分離”する動作が、図5に示す“把持”の終了動作に該当すると判定されたことで、生成されたものである。
(2件目)図6に示す部品IDが“2”かつ要素作業が“把持”のデータは、図4に示す発生時間が“00:00:01”かつ部品IDが“2”であるときの“手が部品に接触”する動作が、図5に示す“把持”の開始動作に該当すると判定され、さらに、図4に示す発生時間が“00:00:04”かつ部品IDが“2”であるときの“部品が部品から分離”する動作が、図5に示す“把持”の終了動作に該当すると判定されたことで、生成されたものである。
(3件目)図6に示す部品IDが“1”かつ要素作業が“運搬”のデータは、図4に示す発生時間が“00:00:02”かつ部品IDが“1”であるときの“部品が部品から分離”する動作が、図5に示す“運搬”の開始動作に該当すると判定され、さらに、図4に示す発生時間が“00:00:06”かつ部品IDが“2”であるときの“部品が部品に接触”する動作が、図5に示す“運搬”の終了動作に該当すると判定されたことで、生成されたものである。
(4件目)図6に示す部品IDが“2”かつ要素作業が“運搬”のデータは、図4に示す発生時間が“00:00:04”かつ部品IDが“2”であるときの“部品が部品から分離”する動作が、図5に示す“運搬”の開始動作に該当すると判定され、さらに、図4に示す発生時間が“00:00:06”かつ部品IDが“2”であるときの“部品が部品に接触”する動作が、図5に示す“運搬”の終了動作に該当すると判定されたことで、生成されたものである。
(5件目)図6に示す部品IDが“2”かつ要素作業が“調整”のデータは、図4に示す発生時間が“00:00:06”かつ部品IDが“2”であるときの“部品が部品に接触”する動作が、図5に示す“調整”の開始動作に該当すると判定され、さらに、図4に示す発生時間が“00:01:10”かつ部品IDが“3”であるときの“部品が部品に接触”する動作が、図5に示す“調整”の終了動作に該当すると判定されたことで、生成されたものである。
(6件目)図6に示す部品IDが“3”かつ要素作業が“把持”のデータは、図4に示す発生時間が“00:01:08”かつ部品IDが“3”であるときの“手が部品に接触”する動作が、図5に示す“把持”の開始動作に該当すると判定され、さらに、図4に示す発生時間が“00:01:09”かつ部品IDが“3”であるときの“部品が部品から分離”する動作が、図5に示す“把持”の終了動作に該当すると判定されたことで、生成されたものである。
(7件目)図6に示す部品IDが“3”かつ要素作業が“運搬”のデータは、図4に示す発生時間が“00:01:09”かつ部品IDが“3”であるときの“部品が部品から分離”する動作が、図5に示す“運搬”の開始動作に該当すると判定され、さらに、図4に示す発生時間が“00:01:10”かつ部品IDが“3”であるときの“部品が部品に接触”する動作が、図5に示す“運搬”の終了動作に該当すると判定されたことで、生成されたものである。
(8件目)図6に示す部品IDが“3”かつ要素作業が“調整”のデータは、図4に示す発生時間が“00:01:10”かつ部品IDが“3”であるときの“部品が部品に接触”する動作が、図5に示す“調整”の開始動作に該当すると判定され、さらに、図4に示す発生時間が“00:02:05”かつ部品IDが“4”であるときの“完成品が収納場所に接触”する動作が、図5に示す“調整”の終了動作に該当すると判定されたことで、生成されたものである。
(9件目)図6に示す部品IDが“4”かつ要素作業が“収納”のデータは、図4に示す発生時間が“00:02:05”かつ部品IDが“4”であるときの“完成品が収納場所に接触”する動作が、図5に示す“収納”の開始動作に該当すると判定され、さらに、図4に示す発生時間が“00:02:10”かつ部品IDが“4”であるときの“手が完成品から分離”する動作が、図5に示す“収納”の終了動作に該当すると判定されたことで、生成されたものである。
[ハードウェア構成]
次に、図7を参照して、本実施形態に係る要素作業分割装置10のハードウェア構成について、その一例を説明する。要素作業分割装置10は、演算装置に相当するCPU(Central Processing Unit)10aと、記憶部19に相当するRAM(Random Access Memory)10bと、記憶部19に相当するROM(Read only Memory)10cと、通信装置10dと、入力装置10eと、表示装置10fとを有する。これらの各構成は、バスを介して相互にデータを送受信できるように接続される。なお、本実施形態では要素作業分割装置10が一台のコンピュータで構成される場合について説明するが、要素作業分割装置10は、複数のコンピュータを用いて実現されてもよい。
CPU10aは、RAM10b又はROM10cに記憶されたプログラムを実行し、データの演算や加工を行う制御部として機能する。CPU10aは、入力装置10eや通信装置10dから種々の入力データを受信し、その入力データを演算した結果を表示装置10fに表示したり、RAM10bやROM10cに格納したりする。本実施形態におけるCPU10aは、対象動作情報19b及び要素作業情報19cに基づいて、動画19aに含まれる作業者Aの動作を、部品単位に要素作業に分割するプログラム(要素作業分割プログラム)を実行する。
RAM10bは、例えば半導体記憶素子で構成され、書き換え可能なデータを記憶する。ROM10cは、例えば半導体記憶素子で構成され、読み出し可能かつ書き換え不可能なデータを記憶する。
通信装置10dは、要素作業分割装置10を外部機器に接続するインターフェースである。通信装置10dは、例えば、画像センサ20とLAN(Local Area Network)やインターネット等の通信ネットワークにより接続され、画像センサ20から動画を受信する。
入力装置10eは、ユーザからデータの入力を受け付けるインターフェースであり、例えば、キーボード、マウス及びタッチパネルを含むことができる。
表示装置10fは、CPU10aによる演算結果等を視覚的に表示するインターフェースであり、例えば、LCD(Liquid Crystal Display)により構成することができる。
要素作業分割プログラムは、RAM10bやROM10c等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信装置10dにより接続される通信ネットワークを介して提供されてもよい。要素作業分割装置10は、CPU10aが動作認識プログラムを実行することで、図3に示す取得部11、検出部12、生成部13及び出力部14の動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、要素作業分割装置10は、CPU10aとRAM10bやROM10cとが一体化したLSI(Large-Scale Integration)を備えることとしてもよい。
§3 動作例
図8は、本実施形態に係る要素作業分割装置10で実行される要素作業分割処理の一例を示すフローチャートである。
最初に、要素作業分割装置10の取得部11は、作業者Aの動作に関する時系列情報である動画を画像センサ20から取得する(ステップS101)。この取得した動画は、動画19aとして記憶部19に記憶される。
続いて、要素作業分割装置10の検出部12は、動画19aに基づいて、作業者Aの手が存在する画像上の位置を認識し、対象動作を検出する(ステップS102)。
続いて、要素作業分割装置10の生成部13は、上記ステップS102で検出された対象動作を示す動作情報を、対象動作の発生時間及び部品IDに対応付けて、対象動作情報を生成する(ステップS103)。この生成した対象動作情報は、対象動作情報19bとして記憶部19に記憶される。
続いて、要素作業分割装置10の出力部14は、対象動作情報19b及び要素作業情報19cに基づいて、部品単位要素作業データ19dを出力する(ステップS104)。
続いて、要素作業分割装置10の制御部は、同一製品の作業が終了したか否かを判定し(ステップS105)、この判定がNOである場合(ステップS105;NO)には、処理を前述するステップS101に移行する。
上記ステップS105の判定で同一製品の作業が終了したと判定された場合(ステップS105;YES)には、要素作業分割処理を終了する。
前述したように、本実施形態に係る要素作業分割装置10によれば、作業者Aの動作に関する動画19aを取得し、その動画19aの中から、部品を接触又は分離する対象動作を検出し、検出した対象動作と、その発生時間及び部品IDとを対応付けた対象動作情報19bを生成するとともに、要素作業それぞれの開始動作及び終了動作を定めた要素作業情報19c及び対象動作情報19bに基づいて、動画19aを、部品単位かつ要素作業単位に分割するための部品単位要素作業データ19dを出力することができる。
§4 変形例
なお、本発明は、前述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。
例えば、前述した実施形態では、時系列情報が動画である場合について説明したが、時系列情報は動画に限定されない。具体的に、時系列情報は、画像センサ20の替わりに備えるモーションキャプチャによって測定される作業者Aの動作を示す座標値に関する情報であったり、画像センサ20の替わりに、加速度センサやジャイロセンサを作業者Aに装着させることによって測定される作業者Aの動作を示す情報であったりしてもよい。また、時系列情報は、画像センサ20の替わりに作業領域Rに配置した圧力センサによって測定される圧力値の変化状態を示す情報であったり、画像センサ20の替わりに作業領域Rに配置した光電センサによって検知されるイベントの変化を示す情報であったりしてもよい。さらに、時系列情報は、上記の各情報を個別に用いることに限定されず、上記の各情報を二つ以上組合わせることとしてもよい。
以下において、実施形態における画像センサ20に替えて圧力センサを配置する第1変形例、及び実施形態における画像センサ20に替えて光電センサを配置する第2変形例について、順に説明する。
[第1変形例]
図9を参照して、第1変形例に係る要素作業分割システム100について説明する。第1変形例に係る要素作業分割システム100は、ある作業領域(作業台)Rで行われる作業者Aの動作(作業)により変化する圧力を、圧力センサ30a、30b、30c、30d、30e(以下、「圧力センサ30」ともいう。)で測定し、その測定した圧力値の変化状態を示す情報を、時系列情報として要素作業分割装置10に伝送する。
圧力センサ30は、各部品箱Ra、Rb、Rc、作業スペースRd及び完成品収納場所Reの下にそれぞれ配置されることが好ましい。また、各圧力センサ30と、各部品箱Ra、Rb、Rc、作業スペースRd及び完成品収納場所Reとの対応関係を記憶部19に記憶させることが好ましい。これにより、いずれかの圧力センサ30で圧力値が変化した場合に、その圧力センサ30に対応付けられた作業台上の位置を特定することができる。
第1変形例に係る要素作業分割装置10の検出部12は、取得部11により取得された圧力値の変化状態を示す情報に基づいて対象動作を検出する。対象動作は、部品を接触又は分離する動作に該当すると判定されるように予め定めることができる。例えば、手が部品に接触する、部品が部品から分離する、部品が部品に接触する、完成品が収納場所に接触する、及び手が完成品から分離する等の各動作に該当すると判定されるように予め定める。具体的に、圧力センサ30aの圧力値が所定値以上増加した場合には、手が部品Paに接触したと判定することができ、圧力センサ30aの圧力値が所定値以上減少した場合には、部品Paが部品Pa群から分離したと判定することができる。
第1変形例に係る要素作業分割装置10の生成部13は、検出部12により検出された対象動作の発生時間及び部品IDを含む対象動作情報19bを生成する。第1変形例に係る要素作業分割装置10の出力部14は、要素作業情報19c及び対象動作情報19bに基づいて、部品単位要素作業データ19dを生成し、出力する。
図10を参照して、第1変形例に係る要素作業分割装置10で実行される要素作業分割処理について説明する。この要素作業分割処理のうち、ステップS103以降は、前述した実施形態に係る要素作業分割装置10で実行される要素作業分割処理のステップS103以降と処理内容が同じであるため、ステップS103以降の各処理については、それらの説明を省略する。以下においては、前述した実施形態とは異なるステップS101a及びステップS102aの処理について説明する。
最初に、要素作業分割装置10の取得部11は、圧力値の変化状態を示す情報を圧力センサ30から取得する(ステップS101a)。
続いて、要素作業分割装置10の検出部12は、上記ステップS101aで取得された圧力値の変化状態を示す情報に基づいて、対象動作を検出する(ステップS102a)。具体的に、検出部12は、作業台上に配置された複数の圧力センサ30のうち、圧力値が変化した圧力センサ30に対応する作業台上の位置及びその圧力値の変化状態に基づいて、対象動作を検出する。
このように、第1変形例に係る要素作業分割装置10によれば、作業者Aの動作に関する圧力値の変化状態を示す情報を取得し、その圧力値の変化状態を示す情報の中から、部品を接触又は分離する動作に該当すると判定されるように予め定めた対象動作を検出し、検出した対象動作と、その発生時間及び部品IDとを対応付けた対象動作情報19bを生成するとともに、要素作業それぞれの開始動作及び終了動作を定めた要素作業情報19c及び対象動作情報19bに基づいて、圧力値の変化状態を示す情報を、部品単位かつ要素作業単位に分割するための部品単位要素作業データ19dを出力することができる。
[第2変形例]
図11を参照して、第2変形例に係る要素作業分割システム100について説明する。第2変形例に係る要素作業分割システム100は、ある作業領域(作業台)Rで行われる作業者Aの動作(作業)により変化するイベント(出力信号)の状態を、光電センサ40a、40b、40c、40d、40e、40f、40g、40h、40i、40j、40k、40l(以下、「光電センサ40」ともいう。)で検知し、その検知したイベントの変化を示す情報を、時系列情報として要素作業分割装置10に伝送する。
ここで、光電センサ40が検知するイベントとして、例えば、作業者Aの手が対象領域に入ること(IN状態)や、作業者Aの手が対象領域から出ること(OUT状態)を設定することができる。このときの対象領域は、例えば、各部品箱Ra、Rb、Rc、作業スペースRd及び完成品収納場所Reのそれぞれにより形成される領域となる。
光電センサ40は、対象領域ごとに、IN状態又はOUT状態のいずれであるのかを検知できる位置に配置されることが好ましい。また、各光電センサ40と、各部品箱Ra、Rb、Rc、作業スペースRd及び完成品収納場所Reとの対応関係を記憶部19に記憶させることが好ましい。これにより、いずれかの光電センサ40でイベントの変化が検知された場合に、その光電センサ40に対応付けられた作業台上の位置を特定することができる。
第2変形例に係る要素作業分割装置10の検出部12は、取得部11により取得されたイベントの変化を示す情報に基づいて対象動作を検出する。対象動作は、部品を接触又は分離する動作に該当すると判定されるように予め定めることができる。例えば、手が部品に接触する、部品が部品から分離する、部品が部品に接触する、完成品が収納場所に接触する、及び手が完成品から分離する等の各動作に該当すると判定されるように予め定める。具体的に、光電センサ40a及び光電センサ40bによるイベントがIN状態に変化した場合には、手が部品Paに接触したと判定することができ、光電センサ40a及び光電センサ40bによるイベントがOUT状態に変化した場合には、部品Paが部品Pa群から分離したと判定することができる。
第2変形例に係る要素作業分割装置10の生成部13は、検出部12により検出された対象動作の発生時間及び部品IDを含む対象動作情報19bを生成する。第2変形例に係る要素作業分割装置10の出力部14は、要素作業情報19c及び対象動作情報19bに基づいて、部品単位要素作業データ19dを生成し、出力する。
図12を参照して、第2変形例に係る要素作業分割装置10で実行される要素作業分割処理について説明する。この要素作業分割処理のうち、ステップS103以降は、前述した実施形態に係る要素作業分割装置10で実行される要素作業分割処理のステップS103以降と処理内容が同じであるため、ステップS103以降の各処理については、それらの説明を省略する。以下においては、前述した実施形態とは異なるステップS101b及びステップS102bの処理について説明する。
最初に、要素作業分割装置10の取得部11は、イベントの変化を示す情報を光電センサ40から取得する(ステップS101b)。
続いて、要素作業分割装置10の検出部12は、上記ステップS101bで取得されたイベントの変化を示す情報に基づいて、対象動作を検出する(ステップS102b)。具体的に、検出部12は、作業台上に配置された複数の光電センサ40のうち、イベントが変化した光電センサ40に対応する作業台上の位置に基づいて、対象動作を検出する。
このように、第2変形例に係る要素作業分割装置10によれば、作業者Aの動作に関するイベントの変化を示す情報を取得し、そのイベントの変化を示す情報の中から、部品を接触又は分離する動作に該当すると判定されるように予め定めた対象動作を検出し、検出した対象動作と、その発生時間及び部品IDとを対応付けた対象動作情報19bを生成するとともに、要素作業それぞれの開始動作及び終了動作を定めた要素作業情報19c及び対象動作情報19bに基づいて、イベントの変化を示す情報を、部品単位かつ要素作業単位に分割するための部品単位要素作業データ19dを出力することができる。
なお、前述した実施形態及び各変形例では、要素作業として、例示的に、把持、運搬、調整及び収納する各作業を用いて説明したが、要素作業は、これに限定されない。要素作業に該当する作業は、作業者が行う作業の内容に基づいて適宜定めることができる。例えば、各部品箱Ra、Rb、Rcに収容されている部品を「視認」する作業を、要素作業に含めることとしてもよい。
「視認」する作業に該当するかどうかを判定する際に、視線検出センサにより検出される作業者Aの視線の動きを示す情報を、時系列情報として用いることができる。視線検出センサとして、例えば、眼鏡型のウェアラブル視線検出センサを用いることが好ましい。
また、本発明の実施形態は、以下の付記のようにも記載され得る。ただし、本発明の実施形態は、以下の付記に記載した形態に限定されない。また、本発明の実施形態は、付記間の記載を置換したり、組み合わせたりした形態であってもよい。
[付記1]
作業者の動作に関する時系列情報を取得する取得部(11)と、
前記時系列情報の中から、部品を接触又は分離する動作に該当すると判定されるように予め定めた対象動作を検出する検出部(12)と、
前記検出された前記対象動作を示す動作情報を、前記対象動作の発生時間及び前記部品の識別情報に対応付けて対象動作情報を生成する生成部(13)と、
一連の作業に含まれる複数の要素作業それぞれを開始する動作を示す開始動作情報及び前記要素作業それぞれを終了する動作を示す終了動作情報を、それぞれの前記要素作業に対応付けることで生成された要素作業情報を記憶する記憶部(19)と、
前記対象動作情報及び前記要素作業情報に基づいて、前記部品の識別情報ごとに、前記要素作業それぞれの開始時間及び終了時間を当該要素作業に対応付けたデータを出力する出力部(14)と、
を備える要素作業分割装置(10)。
[付記2]
前記時系列情報は、画像センサ(20)、圧力センサ(30)、光電センサ(40)及び視線検出センサのうち少なくとも何れかにより出力される時系列の情報である、
付記1記載の要素作業分割装置(10)。
[付記3]
前記時系列情報が、画像センサ(20)により出力される場合に、
前記検出部(12)は、作業者の手が存在する画像上の位置に基づいて、前記対象動作を検出する、
付記2記載の要素作業分割装置(10)。
[付記4]
前記時系列情報が、圧力センサ(30)により検出される場合に、
前記検出部(12)は、作業台上に配置される複数の圧力センサ(30)のうち、圧力値が変化した圧力センサ(30)に対応する作業台上の位置及び圧力値の変化状態に基づいて、前記対象動作を検出する、
付記2記載の要素作業分割装置(10)。
[付記5]
前記時系列情報が、光電センサ(40)により検出される場合に、
前記検出部(12)は、作業台上に設置される複数の光電センサ(40)のうち、出力信号が変化した光電センサ(40)に対応する作業台上の位置に基づいて、前記対象動作を検出する、
付記2記載の要素作業分割装置(10)。
[付記6]
作業者の動作に関する時系列情報を取得することと、
前記時系列情報の中から、部品を接触又は分離する動作に該当すると判定されるように予め定めた対象動作を検出することと、
前記検出された前記対象動作を示す動作情報を、前記対象動作の発生時間及び前記部品の識別情報に対応付けて対象動作情報を生成することと、
一連の作業に含まれる複数の要素作業それぞれを開始する動作を示す開始動作情報及び前記要素作業それぞれを終了する動作を示す終了動作情報を、それぞれの前記要素作業に対応付けることで生成された要素作業情報を記憶することと、
前記対象動作情報及び前記要素作業情報に基づいて、前記部品の識別情報ごとに、前記要素作業それぞれの開始時間及び終了時間を当該要素作業に対応付けたデータを出力することと、
を含む要素作業分割方法。
[付記7]
コンピュータを、
作業者の動作に関する時系列情報を取得する取得部(11)、
前記時系列情報の中から、部品を接触又は分離する動作に該当すると判定されるように予め定めた対象動作を検出する検出部(12)、
前記検出された前記対象動作を示す動作情報を、前記対象動作の発生時間及び前記部品の識別情報に対応付けて対象動作情報を生成する生成部(13)、
一連の作業に含まれる複数の要素作業それぞれを開始する動作を示す開始動作情報及び前記要素作業それぞれを終了する動作を示す終了動作情報を、それぞれの前記要素作業に対応付けることで生成された要素作業情報を記憶する記憶部(19)、
前記対象動作情報及び前記要素作業情報に基づいて、前記部品の識別情報ごとに、前記要素作業それぞれの開始時間及び終了時間を当該要素作業に対応付けたデータを出力する出力部(14)、
として機能させる要素作業分割プログラム。
[付記8]
一つ以上のセンサと要素作業分割装置(10)とを備える要素作業分割システム(100)であって、
前記センサは、
作業者の動作を検知して当該動作に関する時系列情報を出力する検知部を、備え、
前記要素作業分割装置(10)は、
前記時系列情報を取得する取得部(11)と、
前記時系列情報の中から、部品を接触又は分離する動作に該当すると判定されるように予め定めた対象動作を検出する検出部(12)と、
前記検出された前記対象動作を示す動作情報を、前記対象動作の発生時間及び前記部品の識別情報に対応付けて対象動作情報を生成する生成部(13)と、
一連の作業に含まれる複数の要素作業それぞれを開始する動作を示す開始動作情報及び前記要素作業それぞれを終了する動作を示す終了動作情報を、それぞれの前記要素作業に対応付けることで生成された要素作業情報を記憶する記憶部(19)と、
前記対象動作情報及び前記要素作業情報に基づいて、前記部品の識別情報ごとに、前記要素作業それぞれの開始時間及び終了時間を当該要素作業に対応付けたデータを出力する出力部(14)と、を備える、
要素作業分割システム(100)。
10…要素作業分割装置、10a…CPU、10b…RAM、10c…ROM、10d…通信装置、10e…入力装置、10f…表示装置、11…取得部、12…検出部、13…生成部、14…出力部、19…記憶部、19a…動画、19b…対象動作情報、19c…要素作業情報、19d…部品単位要素作業データ、20a,20b,20c…画像センサ、30a、30b、30c、30d、30e…圧力センサ、40a、40b、40c、40d、40e、40f、40g、40h、40i、40j、40k、40l…光電センサ、100…要素作業分割システム、A…作業者、R…作業領域、Ra,Rb,Rc…部品箱、Rd…作業スペース、Re…完成品収納場所

Claims (8)

  1. 作業者の動作に関する時系列情報を取得する取得部と、
    前記時系列情報の中から、部品を接触又は分離する動作に該当すると判定されるように予め定めた対象動作を検出する検出部と、
    前記検出された前記対象動作を示す動作情報を、前記対象動作の発生時間及び前記部品の識別情報に対応付けて対象動作情報を生成する生成部と、
    一連の作業に含まれる複数の要素作業それぞれを開始する動作を示す開始動作情報及び前記要素作業それぞれを終了する動作を示す終了動作情報を、それぞれの前記要素作業に対応付けることで生成された要素作業情報を記憶する記憶部と、
    前記対象動作情報及び前記要素作業情報に基づいて、前記部品の識別情報ごとに、前記要素作業それぞれの開始時間及び終了時間を当該要素作業に対応付けたデータを出力する出力部と、
    を備える要素作業分割装置。
  2. 前記時系列情報は、画像センサ、圧力センサ、光電センサ及び視線検出センサのうち少なくとも何れかにより出力される時系列の情報である、
    請求項1記載の要素作業分割装置。
  3. 前記時系列情報が、画像センサにより出力される場合に、
    前記検出部は、作業者の手が存在する画像上の位置に基づいて、前記対象動作を検出する、
    請求項2記載の要素作業分割装置。
  4. 前記時系列情報が、圧力センサにより検出される場合に、
    前記検出部は、作業台上に配置される複数の圧力センサのうち、圧力値が変化した圧力センサに対応する作業台上の位置及び圧力値の変化状態に基づいて、前記対象動作を検出する、
    請求項2記載の要素作業分割装置。
  5. 前記時系列情報が、光電センサにより検出される場合に、
    前記検出部は、作業台上に設置される複数の光電センサのうち、出力信号が変化した光電センサに対応する作業台上の位置に基づいて、前記対象動作を検出する、
    請求項2記載の要素作業分割装置。
  6. 作業者の動作に関する時系列情報を取得することと、
    前記時系列情報の中から、部品を接触又は分離する動作に該当すると判定されるように予め定めた対象動作を検出することと、
    前記検出された前記対象動作を示す動作情報を、前記対象動作の発生時間及び前記部品の識別情報に対応付けて対象動作情報を生成することと、
    一連の作業に含まれる複数の要素作業それぞれを開始する動作を示す開始動作情報及び前記要素作業それぞれを終了する動作を示す終了動作情報を、それぞれの前記要素作業に対応付けることで生成された要素作業情報を記憶することと、
    前記対象動作情報及び前記要素作業情報に基づいて、前記部品の識別情報ごとに、前記要素作業それぞれの開始時間及び終了時間を当該要素作業に対応付けたデータを出力することと、
    を含む要素作業分割方法。
  7. コンピュータを、
    作業者の動作に関する時系列情報を取得する取得部、
    前記時系列情報の中から、部品を接触又は分離する動作に該当すると判定されるように予め定めた対象動作を検出する検出部、
    前記検出された前記対象動作を示す動作情報を、前記対象動作の発生時間及び前記部品の識別情報に対応付けて対象動作情報を生成する生成部、
    一連の作業に含まれる複数の要素作業それぞれを開始する動作を示す開始動作情報及び前記要素作業それぞれを終了する動作を示す終了動作情報を、それぞれの前記要素作業に対応付けることで生成された要素作業情報を記憶する記憶部、
    前記対象動作情報及び前記要素作業情報に基づいて、前記部品の識別情報ごとに、前記要素作業それぞれの開始時間及び終了時間を当該要素作業に対応付けたデータを出力する出力部、
    として機能させる要素作業分割プログラム。
  8. 一つ以上のセンサと要素作業分割装置とを備える要素作業分割システムであって、
    前記センサは、
    作業者の動作を検知して当該動作に関する時系列情報を出力する検知部を、備え、
    前記要素作業分割装置は、
    前記時系列情報を取得する取得部と、
    前記時系列情報の中から、部品を接触又は分離する動作に該当すると判定されるように予め定めた対象動作を検出する検出部と、
    前記検出された前記対象動作を示す動作情報を、前記対象動作の発生時間及び前記部品の識別情報に対応付けて対象動作情報を生成する生成部と、
    一連の作業に含まれる複数の要素作業それぞれを開始する動作を示す開始動作情報及び前記要素作業それぞれを終了する動作を示す終了動作情報を、それぞれの前記要素作業に対応付けることで生成された要素作業情報を記憶する記憶部と、
    前記対象動作情報及び前記要素作業情報に基づいて、前記部品の識別情報ごとに、前記要素作業それぞれの開始時間及び終了時間を当該要素作業に対応付けたデータを出力する出力部と、を備える、
    要素作業分割システム。
JP2019200826A 2019-11-05 2019-11-05 要素作業分割装置、要素作業分割方法、要素作業分割プログラム及び要素作業分割システム Active JP7362037B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019200826A JP7362037B2 (ja) 2019-11-05 2019-11-05 要素作業分割装置、要素作業分割方法、要素作業分割プログラム及び要素作業分割システム
US17/068,822 US20210133442A1 (en) 2019-11-05 2020-10-12 Element operation division device, element operation division method, storage medium, and element operation division system
CN202011089408.2A CN112784668A (zh) 2019-11-05 2020-10-13 要素作业分割装置、方法、***以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019200826A JP7362037B2 (ja) 2019-11-05 2019-11-05 要素作業分割装置、要素作業分割方法、要素作業分割プログラム及び要素作業分割システム

Publications (2)

Publication Number Publication Date
JP2021076920A JP2021076920A (ja) 2021-05-20
JP7362037B2 true JP7362037B2 (ja) 2023-10-17

Family

ID=75686306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019200826A Active JP7362037B2 (ja) 2019-11-05 2019-11-05 要素作業分割装置、要素作業分割方法、要素作業分割プログラム及び要素作業分割システム

Country Status (3)

Country Link
US (1) US20210133442A1 (ja)
JP (1) JP7362037B2 (ja)
CN (1) CN112784668A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023140047A (ja) * 2022-03-22 2023-10-04 パナソニックIpマネジメント株式会社 作業分析装置および作業分析方法
JP2023140036A (ja) * 2022-03-22 2023-10-04 パナソニックIpマネジメント株式会社 作業分析装置および作業分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341739A (ja) 2003-05-14 2004-12-02 Sogo Kikaku:Kk 作業情報提供装置
JP2008213980A (ja) 2007-02-28 2008-09-18 Sunx Ltd ピッキングセンサ及びピッキングシステム
WO2017159562A1 (ja) 2016-03-14 2017-09-21 オムロン株式会社 動作情報生成装置
WO2017175707A1 (ja) 2016-04-06 2017-10-12 日本電気株式会社 物体種類特定装置、物体種類特定方法及び記録媒体
JP2018032396A (ja) 2016-08-18 2018-03-01 i Smart Technologies株式会社 稼働状態取得装置、製造ラインの生産管理システムおよび生産管理方法
JP2018109882A (ja) 2017-01-05 2018-07-12 株式会社東芝 動作解析装置、動作解析方法およびプログラム
JP2019159885A (ja) 2018-03-14 2019-09-19 オムロン株式会社 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734464B2 (en) * 2007-09-11 2017-08-15 International Business Machines Corporation Automatically generating labor standards from video data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341739A (ja) 2003-05-14 2004-12-02 Sogo Kikaku:Kk 作業情報提供装置
JP2008213980A (ja) 2007-02-28 2008-09-18 Sunx Ltd ピッキングセンサ及びピッキングシステム
WO2017159562A1 (ja) 2016-03-14 2017-09-21 オムロン株式会社 動作情報生成装置
WO2017175707A1 (ja) 2016-04-06 2017-10-12 日本電気株式会社 物体種類特定装置、物体種類特定方法及び記録媒体
JP2018032396A (ja) 2016-08-18 2018-03-01 i Smart Technologies株式会社 稼働状態取得装置、製造ラインの生産管理システムおよび生産管理方法
JP2018109882A (ja) 2017-01-05 2018-07-12 株式会社東芝 動作解析装置、動作解析方法およびプログラム
JP2019159885A (ja) 2018-03-14 2019-09-19 オムロン株式会社 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム

Also Published As

Publication number Publication date
US20210133442A1 (en) 2021-05-06
JP2021076920A (ja) 2021-05-20
CN112784668A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
JP7362037B2 (ja) 要素作業分割装置、要素作業分割方法、要素作業分割プログラム及び要素作業分割システム
Büttner et al. Exploring design opportunities for intelligent worker assistance: a new approach using projetion-based AR and a novel hand-tracking algorithm
JP6783713B2 (ja) 人行動推定システム
JP2022103189A (ja) 作業現場監視装置、作業現場監視システム、作業現場監視方法およびプログラム
CN111402287A (zh) 用于活动序列的标准化评估的***和方法
CN107408354B (zh) 动作评估装置、动作评估方法和计算机可读存储介质
JP2019153920A5 (ja)
JP2019159885A (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
WO2022168468A1 (ja) 周期動作検知装置、周期動作検知方法及び周期動作検知プログラム
WO2020152879A1 (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
JP2002351971A5 (ja)
JP6628283B2 (ja) オペレータ監視装置
CN112861596A (zh) 动作识别装置、动作识别方法、存储介质及动作识别***
JP7385825B2 (ja) 動作分析装置、動作分析方法及び動作分析プログラム
CN113850114A (zh) 动作识别装置、动作识别方法以及存储介质
WO2022153597A1 (ja) 作業レベル変換装置、作業レベル変換方法及び作業レベル変換プログラム
CN113850113A (zh) 动作识别***、方法及存储介质
CN110764609B (zh) 用于数据同步的方法和装置以及计算设备
WO2020194386A1 (ja) 情報処理装置、判定出力方法、及び判定出力プログラム
JP2021092868A (ja) 作業工程判別装置及び作業工程判別システム
WO2022059117A1 (ja) 映像処理装置、撮像装置、及び、映像処理方法
WO2022209638A1 (ja) 作業指示システム
WO2024075225A1 (ja) 制御装置、産業機械のシステム、実行履歴データ表示方法、及びプログラム
EP4354388A1 (en) Task analysis device and method
Atmaca et al. Advancing Workplace Safety: A Proactive Approach with Convolutional Neural Network for Hand Pose Estimation in Press Machine Operations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230917

R150 Certificate of patent or registration of utility model

Ref document number: 7362037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150