JP2022075518A - 生産ライン監視方法および生産ライン監視システム - Google Patents

生産ライン監視方法および生産ライン監視システム Download PDF

Info

Publication number
JP2022075518A
JP2022075518A JP2021161311A JP2021161311A JP2022075518A JP 2022075518 A JP2022075518 A JP 2022075518A JP 2021161311 A JP2021161311 A JP 2021161311A JP 2021161311 A JP2021161311 A JP 2021161311A JP 2022075518 A JP2022075518 A JP 2022075518A
Authority
JP
Japan
Prior art keywords
training
recognition model
image recognition
production line
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021161311A
Other languages
English (en)
Other versions
JP7302769B2 (ja
Inventor
キン ルン ラウ，
Kin Lun Law
チ ハン ウォン，
Chi Hang Wong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Powerarena Holdings Ltd
Original Assignee
Powerarena Holdings Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Powerarena Holdings Ltd filed Critical Powerarena Holdings Ltd
Publication of JP2022075518A publication Critical patent/JP2022075518A/ja
Application granted granted Critical
Publication of JP7302769B2 publication Critical patent/JP7302769B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】生産ライン監視方法及び生産ラインの監視システムを提供する。【解決手段】監視システムは、作業者の複数の画像を取得し、画像認識モデルに基づいて複数の画像における作業者の動きタイプを決定し、動きタイプの発生時刻および動き期間を決定し、動きタイプの発生時刻および動き期間を記録する。【選択図】図１Ａ

Description

優先権主張および相互参照
[0001]本出願は、２０２０年１１月５日に出願された中国特許出願第２０２０１１２２１１８５．０号明細書の優先権を主張し、その全体が参照により本出願に組み込まれる。
[0002]本発明は、生産ライン監視方法および生産ラインの監視システムに関し、より具体的には、機械学習技術に基づく生産ライン監視方法および生産ラインの監視システムに関する。
背景の議論
[0003]従来の工業製品の製造プロセスでは、様々な装置の部品を組み立てることは依然として手動の支援を必要とする。より具体的には、多数の部品を単一の装置に設ける必要があり、装置上で異なる部品を組み立てることは、通常、工場生産ラインの様々なステーションで作業員によって完了される。
[0004]しかしながら、作業エラーまたは各種の理由による遅延は、生産ラインの出力ボトルネックとなることが多い。したがって、生産ラインが、その後の効率を改善するために生産ラインの出力ボトルネックをもたらす理由を記録して確認するための監視装置が必要である。
[0005]それにもかかわらず、ほとんどの従来の監視装置は、単に画像記録機能を提供するだけである。生産ラインにある事態が発生した場合、生産ラインの記録された画像を検索し、検索結果に従って手動の手段によってエラーまたは遅延の要因を決定することがさらに一般的に必要とされる。
概要
[0006]本発明のいくつかの実施形態によれば、監視システムのための生産ライン監視方法が実現される。本方法は、作業者の複数の画像を取得することと、画像認識モデルに基づいて、複数の画像における作業者の動きタイプを決定することと、動きタイプの発生時刻および動き期間を決定することと、動きタイプ、発生時刻、および動き期間を記録することとを含む。
[0007]本発明のいくつかの実施形態によれば、監視システムのための生産ライン監視方法が実現される。本方法は、映像を取得することであって、映像が複数の映像クリップを含む、取得することと、画像認識モデルに基づいて、映像クリップの各々の動きタイプを決定することと、複数の映像クリップのうちの第１の映像クリップの動きタイプを変更するためのユーザ設定を受信することと、第１の映像クリップの動きタイプに従って画像認識モデルを調整することとを含む。
[0008]本発明のいくつかの実施形態によれば、生産ラインを監視するための監視システムが実現される。監視システムは、プロセッサと、記憶部とを含む。記憶部は、プログラムおよび画像認識モデルを記憶する。プログラムは、実行されると、プロセッサに、作業者の複数の画像を取得させ、画像認識モデルに基づいて、複数の画像における作業者の動きタイプを決定させ、動きタイプの発生時刻および動き期間を決定させ、動きタイプ、発生時刻および動き期間を記録させる。
[0009]本発明の特徴および技術的利点は、実質的に、本発明の以下の実装形態をよりよく理解するために、前述の説明に要約されている。以下の開示では、本発明の他の特徴および利点を説明し、これらの特徴および利点は、本発明の特許請求の範囲の主題を形成する。当業者は、開示する概念および特定の実施形態が、本発明の同じ目的の他の構造またはプロセスを実装するための基礎として修正または設計に容易に使用され得ることを理解すべきである。当業者はさらに、そのような同等の構造が添付の特許請求の範囲で説明する本発明の精神および範囲から逸脱しないことを認識すべきである。
[0010]本発明の様々な態様は、添付の図面を伴う詳細な説明を検討することにより、以下の詳細な説明に従ってよりよく理解することができる。特徴は、業界の標準的な慣行に従って縮尺通りに描かれていないことに留意されたい。実際、説明を分かりやすくするために、様々な特徴のサイズは、必要に応じて増減し得る。
[0011]本発明は、添付の図面と組み合わせることにより、詳細な説明および特許請求の範囲を参照して、より完全に理解することができる。図面を通して、同様の参照符号は同様の要素を指す。
[0012]図１Ａは、本発明のいくつかの実施形態による監視システムのブロック図である。
[0013]図１Ｂは、本発明のいくつかの実施形態による監視システムの使用の概略図である。
[0014]図２Ａは、本発明のいくつかの実施形態による監視システムのブロック図である。
[0015]図２Ｂは、本発明のいくつかの実施形態による監視システムの使用の概略図である。
[0016]図２Ｃ－２Ｆは、本発明のいくつかの実施形態による撮像装置によって取り込まれた画像の概略図である。 [0016]図２Ｃ－２Ｆは、本発明のいくつかの実施形態による撮像装置によって取り込まれた画像の概略図である。 [0016]図２Ｃ－２Ｆは、本発明のいくつかの実施形態による撮像装置によって取り込まれた画像の概略図である。 [0016]図２Ｃ－２Ｆは、本発明のいくつかの実施形態による撮像装置によって取り込まれた画像の概略図である。
[0017]図３Ａは、本発明のいくつかの実施形態による監視システムのブロック図である。
[0018]図３Ｂは、本発明のいくつかの実施形態による監視システムの使用の概略図である。
[0019]図３Ｃ－３Ｆは、本発明のいくつかの実施形態による撮像装置によって取り込まれた画像の概略図である。 [0019]図３Ｃ－３Ｆは、本発明のいくつかの実施形態による撮像装置によって取り込まれた画像の概略図である。 [0019]図３Ｃ－３Ｆは、本発明のいくつかの実施形態による撮像装置によって取り込まれた画像の概略図である。 [0019]図３Ｃ－３Ｆは、本発明のいくつかの実施形態による撮像装置によって取り込まれた画像の概略図である。
[0020]図４Ａ及び４Ｂは、本発明のいくつかの実施形態による生産ライン監視方法のフローチャートである。 [0020]図４Ａ及び４Ｂは、本発明のいくつかの実施形態による生産ライン監視方法のフローチャートである。
[0021]図５Ａ－５Ｇは、本発明のいくつかの実施形態による生産ライン監視方法のフローチャートである。 [0021]図５Ａ－５Ｇは、本発明のいくつかの実施形態による生産ライン監視方法のフローチャートである。 [0021]図５Ａ－５Ｇは、本発明のいくつかの実施形態による生産ライン監視方法のフローチャートである。 [0021]図５Ａ－５Ｇは、本発明のいくつかの実施形態による生産ライン監視方法のフローチャートである。 [0021]図５Ａ－５Ｇは、本発明のいくつかの実施形態による生産ライン監視方法のフローチャートである。 [0021]図５Ａ－５Ｇは、本発明のいくつかの実施形態による生産ライン監視方法のフローチャートである。 [0021]図５Ａ－５Ｇは、本発明のいくつかの実施形態による生産ライン監視方法のフローチャートである。
詳細な説明
[0022]本明細書では、添付の図面に示す本発明の実施形態または実施例を説明するために特定の用語が使用され、これらの用語は本発明の範囲を限定するものとして解釈されるべきではないことが理解されるべきである。本発明に関連する当業者にとって、説明する実施形態に対して行われた任意の変更または修正、および本開示で説明する原理の任意のさらなる適用が行われることは通常のことであると考えられる。参照符号は、実施形態全体で繰り返し得るが、これらの実施形態が同じ参照符号を共有する場合であっても、１つの実施形態の１つ以上の特徴が別の実施形態に適用可能であることを意味するものではない。
[0023]本明細書では、第１、第２、および第３などの用語を使用して様々な要素、構成要素、領域、層、または部品を説明しているが、これらの要素、構成要素、領域、層および部品は、このような用語によって限定されないことが理解されるべきである。逆に、これらの用語は単に、１つの、要素、構成要素、領域、層、または部品を、別の、要素、構成要素、領域、層、または部品と区別するために使用される。したがって、本発明の概念の教示から逸脱することなく、本明細書の以下で説明する第１の、要素、構成要素、領域、層、または部品は、第２の、要素、構成要素、領域、層、または部品とも呼び得る。
[0024]本明細書で使用する用語は、単に特定の例示的な実施形態を説明するためのものであり、本発明の概念に対して限定するものとして解釈されるべきではない。本明細書で使用する場合、文脈で特に明示的に指定されない限り、単数形「ａ／ａｎ」および「ｔｈｅ」は複数形も含むことを意図している。本明細書で使用する「備える／備えている（ｃｏｍｐｒｉｓｅ／ｃｏｍｐｒｉｓｉｎｇ）」という用語は、説明する特徴、整数、ステップ、動作、要素、または構成要素の存在を指し示すが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、またはそれらの任意の組み合わせが存在すること、またはそれらを追加することを排除するものではないことがさらに理解されるべきである。
[0025]生産ラインにおける手動作業エラーまたは他の要因によって引き起こされる遅延は、しばしば生産ラインの出力ボトルネックをもたらす。しかしながら、生産ラインの従来の監視装置は、画像を記録するだけであるので、画像を介して検索し、エラーまたは遅延をもたらす要因を識別することは、依然として手動手段によって実行する必要があり、このようなエラー検出方法は、非効率で応用の柔軟性が低く、生産ラインの出力ボトルネックを効果的に改善することができない。そのため、生産ラインにおけるエラーまたは遅延の要因をより迅速かつ正確に特定し、生産ラインの出力効率をさらに向上するためには、新規な監視方法および監視システムが必要である。
[0026]図１Ａは、本発明のいくつかの実施形態による監視システム１のブロック図である。監視システム１は、プロセッサ１１と、記憶部１３とを含む。記憶部１３は、プログラム１３０および画像認識モデル１３２を記憶する。画像認識モデル１３２は、機械学習技術に関連付けられたモデルを含んでもよい。さらに、画像認識モデル１３２は、機械学習アルゴリズムに従って訓練データ（トレーニングデータ、trainingdata）の複数の組を使用して生成された機械学習モデルであってもよい。
[0027]より具体的には、いくつかの実施形態では、画像データに対応するいくつかの画像データおよび動きタイプを、画像認識モデル１３２を機械学習アルゴリズムに基づいて訓練するための（すなわち、画像認識モデル１３２を生成するための）訓練データとして使用してもよい。したがって、画像認識モデル１３２を使用して、画像データを受信し、画像における作業者の動きタイプを出力してもよい。例えば、画像認識モデル１３２は、作業者の画像シーケンスを受信した後、作業者が現在「拾い上げ」または「置くこと」という動きを実行していると決定し、動きタイプを「拾い上げ」または「置くこと」として出力する。
[0028]プロセッサ１１と記憶部１３とは、通信バス１７により電気的に接続されている。プロセッサ１１は、通信バス１７を介して、記憶部１３に記憶されたプログラム１３０を実行してもよい。ソフトウェア割り込みなどの１つ以上の割り込みを生成して、プログラム１３０が実行されると、生産ライン監視機能を有するプログラム１３０をプロセッサ１１に実行させ得る。以下、プログラム１３０の機能についてさらに説明する。
[0029]図１Ｂは、本発明のいくつかの実施形態による監視システム１の使用の概略図である。具体的には、生産ライン機械９２の動作を監視して分析する必要がある場合、生産ライン機械９２に関連付けられた画像を取り込むために、撮像装置９１を、生産ライン機械９２が位置する環境に設置してもよい。監視システム１は、ネットワーク接続（有線ネットワークまたは無線ネットワーク）によって撮像装置９１と接続されてもよい。
[0030]いくつかの実施形態では、作業者９３が生産ライン機械９２上で作業すると、撮像装置９１は、生産ライン機械９２の位置に対して作業者９３の複数の画像９１０を取り込み、複数の画像９１０をネットワークを介して監視システム１に送信してもよい。言い換えると、監視システム１は、撮像装置９１から作業者９３の複数の画像９１０を取得してもよい。
[0031]次に、監視システム１のプロセッサ１１は、生成され記憶部１３に記憶された画像認識モデル１３２を使用して、複数の画像９１０における作業者９３の動きタイプを決定してもよい。複数の画像９１０は、タイムスタンプに関連付けられた情報を保持し、その結果、プロセッサ１１が複数の画像９１０の取り込みタイミングを決定し、さらに、複数の画像９１０によって表される動きタイプの発生時刻および動き期間を決定してもよい。プロセッサ１１は、動きタイプ、発生時刻、および動き期間を、その後の使用のために記憶部１３に記録してもよい。
[0032]図２Ａは、本発明のいくつかの実施形態による監視システム２のブロック図である。監視システム２は、プロセッサ２１と、記憶部２３と、入力装置２５とを含む。記憶部２３は、プログラム２３０と、画像認識モデル２３２と、訓練データ２３４とを記憶する。画像認識モデル２３２は、機械学習技術に関連付けられたモデルを含んでもよく、映像データ（すなわち、画像シーケンスデータ）を受信し、映像における作業者の動きタイプを出力するために使用される。
[0033]プロセッサ２１、記憶部２３、および入力装置２５は、通信バス２７によって電気的に接続されている。プロセッサ２１は、通信バス２７を介して、記憶部２３に記憶されたプログラム２３０を実行してもよい。ソフトウェア割り込みなどの１つ以上の割り込みを生成して、プログラム２３０が実行されると、生産ライン監視機能を有するプログラム２３０をプロセッサ２１に実行させ得る。以下、プログラム２３０の機能についてさらに説明する。
[0034]いくつかの実施形態では、画像認識モデル２３２は、機械学習アルゴリズムに従って訓練データ２３４の複数の組を使用して生成された機械学習モデルであってもよい。具体的には、映像データに対応するいくつかの映像データおよび動きタイプを、画像認識モデル２３２を機械学習アルゴリズムに基づいて訓練するための（すなわち、画像認識モデル２３２を生成するための）訓練データとして使用してもよい。
[0035]より具体的には、訓練データ２３４の各組は、（１）映像データと、（２）映像データに対応する動きタイプとを含んでもよい。プログラム２３０が実行されると、プロセッサ２１は、記憶部２３から訓練データ２３４を取得し、機械学習アルゴリズムを使用して訓練データ２３４の複数の組に従って画像認識モデル２３２を訓練する。
[0036]言い換えると、訓練データ２３４の複数の組の映像データは、訓練フェーズ期間において訓練入力データとして機能してもよく、訓練データ２３４の複数の組の動きタイプは、訓練フェーズ期間において訓練出力データとして機能してもよい。プロセッサ２１が画像認識モデル２３２を生成すると、画像認識モデル２３２は、その後の使用のために記憶部２３に記憶してもよい。
[0037]いくつかの実施形態では、機械学習アルゴリズムは、訓練データ２３４に基づいて動きタイプを決定するための画像認識モデル２３２を構築するように、畳み込みニューラルネットワーク（ＣＮＮ）アルゴリズムであってもよいことに留意されたい。いくつかの例では、ＣＮＮアルゴリズムは、画像処理アルゴリズムおよび画像認識アルゴリズム、例えば、Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）アルゴリズムおよびＲｅｓＮｅｔ ３Ｄ（Ｒ３Ｄ）アルゴリズムを含み得る。しかしながら、これらのアルゴリズムは、本発明における機械学習アルゴリズムを限定することを意図するものではない。
[0038]いくつかの実施形態では、画像認識モデル２３２を訓練するためのＣＮＮアルゴリズムのプログラムコードには、画像認識モデル２３２を訓練するための訓練機能が存在する。画像認識モデル２３２の訓練期間中、訓練機能は、訓練データ２３４を受信するための部分を含んでもよい。
[0039]さらに、映像データは訓練入力データとして機能してもよく、映像データに対応する動きタイプは訓練出力データとして機能してもよい。次に、ＣＮＮアルゴリズムのプログラムコードの主機能を実行して画像認識モデル２３２を訓練した後に、訓練機能を実行してもよい。訓練データを使用して画像認識モデル２３２を、ＣＮＮアルゴリズムに基づいて生成すると、画像認識モデル２３２を使用して、入力映像に対応する動きタイプを決定してもよい。
[0040]図２Ｂは、本発明のいくつかの実施形態による監視システム２の使用の概略図である。具体的には、生産ライン機械８２の動作を監視して分析する必要がある場合、生産ライン機械８２に関連付けられた映像を取り込むために、撮像装置８１を、生産ライン機械８２が位置する環境に設置してもよい。監視システム２は、ネットワーク接続（有線ネットワークまたは無線ネットワーク）を介して撮像装置８１と接続されてもよい。
[0041]いくつかの実施形態では、作業者８３が生産ライン機械８２上で作業すると、撮像装置８１は、生産ライン機械８２の位置に対して作業者８３の映像８１０（例えば、映像ストリーム）をリアルタイムで取り込み、映像８１０をネットワークを介して監視システム２に送信してもよい。言い換えると、監視システム２は、ネットワークを介して撮像装置８１から作業者８３の映像８１０を取得してもよい。
[0042]いくつかの実施形態では、画像認識モデル２３２の変換精度を向上するために、現場で取り込まれた生産ライン機械８２の映像は、画像認識モデル２３２を調整するためのフィードバックデータとして機能してもよい。具体的には、映像８１０は、複数の映像クリップを含み、映像クリップの各々における作業者８３の動きタイプは、生成されて記憶部２３に記憶された画像認識モデル２３２を使用して、監視システム２のプロセッサ２１によって決定されてもよい。
[0043]プロセッサ２１が画像認識モデル２３２によって映像８１０の映像クリップの各々の作業者８３の動きタイプを決定すると、監視システム２は、映像クリップおよび対応する動きタイプをユーザに提供して、ユーザが画像認識モデル２３２の変換バイアスが存在するか否かを判定してもよい。いくつかの実施形態では、監視システム２は、ディスプレイ（不図示）およびグラフィックユーザインタフェース（ＧＵＩ）によって映像クリップおよび対応する動きタイプをユーザに提供してもよい。
[0044]次に、画像認識モデル２３２を利用した後に特定の映像クリップと対応する動きタイプとの間に変換エラーが発生したとユーザが判断すると、ユーザは、入力装置２５を介してユーザ設定を入力し、その入力によって特定の映像クリップの動きタイプを正しい動きタイプに変更してもよい。
[0045]その後、プロセッサ２１は、特定の映像クリップ、および補正された動きタイプを使用して訓練データ２３４を更新し、訓練データ２３４の更新された複数の組を再び使用して画像認識モデル２３２を生成してもよい。より具体的には、プロセッサ２１は、元の訓練データ２３４と、少なくとも１つの特定の映像クリップと、少なくとも特定の映像クリップに対応する少なくとも１つの動きタイプとを使用して、画像認識モデル２３２を機械学習アルゴリズムに基づいて生成してもよい。
[0046]したがって、再訓練のために画像認識モデル２３２が使用する訓練データは、生産ライン機械８２および作業者８３に関連付けられたデータ（すなわち、少なくとも１つの特定の映像クリップ、および少なくとも１つの特定の映像クリップに対応する少なくとも１つの動きタイプ）を含むので、更新された画像認識モデル２３２は、生産ライン機械８２の環境に適用されたときにより高い変換精度を有する。
[0047]現場で取り込まれた生産ライン機械８２の映像をフィードバックデータとして使用して画像認識モデル２３２を調整する技術は、以下の例を用いてより明確に理解することができる。例えば、映像８１０が、１０個の映像クリップＣ１～Ｃ１０を含み、監視システム２のプロセッサ２１が、生成して記憶部２３に記憶した画像認識モデル２３２によって、映像クリップＣ１～Ｃ１０の各々における作業者８３の動きタイプ（例えば、「拾い上げ」または「置くこと」という動き）を決定してもよい。
[0048]プロセッサ２１が画像認識モデル２３２によって映像クリップＣ１～Ｃ１０の動きタイプを決定すると、監視システム２は、ユーザが画像認識モデル２３２の変換バイアスが存在するか否かを判定するために、ディスプレイおよびＧＵＩを介して映像クリップＣ１～Ｃ１０およびそれぞれの対応する動きタイプをユーザに提供する。
[0049]この例では、映像クリップＣ１およびＣ８の動きタイプは、それぞれ、監視システム２によって「拾い上げ」および「置くこと」と決定される。しかしながら、ユーザは、映像クリップＣ１およびＣ８の動きタイプをそれぞれ「置くこと」および「拾い上げ」であるべきであると判断する。したがって、ユーザは、入力装置２５を介してユーザ設定を入力して、映像クリップＣ１およびＣ８の動きタイプをそれぞれ「置くこと」および「拾い上げ」に補正する。その後、プロセッサ２１は、映像クリップＣ１およびＣ８と補正された動きタイプとを用いて訓練データ２３４を更新し、訓練データ２３４の更新された複数の組を再び使用して画像認識モデル２３２を再生成する。
[0050]いくつかの実施形態では、画像認識モデル２３２が前述のステップによって更新された後、作業者８３が生産ライン機械８２上で動作し続けると、撮像装置８１は、生産ライン機械８２の位置に対して作業者８３の映像８１２を取り込み、映像８１２をネットワークを介して監視システム２に送信してもよい。言い換えると、監視システム２は、ネットワークを介して撮像装置８１から作業者８３の映像８１２を取得してもよい。映像８１２は、複数の映像クリップを含む。
[0051]次に、監視システム２のプロセッサ２１は、更新され記憶部２３に記憶された画像認識モデル２３２によって、映像８１２の映像クリップの各々の動きタイプを決定してもよい。各映像クリップはタイムスタンプに関連付けられた情報を保持するので、プロセッサ２１は、各映像クリップの取り込みタイミングを決定し、各映像クリップによって表される動きタイプの発生時刻および動き期間をさらに決定してもよい。プロセッサ２１は、その後の使用のために、動きタイプおよび動き期間を記憶部２３に記録してもよい。
[0052]いくつかの実施形態では、プロセッサ２１は、対応する動きタイプの動き期間が、記憶部２３に記憶された各映像クリップに関して期間閾値を超えるか否かを判定する。期間閾値を超える場合、動きタイプおよび対応する映像クリップがタグ付けされ、この映像クリップに対応する、動きタイプ、発生時刻、および発生期間がログファイルに記録される。したがって、ユーザは、ログファイルに従って映像８１２からタグ付けされた映像クリップを効率的に呼び出してもよく、さらに、映像クリップの動きタイプの動き期間が期間閾値を超える理由を理解して、遅延をもたらす要因を迅速に排除してもよい。
[0053]例えば、動き「拾い上げ」は３秒以内に完了すべきであることがデフォルトであるので、プロセッサ２１は、動き「拾い上げ」に対応するすべての映像クリップに関して、その動き期間が３秒の値を超えるか否かを判定する。３秒の値を超える場合、動きタイプおよび対応する映像クリップがタグ付けされ、この映像クリップに対応する、動きタイプ、発生時刻、および発生期間がログファイルに記録される。したがって、ユーザは、ログファイルに従って映像８１２からタグ付けされた映像クリップを効率的に呼び出し得、さらに、映像クリップにおける動きタイプの動き期間が３秒を超える理由を理解して、遅延をもたらす要因を迅速に排除し得る。
[0054]いくつかの実施形態では、プロセッサ２１は、記憶部２３にすべて記憶された２つの連続する映像クリップに関して、２つの対応する動きタイプの発生時刻同士の間の時間差が時間閾値を超えるか否かを判定してもよい。時間閾値を超える場合、２つの動きタイプおよび２つの対応する映像クリップがタグ付けされ、２つの映像クリップに対応する動きタイプ、発生時刻、および発生期間がログファイルに記録される。したがって、ユーザは、ログファイルに従って映像８１２から２つのタグ付けされた映像クリップを効率的に呼び出してもよく、さらに、２つの対応する動きタイプの発生時刻同士の間の時間差が時間閾値を超える理由を理解して、遅延をもたらす要因を迅速に排除してもよい。
[0055]例えば、連続して行われる動き「拾い上げ」と動き「置くこと」との間の関連付けられた構成要素構成の作業は１０秒以内に完了されるべきであることがデフォルトであるので、プロセッサ２１は、連続して行われる動き「拾い上げ」および動き「置くこと」の２つの映像クリップに関して、それらの間の時間差が１０秒を超えるか否かを判定する。１０秒を超える場合、２つの動きタイプおよび２つの対応する映像クリップがタグ付けされ、２つの映像クリップに対応する動きタイプ、発生時刻、および発生期間がログファイルに記録される。したがって、ユーザは、ログファイルに従って映像８１２から２つのタグ付けされた映像クリップを効率的に呼び出し得、さらに、２つの対応する動きタイプの発生時刻同士の間の時間差が１０秒を超える理由を理解して、遅延をもたらす要因を迅速に排除し得る。
[0056]図２Ｃは、本発明のいくつかの実施形態による撮像装置８１によって取り込まれた画像の概略図である。いくつかの実施形態では、撮像装置８１によって取り込まれた画像または映像の範囲はより大きいので、プロセッサ２１が画像認識モデル２３２によって画像または映像を処理するとき、より多くのハードウェアリソースおよび時間が消費される。
[0057]しかしながら、撮像装置８１で取り込まれた画像または映像の全範囲を監視する必要はないので、取り込まれた画像または映像に対して、監視する範囲がより狭い領域を画定してもよい。そして、プロセッサ２１は、画像認識モデル２３２によって、より狭い範囲の領域に対して画像または映像を処理することで、処理速度を大幅に高速化する。
[0058]図２Ｄは、本発明のいくつかの実施形態による撮像装置８１によって取り込まれた画像の別の概略図である。具体的には、ユーザは、入力装置２５を介してユーザ設定を入力し、撮像装置８１が取り込んだ画像の範囲において監視領域８０Ａを画定してもよい。プロセッサ２１は、監視領域８０Ａ内の画像または映像だけを画像認識モデル２３２で処理すればよい。したがって、監視領域８０Ａ内の画像または映像のサイズがより小さいので、監視システム２の処理速度が大幅に加速されてもよい。
[0059]いくつかの実施形態では、生産ライン機械８２の現場環境に変化が発生する（例えば、撮像装置８１の角度を調整すること、作業者の展開を変更すること、作業者の位置を変更したりすることなど）と、本来意図する監視領域が監視領域８０Ａから逸脱し、画像認識モデル２３２の変換エラーが増加する可能性がある。このとき、ユーザは、生産ライン機械８２の現場環境の変化によるオフセットを低減するように、監視領域８０Ａの位置を直接調整してもよい。
[0060]図２Ｅは、本発明のいくつかの実施形態による撮像装置８１によって取り込まれた画像の別の概略図である。具体的には、生産ライン機械８２の現場環境に変化が生じることに起因して、監視領域８０Ａ内の画像または映像は、監視の必要なコンテンツではなく、画像認識モデル２３２の変換エラーが増加する可能性がある。
[0061]図２Ｆは、本発明のいくつかの実施形態による撮像装置８１によって取り込まれた画像の別の概略図である。具体的には、ユーザは、入力装置２５を介して別のユーザ設定を入力し、撮像装置８１によって取り込まれた画像の範囲で監視領域８０Ａを移動させて、監視が必要な領域を正常に戻してもよい。
[0062]いくつかの実施形態では、撮像装置８１によって取り込まれた画像は、最初に監視システム２に送信されてもよい。そして、監視システム２は、共通のディスプレイ（不図示）により画像を表示し、監視システム２に対するキーボードまたはマウスなどの入力装置２５を介してユーザ設定を受信し、関連付けられた動作を完了させてもよい。
[0063]いくつかの実施形態では、撮像装置８１によって取り込まれた画像は、最初に監視システム２に送信されてもよい。そして、監視システム２は、画像をネットワークによってリモート端部（例えば、ハンドヘルドスマートデバイスまたはノートパソコン）のディスプレイに送信し、監視システム２が、関連付けられた動作を完了するためのネットワークインタフェースなどの入力装置２５を介してユーザ設定を受信してもよい。
[0064]図３Ａは、本発明のいくつかの実施形態による監視システム３のブロック図である。監視システム３は、プロセッサ３１と、記憶部３３と、入力装置３５とを含む。記憶部３３は、プログラム３３０と、画像認識モデル３３２Ａと、画像認識モデル３３２Ｂと、訓練データ３３４Ａおよび３３４Ｂとを記憶する。画像認識モデル３３２Ａおよび３３２Ｂは、機械学習技術に関連付けられたモデルを含んでもよく、作業者の動きタイプまたは映像データ（すなわち、画像シーケンスデータ）の物体の数の変化を決定するために使用される。
[0065]プロセッサ３１、記憶部３３、および入力装置３５は、通信バス３７によって電気的に接続されている。プロセッサ３１は、通信バス３７を介して、記憶部３３に記憶されたプログラム３３０を実行してもよい。ソフトウェア割り込みなどの１つ以上の割り込みを生成して、プログラム３３０が実行されると、生産ライン監視機能を有するプログラム３３０をプロセッサ３１に実行させ得る。以下、プログラム３３０の機能についてさらに説明する。
[0066]いくつかの実施形態では、画像認識モデル３３２Ａは、機械学習アルゴリズムに従って訓練データ３３４Ａの複数の組を使用して生成された機械学習モデルであってもよい。具体的には、いくつかの映像データ、および映像データに対応する動きタイプは、画像認識モデル３３２Ａを機械学習アルゴリズムに基づいて訓練する（すなわち、画像認識モデル３３２Ａを生成する）ための訓練データとして機能してもよい。
[0067]より具体的には、訓練データ３３４Ａの各組は、（１）映像データ、および（２）映像データに対応する動きタイプを含んでもよい。プログラム３３０が実行されると、プロセッサ３１は、記憶部３３から訓練データ３３４Ａを取得し、訓練データ３３４Ａの複数の組に従って機械学習アルゴリズムを使用して画像認識モデル３３２Ａを訓練する。
[0068]言い換えると、訓練データ３３４Ａの複数の組の映像データを訓練フェーズ期間の訓練入力データとして使用してもよく、訓練データ３３４Ａの複数の組の動きタイプを訓練フェーズ期間の訓練出力データとして使用してもよい。プロセッサ３１が画像認識モデル３３２Ａを生成した後、画像認識モデル３３２Ａは、その後の使用のために記憶部３３に記憶されてもよい。
[0069]いくつかの実施形態では、訓練データ３３４Ａの複数の組において、訓練入力データとして機能する映像データは、作業者の動きの画像データを含み、映像データに対応する動きタイプは、訓練出力データとして機能してもよい。次に、ＣＮＮアルゴリズムのプログラムコードを実行して画像認識モデル３３２Ａを訓練してもよい。訓練データを使用して画像認識モデル３３２ＡをＣＮＮアルゴリズムに基づいて生成した後、画像認識モデル３３２Ａを使用して、入力映像に対応する動きタイプを決定してもよい。
[0070]いくつかの実施形態では、画像認識モデル３３２Ｂは、機械学習アルゴリズムに従って訓練データ３３４Ｂの複数の組を使用して生成された機械学習モデルであってもよい。具体的には、一部の映像データと、映像データに対応する物体の数の変化とが、画像認識モデル３３２Ｂを機械学習アルゴリズムに基づいて学習させる（すなわち、画像認識モデル３３２Ｂを生成する）ための訓練データとして機能してもよい。
[0071]より具体的には、訓練データ３３４Ｂの各組は、（１）映像データ、および（２）映像データに対応する物体の数の変化（例えば、増加または減少）を含んでもよい。プログラム３３０が実行されると、プロセッサ３１は、記憶部３３から訓練データ３３４Ｂを取得し、訓練データ３３４Ｂの複数の組に従って機械学習アルゴリズムを使用して画像認識モデル３３２Ｂを訓練させる。
[0072]言い換えると、訓練データ３３４Ｂの複数の組の映像データは、訓練フェーズ期間において訓練入力データとして機能してもよく、訓練データ３３４Ｂの複数の組の物体の数の変化は、訓練フェーズ期間において訓練出力データとして機能してもよい。プロセッサ３１が画像認識モデル３３２Ｂを生成した後、画像認識モデル３３２Ｂは、その後の使用のために記憶部３３に記憶されてもよい。
[0073]いくつかの実施形態では、訓練データ３３４Ｂの複数の組において、訓練入力データとして機能する映像データは、物体の数の変化の画像データを含み、映像データに対応する物体の数の変化は、訓練出力データとして機能してもよい。次に、ＣＮＮアルゴリズムのプログラムコードを実行して画像認識モデル３３２Ｂを訓練し得る。訓練データを使用して画像認識モデル３３２ＢをＣＮＮアルゴリズムに基づいて生成した後、画像認識モデル３３２Ｂを使用して、入力映像に対応する物体の数の変化を決定してもよい。
[0074]より具体的には、映像データは、特定の物体（例えば、製品の部品）の数の変化を記録し、特定の物体の数の変化は、異なる動きまたは挙動を表してもよい。例えば、映像データの特定の物体の数の変化が減少である場合、作業者の動きが特定の物体を「拾い上げ」ている確率が高いことを意味する。映像データの特定の物体の数の変化が増加である場合、作業者の動きが特定の物体を「置くこと」である確率が高いことを意味する。したがって、画像データの特定の物体の数の変化を使用して、動きタイプの決定結果の精度を向上してもよい。
[0075]図３Ｂは、本発明のいくつかの実施形態による監視システム３の使用の概略図である。具体的には、生産ライン機械７２の動作を監視して分析する必要がある場合、生産ライン機械７２に関連付けられた映像を取り込むために、撮像装置７１を、生産ライン機械７２が位置する環境に設置してもよい。監視システム３は、ネットワーク接続（有線ネットワークまたは無線ネットワーク）によって撮像装置７１と接続されてもよい。
[0076]いくつかの実施形態では、作業者７３が生産ライン機械７２上で作業すると、撮像装置７１は、生産ライン機械７２の位置に対して作業者７３の映像７１０（例えば、映像ストリーム）をリアルタイムで取り込み、映像７１０をネットワークを介して監視システム３に送信してもよい。言い換えると、監視システム３は、ネットワークを介して撮像装置７１から作業者７３の映像７１０を取得してもよい。映像７１０は、複数の映像クリップを含む。
[0077]次に、ユーザは、入力装置３５を介してユーザ設定を入力して、撮像装置７１が取り込んだ画像の範囲に監視領域７０Ａおよび７０Ｂを画定し、プロセッサ３１は、監視領域７０Ａおよび７０Ｂ内の画像または映像を画像認識モデル３３２Ａおよび３３２Ｂで処理すればよい。
[0078]そして、監視システム３のプロセッサ３１は、記憶部３３に記憶された画像認識モデル３３２Ａによって、映像７１０の映像クリップの各々における監視領域７０Ａおよび７０Ｂ内の動きタイプを決定してもよい。各映像クリップはタイムスタンプに関連付けられた情報を保持するので、プロセッサ３１は、各映像クリップの取り込みタイミングを決定し、各映像クリップにおける監視領域７０Ａおよび７０Ｂによって表される動きタイプの発生時刻および動き期間をさらに決定してもよい。プロセッサ３１は、その後の使用のために、動きタイプおよび動き期間を記憶部３３に記録してもよい。
[0079]いくつかの実施形態では、各映像クリップの監視領域７０Ａおよび７０Ｂに関して、監視システム３のプロセッサ３１は、画像認識モデル３３２Ｂによって物体の数の変化をさらに決定し、それに応じて作業者７３の動きタイプを更新してもよい。図３Ｃおよび図３Ｄは、本発明のいくつかの実施形態による撮像装置７１によって取り込まれた画像の概略図である。例えば、特定の映像クリップの監視領域７０Ａに関して、監視システム３のプロセッサ３１はまず、動きタイプが「拾い上げ」であると、画像認識モデル３３２Ａによって決定してもよい。
[0080]次に、監視システム３のプロセッサ３１は、特定の映像クリップの監視領域７０Ａに関して、映像クリップにおける物体７４の数が減少していることを画像認識モデル３３２Ｂによってさらに決定してもよい。したがって、監視領域７０Ａにおいて、特定の映像クリップの動きタイプは「拾い上げ」であり、物体７４の数の減少は、実際に「拾い上げ」によって引き起こされる。したがって、特定の動きタイプは、「拾い上げ」として正確に決定されてもよい。
[0081]なお、特定の映像クリップの監視領域７０Ａについては、監視システム３のプロセッサ３１は、動きタイプが「置くこと」であると、画像認識モデル３３２Ａによって決定することを留意されたい。しかしながら、画像認識モデル３３２Ｂが、映像クリップにおける物体７４の数が減少していると決定すると、画像認識モデル３３２Ａの決定が誤っている可能性があることを意味することを留意されたい。したがって、画像認識モデル３３２Ｂが、映像クリップにおける物体７４の数が減少していると決定したことに基づいて、監視システム３のプロセッサ３１は、特定の映像クリップに対応する動きタイプを「置くこと」から「拾い上げ」に更新してもよい。
[0082]図３Ｅおよび図３Ｆは、本発明のいくつかの実施形態による撮像装置７１によって取り込まれた画像の概略図である。例えば、特定の映像クリップの監視領域７０Ｂに関して、監視システム３のプロセッサ３１はまず、動きタイプが「置くこと」であると、画像認識モデル３３２Ａによって決定してもよい。
[0083]次に、監視システム３のプロセッサ３１は、特定の映像クリップの監視領域７０Ｂに関して、画像認識モデル３３２Ｂによって、映像クリップにおける物体７４の数が増加したとさらに判断してもよい。したがって、監視領域７０Ｂにおいて、特定の映像クリップの動きタイプは「置くこと」であり、物体７４の数の増加は実際には「置くこと」に起因する。したがって、特定の動きタイプは、「置くこと」として正確に決定されてもよい。
[0084]同様に、特定の映像クリップの監視領域７０Ｂに関して、監視システム３のプロセッサ３１は、動きタイプが「拾い上げ」であると、画像認識モデル３３２Ａによって決定する。しかしながら、画像認識モデル３３２Ｂが、映像クリップにおける物体７４の数が増加していると決定すると、画像認識モデル３３２Ａの決定が誤っている可能性があることを意味する。したがって、画像認識モデル３３２Ｂが映像クリップにおける物体７４の数が増加したと決定したことに基づいて、監視システム３のプロセッサ３１は、特定の映像クリップに対応する動きタイプを「拾い上げ」から「置くこと」に更新してもよい。
[0085]前述の実施形態では、プロセッサが画像認識モデルによって画像または映像データの動きタイプを決定するとき、作業者の手が最初に画像認識モデルによって識別され追跡されてもよく、その後、画像または映像における作業者の動きタイプが作業者の手の動きに従って決定されることに留意されたい。
[0086]本発明のいくつかの実施形態は、生産ライン監視方法を含み、そのフローチャートは図４Ａおよび図４Ｂに示す通りである。これらの実施形態の生産ライン監視方法は、監視システム（例えば、前述の実施形態の監視システム）によって実装される。方法の動作の詳細を以下に説明する。
[0087]まず、ステップＳ４０１を実行し、監視システムが作業者の複数の画像を取得する。監視システムは、生産ライン機械に配置された撮像装置によって作業者の複数の画像を取得してもよい。ステップＳ４０２を実行し、監視システムが、画像認識モデルに基づいて、複数の画像における作業者の動きタイプを決定する。画像認識モデルは、機械学習技術に関連付けられたモデルを含んでもよく、画像データを受信し、画像における作業者の動きタイプを出力するために使用される。
[0088]次に、複数の画像はタイムスタンプに関連付けられた情報を保持してもよいので、ステップＳ４０３を実行し、監視システムが、複数の画像における作業者の動きタイプに従って動きタイプの発生時刻および動き期間を決定する。ステップＳ４０４を実行し、監視システムが、動きタイプ、発生時刻、およびその後の使用のための動き期間を記録する。
[0089]いくつかの実施形態では、ステップＳ４０２の後に、決定精度を向上するために、ステップＳ４０２’を任意選択的に実行し、監視システムが、複数の画像における物体の数の変化に従って動きタイプを別の画像認識モデルに基づいて更新する。
[0090]本発明のいくつかの実施形態は、生産ライン監視方法を含み、そのフローチャートは図５Ａ～図５Ｆに示す通りである。これらの実施形態の生産ライン監視方法は、監視システム（例えば、前述の実施形態の監視システム）によって実装される。方法の動作の詳細を以下に説明する。
[0091]いくつかの実施形態では、画像データを受信し、画像における作業者の動きタイプを出力するために、生産ライン監視方法は、関連付けられた機械学習技術を含む画像認識モデルを提供する必要がある。したがって、画像認識モデルは、訓練データを使用して訓練され生成される必要がある。
[0092]図５Ａは、本発明のいくつかの実施形態による生産ライン監視方法において画像認識モデルを生成するフローチャートである。ステップＳ５０１を実行し、監視システムが、訓練データの複数の組を使用して画像認識モデルを機械学習アルゴリズムに基づいて生成する。訓練データの各組は、訓練入力および訓練出力を含む。訓練入力は訓練映像クリップを含み、訓練出力は訓練映像クリップに対応する訓練動きタイプを含む。ステップＳ５０２を実行し、監視システムが、その後の使用のために画像認識モデルを記憶する。
[0093]いくつかの実施形態では、画像認識モデルの精度を向上するために、現場で取り込まれた生産ライン機械の映像は、画像認識モデルを調整するためのフィードバックデータとして機能してもよい。図５Ｂは、本発明のいくつかの実施形態による生産ライン監視方法の画像認識モデルを更新するフローチャートである。ステップＳ５０３を実行し、監視システムが映像を取得する。監視システムは、生産ライン機械に配置された撮像装置によって作業者の映像を取り込んでもよく、映像は複数の映像クリップを含む。
[0094]ステップＳ５０４を実行し、監視システムが、生成された画像認識モデルに基づいて、各映像クリップにおける作業者の動きタイプを決定する。ステップＳ５０５を実行し、監視システムが、画像認識モデルの変換バイアスがあるか否かをユーザが判断するために、映像クリップおよび対応する動きタイプをユーザに提供する。
[0095]特定の映像クリップが対応する動きタイプと合致しないような画像認識モデルの変換バイアスがあるとユーザが判断すると、ユーザは、特定の映像クリップおよび対応する動きタイプを変更してもよい。ステップＳ５０６を実行し、監視システムが、映像クリップの動きタイプを変更するようにユーザ設定を受信する。
[0096]すべての映像クリップの決定が完了すると、ステップＳ５０７を実行し、監視システムが、特定の映像クリップおよび変更された動きタイプに従って画像認識モデルを調整する。具体的には、監視システムは、元の訓練データ、特定の映像クリップ、特定の映像クリップに対応する動きタイプ、および機械学習アルゴリズムに従って、画像認識モデルを生成する。
[0097]したがって、画像認識モデルによって再び実行される訓練は、生産ライン機械および作業者に関連付けられたデータ（すなわち、特定の映像クリップ、および特定の映像クリップに対応する動きタイプ）を含むので、更新された画像認識モデルは、生産ライン機械の決定に適用されたときにより高い精度を有する。
[0098]いくつかの実施形態では、生産ライン機械の状態は、更新された画像認識モデルに基づいて監視してもよい。図５Ｃは、本発明のいくつかの実施形態による生産ライン監視方法のフローチャートである。ステップＳ５０８を実行し、監視システムが、生産ライン機械の作業者の映像を取得する。映像は、複数の映像クリップを含む。ステップＳ５０９を実行し、監視システムが、画像認識モデルに基づいて各映像クリップにおける作業者の動きタイプを決定する。
[0099]次に、複数の映像クリップはタイムスタンプに関連付けられた情報を保持してもよいので、ステップＳ５１０を実行し、監視システムが、各映像クリップにおける作業者の動きタイプに従って動きタイプの発生時刻および動き期間を決定する。ステップＳ５１１を実行し、監視システムが、動きタイプ、発生時刻、およびその後の使用のための動き期間を記録する。
[0100]いくつかの実施形態では、監視システムは、映像の動きに遅延が発生したか否かを判定してもよい。図５Ｄは、本発明のいくつかの実施形態による生産ライン監視方法のフローチャートである。ステップＳ５１２を実行し、監視システムが、各映像クリップにおける作業者の動きタイプに関して、動き期間が期間閾値を超えているか否かを判定する。期間閾値を超える場合、ステップＳ５１３を実行し、監視システムが、動きタイプおよび対応する映像クリップにタグ付けし、ユーザがログファイルに従って映像からタグ付けされた映像クリップを効率的に呼び出すために、映像クリップに対応する、動きタイプ、発生時刻、および発生期間をログファイルに記録する。期間閾値を超えない場合、ステップＳ５１２を実行し、監視システムが、次の映像クリップにおける作業者の動きタイプの動き期間が期間閾値を超えるか否かを判定する。
[0101]いくつかの実施形態では、監視システムは、映像内の動きと別の動きとの間に遅延が発生したか否かを判定してもよい。図５Ｅは、本発明のいくつかの実施形態による生産ライン監視方法のフローチャートである。ステップＳ５１４を実行し、監視システムが、２つの映像クリップにおける動きタイプの発生時刻同士の間の時間差を計算する。ステップＳ５１５を実行し、監視システムが、時間差が時間閾値を超えるか否かを判定する。時間閾値を超える場合、ステップＳ５１６を実行し、監視システムが、動きタイプおよび２つの対応する映像クリップにタグ付けし、ユーザがログファイルに従って映像からタグ付けされた映像クリップを効率的に呼び出すために、２つの映像クリップに対応する、動きタイプ、発生時刻、および発生期間をログファイルに記録する。時間閾値を超えない場合、ステップＳ５１４を実行し、監視システムが、次の映像クリップのペアに対応する動きタイプの発生時刻同士の間の時間差を計算し、その動き期間が期間閾値を超えるか否かを判定する。
[0102]いくつかの実施形態では、画像処理の速度および効率を加速するために、以下のステップを任意選択的に追加してもよい。図５Ｆは、本発明のいくつかの実施形態による生産ライン監視方法のフローチャートである。ステップＳ５１７を実行し、監視システムが、撮影が必要な映像に監視領域を画定するためのユーザ設定を受信する。言い換えると、ユーザ設定は、撮像装置によって取り込まれた画像の範囲に監視領域を画定するためのものである。監視領域内の画像または映像のサイズがより小さいので、監視システムの処理速度を大幅に加速することができる。
[0103]いくつかの実施形態では、生産ライン機械の現場環境の変化によってもたらされるオフセットを低減するために、以下のステップを任意選択的に追加してもよい。図５Ｇは、本発明のいくつかの実施形態による生産ライン監視方法のフローチャートである。ステップＳ５１８を実行し、監視システムが、監視領域を移動させるためのユーザ設定を受信する。言い換えると、ユーザ設定は、撮像装置によって取り込まれた画像の範囲で監視領域を移動させるためのものである。
[0104]前述した本発明の監視システムおよび生産ライン監視方法によって、自動化および人工知能を用いて、生産ラインのエラーまたは遅延の要因をより迅速かつ正確に識別することができ、生産ラインの出力効率を向上させ、生産ラインの出力ボトルネックを効果的に改善することができる。
[0105]前述の実施形態で説明したプロセッサは、中央処理装置（ＣＰＵ）、関連する命令を実行することができる他のハードウェア回路構成要素、または前述の開示に基づいて当業者に一般的に知られている計算回路の組み合わせであり得ることが理解されるべきである。さらに、前述の実施形態で説明した記憶部は、データを記憶するための、メモリ（例えば、ＲＯＭおよびＲＡＭ）または記憶デバイス（例えば、フラッシュメモリ、ＨＤＤ、およびＳＤＤ）を含み得る。
[0106]さらに、前述の実施形態で説明した通信バスは、プロセッサ、記憶部、および入力装置などの要素同士の間でデータを送信するための通信インタフェースを含み得、電気バスインタフェース、光バスインタフェース、または無線バスインタフェースさえも含み得る。しかしながら、このような説明は、本発明のハードウェア実装シナリオの実施形態に対する限定として解釈されるべきではない。
[0107]以上、本発明および本発明の利点について詳細に説明したが、添付の特許請求の範囲によって規定される本発明の趣旨および範囲から逸脱することなく、本開示に対して様々な変更、差替、および置換を行い得ることが理解されるべきである。例えば、前述の多数のプロセスは、異なる方法によって実装し得、他のプロセスまたはそれらの組み合わせによって置き換え得る。
[0108]さらに、本出願の範囲は、本開示で説明するプロセス、機械、製造、物質組成物、構成要素、方法、およびステップの特定の実施形態を限定することを意図するものではない。当業者は、本発明の開示から、本発明によれば、現在存在するまたは後に開発される、プロセス、機械、製造、物質組成物、構成要素、方法、またはステップを使用して、本明細書で説明する対応する実施形態と略同じ機能を実行し得、または本明細書で説明する対応する実施形態と略同じ結果を達成し得ることを容易に理解することができる。したがって、添付の特許請求の範囲は、そのようなプロセス、機械、製造、物質組成物、構成要素、方法、またはステップを包含することを意図している。
１…監視システム、２…監視システム、３…監視システム、１１…プロセッサ、１３…記憶部、１７…通信バス、２１…プロセッサ、２３…記憶部、２５…入力装置、２７…通信バス、３１…プロセッサ、３３…記憶部、３５…入力装置、３７…通信バス、７０Ａ…監視領域、７０Ｂ…監視領域、７１…撮像装置、７２…生産ライン機械、７３…作業者、７４…物体、８０Ａ…監視領域、８１…撮像装置、８２…生産ライン機械、８３…作業者、９１…撮像装置、９２…生産ライン機械、９３…作業者、１３０…プログラム、１３２…画像認識モデル、２３０…プログラム、２３２…画像認識モデル、２３４…訓練データ、３３０…プログラム、３３２Ａ…画像認識モデル、３３２Ｂ…画像認識モデル、３３４Ａ…訓練データ、３３４Ｂ…訓練データ、７１０…映像、８１０…映像、８１２…映像、９１０…画像、Ｃ１…映像クリップ、Ｃ２…映像クリップ、Ｃ３…映像クリップ、Ｃ４…映像クリップ、Ｃ５…映像クリップ、Ｃ６…映像クリップ、Ｃ７…映像クリップ、Ｃ８…映像クリップ、Ｃ９…映像クリップ、Ｃ１０…映像クリップ

Claims (20)

  1. 監視システムのための生産ライン監視方法であって、
    作業者の複数の画像を取得するステップと、
    画像認識モデルに基づいて、前記複数の画像における前記作業者の動きタイプを決定することと、
    前記動きタイプの発生時刻および動き期間を決定するステップと、
    前記動きタイプ、前記発生時刻、および前記動き期間を記録するステップと
    を含む、生産ライン監視方法。
  2. 前記動き期間が期間閾値を超えるか否かを判定するステップと、
    前記動き期間が前記期間閾値を超える場合に前記動きタイプにタグ付けするステップと
    をさらに含む、請求項１に記載の生産ライン監視方法。
  3. 前記動きタイプの前記発生時刻と別の動きタイプの発生時刻との時間差を計算するステップと、
    前記時間差が時間閾値を超えるか否かを判定するステップと、
    前記時間差が前記時間閾値を超える場合に前記動きタイプおよび前記別の動きタイプにタグ付けするステップと
    をさらに含む、請求項１に記載の生産ライン監視方法。
  4. 前記複数の画像に監視領域を画定するためのユーザ設定を受信するステップ
    を含み、
    前記画像認識モデルに基づいて、前記複数の画像における前記作業者の前記動きタイプを決定する前記ステップが、
    前記画像認識モデルに基づいて、前記複数の画像における前記監視領域内の前記動きタイプを決定するステップ
    をさらに含む、
    請求項１に記載の生産ライン監視方法。
  5. 前記複数の画像に画定された前記監視領域を移動させるための別のユーザ設定を受信するステップ
    をさらに含む、請求項４に記載の生産ライン監視方法。
  6. 前記複数の画像が画像サイズを有し、前記監視領域が領域サイズを有し、前記領域サイズが前記画像サイズよりも小さい、請求項４に記載の生産ライン監視方法。
  7. 前記画像認識モデルに基づいて前記複数の画像における前記作業者の少なくとも１つの手を識別するステップと、前記作業者の前記少なくとも１つの手の前記動きタイプを決定するステップと
    をさらに含む、請求項１に記載の生産ライン監視方法。
  8. 訓練データの複数の組を使用して前記画像認識モデルを機械学習アルゴリズムに基づいて生成するステップであって、前記訓練データの各組が訓練入力および訓練出力を含み、前記訓練入力が前記複数の訓練画像を含み、前記訓練出力が前記複数の訓練画像に対応する訓練動きタイプを含む、生成するステップ
    をさらに含む、請求項１に記載の生産ライン監視方法。
  9. 前記複数の画像における物体の数の変化に応じて、前記複数の画像における前記作業者の前記動きタイプを、別の画像認識モデルに基づいて更新するステップ
    をさらに含む、請求項１に記載の生産ライン監視方法。
  10. 監視システムのための生産ライン監視方法であって、
    映像を取得するステップであって、前記映像が複数の映像クリップを含む、取得するステップと、
    画像認識モデルに基づいて映像クリップの各々の動きタイプを決定するステップと、
    前記複数の映像クリップのうちの第１の映像クリップの前記動きタイプを変更するためのユーザ設定を受信するステップと、
    前記第１の映像クリップの前記動きタイプに従って前記画像認識モデルを調整するステップと
    を含む、生産ライン監視方法。
  11. 訓練データの複数の組と機械学習アルゴリズムとを使用して前記画像認識モデルを生成するステップ
    をさらに含み、
    前記訓練データの各組が訓練入力および訓練出力を含み、前記訓練入力が訓練映像クリップを含み、前記訓練出力が前記訓練映像クリップに対応する訓練動きタイプを含む、
    請求項１０に記載の生産ライン監視方法。
  12. 前記第１の映像クリップの前記動きタイプに従って前記画像認識モデルを調整する前記ステップが、
    前記訓練データの前記複数の組、前記第１の映像クリップ、前記第１の映像クリップに対応する前記動きタイプ、および前記機械学習アルゴリズムを使用して前記画像認識モデルを生成するステップ
    をさらに含む、請求項１１に記載の生産ライン監視方法。
  13. 生産ラインを監視するための監視システムであって、
    プロセッサと、
    プログラムおよび画像認識モデルを記憶する記憶部と
    を備え、
    前記プログラムが、実行されると、前記プロセッサに、
    作業者の複数の画像を取得することと、
    前記画像認識モデルに基づいて、前記複数の画像における前記作業者の動きタイプを決定することと、
    前記動きタイプの発生時刻および動き期間を決定することと、
    前記動きタイプ、前記発生時刻、および前記動き期間を記録することと、
    を実行させる、監視システム。
  14. 前記プログラムが、実行されると、前記プロセッサにさらに、
    前記動き期間が期間閾値を超えるか否か決定することと、
    前記動き期間が前記期間閾値を超える場合に前記動きタイプにタグ付けすることと、
    を実行させる、請求項１３に記載の監視システム。
  15. 前記プログラムが、実行されると、前記プロセッサにさらに、
    前記動きタイプの前記発生時刻と別の動きタイプの発生時刻との時間差を計算することと、
    前記時間差が時間閾値を超えるか否かを判定することと、
    前記時間差が前記時間閾値を超える場合に、前記動きタイプおよび前記別の動きタイプにタグ付けすることと、
    を実行させる、請求項１３に記載の監視システム。
  16. ユーザ設定を受信するように構成された入力装置を備えており、
    前記プログラムが、実行されると、前記プロセッサにさらに、
    前記ユーザ設定に従って前記複数の画像において監視領域を画定することと、
    前記画像認識モデルに基づいて、前記複数の画像における前記監視領域内の前記動きタイプを決定することと、
    を実行させる、請求項１３に記載の監視システム。
  17. 前記入力装置が、別のユーザ設定を受信するようにさらに構成され、前記プログラムが、実行されると、前記プロセッサにさらに、
    前記別のユーザ設定に応じて、前記複数の画像において画定された前記監視領域を移動すること、
    を実行させる、請求項１６に記載の監視システム。
  18. 前記プログラムが、実行されると、前記プロセッサにさらに、
    訓練データの複数の組を使用することによって、前記画像認識モデルを機械学習アルゴリズムに基づいて生成することであり、前記訓練データの各組が訓練入力および訓練出力を含み、前記訓練入力が複数の訓練画像を含み、前記訓練出力が前記複数の訓練画像に対応する訓練動きタイプを含む、生成すること、
    を実行させる、請求項１３に記載の監視システム。
  19. ユーザ設定を受信するように構成された入力装置をさらに備え、
    前記プログラムが、実行されると、前記プロセッサにさらに、
    前記ユーザ設定に応じて、前記複数の画像の前記作業者の前記動きタイプを変更することと、
    前記複数の画像の前記作業者の前記動きタイプに応じて、前記画像認識モデルを調整することと、
    を実行させる、請求項１８に記載の監視システム。
  20. 前記プログラムが、実行されると、前記プロセッサにさらに、
    前記訓練データの前記複数の組と、前記複数の画像と、前記複数の画像に対応する前記作業者の前記動きタイプとを使用して、前記画像認識モデルを前記機械学習アルゴリズムに基づいて生成すること、
    を実行させる、請求項１８に記載の監視システム。
JP2021161311A 2020-11-05 2021-09-30 生産ライン監視方法および生産ライン監視システム Active JP7302769B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011221185.0 2020-11-05
CN202011221185.0A CN114519841A (zh) 2020-11-05 2020-11-05 生产线监视方法及其监视***

Publications (2)

Publication Number Publication Date
JP2022075518A true JP2022075518A (ja) 2022-05-18
JP7302769B2 JP7302769B2 (ja) 2023-07-04

Family

ID=81379088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021161311A Active JP7302769B2 (ja) 2020-11-05 2021-09-30 生産ライン監視方法および生産ライン監視システム

Country Status (3)

Country Link
US (2) US11790538B2 (ja)
JP (1) JP7302769B2 (ja)
CN (1) CN114519841A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116629726B (zh) * 2023-05-31 2023-11-17 常州润来科技有限公司 一种精密铜管包装车间的环境监测管理方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242418A (ja) * 2004-02-24 2005-09-08 Matsushita Electric Works Ltd 作業評価装置、作業評価方法をコンピュータに実現させる作業評価プログラムおよび当該作業評価プログラムを記憶した記憶媒体
JP2016042306A (ja) * 2014-08-18 2016-03-31 株式会社リコー 軌跡描画装置、軌跡描画方法、軌跡描画システム、及びプログラム
JP6002796B1 (ja) * 2015-03-30 2016-10-05 エヌ・ティ・ティ・コムウェア株式会社 感性評価装置、感性評価方法、およびプログラム
JP2019075009A (ja) * 2017-10-18 2019-05-16 パナソニックＩｐマネジメント株式会社 作業支援システム、厨房支援システム、作業支援方法、及びプログラム
JP2019101919A (ja) * 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラムおよび記憶媒体
JP2019219853A (ja) * 2018-06-19 2019-12-26 東芝テック株式会社 画像処理装置
JP2020155063A (ja) * 2019-03-22 2020-09-24 キヤノン株式会社 情報処理装置、及びその制御方法、プログラム、記憶媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS602796B2 (ja) 1981-12-04 1985-01-23 横河電機株式会社 薄膜ｒｆスクイド
US8553037B2 (en) * 2002-08-14 2013-10-08 Shawn Smith Do-It-Yourself photo realistic talking head creation system and method
JP5686108B2 (ja) * 2012-02-24 2015-03-18 株式会社ダイフク 誤作業防止装置および誤作業防止装置が設けられた仕分け設備
CN103473530B (zh) 2013-08-30 2016-06-15 天津理工大学 基于多视图和多模态特征的自适应动作识别方法
CA2940528A1 (en) * 2014-02-28 2015-09-03 Second Spectrum, Inc. System and method for performing spatio-temporal analysis of sporting events
US20220375056A1 (en) * 2016-01-15 2022-11-24 Instrumental, Inc. Method for predicting defects in assembly units
US10178355B2 (en) * 2016-03-01 2019-01-08 Vab Solutions Inc. Tracking system and method for tracking wood products in a production line
US10769422B2 (en) * 2018-09-19 2020-09-08 Indus.Ai Inc Neural network-based recognition of trade workers present on industrial sites
JP7087882B2 (ja) * 2018-09-26 2022-06-21 オムロン株式会社 品質予測装置、品質予測方法、及び品質予測プログラム
KR20200073588A (ko) * 2018-12-14 2020-06-24 강준걸 작업자 동작인식을 이용한 생산라인 모니터링 시스템 및 이를 이용하여 생산라인을 모니터링하는 방법
EP3783545A1 (en) * 2019-08-19 2021-02-24 Siemens Aktiengesellschaft System and method for automatically capturing technology transfer knowledge
US10769718B1 (en) * 2020-02-19 2020-09-08 Nicom Living LLC Method, medium, and system for live preview via machine learning models
JP7471878B2 (ja) * 2020-03-18 2024-04-22 東芝テック株式会社 映像処理装置
JP7443114B2 (ja) * 2020-03-25 2024-03-05 東芝テック株式会社 作業監視システム
US20220392055A1 (en) * 2021-06-07 2022-12-08 Elementary Robotics, Inc. Machine-Learning Based Continuous Camera Image Triggering for Quality Assurance Inspection Processes

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005242418A (ja) * 2004-02-24 2005-09-08 Matsushita Electric Works Ltd 作業評価装置、作業評価方法をコンピュータに実現させる作業評価プログラムおよび当該作業評価プログラムを記憶した記憶媒体
JP2016042306A (ja) * 2014-08-18 2016-03-31 株式会社リコー 軌跡描画装置、軌跡描画方法、軌跡描画システム、及びプログラム
JP6002796B1 (ja) * 2015-03-30 2016-10-05 エヌ・ティ・ティ・コムウェア株式会社 感性評価装置、感性評価方法、およびプログラム
JP2019075009A (ja) * 2017-10-18 2019-05-16 パナソニックＩｐマネジメント株式会社 作業支援システム、厨房支援システム、作業支援方法、及びプログラム
JP2019101919A (ja) * 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラムおよび記憶媒体
JP2019219853A (ja) * 2018-06-19 2019-12-26 東芝テック株式会社 画像処理装置
JP2020155063A (ja) * 2019-03-22 2020-09-24 キヤノン株式会社 情報処理装置、及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
US20220138963A1 (en) 2022-05-05
US20230419509A1 (en) 2023-12-28
US11790538B2 (en) 2023-10-17
JP7302769B2 (ja) 2023-07-04
US12020444B2 (en) 2024-06-25
CN114519841A (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
US20180191593A1 (en) System and method for detecting unknown iot device types by monitoring their behavior
US9852511B2 (en) Systems and methods for tracking and detecting a target object
US12020444B2 (en) Production line monitoring method and monitoring system thereof
CN110379017B (zh) 一种场景构建方法、装置、电子设备及存储介质
WO2022142078A1 (zh) 动作学习方法、装置、介质及电子设备
JP7103530B2 (ja) 映像分析方法、映像分析システム及び情報処理装置
JP7106968B2 (ja) 管理装置、データ抽出方法及びプログラム
TWI839583B (zh) 生產線監視方法及其監視系統
EP4050529A1 (en) System to invoke update of machine learning models on edge computeres
US20230104775A1 (en) Human robot collaboration for flexible and adaptive robot learning
US11200137B1 (en) System and methods for failure occurrence prediction and failure duration estimation
US11435715B2 (en) System and method for detecting change over in manufacturing field
CN112866767B (zh) 一种投屏控制方法、装置、电子设备及存储介质
TW202219671A (zh) 生產線監視方法及其監視系統
AU2018313669B2 (en) Systems and methods for testing an automatic perception system
JP2016001397A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
US11478933B2 (en) Equipment status estimation method and system
US11763484B2 (en) Location estimation system and location estimation method
CN111390916B (zh) 机械臂异常恢复方法及装置
US11982992B2 (en) Task and cycle time detection method and system
US20230105603A1 (en) Human action recognition and assistance to ar device
JP2019009679A (ja) 無線パケット解析プログラム、無線パケット解析装置及び無線パケット解析方法
JP2024063919A (ja) 位置予測プログラム、情報処理装置及び位置予測方法
WO2024013936A1 (ja) 映像処理システム、映像処理装置及び映像処理方法
US20240046650A1 (en) Method to operate multiple sensors for multiple instances of interconnected human activity recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230607

R150 Certificate of patent or registration of utility model

Ref document number: 7302769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150