JP7428769B2 - 柔軟で適応的なロボット学習のための人間ロボット協働 - Google Patents
柔軟で適応的なロボット学習のための人間ロボット協働 Download PDFInfo
- Publication number
- JP7428769B2 JP7428769B2 JP2022157396A JP2022157396A JP7428769B2 JP 7428769 B2 JP7428769 B2 JP 7428769B2 JP 2022157396 A JP2022157396 A JP 2022157396A JP 2022157396 A JP2022157396 A JP 2022157396A JP 7428769 B2 JP7428769 B2 JP 7428769B2
- Authority
- JP
- Japan
- Prior art keywords
- subtask
- sequences
- subtasks
- robot
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003044 adaptive effect Effects 0.000 title description 2
- 238000011156 evaluation Methods 0.000 claims description 44
- 230000033001 locomotion Effects 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 38
- 238000001303 quality assessment method Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 22
- 238000004519 manufacturing process Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 14
- 238000013441 quality evaluation Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000002787 reinforcement Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000010200 validation analysis Methods 0.000 claims description 7
- 230000036962 time dependent Effects 0.000 claims 1
- 239000013598 vector Substances 0.000 description 14
- 238000009826 distribution Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 9
- 241000282412 Homo Species 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000012636 effector Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40116—Learn by operator observation, symbiosis, show, watch
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40202—Human robot coexistence
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40391—Human to robot skill transfer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Robotics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Description
i.作業空間から部品Bをピックアップし、
ii.部品Bを部品Aの上に置き、
iii.作業空間からねじ1をピックアップし、
iv.ねじ1を部品B上に置き、
v.作業空間からスクリュードライバをピックアップし、
vi.スクリュードライバを使用してねじ1を締め、
vii.全てのねじが締められるまでサブステップiii~viを続ける
である。
i. 4つのサブタスクST1、ST2、ST3、ST4があると考える。
・例えば、
ST1:ねじをピックアップし、
ST2:ねじを部品B上に置き、
ST3:スクリュードライバをピックアップし、
ST4:スクリュードライバを用いてねじを締める。
f1、f2、f3、f4は、分布Pi[t]に従ってビデオクリップから第4のステップにおいて抽出された4つのサブタスクSTi(式中、i=1,2,3,4である)のサンプリング特徴ベクトルである。
・例えば、
f1:ねじから人間の手までの距離(ピクセル単位)、
f2:ねじから部品Bの中心までの距離(ピクセル単位)、
f3:スクリュードライバから人間の手までの距離(ピクセル単位)、
f4:スクリュードライバからねじ頭までの距離(ピクセル単位)。
サブタスクデータをM回収集する。
(f1 (j),f2 (j),f3 (j),f4 (j))j=1 M
ii. Mデータ点を使用してこれらの特徴ベクトルをクラスタリングし、適した閾値を適用して、各サブタスクSTi後の品質チェッカを表す4つのバイナリ関数Ψi(i=1,2,3,4)を学習する。したがって、各Ψiの出力は0(異常)又は1(正常)のいずれかである。次いで各j=1,・・・,Mについて、各サブタスク品質を推定する:
Ψ1(f1 (j))=qc1 (j)
Ψ2(f2 (j))=qc2 (j)
Ψ3(f3 (j))=qc3 (j)
Ψ4(f4 (j))=qc4 (j)
iii. qc1 (j)、qc2 (j)、qc3 (j)、qc4 (j)を使用して、qcFinal (j)を予測する。
・例えば、qcFinal (j)は単に積であることができる:
qcFinal (j)=qc1 (j)・qc2 (j)・qc3 (j)・qc4 (j)
iv. j=1,2,3,・・・,MについてタスクTの実際のQC(j)を得る。
v. モデルを検証するためにM’データ点を収集する。実際のQC(j)と比較したqcFinal (j)の予測に基づいて報酬Rlearn (j)を生成する。
・報酬が高い場合、サブタスク品質チェック推定は正しい。
・報酬が低い場合、品質チェック推定は誤っている。
・例えば:予測されたqcFinal (j)=0であるqc1 (j)=0、qc2 (j)=1、qc3 (j)=1、qc4 (j)=1を考える。これは、実際のタスク品質チェックQC(j)=1である場合、より低い報酬につながるはずである。
vi. 個々の報酬Rlearn (j)を結合して、全体検証セットの単一の報酬Rlearnにする。Rlearnを使用し、各i=1,2,3,4についてPi[t]に基づいてPi[t+1]を更新する。
・それ故、Pi[t]が時間tにおける第iのサブタスクの特徴ベクトルにわたる確率分布を表す場合、Rlearnを使用して新たな分布を取得する:Pi[t+1]←(Rlearn,Pi[t])。
vii. 必要とされるトレーニングエポックの数だけ、ステップi~viを適用する。
viii. Pi[tfinal]に基づいて、各サブタスクSTiの有効品質チェックであるqciを割り当てる。
201、202 ロボット
301、302 エッジ学習システム
401 コア学習システム
501 製造システム
601、602、701、702、801 ネットワーク接続
601a 製品ID
601b 作業セルID
601c タスクID
601d タスク番号
1600 計算環境
1605 コンピュータデバイス
1610 プロセッサ
1615 メモリ
1620 内部ストレージ
1625 I/Oインターフェース
1630 バス
1635 入力/ユーザインターフェース
1640 出力デバイス/インターフェース
1645 外部ストレージ
1650 ネットワーク
1660 論理ユニット
1665 APIユニット
1670 入力ユニット
1675 出力ユニット
1695 ユニット間通信メカニズム
2011、2021 ロボットビジョン
3011 タスクテンプレート取得モジュール
3012 ロボットビジョンモジュール
3013 サブタスク学習モジュール
3013a 変化点検出ステップ
3013b サブタスク識別ステップ
3013c サブタスクビデオクリップ生成ステップ
3013d 特徴抽出ステップ
3014、3024 エッジビデオモジュール
3015 エッジビデオデータベース
3016 ロボット学習モジュール
3016a サブタスクビデオクリップ取得ステップ
3016b ビデオフレーム抽出ステップ
3016c サブタスク動作セグメント化ステップ
3016d 軌道生成ステップ
3016e 軌道及びエンドエフェクタ姿勢学習ステップ
1016f タスクシミュレーション実行ステップ
3016g リアルロボットタスク転送ステップ
4011 サブタスク評価モジュール
4011a 確率分布初期化ステップ
4011b データベース
4011bb、7011e サブタスクID
4011bc 確率推定
4011bd 特徴
4011c サブタスク品質推定ステップ
4011d タスク品質予測ステップ
4011e 損失関数計算ステップ
4012 タスク再構築モジュール
4013 コアビデオモジュール
4014 コアビデオデータベース
5011 企業リソース計画システム
5012 製品品質チェックシステム
7011 サブタスク特徴サンプル
7011b 作業者ID情報
7011c 作業セルID及びタイプ
7011d 特徴ベクトル
7011f サブタスクシーケンス
7014 サブタスク品質転送
8011 タスク
Claims (17)
- 複数のサブタスクと関連付けられた情報を受信することと、前記受信される情報は、当該情報に関連付けられたロボットをエッジシステムにおいてトレーニングするために人間の動作と関連付けられるものであり、
前記複数のサブタスクの各々に対して品質評価を行うことと、
前記複数のサブタスクから1つ又は複数のサブタスクシーケンスを決定することと、
前記1つ又は複数のサブタスクシーケンスの各々と関連付けられた前記複数のサブタスクの各々の前記品質評価に基づいて、前記1つ又は複数のサブタスクシーケンスの各々を評価することと、
前記1つ又は複数のサブタスクシーケンスの各々の前記評価に基づいて、前記1つ又は複数のサブタスクシーケンスのうちの、前記関連付けられたロボットをトレーニングするためのサブタスクシーケンスを出力することと、
を含む、コンピュータによって実行される方法。 - 前記関連付けられたロボットを前記エッジシステムにおいてトレーニングするための前記人間の動作と関連付けられた情報は、ビデオクリップを含み、前記ビデオクリップの各々は前記複数のサブタスクと関連付けられ、
前記1つ又は複数のサブタスクシーケンスのうちの、前記関連付けられたロボットをトレーニングするためのサブタスクシーケンスを出力することは、前記サブタスクのうちの、前記1つ又は複数のサブタスクシーケンスの各々と関連付けられたサブタスクと関連付けられた、前記ビデオクリップを提供することを含む、請求項1に記載の方法。 - 前記ロボットは、ビデオを記録するように構成されたロボットビジョンを含み、前記ビデオから前記ビデオクリップが生成され、
製造システムは、実行のために前記エッジシステムに前記複数のサブタスクを含むタスクを提供し、前記1つ又は複数のサブタスクシーケンスの各々の前記評価のために、前記タスクの品質評価を提供するように構成される、請求項2に記載の方法。 - 前記ビデオクリップは、前記複数のサブタスクの前記人間の動作を含む、請求項2に記載の方法。
- 前記ビデオクリップに対する特徴抽出から決定される前記人間の動作への変化点検出に基づいて、前記複数のサブタスクの各々を認識することを更に含み、前記変化点検出から検出される変化点は、時間期間によって前記複数のサブタスクの各々を分けるのに利用される、請求項4に記載の方法。
- 前記ビデオクリップは、前記ロボットとは別個のカメラによって記録される、請求項2に記載の方法。
- 前記1つ又は複数のサブタスクシーケンスの各々と関連付けられた前記複数のサブタスクの各々の前記品質評価に基づいて、前記1つ又は複数のサブタスクシーケンスの各々を評価することは、
前記1つ又は複数のサブタスクシーケンスの各々と関連付けられた前記複数のサブタスクの各々の前記品質評価から、前記1つ又は複数のサブタスクシーケンスの各々の品質評価を提供するように構成された関数を構築することと、
検証セットを利用すること、前記検証セットは、前記1つ又は複数のサブタスクシーケンスの各々の前記品質評価を評価するものであり、
強化学習に基づいて、前記1つ又は複数のサブタスクシーケンスの各々の前記品質評価の前記評価に基づいて前記関数を変更することと、
前記構築すること、前記利用すること、及び前記変更することを繰り返し、前記関数を最終決定することと、
前記最終決定された関数を実行し、前記1つ又は複数のサブタスクシーケンスの各々を評価することと、
を含む、請求項1に記載の方法。 - 前記1つ又は複数のサブタスクシーケンスの各々の前記評価を使用して、前記関連付けられたロボットをトレーニングすることは、
前記1つ又は複数のサブタスクシーケンスの各々の前記出力された評価及び頻度に基づいて、前記1つ又は複数のサブタスクシーケンスのうちのサブタスクシーケンスを選択することと、
前記1つ又は複数のサブタスクシーケンスのうちの前記選択されたサブタスクシーケンスの各々に対応するビデオフレームを抽出することと、
前記抽出されたビデオフレームから動作をセグメント化することと、
前記セグメント化された動作から前記関連付けられたロボットの軌道及び軌道パラメータを決定することと、
前記軌道、前記軌道パラメータ、及び前記セグメント化された動作に基づいて強化学習を前記関連付けられたロボットに対して実行して、前記1つ又は複数のサブタスクシーケンスのうちの前記選択されたサブタスクシーケンスを学習することと、
を含む、請求項1に記載の方法。 - プロセスを実行するための命令を記憶した非一時的コンピュータ可読媒体であって、前記プロセスは、
複数のサブタスクと関連付けられた情報を受信することと、前記受信される情報は、当該情報に関連付けられたロボットをエッジシステムにおいてトレーニングするために人間の動作と関連付けられるものであり、
前記複数のサブタスクの各々に対して品質評価を行うことと、
前記複数のサブタスクから1つ又は複数のサブタスクシーケンスを決定することと、
前記1つ又は複数のサブタスクシーケンスの各々と関連付けられた前記複数のサブタスクの各々の前記品質評価に基づいて、前記1つ又は複数のサブタスクシーケンスの各々を評価することと、
前記1つ又は複数のサブタスクシーケンスの各々の前記評価に基づいて、前記1つ又は複数のサブタスクシーケンスのうちの、前記関連付けられたロボットをトレーニングするためのサブタスクシーケンスを出力することと、
を含む、非一時的コンピュータ可読媒体。 - 前記関連付けられたロボットを前記エッジシステムにおいてトレーニングするための前記人間の動作と関連付けられた情報は、ビデオクリップを含み、前記ビデオクリップの各々は前記複数のサブタスクと関連付けられ、
前記1つ又は複数のサブタスクシーケンスのうちの、前記関連付けられたロボットをトレーニングするためのサブタスクシーケンスを出力することは、前記サブタスクのうちの、前記1つ又は複数のサブタスクシーケンスの各々と関連付けられたサブタスクと関連付けられた、前記ビデオクリップを提供することを含む、請求項9に記載の非一時的コンピュータ可読媒体。 - 前記ロボットは、ビデオを記録するように構成されたロボットビジョンを含み、前記ビデオから前記ビデオクリップが生成され、
製造システムは、実行のために前記エッジシステムに前記複数のサブタスクを含むタスクを提供し、前記1つ又は複数のサブタスクシーケンスの各々の前記評価のために、前記タスクの品質評価を提供するように構成される、請求項10に記載の非一時的コンピュータ可読媒体。 - 前記ビデオクリップは、前記複数のサブタスクの前記人間の動作を含む、請求項10に記載の非一時的コンピュータ可読媒体。
- 前記命令は、前記ビデオクリップに対する特徴抽出から決定される前記人間の動作への変化点検出に基づいて、前記複数のサブタスクの各々を認識することを更に含み、前記変化点検出から検出される変化点は、時間期間によって前記複数のサブタスクの各々を分けるのに利用される、請求項12に記載の非一時的コンピュータ可読媒体。
- 前記ビデオクリップは、前記ロボットとは別個のカメラによって記録される、請求項10に記載の非一時的コンピュータ可読媒体。
- 前記1つ又は複数のサブタスクシーケンスの各々と関連付けられた前記複数のサブタスクの各々の前記品質評価に基づいて、前記1つ又は複数のサブタスクシーケンスの各々を評価することは、
前記1つ又は複数のサブタスクシーケンスの各々と関連付けられた前記複数のサブタスクの各々の前記品質評価から、前記1つ又は複数のサブタスクシーケンスの各々の品質評価を提供するように構成された関数を構築することと、
検証セットを利用することと、前記検証セットは、前記1つ又は複数のサブタスクシーケンスの各々の前記品質評価を評価するものであり、
強化学習に基づいて、前記1つ又は複数のサブタスクシーケンスの各々の前記品質評価の前記評価に基づいて前記関数を変更することと、
前記構築すること、前記利用すること、及び前記変更することを繰り返し、前記関数を最終決定することと、
前記最終決定された関数を実行し、前記1つ又は複数のサブタスクシーケンスの各々を評価することと、
を含む、請求項9に記載の非一時的コンピュータ可読媒体。 - 前記1つ又は複数のサブタスクシーケンスの各々の前記評価を使用して、前記関連付けられたロボットをトレーニングすることは、
前記1つ又は複数のサブタスクシーケンスの各々の前記出力された評価及び頻度に基づいて、前記1つ又は複数のサブタスクシーケンスのうちのサブタスクシーケンスを選択することと、
前記1つ又は複数のサブタスクシーケンスのうちの前記選択されたサブタスクシーケンスの各々に対応するビデオフレームを抽出することと、
前記抽出されたビデオフレームから動作をセグメント化することと、
前記セグメント化された動作から前記関連付けられたロボットの軌道及び軌道パラメータを決定することと、
前記軌道、前記軌道パラメータ、及び前記セグメント化された動作に基づいて強化学習を前記関連付けられたロボットに対して実行して、前記1つ又は複数のサブタスクシーケンスのうちの前記選択されたサブタスクシーケンスを学習することと、
を含む、請求項9に記載の非一時的コンピュータ可読媒体。 - プロセッサを備える装置であって、前記プロセッサは、
複数のサブタスクと関連付けられた情報を受信することと、前記受信される情報は、当該情報に関連付けられたロボットをエッジシステムにおいてトレーニングするために人間の動作と関連付けられるものであり、
前記複数のサブタスクの各々に対して品質評価を行うことと、
前記複数のサブタスクから1つ又は複数のサブタスクシーケンスを決定することと、
前記1つ又は複数のサブタスクシーケンスの各々と関連付けられた前記複数のサブタスクの各々の前記品質評価に基づいて、前記1つ又は複数のサブタスクシーケンスの各々を評価することと、
前記1つ又は複数のサブタスクシーケンスの各々の前記評価に基づいて、前記1つ又は複数のサブタスクシーケンスのうちの、前記関連付けられたロボットをトレーニングするためのサブタスクシーケンスを出力することと、
を行うように構成される、装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/493,652 US20230104775A1 (en) | 2021-10-04 | 2021-10-04 | Human robot collaboration for flexible and adaptive robot learning |
US17/493,652 | 2021-10-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023054769A JP2023054769A (ja) | 2023-04-14 |
JP7428769B2 true JP7428769B2 (ja) | 2024-02-06 |
Family
ID=85774321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022157396A Active JP7428769B2 (ja) | 2021-10-04 | 2022-09-30 | 柔軟で適応的なロボット学習のための人間ロボット協働 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230104775A1 (ja) |
JP (1) | JP7428769B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230182295A1 (en) * | 2021-12-15 | 2023-06-15 | Intrinsic Innovation Llc | Sampling for robotic skill adaptation |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018180364A1 (ja) | 2017-03-29 | 2018-10-04 | Kddi株式会社 | 障害自動復旧システム、制御装置、手順作成装置およびコンピュータ可読記憶媒体 |
US10766136B1 (en) | 2017-11-03 | 2020-09-08 | Amazon Technologies, Inc. | Artificial intelligence system for modeling and evaluating robotic success at task performance |
JP2021107970A (ja) | 2019-12-27 | 2021-07-29 | 川崎重工業株式会社 | 訓練データ選別装置、ロボットシステム及び訓練データ選別方法 |
-
2021
- 2021-10-04 US US17/493,652 patent/US20230104775A1/en active Pending
-
2022
- 2022-09-30 JP JP2022157396A patent/JP7428769B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018180364A1 (ja) | 2017-03-29 | 2018-10-04 | Kddi株式会社 | 障害自動復旧システム、制御装置、手順作成装置およびコンピュータ可読記憶媒体 |
US10766136B1 (en) | 2017-11-03 | 2020-09-08 | Amazon Technologies, Inc. | Artificial intelligence system for modeling and evaluating robotic success at task performance |
JP2021107970A (ja) | 2019-12-27 | 2021-07-29 | 川崎重工業株式会社 | 訓練データ選別装置、ロボットシステム及び訓練データ選別方法 |
Non-Patent Citations (1)
Title |
---|
大里 虹平 ほか,"模倣学習を用いた動画からの動作獲得",情報処理学会研究報告 コンピュータビジョンとイメージメディア(CVIM),一般社団法人情報処理学会,2019年,第2019-CVIM-217巻, 第11号,pp. 1-4,ISSN 2188-8701 |
Also Published As
Publication number | Publication date |
---|---|
JP2023054769A (ja) | 2023-04-14 |
US20230104775A1 (en) | 2023-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Borgi et al. | Data analytics for predictive maintenance of industrial robots | |
CN111222737B (zh) | 用于实时技能评估的方法及***以及计算机可读介质 | |
US11775412B2 (en) | Machine learning models applied to interaction data for facilitating modifications to online environments | |
US10579042B2 (en) | Defect rate analytics to reduce defectiveness in manufacturing | |
JP6817974B2 (ja) | 計算機システム | |
JP7468675B2 (ja) | 機械学習モデル | |
JP7428769B2 (ja) | 柔軟で適応的なロボット学習のための人間ロボット協働 | |
US20220366244A1 (en) | Modeling Human Behavior in Work Environment Using Neural Networks | |
US20210055719A1 (en) | System for predictive maintenance using generative adversarial networks for failure prediction | |
CN115135463A (zh) | 工业***的预测模型学习方法、装置和*** | |
US11216656B1 (en) | System and method for management and evaluation of one or more human activities | |
Tran et al. | Assessing human worker performance by pattern mining of Kinect sensor skeleton data | |
Park et al. | Data science for motion and time analysis with modern motion sensor data | |
US11120383B2 (en) | System and methods for operator profiling for improving operator proficiency and safety | |
US11514693B2 (en) | Model-based image labeling and/or segmentation | |
US20210192779A1 (en) | Systems, Methods, and Media for Manufacturing Processes | |
Yang et al. | Skeleton-based hand gesture recognition for assembly line operation | |
JP2023537766A (ja) | 自動化されたデータサイエンスプロセスのためのシステム及び方法 | |
Yang et al. | Human action recognition on exceptional movement of worker operation | |
Jeong et al. | Data Preparation for AI-Assisted Video Analysis in Manual Assembly Task: A Step Towards Industry 5.0 | |
US20230229119A1 (en) | Robotic process automation (rpa)-based data labelling | |
US20240119628A1 (en) | Automatic generation of 'as-run' results in a three dimensional model using augmented reality | |
Selvaraj et al. | Real-time action localization of manual assembly operations using deep learning and augmented inference state machines | |
US20230022356A1 (en) | Method and system for human activity recognition in an industrial setting | |
Ferreira et al. | Web platform for medical deep learning services |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220930 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230919 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7428769 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |