JP7196279B2 - 傾きが未知のペグ・イン・ホール・タスクの実行 - Google Patents

Description

本発明は一般にロボットによる組立に関し、より詳細には、傾きが未知のペグ・イン・ホール・タスクの実行に関する。

長年にわたり、高い融通性、短い生産サイクル時間、および高いスループットへの製造要件の変化が、インテリジェントな製造システムの出現の契機となってきた。従来の産業用ロボットは高い繰り返し精度を有するが、適応性および融通性に欠ける場合がある。製造工程において、環境は常に変化しており、また、処理されるべき部品または構成要素あるいはその両方が、様々なバッチおよび様々な供給元からもたらされる場合がある。これらの多様性は全て、従来の産業用ロボットが様々な製造工程を行うのを困難にする可能性がある。厳しい製造要件および従来の産業用ロボットの限界に起因して、ロボット・プログラミングにおいて多大な人的労力が費やされてきた。

一実施形態によれば、組立作業における位置探索プロセスを実行するためのロボット・システムによって実行されるコンピュータ実装方法が提供される。コンピュータ実装方法は、第２の構成要素に挿入すべき第１の構成要素に力を加えることと、ロボット・システムのロボット・アームに取り付けられた複数の力センサを利用して、第１の構成要素に加えられた力を検出することと、第１の構成要素に加えられた力に対応する訓練サンプルを抽出することと、正しい傾きの方向についての変数変換を適用することによって、前記訓練サンプルの各々に関する時系列データを正規化することと、変換された訓練データの時系列予測モデルを生成することと、試験サンプルについて、様々な方向で変数変換を適用することと、生成された時系列予測モデルと変換された試験サンプルの間の整合率を計算することと、を含む。

別の実施形態によれば、組立作業における位置探索プロセスを実行するためのロボット・システムが提供される。ロボット・システムは、ロボット・アームと、ロボット・アームに通信可能に結合されている制御システムと、を含み、制御システムは、ロボット・アームに、第２の構成要素に挿入すべき第１の構成要素に力を加えるステップと、ロボット・アームに取り付けられた複数の力センサを利用して、第１の構成要素に加えられた力を検出するステップと、第１の構成要素に加えられた力に対応する訓練サンプルを抽出するステップと、正しい傾きの方向についての変数変換を適用することによって、訓練サンプルの各々に関する時系列データを正規化するステップと、変換された訓練データの時系列予測モデルを生成するステップと、試験サンプルについて、様々な方向で変数変換を適用するステップと、生成された時系列予測モデルと変換された試験サンプルの間の整合率を計算するステップと、を実行させるための、実行可能プログラム命令を記憶している。

更に別の実施形態によれば、ロボット・システムが提供される。ロボット・システムは、第１の構成要素を第２の構成要素に組み付けるように構築されているロボットと、ロボットに結合されている少なくとも１つのセンサと、ロボットにおよび少なくとも１つのセンサに通信可能に結合されている制御システムであって、ロボットの組み付けの動きを実行するための実行可能プログラム命令を記憶している、制御システムと、制御システムに通信可能に結合され制御システムを介してロボットに指示するように動作可能な、学習デバイスと、を含む。制御システムは、第１の構成要素に加えられた力に対応する訓練サンプルを抽出するステップと、正しい傾きの方向についての変数変換を適用することによって、訓練サンプルの各々に関する時系列データを正規化するステップと、変換された訓練データの時系列予測モデルを生成するステップと、試験サンプルについて、様々な方向で変数変換を適用するステップと、生成された時系列予測モデルと変換された試験サンプルの間の整合率を計算するステップと、を実行する。

また更に、実施形態は、コンピュータまたは何らかの命令実行システムによってまたはそれと接続されて使用されるプログラム・コードを提供する、コンピュータ使用可能媒体またはコンピュータ可読媒体からアクセス可能な、関連するコンピュータ・プログラム製品の形態をとることができる。この説明の目的として、コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによってまたはそれと接続されて使用されるプログラムを記憶、通信、伝播、または搬送するための手段を含み得る、任意の装置とすることができる。

これらのおよび他の特徴および利点は、添付の図面と関連させて読まれることになる、その例示のための実施形態の以下の詳細な説明から、明らかになるであろう。

本発明は、以下の好ましい実施形態の説明において以下の各図を参照して詳細を提供することになる。

本発明の実施形態に係る、例示的なロボット・システムのブロック図／フロー図である。 本発明の実施形態に係る、作業セル内の例示的なロボット・システムのブロック図／フロー図である。 本発明の実施形態に係る、ロボット・システムを説明するのに採用される例示的なペグ・イン・ホール組み付けのブロック図／フロー図である。 本発明の実施形態に係る、第１の構成要素がロボット・システムのロボット・アームを介して第２の構成要素にうまく挿入されている断面図である。 本発明の実施形態に係る、例示的な訓練フェーズおよび試験フェーズのブロック図／フロー図である。 本発明の実施形態に係る、傾きの方向の例示的な推定結果のブロック図／フロー図である。 本発明の実施形態に係る、組立作業における位置探索プロセスを実行するための例示的な方法のブロック図／フロー図である。 本発明の実施形態に係る、ペグ・イン・ホール・タスクを完了するべく訓練サンプルおよび試験サンプルを操作するための例示的な方法の、ブロック図／フロー図である。

図面の全てにわたって、同じまたは類似の参照符号は同じまたは類似の要素を表す。

本発明に係る実施形態は、ロボット・システムを利用するための方法およびデバイスを提供する。ロボット・システムは、組立工程を利用するように制御される。１つの組立工程は、第１の構成要素を第２の構成要素に組み付けることを含む。組立工程は大まかに、２つの主要なフェーズを含むことができる。第１のフェーズは探索フェーズであり、第２のフェーズは挿入フェーズである。探索フェーズでは、第１の構成要素をクリアランス領域内に移動させる。挿入フェーズでは、第１の構成要素と第２の構成要素の組み付けが行われる。ロボット・システムは動的なシステムである。動的システムはほとんどが複雑であり、非線形であり、時間とともに変化する。動的システムのために様々な制御技法を利用することができる。１つのそのような技法には、ペグ・イン・ホール・タスクを完了するために、試験サンプルと比較されることになる訓練サンプルを利用することが含まれる。

本発明に係る実施形態は、学習または訓練技法に基づく最良の動作条件でロボット・システムを実装するための方法およびデバイスを提供する。ロボット・システムは、メモリに記憶されており現在の状態に従って利用可能となった、学習または訓練からのフィードバックを利用して、試行錯誤で学習することができる。例えば、２つの部品を組み付けようとする場合、これらの２つの部品は、その最良の組み付け戦略を特定するために、その最良の条件とともに識別される。

本発明は例示のための所与のアーキテクチャの観点から記載されるが、他のアーキテクチャ、構造、基板の材料および加工の特徴、ならびにステップ／ブロックを、本発明の範囲内で変更できることが理解されるべきである。明晰にするために、特定の特徴を全ての図に示すことができない場合のあることに、留意すべきである。このことは、任意の特定の実施形態、または例示、または特許請求の範囲の範囲の限定として解釈されることを意図するものではない。

ここで、同様の数字が同じまたは類似の要素を表す図面で、最初に図１を参照すると、本発明の実施形態に係る、例示的なロボット・システムのブロック図／フロー図が提示されている。

ブロック図１０には、制御システム１４と通信しているロボット・システム１２が描写されている。ロボット・システム１２は、１つまたは複数のロボットを含み得る。制御システム１４は、訓練／学習システム１５およびセンサ１６と通信している。制御システム１４は更に、入力デバイス１８およびディスプレイ１９と通信している。

ある例示的な実施形態では、制御システム１４は、専用のロボット制御装置と、データ処理ユニットまたは制御装置２と、を含む。ロボット制御装置および入力デバイス１８は、データ処理制御装置に通信可能に結合され得る。ある例示的な実施形態では、ロボット制御装置は、データ処理制御装置が提供するデータに基づいてロボット・システム１２を動作させ、データ処理制御装置は、別のシステムまたはデバイス、例えば入力デバイス１８および訓練／学習システム１５から、制御入力を受信する。訓練／学習システム１５は、学習技法から導出された最良の動作条件に基づいてロボット・システムが最適レベルで機能するために、ロボット・システム１２の動作条件を調整することができる。

制御システム１４はマイクロプロセッサ・ベースとすることができ、それにより実行されるプログラム命令は、メモリ４に記憶されているソフトウェアの形態である。ただし、別法として、制御装置およびプログラム命令のいずれかまたは全ては、状態機械を含むソフトウェア、ファームウェア、およびハードウェアの任意の組合せの形態とすることができ、ソフトウェアまたはファームウェアまたはハードウェアあるいはその組合せをベースとした命令を実行するプロセッサ・ベースの制御装置と同じまたは類似の結果を達成するように構成された任意のデジタル・デバイスまたはアナログ・デバイスあるいはその両方を含む、特定の同じ場所に配置するまたは２か所以上に分散させることの可能な、個別のデバイスまたは集積回路あるいはその両方の出力を反映できることが、企図される。

いくつかの実施形態では、ロボット・システム１２は、安全性を高めるためにまたは他の目的であるいはその両方で、例えばロボット・システム１２をローカルでまたはリモートで動作させるために使用される、１つまたは複数のセンサ１６を含み得る。センサ１６は、例えば、カメラなどの視覚センサ、音響センサ、赤外センサ、または１つもしくは複数の他のタイプの近接センサ、マイクロフォン、位置センサ、並進および回転速度センサ、力センサ、または任意の他のタイプのセンサ、あるいはその組合せを含む、任意の好適な形態をとることができる。センサ１６は、制御システム１４に通信可能に結合されている。いくつかの実施形態では、制御システム１４は、１つまたは複数のセンサ１６の出力を処理するための１つまたは複数のセンサ１６に通信可能に結合された、制御装置を含み得る。

ある例示的な実施形態では、入力デバイス１８はジョイスティックである。他の実施形態では、入力デバイス１８は、スタイラスなどの他の形態をとることができる。入力デバイス１８は、使用者が例えば制御システム１４を介してロボット・システム１２の動きまたは移動を制御または開始できるように構築することができる。いくつかの実施形態では、入力デバイス１８は、ロボット・システム１２にとって最良の動作条件を達成するために、訓練／学習システム１５から受信したフィードバックに基づいて、ロボット・システム１２、例えばエンド・エフェクタ２８（図２）の回転および並進の動きの位置、方向、または速度あるいはその組合せを、制御または開始するように構築することができる。

いくつかの実施形態では、ロボット・システム１２は、制御システム１４のデータ処理制御装置に通信可能に結合されている、１つまたは複数のディスプレイ・デバイス１９を含む。ある例示的な実施形態では、ディスプレイ・デバイス１９はまた、入力デバイス、例えばタッチ・スクリーン・ディスプレイである。ディスプレイ・デバイス１９は、例えば、ロボットの動きデータを表示し、また、訓練／学習システム１５に基づいて最良の動作条件を取得するべく、パラメータまたは変数を調整または微調整するために利用され得る。

訓練／学習システム１５は、物理的相互作用モデルをよりよく理解するための、および組立作業を実行するための方法を学習する。物理的相互作用モデルは、例えば、ロボット・システム１２と環境の間で交換された力またはモーメントあるいはその両方と関連している。したがって、メモリ・ベースのシステムは、強化学習の使用によって訓練される。位置探索プロセスの各ステップにおいて、例えばロボット・システム１２と関連付けられた少なくとも１つのセンサ１６から受信した対応する力－トルクのデータに基づいて、分解されたアクションおよび組立移動アクションの中からあるアクションを選ぶまたは選択することによって、強化学習が実施される。

強化学習の問題設定は、以下のように考えることができる。

ロボット・システム１２は、環境の状態を観察して、ロボット・システム１２が行おうとするアクションを決定する。環境は特定のルールに従って変化する可能性があり、また人間が自分自身のアクションで環境を変化させることができる。アクションが行われるたびに報酬信号が返される。将来における報酬の和が最大化される。学習は、アクションがもたらす結果が、完全に未知であるかまたは不完全にしか知られていない状態で開始される。言い換えれば、ロボット・システム１２は、ロボット・システム１２が実際にアクションを行った後でのみ、そのアクションの結果をデータとして取得することができる。このことは、最適なアクションを例えばトライアル・アンド・エラーによって探索できることを意味する。学習は、予め学習が行われている初期状態から開始することによって、良好な開始点から開始することができる。強化学習では、判定および分類に加えて、アクションが環境に及ぼす相互作用を考慮して適切なアクションを学習するための方法を獲得するように、あるアクションが学習され、例えば、将来取得することになる報酬が最大になるように学習する。

一例では、強化学習は、訓練／学習システム１５によって利用することができ、例えば深層機械学習法によって実施できる。本発明の例示的な実施形態は一般に、ロボットのエンド・エフェクタによる物体の操作に関連する、深層機械学習法および装置に向けられたものであり得る。いくつかの実装形態は、ロボットのエンド・エフェクタの動きデータがそのエンド・エフェクタによる第２の構成要素への第１の構成要素の組み付けに成功する確率を予測すべく、畳み込みニューラル・ネットワーク（本明細書では「ＣＮＮ」とも呼ばれる）などの深層ニューラル・ネットワークを訓練することに向けられている。例えば、いくつかの実装形態では、訓練された深層ニューラル・ネットワークに入力として少なくとも：（１）ロボットの挿入エンド・エフェクタの候補の動きを規定する動きベクトル、および（２）ロボットの作業スペースの少なくとも一部分を捕捉した画像、を適用することと、適用することに基づいて、動きベクトルが第１の構成要素を第２の構成要素に挿入するのに成功する確率を直接的または間接的に示す尺度を少なくとも生成することと、が可能になる。次いで、予測された確率を、最良の動作条件の判定および挿入エンド・エフェクタを有するロボット・システムによる挿入試行の成績のモニタリングに使用することができ、このことにより、第１の構成要素を第２の構成要素にうまく挿入するロボット・システムの能力が改善される。

訓練／学習システム１５のいくつかの実装形態は、例えば、訓練された深層ニューラル・ネットワークを利用して、第２の構成要素への第１の構成要素の挿入を成功させるべく、ロボットのエンド・エフェクタをサーボ制御することに向けられたものであり得る。例えば、訓練された深層ニューラル・ネットワークは、ロボットの挿入エンド・エフェクタの位置を制御するロボットの１つまたは複数のアクチュエータに関する動き制御コマンドの反復更新において、および、いつ挿入エンド・エフェクタによる挿入の試みを実施するための挿入制御コマンドを生成すべきかを決定するために、利用することができる。様々な実装形態において、訓練された深層ニューラル・ネットワークを利用して挿入エンド・エフェクタをサーボ制御することによって、ロボットの摂動もしくは環境物体の動きまたはその両方に対する素早いフィードバック、あるいは不正確なロボットの作動に対するロバストさ、あるいはその両方が可能になり得る。訓練された深層ニューラル・ネットワークはまた、ロボット・システム１２の最良の動作条件を達成するための、摂動の数の低減も可能にする。

訓練／学習システム１５のいくつかの実装形態では、例えば、効率的な組み付け戦略を可能にする、ロボットの挿入エンド・エフェクタを現在の位置から次の位置まで移動させるための動きを規定する、候補のエンド・エフェクタ動きベクトルを生成することを含む方法が提供され得る。方法は、一例では、ロボット・システム１２と関連付けられた視覚センサによって捕捉され、挿入エンド・エフェクタとロボット・システム１２の環境内の少なくとも１つの物体とを捕捉する、現在の画像を識別することを更に含み得る。方法は、現在の画像および候補のエンド・エフェクタ動きベクトルを訓練された畳み込みニューラル・ネットワークに入力として適用することと、訓練された畳み込みニューラル・ネットワークにわたって、動きの適用によって物体の挿入が成功した尺度を生成することと、を更に含み得る。尺度は、画像およびエンド・エフェクタ動きベクトルを訓練された畳み込みニューラル・ネットワークに適用することに基づいて生成される。

訓練／学習システム１５のいくつかの実装形態では、例えば、ロボットによる複数回の挿入試行中に、生成された複数の訓練例を１つまたは複数のロボットからのセンサ出力に基づいて識別することを含む、方法が提供され得る。訓練例の各々は、訓練例入力および訓練例出力を含む。訓練例の各々の訓練例入力は、挿入試行のうちの対応する挿入試行の対応する時間事例に関する画像であって、対応する時間事例におけるロボット・エンド・エフェクタおよび１つまたは複数の環境物体を捕捉した、画像と、対応する時間事例におけるエンド・エフェクタの時間事例の位置から対応する挿入試行に関するエンド・エフェクタの最終位置までのエンド・エフェクタの動きを規定する、エンド・エフェクタ動きベクトルと、を含む。訓練例の各々の訓練例出力は、例えば、対応する挿入試行の成功を示す挿入成功ラベルを含み得る。方法は、ロボット・システム１２にとって最良の動作条件を達成すべく、訓練例に基づいて畳み込みニューラル・ネットワークを訓練することを更に含む。

訓練／学習システム１５のいくつかの実装形態では、畳み込みニューラル・ネットワークを訓練することは、畳み込みニューラル・ネットワークに、訓練例のうちの所与の訓練例の訓練例入力を適用することを含む。これらの実装形態のいくつかでは、所与の訓練例の訓練例入力を適用することは、所与の訓練例の画像を畳み込みニューラル・ネットワークの最初の層に入力として適用することと、所与の訓練例のエンド・エフェクタ動きベクトルを畳み込みニューラル・ネットワークの追加の層に適用することと、を含む。追加の層は最初の層よりも下流であり得る。これらの実装形態のいくつかでは、追加の層にエンド・エフェクタ動きベクトルを適用することは、エンド・エフェクタ動きベクトルを全結合層に通して、エンド・エフェクタ動きベクトル出力を生成することと、エンド・エフェクタ動きベクトル出力を上流の出力と連結することと、を含む。上流の出力は、追加の層のすぐ上流にありかつ最初の層の下流にある、畳み込みニューラル・ネットワークのすぐ上流の層からの、および、畳み込みニューラル・ネットワークの１つまたは複数の中間層からのものであり得る。最初の層を畳み込み層とすることができ、すぐ上流の層をプーリング層とすることができる。

いくつかの実装形態では、訓練は、複数の訓練例の訓練例出力に基づいて畳み込みニューラル・ネットワーク上でバック・プロパゲーションを行うことを含む。したがって、学習／訓練システム１５は、学習／訓練システム１５に入力されたデータのセットから分析によって、例えば有用なルール、知識表現、および判定基準を抽出し、判定結果を出力し、知識を学習する（機械学習）機能を有し得る。様々な機械学習技法が利用可能であり、これらは大まかに、例えば「教師あり学習」、「教師なし学習」、および「強化学習」に分類できることが留意される。これらの技法を実装するために、上記したように、「深層学習」を利用することができる。

図２は、本発明の実施形態に係る、作業セル内の例示的なロボット・システムのブロック図／フロー図である。

ある例示的な実施形態では、ロボット・システム１２は、例えば作業セル２０内に配設される、多軸産業用ロボットとすることができる。組立作業は自動化することができ、使用者によって開始されるようにトリガされ得る。例えば、作業セル２０の外部の任意の場所から入力デバイス１８を使用することによってロボット・システム１２を開始またはトリガして、総称的に構成要素２５として表される第１の構成要素を、例えば作業台または固定具３０上に配設された、総称的に構成要素３２として表される第２の構成要素に組み付けることができる。例えば、ロボット・システム１２は、構成要素２５を構成要素３２の開口部３４に挿入するように動作させることができる。ロボット・システム１２は、最良の動作条件に基づいて最適にプログラムされるために、学習した技法を使用することができる。例えば、ロボット・システム１２は、動作を最適レベルへと連続的に調整または微調整するために、メモリ４に記憶されており現在の状態に従って利用可能となった、学習／訓練からのフィードバックを利用する。様々な実施形態において、ロボット・システム１２は、それが利用される目的である用途に適した任意の形態をとることができ、任意のタイプの製造作業または他の動作を実行するように構築された任意のタイプのロボットであり得る。

ある例示的な実施形態では、ロボット・システム１２は、台座２６と、台座２６に結合されておりそこを中心に回転可能な肩部２４と、肩部２４に結合されている上側アームまたは回転可能なアーム２２と、を含み得る。回転可能なアーム２２は、回転可能なエンド・エフェクタ２８において終端する。他の例示的な実施形態では、ロボット・システム１２は、より多いまたはより少ない数の付属肢または自由度あるいはその両方を有し得る。ある例示的な実施形態では、エンド・エフェクタ２８は、訓練／学習システム１５から受信した入力に基づいて、構成要素２５を把持して操作し、構成要素３２に組み付けるように構成されている。他の例示的な実施形態では、エンド・エフェクタ２８は他の形態をとることができ、他の動作、例えば構成要素２５に関連したまたは関連しない任意の動作を行うように構成され得る。ロボット・システム１２は、構成要素２５を、例えば図３に図示するように、最小限のステップ数で、Ｘ、Ｙ、およびＺ軸方向におよびこれらを中心として並進および回転させるように構築することができる。

いくつかの例示的な実施形態では、ロボット・システム１２は、自体を触覚フィードバック・センサ２７と関連付けることができる。センサ２７は、構成要素２５とその隣接した環境内のそれ以外の任意のものとの間の相互作用、例えば、（例えばロボット・システム１２によって保持されている間の）構成要素２５と構成要素３２との間の、または構成要素２５とロボット・システム１２の届く範囲内の任意のものとの間の、物理的相互作用、を検出するように動作可能であり得る。ある例示的な実施形態では、触覚フィードバック・センサ２７は力センサである。他の実施形態では、触覚フィードバック・センサ２７は他の形態をとり得る。力センサ２７は、制御システム１４に通信可能に結合され得る。ある例示的な実施形態では、センサ２７をロボット・システム１２上に、例えばエンド・エフェクタ２８上に、装着することができる。他の実施形態では、センサ２７を任意の好適な場所に、または、ロボット・システム１２もしくは構成要素２５の任意の好適な特徴上に、装着することができる。

図３は、本発明の実施形態に係る、ロボット・システムを説明するのに採用される例示的なペグ・イン・ホール組み付けのブロック図／フロー図である。

本発明の実施形態の非限定的な例を説明するのに、ペグ・イン・ホール組み付けの非限定的な例のいくつかの態様を採用する。図３では、第１の構成要素、ペグ２５を、ブロック３２にある穴３４に挿入することを試みる。困難な組み付けの場合、例えば、ペグ２５と穴３４の間のクリアランスが小さくかつペグ２５および穴３４の面取りがいずれも小さい場合には、遠隔操作の動きしか使用しない手動での挿入は、触覚フィードバックがある場合ですら困難な可能性がある。例えば、構成要素同士の間のわずかなずれが、詰まりまたは引っ掛かりをもたらし得る。

図４は、本発明の実施形態に係る、第１の構成要素がロボット・システムのロボット・アームを介して第２の構成要素にうまく挿入されている断面図である。

第１の構成要素２５が第２の構成要素３２の穴３４の中にうまく受け入れられる様子が示されている。第１の構成要素２５は第２の構成要素３２の内壁と面一になるように構成されている。このことは訓練／学習システム１５によって達成される。訓練／学習システム１５のいくつかの実装形態は、訓練された深層ニューラル・ネットワークを利用して、ロボットの挿入エンド・エフェクタの動きデータが第２の構成要素３２への第１の構成要素２５の挿入の成功をもたらす確率を示す尺度を予測するのを可能にするための、ＣＮＮなどの深層ニューラル・ネットワークの訓練に向けられたものであり得る。いくつかの実装形態では、訓練された深層ニューラル・ネットワークは、視覚センサが生成した画像を受け入れ、エンド・エフェクタの動きベクトルを受け入れる。訓練された深層ニューラル・ネットワークへの画像およびエンド・エフェクタ動きベクトルの適用を用いて、深層ニューラル・ネットワークにわたって、動きベクトルが規定する動きおよび続く挿入を実施するためのコマンドを実行することによって第２の構成要素３２への第１の構成要素２５の挿入の成功がもたらされることの、予測される尺度を生成することができる。いくつかの実装形態は、訓練された深層ニューラル・ネットワークを利用して、訓練／学習システム１５から受信したフィードバックに基づいて、最小限のステップ数で第２の構成要素３２への第１の構成要素２５の挿入を成功させるべく、ロボットのエンド・エフェクタをサーボ制御することに向けられている。

図５は、本発明の実施形態に係る、例示的な訓練フェーズおよび試験フェーズのブロック図／フロー図である。

以下の仮定はデータ特性に関して成されている。

データは、ある時間期間の間無作為のｘｙ力を加えることによって取得できる、時系列のデータである。これらの力は複数の力センサによって測定できる。

１つの訓練サンプルは、６次元の時系列データを含むことができ、正しい傾きの方向（θ）は以下のように取得できる：
データ：ｉｎＦｘ、ｉｎＦｙ：ｘｙ方向に投入された力。
データ：Ｆｘ、Ｆｙ：ｘｙ方向の力センサの値。
データ：Ｍｘ、Ｍｙ：ｘｙ軸を中心とした力センサのモーメント。

傾きの大きさを推定する必要がある場合は、正しい傾きの大きさ（φ）も加えることができる。

訓練フェーズにおいては以下の通りである：

各訓練サンプルについて、方法は、正しい方向（θ）についての変数変換を以下のように適用することによって、時系列データを正規化する：
ｉｎＦｘ’＝ｉｎＦｘ ｃｏｓ（－θ）－ｉｎＦｘ ｓｉｎ（－θ）
ｉｎＦｙ’＝ｉｎＦｘ ｓｉｎ（－θ）＋ｉｎＦｘ ｃｏｓ（－θ）

（Ｆｘ、Ｆｙ）の対および（Ｍｘ、Ｍｙ）の対に対して、同じ変数変換が適用される。

変換された訓練データの時系列モデルを、この時点で構築または生成できる。

時系列予測モデルに対して、ベクトル自己回帰（Vector Auto Regression；ＶＡＲ）を使用できる。

変換された時系列データは時系列データと同じまたは類似の特性を有するはずである。

試験フェーズにおいては以下の通りである：

試験サンプルについて、様々な方向で変数変換が適用される。（例えば、１０度、２０度、３０度、等）。

次いで、訓練フェーズにおいて生成されたモデルと変換された試験データの各々との間の整合率が計算される。

整合率について、各時点および各次元の平方和が利用され得る。

この結果、最良整合値を有する方向値を推定結果（傾きの方向に関する推定）として出力することができる。

訓練フェーズ４０では、サンプルのセット４２、４４、４６、４８を、変換された訓練データ５０の時系列予測モデルを生成するように処理することができる。そのような変換された訓練データ５０が、少なくとも１つの試験サンプルと比較される。したがって、試験フェーズ６０において、ある試験サンプルが選択され、選択された試験サンプルに様々な方向で変数変換が適用されて、推定結果６２、６４、６６、６８が出力される。推定結果は様々な傾きの方向（例えば、１０度、３０度、３５０度）について提供される。

したがって、例示的な実施形態は、ロボット用の制御アルゴリズムに関連している。制御アルゴリズムは穴へのペグの挿入を制御する。ペグ・イン・ホール・タスクは時系列の力センサ情報を利用する。制御アルゴリズムは、試験サンプルに対して様々な方向で変数変換を適用することによって時系列データを処理し、訓練フェーズにおいて構築された予測モデルと変換された試験データの各々との間の整合率を計算する。言い換えれば、訓練フェーズにおいて、訓練データが獲得され、時系列予測モデルが生成される。次いで、試験フェーズにおいて、ある試験サンプルが選択され、選択された試験サンプルに様々な方向で変数変換が適用される。この時点で、時系列予測モデルと変換されたデータ・サンプルの間の整合率を計算して、推定結果（傾きの方向の推定）を取得することができる。

図６は、本発明の実施形態に係る、傾きの方向の例示的な推定結果のブロック図／フロー図である。

例えばロボット・システムのロボット・アームによって、構成要素３２が画定している開口部３４内への挿入を試行されている物体２５についての、図７０は側面図、図７２は上面図である。図７０には傾きの大きさ（φ）が図示されており、図７２には傾きの方向（θ）が図示されている。

図８０には、正しい方向に対する相対角度と整合誤差とを対比して示してある。

表９０には、傾き方向に関する平均推定誤差が示されている。最悪のシナリオの場合でさえ、平均予測正確度は２０％未満である。

図７は、本発明の実施形態に係る、組立作業における位置探索プロセスを実行するための例示的な方法のブロック図／フロー図である。

ブロック１０２では、各訓練サンプルについて、正しい傾きの方向（θ）についての変数変換を適用することによって、時系列データを正規化する。時系列データは、例えばペグに様々な時間期間において加えられる力を測定する、複数の力センサから取得することができる。

ブロック１０４では、変換された訓練データの時系列予測モデルを構築または生成する。

ブロック１０６では、試験サンプルについて、様々な方向で変数変換を適用する。

ブロック１０８では、訓練フェーズにおいて生成されたモデルと変換された試験データの各々との間の整合率を計算する。

図８は、本発明の実施形態に係る、ペグ・イン・ホール・タスクを完了するべく訓練サンプルおよび試験サンプルを操作するための例示的な方法の、ブロック図／フロー図である。

訓練サンプル１１０は、プロセッサ１２２およびメモリ１２４と通信できる訓練フェーズ・モジュール１２０へと入力される。訓練フェーズ・モジュール１２０は変換された訓練データ１３０の時系列モデルを出力し、次いでこれが、試験フェーズ・モジュール１４０に提供される。試験フェーズ・モジュール１４０は、プロセッサ１４２およびメモリ１４４と通信できる。試験フェーズ・モジュール１４０は整合率計算器１５０にデータを出力し、続いて整合率計算器１５０が（傾きの方向の）推定結果１６０をロボット・システム１７０に出力する。

本発明の様々な実施形態の説明を例示の目的で提示してきたが、これらは網羅的であることまたは記載された実施形態に限定されることを意図していない。当業者には記載される実施形態の範囲および思想から逸脱することなく多くの修正および変更が明らかであろう。本明細書で用いられる専門用語は、１つまたは複数の実施形態、実際の用途、もしくは市場で見られる技術に対する技術的な改善を最もよく説明するように、または、他の当業者が本明細書に記載する実施形態を理解できるように、選択された。

本発明は、システム、方法、またはコンピュータ・プログラム製品あるいはそれらの組合せであり得る。コンピュータ・プログラム製品は、プロセッサに本発明の態様を遂行させるためのコンピュータ可読プログラム命令を有する、１つまたは複数のコンピュータ可読記憶媒体を含み得る。

コンピュータ可読記憶媒体は、命令実行デバイスによって使用される命令を保持および記憶できる有形のデバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、または以上の任意の好適な組合せであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、以下、すなわち、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読取り専用メモリ（ＥＰＲＯＭもしくはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、命令が記録されているパンチ・カードもしくは溝の中の***構造などの機械的に符号化されたデバイス、および以上の任意の好適な組合せが含まれる。本明細書において使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を通じて伝播する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、または配線を介して伝送される電気信号などの、一時的信号そのものであると解釈されるべきではない。

本明細書に記載するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、あるいは、ネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、もしくはワイヤレス・ネットワーク、またはその組合せを経由して、外部のコンピュータもしくは外部ストレージ・デバイスに、ダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはそれらの組合せを含み得る。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、それらのコンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶されるように転送する。

本発明の動作を遂行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存型命令、マイクロコード、ファームウェア命令、状態設定データ、または、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つもしくは複数のプログラミング言語の任意の組合せで書かれた、ソース・コードもしくはオブジェクト・コードのいずれか、であり得る。コンピュータ可読プログラム命令は、専らユーザのコンピュータ上で、スタンド・アロン・ソフトウェア・パッケージとして部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上でかつ部分的に遠隔のコンピュータ上で、または専ら遠隔のコンピュータもしくはサーバ上で、実行することができる。後者のシナリオでは、遠隔のコンピュータを、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して使用者のコンピュータに接続することができるか、または、外部のコンピュータへの接続を（例えば、インターネット・サービス・プロバイダを利用してインターネットを介して）行うことができる。いくつかの実施形態では、例えばプログラマブル・ロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を行うために、コンピュータ可読プログラム命令の状態情報を利用することによって、コンピュータ可読プログラム命令を実行して電子回路を個人化することができる。

本明細書には、本発明の実施形態に係る方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して、本発明の態様が記載されている。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方におけるブロックの組合せを、コンピュータ可読プログラム命令によって実施できることが、理解されるであろう。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックあるいはモジュールに指定される機能／動作を実施する手段を作り出すべく、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置の少なくとも１つのプロセッサに提供されてマシンを作り出すことができる。これらのコンピュータ可読プログラム命令はまた、命令が記憶されたコンピュータ可読記憶媒体が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックあるいはモジュールに指定される機能／動作の態様を実施する命令を含んだ製品を含むように、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラム可能なデータ処理装置、または他のデバイス、あるいはそれらの組合せに特定の方式で機能するように指示できるものであり得る。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能装置、または他のデバイスで実施される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックあるいはモジュールに指定される機能／動作を実施するように、コンピュータによって実施されるプロセスを作り出すべく、コンピュータ、他のプログラム可能データ処理装置、または他のデバイスにロードされ、コンピュータ、他のプログラム可能装置、または他のデバイス上で一連の動作ブロック／ステップを実行させるものであり得る。

図中のフローチャートおよびブロック図には、本発明の様々な実施形態に係るシステム、方法、およびコンピュータ・プログラム製品の、可能な実装形態のアーキテクチャ、機能性、および動作が説明されている。この関連において、フローチャートまたはブロック図内の各ブロックは、指定された論理機能を実施するための１つまたは複数の実行可能命令を含む、モジュール、セグメント、または命令の一部分を表すことができる。いくつかの代替的実装形態において、ブロック内に記された機能は、図に記されたものとは異なる順序で行われ得る。例えば連続して示される２つのブロックは、実際は実質的に並行して実行され得、またはこれらのブロックは時には関与する機能に応じて、逆の順序で実行され得る。また、ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方におけるブロックの組合せは、指定された機能もしくは動作を行う、または専用ハードウェアとコンピュータ命令の組合せを遂行する、専用ハードウェア・ベースのシステムによって実施され得ることにも、留意されるであろう。

本明細書における本原理の「一実施形態」または「実施形態」およびそのそれ以外の変形への言及は、その実施形態と関連させて記述される特定の特徴、構造、特性などが、本原理の少なくとも１つの実施形態に含まれることを意味する。したがって、「一実施形態において」または「実施形態において」という句および任意の他の変形が本明細書の全体にわたって様々な場所に登場するのが見られるが、これらは必ずしも全てが同じ実施形態を指す訳ではない。

例えば「Ａ／Ｂ」、「ＡまたはＢあるいはその両方」、ならびに「ＡおよびＢのうちの少なくとも一方」の場合における以下、すなわち「／」、「…または…あるいはその両方（ａｎｄ／ｏｒ）」、および「…のうちの少なくとも一方」のうちのいずれかの使用は、１番目に挙げられた選択肢（Ａ）のみの選択、または２番目に挙げられた選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を包含するように意図されていることが諒解されるべきである。更なる例として、「Ａ、Ｂ、またはＣあるいはその組合せ」、および「Ａ、Ｂ、およびＣのうちの少なくとも１つ」の場合、そのような語法は、１番目に挙げられた選択肢（Ａ）のみの選択、または２番目に挙げられた選択肢（Ｂ）のみの選択、または３番目に挙げられた選択肢（Ｃ）のみの選択、または一番目および２番目に挙げられた選択肢（ＡおよびＢ）のみの選択、または１番目および３番目に挙げられた選択肢（ＡおよびＣ）のみの選択、または２番目および３番目に挙げられた選択肢（ＢおよびＣ）のみの選択、または３つ全ての選択肢（ＡおよびＢおよびＣ）の選択を包含するように意図されている。このことは、本技術および関連技術の当業者には容易に明らかであるが、列挙される項目の数だけ拡張され得る。

傾きが未知のペグ・イン・ホール・タスクを実行するためのシステムおよび方法の好ましい実施形態について説明してきたが（これらは例示となることを意図しており限定するものではない）、上記の教示に鑑みて当業者が修正および変形を行うことができることが留意される。したがって、記載される特定の実施形態において、付属の特許請求の範囲によって定められる本発明の範囲内にある変更を行ってもよいことが理解されるべきである。以上、特許法が要求する詳細および具体性を以って本発明の態様について説明してきたが、特許証によって権利主張され保護が望まれる対象は、付属の特許請求の範囲に記載されている。

Claims (21)

1. ロボット・システムによる組立作業における位置探索プロセスをコンピュータに実行させるための方法であって、
   前記ロボット・システムが第２の構成要素に挿入すべき第１の構成要素に力を加えることとに応じて、
   前記コンピュータに、
   前記ロボット・システムのロボット・アームに取り付けられた複数の力センサを利用して、前記第１の構成要素に加えられた前記力を検出することと、
   前記第１の構成要素に加えられた前記力に対応する訓練サンプルを抽出することと、
   正しい傾きの方向についての変数変換を適用することによって、前記訓練サンプルの各々に関する時系列データを正規化することと、
   変換された訓練データの時系列予測モデルを生成することと、
   試験サンプルについて、様々な方向で前記変数変換を適用することと、
   前記生成された時系列予測モデルと前記変換された試験サンプルの間の整合率を計算することと、を実行させる、コンピュータ実装方法。
2. 最良整合値を有する方向値を推定結果として出力することを更に含む、請求項１に記載の方法。
3. 前記時系列データは６次元の時系列データを含む、請求項１に記載の方法。
4. 前記時系列データの１つの対は投入された力を含む、請求項３に記載の方法。
5. 前記時系列データの別の１つの対は力センサの値を含む、請求項４に記載の方法。
6. 前記時系列データの別の１つの対は力センサのモーメントを含む、請求項１に記載の方法。
7. 前記整合率を計算することは、前記第１の構成要素に力が加えられる各時点の平方和を求めることを含む、請求項１に記載の方法。
8. 組立作業における位置探索プロセスを実行するためのロボット・システムであって、
   ロボット・アームと、
   前記ロボット・アームに通信可能に結合された制御システムと、を備え、前記制御システムは、前記ロボット・アームに、
   第２の構成要素に挿入すべき第１の構成要素に力を加えるステップと、
   前記ロボット・アームに取り付けられた複数の力センサを利用して、前記第１の構成要素に加えられた前記力を検出するステップと、
   前記第１の構成要素に加えられた前記力に対応する訓練サンプルを抽出するステップと、
   正しい傾きの方向についての変数変換を適用することによって、前記訓練サンプルの各々に関する時系列データを正規化するステップと、
   変換された訓練データの時系列予測モデルを生成するステップと、
   試験サンプルについて、様々な方向で前記変数変換を適用するステップと、
   前記生成された時系列予測モデルと前記変換された試験サンプルの間の整合率を計算するステップと、を実行させるための実行可能プログラム命令を記憶している、ロボット・システム。
9. 最良整合値を有する方向値が推定結果として出力される、請求項８に記載のロボット・システム。
10. 前記時系列データは６次元の時系列データを含む、請求項８又は９に記載のロボット・システム。
11. 前記時系列データの１つの対は投入された力を含む、請求項１０に記載のロボット・システム。
12. 前記時系列データの別の１つの対は力センサの値を含む、請求項１１に記載のロボット・システム。
13. 前記時系列データの別の１つの対は力センサのモーメントを含む、請求項１２に記載のロボット・システム。
14. 前記整合率を計算するステップは、前記第１の構成要素に力が加えられる各時点の平方和を求めることを含む、請求項８乃至１３のいずれかに記載のロボット・システム。
15. ロボット・システムであって、
    第１の構成要素を第２の構成要素に組み付けるように構築されているロボットと、
    前記ロボットに結合されている少なくとも１つのセンサと、
    前記ロボットにおよび前記少なくとも１つのセンサに通信可能に結合されている制御システムであって、前記ロボットの組み付けの動きを実行するための実行可能プログラム命令を記憶している、前記制御システムと、
    前記制御システムに通信可能に結合されており前記制御システムを介して前記ロボットに指示するように動作可能な、学習デバイスと、を備え、前記制御システムは、
    前記第１の構成要素に加えられた力に対応する訓練サンプルを抽出するステップと、
    正しい傾きの方向についての変数変換を適用することによって、前記訓練サンプルの各々に関する時系列データを正規化するステップと、
    変換された訓練データの時系列予測モデルを生成するステップと、
    試験サンプルについて、様々な方向で前記変数変換を適用するステップと、
    生成された時系列予測モデルと変換された試験サンプルの間の整合率を計算するステップと、を実行する、ロボット・システム。
16. 前記時系列データは６次元の時系列データを含む、請求項１５に記載のロボット・システム。
17. 前記時系列データの１つの対は投入された力を含む、請求項１６に記載のロボット・システム。
18. 前記時系列データの別の１つの対は力センサの値を含む、請求項１７に記載のロボット・システム。
19. 前記時系列データの別の１つの対は力センサのモーメントを含む、請求項１８に記載のロボット・システム。
20. 前記整合率を計算するステップは、前記第１の構成要素に力が加えられる各時点の平方和を求めることを含む、請求項１５乃至１９のいずれかに記載のロボット・システム。
21. コンピュータにより実行されるコンピュータ・プログラムであって、前記コンピュータに、請求項１ないし７のいずれかに記載の方法を実行させる、コンピュータ・プログラム。

Images