JP2024031308A - 情報処理装置、情報処理方法、プログラム、及びロボット - Google Patents

Abstract

【課題】変形可能な物体の素材特性を精度よく推定することができる情報処理装置を提供すること。【解決手段】情報処理装置は、変形可能な物体の初期形状を予め決められた目標形状へ変形させるロボットが初期形状を目標形状へ変形させる１以上の動作をロボットに行わせるための制御値を含む第１入力情報に基づいて、物体の素材特性を示す１種類以上の素材特性値の推定値を機械学習モデルに推定させる制御部を備える。【選択図】図８

Description

この発明は、情報処理装置、情報処理方法、プログラム、及びロボットに関する。

布等の変形可能な物体を変形させる動作を行うロボットの制御についての研究、開発が行われている。

これに関し、畳み込みニューラルネットワークを用いた操作方法生成システムであって、対象となる変形可能な物体の開始状態をシステムに入力する手段と、当該物体の目標状態をシステムに入力する手段と、畳み込みニューラルネットワークの畳み込み層により、当該物体の開始状態を符号化する手段と、畳み込みニューラルネットワークの全結合ネットワークに、当該物体に対する操作パラメータを付加する手段と、畳み込みニューラルネットワークの復号化層により、全結合ネットワークにより操作パラメータが付加された当該物体を復号化し、操作後状態を出力する手段と、を備える操作方法生成システムが知られている（特許文献１参照）。

特開２０１９－０４９９０４号公報

ここで、特許文献１に記載されたような操作方法生成システムは、予め決められた素材特性を有する物体を、対象となる変形可能な物体として選択し、選択した物体についての操作後状態の予測と目標状態との差に基づく誤差逆伝播法により、操作後状態の予測と目標状態との差が小さくなる操作パラメータを生成することができる。このようにして生成された操作パラメータは、選択した物体についての操作後状態の予測と目標状態とを小さくすることができる。しかしながら、当該操作パラメータは、予め決められた素材特性と異なる素材特性の物体についての操作後状態の予測と目標状態とを小さくすることができないことがある。これは、当該操作方法生成システムにおける操作パラメータの生成過程において、対象となる変形可能な物体の素材特性を推定することができず、その結果、対象となる変形可能な物体の素材特性が考慮することができていないことが原因である。なお、ここで、物体の素材特性は、例えば、曲げ易さ、伸び易さ等のことである。

そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、変形可能な物体の素材特性を精度よく推定することができる情報処理装置、制御装置、情報処理方法、プログラム、及びロボットを提供する。

本発明の一態様は、変形可能な物体の初期形状を予め決められた目標形状へ変形させるロボットが前記初期形状を前記目標形状へ変形させる１以上の動作を前記ロボットに行わせるための制御値を含む第１入力情報に基づいて、前記物体の素材特性を示す１種類以上の素材特性値の推定値を機械学習モデルに推定させる制御部を備える、情報処理装置である。

また、本発明の他の態様は、情報処理装置において、前記機械学習モデルは、前記物体の形状を示す形状情報と前記制御値と前記１種類以上の素材特性値とを含む第２入力情報が入力された場合、前記１以上の動作のそれぞれによって変形させられた後の前記物体の形状として最も尤もらしいと推定される推定形状を示す推定形状情報を出力するように学習済みであり、前記第１入力情報は、前記制御値と、前記初期形状を示す初期形状情報と、前記１種類以上の素材特性値とを含む、構成が用いられてもよい。

また、本発明の他の態様は、情報処理装置において、前記制御部は、前記１以上の動作のそれぞれについての前記物体の途中形状を示す途中形状情報と前記第１入力情報と前記機械学習モデルとに基づいて、前記１種類以上の素材特性値の推定値を前記機械学習モデルに推定させる、構成が用いられてもよい。

また、本発明の他の態様は、情報処理装置において、前記機械学習モデルは、ニューラルネットワークを含む、構成が用いられてもよい。

また、本発明の他の態様は、情報処理装置において、前記制御部は、前記第１入力情報を用いた誤差逆伝播法により、前記機械学習モデルに前記１種類以上の素材特性値の推定値を推定させる、構成が用いられてもよい。

また、本発明の他の態様は、情報処理装置において、前記第２入力情報は、前記１以上の動作毎の前記制御値と、前記形状情報と、前記１種類以上の素材特性値の初期値とを含む、構成が用いられてもよい。

また、本発明の他の態様は、情報処理装置において、前記制御部は、前記形状情報と、前記制御値と、前記１種類以上の素材特性値の初期値とを含む第３入力情報と、前記目標形状を示す目標形状情報とを用いた誤差逆伝播法により、前記制御値として最も尤もらしい値を前記制御値の推定値として前記機械学習モデルに推定させ、推定させた前記制御値の推定値と前記形状情報とを含む前記第２入力情報を生成する、構成が用いられてもよい。

また、本発明の他の態様は、情報処理装置において、前記形状情報と前記初期形状情報と前記推定形状情報とのそれぞれは、前記物体のメッシュモデルを示す情報である、構成が用いられてもよい。

また、本発明の他の態様は、情報処理装置において、前記１種類以上の素材特性値は、前記物体の曲がり易さを示す値と、前記物体の伸び易さを示す値と、前記物体の重厚さを示す値と、前記物体の滑り易さを示す値との少なくとも１つである、構成が用いられてもよい。

また、本発明の他の態様は、情報処理装置において、前記１種類以上の素材特性値は、確率分布によって表された値である、構成が用いられてもよい。

また、本発明の他の態様は、情報処理装置において、前記１種類以上の素材特性値は、予め決められた範囲内に含まれる中心値と、前記中心値周りの分布の幅とによって表された値である、構成が用いられてもよい。

また、本発明の他の態様は、変形可能な物体の初期形状を予め決められた目標形状へ変形させるロボットが前記初期形状を前記目標形状へ変形させる１以上の動作を前記ロボットに行わせるための制御値を含む第１入力情報に基づいて、前記物体の素材特性を示す１種類以上の素材特性値の推定値を機械学習モデルに推定させる、情報処理方法である。

また、本発明の他の態様は、コンピューターに、変形可能な物体の初期形状を予め決められた目標形状へ変形させるロボットが前記初期形状を前記目標形状へ変形させる１以上の動作を前記ロボットに行わせるための制御値を含む第１入力情報に基づいて、前記物体の素材特性を示す１種類以上の素材特性値の推定値を機械学習モデルに推定させる、プログラムである。

また、本発明の他の態様は、変形可能な物体の初期形状を予め決められた目標形状へ変形させるロボットであって、前記初期形状を前記目標形状へ変形させる１以上の動作を前記ロボットに行わせるための制御値を含む第１入力情報に基づいて、前記物体の素材特性を示す１種類以上の素材特性値の推定値を機械学習モデルに推定させる制御部を備える、ロボットである。

本発明によれば、変形可能な物体の素材特性を精度よく推定することができる。

ロボットシステム１の構成の一例を示す図である。 平置きされているＴシャツの形状の一例を示す図である。 略半分に畳まれているＴシャツの形状の一例を示す図である。 第１基準軌道ＴＲ１及び第２基準軌道ＴＲ２それぞれの一例を示す図である。 第１基準軌道ＴＲ１及び第２基準軌道ＴＲ２のそれぞれの一例を示す側面図である。 図５に示した第１基準軌道ＴＲ１及び第２基準軌道ＴＲ２のそれぞれを示す上面図である。 情報処理装置３０のハードウェア構成の一例を示す図である。 情報処理装置３０の機能構成の一例を示す図である。 機械学習モデルＭＤの構成の一例を示す図である。 操作モジュールＭｎの構成の一例を示す図である。 情報処理装置３０が機械学習モデルＭＤを利用する場合におけるデータフローの一例を示す図である。 情報処理装置３０が機械学習モデルＭＤに学習させる処理の流れの一例を示す図である。 情報処理装置３０が制御値ｍの推定値を推定する処理の流れの一例を示す図である。 情報処理装置３０が素材特性値Ｍｔの推定値を推定する処理の流れの一例を示す図である。 情報処理装置３０により推定された素材特性値Ｍｔを例示する図である。

＜実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。

＜情報処理装置の概要＞
まず、実施形態に係る情報処理装置の概要について説明する。

実施形態に係る情報処理装置は、変形可能な物体の初期形状を予め決められた目標形状へ変形させるロボットが初期形状を目標形状へ変形させる１以上の動作をロボットに行わせるための制御値を含む第１入力情報に基づいて、物体の素材特性を示す１種類以上の素材特性値の推定値を機械学習モデルに推定させ、推定させた１種類以上の素材特性値の推定値に応じた出力情報を出力する制御部を備える。これにより、情報処理装置は、変形可能な物体の素材特性を精度よく推定することができる。

以下では、実施形態に係る情報処理装置の構成と、当該情報処理装置が行う処理とについて詳しく説明する。

＜情報処理装置の構成＞
以下、図１に示したロボットシステム１が備える情報処理装置３０を例に挙げて、実施形態に係る情報処理装置の構成について説明する。なお、以下では、一例として、ある物体の形状を示す形状情報が、当該物体のメッシュモデルを示す情報である場合について説明する。

図１は、ロボットシステム１の構成の一例を示す図である。ロボットシステム１は、撮像部１０と、ロボット２０と、情報処理装置３０を備える。図１に示した例では、ロボットシステム１では、撮像部１０と、ロボット２０と、情報処理装置３０とのそれぞれが別体に構成されている。しかしながら、ロボットシステム１において、撮像部１０と、ロボット２０と、情報処理装置３０とのうちの一部又は全部は、一体に構成されてもよい。また、ロボットシステム１は、撮像部１０を備えない構成であってもよい。また、ロボットシステム１は、撮像部１０と、ロボット２０と、情報処理装置３０とに加えて、他の装置を備える構成であってもよい。

撮像部１０は、被写体の三次元形状を示す情報を含む撮像画像を撮像可能なカメラである。以下では、一例として、撮像部１０が、２つの撮像光学系を備え、これら２つの撮像光学系によってステレオ撮像可能なカメラである場合について説明する。ここで、このようなカメラは、撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備えるが、他の種類の撮像素子を備える構成であってもよい。また、撮像部１０は、ロボット２０が作業を行うことが可能な作業領域を含む範囲を撮像可能な位置に設けられる。なお、撮像部１０は、静止画像を撮像する構成であってもよく、動画像を撮像する構成であってもよい。また、撮像部１０は、このようなステレオ撮像可能なカメラに代えて、例えば、赤外パルスによって三次元形状を示す情報を含む撮像画を撮像可能なカメラ、ライトフィールドカメラ等の、被写体の三次元形状を示す情報を含む撮像画像を撮像可能な他の種類のカメラであってもよい。また、撮像部１０は、被写体の色情報を含む撮像画像を撮像可能なカメラであってもよい。これは、被写体の色情報を含む撮像画像に基づいて、被写体の形状を示す形状情報として、メッシュモデルを示す情報を生成することが可能だからである。以下では、説明の便宜上、撮像部１０により１回の撮像毎に撮像される２枚の撮像画像を、まとめてステレオ撮像画像と称して説明する。

撮像部１０は、情報処理装置３０により制御される。このため、撮像部１０は、有線又は無線によって情報処理装置３０と通信可能に接続される。

ロボット２０は、第１アームと第２アームとを備えた双腕ロボットである。なお、ロボット２０は、第１アームと第２アームとのうちのいずれか一方を備えた単腕ロボットであってもよく、３本以上のアームを備えた多腕ロボットであってもよい。また、ロボット２０は、スカラロボットであってもよく、ガントリ等の直交座標型のロボットであってもよい。

第１アームは、垂直多関節型の第１マニピュレータと、物体を把持可能な第１エンドエフェクタとにより構成される。ここで、第１エンドエフェクタは、第１マニピュレータの先端に取り付けられる。なお、第１エンドエフェクタと第１マニピュレータとの間には、第１エンドエフェクタに加わる外力と、第１エンドエフェクタに加わるモーメントとのうちの少なくとも一方を検出可能な力センサが設けられていてもよく、当該力センサが設けられていなくてもよい。

第２アームは、垂直多関節型の第２マニピュレータと、物体を把持可能な第２エンドエフェクタとにより構成される。ここで、第２エンドエフェクタは、第２マニピュレータの先端に取り付けられる。なお、第２エンドエフェクタと第２マニピュレータとの間には、第２エンドエフェクタに加わる外力と、第２エンドエフェクタに加わるモーメントとのうちの少なくとも一方を検出可能な力センサが設けられていてもよく、当該力センサが設けられていなくてもよい。

図１に示した例では、第１エンドエフェクタと第２エンドエフェクタとのそれぞれは、ロボット２０が作業を行う対象となる物体Ｏの一部を把持している。ここで、物体Ｏは、変形可能な物体であり、例えば、布である。なお、物体Ｏは、布に代えて、フィルム等のシート状の物体であってもよく、コード等の紐状の物体であってもよく、他の変形可能な物体であってもよい。以下では、説明の便宜上、物体Ｏが有する位置のうち、第１エンドエフェクタにより把持される位置を、第１把持位置ｇ１と称して説明する。また、以下では、説明の便宜上、物体Ｏが有する位置のうち、第２エンドエフェクタにより把持される位置を、第２把持位置ｇ２と称して説明する。

ロボット２０は、情報処理装置３０により制御される。このため、ロボット２０は、有線又は無線によって情報処理装置３０と通信可能に接続される。

情報処理装置３０は、撮像部１０を制御し、撮像部１０が撮像可能な範囲を撮像部１０に撮像させる。情報処理装置３０は、撮像部１０が撮像したステレオ撮像画像を撮像部１０から取得する。

情報処理装置３０は、Ｎ個の動作をロボット２０が順に行うようにロボット２０を制御し、ロボット２０に予め決められた作業Ｗを行わせる。Ｎは、１以上の整数であれば、如何なる整数であってもよい。作業Ｗは、物体Ｏの初期形状を予め決められた目標形状へ変形させる作業である。以下では、物体ＯがＴシャツである場合について説明する。この場合、物体Ｏの初期形状は、例えば、図２に示したように、平置きされている状態のＴシャツの形状である。図２は、平置きされているＴシャツの形状の一例を示す図である。また、この場合、物体Ｏの目標形状は、図３に示したように、略半分に畳まれているＴシャツの形状である。図３は、略半分に畳まれているＴシャツの形状の一例を示す図である。すなわち、本実施形態では、作業Ｗは、平置きされたＴシャツを半分に折り畳む作業である場合について説明する。また、作業Ｗは、平置きされたＴシャツを半分に折り畳む作業に代えて、物体Ｏの初期形状を目標形状へ変形させる他の作業であってもよい。なお、図２及び図３に描かれた三次元座標系は、図２及び図３における方向を示す。そして、図２及び図３に描かれた三次元座標系のＺ軸の負方向は、図２及び図３における重力方向と一致している。また、図２及び図３には、第１把持位置ｇ１と第２把持位置ｇ２とのそれぞれの一例が示されている。すなわち、ロボット２０は、例えば、図２及び図３に示した第１把持位置ｇ１を第１エンドエフェクタによって把持し、図２及び図３に示した第２把持位置ｇ２を第２エンドエフェクタによって把持しながら、平置きされたＴシャツを半分に折り畳む作業Ｗを行う。

情報処理装置３０は、このようなロボット２０の制御を行うため、ロボット２０に行わせるＮ個の動作を示す制御値ｍを生成する。Ｎ個の動作を示す制御値ｍは、すなわち、Ｎ個の動作によって第１制御点及び第２制御点のそれぞれが移動する軌道を示す。また、Ｎ個の動作を示す制御値ｍは、物体Ｏの素材特性を示す１種類以上の素材特性値に応じて生成される。何故なら、Ｎ個の動作は、物体Ｏの素材特性に応じて変わらなければ、作業Ｗを精度よく行うことができないことがあるためである。また、Ｎ個の動作を示す制御値ｍには、Ｎ個の動作それぞれの動作を示す制御値が含まれている。そこで、以下では、説明の便宜上、Ｎ個の動作のうちのｎ番目の動作を示す制御値を、制御値ｍｎと称して説明する。ｎは、１以上Ｎ以下の範囲内に含まれるいずれかの整数のことである。すなわち、Ｎ個の動作を示す制御値ｍには、Ｎ個の動作のうちの１番目の動作を示す制御値ｍ１から、Ｎ個の動作のうちのＮ番目の動作を示す制御値ｍＮまでのＮ個の制御値が含まれている。

ここで、物体Ｏの素材特性を示す１種類以上の素材特性値は、物体Ｏの曲がり易さを示す値と、物体Ｏの伸び易さを示す値と、物体Ｏの重厚さを示す値と、物体Ｏの滑り易さを示す値との４種類の素材特性値のうちの少なくとも１つである。なお、物体Ｏの重厚さを示す値は、物体Ｏの重さを示す値と、物体Ｏの厚さを示す値との少なくとも一方により表される。また、物体Ｏの滑り易さを示す値は、例えば、物体Ｏの摩擦係数であるが、これに限られるわけではない。以下では、一例として、当該１種類以上の素材特性値が、これら４種類の素材特性値である場合について説明する。これら４種類の素材特性値のそれぞれは、確率分布によって表された値である。より具体的には、これら４種類の素材特性値のそれぞれは、予め決められた範囲内に含まれる中心値と、中心値周りの分布の幅によって表された値である。以下では、一例として、当該予め決められた範囲が０以上１以下の範囲である場合について説明する。当該予め決められた範囲は、０以上１以下の範囲に代えて、他の範囲であってもよい。これら４種類の素材特性値のそれぞれを０以上１以下の範囲内の値として表す方法は、既知の方法であってもよく、これから開発される方法であってもよい。また、中心値周りの分布の幅は、中心値を含む誤差範囲によって表される。この場合、例えば、これら４種類の素材特性値のうちのある素材特性値についての知識が得られていない場合、当該素材特性値は、中心値が０．５であり、分布の幅が１（すなわち、０．５を中心とした±０、５の範囲）によって表される。なお、これら４種類の素材特性値のうちの一部又は全部は、他の方法により表されてもよい。以下では、説明の便宜上、これら４種類の素材特性値のそれぞれを、まとめて素材特性値Ｍｔと称して説明する。

制御値ｍの生成において、情報処理装置３０は、学習済みの機械学習モデルＭＤを用いる。機械学習モデルＭＤの学習には、物体Ｏの初期形状を示す初期形状情報Ｐ０と、制御値ｍ１～制御値ｍＮのＮ個の制御値と、Ｎ個の動作のうちの１番目の動作についての途中形状情報Ｐ１～Ｎ個の動作のうちのＮ番目の動作についての途中形状情報ＰＮのＮ個の途中形状情報と、素材特性値Ｍｔとのそれぞれを含む入力情報ＤＴ０が用いられる。ここで、ｎ番目の動作についての途中形状情報Ｐｎは、Ｎ個の動作のうちのｎ番目の動作を行った後の物体Ｏの形状を示す情報のことである。また、情報処理装置３０は、機械学習モデルＭＤの学習を、複数の入力情報ＤＴ０を用いて行う。これら複数の入力情報ＤＴ０には、Ｎ個の制御値として互いに異なる制御値が含まれている。また、これら複数の入力情報ＤＴ０には、Ｎ個の途中形状情報として、互いに異なる途中形状情報が含まれている。これら複数の入力情報ＤＴ０は、シミュレーション等によって予め生成される。なお、これら複数の入力情報ＤＴ０の生成方法は、既知の方法であってもよく、これから開発される方法であってもよい。情報処理装置３０は、１～Ｎまでの値のうちの１つをｉとしてランダムに選択する。この際、情報処理装置３０は、複数の入力情報ＤＴ０のうちの１つをランダムに選択する。その後、情報処理装置３０は、選択した入力情報ＤＴ０に基づいて、ｉ＋１番目の動作を行った後の物体Ｏの形状として尤もらしいと推定される推定形状を示す推定形状情報～Ｎ番目の動作を行った後の物体Ｏの形状として尤もらしいと推定される推定形状を示す推定形状情報を機械学習モデルＭＤに推定させる。そして、情報処理装置３０は、推定させたこれらの推定形状情報の誤差が小さくなるように、機械学習モデルＭＤの重み及びバイアスを更新する。情報処理装置３０は、このようなｉとする値、及び、入力情報ＤＴ０のランダムな選択から機械学習モデルＭＤの重み及びバイアスの更新までの処理を繰り返し行うことにより、機械学習モデルＭＤを学習させることができる。これにより、機械学習モデルＭＤは、初期形状を示す初期形状情報Ｐ０と制御値ｍと素材特性値Ｍｔとを含む入力情報ＤＴ１が入力された場合、初期形状の物体ＯがＮ個の動作のそれぞれによって変形させられた後の物体Ｏの形状として最も尤もらしいと推定される推定形状を示す推定形状情報を出力するように学習される。機械学習モデルＭＤは、このように学習済みの機械学習モデルであれば、如何なる機械学習モデルであってもよい。以下では、一例として、機械学習モデルＭＤが、ニューラルネットワークを含む場合について説明する。なお、機械学習モデルＭＤの構成の詳細については、後述する。また、上記のような複数の入力情報ＤＴ０のそれぞれは、操作事例と称されることもある。

制御値ｍを生成するため、情報処理装置３０は、ユーザからの操作に応じて、初期形状情報Ｐ０と、制御値ｍの初期値と、素材特性値Ｍｔの初期値とを含む入力情報ＤＴ２を受け付ける。情報処理装置３０は、受け付けた入力情報ＤＴ２と目標形状情報Ｇと機械学習モデルＭＤとを用いた誤差逆伝播法により、制御値ｍとして最も尤もらしい値を制御値ｍの推定値として機械学習モデルＭＤに推定させる。ここで、制御値ｍの初期値は、第１制御点及び第２制御点のそれぞれが移動する軌道として予め決められた基準となる軌道を示す制御値ｍのことである。また、素材特性値Ｍｔの初期値は、物体Ｏについて予め知っている知識に応じてユーザにより与えられる値である。このため、物体Ｏの４種類の素材特性についての知識をユーザがすべて知らない場合、これら４種類の素材特性値はすべて、中心値が０．５であり、分布の幅が１（すなわち、０．５を中心とした±０、５の範囲）によって表される。

このようにして推定された制御値ｍの推定値は、素材特性値Ｍｔの初期値に応じた制御値ｍの推定値である。しかしながら、素材特性値Ｍｔの初期値は、物体Ｏの４種類の素材特性のそれぞれを示していないことがある。例えば、前述した通り、これら４種類の素材特性のうちの一部又は全部についての知識をユーザが知らない場合、推定された制御値ｍの推定値は、精度の高い推定値とはなり得ない。そこで、制御値ｍの推定値を推定した後、情報処理装置３０は、推定した制御値ｍの推定値と、初期形状情報Ｐ０と、素材特性値Ｍｔの初期値とを含む入力情報ＤＴ３を生成する。そして、情報処理装置３０は、生成した入力情報ＤＴ３と、前述の途中形状情報Ｐ１～途中形状情報ＰＮのＮ個の途中形状情報とを用いた誤差逆伝播法により、機械学習モデルＭＤに素材特性値Ｍｔの推定値を推定させる。このようにして推定された素材特性値Ｍｔの推定値は、制御値ｍの推定値に基づくＮ個の動作によってロボット２０が作業Ｗを精度よく行うことができるように推定された推定値である。なお、ここでの素材特性値Ｍｔの推定処理の説明は、あくまで概略的な説明である。素材特性値Ｍｔの推定処理の詳細な説明は、後述する。

情報処理装置３０は、上記において説明した素材特性値Ｍｔの推定値の推定と、上記において説明した制御値ｍの推定値の推定とを交互に繰り返すことにより、素材特性値Ｍｔの推定値と制御値ｍの推定値とのそれぞれの推定精度を向上させることができる。また、情報処理装置３０は、推定した素材特性値Ｍｔの推定値に応じた出力情報を出力する構成であってもよい。これにより、情報処理装置３０は、物体Ｏの素材特性に応じた制御値ｍを、精度よく推定させることができる。

また、情報処理装置３０は、このようにして機械学習モデルＭＤに推定させた制御値ｍの推定値に基づいて、ロボット２０に作業Ｗを精度よく行わせることができる。これにより、情報処理装置３０は、物体Ｏの素材特性が予め分からなかったとしても、機械学習モデルＭＤを用いて推定された素材特性値Ｍｔの推定値及び制御値ｍの推定値に基づいて、精度の高い作業Ｗをロボット２０に行わせることができる。

＜情報処理装置による第１制御点及び第２制御点の設定＞
ここで、情報処理装置３０による第１制御点及び第２制御点の設定について説明する。第１制御点は、第１エンドエフェクタを制御するための制御点であり、例えば、第１アームについてのＴＣＰ（Tool Center Point）である。また、第２制御点は、第２エンドエフェクタを制御するための制御点であり、例えば、第２アームについてのＴＣＰである。なお、第１制御点及び第２制御点のうちのいずれか一方又は両方は、ＴＣＰに代えて、他の種類の制御点であってもよい。

まず、情報処理装置３０は、ロボット２０が第１エンドエフェクタ及び第２エンドエフェクタそれぞれの位置及び姿勢を表すための基準となる三次元直交座標系を、ロボット２０の予め決められた位置にロボット座標系として設定する。ロボット２０の予め決められた位置は、例えば、ロボット２０の基台の重心の位置であるが、これに代えて、ロボット２０に応じた他の位置であってもよい。

次に、情報処理装置３０は、第１エンドエフェクタの予め決められた位置に、第１エンドエフェクタとともに動く仮想的な第１制御点を設定する。第１エンドエフェクタの予め決められた位置は、例えば、第１エンドエフェクタの重心の位置であるが、これに限られるわけではない。

第１制御点には、第１制御点の位置を示す情報である第１制御点位置情報と、第１制御点の姿勢を示す情報である第１制御点姿勢情報とが対応付けられている。なお、第１制御点には、これらに加えて、他の情報が対応付けられる構成であってもよい。情報処理装置３０は、第１制御点位置情報及び第１制御点姿勢情報のそれぞれを指定（決定）した場合、第１マニピュレータが有する複数の関節のうちの少なくとも１つを動作させることによって、指定した第１制御点位置情報が示す位置に第１制御点の位置を一致させるとともに、指定した第１制御点姿勢情報が示す姿勢に第１制御点の姿勢を一致させる。すなわち、情報処理装置３０は、第１制御点位置情報及び第１制御点姿勢情報を指定することにより、ロボット２０を動作させる。以下では、説明の便宜上、第１制御点位置情報が示す位置を、第１目標位置と称して説明する。また、以下では、説明の便宜上、第１制御点姿勢情報が示す姿勢を、第１目標姿勢と称して説明する。

この一例において、第１制御点の位置は、第１制御点座標系の原点のロボット座標系における位置によって表される。また、第１制御点の姿勢は、第１制御点座標系の各座標軸のロボット座標系における方向によって表される。第１制御点座標系は、第１制御点とともに動くように第１制御点に対応付けられた三次元直交座標系である。なお、この一例において、第１エンドエフェクタの位置及び姿勢は、第１制御点の位置及び姿勢によって表される。

また、情報処理装置３０は、第２エンドエフェクタの予め決められた位置に、第２エンドエフェクタとともに動く仮想的な第２制御点を設定する。第２エンドエフェクタの予め決められた位置は、例えば、第２エンドエフェクタの重心の位置であるが、これに限られるわけではない。

第２制御点には、第２制御点の位置を示す情報である第２制御点位置情報と、第２制御点の姿勢を示す情報である第２制御点姿勢情報とが対応付けられている。なお、第２制御点には、これらに加えて、他の情報が対応付けられる構成であってもよい。情報処理装置３０は、第２制御点位置情報及び第２制御点姿勢情報のそれぞれを指定（決定）した場合、第２マニピュレータが有する複数の関節のうちの少なくとも１つを動作させることによって、指定した第２制御点位置情報が示す位置に第２制御点の位置を一致させるとともに、指定した第２制御点姿勢情報が示す姿勢に第２制御点の姿勢を一致させる。すなわち、情報処理装置３０は、第２制御点位置情報及び第２制御点姿勢情報を指定することにより、ロボット２０を動作させる。以下では、説明の便宜上、第２制御点位置情報が示す位置を、第２目標位置と称して説明する。また、以下では、説明の便宜上、第２制御点姿勢情報が示す姿勢を、第２目標姿勢と称して説明する。

この一例において、第２制御点の位置は、第２制御点座標系の原点のロボット座標系における位置によって表される。また、第２制御点の姿勢は、第２制御点座標系の各座標軸のロボット座標系における方向によって表される。第２制御点座標系は、第２制御点とともに動くように第２制御点に対応付けられた三次元直交座標系である。なお、この一例において、第２エンドエフェクタの位置及び姿勢は、第２制御点の位置及び姿勢によって表される。

情報処理装置３０は、このようにして設定した第１制御点及び第２制御点を移動させることによって第１アーム及び第２アームを動かし、予め決められた作業Ｗをロボット２０に行わせる。

＜制御値ｍの初期値の構成の具体例＞
次に、制御値ｍの初期値の構成の具体例について説明する。

前述の制御値ｍの初期値を生成するため、情報処理装置３０は、ユーザからの操作に応じて、第１把持位置ｇ１を把持した第１エンドエフェクタを実際に移動させる軌道を生成するために用いる基準となる第１基準軌道ＴＲ１を示す第１基準軌道情報と、第２把持位置ｇ２を把持した第２エンドエフェクタを実際に移動させる軌道を生成するために用いる基準となる第２基準軌道ＴＲ２を示す第２基準軌道情報とを受け付ける。なお、第１基準軌道ＴＲ１及び第２基準軌道ＴＲ２のそれぞれは、単純な軌道であることが望ましい。以下では、一例として、第１基準軌道ＴＲ１及び第２基準軌道ＴＲ２が、図４に示したように、ある共通の軸を回転軸とする略半円弧の軌道である場合について説明する。図４は、第１基準軌道ＴＲ１及び第２基準軌道ＴＲ２それぞれの一例を示す図である。図４では、第１基準軌道ＴＲ１及び第２基準軌道ＴＲ２は、共通の軸Ｔを回転軸とする略半円弧の軌道である。この場合、ロボット２０は、第１把持位置ｇ１を把持した第１エンドエフェクタをある角速度で第１基準軌道ＴＲ１に沿って移動させ、且つ、第２把持位置ｇ２を把持した第２エンドエフェクタを当該角速度で第２基準軌道ＴＲ２に沿って移動させることにより、図２に示した初期形状の物体Ｏを、図３に示した目標形状の物体Ｏへ変形させることができると推定される。なお、図４では、軸Ｔは、Ｙ軸と平行な方向に延伸する軸であるため、点によって示されている。

ここで、制御値ｍの初期値に含まれる制御値ｍ１～制御値ｍＮのＮ個の制御値のそれぞれには、第１基準軌道ＴＲ１及び第２基準軌道ＴＲ２に応じて決められる複数の制御パラメータが含まれている。この一例において、第１基準軌道ＴＲ１及び第２基準軌道ＴＲ２のそれぞれは、前述した通り、共通の軸Ｔを回転軸とする略半円弧の軌道である。この場合、情報処理装置３０は、図５及び図６に示したように、ロボット座標系における点ａの位置を示す位置ベクトルＡと、点ａを原点とする三次元局所極座標系における原点から中点ｃまでの距離ｒと、当該三次元局所極座標系における原点から中点ｃまでの仰角θと、当該三次元局所極座標系における原点から中点ｃまでの方位角φとの４つのパラメータを、前述の複数の制御パラメータとして用いる。ただし、中点ｃは、第１制御点と第２制御点との間の中点のことである。また、点ａは、軸Ｔ上の点であり、中点ｃの回転中心の位置を示す点である。

図５及び図６は、第１基準軌道ＴＲ１及び第２基準軌道ＴＲ２に応じて決められる４つの制御パラメータを説明するための図である。より具体的には、図５は、第１基準軌道ＴＲ１及び第２基準軌道ＴＲ２のそれぞれの一例を示す側面図である。また、図６は、図５に示した第１基準軌道ＴＲ１及び第２基準軌道ＴＲ２のそれぞれを示す上面図である。なお、図５及び図６に描かれた三次元座標系は、図５及び図６における方向を示す。そして、図５及び図６に描かれた三次元座標系のＺ軸の負方向は、図５及び図６における重力方向と一致している。また、図６では、第１基準軌道ＴＲ１及び第２基準軌道ＴＲ２のそれぞれは、直線状の軌道として見えている。また、図５及び図６では、図を簡略化するため、物体Ｏが省略されている。

図５及び図６に示したように、第１把持位置ｇ１は、第１基準軌道ＴＲ１の始点である。また、第２把持位置ｇ２は、第２基準軌道ＴＲ２の始点である。第１把持位置ｇ１と第１制御点の位置とが一致し、且つ、第２把持位置ｇ２と第２制御点の位置とが一致している場合、中点ｃは、図５及び図６に示したように、第１把持位置ｇ１と第２把持位置ｇ２との間の中点の位置に位置している。そして、中点ｃは、ある角速度で第１把持位置が第１基準軌道ＴＲ１に沿って移動し、且つ、当該角速度で第２把持位置が第２基準軌道ＴＲ２に沿って移動する場合、図５及び図６に示したように、第１基準軌道ＴＲ１及び第２基準軌道ＴＲ２の回転軸を示す軸Ｔを回転軸とする略半円弧の形状の軌道ＴＲＣに沿って当該角速度で移動する。ここで、第１基準軌道ＴＲ１に沿って移動する第１制御点の位置と、第２基準軌道ＴＲ２に沿って移動する第２制御点の位置とは、軌道ＴＲＣに沿って移動する中点ｃの位置に基づいて算出可能である。このため、情報処理装置３０は、第１制御点の位置と中点ｃの位置との間の相対的な位置関係を示す情報と、第２制御点の位置と中点ｃの位置との間の相対的な位置関係を示す情報とを予め記憶しておくことにより、中点ｃの位置を指定することで、第１制御点及び第２制御点それぞれの位置を指定することができる。このため、この一例では、情報処理装置３０は、前述の位置ベクトルＡ、距離ｒ、仰角θ、方位角φの４つのパラメータを、前述の複数の制御パラメータとして採用することができる。なお、第１基準軌道ＴＲ１と第２基準軌道ＴＲ２との両方には、ランダムなノイズが含まれる構成であってもよい。この場合であっても、中点ｃの位置を指定することで、第１制御点及び第２制御点それぞれの位置を指定することができる。このため、この場合であっても、情報処理装置３０は、前述の位置ベクトルＡ、距離ｒ、仰角θ、方位角φの４つのパラメータを、前述の複数の制御パラメータとして採用することができる。

これら４つの制御パラメータの初期値を特定するため、情報処理装置３０は、ユーザからの操作に応じて、初期条件を示す初期条件情報を受け付ける。初期条件情報は、例えば、ロボット座標系における第１把持位置ｇ１と、ロボット座標系における第２把持位置ｇ２と、作業Ｗにおいてロボット座標系のＸＹ平面上を中点ｃが移動する移動量及びその方向を示すベクトルＤと、作業Ｗにおいて第１エンドエフェクタ及び第２エンドエフェクタに物体Ｏを離させる高さｈとを含む情報である。これにより、情報処理装置３０は、例えば、第１把持位置ｇ１と第２把持位置ｇ２とに基づいて、軌道ＴＲＣの始点の位置、すなわちベクトルＤの基点の位置を特定することができる。また、情報処理装置３０は、ベクトルＤの基点の位置と、ベクトルＤとに基づいて、点ａの位置を示す位置ベクトルＡを特定することができる。また、情報処理装置３０は、ベクトルＤの基点の位置と、ベクトルＤと、点ａの位置を示す位置ベクトルＡとに基づいて、ベクトルＤと直交し、当該ＸＹ平面と平行であり、点ａを通る仮想的な軸Ｔを特定することができる。その結果、情報処理装置３０は、４つの制御パラメータの初期値を特定することができる。

ここで、情報処理装置３０は、第１エンドエフェクタ及び第２エンドエフェクタを移動させて作業Ｗをロボット２０が行う動作を、前述のＮ個の動作に分割する。このため、情報処理装置３０は、４つの制御パラメータの初期値に基づいて、第１エンドエフェクタ及び第２エンドエフェクタに物体Ｏを把持させる。その後、情報処理装置３０は、Ｎ個の動作を順にロボット２０に行わせることにより、第１エンドエフェクタ及び第２エンドエフェクタを移動させて作業Ｗをロボット２０に行わせる。以下では、説明の便宜上、Ｎ個の動作のうちのｎ番目の動作を、第ｎ動作と称して説明する。この場合、第０動作は、４つの制御パラメータの初期値に基づいて、第１エンドエフェクタ及び第２エンドエフェクタに物体Ｏを把持させる動作を示す。また、この場合、制御値ｍに含まれる制御値ｍｎは、第ｎ動作を示す制御値である。情報処理装置３０は、第０動作を行った後、第１動作、第２動作、…、第Ｎ動作の順にＮ個の動作をロボット２０に行わせることにより、作業Ｗをロボット２０に行わせる。この場合、制御値ｍ１～制御値ｍＮのＮ個の制御値のそれぞれが示す動作には、動作に応じた４つの制御パラメータが対応付けられる。例えば、第ｎ動作には、第ｎ－１動作の結果として移動した後の中点ｃの位置からの移動先を示す４つの制御パラメータが対応付けられる。すなわち、第ｎ動作を示す制御値ｍｎには、第ｎ－１動作の結果として移動した後の中点ｃの位置からの変化分を示す４つの制御パラメータが含まれている。そして、これら４つの制御パラメータには、位置ベクトルＡの変化分ΔＡと、距離ｒの変化分Δｒと、仰角θの変化分Δθと、方位角φの変化分Δφとが含まれている。情報処理装置３０は、４つの制御パラメータの初期値と、軌道ＴＲＣ上の位置のうち、第ｎ動作によって中点ｃを位置させる位置とに基づいて、第ｎ動作を示す制御値ｍｎの初期値に含まれるべき４つの制御パラメータを算出することができる。なお、Ｎは、この一例における作業Ｗを行う場合、シミュレーションの結果を鑑みると、１５程度であることが望ましいと推定されている。また、制御値ｍｎに含まれている４つの制御パラメータを第１制御点位置情報、第１制御点姿勢情報、第２制御点位置情報、第２制御点姿勢情報のそれぞれに変換する方法は、既知の方法であってもよく、これから開発される方法であってもよい。以下では、説明の便宜上、第０動作によって第１エンドエフェクタ及び第２エンドエフェクタが物体Ｏを把持した場合における４つの制御パラメータを、第０位置姿勢パラメータＰｇ０と称して説明する。すなわち、第０位置姿勢パラメータは、作業Ｗにおける第１制御点及び第２制御点それぞれの初期位置及び初期姿勢を示すパラメータである。また、以下では、第ｎ動作によって中点ｃが位置する位置を、第ｎ位置姿勢と称して説明する。また、以下では、一例として、第ｎ位置姿勢も、位置ベクトルＡ、距離ｒ、仰角θ、方位角φの４つのパラメータによって表される場合について説明する。このため、以下では、説明の便宜上、第ｎ位置姿勢を示す４つのパラメータを、第ｎ位置姿勢パラメータＰｇｎと称して説明する。例えば、情報処理装置３０は、第０位置姿勢パラメータＰｇ０と、第１動作を示す制御値ｍ１に含まれる４つの制御パラメータとによって第１位置姿勢を算出することができる。また、例えば、情報処理装置３０は、第ｎ－１位置姿勢パラメータＰｇｎ－１と、第ｎ動作を示す制御値ｍに含まれる４つの制御パラメータとによって第ｎ位置姿勢を算出することができる。

なお、情報処理装置３０は、前述した通り、このようにして生成される制御値ｍの初期値に基づく機械学習モデルＭＤを用いた誤差逆伝播法により、制御値ｍの推定値を推定する。この制御値ｍの推定値が示す軌道は、一般的に、軌道ＴＲＣと異なる軌道となっている。このため、例えば、図６に示したベクトルＤは、方位角φが０以外の値となることにより、例えば、図６に示したベクトルＤ’のように点ａ周りに方位角φだけ回転することがある。この場合、前述の軸Ｔは、図６に示した軸Ｔ’のように点ａ周りに方位角φだけ回転する。なお、図５及び図６に示した点ｇ１’は、このようにしてベクトルＤ及び軸Ｔが回転している場合における第ｎ動作によって移動した後の第１制御点の位置の一例を示している。また、図５及び図６に示した点ｇ２’は、当該場合における第ｎ動作によって移動した後の第２制御点の位置の一例を示している。このため、図６に示した軌道ＴＲＣ’は、この制御値ｍの推定値が示す軌道の一例である。すなわち、図６に示した軌道ＴＲ１’は、当該場合において第１制御点が移動する軌道の一例である。また、図６に示した軌道ＴＲ２’は、当該場合において第２制御点が移動する軌道の一例である。

＜情報処理装置のハードウェア構成＞
以下、図７を参照し、情報処理装置３０のハードウェア構成について説明する。図７は、情報処理装置３０のハードウェア構成の一例を示す図である。

情報処理装置３０は、例えば、プロセッサ３１と、記憶部３２と、入力受付部３３と、通信部３４と、表示部３５を備える。情報処理装置３０が備えるこれらの機能部は、バスを介して相互に通信可能に接続されている。また、情報処理装置３０は、通信部３４を介して撮像部１０、ロボット２０のそれぞれと通信を行う。

プロセッサ３１は、例えば、ＣＰＵ（Central Processing Unit）である。なお、プロセッサ３１は、ＣＰＵに代えて、ＦＰＧＡ（Field Programmable Gate Array）等の他のプロセッサであってもよい。プロセッサ３１は、記憶部３２に格納された各種プログラムを実行する。

記憶部３２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含む記憶装置である。なお、記憶部３２は、情報処理装置３０に内蔵されるものに代えて、ＵＳＢ（Universal Serial Bus）等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。記憶部３２は、情報処理装置３０が処理する各種の情報、各種の画像、各種のプログラム等を記憶する。

入力受付部３３は、例えば、キーボード、マウス、タッチパッド等を含む入力装置である。なお、入力受付部３３は、表示部１５と一体に構成されたタッチパネルであってもよい。

通信部３４は、例えば、ＵＳＢ等のデジタル入出力ポート、イーサネット（登録商標）ポート、無線による通信用のアンテナ等を含んで構成される通信装置である。

表示部３５は、例えば、液晶ディスプレイパネル、有機ＥＬ（ElectroLuminescence）ディスプレイパネル等を含む表示装置である。

＜情報処理装置の機能構成＞
以下、図８を参照し、情報処理装置３０の機能構成について説明する。図８は、情報処理装置３０の機能構成の一例を示す図である。

情報処理装置３０は、記憶部３２と、入力受付部３３と、通信部３４と、表示部３５と、制御部３６を備える。

制御部３６は、情報処理装置３０の全体を制御する。制御部３６は、撮像制御部３６１と、取得部３６２と、推定部３６３と、表示制御部３６４と、学習部３６５と、ロボット制御部３６６を備える。制御部３６が備えるこれらの機能部は、例えば、プロセッサ３１が、記憶部３２に記憶された各種のプログラムを実行することにより実現される。また、当該機能部のうちの一部又は全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。

撮像制御部３６１は、撮像部１０を制御する。

取得部３６２は、撮像部１０が撮像したステレオ撮像画像を撮像部１０から取得する。

推定部３６３は、情報処理装置３０が行う各種の推定を行う。

表示制御部３６４は、受け付けた操作に応じて、各種の画像を生成する。また、表示制御部３６４は、生成した画像を表示部３５に表示させる。

学習部３６５は、機械学習モデルＭＤの学習を行う。

ロボット制御部３６６は、ロボット２０を制御する。

＜形状情報について＞
ここで、初期形状情報Ｐ０、途中形状情報Ｐ１～途中形状情報ＰＮ、Ｎ個の推定形状情報のそれぞれについて説明する。以下では、説明の便宜上、初期形状情報Ｐ０、途中形状情報Ｐ１～途中形状情報ＰＮ、Ｎ個の推定形状情報のそれぞれを、まとめて形状情報と称して説明する。これらの形状情報は、物体Ｏのメッシュモデルを示す情報である。以下では、一例として、物体Ｏのメッシュモデルのトポロジーを示す情報が情報処理装置３０に予め記憶されている場合について説明する。情報処理装置３０は、例えば、これらの形状情報のうちの初期形状情報Ｐ０を、撮像部１０等の撮像装置によって物体Ｏが撮像されたステレオ撮像画像に基づいて生成する。なお、初期形状情報Ｐ０は、情報処理装置３０と異なる装置により生成されてもよい。また、メッシュモデルを生成する方法は、既知の方法であってもよく、これから開発される方法であってもよい。また、情報処理装置３０は、途中形状情報Ｐ１～途中形状情報ＰＮのそれぞれを、初期形状情報Ｐ０と同様の方法により生成する。

初期形状情報Ｐ０、途中形状情報Ｐ１～途中形状情報ＰＮのそれぞれが物体Ｏのメッシュモデルを示す情報であるため、情報処理装置３０は、推定形状情報として、メッシュモデルを示す情報を生成する。このため、機械学習モデルＭＤは、物体Ｏのメッシュモデルを構成する頂点の位置を、確率分布によって表す。具体的には、機械学習モデルＭＤは、物体Ｏのメッシュモデルを構成する頂点の位置を、ロボット座標系における中心値の位置を示す３つの座標μと、それら３つの座標μそれぞれについての分散σとの６つのパラメータによって表す。ただし、情報処理装置３０は、計算量の増大を抑制するため、共分散行列が対角行列である場合において、物体Ｏのメッシュモデルを構成する頂点の位置を、これら６つのパラメータによって表す。このため、当該３つの座標μは、ロボット座標系におけるＸ軸方向の座標μｘと、ロボット座標系におけるＹ軸方向の座標μｙと、ロボット座標系におけるＺ軸方向の座標μｚのそれぞれのことである。また、当該３つの座標μそれぞれについての分散σは、当該Ｘ軸方向の分散σｘと、当該Ｙ軸方向の分散σｙと、当該Ｚ軸方向の分散σｚのそれぞれのことである。

なお、形状情報のそれぞれは、物体Ｏのメッシュモデルを示す情報に代えて、物体Ｏのボクセルモデルを示す情報であってもよい。ただし、形状情報のそれぞれは、物体Ｏのメッシュモデルを示す情報である方が、情報処理装置３０による推定精度が高くなるため、望ましい。

＜機械学習モデルの構成の具体例＞
以下、図９を参照し、機械学習モデルＭＤの構成の具体例について説明する。図９は、機械学習モデルＭＤの構成の一例を示す図である。

前述した通り、この一例において、機械学習モデルＭＤは、ニューラルネットワークを含んでいる。より具体的には、機械学習モデルＭＤは、例えば、符号化モジュールＥと、操作モジュールＭと、復号化モジュールＤＥとの３種類のモジュールにより構成されたニューラルネットワークを含んでいる。

符号化モジュールＥは、ＭＬＰ（Multi Layer Perceptron）のエンコーダであり、入力された形状情報を潜在変数Ｃ０へ符号化し、符号化した潜在変数Ｃ０を出力する。例えば、符号化モジュールＥは、形状情報のうちの初期形状情報Ｐ０が入力された場合、入力された初期形状情報Ｐ０を潜在変数Ｃ０へ符号化し、符号化した潜在変数Ｃ０を出力する。なお、符号化モジュールＥは、入力された形状情報を潜在変数Ｃ０へ符号化可能なモジュールであれば、他の構成のモジュールであってもよい。符号化モジュールＥでは、例えば、入力層から出力層に向かって、１３５０ニューロン（ノード）を有する層と、２０４８ニューロンを有する層と、１０２４ニューロンを有する層と、５１２ニューロンを有する層とが、１３５０ニューロン（ノード）を有する層、２０４８ニューロンを有する層、１０２４ニューロンを有する層、５１２ニューロンを有する層の順に配置される。そして、これら４つの層のうちの互いに隣り合う任意の２つの層は、互いに全結合されている。また、符号化モジュールＥにおける活性化関数は、例えば、双曲線正接関数であるが、これに代えて、他の種類の活性化関数であってもよい。

操作モジュールＭは、潜在変数Ｃｎが入力され、且つ、潜在変数Ｃｎ＋１を出力する全結合ネットワークとして構成されるモジュールである。

また、操作モジュールＭには、第ｎ動作を示す制御値ｍｎが入力（付加）される。以下では、説明の便宜上、制御値ｍｎが入力される場合の操作モジュールＭを、操作モジュールＭｎと称して説明する。また、操作モジュールＭｎには、素材特性値Ｍｔが入力（付加）される。また、操作モジュールＭｎには、第ｎ－１位置姿勢パラメータＰｇｎ－１が入力（付加）される。図９では、操作モジュールＭに入力されるこれら３つのパラメータを、「制御値」、「素材特性値」、「位置姿勢パラメータ」のそれぞれによって示している。

ここで、操作モジュールＭ１には、制御値ｍ１と、素材特性値Ｍｔと、第０位置姿勢パラメータＰｇ０とともに、符号化モジュールＥから出力された潜在変数Ｃ０が入力される。操作モジュールＭ１は、制御値ｍ１と、素材特性値Ｍｔと、第０位置姿勢パラメータＰｇ０と、潜在変数Ｃ０とに基づいて、潜在変数Ｃ１を出力する。潜在変数Ｃ１は、第１動作によって変形された後の物体Ｏの形状が符号化された潜在変数として最も尤もらしい潜在変数のことである。すなわち、操作モジュールＭ１は、制御値ｍ１と、素材特性値Ｍｔと、第０位置姿勢パラメータＰｇ０と、潜在変数Ｃ０とに基づいて、第１動作によって変形された後の物体Ｏの形状が符号化された潜在変数として最も尤もらしい潜在変数を潜在変数Ｃ１として推定し、推定した潜在変数Ｃ１を出力する。

一方、ｎ＞１の場合の操作モジュールＭｎには、制御値ｍｎと、素材特性値Ｍｔと、第ｎ－１位置姿勢パラメータＰｇｎ－１とともに、操作モジュールＭｎ－１から出力された潜在変数Ｃｎ－１が入力される。操作モジュールＭｎは、制御値ｍｎと、素材特性値Ｍｔと、第ｎ－１位置姿勢パラメータＰｇｎ－１と、潜在変数Ｃｎ－１とに基づいて、潜在変数Ｃｎを出力する。潜在変数Ｃｎは、第ｎ動作によって変形された後の物体Ｏの形状が符号化された潜在変数として最も尤もらしい潜在変数のことである。すなわち、操作モジュールＭｎは、制御値ｍｎと、素材特性値Ｍｔと、第ｎ－１位置姿勢パラメータＰｇｎ－１と、潜在変数Ｃｎ－１とに基づいて、第ｎ動作によって変形された後の物体Ｏの形状が符号化された潜在変数として最も尤もらしい潜在変数を潜在変数Ｃｎとして推定し、推定した潜在変数Ｃｎを出力する。

このように、情報処理装置３０は、操作モジュールＭ１～操作モジュールＭＮのＮ個の操作モジュールＭとして１個の操作モジュールＭを繰り返し利用する。なお、機械学習モデルＭＤは、１つの操作モジュールＭに代えて、操作モジュールＭ１～操作モジュールＭＮのＮ個の操作モジュールＭを備える構成であってもよい。操作モジュールＭは、このような繰り返しの利用により、Ｎ個の動作のそれぞれを順に物体Ｏへ行った場合における潜在変数Ｃ０の変化を、物体Ｏの素材特性を示す素材特性値Ｍｔに応じて推定する。例えば、操作モジュールＭｎは、図１０に示したように、潜在変数Ｃｎが入力され、且つ、入力層から出力層に向かって順に全結合された複数の第１層Ｌ１と、複数の第１層Ｌ１のそれぞれへ、制御値ｍｎ、素材特性値Ｍｔ、第ｎ－１位置姿勢パラメータＰｇｎ－１のそれぞれを付加する複数の第２層Ｌ２とにより構成される。図１０は、操作モジュールＭｎの構成の一例を示す図である。図１に示した例では、操作モジュールＭｎは、６つの第１層Ｌ１と、５つの第２層Ｌ２とにより構成される。図１０に示した例では、６つの第１層Ｌ１は、入力側から出力側に向かって順に、第１層Ｌ１１、第１層Ｌ１２、第１層Ｌ１３、第１層Ｌ１４、第１層Ｌ１５、第１層Ｌ１６によって示されている。また、当該例では、５つの第２層Ｌ２は、入力側から出力側に向かって順に、第２層Ｌ２１、第２層Ｌ２２、第２層Ｌ２３、第２層Ｌ２４、第２層Ｌ２５によって示されている。また、当該例では、第１層Ｌ１同士は、全結合されている。また、６つの第１層Ｌ１のうちのｊ番目の第１層１ｊは、第１層Ｌ１ｊ－１から入力された活性化ベクトルを活性化関数により活性化した新たな活性化ベクトルを第１層１ｊ＋１へ伝達する。ただし、０番目の第１層Ｌ１０から入力される活性化ベクトルは、操作モジュールＭｎへ入力された潜在変数Ｃｎそのものである。なお、ｊは、０～５のうちのいずれかである。図１０では、このような伝達を、「コピー」によって示している。また、当該例では、第１層Ｌ１と第２層Ｌ２との間も、全結合されている。一方、当該例では、第２層Ｌ２同士は、入力された制御値ｍｎ、素材特性値Ｍｔ、第ｎ－１位置姿勢パラメータＰｇｎ－１のそれぞれを順に伝達するように結合される。ここで、６つの第１層Ｌ１のそれぞれは、例えば、５１２ニューロン（ノード）を有する層であるが、これに限られるわけではない。また、５つの第２層Ｌ２のそれぞれは、制御値ｍｎ、素材特性値Ｍｔ、第ｎ－１位置姿勢パラメータＰｇｎ－１のそれぞれの自由度と同じ数のニューロンを有する層であるが、これに限られるわけではない。また、Ｎ個の操作モジュールＭそれぞれにおける活性化関数は、例えば、双曲線正接関数であるが、これに代えて、他の種類の活性化関数であってもよい。

復号化モジュールＤＥは、ＭＬＰのデコーダであり、入力された潜在変数を、前述の推定形状情報へ復号化する。以下では、説明の便宜上、潜在変数Ｃｎが入力される場合の復号化モジュールＤＥを、復号化モジュールＤＥｎと称して説明する。なお、復号化モジュールＤＥは、入力された潜在変数を推定形状情報へ復号化可能なモジュールであれば、他の構成のモジュールであってもよい。復号化モジュールＤＥでは、例えば、入力層から出力層に向かって、５１２ニューロンを有する層と、１０２４ニューロンを有する層と、２０４８ニューロンを有する層と、２７００ニューロン（ノード）を有する層とが、５１２ニューロンを有する層、１０２４ニューロンを有する層、２０４８ニューロンを有する層、２７００ニューロン（ノード）を有する層の順に配置される。そして、これら４つの層のうちの互いに隣り合う任意の２つの層は、互いに全結合されている。また、復号化モジュールＤＥにおける出力層以外の層の活性化関数は、例えば、双曲線正接関数であるが、これに代えて、他の種類の活性化関数であってもよい。また、復号化モジュールＤＥにおける出力層に含まれるニューロンのうち３つの座標μを出力するニューロンの活性化関数は、恒等関数である。また、復号化モジュールＤＥにおける出力層に含まれるニューロンのうち３つの分散σを出力するニューロンの活性化関数は、以下の式（１）に示すような関数である。

なお、上記の式（１）において、εは、１０^－４である。

ここで、復号化モジュールＤＥｎは、潜在変数Ｃｎが入力された場合、入力された潜在変数Ｃｎを推定形状情報Ｑｎへ復号化し、復号化した推定形状情報Ｑｎを出力する。

以上のような構成の機械学習モデルＭＤを利用し、情報処理装置３０は、図１１に示すようなデータフローを実現させる。図１１は、情報処理装置３０が機械学習モデルＭＤを利用する場合におけるデータフローの一例を示す図である。

図１１では、符号化モジュールＥには、初期形状情報Ｐ０が入力されている。この場合、符号化モジュールＥは、初期形状情報Ｐ０を潜在変数Ｃ０へ符号化し、符号化した潜在変数Ｃ０を出力する。その後、符号化モジュールＥから出力された潜在変数Ｃ０は、操作モジュールＭ１として利用される操作モジュールＭへ入力される。操作モジュールＭ１として利用される操作モジュールＭには、符号化モジュールＥから出力された潜在変数Ｃ０とともに、制御値ｍ１と、素材特性値Ｍｔと、第０位置姿勢パラメータＰｇ０とのそれぞれが入力される。操作モジュールＭ１は、入力されたこれらのパラメータに基づいて、潜在変数Ｃ１を推定し、推定した潜在変数Ｃ１を出力する。

操作モジュールＭ１として利用された操作モジュールＭから潜在変数Ｃ１が出力された後、操作モジュールＭは、操作モジュールＭ２～操作モジュールＭＮのそれぞれとして繰り返し利用される。そして、操作モジュールＭｎとして利用される操作モジュールＭには、操作モジュールＭｎ－１から出力された潜在変数Ｃｎ－１と、制御値ｍｎと、素材特性値Ｍｔと、第ｎ位置姿勢パラメータＰｇｎとのそれぞれが入力される。そして、操作モジュールＭｎは、入力されたこれらのパラメータに基づいて、潜在変数Ｃｎを推定し、推定した潜在変数Ｃｎを出力する。

操作モジュールＭｎとして利用された操作モジュールＭｎから潜在変数Ｃｎが出力された後、復号化モジュールＤＥは、復号化モジュールＤＥｎとして利用される。そして、復号化モジュールＤＥｎは、操作モジュールＭｎから出力された潜在変数Ｃｎを推定形状情報Ｑｎに復号化し、復号化した推定形状情報Ｑｎを出力する。ここで、推定形状情報Ｑｎは、復号化モジュールＤＥ１から出力される推定形状情報Ｑ１～復号化モジュールＤＥＮから出力される推定形状情報ＱＮのうちのｎ番目の推定形状情報のことである。

＜機械学習モデルに学習させる処理＞
以下、図１２を参照し、情報処理装置３０が機械学習モデルＭＤに学習させる処理について説明する。図１２は、情報処理装置３０が機械学習モデルＭＤに学習させる処理の流れの一例を示す図である。以下では、一例として、図１２に示したステップＳ１１０の処理が行われるよりも前のタイミングにおいて、機械学習モデルＭＤに学習させる処理を情報処理装置３０に開始させる操作を情報処理装置３０が受け付けている場合について説明する。また、以下では、一例として、当該タイミングにおいて、前述の複数の入力情報ＤＴ０のそれぞれが記憶部３２に記憶されている場合について説明する。なお、情報処理装置３０は、図１２に示したフローチャートの処理を行わない構成であってもよい。この場合、機械学習モデルＭＤは、情報処理装置３０と異なる装置により学習される。ここで、記憶部３２に予め記憶された複数の入力情報ＤＴ０のそれぞれに含まれる制御値ｍ（すなわち、機械学習モデルＭＤの学習段階において利用される制御値ｍ）は、測定、シミュレーション等の何らかの方法によって真値として生成された制御値である。このような真値として制御値ｍを生成する方法は、既知の方法であってもよく、これから開発される方法であってもよい。また、記憶部３２に予め記憶された複数の入力情報ＤＴ０のそれぞれに含まれる素材特性値Ｍｔ（すなわち、機械学習モデルＭＤの学習段階において利用される素材特性値Ｍｔ）は、測定、シミュレーション等の何らかの方法によって真値として生成された素材特性値である。このような真値として素材特性値Ｍｔを生成する方法は、既知の方法であってもよく、これから開発される方法であってもよい。また、このような真値としての素材特性値Ｍｔも、確率分布によって表される。

学習部３６５は、処理を行った回数を格納する変数Ｋを生成する。そして、学習部３６５は、生成した変数Ｋに格納されている値を、１に初期化する（ステップＳ１１０）。図１１では、ステップＳ１１０の処理を「Ｋ＝１」によって示している。

次に、学習部３６５は、１～Ｎまでの値のうちの１つをｉとしてランダムに選択し、且つ、複数の入力情報ＤＴ０のうちの１つをランダムに選択する（ステップＳ１２０）。

次に、学習部３６５は、ステップＳ１２０において選択した入力情報ＤＴ０に基づいて、ｉ＋１番目の動作を行った後の物体Ｏの形状として尤もらしいと推定される推定形状を示す推定形状情報Ｑｉ＋１～Ｎ番目の動作を行った後の物体Ｏの形状として尤もらしいと推定される推定形状を示す推定形状情報ＱＮを機械学習モデルＭＤに推定させる（ステップＳ１３０）。ここで、ステップＳ１３０において、学習部３６５は、操作モジュールＭを（Ｎ－（ｉ＋１））回繰り返し利用する。また、ステップＳ１３０において、学習部３６５は、記憶部３２に予め記憶された初期形状情報Ｐ０、素材特性値Ｍｔのそれぞれを読み出し、読み出した初期形状情報Ｐ０、素材特性値Ｍｔのそれぞれと、ステップＳ１２０において値をランダムに選択した制御値ｍ１～制御値ｍＮとを用いて推定形状情報Ｑｉ＋１～推定形状情報ＱＮのそれぞれを機械学習モデルＭＤに推定させる。なお、ステップＳ１３０の処理において、操作モジュールＭｎへ付加する第ｎ－１位置姿勢パラメータＰｇｎ－１は、学習部３６５により算出される構成であってもよく、機械学習モデルＭＤにより算出される構成であってもよい。また、ステップＳ１３０の処理において、操作モジュールＭｎへの制御値ｍｎ、素材特性値Ｍｔ、第ｎ－１位置姿勢パラメータＰｇｎ－１それぞれの付加方法は、既知の方法であってもよく、これから開発される方法であってもよい。当該付加方法の既知の方法としては、例えば、特開２０１９－０４９９０４号公報等に記載された方法が挙げられる。このため、本実施形態において、当該付加方法の既知の方法については、詳細な説明を省略する。

次に、学習部３６５は、記憶部３２から途中形状情報Ｐｉ＋１～途中形状情報ＰＮのそれぞれを読み出す。そして、学習部３６５は、推定形状情報Ｑｉ＋１と途中形状情報Ｐｉ＋１との差、推定形状情報Ｑｉ＋２と途中形状情報Ｐｉ＋２との差、…、推定形状情報ＱＮと途中形状情報ＰＮとの差のそれぞれが小さくなるように、符号化モジュールＥ、操作モジュールＭ、復号化モジュールＤＥそれぞれの重み及びバイアスを機械学習モデルＭＤに更新させる（ステップＳ１４０）。

次に、学習部３６５は、変数Ｋに格納されている値が予め決められた閾値Ｔｈ１以上であるか否かを判定する（ステップＳ１５０）。

学習部３６５は、変数Ｋに格納されている値が予め決められた閾値Ｔｈ１未満であると判定した場合（ステップＳ１５０－ＮＯ）、変数Ｋに格納されている値に１を加算する（ステップＳ１６０）。図１２では、ステップＳ１６０の処理を「Ｋ＝Ｋ＋１」によって示している。その後、学習部３６５は、ステップＳ１２０に遷移し、１～Ｎまでの値のうちの１つをｉとしてランダムに再び選択する。

一方、学習部３６５は、変数Ｋに格納されている値が予め決められた閾値Ｔｈ１以上であると判定した場合（ステップＳ１５０－ＹＥＳ）、機械学習モデルＭＤの学習が完了したと判定し、図１２に示したフローチャートの処理を終了させる。

以上のように、情報処理装置３０は、初期形状を示す初期形状情報Ｐ０と制御値ｍの初期値と素材特性値Ｍｔの初期値とを含む入力情報ＤＴ１が入力された場合、初期形状の物体ＯがＮ個の動作のそれぞれによって変形させられた後の物体Ｏの形状として最も尤もらしいと推定される推定形状を示す推定形状情報、すなわち、推定形状情報Ｑ１～推定形状情報ＱＮのそれぞれを出力するように学習する。これにより、情報処理装置３０は、以下において説明するように、このようにして学習された後の機械学習モデルＭＤを用いて、制御値ｍの推定値、素材特性値Ｍｔの推定値のそれぞれを推定することができる。

＜制御値の推定値を推定する処理＞
以下、図１３を参照し、情報処理装置３０が制御値ｍの推定値を推定する処理について説明する。図１３は、情報処理装置３０が制御値ｍの推定値を推定する処理の流れの一例を示す図である。以下では、一例として、図１３に示したステップＳ２１０の処理が行われるよりも前のタイミングにおいて、図１２に示したフローチャートの処理によって機械学習モデルＭＤが学習済みである場合について説明する。また、以下では、一例として、当該タイミングにおいて、制御値ｍの推定値を推定する処理を情報処理装置３０に開始させる操作を情報処理装置３０が受け付けている場合について説明する。また、以下では、一例として、当該タイミングにおいて、初期形状情報Ｐ０と、物体の目標形状を示す目標形状情報Ｇと、制御値ｍの初期値と、素材特性値Ｍｔの初期値とが記憶部３２に記憶されている場合について説明する。なお、情報処理装置３０は、図１３に示したフローチャートの処理を行わない構成であってもよい。この場合、制御値ｍの推定値は、情報処理装置３０と異なる装置により推定される。また、図１３に示したフローチャートの処理において、記憶部３２に予め記憶された初期形状情報Ｐ０として利用する形状情報は、後述する図１４に示したフローチャートの処理において初期形状情報Ｐ０として利用する形状情報と異なる形状情報であってもよい。これは、制御値ｍの推定において初期形状情報Ｐ０として利用する形状情報が示す形状は、必ずしも初期形状である必要がないためである。すなわち、制御値ｍの推定は、如何なる形状からスタートしてもよい。

推定部３６３は、処理を行った回数を格納する変数Ｋを生成する。そして、学習部３６５は、生成した変数Ｋに格納されている値を、１に初期化する（ステップＳ２１０）。図１３では、ステップＳ２１０の処理を「Ｋ＝１」によって示している。なお、推定部３６３は、ステップＳ２１０において変数Ｋを新たに生成せず、図１２に示したステップＳ１１０の処理において生成された変数Ｋを再利用する構成であってもよい。

次に、推定部３６３は、記憶部３２に予め記憶された初期形状情報Ｐ０、制御値ｍの初期値、素材特性値Ｍｔの初期値のそれぞれを読み出し、読み出した初期形状情報Ｐ０、制御値ｍの初期値、素材特性値Ｍｔの初期値のそれぞれを含む入力情報ＤＴ２を生成する（ステップＳ２２０）。

次に、推定部３６３は、ステップＳ２２０において生成した入力情報ＤＴ２を機械学習モデルＭＤへ入力する（ステップＳ２３０）。これにより、機械学習モデルＭＤは、入力された入力情報ＤＴ２に応じた推定形状情報ＱＮを出力する。ここで、推定部３６３は、ステップＳ２３０において、復号化モジュールＤＥを復号化モジュールＤＥＮとしてのみ利用する。このため、ステップＳ２３０では、機械学習モデルＭＤは、入力された入力情報ＤＴ２に応じた推定形状情報ＱＮを出力する。なお、ステップＳ２３０の処理において、操作モジュールＭｎへ付加する第ｎ－１位置姿勢パラメータＰｇｎ－１は、学習部３６５により算出される構成であってもよく、機械学習モデルＭＤにより算出される構成であってもよい。また、ステップＳ２３０の処理において、操作モジュールＭｎへの制御値ｍｎの初期値、素材特性値Ｍｔの初期値、第ｎ－１位置姿勢パラメータＰｇｎ－１それぞれの付加方法は、既知の方法であってもよく、これから開発される方法であってもよい。また、Ｎの値は、固定値であってもよく、固定値ではなくてもよい。Ｎの値が固定値ではない場合、Ｎの値は、制御値ｍから算出される。これは、制御値ｍが示す起動の終点にたどり着くまでの動作の回数が、制御値ｍの値に応じて変化しうるからである。ここで、このようなＮの値の算出方法は、既知の方法であってもよく、これから開発される方法であってもよい。

次に、推定部３６３は、ステップＳ２３０において機械学習モデルＭＤから出力された推定形状情報ＱＮを取得する（ステップＳ２４０）。

次に、推定部３６３は、機械学習モデルＭＤを用いた誤差逆伝播法により、ステップＳ２４０において取得した推定形状情報ＱＮが示す推定形状と、記憶部３２に予め記憶された目標形状情報Ｇが示す目標形状との差が小さくなるように制御値ｍの推定値の候補となる制御値ｍの推定値候補を機械学習モデルＭＤに推定させる（ステップＳ２５０）。

次に、推定部３６３は、ステップＳ２５０において機械学習モデルＭＤにより推定された制御値ｍの推定値候補を記憶部３２に記憶させる（ステップＳ２６０）。この際、推定部３６３は、ステップＳ２４０において取得した推定形状情報ＱＮが示す推定形状と、記憶部３２に予め記憶された目標形状情報Ｇが示す目標形状との差を示す差分値を、当該制御値ｍの推定値候補に対応付ける。

次に、推定部３６３は、初期形状情報Ｐ０と、素材特性値Ｍｔの初期値とともに、ステップＳ２５０において機械学習モデルＭＤにより推定された制御値ｍの推定値候補とのそれぞれを含む新たな入力情報ＤＴ２を生成する（ステップＳ２７０）。

次に、推定部３６３は、変数Ｋに格納されている値が予め決められた閾値Ｔｈ２以上であるか否かを判定する（ステップＳ２８０）。

推定部３６３は、変数Ｋに格納されている値が予め決められた閾値Ｔｈ２未満であると判定した場合（ステップＳ２８０－ＮＯ）、変数Ｋに格納されている値に１を加算する（ステップＳ３００）。図１２では、ステップＳ３００の処理を「Ｋ＝Ｋ＋１」によって示している。その後、推定部３６３は、ステップＳ２３０に遷移し、ステップＳ２２０において生成された入力情報ＤＴ２に代えて、ステップＳ２７０において新たに生成した入力情報ＤＴ２を機械学習モデルＭＤへ入力する。このようなステップＳ２３０～ステップＳ２７０の繰り返しの実行により、機械学習モデルＭＤは、推定形状情報ＱＮが示す推定形状と目標形状情報Ｇが示す目標形状との差を小さくする制御値ｍとして最も尤もらしい制御値ｍの推定値を推定することができる。なお、閾値Ｔｈ２は、例えば、事前に行う実験、シミュレーション等において、制御値ｍの推定精度が高くなるように決められるが、これに代えて、他の方法により決められてもよい。

一方、推定部３６３は、変数Ｋに格納されている値が予め決められた閾値Ｔｈ２以上であると判定した場合（ステップＳ２８０－ＹＥＳ）、記憶部３２に記憶された制御値ｍの推定値候補のうち、最小の差分値が対応付けられた制御値ｍの推定値候補を、推定形状情報ＱＮが示す推定形状と目標形状情報Ｇが示す目標形状との差を小さくする制御値ｍとして最も尤もらしい制御値ｍの推定値として推定し（ステップＳ２９０）、図１３に示したフローチャートの処理を終了させる。

以上のように、情報処理装置３０は、初期形状情報Ｐ０と、制御値ｍの初期値と、素材特性値Ｍｔの初期値とを含む入力情報ＤＴ２と、目標形状情報Ｇとを用いた誤差逆伝播法により、制御値ｍとして最も尤もらしい値を制御値ｍの推定値として機械学習モデルＭＤに推定させ、推定させた制御値ｍの推定値と初期形状情報Ｐ０とを含む前記第２入力情報を生成する。これにより、情報処理装置３０は、推定形状情報ＱＮが示す推定形状と目標形状情報Ｇが示す目標形状との差を小さくする制御値ｍとして最も尤もらしい制御値ｍの推定値を推定することができる。

＜素材特性値の推定値を推定する処理＞
以下、図１４を参照し、情報処理装置３０が素材特性値Ｍｔの推定値を推定する処理について説明する。図１４は、情報処理装置３０が素材特性値Ｍｔの推定値を推定する処理の流れの一例を示す図である。以下では、一例として、図１４に示したステップＳ３１０の処理が行われるよりも前のタイミングにおいて、図１２に示したフローチャートの処理によって機械学習モデルＭＤが学習済みである場合について説明する。また、以下では、一例として、当該タイミングにおいて、素材特性値Ｍｔの推定値を推定する処理を情報処理装置３０に開始させる操作を情報処理装置３０が受け付けている場合について説明する。また、以下では、一例として、当該タイミングにおいて、初期形状情報Ｐ０と、制御値ｍと、素材特性値Ｍｔの初期値とが記憶部３２に記憶されている場合について説明する。ここで、図１４に示したフローチャートの処理において、記憶部３２に予め記憶されている制御値ｍは、実際にロボット２０の制御に利用する制御値であってもよく、図１３に示したフローチャートの処理によって推定された制御値ｍの推定値であってもよい。

推定部３６３は、処理を行った回数を格納する変数Ｋを生成する。そして、学習部３６５は、生成した変数Ｋに格納されている値を、予め決められた閾値Ｔｈ３に初期化する（ステップＳ３１０）。図１３では、ステップＳ３１０の処理を「Ｋ＝Ｔｈ３」によって示している。なお、推定部３６３は、ステップＳ３１０において変数Ｋを新たに生成せず、図１１に示したステップＳ１１０又は図１２に示したステップＳ２１０の処理において生成された変数Ｋを再利用する構成であってもよい。また、閾値Ｔｈ３は、２以上であれば、如何なる整数であってもよい。

次に、推定部３６３は、記憶部３２に予め記憶された初期形状情報Ｐ０、制御値ｍ、素材特性値Ｍｔの初期値のそれぞれを読み出し、読み出した初期形状情報Ｐ０、制御値ｍ、素材特性値Ｍｔの初期値のそれぞれを含む入力情報ＤＴ３を生成する（ステップＳ３２０）。

次に、推定部３６３は、ステップＳ３２０において生成した入力情報ＤＴ３を機械学習モデルＭＤへ入力し、機械学習モデルＭＤから推定形状情報Ｑ１～推定形状情報ＱＫのＫ個の推定形状情報を取得する（ステップＳ３３０）。ここで、ステップＳ３３０において、推定部３６３は、操作モジュールＭを操作モジュールＭ１～操作モジュールＭＫのそれぞれとして繰り返し利用し、復号化モジュールＤＥを復号化モジュールＤＥ１～復号化モジュールＤＥＫのそれぞれとして繰り返し利用する。これにより、推定部３６３は、当該Ｋ個の推定形状情報を取得する。なお、図１４では、ステップＳ３３０の処理を「推定形状情報Ｑ１～ＱＫの取得」によって示している。

次に、推定部３６３は、ステップＳ３３０において取得した推定形状情報Ｑ１～推定形状情報ＱＫのＫ個の推定形状情報と、記憶部３２に予め記憶された途中形状情報Ｐ１～途中形状情報ＰＫのＫ個の途中形状情報と、機械学習モデルＭＤとを用いた誤差逆伝播法により、素材特性値Ｍｔの推定値を機械学習モデルＭＤに推定させる（ステップＳ３４０）。より具体的には、推定部３６３は、ステップＳ３４０において、当該誤差逆伝播法により、推定形状情報Ｑ１と途中形状情報Ｐ１との差、推定形状情報Ｑ２と途中形状情報Ｐ２との差、…、推定形状情報ＱＫと途中形状情報ＰＫとの差のＫ個の差のそれぞれが小さくなるように素材特性値Ｍｔの推定値を機械学習モデルＭＤに推定させる。このように複数の差に基づく誤差逆伝播法を行うため、推定部３６３は、ステップＳ３１０～ステップＳ３３０の処理により、Ｋ個の推定形状情報を取得する。従って、前述の閾値Ｔｈ３は、この誤差逆伝播法を実行可能な程度の推定形状情報の個数に応じて決められる。ここで、記憶部３２に予め記憶された途中形状情報Ｐ１～途中形状情報ＰＫのＫ個の途中形状情報は、実際に制御値ｍ１～制御値ｍＫのＫ個の制御値によって第１動作～第Ｋ動作のそれぞれを行う毎に撮像部１０により物体Ｏが撮像されたステレオ撮像画像に基づいて生成された途中形状情報であってもよい。この場合、情報処理装置３０は、ロボット２０に作業Ｗを行わせながら、図１４に示したフローチャートの処理を並列に実行することができる。また、記憶部３２に予め記憶された途中形状情報Ｐ１～途中形状情報ＰＫのＫ個の途中形状情報は、シミュレーションによって得られた途中形状情報であってもよく、他の方法によって得られた途中形状情報であってもよい。また、推定部３６３は、目標形状情報Ｇを途中形状情報ＰＮとして利用してもよい。

次に、推定部３６３は、変数Ｋに格納されている値に１を加算する（ステップＳ３５０）。図１３では、ステップＳ３５０の処理を「Ｋ＝Ｋ＋１」によって示している。

次に、推定部３６３は、初期形状情報Ｐ０と、制御値ｍと、ステップＳ３４０において推定された素材特性値Ｍｔの推定値とのそれぞれを含む新たな入力情報ＤＴ３を生成する（ステップＳ３６０）。

次に、推定部３６３は、ステップＳ３２０において生成した入力情報ＤＴ３を機械学習モデルＭＤへ入力し、機械学習モデルＭＤから推定形状情報Ｑ１～推定形状情報ＱＫのＫ個の推定形状情報を取得する（ステップＳ３７０）。図１４では、ステップＳ３７０の処理を「推定形状情報Ｑ１～ＱＫの取得」によって示している。

次に、推定部３６３は、ステップＳ３７０において取得した推定形状情報Ｑ１～推定形状情報ＱＫのＫ個の推定形状情報と、記憶部３２に予め記憶された途中形状情報Ｐ１～途中形状情報ＰＫのＫ個の途中形状情報と、機械学習モデルＭＤとを用いた誤差逆伝播法により、素材特性値Ｍｔの推定値を機械学習モデルＭＤに推定させる（ステップＳ３８０）。より具体的には、推定部３６３は、ステップＳ３８０において、当該誤差逆伝播法により、推定形状情報Ｑ１と途中形状情報Ｐ１との差、推定形状情報Ｑ２と途中形状情報Ｐ２との差、…、推定形状情報ＱＫと途中形状情報ＰＫとの差のＫ個の差のそれぞれが小さくなるように素材特性値Ｍｔの推定値を機械学習モデルＭＤに推定させる。

次に、推定部３６３は、変数Ｋに格納されている値がＮ以上であるか否かを判定する（ステップＳ３９０）。

推定部３６３は、変数Ｋに格納されている値がＮ未満であると判定した場合（ステップＳ３９０－ＮＯ）、ステップＳ３５０に遷移し、変数Ｋに格納されている値に１を再び加算する。

一方、推定部３６３は、変数Ｋに格納されている値がＮ以上であると判定した場合（ステップＳ３９０－ＹＥＳ）、素材特性値Ｍｔの推定値の推定が完了したと判定し、図１４に示したフローチャートの処理を終了させる。

以上のように、情報処理装置３０は、変形可能な物体Ｏの初期形状を予め決められた目標形状へ変形させるロボット２０が初期形状を目標形状へ変形させるＮ個の動作をロボット２０に行わせるための制御値ｍを含む入力情報ＤＴ３に基づいて、物体Ｏの素材特性を示す素材特性値Ｍｔの推定値を機械学習モデルＭＤに推定させる。これにより、情報処理装置３０は、変形可能な物体Ｏの素材特性に応じた制御値ｍを、精度よく推定させることができる。

なお、情報処理装置３０は、途中形状情報Ｐ１～途中形状情報ＰＮ－１の（Ｎ－１）個の途中形状情報のうちの一部又は全部を用いずに、素材特性値Ｍｔの推定値を機械学習モデルＭＤに推定させる構成であってもよい。特に、途中形状情報Ｐ１～途中形状情報ＰＮ－１の（Ｎ－１）個の途中形状情報の全部を用いずに、素材特性値Ｍｔの推定値を機械学習モデルＭＤに推定させる場合、情報処理装置３０は、素材特性値Ｍｔの推定値を機械学習モデルＭＤに推定させる誤差逆伝播法において、推定形状情報ＱＮと目標形状情報Ｇとの差が小さくなるように、素材特性値Ｍｔの推定値を機械学習モデルＭＤに推定させる。

ここで、図１５は、情報処理装置３０により推定された素材特性値Ｍｔを例示する図である。図１５に示した４つのグラフのそれぞれは、物体Ｏについての情報処理装置３０による素材特性値Ｍｔの推定結果の一例を示す。

グラフＧＲ１１は、物体Ｏの曲がり易さを示す値についてのグラフである。また、グラフＧＲ１１の縦軸は、当該値を示す。また、グラフＧＲ１１の横軸は、情報処理装置３０による当該値の推定回数を示す。また、グラフＧＲ１１上にプロットされた点線は、当該値の測定値（真値）ＭＶ１１を示す。また、グラフＧＲ１１上にプロットされた実線ＣＶ１１は、情報処理装置３０により推定された当該値の中心値を示す。また、グラフＧＲ１１上にプロットされた実線ＵＢ１１は、情報処理装置３０により推定された当該値の分布の幅に基づく上限値を示す。また、グラフＧＲ１１上にプロットされた実線ＬＢ１１は、情報処理装置３０により推定された当該値の分布の幅に基づく下限値を示す。グラフＧＲ１１では、当該値は、情報処理装置３０による素材特性値Ｍｔの当該値の推定回数が増えるほど、測定値ＭＶ１１に略収束していることが分かる。これは、情報処理装置３０による当該値についての推定精度が高いことを示している。すなわち、情報処理装置３０は、物体Ｏについての当該値が示す素材特性を、精度よく推定することができる。

グラフＧＲ１２は、物体Ｏの滑り易さを示す値についてのグラフである。また、グラフＧＲ１２の縦軸は、当該値を示す。また、グラフＧＲ１２の横軸は、情報処理装置３０による当該値の推定回数を示す。また、グラフＧＲ１２上にプロットされた点線は、当該値の測定値（真値）ＭＶ１２を示す。また、グラフＧＲ１２上にプロットされた実線ＣＶ１２は、情報処理装置３０により推定された当該値の中心値を示す。また、グラフＧＲ１２上にプロットされた実線ＵＢ１２は、情報処理装置３０により推定された当該値の分布の幅に基づく上限値を示す。また、グラフＧＲ１２上にプロットされた実線ＬＢ１２は、情報処理装置３０により推定された当該値の分布の幅に基づく下限値を示す。グラフＧＲ１２では、当該値は、情報処理装置３０による素材特性値Ｍｔの当該値の推定回数が増えるほど、測定値ＭＶ１２に略収束していることが分かる。これは、情報処理装置３０による当該値についての推定精度が高いことを示している。すなわち、情報処理装置３０は、物体Ｏについての当該値が示す素材特性を、精度よく推定することができる。

グラフＧＲ１３は、物体Ｏの伸び易さを示す値についてのグラフである。また、グラフＧＲ１３の縦軸は、当該値を示す。また、グラフＧＲ１３の横軸は、情報処理装置３０による当該値の推定回数を示す。また、グラフＧＲ１３上にプロットされた点線は、当該値の測定値（真値）ＭＶ１３を示す。また、グラフＧＲ１３上にプロットされた実線ＣＶ１３は、情報処理装置３０により推定された当該値の中心値を示す。また、グラフＧＲ１３上にプロットされた実線ＵＢ１３は、情報処理装置３０により推定された当該値の分布の幅に基づく上限値を示す。また、グラフＧＲ１３上にプロットされた実線ＬＢ１３は、情報処理装置３０により推定された当該値の分布の幅に基づく下限値を示す。グラフＧＲ１３では、当該値は、情報処理装置３０による素材特性値Ｍｔの当該値の推定回数が増えるほど、測定値ＭＶ１３に略収束していることが分かる。これは、情報処理装置３０による当該値についての推定精度が高いことを示している。すなわち、情報処理装置３０は、物体Ｏについての当該値が示す素材特性を、精度よく推定することができる。

そして、グラフＧＲ１４は、物体Ｏの重厚さを示す値についてのグラフである。また、グラフＧＲ１４の縦軸は、当該値を示す。また、グラフＧＲ１４の横軸は、情報処理装置３０による当該値の推定回数を示す。また、グラフＧＲ１４上にプロットされた点線は、当該値の測定値（真値）ＭＶ１４を示す。また、グラフＧＲ１４上にプロットされた実線ＣＶ１４は、情報処理装置３０により推定された当該値の中心値を示す。また、グラフＧＲ１４上にプロットされた実線ＵＢ１４は、情報処理装置３０により推定された当該値の分布の幅に基づく上限値を示す。また、グラフＧＲ１４上にプロットされた実線ＬＢ１４は、情報処理装置３０により推定された当該値の分布の幅に基づく下限値を示す。グラフＧＲ１４では、当該値は、情報処理装置３０による素材特性値Ｍｔの当該値の推定回数が増えても、測定値ＭＶ１４に収束しているとは言い難いかもしれない。しかしながら、グラフＧＲ１４では、当該値は、初期値と比べて分布の幅が小さくなっている。このことから、情報処理装置３０は、当該値の推定回数をより多くすることにより、当該値が測定値ＭＶ１に略収束させることができると考えられる。

以上のように、情報処理装置３０は、物体Ｏの素材特性値Ｍｔを推定することができる。すなわち、情報処理装置３０は、このようにして推定された素材特性値Ｍｔに基づいて、変形可能な物体Ｏの素材特性に応じた制御値ｍを、精度よく推定させることができる。

なお、情報処理装置３０は、上記において説明した素材特性値Ｍｔの推定値の推定と、制御値ｍの推定値の推定とを組み合わせることにより、制御値ｍが示す軌道を更新しながら、ロボット２０に作業Ｗを行わせることができる。この場合、途中形状情報Ｐ１～途中形状情報ＰＮ－１のそれぞれは、例えば、前述した通り、撮像部１０により物体Ｏが撮像されたステレオ撮像画像に基づいて生成される。

また、上記において説明した事項は、ロボットシステム１、撮像部１０、ロボット２０、情報処理装置３０それぞれの機能を損なわない限りにおいて、如何様に組み合わされてもよい。

以上説明したように、実施形態に係る情報処理装置（上記において説明した例では、情報処理装置３０）は、変形可能な物体（上記において説明した例では、物体Ｏ）の初期形状を予め決められた目標形状へ変形させるロボット（上記において説明した例では、ロボット２０）が初期形状を目標形状へ変形させる１以上の動作（上記において説明した例では、Ｎ個の動作）をロボットに行わせるための制御値（上記において説明した例では、制御値ｍ）を含む第１入力情報（上記において説明した例では、入力情報ＤＴ３）に基づいて、物体の素材特性を示す１種類以上の素材特性値（上記において説明した例では、素材特性値Ｍｔ）の推定値を機械学習モデル（上記において説明した例では、機械学習モデルＭＤ）に推定させる制御部（上記において説明した例では、制御部３６）を備える。これにより、情報処理装置は、変形可能な物体の素材特性に応じた制御値を、精度よく推定させることができる。

また、情報処理装置では、機械学習モデルは、物体の形状を示す形状情報と制御値と１種類以上の素材特性値とを含む第２入力情報（上記において説明した例では、入力情報ＤＴ１）が入力された場合、１以上の動作のそれぞれによって変形させられた後の物体の形状として最も尤もらしいと推定される推定形状を示す推定形状情報（上記において説明した例では、推定形状情報Ｑ１～推定形状情報ＱＮ）を出力するように学習済みであり、第１入力情報は、制御値と、初期形状を示す初期形状情報と、１種類以上の素材特性値とを含む、構成が用いられてもよい。

また、情報処理装置では、制御部は、１以上の動作のそれぞれについての物体の途中形状を示す途中形状情報（上記において説明した例では、途中形状情報Ｐ１～途中形状情報ＰＮ、目標形状情報Ｇ）と第１入力情報と機械学習モデルとに基づいて、１種類以上の素材特性値の推定値を機械学習モデルに推定させる、構成が用いられてもよい。

また、情報処理装置では、機械学習モデルは、ニューラルネットワークを含む、構成が用いられてもよい。

また、情報処理装置では、制御部は、第１入力情報を用いた誤差逆伝播法により、機械学習モデルに１種類以上の素材特性値の推定値を推定させる、構成が用いられてもよい。

また、情報処理装置では、第２入力情報は、１以上の動作毎の制御値と、形状情報と、１種類以上の素材特性値の初期値とを含む、構成が用いられてもよい。

また、情報処理装置では、制御部は、形状情報と、制御値と、１種類以上の素材特性値の初期値とを含む第３入力情報（上記において説明した例では、入力情報ＤＴ２）と、１以上の動作のそれぞれについての途中形状情報とを用いた誤差逆伝播法により、制御値として最も尤もらしい値を制御値の推定値として機械学習モデルに推定させ、推定させた制御値の推定値と形状情報とを含む第２入力情報を生成する、構成が用いられてもよい。

また、情報処理装置では、形状情報と初期形状情報と推定形状情報とのそれぞれは、物体のメッシュモデルを示す情報である、構成が用いられてもよい。

また、情報処理装置では、１種類以上の素材特性値は、物体の曲がり易さを示す値と、物体の伸び易さを示す値と、物体の重厚さを示す値と、物体の滑り易さを示す値との少なくとも１つである、構成が用いられてもよい。

また、情報処理装置では、１種類以上の素材特性値は、確率分布によって表された値である、構成が用いられてもよい。

また、情報処理装置では、１種類以上の素材特性値は、予め決められた範囲内に含まれる中心値と、中心値周りの分布の幅によって表された値である、構成が用いられてもよい。

以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。

また、以上に説明した装置（例えば、撮像部１０、ロボット２０、情報処理装置３０等）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ（Compact Disk）－ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１…ロボットシステム、１０…撮像部、１５…表示部、２０…ロボット、３０…情報処理装置、３１…プロセッサ、３２…記憶部、３３…入力受付部、３４…通信部、３５…表示部、３６…制御部、３６１…撮像制御部、３６２…取得部、３６３…推定部、３６４…表示制御部、３６５…学習部、３６６…ロボット制御部

Claims (14)

1. 変形可能な物体の初期形状を予め決められた目標形状へ変形させるロボットが前記初期形状を前記目標形状へ変形させる１以上の動作を前記ロボットに行わせるための制御値を含む第１入力情報に基づいて、前記物体の素材特性を示す１種類以上の素材特性値の推定値を機械学習モデルに推定させる制御部を備える、
   情報処理装置。
2. 前記機械学習モデルは、前記物体の形状を示す形状情報と前記制御値と前記１種類以上の素材特性値とを含む第２入力情報が入力された場合、前記１以上の動作のそれぞれによって変形させられた後の前記物体の形状として最も尤もらしいと推定される推定形状を示す推定形状情報を出力するように学習済みであり、
   前記第１入力情報は、前記制御値と、前記初期形状を示す初期形状情報と、前記１種類以上の素材特性値とを含む、
   請求項１に記載の情報処理装置。
3. 前記制御部は、前記１以上の動作のそれぞれについての前記物体の途中形状を示す途中形状情報と前記第１入力情報と前記機械学習モデルとに基づいて、前記１種類以上の素材特性値の推定値を前記機械学習モデルに推定させる、
   請求項２に記載の情報処理装置。
4. 前記機械学習モデルは、ニューラルネットワークを含む、
   請求項２に記載の情報処理装置。
5. 前記制御部は、前記第１入力情報を用いた誤差逆伝播法により、前記機械学習モデルに前記１種類以上の素材特性値の推定値を推定させる、
   請求項４に記載の情報処理装置。
6. 前記第２入力情報は、前記１以上の動作毎の前記制御値と、前記形状情報と、前記１種類以上の素材特性値の初期値とを含む、
   請求項２に記載の情報処理装置。
7. 前記制御部は、前記形状情報と、前記制御値と、前記１種類以上の素材特性値の初期値とを含む第３入力情報と、前記目標形状を示す目標形状情報とを用いた誤差逆伝播法により、前記制御値として最も尤もらしい値を前記制御値の推定値として前記機械学習モデルに推定させ、推定させた前記制御値の推定値と前記形状情報とを含む前記第２入力情報を生成する、
   請求項３に記載の情報処理装置。
8. 前記形状情報と前記初期形状情報と前記推定形状情報とのそれぞれは、前記物体のメッシュモデルを示す情報である、
   請求項２に記載の情報処理装置。
9. 前記１種類以上の素材特性値は、前記物体の曲がり易さを示す値と、前記物体の伸び易さを示す値と、前記物体の重厚さを示す値と、前記物体の滑り易さを示す値との少なくとも１つである、
   請求項１に記載の情報処理装置。
10. 前記１種類以上の素材特性値は、確率分布によって表された値である、
    請求項１に記載の情報処理装置。
11. 前記１種類以上の素材特性値は、予め決められた範囲内に含まれる中心値と、前記中心値周りの分布の幅とによって表された値である、
    請求項１０に記載の情報処理装置。
12. 変形可能な物体の初期形状を予め決められた目標形状へ変形させるロボットが前記初期形状を前記目標形状へ変形させる１以上の動作を前記ロボットに行わせるための制御値を含む第１入力情報に基づいて、前記物体の素材特性を示す１種類以上の素材特性値の推定値を機械学習モデルに推定させる、
    情報処理方法。
13. コンピューターに、
    変形可能な物体の初期形状を予め決められた目標形状へ変形させるロボットが前記初期形状を前記目標形状へ変形させる１以上の動作を前記ロボットに行わせるための制御値を含む第１入力情報に基づいて、前記物体の素材特性を示す１種類以上の素材特性値の推定値を機械学習モデルに推定させる、
    プログラム。
14. 変形可能な物体の初期形状を予め決められた目標形状へ変形させるロボットであって、
    前記初期形状を前記目標形状へ変形させる１以上の動作を前記ロボットに行わせるための制御値を含む第１入力情報に基づいて、前記物体の素材特性を示す１種類以上の素材特性値の推定値を機械学習モデルに推定させる制御部を備える、
    ロボット。

Images