JP7171538B2

JP7171538B2 - 工具条件決定装置、学習装置、および方法

Info

Publication number: JP7171538B2
Application number: JP2019202501A
Authority: JP
Inventors: 洸輔斎藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-11-07
Filing date: 2019-11-07
Publication date: 2022-11-15
Anticipated expiration: 2039-11-07
Also published as: JP2021074816A

Description

本発明は、工具条件決定装置、学習装置、およびその方法に関する。

従来、金型や金属部品が機械加工により目標とする加工形状に加工される際、オペレータが使用する工具を決定している。オペレータは目標とする加工形状を見ながら、その形状に合った工具の種類、工具軸方向、および加工範囲を含む工具条件を選定している。オペレータは、選定した工具条件に基づいてＣＡＭ（Computer Aided Manufacturing）により工具軌跡を生成してシミュレーションを行い、加工対象物が所望の形状に加工されるか判定を行って工具条件を決定している。

選定される工具条件次第では加工時間が大きく変わるため、加工時間を短縮するための工具条件の選定には経験が必要であり、オペレータの技量によっては工具条件の検討に時間が掛かるという問題があった。また、所望の形状が複雑であればあるほど工具条件選定は難しく、熟練のオペレータといえども適切な条件を見つけることができない、という問題があった。

これに対して特許文献１では、全ての工具から複数個の工具を選定した複数の工具選択パターンを設定し、そのすべての工具選択パターンの切削時間をシミュレーションにより見積り、最も切削時間が短いパターンを選定する方法を提案している。

特開２００７－２６０８４９号公報

しかしながら、特許文献１の方法では、あり得る工具選択パターンが少なければ短時間で最適パターンが選定できるものの、工具選択パターンが多い場合は、その数だけシミュレーションを実施しなければならないため、パターンの選定に時間を要する。また、工具軸方向は考慮されていないため、選定されたパターンは必ずしも切削時間が最短とは言えない。

そこで本発明は、このような状況に鑑みてなされたものであり、ワークの初期形状から目標形状を得るための加工に用いる適切な工具条件を簡易に決定可能な技術を提供することを目的とする。

本発明の一態様は、
複数種類の工具を使用する工作機械に対する工具条件を決定する工具条件決定装置であって、
ワークの初期形状および目標形状を表すデータを取得する取得手段と、
ワークの初期形状および目標形状を表すデータを受け付け、前記初期形状から前記目標形状を得るために使用する一連の工具条件を決定する決定手段と、
を備え、
前記決定手段は、
ワークの現在形状から前記目標形状を得るための加工で使用する工具条件を出力するよ
うに機械学習された学習モデルと、
前記学習モデルが出力する工具条件による加工後の次形状を求める次形状取得手段と、
を有し、
前記ワークの初期形状を前記学習モデルへの最初の入力として工具条件を得て、前記学習モデルから得られた工具条件による加工後の次形状をさらに前記学習モデルの入力として次の工具条件を得る処理を繰り返すことにより、前記一連の工具条件を決定する、
工具条件決定装置である。

本発明の一態様は、
複数種類の工具を使用する工作機械に対する工具条件を決定するために用いる学習モデルを機械学習する学習装置であって、
ワークの初期形状および目標形状を表すデータを取得する取得手段と、
前記ワークの初期形状から目標形状を得るまでの除去体積および加工時間を報酬とした強化学習により、前記学習モデルを学習する学習手段と、
を備える、学習装置である。

本発明の一態様は、
複数種類の工具を使用する工作機械に対する工具条件を決定するための、コンピュータが行う工具条件決定方法であって
ワークの初期形状および目標形状を表すデータを取得する取得ステップと、
ワークの初期形状および目標形状を表すデータを受け付け、前記初期形状から前記目標形状を得るために使用する一連の工具条件を決定する決定ステップと、
を含み、
前記決定ステップでは、ワークの現在形状から前記目標形状を得るための次の加工で使用する工具条件を出力するように機械学習された学習モデルを用いて、前記ワークの初期形状を前記学習モデルへの最初の入力として工具条件を得て、前記学習モデルから得られた工具条件による加工後の次形状をさらに前記学習モデルの入力として次の工具条件を得る処理を繰り返すことにより、前記一連の工具条件を決定する、
工具条件決定方法である。

本発明の一態様は、
複数種類の工具を使用する工作機械に対する工具条件を決定するために用いる学習モデルを機械学習する、コンピュータが行う学習方法であって、
ワークの初期形状および目標形状を表すデータを取得する取得ステップと、
前記ワークの初期形状から目標形状を得るまでの除去体積および加工時間を報酬とした強化学習により、前記学習モデルを学習する学習ステップと、
を備える、学習方法である。

本発明によれば、ワークの初期形状から目標形状を得るための加工に用いる適切な工具条件を簡易に決定できる。

実施形態に係わる学習装置の機能ブロック図である。実施形態に係わる３次元モデルの点群データを示す図である。実施形態に係わる工具軸方向と加工効率を示す図である。実施形態に係わる画像取得方向を示す図である。実施形態に係わる学習処理のフローチャートである。実施形態に係わる工具条件決定装置の機能ブロック図である。実施形態に係わる工具条件決定処理のフローチャートである。実施形態に係わる学習モデルの具体例を示す図である。

本発明の実施形態に係る工具条件決定装置３（図６参照）は、機械学習された学習モデル２を用いて、ワークの初期形状から目標形状を得るために使用する一連の工具条件を決定する。学習モデル２は、ワークの現在形状および目標形状を表すデータ（例えばＣＡＤモデル）を入力として受け付け、現在形状から目標形状を得るために使用する次の加工における工具条件を出力する。工具条件決定装置３は、ワークの初期形状を学習モデル２への最初の入力として工具条件を得て、得られた工具条件による加工後の次形状をさらに学習モデル２の入力として次の工具条件を得る処理を繰り返すことにより、適切な一連の工具条件を決定する。

本発明の実施形態は、学習モデル２を学習するための学習装置１、および学習モデルを用いて工具条件を決定する工具条件決定装置１を含む。以下、それぞれ説明する。

＜学習装置＞
図１は、本実施形態に係る学習装置１の機能構成を示す図である。学習装置１は、ＣＡＤモデル取得部１１、学習部１２、および学習モデル２を含む。学習部１２は、データ変換部１３、工具条件取得部１４、次ワーク形状取得部１５、加工時間・除去体積算出部１６、機械学習部１７を含む。

学習装置１は、１つ以上のプロセッサと、主記憶装置、補助記憶装置、入力装置、および出力装置を含むコンピュータであり、プロセッサがコンピュータプログラムを実行することにより上記の機能が実現される。学習装置１が有するプロセッサは、ＣＰＵ（Central Processing Unit）を含み、さらにＧＰＵ（Graphic Processing Unit）を含んでもよい。なお、上記の機能部のうち一部または全部は、専用のハードウェア回路によって実現されても構わない。

ＣＡＤモデル取得部１１は、ワークの初期形状および目標形状（加工形状とも称する）のＣＡＤモデルを取得する。ここでＣＡＤモデルは、３次元ＣＡＤにより生成された立体モデルであり、ワークの形状を表すデータの一例である。ＣＡＤモデルのファイル形式はＩＧＥＳ，ＰＲＴなど様々であるが、いずれのファイル形式を採用してもよい。

データ変換部１３は、ワークの形状を表すＣＡＤモデルを、学習モデル２の入力データに変換する。データ変換部１３が変換する対象のＣＡＤモデルは、ＣＡＤモデル取得部１１が取得したワークの初期形状および目標形状のＣＡＤモデル、および次ワーク形状取得部１５が取得する次ワークの形状のＣＡＤモデルである。データ変換部１３による変換後のデータは、学習モデル２の入力データであり、加工条件を求めるために必要な特徴を含んでいる必要がある。そこで、本実施形態では、学習モデル２はワーク形状の点群データおよび二次元画像データを入力とする。他の実施形態では、学習モデルは点群データ及び二次元画像データのうちいずれか一方のみを入力としてもよい。

データ変換部１３は、ＣＡＤモデルを、座標データおよび法線ベクトルデータを含むデータである点群データに変換する。図２ＡはＣＡＤモデルが表す３次元形状２０を示し、図２ＢはこのＣＡＤモデルを変換して得られる点群データ２１を示す。点群データ２１は、３次元形状２０を点の集合体で表現したデータである。また、各点には座標データおよび法線ベクトルデータが付与される。例えば、点２２には、（８，０，０）という座標データと、（０，－１，０）という大きさ１の法線ベクトルデータが付与される。なお、図２Ａおよび図２Ｂにおいて、ｚ軸はワークを工作機械に設置させる面に垂直な方向であり、ｘ軸およびｙ軸は設置面に水平な方向である。

ここで、点群データの座標情報と法線ベクトル情報は、工具径および工具長および工具軸方向および加工範囲を決定するために有用なパラメータである。

なぜなら、点群データの座標情報によって形状が特定され、幾何学的に切削加工可能かどうかの判断ができ、工具径および工具長および加工範囲を決めることができるからである。また、点群データの法線ベクトル情報は、工具軸方向の決定に寄与する。図３Ａおよび図３Ｂは、形状３０を構成する面３１をラジアスエンドミル３２で加工する際の工具軸の違いによる効率の差を示している。図３Ａは、工具軸３３が（０，０，１）方向、つまりｚ軸方向を向いている場合を示し、図３Ｂは、工具軸３６が（０,０．７１,０．７１）方向、つまりｚ軸に対して斜め４５°を向いている場合を示す。面３１の法線ベクトルが（０，０．７１,０．７１）を向いているとき、図３Ａの場合、ラジアスエンドミル３２
のコーナー３４で加工を行うため、所望のカスプハイトを満たすような走査線の加工経路となる。一方、図３Ｂの場合、ラジアスエンドミル３２の底面３７で加工を行うため、その加工経路は周回加工経路となる。したがって、図３Ａおよび図３Ｂを比較すると、加工経路は図３Ｂの方が短くなり、加工時間も図３Ｂの方が短くなるため、法線方向ベクトル情報が重要となる。

点群データ２１に含まれる点群の数は、多ければ多いほど形状を忠実に表現できるため好ましい。しかしながら、コンピュータで処理を行う上でメモリに制限があるため、それにより最大の点群数が決まる。

工具によっては、ワークと干渉する場合があり、干渉するかどうかの判定が必要となる。そこで本実施形態では、データ変換部１３は、ＣＡＤモデルを、ワークを所定の方向から見た二次元画像にも変換する。図４Ａは、画像取得方向を示している。工具軸方向をｚ方向としたときに、ｘｙ平面と水平な方向からワークと工具を見ると、干渉の有無を確認できる。そこで本実施形態では、図４Ａのように、ワーク４０の加工の段取りにおける底面４１（工作機械に設置させる面）に垂直な方向をｚ方向４２とし、ｘｙ平面に水平、つまりｚ方向４２に垂直な方向から二次元画像を取得する。図４Ａの例では、データ変換部１３は、３０度ずつずらした方向から見た合計１２個の二次元画像データを生成する。図４Ｂは方向Ａから見た二次元画像４３であり、このような画像の取得を方向Ｂ～Ｌにおいても同様に実施する。画像の枚数は多いほど形状を忠実に表現できるため方向Ａ～Ｌだけでなく、さらに多くの方向からの画像取得が好ましい。実際にはコンピュータのメモリの制約上限られる。なお、データ変換部１３は、ｚ方向４２と垂直な方向以外の方向から見た二次元画像を取得してもよい。

ここで、学習モデル２について説明する。学習モデル２は、データ変換部１３が生成した座標データおよび法線ベクトルデータを含む点群データおよび複数の二次元画像データを入力として、工具種類（工具径および工具長）、工具軸方向、および加工範囲を含む加工条件を出力する。学習モデル２の出力は、より正確には、取りうる行動（加工条件）の行動価値である。なお、モデルの初期形状から目標形状を得るためには複数ステップの加工が行われるが、学習モデル２は、ワークの現在形状と目標形状を表すデータを入力として受け付け、目標形状を得るために使用する次の１ステップの加工における工具条件を出力する。

本実施形態では、学習モデル２は、教師なし学習によって生成する。教師なし学習の例として、強化学習、特に深層強化学習が挙げられる。深層強化学習においては、行動価値関数を多層ニューラルネットワークで近似する。画像データには畳み込みニューラルネットワーク（ＣＮＮ）、点群データには多層ニューラルネットワーク（ＭＬＰ）が用いられることが多いが、どのようなアルゴリズムを採用してもよい。また、アンサンブル学習を
用いてもよい。

工具条件取得部１４は、学習モデル２の出力データから、次の加工における加工条件を決定する。加工条件は、工具径および工具長を含む工具種類、工具軸方向、および加工範囲を含む。工具条件取得部１４は、学習モデル２の出力データから最適と判断される行動（加工条件）を採用することが基本であるが、所定の確率で最適ではない行動を採用して利用と探索のバランスを図る。

工具種類（工具径および工具長）は、予め定めた工具群の情報から選定される。この選定は、学習モデル２における分類により実現できる。

工具軸方向は、ｘ，ｙ，ｚ軸における傾き角度として得られる数値であり、学習モデル２に回帰により算出される。ｘ，ｙ，ｚそれぞれの軸を任意の角度だけ回転させたときに得られるすべての方向を採用可能するが、工作機械の回転軸の可動範囲を超えた工具軸方向を選定することがないように算出範囲を指定してもよい。

加工範囲は、任意のｘ，ｙ，ｚの座標値で示される２点で囲まれた矩形領域で表現され、学習モデル２における回帰により算出される。ただし、３次元上で範囲がわかる形式であれば、上記の限りではない。ワークおよび加工形状から最大範囲が決定されるため、その範囲の中で算出される。

次ワーク形状取得部（次形状取得部）１５は、学習モデル２に入力として与えたワークの現在形状に対して、工具条件取得部１４で取得された工具条件を適用したときに得られる形状をシミュレーションにより算出する。切削シミュレーションには、既知の任意のアルゴリズムを採用可能である。

加工時間・除去体積算出部１６では、次ワーク形状取得部１５で得られた形状とワークの差分を除去体積として算出する。また、各工具における単位時間あたりの体積を予め求めておき、除去体積を各工具における単位時間あたりの体積で除算することにより、加工時間を算出する。加工時間・除去体積算出部１６は、それぞれの加工における除去体積および加工時間はメモリに記憶する。

機械学習部１７は、機械学習アルゴリズムにしたがって学習モデル２の学習を行う。学習装置１は、ワークを目標の加工形状に加工するための複数の工具を使用する際の使用工具順序および工具径および工具軸方向および加工範囲よりなる工具条件を学習することを目的とする。ワークを目標の加工形状に対してどのような行動（工具条件の選定）をすることが正しいのかを一意に定めることが困難であることを考慮し、機械学習部１７では、報酬を与えるだけで学習する強化学習アルゴリズムを採用する。強化学習のアルゴリズムは、Ｑ－ｌｅａｒｎｉｎｇ、ＤｅｅｐＱ－Ｎｅｔｗｏｒｋ（ＤＱＮ）、Ａｃｔｏｒ－Ｃｒｉｔｉｃなどがあるが、本発明においてはいずれのアルゴリズムを採用してもよい。

また、機械学習部１７の報酬は、加工時間・除去体積算出部１６で算出した加工時間および除去体積に基づいて決定される。報酬は、加工時間が短いほど大きな値として決定され、また、除去体積が大きいほど大きな値として決定される。例えば、加工時間が予め設定した閾値よりも短いほどプラスの報酬、長いほどマイナスの報酬とし、除去体積が予め設定した閾値よりも多いほどプラスの報酬、少ないほどマイナスの報酬とする。なお、報酬の数値においては、都度適切な値に変更してもよい。たとえば、最も小さい工具のみを用いて除去可能な体積に実際の除去体積が近いほど、除去体積に基づく報酬を大きな値となるように決定する。また、加工時間が短いほど加工時間に基づく報酬を大きくし、最も小さい工具のみを用いて加工した場合の加工時間と等しい場合に加工時間に基づく報酬を
最小の値とする。

図５を参照して、学習装置１が行う学習モデル２の学習処理について説明する。

ステップＳ１０１において、機械学習部１７は、学習モデル２の初期化を行う。具体的には、深層強化学習モデルにおける各ノード間の重みが、ランダムな値に設定される。

ステップＳ１０２において、ＣＡＤモデル取得部１１がワークの初期形状および目標形状を表すＣＡＤデータを取得する。

ステップＳ１０３において、データ変換部１３は、ＣＡＤモデル取得部１１が取得したワークの初期形状および目標形状を表すＣＡＤモデルを、点群データと、複数の方向から二次元画像データに変換する。上述のように、点群データは、座標データおよび法線ベクトルデータをそれぞれ有する点データの集合である。また、二次元画像データは、ワークの設置面に垂直な方向をｚ軸として、ｚ軸に垂直な複数な方向からワークを見た二次元画像データを含む。

ステップＳ１０４において、工具条件取得部１４は、データ変換部１３によって変換されたデータを学習モデル２に入力し、学習モデル２の出力に基づいて、次の加工における工具条件を得る。なお、工具条件取得部１４は、所定の確率で、ランダムな行動（加工条件）を採用して、利用と探索のバランスを取る。

ステップＳ１０５において、次ワーク形状取得部１５は、現在のワーク形状に対して、ステップＳ１０４で得た加工条件で加工した場合の、加工後の形状（次形状）をシミュレーションにより求める。

ステップＳ１０６において、加工時間・除去体積算出部１６が、次形状および目標形状に基づいて加工時間および除去体積を求め、機械学習部１７が加工条件および除去体積に基づいて報酬を決定する。

ステップＳ１０７において、機械学習部１７が、学習モデル２の学習を行う。本実施形態では、機械学習部１７は、深層強化学習モデルにおける各ノード間の重みをバックプロパゲーション法により更新する。これにより、学習モデル２の価値関数（評価関数）が更新される。

ステップＳ１０８において、機械学習部１７は、目標形状を得るための加工が終了したか判定する。例えば、ステップＳ１０５で得られる次形状と目標形状とが所定の許容誤差の範囲内で一致する場合に加工が終了したと判断できる。あるいは、今回の加工における除去体積がゼロである場合または閾値より小さい場合に加工が終了したと判断してもよい。

加工が終了していないと判定された場合（Ｓ１０８－ＮＯ）は、処理はステップＳ１０３に戻る。ステップＳ１０３では、ワークの初期形状の代わりに、ステップＳ１０５で得られた次形状のＣＡＤモデルを、点群データおよび二次元画像データに変換する。以上のように、学習部１２は、ワークの初期形状を学習モデル２への最初の入力として工具条件を得て、学習モデル２から得られた工具条件による加工後の次形状をさらに学習モデル２の入力として次の工具条件を得る処理を目標形状が得られるまでに繰り返す。そして、この繰り返し処理の中で、学習部１２は、これら一連の加工における除去体積および加工時間を報酬とした機械学習により、学習モデル２の学習を行う。学習部１２は、ステップＳ１０８において加工が終了したと判定された場合（Ｓ１０８－ＹＥＳ）は、ステップＳ１
０３からＳ１０７の繰り返し処理を終了して、ステップＳ１０９に進む。

ステップＳ１０９において、学習部１２は学習が終了したか判定し、学習が終了していなければ（Ｓ１０９－ＮＯ）処理はステップＳ１０２に戻る。ステップＳ１０２では、新たにワークの初期形状および目標形状を取得し、上記のステップＳ１０３からＳ１０８の繰り返し処理を実行する。学習が終了していれば（Ｓ１０９－ＹＥＳ）、処理を終了する。学習の終了条件は適宜設定すればよいが、例えば、所定数の初期形状および目標形状の組に対して上記の処理が行うことを終了条件とする。

＜工具条件決定装置＞
図６は、本実施形態に係る工具条件決定装置３の機能構成を示す図である。工具条件決定装置３は、学習装置１によって学習された学習モデル２を用いて、複数種類の工具を使用する工作機械に対する工具条件を決定する。

工具条件決定装置３は、ＣＡＤモデル取得部６１、工具条件決定部６２、ＣＡＭ６６を含む。工具条件決定部６２は、データ変換部６３、工具条件取得部６４、次ワーク形状取得部６５、学習モデル２を含む。工具条件決定装置３は、１つ以上のプロセッサと、主記憶装置、補助記憶装置、入力装置、および出力装置を含むコンピュータであり、プロセッサがコンピュータプログラムを実行することにより上記の機能が実現される。なお、上記の機能部のうち一部または全部は、専用のハードウェア回路によって実現されても構わない。

ＣＡＤモデル取得部６１は、ワークの初期形状および目標形状のＣＡＤモデルを取得する。ＣＡＤモデル取得部６１は、ＣＡＤモデル取得部１１と実質的に同じであるため繰り返しの説明は省略する。

データ変換部６３は、ワークの形状を表すＣＡＤモデルを、学習モデル２の入力データに変換する。データ変換部６３が変換する対象のＣＡＤモデルは、ＣＡＤモデル取得部６１が取得したワークの初期形状および目標形状のＣＡＤモデル、および次ワーク形状取得部６５が取得する次ワークの形状のＣＡＤモデルである。

データ変換部６３は、データ変換部１３と同様に、ＣＡＤモデルを、点群データおよび二次元画像データに変換する。点群データおよび二次元画像データについては、上記で説明したので繰り返しの説明は省略する。

学習モデル２は、学習装置１によって学習された学習済みのモデルである。学習モデル２は、ワークの現在形状および目標形状の点群データおよび二次元画像データを入力として受け付け、現在形状から目標形状を得るために使用する次の加工における工具条件を表すデータを出力する。

工具条件取得部６４は、点群データおよび二次元画像データを学習モデル２に与え、得られる出力データに基づいて工具条件を選定する。工具条件は、工具種類（工具径および工具長）、工具軸方向、および加工範囲を含む。

次ワーク形状取得部６５は、学習モデル２に入力として与えたワークの現在形状に対して、工具条件取得部６４で取得された工具条件を適用したときに得られる形状をシミュレーションにより算出する。切削シミュレーションには、既知の任意のアルゴリズムを採用可能である。

工具条件決定部６２は、取得するワークの初期形状および目標形状を表すＣＡＤモデル
から変換した点群データおよび二次元画像データを学習モデル２への最初の入力として工具条件を得る。そして、工具条件決定部６２は、得られた加工条件による加工後の次形状から変換した点群データおよび二次元画像データをさらに学習モデル２の入力として次の工具条件を得る処理を、目標形状が得られるまで繰り返す。工具条件決定部６２は、このようにして得られた一連の工具条件を、ワークの初期形状から目標形状を得るために使用する一連の工具条件として出力する。

なお、工具条件決定部６２が出力する工具条件は１組であってもよいし、複数組であってもよい。１組の工具条件を出力する場合は、工具条件取得部６４が、学習モデル２の出力データに基づいて最適と判断される１つの工具条件を常に選択すればよい。複数組の工具条件を取得する場合には、いずれかのステップにおいて、学習モデル２の出力データに基づいて、最適と判断される複数の工具条件を選択し、複数の工具条件から得られる次形状それぞれについてそれ以降の加工条件を求めるようにすればよい。

工具条件決定部６２が、複数組の一連の工具条件を出力する場合は、それぞれの工具条件の詳細を出力装置に出力し、ユーザにいずれの一連の工具条件が適切であるか選択させるとよい。

ＣＡＭ６６は、ＣＡＭモデル取得部６１から得られるワークの初期形状を表すＣＡＤモデルと、工具条件決定部６２から得られる一連の加工条件に基づいて加工経路を算出し、工作機器６７を制御するための制御データ（ＮＣデータ）を生成して出力する。工作機器６７は、この制御データに基づいて加工を行うことで、ワークを目標形状に加工できる。

図７を参照して、工具条件決定装置３が行う工具条件の決定処理について説明する。

ステップＳ２０１において、ＣＡＤモデル取得部６１がワークの初期形状および目標形状を表すＣＡＤデータを取得する。

ステップＳ２０２において、データ変換部６３は、ＣＡＤモデル取得部６１が取得したワークの初期形状および目標形状を表すＣＡＤモデルを、点群データと、複数の方向から二次元画像データに変換する。上述のように、点群データは、座標データおよび法線ベクトルデータをそれぞれ有する点データの集合である。また、二次元画像データは、ワークの設置面に垂直な方向をｚ軸として、ｚ軸に垂直な複数な方向からワークを見た二次元画像データを含む。

ステップＳ２０３において、工具条件取得部６４は、データ変換部６３によって変換されたデータを学習モデル２に入力し、学習モデル２の出力に基づいて、次の加工における工具条件を得る。なお、工具条件取得部１４は、学習モデル２の出力から最適と判断される１つの加工条件を選定してもよいし、上位複数個の加工条件を選定してもよい。

ステップＳ２０４において、次ワーク形状取得部６５は、現在のワーク形状に対して、ステップＳ２０３で得た加工条件で加工した場合の、加工後の形状（次形状）をシミュレーションにより求める。

ステップＳ２０５において、工具条件決定部６２は、目標形状を得るための加工が終了したか判定する。例えば、ステップＳ２０４で得られる次形状と目標形状との差が所定の閾値以下となったときに、加工が終了したと判断できる。より具体的には、ステップＳ２０４で得られる次形状と目標形状の体積の差が所定の許容誤差の範囲内で一致する場合に加工が終了したと判断できる。あるいは、今回の加工における除去体積がゼロである場合または閾値より小さい場合に加工が終了したと判断してもよい。

加工が終了していないと判定された場合（Ｓ２０５－ＮＯ）は、処理はステップＳ２０２に戻る。ステップＳ２０２では、ワークの初期形状の代わりに、ステップＳ２０４で得られた次形状のＣＡＤモデルを、点群データおよび二次元画像データに変換する。以上のように、工具条件決定部６２は、ワークの初期形状を学習モデル２への最初の入力として工具条件を得て、得られた工具条件による加工後の次形状をさらに学習モデル２の入力として次の工具条件を得る処理を目標形状が得られるまでに繰り返す。

ステップＳ２０５において加工が終了したと判定された場合（Ｓ２０５－ＹＥＳ）は、処理はステップＳ２０６に進み、工具条件決定部６２は、以上の繰り返し処理で得られた一連の加工条件を出力する。なお、複数組の一連の加工条件が得られる場合は、工具条件決定部６２は、いずれの一連の加工条件が使用すべきかをユーザに問い合わせて、ユーザによって指定された一連の工具条件を出力する。

ステップＳ２０７において、ＣＡＭ６６は、一連の加工条件に基づいて、工作機器６７を制御するためのＮＣデータを生成して出力する。

＜実施例＞
以下に具体的な実施例を説明する。以下の例はあくまで一実施例であり、本発明をその内容に限定するものではない。

まず、学習装置１の実施例を説明する。

ＣＡＤモデル取得部１１は、ワークの初期形状および目標形状を表すＣＡＤモデルとして、ＰＲＡＳＯＬＩＤ形式のデータを取得する。

データ変換部１３は、CADモデルを表示するソフトを用いてCADモデルを表示させ、加工の段取りにおける底面（工作機械に設置させる面）に垂直な方向をｚ方向とし、ｚ軸に垂直な方向から、ｚ軸回りに１０°ずつの計３６方向から二次元画像を取得した。データ変換部１３は、また、ワークの初期形状および目標形状を２０４８点の点群データに変換し、それぞれの点のｘ，ｙ，ｚ座標情報と法線ベクトル情報を取得した。

図８は、学習装置１が学習する学習モデル２のネットワーク構造を示す図である。学習モデル２は、画像データ特徴抽出モデル８０、点群データ特徴抽出モデル８１、多層ニューラルネットワーク（ＭＬＰ； Multi-Layer Perceptron）８５を含む。画像データ特徴
抽出モデル８０は公知のモデルであり、３６枚の画像それぞれからＣＮＮ８１で特徴を抽出し、ＭａｘＰｏｏｌｉｎｇ７２をしたあとにＣＮＮ７３でさらに特徴を抽出する。点群データ特徴抽出モデル８１も公知のモデルであり、幾何学変換（ｔｒａｎｓｆｏｒｍ）、ＭＬＰ、ＭａｘＰｏｏｌｉｎｇ,ＭＬＰを含む。画像データ特徴抽出モデル８０および
点群データ特徴抽出モデル８１の出力はさらにＭＬＰ８５に入力され、学習モデル２は１０９次元のデータを出力する。ここで、１０９次元のうち１００次元は分類により工具種類を決定する出力であり、工具径および工具長の組み合わせ１００種類を割り当てた。また、残りの９次元のうち３次元は、工具軸方向のｘ，ｙ，ｚの傾きを示す値を回帰により算出する出力とした。さらに、残りの６次元は加工範囲を示す矩形領域の２点のｘ，ｙ，ｚ座標の値を回帰により算出する出力とした。

次ワーク形状取得部１３は、切削シミュレーションを行い、ワークに算出された工具条件を適用したときの加工後のワーク形状を算出した。より具体的には、ＮＣデータがない状態で切削シミュレーションする方法として、工具情報に基づき加工形状を逆オフセットして工具経路を生成し、その工具経路に基づいてワークに対して切削シミュレーションを
行う方法を採用した。そして、最終的に削り残ったワークの形状をＳＴＬ形式で出力した。

加工時間・除去体積算出部１６は、削り残ったワークおよび切削シミュレーション前のワークの体積の差分を求め、除去体積とした。さらに、その除去体積を予め算出した工具毎の単位時間あたりの除去体積の値で除算することで、加工時間を算出した。

除去体積と加工時間の報酬は、下記に示す式で与えた。

除去体積の報酬＝２×除去体積／最大除去体積－１
加工時間の報酬＝１－２×加工時間／最大加工時間

ここで、最大除去体積は、ワークから加工形状を引いた体積の値であり、最大加工時間は、最大除去体積をΦ1の単位時間あたりの除去体積で割った値とした。これにより、除
去体積、加工時間ともに報酬のレンジが－１～１となり、除去体積が多いほど、また加工時間が短いほど報酬は大きくなる。また、上記の式とは別に、除去体積が０の場合は報酬を－２、加工時間が０の場合は報酬を－２とした。

機械学習部１７は、上記の報酬を用いて、学習モデル２の強化学習を行った。さらに、削り残ったワーク形状および加工形状をデータ変換して次の工具条件を算出し、切削シミュレーションを行い、加工時間と除去体積を算出して報酬に換算し、学習を行った。以上を削り残しがなくなるまで繰り返し行った。そして、一連の作業をこの他２００００モデルについて行い、学習を進めた。

次に、工具条件決定装置３の実施例について説明する。なお、ＣＡＤモデル取得部６１、データ変換部６３、次ワーク形状取得部６５は学習装置１の対応する機能部と同様であるため説明を省略する。学習モデル２は、学習装置１によって学習が完了したモデルである。

工具条件決定装置３は、工具条件を求めるための、ワークの初期形状および目標形状を表すＣＡＤモデルを入力とし、ＣＡＤモデルから変換した点群データおよび二次元画像データを学習モデルに与えて工具条件の選定を行う。さらに、加工後のワーク形状および目標形状に対応する点群データおよび二次元画像データを学習モデルに与えて工具条件を得る処理を、目標形状が得られるまで繰り返す。以上の繰り返し処理により、工具条件決定装置３は、ワークの初期形状から目標形状を得るための加工効率の良い一連の工具条件を得られた。

＜有利な効果＞
上記の実施形態および実施例によれば、目標形状を得るための使用工具順序および各加工における工具種類、工具軸方向、加工範囲を含む一連の加工条件が、精度良くかつ短時間で取得できる。学習モデル２の入力データとして点群データを用いているので、加工方向選定の精度が向上できる。また、学習モデル２の入力データとしてｚ軸に垂直な方向から見た複数の画像データを用いているので、工具とワークの干渉を考慮することができる。また、選定される加工条件による加工後の形状を、切削シミュレーションによって求めているので、処理時間を短縮することができる。

＜その他の実施例＞
上記の実施形態および実施例は、本発明の一具体例であり、本発明は様々な態様により実施可能である。

例えば、学習モデル２の具体的なモデル構造は、ワークの現在形状および目標形状を表すデータから、行動（工具条件）を決定することができるものであれば、任意の構造を採用できる。また、学習アルゴリズムは、ＤｅｅｐＱ－Ｎｅｔｗｏｒｋ以外の深層強化学習アルゴリズム、およびＱＬｅａｒｎｉｎｇ，ＡｃｔｏｒＣｒｉｔｉｃ，ＳＲＡＳＡのような強化学習アルゴリズムを採用可能である。

また、学習モデル２の入力データとして、点群データと二次元画像データの両方を用いているが、点群データのみを入力として用いてもよいし、二次元画像データのみを入力として用いてもよい。また、二次元画像データは、モデルをｚ軸（設置面に垂直な方向）に垂直な方向から見た画像に限られず、その他の方向から見た画像が含まれてもよい。

また、上記の説明では、学習モデル２を学習するための学習装置１と、学習モデル２を用いた工具条件決定装置３をそれぞれ別個の装置として説明したが、１つの装置（コンピュータ）に学習装置１と工具条件決定装置３の両方の機能を実装してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２：学習モデル３：工具条件決定装置６１：ＣＡＤモデル取得部
６２：工具条件決定部６３：データ変換部６５：次ワーク形状取得部

Claims

複数種類の工具を使用する工作機械に対する工具条件を決定する工具条件決定装置であって、
ワークの初期形状および目標形状を表すデータとして、前記ワークの初期形状および目標形状を複数の方向から見た二次元画像の画像データを受け付け、前記初期形状から前記目標形状を得るために使用する一連の工具条件を決定する決定手段と、
を備え、
前記決定手段は、
ワークの現在形状から前記目標形状を得るための加工で使用する工具条件を出力するように機械学習された学習モデルと、
前記学習モデルが出力する工具条件による加工後の次形状を求める次形状取得手段と、
を有し、
前記ワークの初期形状を前記学習モデルへの最初の入力として工具条件を得て、前記学習モデルから得られた工具条件による加工後の次形状をさらに前記学習モデルの入力として次の工具条件を得る処理を繰り返すことにより、前記一連の工具条件を決定する、
工具条件決定装置。
前記ワークの初期形状および目標形状のＣＡＤモデルを、前記画像データに変換する変換手段を備える、
請求項１に記載の工具条件決定装置。
複数種類の工具を使用する工作機械に対する工具条件を決定する工具条件決定装置であって、
ワークの初期形状および目標形状を表すデータを受け付け、前記初期形状から前記目標形状を得るために使用する一連の工具条件を決定する決定手段、
を備え、
前記決定手段は、
ワークの現在形状から前記目標形状を得るための加工で使用する工具条件を出力するように機械学習された学習モデルと、
前記学習モデルが出力する工具条件による加工後の次形状を、求める次形状取得手段と、
を有し、
前記次形状取得手段は、前記工具条件に含まれる工具情報に基づき加工形状を逆オフセットして工具経路を生成し、前記工具経路に基づいてワークに対してシミュレーションを行うことにより次形状を求める、
工具条件決定装置。
前記決定手段は、ワークの初期形状および目標形状を表すデータとして、前記ワークの初期形状および目標形状の点群データを受け付ける、
請求項１から３のいずれか1項に記載の工具条件決定装置。
前記ワークの初期形状および目標形状のＣＡＤモデルを、前記点群データが座標データおよび法線ベクトルデータを含むように、前記点群データに変換する変換手段を備え、
前記決定手段は、変換された前記点群データに含まれる、前記ワークの初期形状および目標形状の座標データおよび法線ベクトルデータを入力として受け付ける、
請求項４に記載の工具条件決定装置。
複数種類の工具を使用する工作機械に対する工具条件を決定する工具条件決定装置であって、
ワークの初期形状および目標形状を表すデータを取得する取得手段と、
前記ワークの初期形状および目標形状のＣＡＤモデルを、座標データおよび法線ベクトルデータを含む点群データに変換する変換手段と、
ワークの初期形状および目標形状を表すデータを受け付け、前記初期形状から前記目標形状を得るために使用する一連の工具条件を決定する決定手段と、
を備え、
前記取得手段は、前記ワークの初期形状および目標形状を表すデータとして、前記ワークの初期形状および目標形状のＣＡＤモデルを取得し、
前記決定手段は、変換された前記ワークの初期形状および目標形状の座標データおよび法線ベクトルデータを入力として受け付け、
前記変換手段は、前記ワークの初期形状および目標形状のＣＡＤモデルを、前記ワークを前記工作機械に設置させる面に垂直な軸をｚ軸として、前記ワークの初期形状および目標形状のＣＡＤモデルをｚ軸に垂直な複数の方向から見た二次元画像にも変換し、
前記決定手段は、変換された前記ワークの初期形状および目標形状の座標データ、法線ベクトルデータ、および二次元画像を入力として受け付け、
前記決定手段は、
ワークの現在形状から前記目標形状を得るための加工で使用する工具条件を出力するように機械学習された学習モデルと、
前記学習モデルが出力する工具条件による加工後の次形状を求める次形状取得手段と、を有し、
前記ワークの初期形状を前記学習モデルへの最初の入力として工具条件を得て、前記学習モデルから得られた工具条件による加工後の次形状をさらに前記学習モデルの入力として次の工具条件を得る処理を繰り返すことにより、前記一連の工具条件を決定する、
工具条件決定装置。
前記決定手段は、前記次形状取得手段によって求められた次形状と前記目標形状との差が閾値以下となったときに、前記繰り返しを終了する、
請求項１、２、および６のいずれか１項に記載の工具条件決定装置。
前記決定手段が出力する一連の工具条件に基づいて、前記工作機械を制御するための制御データを出力する出力手段をさらに備え、
前記工具条件は、工具の種類、軸方向、および加工範囲を含む、
請求項１から７のいずれか１項に記載の工具条件決定装置。
複数種類の工具を使用する工作機械に対する工具条件を決定するために用いる学習モデルを機械学習する学習装置であって、
ワークの初期形状および目標形状を表すデータとして、前記ワークの初期形状および目標形状の点群データ、および、前記ワークの初期形状および目標形状を複数の方向から見た二次元画像の画像データの少なくとも一方を受け付け、前記ワークの初期形状から目標形状を得るまでの除去体積および加工時間を報酬とした強化学習により、前記学習モデルを学習する学習手段と、
を備える、学習装置。
前記ワークの初期形状および目標形状のＣＡＤモデルを、前記画像データに変換する変換手段を備える、
請求項９に記載の学習装置。
前記ワークの初期形状および目標形状のＣＡＤモデルを、前記点群データに変換する変換手段を備える、
請求項９または１０に記載の学習装置。
複数種類の工具を使用する工作機械に対する工具条件を決定するために用いる学習モデルを機械学習する学習装置であって、
ワークの初期形状および目標形状を表すデータを受け付け、前記ワークの初期形状から目標形状を得るまでの除去体積および加工時間を報酬とした強化学習により、前記学習モデルを学習する学習手段と、
前記学習モデルが出力する工具条件による加工後の次形状を、前記工具条件に含まれる工具情報に基づき加工形状を逆オフセットして工具経路を生成し、前記工具経路に基づいてワークに対してシミュレーションを行うことにより求める次形状取得手段と、
を備える、
学習装置。
前記学習モデルは、ワークの現在形状から前記目標形状を得るための加工で使用する工具条件を出力するモデルであり、
前記学習手段は、前記ワークの初期形状を前記学習モデルへの最初の入力として工具条件を得て、前記学習モデルから得られた工具条件による加工後の次形状をさらに前記学習モデルの入力として次の工具条件を得る処理を前記目標形状が得られるまでに繰り返し、除去体積および加工時間を報酬とした強化学習により、前記学習モデルを学習する、
請求項９から１２のいずれか１項に記載の学習装置。
前記報酬は、前記除去体積が大きいほど大きな値であり、前記加工時間が短いほど大きな値である、
請求項９から１３のいずれか１項に記載の学習装置。
複数種類の工具を使用する工作機械に対する工具条件を決定するために用いる学習モデルを機械学習する学習装置であって、
ワークの初期形状および目標形状を表すデータとして、前記ワークの初期形状および目標形状のＣＡＤモデルを取得する取得手段と、
前記ワークの初期形状および目標形状のＣＡＤモデルを、座標データおよび法線ベクトルデータに変換する変換手段と、
前記ワークの初期形状から目標形状を得るまでの除去体積および加工時間を報酬とした強化学習により、前記学習モデルを学習する学習手段と、
を有し、
前記学習手段は、変換された前記ワークの初期形状および目標形状の座標データおよび法線ベクトルデータを入力として受け付ける、
学習装置。
前記変換手段は、前記ワークの初期形状および目標形状のＣＡＤモデルを、前記ワークを前記工作機械に設置させる面に垂直な軸をｚ軸として、前記ワークの初期形状および目標形状のＣＡＤモデルをｚ軸に垂直な複数の方向から見た二次元画像にも変換し、
前記学習手段は、変換された前記ワークの初期形状および目標形状の座標データ、法線ベクトルデータ、および二次元画像を入力として受け付ける、
請求項１５に記載の学習装置。
複数種類の工具を使用する工作機械に対する工具条件を決定するための、コンピュータが行う工具条件決定方法であって
ワークの初期形状および目標形状を表すデータとして、前記ワークの初期形状および目標形状を複数の方向から見た二次元画像の画像データを受け付け、前記初期形状から前記目標形状を得るために使用する一連の工具条件を決定する決定ステップ、
を含み、
前記決定ステップでは、ワークの現在形状から前記目標形状を得るための加工で使用する工具条件を出力するように機械学習された学習モデルを用いて、前記ワークの初期形状を前記学習モデルへの最初の入力として工具条件を得て、前記学習モデルから得られた工具条件による加工後の次形状をさらに前記学習モデルの入力として次の工具条件を得る処理を繰り返すことにより、前記一連の工具条件を決定する、
工具条件決定方法。
複数種類の工具を使用する工作機械に対する工具条件を決定するために用いる学習モデルを機械学習する、コンピュータが行う学習方法であって、
前記学習モデルは、ワークの初期形状および目標形状を表すデータとして、前記ワークの初期形状および目標形状の点群データ、および、前記ワークの初期形状および目標形状を複数の方向から見た二次元画像の画像データの少なくとも一方を受け付け前記ワークの初期形状から目標形状を得るまでの除去体積および加工時間を報酬とした強化学習により、前記学習モデルを学習する学習ステップ、
を備える、学習方法。
前記学習モデルは、現在形状から前記目標形状を得るために使用する次の加工における工具条件を出力するモデルであり、
前記学習ステップでは、前記ワークの初期形状を前記学習モデルへの最初の入力として工具条件を得て、前記学習モデルから得られた工具条件による加工後の次形状をさらに前記学習モデルの入力として次の工具条件を得る処理を前記目標形状が得られるまでに繰り返し、除去体積および加工時間を報酬とした強化学習により、前記学習モデルを学習する、
請求項１８に記載の学習方法。
請求項１７から１９のいずれか１項に記載の方法をコンピュータに実行させるためのコンピュータプログラム。