以下に、実施の形態にかかる学習装置、放電加工機および学習方法を図面に基づいて詳細に説明する。
実施の形態1.
図1は、実施の形態1にかかる放電加工機の構成を示す図である。放電加工機1は、形彫放電加工を行う装置である。放電加工機1は、加工電極である電極Eと被加工物17との間に高周波パルス電圧を印加することで、加工対象となる被加工物17と電極Eとの間に放電を発生させて形彫放電加工を実行する装置である。なお、以下の説明では、被加工物17への形彫放電加工を、単に放電加工と呼ぶ場合がある。
放電加工機1は、ベッド19と、制御装置2と、駆動部12と、表示部13と、定盤18とを備えている。放電加工機1は、制御装置2の制御に従って、駆動部12に取り付けられた電極Eを用いて、ベッド19上の定盤18に載せられた被加工物17を加工する。電極Eは、被加工物17に対向する位置に配置される。
制御装置2は、機械制御部14と、電源制御部15と、加工条件設定部16とを有している。機械制御部14と電源制御部15とにより、放電加工機1が形彫放電加工を行う動作である形彫放電加工動作を制御する制御部が構成される。
機械制御部14および電源制御部15は、制御対象を制御する制御部である。機械制御部14の制御対象は駆動部12等であり、電源制御部15の制御対象は電力である。
機械制御部14は、加工条件設定部16から送られてくる加工条件に基づいて、駆動部12の位置等を制御する。機械制御部14は、駆動部12を制御することによって、電極Eと被加工物17との間に放電が発生するよう、電極Eと被加工物17との間隔を制御する。
電源制御部15は、加工条件設定部16から送られてくる加工条件に基づいて、電極Eと被加工物17との間に供給する電力を制御する。すなわち、電源制御部15は、電極Eと被加工物17との間の放電を制御する。
加工条件設定部16は、後述する加工面質データに基づいて加工条件を設定する。加工条件設定部16は、放電加工において駆動部12等を制御するための加工条件を指示する指令を機械制御部14に送り、放電加工において電極Eと被加工物17との間に供給する電力を制御するための加工条件を指示する指令を電源制御部15に送る。
機械制御部14は、加工条件設定部16から送られてくる指令に基づいて、駆動部12等を制御する。電源制御部15は、加工条件設定部16から送られてくる指令に基づいて、電極Eと被加工物17との間に供給する電力を制御する。
駆動部12は、機械制御部14から送られてくる指令に従ってX方向、Y方向、およびZ方向に移動する。本実施の形態では、Z方向が鉛直方向であり、XY平面が水平面である場合について説明する。
表示部13は、加工条件設定部16から送られてくる種々の情報を表示する。表示部13の例は、液晶モニタである。表示部13は、例えば、加工条件設定部16が後述する加工面の画像から算出した加工面質データ、評価指標の値、加工条件設定部16が修正した加工条件等を表示する。なお、表示部13は、機械制御部14および電源制御部15から送られてくる情報を表示してもよい。
図2は、実施の形態1にかかる制御装置の構成を示す図である。図2では、制御装置2の構成要素である加工条件設定部16、機械制御部14および電源制御部15に加えて、表示部13を図示している。図3は、実施の形態1にかかる学習装置の構成を示す図である。図4は、実施の形態1にかかる推論装置の構成を示す図である。
加工条件設定部16は、入力部21と、加工面質データ算出部22と、学習装置23と、学習済モデル記憶部24と、推論装置25と、加工条件記憶部26と、加工条件出力部27と、を備える。放電加工機1では、加工面質データ算出部22と、学習装置23と、学習済モデル記憶部24と、推論装置25とにより、加工条件を修正する加工条件修正部28が構成されている。
入力部21は、被加工物17が放電加工される際に用いられる加工対象物情報と加工条件と加工面の画像情報とを受付ける。加工面の画像情報は、加工面の画像の情報である。入力部21は、加工対象物情報と加工条件とを、学習装置23と加工条件記憶部26とに送信する。また、入力部21は、加工対象物情報を推論装置25と加工条件出力部27とに送信する。また、入力部21は、加工面の画像情報を加工面質データ算出部22に送信する。
加工対象物情報と加工条件と加工面の画像情報とは、放電加工機1の外部から入力部21に入力される。また、放電加工機1は、放電加工された被加工物17の加工面を撮影することによって加工面の画像情報を取得する不図示の画像情報取得部を備えてもよい。この場合、画像情報取得部において取得された加工面の画像情報が、入力部21に入力される。画像情報取得部には、カメラなどの撮影機器が用いられる。また、加工面の画像情報は、放電加工後に放電加工機1から取り外された被加工物17の加工面を、作業者がカメラなどの撮影機器を用いて撮影することによって取得されてもよい。この場合、撮影機器を用いて作業者によって取得された加工面の画像情報が、入力部21に入力される。
加工対象物情報は、被加工物17を放電加工することによって得られる目的の加工品についての情報および放電加工機1で用いられる工具である電極Eについての情報を含む情報である。また、加工対象物情報は、被加工物17の放電加工において用いられる情報のうち、放電加工機1で直接制御できないパラメータの情報である。加工対象物情報には、例えば被加工物17の材質である加工材質、被加工物17の加工前形状と加工仕上がり形状、電極Eの形状、電極Eの材質、加工面の面粗さの目標値、放電痕の形状、放電痕径の目標値が含まれる。
加工条件は、被加工物17を目的の加工品に形彫放電加工する際に用いられる条件である。また、加工条件は、被加工物17の放電加工において用いられる情報のうち、放電加工時に用いられる加工の条件であり、放電加工機1で直接制御できるパラメータの設定情報である。すなわち、加工条件は、機械制御部14と、電源制御部15とに与える制御条件であり、推論装置25に加工対象物情報が入力されることによって生成される、電源制御条件および機械制御条件である。加工条件には、例えば加工に使用する高周波パルスの電気条件と、電極Eの位置を規定した位置条件とが含まれる。
電気条件には、パルス幅、パルスの休止時間、電圧値、電流値などが含まれる。ジャンプ動作条件には、電極Eの移動高さ、電極Eの移動速度、電極Eの移動加速度、電極Eの引き上げ経路、電極Eの戻り位置、電極Eのジャンプ動作から次のジャンプ動作までの間の時間間隔であるダウンタイムなどが含まれる。
位置条件には、電極EのX座標、Y座標、およびZ座標が含まれている。X座標およびY座標は、加工対象物情報により導き出される加工位置に対応し、Z座標は、加工対象物情報により導き出される加工深さに対応している。位置条件には、加工位置、加工深さ、複数の加工条件を組み合わせて加工する際の寄せ量の条件、加工屑排出動作の条件であるジャンプ動作条件、加工に必要な駆動制御条件が含まれる。加工に必要な駆動制御条件は、ジャンプ動作時以外に加工しているときの電極Eの軸の設定条件であり、極間電圧制御中の電極Eの軸の設定条件である。
なお、入力部21へは、これら以外の、被加工物17の放電加工において用いられる情報が入力されてもよい。加工内容によって、電極Eの電極本数、電極Eの情報、被加工物17の情報、電極Eの位置を補正するための情報、電極Eの移動方法、ジャンプ動作方法などが異なるので、加工内容毎に種々の情報が入力部21に入力される。
加工条件において用いられる位置の情報は、X軸、Y軸、Z軸の3軸方向における位置で指定される。加工位置は、電極EのXY平面内における位置である。加工位置は、被加工物17の上面における位置に対応しており、被加工物17の中心位置に対する電極Eの中心位置で示される。加工深さは、被加工物17への加工の深さである。加工深さは、被加工物17の加工前の上面からの距離で示される。
加工条件記憶部26は、加工対象物情報に対応付けされた加工条件を記憶する。加工条件記憶部26は、記憶している加工条件を、同じ加工対象物情報に対応付けされて推論装置25から送信された加工条件で更新する。加工条件記憶部26は、推論装置25から加工条件が送信されるたびに同一の加工対象物情報に対応付けされた加工条件を更新する。
加工条件出力部27は、入力部21から送信された加工対象物情報に対応する加工条件を加工条件記憶部26から読み出す。すなわち、加工条件出力部27は、加工対象物情報に対応付けされている、更新された最新の加工条件を加工条件記憶部26から読み出す。加工条件出力部27は、加工条件のうちの位置条件を機械制御部14に出力し、加工条件のうちの電気条件を電源制御部15に出力する。
形彫放電加工では、Z方向の加工が行われながら、XY平面内での移動加工が行われる。この場合において、電極Eの縮小代が大きいほど、XY平面内での移動加工時におけるX方向およびY方向への電極Eの移動量が大きくなる。移動加工での電極Eは、被加工物17のXY平面内での中心位置、すなわち電極EのXY平面内における初期位置での中心位置から、プラスX方向、プラスY方向、マイナスX方向、またはマイナスY方向に移動する。形彫放電加工では、例えば、深さ方向への加工と同時に、深さ方向に垂直な2次元平面方向への移動加工が行われる。また、形彫放電加工では、深さ方向への加工と同時に、任意の方向への移動加工が行われてもよい。放電加工では、例えば、半球体などの表面に沿った方向に移動加工されてもよい。
加工面質データ算出部22は、放電加工された被加工物17の加工面17aを撮影した画像から加工面質データを算出する。加工面質データ算出部22は、加工面質データを学習装置23に送信する。以下では、放電加工された被加工物17の加工面17aを撮影した画像を、加工面画像と呼ぶ場合がある。加工面画像は、放電加工が完了して放電加工機1から取り外された被加工物17の加工面17aが撮影された画像である。加工面画像は、放電加工された被加工物17の加工面17aに形成された放電痕の大きさ、すなわち放電痕の直径を、判別可能な画像である。なお、加工面画像は、必ずしも放電加工された被加工物17の加工面17aの全体が撮影されて無くてもよく、加工面17aを偏り無く均一に取得してあればよく、加工面17aの一部が均一に間引かれていてもよい。また、加工面画像は、加工面17aが対称的な形状の領域を有する場合には、対称的な形状の領域のうち一方の領域について取得されていれば、対称的な形状の領域のうち他方の領域については取得が省略されてもよい。また、ここでは、加工面画像は、加工面17aに形成された放電痕の深さを判別可能な画像であってもよい。深さは、加工面17aの表面からの深さである。なお、放電痕の大きさが大きくなると、放電痕の深さも深くなる。
加工面質とは、被加工物17の加工面17aに形成された放電痕の均一性であり、より具体的には、加工面17aの面粗さの均一性および加工面17aに形成された放電痕の大きさの均一性である。すなわち、加工面17aの加工面質が高い状態は、加工面17aの面粗さの均一性および加工面17aに形成された放電痕の大きさの均一性が高い状態である。また、加工面17aの加工面質が低い状態は、加工面17aの面粗さの均一性および加工面17aに形成された放電痕の大きさの均一性が低い状態、加工面17aの面粗さおよび加工面17aに形成された放電痕の大きさが不均一な状態である。
加工面質データは、放電加工が完了した被加工物17の加工面17aの加工面質を定量的に評価した評価結果である。すなわち、加工面質データ算出部22は、放電加工された被加工物17の加工面17aの加工面質を、加工面17aの画像から算出して定量化する。本実施の形態1では、放電加工された被加工物17の加工面17aに形成された放電痕の大きさおよび放電痕の数から算出した、放電痕径の分布の差を定量化したデータを加工面質データとして用いる。なお、放電痕をピットとして扱うかどうかは、加工面17aに要求される加工面質、すなわち加工面17aの均一性に依る。
以下では、放電加工された被加工物17の加工面17aに形成された放電痕の大きさおよび放電痕の数から算出された放電痕径の分布の差を定量化したデータを第1の加工面質データと呼ぶ。ここでは、同じ加工対象物情報の被加工物17に対して、加工中に発生する加工屑の加工面17aにおける不均一が無い状態で加工した場合の放電加工が完了した被加工物17の加工面17aの放電痕径の分布である理想的な放電痕径の分布と、加工対象物情報に対応する任意の加工条件で加工した場合の放電加工が完了した被加工物17の加工面17aの放電痕径の分布である実際の放電痕径の分布との差を、第1の加工面質データとして、使用する。すなわち、第1の加工面質データは、形彫放電加工された加工面17aの画像から取得される加工面17aにおける予め決められた大きさの放電痕よりも大きな放電痕の分布に基づいて加工面17aの加工面質を評価した加工面質データである。
図5は、実施の形態1にかかる放電加工機により放電加工された被加工物の加工面における、放電痕径の分布の一例と放電痕径の理想的な分布とを示す分布図である。以下では、放電加工機1により放電加工された被加工物17の加工面17aの放電痕径の分布の一例を、分布g(r)と呼ぶ場合がある。また、放電加工機1により放電加工された被加工物17の加工面17aの放電痕径の理想的な分布を、分布f(r)と呼ぶ場合がある。図5における分布f(r)および分布g(r)は、放電加工された被加工物17の加工面17aを撮影した画像から算出されている。
図5において、横軸は、放電加工された被加工物17の加工面画像から取得された、被加工物17の加工面17aに形成された放電痕径を示している。ここでの放電痕径は、被加工物17の加工面17aに形成された放電痕の直径である。図5において、縦軸は、放電加工された被加工物17の加工面画像から取得された、被加工物17の加工面17aに形成された放電痕の数を示している。
分布f(r)は、電気条件毎に、被加工物17の加工面17aを、加工中に発生する加工屑の加工面17aにおける不均一が無い状態で加工した場合の放電痕径の分布である。図5においては、分布f(r)を実線で示している。また、図5においては、分布g(r)を破線で示している。分布g(r)は、放電痕径がg0以下では、分布f(r)と同じ分布を有する。
被加工物17の加工面17aに対して加工面質が良い加工が実施された場合には、加工面17aの放電痕径の分布は、図5において実線で示す分布f(r)のような正規分布になる。図5において、分布f(r)における放電痕径の中心は、被加工物17の放電加工において発生する放電痕径として予め想定されて設定されている放電痕径設定値cである。すなわち、放電痕径設定値cは、使用した加工条件において加工面17aに発生すると想定されている理想的な放電痕径である。
一方、被加工物17の加工面17aに対して加工面質が悪い加工が実施された場合には、加工面17aの放電痕径の分布は、図5において破線で示す分布g(r)のように、放電痕径の大きい領域の放電痕が増加し、また、放電痕径の大きい放電痕が散在する。図5における分布g(r)の領域(i)では、分布f(r)における相対的に放電痕径の大きい放電痕が多くなり、また分布f(r)よりも放電痕径が大きい放電痕が分布f(r)の末端部分に存在している。図5における分布g(r)の領域(ii)では、領域(i)よりもさらに放電痕径の大きい放電痕が局所的に集中して散在している。
形彫放電加工では、放電による熱エネルギーが弱い加工条件で加工するほど、加工面17aの面粗さおよび放電痕の大きさが小さくなる。しかしながら、放電による熱エネルギーが弱い加工条件で加工を行う場合は、加工時間が長くなる。このため、一般的に、放電による熱エネルギーが強い加工条件で加工が開始される。その後、放電による熱エネルギーが弱い加工条件に、段階的に加工条件が変更される。そして、最終的には、目的の面粗さを得ることができる、放電による熱エネルギーが弱い加工条件で加工が実施される。
また、形彫放電加工では、放電による熱エネルギーが強いほど、電極Eと被加工物17との間の間隙を大きくする。このため、放電による熱エネルギーが強い加工条件から放電による熱エネルギーが弱い加工条件に切り替える際には、放電による熱エネルギーが強い加工条件での電極Eと被加工物17との間の間隙と放電による熱エネルギーが弱い加工条件での電極Eと被加工物17との間の間隙との差以上に、電極Eと被加工物17との距離を近づける必要がある。
このように放電による熱エネルギーが強い加工条件での電極Eと被加工物17との間の間隙から、放電による熱エネルギーが弱い加工条件での電極Eと被加工物17との間の間隙に切り替える際に、電極Eを被加工物17に向けて動かす量、すなわち電極Eと被加工物17との距離を近づける量を寄せ量と呼ぶ。寄せ量が不足している場合には、放電による熱エネルギーが強い加工条件で加工面17aに形成された放電痕が残ってしまう。この場合、本来、放電による熱エネルギーが弱い加工条件で加工面17aに形成される放電痕の放電痕径よりも大きな放電痕が残り、加工面17aの面粗さが粗くなる。
このため、形彫放電加工では、加工条件における高周波パルス電圧の電圧値および電流値を調整して放電による熱エネルギーを段階的に弱くして加工を進める際の、加工条件の切替時の寄せ量が不適切な場合には、加工条件を切り替える前の加工条件で形成された放電痕が残ってしまうことにより、図5における分布g(r)の領域(i)のピットが発生する。
また、電極Eと被加工物17との間に印加する高周波パルスの条件および加工屑排出条件のうち少なくとも一方が不適切である場合は、集中放電が発生することにより、放電痕径設定値cよりも極端に大きな放電痕径を有する放電痕が形成され、図5における分布g(r)の領域(ii)のピットが発生する。このようなピットの放電痕径は、例えば放電痕径設定値cの10倍から20倍に達する場合もある。このように、加工面17aに形成されるピットには、発生要因および大きさが異なるピットが存在する。
そこで、加工面質データ算出部22は、図5の分布f(r)および分布g(r)のように、加工面17aに形成された放電痕の放電痕径の分布図を加工面画像から生成し、放電痕の放電痕径の分布図から第1の加工面質データを算出する。加工面質データ算出部22は、以下の式(1)を用いて図5の分布図から第1の加工面質データを算出する。
式(1)において、rは、分布g(r)におけるg0以降の放電痕径と放電痕径設定値cとの差である。また、「g(r)−f(r)」の演算は、放電痕径の分布が理想的ではない場合の放電痕径の分布と、放電痕径の分布が理想的である場合の放電痕径の分布との差を求めている。例えばf(r)の分布曲線が横軸と接する部分である、放電痕径がg1である位置について考える。例えば、g1の位置におけるg(r)の放電痕径の数が50であり、g1の位置におけるf(r)の放電痕径の数が0であるとすると、g(r)−f(r)=50である。
式(1)により算出される第1の加工面質データの値は、加工面17aの加工面質が悪いほど大きい値となり、加工面17aの加工面質が良いほど小さい値となる。
放電痕径が大きいピットは、放電加工が異常な状態のとき発生する。放電痕径が小さいピットは、寄せ量が適切でないときに発生する。このように加工面17aには、発生要因および大きさの異なるピットが存在する。式(1)により算出される第1の加工面質データの値は、加工面17aの加工面質が悪いほど大きい値となるため、第1の加工面質データの値が極端に大きい場合は、放電加工機1自体の状態が異常であるか、または加工条件が著しく不適切であることが予測される。このため、放電加工機1自体の状態の適正化、または加工条件の適正化を行うことで、放電痕の径が著しく大きい領域(ii)のピットを無くすことができる。
また、第1の加工面質データの値が極端に大きくない場合は、寄せ量が不適切であることに起因する、領域(i)の比較的小さいピットを少なくするための適正化を学習装置23で行うことで、ピットの発生を抑制して加工面17aの均一性を向上させることができる。
なお、加工面質データは、被加工物17の加工面17aの加工結果の評価を示す評価指標の値であるので、加工面質データ算出部22は、被加工物17の加工面17aの加工結果の評価を示す評価指標の値を算出する評価算出部と換言できる。被加工物17の加工面17aの加工結果の評価は、形彫放電加工された被加工物17の加工面17aに形成された放電痕の均一性の評価である。したがって、加工面質データは、形彫放電加工された被加工物17の加工面17aに形成された放電痕の均一性の評価を示す評価指標の値である。
加工面質データ算出部22は、算出した第1の加工面質データを学習装置23に送信する。なお、加工面質データ算出部22は、学習装置23の内部に配置することも可能であり、放電加工機1の外部に配置することも可能である。
学習装置23は、実際の加工に用いられた加工条件と、この加工条件を用いた放電加工で取得された加工結果とに基づいて、目標の加工面質を実現することができる加工条件を学習する。本実施の形態では、加工結果は、加工面17aの加工面質である場合について説明する。
<学習フェーズ>
学習装置23は、実際の加工に用いられた加工条件と、実際の加工で取得された加工面質データとに基づいて学習済モデル30を生成するコンピュータであり、加工面17aの加工面質を良くすることができる加工条件を学習する。学習済モデル記憶部24は、学習装置23が生成した学習済モデル30を記憶する。なお、学習済モデル記憶部24は、学習装置23の内部に配置してもよい。また、学習装置23および学習済モデル記憶部24は、放電加工機1の外部に配置することも可能である。
学習装置23は、データ取得部231と、モデル生成部232とを備えている。
データ取得部231は、加工対象物情報と、加工条件と、加工面質データとを学習用データとして取得する。実施の形態1では、データ取得部231が、加工対象物情報と、加工条件と、第1の加工面質データとを学習用データとして取得する場合について説明する。
モデル生成部232は、加工対象物情報と、加工条件と、第1の加工面質データとを含む学習用データに基づいて、加工条件を学習する。すなわち、モデル生成部232は、加工対象物情報と加工面質データとから、被加工物17の加工面17aの加工面質が向上するような加工条件を推論するための学習済モデル30を生成する。
モデル生成部232が用いる学習アルゴリズムは教師あり学習、教師なし学習、強化学習等の公知のアルゴリズムを用いることができる。一例として、強化学習(Reinforcement Learning)を適用した場合について説明する。強化学習では、ある環境内におけるエージェント(行動主体)が、現在の状態(環境のパラメータ)を観測し、取るべき行動を決定する。エージェントの行動により環境が動的に変化し、エージェントには環境の変化に応じて報酬が与えられる。エージェントはこれを繰り返し、一連の行動を通じて報酬が最も多く得られる行動方針を学習する。強化学習の代表的な手法として、Q学習(Q−learning)、およびTD学習(TD−learning)が知られている。例えば、Q学習の場合、行動価値関数Q(s,a)の一般的な更新式は以下の式(2)で表される。
式(2)において、stは時刻tにおける環境を表し、atは時刻tにおける行動を表す。行動atにより、状態(環境)はst+1に変わる。rt+1はその状態の変化によってもらえる報酬を表し、γは割引率を表し、αは学習係数を表す。なお、γは0<γ≦1、αは0<α≦1の範囲とする。加工条件が行動atとなり、加工対象物情報と加工面質データとが状態stとなり、学習装置23は、時刻tの状態stにおける最良の行動atを学習する。
式(2)で表される更新式は、時刻t+1における最もQ値の高い行動aの行動価値Qが、時刻tにおいて実行された行動aの行動価値Qよりも大きければ、行動価値Qを大きくし、逆の場合は、行動価値Qを小さくする。換言すれば、学習装置23は、時刻tにおける行動aの行動価値Qを、時刻t+1における最良の行動価値Qに近づけるように、行動価値関数Q(s,a)を更新する。それにより、ある環境における最良の行動価値Qが、それ以前の環境における行動価値Qに順次伝播していくようになる。
上記のように、モデル生成部232が強化学習によって学習済モデル30を生成する場合、モデル生成部232は、報酬計算部233と、関数更新部234とを有している。
報酬計算部233は、加工条件および評価指標の値である加工面質データに基づいて、加工条件の報酬rを計算する。例えば、報酬計算部233は、加工面質データが小さい場合には報酬rを増大させ(例えば「1」の報酬を与える。)、他方、加工面質データが大きい場合には報酬rを低減する(例えば「−1」の報酬を与える。)。報酬計算部233は、第1の加工面質データと比較することによって、適用した加工条件に対する報酬を増加させるか、または報酬を減じるかを判断するための基準値である第1閾値31を記憶している。第1閾値31は、ユーザが制御装置2に値を設定することにより、任意の値に変更可能である。
関数更新部234は、報酬に基づいて、次回の加工条件である行動を決定するための関数を更新する。すなわち、関数更新部234は、学習済モデル30を更新する。関数更新部234は、報酬計算部233によって計算される報酬に従って、加工条件を決定するための関数を更新し、学習済モデル記憶部24に出力する。例えばQ学習の場合、関数更新部234は、式(2)で表される行動価値関数Q(st,at)を加工条件を算出するための関数として用いる。行動価値関数Q(st,at)は、加工条件を算出するための加工条件生成関数といえる。
学習装置23は、以上のような学習を繰り返し実行する。学習済モデル記憶部24は、関数更新部234によって更新された行動価値関数Q(st,at)、すなわち、学習済モデル30を記憶する。
つぎに、図6を用いて、学習装置23が学習する処理の処理手順について説明する。図6は、実施の形態1にかかる学習装置による学習処理の処理手順を示すフローチャートである。
データ取得部231は、加工対象物情報と、加工条件と、第1の加工面質データとを第1の学習用データとして取得する(ステップS110)。
モデル生成部232は、加工対象物情報と、加工条件と、第1の加工面質データとに基づいて、適用した加工条件に対する報酬を計算する(ステップS120)。具体的には、報酬計算部233は、第1の加工面質データを取得し、予め定められた報酬基準である第1閾値31に基づいて、適用した加工条件に対する報酬を増加させるか、または報酬を減じるかを判断する。報酬計算部233は、第1の加工面質データが第1閾値31未満である場合に、適用した加工条件に対する報酬を増加させると判断する。報酬計算部233は、第1の加工面質データが第1閾値31以上である場合に、適用した加工条件に対する報酬を減じると判断する。
報酬計算部233は、第1の加工面質データが第1閾値31未満である場合に、報酬を増やす(ステップS130)。一方、報酬計算部233は、第1の加工面質データが第1閾値31以上である場合に、報酬を減らす(ステップS140)。
関数更新部234は、報酬計算部233によって計算された報酬に基づいて、学習済モデル記憶部24が記憶する式(2)で表される行動価値関数Q(st,at)を更新する(ステップS150)。
学習装置23は、以上のステップS110からステップS150までのステップを繰り返し実行し、生成された行動価値関数Q(st,at)を学習済モデル30として学習済モデル記憶部24に記憶させる。
なお、実施の形態1にかかる学習装置23は、学習済モデル30を学習装置23の外部に設けられた学習済モデル記憶部24に記憶させるものとしたが、学習済モデル記憶部24は、学習装置23の内部に配置されていてもよい。
本実施の形態1における加工結果の評価点である第1の加工面質データは、分布g(r)において分布f(r)よりも放電痕径が大きい放電痕径が存在するほど、値が大きくなる。また、第1の加工面質データは、分布f(r)において相対的に放電痕径が大きい放電痕の数が分布g(r)において増えるほど、値が大きくなる。したがって、学習装置23は、第1の加工面質データを小さくする行動価値関数Q(st,at)の学習済モデル30を生成することにより、被加工物17の加工面17aの加工面質を向上させることができる加工条件、すなわち加工面17aの均一性を良くすることができる加工条件を推論するための加工対象物情報と加工条件との関係を学習することができる。
<活用フェーズ>
推論装置25は、学習済モデル30を用いて、加工対象物情報から加工面17aの加工面質を良くする加工条件を推論するコンピュータである。
推論装置25は、データ取得部251と、推論部252とを備える。データ取得部251は、加工対象物情報を取得する。推論部252は、学習済モデル30を用いて、加工条件を推論し、推論した加工条件を加工条件32として加工条件記憶部26に出力する。すなわち、推論部252は、学習済モデル30にデータ取得部251が取得した加工対象物情報を入力することで、加工対象物情報に適した加工条件を推論することができる。なお、推論装置25は、放電加工機1の外部に配置することも可能である。
なお、実施の形態1では、推論装置25が、モデル生成部232が学習した学習済モデル30を用いて、加工条件を推論する場合について説明したが、推論装置25は、学習装置23以外の他の学習装置から学習済モデル30を取得し、この学習済モデル30に基づいて加工条件を推論してもよい。
つぎに、図7を用いて、推論装置25が、加工条件を推論する処理の処理手順について説明する。図7は、実施の形態1にかかる推論装置による推論処理および実施の形態1にかかる制御装置による制御処理の処理手順を示すフローチャートである。
データ取得部251は、加工対象物情報を推論用データとして取得する(ステップS210)。推論部252は、学習済モデル記憶部24に記憶されている学習済モデル30に、推論用データである加工対象物情報を入力し(ステップS220)、加工条件を得る。推論部252は、得られたデータである、加工条件を、加工条件記憶部26に出力する(ステップS230)。
加工条件出力部27は、加工対象物情報に対応する加工条件を加工条件記憶部26から読み出す。加工条件出力部27は、読み出した加工条件のうちの位置条件を機械制御部14に出力し、読み出した加工条件のうちの電気条件を電源制御部15に出力する。機械制御部14および電源制御部15は、出力された加工条件を用いて放電加工を制御する(ステップS240)。これにより、放電加工機1は、加工面17aの加工面質を向上させることが可能となる。
なお、実施の形態1では、推論部252が用いる学習アルゴリズムに強化学習を適用した場合について説明したが、これに限られるものではない。学習アルゴリズムについては、強化学習以外にも、教師あり学習、教師なし学習、又は半教師あり学習等を適用することも可能である。
また、モデル生成部232に用いられる学習アルゴリズムとしては、特徴量そのものの抽出を学習する、深層学習(Deep Learning)を用いることもでき、モデル生成部232は、他の公知の方法、例えばニューラルネットワーク、遺伝的プログラミング、機能論理プログラミング、サポートベクターマシンなどに従って機械学習を実行してもよい。
なお、学習装置23および推論装置25は、例えば、ネットワークを介して制御装置2に接続された、この制御装置2とは別個の装置であってもよい。また、学習装置23および推論装置25は、制御装置2に内蔵されていてもよい。さらに、学習装置23および推論装置25は、クラウドサーバ上に存在していてもよい。
また、モデル生成部232は、複数の制御装置2から取得される学習用データを用いて、加工条件を学習するようにしてもよい。なお、モデル生成部232は、同一のエリアで使用される複数の制御装置2から学習用データを取得してもよいし、異なるエリアで独立して動作する複数の制御装置2から収集される学習用データを利用して加工条件を学習してもよい。また、学習装置23は、学習用データを収集する制御装置2を途中で対象に追加し、或いは、対象から除去することも可能である。さらに、ある制御装置2に関して加工条件を学習した学習装置23が、この制御装置2とは別の制御装置2に適用され、当該別の制御装置2に対し、加工条件を再学習して学習済モデル30を更新するようにしてもよい。
このように実施の形態1にかかる放電加工機1では、学習装置23が加工条件を学習し、推論装置25が加工条件を推論するので、ユーザによる加工条件のパラメータの調整の手間を無くすとともに被加工物17の加工面17aの加工面質を向上させることができる。
形彫放電加工は、加工対象物情報が異なると、加工面質を良くする加工条件が異なるため、加工面質の良い加工面17aを得るための加工条件を生成することは多大な加工結果と熟練者の経験が必要であった。しかしながら、実施の形態1によれば、容易に加工面質の良い加工面17aを得るための加工条件を生成することが可能となる。
また、加工面17aにおけるピットの分布に基づいて加工面17aの加工面質を評価した加工面質データである第1の加工面質データを活用することで、放電加工においてピットのサイズの分布と相関の高い、加工条件の寄せ量の適正条件および高周波パルス条件の適正条件を学習することが可能となる。
したがって、実施の形態1によれば、被加工物17の加工面17aの加工面質を向上させることができる、放電加工の適正な加工条件を学習できる学習装置が得られる。
実施の形態2.
図8は、実施の形態2における放電加工機の学習装置の構成を示す図である。実施の形態2においては、学習装置23における他の学習形態について説明する。
モデル生成部232は、実施の形態2では、加工対象物情報と、加工条件と、後述する第2の加工面質データとを含む学習用データに基づいて、加工面17aの加工面質を良くすることができる加工条件を学習する。すなわち、モデル生成部232は、実施の形態1の場合と同様に、加工対象物情報と加工面質データとから、加工面17aの加工面質を良くすることができる加工条件を推論するための学習済モデル30を生成する。
実施の形態2では、モデル生成部232は、第2の加工面質データと比較することによって、適用した加工条件に対する報酬を増加させるか、または報酬を減じるかを判断するための基準値である第2閾値33を記憶している。第2閾値33は、ユーザが制御装置2に値を設定することにより、任意の値に変更可能である。
放電加工機1を用いて加工液中で形彫放電加工を実施すると、被加工物17の加工面17aと電極Eとの間に加工屑が発生する。そして、加工面17aの面内方向における加工面17aと電極Eとの間に介在する加工液中の加工屑の分布が不均一になって、加工面17aの面内方向において局所的な加工屑の偏りが発生することによって、加工面17aの加工面質の不均一性が発生する。
すなわち、加工面17aと電極Eとの間に介在する加工液中の加工屑濃度がある特定の濃度以上に増えると、加工面17aと電極Eとの間の電位が下がりすぎた状態となる。そして、加工面17aと電極Eとの間の加工液中の加工屑濃度がある特定の濃度以上になる箇所では、加工面17aと電極Eとの間の放電がアーク状態に移行しやすくなり、放電が1箇所に集中しやすくなる。このため、加工面17aと電極Eとの間の加工液中の加工屑濃度がある特定の濃度以上になる箇所では、放電の集中によって放電痕の放電痕径が大きくなり、ピットが形成される。
このため、放電加工機1を用いて加工液中で形彫放電加工を安定して進めるためには、加工面17aと電極Eとの間の電位を一定に保つ必要がある。そこで、放電加工機1を用いて加工液中で形彫放電加工を実施する際には、加工面17aと電極Eとの間の加工液中から加工屑を排出する加工屑排出動作であるジャンプ動作を定期的に行いながら加工を進める。
図9は、実施の形態2における放電加工機による加工液中での形彫放電加工における極間距離制御およびジャンプ動作制御を説明するための図である。放電加工機1は、極間距離制御の際には、加工液43中において電極Eを被加工物17の加工面17aに近付けて、電極Eと加工面17aとの間で放電パルス41を発生させる(s1)。この放電パルス41によって加工面17aが放電加工され、加工屑42が発生する。
この後、放電加工機1は、極間距離制御を終了して、ジャンプ動作制御を開始する。この場合において、放電加工機1は、加工面17aからジャンプ動作距離L1だけ電極Eを上昇させる(s2)。この後、放電加工機1は、電極Eを下降させて、被加工物17のある位置に電極Eを戻す(s3)。ここで、電極Eの下降時に、加工屑42を含んだ加工液43が、加工済み領域45から加工済み領域45の外部に向かって流出する。そして、このときの加工液43の流出動作によって、電極Eと加工面17aとの間の空間から加工屑が排出される。このようなジャンプ動作によって、電極Eと加工面17aとの間の空間から加工屑42が排出される。放電加工機1は、上述した(s1)から(s3)の処理を定期的に繰り返しながら、加工液43中で形彫放電加工を進める。このように加工面17aと電極Eとの間に介在する加工液43中から加工屑42を排出させるための、電極Eを引き上げ、その後、電極Eを元の位置に戻す動作をジャンプ動作と呼ぶ。ジャンプ動作は、加工方向における電極Eの動作だけに限定されない。ジャンプ動作は、例えば加工方向がZ方向である加工時にXY平面内の移動加工が行われている際の、電極EをXY方向において電極Eを移動させた後に電極Eを元の位置に戻す動作も含まれる。
ジャンプ動作には、加工形状毎に適した加工屑排出効果が存在する。加工屑排出効果は、ジャンプ動作終了後の加工面17aと電極Eとの間に介在する加工液43中の加工屑濃度を低減させる効果である。ジャンプ動作終了において、加工面17aと電極Eとの間の加工液43中の加工屑濃度が低いほど、ジャンプ動作の加工屑42の排出効果が高い、すなわち加工屑排出効果が高いといえる。
図10は、実施の形態2における放電加工機による加工液中での形彫放電加工における、加工面の面内方向における加工面と電極との間の加工屑の分布の不均一性と、ジャンプ動作の加工屑排出効果との関係性を示す特性図である。また、図10では、ジャンプ動作の加工屑排出効果と、ジャンプ動作終了直後の被加工物17の加工面17aと電極Eとの間に介在する加工液中の加工屑量との関係性を併せて示している。以下では、加工面17aの面内方向における加工面17aと電極Eとの間の加工屑の分布を、単に加工屑の分布と呼ぶ場合がある。
図10における横軸は、ジャンプ動作の加工屑排出効果を示している。横軸においては、左側がジャンプ動作の加工屑排出効果が低く、加工面17aと電極Eとの間に介在する加工液中の加工屑量が相対的に多い。また、横軸においては、右側がジャンプ動作の加工屑排出効果が高く、加工面17aと電極Eとの間に介在する加工液中の加工屑量が相対的に少ない。図10における左側の縦軸は、加工面の面内方向における加工面と電極Eとの間の加工屑の分布の不均一性を示している。左側の縦軸においては、下側ほど加工屑の分布が均一であり、上側ほど加工屑の分布が不均一である。
図10における右側の縦軸は、ジャンプ動作終了直後の加工面17aと電極Eとの間の加工液中の加工屑量を示している。右側の縦軸においては、下側ほど加工屑量が少なく、上側ほど加工屑量が多い。図10では、加工屑の分布の不均一性と、ジャンプ動作の加工屑排出効果との関係性を示す特性曲線を実線46で示している。図10では、ジャンプ動作終了直後の加工面17aと電極Eとの間の加工液中の加工屑量と、ジャンプ動作の加工屑排出効果との関係性を示す特性曲線を破線47で示している。
図10に示すように、ジャンプ動作の加工屑排出効果が高い領域にも、ジャンプ動作の加工屑排出効果が低い領域にも、加工屑の分布が均一になる領域が存在する。ジャンプ動作の加工屑排出効果が高すぎる領域にも、ジャンプ動作の加工屑排出効果が低すぎる領域にも、加工屑の分布が不均一になる傾向の領域が存在する。
加工屑の分布の不均一性を抑制するためには、ジャンプ動作の加工屑排出効果の適正値が存在する。また、加工屑の分布の不均一性が抑制された状態の加工面17aと電極Eとの間の状態には、例えば図10に示すように、状態A、状態B、状態Cおよび状態Dがある。ここでは、電極Eの加工部の形状、すなわち電極Eが加工面17aと対向する部分の形状が四角形状である場合を例に示している。なお、電極Eの加工部の形状は、四角形状に限定されず、所望の加工面17aを加工可能であれば任意の形状とすることができる。したがって、加工面17aの加工形状は四角形状に限定されない。
状態A、状態B、状態Cおよび状態Dにおいて、ハッチングが施されている領域51は、ハッチングが施されていない領域52に対して、ジャンプ動作終了直後の被加工物17の加工面17aと電極Eとの間に介在する加工液中の加工屑量が相対的に多い領域である。
状態Aは、ジャンプ動作終了直後において、状態Dに対して相対的に多い量の加工屑が加工面17aと電極Eとの間に均一に分布した状態である。状態Aは、図10の実線46において、左側の最下点46ALを挟んだ、第1点46A1と第2点46A2との間である46Aの部分の状態に対応する。第1点46A1は、実線46において、左側の最下点46ALよりも左側の点である。第2点46A2は、実線46において、左側の最下点46ALよりも右側の点であって、実線46における最上点46Tと左側の最下点46ALとの間の点である。なお、第1点46A1と第2点46A2とは、形彫放電加工における諸条件によって変化する。状態Dは、ジャンプ動作終了直後において、状態Aに対して相対的に非常に少ない量の加工屑が加工面17aと電極Eとの間に均一に分布した状態、または加工面17aと電極Eとの間の加工屑が完全に除かれた状態である。状態Dは、図10の実線46において、右側の最下点46DLを挟んだ、第3点46D1と第4点46D2との間である46Dの部分の状態に対応する。第3点46D1は、実線46において、右側の最下点46DLよりも左側の点であって、最上点46Tと右側の最下点46DLとの間の点である。第4点46D2は、実線46において、右側の最下点46DLよりも右側の点である。なお、第3点46D1と第4点46D2とは、形彫放電加工における諸条件によって変化する。そして、状態Aおよび状態Dのそれぞれの状態を実現するための、ジャンプ動作の加工屑排出効果の適切なレベルが存在する。
状態Aを目標とすると、ジャンプ動作の加工屑排出効果が低くジャンプ動作での加工屑排出量が少ないため、放電加工中の加工面17aと電極Eとの間の加工屑濃度が高すぎて、加工面17aと電極Eとの間の放電がアーク状態に移行して放電加工が進まなくなる。
また、状態Aよりもジャンプ動作の加工屑排出効果が高い場合には、加工面17aの面内方向における加工面17aと電極Eとの間において局所的に加工屑が少ない領域が存在する状態である、状態Bまたは状態Cの状態になる。また、状態Dとなるジャンプ動作の加工屑排出効果の適正値よりも、ジャンプ動作の加工屑排出効果が高すぎると、電極Eと加工面17aとの間の放電電位が高い状態となり、パルス放電が発生しづらい状況となることから、微弱なパルス放電による加工の際に加工が不安定になりやすい。
電極Eの加工部の形状が四角形状である場合、相対的にジャンプ動作の加工屑排出効果が低いレベルであって、状態Aよりもジャンプ動作の加工屑排出効果が高い場合には、状態Bに示すように、流体の流動性の性質に起因して、加工面17aに対してX形状のライン状に加工屑が残る。状態Bは、図10の実線46において、第2点46A2と最上点46Tとの間である46Bの部分の状態に対応する。また、加工面17aに対向する電極Eの加工部の形状が四角形状である場合、状態Bよりもジャンプ動作の加工屑排出効果が高いレベルであって、状態Dよりもジャンプ動作の加工屑排出効果が低い場合には、状態Cに示すように、流体の流動性の性質に起因して、加工面17aに対して隅の方に加工屑が残る。状態Cは、図10の実線46において、最上点46Tと第3点46D1との間である46Cの部分の状態に対応する。
加工面17aと電極Eとの間の加工液中の加工屑濃度が同程度であっても、電極Eの加工部の形状とジャンプ動作の加工屑排出効果とに起因して、加工面17aに対して局所的な加工屑の偏りが発生する。このため、図10の横軸は、加工屑濃度ではなく、ジャンプ動作の加工屑排出効果と記している。
そして、状態Bまたは状態Cの状態において放電加工された加工面17aは、ハッチングが施されている領域51のパターンに対応する部分の放電痕径の均一性および面粗さが悪くなり、加工面17aが不均一になる。
以下において説明する加工面不均一パターン50は、状態Bおよび状態Cの状態における、放電加工中に発生する加工面17aの面内方向における特徴的な加工屑濃度分布の偏りを図示したものである。加工面不均一パターンは、放電加工中に発生する加工面17aの面内方向における、加工屑濃度分布が良くない特徴的な加工屑濃度分布の偏りを示すパターンである。
図11および図12は、実施の形態2における加工面不均一パターンの例を示す図である。図11および図12において、ハッチングが施されている領域53のパターンは、図10のハッチングが施されている領域51に対応するパターンである。図11および図12において、ハッチングが施されていない領域54は、図10のハッチングが施されていない領域52に対応する。ハッチングが施されている領域53のパターンが、加工面17aが不均一になるパターンである。
図11の加工面不均一パターン50は、図9に示すようにジャンプ動作における電極Eの上昇時において、加工面17aの四角形状の四隅から加工済み領域45への加工液43の流入により加工面17aの四角形状の対角線状に加工屑42が集まる場合に発生する加工屑42の分布を模式化した例である。図11に示すような加工屑42の分布は、ジャンプ動作における電極Eの下降時における加工済み領域45からの加工液43の流出動作で加工屑42が適切に拡散しなかった場合に発生する。
図11の加工面不均一パターン50は、状態Bに対応している。加工面17aと電極Eとの間に介在する加工液43中の加工屑の濃度を適度な濃度として加工屑42の分布を均一に維持することが必要な形彫放電加工においては、加工屑42の分布として状態Aのような状態が必要となる。状態Bは、状態Aよりもジャンプ動作の加工屑排出効果がやや高い場合に発生する。
また、図12の加工面不均一パターン50は、状態Dのように加工面17aと電極Eとの間の加工屑42を完全に排出するまたは極力排出することを目標とした場合において、ジャンプ動作の加工屑排出効果が不十分であり、加工済み領域45の加工形状の外周側に加工屑が集中する際に発生する加工屑の分布を模式化した例である。
本実施の形態2では、加工面質データ算出部22は、放電加工された被加工物17の加工面17aを撮影した画像から加工面質データを算出する。図13は、実施の形態2における加工面不均一パターンを記憶した加工面質データ算出部を示す図である。また、加工面質データ算出部22は、図13に示すように加工面不均一パターンを予め記憶している。図14は、実施の形態2において分割した加工面画像の領域における第1の加工面質データを示す図である。図15は、実施の形態2において加工面画像の分割領域における第1の加工面質データと加工面不均一パターンの画像を重ね合わせた状態を示す図である。
加工面質データ算出部22は、図14に示すように加工面画像60を複数の分割領域61に分割する。加工面質データ算出部22は、加工面画像において分割された各分割領域61について、上述した実施の形態1において説明した方法で算出した第1の加工面質データを算出する。図14において、加工面画像60における分割された各分割領域61に示された数値は、各分割領域61の第1の加工面質データである。
そして、加工面質データ算出部22は、図15に示すように、各分割領域61に第1の加工面質データの数値を組み込んだ加工面画像60と加工面不均一パターン50の画像を重ね合わせる。加工面質データ算出部22は、加工面不均一パターン50の領域と重なっている、第1の加工面質データが算出されている部分の割合を加工面不均一パターン50に対する一致度とする。
すなわち、一致度は、加工面不均一パターン50と、第1の加工面質データと、の一致度である。ここで、加工面不均一パターン50は、形彫放電加工された加工面17aの加工粗さが所望の基準よりも悪い領域のパターンとして予め決められたパターンである。第1の加工面質データは、形彫放電加工された加工面17aの画像から取得される加工面17aを分割した分割領域61における、形彫放電加工された加工面17aの画像から取得される加工面17aにおける予め決められた大きさの放電痕よりも大きな放電痕であるピットの分布に基づいて加工面17aの加工面質を評価した加工面質データである。所望の基準は、加工面17aに求められる均一性に従って適宜変えればよい。実施の形態2では、一致度を加工面質データである第2の加工面質データとする。すなわち、加工面質データ算出部22は、実施の形態2においても、放電加工された被加工物17の加工面17aの加工面質を、加工面17aの画像から算出して定量化する。
図15では、図11の加工面不均一パターン50と第1の加工面質データとの一致度の例を示している。図15において加工面不均一パターン50の指定領域であるハッチングが施されている領域53に一致する第1の加工面質データの合計は12、加工面17a全体の第1の加工面質データの合計は14となる。この場合、一致度は85.76%=12÷14となる。すなわち、一致度は、分割領域61に対して算出された第1の加工面質データの合計に対する、加工面不均一パターン50の領域と重なっている分割領域61に対して算出された第1の加工面質データの合計の割合、と換言できる。
加工面質データ算出部22は、加工面質データ算出部22に記憶している複数の加工面不均一パターン50の全てに対して、一致度を算出する。また、作業者は、加工対象物情報と加工条件とにより、加工面17aが不均一になるパターンが予め予測できる場合には、予測される加工面17aの不均一パターンに近いと考えられる、1つまたは複数の加工面不均一パターン50を指定する情報を、加工面質データ算出部22に対して入力してもよい。この場合、加工面質データ算出部22は、指定された加工面不均一パターン50に対して、一致度を算出する。
つぎに、図16を用いて、実施の形態2において放電加工機1の学習装置23が学習する処理の処理手順について説明する。図16は、実施の形態2における学習装置による学習処理の処理手順を示すフローチャートである。
データ取得部231は、加工対象物情報と、加工条件と、第2の加工面質データとを第2の学習用データとして取得する(ステップS310)。
モデル生成部232は、加工対象物情報と、加工条件と、第2の加工面質データとに基づいて、適用した加工条件に対する報酬を計算する(ステップS320)。具体的には、報酬計算部233は、第2の加工面質データを取得し、予め定められた報酬基準である第2閾値33に基づいて、適用した加工条件に対する報酬を増加させるか、または報酬を減じるかを判断する。報酬計算部233は、第2の加工面質データが第2閾値33未満である場合に、適用した加工条件に対する報酬を増加させると判断する。報酬計算部233は、第2の加工面質データが第2閾値33以上である場合に、適用した加工条件に対する報酬を減じると判断する。
報酬計算部233は、第2の加工面質データが第2閾値33未満である場合に、報酬を増やす(ステップS330)。一方、報酬計算部233は、第2の加工面質データが第2閾値33以上である場合に、報酬を減らす(ステップS340)。
関数更新部234は、報酬計算部233によって計算された報酬に基づいて、学習済モデル記憶部24が記憶する式(2)で表される行動価値関数Q(st,at)を更新する(ステップS350)。
学習装置23は、以上のステップS310からステップS350までのステップを繰り返し実行し、生成された行動価値関数Q(st,at)を学習済モデル30として学習済モデル記憶部24に記憶させる。
また、推論装置25は、実施の形態1の場合と同様に、上記のようにして生成された学習済モデル30と加工対象物情報とを用いて、加工対象物情報から加工面17aの加工面質を良くする加工条件を推論する。
上述したように、実施の形態2では、放電加工時における加工面の面内方向における加工面と電極Eとの間の加工屑の分布の不均一性、すなわち、加工屑の偏りを加工面不均一パターン50として定義する。そして、学習装置23は、上述した一致度を小さくする行動価値関数Q(st,at)である学習済モデル30を生成することにより、加工面17aを分割した分割領域61の第1の加工面質データが加工面不均一パターン50に適合しないように加工面17aの加工を実施できる加工条件を推論するための、加工対象物情報と加工条件との関係を学習することができる。すなわち、学習装置23は、面粗さが悪い領域が加工面不均一パターン50に適合しない加工面17aを形成できる加工条件を推論するための、加工対象物情報と加工条件との関係を学習することができる。
第2の加工面質データである一致度を算出することで、放電加工において加工面17aの不均一性の結果と相関の高いスラッジおよび加工屑の排出動作の適正条件を学習することが可能となる。
つぎに、図17を用いて、実施の形態2において放電加工機1の学習装置23が学習する他の処理の処理手順について説明する。図17は、実施の形態2における学習装置による他の学習処理の処理手順を示すフローチャートである。
データ取得部231は、第1の学習用データと第2の学習用データとを取得する。すなわち、データ取得部231は、加工対象物情報と、加工条件と、第1の加工面質データと、第2の加工面質データとを学習用データとして取得する(ステップS410)。
その後、ステップS420では、ステップS120と同じ処理が行われ、ステップS430では、ステップS130と同じ処理が行われ、ステップS440では、ステップS140と同じ処理が行われる。
また、ステップS450では、ステップS320と同じ処理が行われ、ステップS460では、ステップS330と同じ処理が行われ、ステップS470では、ステップS340と同じ処理が行われる。
関数更新部234は、報酬計算部233によって計算された報酬に基づいて、学習済モデル記憶部24が記憶する式(2)で表される行動価値関数Q(st,at)を更新する(ステップS480)。
学習装置23は、以上のステップS410からステップS480までのステップを繰り返し実行し、生成された行動価値関数Q(st,at)を学習済モデル30として学習済モデル記憶部24に記憶させる。
また、推論装置25は、実施の形態1の場合と同様に、上記のようにして生成された学習済モデル30と加工対象物情報とを用いて、加工対象物情報から加工面17aの加工面質を良くする加工条件を推論する。
上記の処理を行うことにより、学習装置23は、第1の加工面質データを小さくする行動価値関数Q(st,at)である学習済モデル30を生成することにより、被加工物17の加工面17aの加工面質を向上させることができる加工条件、すなわち加工面17aの均一性を良くすることができる加工条件を推論するための加工対象物情報と加工条件との関係を学習することができる。また、学習装置23は、面粗さが悪い領域が加工面不均一パターン50に適合しない加工面17aを形成できる加工条件を推論するための、加工対象物情報と加工条件との関係を学習することができる。
上記の学習により加工屑の分布の状態として状態Aを目標とする場合、状態Dを目標とする場合でも適切に、加工面17aの不均一性を抑制するための加工条件を生成することが可能となる。
したがって、実施の形態2によれば、上述した実施の形態1の場合と同様に、被加工物17の加工面17aの加工面質を向上させることができる、放電加工の適正な加工条件の学習が可能となる。
ここで、加工条件設定部16のハードウェア構成について説明する。図18は、実施の形態1,2にかかる加工条件設定部を実現するハードウェア構成例を示す図である。
加工条件設定部16は、プロセッサ100、メモリ200、入力装置300、および出力装置400により実現することができる。プロセッサ100の例は、CPU(Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)ともいう)またはシステムLSI(Large Scale Integration)である。メモリ200の例は、RAM(Random Access Memory)、ROM(Read Only Memory)である。
加工条件設定部16は、プロセッサ100が、メモリ200で記憶されている制御装置2の動作を実行するための、コンピュータで実行可能な、制御プログラムを読み出して実行することにより実現される。加工条件設定部16の動作を実行するためのプログラムである制御プログラムは、加工条件設定部16の実行する手順または方法をコンピュータに実行させるものであるともいえる。
メモリ200は、プロセッサ100が各種処理を実行する際の一時メモリに使用される。メモリ200は、例えば、加工条件設定部16が実行する加工条件設定プログラム、加工条件などを記憶する。入力装置300は、被加工物17が放電加工される際に用いられる加工対象物情報と加工条件と加工面の画像情報とを受付けてプロセッサ100に送る。出力装置400は、加工条件などを表示部13などの外部装置に出力する。
加工条件設定プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータが読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されてもよい。また、加工結果評価プログラムは、インターネットなどのネットワーク経由で加工条件設定部16に提供されてもよい。
なお、加工条件設定部16の機能について、一部を専用回路などの専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。また、制御装置2を、加工条件設定部16と同様のハードウェア構成としてもよい。
学習装置23の動作を実行するためのプログラムである学習プログラムは、データ取得部231およびモデル生成部232を含むモジュール構成となっている。また、推論装置25の動作を実行するためのプログラムである推論プログラムは、データ取得部251および推論部252を含むモジュール構成となっている。
以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。