JP6339603B2 - レーザ加工開始条件を学習する機械学習装置、レーザ装置および機械学習方法 - Google Patents

Description

本発明は、レーザ加工開始条件を学習する機械学習装置、レーザ装置および機械学習方法に関する。特に、本発明は、レーザ光の反射光によるレーザ発振器やレーザ光学系の損傷や警報発令に伴うレーザ発振停止を発生させずに、加工対象物に対してレーザ加工を開始する光出力指令データを学習する機械学習装置、レーザ装置および機械学習方法に関する。

レーザ装置において、反射光によるレーザ発振器やレーザ光学系の損傷防止は重要な課題であるため、種々の関連技術が報告されている。
例えば、特許文献１では、レーザ光測定部と反射光測定部を備え、加工物の表面状態が正常であるか否かをモニタする技術を開示している。また、特許文献２では、戻り光の光強度が所定値を超えた場合に励起光源の出力を減じて戻り光の増幅を防止する励起光源制御手段が設けられた光ファイバレーザを開示している。

さらに、特許文献３では、反射光検出器と反射光分布テーブルから反射直後の反射光強度を算出する反射光強度算出部を設け、反射光強度算出部の算出した反射光強度とその基準値との比較に基づきレーザ発振器を制御するレーザ加工装置を開示している。また、特許文献４では、反射光強度から演算式により求められる反射光強度の増加量と所定の基準値との比較に基づきレーザ光を制御するレーザ加工装置を開示している。

特開2007-30032号公報 特開2007-42981号公報 特開平11-170074号公報 特開2000-126880号公報

上記の従来のレーザ装置においては、反射光量をモニタしても光出力の制御に利用していなかったり、反射光量が上昇すると光出力を下げるだけであったり、反射光量を簡単な演算式で変換したデータで光出力を制御しているだけである。このため、反射光量を検出しても、次にどのようなレーザ光出力条件にすれば、反射光量のレベルが許容レベル以下でかつ微小な窪みや穴が形成でき、加工を開始できる確率が高いのか、加工対象物の材質や温度、表面状態の影響も受けることもあって、適確な光出力条件を導出できる技術は開示されていない。

それゆえ、反射光量をモニタしたとしても、加工開始時のレーザ光出力条件を短時間で把握できなかったり、再現性が悪くて繰り返し反射光量過剰警報が出たりする。その結果、短時間の内に加工が開始できなかったり、結局加工を開始できなかったりする場合があった。また、加工が開始できる成功率を高めるには、人間が試行錯誤を繰り返して加工が開始できるための最適なレーザ光出力条件を模索しながら、膨大なデータを積み上げて行く必要があった。

特許文献１では、表面状態をモニタした結果をレーザ光出力条件にどのようにフィードバックするかは記載されておらず、反射光量のレベルを抑えて加工を開始する方法は開示されていない。さらに、特許文献２では、励起光源の出力を減じるだけだと、加工が開始できない場合が出てくる。しかしながら、特許文献２には、その問題に対する解決方法は記載されていない。

さらに、特許文献３および特許文献４において、反射光強度とその基準値との比較に基づいてレーザ発振器を制御したとしても、反射光レベルを抑えて加工を開始することには結びつかず問題は解消されない。

本発明はこのような事情に鑑みてなされたものであり、レーザ加工を開始する時に、反射光量が所定のレベル以下の条件下でかつ最短時間で加工を開始するのに最適なレーザ光出力条件を人間の介在無しに学習できる機械学習装置、レーザ装置および機械学習方法を提供することを目的とする。

前述した目的を達成するために１番目の発明によれば、加工対象物に対してレーザ光を照射して切断や溶接等の加工を行う少なくとも一つのレーザ発振器と前記レーザ発振器に電力を供給する少なくとも一つ以上のレーザ電源部を備えるレーザ装置の、加工開始時の前記レーザ電源部に指令する光出力指令を含む光出力指令データを学習する機械学習装置であって、前記レーザ発振器からレーザ光学系を経由して出力された前記レーザ光の光量である出力光量を測定するための出力光検出部の出力データと前記レーザ光が前記加工対象物の表面で反射して前記レーザ発振器および／またはレーザ光学系に再入射した反射光の光量である反射光量を測定するための反射光検出部の出力データを含む前記レーザ装置の状態量を観測する状態量観測部と、前記光出力指令データに基づいて前記レーザ発振器から出力されたレーザ光による加工開始の成否の結果を取得する動作結果取得部と、前記状態量観測部からの出力および前記動作結果取得部からの出力を受取り、前記レーザ電源部に指令する光出力指令を含む前記光出力指令データを、前記レーザ装置の状態量および前記加工開始の成否の結果に関連付けて学習する学習部と、前記学習部が学習した前記光出力指令データを参照して、前記レーザ電源部に指令する光出力指令を含む光出力指令データを決定する意思決定部とを備え、前記反射光量が前記レーザ発振器および／または前記レーザ光学系に損傷を与える可能性の高い光量に相当する警報レベルよりも低い第１所定レベルを上回らない条件を充たしながら、所定時間内に、前記加工対象物に対して前記加工を開始するための光出力指令データを学習することを特徴とする機械学習装置が提供される。
２番目の発明によれば、１番目の発明において、さらに、所定時間内に、前記反射光量が前記第１所定レベルよりも低い第２所定レベルに達しない条件で、前記加工対象物に対して前記加工を開始するための光出力指令データを学習する。
３番目の発明によれば、１番目の発明において、前記反射光検出部の出力データから求められる反射光量が、所定時間内に前記第１所定レベルよりも低い前記第２所定レベルに達すると、前記レーザ電源部が前記光出力指令の実行中であっても、前記レーザ電源部に対して直ちにレーザ光出力を一時遮断あるいは低減する指令を出して、前記意思決定部は次の新たな光出力指令データを出力し直す。
４番目の発明によれば、１番目から３番目のいずれかの発明において、前記意思決定部は、少なくとも前記所定時間内は、前記加工開始に成功するまでの間、時系列的に略連続して前記光出力指令データを決定して、前記光出力指令データを出力する。
５番目の発明によれば、１番目から４番目のいずれかの発明において、前記光出力指令データの決定に、その光出力指令データの前に出力された前記光出力指令データがある場合には、前記光出力指令データに基づいて出力されたレーザ光に対する前記反射光検出部の出力データを利用する。
６番目の発明によれば、１番目から５番目のいずれかの発明において、前記動作結果取得部は、前記反射光検出部の出力データを利用する。
７番目の発明によれば、１番目から６番目のいずれかの発明において、前記動作結果取得部が取得する前記加工開始の成否の結果は、前記光出力指令データを前記加工対象物の前記加工に必要あるいは適した光出力指令データに略一致させることが前記所定時間内に成功したか否かの結果で与えられる。
８番目の発明によれば、２番目または３番目の発明において、前記動作結果取得部は、前記加工開始の成否、前記加工開始に要した時間、前記反射光量が前記第２所定レベルに達した回数あるいは頻度、および、前記反射光量が前記第２所定レベルを超過した場合の超過光量の時間積分値に相当する量の内少なくとも一つを取得する。
９番目の発明によれば、１番目から８番目のいずれかの発明において、前記学習部は、前記動作結果取得部の出力に基づいて報酬を計算する報酬計算部と前記光出力指令データの価値を定める価値関数を有し、前記報酬に応じて前記価値関数を更新する価値関数更新部を備える。
１０番目の発明によれば、１番目から８番目のいずれかの発明において、前記学習部は、前記光出力指令を学習する学習モデルを有し、前記動作結果取得部の出力および前記学習モデルに基づいて誤差を計算する誤差計算部と前記誤差に応じて前記学習モデルを更新する学習モデル更新部を備える。
１１番目の発明によれば、１番目から１０番目のいずれかの発明において、前記機械学習装置は、ニューラルネットワークを有する。
１２番目の発明によれば、１番目から１１番目のいずれかの発明において、前記状態量観測部に入力される状態量および／または前記意思決定部から出力される光出力指令データには、レーザ光の出力、ピーク出力、パルス幅、パルス間隔、繰り返し周期、繰り返しパルス数、アシストガスの吹出し条件、前記レーザ光学系の透過率、焦点距離、Ｆ値、レーザ光の前記加工対象物表面上のスポットサイズ、前記加工対象物表面とレーザ光焦点の相対的位置関係、前記加工対象物表面に対するレーザ光の照射角度、加工対象物の温度、環境温度、環境湿度の内の少なくとも一つ以上が含まれている。
１３番目の発明によれば、１番目から１２番目のいずれかの機械学習装置を備えたレーザ装置であって、前記レーザ発振器、前記レーザ電源部、前記レーザ光学系、前記出力光検出部、前記反射光検出部をそれぞれ制御する制御装置を備えることを特徴とするレーザ装置が提供される。
１４番目の発明によれば、１３番目の発明において、前記レーザ装置は、前記反射光検出部を少なくとも２個以上備え、前記反射光が経由する光路が異なる複数の反射光に対して、それぞれの反射光を検出する少なくとも１個の前記反射光検出部を備えている。
１５番目の発明によれば、１３番目または１４番目の発明において、前記レーザ装置は、前記レーザ発振器とは異なる光源と、前記光源の光を検出する光検出器と、前記光源の光を前記加工対象物に照射し、前記加工対象物の表面で反射した光が前記光検出器に入射する光学系とを備え、前記レーザ発振器によるレーザ光が出力されていない状態でも、前記加工対象物の光の反射状態を観察でき、観察結果を前記状態量観測部に入力される状態量の一つとする。
１６番目の発明によれば、１３番目から１５番目のいずれかの発明において、前記レーザ装置は、前記加工対象物のレーザ光照射場所あるいはレーザ光照射予定場所近傍から放射される赤外線および／またはプラズマ光を計測するための赤外線検出部および／またはプラズマ光検出部を備え、前記赤外線検出部および／またはプラズマ光検出部によって取得したデータを前記状態量観測部に入力する状態量の一つとする。
１７番目の発明によれば、１３番目から１６番目のいずれかの発明において、前記レーザ装置が複数台存在し、前記レーザ装置毎にそれぞれ設けられた複数の前記機械学習装置が、通信媒体を介して相互にデータを共有または交換するようになっている。
１８番目の発明によれば、１７番目の発明において、前記機械学習装置は、クラウドサーバ上に存在する。
１９番目の発明によれば、加工対象物に対して、前記加工対象物からの反射光量が前記レーザ発振器および／または前記レーザ光学系に損傷を与える可能性の高い光量に相当する警報レベルよりも低い第１所定レベルを上回らない条件を充たしながら、所定時間内に、レーザ光による加工を開始するためのレーザ電源部に指令する光出力指令を含む光出力指令データを学習する機械学習方法であって、前記レーザ光の光量である出力光量を測定するための出力光検出部の出力データと前記反射光量を測定するための反射光検出部の出力データを含むレーザ装置の状態量を観測し、前記レーザ光による加工開始の成否の結果を取得し、観測された前記レーザ装置の状態量および取得された前記レーザ光による前記加工開始の成否の結果を受け取り、前記レーザ電源部に指令する光出力指令を含む光出力指令データを、前記レーザ装置の前記状態量および前記加工開始の成否の結果に関連付けて学習することを特徴とする機械学習方法が提供される。
２０番目の発明によれば、加工対象物に対して、前記加工対象物からの反射光量が前記レーザ発振器および／または前記レーザ光学系に損傷を与える可能性の高い光量に相当する警報レベルよりも低い第１所定レベルを上回らない条件を充たしながら、所定時間内に、レーザ光による加工を開始するためのレーザ電源部に指令する光出力指令を含む光出力指令データを学習する機械学習方法であって、前記レーザ光の光量である出力光量を測定するための出力光検出部の出力データと前記反射光量を測定するための反射光検出部の出力データを含むレーザ装置の状態量を観測し、前記加工対象物からの反射光量を含む前記光出力指令データに対する結果を取得し、前記レーザ電源部に指令する光出力指令を含む光出力指令データを、前記レーザ装置の前記状態量および前記反射光量を含む光出力指令データの結果に関連付けて学習することを特徴とする機械学習方法が提供される。

１番目の発明においては、最初に加工対象物に短パルス光を照射して微小な窪みや穴を形成すると、加工対象物からの反射光が減少して問題無く加工できる場合があるが、ワークの材質や厚み、表面状態等によって、どのようなパルス光を照射すれば良いかが短時間で把握できなかったり、再現性が悪くて反射光量過剰警報が出たりして、加工が開始できないという問題があった。また、最初のレーザ照射で加工が開始できない場合、反射光の状態を見て引き続いて間髪を入れず次の最適と思われるレーザ光を照射するのが望ましい場合が多いが、人間が介在していては対応できないと問題もあった。反射光の状態等からどのようなパルス光を照射すれば反射光量を抑えて加工が開始できるかを人間の介在無しに繰り返し学習することができ、前記状態量が考慮された加工開始に適した光出力指令データを出力できるようになり、所定時間内に確実に加工を開始できるようになる。
３番目の発明においては、反射光量が第１所定レベルより低い第２所定レベルに達すると、直ちにレーザ光出力を一時遮断あるいは低減する指令を出すことにより、反射光量が第１所定レベルを上回らない条件を充たすことができ、続いて次の新たな光出力指令データが出力されることでレーザ発振が停止せず、加工が開始できるようにレーザ光出力が継続される。
４番目の発明においては、試射に相当する単一の光出力指令データでは加工を開始することができなかった場合も連続して光出力指令データを出力することにより、加工開始に成功する確率が向上し、時間的ロスも少ない。
５番目の発明においては、前の光出力指令データでは加工を開始することができなかった場合、前の光出力指令データに対する反射光検出部の出力データも利用することにより、より適確な光出力指令データが出力できる。前の光出力指令データで反射光量が前記第２所定レベルを越えて前記第１所定レベルに近いレベルまで達した場合は、その結果もフィードバックして次の光出力指令データを出力することができる。
６番目の発明においては、本発明が目的とする、反射光量が所定レベルに達しない条件下で加工を開始できる光出力指令データが学習できる。
７番目の発明においては、所定時間内に、加工に必要あるいは適した光出力指令データまでレーザ出力を高めることができたか否かを動作結果として取得することにより、本発明の目的に沿った学習ができる。
８番目の発明においては、学習部が、反射光量が前記第１所定レベルを越えることなく、できるだけ短時間で加工を開始するための光出力指令が指令できるように学習する上で、いずれも重要な指標であり、目標達成に適合した適確な光出力指令データが出力できるようになる。
９番目の発明においては、単一の光出力指令では加工を開始できない場合も多く、入力と結果を簡単に関連付けて学習させることは容易でないが、報酬の合計を最大化するために試行錯誤を繰り返す強化学習を行うことによって最適行動パターンを学習して、入力に対して最適な一連の前記光出力指令を出力できるようになる。
１０番目の発明においては、光出力指令データに対する反射光量を含む結果、例えば前記反射光量／出力光量の減少率や反射光量／出力光量の減少速度の逆数を誤差と定義し、かつ、反射光量／出力光量の減少率や反射光量／出力光量の減少速度が所定の値より小さい場合（減少率や減少速度が負の場合、即ち、通常は余りないと思われるが反射光量／出力光量が増加する場合を含む）や、前記反射光量が前記第２所定レベルを越えた場合は、ある程度大きな一定の誤差が生じたと定義して、この誤差を0に近付けるように教師あり学習を行うことによって、最終的な目標である、反射光量が前記第１所定レベルを上回らない条件を充たしながら、加工開始が可能なレベルまで短時間で光出力をアップするために適した光出力指令データを指令できるように学習できる。
１１番目の発明においては、ニューラルネットワークは、強化学習における価値関数の近似アルゴリズム、教師あり学習の近似アルゴリズムのいずれにも用いることができる。
１２番目の発明においては、多くの状態量を入力し、光出力指令データにレーザ光学系のパラメータを多く含むことで加工開始が困難な条件下においても加工開始に成功することが可能になる。
１３番目の発明においては、機械学習装置を備えたレーザ装置により、反射光量が前記第１所定レベルを越えない条件で短時間の内に確実に加工を開始できるようになる。
１４番目の発明においては、反射光が経由する光路が異なる反射光は、異なる情報を含んでおり、それらの情報をできるだけ多く利用することによって、より適確なレーザ出力指令データが出力できるようになる。
１５番目の発明においては、加工を目的としたレーザ光を出力していない状態でも加工対象物表面の反射率などの加工対象物の表面状態に対する情報が得られ、最初から加工を開始に成功する確率の高いレーザ出力指令を出力することができる確率が上昇する。ガイド光を利用すれば新たな光学系は必要としない。
１６番目の発明においては、赤外線検出部では加工対象物の表面温度を計測することができるので、レーザ光照射前後の温度分布と温度変化速度を観察することにより、加工対象物の比熱、熱伝導率、厚さ等が影響する熱容量等の情報が得られる。また、プラズマ光検出部ではレーザ光の照射によって加工対象物の加工部分から発生するプラズマ光を計測することができるので、レーザ光の照射効果や加工対象物の材質等に関する情報が得られる。その結果、より適確なレーザ出力指令条件が出力できるようになる。
１７番目の発明においては、学習結果を共有することによって、より短時間により精度の高い学習結果が得られ、より適確なレーザ出力指令条件が出力できるようになる。
１８番目の発明においては、学習結果を共有できるだけでなく、高価な高性能プロセッサを利用して学習することが可能になり、学習速度、学習の精度が向上する。その結果、より適確なレーザ出力指令条件が出力できるようになる。
１９番目の発明においては、単一の光出力指令データでは加工を開始できない場合も多く、入力と結果を簡単に関連付けて学習させることは容易でないが、報酬の合計を最大化するために試行錯誤を繰り返す強化学習を行うことによって最適行動パターンを学習して、入力に対して最適な一連の前記光出力指令データを出力できるようになる。
２０番目の発明においては、光出力指令データに対する反射光量を含む結果、例えば反射光量／出力光量の減少率および／または反射光量／出力光量の減少速度の逆数を誤差と定義して、この誤差を0に近付けるように教師あり学習を行うことによって、基礎的だが最も重要な反射光量／出力光量の減少率および／または反射光量／出力光量の減少速度が最大になる光出力指令データを学習することができる。なお、反射光量／出力光量の減少率や反射光量／出力光量の減少速度が所定の値より小さい場合（減少率や減少速度が負の場合、即ち、通常は余りないと思われるが反射光量／出力光量が増加する場合を含む）や、前記反射光量が前記第２所定レベルを越えた場合は、ある程度大きな一定の誤差が生じたと定義することが好ましい。教師あり学習で誤差をこのように定義することによって、反射光量が前記第２所定レベルを上回らない条件を充たしながら、反射率∝反射光量／出力光量を急速に減少させる光出力指令データを学習することができる。その結果、その学習結果を利用して最終的な目標である、反射光量が前記第１所定レベルを上回らない条件を充たしながら、光出力を短時間の内に加工開始が可能なレベルまでアップするために適した光出力指令データを指令できるように更に高度な学習を行うことができるようになる。

添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれら目的、特徴および利点ならびに他の目的、特徴および利点がさらに明解になるであろう。

本発明の一実施形態のレーザ装置の概念的な構成を示すブロック図である。 レーザ電源部に指令された光出力指令に対して出力されたレーザ光の出力光量と反射光量の時間変化を模式的に示した図である。 レーザ電源部に指令された光出力指令に対して出力されたレーザ光の出力光量と反射光量の時間変化を模式的に示した図である。 レーザ電源部に指令された光出力指令に対して出力されたレーザ光の出力光量と反射光量／出力光量の時間変化を模式的に示した図である。 レーザ電源部に指令された光出力指令に対して出力されたレーザ光の出力光量と反射光量の時間変化を模式的に示した図である。 レーザ電源部に指令された光出力指令に対して出力されたレーザ光の出力光量と反射光量の時間変化を模式的に示した図である。 レーザ電源部に指令された光出力指令に対して出力されたレーザ光の出力光量と反射光量の時間変化を模式的に示した図である。 図１に示す機械学習装置の動作の一例を示すフローチャートである。 本発明の他の実施形態のレーザ装置の概念的な構成を示すブロック図である。 図９に示す機械学習装置の動作の一例を示すフローチャートである。

以下、添付図面を参照して本発明の実施形態を説明する。以下の図面において同様の部材には同様の参照符号が付けられている。理解を容易にするために、これら図面は縮尺を適宜変更している。

図１は、本発明の一実施形態のレーザ装置の概念的な構成を示すブロック図である。本実施形態のレーザ装置は、加工対象物に対してレーザ光を照射して切断や溶接等の加工を行うレーザ装置であり、少なくとも一つのレーザ発振器と前記レーザ発振器に電力を供給する少なくとも一つ以上のレーザ電源部と、レーザ光学系と、前記レーザ発振器からレーザ光学系を経由して出力された前記レーザ光の光量である出力光量を測定するための出力光検出部と、前記レーザ光が前記加工対象物の表面で反射して前記レーザ発振器および／またはレーザ光学系に再入射した反射光の光量である反射光量を測定するための反射光検出部と、レーザ発振器と、レーザ電源部と、レーザ光学系と、出力光検出部および反射光検出部をそれぞれ制御する制御装置と、機械学習装置とを備える。

ここで、機械学習装置は、状態観測部と、動作結果取得部と、学習部と、意思決定部とを備える。機械学習装置は前記レーザ電源部に指令する光出力指令を含む光出力指令データを学習して出力する。

レーザ発振器は、例えば、レーザダイオードモジュールをレーザ光源とするダイレクトダイオードレーザ発振器や、レーザダイオードモジュールを励起光源とするファイバレーザ発振器等である。これらのレーザ発振器ではレーザダイオードモジュールに電力を供給するレーザ電源部は制御装置によって制御される。レーザ発振器から出力されたレーザ光はレーザ光学系を経由して加工対象物に照射され、加工対象物に対して切断や溶接等の加工を行うために使用される。

なお、前記レーザ装置が出力可能な出力光量範囲や前記レーザ電源部から前記レーザ発振器に供給される電圧や電力と出力光量の関係等のレーザ装置の基本情報（基本特性）は、前記制御装置から前記状態観測部に入力しておくことができる。

加工対象物に照射されたレーザ光は加工対象物の表面で反射して、レーザ発振器やレーザ光学系に再入射して、その再入射した反射光（戻り光）の光量が大きいとレーザ発振器やレーザ光学系に損傷を与える場合がある。従って、前記反射光検出部の出力データから求められる反射光量が第１所定レベルに達すると、前記レーザ電源部が前記光出力指令の実行中であっても、前記レーザ電源部に対して直ちにレーザ光出力を一時遮断あるいは低減する指令を出して、レーザ光の出力を遮断あるいは低減することが望ましい。但し、加工が開始できるように、前記意思決定部は、次の新たな前記レーザ電源部に指令する光出力指令を含む光出力指令データを出力し直すことが望ましい。

また、前記反射光量の前記第１所定レベルは、前記反射光量が前記レーザ発振器および／または前記レーザ光学系に損傷を与える可能性の高い光量に相当する警報レベルよりも低く設定された前記第２所定レベルより更に低いレベルに設定することが望ましい。これによって、レーザ発振器やレーザ光学系の損傷が確実に回避できる。

また、前記意思決定部は、少なくとも前記所定時間内は、前記加工開始に成功するまでの間、時系列的に略連続して前記光出力指令データを決定して、前記光出力指令データを出力することが望ましい。

なお、加工開始とは本来の加工の目的である切断や溶接等の加工の開始という意味であり、本来の加工目的には含まれない加工前の微小な窪みや穴の形成は加工開始の範疇には入れていない。

意思決定部が、少なくとも前記所定時間内は、前記加工開始に成功するまでの間、時系列的に略連続して光出力指令データを決定して、光出力指令データを出力することによって、試射に相当する単一の光出力指令データでは加工を開始することができなかった場合も連続して光出力指令データを出力することにより、加工開始に成功する確率が向上し、時間的ロスも少ない。

なお、連続して光出力指令データを出力する場合は、光出力指令データの決定に、その光出力指令データの前に出力された前光出力指令データがあることになり、その場合には、前記前光出力指令データに基づいて出力されたレーザ光に対する前記反射光検出部の出力データを利用することが望ましい。前記前光出力指令データに基づいて出力されたレーザ光に対する前記反射光検出部の出力データを利用することによって、より適確な光出力指令データが出力できる。前光出力指令データで反射光量が前記第１所定レベルに達した場合は、その結果もフィードバックして次の光出力指令データを出力することができ、再度反射光量が前記第１所定レベルに達するような光出力指令データを出力する確率を減少させることができる。

図２〜図７は、前記レーザ電源部に指令された光出力指令に対して出力されたレーザ光の出力光量と反射光量の時間変化の具体的な例を模式的に示している。但し、縦軸は見易くするために反射光量の倍率を大きくする等の処置を施した任意スケールであり、絶対値を表すものではない。

図２では、パルス状のレーザ光出力（出力光量）に対して、反射光（反射光量）が少し遅れて検出されている。これは信号処理などに要する時間を例示したものであるが、あくまで例示であって、時間スケールによっては時間遅れが実質的に殆ど無い場合もある。また、図２に示したパルス状のレーザ光のパルス幅、パルス間隔、ピーク出力の変化の状態もあくまで一例であって、図２に示したパルス幅、パルス間隔、ピーク出力の変化の状態に限定するものではなく、桁が異なるようなパルス幅、パルス間隔や時間軸等も設定可能である。また、図３に示したように、パルス幅やパルス間隔を変化させても良い。ピーク出力は、通常は反射光量の減少に応じて高くすることが望ましいが、一定であっても良い。

図２の例では、パルス状のレーザ光によって加工対象物の表面状態が変化して、反射率（∝反射光量／出力光量）が減少して、パルス状レーザ光のピーク出力を次第に上げているが、反射光量は前記第１所定レベル（この例では250）にまで増加することなく、本来の加工に必要なあるいは適切な光出力光量（この例では300）まで達したので、本来の加工に必要なあるいは適切な光出力光量に固定して加工を開始した場合を表している。図４は、図２の場合について、反射光量／光出力光量をプロットしたものである。パルス状レーザ光によって加工対象物の表面状態が変化して、反射率が減少している様子を表しており、短時間で加工を開始するためには、反射光量／光出力光量の減少率あるいは減少速度を大きくする必要があり、反射光量が前記第１所定レベルを越えない範囲で加工対象物の表面状態を変化させるのに有効な高出力のレーザ光を照射する必要がある。

なお、パルス状のレーザ光出力のための前記光出力指令データの出力は、単発のパルスを出力するための光出力指令データの出力であっても良いが、図２のような複数のパルス状のレーザ光出力を一括して指令する光出力指令データの出力であっても良い。

図５は、反射光量が前記第１所定レベルに達した場合の出力光量と反射光量の時間変化の例を示している。この例では３つ目のパルス光に対する反射光量が前記第１所定レベルに達したため、レーザ出力が一旦低減され、反射光量が前記第１所定レベルに達したという情報もフィードバック（学習）して、次の光出力指令データが出力されたことを示している。図２の場合に比べて、加工開始に要した時間が長くなっている。

なお、加工を開始するために加工開始前に出力するレーザ光はパルス光に限定するものではない。図６に示したような連続的に変化するレーザ光でも良いし、図７に示したように、連続的に変化するレーザ光にパルスレーザ光を重畳させたような出力波形でも良い。もちろん出力光量がある期間変化せず一定の条件であっても良い。要は、短時間の内に加工が開始できる光出力指令データを学習して出力するのであって、出力波形等は図２〜図７に例示されている出力波形等に限定されるものではない。

また、図１において、白抜きの矢印はレーザ光や反射光の光線を模擬的に表しているが、空間を伝搬する光線に限定されず、例えば、光ファイバ内を伝搬する光線等も含めて模擬的に示している。レーザ装置から出力されるレーザ光についても同様であり、レーザ光が光ファイバ内を伝搬して光ファイバの終端にレーザ光が加工対象物の略表面に焦点を結ぶように構成された加工ヘッドを備えた構造も含めた意味で模擬的に示している。また、加工対象物に照射されるレーザ光と加工対象物からの反射光は見易いように光軸をずらして記載しているが、レーザ光が加工対象物の表面に略垂直に入射した場合は、光線の方向が反転するだけで光軸は略一致することは言うまでもない。

また、レーザ光学系は、レーザ装置内だけに存在するように記載されているが、例えば、レーザ装置の外部にも延伸した状態で敷設されている光ファイバの終端に設置された加工ヘッドの光学も含めた意味で模擬的に表しており、このレーザ光学系は、レーザ装置から出力されたレーザ光が、例えば、加工対象物の略表面に焦点を結ぶようにするために利用される。また、レーザ光学系は制御装置によって制御できるようになっていることが望ましい。

また、出力光検出部や反射光検出部にはレーザ光学系から光が入射しているように模式的に記載しているが、光が空間を伝搬している場合は、例えばハーブミラーで分岐させて光の一部を検出したり、光が光ファイバ内を伝搬している場合は、例えば光分岐器を使用して分岐した光ファイバの終端からの光を検出したり、光ファイバのクラッドから漏れ光を検出したりすることができ、出力光検出部や反射光検出部への光の入射構造は図に示した構造に限定されない。

また、図１ではレーザ発振器とレーザ電源をそれぞれ一つずつしか記載されていないが、高出力化等のために、レーザ装置が複数のレーザ発振器を備えても良い。複数のレーザ発振器からのレーザ光は光結合器で結合させても良い。また、その場合、安定して出力可能な光出力範囲を広げる等のために、各レーザ発振器に対してそれぞれ独立に制御可能なレーザ電源を備えても良い。

また、図１では、出力光検出部や反射光検出部あるいはレーザ光学系からの出力が直接に状態量観測部や動作結果取得部に入力されているが、例えば出力光検出部からの出力データと反射光検出部からの出力データから前記加工対象物の表面の反射率を算出する等の前処理を行う前処理部を経由してから状態量観測部や動作結果取得部に入力するようにしても良い。

機械学習装置は、前記動作結果取得部、前記状態量観測部、学習部、意志決定部を備え、機械学習装置に入力されるデータの集合から、その中にある有用な規則や知識表現、判断基準などを解析により抽出し、その判断結果を出力するとともに、知識の学習（機械学習）を行う機能を備えている。

前記動作結果取得部は、前記反射光検出部の出力データを利用することができる。動作結果取得部が、反射光検出部の出力データを利用することによって、報酬を増加させるために、反射光量が前記第１所定レベルに達しない条件で、加工を開始できる光出力指令データが効果的に学習できる。

また、前記動作結果取得部が取得する前記加工開始の成否の結果は、前記光出力指令データを前記加工対象物の前記加工に必要あるいは適した光出力指令データに略一致させることが前記所定時間内に成功したか否かの結果で与えることが望ましい。前記動作結果取得部が取得する前記加工開始の成否の結果を、光出力指令データを加工対象物の前記加工に必要あるいは適した光出力指令データに略一致させることが所定時間内に成功したか否かの結果で与えることによって所定時間内に加工を開始するという本発明の目的に沿った学習ができる。光出力指令データを加工対象物の前記加工に必要あるいは適した光出力指令データに略一致した後は、即ち、目的とする加工が開始できた後は、光出力指令データを加工対象物の前記加工に必要あるいは適した光出力指令データに保持することが望ましい。従って、目的とする加工が開始できた後は、前記制御装置は前記意志決定部からの光出力指令データに基づいて、前記レーザ発振器、前記レーザ電源、前記レーザ光学系、前記出力光検出部、前記反射光検出部と、前記レーザ発振器、前記レーザ電源、前記レーザ光学系、前記出力光検出部、前記反射光検出部を制御するのではなく、制御装置に設定された光出力指令データに基づいて制御しても良い。

図１に記載した機械学習装置においては、学習部に、報酬計算部と価値関数更新部を備え、報酬計算部は、動作結果取得部が取得した、加工開始の成否、加工開始に要した時間、反射光量が前記所定レベルに達した回数あるいは頻度、および、前記反射光量が前記第１所定レベルを超過した場合の超過光量の時間積分値に相当する量に基づいて報酬を計算し、価値関数更新部は状態量観測部と動作結果取得部からの入力に対して意思決定部が出力する光出力指令データの価値を定める価値関数を更新することができる。

また、前記報酬計算部は、所定時間内に加工開始の成功した場合に報酬を増加させ、加工開始に要した時間が短い程報酬の増加量を大きくし、所定時間内に加工開始の成功しなかった場合に報酬を減少させ、前記反射光量が前記第１所定レベルに達した回数の多さあるいは頻度の高さ、および、前記反射光量が前記第１所定レベルを超過した場合の超過光量の時間積分値に相当する量の大きさに応じて報酬の減少量を大きくすることができる。

機械学習の手法は様々であるが、上述したように、連続して光出力指令データを出力すると、意志決定部は環境の状態を観測して出力する光出力指令データを決定するが、先の光出力指令データに基づいて出力されたレーザ光によって、加工対象物の温度が上昇する等、光出力指令データ自身が環境に変化を与える場合があるので、光出力指令データを出力するたびに報酬信号が返ってきて、将来にわたっての報酬の合計を最大化することを目指して光出力指令データを学習する強化学習で学習することが望ましい。

強化学習とは、判定や分類だけではなく、行動を学習することにより、環境に行動が与える相互作用を踏まえて適切な行動を学習、すなわち将来的に得られる報酬を最大にするための学習する方法を学ぶものである。このことは、本実施形態において、例えば、光出力指令データを出力した結果、加工対象物の温度が上昇して、加工開始を容易にするといった、未来に影響をおよぼすような行動を獲得できることを表している。

価値関数更新部は、いわゆるＱ学習を用いて強化学習を行うことができる。但し、強化学習の方法はＱ学習に限定されるものではない。Ｑ学習は、或る環境状態ｓの下で、行動ａを選択する価値Ｑ（ｓ，ａ）を学習する方法であって、ある状態ｓのとき、価値Ｑ（ｓ，ａ）の最も高い行動ａを最適な行動として選択すれば良い。

しかし、最初は、状態ｓと行動ａとの組合せについて、価値Ｑ（ｓ，ａ）の正しい値は全く分かっていないので、ある状態ｓの下で様々な行動ａを選択し、その時の行動ａに対して、報酬が与えられる。それにより、より良い行動の選択、すなわち、正しい価値Ｑ（ｓ，ａ）を学習していく。

更に、行動の結果、将来にわたって得られる報酬の合計を最大化したいので、最終的にＱ（ｓ，ａ）＝Ｅ［Σ（γ^t）ｒ_t］となるようにすることを目指す。ここでＥ［］は期待値を表し、ｔは時刻、γは後述する割引率と呼ばれるパラメータ、ｒ_tは時刻ｔにおける報酬、Σは時刻ｔによる合計である。この式における期待値は、最適な行動に従って状態変化したときについてとるものとし、それは、分かっていないので、探索しながら学習することになる。このような価値Ｑ（ｓ，ａ）の更新式は、例えば、下記の式（１）により表すことができる。

即ち、前記価値関数更新部は、下記の式（１）を用いて価値関数Ｑ（ｓ_t，ａ_t）を更新する。

ここで、ｓ_tは、時刻ｔにおける環境の状態を表し、ａ_tは、時刻ｔにおける行動を表す。行動ａ_tにより、状態はｓ_t+1に変化する。r_t+1は、その状態の変化により得られる報酬を表している。また、ｍａｘの付いた項は、状態ｓ_t+1の下で、その時に分かっている最もＱ値の高い行動ａを選択した場合のＱ値にγを乗じたものになる。ここで、γは、０＜γ≦１のパラメータで、割引率と呼ばれる。また、αは、学習係数で、０＜α≦１の範囲とする。

上述した式（１）は、試行ａ_tの結果、帰ってきた報酬ｒ_t+1を元に、状態ｓ_tにおける行動ａ_tの評価値Ｑ（ｓ_t，ａ_t）を更新する方法を表している。すなわち、状態ｓにおける行動ａの評価値Ｑ（ｓ_t，ａ_t）よりも、報酬ｒt₊₁と行動ａによる次の状態における最良の行動ｍａｘ ａの評価値Ｑ（ｓ_t+1，ｍａｘ ａ_t+1）の合計の方が大きければ、Ｑ（ｓ_t，ａ_t）を大きくし、反対に小さければ、Ｑ（ｓ_t，ａ_t）を小さくすることを示している。つまり、ある状態におけるある行動の価値を、結果として即時帰ってくる報酬と、その行動による次の状態における最良の行動の価値に近付けるものである。

ここで、Ｑ（ｓ，ａ）の計算機上での表現方法は、すべての状態行動ペア（ｓ，ａ）に対して、その値を行動価値テーブルとして保持しておく方法と、Ｑ（ｓ，ａ）を近似するような関数を用意する方法がある。後者の方法では、前述の式（１）は、確率勾配降下法などの手法で近似関数のパラメータを調整していくことにより、実現することができる。なお、近似関数としては、ニューラルネットワークを用いることができる。ニューラルネットワークは、ニューロンのモデルを模した演算装置およびメモリ等で構成される。

次に、本実施形態のレーザ装置に備わる機械学習装置の動作の一例を説明する。図８は、図１に示す機械学習装置の動作の一例を示すフローチャートである。図８に示されるように、図１に示す機械学習装置において、学習動作（学習処理）が開始すると、タイマがカウントを開始する（ステップＳ1０１）。次にカウント開始からの経過時間が前記所定時間を超過していないかを判定し（ステップＳ1０２）、超過していない場合は、反射光検出部やレーザ光学系等の状態量を表すデータを状態量観測部に出力し（ステップＳ１０３）、それまでの学習結果と状態量観測部の出力データ等をもとに光出力指令データを決定し、制御装置にレーザ電源部への光出力指令を含む光出力指令データを制御装置に出力する（ステップＳ１０４）。次に、光出力指令データに基づいて、制御装置がレーザ電源部等の各部に出力を指令し、レーザ光出力が実行される（ステップＳ１０５）。光出力指令データに基づくレーザ光出力の実行中も反射光量を判定し（ステップＳ１０６）、反射光量が前記第１所定レベルに達した場合は、レーザ出力は直ちに一時遮断あるいは低減される（ステップＳ１１２）が、反射光量が前記第１所定レベル以下の場合は、前記光出力指令データにも続くレーザ出力を完遂して、光出力指令データに対する結果を取得する（ステップＳ１０７）。光出力指令データに対する結果を判定して（ステップＳ１０８）、前記光出力指令データが目的とする加工に必要なあるいは加工に適した光出力指令データと略一致するレベルに達していない、すなわち、光出力指令データによる加工能力レベルが目的とする加工に必要なあるいは加工に適した加工能力レベルに達していない場合は、ステップＳ１０１に戻り、再度、ステップ１０１以降のフローを実行する。逆に、前記光出力指令データが目的とする加工に必要なあるいは加工に適した光出力指令データと略一致するレベルに達している、すなわち、光出力指令データによる加工能力レベルが目的とする加工に必要なあるいは加工に適した加工能力レベルに達している場合は、加工開始可能であり、加工開始に成功と判定して、プラスの報酬を設定する（ステップＳ１０９）。タイマカウントを開始してからの経過時間、すなわち、加工開始までに要した時間の短さに応じて、プラスの報酬を加算しても良い。つまり、加工開始までに要した時間が短い程、プラスの報酬を増やして、加工開始までの時間を短縮するように学習する動機づけを行うことが好ましい。加工開始に成功したので、タイマをリセットし（ステップＳ１１０）、価値関数または行動価値テーブルを更新して（ステップＳ１１１）、次の加工開始時まで待機する。

ステップＳ１０２でカウント開始からの経過時間が前記所定時間を超過していると判定された場合は、前記所定時間内に加工開始に成功できなかったので、マイナスの報酬を設定して（ステップＳ１１４）、タイマをリセットし（ステップＳ１１０）、価値関数を更新して（ステップＳ１１１）、次の指令待ちとする。ステップＳ１０１に戻り、再度、ステップ１０１以降のフローを実行する設定にしても良い。

ステップＳ１０６で、反射光量が前記第１所定レベルに達したと判定され、レーザ出力が直ちに一時遮断あるいは低減された（ステップＳ１１２）場合も、マイナスの報酬を設定して（ステップＳ１１３）、価値関数を更新して（ステップＳ１１１）、ステップＳ１０１に戻り、再度、ステップ１０１以降のフローを実行する。

以上のステップＳ１０１〜Ｓ１１４を繰返すことにより、学習部は、価値関数あるいは行動価値テーブルの更新を継続して、学習する。
以上に記述してきた強化学習は、行動が引き起こす結果を全く知らない、または、不完全にしか知らない状態から学習はスタートするのが通常であるが、教師あり学習等による事前学習を行った状態を初期状態として、ある程度学習した知識を蓄積した状態から学習をスタートさせることもできる。教師あり学習とは、ある入力と結果（ラベル）のデータの組を大量に機械学習装置に与えることで、それらのデータセットにある特徴を学習し、入力から結果を推定するモデル、すなわちその関係性を帰納的に獲得するものである。

図９は、本発明の他の実施形態のレーザ装置の概念的な構成を示すブロック図であり、教師あり学習を適用したレーザ装置を示すものである。図９と、前述した図１の比較から明らかなように、図９に示す教師あり学習を適用したレーザ装置は、図１に示すＱ学習（強化学習）を適用したレーザ装置に対して、さらに、結果（ラベル）付きデータ記録部を備える。

図９に示したように、教師あり学習を適用したレーザ装置ロボットシステムにおける機械学習装置は、状態量観測部と、動作結果取得部と、学習部と、意思決定部とを備える。学習部は、誤差計算部と、学習モデル更新部とを含む。なお、本実施形態のレーザ装置においても、機械学習装置は、前記レーザ電源に指令する光出力指令を含む光出力指令データを学習して出力する。

動作結果取得部から出力される結果（ラベル）と学習部に実装されている学習モデルの出力との誤差が誤差計算部で計算される。ここで、結果（ラベル）付きデータ記録部は、それまでに得られた結果（ラベル）付きデータを保持し、結果（ラベル）付きデータを誤差計算部に提供することができる。あるいは、レーザ装置の結果（ラベル）付きデータを、メモリカードや通信回線等により、そのレーザ装置の誤差計算部に提供することも可能である。

光出力指令データに対する反射光量を含む結果、例えば反射光量／出力光量の減少率および／または反射光量／出力光量の減少速度の逆数を誤差と定義し、かつ、反射光量／出力光量の減少率や反射光量／出力光量の減少速度が所定の値より小さい場合（減少率や減少速度が負の場合、即ち、通常は余りないと思われるが反射光量／出力光量が増加する場合を含む）や、前記反射光量が前記第１所定レベルを越えた場合は、ある程度大きな一定の誤差が生じたと定義し、この誤差を0に近付けるように教師あり学習を行うことによって、基礎的だが最も重要な反射光量／出力光量の減少率および／または反射光量／出力光量の減少速度が最大になる、すなわち、反射率（∝反射光量／出力光量）の減少に効果的であり、かつ反射光量が前記第２所定レベルを越えない光出力指令データを学習することができる。その結果、その学習結果を利用して最終的な目標である、反射光量が前記第２所定レベルを上回らない条件を充たしながら、光出力を短時間の内に加工開始が可能なレベルまで高めるために適した光出力指令データを指令できるように更に高度な学習を行うこともできるようになる。

なお、教師あり学習だけでも一定の水準で、反射光量が第２所定レベルを上回らない条件を充たしながら前記加工を開始するという目的が達成できるので、強化学習が必須という訳ではない。

教師あり学習を行う機械学習器の学習の一例として、例えば以下の式（２）に示すような予測モデルの回帰式を設定し、学習の過程において各状態変数ｘ1，ｘ2，ｘ3，…が取る値を回帰式に当てはめた時に、目的変数ｙの値が得られるように、各係数ａ0，ａ1，ａ2，ａ3，…の値を調整することにより学習が進められる。なお、学習の方法はこれに限られるものではなく、教師あり学習のアルゴリズムごとに異なる。

教師あり学習のアルゴリズムとしては、ニューラルネットワーク、最小二乗法など様々な方法が周知となっており、本発明に適用する方法としていずれの教師あり学習アルゴリズムを採用してもよい。

図１０は、図９に示す機械学習装置の動作の一例を示すフローチャートである。図１０に示されるように、図９に示す機械学習装置において、学習動作（学習処理）が開始すると、タイマがカウントを開始する（ステップＳ２０１）。次にカウント開始からの経過時間が前記所定時間を超過していないかを判定し（ステップＳ２０２）、超過していない場合は、反射光検出部やレーザ光学系等の状態量を表すデータを状態量観測部に出力し（ステップＳ２０３）、それまでの学習結果と状態量観測部の出力データ等をもとに光出力指令データを決定し、制御装置にレーザ電源部への光出力指令を含む光出力指令データを制御装置に出力する（ステップＳ２０４）。次に、光出力指令データに基づいて、制御装置がレーザ電源部等の各部に出力を指令し、レーザ光出力が実行される（ステップＳ２０５）。光出力指令データに基づくレーザ光出力の実行中も反射光量を判定し（ステップＳ２０６）、反射光量が前記第１所定レベルに達した場合は、レーザ出力は直ちに一時遮断あるいは低減される（ステップＳ２１２）が、反射光量が前記第１所定レベル以下の場合は、前記光出力指令データにも続くレーザ出力を完遂して、光出力指令データに対する結果を取得する（ステップＳ２０７）。光出力指令データに対する結果として、例えば、反射光量／出力光量（∝反射率）の減少率や減少速度を取得することができる。この場合、反射光量／出力光量の減少率や減少速度の逆数を誤差と定義して、この誤差を0に近付けるように教師あり学習を行うことができる。この場合、反射光量／出力光量の減少率や減少速度が所定の値より小さい場合（減少率や減少速度が負の場合、即ち、通常は余りないと思われるが反射光量／出力光量が増加する場合を含む）は、ある程度大きな一定の誤差が生じたと定義することが好ましい。

次に、光出力指令データに対する結果を判定して（ステップＳ２０８）、前記光出力指令データが目的とする加工に必要なあるいは加工に適した光出力指令データと略一致するレベルに達していない、すなわち、光出力指令データによる加工能力レベルが目的とする加工に必要なあるいは加工に適した加工能力レベルに達していない場合は、ステップＳ２０１に戻り、再度、ステップ２０１以降のフローを実行する。逆に、前記光出力指令データが目的とする加工に必要なあるいは加工に適した光出力指令データと略一致するレベルに達している、すなわち、光出力指令データによる加工能力レベルが目的とする加工に必要なあるいは加工に適した加工能力レベルに達している場合は、加工開始可能であり、加工を開始して、タイマをリセットして（ステップＳ２０９）、学習モデルを更新し（ステップＳ２１０）、必要に応じて結果（ラベル）付きデータ記録部に結果（ラベル）付きデータを追記して（ステップＳ２１１）、次の加工開始時まで待機する。

ステップＳ２０２でカウント開始からの経過時間が前記所定時間を超過していると判定された場合は、タイマをリセットし（ステップＳ２０９）、必要に応じて、学習モデルの更新（ステップＳ２１０）、結果（ラベル）付きデータ記録部への結果（ラベル）付きデータの追記（ステップＳ１１）を行って、次の指令待ちとする。ステップＳ２０１に戻り、再度、ステップ２０１以降のフローを実行する設定にしても良い。

ステップＳ２０６で、反射光量が前記第１所定レベルに達したと判定され、レーザ出力が直ちに一時遮断あるいは低減された（ステップＳ２１２）場合は、光出力指令データに対する結果として、ある程度大きな一定の誤差が生じたとして、学習モデルを更新し（ステップＳ２１０）、ステップＳ２０１に戻り、再度、ステップ２０１以降のフローを実行する。必要に応じて結果（ラベル）付きデータ記録部に結果（ラベル）付きデータを追記しても良い（ステップＳ２１１）。

以上のステップＳ２０１〜Ｓ２１２を繰返すことにより、学習部は、学習モデルの更新を継続して、学習する。
なお、前述のように、強化学習においても教師あり学習においても、ニューラルネットワークは有効な学習方法であり、前記機械学習装置は、ニューラルネットワークを有することが望ましい。

以上の記述においては、状態量観測部に入力されるデータ（状態量）としては、出力光検出部や反射光検出部から出力されるデータ（出力光量や反射光量）、意志決定部から制御装置に出力される光出力指令データに含まれる光出力指令としては、レーザ電源部に指令する光出力指令（レーザ光出力、ピーク出力、パルス幅、パルス間隔、パルスの繰り返し周波数等）を主に取り上げて説明してきた。しかし、状態量観測部に入力される状態データ、意志決定部から制御装置に出力される光出力指令データに含まれる指令データは、これらに限定される訳ではなく、例えば、アシストガス条件として、ガスの種類、ガスの純度、ガスの組成、ガス吹き出し圧力、流量等のデータを取得あるいは指令することができる。また、前記レーザ光学系に関しても、透過率、焦点距離、Ｆ値、レーザ光の前記加工対象物表面上のスポットサイズ、加工対象物表面とレーザ光焦点の相対的位置関係、即ち、レーザ光焦点が加工対象物表面から離れる方向か否かの情報も含めた加工対象物表面とレーザ光焦点との距離およびレーザ光焦点の加工対象物表面の面に平行な方向の基準点から距離、加工対象物表面に対するレーザ光の照射角度等のデータを取得あるいは指令することができる。また、これらのデータは固定値に限定されず、変化するデータでも良い。例えば、レーザ光が加工ヘッドから照射される場合については、加工ヘッドの移動や加工ヘッド内のズームレンズ系の焦点距離の変化やＡＯ（アダプティブオプティクス）の曲率変化等により、加工対象物表面とレーザ光焦点との距離を時間と共に変化させながら図２〜図７に示したような出力光量が得られるレーザ光を出射するような光出力指令データを出力することができる。レーザ光学系の出射端で所望の出力光量を得たい場合、前記レーザ光学系の透過率、または、前記レーザ光学系による出力光量の減衰も考慮して前記レーザ電源部に光出力指令を指令すべきことは言うまでもない。

その他、加工対象物の温度や環境温度や環境湿度等、光出力指令データの結果に影響を与える可能性のあるデータは、状態量の一部として取得しておくことが望ましい。
更に、加工対象物の所定の場所等に加工対象物の材質や厚さ等の情報を記録したバーコード等を貼り付けておき、バーコードリーダ等で自動的に加工対象物の情報を読み出して前記状態量観測部に入力する状態量の一つにすることも考えられる。もちろん人間が加工対象物の情報を入力することも可能だが、人間が介在せずに自動的に学習できるようにするために、加工対象物の情報も自動的に読み取れるようにすることが望ましい。

光出力指令データの結果に影響を与える可能性のあるデータについて、状態量観測部に入力されるデータを幅広く集め、光出力指令データで指令するデータの範囲と選択肢を広げることによって、レーザ装置と加工対象物及びそれを取り巻く環境の状態を正確に把握でき、その状態により適した光出力指令データを指令できるようになり、加工開始が困難な条件下においても加工開始に成功することが可能になる。

状態量観測部に入力される有効なデータを増やすために、前記反射光検出部を２個以上備えることもできる。例えば、前記レーザ光学系が光ファイバの場合、コアを伝搬してくる反射光とクラッドを伝搬してくる反射光の割合は一定とは限らず、コアを伝搬してくる反射光の光量を測定するための反射光検出部とクラッドを伝搬してくる反射光を測定するための反射光検出部を備えることで反射の状態がより詳細に把握でき、より適確なレーザ出力指令データが出力できるようになる。

また、状態量観測部に入力される有効なデータを増やすために、前記レーザ装置は、前記レーザ発振器とは異なる光源と、前記光源の光を検出する光検出器と、前記光源の光を前記加工対象物に照射し、前記加工対象物の表面で反射した光が前記光検出器に入射する光学系を備え、前記レーザ発振器によるレーザ光が出力されていない状態でも、前記加工対象物の光の反射状態を観察でき、観察結果を前記状態量観測部に入力される状態量の一つとするようにしても良い。これによって、加工を目的としたレーザ光を出力していない状態でも加工対象物表面の反射率などの加工対象物の表面状態に対する情報が得られ、最初から加工を開始に成功する確率の高いレーザ出力指令を出力することができる確率が上昇させることができる。専用の光学系を別途備えても良いが、レーザ光のガイド光のように、前記レーザ光学系を共用することも可能である。専用の光学系を別途備える場合、前記光源の光線を加工対象物の表面に対して斜めに入射するようにして、加工対象物の表面までの距離情報を取得することもできる。レーザ光学系を共用する等して、光源の光線が加工対象物の表面に対して垂直に入射する場合にも、前記光源をレーザダイオード等にしてレーザ測距計の原理で例えば加工ヘッドと加工対象物の表面までの距離を自動的に測定して状態量観測部に入力される状態量の一つとしても良い。

更に、状態量観測部に入力される有効なデータを増やすために、前記レーザ装置は、前記加工対象物のレーザ光照射場所あるいはレーザ光照射予定場所近傍から放射される赤外線および／またはプラズマ光を計測するための赤外線検出部３１および／またはプラズマ光検出部３２を備え、前記赤外線検出部３１および／またはプラズマ光検出部３２によって取得したデータを前記状態量観測部に入力する状態量の一つとすることもできる。赤外線検出部３１では加工対象物の表面温度を計測することができるので、レーザ光照射前後の温度分布と温度変化速度を観察することにより、加工対象物の比熱、熱伝導率、厚さ等が影響する熱容量等の情報が得られ、より適確なレーザ出力指令条件が出力できるようになる。プラズマ光検出部３２ではレーザ光の照射によって加工対象物の加工部分から発生するプラズマ光を計測することができるので、レーザ光の照射効果や加工対象物の材質等に関する情報が得られ、より適確なレーザ出力指令条件が出力できるようになる。

前記レーザ装置は複数台存在し、前記レーザ装置毎にそれぞれ設けられた複数の前記機械学習装置が、通信媒体を介して相互にデータを共有または交換するようにしても良い。学習結果を共有することによって、より短時間により精度の高い学習結果が得られ、より適確なレーザ出力指令条件が出力できるようになる。

また、前記機械学習装置は、クラウドサーバ上に存在することもできる。学習結果を共有できるだけでなく、単体のレーザ装置にはコストやサイズの点で利用が困難なＧＰＧＰＵや大規模ＰＣクラスター等を適用することも可能になり、より高速に処理することが可能になり、学習速度、学習の精度が向上する。その結果、より適確なレーザ出力指令条件が出力できるようになる。

典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、前述した変更および種々の他の変更、省略、追加を行うことができるのを理解できるであろう。

１ レーザ装置
２ 加工対象物
３ レーザ発振器
４ レーザ電源部
５ レーザ光学系
６ 出力光検出部
７ 反射光検出部
８ 機械学習装置
９ 状態観測部
１０ 動作結果取得部
１１ 学習部
１２ 意志決定部
１３ 制御装置
１４ レーザ光
１５ 反射光
１６ 報酬計算部
１７ 価値関数更新部
１８ 結果（ラベル）付きデータ記録部
１９ 誤差計算部
２０ 学習モデル更新部
３１ 赤外線検出部
３２ プラズマ光検出部

Claims (20)

1. 加工対象物に対してレーザ光を照射して切断や溶接等の加工を行う少なくとも一つのレーザ発振器（３）と前記レーザ発振器に電力を供給する少なくとも一つ以上のレーザ電源部（４）を備えるレーザ装置（１）の、加工開始時の前記レーザ電源部に指令する光出力指令を含む光出力指令データを学習する機械学習装置（８）であって、
   前記レーザ発振器からレーザ光学系（５）を経由して出力された前記レーザ光の光量である出力光量を測定するための出力光検出部（６）の出力データと前記レーザ光が前記加工対象物の表面で反射して前記レーザ発振器および／またはレーザ光学系に再入射した反射光の光量である反射光量を測定するための反射光検出部（７）の出力データを含む前記レーザ装置の状態量を観測する状態量観測部（９）と、
   前記光出力指令データに基づいて前記レーザ発振器から出力されたレーザ光による加工開始の成否の結果を取得する動作結果取得部（１０）と、
   前記状態量観測部からの出力および前記動作結果取得部からの出力を受取り、前記レーザ電源部に指令する光出力指令を含む前記光出力指令データを、前記レーザ装置の状態量および前記加工開始の成否の結果に関連付けて学習する学習部（１１）と、
   前記学習部が学習した前記光出力指令データを参照して、前記レーザ電源部に指令する光出力指令を含む光出力指令データを決定する意思決定部（１２）とを備え、
   前記反射光量が前記レーザ発振器および／または前記レーザ光学系に損傷を与える可能性の高い光量に相当する警報レベルよりも低い第１所定レベルを上回らない条件を充たしながら、所定時間内に、前記加工対象物に対して前記加工を開始するための光出力指令データを学習することを特徴とする機械学習装置。
2. さらに、所定時間内に、前記反射光量が前記第１所定レベルよりも低い第２所定レベルに達しない条件で、前記加工対象物に対して前記加工を開始するための光出力指令データを学習する、請求項１に記載の機械学習装置。
3. 前記反射光検出部の出力データから求められる反射光量が、所定時間内に前記第１所定レベルよりも低い第２所定レベルに達すると、前記レーザ電源部が前記光出力指令の実行中であっても、前記レーザ電源部に対して直ちにレーザ光出力を一時遮断あるいは低減する指令を出して、前記意思決定部は次の新たな光出力指令データを出力し直すことを特徴とする請求項１に記載の機械学習装置。
4. 前記意思決定部は、少なくとも前記所定時間内は、前記加工開始に成功するまでの間、時系列的に略連続して前記光出力指令データを決定して、前記光出力指令データを出力することを特徴とする請求項１から３のいずれか１項に記載の機械学習装置。
5. 前記光出力指令データの決定に、その光出力指令データの前に出力された前記光出力指令データがある場合には、前記光出力指令データに基づいて出力されたレーザ光に対する前記反射光検出部の出力データを利用することを特徴とする請求項１から４のいずれか１項に記載の機械学習装置。
6. 前記動作結果取得部は、前記反射光検出部の出力データを利用することを特徴とする請求項１から５のいずれか１項に記載の機械学習装置。
7. 前記動作結果取得部が取得する前記加工開始の成否の結果は、前記光出力指令データを前記加工対象物の前記加工に必要あるいは適した光出力指令データに略一致させることが前記所定時間内に成功したか否かの結果で与えられることを特徴とする請求項１から６のいずれか１項に記載の機械学習装置。
8. 前記動作結果取得部は、前記加工開始の成否、前記加工開始に要した時間、前記反射光量が前記第２所定レベルに達した回数あるいは頻度、および、前記反射光量が前記第２所定レベルを超過した場合の超過光量の時間積分値に相当する量の内少なくとも一つを取得することを特徴とする請求項２または３に記載の機械学習装置。
9. 前記学習部は、前記動作結果取得部の出力に基づいて報酬を計算する報酬計算部（１６）と前記光出力指令データの価値を定める価値関数を有し、前記報酬に応じて前記価値関数を更新する価値関数更新部（１７）を備えることを特徴とする請求項１から８のいずれか１項に記載の機械学習装置。
10. 前記学習部は、前記光出力指令を学習する学習モデルを有し、前記動作結果取得部の出力および前記学習モデルに基づいて誤差を計算する誤差計算部（１９）と前記誤差に応じて前記学習モデルを更新する学習モデル更新部（２０）を備えることを特徴とする請求項１から８のいずれか１項に記載の機械学習装置。
11. 前記機械学習装置は、ニューラルネットワークを有することを特徴とする請求項１から１０のいずれか１項に記載の機械学習装置。
12. 前記状態量観測部に入力される状態量および／または前記意思決定部から出力される光出力指令データには、レーザ光の出力、ピーク出力、パルス幅、パルス間隔、繰り返し周期、繰り返しパルス数、アシストガスの吹出し条件、前記レーザ光学系の透過率、焦点距離、Ｆ値、レーザ光の前記加工対象物表面上のスポットサイズ、前記加工対象物表面とレーザ光焦点の相対的位置関係、前記加工対象物表面に対するレーザ光の照射角度、加工対象物の温度、環境温度、環境湿度の内の少なくとも一つ以上が含まれていることを特徴とする請求項１から１１のいずれか１項に記載の機械学習装置。
13. 請求項１から１２のいずれか１項に記載の機械学習装置を備えたレーザ装置であって、前記レーザ発振器、前記レーザ電源部、前記レーザ光学系、前記出力光検出部、前記反射光検出部をそれぞれ制御する制御装置（１３）を備えることを特徴とするレーザ装置。
14. 前記レーザ装置は、前記反射光検出部を少なくとも２個以上備え、前記反射光が経由する光路が異なる複数の反射光に対して、それぞれの反射光を検出する少なくとも１個の前記反射光検出部を備えていることを特徴とする請求項１３に記載のレーザ装置。
15. 前記レーザ装置は、前記レーザ発振器とは異なる光源と、前記光源の光を検出する光検出器と、前記光源の光を前記加工対象物に照射し、前記加工対象物の表面で反射した光が前記光検出器に入射する光学系とを備え、前記レーザ発振器によるレーザ光が出力されていない状態でも、前記加工対象物の光の反射状態を観察でき、観察結果を前記状態量観測部に入力される状態量の一つとすることを特徴とする請求項１３または請求項１４に記載のレーザ装置。
16. 前記レーザ装置は、前記加工対象物のレーザ光照射場所あるいはレーザ光照射予定場所近傍から放射される赤外線および／またはプラズマ光を計測するための赤外線検出部（３１）および／またはプラズマ光検出部（３２）を備え、前記赤外線検出部および／またはプラズマ光検出部によって取得したデータを前記状態量観測部に入力する状態量の一つとすることを特徴とする請求項１３から１５のいずれか１項に記載のレーザ装置。
17. 前記レーザ装置が複数台存在し、前記レーザ装置毎にそれぞれ設けられた複数の前記機械学習装置が、通信媒体を介して相互にデータを共有または交換するようになっていることを特徴とする請求項１３から１６のいずれか１項に記載のレーザ装置。
18. 前記機械学習装置は、クラウドサーバ上に存在することを特徴とする請求項１７に記載のレーザ装置。
19. 加工対象物に対して、前記加工対象物からの反射光量が前記レーザ発振器および／または前記レーザ光学系に損傷を与える可能性の高い光量に相当する警報レベルよりも低い第１所定レベルを上回らない条件を充たしながら、所定時間内に、レーザ光による加工を開始するためのレーザ電源部に指令する光出力指令を含む光出力指令データを学習する機械学習方法であって、
    前記レーザ光の光量である出力光量を測定するための出力光検出部の出力データと前記反射光量を測定するための反射光検出部の出力データを含むレーザ装置の状態量を観測し、
    前記レーザ光による加工開始の成否の結果を取得し、
    観測された前記レーザ装置の状態量および取得された前記レーザ光による前記加工開始の成否の結果を受け取り、
    前記レーザ電源部に指令する光出力指令を含む光出力指令データを、前記レーザ装置の前記状態量および前記加工開始の成否の結果に関連付けて学習することを特徴とする機械学習方法。
20. 加工対象物に対して、前記加工対象物からの反射光量が前記レーザ発振器および／または前記レーザ光学系に損傷を与える可能性の高い光量に相当する警報レベルよりも低い第１所定レベルを上回らない条件を充たしながら、所定時間内に、レーザ光による加工を開始するためのレーザ電源部に指令する光出力指令を含む光出力指令データを学習する機械学習方法であって、
    前記レーザ光の光量である出力光量を測定するための出力光検出部の出力データと前記反射光量を測定するための反射光検出部の出力データを含むレーザ装置の状態量を観測し、
    前記加工対象物からの反射光量を含む前記光出力指令データに対する結果を取得し、
    前記レーザ電源部に指令する光出力指令を含む光出力指令データを、前記レーザ装置の前記状態量および前記反射光量を含む光出力指令データの結果に関連付けて学習することを特徴とする機械学習方法。

Images