JP7369856B2 - 工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法 - Google Patents
工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法 Download PDFInfo
- Publication number
- JP7369856B2 JP7369856B2 JP2022512117A JP2022512117A JP7369856B2 JP 7369856 B2 JP7369856 B2 JP 7369856B2 JP 2022512117 A JP2022512117 A JP 2022512117A JP 2022512117 A JP2022512117 A JP 2022512117A JP 7369856 B2 JP7369856 B2 JP 7369856B2
- Authority
- JP
- Japan
- Prior art keywords
- tool
- state
- image
- machined surface
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000003384 imaging method Methods 0.000 claims description 59
- 238000003754 machining Methods 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 23
- 239000000463 material Substances 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 description 29
- 238000012545 processing Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 229910001315 Tool steel Inorganic materials 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
- B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
- B23Q17/09—Arrangements for observing, indicating or measuring on machine tools for indicating or measuring cutting pressure or for determining cutting-tool condition, e.g. cutting ability, load on tool
- B23Q17/0995—Tool life management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
- B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
- B23Q17/09—Arrangements for observing, indicating or measuring on machine tools for indicating or measuring cutting pressure or for determining cutting-tool condition, e.g. cutting ability, load on tool
- B23Q17/0904—Arrangements for observing, indicating or measuring on machine tools for indicating or measuring cutting pressure or for determining cutting-tool condition, e.g. cutting ability, load on tool before or after machining
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
- B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
- B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
- B23Q17/2409—Arrangements for indirect observation of the working space using image recording means, e.g. a camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
- B23Q17/00—Arrangements for observing, indicating or measuring on machine tools
- B23Q17/24—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves
- B23Q17/2452—Arrangements for observing, indicating or measuring on machine tools using optics or electromagnetic waves for measuring features or for detecting a condition of machine parts, tools or workpieces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Description
この点、切削加工された複数のワークの加工面の画像を撮像し、撮像された加工面の画像における切削加工結果の品質を表すコントラストと、予め設定された閾値と、の比較に基づいて、工具の寿命を判定する技術が知られている。例えば、特許文献1参照。
<一実施形態>
図1は、一実施形態に係る工具状態推定システムの機能的構成例を示す機能ブロック図である。図1に示すように、工具状態推定システム1は、撮像装置10、工具状態推定装置20、及び工具状態学習装置30を有する。
なお、工具状態推定装置20は、学習フェーズにおいて、撮像装置10から取得したワークWの加工面の画像を工具状態学習装置30に出力してもよい。
また、工具状態推定装置20は、後述するように、制御装置(図示しない)に含まれてもよい。
工具状態推定装置20を説明する前に、「工具の摩耗度」と、学習済みモデルを生成するための機械学習と、について説明する。
「工具の摩耗度」は、上述のように、切削加工で使用される工具の刃先における摩耗の度合いを示す。
図2は、工具の刃先の摩耗とワークWの加工面との関係の一例を示す図である。なお、図2では、例えば、正面スライス加工の場合を示す。図2に示すように、左から右へ切削加工の回数(すなわち、工具の使用積算時間)が増加するに従い工具の刃先が摩耗し、ワークWの加工面における切削跡が徐々に変化する。例えば、ワークWがアルミの場合、工具の刃先が摩耗するに従いワークWの加工面がテカってくる。例えば、ワークWが鋳物の場合、工具の刃先が摩耗するに従いワークWの加工面がくすんでくる。
例えば、新品の工具は、図2の左側に示すように、刃先の摩耗がなく切れ味が最も良い状態であることから、「工具の摩耗度」は「0%」となる。「工具の摩耗度」は、図2に示すように、工具が使用されるに従い刃先が摩耗するため、「0%」から「100%」の間の値となる。
なお、「工具の摩耗度」は、「0%」から「100%」の範囲のパーセント値としたが、例えば、「0」から「1」の範囲の値等でもよい。
また、後述するように、工具の摩耗度のアノテーションは、撮像装置10により撮像された任意のワークの加工面の画像に基づいて、オペレータにより判断される。
また、本実施形態では、工具状態推定装置20は、切削加工した工具の状態として「工具の摩耗度」を推定するとしたが、これに限定されない。例えば、工具状態推定装置20は、切削加工した工具の状態として「正常」、「異常」等の2以上の複数の段階のいずれかを推定してもよい。この場合、「正常」とは、例えば、図2の左側に示す2つの工具のように、適切な加工精度で切削加工できる工具状態を示す。また、「異常」とは、例えば、図2の右側に示す2つの工具のように、交換時期に差し掛かっている工具状態を示す。
工具状態学習装置30は、例えば、予め、任意の工具を用いて切削加工された任意のワークの加工面が撮像装置10により撮像された画像を、入力データとして取得する。
また、工具状態学習装置30は、取得された入力データの画像に基づいて、画像におけるワークの加工面から判断される、当該加工面を切削加工した工具の状態、を示すデータをラベル(正解)として取得する。
工具状態学習装置30は、取得した入力データとラベルとの組の訓練データにより教師あり学習を行い、後述する学習済みモデルを構築する。
そうすることで、工具状態学習装置30は、構築した学習済みモデルを工具状態推定装置20に提供することができる。
工具状態学習装置30について、具体的に説明する。
記憶部32は、RAM(Random Access Memory)やHDD(Hard Disk Drive)等である。記憶部32は、教師データ321、及び学習済みモデル250を記憶する。
また、教師データ321は、格納された画像におけるワークの加工面から判断される、当該加工面を切削加工した工具の状態(「正常」又は「異常」)、を示すデータをラベルとして格納する。
制御部31は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM、CMOS(Complementary Metal-Oxide-Semiconductor)メモリ等を有し、これらはバスを介して相互に通信可能に構成される、当業者にとって公知のものである。
CPUは工具状態学習装置30を全体的に制御するプロセッサである。CPUは、ROMに格納されたシステムプログラム及びアプリケーションプログラムを、バスを介して読み出し、前記システムプログラム及びアプリケーションプログラムに従って工具状態学習装置30全体を制御する。これにより、図1に示すように、制御部31が、教師データ取得部311、工具状態学習部312、及び画像領域特定部313の機能を実現するように構成される。RAMには一時的な計算データや表示データ等の各種データが格納される。また、CMOSメモリは図示しないバッテリでバックアップされ、工具状態学習装置30の電源がオフされても記憶状態が保持される不揮発性メモリとして構成される。
また、教師データ取得部311は、例えば、取得した画像を画像表示部33に表示する。オペレータは、表示された画像の加工面における切削跡、テカリ具合、又はくすみ具合に応じて工具状態、すなわち「工具の摩耗度」をアノテーションする。教師データ取得部311は、工具状態学習装置30に含まれるキーボードやタッチパネル等の入力装置(図示しない)を介して、オペレータによりアノテーションされた工具の摩耗度を、ラベルとして取得する。
教師データ取得部311は、取得した画像の入力データと、工具の摩耗度のラベルとを、教師データとして記憶部32の教師データ321に格納する。
なお、本実施形態では、工具状態学習部312は、例えば多層ニューラルネットワークを含むニューラルネットワークに従って機械学習を行ってもよい。例えば、CNN(Convolutional Neural Network)を適用してもよい。
そして、工具状態学習部312は、構築した学習済みモデル250を工具状態推定装置20に対して提供する。
なお、教師あり学習を行うための訓練データは、多数用意されることが望ましい。例えば、顧客の工場等で実際に稼働している様々な場所の撮像装置10から訓練データが取得されてもよい。
そうすることで、普段の撮像装置10の撮像動作から訓練データを自動的に得ることができるため、工具状態の推定精度を日常的に上げることができる。
オンライン学習とは、新たに切削加工されたワークWの加工面が撮像装置10により撮像され、訓練データが作成される都度、即座に教師あり学習を行うという学習方法である。また、バッチ学習とは、新たに切削加工されたワークWの加工面が撮像装置10により撮像され収集された、所定数の画像の訓練データに基づいて教師あり学習を行うという学習方法である。さらに、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度訓練データが溜まるたびに教師あり学習を行うという学習方法である。
この場合、図示しない工作機械に取付けられるすべての工具を管理する工具管理テーブル(図示しない)が、図示しない工作機械又は制御装置に含まれるHDD等の記憶部に記憶されてもよい。工具状態学習装置30は、図示しない工作機械又は制御装置を介して、加工プログラムに設定された工具番号等に基づいて、工具の材質、形状、工具径、工具長、加工前の工具状態等の少なくとも1つを含む工具情報を、工具管理テーブル(図示しない)から取得してもよい。
また、工具状態学習部312は、例えば、任意の工具を用いて切削加工された任意のワークの加工面の画像、当該切削加工で用いた工具の工具情報、及び加工対象のワークWの材質等を含むワーク情報の入力データと、オペレータによりアノテーションされた工具の摩耗度のラベルとの組の訓練データを用いて、撮像装置10により撮像された加工面の画像、当該加工面を切削加工した工具の工具情報、及びワーク情報を入力し工具の状態を出力する学習済みモデル250を構築してもよい。
そうすることで、学習済みモデル250の推定精度を向上させることができる。
また、工具状態学習部312は、工具毎に学習済みモデル250を構築してもよい。
図3は、加工面の画像の一例を示す図である。図3に示すように、加工面の画像には、網掛けで示す加工面の画像領域SRとともに、ワークWが配置されたテーブル等の背景の画像領域BR、及び画像領域SR以外の他の工具で加工された加工面の画像領域ARを含む。しかしながら、ワークWの加工面に対する光の当たり具合により、撮像装置10により撮像された画像において、加工面の画像領域SR以外の画像領域AR、及び背景の画像領域BRからの反射等の影響により、画像領域SRの加工面の位置及び形状が不明確になることがある。
そうすることで、工具状態学習装置30は、加工面の画像領域SR以外の画像領域AR、BRがマスクされた画像を用いて教師あり学習を行うことで、構築される学習済みモデル250の推定精度を向上させることができる。
なお、画像領域特定部313は、例えば、画像表示部33に画像を表示し、工具状態学習装置30の入力装置(図示しない)を介したオペレータの入力操作に基づいて加工面の画像領域SRを特定してもよい。
以上、工具状態推定装置20が備える学習済みモデル250を生成するための機械学習について説明した。
次に、運用フェーズにおける工具状態推定装置20について説明する。
図1に示すように、運用フェーズにおける工具状態推定装置20は、入力部201、工具状態推定部202、決定部203、通知部204、及び記憶部205を含んで構成される。
なお、工具状態推定装置20は、図1の機能ブロックの動作を実現するために、CPU等の図示しない演算処理装置を備える。また、工具状態推定装置20は、各種の制御用プログラムを格納したROM(Read Only Memory)やHDD等の図示しない補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのRAMといった図示しない主記憶装置を備える。
なお、図3に示すように、加工面の画像領域SR以外の画像領域AR、及び背景の画像領域BRがマスクされた画像を用いて学習済みモデル250が生成されている場合、入力部201は、画像を工具状態推定部202に出力するにあたり、画像領域特定部313と同様に、入力された画像に対してマスク処理を行うことが望ましい。
なお、工具状態推定装置20は、例えば、工具状態推定部202により推定された工具の摩耗度を図示しない工作機械又は制御装置に出力し、図示しない工作機械又は制御装置の記憶部に記憶された工具管理テーブル(図示しない)の加工前の工具状態を更新するようにしてもよい。
より具体的には、決定部203は、工具の摩耗度の推定値と予め設定された閾値との比較に基づいて、工具交換を行う最適な時期を判定する。
図4は、工具の摩耗度の一例を示す図である。図2で説明したように、工具の刃先は、切削加工の回数(すなわち、工具の使用積算時間)が増加するに従い摩耗するため、工具の摩耗度は増加する。例えば、工具の摩耗度が「80%」以下の場合、工具は適切な加工精度で切削加工することができる。一方、工具の摩耗度が「80%」を超える場合、工具の交換時期に差し掛かっており、オペレータは、工具を交換する必要がある。
以下の説明では、摩耗度「80%」を閾値αとする。なお、閾値αは、加工対象のワークWの材質や、図示しない工作機械が設置された環境等に応じて適宜設定されてもよい。
決定部203は、工具状態推定部202により推定された工具の摩耗度が、閾値α以下か否かを判定する。決定部203は、推定された工具の摩耗度が閾値α以下の場合、工具の交換を行わないことを決定する。
一方、決定部203は、推定された工具の摩耗度が閾値αを超える場合、工具の交換時期として決定する。
具体的には、決定部203は、例えば、推定された工具の摩耗度と、「80%」等の閾値α1及び「90%」等の閾値α2と、を比較してしてもよい。この場合、決定部203は、推定された工具の摩耗度が、閾値α1以下の場合、工具の交換を行う必要がないと決定してもよい。また、決定部203は、推定された工具の摩耗度が、閾値α1を超えて閾値α2以下の場合、工具の交換時期が差し掛かっており、工具交換を直ちに行う必要はないが工具交換が間近であることを示すアラームを出力することを決定してもよい。また、決定部203は、推定された工具の摩耗度が、閾値α2を超える場合、オペレータに直ちに工具交換を行わせるアラームを出力することを決定してもよい。
そうすることで、学習済みモデル250により推定される工具の摩耗度に応じて、アラームの通知方法をきめ細かく変えることができる。
なお、通知部204は、スピーカ(図示しない)を介して音声により通知したり、図示しない回転灯や信号灯等を点灯して通知したりしてもよい。
次に、本実施形態に係る工具状態推定装置20の推定処理に係る動作について説明する。
図4は、運用フェーズにおける工具状態推定装置20の推定処理について説明するフローチャートである。ここで示すフローは、1つのワークWの加工面の画像が入力される度に実行されてもよく、10個又は100個等の間隔毎のワークWの加工面の画像が入力される度に実行されてもよい。
これにより、工具状態推定装置20は、加工面の画像から工具状態(すなわち、工具の摩耗度)を容易に推定でき、オペレータの経験によらず工具の交換時期を適切に決定することができる。
上述の実施形態では、工具状態学習装置30は、工具状態推定装置20、図示しない工作機械又は図示しない制御装置と異なる装置として例示したが、工具状態学習装置30の一部又は全部の機能を、工具状態推定装置20、図示しない工作機械又は図示しない制御装置が備えるようにしてもよい。
上述の実施形態では、工具状態推定装置20は、図示しない工作機械や図示しない制御装置と異なる装置として例示したが、工具状態推定装置20の一部又は全部の機能を、図示しない工作機械又は図示しない制御装置が備えるようにしてもよい。
あるいは、工具状態推定装置20の入力部201、工具状態推定部202、決定部203、通知部204及び記憶部205の一部又は全部を、例えば、サーバが備えるようにしてもよい。また、クラウド上で仮想サーバ機能等を利用して、工具状態推定装置20の各機能を実現してもよい。
さらに、工具状態推定装置20は、工具状態推定装置20の各機能を適宜複数のサーバに分散される、分散処理システムとしてもよい。
また例えば、上述の実施形態では、工具状態推定装置20は、工具状態学習装置30から提供された学習済みモデル250を用いて、撮像装置10により撮像された加工面の画像から工具状態として工具の摩耗度を推定したが、これに限定されない。例えば、図6に示すように、サーバ50は、工具状態学習装置30により生成された学習済みモデル250を記憶し、ネットワーク60に接続されたm個の工具状態推定装置20A(1)-20A(m)は、学習済みモデル250をサーバ50からダウンロードしてもよい(mは2以上の整数)。これにより、新たな工作機械、及び工具状態推定装置が配置されても学習済みモデル250を適用することができる。
なお、工具状態推定装置20A(1)-20A(m)の各々は、工作機械15(1)-15(m)の各々と接続される。
また、工作機械15(1)-15(m)の各々は、図1の撮像装置10と同様の撮像装置、及び図示しない制御装置を含む。また、工具状態推定装置20A(1)-20A(m)の各々は、図1の工具状態推定装置20に対応する。
あるいは、図7に示すように、サーバ50は、例えば、工具状態推定装置20として動作し、ネットワーク60に接続された工作機械15(1)-15(m)の各々に対して、各工作機械15(i)の撮像装置により撮像された加工面の画像から工具状態を推定してもよい。なお、iは1からmの整数である。これにより、新たな工作機械が配置されても学習済みモデル250を適用することができる。
この工具状態学習装置30によれば、加工面の画像から工具状態を精度良く出力する学習済みモデル250を生成することができる。
そうすることで、工具状態学習装置30は、工具の摩耗の度合いを示す所定の段階に応じてアノテーションされた工具の状態をラベルとして取得することができる。
そうすることで、工具状態学習装置30は、マスクされた画像を用いて教師あり学習を行うことで、学習済みモデル250の推定精度を向上させることができる。
そうすることで、工具状態学習装置30は、学習済みモデル250の推定精度を向上させることができる。
そうすることで、工具状態学習装置30は、学習済みモデル250の推定精度を向上させることができる。
この工具状態推定装置20によれば、加工面の画像から工具状態を容易に推定することができる。
そうすることで、工具状態推定装置20は、オペレータに対して工具の交換時期を精度良く通知することができる。
そうすることで、工具状態推定装置20は、新たな撮像装置10、及び工具状態推定装置20が配置されても学習済みモデル250を適用することができる。
そうすることで、工具状態推定装置20は、上述の(1)から(8)のいずれかと同様の効果を奏することができる。
この制御装置によれば、上述の(1)から(9)のいずれかと同様の効果を奏することができる。
この工具状態学習方法は、上述の(1)と同様の効果を奏することができる。
この工具状態推定方法は、上述の(6)と同様の効果を奏することができる。
10 撮像装置
20 工具状態推定装置
201 入力部
202 工具状態推定部
203 決定部
204 通知部
205 記憶部
250 学習済みモデル
30 工具状態学習装置
311 教師データ取得部
312 工具状態学習部
313 画像領域特定部
32 記憶部
321 教師データ
33 画像表示部
Claims (12)
- 任意の工具を用いて切削加工された任意のワークの加工面が撮像装置により撮像された任意の画像を記憶する記憶部と、
前記記憶部に記憶された前記任意の画像を入力データとして取得するとともに、前記任意の画像に基づいて工具の摩耗の度合いを示す所定の段階に応じてアノテーションされた前記工具の状態をラベルとして取得する教師データ取得部と、
前記教師データ取得部により取得された入力データとラベルとを用いて、教師あり学習を実行し、前記撮像装置により撮像されたワークの加工面の加工面画像を入力し前記ワークの加工面を切削加工した工具の状態を出力する学習済みモデルを生成する工具状態学習部と、
を備える工具状態学習装置。 - 前記所定の段階に応じて前記工具の状態をアノテーションするために、前記任意の画像を表示する画像表示部を、さらに備える請求項1に記載の工具状態学習装置。
- 前記任意の画像のうち前記加工面の画像領域以外の画像領域をマスクする画像領域特定部を、さらに備え、
前記教師データ取得部は、マスクされた前記任意の画像を入力データとして取得する請求項1又は請求項2に記載の工具状態学習装置。 - 前記工具状態学習部は、前記撮像装置により新たに撮像された加工面画像を入力データとし、新たに撮像された前記加工面画像に対する前記学習済みモデルから出力された前記工具の状態をラベルとして前記教師あり学習を実行し、前記学習済みモデルを更新する、請求項1から請求項3のいずれか1項に記載の工具状態学習装置。
- 前記教師データ取得部は、前記任意の画像とともに、前記工具の材質、形状、及び加工前の工具状態の少なくとも1つを含む工具情報を入力データとして取得し、
前記工具状態学習部は、前記撮像装置により撮像された前記加工面画像、及び前記加工面画像の加工面を切削加工した工具の工具情報を入力し前記工具の状態を出力する学習済みモデルを生成する、請求項1から請求項3のいずれか1項に記載の工具状態学習装置。 - 請求項1から請求項4のいずれか1項に記載の工具状態学習装置により生成された、撮像装置により撮像されたワークの加工面の加工面画像を入力し前記ワークの加工面を切削加工した工具の状態を出力する学習済みモデルと、
前記撮像装置により撮像された加工面の加工面画像を入力する入力部と、
前記入力部により入力された前記加工面画像を前記学習済みモデルに入力することで、前記学習済みモデルが出力する前記加工面画像の加工面を切削加工した工具の状態を推定する工具状態推定部と、
を備える工具状態推定装置。 - 前記工具状態推定部により推定された前記工具の状態に基づいて、前記工具の交換時期か否かを判定する決定部を備える、請求項6に記載の工具状態推定装置。
- 前記学習済みモデルを、前記工具状態推定装置からネットワークを介してアクセス可能に接続されるサーバに備える、請求項6又は請求項7に記載の工具状態推定装置。
- 請求項1から請求項5のいずれか1項に記載の工具状態学習装置を備える、請求項6から請求項8のいずれか1項に記載の工具状態推定装置。
- 請求項6から請求項9のいずれか1項に記載の工具状態推定装置を備える、制御装置。
- 任意の工具を用いて切削加工された任意のワークの加工面が撮像装置により撮像された任意の画像を入力データとして取得するとともに、前記任意の画像に基づいて工具の摩耗の度合いを示す所定の段階に応じてアノテーションされた前記工具の状態をラベルとして取得する教師データ取得ステップと、
取得された前記入力データと前記ラベルとを用いて、教師あり学習を実行し、前記撮像装置により撮像されたワークの加工面の加工面画像を入力し前記ワークの加工面を切削加工した工具の状態を出力する学習済みモデルを生成する工具状態学習ステップと、
を備える工具状態学習方法。 - 撮像装置により撮像された加工面の加工面画像を入力する入力ステップと、
請求項1から請求項4のいずれか1項に記載の工具状態学習装置により生成された、前記撮像装置により撮像されたワークの加工面の加工面画像を入力し前記ワークの加工面を切削加工した工具の状態を出力する学習済みモデルに、前記入力ステップで入力された前記加工面画像を入力することで、前記学習済みモデルが出力する前記加工面画像の加工面を切削加工した工具の状態を推定する推定ステップと、
を備える工具状態推定方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020066518 | 2020-04-02 | ||
JP2020066518 | 2020-04-02 | ||
PCT/JP2021/012861 WO2021200654A1 (ja) | 2020-04-02 | 2021-03-26 | 工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021200654A1 JPWO2021200654A1 (ja) | 2021-10-07 |
JP7369856B2 true JP7369856B2 (ja) | 2023-10-26 |
Family
ID=77928627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022512117A Active JP7369856B2 (ja) | 2020-04-02 | 2021-03-26 | 工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230129992A1 (ja) |
JP (1) | JP7369856B2 (ja) |
CN (1) | CN115362046A (ja) |
DE (1) | DE112021002094T5 (ja) |
WO (1) | WO2021200654A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018138327A (ja) | 2017-02-24 | 2018-09-06 | ファナック株式会社 | 工具状態推定装置及び工作機械 |
JP2018181216A (ja) | 2017-04-20 | 2018-11-15 | ファナック株式会社 | 加工不良要因推定装置 |
US20190070682A1 (en) | 2017-09-07 | 2019-03-07 | Liebherr-Verzahntechnik Gmbh | Device for machining a work-piece with a tool |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0475854A (ja) * | 1990-07-13 | 1992-03-10 | Toshiba Tungaloy Co Ltd | 工具寿命の感知センサー |
JP3076548B2 (ja) * | 1998-03-20 | 2000-08-14 | 川崎重工業株式会社 | 工具摩耗検知装置および方法 |
JP5969676B1 (ja) * | 2015-09-30 | 2016-08-17 | ファナック株式会社 | 工作機械の工具補正の頻度を最適化する機械学習装置及び機械学習方法、並びに該機械学習装置を備えた工作機械 |
JP6557183B2 (ja) * | 2016-06-28 | 2019-08-07 | ファナック株式会社 | 切削加工工具の寿命判定装置、寿命判定方法及びプログラム |
JP6426667B2 (ja) * | 2016-08-10 | 2018-11-21 | 三菱重工工作機械株式会社 | 工作機械の工具の異常検知装置及び方法 |
JP6404893B2 (ja) * | 2016-12-22 | 2018-10-17 | ファナック株式会社 | 工具寿命推定装置 |
JP6698604B2 (ja) * | 2017-09-29 | 2020-05-27 | ファナック株式会社 | 数値制御システム、及び工具状態検知方法 |
JP6677706B2 (ja) * | 2017-12-27 | 2020-04-08 | ファナック株式会社 | リンク情報生成装置、リンク情報生成方法及びリンク情報生成プログラム |
CN108627386B (zh) * | 2018-05-23 | 2023-03-31 | 天津大学 | 一种基于次摆线进给轨迹的硬脆材料划痕分析方法 |
JP6660636B2 (ja) * | 2018-07-31 | 2020-03-11 | 独立行政法人国立高等専門学校機構 | 研削工具砥面評価装置とその学習器、評価プログラムおよび評価方法 |
CN109571141A (zh) * | 2018-11-01 | 2019-04-05 | 北京理工大学 | 一种基于机器学习的刀具磨损状态监测方法 |
-
2021
- 2021-03-26 DE DE112021002094.3T patent/DE112021002094T5/de active Pending
- 2021-03-26 CN CN202180024851.8A patent/CN115362046A/zh active Pending
- 2021-03-26 WO PCT/JP2021/012861 patent/WO2021200654A1/ja active Application Filing
- 2021-03-26 JP JP2022512117A patent/JP7369856B2/ja active Active
- 2021-03-26 US US17/910,638 patent/US20230129992A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018138327A (ja) | 2017-02-24 | 2018-09-06 | ファナック株式会社 | 工具状態推定装置及び工作機械 |
JP2018181216A (ja) | 2017-04-20 | 2018-11-15 | ファナック株式会社 | 加工不良要因推定装置 |
US20190070682A1 (en) | 2017-09-07 | 2019-03-07 | Liebherr-Verzahntechnik Gmbh | Device for machining a work-piece with a tool |
Also Published As
Publication number | Publication date |
---|---|
CN115362046A (zh) | 2022-11-18 |
US20230129992A1 (en) | 2023-04-27 |
WO2021200654A1 (ja) | 2021-10-07 |
JPWO2021200654A1 (ja) | 2021-10-07 |
DE112021002094T5 (de) | 2023-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108500736B (zh) | 工具状态推定装置以及机床 | |
JP6404893B2 (ja) | 工具寿命推定装置 | |
TWI640390B (zh) | 刀具磨耗監測與預測方法 | |
CN107544432B (zh) | 寿命判定装置、寿命判定方法及计算机可读取的记录介质 | |
EP3864475B1 (en) | Method and system for monitoring tool wear to estimate rul of tool in machining | |
Al-Kindi et al. | An approach to improved CNC machining using vision-based system | |
US10926475B2 (en) | Method, system and program product for optimizing mechanical design for additive manufacturing | |
CN110096036A (zh) | 一种设备状态的确定方法、装置及设备 | |
US11583968B2 (en) | Machine learning device, prediction device, and controller | |
JP7369856B2 (ja) | 工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法 | |
JP2021086405A (ja) | 機械学習装置、消費電力予測装置、及び制御装置 | |
JP7328364B2 (ja) | 機械学習装置、加工状態予測装置、及び制御装置 | |
JP2006163889A (ja) | 作業管理指示システム | |
US20230376002A1 (en) | Machine learning device, cleaning prediction device, and cleaning system | |
JP2020194393A (ja) | 作業監視システム | |
US20230065699A1 (en) | Machine learning device, prediction device, and control device | |
JP7170496B2 (ja) | 工作機械における加工異常診断モデル構築用の加工データへのラベル付与方法及び加工異常診断システム | |
JP7364452B2 (ja) | 機械学習装置、ノズル状態予測装置、及び制御装置 | |
US11809146B2 (en) | Machine learning device, prediction device, and control device for preventing collision of a moveable part | |
CN113272746B (zh) | 基于刀具更换记录的切削刀具寿命的设置方法、装置和*** | |
JP7120958B2 (ja) | ドレッシング推定装置、及び制御装置 | |
JP6657144B2 (ja) | 加工プログラムデバッグ装置およびこれを備えた工作機械 | |
CN109726818B (zh) | 一种模型编辑方法、装置、设备和介质 | |
JP2005346482A (ja) | 生産指示計画作成システムおよび記録媒体 | |
JP2024017966A (ja) | センサーを用いた工作機械監視装置及びシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7369856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |