JP7473765B2 - 非金属介在物の自動領域識別方法およびそれを組み込んだ介在物判別システム - Google Patents
非金属介在物の自動領域識別方法およびそれを組み込んだ介在物判別システム Download PDFInfo
- Publication number
- JP7473765B2 JP7473765B2 JP2023128161A JP2023128161A JP7473765B2 JP 7473765 B2 JP7473765 B2 JP 7473765B2 JP 2023128161 A JP2023128161 A JP 2023128161A JP 2023128161 A JP2023128161 A JP 2023128161A JP 7473765 B2 JP7473765 B2 JP 7473765B2
- Authority
- JP
- Japan
- Prior art keywords
- inclusion
- image
- data
- type
- colored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 79
- 229910000831 Steel Inorganic materials 0.000 claims description 41
- 239000010959 steel Substances 0.000 claims description 41
- 238000000879 optical micrograph Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 29
- 238000010801 machine learning Methods 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 27
- 239000000463 material Substances 0.000 claims description 25
- 239000003086 colorant Substances 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000012850 discrimination method Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 20
- 238000013135 deep learning Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000013473 artificial intelligence Methods 0.000 description 11
- 150000003568 thioethers Chemical class 0.000 description 9
- 239000000203 mixture Substances 0.000 description 7
- 238000005498 polishing Methods 0.000 description 7
- 238000010972 statistical evaluation Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000013526 transfer learning Methods 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- UCKMPCXJQFINFW-UHFFFAOYSA-N Sulphide Chemical compound [S-2] UCKMPCXJQFINFW-UHFFFAOYSA-N 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003749 cleanliness Effects 0.000 description 3
- 239000000356 contaminant Substances 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 238000002441 X-ray diffraction Methods 0.000 description 1
- 239000006061 abrasive grain Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000008119 colloidal silica Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000010292 electrical insulation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、鋼材中の非金属介在物の撮影画像についてＡＩの機械学習によって画像領域を自動分割することで非金属介在物を判別する方法及びシステムに関する。特に、本発明は、ディープラーニングにより各種介在物毎にその領域を分割識別することで非金属介在物を判別する方法に関する。
近年、自動運転技術や医療用画像処理技術、工業用検査方法などの様々な分野で、ＡＩ（人工知能）、特にディープラーニング（深層学習）を用いたセマンティックセグメンテーション（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）が利用されている。ディープラーニングを用いて画像領域を分割する手法としては、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、以下「ＣＮＮ」という。）が広く利用されるようになってきている。ＣＮＮは畳み込み層とプーリング層と全結合層を有することで、画像領域の分割に有効な手段であるが、画像を細かな領域に分割する作業には向いておらず、基本的に空間分解能は低い。
そこで最近は、全結合層を全層畳み込み層とすることで、セグメンテーションだけに特化する全層畳み込みニューラルネットワーク（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ、以下「ＦＣＮ」という。）が提案されている。しかし、ＦＣＮにおいても空間分解能が低い問題は解決されていない。そこでさらに、この空間分解能の低さを解決するため、畳み込み時の画像の情報を逆畳み込み時の画像に反映させることで空間分解能を高めることを特徴とするＵ－Ｎｅｔの応用が近年進んでいる（非特許文献１）。
ところで、鋼には、その製造過程を通じて生成される非金属介在物と称される微小な異物が除去しきれずに残留している。軸受鋼などの高強度部品として使用される場面では、使用につれてそれらの非金属介在物に応力が繰り返し集中することでき裂が生じ、それを起点として疲労破壊を生じる場合があることも知られている。
これまでに、鋼中の非金属介在物を評価する方法として様々な方法が提案されており、日本産業規格ＪＩＳ Ｇ ０５５５やＡＳＴＭ Ｅ４５等で規定されているように、光学顕微鏡を用いて鏡面研磨された鋼試料を観察することによって行われる顕微鏡法などが知られている。
また、鋼中の非金属介在物を評価する方法として、光学顕微鏡による介在物の観察と、検査基準面積内において観察された介在物の大きさデータをもとにした極値統計評価によって基準体積内の最大介在物径を予測する方法が提案されている（非特許文献２参照）。
また、非金属介在物と非金属介在物誤認要因を自動的に分別するべく、撮像された画像中から対象物の特徴量を算出し、金属材料中に存在する非金属介在物と、被検面に存在する塵埃やしみ等のように非金属介在物ではないものの非金属介在物と誤認される可能性があるもの（非金属介在物誤認要因）とを判定する検査装置が提案されている（特許文献１参照）。
Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ他著「Ｕ－ｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」ＭＩＣＣＡＩ，２３４ー２４１頁（２０１５）
「金属疲労 微小欠陥と介在物の影響」養賢堂、村上敬宜著（１９９３）
さて、非金属介在物の周辺への応力集中が影響する範囲は、非金属介在物の大きさと相関すると考えられる。そこで、軸受の寿命を想定する上で、鋼中の非金属介在物の大きさを評価し、把握することは重要である。そして、非金属介在物の中でも、特に大きい非金属介在物の径（最大介在物径）を把握することは、鋼の信頼性を確保する観点から重視される。
さらに、評価者がその介在物の見え方（色調や形状）の違いをもとに、介在物の種類が酸化物、硫化物、その他の介在物かを判断して分類している。それら介在物のうち特に寿命に大きく関わると考えられるのは、酸化物系介在物であるから、酸化物系の介在物の清浄度を適切に評価できることは重要である。
もっとも、特許文献１に記載の方法は、非金属介在物と、非金属介在物誤認要因である塵埃やしみを自動的に判別するものであって、非金属介在物自体をさらに分別するものではないので、各種非金属介在物の種類を判別するためのものとはいえず、酸化物や硫化物、その他の各種介在物毎に領域をそれぞれ特定して介在物種の判別をすることには対応していなかった。そこで、介在物種を適切に判別して、介在物種毎に介在物径を測定して評価する効率的な手段が求められている。
ところで、極値統計評価で算出された介在物予測径（√ａｒｅａmax）は、製鋼精錬の良し悪しの指標ともなる。極値統計評価では、まず評価者が光学顕微鏡を用いて鏡面状態に仕上げられた鋼材を観察し、所定の基準観察面積内の最大介在物を特定して、その画像を撮影することとなる。同様の作業を複数の基準面積に対して行い、複数の介在物の大きさデータを取得する。続いて、得られた複数の基準面積内の最大介在物の大きさデータをもとにして、極値統計法の適用により介在物径を予測する方法で介在物径を予測している。
もっとも、このような手法での各種介在物毎の領域の特定は、介在物種の判別とサイズの把握のいずれも評価者の技量を前提としている。すると、評価者の熟練度に大きく左右されるものであるから、手法は同じであっても、その精度は評価者の知識や経験に負うところが大きい。介在物種の判別も経験が必要だが、極値統計評価の介在物のサイズや形状の把握自体も容易ではない。鋼中の介在物の形状は、単純な円形とは限らず、細長い島のような形状であることも多いからである。さらに断続的に連続して島状に点在している形状の場合には、それらを一体の介在物として把握すべき解釈を要するので、習熟を要する。そこで、こうした介在物の形状把握やサイズの特定は、評価者によってバラツキやすく、結果として、同じ手法で評価しても、求まる結果にばらつきが生じ得る評価方法となってしまっている。加えて、熟練者を育成するには時間を要し人材育成や確保は容易とはいえない。
そこで、本発明が解決しようとする課題は、非金属介在物の大きさ評価に関するこれらの課題を解決するべく、鋼中に非金属介在物が含まれている画像を元に極値統計法の処理に供するために必要な介在物種毎の最大大きさを適切かつ安定的に計測するために、各種介在物毎の領域範囲をディープラーニングを用いて精度よく推定し、画像から自動分割して判別するための手段を提供することである。
上述した課題を解決するため、出願人らは、生データである判別対象の非金属介在物が含まれる鋼材の光学顕微鏡画像と、この判別対象となる介在物が各種介在物系毎に塗り分けされた正解データである着色画像とのデータ対を複数対備えた一群の学習データセットに基づいた教師データを用いて電子計算機に機械学習で生成させた学習モデルを用いて、介在物の領域が未識別（未知）の鋼材の光学顕微鏡画像が照会されたときにその入力画像の特徴量を抽出し、介在物系を判別し、介在物系毎に塗り分けることを行なう、非金属介在物の画像について各種介在物系毎の領域に自動で分割識別する介在物判別方法を得た。
すなわち、評価鋼材における判別対象とする非金属介在物を含む光学顕微鏡画像データ（生データ）と、この判別対象とする介在物の画像領域が介在物の種別毎に塗り分けされた着色画像データ（正解データ）からなるデータ対を複数対備えた、一群の学習データセットを教師データとして電子計算機に機械学習させる工程（モデルの学習工程）と、未知、すなわち介在物の領域が未特定の光学顕微鏡画像が照会されたときに機械学習に基づきその入力画像の特徴量を抽出する工程（特徴抽出工程）と、機械学習に基づき介在物種別を判別する工程（介在物判別工程）と、介在物種別ごとに塗り分けされた判別済画像として推論結果を出力する工程（判別済画像出力工程）とを順に含み、非金属介在物の画像領域をＡＩにより自動的に判別させて各種介在物の領域に分割識別することを特徴としている。
学習済モデルの生成のための機械学習の工程では、生データとなる光学顕微鏡画像にはグレースケールの高解像度画像を使用し、特性Ｘ線分析による化学組成分析結果に基づき画像編集ソフト上で各種介在物系毎の塗り分けを行った着色画像とを対データとする教師データとして多数用意し、学習済みモデルの生成に供する。
さらに、このようにして得られる正確なデータセットは、その作成作業が煩雑で作業負担が大きいことから、大量かつ簡易的に取得することができないものである。そこで、教師データ画像の反転、切り抜き、拡大、回転といった幾何学的操作を行うことや、明るさ、コントラスト、ノイズ付加といった操作を行うことでデータ拡張を施すことにより、教師データ量を増加させるようにしてもよい。
また、学習済モデル生成のための機械学習の手法としては、Ｕ－Ｎｅｔおよびその派生手法を利用することができる。そして、学習のための生データであるグレースケール画像に対し、Ｕ－Ｎｅｔにおいて精度の高い学習を行うための３チャンネルＲＧＢカラーでのデータ入力とするために疑似カラーの導入を行う。また、損失関数として、領域識別の精度が重視される介在物系に対して重みを設定することが可能な調整重み付き交差エントロピー損失関数を採用すると良い。これを損失関数として用いることで、モデルの学習時に推論結果と、正解とが損失関数に入力され、両者の誤差が小さくなるようにパラメータが調整されることでより正解に近い推論結果を得ることができる。
すなわち、本発明の課題を解決するための第１の手段は、判別対象の非金属介在物を含む鋼材の光学顕微鏡画像データと、当該光学顕微鏡画像データに対応する判別対象の非金属介在物の画像領域を介在物種別毎に異なる色で塗り分けた着色画像データと、からなるデータ対を複数対備えた一群の学習データセットに基づいて得られた教師データを用いて、電子計算機に機械学習させることで学習済みモデルを生成し、電子計算機によって、当該学習済みモデルに基づいて入力された鋼材の光学顕微鏡画像（照会画像）に関する特徴量を抽出する工程と、当該学習済みモデルに基づいて介在物の種類を判別する工程と、判別結果に基づいて介在物系毎に塗り分けた着色済画像データを取得する工程と、を順に含む、非金属介在物を含む画像に対して電子計算機が介在物系毎の画像領域を機械学習により自動で分割識別する介在物系の判別方法である。
その第２の手段は、教師データには、学習データセットのデータ対に基づいてデータ拡張で生成されたデータ対を含むこと、を特徴とする第１の手段に記載の介在物系の判別方法である。
その第３の手段は、光学顕微鏡画像データは、グレースケール画像であって、当該光学顕微鏡画像を３チャンネルのＲＧＢカラー画像に変換した疑似カラー変換画像とした後、データ対の着色画像データとともに機械学習に供することで学習済みモデルを生成させることを特徴とする、第１又は第２の手段に記載の介在物径の判別方法である。
その第４の手段は、教師データのデータ対に用いる介在物種別毎に異なる色で塗り分けた着色画像データは、介在物の光学顕微鏡画像から色反転処理された画像に基づいて介在物種別毎に異なる色で塗り分けた着色画像データであることを特徴とする、第１～第３のいずれか１の手段に記載の介在物系の判別方法である。
その第５の手段は、学習済みモデルは、全層畳み込みニューラルネットワークのＵ－Ｎｅｔを用いて機械学習させることで生成されるものであることを特徴とする第１～第４のいずれか１の手段に記載の介在物系の判別方法である。
その第６の手段は、学習済みモデルは、損失関数に重み付き交差エントロピー誤差を使用して判別対象とする種類の介在物の重みが大きくなるように調整して機械学習させることで生成されるものであることを特徴とする第１～第５のいずれか１の手段に記載の介在物系の判別方法である。
その第７の手段は、判別結果に基づいて介在物系毎に塗り分けた着色済画像に基づき、評価対象とする介在物系の長径と短径を計測して介在物の大きさを算出する工程を含むことを特徴とする第１～第６のいずれか１の手段に記載の介在物系の判別方法である。
その第８の手段は、判別結果に基づいて介在物系毎に塗り分けた着色済画像に基づき、評価対象とする介在物系の長径と短径を計測して介在物の大きさを算出し、観察面積の鋼材中の最大介在物を選別して最大介在物の大きさ√ａｒｅａを出力する工程を含むことを特徴とする、第１～第７のいずれか１の手段に記載の介在物の判別方法である。
その第９の手段は、所定の観察面積を有する複数の試験片の各々に対して最大介在物の大きさ√ａｒｅａの算出を行い、得られた複数の最大介在物の大きさデータに基づいて極値統計法を利用して評価鋼材の所定の予測面積における介在物予測径（√ａｒｅａmax）を算出する工程を含むこと、を特徴とする第８の手段に記載の介在物系の判別方法である。
その第１０の手段は、第１～第９のいずれか１に記載の介在物系の判別方法を備えた介在物判別システムである。
その他の手段は、判別結果に基づいて介在物系毎に塗り分けた着色済画像に基づき、評価対象とする介在物系の長径を計測して介在物の大きさを算出する工程を含むことを特徴とする第１～第６のいずれか１の手段に記載の介在物系の判別方法である。
本発明に係る方法により、照会対象となる未知の介在物等を含む光学顕微鏡画像に対して、生成した学習済モデルに基づいて画像中から介在物種の領域を適切に判別し、その介在物の画像領域を介在物種別毎に塗り分け表示することが可能となる。
以下、本発明の介在物の画像領域を自動分割するＡＩについて、すなわち、介在物系毎の画像領域を機械学習により自動で分割識別して出力するまでを、図１のフローチャートに沿って説明する。また、以下の実施例では代表して主たる判別対象として酸化物に着目して説明を加えているが、酸化物に限らずに硫化物についても同様のアプローチによって、生成した学習モデルに基づいて未知の介在物等を含む光学顕微鏡画像に対して介在物種毎の形状やサイズを適切に捕捉することができる。
（工程Ａ：試験片の採取について）
極値統計評価に用いる試験片の作製にあたっては、評価対象の鋼材に対して、切断や切削が容易に行えるように必要に応じて適切な熱処理を実施した後、鋼材から所定の観察面積が得られるように試験片を切り出す。なお、後工程での仕上げ研磨の際に介在物の脱落が生じやすい場合や、研磨キズが残りやすい場合は、研磨条件を調整する以外に鋼材の硬さを上げることで改善する場合があるため、必要に応じて熱処理を行って硬さを調整してもよい。続いて、試験片のまま、あるいは必要に応じてそれらの試験片を樹脂に埋設したのち、試料の観察面に対して仕上げ研磨を施して光学顕微鏡観察用の試験片を作製する。このような試験片を複数個作製する。
極値統計評価に用いる試験片の作製にあたっては、評価対象の鋼材に対して、切断や切削が容易に行えるように必要に応じて適切な熱処理を実施した後、鋼材から所定の観察面積が得られるように試験片を切り出す。なお、後工程での仕上げ研磨の際に介在物の脱落が生じやすい場合や、研磨キズが残りやすい場合は、研磨条件を調整する以外に鋼材の硬さを上げることで改善する場合があるため、必要に応じて熱処理を行って硬さを調整してもよい。続いて、試験片のまま、あるいは必要に応じてそれらの試験片を樹脂に埋設したのち、試料の観察面に対して仕上げ研磨を施して光学顕微鏡観察用の試験片を作製する。このような試験片を複数個作製する。
（工程Ａ：具体例）
実施例ではＪＩＳのＳＵＪ２鋼を評価対象の鋼材として、φ６５ｍｍに熱間鍛伸されたＳＵＪ２鋼製の丸棒の中周付近から、極値統計評価を行うための試験片形状、ここでは１０ｍｍ×１０ｍｍ×８ｍｍのサイズの複数の試験片を採取した。このときの観察面の面積は１００ｍｍ2である。なお、この実施例では介在物評価を鋼材の中周部付近から行うため、その箇所からの試験片の採取を行っているが、鋼材の表面付近や中心付近で介在物評価を行いたい場合にはその箇所から採取を行えばよい。なお、試験片は圧延方向と平行な面が試料の観察面となるように採取した。そして、採取した試験片を樹脂に埋設した後、自動の湿式研磨装置もしくは手動の湿式研磨機を使用して研磨したのち、最終的にダイヤモンド砥粒を使ったバフ研磨仕上げを行って鏡面状態に加工した。なお、バフ研磨に続いて、コロイダルシリカ溶液を用いた仕上げ研磨を行ってもよい。
実施例ではＪＩＳのＳＵＪ２鋼を評価対象の鋼材として、φ６５ｍｍに熱間鍛伸されたＳＵＪ２鋼製の丸棒の中周付近から、極値統計評価を行うための試験片形状、ここでは１０ｍｍ×１０ｍｍ×８ｍｍのサイズの複数の試験片を採取した。このときの観察面の面積は１００ｍｍ2である。なお、この実施例では介在物評価を鋼材の中周部付近から行うため、その箇所からの試験片の採取を行っているが、鋼材の表面付近や中心付近で介在物評価を行いたい場合にはその箇所から採取を行えばよい。なお、試験片は圧延方向と平行な面が試料の観察面となるように採取した。そして、採取した試験片を樹脂に埋設した後、自動の湿式研磨装置もしくは手動の湿式研磨機を使用して研磨したのち、最終的にダイヤモンド砥粒を使ったバフ研磨仕上げを行って鏡面状態に加工した。なお、バフ研磨に続いて、コロイダルシリカ溶液を用いた仕上げ研磨を行ってもよい。
（工程Ｂ：非金属介在物の撮像について）
工程Ａにて得られた各試験片における評価対象の介在物について、介在物の大きさである√ａｒｅａ（介在物の短径と長径の積の平方根）が最大の介在物を特定する。もし、最大の介在物が複合介在物（異なる化学組成の複数の介在物から構成される介在物）の場合は、後述の介在物の領域識別の結果として評価対象の介在物として最大の大きさとはならない場合もあり得ることから、その次点となる大きさの介在物や、必要に応じてさらにその次点となる大きさの介在物も評価対象として特定しておくとよい。続いて介在物（単一組成の介在物、複合介在物、さらに断続的に連続して島状に点在する形状のような一体的に取り扱うべき場合がある介在物が存在しうる）について、その精細な形状や色調の違いを認識可能な程度に光学顕微鏡の観察倍率を高倍率に設定したうえで、評価対象の介在物画像を撮影する。このとき、画像サイズおよびファイルの保存形式は解像度が十分に高いものを選択することが好ましい。
工程Ａにて得られた各試験片における評価対象の介在物について、介在物の大きさである√ａｒｅａ（介在物の短径と長径の積の平方根）が最大の介在物を特定する。もし、最大の介在物が複合介在物（異なる化学組成の複数の介在物から構成される介在物）の場合は、後述の介在物の領域識別の結果として評価対象の介在物として最大の大きさとはならない場合もあり得ることから、その次点となる大きさの介在物や、必要に応じてさらにその次点となる大きさの介在物も評価対象として特定しておくとよい。続いて介在物（単一組成の介在物、複合介在物、さらに断続的に連続して島状に点在する形状のような一体的に取り扱うべき場合がある介在物が存在しうる）について、その精細な形状や色調の違いを認識可能な程度に光学顕微鏡の観察倍率を高倍率に設定したうえで、評価対象の介在物画像を撮影する。このとき、画像サイズおよびファイルの保存形式は解像度が十分に高いものを選択することが好ましい。
（工程Ｂ：具体例）
図２に光学顕微鏡で撮像した介在物画像を示す。画像は、グレースケールで、後工程Ｃにて教師データとするために観察倍率は４００倍で統一し、画像の解像度が十分高くなるように、画像サイズを４０８０×３０７２ピクセルとし、ファイルの保存形式はＢＭＰ形式を選択した。撮影の倍率は、介在物の大きさに応じて全体が画像内に収まるように調整してもよい。また、撮影画像の画像サイズおよび保存形式は、機械学習の精度の低下を招かない範囲で、より低解像度のものが選択されてもよい。
図２に光学顕微鏡で撮像した介在物画像を示す。画像は、グレースケールで、後工程Ｃにて教師データとするために観察倍率は４００倍で統一し、画像の解像度が十分高くなるように、画像サイズを４０８０×３０７２ピクセルとし、ファイルの保存形式はＢＭＰ形式を選択した。撮影の倍率は、介在物の大きさに応じて全体が画像内に収まるように調整してもよい。また、撮影画像の画像サイズおよび保存形式は、機械学習の精度の低下を招かない範囲で、より低解像度のものが選択されてもよい。
（工程Ｃ：教師データの作成について）
学習モデルを作成するための教師データとして、工程Ｂにより得られる介在物画像（生データ）と、生データに対し介在物の化学組成分析結果に基づき画像編集ソフトを使用して介在物の種類ごとに介在物を塗り分けた着色画像（正解データ）と、を一対とするデータ対を複数対揃えたデータセット用の画像（学習データセット）を用意する。また、少ないデータセットで効率的に高精度な学習を行うためのデータ拡張を実施して教師データを得てもよい。
学習モデルを作成するための教師データとして、工程Ｂにより得られる介在物画像（生データ）と、生データに対し介在物の化学組成分析結果に基づき画像編集ソフトを使用して介在物の種類ごとに介在物を塗り分けた着色画像（正解データ）と、を一対とするデータ対を複数対揃えたデータセット用の画像（学習データセット）を用意する。また、少ないデータセットで効率的に高精度な学習を行うためのデータ拡張を実施して教師データを得てもよい。
（工程Ｃ：具体例）
学習データセットにおける正解データとして用いる介在物の種類ごとに介在物を塗り分けた着色画像は、エネルギー分散型Ｘ線分光器（ＥＤＳ）や、電子プローブマイクロアナライザー（ＥＰＭＡ）により得られた特性Ｘ線に基づく組成分析の結果から介在物種を判別し、市販されている一般的な画像編集ソフトを使用して、生データの撮影画像をベース画像にして介在物種別毎に色を塗り分けることにより作成した。図４に示すように、酸化物と硫化物、コンタミ等の介在物系が識別され、塗り分けられている。
学習データセットにおける正解データとして用いる介在物の種類ごとに介在物を塗り分けた着色画像は、エネルギー分散型Ｘ線分光器（ＥＤＳ）や、電子プローブマイクロアナライザー（ＥＰＭＡ）により得られた特性Ｘ線に基づく組成分析の結果から介在物種を判別し、市販されている一般的な画像編集ソフトを使用して、生データの撮影画像をベース画像にして介在物種別毎に色を塗り分けることにより作成した。図４に示すように、酸化物と硫化物、コンタミ等の介在物系が識別され、塗り分けられている。
なお、本発明でいう塗り分けとは、電子計算機が判別・認識できるものであれば足りることから、異なる色とは必ずしも人の視覚的に色合いの差異が明確であることまでは要しない。すなわち、具体的には異なる色の塗り分けとは、介在物種毎に赤、緑と大きく色合いを変えて塗り分ける以外にも、薄灰と濃灰などの濃淡による差異や、赤系の色であっても彩度の違いで差異を示したものであったものでもよく、元画像の上に介在物種毎に半透明の色画像を重ねて着色して差異を設けたものも含まれ、元画像にレイヤーを用いて介在物種毎に色を合成表示させている画像データなども、ここでいう塗り分けに該たる。
教師データの作成に際しては、たとえば以下のような工夫をすることで、教師データ自体の介在物種判別精度を高めることができるので、機械学習結果をより良好なものとすることが容易となる。
まず、光学顕微鏡写真のデータ対に用いるグレースケール画像の他に、併せて単色の有色透明カラーフィルターを介した介在物画像も撮影する。カラーフィルターとして、たとえばグリーンフィルターを用いることができるが、これのみに限定はされない。次いで、各種介在物系ごとの輪郭のコントラストがより強調されるように、市販の画像編集ソフト（たとえばアドビ社製のフォトショップ（登録商標）など）を使用して、ソフトに実装されているカラーカーブの補正機能でソラリゼーション処理（色反転処理）をすることによって色調や階調の操作などの、介在物を強調させるための画像加工を施す。また、適宜、中間調の明るさを最大にし、一方で中間調のコントラストを最小にする変換処理を実施する。
以上のように画像加工して得られたカラー画像をもとに、介在物の領域を適切に把握し、その後、評価対象の介在物の組織観察をして塗り分ける色を決定する。組織観察には、走査電子顕微鏡（ＳＥＭ）を用いた。ＳＥＭで適切な倍率での介在物の反射電子像を取得し、ＥＤＳで介在物種を確認した。通常のＳＥＭ観察で利用されている二次電子像に代えて、あえて反射電子像を用いるのは、化学成分に応じたコントラストが得られること、電気絶縁性の高い介在物におけるＳＥＭ観察中のチャージアップの影響が出にくいことなど、有用性が高いからである。この画像と対照しつつ、ＥＤＳで介在物種や代表組成を把握することで、画像加工したカラー画像における介在物種毎の領域を特定し、酸化物系、硫化物系といった介在物種毎に色分け作業を行い、着色画像データを得た。以上の光学顕微鏡による介在物のグレースケール画像と、作成した介在物種毎に色分けされた着色画像データを、データ対とした。そして、それらのデータ対を多数作成することで、データセットを得た。
これら手順により得られるデータセットは、そのデータ数が多いほどディープラーニングの精度を高めることに有利に働くといえる。もっとも、正解データの判定作業は作業負担が大きく、また作業自体にも習熟を要することからも、マンパワーを単純に増やすだけで大量かつ簡易的に取得できるようなデータとはいえない。そこで、これらのデータセットのみを教師データとする以外に、データセットに基づいて、次のようなデータ拡張をして、教師データをさらに充実させてもよい。
（データ拡張について）
用意したデータセットに対し、反転、切り抜き、拡大、回転といった幾何学的操作を行い、加えて明るさ、コントラスト、ノイズ付加といった色空間操作などをすることで、学習に供するデータ数を拡張することによって、少ないデータセットでも、より高精度な学習を行うことが可能である。そこで、作成したデータセットに基づいて、データ拡張を実施した。データ拡張には、オフライン拡張により決められた処理を事前に行う大規模なデータセットを用意してもよいが、電子計算機の記憶装置の使用量を削減するため、本発明においては、１つのミニバッチに対して、オンザフライ拡張（オンライン拡張）により、直前にランダムに選んだ幾何学的操作および色空間操作でデータ拡張を行い、逐次に以降に示した工程Ｄの機械学習を行うということを繰り返した。エポック（１つの訓練データの繰り返し学習の数）を複数にして学習をすれば、同じミニバッチからランダムに異なる画像が使用されるので、記憶容量を圧迫することなく実施できる。
用意したデータセットに対し、反転、切り抜き、拡大、回転といった幾何学的操作を行い、加えて明るさ、コントラスト、ノイズ付加といった色空間操作などをすることで、学習に供するデータ数を拡張することによって、少ないデータセットでも、より高精度な学習を行うことが可能である。そこで、作成したデータセットに基づいて、データ拡張を実施した。データ拡張には、オフライン拡張により決められた処理を事前に行う大規模なデータセットを用意してもよいが、電子計算機の記憶装置の使用量を削減するため、本発明においては、１つのミニバッチに対して、オンザフライ拡張（オンライン拡張）により、直前にランダムに選んだ幾何学的操作および色空間操作でデータ拡張を行い、逐次に以降に示した工程Ｄの機械学習を行うということを繰り返した。エポック（１つの訓練データの繰り返し学習の数）を複数にして学習をすれば、同じミニバッチからランダムに異なる画像が使用されるので、記憶容量を圧迫することなく実施できる。
具体的には、８６４枚の光学顕微鏡画像を準備した。まず、これら画像のうち、７２４枚を訓練用、７０枚を検証用、７０枚を評価用に無作為に振り分けるなどする。１エポックで訓練データ全ての学習を行い、エポックごとにデータ拡張の操作はランダムに選択する。最終的に１００エポックの学習を行うことで、訓練データは７２４００枚に拡張される。また、さらに一部の教師データを半教師あり学習により作成して機械学習に用いてもよい。
（工程Ｄ：モデルの学習および評価について）
電子計算機による機械学習のディープラーニングには、たとえば、Ｕ－Ｎｅｔの畳み込み層に対して、畳み込みニューラルネットワーク（ＣＮＮ）を取り入れたＩｍａｇｅＮｅｔのｐｒｅ－ｔｒａｉｎｅｄモデル（学習済みモデル）を転移学習に活用して非金属介在物のデータセットを学習させる。これらの学習の後、複数のモデルの妥当性を検証するために検証データで精度評価を行う。検証データでの精度評価を基に、最も優れたモデルを決定し、評価データを用いて最終評価を行う。
電子計算機による機械学習のディープラーニングには、たとえば、Ｕ－Ｎｅｔの畳み込み層に対して、畳み込みニューラルネットワーク（ＣＮＮ）を取り入れたＩｍａｇｅＮｅｔのｐｒｅ－ｔｒａｉｎｅｄモデル（学習済みモデル）を転移学習に活用して非金属介在物のデータセットを学習させる。これらの学習の後、複数のモデルの妥当性を検証するために検証データで精度評価を行う。検証データでの精度評価を基に、最も優れたモデルを決定し、評価データを用いて最終評価を行う。
ここで、転移学習について簡単に説明する。転移学習とは、ある領域の知識を別の領域の学習に適用させる技術であり、上述のような学習済みモデルを転用することで、大量のデータ取得と学習にかかる時間を削減することを可能とする機械学習の手法の一つである。このため、転移学習を用いれば、教師データが少ない場合であっても高精度に対象画像の判別を行うことができるメリットがある。
（工程Ｄ：具体例）
図３は、ディープラーニングに用いたニューラルネットワークモデルのＵ－Ｎｅｔの構造を示した図である。Ｕ－Ｎｅｔは、畳み込み時の情報を逆畳み込み時の画像に反映させることにより空間分解能を高めることを特徴としたニューラルネットワークモデルである。同モデルにおいて、畳み込み層（エンコーダ）では入力された画像を複数回にわたって畳み込みを行いながら、画像に含まれる特徴量を抽出していき、一方で逆畳み込み層（デコーダ）では、畳み込み時と逆の処理を行うことにより、入力画像と同サイズ（同解像度）の画像データを出力する。ここで、エンコーダでの特徴量抽出において、大規模教師ラベル付き画像データセットであるＩｍａｇｅＮｅｔを用いたｐｒｅ－ｔｒａｉｎｅｄモデルを転移学習させて、そのまま活用することが可能となっているため、実施例では後述するモデルの精度評価指標において最も優れた結果が得られている１９層の畳み込み層を持つ畳み込みニューラルネットワークＶＧＧ１９を転移学習に活用した。
図３は、ディープラーニングに用いたニューラルネットワークモデルのＵ－Ｎｅｔの構造を示した図である。Ｕ－Ｎｅｔは、畳み込み時の情報を逆畳み込み時の画像に反映させることにより空間分解能を高めることを特徴としたニューラルネットワークモデルである。同モデルにおいて、畳み込み層（エンコーダ）では入力された画像を複数回にわたって畳み込みを行いながら、画像に含まれる特徴量を抽出していき、一方で逆畳み込み層（デコーダ）では、畳み込み時と逆の処理を行うことにより、入力画像と同サイズ（同解像度）の画像データを出力する。ここで、エンコーダでの特徴量抽出において、大規模教師ラベル付き画像データセットであるＩｍａｇｅＮｅｔを用いたｐｒｅ－ｔｒａｉｎｅｄモデルを転移学習させて、そのまま活用することが可能となっているため、実施例では後述するモデルの精度評価指標において最も優れた結果が得られている１９層の畳み込み層を持つ畳み込みニューラルネットワークＶＧＧ１９を転移学習に活用した。
本発明では、推論された出力画像を入力画像と同サイズで比較を行えるようにするため、エンコーダ側の畳み込み層は、フィルターサイズを３×３、ストライドを１、パディングを１、ｍａｘ（最大値）プーリングは２×２のフィルターにより行い、デコーダ側の畳み込み層はフィルターサイズを３×３、ストライドを１、パディングを１とし、プーリングの逆としてＢｉｌｉｎｅａｒ Ｉｎｔｅｒｐｏｒａｔｉｏｎ（バイリニア補間）のアップサンプリングを２×２のフィルターで行った。なお、プーリングの方式にはａｖｅｒａｇｅ（平均）プーリング、アップサンプリングの方式にはＮｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ Ｉｎｔｅｒｐｏｒａｔｉｏｎ（最近傍補間）が選択されてもよい。また、ニューラルネットワークの出力を決定する活性化関数にはディープラーニングにおいてよく利用されており、画像データと相性のよいＲｅＬＵを採用した。なお、活性化関数には、ＲｅＬＵに代えて、ＬｅａｋｙＲｅＬＵ、ＰＲｅＬＵ、ＥＬＵが選択されてもよい。
畳み込みニューラルネットワーク（ＣＮＮ）の実装にあたり、深層学習フレームワークであるＴｅｎｓｏｒＦｌｏｗ（ｔｅｎｓｏｒｆｌｏｗ－ｇｐｕ ２．４．０）をバックエンドとしたＫｅｒａｓを利用し、電子計算機の動作環境としては、ＯＳはＷｉｎｄｏｗｓ１０Ｐｒｏ、ＣＰＵはＣｏｒｅｉ７－９７００Ｋ、ＧＰＵはＲＴＸ３０９０を用いた。もちろんこれらの仕様は一例であり、本発明の実施において適宜に変更されてもよい。
学習に関し、工程Ｃにより得た介在物の教師データに対し、学習速度を速めるために画像のサイズを２０４０×１５３６ピクセルへと縮小した。さらに光学顕微鏡で撮影した画像の大部分は背景であり、対象となる介在物は画像領域の中心に存在することから、余分な学習を防ぐために、入力画像を５１２×５１２ピクセルのサイズに分割を行い、介在物が存在しない画像は除去した。さらに学習の安定化と汎化性能の向上のために画像の正規化を行った。また、ディープラーニングを行う前の前処理として、疑似カラーの導入を行った。疑似カラーの導入を行うと、重視する介在物種を強調することができ、識別精度が向上するので、効率的な学習が可能となる。なお、疑似カラーに必要な画像処理にはコンピュータビジョン（人間の視覚系が行うことができるタスクを機械で自動化するための研究分野）用の無償ライブラリであるＯｐｅｎＣＶを用いた。
５１２×５１２ピクセルのサイズに分割された画像は、推論を行った後にｓｏｆｔ－ｖｏｔｉｎｇ（重複部分の予測確率の平均）を行って２０４０×１５３６ピクセルの画像サイズに統合する。この時、分割された画像のサイズはＵ－Ｎｅｔの入力画像サイズである５１２×５１２ピクセルに等しい。また、推論を行った後のＵ－Ｎｅｔの出力画像サイズである５１２×５１２ピクセルにも等しい。出力画像は２５６ピクセルずつ上下左右にずらしてオーバーラップさせて統合させることで、２５６０×２０４８ピクセルの統合画像を得る。画像統合時に生じた片側２５６ピクセル分の余白は削除し、２０４０×１５３６ピクセルの画像サイズに統合した。
次に疑似カラーを導入する理由について詳述する。Ｕ－Ｎｅｔなどのディープラーニングによるセマンティックセグメンテーションでは、エンコーダでの特徴量抽出において、カラー写真の教師ラベル付き画像の大規模データベースであるＩｍａｇｅＮｅｔを用いたｐｒｅ－ｔｒａｉｎｅｄモデルの転移学習が可能である。そのため、Ｕ－Ｎｅｔなどのセマンティックセグメンテーションを用いて今回のような光学顕微鏡画像のディープラーニングを行うためには、学習に利用する先のような画像データベースのカラー画像の形状やデータ構造に合うように光学顕微鏡画像に前処理を施しておくことが望ましい。
そこで、光学顕微鏡画像として多用されている１チャンネルのグレースケール画像の場合、一般的な前処理として１チャンネルのグレースケール画像を３チャンネル分重ね合わせた画像とすることで、３チャンネルのＲＧＢカラー画像に変換する。
もっとも、変換された３チャンネル画像には本来のＲＧＢのカラー情報は含まれていない。そのため、Ｕ－Ｎｅｔなどにおける入力層に近い畳み込み層では大部分のフィルターが重複してしまうことになり、３チャンネルの情報が生かせず効率的な学習ができない。
そこで、光学顕微鏡画像として多用されている１チャンネルのグレースケール画像の場合、一般的な前処理として１チャンネルのグレースケール画像を３チャンネル分重ね合わせた画像とすることで、３チャンネルのＲＧＢカラー画像に変換する。
もっとも、変換された３チャンネル画像には本来のＲＧＢのカラー情報は含まれていない。そのため、Ｕ－Ｎｅｔなどにおける入力層に近い畳み込み層では大部分のフィルターが重複してしまうことになり、３チャンネルの情報が生かせず効率的な学習ができない。
そこで、本発明では、１チャンネルのグレースケール画像に適切な変換マップを当てはめることにより、３チャンネルのＲＧＢカラー画像に変換する疑似カラー変換を前処理に用いる。望ましい変換マップには、識別において重視される酸化物などが強調されやすいものがよく、例えばＪｅｔと呼ばれるグレースケールを虹色に変換可能なカラーマップが利用できる。
疑似カラーの導入により、光学顕微鏡で撮影したグレースケール画像のみでディープラーニングを行った場合の識別結果と比較して、各種介在物系の識別精度が向上した。
なお、擬似カラー変換の前処理をして学習モデルを作成する場合と同様に、未知の光学顕微鏡画像中の介在物種を判別する際にも、グレースケール画像を擬似カラー化させた後に特徴量を抽出させることで、照会画像の介在物種を学習済モデルを用いて電子計算機により判別させるようにすることができる。
なお、擬似カラー変換の前処理をして学習モデルを作成する場合と同様に、未知の光学顕微鏡画像中の介在物種を判別する際にも、グレースケール画像を擬似カラー化させた後に特徴量を抽出させることで、照会画像の介在物種を学習済モデルを用いて電子計算機により判別させるようにすることができる。
さらに、Ｕ－Ｎｅｔなどのディープラーニングを行う際、出力された推論結果と教師データにおける正解データとの違いを評価して、それによってニューラルネットワークの重み付けを変化させる損失関数を採用する。この損失関数については様々な選択肢を取りうるが、本発明は各種介在物系毎に画像領域を分割して識別することが目的であるため、調整重み付き交差エントロピー損失関数を採用することとする。これは、鏡面研磨された鋼中に疎らに存在する非金属介在物を撮影した光学顕微鏡画像において特有の介在物以外の鋼の部分（光学顕微鏡像では白く撮像される、いわば背景とも言える部分であり、介在物の画像領域の識別に関与しない）が画像の大部分を占める問題（ｃｌａｓｓ ｉｍｂａｌａｎｃｅと呼ばれる問題）を、背景の重みを調整することで解決するものである。重みは背景や介在物といった各画像領域の画素数の合計を算出し、その逆数を基準値とし、基準値をもとに調整した。
ディープラーニングの精度評価指標にはｍＩｏＵ（ｍｅａｎ Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）という指標を用いた。これは推論結果が正解にどのくらい近いのかを示す指標で、推論された各種介在物系の領域と正解画像での各種介在物系の領域とを重ね合わせた領域に対する、正しく判定された領域の割合を評価するものであるため、画像全体に占める介在物の大きさの割合（割合は小さいことが多い）に影響を受けずに推論結果の正解の度合いを評価することが可能である。
なお、同じくセグメンテーションの精度評価指標として比較的多く利用されるＰｉｘｅｌ Ａｃｃｕｒａｃｙを精度評価に用いる場合には、画像全体の画素数に対して、上述したように背景が大部分を占めることでｃｌａｓｓ ｉｍｂａｌａｎｃｅを伴う介在物の撮影画像の場合、少ないクラス（ここでは介在物を指す）における予測誤差の影響は多いクラス（ここでは背景を指す）に対して相対的に小さいものとなるので、結果としてＰｉｘｅｌ Ａｃｃｕｒａｃｙが高い、すなわち推論の精度が高いとみなされやすくなり、モデルのチューニングによる精度の変化を把握することには不向きである。そこで、検証では主としてｍＩｏＵの指標に着目した。
なお、同じくセグメンテーションの精度評価指標として比較的多く利用されるＰｉｘｅｌ Ａｃｃｕｒａｃｙを精度評価に用いる場合には、画像全体の画素数に対して、上述したように背景が大部分を占めることでｃｌａｓｓ ｉｍｂａｌａｎｃｅを伴う介在物の撮影画像の場合、少ないクラス（ここでは介在物を指す）における予測誤差の影響は多いクラス（ここでは背景を指す）に対して相対的に小さいものとなるので、結果としてＰｉｘｅｌ Ａｃｃｕｒａｃｙが高い、すなわち推論の精度が高いとみなされやすくなり、モデルのチューニングによる精度の変化を把握することには不向きである。そこで、検証では主としてｍＩｏＵの指標に着目した。
表１は、検証データにおける各モデルのＰｉｘｅｌ ＡｃｃｕｒａｃｙとｍＩｏＵによる評価結果をそれぞれ示す。表１において、ＴＬは転移学習を行ったことを示し、ＦＴは既存のモデルの一部に調整を加えたファインチューニングを行ったことを示す。Ｐｉｘｅｌ Aｃｃｕｒａｃｙにほとんど変化が見られない場合でもｍｉｏＵには変化が認められることが分かる。太字の下線付きで示すオリジナルのＵ－Ｎｅｔ（表１の上から１０番目のモデル）の学習結果のｍＩｏＵが０．６８２であるのに比べて、Ｕ－ＮｅｔにＶＧＧ１９を転移学習させたモデル（表１の１段目のモデル）のｍＩｏＵは０．７４５となり、実に６％以上もの大きなｍＩｏＵの向上が見られた。そこで、このモデルをベースにさらなるチューニングを行った。
このＵ－ＮｅｔにＶＧＧ１９を転移学習させたモデルに対し、上述の調整重み付き交差エントロピー損失関数を採用し、介在物種別毎の重みをチューニングすることで、ｍＩｏＵはさらに０．８１程度にまで上昇した。
（工程Ｅ：介在物の種類が未識別（未知）の入力画像に対する各種介在物系の判別について）
工程Ｄにより得られる学習モデルに対して、光学顕微鏡で撮影した介在物領域が未識別（未知）の介在物画像（生データ）を入力し、各種介在物系毎に塗り分けがなされた着色画像を推論結果として出力する。なお、ここでいう塗り分けとは、電子計算機が判別・認識できるものであれば足りることから、異なる色とは必ずしも人の視覚的に色合いの差異が明確であることまでは要しない。
工程Ｄにより得られる学習モデルに対して、光学顕微鏡で撮影した介在物領域が未識別（未知）の介在物画像（生データ）を入力し、各種介在物系毎に塗り分けがなされた着色画像を推論結果として出力する。なお、ここでいう塗り分けとは、電子計算機が判別・認識できるものであれば足りることから、異なる色とは必ずしも人の視覚的に色合いの差異が明確であることまでは要しない。
（工程Ｅ：具体例）
図５に光学顕微鏡で撮像した画像と塗り分けされた推論後の着色画像の拡大図をそれぞれ示す。ここでは、光学顕微鏡で撮影したディープラーニングには用いていない介在物領域が未識別（未知）の１チャンネルのグレースケール画像を、学習モデルを作成する場合と同様に、３チャンネルのＲＧＢカラー画像に変換する疑似カラー変換を前処理に用いた上で今回発明のモデルに入力することで、画像に含まれる酸化物、硫化物、コンタミをそれぞれ識別し、自動的に塗り分けすることが可能になる。
実施例では一例として、酸化物を赤色、硫化物を青色、コンタミを緑色にそれぞれ塗り分けた。なお、画像サイズは４０８０×３０７２ピクセル、ファイルの保存形式はＢＭＰ形式としたが、画像サイズやファイルの保存形式は、状況に応じて変更してもよい。
図５に光学顕微鏡で撮像した画像と塗り分けされた推論後の着色画像の拡大図をそれぞれ示す。ここでは、光学顕微鏡で撮影したディープラーニングには用いていない介在物領域が未識別（未知）の１チャンネルのグレースケール画像を、学習モデルを作成する場合と同様に、３チャンネルのＲＧＢカラー画像に変換する疑似カラー変換を前処理に用いた上で今回発明のモデルに入力することで、画像に含まれる酸化物、硫化物、コンタミをそれぞれ識別し、自動的に塗り分けすることが可能になる。
実施例では一例として、酸化物を赤色、硫化物を青色、コンタミを緑色にそれぞれ塗り分けた。なお、画像サイズは４０８０×３０７２ピクセル、ファイルの保存形式はＢＭＰ形式としたが、画像サイズやファイルの保存形式は、状況に応じて変更してもよい。
工程Ａ～Ｅにおける本発明に係る方法により、介在物の種類が未識別（未知）の光学顕微鏡画像から、介在物の画像領域を各種介在物系毎に精度良く識別し、自動的に塗り分けることができ、極値統計法における介在物の大きさ評価を人手を介することなくＡＩによって行うことが可能となる。
図４の教師データ作成の手順のように、これまで機器を組み合わせて手作業での判別を経て色分け画像を作成していたものが、本発明で生成された学習済みモデルを用いると、自動的に介在物種を識別して対象の画像領域を適切に塗り分けた画像データを取得することができ、図４（ｃ）のような着色画像が自動的に得られることとなる。
図４の教師データ作成の手順のように、これまで機器を組み合わせて手作業での判別を経て色分け画像を作成していたものが、本発明で生成された学習済みモデルを用いると、自動的に介在物種を識別して対象の画像領域を適切に塗り分けた画像データを取得することができ、図４（ｃ）のような着色画像が自動的に得られることとなる。
光学顕微鏡画像７０枚について、単に介在物を捕捉するだけではなく、さらに介在物中における介在物種まで適切に判別できるかを、次のとおり検証した。
まず、あらかじめ介在物種が判明している介在物を含む光学顕微鏡で撮像された７０枚の画像を用意し、本発明の学習済みモデルを用いて判別させた。
対象となった７０枚の画像の異物の内訳は、最大面積の異物（介在物）が酸化物：３３枚、硫化物：１９枚、介在物以外の異物：１８枚である。
結果：本発明の学習済みモデルを用いてこれらの画像を判別させると、介在物の領域中における介在物種についてはいずれも適切に識別できており、最大面積の介在物種について、酸化物：３３枚、硫化物：１９枚、介在物以外の異物：１８枚と判定し正答した。すなわち、学習済みモデルを用いると、最大介在物の領域の介在物種について適切に識別できた。
このように本発明の深層学習による機械学習モデルを用いることで、熟練者による作業を要さずとも、光学顕微鏡画像内の介在物中における介在物種を適切に識別できることが確認された。
まず、あらかじめ介在物種が判明している介在物を含む光学顕微鏡で撮像された７０枚の画像を用意し、本発明の学習済みモデルを用いて判別させた。
対象となった７０枚の画像の異物の内訳は、最大面積の異物（介在物）が酸化物：３３枚、硫化物：１９枚、介在物以外の異物：１８枚である。
結果：本発明の学習済みモデルを用いてこれらの画像を判別させると、介在物の領域中における介在物種についてはいずれも適切に識別できており、最大面積の介在物種について、酸化物：３３枚、硫化物：１９枚、介在物以外の異物：１８枚と判定し正答した。すなわち、学習済みモデルを用いると、最大介在物の領域の介在物種について適切に識別できた。
このように本発明の深層学習による機械学習モデルを用いることで、熟練者による作業を要さずとも、光学顕微鏡画像内の介在物中における介在物種を適切に識別できることが確認された。
（工程Ｆ：極値統計法の実施について）
評価鋼材から採取された複数の試験片について、上記の工程を経て得られる介在物の塗り分け画像（介在物種別毎の領域を識別した着色画像）を元に、各試験片における介在物の最大大きさとして√ａｒｅａ（介在物の短径と長径の積の平方根）を算出する。
なお、以下の実施例では、介在物の大きさを算出するに際して、√ａｒｅａを用いた例で説明している。もっとも、介在物の大きさは、√ａｒｅａに代えて、介在物の長径（最大長）のみを用いて介在物の大きさを評価するといった介在物系を判別評価することであってもよい。
評価鋼材から採取された複数の試験片について、上記の工程を経て得られる介在物の塗り分け画像（介在物種別毎の領域を識別した着色画像）を元に、各試験片における介在物の最大大きさとして√ａｒｅａ（介在物の短径と長径の積の平方根）を算出する。
なお、以下の実施例では、介在物の大きさを算出するに際して、√ａｒｅａを用いた例で説明している。もっとも、介在物の大きさは、√ａｒｅａに代えて、介在物の長径（最大長）のみを用いて介在物の大きさを評価するといった介在物系を判別評価することであってもよい。
さて、得られた最大介在物の大きさデータをもとに極値統計法を用いた評価を行い、鋼材の任意の予測体積中に含まれうる最大介在物径√ａｒｅａmaxの予測を行う。
なお、介在物種を正しく判別できていなければ、図６（ａ)のように酸化物と硫化物が区別されないものとなるので、√ａｒｅａの認定が不適切となる。図６（ｂ）のように、酸化物の√ａｒｅａを求める場合は、硫化物を除外したうえで、識別する必要がある。もっとも、図６のようなグレースケールの画像のみから人が判別することは容易ではない。本発明の手順で自動的に適切に介在物種を判別した画像を用いれば、√ａｒｅａを適切に測定することができる。
（工程Ｆ：具体例）
工程Ｅにて介在物系毎に塗り分けされた着色画像をもとに、√ａｒｅａの測定を行い、極値統計法を実施した。
工程Ｅにて介在物系毎に塗り分けされた着色画像をもとに、√ａｒｅａの測定を行い、極値統計法を実施した。
ここで、介在物系毎に塗り分けされた着色画像の√ａｒｅａ測定はＯｐｅｎＣＶ等を使用したルールベースのＡＩを学習モデルに組み込むことによって行ってもよい。
介在物径の予測に用いる極値統計法について説明する。この場合の極値統計法とは、ある母集団から複数個の試験片（ｊ＝１，ｎ）を採取し、個々の試験片の所定の観察範囲内に存在する最大介在物を光学顕微鏡で撮影したのちに、それらの各試験片の最大介在物の大きさを極値統計グラフ上に小さいものから順にプロットし、それらのプロットの近似直線に基づき、予測しようとする任意の面積中の最大介在物径（√ａｒｅａmax）を予測するものである。求めた√ａｒｅａmaxは、製品品質の検査に用いたり、評価鋼材同士の介在物清浄度の比較指標として用いたり、製鋼精錬方法の改良による清浄度向上の指標として利用したりすることができる。
極値統計グラフにおいて縦軸に示される累積分布関数Ｆ（単位：％）の値はＦj＝ｊ／（ｎ＋１）×１００の式から求めることができる。ここでｎは√ａｒｅａを評価した試験片の総個数、ｊは√ａｒｅａの小さいものから順に並べたときのｊ番目であることを示している。ただし、この場合に縦軸のプロット位置を決定するためには確率紙を用いる必要がある。そこで、Ｆに代わって、基準化変数ｙとしてｙj＝－ｌｎ［－ｌｎ｛ｊ／（ｎ＋１）｝］の式から求めたｙjの値を使って縦軸を表してもよい。
プロットの仕方としては、観察視野における最大介在物の大きさ√ａｒｅａの小さいものから順に、横軸の値を√ａｒｅａとして、縦軸の値をｊ番目に対応する基準化変数ｙjとして順次プロットを行うものとする。
次に、任意面積中に存在しうる最大介在物径（√ａｒｅａmax）を予測するために、予測を行いたい面積における累積分布関数Ｆと基準化変数ｙを再帰期間Ｔから求める。このときＴは予測面積Ｓと個々の試験片の観察面積Ｓ0を用いてＴ＝（Ｓ＋Ｓ0）／Ｓ0の式で求められ、このＴを用いて累積分布関数ＦをＦ＝（Ｔ－１）／Ｔ×１００の式から求めることができる。また、基準化変数ｙとしてｙ＝－ｌｎ［－ｌｎ｛（Ｔ－１）／Ｔ｝］の式から求めたｙの値を使って縦軸を表しても良い。また、Ｓ≫Ｓ0の場合には、ｙ＝ｌｎＴ、Ｔ＝Ｓ／Ｓ0が成り立ち、計算を容易化することができる。
プロットの仕方としては、観察視野における最大介在物の大きさ√ａｒｅａの小さいものから順に、横軸の値を√ａｒｅａとして、縦軸の値をｊ番目に対応する基準化変数ｙjとして順次プロットを行うものとする。
次に、任意面積中に存在しうる最大介在物径（√ａｒｅａmax）を予測するために、予測を行いたい面積における累積分布関数Ｆと基準化変数ｙを再帰期間Ｔから求める。このときＴは予測面積Ｓと個々の試験片の観察面積Ｓ0を用いてＴ＝（Ｓ＋Ｓ0）／Ｓ0の式で求められ、このＴを用いて累積分布関数ＦをＦ＝（Ｔ－１）／Ｔ×１００の式から求めることができる。また、基準化変数ｙとしてｙ＝－ｌｎ［－ｌｎ｛（Ｔ－１）／Ｔ｝］の式から求めたｙの値を使って縦軸を表しても良い。また、Ｓ≫Ｓ0の場合には、ｙ＝ｌｎＴ、Ｔ＝Ｓ／Ｓ0が成り立ち、計算を容易化することができる。
そこで、一例として３０個の試験片について、所定の観察範囲内に存在する最大介在物を光学顕微鏡で観察した画像を取り込み、工程Ａ～Ｄを経て生成した学習済みモデルを用いて、それぞれの画像の介在物種を判別し、塗り分けされた識別済の画像を得た後、得られた画像に基づいて測定された酸化物の介在物の最大介在物径√ａｒｅａの各測定結果を用いて極値統計処理することで、任意面積中における最大介在物径√ａｒｅａmaxを求めた。
さらに、本発明のＡＩによる方法に基づいて得られた極値統計結果、および従来の通常手順で人（評価者）による手作業での判定に基づいて得られた極値統計結果に対し、正解データを基準として整理した図を図７に示す。今回の結果では、酸化物の一体化判定を伴う高度な判定において、人による従前の手作業による評価に比べてＡＩが正解データにより近い結果を導いていると評価でき、習熟者による場合と同等かそれ以上の判別を自動の判別システムを用いて判断することができることが確認された。
本発明の手法によれば、自動で判別された介在物種毎に√ａｒｅａを求めることができるので、これらの値を利用してさらに極値統計法による√ａｒｅａmaxを求めることができる。介在物種ごとの√ａｒｅａを把握できるので、予測精度を向上させることができ、介在物種の判別を手作業に頼る場合のような作業者の習熟具合でのブレも生じないこととなる。
介在物種毎の√ａｒｅａおよびこれらに基づいて算出された√ａｒｅａmaxは、それぞれｃｓｖ形式ファイルなどのデータとして出力しておくことであってもよい。
以上のとおり、工程Ａ～Ｅにおける本発明に係る方法により、生成された学習済みモデルを用いて、介在物の種類が未識別（未知）の光学顕微鏡画像から介在物の画像領域を介在物種別毎に精度良く識別し、自動的に塗り分け可能に領域を捕捉することができる。そして、これらの工程を複数の試験片について行い、さらに工程Ｆを組み合わせて極値統計評価を行うことで最大介在物径の予測結果を得ることができる。
本発明によると、こうした一連の手順を、ＡＩを用いて極めて効率的に的確に実施することができるので、従来のような習熟者による手作業の判定をせずとも、学習済みの電子計算機に観察対象の鋼材から光学顕微鏡画像を取り込んで照会すれば、介在物種を判別でき、熟練者とほぼ同等の精度で速やかに判別結果を得ることができる。そして、複数の試験片について所望の介在物種についての最大介在物径√ａｒｅａを求めれば、それらの値をもとに極値統計法を用いて、最大介在物径√ａｒｅａmaxの予測することができるので、極めて効率よく精度よい予測が可能となる。
Claims (10)
- 判別対象の非金属介在物を含む鋼材の光学顕微鏡画像データと、当該光学顕微鏡画像データに対応する判別対象の非金属介在物の画像領域を介在物種別毎に異なる色で塗り分けた着色画像データと、からなるデータ対を複数対備えた一群の学習データセットに基づいて得られた教師データを用いて、電子計算機に機械学習させることで学習済みモデルを生成し、
入力され、照会された鋼材の光学顕微鏡画像に関する特徴量を当該学習済みモデルに基づいて電子計算機によって抽出する工程と、
当該学習済みモデルに基づいて介在物の種類を判別する工程と、
判別結果に基づいて介在物系毎に塗り分けた着色済画像データを取得する工程と、
を順に含む、非金属介在物を含む画像に対して電子計算機が介在物系毎の画像領域を機械学習により自動で分割識別する介在物系の判別方法であって
該学習済みモデルの生成に用いる光学顕微鏡画像データは、グレースケール画像であって、
当該光学顕微鏡画像を３チャンネルのＲＧＢカラー画像に変換した疑似カラー変換画像とした後、データ対の着色画像データとともに機械学習に供することで学習済みモデルを生成したものであることを特徴とする、非金属介在物を含む画像に対して電子計算機が介在物系毎の画像領域を機械学習により自動で分割識別する介在物系の判別方法。 - 判別対象の非金属介在物を含む鋼材の光学顕微鏡画像データと、当該光学顕微鏡画像データに対応する判別対象の非金属介在物の画像領域を介在物種別毎に異なる色で塗り分けた着色画像データと、からなるデータ対を複数対備えた一群の学習データセットに基づいて得られた教師データを用いて、電子計算機に機械学習させることで学習済みモデルを生成し、
入力され、照会された鋼材の光学顕微鏡画像に関する特徴量を当該学習済みモデルに基づいて電子計算機によって抽出する工程と、
当該学習済みモデルに基づいて介在物の種類を判別する工程と、
判別結果に基づいて介在物系毎に塗り分けた着色済画像データを取得する工程と、
を順に含む、非金属介在物を含む画像に対して電子計算機が介在物系毎の画像領域を機械学習により自動で分割識別する介在物系の判別方法であって
該学習済みモデルの生成に用いる教師データのデータ対に用いる介在物種別毎に異なる色で塗り分けた着色画像データは、色反転処理された画像に基づいて介在物種別毎に異なる色で塗り分けた着色画像データであることを特徴とする、非金属介在物を含む画像に対して電子計算機が介在物系毎の画像領域を機械学習により自動で分割識別する介在物系の判別方法。 - 教師データには、学習データセットのデータ対を元にしてデータ拡張により生成されたデータ対を含むこと、を特徴とする請求項１又は２に記載の介在物系の判別方法。
- 教師データのデータ対に用いる介在物種別毎に異なる色で塗り分けた着色画像データは、色反転処理された画像に基づいて介在物種別毎に異なる色で塗り分けた着色画像データであることを特徴とする、請求項１に記載の介在物系の判別方法。
- 学習済みモデルは、全層畳み込みニューラルネットワークのＵ－Ｎｅｔを用いて機械学習させることで生成されるものであることを特徴とする請求項１又は２に記載の介在物系の判別方法。
- 学習済みモデルは、損失関数に重み付き交差エントロピー誤差を使用して判別対象とする種類の介在物の重みが大きくなるように調整して機械学習させることで生成されるものであることを特徴とする請求項１又は２に記載の介在物系の判別方法。
- 判別結果に基づいて介在物系毎に塗り分けた着色済画像に基づき、評価対象とする介在物系の長径と短径を計測して介在物の大きさを算出する工程を含むことを特徴とする請求項１又は２に記載の介在物系の判別方法。
- 判別結果に基づいて介在物系毎に塗り分けた着色済画像に基づき、評価対象とする介在物系の長径と短径を計測して介在物の大きさを算出し、観察面積の鋼材中の最大介在物を選別して最大介在物の大きさ√ａｒｅａを出力する工程を含むことを特徴とする、請求項１又は２に記載の介在物系の判別方法。
- 所定の観察面積を有する複数の試験片の各々に対して最大介在物の大きさ√ａｒｅａの算出を行い、得られた複数の最大介在物の大きさデータに基づいて極値統計法を利用して評価鋼材の所定の予測面積における介在物予測径（√ａｒｅａmax）を算出する工程を含むこと、を特徴とする請求項８に記載の介在物系の判別方法。
- 請求項１、２、４のいずれか1項に記載の介在物系の判別方法を備えた介在物判別システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022157152 | 2022-09-29 | ||
| JP2022157152 | 2022-09-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2024050421A JP2024050421A (ja) | 2024-04-10 |
| JP7473765B2 true JP7473765B2 (ja) | 2024-04-24 |
Family
ID=90622039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023128161A Active JP7473765B2 (ja) | 2022-09-29 | 2023-08-04 | 非金属介在物の自動領域識別方法およびそれを組み込んだ介在物判別システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7473765B2 (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014005520A (ja) | 2012-06-27 | 2014-01-16 | Nippon Steel & Sumitomo Metal | 浸炭軸受鋼鋼材の溶製方法 |
| JP2015138018A (ja) | 2014-01-24 | 2015-07-30 | 日本精工株式会社 | 転がり支持装置や動力伝達装置用構成部品の使用限界応力推定方法、及び該構成部品の疲れ寿命予測方法 |
| JP2020140466A (ja) | 2019-02-28 | 2020-09-03 | 富士通株式会社 | 訓練データ拡張装置、方法、及びプログラム |
| JP2021092887A (ja) | 2019-12-09 | 2021-06-17 | コニカミノルタ株式会社 | 外観検査装置、外観検査システム、特徴量推定装置および外観検査プログラム |
| JP7036485B1 (ja) | 2021-10-18 | 2022-03-15 | 株式会社Anamorphosis Networks | 欠陥検出方法、欠陥検出システム、及び、欠陥検出プログラム |
| JP2022524878A (ja) | 2019-03-28 | 2022-05-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 画像解析方法、装置、プログラム |
| CN114694144A (zh) | 2022-06-01 | 2022-07-01 | 南京航空航天大学 | 一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法 |
-
2023
- 2023-08-04 JP JP2023128161A patent/JP7473765B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014005520A (ja) | 2012-06-27 | 2014-01-16 | Nippon Steel & Sumitomo Metal | 浸炭軸受鋼鋼材の溶製方法 |
| JP2015138018A (ja) | 2014-01-24 | 2015-07-30 | 日本精工株式会社 | 転がり支持装置や動力伝達装置用構成部品の使用限界応力推定方法、及び該構成部品の疲れ寿命予測方法 |
| JP2020140466A (ja) | 2019-02-28 | 2020-09-03 | 富士通株式会社 | 訓練データ拡張装置、方法、及びプログラム |
| JP2022524878A (ja) | 2019-03-28 | 2022-05-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 画像解析方法、装置、プログラム |
| JP2021092887A (ja) | 2019-12-09 | 2021-06-17 | コニカミノルタ株式会社 | 外観検査装置、外観検査システム、特徴量推定装置および外観検査プログラム |
| JP7036485B1 (ja) | 2021-10-18 | 2022-03-15 | 株式会社Anamorphosis Networks | 欠陥検出方法、欠陥検出システム、及び、欠陥検出プログラム |
| CN114694144A (zh) | 2022-06-01 | 2022-07-01 | 南京航空航天大学 | 一种基于深度学习的钢中非金属夹杂物的智能识别和评级方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024050421A (ja) | 2024-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11842556B2 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
| CN114549522B (zh) | 基于目标检测的纺织品质量检测方法 | |
| CN109903284B (zh) | 一种her2免疫组化图像自动判别方法及*** | |
| CN107665492B (zh) | 基于深度网络的结直肠全景数字病理图像组织分割方法 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及*** | |
| KR20080016847A (ko) | 크로모겐 분리에 기초한 영상 분석 방법 | |
| EP3140778B1 (en) | Method and apparatus for image scoring and analysis | |
| CN113554629A (zh) | 基于人工智能的带钢红锈缺陷检测方法 | |
| CN111242185A (zh) | 一种基于深度学习的缺陷快速初筛方法及*** | |
| CN115578374A (zh) | 一种机械零件铸造质量评估方法与*** | |
| CN111079620A (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
| CN114897781B (zh) | 基于改进R-UNet深度学习的透水混凝土孔隙自动识别方法 | |
| CN113706434B (zh) | 基于深度学习对胸部增强ct图像的后处理方法 | |
| CN115841447A (zh) | 一种磁瓦表面缺陷的检测方法 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及***、电子设备和存储介质 | |
| CN115038965A (zh) | 金相组织的相的分类方法、金相组织的相的分类装置、金相组织的相的学习方法、金相组织的相的学习装置、金属材料的材料特性预测方法和金属材料的材料特性预测装置 | |
| CN113450305A (zh) | 医疗图像的处理方法、***、设备及可读存储介质 | |
| JP7473765B2 (ja) | 非金属介在物の自動領域識別方法およびそれを組み込んだ介在物判別システム | |
| CN106127738B (zh) | 凝集试验判读方法 | |
| CN116797602A (zh) | 一种用于工业产品检测的表面缺陷鉴定方法和装置 | |
| CN114913092A (zh) | 一种在线铁谱反射光图像增强方法及*** | |
| JP2001305067A (ja) | 材料の寿命評価方法 | |
| CN113177499A (zh) | 基于计算机视觉的舌裂纹形状识别方法及识别*** | |
| CN117474915B (zh) | 一种异常检测方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20230822 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230825 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230825 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230906 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240313 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240318 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7473765 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |