JP2020019087A - 研削工具砥面評価装置とその学習器、評価プログラムおよび評価方法 - Google Patents

研削工具砥面評価装置とその学習器、評価プログラムおよび評価方法 Download PDF

Info

Publication number
JP2020019087A
JP2020019087A JP2018143709A JP2018143709A JP2020019087A JP 2020019087 A JP2020019087 A JP 2020019087A JP 2018143709 A JP2018143709 A JP 2018143709A JP 2018143709 A JP2018143709 A JP 2018143709A JP 2020019087 A JP2020019087 A JP 2020019087A
Authority
JP
Japan
Prior art keywords
grinding
grinding tool
image
evaluation
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018143709A
Other languages
English (en)
Other versions
JP6660636B2 (ja
Inventor
彰浩 坂口
Akihiro Sakaguchi
彰浩 坂口
川下 智幸
Tomoyuki Kawashita
智幸 川下
修二 松尾
Shuji Matsuo
修二 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of National Colleges of Technologies Japan
Original Assignee
Institute of National Colleges of Technologies Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of National Colleges of Technologies Japan filed Critical Institute of National Colleges of Technologies Japan
Priority to JP2018143709A priority Critical patent/JP6660636B2/ja
Publication of JP2020019087A publication Critical patent/JP2020019087A/ja
Application granted granted Critical
Publication of JP6660636B2 publication Critical patent/JP6660636B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)
  • Grinding-Machine Dressing And Accessory Apparatuses (AREA)
  • Polishing Bodies And Polishing Tools (AREA)
  • Image Analysis (AREA)
  • Machine Tool Sensing Apparatuses (AREA)

Abstract

【課題】研削工具作業面の表面性状を効率良く高精度に評価することを可能にする。【解決手段】学習フェーズにおいて、研削工具の加工前の砥面画像データを取得して記憶すると共に、上記研削工具の加工に使用した後の砥面の画像データを取得してこの画像データから目詰まりや目毀れ等の劣化部位を検出し、この劣化部位と位置が対応する加工前の画像を上記記憶された加工前の画像データから抽出する。そして、この抽出された加工前の画像と、当該画像に含まれる個々の砥粒の特徴量およびその分布状態を示す特徴量を、研削性能低下要因を表す情報としてCNNに入力し、かつ上記研削性能低下要因を表す情報に対する評価結果を表す情報を教師データとして上記CNNに与え、これによりCNNを学習させて砥面評価用のCNNを生成する。【選択図】図3

Description

この発明の一態様は、研削工具の砥面を評価する装置と、この装置で使用される学習器、評価プログラムおよび評価方法に関する。
研削加工では、砥石の研削工具作業面(砥面とも言う)の状態によって工作物の加工面の仕上げ品質が左右される。砥面の状態は、主として切れ刃として機能する砥粒の表面部分の形状や大きさ、砥粒の突出量によって決まる。そのため、研削工具の砥面に散設された個々の砥粒の固着座標や面積、形状等を計測し評価する技術が種々研究されている。
例えば、サーボ制御により産業用カメラの位置を管理しながら研削工具作業面の三次元画像を取得し、取得した三次元画像に対して画像処理を施すことで、研削に関与する砥粒の個数や形状などを数値的に計測する技術が提案されている。
この技術を用いると、例えば、平均粒径が100μmのダイヤモンド砥粒が固着された幅10mm、直径250mmの研削工具表面を計測した場合、工具作業面の全領域に約7万個の砥粒が固着され、またその個々の砥粒の形状等の解析結果をCSVデータとして出力することができる。また、研削工具を計測装置にセットしてから計測処理が終了するまでに要する時間は、5分程度である。
しかしながら、研削工具の砥面に散設された砥粒により工作物を微少量ずつ削り取る研削加工では、砥粒の分布状態が工作物の研削面に転写されるかたちで工作物が所望の形状に仕上げられる。このため、実際の研削加工において高精度の加工を行うには、個々の砥粒の状態よりも、研削工具作業面の砥粒の分布状態(以下、表面性状と呼ぶ)を適切に管理することが重要である。
そこで、従来では例えば電子顕微鏡やレーザを用いて研削工具作業面の表面性状を評価する手法が提案されている(例えば非特許文献1、2または3を参照)。
坂本、佐々木、小林、清水、「機上計測した砥石作業面プロファイルに基づく比研削抵抗の同定」、2013年度精密工学学会春季大会学術講演会講演論文集、pp. 539-540 垣野、松原、山路、松田、中川、廣垣、喜田、「砥石作業面トポグラフィのオン・ザ・マシン計測に関する研究(第1報)」、精密工学会誌、vol.63, No.2, pp. 228-232 (1997) 庄司、周、「ダイヤモンド砥石のツルーイング及びドレッシングに関する研究(第2報)」、精密工学会誌、Vol.55, No.12, pp. 2267-2272 (1989)
ところが、電子顕微鏡を使用する手法では、研削工具作業面の表面性状を鮮明に観察できるが、1回の観察範囲が非常に狭いため研削工具作業面全面の表面性状を観察するには長い時間を要する。また、レーザを用いた手法は、研削工具作業面の表面性状を比較的容易かつ精度よく計測することができるが、計測により取得できる情報は研削工具作業面の凹凸プロファイルであるため、砥粒と当該砥粒が固着された基材表面との凹凸の区別が困難である。また、計測精度を高めようとするとレーザのスポット径を小さくする必要があるため一度の評価で幅1mm程度しか計測できず、評価に長い時間を要する。
この発明は上記事情に着目してなされたもので、研削工具作業面の表面性状を効率良く高精度に評価することを可能にする技術を提供しようとするものである。
上記課題を解決するためにこの発明に係る研削工具砥面評価装置の第1の態様は、研削工具を予め定められた方向へ移動させながら、前記研削工具の複数の砥粒が分散された状態で結合剤により固着された砥面を撮像して得られる画像データを取得する画像取得部と、前記画像取得部により、前記研削工具の加工開始前に取得された画像データを記憶媒体に記憶させる記憶制御部と、前記画像取得部により前記研削工具の加工開始後に取得された画像データから前記研削工具の前記砥面における劣化部位を表す情報を検出する検出部と、前記記憶媒体に記憶された加工開始前の画像データから前記劣化部位と位置が対応する加工前の部位の画像を研削性能低下要因を表す情報として抽出する抽出部とを備えるものである。
この発明に係る研削工具砥面評価装置の第2の態様は、前記検出部において、前記研削工具の加工開始後に取得された画像データから、前記砥面における砥粒の目詰まり、砥粒の目毀れ、結合剤からの砥粒の突出量が閾値以下となる上滑り発生部位の少なくとも一つを表す画像を、前記劣化部位を表す情報として検出するものである。
第1および第2の態様によれば、例えば、研削加工開始後に撮像された砥面の画像データから砥面における砥粒の目詰まりや砥粒の目毀れ、上滑り発生部位等の劣化部位が検出され、この劣化部位と位置が対応する加工前の画像が研削性能低下要因を表す情報として抽出される。従って、砥粒の目詰まりや目毀れ、上滑り発生部位等の研削性能の低下を引き起こす要因を、個々の砥粒の状態だけでなく、砥粒の分布状態を反映したものとして検出することが可能となる。
この発明に係る研削工具砥面評価装置の第3の態様は、前記抽出部において、前記研削性能低下要因を表す情報として抽出された、前記劣化部位と位置が対応する加工前の部位の画像から当該画像に含まれる砥粒の前記研削工具の移動方向が反映された特徴量を算出し、算出された前記特徴量を前記研削性能低下要因を表す情報に含めるようにしたものである。
第3の態様によれば、研削性能低下要因となる砥粒の研削工具の移動方向が反映された特徴量が算出され、この特徴量が上記研削性能低下要因を表す情報に追加される。このため、研削性能低下要因となる砥粒の分布状態を、画像だけでなくその特徴量によっても表すことができ、これにより研削性能低下要因をさらに精度良く表すことが可能となる。
この発明に係る研削工具砥面評価装置の第4の態様は、学習器に、前記研削性能低下要因を表す情報を学習データとしかつ前記砥面の劣化部位を表す情報を教師データとして与えることで前記学習器を学習させる学習器生成部を、さらに具備するものである。
第4の態様によれば、前記研削性能低下要因を表す情報を学習データ(説明変数)としかつ前記砥面の劣化部位の状態を表す情報を教師データ(目的変数)として学習器で学習処理が行われる。このため、研削性能低下要因を表す情報を入力すると、砥面の劣化部位の状態を表す情報を出力する学習器を生成することができる。
上記学習器生成部として、この発明では例えば以下の第5、第6及び第7の態様が考えられる。
第5の態様は、前記学習器に、前記砥面の劣化部位と位置が対応する加工前の部位を含む画像および当該画像に含まれる砥粒の前記特徴量を前記学習データとして与え、かつ前記劣化部位を表す画像を前記教師データとして与えることにより、前記学習器を学習させるものである。
第5の態様によれば、砥面の劣化部位と位置が対応する加工前の部位を含む画像および当該画像に含まれる砥粒の特徴量を入力すると、上記加工前の部位が劣化した状態を示す画像を出力する学習器を生成することができる。
第6の態様は、前記学習器に、前記劣化部位と位置が対応する加工前の部位を含む画像および当該画像に含まれる砥粒の前記特徴量を前記学習データとして与え、かつ前記劣化部位と位置が対応する加工前の部位を表す画像を前記教師データとして与えることにより、前記学習器を学習させるものである。
第6の態様によれば、砥面の劣化部位と位置が対応する加工前の部位を含む画像および当該画像に含まれる砥粒の特徴量を入力すると、上記劣化部位と位置が対応する加工前の部位を表す画像を出力する学習器を生成することができる。
第7の態様は、前記学習器に、前記劣化部位と位置が対応する加工前の部位を含む画像および当該画像に含まれる砥粒の前記特徴量を前記学習データとして与え、かつ前記劣化部位と位置が対応する加工前の部位が研削性能低下要因となる度合いを示す数値データを前記教師データとして与えることにより、前記学習器を学習させるものである。
第7の態様によれば、劣化部位と位置が対応する加工前の部位を含む画像および当該画像に含まれる砥粒の前記特徴量を前記学習データとして入力すると、前記加工前の部位が研削性能低下要因となる度合いを示す数値データを出力する学習器を生成することができる。
この発明に係る研削工具砥面評価装置の第8の態様は、前記研削工具の加工開始前または加工開始後において前記画像取得部により取得された画像データを前記学習器に入力し、このとき当該学習器から出力される前記砥面の劣化部位を表す情報を、前記研削工具の砥面の評価結果を表す情報として出力する評価部を、さらに具備するものである。
第8の態様によれば、研削工具の加工開始前または加工開始後において取得された画像データを前記学習器に入力するだけで、当該学習器から前記砥面の劣化部位を表す情報が前記研削工具の砥面の評価結果を表す情報として出力される。すなわち、学習器を使用することで、加工開始前または加工開始後において砥面の研削性能低下要因となる表面性状を、短時間にかつ精度良く事前に評価することが可能となる。このため、評価担当者は、上記出力された評価結果をもとに上記研削工具の出荷前又は使用開始後の品質管理を行うことが可能となる。
この発明に係る研削工具砥面評価装置の第9の態様は、前記評価部において、前記学習器から出力される前記砥面の劣化部位を表す情報をもとに、当該劣化部位の、前記研削工具の砥面の全領域における前記研削工具の移動方向の分布状態を表す可視化画像を生成して出力するようにしたものである。
第9の態様によれば、研削性能の低下要因となることが予想される部位の砥面全領域における移動方向の分布状態を表す可視化画像が生成され出力される。このため、研削工具の製造管理者又は研削工具の使用管理者は、研削工具ごとにその砥面の研削性能低下要因となる部位の分布状態を、砥面の全領域に渡りかつ研削工具の移動方向に沿って容易にかつ短時間に把握することが可能となる。
この発明に係る研削工具砥面評価装置の第10の態様は、前記評価部において、前記学習器から出力される前記砥面の劣化部位を表す情報をもとに、前記研削工具のドレッシングの時期を推定し、その推定結果を表す情報を出力するようにしたものである。
第10の態様によれば、評価部から研削工具のドレッシングの時期の推定情報が出力される。このため、例えば、研削工具の製造管理者又は研削工具の使用管理者は、上記推定情報をもとに研削工具の出荷検定を行ったり、研削工具のドレッシング時期を管理することが可能となる。
すなわちこの発明の各態様によれば、研削工具作業面の表面性状を効率良く高精度に評価することを可能にする技術を提供することができる。
図1は、この発明の一実施形態に係る研削工具砥面評価装置を使用した検査システムの全体構成を示すブロック図である。 図2は、この発明を適用可能な研削工具の一例であるリング型砥石とカメラとの関係の一例を示す図である。 図3は、この発明の一実施形態に係る研削工具砥面評価装置の機能構成を示すブロック図である。 図4は、図3に示した研削工具砥面評価装置において学習器を学習させるために実行される学習フェーズの手順と内容を示すフローチャートである。 図5は、図4に示した学習フェーズのうち画像データ取得ルーチンの手順と内容を示すフローチャートである。 図6は、図4に示した学習フェーズのうち学習器生成ルーチンの手順と内容を示すフローチャートである。 図7は、図3に示した研削工具砥面評価装置において学習器を用いて研削工具を評価する評価フェーズの手順と内容を示すフローチャートである。 図8は、図7に示した評価フェーズのうち評価ルーチンの手順と内容を示すフローチャートである。 図9は、図4に示した学習フェーズにおける劣化部位検出処理を説明するための画像データ例を示す図である。 図10は、学習器の構成の一例を示す図である。 図11は、図3に示した特徴量算出部により行われる画像処理の一例を示す図である。 図12は、図3に示した特徴量算出部により得られる特徴量算出データの一例を示す図である。 図13は、図3に示した学習器生成部による学習器生成処理の一例を示す図である。 図14は、図3に示した研削性能低下要因評価部による、学習済の学習器を用いた評価処理の一例を示す図である。 図15は、図3に示した研削性能低下要因評価部により生成される、砥面全周における研削性能低下要因の可視化画像の一例を示す図である。 図16は、この発明を適用可能な研削工具の他の例であるダイヤモンドワイヤの砥面画像の一例を示す図である。 図17は、この発明を適用可能な研削工具の別の例であるカップ型砥石とカメラとの関係の一例を示す図である。 図18は、この発明の一実施形態による一効果を具体的に説明するための図である。 図19は、この発明の一実施形態によるその他の効果を具体的に説明するための図である。 図20は、この発明の一実施形態によるその他の効果を具体的に説明するための図である。
以下、図面を参照してこの発明に係わる実施形態を説明する。
[一実施形態]
(構成例)
(1)システム
図1は、この発明の一実施形態に係る研削工具砥面評価装置を備えた検査システムの全体構成を示す図である。
図1において1Aは研削工具を示す。研削工具1Aは、例えば図2に示すようにリング状をなす円盤型砥石からなり、基材の面上に例えばダイヤモンドからなる多数の砥粒12,12,…を結合剤11により固着させてこれを砥面としたものである。各砥粒12,12,…の頂部は平坦面を形成するように加工されている。
研削工具1Aは、回転機構2の回転軸に装着される。回転機構2には、例えばサーボモータを使用したθ軸駆動部21が接続されている。θ軸駆動部21は、後述する研削工具砥面評価装置8の制御の下で、上記研削工具1Aを回転機構2を介して所定の角度間隔でステップ的に回転させる。その回転方向は、実際に加工を行うときの研削工具1Aの回転方向と同一方向に設定される。
上記回転機構2の側部にはXYテーブル3,4が設置されている。XYテーブル3,4上には支柱5が立設されており、この支柱5にはアーム6を介してカメラ7が下向きに取付けられている。XYテーブル3,4はX軸駆動部22及びY軸駆動部23を有している。これらのX軸駆動部22及びY軸駆動部23は研削工具砥面評価装置8の制御の下で駆動され、上記カメラ7を図2に示すXY方向、つまり水平方向にステップ的に移動させる。
また、上記アーム6は、Z軸駆動部24により支柱5に対し図2に示すZ方向、つまり垂直方向にステップ的に移動可能に構成されており、これにより研削工具1Aの砥面に対するカメラ7の焦点位置を可変できるようになっている。上記Z軸駆動部24も先に述べたX軸駆動部22及びY軸駆動部23と同様に研削工具砥面評価装置8の制御の下で駆動制御される。
カメラ7は、例えば高倍率の金属顕微鏡にディジタルラインカメラを装着したもので、研削工具砥面評価装置8からの駆動指示に従い研削工具1Aの砥面を所定の倍率で撮像し、その撮像画像データを研削工具砥面評価装置8へ出力する。なお、上記撮像のために研削工具1Aの上方位置には照明器(図示省略)が配置され、研削工具1Aの砥面を照明する。
(2)装置
ところで、研削工具砥面評価装置8は例えばパーソナル・コンピュータからなり、以下のように構成される。図3はその機能構成を示すブロック図である。
すなわち、研削工具砥面評価装置8は、制御ユニット81と、記憶ユニット82と、入出力インタフェースユニット83とを備えている。入出力インタフェースユニット83は、先に述べたXYZθ各軸の駆動部21〜24及びカメラ7との間で制御信号や画像データの入出力処理を行うと共に、入力デバイス25及び表示デバイス26との間で入力データ及び表示データの入出力処理を行う。
記憶ユニット82は、記憶媒体として例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等の随時書込み読出しが可能な不揮発性メモリを用いたものである。記憶ユニット82には、プログラム記憶領域と、一実施形態を実施するために必要な記憶領域として、画像データ記憶部821と、劣化情報記憶部822と、低下要因情報記憶部823と、教師データ記憶部824と、学習済データ記憶部825と、評価データ記憶部826が設けられている。
制御ユニット81は中央処理ユニット(Central Processing Unit;CPU)を有し、一実施形態を実施する上で必要な制御機能として、位置座標制御部811と、画像データ取得部812と、劣化部位検出部813と、研削性能低下要因抽出部814と、特徴量算出部815と、教師データ生成部816と、学習器生成部817と、研削性能低下要因評価部818と、評価データ出力部819とを備えている。これらの機能部811〜819は、いずれも記憶ユニット82内のプログラム記憶領域に格納されたプログラムを上記CPUに実行させることにより実現される。
位置座標制御部811は、研削工具1の砥面をカメラ7で撮像する際に、研削工具1Aの砥面の撮像対象領域を所定の画素数単位でステップ的に移動設定するためのXYθ座標を生成してXYθ駆動部21,22,23へ出力する。またそれと共に位置座標制御部811は、砥面に対するカメラ7のZ方向における焦点距離をステップ的に可変設定するためのZ座標を生成して駆動部24へ出力する。
画像データ取得部812は、上記位置座標制御部811と同期して、撮像対象領域がステップ的に移動設定されるごとにカメラ7に対し撮像制御信号を出力し、カメラ7により撮像された砥面の画像データを取り込んで上記画像データ記憶部821に記憶させる処理を行う。また画像データ取得部812は、上記位置座標制御部811により生成されたXYZθ座標を、上記画像データと関連付けて画像データ記憶部821に記憶させる。画像データ取得部812は、上記画像データの取得及び記憶処理を、加工に使用する前の研削工具1Aおよび当該研削工具1Aを加工に使用した後の研削工具1Aに対しそれぞれ行う。
劣化部位検出部813は、加工に使用した後の研削工具1Aの画像データ(加工後の画像データ)を上記画像データ記憶部821から読み出し、当該加工後の画像データに対し画像処理を行って、砥面の劣化部位を検出する。劣化部位には、例えば、砥粒間に切り屑が詰まる目詰まりと、砥粒12が基材の結合剤11から剥がれ落ちる目毀れが含まれるが、これに限定されるものではない。例えば、砥粒12の突出高さが結合剤11の表面とほぼ同じ高さになって加工時に加工物表面が結合剤11上を滑る、いわゆる上滑り現象を起こす部位を、劣化部位として検出するようにしてもよい。
特徴量算出部815は、上記画像データ記憶部821に記憶された加工前及び加工後の各画像データに対しそれぞれ所定の画像処理を行うことで、各砥粒とその分布状態を表す特徴量を算出する。
研削性能低下要因抽出部814は、上記検出された砥面の劣化部位と位置座標が同一の加工前の画像を画像データ記憶部821から読み出す。そして、この加工前の画像データとその位置座標を研削性能低下要因を表す情報として、低下要因情報記憶部823に記憶させる。また研削性能低下要因抽出部814は、上記特徴量算出部815により算出された研削工具1Aの砥面全領域における砥粒および砥粒間の特徴量から、上記研削性能低下要因として抽出された加工前の画像と対応する特徴量を選択し、選択された上記特徴量を研削性能低下要因を表す情報に含める。
教師データ生成部816は、上記研削性能低下要因を表す情報を学習データとするとき、この研削性能低下要因を表す情報と対をなす砥面の劣化部位の状態を表す情報を生成し、当該砥面の劣化部位の状態を表す情報を教師データとして教師データ記憶部824に記憶させる。砥面の劣化部位の状態を表す情報としては、例えば、目詰まり、目毀れ或いは上滑り現象が発生した状態を表す画像、目詰まり、目毀れ或いは上滑り現象が発生する部位を表す画像、または目詰まり、目毀れ或いは上滑り現象が発生する度合い(例えば発生の有無や確率)を表す情報が考えられる。
学習器生成部817は、学習器として畳込みニューラルネットワーク(Convolutional Neural Network:CNN)を用いる。CNNは、例えば図10に示すように、中間層に複数の畳込み層C1,C2とプーリング層P1,P2とを交互に配置し、その後段に全結合層Kおよび出力層Oを配置したものである。そして学習器生成部817は、学習フェーズにおいて、上記CNNに、上記低下要因情報記憶部823に記憶された各研削性能低下要因を表す情報を学習データ(説明変数)として与え、かつ上記教師データ記憶部824に記憶された、上記各研削性能低下要因を表す情報と対をなす砥面の劣化部位の状態を表す情報を教師データ(目的変数)として与えることで、CNNを学習させる。そして、学習が終了したCNNを学習済の学習器または学習済モデルとして学習済データ記憶部825に記憶させる。
研削性能低下要因評価部818は、評価フェーズにおいて、出荷前の研削工具、或いは加工に使用中または使用後の研削工具1Aの砥面の画像データと、当該画像データに含まれる砥粒またはその分布状態を示す特徴量を、上記学習済学習器(学習済CNN)に入力する。研削性能低下要因評価部818は、上記入力に対し学習済CNNから出力される砥面の劣化部位の状態を表す情報を、その位置座標と共に、研削性能低下要因の評価データとして評価データ記憶部826に記憶させる。
評価データ出力部819は、上記評価データ記憶部826から研削性能低下要因の評価データを読み出す。そして、研削性能低下要因の評価データを可視化するための表示データを生成し、表示デバイス26へ出力し表示させる。
(動作例)
次に、以上のように構成された研削工具砥面評価装置8の動作を、図4乃至図8に示すフローチャートに従って説明する。
(1)学習フェーズ
先ず図4を用いて学習フェーズの処理手順と処理内容について説明する。
(1−1)学習用パラメータの初期設定
研削工具砥面評価装置8において、制御ユニット81は先ず管理者が入力デバイス25を操作して入力した学習用パラメータを入出力インタフェースユニット83を介して取り込み、この学習用パラメータを例えば学習済データ記憶部825に格納する。学習用パラメータには、学習器の構成、学習器の各層を構成する複数のニューロン間の結合重みの初期値、および各ニューロンの閾値の初期値が含まれる。上記学習パラメータはテンプレートデータにより与えることもできる。
また制御ユニット81は、管理者が入力デバイス25により入力した、研削工具1の砥面をカメラ7により撮像する際の1回の撮像領域のサイズと、撮像領域を移動させるときのステップ幅を指定するデータを入出力インタフェースユニット83を介して受け取り、制御ユニット81内の制御メモリ(図示省略)に格納する。
(1−2)研削工具1Aの加工前における砥面の画像データの取得
先ず管理者は、加工に使用する前の研削工具1Aを回転機構2に装着する。そして、入力デバイス25により画像取得開始指示を入力する。そうすると、制御ユニット81は、先ず位置座標制御部811および画像データ取得部812の制御の下、ステップS10において、上記研削工具1Aの加工前の砥面の画像データを取得する処理を以下のように実行する。
すなわち、位置座標制御部811は、先ずステップS101により上記研削工具1Aの砥面に対する撮像領域の初期位置座標を設定する。そしてステップS102において、XYZθ座標を可変することで上記砥面に対する撮像領域の位置を事前に設定されたステップ幅でステップ的に移動させる。このうちθについては、θ軸駆動部21により回転機構2を動作させることで、研削工具1Aを加工に使用するときと同一の方向に回転させることにより変化させる。またXYZのうち、XYについてはX軸駆動部22およびY軸駆動部23によりXYテーブル3,4を水平方向に移動させることにより、さらにZについてはZ軸駆動部24によりカメラ7を垂直方向に移動させることにより変化させる。
画像データ取得部812は、上記撮像領域の位置の移動制御に同期して、ステップS103においてカメラ7を動作させ、カメラ7により撮像された上記砥面の撮像領域の画像データを入出力インタフェースユニット83を介して取得する。そして、取得された画像データを、上記位置座標制御部811により設定された撮像領域のXYZθ座標と関連付けて、画像データ記憶部821に記憶させる。画像データ取得部812は、ステップS105において、研削工具1Aの回転方向に沿って砥面の全領域に渡る画像データの取得が終了したことを検出するまで、上記ステップS102〜ステップS104による画像データの取得処理を繰り返す。
かくして、画像データ記憶部821には、加工に使用する前の研削工具1Aの、砥面の全領域における画像データが研削工具1Aの回転方向の順に撮像位置のXYZθ座標と共に記憶される。
(1−3)研削工具1Aの加工後における砥面の画像データの取得
次に管理者は、加工前画像を取得した上記研削工具1Aを実際の加工に使用した後、当該研削工具1Aを回転機構2に装着する。そして、入力デバイス25により画像取得開始指示を入力する。
そうすると、制御ユニット81は、位置座標制御部811および画像データ取得部812の制御の下、ステップS11において、XYZθの位置を上記加工前の砥面の画像データを取得するときと同様に変化させながら、上記研削工具1Aの加工後の砥面の撮像画像データを取得する処理を実行する。この加工後の砥面の画像データの取得処理も、先に述べた加工前の砥面の画像データの取得処理と同様に、図5のフローチャートに従い実行される。
かくして、画像データ記憶部821には、研削工具1Aの加工後の砥面の全領域における画像データが、研削工具1Aの回転方向の順に撮像位置のXYZθ座標と共に記憶される。
(1−4)砥面の劣化部位の検出
次に制御ユニット81は、劣化部位検出部813の制御の下、ステップS12において、上記画像データ記憶部821から加工後の砥面の画像データを撮像領域ごとに読み出し、この画像データに対し所定の画像処理を行って、砥粒12,12間に切り屑が詰まる目詰まりと、基材の結合剤11から砥粒12が剥がれ落ちる目毀れと、結合剤11が加工物の表面を滑る上滑り現象の発生部位を検出する。
目詰まりは、例えばアルミニウムや銅等の比較的柔らかい材料を研削した場合に発生し易く、目詰まりした切り屑の表面は砥粒12の最上面部とほぼ同じ高さの平坦面となり、かつ砥粒12,12間に跨がってこびり付いた状態になることが多いため平坦面の面積が砥粒12の最上面部の面積より大きくなる。
そこで、画像処理では、二値化処理等を用いて砥粒12の最上面部に相当する画像を検出し、これにより検出された多数の画像の中から面積が閾値以上となる画像を検出し、これを目詰まりが発生した部位の画像と見なす。図9(a)は目詰まりの検出画像の一例を示すものである。なお、図9(b)は目詰まりが発生する前の砥粒の検出画像を示している。
一方、目毀れは、硬度の高い材料を検索した場合に発生し易く、砥粒12が脱落したことで結合剤の表面に穴が空いた状態となる。そのため、穴の底面は砥粒12の最上面部はもとより結合剤表面の位置よりも低くなり、砥粒12の最上面部に焦点を合わせて撮像した画像では焦点が合わずぼけた画像となる。
そこで、目毀れを検出する場合は、撮像された画像から焦点が合っている領域を抽出して、その領域以外を砥粒の脱落痕の候補として抽出する。このとき、抽出される候補の中には結合剤の凹凸部も含まれる。しかし、結合剤の凹凸部の面積は砥粒12の脱落痕の面積に比べて小さく、かつ凹凸部間の距離が近いことから、上記面積または距離を閾値により判定することで、砥粒12の脱落痕を検出することが可能となる。
また、上滑り発生部位は、砥粒12,12の最上面と結合剤11の表面がほぼ同一平面となるので、例えば、砥粒12,12の最上面に焦点距離を合わせた状態で撮像された画像から、結合剤11の表面が明瞭に検出される領域の面積を検出し、当該結合剤11の面積が閾値以上の場合に、当該部位を上滑り発生部位とみなすことにより検出可能である。
そして劣化部位検出部813は、以上のように検出された目詰まり、目毀れおよび上滑り発生部位の検出画像と、当該画像を検出した撮像領域の位置座標(XYZθ座標値)を、相互に関連付けた状態で劣化情報記憶部822に記憶させる。
(1−5)砥粒およびその分布状態の特徴量の算出
制御ユニット81は、特徴量算出部815の制御の下、ステップS13において、上記画像データ記憶部821から加工前の画像データを読み出し、この加工前の画像データに含まれる各砥粒12,12とその分布状態について特徴量を算出する処理を行う。
例えば、特徴量算出部815は、加工前の画像データに対し撮像領域ごとに二値化処理またはラベリング処理を行い、これにより各撮像領域の画像から砥粒12,12を検出する。図11(b),(c)は図11(a)に示した原画像をそれぞれ二値化処理およびラベリング処理して得られる二値化画像およびラベリング画像の一例を示すものである。
そして特徴量算出部815は、上記検出された砥粒12,12ごとに重心座標を求める。重心座標は、上記撮像領域に関連付けて記憶されているXYZθ座標を利用して算出することができる。また特徴量算出部815は、上記各砥粒12,12ごとにその面積や円形度を算出する。さらに特徴量算出部815は、上記各砥粒12,12の重心座標を用いて隣接する砥粒12,12間の距離を算出したり、上記各砥粒12,12の重心座標を用いて領域をボロノイ分割してその分割領域ごとの面積を求める。
特徴量算出部815は、以上のように算出された個々の砥粒12,12の各種特徴量と、砥粒12,12間の距離や分割領域の面積等の砥粒12,12の分布状態を表す特徴量を、制御ユニット81内のメモリに保存する。図12に特徴量の検出結果の一例を示す。
なお、以上述べた砥粒12,12の検出処理や、検出した砥粒12,12の重心座標等の解析パラメータを算出する処理の具体例については、本発明者が提案した例えば特許第5569883号公報に詳しく記載されている。また、ボロノイ図を用いた砥粒分布の解析方法については、例えば、川下,坂口,川口,松井,前田,松尾、「画像処理による砥石作業面トポグラフィの3次元計測に関する研究」第4報、ラインカメラによる高速画像取得とボロノイ図を用いた砥粒切れ刃分布の解析、砥粒加工学会誌,Vol.60, No.8, pp.442- 447 (2016) に詳しく記載されている。
(1−6)研削性能低下要因の抽出
次に制御ユニット81は、研削性能低下要因抽出部814の制御の下、ステップS14において、上記劣化情報記憶部822から劣化部位として検出された目詰まり、目毀れおよび上滑り発生部位が含まれる撮像領域の位置座標を読み出す。そして、画像データ記憶部821から、上記読み出された位置座標と同一の位置座標に紐づけられた加工前の撮像領域の画像を選択的に読み出す。そして、この加工前の撮像領域の画像を、研削性能低下要因を表す情報として低下要因情報記憶部823に記憶させる。
また研削性能低下要因抽出部814は、上記研削性能低下要因として選択された加工前の撮像領域の画像に含まれる各砥粒12,12の特徴量と、砥粒12,12の分布状態を表す特徴量を、砥粒12,12の重心座標をもとに上記特徴量算出部815のメモリから読み出し、上記研削性能低下要因を表す情報に含めて低下要因情報記憶部823に記憶させる。
かくして、低下要因情報記憶部823には、加工前の研削工具1Aの砥面に存在する砥粒12,12のうち、目詰まりや目毀れ、上滑り発生部位が発生する要因になり得る部位の画像と、当該画像に含まれる個々の砥粒12,12の特徴量および砥粒12,12の分布状態を示す特徴量が、研削性能低下要因を表す情報として記憶される。この研削性能低下要因を表す情報は、後述する砥面評価用の学習器を生成するための学習データ(説明変数)として用いられる。
(1−7)教師データの生成
制御ユニット81は、教師データ生成部816の制御の下、ステップS15において、後述する砥面評価用の学習器を生成する際に使用する教師データを生成する。教師データ生成部816は、例えば、上記低下要因情報記憶部823に研削性能低下要因を表す情報として記憶された、研削性能低下要因となり得る砥粒12,12を含む撮像領域の位置座標に紐づけられた劣化部位の画像を上記劣化情報記憶部822から読み出す。
例えば、図9に示した画像を例にとれば、目詰まり、目毀れまたは上滑り現象が発生する状態になる前の画像(b)に対応する、目詰まり、目毀れまたは上滑り現象が発生する状態を表す画像(a)を、劣化情報記憶部822から読み出す。そして、この読み出された目詰まり、目毀れまたは上滑り現象が発生した状態を表す画像を、そのまま教師データとして、上記撮像領域の位置座標と紐づけて教師データ記憶部824に記憶させる。図13(a)は、上記目詰まり、目毀れまたは上滑り現象が発生する状態を表す画像を教師データとした場合の一例を示す図である。
また教師データ生成部816は、例えば、上記低下要因情報記憶部823に研削性能低下要因を表す情報として記憶された、研削性能低下要因となり得る砥粒12,12を表す画像を教師データとし、上記撮像領域の位置座標と紐づけて教師データ記憶部824に記憶させる。図13(b)は、上記目詰まり、目毀れまたは上滑り現象が発生する要因となり得る砥粒12,12のみを表した画像を教師データとした場合の一例を示す図である。
さらに教師データ生成部816は、例えば、上記低下要因情報記憶部823に研削性能低下要因を表す情報として記憶された、研削性能低下要因となり得る砥粒12,12を含む撮像領域の画像の各々について、当該撮像領域に含まれる低下要因をその種類に応じてクラス分けする。具体的には、図13(c)に示すように、目詰まりの要因をCLASS1、目毀れの要因をCLASS2、目詰まりと目毀れの要因の両方を含む場合をCLASS3、目詰まりおよび目毀れの要因をいずれも含まない場合をCLASS4とする。そして、上記撮像領域ごとに、目詰まりおよび目毀れの要因になり得る砥粒12,12の存在の有無に応じて上記CLASSを設定し、当該CLASSごとの低下要因の発生度合いを表す数値データを、上記撮像領域の位置座標と紐づけて教師データ記憶部824に記憶させる。
なお、教師データは上記3例に限るものではなく、それ以外にも種々のものが考えられる。また、教師データを管理者が設定して、その設定データを入力デバイス25から手入力したり、記憶媒体を用いて読み込ませることで教師データ記憶部824に記憶させるようにしてもよい。
(1−8)砥面評価用の学習器の生成
制御ユニット81は、学習器生成部817の制御のもと、ステップS16において砥面評価用の学習器を以下のように生成する。図6はその処理手順と処理内容の一例を示すフローチャートである。
すなわち、学習器生成部817は、先ずステップS161により上記低下要因情報記憶部823のアドレスを一つ指定して、ステップS162により研削性能低下要因を含む撮像領域の画像と、当該画像に含まれる砥粒12,12の個々の特徴量およびその分布状態を示す特徴量を、学習データとして読み出す。またそれと共に、教師データ記憶部824から上記撮像領域に対応する教師データを読み出す。
学習器生成部817は、次にステップS134において、あらかじめ用意されたCNNに上記読み出された学習データを入力すると共に上記教師データを与え、CNNに学習を行わせる。そしてステップS165により、上記学習の結果に基づいてニューロン間の結合重みや各ニューロンの閾値等の学習用パラメータを更新する。学習器生成部817は、以上の学習処理を、低下要因情報記憶部823に記憶された全ての低下要因情報とそれに対応する教師データを順次VNNに与えることで繰り返し行う。そして、全ての低下要因情報についての学習処理が終了したことがステップS166で判定されると、学習処理を終了する。学習終了後の学習用パラメータ等を含む学習済の学習器(学習済モデル)は、学習済データ記憶部825に記憶される。
なお、CNNの学習処理は、1個の研削工具1Aについて得られた研削性能低下要因の情報だけでなく、複数の研削工具についてそれぞれ得られた研削性能低下要因の情報を与えることで繰り返し行うようにしてもよい。研削性能低下要因の情報の入力点数が増えれば増えるほどCNNによる評価性能を高めることが可能となる。
(2)評価フェーズ
研削工具の製造者または研削工具のユーザは、上記研削工具砥面評価装置8を使用することで、出荷前の研削工具1Aの評価、或いは加工に使用中または使用後の研削工具1Aの評価を、以下のように行う。図7は、研削工具砥面評価装置8における評価フェーズの処理手順と処理内容の一例を示すフローチャートである。
(2−1)研削工具1Aの砥面の画像データの取得
評価者は、評価対象の研削工具1Aを回転機構2に装着する。そして、入力デバイス25により評価開始指示を入力する。そうすると、制御ユニット81は、位置座標制御部811および画像データ取得部812の制御の下、ステップS20において、上記研削工具1Aの砥面の撮像画像データを取得する処理を実行する。このときの画像データの取得処理も、先に述べた学習フェーズにおける画像データの取得処理と同様に、図5のフローチャートに従い実行される。かくして、画像データ記憶部821には、評価対象となる研削工具1Aの砥面の全領域における画像データが研削工具1Aの回転方向の順に撮像領域のXYZθ座標と共に記憶される。
(2−2)特徴量の算出
制御ユニット81は、特徴量算出部815の制御の下、ステップS21において、上記画像データ記憶部821から画像データを読み出し、この画像データに含まれる各砥粒12,12とその分布状態について特徴量を算出する処理を行う。この特徴量の算出処理も、学習フェーズにおいて研削工具1Aの加工前の砥面の画像データから特徴量を算出した場合と同様に行うことができる。この結果、評価対象の研削工具1Aについても、その砥面における個々の砥粒12,12の特徴量と、砥粒12,12の分布状態を表す特徴量が得られる。
(2−3)学習済の学習器(CNN)を用いた評価ルーチン
制御ユニット81は、研削性能低下要因評価部818の制御の下、ステップS22において以下のように研削工具1Aの砥面評価を行う。図8はその処理手順と処理内容を示すフローチャートである。
研削性能低下要因評価部818は、先ずステップS221により学習済データ記憶部825から学習済CNNを読み出して制御ユニット81のRAM上に展開する。そして、ステップS222により研削工具1Aの砥面撮像領域のXYZθ座標の初期値を指定して、ステップS223により画像データ記憶部821から該当する撮像領域の画像データを読み出し、当該画像と上記特徴量算出部815により算出された対応する特徴量を、評価対象データとして上記学習済CNNに入力する。そして研削性能低下要因評価部818は、上記学習済CNNの出力データを、上記評価対象データに対する評価結果データとして、上記XYZθ座標と紐づけて評価データ記憶部826に記憶させる。
研削性能低下要因評価部818は、全撮像領域のXYZθ座標の指定終了がステップS225で判定されるまで、上記ステップS222〜S224による、学習済CNNを用いた各撮像領域についての評価処理を繰り返す。
図14は、上記学習済CNNを使用した評価処理動作の一例を示すものである。図14(a)は、目詰まりまたは目毀れの発生要因となり得る砥粒12,12を含む撮像領域の画像と特徴量を学習済CNNに入力した場合に、上記目詰まりまたは目毀れが発生した状態の推測画像が学習済CNNから出力された例を示す。
また図14(b)は、同様の画像と特徴量を学習済CNNに入力した場合に、上記目詰まりまたは目毀れが発生し得る砥粒12,12の画像のみが出力された例を示す。さらに図14(c)は、同様の画像と特徴量を学習済CNNに入力した場合に、目詰まりまたは目毀れの要因になり得る砥粒12,12の存在に応じて、CLASSごとに上記低下要因の発生度合いを表す数値データが学習済CNNから出力された例を示す。なお、上滑り発生部位についても同様に学習済CNNから出力させることができる。
上記研削工具1Aの砥面の全領域についての評価結果が得られると、制御ユニット81は評価データ出力部819の制御の下、ステップS23において上記評価結果を出力する処理を行う。例えば、図8に示すようにステップS226において、上記評価結果とそれに紐づけられている位置座標をもとに、目詰まり、目毀れまたは上滑り現象の発生要因となり得る部位の位置を、砥面の全領域に渡って表示した可視化データを生成する。そして、この可視化データを入出力インタフェースユニット83から表示デバイス26へ出力し表示させる。図15は上記可視化データの一例を示すものである。
また評価データ出力部819は、ステップS227において、例えば、研削工具1Aの砥面の全領域における研削性能低下要因となる部位の面積または個数を算出する。そして、算出された研削性能低下要因となる部位の面積または個数を入出力インタフェースユニット83から表示デバイス26へ出力し表示させる。
さらに評価データ出力部819は、ステップS228において、例えば、上記ステップS227において算出された研削性能低下要因となる部位の面積または個数を、あらかじめ記憶されているドレッシング時期判定テーブルに照らして、上記研削性能低下要因となり得る部位の面積または個数に対応するドレッシング時期を判定する。そして、この判定されたドレッシング時期を表す情報を入出力インタフェースユニット83から表示デバイス26へ出力し表示させる。
最後に評価データ出力部819は、ステップS229において、上記生成された研削性能低下要因となり得る部位の砥面全領域における位置を示す可視化データ、上記算出された研削性能低下要因となる部位の面積または個数、および上記判定されたドレッシング時期を表す情報を、研削工具1Aの製品番号等に紐づけて評価データ記憶部826に記憶させる。
なお、以上の説明では、研削性能低下要因となり得る部位の位置を示す可視化データ、研削性能低下要因となる部位の面積または個数を示す情報、およびドレッシング時期を表す情報を、評価データ出力部819により生成または算出するようにした。しかし、それに限らず、上記各データおよび情報を研削性能低下要因評価部818により生成または算出するようにしてもよい。
(効果)
以上詳述したように一実施形態では、学習フェーズにおいて、研削工具1Aの加工前の砥面画像データを取得して記憶すると共に、上記研削工具1Aの加工に使用した後の砥面の画像データを取得してこの画像データから目詰まりや目毀れ、上滑り現象が発生する部位等の劣化部位を検出し、これらの劣化部位と位置が対応する加工前の画像を上記記憶された加工前の画像データから抽出する。そして、この抽出された加工前の画像と、当該画像に含まれる個々の砥粒12,12の特徴量およびその分布状態を示す特徴量を、研削性能低下要因を表す情報としてCNNに入力し、かつ上記研削性能低下要因を表す情報に対する評価結果を表す情報を教師データとして上記CNNに与え、これによりCNNを学習させて砥面評価用のCNNを生成している。
従って、実際の加工により求めた、砥粒の目詰まりや目毀れ、上滑り発生部位等の研削性能低下要因を表す情報を学習データ(説明変数)とし、かつ上記研削性能低下要因に対応する評価結果を表す情報を教師データ(目的変数)としてCNNを学習させることができる。このため、砥面について詳細な解析処理を行うことなく、実際の加工データに基づいた評価性能の高い学習済CNNを生成することができる。
そして、評価フェーズにおいて、上記学習済CNNを用い、評価対象となる研削工具1Aの砥面の画像データと、当該画像データに含まれる砥粒12,12の個々の特徴量およびその分布状態を示す特徴量を、学習データとして上記学習済CNNに入力し、学習済CNNの出力データを上記研削工具1Aの砥面の評価データとして出力するようにしている。
従って、研削工具1Aの加工開始前または加工開始後において取得された画像データを学習済CNNに入力するだけで、砥面の評価結果を表す情報が出力される。すなわち、学習済CNNを使用することで、研削工具1Aの加工開始前または加工開始後において、砥面の研削性能低下要因となる表面性状を、短時間にかつ精度良く事前に評価することができる。このため、評価者は上記出力された評価データをもとに上記研削工具1Aの出荷前又は使用開始後の品質管理を行うことが可能となる。
また、一実施形態ではCNNに入力するための学習データとして、研削性能低下要因となり得る砥面の加工前の画像に加えて、当該画像に含まれる砥粒12,12の個々の特徴量とその分布状態を示す特徴量を入力し、CNNを学習させるようにしている。このため、評価対象の研削工具の砥面画像のみを学習データとする場合に比べ、分類またはクラス分けの性能が高いCNNを生成することができる。さらに、この学習済CNNを使用して砥面の評価を行うことで、より正確な評価結果を得ることができる。
さらに、研削性能低下要因となり得る部位の砥面全領域における位置を示す可視化データ、研削性能低下要因となる部位の面積または個数を示す情報、およびドレッシング時期を表す情報を、評価データ出力部819により生成または算出し、出力するようにしている。このため、評価者は研削工具1Aの評価結果を視覚的にまたは数値として正確に把握することが可能となる。
特に、出荷前の研削工具の砥面を評価することで、研削性能の低下につながる要因(例えば、目詰まりや目毀れ、上滑りの発生部位、基材の結合剤11の最外周面の露出状態、砥粒の切れ刃の逃げ面の大きさ等)を出荷前に予測でき、これにより研削工具の品質保証の信頼性を高めることができる。また、固定砥粒加工において性能低下が発生しない適切な砥粒分布・形状の制御指針を確立することが可能となる。その結果、上記データを蓄積して当該データを基礎データとして利用することで、さらに高精度な研削工具の開発や新しい視点での研削工具の開発に生かすことができる。
また、本実施形態の研削工具砥面評価装置8の機能をNC工作機に追加して機上計測を可能にした場合には、加工中または加工後の研削工具についてのドレッシング時期を推定することで、最適なタイミングでのドレッシングや砥石交換が実現でき、生産性の大幅な向上が期待できる。
さらに、CNNの学習フェーズの処理手順および処理内容をユーザに開放することで、ユーザのノウハウをAIとして付加できるので、ユーザ個有のAI加工技術を採用したNC工作機械を開発することを可能になる。
一般に、研削工具1Aの砥面に目詰まりが発生し易い砥粒の分布は、例えば図18(a)に示すように研削工具1Aの回転方向Mに複数の砥粒12,12が近接して密集している状態である。この状態では、工具の回転方向Mに対し先頭に位置する1番目の砥粒による切り屑が、回転方向Mの後方に近接して位置する2番目および3番目の砥粒による切り屑に重なり合ってしまい、その結果目詰まりが発生するものと推定される。
これに対し、複数の砥粒12,12が研削工具の回転方向Mに近接して密集している状態であっても、例えば図18(b)に示すように、密集の先頭に位置する1番目の砥粒の上流側に一定の距離内で0番目の砥粒が存在すると、1番目の砥粒は切れ刃としてほとんど作用しないため、1番目の砥粒による切り屑が2番目および3番目の砥粒の切り屑に重なり合わなくなり、この結果上記砥粒の密集部位では目詰まりが発生しない。
すなわち、複数の砥粒12,12が同様の分散状態で密集している部位であっても、工具の回転方向の上流側に存在する他の砥粒との位置関係によっては目詰まりが発生しないこともある。このように、砥面上における砥粒12,12の分散状態と目詰まりの発生との関係は複雑であり、個々の砥粒について解析しても目詰まりを起こす砥粒群をすべて把握することは困難である。
これに対しこの発明の一実施形態では、実際に目詰まりが発生した部位を検出して、それに対応する砥粒12,12の分布状態を研削性能低下要因として抽出し、この加工前の画像と当該画像に含まれる砥粒12,12およびその分散状態の特徴量を説明変数として学習器に学習させるようにしている。従って、この学習器を用いて研削工具の加工前または加工中の砥面を評価する際に、目詰まりの発生要因となる砥粒12,12の分布状態を簡単かつ漏れなく検出することが可能となる。
一方、研削性能低下要因の一つとして、砥粒の突出高さが結合剤表面とほぼ同じ高さになって加工時に加工物表面が結合剤上を滑る、いわゆる上滑り現象を起こす部位がある。図19はその一例を示すもので、(a)は砥粒12,12の分散状態を示す平面図、(b)はその側面図である。
一般に、研削工具の砥面は、加工過程において削り屑等により結合剤11の表面が削り取られるため結合剤面に対する砥粒の突出高さが大きくなる。また、ドレッシングにより結合剤の表面を削ることでも砥粒の突出高さは大きくなる。しかし、例えば図19(a)に示すように砥面の砥粒分布が密な部位は、結合剤11が削り取られ難い。このため、ツル―イング等によって工具中心または基準面から砥粒最上面までの高さを一定に維持したとしても、例えば図19(b)に示すように結合剤11の表面からの砥粒12,12の突き出し量は小さくなる。この状態で、さらに加工を続け、砥粒12,12の摩耗が進行すると、砥粒12,12の最上面と結合剤11の表面との高さが例えば図20に示すようにほぼ同一になってしまい、この状態で加工を行うと、結合剤11が加工物表面を滑る上滑り現象が発生し、加工精度が著しく低下する。
これに対しこの発明の一実施形態では、学習フェーズにおいて、上記砥面12,12の上滑り発生部位を劣化部位として検出し、この劣化部位に対応する加工前の部位の画像を抽出して、この加工前の画像と当該画像に含まれる砥粒12,12およびその分散状態の特徴量を学習器に説明変数の一つとして与え学習を行わせている。従って、この学習器を用いて加工前または加工中の研削工具の砥面を評価することで、上記研削工具の砥面の上滑り発生部位を漏れなく検出することが可能となる。
[他の実施形態]
前記一実施形態では、研削工具としてリング状円盤型砥石を適用した場合を例にとって説明したが、図17に示すように円筒または円柱体の周面に砥粒12,12を散設した円筒状砥石にもこの発明は適用可能である。また、研削工具の別の例として、図16に示すようなワイヤ型砥石にこの発明を適用してもよい。図16に例示したワイヤ型砥石はダイヤモンドワイヤの例であり、(a)は砥粒の分散が粗なワイヤ表面を、(b)は砥粒の分散が密なワイヤ表面をそれぞれ示す。なお、ワイヤ型砥石の砥面の画像データを取得する場合には、ワイヤ型砥石を直線状に移動させながらカメラで砥面を撮像する。この場合、ワイヤ型砥石を固定しカメラの位置を移動させることで砥面を撮像することも可能である。
また、学習器としては、畳込みニューラルネットワーク(CNN)の他に、多層構造を有する一般的な順伝播型ニューラルネットワークや、サポートベクタマシン、自己組織型マップ、強化学習により学習を行う学習器、再起型ニューラルネットワークを用いることが可能である。また、いずれの学習器であっても、中間層の数や各層におけるニューロンの個数、ニューロン同士の結合関係、およびニューロンの伝達関数は、実施の形態に応じて適宜決定されてよい。
また、一実施形態では、学習器の学習を実行するための機能と、学習済の学習器を用いて研削工具の砥面の評価を行う機能を、1台の研削工具砥面評価装置内に設けた場合を例にとって説明した。しかしこれに限らず、例えば学習器の学習を実行するための機能をクラウド上のコンピュータに設け、研削工具の砥面の評価を行う機能を工場等の現場に配置された制御装置等に設け、クラウド上のコンピュータにより学習された学習器の学習用パラメータを、制御装置に伝送してその学習器に設定するように構成してもよい。
その他、学習器に教師データとして与えるデータの種類や構成、学習器に学習データとして与える砥面画像や砥粒の特徴量等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
1…研削工具、2…回転機構、3,4…XYテーブル、5…支柱、6…アーム、7…カメラ、8…研削工具砥面評価装置、11…結合剤、12…砥粒、21…θ軸駆動部、22…X軸駆動部、23…Y軸駆動部、24…Z軸駆動部、25…入力デバイス、26…表示デバイス、81…制御ユニット、82…記憶ユニット、83…入出力インタフェースユニット、811…位置座標制御部、812…画像データ取得部、813…劣化部位検出部、814…研削性能低下要因抽出部、815…特徴量算出部、816…教師データ生成部、817…学習器生成部、818…研削性能低下要因評価部、819…評価データ出力部、821…画像データ記憶部、822…劣化情報記憶部、823…低下要因情報記憶部、824…教師データ記憶部、825…学習済データ記憶部、826…評価データ記憶部。
上記課題を解決するためにこの発明に係る研削工具砥面評価装置の第1の態様は、研削工具を予め定められた方向へ移動させながら、前記研削工具の複数の砥粒が分散された状態で結合剤により固着された砥面を撮像して得られる画像データを取得する画像取得部と、前記画像取得部により、前記研削工具の加工開始前に取得された画像データを記憶媒体に記憶させる記憶制御部と、前記画像取得部により前記研削工具の加工開始後に取得された画像データから前記研削工具の前記砥面における劣化部位を表す情報を検出する検出部と、前記記憶媒体に記憶された加工開始前の画像データから前記劣化部位と位置が対応する加工前の部位の画像を研削性能低下要因を表す情報として抽出する抽出部とを備え、前記抽出部において、前記研削性能低下要因を表す情報として抽出された、前記劣化部位と位置が対応する加工前の部位の画像から当該画像に含まれる砥粒の前記研削工具の移動方向が反映された特徴量を算出し、算出された前記特徴量を前記研削性能低下要因を表す情報に含めるようにしたものである。
また、第1および第2の態様によれば、研削性能低下要因となる砥粒の研削工具の移動方向が反映された特徴量が算出され、この特徴量が上記研削性能低下要因を表す情報に追加される。このため、研削性能低下要因となる砥粒の分布状態を、画像だけでなくその特徴量によっても表すことができ、これにより研削性能低下要因をさらに精度良く表すことが可能となる。
この発明に係る研削工具砥面評価装置の第3の態様は、学習器に、前記研削性能低下要因を表す情報を学習データとしかつ前記砥面の劣化部位を表す情報を教師データとして与えることで前記学習器を学習させる学習器生成部を、さらに具備するものである。
第3の態様によれば、前記研削性能低下要因を表す情報を学習データ(説明変数)としかつ前記砥面の劣化部位の状態を表す情報を教師データ(目的変数)として学習器で学習処理が行われる。このため、研削性能低下要因を表す情報を入力すると、砥面の劣化部位の状態を表す情報を出力する学習器を生成することができる。
上記学習器生成部として、この発明では例えば以下の第4、第5及び第6の態様が考えられる。
第4の態様は、前記学習器に、前記砥面の劣化部位と位置が対応する加工前の部位を含む画像および当該画像に含まれる砥粒の前記特徴量を前記学習データとして与え、かつ前記劣化部位を表す画像を前記教師データとして与えることにより、前記学習器を学習させるものである。
第4の態様によれば、砥面の劣化部位と位置が対応する加工前の部位を含む画像および当該画像に含まれる砥粒の特徴量を入力すると、上記加工前の部位が劣化した状態を示す画像を出力する学習器を生成することができる。
第5の態様は、前記学習器に、前記劣化部位と位置が対応する加工前の部位を含む画像および当該画像に含まれる砥粒の前記特徴量を前記学習データとして与え、かつ前記劣化部位と位置が対応する加工前の部位を表す画像を前記教師データとして与えることにより、前記学習器を学習させるものである。
第5の態様によれば、砥面の劣化部位と位置が対応する加工前の部位を含む画像および当該画像に含まれる砥粒の特徴量を入力すると、上記劣化部位と位置が対応する加工前の部位を表す画像を出力する学習器を生成することができる。
第6の態様は、前記学習器に、前記劣化部位と位置が対応する加工前の部位を含む画像および当該画像に含まれる砥粒の前記特徴量を前記学習データとして与え、かつ前記劣化部位と位置が対応する加工前の部位が研削性能低下要因となる度合いを示す数値データを前記教師データとして与えることにより、前記学習器を学習させるものである。
第6の態様によれば、劣化部位と位置が対応する加工前の部位を含む画像および当該画像に含まれる砥粒の前記特徴量を前記学習データとして入力すると、前記加工前の部位が研削性能低下要因となる度合いを示す数値データを出力する学習器を生成することができる。
この発明に係る研削工具砥面評価装置の第7の態様は、前記研削工具の加工開始前または加工開始後において前記画像取得部により取得された画像データを前記学習器に入力し、このとき当該学習器から出力される前記砥面の劣化部位を表す情報を、前記研削工具の砥面の評価結果を表す情報として出力する評価部を、さらに具備するものである。
第7の態様によれば、研削工具の加工開始前または加工開始後において取得された画像データを前記学習器に入力するだけで、当該学習器から前記砥面の劣化部位を表す情報が前記研削工具の砥面の評価結果を表す情報として出力される。すなわち、学習器を使用することで、加工開始前または加工開始後において砥面の研削性能低下要因となる表面性状を、短時間にかつ精度良く事前に評価することが可能となる。このため、評価担当者は、上記出力された評価結果をもとに上記研削工具の出荷前又は使用開始後の品質管理を行うことが可能となる。
この発明に係る研削工具砥面評価装置の第8の態様は、前記評価部において、前記学習器から出力される前記砥面の劣化部位を表す情報をもとに、当該劣化部位の、前記研削工具の砥面の全領域における前記研削工具の移動方向の分布状態を表す可視化画像を生成して出力するようにしたものである。
第8の態様によれば、研削性能の低下要因となることが予想される部位の砥面全領域における移動方向の分布状態を表す可視化画像が生成され出力される。このため、研削工具の製造管理者又は研削工具の使用管理者は、研削工具ごとにその砥面の研削性能低下要因となる部位の分布状態を、砥面の全領域に渡りかつ研削工具の移動方向に沿って容易にかつ短時間に把握することが可能となる。
この発明に係る研削工具砥面評価装置の第9の態様は、前記評価部において、前記学習器から出力される前記砥面の劣化部位を表す情報をもとに、前記研削工具のドレッシングの時期を推定し、その推定結果を表す情報を出力するようにしたものである。
第9の態様によれば、評価部から研削工具のドレッシングの時期の推定情報が出力される。このため、例えば、研削工具の製造管理者又は研削工具の使用管理者は、上記推定情報をもとに研削工具の出荷検定を行ったり、研削工具のドレッシング時期を管理することが可能となる。

Claims (13)

  1. 研削工具を予め定められた方向へ移動させながら、前記研削工具の複数の砥粒が分散された状態で結合剤により固着された砥面を撮像して得られる画像データを取得する画像取得部と、
    前記画像取得部により前記研削工具の加工前に取得された画像データを記憶媒体に記憶させる記憶制御部と、
    前記画像取得部により前記研削工具の加工後に取得された画像データから、前記研削工具の前記砥面における劣化部位の状態を表す情報を検出する検出部と、
    前記記憶媒体に記憶された加工前の画像データから、前記劣化部位と位置が対応する加工前の画像を研削性能低下要因を表す情報として抽出する抽出部と
    を具備する研削工具砥面評価装置。
  2. 前記検出部は、前記研削工具の加工後に取得された画像データから、前記砥面における砥粒の目詰まり、砥粒の目毀れ、および結合剤からの砥粒の突出量が閾値以下となる上滑り発生部位の少なくとも一つを表す画像を、前記劣化部位の状態を表す情報として検出する、請求項1に記載の研削工具砥面評価装置。
  3. 前記抽出部は、前記研削性能低下要因を表す情報として抽出された、前記劣化部位と位置が対応する加工前の画像から、当該加工前の画像に含まれる砥粒の前記研削工具の移動方向が反映された特徴量を算出し、当該特徴量を前記研削性能低下要因を表す情報に含める、請求項1又は2に記載の研削工具砥面評価装置。
  4. 学習器に、前記研削性能低下要因を表す情報を学習データとして与えると共に前記砥面の劣化部位の状態を表す情報を教師データとして与えることで前記学習器を学習させる学習器生成部を、さらに具備する請求項1乃至3のいずれかに記載の研削工具砥面評価装置。
  5. 前記学習器生成部は、前記学習器に、前記劣化部位と位置が対応する加工前の画像および当該画像に含まれる砥粒の前記特徴量の少なくとも一方を前記学習データとして与え、かつ前記劣化部位を表す画像を前記教師データとして与えることにより、前記学習器を学習させる、請求項4に記載の研削工具砥面評価装置。
  6. 前記学習器生成部は、前記学習器に、前記劣化部位と位置が対応する加工前の部位を含む画像および当該画像に含まれる砥粒の前記特徴量の少なくとも一方を前記学習データとして与え、かつ前記劣化部位と位置が対応する加工前の部位を表す画像を前記教師データとして与えることにより、前記学習器を学習させる、請求項4に記載の研削工具砥面評価装置。
  7. 前記学習器生成部は、前記学習器に、前記劣化部位と位置が対応する加工前の部位を含む画像および当該画像に含まれる砥粒の前記特徴量の少なくとも一方を前記学習データとして与え、かつ前記劣化部位と位置が対応する加工前の部位が研削性能低下要因となる度合いを示す数値データを前記教師データとして与えることにより、前記学習器を学習させる、請求項4に記載の研削工具砥面評価装置。
  8. 前記研削工具の加工開始前または加工開始後において前記画像取得部により取得された画像データを前記学習器に入力し、このとき当該学習器から出力される前記砥面の劣化部位を表す情報を、前記研削工具の砥面の評価結果を表す情報として出力する評価部を、さらに具備する請求項4に記載の研削工具砥面評価装置。
  9. 前記評価部は、前記学習器から出力される前記砥面の劣化部位を表す情報をもとに、当該劣化部位の、前記研削工具の砥面の全領域における前記研削工具の移動方向の分布状態を表す可視化画像を生成して出力する、請求項8に記載の研削工具砥面評価装置。
  10. 前記評価部は、前記学習器から出力される前記砥面の劣化部位を表す情報をもとに、前記研削工具のドレッシングの時期を推定し、その推定結果を表す情報を出力する、請求項8に記載の研削工具砥面評価装置。
  11. 請求項4乃至7のいずれかに記載の研削工具砥面評価装置が備える学習器生成部により生成された学習済の学習器。
  12. 請求項1乃至請求項10のいずれかに記載の研削工具砥面評価装置が具備する前記各部の処理を、前記研削工具砥面評価装置が備えるプロセッサに実行させる研削工具砥面評価プログラム。
  13. プロセッサおよび記憶媒体を備える情報処理装置が実行する研削工具砥面評価方法であって、
    加工開始前の研削工具を予め定められた第1の方向へ移動させながら、前記研削工具の複数の砥粒が分散された状態で結合剤により固着された砥面を撮像して得られる第1の画像データを取得し、当該第1の画像データを前記記憶媒体に記憶させる第1の取得過程と、
    加工開始後の前記研削工具を前記第1の方向へ移動させながら、前記研削工具の砥面を撮像して得られる第2の画像データを取得する第2の取得過程と、
    取得された前記第2の画像データから、前記前記砥面における劣化部位を表す情報を検出する検出過程と、
    前記記憶媒体に記憶された第1の画像データから、検出された前記劣化部位と位置が対応する加工前の部位の画像を研削性能低下要因を表す情報として抽出する抽出過程と、
    前記研削性能低下要因を表す情報を学習データとし、前記砥面の劣化部位を表す情報を教師データとして学習器を学習させる学習器生成過程と、
    前記研削工具の加工開始前または加工開始後において取得された画像データを前記学習器に入力し、このとき当該学習器から出力される前記砥面の劣化部位を表す情報を、前記研削工具の砥面の評価結果を表す情報として出力する評価過程と
    を具備する研削工具砥面評価方法。
JP2018143709A 2018-07-31 2018-07-31 研削工具砥面評価装置とその学習器、評価プログラムおよび評価方法 Active JP6660636B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018143709A JP6660636B2 (ja) 2018-07-31 2018-07-31 研削工具砥面評価装置とその学習器、評価プログラムおよび評価方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018143709A JP6660636B2 (ja) 2018-07-31 2018-07-31 研削工具砥面評価装置とその学習器、評価プログラムおよび評価方法

Publications (2)

Publication Number Publication Date
JP2020019087A true JP2020019087A (ja) 2020-02-06
JP6660636B2 JP6660636B2 (ja) 2020-03-11

Family

ID=69587854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018143709A Active JP6660636B2 (ja) 2018-07-31 2018-07-31 研削工具砥面評価装置とその学習器、評価プログラムおよび評価方法

Country Status (1)

Country Link
JP (1) JP6660636B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6887070B1 (ja) * 2021-02-26 2021-06-16 Dmg森精機株式会社 工作機械、表示制御方法、および表示制御プログラム
CN113369979A (zh) * 2021-06-12 2021-09-10 杭州职业技术学院 一种基于云计算的在线监测数控车床冷却***
WO2021200654A1 (ja) * 2020-04-02 2021-10-07 ファナック株式会社 工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法
CN114227379A (zh) * 2021-12-14 2022-03-25 东莞市巨冈机械工业有限公司 一种基于卷积神经网络的五轴数控机床智能监控***
CN114239188A (zh) * 2021-12-31 2022-03-25 华侨大学 切入式磨削理论模型仿真预测方法
CN114491836A (zh) * 2021-12-30 2022-05-13 华侨大学 一种基于图像处理与数据驱动的虚拟金刚石工具生成方法
CN114871887A (zh) * 2021-12-21 2022-08-09 华海清科股份有限公司 利用混合核函数的磨削面形预测方法、***及终端设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220270939A1 (en) * 2021-02-25 2022-08-25 Taiwan Semiconductor Manufacturing Co., Ltd. System and method for controlling chemical mechanical planarization

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03239469A (ja) * 1990-02-16 1991-10-25 Matsushita Electric Works Ltd 研削加工装置
JPH09253979A (ja) * 1996-03-25 1997-09-30 Okuma Mach Works Ltd 刃先位置計測装置
JP2008122273A (ja) * 2006-11-14 2008-05-29 Nikon Corp 砥石検査装置
JP2013002810A (ja) * 2011-06-10 2013-01-07 Institute Of National Colleges Of Technology Japan 研削工具の砥面検査システム及び方法
JP2016191648A (ja) * 2015-03-31 2016-11-10 シャープ株式会社 計測装置および計測方法
JP2018062052A (ja) * 2016-10-14 2018-04-19 株式会社ディスコ 切削方法及び切削装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03239469A (ja) * 1990-02-16 1991-10-25 Matsushita Electric Works Ltd 研削加工装置
JPH09253979A (ja) * 1996-03-25 1997-09-30 Okuma Mach Works Ltd 刃先位置計測装置
JP2008122273A (ja) * 2006-11-14 2008-05-29 Nikon Corp 砥石検査装置
JP2013002810A (ja) * 2011-06-10 2013-01-07 Institute Of National Colleges Of Technology Japan 研削工具の砥面検査システム及び方法
JP2016191648A (ja) * 2015-03-31 2016-11-10 シャープ株式会社 計測装置および計測方法
JP2018062052A (ja) * 2016-10-14 2018-04-19 株式会社ディスコ 切削方法及び切削装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
山田 真善: ""AIを活用したリアルタイム内視鏡診断サポートシステムの開発と期待される臨床効果"", 月刊新医療, vol. 第45巻第3号, JPN6019037508, 1 March 2018 (2018-03-01), JP, pages 130 - 133, ISSN: 0004124032 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021200654A1 (ja) * 2020-04-02 2021-10-07 ファナック株式会社 工具状態学習装置、工具状態推定装置、制御装置、工具状態学習方法、及び工具状態推定方法
JPWO2021200654A1 (ja) * 2020-04-02 2021-10-07
JP6887070B1 (ja) * 2021-02-26 2021-06-16 Dmg森精機株式会社 工作機械、表示制御方法、および表示制御プログラム
WO2022180907A1 (ja) * 2021-02-26 2022-09-01 Dmg森精機株式会社 工作機械、表示制御方法、および表示制御プログラム
JP2022131366A (ja) * 2021-02-26 2022-09-07 Dmg森精機株式会社 工作機械、表示制御方法、および表示制御プログラム
CN113369979A (zh) * 2021-06-12 2021-09-10 杭州职业技术学院 一种基于云计算的在线监测数控车床冷却***
CN113369979B (zh) * 2021-06-12 2022-05-17 杭州职业技术学院 一种基于云计算的在线监测数控车床冷却***
CN114227379A (zh) * 2021-12-14 2022-03-25 东莞市巨冈机械工业有限公司 一种基于卷积神经网络的五轴数控机床智能监控***
CN114871887A (zh) * 2021-12-21 2022-08-09 华海清科股份有限公司 利用混合核函数的磨削面形预测方法、***及终端设备
CN114871887B (zh) * 2021-12-21 2024-01-30 华海清科股份有限公司 利用混合核函数的磨削面形预测方法、***及终端设备
CN114491836A (zh) * 2021-12-30 2022-05-13 华侨大学 一种基于图像处理与数据驱动的虚拟金刚石工具生成方法
CN114239188A (zh) * 2021-12-31 2022-03-25 华侨大学 切入式磨削理论模型仿真预测方法

Also Published As

Publication number Publication date
JP6660636B2 (ja) 2020-03-11

Similar Documents

Publication Publication Date Title
JP6660636B2 (ja) 研削工具砥面評価装置とその学習器、評価プログラムおよび評価方法
CN108500736B (zh) 工具状态推定装置以及机床
US20190080446A1 (en) System and method for automated defect detection
Segreto et al. Machine learning for in-process end-point detection in robot-assisted polishing using multiple sensor monitoring
CN109799784A (zh) 刀具磨耗检测装置、其检测方法及刀具磨耗补偿方法
JP4024832B1 (ja) ドリル検査装置、ドリル検査方法、およびそのプログラム
CN113478295A (zh) 用于确定工具磨损状态的方法
Adibi et al. Grinding wheel loading evaluation using digital image processing
CN114571326B (zh) 基于计算机视觉的变形曲面磨削方法、装置及***
Medeossi et al. Novel method for burrs quantitative evaluation in micro-milling
Oo et al. Tool wear monitoring system in belt grinding based on image-processing techniques
Ismail et al. Characterization of geometrical properties of electroplated diamond tools and estimation of its grinding performance
Pilný et al. Development of on the machine process monitoring and control strategy in Robot Assisted Polishing
KR20190027741A (ko) 공구를 이용하여 가공물을 가공하기 위한 디바이스
JP2014113675A (ja) レンズ加工システム、工具交換時期検出方法および眼鏡レンズの製造方法
CN107398778A (zh) 高速铣削刀具磨损视觉在位监测***和方法
Pimenov et al. State-of-the-art review of applications of image processing techniques for tool condition monitoring on conventional machining processes
Hashmi et al. Surface Characteristics Measurement Using Computer Vision: A Review.
McDonald et al. Design and validation of a grinding wheel optical scanner system to repeatedly measure and characterize wheel surface topography
Agarwal et al. Analyzing the evolution of tool wear area in trochoidal milling of Inconel 718 using image processing methodology
Póka et al. A robust digital image processing method for measuring the planar burr length at milling
Karasawa et al. Analysis of chip shape distribution using image processing technology to estimate wearing condition of gear grinding wheel
Roberson III Sensor-based online process monitoring in advanced manufacturing
Chen et al. A new strategy for measuring the grain height uniformity of a grinding wheel
JP7345867B2 (ja) 砥面判定装置、学習器、判定プログラム、および砥面判定方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20180827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200203

R150 Certificate of patent or registration of utility model

Ref document number: 6660636

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S201 Request for registration of exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R314201

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250