JP7167953B2 - Information processing device, information processing method and program - Google Patents
Information processing device, information processing method and program Download PDFInfo
- Publication number
- JP7167953B2 JP7167953B2 JP2020043996A JP2020043996A JP7167953B2 JP 7167953 B2 JP7167953 B2 JP 7167953B2 JP 2020043996 A JP2020043996 A JP 2020043996A JP 2020043996 A JP2020043996 A JP 2020043996A JP 7167953 B2 JP7167953 B2 JP 7167953B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- processing
- unit
- display
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Machine Tool Sensing Apparatuses (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Numerical Control (AREA)
Description
本発明は、情報処理装置、情報処理方法およびプログラムに関する。 The present invention relates to an information processing device, an information processing method, and a program.
特許文献1には、第1、第2、第3サーボモータ14,18,21の電流値を検出する電流センサ31,32,33と、主軸モータ30のモータ電流値を検出する電流センサ34と、主軸ヘッド22のノーズ振動を検出する振動センサ35と、工具Tによって加工されたワークWの加工面を撮影するCCDカメラ47とを設け、各種センサ31~35の検出結果、CCDカメラ47が撮影した加工面データ、NC制御部54が設定した加工指令値(加工条件)をデータ発信装置51からデータ受信装置52に送信し、データ処理装置53が異常診断を行う工作機械の異常診断方法が開示されている。
本発明は、対象部の異常を効率的かつ精度良く判断できる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。 An object of the present invention is to provide an information processing apparatus, an information processing method, and a program capable of efficiently and accurately determining abnormality of a target portion.
本発明に係る情報処理装置は、対象部の動作によって変化する物理量の検知情報を取得する検知情報取得部と、対象部の画像情報を取得する画像情報取得部と、正常データまたは異常データを示すモデル情報および検知情報に基づき決定される対象部の異常の可能性を示す可能性情報と、画像情報と、対象部の動作回数または動作時間を示す動作情報と、を表示部にそれぞれ複数表示させるとともに、複数の動作情報のそれぞれの動作情報に対応付けて、複数の可能性情報のそれぞれの可能性情報と、複数の画像情報のそれぞれの画像情報を表示部に表示させる表示制御部と、複数の動作情報における一部の動作情報の入力を受け付ける受付部と、受付部で受け付けられた一部の動作情報に対応付けられた検知情報に基づき、モデル情報を更新させるモデル情報更新部と、を備える。
An information processing apparatus according to the present invention includes a detection information acquisition unit that acquires detection information of a physical quantity that changes according to an operation of a target portion, an image information acquisition unit that acquires image information of the target portion, and normal data or abnormal data. A plurality of pieces of possibility information indicating the possibility of an abnormality in the target portion determined based on the model information and the detection information, image information , and operation information indicating the number of operations or operation time of the target portion are displayed on the display unit. a display control unit for displaying, on a display unit , the possibility information of each of the plurality of possibility information and the image information of each of the plurality of image information in association with each of the plurality of pieces of operation information ; and a model information updating unit for updating the model information based on detection information associated with the part of the motion information received by the receiving unit. Prepare.
本発明によれば、対象部の異常を効率的かつ精度良く判断できる情報処理装置、情報処理方法およびプログラムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the information processing apparatus, information processing method, and program which can determine the abnormality of a target part efficiently and accurately can be provided.
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments for carrying out the invention will be described with reference to the drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted.
●システム構成
図1は、本発明の実施形態に係る異常検知システムのシステム構成の一例を示す図である。
●System Configuration FIG. 1 is a diagram showing an example of the system configuration of an anomaly detection system according to an embodiment of the present invention.
本実施形態に係る異常検知システム1Aは、加工機70と、情報処理システム5を備える。情報処理システム5は、検知装置30、撮像装置40および情報処理装置10を備える。
An
加工機70は、ワークに対して処理(加工)を施す処理部の一例であり、処理部は対象部の一例である。検知装置30は、加工機70の動作に応じて変化する物理量を検知する。撮像装置40は、加工機70の動画または静止画の画像を撮像する撮像部の一例である。
The
異常検知システム1Aは、複数の加工機70を備え、複数の加工機70に対応する複数の検知装置30、および複数の撮像装置40を備えてもよい。
The
情報処理装置10は、加工機70と通信可能になるように接続され、加工機70の動作について異常の診断を行う診断装置である。情報処理装置10は、専用のソフトウエアプログラムがインストールされた汎用的なPC(Personal Computer)であってもよい。また、情報処理装置10は、単一のコンピュータによって構成されてもよいし、複数のコンピュータによって構成されてもよい。
The
情報処理装置10と加工機70とは、どのような接続形態で接続されてもよい。例えば、情報処理装置10と加工機70とは、専用の接続線、有線LAN(Local Area Network)等の有線ネットワーク、または無線ネットワーク等により接続されるものとすればよい。
The
加工機70は、工具を用いて、加工対象(ワーク)に対して切削、研削または研磨等の加工を行う工作機械である。処理部は、加工機70に限定されるものではなく、診断の対象となり得る実動作区間の推定を行うこともできる機械であり、例えば、組立機、測定機、検査機、または洗浄機等の機械が処理部であってもよい。また、これにはクラッチ、ギヤ等を含む動力源となるエンジン、またはモータを含む機械も含まれる。さらには、複数の処理部は必ずしも別々の装置に含まれている必要はなく、1つの装置(処理システム)内に含まれていても良い。
The
検知装置30は、加工機70に設置されたドリル、エンドミル、バイトチップもしくは砥石等の工具と加工対象とが加工動作中に接触することにより発する振動もしくは音等、または、工具もしくは加工機70自体が発する振動もしくは音等の物理量を検知し、検知した物理量の情報を検知信号(センサデータ)として、情報処理装置10へ出力するセンサである。検知装置30は、例えば、マイク、振動センサ、加速度センサ、またはAEセンサ等で構成され、例えば、振動または音等の物理量の変化を検出する。これらの検出手段は、ドリル、エンドミル、バイトチップまたは砥石等の機械的振動を発生する工具の近傍に設置される。検知装置30は、工具側でなく加工対象側の設置台などに設置されてもよい。設置方法は、ネジによる固定、マグネットによる固定、接着剤による接着、または、処理部に穴開け加工等を行ってそこに埋め込むことによる設置等の方法により設置される。また、検知装置30は、加工機70に対して固定されていなくてもよく、加工機70により発せられる振動または音等の物理量の変化を検出できるように加工機70の周囲に設置されていればよい。なお、検知装置30の個数は、任意であってよい。また、同一の物理量を検知する複数の検知装置30を備えてもよいし、相互に異なる物理量を検知する複数の検知装置30を備えてもよい。
The
ここで、情報処理装置10と検知装置30の間には、検知装置30からの出力信号をフィルタリングする数種類のフィルタ、または、フィルタを選択するフィルタ選択手段が必要に応じて設けてもよい。
Here, between the
図2は、本実施形態に係る加工機を示す図である。加工機70は、工具50および検知装置30を備え、工具50の下方にはワークWが配置される。また、撮像装置40が、工具50およびワークWの画像を撮像可能な位置に配置される。撮像装置40により画像が撮像される工具50は、例えば、ドリル、リーマ、タップ、エンドミル、フェイスミル、バイトである。
FIG. 2 is a diagram showing a processing machine according to this embodiment. A
検知装置30は、加工機70に予め備えられているものとしてもよく、または完成機械である加工機70に対して後から取り付けられるものとしてもよい。また、検知装置30は、加工機70の近傍に設置されることに限定されるものではなく、情報処理装置10側に設置されるものとしてもよい。
The
撮像装置40は、工具50、ワークW、工具50の主軸、ワークWに対する工具50の加工動作が行われる全体範囲、加工機70の内部全体等の動画または静止画の画像が撮像可能である。これにより、刃先、全体、切りくずの有無などの工具50の画像からは、工具50の劣化、折損、きりくずなどの加工状態がわかり、ワークWの加工状況の画像から、成果物の品質状態がわかる。また、加工機70全体の状況画像から異常時の機内環境がわかり、工具50を収めるタレット画像からは工具50の使用ミスが事前にわかる。そして、クーラント画像からはクーラントが工具50に適切にあたっているか、クーラント切れをおこしていないかがわかり、切りくず画像からは、きりくず形状や加工時の飛び方で加工品質がわかる。
The
●ハードウエア構成
続いて、図3および図4を用いて、本実施形態における情報処理装置10および加工機70のハードウエア構成を説明する。なお、図3および図4に示すハードウエア構成は、各実施形態において同様の構成を備えていてもよく、必要に応じて構成要素が追加または削除されてもよい。
●Hardware Configuration Next, hardware configurations of the
〇情報処理装置のハードウエア構成〇
図3は、本実施形態に係る情報処理装置のハードウエア構成の一例を示す図である。
◯Hardware Configuration of Information Processing Apparatus FIG. 3 is a diagram showing an example of the hardware configuration of the information processing apparatus according to the present embodiment.
情報処理装置10は、コンピュータによって構築されており、図23に示すように、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、HD(Hard Disk)104、HDD(Hard Disk Drive)コントローラ105、ディスプレイI/F106および通信I/F107を備えている。
The
これらのうち、CPU101は、情報処理装置10全体の動作を制御する。ROM102は、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する。RAM103は、CPU101のワークエリアとして使用される。HD104は、プログラム等の各種データを記憶する。HDDコントローラ105は、CPU101の制御にしたがってHD104に対する各種データの読み出しまたは書き込みを制御する。ディスプレイI/F106は、ディスプレイ106aに画像を表示させる回路である。ディスプレイ106aは、被写体の画像や各種アイコン等を表示する液晶や有機EL等の表示部の一種である。通信I/F107は、加工機70等の外部装置との通信に用いられるインターフェースである。通信I/F107は、例えば、TCP(Transmission Control Protocol)/IP(Internet Protocol)に対応したNIC(Network Interface Card)等である。
Among these, the
また、情報処理装置10は、センサI/F108、音入出力I/F109、入力I/F110、メディアI/F111、DVD-RW(Digital Versatile Disk Rewritable)ドライブ112を備えている。
The
センサI/F108は、検知装置30に含まれるセンサアンプ302を介して検知信号を受信するインターフェースである。音入出力I/F109は、CPU101の制御に従ってスピーカ109aおよびマイク109bとの間で音信号の入出力を処理する回路である。入力I/F110は、情報処理装置10に所定の入力手段を接続させるためのインターフェースである。。キーボード110aは、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス110bは、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。メディアI/F111は、フラッシュメモリ等の記録メディア111aに対するデータの読み出しまたは書き込み(記憶)を制御する。DVD-RWドライブ112は、着脱可能な記録媒体の一例としてのDVD-RW112aに対する各種データの読み出しまたは書き込みを制御する。なお、DVD-RWに限らず、DVD-R等であってもよい。また、DVD-RWドライブ112は、ブルーレイディスクに対する各種データの読み出しまたは書き込みを制御するブルーレイドライブであってもよい。
A sensor I/
また、情報処理装置10は、バスライン113を備えている。バスライン113は、CPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
The
なお、上記各プログラムが記憶されたHDやCD-ROM等の記録媒体は、いずれもプログラム製品(Program Product)として、国内または国外へ提供されることができる。 Recording media such as HDs and CD-ROMs in which each of the above programs is stored can be provided domestically or internationally as program products.
〇加工機のハードウエア構成〇
図4は、本実施形態に係る加工機のハードウエア構成の一例を示す図である。
◯Hardware Configuration of Processing Machine◯ FIG. 4 is a diagram showing an example of the hardware configuration of the processing machine according to the present embodiment.
図4に示すように、加工機70は、CPU701、ROM702、RAM703、ディスプレイI/F704、通信I/F705、駆動回路706、音出力I/F707、入力I/F708、およびセンサI/F709を備えている。
As shown in FIG. 4, the processing
これらのうち、CPU701は、加工機70全体の動作を制御する。ROM702は、IPL等のCPU701の駆動に用いられるプログラムを記憶する。RAM703は、CPU701のワークエリアとして使用される。ディスプレイI/F704は、ディスプレイ704aに画像を表示させる回路である。ディスプレイ704aは、被写体の画像や各種アイコン等を表示する液晶や有機EL等の表示部の一種である。
Among these, the
通信I/F705は、情報処理装置10等の外部装置との通信に用いられるインターフェースである。通信I/F705は、例えば、TCP/IPに対応したNIC等である。
A communication I/
駆動回路706は、モータ706aの駆動を制御する回路である。モータ706aは、加工に用いる工具50を駆動させる。工具50には、ドリル、エンドミル、バイトチップ、砥石等、および加工対象が載置され加工に合わせて移動されるテーブル等も含まれる。
The
音出力I/F707は、CPU701の制御に従ってスピーカ707aおよびマイク707bとの間で音信号の出力を処理する回路である。入力I/F708は、加工機70に所定の入力手段を接続させるためのインターフェースである。キーボード708aは、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス708bは、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。
The sound output I/
また、加工機70は、バスライン710を備えている。バスライン710は、CPU701等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
The processing
また、加工機70から出力される振動または音等の物理量を検知する検知装置30は、センサ301およびセンサアンプ302を備えている。センサ301は、上述のように、加工機70に設置された工具50と加工対象とが加工動作中に接触することにより発する振動もしくは音等、または、工具50もしくは加工機70自体が発する振動もしくは音等の物理量を検知する。また、センサ301は、検知した物理量の情報に基づく検知信号(センサデータ)を取得する。センサ301は、例えば、マイク、振動センサ、加速度センサ、またはAEセンサ等である。センサアンプ302は、センサ301の検知感度等を調整し、かつセンサ301によって検出された検知信号を出力する。
A
●機能構成
図5は、本実施形態に係る異常検知システムの機能構成の一例を示す図である。
●Functional Configuration FIG. 5 is a diagram showing an example of the functional configuration of the anomaly detection system according to this embodiment.
〇情報処理装置の機能構成〇
まず、情報処理装置10の機能構成について説明する。情報処理装置10によって実現される機能は、送受信部11、検知装置通信部12、受付部13、表示制御部14、音制御部15、生成部16、信号処理部17、選択部18、判断部21、記憶・読出部19、撮像装置制御部41および記憶部1000を含む。
◯ Functional Configuration of Information Processing Device ◯ First, the functional configuration of the
送受信部11は、加工機70等の外部装置との間で各種データ(または情報)の送受信を行う機能である。送受信部11は、例えば、加工機70の現在の動作に係る処理情報(加工情報)を受信する。送受信部11は、主に、図3に示した通信I/F107、およびCPU101で実行されるプログラム等によって実現される。送受信部11は、処理情報取得部の一例である。
The transmission/
検知装置通信部12は、検知装置30との間でデータ通信を行う機能である。検知装置通信部12は、例えば、検知装置30によって検知された物理量に係る検知信号(センサデータ)を受信する。検知装置通信部12は、主に、図3に示したCPU101で実行されるプログラム等によって実現される。検知装置通信部12は、検知情報を取得する検知情報取得部の一例である。また、検知装置通信部12によって受信される検知信号は、処理部の動作に応じて変化する物理量に係る検知情報の一例である。
The detection
受付部13は、図3に示したキーボード110a等の入力手段に対するユーザ入力を受け付ける機能である。受付部13は、例えば、出力信号選択画面200(図15参照)に対する入力に応じて、出力項目の選択を受け付ける。受付部13は、主に、図3に示したCPU101で実行されるプログラム等によって実現される。
The receiving
表示制御部14は、図3に示したディスプレイ106aに各種画面を表示させる機能である。表示制御部14は、例えば、ディスプレイ106aに出力信号選択画面200(図15参照)を表示させる。具体的には、表示制御部14は、例えば、OSで動作するソフトウエアアプリケーションを起動・実行することで、HTML(HyperText Markup Language)を少なくとも含み、CSS(Cascading Style Sheets)またはJAVA SCRIPT(登録商標)等を含むWebAPP(WebApplication)をダウンロードする。そして、表示制御部14は、そのWebAPPによって生成された各種画像データを、ディスプレイ106aに表示させる。表示制御部14は、例えば、XML(Extensible Markup Language)、JSON(JavaScript Object Notation)またはSOAP(Simple Object Access Protocol)形式等のデータを含むHTML5によって生成された画像データを、ディスプレイ106aに表示させる。表示制御部14は、主に、図3に示したディスプレイI/F106、およびCPU101で実行されるプログラム等によって実現される。
The
音制御部15は、図3に示したスピーカ109aから音信号を出力する機能である。音制御部15は、スピーカ109aから出力させる検知信号を設定し、設定した検知信号をスピーカ109aから音響出力させる。音制御部15は、主に、図3に示した音入出力I/F109、およびCPU101で実行されるプログラム等によって実現される。
The
生成部16は、ディスプレイ106aに表示させる各種画像データを生成する機能である。生成部16は、例えば、ディスプレイ106aに表示させる出力信号選択画面200(図15参照)に係る画像データを生成する。生成部16は、例えば、記憶部1000に記憶されたデータをレンダリングし、レンダリングされたデータを表示させるための画像データを生成する。レンダリングとは、Webページ記述用の言語(HTML、CSSまたはXML等)で記述されたデータを解釈し、実際に画面に表示される文字や画像データ等の配置を計算する処理である。さらに、生成部16は、送受信部11によって処理情報が受信された場合に、受信された処理情報を含む条件情報を識別するための条件IDを生成する。生成部16は、主に、図3に示したCPU101で実行されるプログラム等によって実現される。
The generating
信号処理部17は、検知装置通信部12によって受信された検知信号の信号処理を行う機能である。信号処理部17の詳細な説明は、後述する。信号処理部17は、主に、図3に示したCPU101で実行されるプログラム等によって実現される。
The
選択部18は、ユーザからの信号出力要求に基づいて、音響出力させる検知信号を選択する機能である。選択部18は、例えば、受付部13によって受け付けられた信号出力要求に含まれる出力項目データに対応する条件情報に関連づけて記憶された検知信号を選択する。選択部18は、主に、図3に示したCPU101で実行されるプログラム等によって実現される。
The
判断部21は、主に、図3に示したCPU101の処理によって実現され、各種判断を行う機能である。判断部21は、例えば、選択部18によって選択された複数の検知信号に係る信号データの差分を算出する。判断部21は、異常判断部の一例である。
The
撮像装置制御部41は、撮像装置40との間で制御信号および画像データの通信を行う機能である。撮像装置制御部41は、例えば、撮像装置40に対して撮像開始信号を送信する。また、撮像装置制御部41は、加工機70の画像情報を取得する画像情報取得部の一例であり、例えば、撮像装置40により撮像された加工機70の動画または静止画の画像情報を受信する。撮像装置制御部41は、主に、図3に示したCPU101で実行されるプログラム等によって実現される。
The imaging
記憶・読出部19は、記憶部1000に各種データを記憶させ、または記憶部1000から各種データを読み出す機能である。記憶・読出部19は、主に、図3に示したCPU101で実行されるプログラム等によって実現される。記憶部1000は、主に、図3に示したROM102、HD104および記録メディア111aによって実現される。
The storage/
また、記憶部1000には、条件情報管理DB1001、検知信号管理DB1003およびモデル情報管理DB1005、および画像情報管理DB1007が構築されている。このうち、条件情報管理DB1001は、後述の条件情報管理テーブルによって構成されている。検知信号管理DB1003は、後述の検知信号管理テーブルによって構成されている。モデル情報管理DB1005は、後述のモデル情報管理テーブルによって構成されている。画像情報管理DB1007は、後述の画像情報管理テーブルによって構成されている。記憶・読出部19は、記憶制御部の一例である。
In the
〇検知装置の機能構成〇
次に、検知装置30の機能構成について説明する。検知装置30によって実現される機能は、装置接続部31および検知信号取得部32を含む。
◯ Functional Configuration of Detection Device ◯ Next, the functional configuration of the
装置接続部31は、検知信号取得部32によって取得された検知信号を、情報処理装置10へ送信する機能である。装置接続部31は、主に、図4に示したセンサアンプ302によって実現される。
The
検知信号取得部32は、加工機70の動作によって変化する振動または音等の物理量を検知し、物理量の情報を検知信号として取得する機能である。検知信号取得部32は、主に、図4に示したセンサ301によって実現される。検知信号取得部32は、加工機70に設置されたドリル、エンドミル、バイトチップもしくは砥石等の工具50と加工対象とが加工動作中に接触することにより発する振動もしくは音等、または、工具50もしくは加工機70自体が発する振動もしくは音等の物理量を検知し、検知した物理量の情報を検知情報(センサデータ)として取得する。へ出力する。例えば、加工に用いる工具50である刃の折れ、および、刃のチッピング等が発生すると、加工時の音が変化する。そのため、検知信号取得部32は、マイク等のセンサ301を用いて音響データを検知し、検知した音響データに係る検知信号を、装置接続部31を介して、情報処理装置10へ送信する。検知信号取得部32は、主に、図4に示したセンサ301によって実現される。
The detection
〇加工機の機能構成〇
次に、加工機70によって実現される機能は、送受信部71、数値制御部72、駆動制御部73、駆動部74、設定部75、受付部76、表示制御部77および音制御部78を含む。
〇 Functional configuration of processing machine 〇 Next, the functions realized by the processing
送受信部71は、情報処理装置10等の外部装置との間で各種データ(または情報)の送受信を行う機能である。送受信部71は、加工機70の現在の動作に係る処理情報を、情報処理装置10へ送信する。送受信部71は、主に、図4に示した通信I/F705、およびCPU701で実行されるプログラム等によって実現される。
The transmitting/receiving
数値制御部72は、駆動制御部73による加工を数値制御(NC:Numerical Control)により実行する機能である。例えば、数値制御部72は、駆動部74の動作を制御するための数値制御データを生成して出力する。また、数値制御部72は、加工機70の動作に係る処理情報を送受信部71に出力する。数値制御部72は、例えば、現在の加工機70の動作に対応するコンテキスト情報を、逐次、送受信部71を介して情報処理装置10へ送信する。数値制御部72は、加工対象を加工する際、加工の工程に応じて、駆動する駆動部74の種類、または駆動部74の駆動状態(回転数、回転速度等)を変更する。数値制御部72は、動作の種類を変更するごとに、変更した動作の種類に対応するコンテキスト情報を、送受信部71を介して情報処理装置10へ逐次送信する。数値制御部72は、主に、図4に示したCPU701で実行されるプログラム等によって実現される。
The
駆動制御部73は、数値制御部72により求められた数値制御データに基づいて、駆動部74を駆動制御する機能である。駆動制御部73は、例えば、図4に示す駆動回路706によって実現される。駆動制御部73は、主に、図4に示した駆動回路706、およびCPU701で実行されるプログラム等によって実現される。
The
駆動部74は、駆動制御部73による駆動制御の対象となる機能である。駆動部74は、駆動制御部73による制御によって工具を駆動する。駆動部74は、駆動制御部73によって駆動制御されるアクチュエータであり、主に、図23に示すモータ706a等によって実現される。なお、駆動部74は、加工に用いられ、数値制御の対象となるものであればどのようなアクチュエータであってもよい。また、駆動部74は、二つ以上備えられていてもよい。
The
設定部75は、加工機70の現在の動作に対応する条件情報を設定する機能である。設定部75は、主に、図4に示したCPU701で実行されるプログラム等によって実現される。
The setting
受付部76は、図4に示したキーボード708a等の入力手段に対するユーザ入力を受け付ける機能である。受付部76は、例えば、ディスプレイ704aに表示された出力信号選択画面200(図15参照)に対する入力に応じて、出力項目の選択を受け付ける。受付部76は、主に、図4に示した入力I/F708、およびCPU701で実行されるプログラム等によって実現される。
The receiving
表示制御部77は、図4に示したディスプレイ704aに各種画面情報を表示させる機能である。表示制御部77は、例えば、ディスプレイ704aに出力信号選択画面200(図15参照)を表示させる。表示制御部77は、主に、図4に示したディスプレイI/F704、およびCPU701で実行されるプログラム等によって実現される。
The
音制御部78は、図4に示されているCPU701からの命令によって実現され、スピーカ707aから音信号を出力する機能である。音制御部78は、スピーカ707aから出力させる検知信号を設定し、設定した検知信号をスピーカ707aから音響出力させる。音制御部78は、主に、図4に示した音出力I/F707、およびCPU701で実行されるプログラム等によって実現される。
The
図6は、本実施形態に係る信号処理部の詳細な機能構成の一例を示す図である。図6に示す信号処理部17は、増幅処理部171、A/D変換部172、特徴量抽出部173、D/A変換部174およびスコア算出部175を含む。
FIG. 6 is a diagram showing an example of a detailed functional configuration of the signal processing unit according to this embodiment. The
増幅処理部171は、検知装置通信部12によって受信された検知信号の増幅処理を行う機能である。増幅処理部171は、例えば、検知装置通信部12によって受信されたアナログ信号を任意の大きさに増幅する。また、増幅処理部171は、例えば、A/D変換部172によって変換されたデジタル信号を任意の大きさに増幅する。
The
A/D変換部172は、増幅処理部171によって増幅処理されたアナログ信号を、デジタル信号に変換する処理を行う機能である。
The A/
特徴量抽出部173は、検知装置通信部12によって受信された検知信号の特徴を示す特徴量(特徴情報)を抽出する機能である。特徴量は、検知信号の特徴を示す情報であればどのような情報であってもよい。例えば、検知信号が音響データである場合、特徴量抽出部173は、エネルギー、周波数スペクトル、時間またはMFCC(メル周波数ケプストラム係数)等を特徴量として抽出してもよい。
The feature
D/A変換部174は、増幅処理部171によって増幅処理されたデジタル信号を、アナログ信号に変換する処理を行う機能である。
The D/
スコア算出部175は、特徴量抽出部173が抽出した検知信号の特徴量(例えば、周波数スペクトル)から加工機70の異常の可能性を示す可能性情報の一例としてのスコアを算出する。スコア算出部175は、加工機70の異常の可能性を示す可能性情報を決定する可能性情報決定部の一例である。
The
〇検知信号の記憶処理〇
図7は、本実施形態に係る異常検知システムにおける検知信号の記憶処理の一例を示すシーケンス図である。
◯Storage Processing of Detection Signals◯ FIG. 7 is a sequence diagram showing an example of storage processing of detection signals in the anomaly detection system according to the present embodiment.
ステップS11において、加工機70の送受信部71は、情報処理システム5を構成する情報処理装置10へ、現在の加工機70の動作に係る処理情報を送信する。具体的には、加工機70の設定部75は、被加工材(加工対象)への加工開始時に、具体的な加工内容を示す処理情報を設定する。処理情報は、上述のように、加工機70の動作の種類ごとに定められるコンテキスト情報である。そして、送受信部71は、設定部75によって設定された処理情報を、情報処理装置10へ送信する。これにより、情報処理装置10の送受信部11は、加工機70から送信された処理情報を受信する(処理情報取得ステップの一例)。
In step S<b>11 , the transmission/
ステップS12において、情報処理装置10の生成部16は、送受信部11によって受信された処理情報を含む条件情報を識別するための条件IDを生成する。
In step S<b>12 , the
そして、ステップS13において、記憶・読出部19は、生成部16によって生成された条件IDと、送受信部11によって受信された処理情報と関連づけた条件情報を、条件情報管理DB1001に記憶して管理する(記憶制御ステップの一例)。その際、記憶・読出部19は、関連する処理を示す処理情報に対して付与される関連IDも、条件情報管理DB1001に記憶して管理する。条件情報管理DB1001は、条件IDごとに、加工機70により実行される具体的な加工処理の内容を示す処理情報を関連づけて条件情報管理テーブルに記憶・管理している。
Then, in step S13, the storage/
ステップS14において、情報処理システム5を構成する検知装置30の検知信号取得部32は、加工機70により発生した振動または音等の物理量を検知する。ここでは、検知信号取得部32は、加工機70によって発生した音を検知し、検知した音に係る検知信号(音響信号)を取得する。
In step S<b>14 , the detection
ステップS15において、検知装置30の装置接続部31は、ステップS14によって取得された検知信号を、情報処理装置10へ送信する。これにより、情報処理装置10の検知装置通信部12は、検知装置30から送信された検知信号を受信する(検知情報取得ステップの一例)。
In step S<b>15 , the
ステップS16において、情報処理装置10の信号処理部17は、検知装置通信部12によって受信された検知信号の信号処理を行う。
In step S<b>16 , the
ステップS17において、情報処理装置10の記憶・読出部19は、信号処理部17によって処理された信号データを、加工機70から送信された処理情報に対応付けて、検知信号管理DB1003に記憶する(記憶制御ステップの一例)。情報処理装置10は、ステップS12によって生成された条件IDごとに、ステップS11によって受信された処理情報に含まれる加工回数データ、ステップS15によって受信された検知信号に係る信号データ、信号処理部17によって処理された信号データ(周波数データ、スコアデータ)、およびステップS11によって受信された処理情報に含まれる処理情報データを関連づけて検知信号管理テーブルに記憶して管理する。情報処理装置10は、加工回数データに代えて、加工時間データを記憶して管理してもよい。
In step S17, the storage/
すなわち、記憶・読出部19は、加工機70から送信された複数の処理情報のそれぞれの処理情報に対応付けて、複数の特徴量のそれぞれの特徴量(周波数データ)を検知信号管理DB1003に記憶させる。
That is, the storage/
〇条件情報管理テーブル
図8は、本実施形態に係る条件情報管理テーブルの一例を示す概念図である。記憶部1000には、図7のステップS13で説明した条件情報管理DB1001が、図8に示すような条件情報管理テーブルによって構成されている。
◯Condition Information Management Table FIG. 8 is a conceptual diagram showing an example of the condition information management table according to the present embodiment. In the
図8に示す条件情報管理テーブルは、加工機70の動作に係る処理情報を加工機70が行った動作ごとに管理するためのものである。条件情報管理テーブルには、条件IDごとに処理情報が関連づけられた条件情報が記憶して管理されている。条件IDは、処理情報を含む条件情報を識別するための識別情報である。処理情報は、加工機70の動作の種類ごとに定められるコンテキスト情報である。図8に示すように、処理情報には、工具50の種別(工具50の識別情報)、加工機70による加工方法(加工種別)、その動作を開始してからの累積ジョブ回数、加工機70を用いて加工される被加工材の情報が含まれる。工具50の種別としては、例えば、ドリル、エンドミル、フェイスミル、ボールエンドミル、ザグリカッタ、ボーリング、バイトチップ、砥石等である。また、加工方法としては、切削、研磨である。より詳細には、加工方法には、穴あけ、貫通穴あけ、キツツキ加工、溝加工、側面加工、コンター加工、ランピング加工、バリ取り等が含まれる。さらに、被加工材としては、合金、カーボン樹脂、樹脂材等である。より詳細には、被加工材は、図8に示すように、S50C(日本工業規格(JIS))、FC250(日本工業規格(JIS))、S20CK(日本工業規格(JIS))等で表される。
The condition information management table shown in FIG. 8 is for managing processing information related to the operation of the
処理情報に含まれる項目は、さらに、加工機70に対するユーザの操作履歴情報、1回のジョブに含まれる加工回数(加工機70の動作回数の一例)、加工機70の識別情報、工具50の径および工具50の材質等のコンフィギュレーション情報、並びに工具50の動作状態を示す情報を含む。このうち、工具50の動作状態を示す情報には、例えば、工具50の被加工材(加工対象)に対する送り動作から実際の加工処理が終了するまでの区間を示すためのON/OFF信号(「ラダー信号」)等が含まれる。また、処理情報に含まれる項目には、工具50(駆動部74)の使用開始からの累積使用時間、工具50(駆動部74)に係る負荷、工具50(駆動部74)の回転数、工具50(駆動部74)の加工速度等の加工条件等を示す情報が含まれていてもよい。さらに、加工時間(加工機70の動作時間の一例)が含まれていてもよく、加工回数に代えて加工時間が含まれてもよい。
Items included in the processing information further include user operation history information for the
条件情報管理テーブルには、さらに、加工機70による動作のうち関連する動作(処理)を識別するための関連IDが関連づけられて記憶して管理されている。関連IDは、条件情報管理テーブルに含まれる処理情報のうち、関連する処理を示す処理情報に対して同一の関連IDが付与されている。図8の例では、条件ID;「A000001」と条件ID;「A00004」によって識別される処理情報に、同一の関連ID;「R001」が付与され、条件ID;「A000002」と条件ID;「A000007」によって識別される処理情報に、同一の関連ID;「R002」が付与されている。ここで、関連IDが付与される関連する処理とは、例えば、工具の種別と被加工材(加工対象)が同一で、ジョブ回数の異なる処理である。なお、関連IDが付与される処理は、これに限られず、ユーザの設定に応じて適宜複数の処理を対応づけるために関連IDを付与させることができる。
The condition information management table further stores and manages associated IDs for identifying related operations (processes) among the operations performed by the processing
次に、図9乃至図10を用いて、図7のステップS16に対応する、信号処理部17による検知信号に対する処理について説明する。
Next, processing of the detection signal by the
図9は、本実施形態に係る情報処理装置における検知信号に対する信号処理の一例を示すフローチャートである。 FIG. 9 is a flowchart showing an example of signal processing for detection signals in the information processing apparatus according to this embodiment.
まず、ステップS151において、情報処理装置10は、検知装置通信部12によって検知信号が受信(取得)された場合、処理をステップS152へ移行させる。一方で、情報処理装置10は、検知装置通信部12によって検知信号が受信(取得)されるまでステップS151の処理を繰り返す。
First, in step S<b>151 , when the detection signal is received (acquired) by the detection
ステップS152において、信号処理部17の増幅処理部171は、検知装置通信部12によって受信(取得)された検知信号の増幅処理を行い、検知信号を任意の大きさに増幅させる。ステップS153において、信号処理部17のA/D変換部172は、増幅処理部171によって増幅されたアナログ信号を、デジタル信号に変換する。
In step S152, the
ステップS154において、信号処理部17の特徴量抽出部173は、A/D変換部172によって変換されたデジタル信号の特徴を示す特徴量(特徴情報)を抽出する処理を行う(特徴量抽出ステップの一例)。具体的には、特徴量抽出部173は、A/D変換部172によって変換されたデジタル信号に含まれる周波数スペクトルを抽出する。
In step S154, the feature
ステップS155において、信号処理部17のスコア算出部175は、特徴量抽出部173が抽出した検知信号の特徴量(例えば、周波数スペクトル)から加工機70の異常の可能性を示すスコアを算出する。
In step S<b>155 , the
具体的には、スコア算出部175は、検知情報の特徴情報が正常であることの尤もらしさを示す尤度を、記憶部1000のモデル情報管理DB1005に記憶される正常データを示す特徴情報のモデル情報を用いて算出し、尤度の逆数をスコアとして算出する。
Specifically, the
スコア算出部175は、スコアを段階的にランク付けして算出してもよく、0、1の2値で算出してもよい。スコア算出部175は、算出したスコアを累積してもよい。
The
また、スコア算出部175は、検知情報の特徴情報が異常であることの尤もらしさを示す尤度を、モデル情報管理DB1005に記憶される異常データを示す特徴情報のモデル情報を用いてスコアとして算出してもよい。
Further, the
ここで、図9のステップS154に対応する、加工機70の動作中に検知される検知信号の周波数成分について説明する。
Here, the frequency component of the detection signal detected during operation of the
図10(a)は、加工機70の加工動作において、正常に加工が行われている際に検知される検知信号のスペクトログラムを示し、図10(b)は、加工機70の加工動作において、異常が発生している際に検知される検知信号のスペクトログラムを示す。図10(b)に示すように、加工機70における加工動作中に異常が発生した場合、30000Hz付近に周波数成分が現れる。
FIG. 10(a) shows a spectrogram of detection signals detected during normal processing in the processing operation of the
そして、図9のステップS155に示すスコア算出ステップでは、例えば、図10(b)に示すスペクトログラムが、異常データを示すモデル情報である場合、特徴量抽出部173が抽出した検知信号のスペクトログラムが、30000Hz付近の周波数成分をどの程度含むかによって、検知信号のスペクトログラムが異常であることの尤もらしさを示す尤度をスコアとして算出する。 Then, in the score calculation step shown in step S155 in FIG. 9, for example, when the spectrogram shown in FIG. The likelihood that the spectrogram of the detection signal is abnormal is calculated as a score, depending on how many frequency components around 30000 Hz are included.
〇検知信号管理テーブル
図11は、本実施形態に係る検知信号管理テーブルの一例を示す概念図である。記憶部1000には、図7のステップS17で説明した検知信号管理DB1003が、図11に示すような検知信号管理テーブルによって構成されている。
O Detection Signal Management Table FIG. 11 is a conceptual diagram showing an example of the detection signal management table according to the present embodiment. In the
図11に示す検知信号管理テーブルは、加工機70から送信された処理情報に対応付けて、検知装置30から送信された検知信号を管理するためのものである。検知信号管理テーブルには、条件IDごとに、加工機70から送信された加工回数データ、検知信号、特徴量抽出部173によって抽出された周波数データ、スコア算出部175によって算出されたスコアデータおよび加工機70から送信された加工回数毎の処理情報データが関連づけられて記憶して管理されている。条件IDは、図8に示した条件情報管理テーブルに含まれる条件情報を識別するための識別情報である。これにより、条件ID毎に、信号データ(検知信号)は、関連データ(処理された信号データ(周波数データ、スコアデータ)、加工回数データおよび加工回数毎の処理情報データ)と関連付けて記憶される。検知信号管理テーブルには、加工回数データおよび加工回数毎の処理情報データに代えて、加工時間データおよび加工時間毎の処理情報データを記憶して管理されてもよい。
The detection signal management table shown in FIG. 11 is for managing the detection signal transmitted from the
図12は、本実施形態に係る情報処理装置における画像情報に対する処理の一例を示すフローチャートである。 FIG. 12 is a flowchart showing an example of processing for image information in the information processing apparatus according to this embodiment.
情報処理装置10は、加工機70の画像を撮像する撮像装置40を備えるが、画像情報に基づき加工機70の異常を判断する場合、効率面での課題があった。
The
すなわち、画像情報に基づき異常判断するためには、正常な画像も含む膨大な容量の画像情報を保存する必要があり、異常判断するための画像処理の時間も膨大にかかってしまう。また、加工機の場合、精度のよい画像を撮像するためには、クーラント等のノイズを除去するために、加工機の動作を一時停止する必要があり、生産性の面での課題もある。 That is, in order to make an abnormality judgment based on image information, it is necessary to store a huge amount of image information including normal images, and image processing for making an abnormality judgment takes a huge amount of time. In the case of a processing machine, in order to capture an image with high accuracy, it is necessary to temporarily stop the operation of the processing machine in order to remove noise such as coolant, which poses a problem in terms of productivity.
一方、画像情報に基づく異常判断の効率を向上させるために、撮像装置40による撮像の頻度を下げた場合、肝心な異常状態を示す画像を取得できないおそれがあり、異常判断の精度が低下する。
On the other hand, if the frequency of imaging by the
本実施形態では、以上の課題に鑑み、効率的かつ精度良く加工機70の異常を判断できる情報処理装置10を提供することを目的とする。
In view of the above problems, an object of the present embodiment is to provide an
情報処理装置10の撮像装置制御部41は、スコア算出部175が算出したスコアが閾値以上か判断する(ステップS21)。
The imaging
撮像装置制御部41は、ステップS21で閾値以上と判断した場合、撮像装置40に対して撮像を開始させるための撮像開始信号を送信する(ステップS22、撮像制御ステップの一例)。すなわち、撮像装置制御部41は、検知信号に基づき算出されるスコアに基づき、撮像装置40を制御する。一方、撮像装置制御部41は、ステップS21で閾値未満と判断した場合、処理を終了する。
If the imaging
なお、情報処理装置10は、スコア算出部175が算出したスコアに関わらないタイミングで撮像装置40に撮像を開始させ、撮像装置制御部41は、スコア算出部175が算出したスコアが閾値以上の場合、撮像装置40に対して撮像を終了させるための撮像終了信号を送信するタイミングを遅くしても良い。
Note that the
撮像装置制御部41は、ステップS22に続いて、撮像装置40が撮像した動画または静止画の画像データを撮像装置40から取得する(ステップS23、画像情報取得ステップの一例)。
After step S22, the imaging
情報処理装置10の記憶・読出部19は、撮像装置制御部41が取得した動画または静止画の画像データを、加工機70から送信された処理情報に対応付けて、検知信号管理DB1003に記憶する(ステップS24)。
The storage/
情報処理装置10は、図7に示したステップS12によって生成された条件IDごとに、ステップS11によって受信された処理情報に含まれる加工回数データに関連づけて動画または静止画の画像データを画像情報管理テーブルに記憶して管理する。情報処理装置10は、加工回数データに代えて、加工時間データを記憶して管理してもよい。
The
情報処理装置10の信号処理部17のスコア算出部175は、撮像装置制御部41が取得した動画または静止画の画像データから加工機70の異常の可能性を示す第2の可能性情報の一例としての第2のスコアを算出する(ステップS25)。
The
具体的には、スコア算出部175は、画像データが正常であることの尤もらしさを示す尤度を、記憶部1000のモデル情報管理DB1005に記憶される正常データを示すモデル情報を用いて算出し、尤度の逆数を第2のスコアとして算出する。
Specifically, the
スコア算出部175は、第2のスコアを段階的にランク付けして算出してもよく、0、1の2値で算出してもよい。
The
また、スコア算出部175は、画像データが異常であることの尤もらしさを示す尤度を、モデル情報管理DB1005に記憶される異常データを示すモデル情報を用いて第2のスコアとして算出してもよい。
Further, the
情報処理装置10の判断部21は、スコア算出部175が算出した第2のスコアが閾値以上か判断し(ステップS26)、閾値以上と判断した場合は、加工機70が異常であると判断する(ステップS27)。すなわち、判断部21は、スコアと、画像情報に基づき決定される加工機70の異常の可能性を示す第2のスコアに基づいて、加工機70の異常を判断する。
The
情報処理装置10は、加工機70が異常であると判断した場合、ディスプレイ106aやスピーカ109a等を用いて表示や音による警報を出力する。
When the
以上説明したように、情報処理装置10は、撮像装置40により撮像された加工機70の画像情報を取得する撮像装置制御部41を備え、撮像装置制御部41は、検知信号に基づき、撮像装置40を制御する。
As described above, the
これにより、情報処理装置10は、検知信号に基づいて加工機70の画像情報を取得するタイミングを決められるため、効率的に加工機70の画像情報を取得できる。
Accordingly, the
撮像装置制御部41は、検知信号に基づき決定される加工機70の異常の可能性を示すスコアに基づき撮像装置40を制御する。
The imaging
これにより、情報処理装置10は、スコアに基づき加工機70の異常の可能性が高いときに、効率的に加工機70の画像情報を取得できる。
Thereby, the
情報処理装置10は、スコアと、画像情報に基づいて、加工機70の異常を判断する判断部21を備える。具体的には、判断部21は、スコアと、画像情報に基づき決定される加工機70の異常の可能性を示す第2のスコアに基づいて、加工機70の異常を判断する。
The
以上により、情報処理装置10は、効率的かつ精度良く、加工機70の異常を判断することができる。
As described above, the
図13は、本実施形態に係る画像情報管理テーブルの一例を示す概念図である。 FIG. 13 is a conceptual diagram showing an example of an image information management table according to this embodiment.
記憶部1000には、図5で説明した画像情報管理DB1007が、図13に示すような画像情報管理テーブルによって構成されている。
In the
図13に示す画像情報管理テーブルは、撮像装置制御部41が取得した動画または静止画の画像データを管理するためのものである。
The image information management table shown in FIG. 13 is for managing image data of moving images or still images acquired by the imaging
画像情報管理テーブルには、条件IDごとに、加工機70から送信された加工回数データおよび動画または静止画の画像データが関連づけられて記憶して管理されている。条件IDは、図8に示した条件情報管理テーブルに含まれる条件情報を識別するための識別情報である。画像情報管理テーブルには、加工回数データに代えて、加工時間データを記憶して管理されてもよい。
The image information management table stores and manages the processing frequency data and the moving image or still image data transmitted from the processing
ここで、図11に示す検知信号管理テーブルは、条件ID毎に、信号データ(検知信号)と、関連データ(処理された信号データ(周波数データ、スコアデータ)、加工回数データおよび加工回数毎の処理情報データ)と関連付けて記憶しており、検知信号管理テーブルが記憶して管理する条件IDは、画像情報管理テーブルが記憶して管理する条件IDと共通である。 Here, the detection signal management table shown in FIG. 11 includes, for each condition ID, signal data (detection signal), related data (processed signal data (frequency data, score data), processing frequency data, and processing information data), and the condition IDs stored and managed by the detection signal management table are common to the condition IDs stored and managed by the image information management table.
したがって、情報処理装置10は、図11に示す検知信号管理テーブルと、図13に示す画像情報管理テーブルとを兼ね備えることにより、条件ID毎に、動画または静止画の画像データと、信号データ(検知信号)と、関連データ(処理された信号データ(周波数データ、スコアデータ)、加工回数データおよび加工回数毎の処理情報データ)と、を関連付けて記憶している。
Therefore, the
〇信号データの表示処理およびモデル情報の記憶処理〇
図14は、本実施形態に係る情報処理装置におけるスコアの表示処理およびモデル情報の記憶処理の一例を示すフローチャートである。
Display Processing of Signal Data and Storage Processing of Model Information FIG. 14 is a flowchart showing an example of display processing of scores and storage processing of model information in the information processing apparatus according to the present embodiment.
ステップS31において、情報処理装置10の表示制御部14は、ディスプレイ106aに出力信号選択画面200を表示させる。具体的には、表示制御部14は、ディスプレイ106aに表示された所定の入力画面に対する入力を受付部13が受け付けることによって、出力信号選択画面200を表示させる。
In step S31, the
ステップS32において、ユーザが出力項目の入力を行うことによって、受付部13は、入力された出力項目データを含む信号選択要求を受け付ける。
In step S<b>32 , when the user inputs the output item, the receiving
ステップS33において、情報処理装置10は、受付部13によって受け付けられた出力項目データに基づいて、スコアの表示処理、およびモデル情報として記憶させる信号データの選択処理を実行する(選択ステップの一例)。
In step S33, the
ステップS34において、記憶・読出部19は、選択された信号データをモデル情報としてモデル情報管理DB1005に記憶する。
In step S34, the storage/
図15は、本実施形態に係る情報処理装置に表示される出力信号選択画面の一例を示す図である。 FIG. 15 is a diagram showing an example of an output signal selection screen displayed on the information processing apparatus according to this embodiment.
図15は、図14に示したフローチャートのステップS31およびステップS32に対応する、情報処理装置に表示される出力信号選択画面の一例を示す図である。図15に示す出力信号選択画面200は、表示させるスコアおよびモデル情報として記憶させる信号データをユーザに選択させるための表示画面である。出力信号選択画面200には、表示させるスコアおよびモデル情報として記憶させる検知信号を特定するための出力項目選択領域210、スコアを表示させるための「VIEW」ボタン225、および処理を中止する場合に押下される「CANCEL」ボタン203が含まれている。
FIG. 15 is a diagram showing an example of an output signal selection screen displayed on the information processing device, corresponding to steps S31 and S32 of the flowchart shown in FIG. The output
ここで、出力項目選択領域210には、処理情報に含まれる各種項目のデータが選択可能になっている。出力項目選択領域210には、例えば、工具50(駆動部74)を選択可能な工具選択領域211、被加工材(加工対象)を選択可能な被加工材選択領域212、加工方法を選択可能な加工方法選択領域213、および加工回数を選択可能な加工回数選択領域214が含まれている。図15の例では、受付部13は、出力項目データとして、工具;「ドリル(φ1mm)」、被加工材;「FC250(日本工業規格(JIS))」、加工方法;「切削」、ジョブ回数;「1回目」のデータを受け付ける。なお、出力項目選択領域210に含まれる各選択領域に対応する項目は、これに限られず、処理情報に示される項目に応じて適宜追加変更されてもよく、加工回数のデータに代えて加工時間のデータを選択可能として受け付けても良い。
Here, in the output
そして、図15に示した「VIEW」ボタン225を押下することによって、出力項目選択領域210で選択された信号データについて、表示処理が行われる。
By pressing the "VIEW"
以上説明した図14および図15において、情報処理装置10に出力信号選択画面200を表示させてユーザに出力対象の検知信号を選択させる例を説明したが、加工機70に出力信号選択画面200を表示させてユーザに出力対象の検知信号を選択させる構成であってもよい。また、図14および図15では、加工回数を用いた例を説明したが、加工回数に代えて加工時間を用いた場合も同様である。
14 and 15 described above, an example in which the output
図16は、本実施形態に係る情報処理装置における表示選択処理の一例を示すフローチャートである。図16は、図14に示したフローチャートのステップS33に対応する表示選択処理の一例を示すフローチャートである。 FIG. 16 is a flowchart showing an example of display selection processing in the information processing apparatus according to this embodiment. FIG. 16 is a flow chart showing an example of display selection processing corresponding to step S33 of the flow chart shown in FIG.
ステップS331において、選択部18は、図8に示した条件情報管理テーブルに記憶された処理情報のうち、図14に示したステップS32によって受け付けられた出力項目データに対応する処理情報を選択する。具体的には、記憶・読出部19は、条件情報管理DB1001から条件情報管理テーブルを読み出す。そして、選択部18は、読み出された条件情報管理テーブルに含まれる条件情報のうち、受付部13によって受け付けられた出力項目データに対応する処理情報を含む条件情報を選択する。この場合、選択部18は、例えば、図15に示した出力項目選択領域210に入力された出力項目データに対応する処理情報である条件ID;「A000001」の条件情報を選択する。
In step S331, the
ステップS332において、選択部18は、図11に示した検知信号管理テーブルに記憶されたデータのうち、ステップS331によって選択された処理情報に関連づけられた条件IDと同一の条件IDに関連づけられた信号データおよび関連データを選択する。具体的には、記憶・読出部19は、検知信号管理DB1003から検知信号管理テーブルを読み出す。そして、選択部18は、読み出された検知信号管理テーブルに含まれるデータのうち、選択された条件情報に含まれる条件IDに関連づけられた信号データおよび関連データを選択する。この場合、選択部18は、例えば、条件ID;「A000001」に関連づけられた信号データおよび関連データを選択する。
In step S332, the
ステップS333において、選択部18は、図13に示した画像情報管理テーブルに記憶されたデータのうち、ステップS331によって選択された処理情報に関連づけられた条件IDと同一の条件IDに関連づけられた画像データを選択する。具体的には、記憶・読出部19は、画像情報管理DB1007から画像情報管理テーブルを読み出す。そして、選択部18は、読み出された画像情報管理テーブルに含まれるデータのうち、選択された条件情報に含まれる条件IDに関連づけられた画像データを選択する。この場合、選択部18は、例えば、条件ID;「A000001」に関連づけられた画像データを選択する。
In step S333, the
ステップS334において、情報処理装置10の表示制御部14は、ディスプレイ106aに情報表示選択画面250を表示させる。そして、表示制御部14は、ステップS332で選択された信号データおよび関連データ、およびステップS333で選択された画像データを、条件IDを介して対応付けて情報表示選択画面250に表示させる。
In step S334, the
ステップS335において、ユーザが情報表示選択画面250で区間を選択しすることによって、受付部13は、区間の選択を受け付ける(受付ステップの一例)。
In step S335, when the user selects a section on the information
ステップS336において、選択部18は、ステップS332によって選択された信号データおよび関連データのうち、ステップS335によって選択された区間に係る信号データおよび関連データを選択する。
In step S336, the
図17は、本実施形態に係る情報処理装置に表示される情報表示選択画面の一例を示す図である。 FIG. 17 is a diagram showing an example of an information display selection screen displayed on the information processing apparatus according to this embodiment.
図17は、図16に示したフローチャートのステップS334およびステップS335に対応する、情報処理装置に表示される情報表示選択画面の一例を示す図である。図17に示す情報表示選択画面250は、選択部18によって選択された信号データに係る検知信号のスコアを表示し、検知信号の特定の区間を選択するための表示画面である。
FIG. 17 is a diagram showing an example of an information display selection screen displayed on the information processing apparatus, corresponding to steps S334 and S335 of the flowchart shown in FIG. The information
ユーザは、情報表示選択画面250に表示されるスコアを確認することにより、加工機70の異常の可能性を確認できるが、実際に異常と判断するためには、工具等を目視で確認する必要があり、異常判断の精度面での課題があった。
The user can confirm the possibility of an abnormality in the
工具等を目視で確認するために、情報表示選択画面250に加工機70の画像データを表示させることが行われるが、多量の画像データの中から異常を示す画像データを目視で確認するのは困難である。そこで、情報処理装置10が、画像データを画像処理して異常を判断することが考えられるが、そうすると膨大な容量の画像情報を保存する必要があり、画像処理により異常判断する時間も膨大にかかるため、効率面での課題がある。
Image data of the
本実施形態では、以上の課題に鑑み、効率的かつ精度良く加工機70の異常を判断できる情報処理装置10を提供することを目的とする。。
In view of the above problems, an object of the present embodiment is to provide an
情報表示選択画面250には、選択部18によって選択された関連データに係る加工回数データが加工回数順にユーザが確認可能な状態で表示されている。
On the information
また、情報表示選択画面250には、選択部18によって選択された関連データに係る特徴量の一例としての周波数スペクトログラム、スコアデータ、および加工回数毎の処理情報データの一例としてのユーザ操作履歴データが、それぞれ加工回数データに対応付けて、複数連続してユーザが確認可能な状態で表示されている。また、画像データAが、極大値のスコアに対応付けて、ユーザが確認可能な状態で表示されている。
Further, on the information
すなわち、表示制御部14は、加工回数、周波数スペクトル、操作履歴情報およびスコアをディスプレイ106aの情報表示選択画面250に複数表示させるとともに、複数の加工回数のそれぞれの加工回数に対応付けて、複数の周波数スペクトルのそれぞれの周波数スペクトルと、複数の操作履歴情報のそれぞれの操作履歴情報と、複数のスコアのそれぞれのスコアと、画像情報を情報表示選択画面250に表示させる(表示ステップの一例)。図17の例では、表示制御部14は、複数のスコアをつないで折れ線グラフとして表示するとともに、この複数のスコアを示す折れ線グラフの横軸方向の位置に対応付けて、画像情報を表示させている。
That is, the
また、表示制御部14は、複数のスコアのうちの極大値のスコアに対応付けて、画像情報を情報表示選択画面250に表示させる。ここで、極大値のスコアは、図12のステップS21で説明した閾値以上のスコアである。
Further, the
さらに、情報表示選択画面250には、特定の区間として加工回数区間を入力する入力領域222、区間の選択処理を行う場合に押下される「OK」ボタン251、および区間の選択処理を中止する場合に押下される「CANCEL」ボタン253が含まれている。
Further, the information
図17に示すように、加工回数1001~1250のスコアのうち、加工回数1230以降にスコアが上昇し、加工回数1250付近のスコアが最も高くなっている。
As shown in FIG. 17, among the scores for the number of
ここで、情報表示選択画面250には、スコアに対応付けて工具の画像データAが表示されており、ユーザは、加工回数1250付近の極大値のスコアに対応する工具の画像データAを確認することができる。
Here, on the information
図17の例の場合、工具の画像データには、通常よりも量が多い切り屑が含まれているため、ユーザは、スコアが高くなった原因が切り屑によるものと判断することができる。 In the example of FIG. 17, the image data of the tool contains a larger amount of chips than usual, so the user can determine that the reason for the high score is the chips.
すなわち、スコアと、スコアに対応付けられた画像情報を確認することにより、加工機70の異常を精度良く判断することができる。
That is, by confirming the score and the image information associated with the score, it is possible to accurately determine whether the processing
なお、画像データは、極大値のスコアに対応付けて表示するだけでなく、図12のステップS21で説明した閾値以上の複数のスコアの全てに対応付けて表示してもよい。その場合、全ての画像データを同時に表示すると画面が煩雑になるため、複数のスコアのそれぞれに対応付けられた画像データのうち、マウス等で選択したスコアに対応付けられた画像データのみ表示することが好ましい。また、スコアの変化が大きい場合に、変化前、変化後または変化前後のスコアに対応付けて画像データを表示しても良い。 Note that the image data may be displayed in association with not only the score of the maximum value, but also in association with all of the plurality of scores equal to or greater than the threshold described in step S21 of FIG. In that case, displaying all the image data at the same time would make the screen cumbersome, so among the image data associated with each of the multiple scores, only the image data associated with the score selected with a mouse or the like should be displayed. is preferred. Moreover, when the change in the score is large, the image data may be displayed in association with the score before, after, or before and after the change.
さらに、図17を用いて、加工回数1001~1250のデータの中から、正常データを選択する例を示す。スコアデータの一例としてのスコアを見ると、加工回数1001~1230までが値が低いことがわかる。システム上で自動的に、「スコアが小さい箇所を正常である」や、「サイクルが若い(例えば1001~1105)サイクルが正常である」と設定すると、この区間が正常データとして選択されうる。 Further, FIG. 17 shows an example of selecting normal data from data of 1001 to 1250 processing times. Looking at the score as an example of the score data, it can be seen that the value is low from 1001 to 1230 times of processing. If the system automatically sets ``a portion with a small score is normal'' or ``a cycle with a young cycle (for example, 1001 to 1105) is normal'', this interval can be selected as normal data.
しかしながら、加工回数1001~1230の区間の周波数データを見ると、低域にノイズが乗っていることがわかる。一方、加工回数1105~1207の区間の周波数データを見ると、加工回数1001~1230の区間のように、低域のノイズは乗っていないことがわかる。 However, looking at the frequency data in the section from 1001 to 1230 times of processing, it can be seen that there is noise in the low frequency range. On the other hand, looking at the frequency data in the section from 1105 to 1207 of the number of processing times, it can be seen that there is no noise in the low frequency range, unlike in the section from 1001 to 1230 of the processing number.
したがって、ユーザは、加工回数1001~1230の一部である加工回数1001~1230の区間のデータが、加工回数1001~1230の区間のデータよりも、正常データとして相応しいと適切に判断できる。
Therefore, the user can appropriately determine that the data in the section of the number of
さらに、加工回数1001~1230の区間のユーザ操作履歴を見ると、オーバーライドを実施していることがわかる。オーバーライドとは工作機械の送り速度を一時的に変更する操作である。オーバーライド実施区間の中で、上述した低域ノイズが発生していることがわかる。これは、送り速度を変えたことにより、ビビリなど異常振動が乗ったためと考えられる。このことからオーバーライド実施区間は正常データの選択として適さないことが判断できる。したがって、ユーザは、オーバーライドを実施していない加工回数1105~1207が正常データとして相応しいとより適切に判断できる。
Furthermore, looking at the user operation history in the section from 1001 to 1230 of the number of times of processing, it can be seen that an override has been performed. An override is an operation that temporarily changes the feed rate of a machine tool. It can be seen that the above-described low-frequency noise occurs in the override execution section. This is thought to be due to abnormal vibrations such as chatter caused by changing the feed rate. From this, it can be determined that the override execution section is not suitable for selection of normal data. Therefore, the user can more appropriately determine that the number of
そして、ユーザが、入力領域222に『1105~1207』と入力して「OK」ボタン251を押下すると、受付部13は、『加工回数1105~1207』の選択を受け付ける。これにより、加工回数1001~1230の一部である『加工回数1105~1207』に対応する検知信号または周波数スペクトルを正常データとして適切に設定することができる。
Then, when the user inputs "1105 to 1207" in the
また、受付部13が受け付ける『加工回数1105~1207』という情報は、入力領域222に表示されているため、ユーザは、入力領域222に表示されている内容を確認しながら、『加工回数1105~1207』に対応する検知信号または周波数スペクトルを正常データとして確実に設定することができる。
In addition, since the information "number of
なお、上記の説明では、入力領域222に『1105~1207』と入力して「OK」ボタン251を押下すると、受付部13は、『加工回数1105~1207』の選択を受け付けたが、例えば、表示されている周波数データ、スコアおよびユーザ操作履歴のうち、『加工回数1105~1207』の部分をマウス等で選択して「OK」ボタン251を押下することにより、受付部13は、『加工回数1105~1207』の選択を受け付けてもよい。
In the above description, when "1105 to 1207" is input in the
以上説明したように、情報処理装置10は、検知信号に基づき決定される加工機70の異常の可能性を示すスコアと、画像情報を対応付けてディスプレイ106aの情報表示選択画面250に表示させる表示制御部14を備える。
As described above, the
これにより、ユーザは、スコアに対応付けて画像情報を確認することにより、スコアだけを確認する場合に比べて、加工機70の異常を精度良く判断できる。また、ユーザは画像情報だけを確認する場合に比べて、加工機70の異常を効率良く判断できる。すなわち、ユーザは、本実施形態に係る情報処理装置10により、加工機70の異常を効率的かつ精度良く判断できる。
Accordingly, by checking the image information in association with the score, the user can more accurately determine the abnormality of the
表示制御部14は、検知信号の周波数スペクトルを情報表示選択画面250に複数表示させるとともに、複数の加工回数のそれぞれの加工回数に対応付けて、複数の周波数スペクトルのそれぞれの周波数スペクトルを情報表示選択画面250に表示させる。
The
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の加工回数のそれぞれの加工回数と、複数の周波数スペクトルのそれぞれの周波数スペクトルと、画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、加工機70の異常を効率的かつ精度良く判断することができる。
Thereby, the user associates each score of the plurality of scores, confirms the number of processing times of each of the plurality of processing times, the frequency spectrum of each of the plurality of frequency spectra, and the image information, thereby obtaining the plurality of scores. Abnormality of the
表示制御部14は、操作履歴情報を情報表示選択画面250に複数表示させるとともに、複数の加工回数のそれぞれの加工回数に対応付けて、複数の操作履歴情報のそれぞれの操作履歴情報を情報表示選択画面250に表示させる。
The
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の加工回数のそれぞれの加工回数と、複数の操作履歴情報のそれぞれの操作履歴情報と、画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、加工機70の異常を効率的かつ精度良く判断することができる。
As a result, the user can confirm the processing count of each of the plurality of processing counts, the operation history information of each of the plurality of operation history information, and the image information in association with each score of the plurality of scores. Abnormality of the
情報処理装置10は、複数の加工回数における一部の複数の加工回数の入力を受け付ける受付部13を備える。
The
これにより、ユーザは、ディスプレイ106aでスコアと、スコアに対応付けられた画像情報を確認した上で、複数の加工回数における一部の複数の加工回数報を入力することができる。よって、一部の複数の加工回数のそれぞれの加工回数に対応する複数の周波数スペクトルのそれぞれの周波数スペクトルを正常データまたは異常データとして適切に設定することができる。
Thereby, the user can confirm the score and the image information associated with the score on the
情報処理装置10は、表示制御部14により、受付部13が受け付ける一部の複数の加工回数を情報表示選択画面250に表示させる。これにより、ユーザは、入力した一部の複数の加工回数を確認することができるため、一部の複数の加工回数のそれぞれの加工回数に対応する複数の周波数スペクトルのそれぞれの周波数スペクトルを正常データまたは異常データとして確実に設定することができる。
The
また、以上説明したように、情報処理装置10は、画像情報をディスプレイ106aの情報表示選択画面250に表示させる表示制御部14を備えるとともに、図12で説明したように、撮像装置40により撮像された加工機70の画像情報を取得する撮像装置制御部41を備え、撮像装置制御部41は、検知信号に基づき、撮像装置40を制御する。
Further, as described above, the
これにより、情報処理装置10は、検知信号に基づいて加工機70の画像情報を取得するタイミングを決められるため、効率的に加工機70の画像情報を取得できる。また、ユーザは、情報表示選択画面250で画像情報を確認することにより、加工機70の異常を精度良く判断することができる。すなわち、ユーザは、本実施形態に係る情報処理装置10により、効率的かつ精度良く、加工機70の異常を判断することができる。
Accordingly, the
撮像装置制御部41は、検知信号に基づき決定される加工機70の異常の可能性を示すスコアに基づき撮像装置40を制御する。
The imaging
これにより、情報処理装置10は、スコアに基づき加工機70の異常の可能性が高いときに、効率的に加工機70の画像情報を取得できる。
Thereby, the
表示制御部14は、スコアを情報表示選択画面250に表示させる。これにより、ユーザは、情報表示選択画面250でスコアと、画像情報を確認することにより、加工機70の異常を精度良く判断することができる。
The
表示制御部14は、スコアに対応付けて画像情報を情報表示選択画面250に表示させる。これにより、ユーザは、情報表示選択画面250でスコアと、画像情報を対応付けて確認することにより、加工機70の異常を精度良く判断することができる。
The
図18は、本実施形態に係るモデル情報管理テーブルの一例を示す概念図である。記憶部1000には、図14のステップS34で説明したように、図18に示すようなモデル情報管理テーブルによって構成されているモデル情報管理DB1005が構築されている。
FIG. 18 is a conceptual diagram showing an example of a model information management table according to this embodiment. In the
モデル情報管理テーブルには、記憶・読出部19によって、関連IDごとに、加工回数データ、検知信号、周波数データ、スコアデータがそれぞれ関連づけられて複数記憶して管理されている。
In the model information management table, the storage/
そして、記憶・読出部19は、受付部13で受け付けられた複数の加工回数のうちの一部の加工回数のそれぞれの加工回数に対応付けられた検知信号、および周波数データを記憶して更新する。
Then, the storage/
図18の例では、関連ID;「R001」のモデル情報として、図17で説明した受付部13で受け付けられた加工回数データ;1105~1207の加工回数データのそれぞれに対応する検知信号、周波数データ、スコアデータが関連づけられて記憶して管理されている。これにより、加工回数1001~1230の一部である加工回数1105~1207に対応する検知信号、周波数データ、スコアデータを正常データとして適切に記憶させることができる。
In the example of FIG. 18, as the model information of the related ID "R001", the number of processing data received by the
なお、モデル情報管理テーブルには、加工回数データを記憶することなく、関連IDごとに、検知信号、周波数データ、スコアデータがそれぞれ関連づけられて時系列順で複数記憶して管理されてもよい。また、モデル情報管理テーブルには、周波数データ、スコアデータを記憶せずに、モデル情報管理テーブルに記憶された検知信号に基づき、再度、図9のステップS154およびステップS155の処理を行って、周波数データを抽出し、スコアデータを算出しても良い。 Note that the model information management table may store and manage a plurality of detection signals, frequency data, and score data associated with each association ID in chronological order without storing the processing count data. Further, without storing the frequency data and the score data in the model information management table, the processing of steps S154 and S155 in FIG. Data may be extracted and score data may be calculated.
以上説明したように、情報処理装置10は、受付部13で受け付けられた一部の複数の加工回数のそれぞれの加工回数に対応付けられた複数の周波数スペクトルのそれぞれの周波数スペクトルを記憶部1000に記憶させる記憶・読出部19を備える。
As described above, the
これにより、一部の複数の加工回数のそれぞれの加工回数に対応する複数の周波数スペクトルのそれぞれの周波数スペクトルを正常データまたは異常データとして適切に記憶させることができる。 Thereby, each frequency spectrum of the plurality of frequency spectra corresponding to each of the plurality of processing times can be appropriately stored as normal data or abnormal data.
図9で説明したように、情報処理装置10は、記憶部1000が記憶する複数の周波数スペクトルと、検知装置通信部12により取得された検知信号の特徴を示す周波数スペクトルとに基づき、スコアを決定するスコア算出部175を備える。
As described in FIG. 9, the
ここで、図18で説明したように、記憶部1000が記憶する複数の周波数スペクトルは更新されるため、情報処理装置10は、加工機70の異常の可能性を示すスコアを精度良く決定することができる。
Here, as described with reference to FIG. 18, since the plurality of frequency spectra stored in the
図19は、本実施形態の第1の変形例に係る情報処理装置に表示される情報表示選択画面の一例を示す図である。 FIG. 19 is a diagram showing an example of an information display selection screen displayed on the information processing apparatus according to the first modification of the embodiment.
情報表示選択画面250には、図18と同様に、周波数スペクトログラム、スコアデータ、およびユーザ操作履歴データが、それぞれ加工回数データに対応付けて、複数連続してユーザが確認可能な状態で表示されている。また、画像データが、極大値のスコアに対応付けて、ユーザが確認可能な状態で表示されている。図19の例では、スコアの極大値が2箇所あるため、2箇所の極大値のスコアのそれぞれのスコアに対応付けて、画像データA、Bが表示されている。また、画像データA、Bは、工具全体の画像データA1、B1と、工具先端を拡大した画像データA2、B2を含んでいる。
On the information
すなわち、表示制御部14は、スコアおよび画像情報をディスプレイ106aの情報表示選択画面250にそれぞれ複数表示させるとともに、複数のスコアのそれぞれのスコアに対応付けて、複数の画像情報のそれぞれの画像情報を情報表示選択画面250に表示させる。
That is, the
図19は、加工回数801~900のデータの中から、異常データを選択する例を示す。スコアデータの一例としてのスコアを見ると、加工回数840付近と加工回数865以降の値が高いことがわかる。システム上で自動的に、「スコアが高い箇所を正常である」と設定すると、この2つの区間が異常データとして選択されうる。
FIG. 19 shows an example of selecting abnormal data from the data of the number of times of processing 801-900. Looking at the score as an example of the score data, it can be seen that the values near the number of times of
しかしながら、加工回数840の直前の周波数データを見ると、一旦データが途切れていることがわかる。また、加工回数840付近では、周波数データもいつもと値の出方が同じであることがわかる。すなわち、周波数データが途切れたことに起因して周波数データの変化を示すスコアが上昇したため、加工の異常が起きた可能性は低いと考えられる。
However, when looking at the frequency data immediately before the number of times of
一方で加工回数865以降は、周波数データを見ると低域に異常振動が乗っていることがわかり、加工になんらかの異常が発生した可能性が高い。このことから、ユーザは、加工回数801~900の一部である加工回数865~900のデータが、加工回数840付近のデータよりも異常データとしてふさわしいと適切に判断できる。
On the other hand, after 865 processing times, the frequency data shows abnormal vibrations in the low range, and it is highly likely that some abnormality occurred in the processing. Therefore, the user can appropriately determine that the data of the number of
さらに、加工回数840の直前のユーザ操作履歴を見ると、機械電源をOFF→ONさせていることがわかる。この直後のスコアが高いのは機械の暖機運転が影響しているためと考えられる。一方で加工回数865以降は、ユーザが特に操作した形跡がないのもかかわらず、周波数データでは低域に異常振動が乗っており、加工になんらかの異常が発生した可能性が高い。このことからユーザは、加工回数801~900の一部である加工回数865~900のデータが、加工回数840付近のデータよりも異常データとしてふさわしいとより適切に判断できる。
Furthermore, when looking at the user operation history immediately before the number of times of
そして、ユーザは、加工回数840付近の極大値のスコアに対応する画像データに示される工具の状態と、加工回数865以降の極大値のスコアに対応する画像データに示される工具の状態を比較することにより、加工回数801~900の一部である加工回数865~900のデータが異常データとしてふさわしいことを画像データから確認できる。
Then, the user compares the state of the tool indicated by the image data corresponding to the maximal score near the
すなわち、スコアと、スコアに対応付けられた画像情報を確認することにより、加工機70の異常を精度良く判断することができる。
That is, by confirming the score and the image information associated with the score, it is possible to accurately determine whether the processing
なお、図19では、加工回数を用いた例を説明したが、加工回数に代えて加工時間を用いた場合も同様である。 Although FIG. 19 illustrates an example using the number of times of processing, the same applies to the case of using the processing time instead of the number of times of processing.
以上説明したように、表示制御部14は、スコアおよび画像情報を情報表示選択画面250にそれぞれ複数表示させるとともに、複数のスコアのそれぞれのスコアに対応付けて、複数の画像情報のそれぞれの画像情報を情報表示選択画面250に表示させる。
As described above, the
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の画像情報のそれぞれの画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、加工機70の異常を精度良く判断することができる。
Thereby, the user can check the image information of each of the plurality of scores in association with each score of the plurality of scores, thereby accurately detecting the abnormality of the
表示制御部14は、加工回数を情報表示選択画面250に複数表示させるとともに、複数の加工回数のそれぞれの加工回数に対応付けて、複数のスコアのそれぞれのスコアと、複数の画像情報のそれぞれの画像情報を情報表示選択画面250に表示させる。
The
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の加工回数のそれぞれの加工回数と、複数の画像情報のそれぞれの画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、加工機70の異常を精度良く判断することができる。
As a result, the user can check the processing count of each of the plurality of processing counts and the image information of each of the plurality of image information in association with each score of the plurality of scores. Abnormality of the
図20は、本実施形態の第2の変形例に係る情報処理装置に表示される情報表示選択画面の一例を示す図である。 FIG. 20 is a diagram showing an example of an information display selection screen displayed on the information processing apparatus according to the second modification of the embodiment.
情報表示選択画面250には、スコアデータが加工回数データに対応付けて、複数連続してユーザが確認可能な状態で表示されている。また、図19と同様に、2箇所の極大値のスコアのそれぞれのスコアに対応付けて、画像データA、Bが表示されており、画像データA、Bは、工具全体の画像データA1、B1と、工具先端を拡大した画像データA2、B2を含んでいる。
On the information
図20は、加工回数801~900の中から、複数の異常データを選択する例を示す。
スコアデータの一例としてのスコアを見ると、加工回数801~900間のスコアで2箇所高くなっていることが分かる。システム上で自動的に、「スコアが高い箇所を正常である」と設定すると、この2つの区間が異常データとして選択されうる。
FIG. 20 shows an example of selecting a plurality of abnormal data from the number of times of processing 801-900.
Looking at the score as an example of the score data, it can be seen that the score between the number of
しかし、ここで、この2箇所のスコアに対応する画像データを比較して、全く異なる傾向にあることが判断できる場合がある。この場合、この2箇所の異なる異常データを、それぞれ、異常1、異常2と呼ぶとすると、ユーザは、それぞれを別々の異常データとして判断することができる。 However, here, it may be possible to determine that there is a completely different tendency by comparing the image data corresponding to these two scores. In this case, if the two different abnormal data are called abnormal 1 and abnormal 2 respectively, the user can judge them as different abnormal data.
図20では、加工回数を用いた例を説明したが、加工回数に代えて加工時間を用いた場合も同様である。 In FIG. 20, an example using the number of times of processing has been described, but the same applies to the case of using the processing time instead of the number of times of processing.
●まとめ●
以上説明したように、本発明の一実施形態に係る情報処理装置10は、加工機70(対象部の一例)の動作によって変化する物理量の検知信号(検知情報の一例)を取得する検知装置通信部12(検知情報取得部の一例)と、加工機70の画像情報を取得する撮像装置制御部41(画像情報取得部の一例)と、検知信号に基づき決定される加工機70の異常の可能性を示すスコア(可能性情報の一例)と、画像情報を対応付けてディスプレイ106a(表示部の一例)に表示させる表示制御部14を備える。
●Summary●
As described above, the
これにより、ユーザは、スコアに対応付けて画像情報を確認することにより、スコアだけを確認する場合に比べて、加工機70の異常を精度良く判断できる。また、ユーザは画像情報だけを確認する場合に比べて、加工機70の異常を効率良く判断できる。すなわち、ユーザは、本実施形態に係る情報処理装置10により、加工機70の異常を効率的かつ精度良く判断することができる。
Accordingly, by checking the image information in association with the score, the user can more accurately determine the abnormality of the
表示制御部14は、スコアおよび画像情報をディスプレイ106aにそれぞれ複数表示させるとともに、複数のスコアのそれぞれのスコアに対応付けて、複数の画像情報のそれぞれの画像情報をディスプレイ106aに表示させる。
The
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の画像情報のそれぞれの画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、加工機70の異常を効率的かつ精度良く判断することができる。
Thereby, the user can confirm the image information of each of the plurality of images in association with each score of the plurality of scores, thereby efficiently identifying the abnormality of the
表示制御部14は、加工機70の動作回数または動作時間を示す動作情報をディスプレイ106aに複数表示させるとともに、複数の動作情報のそれぞれの動作情報に対応付けて、複数のスコアのそれぞれのスコアと、複数の画像情報のそれぞれの画像情報をディスプレイ106aに表示させる。
The
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の動作情報のそれぞれの動作情報と、複数の画像情報のそれぞれの画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、加工機70の異常を効率的かつ精度良く判断することができる。
Accordingly, the user can confirm the motion information of each of the plurality of motion information and the image information of each of the plurality of image information in association with the score of each of the plurality of scores. Abnormality of the
表示制御部14は、検知信号の周波数スペクトル(検知情報の特徴を示す特徴情報の一例)をディスプレイ106aに複数表示させるとともに、複数の動作情報のそれぞれの動作情報に対応付けて、複数の周波数スペクトルのそれぞれの周波数スペクトルをディスプレイ106aに表示させる。
The
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の動作情報のそれぞれの動作情報と、複数の周波数スペクトルのそれぞれの周波数スペクトルと、複数の画像情報のそれぞれの画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、加工機70の異常を精度良く判断することができる。
Thereby, the user associates each of the plurality of scores with the motion information of each of the plurality of motion information, the frequency spectrum of each of the plurality of frequency spectra, and the image information of each of the plurality of image information. By checking, the abnormality of the
情報処理装置10は、加工機70に対するユーザの操作履歴を示す操作履歴情報(対象部の動作に係る処理情報の一例)を取得する送受信部11(処理情報取得部の一例)を、さらに備え、表示制御部14は、操作履歴情報をディスプレイ106aに複数表示させるとともに、複数の動作情報のそれぞれの動作情報に対応付けて、複数の操作履歴情報のそれぞれの操作履歴情報をディスプレイ106aに表示させる。
The
これにより、ユーザは、複数のスコアのそれぞれのスコアに対応付けて、複数の動作情報のそれぞれの動作情報と、複数の操作履歴情報のそれぞれの操作履歴情報と、複数の画像情報のそれぞれの画像情報を確認することにより、複数のスコアのそれぞれのスコア毎に、加工機70の異常を効率的かつ精度良く判断することができる。
Thereby, the user can associate each score of the plurality of scores with motion information of each of the plurality of motion information, operation history information of each of the plurality of operation history information, and image of each of the plurality of image information. By checking the information, it is possible to efficiently and accurately determine the abnormality of the
情報処理装置10は、複数の動作情報における一部の複数の動作情報の入力を受け付ける受付部13を備える。
The
これにより、ユーザは、ディスプレイ106aでスコアと、スコアに対応付けられた画像情報を確認した上で、複数の動作情報における一部の複数の動作情報を入力することができる。よって、一部の複数の動作情報のそれぞれの動作情報に対応する複数の検知信号または周波数スペクトルのそれぞれの検知信号または周波数スペクトルを正常データまたは異常データとして適切に設定することができる。
Thereby, the user can confirm the score and the image information associated with the score on the
情報処理装置10は、表示制御部14により、受付部13が受け付ける一部の複数の動作情報をディスプレイ106aに表示させる。これにより、ユーザは、入力した一部の複数の動作情報を確認することができるため、一部の複数の動作情報のそれぞれの動作情報に対応する複数の検知信号または周波数スペクトルのそれぞれの検知信号または周波数スペクトルを正常データまたは異常データとして確実に設定することができる。
The
情報処理装置10は、受付部13で受け付けられた一部の複数の動作情報のそれぞれの動作情報に対応付けられた複数の周波数スペクトルのそれぞれの周波数スペクトルを記憶部1000に記憶させる記憶・読出部19(記憶制御部の一例)を備える。
The
これにより、一部の複数の動作情報のそれぞれの動作情報に対応する複数の周波数スペクトルのそれぞれの周波数スペクトルを正常データまたは異常データとして適切に記憶させることができる。 Thereby, each frequency spectrum of a plurality of frequency spectra corresponding to each piece of operation information of some pieces of operation information can be appropriately stored as normal data or abnormal data.
情報処理装置10は、記憶部1000が記憶する複数の周波数スペクトルと、検知装置通信部12により取得された検知信号の特徴を示す周波数スペクトルとに基づき、スコアを決定するスコア算出部175(スコア決定部の一例)を備える。
The
これにより、情報処理装置10は、加工機70の異常の可能性を示すスコアを精度良く決定することができる。
Thereby, the
●補足●
なお、各実施形態の機能は、アセンブラ、C、C++、C#、Java(登録商標)等のレガシープログラミング言語やオブジェクト指向プログラミング言語等で記述されたコンピュータ実行可能なプログラムにより実現でき、各実施形態の機能を実行するためのプログラムは、電気通信回線を通じて頒布することができる。
● Supplement ●
The functions of each embodiment can be realized by a computer-executable program written in a legacy programming language such as assembler, C, C++, C#, Java (registered trademark), an object-oriented programming language, or the like. Programs to perform the functions of may be distributed over telecommunications lines.
また、各実施形態の機能を実行するためのプログラムは、ROM、EEPROM(Electrically Erasable Programmable Read-Only Memory)、EPROM(Erasable Programmable Read-Only Memory)、フラッシュメモリ、フレキシブルディスク、CD(Compact Disc)-ROM、CD-RW(Re-Writable)、DVD-ROM、DVD-RAM、DVD-RW、ブルーレイディスク、SDカード、MO(Magneto-Optical disc)等の装置可読な記録媒体に格納して頒布することもできる。 Programs for executing the functions of each embodiment include ROM, EEPROM (Electrically Erasable Programmable Read-Only Memory), EPROM (Erasable Programmable Read-Only Memory), flash memory, flexible disk, CD (Compact Disc) - Storing and distributing in device-readable recording media such as ROM, CD-RW (Re-Writable), DVD-ROM, DVD-RAM, DVD-RW, Blu-ray disc, SD card, MO (Magneto-Optical disc), etc. can also
さらに、各実施形態の機能の一部または全部は、例えばFPGA(Field Programmable Gate Array)等のプログラマブル・デバイス(PD)上に実装することができ、またはASICとして実装することができ、各実施形態の機能をPD上に実現するためにPDにダウンロードする回路構成データ(ビットストリームデータ)、回路構成データを生成するためのHDL(Hardware Description Language)、VHDL(Very High Speed Integrated Circuits Hardware Description Language)、Verilog-HDL等により記述されたデータとして記録媒体により配布することができる。 Furthermore, part or all of the functionality of each embodiment can be implemented on a programmable device (PD), such as an FPGA (Field Programmable Gate Array), or can be implemented as an ASIC, and each embodiment Circuit configuration data (bit stream data) to be downloaded to the PD to realize the function of on the PD, HDL (Hardware Description Language) for generating circuit configuration data, VHDL (Very High Speed Integrated Circuits Hardware Description Language), It can be distributed on a recording medium as data described in Verilog-HDL or the like.
これまで本発明の一実施形態に係る情報処理装置、情報処理方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 An information processing apparatus, an information processing method, and a program according to one embodiment of the present invention have been described so far, but the present invention is not limited to the above-described embodiment, and additions, modifications, or additions of other embodiments have been made. It can be changed within the range that a person skilled in the art can conceive, such as deletion, etc., and as long as the action and effect of the present invention are exhibited in any aspect, it is included in the scope of the present invention.
1A,1C 異常検知システム
5 情報処理システム
10 情報処理装置
11 送受信部(処理情報取得部の一例)
12 検知装置通信部(検知情報取得部の一例)
18 選択部
19 記憶・読出部(記憶制御部の一例)
21 判断部(異常判断部の一例)
30 検知装置
40 撮像装置(撮像部の一例)
41 撮像装置制御部(画像情報取得部の一例)
70 加工機(対象部の一例)
106a ディスプレイ(表示部の一例)
173 特徴量抽出部
175 スコア算出部(可能性情報決定部の一例)
200 出力信号選択画面
250 情報表示選択画面
1000 記憶部
1A, 1C
12 detection device communication unit (an example of detection information acquisition unit)
18
21 judgment unit (an example of an abnormality judgment unit)
30
41 imaging device control unit (an example of an image information acquisition unit)
70 processing machine (an example of the target part)
106a display (an example of a display unit)
173 feature
200 Output
Claims (9)
前記対象部の画像情報を取得する画像情報取得部と、
正常データまたは異常データを示すモデル情報および前記検知情報に基づき決定される前記対象部の異常の可能性を示す可能性情報と、前記画像情報と、前記対象部の動作回数または動作時間を示す動作情報と、を表示部にそれぞれ複数表示させるとともに、前記複数の動作情報のそれぞれの動作情報に対応付けて、前記複数の可能性情報のそれぞれの可能性情報と、前記複数の画像情報のそれぞれの画像情報を前記表示部に表示させる表示制御部と、
前記複数の動作情報における一部の動作情報の入力を受け付ける受付部と、
前記受付部で受け付けられた前記一部の動作情報に対応付けられた前記検知情報に基づき、前記モデル情報を更新させるモデル情報更新部と、
を備えたことを特徴とする情報処理装置。 a detection information acquisition unit that acquires detection information of a physical quantity that changes according to the motion of the target unit;
an image information acquisition unit that acquires image information of the target portion;
Model information indicating normal data or abnormal data and possibility information indicating the possibility of an abnormality in the target portion determined based on the detection information, the image information, and an operation indicating the number of operations or the operation time of the target portion. are displayed on a display unit, and each of the plurality of possibility information and each of the plurality of image information are displayed in association with each of the plurality of pieces of operation information. a display control unit for displaying image information on the display unit;
a receiving unit that receives input of part of the plurality of pieces of motion information;
a model information update unit that updates the model information based on the detection information associated with the part of the motion information received by the reception unit;
An information processing device comprising:
前記複数の動作情報のそれぞれの動作情報に対応付けて、前記複数の特徴情報のそれぞれの特徴情報を前記表示部に表示させる請求項1または2記載の情報処理装置。 The display control unit causes the display unit to display a plurality of characteristic information indicating characteristics of the detection information,
3. The information processing apparatus according to claim 1, wherein the feature information of each of the plurality of feature information is displayed on the display unit in association with the motion information of each of the plurality of motion information.
前記表示制御部は、前記複数の動作情報のそれぞれの動作情報に対応付けて、複数の前記周波数スペクトルのそれぞれの周波数スペクトルを前記表示部に表示させる請求項3記載の情報処理装置。 the feature information includes a frequency spectrum of the detection information;
4. The information processing apparatus according to claim 3 , wherein the display control unit causes the display unit to display each of the plurality of frequency spectra in association with each piece of operation information of the plurality of pieces of operation information.
前記表示制御部は、さらに、前記処理情報を前記表示部に複数表示させるとともに、前記複数の動作情報のそれぞれの動作情報に対応付けて、前記複数の処理情報のそれぞれの処理情報を前記表示部に表示させる請求項1~4の何れか記載の情報処理装置。 further comprising a processing information acquisition unit that acquires processing information related to the operation of the target unit;
The display control unit further causes the display unit to display a plurality of pieces of the processing information, and displays the processing information of each of the plurality of processing information on the display unit in association with the operation information of each of the plurality of pieces of operation information. 5. The information processing apparatus according to any one of claims 1 to 4 , wherein the information is displayed on.
前記表示制御部は、前記操作履歴情報を前記表示部に複数表示させるとともに、前記複数の動作情報のそれぞれの動作情報に対応付けて、前記複数の操作履歴情報のそれぞれの操作履歴情報を前記表示部に表示させる請求項5記載の情報処理装置。 The processing information includes operation history information indicating a user's operation history with respect to the target part,
The display control unit causes the display unit to display a plurality of pieces of the operation history information, and displays the operation history information of each of the plurality of operation history information in association with the operation information of each of the plurality of pieces of operation information. 6. The information processing apparatus according to claim 5 , wherein the information is displayed on the unit.
前記受付部が受け付ける前記一部の動作情報を前記表示部に表示させる請求項1~6の何れか記載の情報処理装置。 The display control unit
7. The information processing apparatus according to any one of claims 1 to 6, wherein said part of the operation information received by said reception unit is displayed on said display unit.
前記対象部の画像情報を取得する画像情報取得ステップと、
正常データまたは異常データを示すモデル情報および前記検知情報に基づき決定される前記対象部の異常の可能性を示す可能性情報と、前記画像情報と、前記対象部の動作回数または動作時間を示す動作情報と、を表示部にそれぞれ複数表示させるとともに、前記複数の動作情報のそれぞれの動作情報に対応付けて、前記複数の可能性情報のそれぞれの可能性情報と、前記複数の画像情報のそれぞれの画像情報を前記表示部に表示させる表示ステップと、
前記複数の動作情報における一部の動作情報の入力を受け付ける受付ステップと、
前記受付ステップで受け付けられた前記一部の動作情報に対応付けられた前記検知情報に基づき、前記モデル情報を更新させるモデル情報更新ステップと、を備えた情報処理方法。
a detection information acquisition step of acquiring detection information of a physical quantity that changes according to the motion of the target part;
an image information acquiring step of acquiring image information of the target portion;
Model information indicating normal data or abnormal data and possibility information indicating the possibility of an abnormality in the target portion determined based on the detection information, the image information, and an operation indicating the number of operations or the operation time of the target portion. are displayed on a display unit , and each of the plurality of possibility information and each of the plurality of image information are displayed in association with each of the plurality of pieces of operation information. a display step of displaying image information on the display unit;
a receiving step of receiving input of part of the plurality of pieces of motion information;
and a model information updating step of updating the model information based on the detection information associated with the part of the motion information received in the receiving step .
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020043996A JP7167953B2 (en) | 2020-03-13 | 2020-03-13 | Information processing device, information processing method and program |
US17/910,837 US20230103413A1 (en) | 2020-03-13 | 2021-03-05 | Information processing apparatus, information processing method, and non-transitory recording medium |
EP21767280.7A EP4119419A4 (en) | 2020-03-13 | 2021-03-05 | Information processing device, information processing method, and program |
CN202180019239.1A CN115244593A (en) | 2020-03-13 | 2021-03-05 | Information processing apparatus, information processing method, and program |
PCT/JP2021/008692 WO2021182328A1 (en) | 2020-03-13 | 2021-03-05 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020043996A JP7167953B2 (en) | 2020-03-13 | 2020-03-13 | Information processing device, information processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021144576A JP2021144576A (en) | 2021-09-24 |
JP7167953B2 true JP7167953B2 (en) | 2022-11-09 |
Family
ID=77766814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020043996A Active JP7167953B2 (en) | 2020-03-13 | 2020-03-13 | Information processing device, information processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7167953B2 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005115687A (en) | 2003-10-08 | 2005-04-28 | Hitachi Ltd | Road maintenance support system |
JP2010049533A (en) | 2008-08-22 | 2010-03-04 | Toshiba Corp | Data display apparatus |
WO2010143361A1 (en) | 2009-06-08 | 2010-12-16 | パナソニック株式会社 | Operation recognition system, operation recognition device, and operation recognition method |
JP2012054482A (en) | 2010-09-03 | 2012-03-15 | Hitachi Kokusai Electric Inc | Semiconductor manufacturing device management system |
JP2014137323A (en) | 2013-01-18 | 2014-07-28 | Hitachi Power Solutions Co Ltd | Abnormality diagnosis apparatus and abnormality diagnosis method using the same |
JP2015142176A (en) | 2014-01-27 | 2015-08-03 | 富士通株式会社 | Radio terminal device, measurement processing method, measurement processing program and event position analysis system |
JP2016042306A (en) | 2014-08-18 | 2016-03-31 | 株式会社リコー | Locus drawing device, locus drawing method, locus drawing system, and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08257876A (en) * | 1995-03-24 | 1996-10-08 | Toshiba Mach Co Ltd | Tool wearing amount automatic measuring method and tool wearing amount automatic measuring device in machine tool |
JPH10260141A (en) * | 1997-03-18 | 1998-09-29 | Hitachi Denshi Ltd | Defect inspection apparatus |
-
2020
- 2020-03-13 JP JP2020043996A patent/JP7167953B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005115687A (en) | 2003-10-08 | 2005-04-28 | Hitachi Ltd | Road maintenance support system |
JP2010049533A (en) | 2008-08-22 | 2010-03-04 | Toshiba Corp | Data display apparatus |
WO2010143361A1 (en) | 2009-06-08 | 2010-12-16 | パナソニック株式会社 | Operation recognition system, operation recognition device, and operation recognition method |
JP2012054482A (en) | 2010-09-03 | 2012-03-15 | Hitachi Kokusai Electric Inc | Semiconductor manufacturing device management system |
JP2014137323A (en) | 2013-01-18 | 2014-07-28 | Hitachi Power Solutions Co Ltd | Abnormality diagnosis apparatus and abnormality diagnosis method using the same |
JP2015142176A (en) | 2014-01-27 | 2015-08-03 | 富士通株式会社 | Radio terminal device, measurement processing method, measurement processing program and event position analysis system |
JP2016042306A (en) | 2014-08-18 | 2016-03-31 | 株式会社リコー | Locus drawing device, locus drawing method, locus drawing system, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2021144576A (en) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7085370B2 (en) | Diagnostic equipment, diagnostic systems, diagnostic methods and programs | |
JP6156566B2 (en) | Diagnostic device, diagnostic method, program, and diagnostic system | |
JP7127304B2 (en) | Diagnostic device, diagnostic method and program | |
JP5105102B2 (en) | Chatter control method and apparatus for work machine | |
JP7131578B2 (en) | Information processing device, information processing method and program | |
JP2022103461A (en) | Diagnostic device, diagnostic method, program and diagnostic system | |
JP6805600B2 (en) | Diagnostic equipment, diagnostic systems, diagnostic methods and programs | |
JP7091743B2 (en) | Information processing equipment, information processing methods, programs, and mechanical equipment | |
WO2019176699A1 (en) | Information processing apparatus, information processing method, and recording medium for detecting an abnormality of a processing device that processes an object | |
JP7358755B2 (en) | Diagnostic device, diagnostic method, and diagnostic program | |
JP7225984B2 (en) | System, Arithmetic Unit, and Program | |
JP2019159759A (en) | Processing section determination device, processing section determination method, program, and diagnostic device | |
JP7167953B2 (en) | Information processing device, information processing method and program | |
JP6822242B2 (en) | Diagnostic equipment, diagnostic systems, diagnostic methods and programs | |
CN111752215B (en) | Diagnostic device, diagnostic system, and computer-readable medium | |
US20230314282A1 (en) | Apparatus and method for status diagnosis of machine tools | |
JP7427938B2 (en) | Diagnostic device, diagnostic device control method and program | |
WO2021182328A1 (en) | Information processing device, information processing method, and program | |
JP6984692B2 (en) | Information processing equipment | |
TWM542534U (en) | Device applying rigidity prediction of tool to suppress the chatter of cutting | |
JP2018156486A (en) | Information providing system, information providing method, and program | |
JP7368766B2 (en) | Information processing device, information processing system, information processing method and program | |
JP6790525B2 (en) | Diagnostic equipment, diagnostic systems, diagnostic methods and programs | |
JP2021144601A (en) | Information processing apparatus, information processing method and program | |
JP2021143563A (en) | Information processing device, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210720 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210810 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220927 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221010 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7167953 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |