JPWO2020031422A1 - オブジェクト検出方法、オブジェクト検出装置及びコンピュータプログラム - Google Patents
オブジェクト検出方法、オブジェクト検出装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JPWO2020031422A1 JPWO2020031422A1 JP2020536308A JP2020536308A JPWO2020031422A1 JP WO2020031422 A1 JPWO2020031422 A1 JP WO2020031422A1 JP 2020536308 A JP2020536308 A JP 2020536308A JP 2020536308 A JP2020536308 A JP 2020536308A JP WO2020031422 A1 JPWO2020031422 A1 JP WO2020031422A1
- Authority
- JP
- Japan
- Prior art keywords
- type
- pixel
- captured image
- detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
本出願は、2018年8月6日出願の日本出願第2018−147979号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。
また、非特許文献1は、オートエンコーダを用いて、データの特徴量を自己学習する技術を開示している。
ところで、Tensorflow(登録商標)を用いた画像認識技術によれば、オブジェクトを囲むバウンディングボックスによって、当該オブジェクトの位置及び範囲をおおよそ特定することができるが、画素単位でオブジェクトの位置及び種類を検出することができないという問題がある。
本開示によれば、撮像画像に含まれるオブジェクトの大きさ及び種類を画素単位で検出することができるオブジェクト検出方法、オブジェクト検出装置及びコンピュータプログラムを提供することが可能となる。
最初に本開示の実施態様を列記して説明する。また、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
本開示のオブジェクト検出方法は、上記第1の方式で特定及び検出されたオブジェクトの位置及び範囲、並びに当該オブジェクトの種類のデータと、第2の方式により画素単位で検出されたオブジェクトの画素位置のデータとに基づいて、オブジェクトの位置及び種類を画素単位で決定する。
従って、撮像画像に含まれるオブジェクトの位置及び範囲を画素単位で検出することが可能である。
なお、第1の方式によるオブジェクトの検出処理と、第2の方式によるオブジェクトの検出処理とを実行する順序は限定されるものでは無く、逆順で実行しても良いし、同時並行的に実行しても良い。
例えば、撮像画像は、製造される部品等の検査対象物、オブジェクトは、部品に付着した埃、髪、へこみ、傷等の異変であり、かかるオブジェクトの種類毎に異なる閾値を用いて、検査対象物の良、不良を判定することができる。
例えば、上記の検査対象物の例においては、画素の総数は部品に付着した埃、髪、へこみ、傷等の寸法に相当し、オブジェクトの種類毎に異なる閾値を用いて検査対象物の良、不良を判定することができる。
従って、未知のオブジェクトが発生し得る環境においても、各種オブジェクトを認識できるよう、半自動的に画像認識ニューラルネットワークを追加学習させ、種々のオブジェクトの位置及び種類を画素単位で検出可能となる。
本開示の実施形態に係るオブジェクト検出方法、異変検知装置及びコンピュータプログラムの具体例を、以下に図面を参照しつつ説明する。なお、本開示はこれらの例示に限定されるものではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
<異変検知装置のハードウェア構成>
図1は、実施形態1に係る異変検知装置1のハードウェア構成を示すブロック図である。異変検知装置1(オブジェクト検出装置)は、例えば一又は複数のCPU(Central Processing Unit)、マルチコアCPU、GPU(Graphics Processing Unit)、TPU(Tensor Processing Unit)等の演算部11を有するコンピュータである。演算部11には、一時記憶部12、画像入力部13、出力部14、入力部15、記憶部16及びデータ蓄積部17がバスラインを介して接続されている。本実施形態1に係る異変検知装置1は、製造される検査対象物を撮像して得られる撮像画像5(図5A参照)の画像データを取得し、撮像画像5に含まれる検出対象であるオブジェクト6、例えば検査対象物に付着した埃、髪、検査対象物のへこみ等の異変部位を検知するものである。検査対象物は、例えば、ワイヤハーネスを構成するコネクタである。
なお記憶部16は、図示しない読出装置によって記録媒体から読み出されたコンピュータプログラム16aを記憶する態様であっても良い。記録媒体はCD(Compact Disc)−ROM、DVD(Digital Versatile Disc)−ROM、BD(Blu-ray(登録商標) Disc)等の光ディスク、フレキシブルディスク、ハードディスク等の磁気ディスク、磁気光ディスク、半導体メモリ等である。また、図示しない通信網に接続されている図示しない外部コンピュータから本実施形態1に係るコンピュータプログラム16aをダウンロードし、記憶部16に記憶させても良い。
図2は、実施形態1に係る異変検知装置1の構成例を示す機能ブロック図である。異変検知装置1は、機能部としての第1検出部2、第2検出部3、良否判定部4を有する。異変検知装置1の各機能部は、演算部11、一時記憶部12等のハードウェアによって実現される。
画像認識ニューラルネットワーク21は、撮像画像5に含まれるオブジェクト6の種類が出力されるように、オブジェクト6の画像データと、当該オブジェクト6の種類を示す情報とを教師データとして機械学習させる。
オートエンコーダ31は、入力された画像データと、出力された画像データとが同じになるように、オートエンコーダ31のニューラルネットワークを機械学習させる。つまり、入力された撮像画像5と、出力される特徴抽出画像5aとが同じになるように、ニューラルネットワークを機械学習させる。かかる機械学習は、正常な検査対象物を撮像して得られる画像データを用いて行う。
オブジェクト検出処理部41は、撮像画像5に含まれる一又は複数のオブジェクト6の位置及び種類を画素単位で検出する機能部である。
寸法測定処理部42は、画素単位で検出された各オブジェクト6の寸法を測定する機能部である。
良否判定処理部43は、オブジェクト6の寸法と、当該オブジェクト6の種類に応じた閾値とを比較することによって、異変が許容可能なものか否か、つまり異変の良否を判定する処理を実行する機能部である。
図3は、オブジェクト検出に係る処理手順を示すフローチャートである。演算部11は、撮像部1aから出力された画像データを取得する(ステップS11)。次いで、演算部11は、後述のマッピング処理を実行することにより、当該撮像画像5に含まれるオブジェクト6の位置及び種類を画素単位で検出する(ステップS12)。次いで、演算部11は、検出されたオブジェクト6の寸法を測定して(ステップS13)、オブジェクト6の良否を判定する(ステップS14)。
一方、左下図は、第2検出部3によるオブジェクト6の検出結果が反映された差分画像5bである。差分画像5bに含まれるオブジェクト6の各画素は、オブジェクト6の位置ないし形状を画素単位で正確に示しているものの、オブジェクト6の種類に関する情報を有しない。
中央の図は第2検出部3から出力された差分画像5bに対して、バウンディングボックス7のマッピングを行った状態を概念的に示したものである。バウンディングボックス7を差分画像5bにマッピングすることによって、画素単位でオブジェクト6の種類を決定することが可能になる。つまり、一の種類のバウンディングボックス7に包含されたオブジェクト6の画素に対して、当該一の種類を対応付けることにより、画素単位でオブジェクト6の種類を決定することができる。
右図は、画素単位でオブジェクト6の種類が決定された状態を概念的に示したものである。例えば、埃のオブジェクト61を構成する各画素に対して、種類「埃」が対応付けられている。同様に、髪のオブジェクト62を構成する各画素に対して、種類「髪」が対応付けられ、へこみのオブジェクト63を構成する各画素に対して、種類「へこみ」が対応付けられている。
なお、オブジェクト6には、塊状のもの、線状のもの等、形状は様々であるが、同一種類のオブジェクト6は概ね同一形状である。このため、オブジェクト6の種類が既知であれば、オブジェクト6を構成する画素の総数を、当該オブジェクト6の寸法を示す情報として利用することができる。
例えば、髪のオブジェクト62を構成する画素の総数は、髪の長さ寸法に相当する。埃のオブジェクト61を構成する画素の総数は、概ね縦横寸法の積に相当する。
図11に示すように、埃の大きさを示す画素の総数(Σ画素)は、埃に係る第1閾値未満であるため、許容されると判定される。同様に、へこみの程度を示す画素の総数(Σ画素)は、へこみに係る第3閾値未満であるため、許容されると判定される。しかし、髪の長さを示す画素の総数(Σ画素)は、髪に係る第2閾値以上であるため、許容されない異変と判定される。
図12Bは、埃の位置及び範囲を示すバウンディングボックス71によりマッピングされた状態を示している。演算部11は、当該バウンディングボックス71に包含される画素群を埃のオブジェクト61を構成する画素として認識し、各画素に種類「埃」を付与する。
図12Cは、髪の位置及び範囲を示すバウンディングボックス72によりマッピングされた状態を示している。演算部11は、当該バウンディングボックス72に包含される画素群を髪のオブジェクト62を構成する画素として認識し、各画素に種類「髪」を付与する。
図12Dは、図12B及び図12Cに示すマッピング処理により、画素単位でオブジェクト6の種類を認識した結果を示している。黒塗りで示した画素は、種類「髪」が付与されている。ハッチングが付された画素は、種類「埃」が付与されている。白塗りの画素は、種類「埃」及び「髪」の双方が付与されている。
このように、オブジェクト6が重なり合っている部分の画素に、両方の種類を付与することにより、オブジェクト6が重なり合っていても、各オブジェクト6の寸法を測定することが可能となる。例えば、「埃」の種類が付与されている画素は、ハッチングが付された画素及び白抜きの画素であり、当該画素の総数を算出することによって、「埃」のオブジェクト61の寸法を測定することができる。同様に、「髪」の種類が付与されている画素は、黒塗りの画素及び白抜きの画素であり、当該画素の総数を算出することによって、「髪」のオブジェクト62の寸法を測定することができる。このように、複数種類のオブジェクト6が重なり合っていても、各オブジェクト6の位置及び種類を画素単位で検出することができ、各オブジェクト6の寸法を測定することもできる。
また、画素単位で検出された異変部位及びその良否を図11に示すように表示することができる。
例えば、ワイヤハーネスを構成するコネクタ等の検査対象物の異変部位及び種類を画素単位で検出し、当該異変部位の寸法を正確に算出することができる。
<画像認識ニューラルネットワークの追加学習>
図13は、実施形態2に係る異変検知システムの構成例を示すブロック図である。実施形態2に係る異変検知システムは、異変検知装置1と、機械学習装置9とを備える。異変検知装置1は、例えば検査対象物が製造される工場に設置され、機械学習装置9は工場外の施設に設置される。異変検知装置1は実施形態1と同様の構成部であり、更に機械学習装置9との間でデータを送受信するための通信部18を備える。機械学習装置9は、異変検知装置1を構成する画像認識ニューラルネットワーク21を追加学習させるサーバ装置である。機械学習装置9は、コンピュータであり、基本的なハードウェア構成は異変検知装置1と同様である。
なお、機械学習装置9は画像認識ニューラルネットワーク21を構成するための各種パラメータ、例えば画像認識ニューラルネットワーク21の層数、ニューロン数、ニューラルネットワークの種類、重み係数等のパラメータを機械学習装置9へ送信することによって、画像認識ニューラルネットワーク21のコピーを提供する。
変数Bx、Byは、図17Aに示すように、オブジェクト6の中心位置、例えば画像の重心位置のX座標、及びY座標を示す。座標系の取り方は特に限定されるものでは無いが、例えば図17に示すように、各画像ブロックの左下の頂点を原点とし、撮像画像5の水平方向をX軸、垂直方向をY軸とする直交座標系を用いると良い。
変数Bw、Bhは、オブジェクト6の幅及び高さを示す。
変数C1、C2、C3、…は、オブジェクト6の種類に対応している。例えば、C1は「埃」、C2は「髪」、C3は「へこみ」等に対応している。変数C1=1は、オブジェクト6が「埃」であることを示し、変数C1=0はオブジェクト6が「埃」で無いことを示している。他の変数C2、C3、…も同様である。なお、オブジェクト6の種類を示す変数は、新規のオブジェクト6の種類に対応できるよう、種類「未定」の変数を適宜数用意しておくと良い。
なお、画像ブロックにオブジェクト6が含まれていない場合、配列Yの各変数は0となる。
演算部11は、想定されている複数の種類をユーザに提示し、ユーザによる種類の選択を受け付ける。また新規の種類である場合、演算部11は、種類の名称の登録を受け付けと良い。演算部11は、ユーザから新規の種類の名称を受け付け、種類「未定」の変数名を当該名称に変更登録する。
上記処理によって、オブジェクト6の検出に失敗した画像データと、当該画像データに含まれるオブジェクト6の位置及び範囲並びに種類を示したデータとを組みとした学習用データを生成することができる。
1a 撮像部
1b 表示部
1c 操作部
2 第1検出部
3 第2検出部
4 良否判定部
5 撮像画像
5a 特徴抽出画像
5b 差分画像
6、61、62、63 オブジェクト
7、71、72、73 バウンディングボックス
9 機械学習装置
11 演算部
12 一時記憶部
13 画像入力部
14 出力部
15 入力部
16 記憶部
16a コンピュータプログラム
17 データ蓄積部
18 通信部
21 画像認識ニューラルネットワーク
31 オートエンコーダ
31a 入力層
31b 出力層
31c コンボリューション層
31d デコンボリューション層
32 差分データ生成部
41 オブジェクト検出処理部
42 寸法測定処理部
43 良否判定処理部
Claims (12)
- 撮像画像に含まれるオブジェクトを検出するオブジェクト検出方法であって、
前記撮像画像に含まれる前記オブジェクトの種類を検出する第1の方式にて前記オブジェクトを検出し、
前記撮像画像に含まれる前記オブジェクトを画素単位で検出する第2の方式にて前記オブジェクトを検出し、
前記第1の方式にて検出された前記オブジェクトの種類、及び前記第2の方式にて検出された前記オブジェクトに基づいて、前記オブジェクトの大きさ及び種類を画素単位で決定し、
前記オブジェクトに関して所定の判定を行うための閾値を、該オブジェクトの種類に基づいて選択し、
画素単位で決定された前記オブジェクトと、前記種類に基づいて選択された閾値とに基づいて前記所定の判定を行う
オブジェクト検出方法。 - 前記オブジェクトの一の種類の画素の総数と、該種類に基づいて選択された閾値とを比較することによって、前記所定の判定を行う
請求項1に記載のオブジェクト検出方法。 - 前記第2の方式による前記オブジェクトの検出は、前記撮像画像のデータが入力された場合、入力された該データの特徴が抽出された特徴抽出画像のデータを出力する学習済みオートエンコーダを用いて行う
請求項1又は請求項2に記載のオブジェクト検出方法。 - 前記第1の方式による前記オブジェクトの検出は、前記撮像画像のデータが入力された場合、該撮像画像に含まれる前記オブジェクトの種類を出力する学習済みの画像認識ニューラルネットワークを用いて行う
請求項1から請求項3のいずれか1項に記載のオブジェクト検出方法。 - 前記第1の方式による検出結果と、前記第2の方式による検出結果が整合しない場合、前記第1の方式と異なる第3の方式にて前記撮像画像に含まれる前記オブジェクトの種類を検出し、
前記画像認識ニューラルネットワークに前記撮像画像のデータが入力された場合、前記第3の方式にて検出された前記オブジェクトの種類が出力されるように、前記撮像画像及び前記第3の方式に係る検出結果を用いて、前記画像認識ニューラルネットワークを追加学習させる
請求項4に記載のオブジェクト検出方法。 - 前記第3の方式は、前記オブジェクトの輪郭線の形状パターンに基づいて前記オブジェクトの種類を検出する
請求項5に記載のオブジェクト検出方法。 - 前記第3の方式にて前記オブジェクトの種類を検出できなった場合、該オブジェクトの種類をユーザから受け付け、
前記画像認識ニューラルネットワークに前記撮像画像のデータが入力された場合、前記オブジェクトの種類が出力されるように、前記撮像画像及び受け付けた前記オブジェクトの種類を用いて、前記画像認識ニューラルネットワークを追加学習させる
請求項5又は請求項6に記載のオブジェクト検出方法。 - 前記画像認識ニューラルネットワークを用いた前記オブジェクトの検出と、該画像認識ニューラルネットワークの追加学習とを並行的に実行する
請求項5〜請求項7のいずれか1項に記載のオブジェクト検出方法。 - 前記撮像画像は検査対象物を撮像して得た画像であり、検出対象の前記オブジェクトは該検査対象物における異変部位である
請求項1から請求項8のいずれか1項に記載のオブジェクト検出方法。 - 撮像画像に含まれるオブジェクトを検出するオブジェクト検出装置であって、
前記撮像画像に含まれる前記オブジェクトの種類を検出する第1検出部と、
前記撮像画像に含まれる前記オブジェクトを画素単位で検出する第2検出部と、
前記第1検出部にて検出された前記オブジェクトの種類、及び前記第2検出部にて画素単位で検出された前記オブジェクトに基づいて、前記オブジェクトの大きさ及び種類を画素単位で決定する決定部と、
前記オブジェクトに関して所定の判定を行うための閾値を、該オブジェクトの種類に基づいて選択する選択部と、
画素単位で決定された前記オブジェクトと、前記種類に基づいて選択された閾値とに基づいて前記所定の判定を行う判定部と
を備えるオブジェクト検出装置。 - コンピュータに撮像画像に含まれるオブジェクトを検出させるためのコンピュータプログラムであって、
前記コンピュータに、
前記撮像画像に含まれる前記オブジェクトの種類を検出する第1の方式にて前記オブジェクトを検出し、
前記撮像画像に含まれる前記オブジェクトを画素単位で検出する第2の方式にて前記オブジェクトを検出し、
前記第1の方式にて検出された前記オブジェクトの種類、及び前記第2の方式にて検出された前記オブジェクトに基づいて、前記オブジェクトの大きさ及び種類を画素単位で決定し、
前記オブジェクトに関して所定の判定を行うための閾値を、該オブジェクトの種類に基づいて選択し、
画素単位で決定された前記オブジェクトと、前記種類に基づいて選択された閾値とに基づいて前記所定の判定を行う
処理を実行させるためのコンピュータプログラム。 - コンピュータに撮像画像に含まれるオブジェクトを検出して得られる情報を表示させるためのコンピュータプログラムであって、
前記コンピュータに、
前記撮像画像に含まれる前記オブジェクトの種類を検出する第1の方式にて前記オブジェクトを検出して得られた情報と、前記撮像画像に含まれる前記オブジェクトを画素単位で検出する第2の方式にて前記オブジェクトを検出して得られた情報とに基づく情報を表示させる
処理を実行させるためのコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018147979 | 2018-08-06 | ||
JP2018147979 | 2018-08-06 | ||
PCT/JP2019/013129 WO2020031422A1 (ja) | 2018-08-06 | 2019-03-27 | オブジェクト検出方法、オブジェクト検出装置及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020031422A1 true JPWO2020031422A1 (ja) | 2021-08-10 |
JP7245451B2 JP7245451B2 (ja) | 2023-03-24 |
Family
ID=69415459
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020536308A Active JP7245451B2 (ja) | 2018-08-06 | 2019-03-27 | オブジェクト検出方法、オブジェクト検出装置及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7245451B2 (ja) |
WO (1) | WO2020031422A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170109881A1 (en) * | 2015-10-14 | 2017-04-20 | The Regents Of The University Of California | Automated segmentation of organ chambers using deep learning methods from medical imaging |
WO2018135246A1 (ja) * | 2017-01-23 | 2018-07-26 | 株式会社Nttドコモ | 情報処理システム及び情報処理装置 |
-
2019
- 2019-03-27 WO PCT/JP2019/013129 patent/WO2020031422A1/ja active Application Filing
- 2019-03-27 JP JP2020536308A patent/JP7245451B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170109881A1 (en) * | 2015-10-14 | 2017-04-20 | The Regents Of The University Of California | Automated segmentation of organ chambers using deep learning methods from medical imaging |
WO2018135246A1 (ja) * | 2017-01-23 | 2018-07-26 | 株式会社Nttドコモ | 情報処理システム及び情報処理装置 |
Non-Patent Citations (1)
Title |
---|
岡谷貴之: ""画像認識のための深層学習の研究動向 −畳込みニューラルネットワークとその利用法の発展−"", 人工知能, vol. 第31巻, 第2号, JPN6022049319, 2016, pages 169 - 179, ISSN: 0004923873 * |
Also Published As
Publication number | Publication date |
---|---|
WO2020031422A1 (ja) | 2020-02-13 |
JP7245451B2 (ja) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10885618B2 (en) | Inspection apparatus, data generation apparatus, data generation method, and data generation program | |
JP7004145B2 (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
US8977035B2 (en) | System, method and computer program product for detection of defects within inspection images | |
EP3499418B1 (en) | Information processing apparatus, identification system, setting method, and program | |
JP3834041B2 (ja) | 学習型分類装置及び学習型分類方法 | |
JP7131617B2 (ja) | 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体 | |
JP2017049974A (ja) | 識別器生成装置、良否判定方法、およびプログラム | |
JP2012032370A (ja) | 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体 | |
JP2012026982A (ja) | 検査装置 | |
JP2016115331A (ja) | 識別器生成装置、識別器生成方法、良否判定装置、良否判定方法、プログラム | |
US20220114725A1 (en) | Microscopy System and Method for Checking Input Data | |
JP7393313B2 (ja) | 欠陥分類装置、欠陥分類方法及びプログラム | |
JP7453813B2 (ja) | 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット | |
JP6347589B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2021086379A (ja) | 情報処理装置、情報処理方法、プログラム及び学習モデルの生成方法 | |
JP2022045688A (ja) | 欠陥管理装置、方法およびプログラム | |
CN117274258A (zh) | 主板图像的缺陷检测方法、***、设备及存储介质 | |
JP2002140694A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 | |
CN117745678A (zh) | 一种输送带滚筒包胶检测方法、装置、设备及存储介质 | |
JP7198438B2 (ja) | オブジェクト検出方法、オブジェクト検出装置及びコンピュータプログラム | |
JP2014126445A (ja) | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム | |
WO2016092783A1 (en) | Information processing apparatus, method for processing information, discriminator generating apparatus, method for generating discriminator, and program | |
JP2023145412A (ja) | 欠陥検出方法及びシステム | |
JP7245451B2 (ja) | オブジェクト検出方法、オブジェクト検出装置及びコンピュータプログラム | |
CN114998194A (zh) | 产品缺陷检测方法、***和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210204 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7245451 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |