JP6126450B2 - 検査装置 - Google Patents
検査装置 Download PDFInfo
- Publication number
- JP6126450B2 JP6126450B2 JP2013092438A JP2013092438A JP6126450B2 JP 6126450 B2 JP6126450 B2 JP 6126450B2 JP 2013092438 A JP2013092438 A JP 2013092438A JP 2013092438 A JP2013092438 A JP 2013092438A JP 6126450 B2 JP6126450 B2 JP 6126450B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- model pattern
- image
- matching
- deformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 37
- 230000002950 deficient Effects 0.000 claims description 16
- 230000007547 defect Effects 0.000 description 3
- 238000000465 moulding Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
しかしながら、検査において、良品であるにも拘らず、検査対象の画像パターンとモデルパターンとの一致度が悪くなる製品があり、このような製品の検査においては良品であるのにもかかわらず不良品と判定されてしまう場合がある。例えば、タイヤの側面に凹凸に成型された検査対象の文字列の成型状態の良否を検査する場合、検査前のタイヤは所定場所に仮置きされるため、ゴムのダレやベルト重なり等の影響によってタイヤの側面が形状変形する場合がある。このように形状変形を起こしたタイヤの側面に成型された文字列の画像パターンに対するモデルパターンの一致度が悪くなってしまうので、側面に文字列が正しく成型されている良品であるにもかかわらず側面に文字列が正しく成型されていない不良品であると判定されてしまう可能性がある。
また、上記課題を解決するための検査装置の他の構成として、形状認識手段は、部分要素を拡大縮小変形、回転変形、せん断変形を含む所定の形状に変形させる部分要素変形手段を備え、部分要素の変形を繰り返しながら画像にパターンマッチングを実行して、一致度が最も高い形状まで変形を繰り返すことにより、検査対象に対してより精度良く部分要素をマッチングさせることができる。
図1は、本発明の一実施形態を実行するためのタイヤ2の検査装置1の概略構成図である。図1に示すように、実施形態1に係る検査装置1は、例えば、製造後検査前に所定場所に仮置きされ、側面3の形状が変形している可能性のあるタイヤ2の側面3に凹凸状に成型された検査対象としての文字列4を構成する各文字の成型の良否を検査する装置であって、インフレートされていない状態のタイヤ2の側面3の文字列4の画像を取得する検査対象画像取得装置5とパターンマッチング装置6とを備える。
上記各手段11,13及び15乃至17は、コンピュータと当該コンピュータに後述する各手段11,13及び15乃至17の処理手順を実行させるためのプログラムとにより実現される。
このモデルパターンMは、例えば、モデルパターンMの重心を基準位置として画像上に位置決めされる。すなわち、画像からモデルパターンMと一致度が高い画像パターンRを探索し、画像上にモデルパターンMを配置する。
部分要素変形手段18は、上記部分要素M1乃至M4に対して所定の変形を実行する。具体的には、図3(a)に示すように、各部分要素M1乃至M4を所定の割合で拡大縮小変形、回転変形、せん断変形、さらにこれらの変形を組み合わせた変形を実行する。
部分要素位置決め手段19は、図3(b)に示すように、上記部分要素変形手段18により各部分要素M1乃至M4を変形させながら画像パターンRに対してパターンマッチングを実行する。このパターンマッチングにおいては、一致度が最も高い形状が得られるまで、部分要素変形手段18により各部分要素M1乃至M4に対する上記すべての変形を繰り返しながら、モデルパターンMが画像パターンRに対して位置決めされたときの各部分要素M1乃至M4の位置を基準として、所定範囲内を画素単位で位置を変化させて一致度が計算される。続いて、形状認識手段17は、各部分要素M1乃至M4をさらに画像パターンRに対してパターンマッチングを実行して、画像パターンRに各部分要素M1乃至M4をそれぞれ位置決めすることで、画像パターンRがモデルパターンMに対応する形状であるか否かを認識する。このように、部分要素M1乃至M4を変形させながら画像パターンRに対してパターンマッチングを実行することで、より精度良く部分要素M1乃至M4を画像パターンRに対してマッチングさせることができる。
モデルパターン位置決め手段15が、画像からモデルパターンMとの一致度が最も高い画像パターンRの位置にモデルパターンMを画像上に位置決めする。
次に、モデルパターン部分要素分割手段16により分割されたモデルパターンMの部分要素M1乃至M4を部分要素変形手段18により各部分要素M1乃至M4を個別に拡大縮小、せん断変形、回転などの形状変形及びこれらを組み合わせながら、上記モデルパターンMが位置決めされた位置を基準にして所定の探索範囲でパターンマッチングする。そして、画像パターンRに最も一致度が高いときの部分要素M1乃至M4の形状で画像パターンR上に部分要素M1乃至M4を配置して、モデルパターンMと対応する文字の一部分であると認識する。
この場合、部分要素位置決め手段19が、モデルパターンMの文字列4の「A」を当該「A」の重心位置から探索範囲内を画素単位で移動させる毎に部分要素位置決め手段19で文字「A」を部分的に構成する部分要素M1の一致度を計算し、さらに、部分要素変形手段18により部分要素M1を変形させながら、このモデルパターンMの「A」の部分要素M1と、当該モデルパターンMの部分要素M1が重ねられている画像位置の画像パターンRとの一致度を算出し、モデルパターンMの部分要素M1と一致度が最も高い画像位置及び形状の画像パターンRをモデルパターンMの部分要素M1と対応する文字要素であると認識する。これを部分要素M2乃至M4についても同様に実行することで、モデルパターンMに対応する画像パターンR(文字)として認識する。
上記実施形態1では、モデルパターン部分要素分割手段16により、図2(a)に示すように、モデルパターンMを2×2の部分要素に分割するものとして説明したが、上記分割数に加え、図4に示すように、2×2で分割したときの分割境界と重ならないように、さらに3×3の部分要素N1乃至N9に分割したものを画像パターンRに対してパターンマッチングさせるようにしても良い。すなわち、本実施形態2におけるモデルパターン部分要素分割手段16は、モデルパターンMを異なる大きさの部分要素M1乃至M4、及びN1乃至N9に分割し、異なる大きさでモデルパターンMを分割する毎に形状認識手段17によりモデルパターンMに対応する形状を認識させる。この場合、2×2の大きさで認識された形状と、3×3で認識された形状とを重畳させて、この重畳した部分をモデルパターンMに対応する形状として形状認識手段17に認識させれば良い。このように、異なる大きさの部分要素を組み合わせて形状を認識させることで、画像パターンRに対してモデルパターンMをより正確に対応させることができるので、良品となるのにもかかわらず側面3に文字列4が正しく成型されていない不良品であると判定されてしまう誤マッチングをより効果的に防止できる。
つまり、モデルパターン部分要素分割手段16は、モデルパターンMの分割を複数回実行し、各回で分割された部分要素M1乃至M4、及び部分要素N1乃至N9のそれぞれの分割境界の位置が位置ずれするように、各回毎に分割数を変更する。
上記では、タイヤ2の側面3に形成された立体文字列4の検査を例にしたが、本発明の検査対象は、製品表面に形成された模様のようなものであってもよい。
11 画像パターン生成手段、12 モデルパターン記憶部、13 マッチング手段、
15 モデルパターン位置決め手段、16 モデルパターン部分要素分割手段、
17 形状認識手段、18 部分要素変形手段、19 部分要素位置決め手段。
Claims (2)
- 検査対象の外観を撮影して取得した画像に対して当該検査対象の良品データであるモデルパターンをマッチングさせて検査対象の良否を判定する検査装置において、
前記画像上に前記モデルパターンをパターンマッチングして一致度が最も高い位置にモデルパターンを位置決めするモデルパターン位置決め手段と、
互いに重複領域を有するように前記モデルパターンを複数の部分要素に分割するモデルパターン部分要素分割手段と、
前記モデルパターン部分要素分割手段により分割された前記各部分要素を、前記画像上において当該モデルパターンが位置決めされたときの位置を基準として、この位置の周囲を決められた範囲内でパターンマッチングして、一致度が最も高い位置にそれぞれ位置決めしてモデルパターンに対応する形状を上記画像から認識する形状認識手段と、を備え、
前記モデルパターン部分要素分割手段は、前記モデルパターンの分割を複数回実行し、各回で分割された部分要素の分割境界の位置が位置ずれするように、各回毎に分割数を変更することを特徴とする検査装置。 - 前記形状認識手段は、前記部分要素に対して拡大縮小変形、回転変形、せん断変形を含む所定の変形を実行させる部分要素変形手段を備え、
部分要素の変形を繰り返しながら前記画像にパターンマッチングを実行して、一致度が最も高い形状まで変形を繰り返すことを特徴とする請求項1記載の検査装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013092438A JP6126450B2 (ja) | 2013-04-25 | 2013-04-25 | 検査装置 |
PCT/JP2014/061664 WO2014175413A1 (ja) | 2013-04-25 | 2014-04-25 | 検査装置 |
EP14787947.2A EP2990758B1 (en) | 2013-04-25 | 2014-04-25 | Inspection device |
CN201480036306.0A CN105339755B (zh) | 2013-04-25 | 2014-04-25 | 检查装置 |
US14/783,291 US9710904B2 (en) | 2013-04-25 | 2014-04-25 | Tire appearance inspection apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013092438A JP6126450B2 (ja) | 2013-04-25 | 2013-04-25 | 検査装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014215163A JP2014215163A (ja) | 2014-11-17 |
JP6126450B2 true JP6126450B2 (ja) | 2017-05-10 |
Family
ID=51791978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013092438A Active JP6126450B2 (ja) | 2013-04-25 | 2013-04-25 | 検査装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9710904B2 (ja) |
EP (1) | EP2990758B1 (ja) |
JP (1) | JP6126450B2 (ja) |
CN (1) | CN105339755B (ja) |
WO (1) | WO2014175413A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5775132B2 (ja) * | 2013-11-01 | 2015-09-09 | 株式会社ブリヂストン | タイヤの検査装置 |
EP3130886A4 (en) * | 2014-04-07 | 2018-05-30 | The Yokohama Rubber Co., Ltd. | Tire mold engraving inspection method and device |
JP6536230B2 (ja) * | 2015-07-06 | 2019-07-03 | 横浜ゴム株式会社 | タイヤ形状解析装置、タイヤ形状解析方法 |
US10108856B2 (en) | 2016-05-13 | 2018-10-23 | Abbyy Development Llc | Data entry from series of images of a patterned document |
JP6387477B1 (ja) * | 2017-06-23 | 2018-09-05 | 株式会社Rist | 検査装置、検査方法及び検査プログラム |
JP2019105610A (ja) * | 2017-12-14 | 2019-06-27 | 株式会社エヌテック | 歪み画像検査装置および歪み画像検査方法 |
CN108896545B (zh) * | 2018-05-09 | 2021-07-13 | 歌尔光学科技有限公司 | 涂胶检测方法、装置及计算机可读存储介质 |
JP7263983B2 (ja) * | 2019-08-30 | 2023-04-25 | 富士通株式会社 | 撮影漏れ検出装置、及び、撮影漏れ検出方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5073952A (en) * | 1988-09-07 | 1991-12-17 | Sigmax Kabushiki Kaisha | Pattern recognition device |
JP3717088B2 (ja) * | 1996-05-30 | 2005-11-16 | 株式会社エフ・エフ・シー | 外観検査方法 |
JP4679073B2 (ja) * | 2004-05-18 | 2011-04-27 | 株式会社ブリヂストン | タイヤ凹凸図形の検査方法、および、タイヤ凹凸図形検査装置 |
US7512260B2 (en) * | 2004-09-06 | 2009-03-31 | Omron Corporation | Substrate inspection method and apparatus |
JP4776259B2 (ja) | 2005-03-30 | 2011-09-21 | 株式会社東芝 | パターン評価方法、パターン位置合わせ方法およびプログラム |
US8498467B2 (en) * | 2007-12-19 | 2013-07-30 | Compagnie Generale Des Etablissements Michelin | Method for processing a three-dimensional image of the surface of a tire so that it can be used to inspect the said surface |
US8131107B2 (en) * | 2008-05-12 | 2012-03-06 | General Electric Company | Method and system for identifying defects in NDT image data |
JP5114302B2 (ja) * | 2008-06-12 | 2013-01-09 | 株式会社日立ハイテクノロジーズ | パターン検査方法,パターン検査装置及びパターン処理装置 |
JP5558081B2 (ja) * | 2009-11-24 | 2014-07-23 | 株式会社エヌテック | 画像形成状態検査方法、画像形成状態検査装置及び画像形成状態検査用プログラム |
US8977035B2 (en) * | 2012-06-13 | 2015-03-10 | Applied Materials Israel, Ltd. | System, method and computer program product for detection of defects within inspection images |
-
2013
- 2013-04-25 JP JP2013092438A patent/JP6126450B2/ja active Active
-
2014
- 2014-04-25 EP EP14787947.2A patent/EP2990758B1/en active Active
- 2014-04-25 US US14/783,291 patent/US9710904B2/en active Active
- 2014-04-25 WO PCT/JP2014/061664 patent/WO2014175413A1/ja active Application Filing
- 2014-04-25 CN CN201480036306.0A patent/CN105339755B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
EP2990758A1 (en) | 2016-03-02 |
CN105339755A (zh) | 2016-02-17 |
US20160086320A1 (en) | 2016-03-24 |
CN105339755B (zh) | 2018-04-06 |
WO2014175413A1 (ja) | 2014-10-30 |
US9710904B2 (en) | 2017-07-18 |
JP2014215163A (ja) | 2014-11-17 |
EP2990758A4 (en) | 2016-06-29 |
EP2990758B1 (en) | 2018-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6126450B2 (ja) | 検査装置 | |
US8452072B2 (en) | Method and apparatus for inspecting tire shape | |
JP4679073B2 (ja) | タイヤ凹凸図形の検査方法、および、タイヤ凹凸図形検査装置 | |
JP5371848B2 (ja) | タイヤ形状検査方法、及びタイヤ形状検査装置 | |
US9109974B2 (en) | Tire shape inspection method and tire shape inspection apparatus | |
WO2015064369A1 (ja) | タイヤの検査装置 | |
US20180197285A1 (en) | Optimised method for analysing the conformity of the surface of a tire | |
US9230318B2 (en) | Analysis of the digital image of the external surface of a tyre and processing of false measurement points | |
JP2007149055A5 (ja) | ||
KR20140001205A (ko) | 타이어의 트레드 구성을 형성하는 기초 패턴의 식별 및 지정 방법 | |
JP2005277395A5 (ja) | ||
US10451408B2 (en) | Method and device for inspecting engravings in tire mold | |
KR20120089541A (ko) | 웨이퍼 정합 방법 및 시스템 | |
JP7058170B2 (ja) | タイヤ金型サイドプレートの検査方法 | |
JP2016156648A (ja) | パターン検査装置およびパターン検査方法 | |
JP2013217712A (ja) | タイヤx線検査判定方法 | |
JP6276661B2 (ja) | 画像処理装置 | |
JP6419062B2 (ja) | 段成形検査方法 | |
WO2024122102A1 (ja) | タイヤ無線タグ位置検査方法、タイヤ無線タグ位置検査装置、及びタイヤ無線タグ位置検査プログラム | |
JP2013234862A (ja) | 検査方法及び検査装置 | |
JP2016142559A (ja) | タイヤのビード部の検査方法及び検査装置 | |
JP6155038B2 (ja) | 外観検査装置および外観検査方法 | |
JP2016001165A (ja) | タイヤの外観検査方法 | |
JP6177099B2 (ja) | 外観検査装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170407 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6126450 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |