JP2017151094A - 視認物体の深度測定において関心点を自動的に識別する方法および装置 - Google Patents
視認物体の深度測定において関心点を自動的に識別する方法および装置 Download PDFInfo
- Publication number
- JP2017151094A JP2017151094A JP2017012597A JP2017012597A JP2017151094A JP 2017151094 A JP2017151094 A JP 2017151094A JP 2017012597 A JP2017012597 A JP 2017012597A JP 2017012597 A JP2017012597 A JP 2017012597A JP 2017151094 A JP2017151094 A JP 2017151094A
- Authority
- JP
- Japan
- Prior art keywords
- interest
- points
- point
- reference plane
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000000007 visual effect Effects 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 39
- 238000007689 inspection Methods 0.000 abstract description 112
- 238000010586 diagram Methods 0.000 description 29
- 238000003384 imaging method Methods 0.000 description 25
- 230000005856 abnormality Effects 0.000 description 20
- 101100205088 Caenorhabditis elegans iars-1 gene Proteins 0.000 description 16
- 101150030450 IRS1 gene Proteins 0.000 description 16
- 239000000523 sample Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000010363 phase shift Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000008021 deposition Effects 0.000 description 2
- 238000003466 welding Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】ビデオ検査装置は、視認物体上の関心領域における3次元座標を決定し、これらの表面点を解析して、所望の測定用途を決定する(たとえば、最深点、最高点、または2つの表面間の隙間を決定する)。この所望の測定用途に基づいて、ビデオ検査装置は、視認物体上の関心点を自動的に識別し、関心点位置にカーソルを配置する。
【選択図】図1
Description
([xi1 yi1 zi1]−[xM1avg yM1avg zM1avg])*[T]=[xi2 yi2 zi2] (15)
ここで、[T]は、変換行列である。
xi2=(xi1−xM1avg)*T00+(yi1−yM1avg)*T10+(zi1−zM1avg)*T20 (16)
yi2=(xi1−xM1avg)*T01+(yi1−yM1avg)*T11+(zi1−zM1avg)*T21 (17)
zi2=(xi1−xM1avg)*T02+(yi1−yM1avg)*T12+(zi1−zM1avg)*T22 (18)
ここで、変換行列の値は、第1の座標系における新たなx、y、およびz軸の線分方向の値である。
102 プローブ
110 挿入チューブ
112 撮像機器ハーネス
120 ヘッドアセンブリ
122 プローブ光学素子
124 撮像機器
126 撮像混成器
130 取り外し可能な先端
132 先端視認光学素子
140 プローブ電子機器
142 撮像機器インターフェース電子機器
144 校正メモリ
146 マイクロコントローラ
150 中央演算処理ユニットCPU
152 CPUプログラムメモリ
154 揮発性メモリ
156 不揮発性メモリ
158 コンピュータI/Oインターフェース
160 ビデオプロセッサ
162 ビデオメモリ
170 一体ディスプレイ
172 外部モニタ
180 ジョイスティック
182 ボタン
184 キーパッド
186 マイク
200 画像
202 視認物体
204 異常
210 表面
221 基準表面点
222 基準表面点
223 基準表面点
224 最深表面点
231 基準表面カーソル
232 基準表面カーソル
233 基準表面カーソル
234 最深点カーソル
241 画素
242 画素
243 画素
250 基準面
260 基準面形状
261 基準表面点
262 基準表面点
263 基準表面点
264 基準表面点
270 関心領域
271 関心領域形状
280 関心領域
281 関心領域形状
282 最深点グラフィックインジケータ
290 深さ
300 方法
310 表面の画像(ステップ)
320 表面点の3D(ステップ)
330 基準面(ステップ)
340 関心領域(ステップ)
350 関心領域における表面点の深さ(ステップ)
360 最深表面点の位置と深さ(ステップ)
370 プロファイル
500 画像
502 視認物体
504 異常
510 表面
521 測定点
522 測定点
523 測定点
524 測定点
525 平均位置
531 カーソル
532 カーソル
533 カーソル
534 カーソル
541 画素
542 画素
543 画素
544 画素
550 基準面
560 フレーム点
562 フレーム
600 方法
610 表面の画像(ステップ)
620 表面点の3D(ステップ)
630 測定点(ステップ)
640 基準面(ステップ)
650 平均点/原点(ステップ)
660 変換(ステップ)
670 部分集合(ステップ)
680 表示(ステップ)
700 レンダリング3次元図(点群表示図)
721 測定点
722 測定点
723 測定点
724 測定点
725 原点
750 基準面
760 フレーム点
762 フレーム
771 線分点
772 線分点
773 線分点
774 深度線分
800 画像
801 タービンエンジンシュラウド
802 タービン翼とシュラウド間の間隙
803 タービンエンジン翼
804 タービンエンジン翼の縁部
810 タービンエンジンシュラウドの内側面
821 第1の基準面点
822 第2の基準面点
823 第3の基準面点
824 縁点
831 第1の基準面カーソル
832 第2の基準面カーソル
833 第3の基準面カーソル
834 縁点カーソル
841 第1の画素
842 第2の画素
843 第3の画素
850 基準面
861 オフセット基準点
862 オフセット基準点の画素
870 関心領域
871 第1の関心領域境界
872 第2の関心領域境界
873 第3の関心領域境界
880 先端隙間
Claims (19)
- 視認物体(202)の深度測定において関心点を自動的に識別する方法であって、
前記視認物体(202)の画像をモニタ(172)に表示するステップと、
中央演算処理ユニット(150)を用いて、前記視認物体(202)の表面(210)上の複数の点の3次元座標を決定するステップと、
前記中央演算処理ユニット(150)を用いて、基準面(250)を決定するステップと、
中央演算処理ユニット(150)を用いて、前記視認物体(202)の前記表面(210)上の複数の点を含む少なくとも1つの関心領域(270、280)を決定するステップと、
中央演算処理ユニット(150)を用いて、前記少なくとも1つの関心領域(270、280)における前記視認物体(202)の前記表面(210)上の前記複数の点それぞれと前記基準面(250)との間の距離を決定するステップと、
中央演算処理ユニット(150)を用いて、前記少なくとも1つの関心領域(270、280)における前記視認物体(202)の前記表面(210)上の前記基準面(250)からの距離が最大の点として前記関心点を決定するステップと、
を含む、方法。 - 前記視認物体(202)の前記表面(210)上の前記関心点の位置において、グラフィカルインジケータを前記モニタ(172)に表示するステップをさらに含む、請求項1記載の方法。
- 前記グラフィカルインジケータが、カーソル(231、232、233、234)である、請求項2記載の方法。
- 前記基準面(250)からの前記関心点の前記距離を閾値に対して比較するステップをさらに含む、請求項1記載の方法。
- 前記基準面(250)と実質的に垂直な表面上に前記関心点が存在するかを判定するステップをさらに含む、請求項1記載の方法。
- 前記基準面(250)に対して下方に傾斜した表面上に前記関心点が存在するかを判定するステップをさらに含む、請求項1記載の方法。
- 基準面(250)を決定する前記ステップが、
ポインティングデバイスを用いて、前記視認物体(202)の前記表面(210)上の複数の基準面点(221、222、223)を選択するステップと、
前記複数の基準面点(221、222、223)の前記3次元座標の曲線適合を行うステップと、
を含む、請求項1記載の方法。 - 前記基準面(250)が、平面、円筒、および球のうちの1つである、請求項1記載の方法。
- 前記少なくとも1つの関心領域(270、280)における前記視認物体(202)の前記表面(210)上の前記複数の点それぞれと前記基準面(250)との間の距離を決定する前記ステップが、前記基準面(250)と前記複数の点それぞれとの間に延びた線分の距離を決定するステップであり、前記線分が前記基準面(250)と垂直に交差する、ステップを含む、請求項1記載の方法。
- 前記少なくとも1つの関心領域(270、280)における前記視認物体(202)の前記表面(210)上の前記関心点が、前記基準面(250)に対して窪んだ、請求項1記載の方法。
- 前記少なくとも1つの関心領域(270、280)における前記視認物体(202)の前記表面(210)上の前記関心点が、前記基準面(250)に対して突出した、請求項1記載の方法。
- 間に間隙を有し、互いに平行ではない第1の表面(810)および第2の表面(803)を有する視認物体(202)の深度測定において関心点を自動的に識別する方法であって、
前記視認物体(202)の画像をモニタ(172)に表示するステップと、
中央演算処理ユニット(150)を用いて、前記視認物体(202)の前記第1の表面(810)および前記第2の表面(803)上の複数の点の3次元座標を決定するステップと、
前記中央演算処理ユニット(150)を用いて、前記視認物体(202)の前記第1の表面(810)上の基準面(850)を決定するステップと、
中央演算処理ユニット(150)を用いて、前記視認物体(202)の前記第2の表面(803)上の複数の点を含む少なくとも1つの関心領域(870)を決定するステップと、
中央演算処理ユニット(150)を用いて、前記少なくとも1つの関心領域(870)における前記視認物体(202)の前記第2の表面(803)上の前記複数の点それぞれと前記基準面(850)との間の距離を決定するステップと、
中央演算処理ユニット(150)を用いて、前記視認物体(202)の前記第2の表面(803)の縁部上の点として前記関心点を決定するステップと、
を含む、方法。 - 前記視認物体(202)の前記第2の表面(803)上の前記関心点の位置において、グラフィカルインジケータを前記モニタ(172)に表示するステップをさらに含む、請求項12記載の方法。
- 前記グラフィカルインジケータが、カーソル(831、832、833、834)である、請求項13記載の方法。
- 前記視認物体がタービンエンジンであり、前記視認物体(202)の前記第1の表面(810)が前記タービンエンジンのシュラウド(801)の内側面(810)であり、前記視認物体(202)の前記第2の表面(803)がタービンエンジン翼(803)である、請求項12記載の方法。
- 基準面(850)を決定する前記ステップが、
ポインティングデバイスを用いて、前記視認物体(202)の前記第1の表面(810)上の複数の基準面点(821、822、823)を選択するステップと、
前記複数の基準面点(821、822、823)の前記3次元座標の曲線適合を行うステップと、
を含む、請求項12記載の方法。 - 前記基準面(850)が、平面、円筒、および球のうちの1つである、請求項12記載の方法。
- 前記少なくとも1つの関心領域(870)における前記視認物体(202)の前記第2の表面(803)上の前記複数の点それぞれと前記基準面(850)との間の距離を決定する前記ステップが、前記基準面(850)と各点との間に延びた線分の距離を決定するステップであり、前記線分が前記基準面(850)と垂直に交差する、ステップを含む、請求項12記載の方法。
- 視認物体(202)の深度測定において関心点を自動的に識別する方法であって、
前記視認物体(202)の画像をモニタ(172)に表示するステップと、
中央演算処理ユニット(150)を用いて、前記視認物体(202)の表面(210)上の複数の点の3次元座標を決定するステップと、
前記中央演算処理ユニット(150)を用いて、基準面(250)を決定するステップと、
中央演算処理ユニット(150)を用いて、前記視認物体(202)の前記表面(210)上の複数の点を含む少なくとも1つの関心領域(270、280)を決定するステップと、
中央演算処理ユニット(150)を用いて、前記少なくとも1つの関心領域(270、280)における前記視認物体(202)の前記表面(210)上の前記複数の点それぞれと前記基準面(250)との間の距離を決定するステップと、
中央演算処理ユニット(150)を用いて、前記少なくとも1つの関心領域(270、280)における前記視認物体(202)の前記表面(210)上の前記複数の点それぞれと前記基準面(250)との間の前記距離に基づき、前記少なくとも1つの関心領域(270、280)における前記視認物体(202)の前記表面(210)上の点として前記関心点を決定するステップと、
を含む、方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/018,556 | 2016-02-08 | ||
US15/018,556 US9818039B2 (en) | 2013-12-17 | 2016-02-08 | Method and device for automatically identifying a point of interest in a depth measurement on a viewed object |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017151094A true JP2017151094A (ja) | 2017-08-31 |
JP6865046B2 JP6865046B2 (ja) | 2021-04-28 |
Family
ID=59382220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017012597A Active JP6865046B2 (ja) | 2016-02-08 | 2017-01-27 | 視認物体の深度測定において関心点を自動的に識別する方法および装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6865046B2 (ja) |
DE (1) | DE102017102227A1 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111063015A (zh) * | 2019-12-13 | 2020-04-24 | 重庆首厚智能科技研究院有限公司 | 一种高效绘制点位的方法及*** |
CN111272756A (zh) * | 2020-03-09 | 2020-06-12 | 江苏金恒信息科技股份有限公司 | 一种合金分析*** |
CN111325838A (zh) * | 2020-02-10 | 2020-06-23 | 湖南省西城建设有限公司 | 一种基于bim环境下的地质界线点云数据提取方法、提取装置及存储介质 |
CN112150527A (zh) * | 2020-08-31 | 2020-12-29 | 深圳市慧鲤科技有限公司 | 测量方法及装置、电子设备及存储介质 |
CN113587829A (zh) * | 2021-09-03 | 2021-11-02 | 凌云光技术股份有限公司 | 一种边缘厚度测量方法、装置、边缘厚度测量设备及介质 |
WO2022190523A1 (ja) * | 2021-03-12 | 2022-09-15 | オムロン株式会社 | 光学式センサ、光学式センサの制御方法及び光学式センサの制御プログラム |
CN117268498A (zh) * | 2023-11-20 | 2023-12-22 | 中国航空工业集团公司金城南京机电液压工程研究中心 | 一种油量测量方法及*** |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10621717B2 (en) * | 2018-03-30 | 2020-04-14 | General Electric Compnay | System and method for image-based target object inspection |
US20220108435A1 (en) * | 2020-10-02 | 2022-04-07 | Baker Hughes Oilfield Operations Llc | Automated turbine blade to shroud gap measurement |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002168952A (ja) * | 2000-11-29 | 2002-06-14 | Tokyo Shosen Univ | 海底三次元構造の再構成方法 |
JP2014222224A (ja) * | 2013-05-13 | 2014-11-27 | ゼネラル・エレクトリック・カンパニイ | 自動ボアスコープ測定先端部精度試験 |
JP2015129746A (ja) * | 2013-12-17 | 2015-07-16 | ゼネラル・エレクトリック・カンパニイ | 異常の表面上の最深点を自動的に識別するための方法およびデバイス |
-
2017
- 2017-01-27 JP JP2017012597A patent/JP6865046B2/ja active Active
- 2017-02-06 DE DE102017102227.9A patent/DE102017102227A1/de active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002168952A (ja) * | 2000-11-29 | 2002-06-14 | Tokyo Shosen Univ | 海底三次元構造の再構成方法 |
JP2014222224A (ja) * | 2013-05-13 | 2014-11-27 | ゼネラル・エレクトリック・カンパニイ | 自動ボアスコープ測定先端部精度試験 |
JP2015129746A (ja) * | 2013-12-17 | 2015-07-16 | ゼネラル・エレクトリック・カンパニイ | 異常の表面上の最深点を自動的に識別するための方法およびデバイス |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111063015B (zh) * | 2019-12-13 | 2023-07-21 | 重庆首厚智能科技研究院有限公司 | 一种高效绘制点位的方法及*** |
CN111063015A (zh) * | 2019-12-13 | 2020-04-24 | 重庆首厚智能科技研究院有限公司 | 一种高效绘制点位的方法及*** |
CN111325838A (zh) * | 2020-02-10 | 2020-06-23 | 湖南省西城建设有限公司 | 一种基于bim环境下的地质界线点云数据提取方法、提取装置及存储介质 |
CN111325838B (zh) * | 2020-02-10 | 2023-06-30 | 湖南省西城建设有限公司 | 一种基于bim环境下的地质界线点云数据提取方法、提取装置及存储介质 |
CN111272756A (zh) * | 2020-03-09 | 2020-06-12 | 江苏金恒信息科技股份有限公司 | 一种合金分析*** |
CN111272756B (zh) * | 2020-03-09 | 2022-08-26 | 江苏金恒信息科技股份有限公司 | 一种合金分析*** |
CN112150527A (zh) * | 2020-08-31 | 2020-12-29 | 深圳市慧鲤科技有限公司 | 测量方法及装置、电子设备及存储介质 |
CN112150527B (zh) * | 2020-08-31 | 2024-05-17 | 深圳市慧鲤科技有限公司 | 测量方法及装置、电子设备及存储介质 |
WO2022190523A1 (ja) * | 2021-03-12 | 2022-09-15 | オムロン株式会社 | 光学式センサ、光学式センサの制御方法及び光学式センサの制御プログラム |
CN113587829B (zh) * | 2021-09-03 | 2023-08-01 | 凌云光技术股份有限公司 | 一种边缘厚度测量方法、装置、边缘厚度测量设备及介质 |
CN113587829A (zh) * | 2021-09-03 | 2021-11-02 | 凌云光技术股份有限公司 | 一种边缘厚度测量方法、装置、边缘厚度测量设备及介质 |
CN117268498A (zh) * | 2023-11-20 | 2023-12-22 | 中国航空工业集团公司金城南京机电液压工程研究中心 | 一种油量测量方法及*** |
CN117268498B (zh) * | 2023-11-20 | 2024-01-23 | 中国航空工业集团公司金城南京机电液压工程研究中心 | 一种油量测量方法及*** |
Also Published As
Publication number | Publication date |
---|---|
DE102017102227A1 (de) | 2017-08-10 |
JP6865046B2 (ja) | 2021-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11308343B2 (en) | Method and device for automatically identifying a point of interest in a depth measurement on a viewed object | |
US11514643B2 (en) | Method and device for displaying a two-dimensional image of a viewed object simultaneously with an image depicting the three-dimensional geometry of the viewed object | |
JP6865046B2 (ja) | 視認物体の深度測定において関心点を自動的に識別する方法および装置 | |
US10319103B2 (en) | Method and device for measuring features on or near an object | |
US9013469B2 (en) | Method and device for displaying a three-dimensional view of the surface of a viewed object | |
US9875574B2 (en) | Method and device for automatically identifying the deepest point on the surface of an anomaly | |
CN109255844B (zh) | 用于使用视频检查设备测量特征的尺寸的方法 | |
US9600928B2 (en) | Method and device for automatically identifying a point of interest on the surface of an anomaly | |
US10586341B2 (en) | Method and device for measuring features on or near an object | |
US9842430B2 (en) | Method and device for automatically identifying a point of interest on a viewed object | |
JP6446251B2 (ja) | 異常の表面上の関心点を自動的に識別するための方法およびデバイス | |
CN108027233B (zh) | 用于测量物体上或附近的特征的方法及装置 | |
JP6895382B2 (ja) | 観視対象の3次元形状を描画する画像と同時に観視対象の2次元画像を表示するための方法および機器 | |
JP7098271B2 (ja) | 視認物体上の関心点を自動的に識別する方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191105 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6865046 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |