JP6989153B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6989153B2 JP6989153B2 JP2019545589A JP2019545589A JP6989153B2 JP 6989153 B2 JP6989153 B2 JP 6989153B2 JP 2019545589 A JP2019545589 A JP 2019545589A JP 2019545589 A JP2019545589 A JP 2019545589A JP 6989153 B2 JP6989153 B2 JP 6989153B2
- Authority
- JP
- Japan
- Prior art keywords
- feature points
- combination
- specified
- points
- dimensional shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
Description
前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出部と、
前記複数の画像のうちの少なくとも2つの画像上に、互いに対応する2以上の線分又は2以上の点が指定された場合に、互いに対応する2以上の線分間の幾何学的関係、又は互いに対応する2以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、形状構築部と、
を備えている、ことを特徴とする。
(a)前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
(b)前記複数の画像のうちの少なくとも2つの画像上に、互いに対応する2以上の線分又は2以上の点が指定された場合に、互いに対応する2以上の線分間の幾何学的関係、又は互いに対応する2以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
(c)前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、ステップと、
を有する、ことを特徴とする。
前記コンピュータに、
(a)前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
(b)前記複数の画像のうちの少なくとも2つの画像上に、互いに対応する2以上の線分又は2以上の点が指定された場合に、互いに対応する2以上の線分間の幾何学的関係、又は互いに対応する2以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
(c)前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、ステップと、
を実行させることを特徴とする。
以下、本発明の実施の形態における、画像処理装置、画像処理方法、及びプログラムについて、図1〜図7を参照しながら説明する。
最初に、図1を用いて、本実施の形態における画像処理装置の概略構成について説明する。図1は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。
x’TFx=0
l’=Fx
次に、本発明の実施の形態における画像処理装置10の動作について図6を用いて説明する。図6は、本発明の実施の形態における画像処理装置動作を示すフロー図である。以下の説明においては、適宜図1〜図5を参酌する。また、本実施の形態では、画像処理装置10を動作させることによって、画像処理方法が実施される。よって、本実施の形態における画像処理方法の説明は、以下の画像処理装置10の動作説明に代える。
以上のように本実施の形態によれば、同一の走査線上にない間違った特徴点の組合せも排除して、三次元形状を構築することができる。このため、本実施の形態によれば、複数の画像から対応する特徴点の組合せを抽出するに際して、間違った特徴点の組合せの抽出を抑制できる。また、その結果、復元される三次元形状の精度が向上することになる。
本実施の形態におけるプログラムは、コンピュータに、図6に示すステップA1〜A9を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像処理装置10と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、特徴点抽出部11、行列算出部12、形状構築部13、画像取得部14、フィルタリング部15、入力受付部16、及び表示部17として機能し、処理を行なう。
複数の画像から三次元形状を構築するための装置であって、
前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出部と、
前記複数の画像のうちの少なくとも2つの画像上に、互いに対応する2以上の線分又は2以上の点が指定された場合に、互いに対応する2以上の線分間の幾何学的関係、又は互いに対応する2以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、形状構築部と、
を備えている、ことを特徴とする画像処理装置。
前記形状構築部が、抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する2以上の線分又は2以上の点に重なる特徴点を特定し、特定した特徴点を含む前記特徴点の組合せを排除して、前記三次元形状を構築する、
付記1に記載の画像処理装置。
前記形状構築部によって構築された前記三次元形状を画面上に表示する、表示部を更に備えている、
付記1または2に記載の画像処理装置。
前記形状構築部が、前記特徴点抽出部によって抽出された前記特徴点の組合せを用いて、仮の三次元形状を構築し、
前記表示部が、更に、前記仮の三次元形状を画面上に表示する、
付記3に記載の画像処理装置。
複数の画像から三次元形状を構築するための方法であって、
(a)前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
(b)前記複数の画像のうちの少なくとも2つの画像上に、互いに対応する2以上の線分又は2以上の点が指定された場合に、互いに対応する2以上の線分間の幾何学的関係、又は互いに対応する2以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
(c)前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、ステップと、
を有する、ことを特徴とする画像処理方法。
前記(c)のステップにおいて、
前記ステップ(a)で抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する2以上の線分又は2以上の点に重なる特徴点を特定し、特定した特徴点を含む前記特徴点の組合せを排除して、前記三次元形状を構築する、
付記5に記載の画像処理方法。
(d)前記(c)のステップによって構築された前記三次元形状を画面上に表示する、ステップを更に有する、
付記5または6に記載の画像処理方法。
(e)前記(a)のステップによって抽出された前記特徴点の組合せを用いて、仮の三次元形状を構築する、ステップと、
(f)前記(e)のステップで構築された前記仮の三次元形状を画面上に表示する、ステップと、
を更に有する付記7に記載の画像処理方法。
コンピュータによって、複数の画像から三次元形状を構築するためのプログラムであって、
前記コンピュータに、
(a)前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
(b)前記複数の画像のうちの少なくとも2つの画像上に、互いに対応する2以上の線分又は2以上の点が指定された場合に、互いに対応する2以上の線分間の幾何学的関係、又は互いに対応する2以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
(c)前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、ステップと、
を実行させる命令を含むプログラム。
前記(c)のステップにおいて、
前記ステップ(a)で抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する2以上の線分又は2以上の点に重なる特徴点を特定し、特定した特徴点を含む前記特徴点の組合せを排除して、前記三次元形状を構築する、
付記9に記載のプログラム。
前記プログラムが、前記コンピュータに、
(d)前記(c)のステップによって構築された前記三次元形状を画面上に表示する、ステップを実行させる命令を更に含む、
付記9または10に記載のプログラム。
前記プログラムが、前記コンピュータに、
(e)前記(a)のステップによって抽出された前記特徴点の組合せを用いて、仮の三次元形状を構築する、ステップと、
(f)前記(e)のステップで構築された前記仮の三次元形状を画面上に表示する、ステップと、
を実行させる命令を更に含む、
付記11に記載のプログラム。
11 特徴点抽出部
12 行列算出部
13 形状構築部
14 画像取得部
15 フィルタリング部
16 入力受付部
17 表示部
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
Claims (12)
- 複数の画像から三次元形状を構築するための装置であって、
前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出部と、
抽出された前記特徴点の組合せごとに、前記特徴点間の幾何学的関係を計算し、計算結果に基づいて、誤った特徴点の組合せを特定し、特定した前記誤った特徴点の組合せを排除する、フィルタリング部と、
前記複数の画像のうちの少なくとも2つの画像上に、抽出された前記特徴点とは異なる独立した互いに対応する2以上の線分又は2以上の点が指定された場合に、互いに対応する2以上の線分間の幾何学的関係、又は互いに対応する2以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、形状構築部と、
を備え、
前記行列算出部は、更に、前記特徴点の組合せの数が不足して前記数値行列が算出できない場合においても、前記特徴点とは異なる独立した互いに対応する2以上の線分又は2以上の点を指定することで、前記フィルタリング部の処理により残った誤差の少ない特徴点の組み合わせから数値行列を算出する、
ことを特徴とする画像処理装置。 - 前記形状構築部が、抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する2以上の線分又は2以上の点に重なる特徴点を特定し、特定した特徴点を含む前記特徴点の組合せを排除して、前記三次元形状を構築する、
請求項1に記載の画像処理装置。 - 前記形状構築部によって構築された前記三次元形状を画面上に表示する、表示部を更に備えている、
請求項1または2に記載の画像処理装置。 - 前記形状構築部が、前記特徴点抽出部によって抽出された前記特徴点の組合せを用いて、仮の三次元形状を構築し、
前記表示部が、更に、前記仮の三次元形状を画面上に表示する、
請求項3に記載の画像処理装置。 - 複数の画像から三次元形状を構築するための方法であって、
(a)前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
(b)抽出された前記特徴点の組合せごとに、前記特徴点間の幾何学的関係を計算し、計算結果に基づいて、誤った特徴点の組合せを特定し、特定した前記誤った特徴点の組合せを排除する、ステップと、
(c)前記複数の画像のうちの少なくとも2つの画像上に、抽出された前記特徴点とは異なる独立した互いに対応する2以上の線分又は2以上の点が指定された場合に、互いに対応する2以上の線分間の幾何学的関係、又は互いに対応する2以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
(d)前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、ステップと、
を有し、
さらに、(c)のステップにおいて、前記特徴点の組合せの数が不足して前記数値行列が算出できない場合においても、前記特徴点とは異なる独立した互いに対応する2以上の線分又は2以上の点を指定することで、前記(b)のステップにより残った誤差の少ない特徴点の組み合わせから数値行列を算出する、ステップと、
ことを特徴とする画像処理方法。 - 前記(d)のステップにおいて、
前記ステップ(a)で抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する2以上の線分又は2以上の点に重なる特徴点を特定し、特定した特徴点を含む前記特徴点の組合せを排除して、前記三次元形状を構築する、
請求項5に記載の画像処理方法。 - (e)前記(d)のステップによって構築された前記三次元形状を画面上に表示する、ステップを更に有する、
請求項5または6に記載の画像処理方法。 - (f)前記(a)のステップによって抽出された前記特徴点の組合せを用いて、仮の三次元形状を構築する、ステップと、
(g)前記(f)のステップで構築された前記仮の三次元形状を画面上に表示する、ステップと、
を更に有する請求項7に記載の画像処理方法。 - コンピュータによって、複数の画像から三次元形状を構築するためのプログラムであって、
前記コンピュータに、
(a)前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
(b)抽出された前記特徴点の組合せごとに、前記特徴点間の幾何学的関係を計算し、計算結果に基づいて、誤った特徴点の組合せを特定し、特定した前記誤った特徴点の組合せを排除する、ステップと、
(c)前記複数の画像のうちの少なくとも2つの画像上に、抽出された前記特徴点とは異なる独立した互いに対応する2以上の線分又は2以上の点が指定された場合に、互いに対応する2以上の線分間の幾何学的関係、又は互いに対応する2以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
(d)前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記三次元形状を構築する、ステップと、
を有し、
さらに、(c)のステップにおいて、前記特徴点の組合せの数が不足して前記数値行列が算出できない場合においても、前記特徴点とは異なる独立した互いに対応する2以上の線分又は2以上の点を指定することで、前記(b)のステップにより残った誤差の少ない特徴点の組み合わせから数値行列を算出する、ステップと、
を実行させる命令を含むプログラム。 - 前記(d)のステップにおいて、
前記ステップ(a)で抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する2以上の線分又は2以上の点に重なる特徴点を特定し、特定した特徴点を含む前記特徴点の組合せを排除して、前記三次元形状を構築する、
請求項9に記載のプログラム。 - 前記プログラムが、前記コンピュータに、
(e)前記(d)のステップによって構築された前記三次元形状を画面上に表示する、ステップを実行させる命令を更に含む、
請求項9または10に記載のプログラム。 - 前記プログラムが、前記コンピュータに、
(f)前記(a)のステップによって抽出された前記特徴点の組合せを用いて、仮の三次元形状を構築する、ステップと、
(g)前記(f)のステップで構築された前記仮の三次元形状を画面上に表示する、ステップと、
を実行させる命令を更に含む、
請求項11に記載のプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017190377 | 2017-09-29 | ||
JP2017190377 | 2017-09-29 | ||
PCT/JP2018/035805 WO2019065784A1 (ja) | 2017-09-29 | 2018-09-26 | 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019065784A1 JPWO2019065784A1 (ja) | 2020-08-06 |
JP6989153B2 true JP6989153B2 (ja) | 2022-01-05 |
Family
ID=65901927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019545589A Active JP6989153B2 (ja) | 2017-09-29 | 2018-09-26 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6989153B2 (ja) |
CN (1) | CN111133474B (ja) |
SG (1) | SG11202001487XA (ja) |
WO (1) | WO2019065784A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7294702B2 (ja) * | 2019-10-16 | 2023-06-20 | Necソリューションイノベータ株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2021166574A1 (ja) * | 2020-02-17 | 2021-08-26 | Necソリューションイノベータ株式会社 | 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4136044B2 (ja) * | 1997-12-24 | 2008-08-20 | オリンパス株式会社 | 画像処理装置及びその画像処理方法 |
JP4908867B2 (ja) * | 2005-11-01 | 2012-04-04 | 株式会社日立ソリューションズ | 地理画像処理システム |
JP5074622B2 (ja) * | 2005-11-01 | 2012-11-14 | 株式会社日立ソリューションズ | 地理画像処理システム |
EP1959391A1 (de) * | 2007-02-13 | 2008-08-20 | BrainLAB AG | Bestimmung des dreidimensionalen Verlaufs des Randes einer anatomischen Struktur |
JP2008199658A (ja) * | 2008-04-04 | 2008-08-28 | Olympus Corp | 画像処理装置及びその画像処理方法 |
JP6331517B2 (ja) * | 2014-03-13 | 2018-05-30 | オムロン株式会社 | 画像処理装置、システム、画像処理方法、および画像処理プログラム |
EP3152738B1 (en) * | 2014-06-06 | 2024-07-31 | Tata Consultancy Services Limited | Constructing a 3d structure |
US10198865B2 (en) * | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
JP6435750B2 (ja) * | 2014-09-26 | 2018-12-12 | 富士通株式会社 | 3次元座標算出装置、3次元座標算出方法および3次元座標算出プログラム |
JP6426968B2 (ja) * | 2014-10-08 | 2018-11-21 | キヤノン株式会社 | 情報処理装置およびその方法 |
CN104992441B (zh) * | 2015-07-08 | 2017-11-17 | 华中科技大学 | 一种面向个性化虚拟试衣的真实人体三维建模方法 |
CN105844696B (zh) * | 2015-12-31 | 2019-02-05 | 清华大学 | 基于射线模型三维重构的图像定位方法以及装置 |
JP6482130B2 (ja) * | 2016-02-25 | 2019-03-13 | Kddi株式会社 | 幾何検証装置、プログラム及び方法 |
JP6558803B2 (ja) * | 2016-03-23 | 2019-08-14 | Kddi株式会社 | 幾何検証装置及びプログラム |
CN105894574B (zh) * | 2016-03-30 | 2018-09-25 | 清华大学深圳研究生院 | 一种双目三维重建方法 |
CN106023307B (zh) * | 2016-07-12 | 2018-08-14 | 深圳市海达唯赢科技有限公司 | 基于现场环境的快速重建三维模型方法及*** |
CN106815824B (zh) * | 2016-12-08 | 2019-07-05 | 华中科技大学 | 一种提高大规模三维重建效率的图像近邻优化方法 |
-
2018
- 2018-09-26 SG SG11202001487XA patent/SG11202001487XA/en unknown
- 2018-09-26 WO PCT/JP2018/035805 patent/WO2019065784A1/ja active Application Filing
- 2018-09-26 CN CN201880062269.9A patent/CN111133474B/zh active Active
- 2018-09-26 JP JP2019545589A patent/JP6989153B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
SG11202001487XA (en) | 2020-03-30 |
CN111133474B (zh) | 2023-09-19 |
JPWO2019065784A1 (ja) | 2020-08-06 |
CN111133474A (zh) | 2020-05-08 |
WO2019065784A1 (ja) | 2019-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6564018B2 (ja) | 放射線画像の肺野セグメンテーション技術及び骨減弱技術 | |
KR102385256B1 (ko) | 디지털 잉크의 스무딩 및 gpu-구동 렌더링 | |
CN109509198B (zh) | 校正损伤的设备和方法 | |
KR20160064953A (ko) | 영상 처리 장치, 영상 처리 방법, 및 프로그램 | |
JP2022092004A (ja) | 計算装置、処理方法、プログラム、及び記憶媒体 | |
JP6989153B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022541977A (ja) | 画像のラベリング方法、装置、電子機器及び記憶媒体 | |
US10586099B2 (en) | Information processing apparatus for tracking processing | |
WO2022093283A1 (en) | Motion-based pixel propagation for video inpainting | |
JP5091994B2 (ja) | 動きベクトル検出装置 | |
US20190005347A1 (en) | Information processing apparatus, program, and information processing method | |
EP2536123A1 (en) | Image processing method and image processing apparatus | |
JPWO2018159467A1 (ja) | 移動体検知装置、移動体検知方法、及びプログラム | |
JP6937782B2 (ja) | 画像処理方法及びデバイス | |
JP4686624B2 (ja) | 情報処理装置、画像処理方法およびプログラム | |
JP2022064506A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2021075314A1 (ja) | 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 | |
JP5955003B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
JP5340021B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7276978B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6962450B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN113167568B (zh) | 坐标计算装置、坐标计算方法和计算机可读记录介质 | |
JP2017120455A (ja) | 情報処理装置、プログラム及び制御方法 | |
US9454801B2 (en) | Image processing apparatus, method for processing image, and program | |
JP7443965B2 (ja) | 情報処理装置、補正方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200207 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6989153 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |