JP2020135446A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2020135446A JP2020135446A JP2019028428A JP2019028428A JP2020135446A JP 2020135446 A JP2020135446 A JP 2020135446A JP 2019028428 A JP2019028428 A JP 2019028428A JP 2019028428 A JP2019028428 A JP 2019028428A JP 2020135446 A JP2020135446 A JP 2020135446A
- Authority
- JP
- Japan
- Prior art keywords
- line
- feature
- image
- line segments
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
Rw(Cj):基準座標系1903から座標系Cjへの回転行列
Tw(Cj):座標系Cjにおける、基準座標系1903から座標系Cjへの並進ベクトル
R(j):座標系C1から座標系Cj(j=2,3,...)への回転行列
T(j):座標系C1における、座標系C1から座標系Cjへの並進ベクトル
R(j)は、時刻1から時刻jの間における撮像装置312の姿勢の変化を表し、T(j)は、時刻1から時刻jの間における撮像装置312の位置の変化を表す。基準座標系1903の原点に3Dモデル1902が配置されている場合、座標系Cjにおける3Dモデル1902上の点pの位置ベクトルpw(Cj)は、次式により表される。
pw(Cj)=Rw(Cj)pw+Tw(Cj) (1)
式(1)の右辺のpwは、基準座標系1903における3Dモデル1902上の点pの位置ベクトルを表す。このとき、Rw(Cj)及びTw(Cj)(j=2,3,...)は、Rw(C1)、Tw(C1)、R(j)、及びT(j)を用いて、次式により表される。
Rw(Cj)=R(j)TRw(C1) (2)
Tw(Cj)=R(j)T(Tw(C1)−T(j)) (3)
式(2)及び式(3)の右辺のR(j)Tは、R(j)の転置行列を表す。投影部314は、式(1)〜式(3)を用いて、撮像装置312の位置及び姿勢の変化からpw(Cj)を計算することで、3Dモデル1902に含まれる線分の投影線を生成する。
(付記1)
3次元空間内における物体の形状を表す複数の線分を含む形状情報と、前記物体の画像とを記憶する記憶部と、
前記複数の線分の中から複数の対象線分を抽出する抽出部と、
前記複数の線分を前記物体の画像の画像平面上に投影することで、複数の投影線を生成する投影部と、
前記物体の画像から複数の特徴線を検出する検出部と、
前記複数の対象線分各々に対する対応付け候補の特徴線を、前記複数の特徴線の中から選択する選択部と、
前記物体の形状と前記物体の画像とを画面上に表示するとともに、前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを前記画面上に表示する表示部と、
前記画面上に表示された前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを対応付ける指示に基づいて、前記複数の対象線分各々と前記対応付け候補の特徴線との組み合わせを生成する生成部と、
を備えることを特徴とする画像処理装置。
(付記2)
前記複数の対象線分各々と前記対応付け候補の特徴線との組み合わせを用いて、前記3次元空間内における前記物体の画像を撮影した撮像装置の位置及び姿勢を推定する推定部をさらに備えることを特徴とする付記1記載の画像処理装置。
(付記3)
前記3次元空間内において前記撮像装置が動きながら撮影する複数の画像の間で、前記組み合わせに含まれる特徴線を追跡する追跡部をさらに備え、
前記検出部は、前記複数の画像各々から複数の特徴線を検出し、
前記生成部は、前記組み合わせに含まれる特徴線を、前記複数の画像各々から検出された複数の特徴線のうち、追跡された特徴線に変更し、
前記表示部は、前記画面上の所定位置に前記物体の形状を表示するとともに、前記撮像装置の動きに応じて、前記画面上に前記複数の画像各々を表示することを特徴とする付記2記載の画像処理装置。
(付記4)
前記撮像装置の位置及び姿勢の変化を推定する変化推定部をさらに備え、
前記投影部は、前記撮像装置の位置及び姿勢の変化に基づいて、前記複数の線分を前記画像平面上に投影することで、前記3次元空間内における前記撮像装置の動きに応じた複数の投影線を生成し、
前記表示部は、前記画面上の所定位置に前記物体の画像を表示するとともに、前記撮像装置の動きに応じた複数の投影線を用いて、前記画面上に前記物体の形状を表示することを特徴とする付記2記載の画像処理装置。
(付記5)
前記撮像装置の姿勢の変化を推定する変化推定部と、
前記複数の対象線分のうち特定の線分の投影線と、前記特定の線分に対する対応付け候補の特徴線とを対応付ける指示が入力された後に、前記撮像装置の姿勢が変化した場合、前記画面上において前記特定の線分の投影線の角度を一定に保つ拘束条件を用いて、前記物体の形状を前記撮像装置の姿勢の変化に応じて回転させる回転部と、
をさらに備え、
前記投影部は、回転後の物体の形状を表す複数の線分を前記画像平面上に投影することで、前記撮像装置の姿勢の変化に応じた複数の投影線を生成し、
前記表示部は、前記画面上の所定位置に前記物体の画像を表示するとともに、前記撮像装置の姿勢の変化に応じた複数の投影線を用いて、前記画面上に前記物体の形状を表示することを特徴とする付記2記載の画像処理装置。
(付記6)
前記投影部は、前記特定の線分、又は前記特定の線分と前記複数の線分に対する視点とを含む平面の法線を、回転軸として用いて、前記回転軸の周りに前記物体の形状を回転させることを特徴とする付記5記載の画像処理装置。
(付記7)
前記選択部は、前記複数の対象線分のうち3本の対象線分各々と前記対応付け候補の特徴線との組み合わせが生成された後に、4本目の対象線分に対する前記対応付け候補の特徴線を選択する場合、前記3本の対象線分に対する3個の組み合わせを用いて、前記撮像装置の位置及び姿勢を推定し、
前記投影部は、推定された前記撮像装置の位置及び姿勢を用いて、前記4本目の対象線分を前記画像平面上に投影することで、前記4本目の対象線分の投影線を生成し、
前記選択部は、前記4本目の対象線分の投影線に基づいて、前記4本目の対象線分に対する前記対応付け候補の特徴線を選択することを特徴とする付記2乃至6のいずれか1項に記載の画像処理装置。
(付記8)
前記選択部は、前記複数の特徴線のうち、前記複数の対象線分各々の投影線に最も近い特徴線を、前記対応付け候補の特徴線として選択することを特徴とする付記1乃至7のいずれか1項に記載の画像処理装置。
(付記9)
前記表示部は、前記複数の対象線分各々の投影線の中点を強調表示することを特徴とする付記8記載の画像処理装置。
(付記10)
前記選択部は、前記複数の特徴線のうち、前記複数の対象線分各々の投影線に対する距離が所定値よりも小さい特定の複数の特徴線を、前記対応付け候補の特徴線として選択し、
前記表示部は、前記特定の複数の特徴線を、前記複数の対象線分各々に対する選択肢として表示し、
前記生成部は、前記複数の対象線分各々の投影線と、前記特定の複数の特徴線の中から選択された特徴線とを対応付ける指示に基づいて、前記複数の対象線分各々と前記選択された特徴線との組み合わせを生成することを特徴とする付記1乃至7のいずれか1項に記載の画像処理装置。
(付記11)
前記抽出部は、前記複数の投影線のうち2本の投影線の距離が所定値よりも小さい場合、前記2本の投影線に対応する2本の線分以外の線分の中から、前記複数の対象線分を抽出することを特徴とする付記1乃至10のいずれか1項に記載の画像処理装置。
(付記12)
前記複数の対象線分は3本の対象線分であり、
前記生成部は、前記3本の対象線分各々と前記対応付け候補の特徴線とを対応付けることで、3個の組み合わせを生成し、
前記抽出部は、前記3本の対象線分のうち2本の対象線分に、前記3本の対象線分以外の線分を追加することで、3本の線分を含む線分集合を複数個生成し、複数個の線分集合それぞれを評価した結果に基づいて、いずれかの線分集合を選択し、選択された線分集合に含まれる前記2本の対象線分以外の線分を、前記3本の対象線分に追加することで、4本の対象線分を生成し、
前記選択部、前記表示部、及び前記生成部は、前記4本の対象線分に対して処理を繰り返すことを特徴とする付記1乃至11のいずれか1項に記載の画像処理装置。
(付記13)
コンピュータによって実行される画像処理方法であって、
前記コンピュータが、
3次元空間内における物体の形状を表す複数の線分の中から複数の対象線分を抽出し、
前記複数の線分を前記物体の画像の画像平面上に投影することで、複数の投影線を生成し、
前記物体の画像から複数の特徴線を検出し、
前記複数の対象線分各々に対する対応付け候補の特徴線を、前記複数の特徴線の中から選択し、
前記物体の形状と前記物体の画像とを画面上に表示するとともに、前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを前記画面上に表示し、
前記画面上に表示された前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを対応付ける指示に基づいて、前記複数の対象線分各々と前記対応付け候補の特徴線との組み合わせを生成する、
ことを特徴とする画像処理方法。
(付記14)
前記コンピュータは、前記複数の対象線分各々と前記対応付け候補の特徴線との組み合わせを用いて、前記3次元空間内における前記物体の画像を撮影した撮像装置の位置及び姿勢を推定することを特徴とする付記13記載の画像処理方法。
(付記15)
前記コンピュータは、
前記3次元空間内において前記撮像装置が動きながら撮影する複数の画像各々から、複数の特徴線を検出し、
前記複数の画像の間で、前記組み合わせに含まれる特徴線を追跡し、
前記組み合わせに含まれる特徴線を、前記複数の画像各々から検出された複数の特徴線のうち、追跡された特徴線に変更し、
前記画面上の所定位置に前記物体の形状を表示するとともに、前記撮像装置の動きに応じて、前記画面上に前記複数の画像各々を表示することを特徴とする付記14記載の画像処理方法。
(付記16)
前記コンピュータは、
前記撮像装置の位置及び姿勢の変化を推定し、
前記撮像装置の位置及び姿勢の変化に基づいて、前記複数の線分を前記画像平面上に投影することで、前記3次元空間内における前記撮像装置の動きに応じた複数の投影線を生成し、
前記画面上の所定位置に前記物体の画像を表示するとともに、前記撮像装置の動きに応じた複数の投影線を用いて、前記画面上に前記物体の形状を表示することを特徴とする付記14記載の画像処理方法。
(付記17)
前記コンピュータは、
前記複数の対象線分のうち特定の線分の投影線と、前記特定の線分に対する対応付け候補の特徴線とを対応付ける指示が入力された後に、前記撮像装置の姿勢が変化した場合、前記撮像装置の姿勢の変化を推定し、
前記画面上において前記特定の線分の投影線の角度を一定に保つ拘束条件を用いて、前記物体の形状を前記撮像装置の姿勢の変化に応じて回転させ、
回転後の物体の形状を表す複数の線分を前記画像平面上に投影することで、前記撮像装置の姿勢の変化に応じた複数の投影線を生成し、
前記画面上の所定位置に前記物体の画像を表示するとともに、前記撮像装置の姿勢の変化に応じた複数の投影線を用いて、前記画面上に前記物体の形状を表示することを特徴とする付記14記載の画像処理方法。
111、311 記憶部
112、313 抽出部
113、314 投影部
114、315 検出部
115、316 選択部
116、317 表示部
117、318 生成部
121 形状情報
122、331、411〜413、1202、1601、1931 画像
312 撮像装置
319 受付部
320 推定部
321 追跡部
332、1902 3Dモデル
333 3D線分集合
334、1002、1003、1102、1212、1213 特徴線
335 対応ペア
401、1201、1611〜1613、1941、1942 物体の形状
402、701〜704、801〜805、1001、1101、1211、1621〜1623、2112 投影線
403、1603 OKボタン
1011 中点
1111 マーク
1221 固定ボタン
1222 青ボタン
1223 緑ボタン
1301、1901 物体
1311 頂点
1511 変化推定部
1901 物体
1903 基準座標系
1911、1912 位置ベクトル
1921 矢印
2011 回転部
2101 画像平面
2102 視点
2103 平面
2111 線分
2113 法線
2201 CPU
2202 メモリ
2203 入力装置
2204 出力装置
2205 補助記憶装置
2206 媒体駆動装置
2207 ネットワーク接続装置
2208 バス
2209 可搬型記録媒体
Claims (11)
- 3次元空間内における物体の形状を表す複数の線分を含む形状情報と、前記物体の画像とを記憶する記憶部と、
前記複数の線分の中から複数の対象線分を抽出する抽出部と、
前記複数の線分を前記物体の画像の画像平面上に投影することで、複数の投影線を生成する投影部と、
前記物体の画像から複数の特徴線を検出する検出部と、
前記複数の対象線分各々に対する対応付け候補の特徴線を、前記複数の特徴線の中から選択する選択部と、
前記物体の形状と前記物体の画像とを画面上に表示するとともに、前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを前記画面上に表示する表示部と、
前記画面上に表示された前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを対応付ける指示に基づいて、前記複数の対象線分各々と前記対応付け候補の特徴線との組み合わせを生成する生成部と、
を備えることを特徴とする画像処理装置。 - 前記複数の対象線分各々と前記対応付け候補の特徴線との組み合わせを用いて、前記3次元空間内における前記物体の画像を撮影した撮像装置の位置及び姿勢を推定する推定部をさらに備えることを特徴とする請求項1記載の画像処理装置。
- 前記3次元空間内において前記撮像装置が動きながら撮影する複数の画像の間で、前記組み合わせに含まれる特徴線を追跡する追跡部をさらに備え、
前記検出部は、前記複数の画像各々から複数の特徴線を検出し、
前記生成部は、前記組み合わせに含まれる特徴線を、前記複数の画像各々から検出された複数の特徴線のうち、追跡された特徴線に変更し、
前記表示部は、前記画面上の所定位置に前記物体の形状を表示するとともに、前記撮像装置の動きに応じて、前記画面上に前記複数の画像各々を表示することを特徴とする請求項2記載の画像処理装置。 - 前記撮像装置の位置及び姿勢の変化を推定する変化推定部をさらに備え、
前記投影部は、前記撮像装置の位置及び姿勢の変化に基づいて、前記複数の線分を前記画像平面上に投影することで、前記3次元空間内における前記撮像装置の動きに応じた複数の投影線を生成し、
前記表示部は、前記画面上の所定位置に前記物体の画像を表示するとともに、前記撮像装置の動きに応じた複数の投影線を用いて、前記画面上に前記物体の形状を表示することを特徴とする請求項2記載の画像処理装置。 - 前記撮像装置の姿勢の変化を推定する変化推定部と、
前記複数の対象線分のうち特定の線分の投影線と、前記特定の線分に対する対応付け候補の特徴線とを対応付ける指示が入力された後に、前記撮像装置の姿勢が変化した場合、前記画面上において前記特定の線分の投影線の角度を一定に保つ拘束条件を用いて、前記物体の形状を前記撮像装置の姿勢の変化に応じて回転させる回転部と、
をさらに備え、
前記投影部は、回転後の物体の形状を表す複数の線分を前記画像平面上に投影することで、前記撮像装置の姿勢の変化に応じた複数の投影線を生成し、
前記表示部は、前記画面上の所定位置に前記物体の画像を表示するとともに、前記撮像装置の姿勢の変化に応じた複数の投影線を用いて、前記画面上に前記物体の形状を表示することを特徴とする請求項2記載の画像処理装置。 - 前記投影部は、前記特定の線分、又は前記特定の線分と前記複数の線分に対する視点とを含む平面の法線を、回転軸として用いて、前記回転軸の周りに前記物体の形状を回転させることを特徴とする請求項5記載の画像処理装置。
- 前記選択部は、前記複数の対象線分のうち3本の対象線分各々と前記対応付け候補の特徴線との組み合わせが生成された後に、4本目の対象線分に対する前記対応付け候補の特徴線を選択する場合、前記3本の対象線分に対する3個の組み合わせを用いて、前記撮像装置の位置及び姿勢を推定し、
前記投影部は、推定された前記撮像装置の位置及び姿勢を用いて、前記4本目の対象線分を前記画像平面上に投影することで、前記4本目の対象線分の投影線を生成し、
前記選択部は、前記4本目の対象線分の投影線に基づいて、前記4本目の対象線分に対する前記対応付け候補の特徴線を選択することを特徴とする請求項2乃至6のいずれか1項に記載の画像処理装置。 - 前記選択部は、前記複数の特徴線のうち、前記複数の対象線分各々の投影線に最も近い特徴線を、前記対応付け候補の特徴線として選択することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
- 前記選択部は、前記複数の特徴線のうち、前記複数の対象線分各々の投影線に対する距離が所定値よりも小さい特定の複数の特徴線を、前記対応付け候補の特徴線として選択し、
前記表示部は、前記特定の複数の特徴線を、前記複数の対象線分各々に対する選択肢として表示し、
前記生成部は、前記複数の対象線分各々の投影線と、前記特定の複数の特徴線の中から選択された特徴線とを対応付ける指示に基づいて、前記複数の対象線分各々と前記選択された特徴線との組み合わせを生成することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 - 前記複数の対象線分は3本の対象線分であり、
前記生成部は、前記3本の対象線分各々と前記対応付け候補の特徴線とを対応付けることで、3個の組み合わせを生成し、
前記抽出部は、前記3本の対象線分のうち2本の対象線分に、前記3本の対象線分以外の線分を追加することで、3本の線分を含む線分集合を複数個生成し、複数個の線分集合それぞれを評価した結果に基づいて、いずれかの線分集合を選択し、選択された線分集合に含まれる前記2本の対象線分以外の線分を、前記3本の対象線分に追加することで、4本の対象線分を生成し、
前記選択部、前記表示部、及び前記生成部は、前記4本の対象線分に対して処理を繰り返すことを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。 - コンピュータによって実行される画像処理方法であって、
前記コンピュータが、
3次元空間内における物体の形状を表す複数の線分の中から複数の対象線分を抽出し、
前記複数の線分を前記物体の画像の画像平面上に投影することで、複数の投影線を生成し、
前記物体の画像から複数の特徴線を検出し、
前記複数の対象線分各々に対する対応付け候補の特徴線を、前記複数の特徴線の中から選択し、
前記物体の形状と前記物体の画像とを画面上に表示するとともに、前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを前記画面上に表示し、
前記画面上に表示された前記複数の対象線分各々の投影線と前記対応付け候補の特徴線とを対応付ける指示に基づいて、前記複数の対象線分各々と前記対応付け候補の特徴線との組み合わせを生成する、
ことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019028428A JP7232663B2 (ja) | 2019-02-20 | 2019-02-20 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019028428A JP7232663B2 (ja) | 2019-02-20 | 2019-02-20 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020135446A true JP2020135446A (ja) | 2020-08-31 |
JP7232663B2 JP7232663B2 (ja) | 2023-03-03 |
Family
ID=72263229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019028428A Active JP7232663B2 (ja) | 2019-02-20 | 2019-02-20 | 画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7232663B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115564837A (zh) * | 2022-11-17 | 2023-01-03 | 歌尔股份有限公司 | 一种视觉定位方法、装置和*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017182302A (ja) * | 2016-03-29 | 2017-10-05 | 富士通株式会社 | 画像処理プログラム、画像処理装置、及び画像処理方法 |
JP2018055199A (ja) * | 2016-09-26 | 2018-04-05 | 富士通株式会社 | 画像処理プログラム、画像処理装置、及び画像処理方法 |
JP2018081589A (ja) * | 2016-11-17 | 2018-05-24 | 富士通株式会社 | 重畳画像生成プログラム、重畳画像生成方法、および情報処理装置 |
-
2019
- 2019-02-20 JP JP2019028428A patent/JP7232663B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017182302A (ja) * | 2016-03-29 | 2017-10-05 | 富士通株式会社 | 画像処理プログラム、画像処理装置、及び画像処理方法 |
JP2018055199A (ja) * | 2016-09-26 | 2018-04-05 | 富士通株式会社 | 画像処理プログラム、画像処理装置、及び画像処理方法 |
JP2018081589A (ja) * | 2016-11-17 | 2018-05-24 | 富士通株式会社 | 重畳画像生成プログラム、重畳画像生成方法、および情報処理装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115564837A (zh) * | 2022-11-17 | 2023-01-03 | 歌尔股份有限公司 | 一种视觉定位方法、装置和*** |
CN115564837B (zh) * | 2022-11-17 | 2023-04-18 | 歌尔股份有限公司 | 一种视觉定位方法、装置和*** |
Also Published As
Publication number | Publication date |
---|---|
JP7232663B2 (ja) | 2023-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8154616B2 (en) | Data processing apparatus and method, and recording medium | |
US9674507B2 (en) | Monocular visual SLAM with general and panorama camera movements | |
WO2018112788A1 (zh) | 图像处理方法及设备 | |
JP2005250950A (ja) | マーカ提示用携帯端末および拡張現実感システムならびにその動作方法 | |
JP6880618B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
JPWO2014069247A1 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2010282295A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2013003970A (ja) | 物体座標系変換装置、物体座標系変換方法、及び物体座標系変換プログラム | |
WO2019093457A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20200193637A1 (en) | Image processing apparatus and image processing method | |
JP2016212784A (ja) | 画像処理装置、画像処理方法 | |
US10930068B2 (en) | Estimation apparatus, estimation method, and non-transitory computer-readable storage medium for storing estimation program | |
US20180114339A1 (en) | Information processing device and method, and program | |
JP7232663B2 (ja) | 画像処理装置及び画像処理方法 | |
US11145048B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium for storing program | |
JP5614118B2 (ja) | ランドマーク検知方法、ロボット及びプログラム | |
JP6305856B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2020098575A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
EP2751781A1 (en) | Line tracking with automatic model initialization by graph matching and cycle detection | |
JP7334460B2 (ja) | 作業支援装置及び作業支援方法 | |
JP7059701B2 (ja) | 推定装置、推定方法、及び推定プログラム | |
US20220309682A1 (en) | Object tracking apparatus, object tracking method, and program | |
JP2005182098A (ja) | 合成画像を生成・表示する装置及び方法 | |
JP2008014825A (ja) | 測定方法及び測定プログラム | |
WO2022239291A1 (ja) | 物体検知装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230127 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20230127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7232663 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |