JP7463697B2 - 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム - Google Patents
光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム Download PDFInfo
- Publication number
- JP7463697B2 JP7463697B2 JP2019199708A JP2019199708A JP7463697B2 JP 7463697 B2 JP7463697 B2 JP 7463697B2 JP 2019199708 A JP2019199708 A JP 2019199708A JP 2019199708 A JP2019199708 A JP 2019199708A JP 7463697 B2 JP7463697 B2 JP 7463697B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- light source
- acquisition state
- camera
- gloss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims description 80
- 230000007704 transition Effects 0.000 claims description 97
- 238000005259 measurement Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 30
- 238000000034 method Methods 0.000 description 29
- 238000010191 image analysis Methods 0.000 description 20
- 239000013598 vector Substances 0.000 description 19
- 238000003860 storage Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 12
- 230000003746 surface roughness Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000000691 measurement method Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 239000002184 metal Substances 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Generation (AREA)
Description
Id = IL×kd×|L||N|cosθL = IL×fid(kd, N, L) (1)
Is = IL×F/π×DG/(N・L)(N・V)= IL×fis(ks, σ, N, L, V) (2)
式(2)においてFは、フレネル項であり、微細表面における鏡面反射の程度を示す。Gは幾何減衰項であり、物体の微細表面による自己陰影を示す。また、Dは、ベックマン分布項であり微細表面のばらつきを示す。このD項が鏡面反射光の広がりを示し、物体の表面の粗さによって異なる。
式(2)の右辺は、式(2)の左辺を単純化した式である。式(2)の右辺では、放射輝度Isは、ks、σ、N、L、Vをパラメータとする所定の関数fisを用いて表される。ここで、ksは、鏡面反射率である。σは表面粗さである。表面粗さσを推定するためには、ある特定の位置の光源についての放射輝度だけではなく、光源の移動に伴う放射輝度の遷移を取得する必要がある。このような放射輝度の遷移を示す放射輝度遷移情報を取得できたか否かの判定が算出部216によって行われる。
L’ = 2・N・(V・N)-V (3)
ここで、光源5が線光源及び面光源等の大きさを持った光源である場合には、放射輝度遷移推定部215は、光源5の一部が正反射方向ベクトルL’上を光源5が通過したときに、カメラ4の正反射方向となる位置を光源5が通過したと判定する。
Io’ = Id + Is = IL×{fid(kd, N, L)+ fis(ks, σ, N, L, V)} (4)
式(4)において、ベクトルL及びベクトルVはストレージ24に記憶されているカメラ情報及び光源情報から算出されるために既知である。また、表面領域の法線ベクトルNは、表面領域のポリゴンの持つ法線ベクトルNpと表面領域における微細表面の法線ベクトルNmの足し合わせで表現される。前述したように、法線ベクトルNpは形状計測装置3で取得される形状情報から算出されるために既知である。よって、以下の式(5)で示す2乗誤差Jを最小化する問題を解くことで、表面領域毎の反射定数(kd, ks, σ)及び微小法線Nmが推定され得る。この推定が対象物7のすべての表面領域で実施されることで、対象物7の全体の形状及び反射特性が推定され得る。
J = 1 / 2 Σn(Ion-Ion’)2 (5)
以下、実施形態の変形例について説明する。実施形態では、カメラ4と対象物7とを固定し、光源5を移動させながら対象物7の撮影が行われている。しかしながら、必ずしも光源5を移動させながら対象物7の撮影が行われる必要はない。例えば、光源5と対象物7とを固定し、カメラ4を移動させながら対象物7の撮影が行われてもよい。また、カメラ4と光源5とを固定し、対象物7を移動させながら対象物7の撮影が行われてもよい。さらには、カメラ4、光源5及び対象物7の2つ以上を移動させながら対象物7の撮影が行われてもよい。
実施形態では反射特性の推定に用いられる反射モデルとして、Cook-Torranceモデルが例示されている。反射特性の推定には、Cook-Torranceモデルに限らずどのようなモデルが用いられても良い。例えば、ヘアライン加工された金属表面を有する物体のようにカメラ方向又は光源方向により異なる反射強度を放つ対象物については、Wardモデルのような異方性反射モデルが用いられてもよい。
前述した実施形態では、カメラ4の正反射方向となる位置を光源5が通過しており、かつ、閾値範囲内の所定個数以上の計測点が取得できたときに、反射特性の推定に足る放射輝度遷移情報が取得できていると判定される。これらの条件のうちの何れか一方だけが満足したときに反射特性の推定に足る放射輝度遷移情報が取得できていると判定されてもよい。
前述した実施形態では、指示画像は、対象物のテクスチャモデルにおける放射輝度遷移情報が取得できた表面領域の画素値を他の表面領域の画素値と異ならせることによって生成される。しかしながら、指示画像は、他の手法によって生成されてもよい。
[1] 対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得する画像取得手段と、
前記対象物の3次元形状情報を取得する形状取得手段と、
前記3次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定する放射輝度遷移推定手段と、
前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出する算出手段と、
を備える光沢取得状態算出装置。
[2] 前記画像群が撮影されているときの前記カメラのカメラ情報を取得するカメラ情報取得手段と、
前記画像群が撮影されているときの前記光源の光源情報を取得する光源情報取得手段と、
をさらに備え、
前記光源情報は、少なくとも前記画像群に亘る前記光源の位置の情報である光源位置情報を含み、
前記カメラ情報は、少なくとも前記画像群に亘る前記カメラの位置の情報であるカメラ位置情報を含む、
[1]に記載の光沢取得状態算出装置。
[3] 前記放射輝度遷移情報、前記3次元形状情報、前記カメラ位置情報及び前記光源位置情報を用いて、前記表面領域毎の所定の反射モデルの反射定数及び法線を推定する質感情報推定部をさらに備える、
[2]に記載の光沢取得状態算出装置。
[4] 前記算出手段は、
前記3次元形状情報から算出される前記表面領域の法線、前記カメラ位置情報によって示される前記カメラの位置及び前記光源位置情報によって示される前記光源の位置を用いて、前記カメラの位置に対し、前記表面領域を反射面として正反射方向となる前記光源の位置が存在するか否かを前記表面領域毎に判定し、
少なくとも前記光源の位置が存在するか否かの判定の結果に基づき前記取得状態情報を算出する、
[2]又は[3]に記載の光沢取得状態算出装置。
[5] 前記算出手段は、
前記表面領域毎に、前記放射輝度遷移情報によって示される複数の放射輝度のうちのピークを算出し、前記ピークに基づき算出される閾値範囲に含まれる放射輝度が所定の個数以上存在しているか否かを判定し、
少なくとも前記放射輝度が所定の個数以上存在しているか否かの判定の結果に基づき前記取得状態情報を算出する、
[1]から[4]のいずれか1に記載の光沢取得状態算出装置。
[6] 前記閾値範囲は、ユーザによって指定される、
[5]に記載の光沢取得状態算出装置。
[7] 前記表面領域のいずれかに各々対応する複数の画素を有し、各々の画素は、対応する前記表面領域の前記取得状態情報に基づく画素値を有する、指示画像を生成する指示画像生成手段をさらに備える、
[1]から[6]のいずれか1に記載の光沢取得状態算出装置。
[8] 前記画像群は、前記光源、前記対象物、前記カメラのいずれかの連続的な移動に伴って前記対象物を連続的に撮影することによって得られた動画である、
[1]から[7]のいずれか1に記載の光沢取得状態算出装置。
[9] 前記光源は、線光源又は面光源である、
[1]から[8]のいずれか1に記載の光沢取得状態算出装置。
[10] 対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得することと、
前記対象物の3次元形状情報を取得することと、
前記3次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定することと、
前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出することと、
を備える光沢取得状態算出方法。
[11] 対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得することと、
前記対象物の3次元形状情報を取得することと、
前記3次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定することと、
前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出することと、
をコンピュータに実行させるための光沢取得状態算出プログラム。
[12] [7]に記載の光沢取得状態算出装置と通信できるように接続される端末であって、
前記画像群を前記光沢取得状態算出装置に送信する送信手段と、
前記指示画像を前記光沢取得状態算出装置から受信する受信手段と、
前記指示画像を表示する表示手段と、
を備える端末。
[13] [7]に記載の光沢取得状態算出装置と通信できるように接続される端末のための光沢取得状態表示プログラムであって、
前記画像群を前記光沢取得状態算出装置に送信することと、
前記指示画像を前記光沢取得状態算出装置から受信することと、
前記指示画像を表示手段に表示することと、
を前記端末のコンピュータに実行させるための光沢取得状態表示プログラム。
[14] 前記形状取得手段は、前記3次元形状情報を前記画像群からの推定によって取得する、
[1]に記載の光沢取得状態算出装置。
[15] 前記光源情報取得手段は、前記光源情報を前記画像群からの推定によって取得する、
[2]に記載の光沢取得状態算出装置。
[16] 前記カメラ情報取得手段は、前記カメラ情報を前記画像群からの推定によって取得する、
[2]に記載の光沢取得状態算出装置。
[17] 前記指示画像は、前記3次元形状情報に対応するテクスチャ画像である、
[7]に記載の光沢取得状態算出装置。
[18] 前記指示画像の一部又は全部の画素は、前記表面領域の各々に一対一で対応している、
[7]に記載の光沢取得状態算出装置。
[19] 前記指示画像の画素と前記表面領域との対応が、前記カメラによって撮影された前記画像群に基づいている、
[7]に記載の光沢取得状態算出装置。
[20] 前記対象物、前記光源、前記カメラのいずれかの位置を前記取得状態情報に基づき制御する制御手段をさらに備える、
[1]に記載の光沢取得状態算出装置。
Claims (11)
- 対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得する画像取得手段と、
前記対象物の3次元形状情報を取得する形状取得手段と、
前記3次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定する放射輝度遷移推定手段と、
前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出する算出手段と、
を備え、
前記算出手段は、
前記3次元形状情報から算出される前記表面領域の法線、前記画像群に亘る前記カメラの位置の情報であるカメラ位置情報によって示される前記カメラの位置及び前記画像群に亘る前記光源の位置の情報である光源位置情報によって示される前記光源の位置を用いて、前記カメラの位置に対し、前記表面領域を反射面として正反射方向となる前記光源の位置が存在するか否かを前記表面領域毎に判定し、
少なくとも前記光源の位置が存在するか否かの判定の結果に基づき前記取得状態情報を算出する、
光沢取得状態算出装置。 - 前記放射輝度遷移情報、前記3次元形状情報、前記カメラ位置情報及び前記光源位置情報を用いて、前記表面領域毎の所定の反射モデルの反射定数及び法線を推定する質感情報推定部をさらに備える、
請求項1に記載の光沢取得状態算出装置。 - 前記算出手段は、
前記表面領域毎に、前記放射輝度遷移情報によって示される複数の放射輝度のうちのピークを算出し、前記ピークに基づき算出される閾値範囲に含まれる放射輝度が所定の個数以上存在しているか否かを判定し、
少なくとも前記放射輝度が所定の個数以上存在しているか否かの判定の結果に基づき前記取得状態情報を算出する、
請求項1又は2に記載の光沢取得状態算出装置。 - 前記閾値範囲は、ユーザによって指定される、
請求項3に記載の光沢取得状態算出装置。 - 前記表面領域のいずれかに各々対応する複数の画素を有し、各々の画素は、対応する前記表面領域の前記取得状態情報に基づく画素値を有する、指示画像を生成する指示画像生成手段をさらに備える、
請求項1から請求項4のいずれか1項に記載の光沢取得状態算出装置。 - 前記画像群は、前記光源、前記対象物、前記カメラのいずれかの連続的な移動に伴って前記対象物を連続的に撮影することによって得られた動画である、
請求項1から請求項5のいずれか1項に記載の光沢取得状態算出装置。 - 前記光源は、線光源又は面光源である、
請求項1から請求項6のいずれか1項に記載の光沢取得状態算出装置。 - 対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得することと、
前記対象物の3次元形状情報を取得することと、
前記3次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定することと、
前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出することと、
を備え、
前記取得状態情報を算出することは、
前記3次元形状情報から算出される前記表面領域の法線、前記画像群に亘る前記カメラの位置の情報であるカメラ位置情報によって示される前記カメラの位置及び前記画像群に亘る前記光源の位置の情報である光源位置情報によって示される前記光源の位置を用いて、前記カメラの位置に対し、前記表面領域を反射面として正反射方向となる前記光源の位置が存在するか否かを前記表面領域毎に判定し、
少なくとも前記光源の位置が存在するか否かの判定の結果に基づき前記取得状態情報を算出することを含む、
光沢取得状態算出方法。 - 対象物、前記対象物を照明する光源、前記対象物を撮影するカメラの少なくともいずれかの移動に伴って、前記カメラによって前記対象物を撮影することで得られた画像群を取得することと、
前記対象物の3次元形状情報を取得することと、
前記3次元形状情報によって示される前記対象物の表面領域毎に、前記画像群に亘る鏡面反射光の放射輝度の遷移の情報である放射輝度遷移情報を推定することと、
前記表面領域毎に、前記放射輝度遷移情報の取得状態を示す取得状態情報を算出することと、
をコンピュータに実行させるための光沢取得状態算出プログラムであって、
前記取得状態情報を算出することは、
前記3次元形状情報から算出される前記表面領域の法線、前記画像群に亘る前記カメラの位置の情報であるカメラ位置情報によって示される前記カメラの位置及び前記画像群に亘る前記光源の位置の情報である光源位置情報によって示される前記光源の位置を用いて、前記カメラの位置に対し、前記表面領域を反射面として正反射方向となる前記光源の位置が存在するか否かを前記表面領域毎に判定し、
少なくとも前記光源の位置が存在するか否かの判定の結果に基づき前記取得状態情報を算出することを含む、
光沢取得状態算出プログラム。 - 請求項5に記載の光沢取得状態算出装置と通信できるように接続される端末であって、
前記画像群を前記光沢取得状態算出装置に送信する送信手段と、
前記指示画像を前記光沢取得状態算出装置から受信する受信手段と、
前記指示画像を表示する表示手段と、
を備える端末。 - 請求項5に記載の光沢取得状態算出装置と通信できるように接続される端末のための光沢取得状態表示プログラムであって、
前記画像群を前記光沢取得状態算出装置に送信することと、
前記指示画像を前記光沢取得状態算出装置から受信することと、
前記指示画像を表示手段に表示することと、
を前記端末のコンピュータに実行させるための光沢取得状態表示プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019199708A JP7463697B2 (ja) | 2019-11-01 | 2019-11-01 | 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019199708A JP7463697B2 (ja) | 2019-11-01 | 2019-11-01 | 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021072024A JP2021072024A (ja) | 2021-05-06 |
JP7463697B2 true JP7463697B2 (ja) | 2024-04-09 |
Family
ID=75714046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019199708A Active JP7463697B2 (ja) | 2019-11-01 | 2019-11-01 | 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7463697B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003203220A (ja) | 2002-01-07 | 2003-07-18 | Canon Inc | 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム |
JP2003202296A (ja) | 2002-01-07 | 2003-07-18 | Canon Inc | 画像入力装置、三次元測定装置および三次元画像処理システム |
JP2003216973A (ja) | 2002-01-21 | 2003-07-31 | Canon Inc | 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム |
JP2005092549A (ja) | 2003-09-18 | 2005-04-07 | Canon Inc | 三次元画像処理方法および装置 |
JP2019082838A (ja) | 2017-10-30 | 2019-05-30 | 富士ゼロックス株式会社 | 表示装置、スキャナ、表示システム及びプログラム |
-
2019
- 2019-11-01 JP JP2019199708A patent/JP7463697B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003203220A (ja) | 2002-01-07 | 2003-07-18 | Canon Inc | 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム |
JP2003202296A (ja) | 2002-01-07 | 2003-07-18 | Canon Inc | 画像入力装置、三次元測定装置および三次元画像処理システム |
JP2003216973A (ja) | 2002-01-21 | 2003-07-31 | Canon Inc | 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム |
JP2005092549A (ja) | 2003-09-18 | 2005-04-07 | Canon Inc | 三次元画像処理方法および装置 |
JP2019082838A (ja) | 2017-10-30 | 2019-05-30 | 富士ゼロックス株式会社 | 表示装置、スキャナ、表示システム及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021072024A (ja) | 2021-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11869139B2 (en) | System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function | |
EP3139589B1 (en) | Image processing apparatus and image processing method | |
CN104380338B (zh) | 信息处理器以及信息处理方法 | |
JP4739002B2 (ja) | 画像処理方法、画像処理装置 | |
EP3051793B1 (en) | Imaging apparatus, systems and methods | |
Brostow et al. | Video normals from colored lights | |
JP2003203220A (ja) | 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム | |
US11490062B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US11967094B2 (en) | Detecting device, information processing device, detecting method, and information processing program | |
JP2020008502A (ja) | 偏光ステレオカメラによる深度取得装置及びその方法 | |
Mecca et al. | Luces: A dataset for near-field point light source photometric stereo | |
Ahmad et al. | An improved photometric stereo through distance estimation and light vector optimization from diffused maxima region | |
Tsunezaki et al. | Reproducing material appearance of real objects using mobile augmented reality | |
Logothetis et al. | Near-field photometric stereo in ambient light | |
Angelopoulou et al. | Evaluating the effect of diffuse light on photometric stereo reconstruction | |
KR101865886B1 (ko) | 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템 | |
JP7341736B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7463697B2 (ja) | 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム | |
JP2022523122A (ja) | 可動スキャナを使用したテクスチャモデルの生成 | |
JP2015206654A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2004030408A (ja) | 三次元画像表示装置及び表示方法 | |
JP4213327B2 (ja) | 光源方向と3次元形状の推定方法および装置並びに記録媒体 | |
JP5503573B2 (ja) | 撮像装置および画像処理情報生成プログラム | |
JP2009244229A (ja) | 三次元画像処理方法、三次元画像処理装置および三次元画像処理プログラム | |
US20200267365A1 (en) | Information processing system, method for controlling same, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221026 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7463697 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |