JP7296313B2 - 高さ分布計測装置および高さ分布計測方法 - Google Patents

高さ分布計測装置および高さ分布計測方法 Download PDF

Info

Publication number
JP7296313B2
JP7296313B2 JP2019230842A JP2019230842A JP7296313B2 JP 7296313 B2 JP7296313 B2 JP 7296313B2 JP 2019230842 A JP2019230842 A JP 2019230842A JP 2019230842 A JP2019230842 A JP 2019230842A JP 7296313 B2 JP7296313 B2 JP 7296313B2
Authority
JP
Japan
Prior art keywords
light
height distribution
unit
image
distribution measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019230842A
Other languages
English (en)
Other versions
JP2021099251A (ja
Inventor
千恵 豊田
丈典 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Central R&D Labs Inc
Original Assignee
Toyota Motor Corp
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Central R&D Labs Inc filed Critical Toyota Motor Corp
Priority to JP2019230842A priority Critical patent/JP7296313B2/ja
Publication of JP2021099251A publication Critical patent/JP2021099251A/ja
Application granted granted Critical
Publication of JP7296313B2 publication Critical patent/JP7296313B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

本明細書の技術分野は、高さ分布計測装置および高さ分布計測方法に関する。
製品や部品の形状を測定するために光学測定装置が開発されてきている。それらの光学測定装置の多くは、計測対象物に光を照射し、その反射光を計測する。計測対象物には、反射光強度の強いものと弱いものとがある。受光部で受光した光が弱ければ十分な精度で測定することが困難である。受光部で受光した光が強ければ受光部に問題を引き起こすおそれがある。例えば、CCDではスミアやブルーミングを引き起こす。撮像管や光電子増倍管では焼き付け等を引き起こす。
そのため、種々の反射率の計測対象物を測定するための光学測定装置が開発されてきている。例えば、特許文献1には、TVカメラ56の出力信号に応じて照射光の光量分布を制御する透過型液晶板52を有する測定装置が開示されている(特許文献1の段落[0030]等参照)。これにより、計測対象物において反射光強度が高い部分と低い部分との双方を測定することができる旨が開示されている。
特開平10-38511号公報
ところで、反射率の異なる2以上の部材を備える計測対象物がある。例えば、金属部品と樹脂部品とが組み合わされた製品が挙げられる。特許文献1の測定装置においてはフィードバック制御を用いる。そのため、反射光強度が強い部分と弱い部分とを含む計測対象物が移動する場合に、計測が困難である。つまり、計測対象物をインラインで計測することが困難である。
このように反射率が高い部分と反射率が低い部分とを有する計測対象物が移動する場合に、反射光強度が高い部分と低い部分とを同時に高精度で測定することは決して容易ではない。
本明細書の技術が解決しようとする課題は、反射率が高い部分と反射率が低い部分とを有する計測対象物が移動する場合に反射光強度が高い部分と低い部分とを同時に高精度で測定することのできる高さ分布計測装置および高さ分布計測方法を提供することである。
第1の態様における高さ分布計測装置は、計測対象物に光を照射する光照射部と、計測対象物からの反射光を撮像する撮像部と、撮像部に入射する前の光を分岐させる光分岐部と、制御部と、を有する。光分岐部は、光照射部から照射された光の計測対象物からの反射光を強度の異なる2以上の光に分岐させる。撮像部は、光分岐部により分岐された光を受光する。制御部は、撮像部が取得した画像の画像領域を分割する画像領域分割部と、画像領域分割部により分割された画像領域ごとに光分岐部により分岐された2以上の光のうち一つの光を選択する光選択部と、を含む。
この高さ分布計測装置は、反射率が高い部分と反射率が低い部分とを有する計測対象物が移動する場合に反射光強度が高い部分と低い部分とを同時に高精度で測定することができる。
本明細書では、反射率が高い部分と反射率が低い部分とを有する計測対象物が移動する場合に反射光強度が高い部分と低い部分とを同時に高精度で測定することのできる高さ分布計測装置および高さ分布計測方法が提供されている。
第1の実施形態の高さ分布計測装置の概略構成図である。 第1の実施形態の高さ分布計測装置の制御系を示すブロック図である。 第1の実施形態で用いる光切断法を説明するための斜視図である。 第1の実施形態で用いる光切断法における光切断線の画像を例示する図である。 第1の実施形態の高さ分布計測装置が取得する画像を例示する図である。 第1の実施形態の高さ分布計測装置の画像合成部が第1領域および第2領域から光を選択して合成した画像を示している。 第2の実施形態の高さ分布計測装置の概略構成図である。 第3の実施形態の高さ分布計測装置が計測する計測対象物からの光切断線の像を例示する図である。 第3の実施形態の高さ分布計測装置が計測する計測対象物での光の反射状態を示す概念図である。
以下、具体的な実施形態について、高さ分布計測装置および高さ分布計測方法を例に挙げて説明する。しかし、本明細書の技術はこれらの実施形態に限定されるものではない。
(第1の実施形態)
1.高さ分布計測装置
図1は、第1の実施形態の高さ分布計測装置100の概略構成図である。図1に示すように、高さ分布計測装置100は、計測対象物M1の高さ分布を計測する。計測対象物M1は、基準面S1の上を矢印J1の向きに一定の速度で搬送される。そのため、高さ分布計測装置100は、計測対象物M1をインラインでモニタリングすることができる。
高さ分布計測装置100は、光照射部110と、撮像部120と、回折格子130と、制御部140と、搬送部C1と、を有する。
光照射部110は、計測対象物M1に向けて光を照射する。光照射部110は、ライン状の光源である。光照射部110が照射する光は単色光であるとよい。光照射部110が照射する光は白色光であってもよいが、単色光のほうが望ましい。また、光は可視光であってもよいし、赤外線であってもよい。光照射部110は、ライン状のレーザー光を照射するとよい。
撮像部120は、計測対象物M1の表面で反射した光を受光する受光部である。撮像部120は、例えば、カメラである。そのため、撮像部120は、計測対象物M1からの光を撮像することができる。撮像部120は、カメラレンズ121を有する。撮像部120は、後述する回折格子130により分岐された光を受光することができる。撮像部120は、受光した光を電気信号に変換するとともに制御部140に送信する。
回折格子130は、撮像部120に入射する前の光を分岐させる光分岐部である。回折格子130は、計測対象物M1と撮像部120との間に位置している。回折格子130は、計測対象物M1からの反射光を強度の異なる2つの光に分岐させる。例えば、0次光と1次光とに分岐させる。ここで、0次光は、1次光よりも明るい。例えば、1次光の強度は0次光の強度の1/10程度である。このように回折格子130は、計測対象物M1からの光を比較的明るい0次光と比較的暗い1次光との2つの光に分岐させる。
制御部140は、光照射部110および撮像部120を制御する。また、撮像部120が受光した光を電気信号として受信する。そして、その画像情報を処理する。制御部140はまた、その他の制御を実行してもよい。
搬送部C1は、計測対象物M1を搬送する。搬送部C1は、高さ分布計測装置100の外部の装置であってもよい。
2.制御系
図2は、第1の実施形態の高さ分布計測装置100の制御系を示すブロック図である。図2に示すように、制御部140は、画像情報取得部141と、画像領域分割部142と、光選択部143と、画像合成部144と、高さ分布算出部145と、その他の制御部146と、を有する。
画像情報取得部141は、撮像部120が撮影した映像の情報を取得する。この映像の情報は、画像と映像とを含む。下記の処理においては、画像を用いることとして説明する。画像情報取得部141は、映像または画像の情報を画像領域分割部142に送信する。
画像領域分割部142は、撮像部120が取得した画像の画像領域を分割する。画像領域分割部142は、分割した画像領域を光選択部143に送信する。具体的には後述する。
光選択部143は、画像領域分割部142により分割された画像領域ごとに回折格子130により分岐された2つの光のうち一つの光を選択する。光選択部143は、選択した光の情報を画像合成部144に送信する。具体的には後述する。
画像合成部144は、画像領域ごとに光選択部143により選択された一つの光を合成する。画像合成部144は、合成した画像の情報を高さ分布算出部145に送信する。具体的には後述する。
高さ分布算出部145は、画像合成部144が合成した画像の情報から計測対象物M1の高さ分布を算出する。
その他の制御部146は、高さ分布計測装置100のその他の制御を行う。
3.光切断法
ここで、第1の実施形態の高さ分布計測装置100が高さ分布を計測するための原理について説明する。第1の実施形態では、反射率が高い部分と反射率が低い部分とを有する計測対象物M1の高さ分布を計測するが、まずは反射率の差がない計測対象物M0を計測する場合について説明する。そのために、回折格子130が存在しない場合について説明する。
図3は、第1の実施形態で用いる光切断法を説明するための斜視図である。計測対象物M0は、矢印J1の向きに移動すると仮定する。図3に示すように、光照射部110が、計測対象物M0に対して線状に拡散する光を照射する。このとき、線状の光は、光切断線を描く。障害物である計測対象物M0については計測対象物M0の形状に応じた光切断線が計測対象物M0の上に投影される。計測対象物M0がないところでは、基準面の上に光切断線が投影される。計測対象物M0の表面により散乱された光は撮像部120に入射する。
図4は、第1の実施形態で用いる光切断法における光切断線の画像を例示する図である。図4の横軸は、計測対象物M0の搬送方向に対して垂直な方向を示している。図4の縦軸は、基準面からの高さを示している。このように、撮像部120は、光切断線を映像として取得する。
4.画像処理
次に、回折格子130が存在する場合について説明する。
図5は、第1の実施形態の高さ分布計測装置100が取得する画像を例示する図である。図5に示すように、撮像部120は、光切断線の0次光の像L0と1次光の像L1とを受光する。0次光の像L0と1次光の像L1との間の間隔H1は撮像領域にわたって一定である。
図5に示すように、この計測対象物M1は中央部分で光の反射率が高く、両端部で光の反射率が低い。そのため、撮像部120が撮影した映像のうち中央部分では受光量が多く、両端部では受光量が少ない。
0次光の像L0を採用する場合には、中央部分で受光量が過剰になっている。そのため、中央部分でブルーミングが生じている。その結果、計測対象物M1の形状を表す線が中央部分で不明瞭になっている。
一方、1次光の像L1を採用する場合には、両端部で受光量が不足している。そのため、このままでは、両端部の形状を計測することは困難である。
そこで、画像領域分割部142は、仮想的に、第1領域R1と第2領域R2とを設定する。第1領域R1は、0次光の像L0の輝度値が過剰に大きく1次光の像L1の輝度値が適度な大きさである領域である。第2領域R2は、0次光の像L0の輝度値が適度な大きさであり1次光の像L1の輝度値の大きさが小さすぎる領域である。
光選択部143は、第1領域R1から1次光の像L1を選択するとともに第2領域R2から0次光の像L0を選択する。そして、画像合成部144は、これらの画像領域ごとに選択された光切断線の像を合成する。
図6は、第1の実施形態の高さ分布計測装置100の画像合成部144が第1領域R1および第2領域R2の光切断線の像を合成した画像を示している。このように、合成後の画像では、ブルーミングや光の不足が生じていない。
このため高さ分布算出部145は、計測対象物M1の高さ分布を高精度で算出することができる。
このように第1の実施形態では、計測対象物M1に光を照射し、計測対象物M1からの光切断線を強度の異なる2以上の光切断線に分岐させ、分岐させた2以上の光切断線の像を少なくとも画像として撮像する。そして、取得した画像の画像領域を分割し、分割された画像領域ごとに分岐された2以上の光切断線の像のうちの一つを選択し、選択された一つの光切断線の像を合成し、高さ分布を算出する。
5.第1の実施形態の効果
第1の実施形態の高さ分布計測装置100は、反射率の高い部分と低い部分とを含む計測対象物M1を移動させながら、反射光強度の高い部分および低い部分の高さ分布を同時に高精度で計測することができる。
6.変形例
6-1.高さ分布情報合成部
制御部は、画像合成部143の代わりに、算出された高さ分布情報を合成する高さ分布情報合成部を有していてもよい。つまり、高さ分布情報合成部は、画像として合成する代わりに、0次光の像L0と1次光の像L1の位置および形状などの情報をそれぞれ数値化し、数値化した後のそれぞれの高さ分布情報を合成する。
6-2.数値および画像
画像合成部143は、図6に示すような合成画像を生成する。しかし、画像として生成する代わりに、受光の強さを数値として用いてもよい。つまり、受光データを画像として用いてもよいし、数値として用いてもよい。
6-3.光分岐部における光の分岐
第1の実施形態では、回折格子130は、撮像部120に入射する光を0次光の像L0と1次光の像L1とに分離する。しかし、撮像部120に入射する光を3つ以上に分離してもよい。つまり、光分岐部は、撮像部120に入射する前の光を2以上に分岐させてもよい。
6-4.光分岐部の種類
第1の実施形態の光分岐部は回折格子130である。しかし、その他の光学素子を用いてもよい。光分岐部として例えば、ウォラストンプリズムやノマルスキープリズム等の複屈折素子が挙げられる。
6-5.組み合わせ
上記の変形例を自由に組み合わせてよい。
(第2の実施形態)
第2の実施形態について説明する。
1.高さ分布計測装置
図7は、第2の実施形態の高さ分布計測装置200の概略構成図である。図7に示すように、高さ分布計測装置200は、光照射部110と、第1撮像部221と、第2撮像部222と、ハーフミラー230と、制御部240と、を有する。
ハーフミラー230は、計測対象物M1からの反射光を2つに分岐させるための光分岐部である。ハーフミラー230は、光を第1撮像部221と第2撮像部222とに入射させる。ハーフミラー230は、強度の高い光を第1撮像部221に入射させ、強度の低い光を第2撮像部222に入射させる。ハーフミラー230は、例えば、受光した光の90%を透過させ10%を反射させる。
制御部240は、このように強度の高い透過光の映像と強度の低い反射光の映像とを得ることができる。このため、第1の実施形態と同様に、制御部240は、図6の合成画像を生成し、高さ分布を計測することができる。
(第3の実施形態)
第3の実施形態について説明する。高さ分布計測装置の機械的構成は、第1の実施形態と同様である。
1.計測対象物
第3の実施形態の計測対象物は、金属光沢面と拡散面との中間的な反射特性を持つとともに平板状に広がる形状を有する。
図8は、第3の実施形態の高さ分布計測装置が計測する計測対象物からの光切断線の像を例示する図である。図8に示すように、中央部分の第1領域R1では光切断線の像の輝度値は十分大きいが、両端部の第2領域R2では光切断線の像の輝度値は不足している。
図9は、第3の実施形態の高さ分布計測装置が計測する計測対象物での光の反射状態を示す概念図である。図9に示すように、光照射部110から拡散したレーザー光は計測対象物の表面で反射するとともに拡散する。そして、計測対象物の端部付近では、光が撮像部120に入射しない方向に拡散してしまう割合が多い。その結果、図8に示すように、計測対象物の両端部で光切断線の輝度値が不足する。
このような場合であっても、第1の実施形態のように0次光の像L0と1次光の像L1とを受光し、第1領域R1から1次光の像L1を取り出し、第2領域R2から0次光の像L0を取り出すことにより、計測に適した画像を生成することができる。
(付記)
第1の態様における高さ分布計測装置は、計測対象物に光を照射する光照射部と、計測対象物からの反射光を撮像する撮像部と、撮像部に入射する前の光を分岐させる光分岐部と、を有する。光分岐部は、入射光を強度の異なる2以上の光に分岐させる。撮像部は、光分岐部により分岐された光を受光する。
第2の態様における高さ分布計測装置は、制御部を有する。制御部は、撮像部が取得した画像の画像領域を分割する画像領域分割部と、画像領域分割部により分割された画像領域ごとに光分岐部により分岐された2以上の光のうち一つの光を選択する光選択部と、を有する。
第3の態様における高さ分布計測装置においては、制御部は、光選択部により選択された一つの光を合成する画像合成部を有する。
第4の態様における高さ分布計測装置においては、制御部は、算出された高さ分布情報を合成する高さ分布情報合成部を有する。
第5の態様における高さ分布計測装置においては、光分岐部は、計測対象物と撮像部との間に位置する。
第6の態様における高さ分布計測装置においては、光分岐部は、回折格子である。
第7の態様における高さ分布計測装置においては、光分岐部は、ハーフミラーである。
第8の態様における高さ分布計測装置においては、光分岐部は、ウォラストンプリズムである。
第9の態様における高さ分布計測方法は、計測対象物に光を照射し、計測対象物からの光を強度の異なる2以上の光に分岐させ、分岐させた2以上の光を少なくとも画像として撮像する。そして、取得した画像の画像領域を分割し、分割された画像領域ごとに分岐された2以上の光のうちの一つを選択し、選択された一つの光または算出された高さ分布情報を合成する。
100…高さ分布計測装置
110…光照射部
120…撮像部
130…回折格子
140…制御部

Claims (7)

  1. 計測対象物に光を照射する光照射部と、
    前記計測対象物からの反射光を撮像する撮像部と、
    前記撮像部に入射する前の光を分岐させる光分岐部と、
    制御部と、
    を有し、
    前記光分岐部は、
    前記光照射部から照射された光の前記計測対象物からの反射光を強度の異なる2以上の光に分岐させ、
    前記撮像部は、
    前記光分岐部により分岐された光を受光すること
    を含み、
    前記制御部は、
    前記撮像部が取得した画像の画像領域を分割する画像領域分割部と、
    前記画像領域分割部により分割された前記画像領域ごとに前記光分岐部により分岐さ
    れた2以上の光のうち一つの光を選択する光選択部と、
    を含む高さ分布計測装置。
  2. 請求項に記載の高さ分布計測装置において、
    前記制御部は、
    前記光選択部により選択された一つの光を合成する画像合成部と、
    を含む高さ分布計測装置。
  3. 請求項1又は請求項2に記載の高さ分布計測装置において、
    前記光分岐部は、
    前記計測対象物と前記撮像部との間に位置すること
    を含む高さ分布計測装置。
  4. 請求項1から請求項3までのいずれか1項に記載の高さ分布計測装置において、
    前記光分岐部は、
    回折格子であること
    を含む高さ分布計測装置。
  5. 請求項1から請求項3までのいずれか1項に記載の高さ分布計測装置において、
    前記光分岐部は、
    ハーフミラーであること
    を含む高さ分布計測装置。
  6. 請求項1から請求項3までのいずれか1項に記載の高さ分布計測装置において、
    前記光分岐部は、
    ウォラストンプリズムであること
    を含む高さ分布計測装置。
  7. 光照射部から計測対象物に光を照射し、
    前記光照射部から照射された光の前記計測対象物からの反射光を強度の異なる2以上の光に分岐させ、
    分岐させた2以上の光を少なくとも画像として撮像し、
    取得した画像の画像領域を分割し、
    分割された前記画像領域ごとに分岐された2以上の光のうちの一つを選択し、
    選択された一つの光を合成すること
    を含む高さ分布計測方法。
JP2019230842A 2019-12-20 2019-12-20 高さ分布計測装置および高さ分布計測方法 Active JP7296313B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019230842A JP7296313B2 (ja) 2019-12-20 2019-12-20 高さ分布計測装置および高さ分布計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019230842A JP7296313B2 (ja) 2019-12-20 2019-12-20 高さ分布計測装置および高さ分布計測方法

Publications (2)

Publication Number Publication Date
JP2021099251A JP2021099251A (ja) 2021-07-01
JP7296313B2 true JP7296313B2 (ja) 2023-06-22

Family

ID=76541907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019230842A Active JP7296313B2 (ja) 2019-12-20 2019-12-20 高さ分布計測装置および高さ分布計測方法

Country Status (1)

Country Link
JP (1) JP7296313B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7045116B1 (ja) 2021-07-30 2022-03-31 国立大学法人福井大学 光切断法による位相解析を用いた変位計測方法とその装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010237008A (ja) 2009-03-31 2010-10-21 Toyota Central R&D Labs Inc 高温物体の形状計測装置及び形状計測方法
JP5340727B2 (ja) 2005-05-20 2013-11-13 アディダス アーゲー 動的過膨張を測定するための方法及びシステム
WO2017110838A1 (ja) 2015-12-25 2017-06-29 株式会社キーエンス 共焦点変位計
JP6221011B1 (ja) 2016-03-29 2017-10-25 バンドー化学株式会社 歯付ベルト

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6221011A (ja) * 1985-07-19 1987-01-29 Nissan Motor Co Ltd 光切断法による計測装置
JPH05340727A (ja) * 1992-06-05 1993-12-21 Yunisun:Kk 三次元形状計測装置
JP3900586B2 (ja) * 1997-04-17 2007-04-04 日産自動車株式会社 自動断面計測装置
JP5081559B2 (ja) * 2007-09-28 2012-11-28 パナソニック デバイスSunx株式会社 測定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5340727B2 (ja) 2005-05-20 2013-11-13 アディダス アーゲー 動的過膨張を測定するための方法及びシステム
JP2010237008A (ja) 2009-03-31 2010-10-21 Toyota Central R&D Labs Inc 高温物体の形状計測装置及び形状計測方法
WO2017110838A1 (ja) 2015-12-25 2017-06-29 株式会社キーエンス 共焦点変位計
JP6221011B1 (ja) 2016-03-29 2017-10-25 バンドー化学株式会社 歯付ベルト

Also Published As

Publication number Publication date
JP2021099251A (ja) 2021-07-01

Similar Documents

Publication Publication Date Title
US10788318B2 (en) Three-dimensional shape measurement apparatus
US7189984B2 (en) Object data input apparatus and object reconstruction apparatus
EP2162790B1 (en) Multi color autofocus apparatus and method
EP3492861B1 (en) Image processing system and image processing method
WO2006094021A3 (en) Target acquisition and overlay metrology based on imaging by two diffracted orders
JP2008268387A (ja) 共焦点顕微鏡
US6317204B2 (en) Surface inspecting device and surface inspecting method
CN108534682B (zh) 共焦测量装置
JP7296313B2 (ja) 高さ分布計測装置および高さ分布計測方法
CA2334225C (en) Method and device for opto-electrical acquisition of shapes by axial illumination
US10362235B2 (en) Processing apparatus, processing system, image pickup apparatus, processing method, and storage medium
JP2010112865A (ja) 白色干渉計測装置及び方法
KR20180028230A (ko) 광학식 거리 측정 장치
JP2004271381A (ja) スペックル干渉計装置
RU2605894C1 (ru) Мультиспектральный лазерный фотосепаратор
JP2020003432A (ja) 撮像装置、画像処理方法、画像処理プログラムおよび記録媒体
KR101186103B1 (ko) 측정 대상물의 3d 높이 정보를 측정하는 측정 방법 및 장치
JP5543863B2 (ja) 撮像装置
JP7490457B2 (ja) 処理装置、処理システム、撮像装置、処理方法、およびプログラム
KR101506838B1 (ko) 디스드로미터 장치 및 디스드로미터 장치 동작 방법
JPS61149803A (ja) 干渉測定装置
US9759555B2 (en) High throughput triangulation system
JP2006208632A (ja) 光学測定装置
JP2022112904A (ja) 形状測定方法、及び干渉計
KR20200109766A (ko) 표시장치에 포함된 광학요소에 의한 노이즈를 보정하기 위한 보정패턴 획득장치와 이를 이용한 노이즈 보정패턴 획득방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220324

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220701

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230406

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230612

R150 Certificate of patent or registration of utility model

Ref document number: 7296313

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150