JP7327911B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7327911B2 JP7327911B2 JP2018132152A JP2018132152A JP7327911B2 JP 7327911 B2 JP7327911 B2 JP 7327911B2 JP 2018132152 A JP2018132152 A JP 2018132152A JP 2018132152 A JP2018132152 A JP 2018132152A JP 7327911 B2 JP7327911 B2 JP 7327911B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- imaging
- distance
- ranging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 77
- 238000003672 processing method Methods 0.000 title claims 3
- 238000003384 imaging method Methods 0.000 claims description 145
- 238000001514 detection method Methods 0.000 claims description 100
- 238000000034 method Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 description 24
- 238000006243 chemical reaction Methods 0.000 description 22
- 230000004907 flux Effects 0.000 description 17
- 210000001747 pupil Anatomy 0.000 description 15
- 238000003860 storage Methods 0.000 description 13
- 230000010354 integration Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000010391 action planning Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
本実施形態の画像処理装置は、撮像画素と撮像面位相差方式による測距が可能な測距画素とが所定の配置パターンで配された撮像素子からの出力信号を処理する装置であり、撮像素子の出力信号を基に生成した画像から所定の物体を検出する機能を有する。なお、以下の説明に用いる各図において、図番は異なっていても同じ構成または処理を行う部分にはそれぞれ同じ参照符号を付している。
画像生成部130は、撮像素子11から供給された撮像信号に対し、ノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行い、観賞用画像ならびに物体検出に用いる画像を生成する。なお、観賞用画像は、撮像素子11の撮像画素からの撮像信号を基に生成される。物体検出に用いる画像の生成に関する詳細な説明は後述する。そして、画像生成部130から出力された画像データはメモリ131に一時的に蓄積される。メモリ131に蓄積された画像データのうち、物体検出に用いる画像のデータは後述する物体検出部134に送られ、観賞用画像のデータは表示部16の表示に使用されたり、他の装置へ送信等されたりする。なお、物体検出に用いる画像データについても他の装置等への送信がなされてもよい。
領域設定部133は、後述するように、画像生成部130で生成された画像、あるいは距離生成部132で生成された距離画像を基に、拡大するべき領域を設定する。
物体検出部134は、後述するように、画像生成部130で生成された物体検出に用いる画像から、特定の物体の領域を検出し、その検出した物体領域の画像内における位置・大きさを特定する。
情報統合部135は、後述するように、距離生成部132および物体検出部134からの情報を統合し、その情報を基に、物体検出部134にて検出された物体が撮像装置1からどの距離に存在するかを演算する。情報統合部135は、検出された物体と距離情報、移動体の移動予定経路等を総合的に判断し、検出された物体が障害物となるか等を判断してもよい。
入力部15は、ユーザーが操作し、撮像装置1に対して、情報入力や設定変更を行うためのインターフェイスである。入力部15としては、例えば、ダイヤル、ボタン、スイッチ、タッチパネルなどを用いることができる。
表示部16は、撮影時の構図確認のための画像や、各種設定画面、メッセージ情報、物体検出結果などの表示を行う。表示部16は、液晶ディスプレイや有機ELなどで構成される表示デバイスである。
通信部17は、画像処理部13で生成された撮像画像や距離情報、検出物体の情報、情報統合部135で障害物判断が行われた場合の障害物判断情報等を、他の装置に送信したり、他の装置から送信された各情報を受信したりする機能を有している。
前述したように、本実施形態の撮像素子11は、撮像画素と、撮像面位相差方式による測距画素とを備え、結像光学系10を介して撮像面に結像された被写体像を光電変換し、被写体像に基づく画像信号ならびに距離情報を生成可能な機能を有している。
図1(C)は、図1(B)の画素群110のなかの測距画素Mの1画素分についてI-I'断面を模式的に示した図である。図1(C)に示すように、一つの測距画素Mは、導光層113と受光層114とで構成されている。導光層113には、測距画素へ入射した光束を二つの光電変換部へ効率よく導くためのマイクロレンズ111、所定の波長帯域の光を通過させるフィルタ112、不図示の画像読み出し用及び画素駆動用の配線などにより構成されている。フィルタ112は、例えばW画素と同様に広い通過波長帯域を持つフィルタであるが、このフィルタは必ずしも備えられていなくてもよい。受光層114は、光電変換部115および光電変換部116の二つの光電変換部により構成されている。なお、不図示の画像読み出し用及び画素駆動用の配線は受光層114に設けられていてもよい。
図2(A)は、結像光学系10の射出瞳101と、撮像素子11中の画素の光電変換部115により受光される光束(光束は図中点線で示している。)と、を示した概略図である。図2(B)は同様に光電変換部116により受光される光束を示した概略図である。
図2(C)は合焦時の状態を示しており、光束211および光束221が撮像素子11上で収束している。このとき、光束211により形成される画像信号S1と光束221により形成される画像信号S2との間で視差量は0となる。
図2(D)は像側でz軸の負方向にデフォーカスした状態を示している。この時、光束211により形成される画像信号S1と光束221により形成される画像信号S2との間で視差量は0とはならず、負の値を有する。
図2(E)は、像側でz軸の正方向にデフォーカスした状態を示している。この時、光束211により形成される画像信号S1と光束221により形成される画像信号S2との間で視差量は正の値を有する。
そしてこれら図2(D)と図2(E)の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、デフォーカス量に応じて、結像光学系10の結像関係(幾何関係)に従って位置ズレが生じることが分かる。画像信号S1と画像信号S2との間の位置ずれを表す視差量は、後述する照合領域と参照領域を用いた領域ベースで相関を求めるマッチング手法等によって検出することができる。
次にS302において、画像処理部13は、物体検出用画像(撮像素子11の解像度に応じた第1の物体検出用画像)と距離画像とを生成する。
前述した図1(B)に示したように、撮像素子11の画素の配列は、R画素とG画素とB画素とW画素からなる各撮像画素が配された行と、画素Mの測距画素が配された行とに分かれている。また、図4に示すように、撮像素子11の画素数は横方向(x軸方向)がWs画素で縦方向(y軸方向)がHs画素からなるWs×Hs画素であるとする。
このように、本実施形態の画像生成部130は、撮像素子11に配された撮像画素の行数と同等の行数となる画像を生成し、その画像を変倍することにより物体検出用画像412を生成している。
また、デモザイキング方法に関しては特に制限は無く、例えばW画素の信号を利用してSN比を向上するよう、R画素,G画素,B画素の各画素値を補間するようにしてもよい。
図4に示した撮像素子11の測距画素であるM画素から読み出された画像信号413は、前述した光電変換部115からの画像信号S1と、光電変換部116からの画像信号S2とを有した信号となっている。距離生成部132は、それら画像信号S1と画像信号S2を基に、距離画像415(距離画像D)を生成する。
S321において、距離生成部132は、画像信号S1および画像信号S2について光量補正処理を施す。結像光学系10の周辺画角では、ヴィネッティング(口径食)によって瞳領域210と瞳領域220の形状が異なり、それに起因して、画像信号S1と画像信号S2との間で光量バランスが崩れることがある。このため、S321において、距離生成部132は、メモリ131に予め格納されている光量補正値を用いて、画像信号S1と画像信号S2について光量補正処理を施す。
S303に進むと、画像処理部13は、S302で生成した距離画像を利用して、拡大すべき領域を設定する。拡大すべき領域は遠方の領域であり、拡大すべき領域の設定は領域設定部133において行われる。
以下、拡大すべき領域の設定について図5を用いて説明する。
ここで、物体検出が可能な最小モデルに相当する大きさをWmin画素、検出したい実モデルの大きさをWm、結像光学系10の焦点距離をF、撮像素子11の画素ピッチをPで表すとする。この場合、撮像装置1から、最小モデルとして検出可能な物体までの第1の距離Dminは、式(3)により表すことができる。
また例えば、撮像装置1から物体までの距離のうち、所定の第2の距離以上(Dmax以上)の遠い物体等については、撮像装置1の撮像画像ではそもそも解像することができず、その物体の写った画像領域を例えば拡大したとしても物体を検出できないとする。すなわち言い換えると、撮像装置1から物体までの距離が所定の第2の距離未満(Dmax未満)であれば、例えば撮像画像を拡大すれば物体を検出することが可能になるとする。
S304に進むと、画像処理部13は、拡大すべき遠方の領域が存在するか否か、つまり領域設定部133により拡大するべきと設定された領域が存在するか否かの判定を行う。この判定は、例えば画像生成部130において行われるとする。画像生成部130は、S304において、拡大すべき遠方領域が存在しないと判定した場合にはS306に処理を進め、一方、拡大すべき遠方領域が存在すると判定した場合にはS305に処理を進める。
図4において、画像416は、撮像素子11の画素配列において左上座標(xs,ys)で大きさがWts×Hts画素の矩形領域を切り出した画像に相当する。
S305の後、S306に進むと、画像処理部13は、物体検出処理を行う。物体検出処理は物体検出部134において行われる。
ここで、物体検出部134は、S302で生成された物体検出用画像、または、304で拡大すべき遠方領域が存在すると判定された場合にS305で生成された拡大物体検出用画像を用いて、物体検出を行う。物体検出に関しては、例えば前述したように、特徴点ベースの方式やニューラルネットワークを用いた方式など、特に限定は無く、いずれの方式を用いてもよい。そして、物体検出部134は、物体検出結果として、画像中のどの位置にどのような大きさの物体が存在するかを示す矩形領域情報を出力する。なお、拡大物体検出用画像から検出された矩形領域については、画像拡大処理の際の拡大率を考慮して、最終的に物体検出用画像の大きさに整合された矩形領域情報として出力される。
なお前述した説明では、距離画像の距離のみを用いて拡大すべき領域を設定したが、それに限らない。例えば、図5の物体検出用画像510を解析して例えば走行路を検出し、その走行路上で、且つ遠方の距離となる領域を、拡大すべき領域として設定してもよい。そのように設定することで、拡大物体検出用画像を記憶するメモリ131の使用量の削減、および、拡大物体検出用画像による物体検出処理の時間を削減することが可能となる。
撮像素子61の信号から物体検出用画像を生成する場合、その物体検出用画像の解像度は、撮像素子61における解像度の半分となる。この場合、画像生成部130は、S302において、半画素分のずれ量に基づく補間を行う画素ずらし処理による画像生成を行わず、図4のベイヤー配列画像411と同様な画素並びのR,G,Bの物体検出用画像412を生成する。
図7に示すように、車両700は、撮像装置1、行動計画装置71、警報装置72、制御装置73、車両情報取得装置74を備えている。
車両情報取得装置74は、車両700の車速(速度)、ヨーレート、舵角の少なくともいずれかを、車両情報として取得する。
行動計画装置71は、撮像装置1からの撮像画像、測距画像、検出物体の情報、車両情報取得装置74からの車両情報等を総合的に判断し、車両700の移動予定経路、車両700の周辺環境を認識すると共に、自車の加減速・操舵角等の行動計画を策定する。
また例えば、前方車との衝突の可能性が高い場合、警報装置72は、音などの警報を発したり、カーナビゲーションシステムやヘッドアップディスプレイ等の表示装置に警報を表示したりして、運転手に警告を行う。
Claims (16)
- 撮像画素と撮像面位相差方式で測距が可能な測距画素とが所定の配置パターンで配された撮像素子からの出力信号を処理する画像処理装置であって、
前記撮像画素の出力信号を基に第1の画像を生成する第1の生成手段と、
前記測距画素の出力信号を基に距離情報を生成する測距手段と、
前記第1の画像について、前記距離情報を基に所定の距離よりも遠方となる領域を設定する設定手段と、
前記設定手段により前記設定された領域について、前記撮像画素ならびに前記測距画素の出力信号を基に、前記第1の画像を用いて前記撮像画素の配置パターンに応じた解像度以上の解像度を有する第2の画像を生成する第2の生成手段と、
前記第1の画像と前記第2の画像のいずれかの画像から、所定の物体の領域を検出する検出手段と、
を有し、
前記第2の生成手段は、
前記撮像素子の前記測距画素から読み出された複数の信号を加算して輝度信号を生成して、前記撮像画素による前記解像度以上の解像度を有する輝度画像を生成し、
前記設定手段により前記設定された領域を拡大した画像を生成し、前記輝度画像を用いて前記拡大した画像を補正して前記第2の画像を生成することを特徴とする画像処理装置。 - 前記撮像素子の前記配置パターンは、前記撮像画素と前記測距画素がそれぞれ行ごとに配列したパターンであり、
前記第2の生成手段は、前記設定手段により前記設定された領域について、前記撮像画素の行数と同等以上の行数となる前記第2の画像を生成することを特徴とする請求項1に記載の画像処理装置。 - 前記第1の生成手段は、前記撮像画素の配置パターンに応じた解像度と同等の解像度の前記第1の画像を生成することを特徴とする請求項1または2に記載の画像処理装置。
- 前記撮像素子の前記配置パターンは、前記撮像画素と前記測距画素がそれぞれ行ごとに配列したパターンであり、
前記第1の生成手段は、前記撮像画素の行数と同等の行数となる画像を生成し、当該画像を変倍して前記第1の画像を生成することを特徴とする請求項3に記載の画像処理装置。 - 前記撮像素子の前記配置パターンは、前記撮像画素と前記測距画素が前記撮像画素の行と前記測距画素の行とを一組として組ごとに半画素分ずれた配置であり、
前記第2の生成手段は、前記半画素分のずれに応じた補間を行って拡大した画像を前記第2の画像として生成することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。 - 前記第1の生成手段は、前記半画素分のずれに応じた補間を行わずに前記第1の画像を生成することを特徴とする請求項5に記載の画像処理装置。
- 前記第2の生成手段は、前記設定手段により前記設定された領域について、前記輝度画像と同等の画素数となるように拡大した画像を、前記輝度画像を用いて補正して前記第2の画像を生成することを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
- 前記第2の生成手段は、前記輝度画像の画素ごとの輝度に対応した色の比を算出し、前記画素ごとに算出した色の比を、前記拡大した画像の対応した画素に乗ずることにより前記補正を行うことを特徴とする請求項7に記載の画像処理装置。
- 前記第2の生成手段は、輝度画像からなる前記第2の画像を生成することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 前記設定手段は、前記所定の距離よりも遠方となる領域として、第1の距離から前記第1の距離よりも遠方の第2の距離までの距離範囲に入る領域を設定することを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
- 前記第1の距離は、前記第1の画像から検出可能な物体の最小モデルを基に設定された距離であり、
前記第2の距離は、前記第2の画像から検出可能な物体の最小モデルを基に設定された距離であることを特徴とする請求項10に記載の画像処理装置。 - 前記設定手段は、前記第1の画像に含まれる走行路の領域について、前記距離情報を基に所定の距離よりも遠方となる前記領域を設定することを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。
- 撮像画素と撮像面位相差方式で測距が可能な測距画素とが所定の配置パターンで配された撮像素子と、
請求項1から12のいずれか1項に記載の画像処理装置と、
を有することを特徴とする撮像装置。 - 請求項13に記載の撮像装置と、
前記撮像装置による物体の検出結果を用いて、移動体の行動計画を生成する行動計画装置と、
前記行動計画に基づいて前記移動体の動作を制御する制御装置と、
を有することを特徴とする支援装置。 - 撮像画素と撮像面位相差方式で測距が可能な測距画素とが所定の配置パターンで配された撮像素子からの出力信号を処理する画像処理方法であって、
前記撮像画素の出力信号を基に第1の画像を生成する第1の生成工程と、
前記測距画素の出力信号を基に距離情報を生成する測距工程と、
前記第1の画像について、前記距離情報を基に所定の距離よりも遠方となる領域を設定する設定工程と、
前記設定工程により前記設定された領域について、前記撮像画素ならびに前記測距画素の出力信号を基に、前記第1の画像を用いて前記撮像画素の配置パターンに応じた解像度以上の解像度を有する第2の画像を生成する第2の生成工程と、
前記第1の画像と前記第2の画像のいずれかの画像から、所定の物体の領域を検出する検出工程と、
を有し、
前記第2の生成工程においては、
前記撮像素子の前記測距画素から読み出された複数の信号を加算して輝度信号を生成して、前記撮像画素による前記解像度以上の解像度を有する輝度画像を生成し、
前記設定工程において前記設定された領域を拡大した画像を生成し、前記輝度画像を用いて前記拡大した画像を補正して前記第2の画像を生成することを特徴とする画像処理方法。 - コンピュータを、請求項1から12のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018132152A JP7327911B2 (ja) | 2018-07-12 | 2018-07-12 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018132152A JP7327911B2 (ja) | 2018-07-12 | 2018-07-12 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020009351A JP2020009351A (ja) | 2020-01-16 |
JP7327911B2 true JP7327911B2 (ja) | 2023-08-16 |
Family
ID=69151976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018132152A Active JP7327911B2 (ja) | 2018-07-12 | 2018-07-12 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7327911B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7250833B2 (ja) * | 2021-03-09 | 2023-04-03 | 本田技研工業株式会社 | 物体認識装置、物体認識方法、およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017163539A (ja) | 2016-03-04 | 2017-09-14 | キヤノン株式会社 | 撮像素子、撮像装置及び移動体 |
JP2018098613A (ja) | 2016-12-12 | 2018-06-21 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、および、撮像装置の制御方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3413745B2 (ja) * | 1995-12-18 | 2003-06-09 | 株式会社日立製作所 | 画像処理による走行路面の監視装置 |
JPH09231379A (ja) * | 1996-02-28 | 1997-09-05 | Hitachi Ltd | 画像処理による走行車線認識装置 |
-
2018
- 2018-07-12 JP JP2018132152A patent/JP7327911B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017163539A (ja) | 2016-03-04 | 2017-09-14 | キヤノン株式会社 | 撮像素子、撮像装置及び移動体 |
JP2018098613A (ja) | 2016-12-12 | 2018-06-21 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、および、撮像装置の制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020009351A (ja) | 2020-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7500962B2 (ja) | 固体撮像素子、撮像装置、撮像方法および撮像プログラム | |
JP7057097B2 (ja) | 距離計測装置、距離計測システム、撮像装置、移動体、距離計測装置の制御方法およびプログラム | |
CN113271400B (zh) | 成像装置和电子设备 | |
JP5615441B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4258539B2 (ja) | 複数画角カメラ | |
JP2018077190A (ja) | 撮像装置及び自動制御システム | |
JP7126123B2 (ja) | 学習装置、学習方法及びプログラム | |
JP7123884B2 (ja) | 撮像装置、方法及びプログラム | |
JP7098790B2 (ja) | 撮像制御装置及び移動体 | |
JP5417827B2 (ja) | 焦点検出装置及び撮像装置 | |
WO2017150553A1 (ja) | 撮像装置 | |
US20180276844A1 (en) | Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device | |
WO2022019026A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム | |
CN112484691A (zh) | 图像处理装置、测距装置、方法及程序 | |
JP6789643B2 (ja) | 撮像装置 | |
JP6375633B2 (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP7327911B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2001174696A (ja) | カラー撮像装置 | |
JP7272334B2 (ja) | 地図生成装置および地図生成方法 | |
JP6442613B2 (ja) | 撮像装置、撮像方法、プログラム、及び非一時的記録媒体 | |
JP6642641B2 (ja) | 撮像装置 | |
JP2009251523A (ja) | 相関演算方法、相関演算装置、焦点検出装置および撮像装置 | |
JP6699687B2 (ja) | 撮像装置 | |
JP2019028311A (ja) | 視差情報生成装置および視差情報生成方法、撮像装置、移動装置、プログラム | |
JP7200002B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230803 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7327911 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |