JP2013152522A - 画像の光学歪み補正装置,画像の光学歪み補正方法,および,画像の光学歪み補正装置を有する画像生成装置 - Google Patents
画像の光学歪み補正装置,画像の光学歪み補正方法,および,画像の光学歪み補正装置を有する画像生成装置 Download PDFInfo
- Publication number
- JP2013152522A JP2013152522A JP2012011957A JP2012011957A JP2013152522A JP 2013152522 A JP2013152522 A JP 2013152522A JP 2012011957 A JP2012011957 A JP 2012011957A JP 2012011957 A JP2012011957 A JP 2012011957A JP 2013152522 A JP2013152522 A JP 2013152522A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- pixel
- memory
- distortion correction
- optical distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 268
- 238000000034 method Methods 0.000 title claims abstract description 148
- 230000015654 memory Effects 0.000 claims abstract description 417
- 230000008569 process Effects 0.000 claims abstract description 140
- 238000003384 imaging method Methods 0.000 claims description 30
- 230000008859 change Effects 0.000 description 52
- 230000014509 gene expression Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 241000226585 Antennaria plantaginifolia Species 0.000 description 2
- 229910052774 Proactinium Inorganic materials 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 229910052745 lead Inorganic materials 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 101000854908 Homo sapiens WD repeat-containing protein 11 Proteins 0.000 description 1
- 102100020705 WD repeat-containing protein 11 Human genes 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【解決手段】歪み補正部183は,第1の画像フレームの光学歪み補正処理を実行する過程において,ラインメモリ182に格納された画素データにより,第1の画像フレームにおける補正対象画素の光学歪み補正処理を実行できない場合,この補正対象画素に係る第1の座標情報を座標格納メモリ186に格納する。歪み補正部183は,第2の画像フレームの光学歪み補正処理を実行する過程において,メモリ186に格納された第1の座標情報に基づき,この補正対象画素に対応する,第2の画像フレームにおける補正対象画素の補正用画素データをラインメモリ182に格納するようにDMAコントローラ181を制御する。
【選択図】 図3
Description
前記第2のメモリに格納された画素データにより前記第1,第2の画像フレームの光学歪み補正処理を行う光学歪み補正部とを有し,
前記光学歪み補正部は,
前記第1の画像フレームの光学歪み補正処理を実行する過程において,前記第2のメモリに格納された画素データにより,前記第1の画像フレームにおける補正対象画素の光学歪み補正処理を実行できない場合,前記光学歪み補正処理を実行できない補正対象画素に係る第1の座標情報を第3のメモリに格納し,
前記第2の画像フレームの光学歪み補正処理を実行する過程において,前記第3のメモリに格納された前記第1の座標情報に基づき,前記光学歪み補正処理を実行できない補正対象画素に対応する,前記第2の画像フレームにおける補正対象画素の補正用画素データを前記第2のメモリに格納するよう前記読出部を制御する。
まず,図1,図2に基づき,光学歪み補正処理について説明する。
(式1)において,dは図1に示した画像フレームPFの中心CNからの距離である。α,β,γは係数であり,例えば光学レンズの光学機器で定まる値である。
画像フレームPFの光学歪みを補正する装置(以下,歪み補正装置と記す)は,補正対象画素Pの補正用画素座標p(x,y)を(式1),(式2)に基づき算出する。図1(B)において,補正用画素座標pを黒色4角で示す。
Pa(intx,inty),Pb(intx,inty+1), Pc(intx+1,inty), Pd(intx+1,inty+1)である。
この歪み補正画素データPDDを補正対象画素Pの画素データとすることにより光学歪みを補正する。すなわち,補正前の補正対象画素Pの画素データを,この歪み補正画素データPDDに置き換える。
図3は,本実施の形態の歪み補正装置を有する立体画像生成装置のブロック図の一例である。
歪み補正装置18は,第1,第2の画像フレームの光学歪み補正処理を実行する。
まず,図4〜図9に基づき,第1の画像フレームの光学歪み補正処理を説明する。
第1の画像フレームの光学歪み補正処理終了後,歪み補正部183は,第2の画像フレームの光学歪み補正処理を実行する。歪み補正部183は,第2の画像フレームの光学歪み補正処理を実行する過程において,座標格納メモリ186に格納された光学歪み補正処理を実行できない補正対象画素に係る座標情報(メモリチェンジ座標)に基づき,この光学歪み補正処理を実行できない補正対象画素に対応する,第2の画像フレームにおける補正対象画素の補正用画素データをラインメモリ182に格納するようにDMAコントローラ181を制御する。すなわち,補正用画素データをプリフェッチする。このプリフェッチにより,光学歪み補正処理を高速化できる。
Claims (10)
- 第1のメモリに格納された,同一被写体について視差を有する第1,第2の画像フレームの画素ラインの画素データを前記第1のメモリから読み出して第2のメモリに格納する読出部と,
前記第2のメモリに格納された画素データにより前記第1,第2の画像フレームの光学歪み補正処理を行う光学歪み補正部とを有し,
前記光学歪み補正部は,
前記第1の画像フレームの光学歪み補正処理を実行する過程において,前記第2のメモリに格納された画素データにより,前記第1の画像フレームにおける補正対象画素の光学歪み補正処理を実行できない場合,前記光学歪み補正処理を実行できない補正対象画素に係る第1の座標情報を第3のメモリに格納し,
前記第2の画像フレームの光学歪み補正処理を実行する過程において,前記第3のメモリに格納された前記第1の座標情報に基づき,前記光学歪み補正処理を実行できない補正対象画素に対応する,前記第2の画像フレームにおける補正対象画素の補正用画素データを前記第2のメモリに格納するよう前記読出部を制御する
ことを特徴とする光学歪み補正装置。 - 請求項1において,
画像フレームにおける補正対象画素の補正用画素座標を算出する座標算出部と,
前記補正用画素座標に基づき前記補正対象画素の補正用画素データが格納された前記第1のメモリのメモリアドレスを算出するアドレス算出部とを有し,
前記第3のメモリに格納される前記第1の座標情報は,前記光学歪み補正処理を実行できない補正対象画素の補正用画素座標であって,
前記アドレス算出部は,前記第2の画像フレームの光学歪み補正処理を実行する過程において,前記第3のメモリに格納された前記光学歪み補正処理を実行できない補正対象画素の補正用画素座標と,前記第2の画像フレームにおける補正対象画素の補正用画素座標とが一致する場合,前記第2の画像フレームにおける前記補正対象画素の補正用画素座標に基づき前記第2の画像フレームにおける前記補正対象画素の補正用画素データが格納された前記第1のメモリのメモリアドレスを算出し,
前記光学歪み補正部は,前記算出されたメモリアドレスに基づき,前記第2の画像フレームにおける前記補正対象画素の補正用画素データを前記第2のメモリに格納するよう前記読出部を制御する
ことを特徴とする光学歪み補正装置。 - 請求項1において,
画像フレームにおける補正対象画素の補正用画素座標を算出する座標算出部と,
前記補正用画素座標に基づき前記補正対象画素の補正用画素データが格納された前記第1のメモリのメモリアドレスを算出するアドレス算出部とを有し,
前記第3のメモリに格納される前記第1の座標情報は,前記光学歪み補正処理を実行できない補正対象画素の座標であって,
前記アドレス算出部は,前記第2の画像フレームの光学歪み補正処理を実行する過程において,前記第3のメモリに格納された前記光学歪み補正処理を実行できない補正対象画素の座標と,前記第2の画像フレームにおける補正対象画素の座標とが一致する場合,前記第2の画像フレームにおける前記補正対象画素の補正用画素座標に基づき前記第2の画像フレームにおける前記補正対象画素の補正用画素データが格納された前記第1のメモリのメモリアドレスを算出し,
前記光学歪み補正部は,前記算出されたメモリアドレスに基づき,前記第2の画像フレームにおける前記補正対象画素の補正用画素データを前記第2のメモリに格納するよう前記読出部を制御する
ことを特徴とする光学歪み補正装置。 - 第1のメモリに格納された,同一被写体について視差を有する第1,第2の画像フレームの画素ラインの画素データを前記第1のメモリから読み出して第2のメモリに格納する読出部と,
前記第2のメモリに格納された画素データにより前記第1,第2の画像フレームの光学歪み補正処理を行う光学歪み補正部と,
画像フレームにおける補正対象画素の補正用画素座標を算出する座標算出部とを有し,
前記光学歪み補正部は,
前記第1の画像フレームの光学歪み補正処理を実行する過程において,前記第1の画像フレームにおける補正対象画素の座標と前記補正対象画素の補正用画素座標とが近似する場合,前記近似する補正対象画素に係る座標情報を前記第3のメモリに格納し,
前記光学歪み補正部は,前記第2の画像フレームの光学歪み補正処理を実行する過程において,前記第3のメモリに格納された前記近似する補正対象画素に係る座標情報に基づき,前記近似する補正対象画素に対応する,前記第2の画像フレームにおける補正対象画素の光学歪み補正処理を実行するか否かを決定する
ことを特徴とする光学歪み補正装置。 - 請求項4において,
前記第3のメモリに格納される前記近似する補正対象画素に係る座標情報は,前記近似する補正対象画素の補正用画素座標であって,
前記光学歪み補正部は,前記第2の画像フレームの光学歪み補正処理を実行する過程において,前記第2の画像フレームにおける補正対象画素の補正用画素座標と前記第3のメモリに格納された前記近似する補正対象画素の補正用画素座標とが一致する場合,前記第2の画像フレームにおける前記補正対象画素の光学歪み補正処理を実行しない
ことを特徴とする光学歪み補正装置。 - 請求項4において,
前記第3のメモリに格納される前記近似する補正対象画素に係る座標情報は,前記近似する補正対象画素の座標であって,
前記光学歪み補正部は,前記第2の画像フレームの光学歪み補正処理を実行する過程において,前記第2の画像フレームにおける補正対象画素の座標と前記第3のメモリに格納された前記近似する補正対象画素の座標とが一致する場合,前記第2の画像フレームにおける前記補正対象画素の光学歪み補正処理を実行しない
ことを特徴とする光学歪み補正装置。 - 第1のメモリに格納された,同一被写体について視差を有する第1,第2の画像フレームの画素ラインの画素データを前記第1のメモリから読み出して第2のメモリに格納する読出部と,
前記第2のメモリに格納された画素データにより前記第1,第2の画像フレームの光学歪み補正処理を行う光学歪み補正部とを有する光学歪み補正装置において実行される光学歪み補正方法において,
前記光学歪み補正部は,前記第1の画像フレーム,第2の画像フレームの順に各画像フレームの光学歪み補正処理を実行するものであって,
前記光学歪み補正部は,
前記第1の画像フレームの光学歪み補正処理を実行する過程において,前記第2のメモリに格納された画素データにより,前記第1の画像フレームにおける補正対象画素の光学歪み補正処理を実行できない場合,前記光学歪み補正処理を実行できない補正対象画素に係る第1の座標情報を第3のメモリに格納し,
前記第2の画像フレームの光学歪み補正処理を実行する過程において,前記第3のメモリに格納された前記第1の座標情報に基づき,前記光学歪み補正処理を実行できない補正対象画素に対応する,前記第2の画像フレームにおける補正対象画素の補正用画素データを前記第2のメモリに格納するよう前記読出部を制御する
ことを特徴とする光学歪み補正方法。 - 第1のメモリに格納された,同一被写体について視差を有する第1,第2の画像フレームの画素ラインの画素データを前記第1のメモリから読み出して第2のメモリに格納する読出部と,
前記第2のメモリに格納された画素データにより前記第1,第2の画像フレームの光学歪み補正処理を行う光学歪み補正部と,
画像フレームにおける補正対象画素の補正用画素座標を算出する座標算出部とを有する光学歪み補正装置において実行される光学歪み補正方法において,
前記光学歪み補正部は,前記第1の画像フレーム,第2の画像フレームの順に各画像フレームの光学歪み補正処理を実行するものであって,
前記光学歪み補正部は,
前記第1の画像フレームの光学歪み補正処理を実行する過程において,前記第1の画像フレームにおける補正対象画素の座標と前記補正対象画素の補正用画素座標とが近似する場合,前記近似する補正対象画素に係る座標情報を前記第3のメモリに格納し,
前記第2の画像フレームの光学歪み補正処理を実行する過程において,前記第3のメモリに格納された前記近似する補正対象画素に係る座標情報に基づき,前記近似する補正対象画素に対応する,前記第2の画像フレームにおける補正対象画素の光学歪み補正処理を実行するか否かを決定する
ことを特徴とする光学歪み補正方法。 - 同一被写体について視差を有する第1,第2の画像フレームを生成する撮像装置と,
前記第1,第2の画像フレームを格納する第1のメモリと,
前記第1のメモリに格納された第1,第2の画像フレームの画素ラインの画素データを前記第1のメモリから読み出して第2のメモリに格納する読出部と,
前記第2のメモリに格納された画素データにより前記第1,第2の画像フレームの光学歪み補正処理を行う光学歪み補正部とを有し,
前記光学歪み補正部は,
前記第1の画像フレームの光学歪み補正処理を実行する過程において,前記第2のメモリに格納された画素データにより,前記第1の画像フレームにおける補正対象画素の光学歪み補正処理を実行できない場合,前記光学歪み補正処理を実行できない補正対象画素に係る第1の座標情報を第3のメモリに格納し,
前記第2の画像フレームの光学歪み補正処理を実行する過程において,前記第3のメモリに格納された前記第1の座標情報に基づき,前記光学歪み補正処理を実行できない補正対象画素に対応する,前記第2の画像フレームにおける補正対象画素の補正用画素データを前記第2のメモリに格納するよう前記読出部を制御する
ことを特徴とする立体画像生成装置。 - 同一被写体について視差を有する第1,第2の画像フレームを生成する撮像装置と,
前記第1,第2の画像フレームを格納する第1のメモリと,
前記第1のメモリに格納された第1,第2の画像フレームの画素ラインの画素データを前記第1のメモリから読み出して第2のメモリに格納する読出部と,
前記第2のメモリに格納された画素データにより前記第1,第2の画像フレームの光学歪み補正処理を行う光学歪み補正部と,
画像フレームにおける補正対象画素の補正用画素座標を算出する座標算出部とを有し,
前記光学歪み補正部は,
前記第1の画像フレームの光学歪み補正処理を実行する過程において,前記第1の画像フレームにおける補正対象画素の座標と前記補正対象画素の補正用画素座標とが近似する場合,前記近似する補正対象画素に係る座標情報を前記第3のメモリに格納し,
前記第2の画像フレームの光学歪み補正処理を実行する過程において,前記第3のメモリに格納された前記近似する補正対象画素に係る座標情報に基づき,前記近似する補正対象画素に対応する,前記第2の画像フレームにおける補正対象画素の光学歪み補正処理を実行するか否かを決定する
ことを特徴とする立体画像生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012011957A JP5779512B2 (ja) | 2012-01-24 | 2012-01-24 | 画像の光学歪み補正装置,画像の光学歪み補正方法,および,画像の光学歪み補正装置を有する画像生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012011957A JP5779512B2 (ja) | 2012-01-24 | 2012-01-24 | 画像の光学歪み補正装置,画像の光学歪み補正方法,および,画像の光学歪み補正装置を有する画像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013152522A true JP2013152522A (ja) | 2013-08-08 |
JP5779512B2 JP5779512B2 (ja) | 2015-09-16 |
Family
ID=49048832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012011957A Active JP5779512B2 (ja) | 2012-01-24 | 2012-01-24 | 画像の光学歪み補正装置,画像の光学歪み補正方法,および,画像の光学歪み補正装置を有する画像生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5779512B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015227913A (ja) * | 2014-05-30 | 2015-12-17 | セイコーエプソン株式会社 | 画像処理装置、表示装置、画像処理方法およびプログラム |
JP2016224326A (ja) * | 2015-06-02 | 2016-12-28 | セイコーエプソン株式会社 | メモリー制御装置、画像処理装置、表示装置、及び、メモリー制御方法 |
CN109863533A (zh) * | 2016-08-22 | 2019-06-07 | 奇跃公司 | 虚拟、增强和混合现实***和方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09159442A (ja) * | 1995-12-04 | 1997-06-20 | Honda Motor Co Ltd | 車両用環境認識装置 |
JP2001101396A (ja) * | 1999-09-30 | 2001-04-13 | Toshiba Corp | 画像歪み補正処理装置および方法、並びに画像歪み補正処理を行うプログラムを格納した媒体 |
JP2003333588A (ja) * | 2002-05-16 | 2003-11-21 | Fuji Photo Film Co Ltd | 光学歪みの補正方法及び補正装置 |
JP2007251914A (ja) * | 2006-02-20 | 2007-09-27 | Matsushita Electric Works Ltd | 映像信号処理装置、仮想現実感生成システム |
JP2009033498A (ja) * | 2007-07-27 | 2009-02-12 | Fujifilm Corp | 光学歪み補正装置とその方法及びプログラム並びに撮像装置 |
JP2011077889A (ja) * | 2009-09-30 | 2011-04-14 | Olympus Corp | 画像処理装置 |
WO2011121840A1 (ja) * | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 立体撮像装置 |
-
2012
- 2012-01-24 JP JP2012011957A patent/JP5779512B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09159442A (ja) * | 1995-12-04 | 1997-06-20 | Honda Motor Co Ltd | 車両用環境認識装置 |
JP2001101396A (ja) * | 1999-09-30 | 2001-04-13 | Toshiba Corp | 画像歪み補正処理装置および方法、並びに画像歪み補正処理を行うプログラムを格納した媒体 |
JP2003333588A (ja) * | 2002-05-16 | 2003-11-21 | Fuji Photo Film Co Ltd | 光学歪みの補正方法及び補正装置 |
JP2007251914A (ja) * | 2006-02-20 | 2007-09-27 | Matsushita Electric Works Ltd | 映像信号処理装置、仮想現実感生成システム |
JP2009033498A (ja) * | 2007-07-27 | 2009-02-12 | Fujifilm Corp | 光学歪み補正装置とその方法及びプログラム並びに撮像装置 |
JP2011077889A (ja) * | 2009-09-30 | 2011-04-14 | Olympus Corp | 画像処理装置 |
WO2011121840A1 (ja) * | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 立体撮像装置 |
Non-Patent Citations (1)
Title |
---|
JPN6015024522; 島 輝行: '"三次元計測と三次元画像処理"' 画像ラボ Vol.21, No.3, 20100310, pp.65-71, 日本工業出版株式会社 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015227913A (ja) * | 2014-05-30 | 2015-12-17 | セイコーエプソン株式会社 | 画像処理装置、表示装置、画像処理方法およびプログラム |
JP2016224326A (ja) * | 2015-06-02 | 2016-12-28 | セイコーエプソン株式会社 | メモリー制御装置、画像処理装置、表示装置、及び、メモリー制御方法 |
CN109863533A (zh) * | 2016-08-22 | 2019-06-07 | 奇跃公司 | 虚拟、增强和混合现实***和方法 |
CN109863533B (zh) * | 2016-08-22 | 2024-03-15 | 奇跃公司 | 虚拟、增强和混合现实***和方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5779512B2 (ja) | 2015-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109618090B (zh) | 对通过使用广角透镜捕获的图像的图像失真校正的方法和*** | |
US8558911B2 (en) | Display control device | |
CN109817139B (zh) | 显示驱动器和电子设备 | |
CN104917955A (zh) | 一种图像转换和多视图输出***及方法 | |
WO2018098978A1 (zh) | 控制方法、控制装置、电子装置和计算机可读存储介质 | |
JP2011002940A (ja) | 画像処理装置及び撮像装置 | |
US8928782B2 (en) | Image processing device and image capture device | |
WO2018098983A1 (zh) | 图像处理方法及装置、控制方法及装置、成像及电子装置 | |
JP5779512B2 (ja) | 画像の光学歪み補正装置,画像の光学歪み補正方法,および,画像の光学歪み補正装置を有する画像生成装置 | |
JP5735227B2 (ja) | 画像変換装置及び画像変換システム | |
KR20110116387A (ko) | 촬상 장치 및 영상 왜곡 보정 방법 | |
JP4124096B2 (ja) | 画像処理方法および画像処理装置、並びにプログラム | |
JP6565326B2 (ja) | 撮像表示装置及びその制御方法 | |
JP4827213B2 (ja) | 画像補正装置および画像補正方法 | |
JP2018157371A (ja) | 撮像装置及び欠陥画素の補正方法 | |
US9043514B2 (en) | Data transfer device and method | |
US10015431B2 (en) | Image processing apparatus and image processing method including control whether or not to permit a readout request | |
JP6440465B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017228849A (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
JP5959684B2 (ja) | 画像変換システム | |
JPWO2012060271A1 (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
JP2012204995A (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
JP2009159404A (ja) | 画像処理方法、画像処理装置及び画像形成装置 | |
JP2018157276A (ja) | 画像表示装置、画像表示方法及びプログラム | |
US20150229876A1 (en) | Image processor, image-processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140929 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20150610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5779512 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |