JP6971084B2 - ライト・フィールド・データに関連するボケを表現するデータを生成する方法及び装置 - Google Patents
ライト・フィールド・データに関連するボケを表現するデータを生成する方法及び装置 Download PDFInfo
- Publication number
- JP6971084B2 JP6971084B2 JP2017156980A JP2017156980A JP6971084B2 JP 6971084 B2 JP6971084 B2 JP 6971084B2 JP 2017156980 A JP2017156980 A JP 2017156980A JP 2017156980 A JP2017156980 A JP 2017156980A JP 6971084 B2 JP6971084 B2 JP 6971084B2
- Authority
- JP
- Japan
- Prior art keywords
- optical system
- pixel
- pupil
- polygon
- vertices
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 49
- 230000003287 optical effect Effects 0.000 claims description 155
- 210000001747 pupil Anatomy 0.000 claims description 107
- 238000005070 sampling Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 6
- 239000002609 medium Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 239000006163 transport media Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
− 画像センサー及びメイン・レンズの間に配置されるマイクロレンズ・アレイを利用するプレノプティック・デバイス(例えば、US2013/0222633);
− 「Wilburn et al.,"High performance imaging using large camera arrays." ACM Transactions on Graphics (TOG) 24, no. 3 (2005): 765-776」及び特許文献US 8514491B2に記載されているようなカメラ・アレイ;等である。
前記ピクセル・ビームのセクションをサンプリングする第1ポリゴンの頂点を、前記瞳孔のサンプリングを表現する第2ポリゴンの頂点に結ぶ線の、第1表面との一群の交わりによる凸状包絡線(a convex envelope)に対応する、前記ピクセル・ビームに関連するボケを表すデータを生成するステップ;
を有する方法である。
前記ピクセル・ビームのセクションをサンプリングする第1ポリゴンの頂点を、前記瞳孔のサンプリングを表現する第2ポリゴンの頂点に結ぶ線の、第1表面との一群の交わりによる凸状包絡線に対応する、前記ピクセル・ビームに関連するボケを表すデータを生成する;
ように構成されるプロセッサを有する装置である。
− r:瞳孔14,24の半径を表現する;
− x0,y0,z0:(x,y,z)座標系における瞳孔14,24の中心の座標を表現する;
− θx0,θy0:基準(x,y,z)座標系における瞳孔14,24の向きを表現する。
ピクセル・ビーム10,20,30の境界を定める表面に属する点についての対物空間での座標(x,y,z)は、瞳孔14及びピクセルのコンジュゲート15に関する上記のパラメータ群の関数である。こうして、ピクセル・ビーム10,20,30を表現する一葉双曲面の生成を可能にする数式(2)は、次のとおりである:
ピクセル・ビーム10,20,30を表現する同じ双曲面のパラメータ方程式(3)は、次のとおりである:
νは、双曲線の生成からピクセル・ビーム10,20,30の生成を可能にする(x,y)平面内の角度であり、νは[0,2π]のインターバルで変化し、z∈[0,∞]は、瞳孔14、24の表面に垂直な方向を規定するz軸に沿った(z軸上の)座標である。数式(2)及び(3)は、瞳孔12及びそのコンジュゲート15の断面が円形であり、かつ、瞳孔14,24の断面も円形である、という仮定の下で記載されている。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
(付記1)
光学系の瞳孔と、前記光学系に関連するセンサーの少なくとも1つのピクセルについての、前記光学系の対物空間におけるコンジュゲートとを通る光線群により占められる前記光学系の対物空間における或る体積に関連するボケを表すデータを生成するためにコンピュータにより実行される方法であって、前記体積は、ピクセル・ビームと言及される光線群により占められ、前記ピクセル・ビームの集合によりライト・フィールド・コンテンツが表現され、当該方法は、
前記ピクセル・ビームのセクションをサンプリングする第1ポリゴンの頂点を、前記瞳孔のサンプリングを表現する第2ポリゴンの頂点に結ぶ線の、第1表面との一群の交わりによる凸状包絡線に対応する、前記ピクセル・ビームに関連するボケを表すデータを生成するステップ
を有する方法。
(付記2)
前記ピクセル・ビームのセクションは前記センサーのピクセルのコンジュゲートに対応し、前記瞳孔は前記光学系のエントランス瞳孔に対応し、前記第1表面は前記光学系の焦点面に対応する、付記1に記載の方法。
(付記3)
前記ピクセル・ビームのセクションが、前記ピクセル・ビームと或る平面との交わりについての他の光学系を介するコンジュゲートに対応し、前記瞳孔は前記光学系のエグジット瞳孔に対応し、前記第1表面は前記光学系に関連するセンサーに対応する、付記1に記載の方法。
(付記4)
前記第1ポリゴンはp個の頂点を有し、前記第2ポリゴンはn個の頂点を有し、前記第1ポリゴンのp個の頂点を前記第2ポリゴンのn個の頂点に結ぶ線の個数は、n×pの倍数である、付記1ないし3のうちの何れか一項に記載の方法。
(付記5)
光学系の瞳孔と、前記光学系に関連するセンサーの少なくとも1つのピクセルについての、前記光学系の対物空間におけるコンジュゲートとを通る光線群により占められる前記光学系の対物空間における或る体積に関連するボケを表すデータを生成する装置であって、前記体積は、ピクセル・ビームと言及される光線群により占められ、前記ピクセル・ビームの集合によりライト・フィールド・コンテンツが表現され、当該装置は
前記ピクセル・ビームのセクションをサンプリングする第1ポリゴンの頂点を、前記瞳孔のサンプリングを表現する第2ポリゴンの頂点に結ぶ線の、第1表面との一群の交わりによる凸状包絡線に対応する、前記ピクセル・ビームに関連するボケを表すデータを生成する;
ように構成されるプロセッサを有する装置。
(付記6)
前記ピクセル・ビームのセクションは前記センサーのピクセルのコンジュゲートに対応し、前記瞳孔は前記光学系のエントランス瞳孔に対応し、前記第1表面は前記光学系の焦点面に対応する、付記5に記載の装置。
(付記7)
前記ピクセル・ビームのセクションが、前記ピクセル・ビームと或る平面との交わりについての他の光学系を介するコンジュゲートに対応し、前記瞳孔は前記光学系のエグジット瞳孔に対応し、前記第1表面は前記光学系に関連するセンサーに対応する、付記5に記載の装置。
(付記8)
前記第1ポリゴンはp個の頂点を有し、前記第2ポリゴンはn個の頂点を有し、前記第1ポリゴンのp個の頂点を前記第2ポリゴンのn個の頂点に結ぶ線の個数は、n×pの倍数である、付記5ないし7のうちの何れか一項に記載の装置。
(付記9)
光学系の瞳孔と、前記光学系に関連するセンサーの少なくとも1つのピクセルについての、前記光学系の対物空間におけるコンジュゲートとを通る光線群により占められる光学系の対物空間における或る体積に関連するボケをレンダリングするデバイスであって、前記体積は、付記1ないし4のうち何れか一項に記載の方法により取得されるピクセル・ビームと言及される光線群により占められる、デバイス。
(付記10)
プログラムがプロセッサにより実行される場合に、付記1ないし4のうち何れか一項に従って、ボケを表すデータを生成する方法を実現するプログラム・コード命令を有することを特徴とするコンピュータ・プログラム。
(付記11)
付記1ないし4のうち何れか一項に従って、ボケを表すデータを生成する方法をプロセッサに実行させる命令を保存したプロセッサ読み取り可能な媒体。
(付記12)
プログラムがコンピューティング・デバイスで実行される場合に、付記1ないし4のうち何れか一項に従って、ボケを表すデータを生成する方法を実行するためのプログラム・コードの命令を担う非一時的な記憶媒体。
Claims (12)
- 光学系の瞳孔と、前記光学系に関連するセンサーの少なくとも1つのピクセルについての、前記光学系の対物空間におけるコンジュゲートとを通る光線群により占められる前記光学系の対物空間における或る体積に関連するボケを表すデータを生成するためにコンピュータにより実行される方法であって、前記体積は、ピクセル・ビームと言及される光線群により占められ、前記ピクセル・ビームの集合によりライト・フィールド・コンテンツが表現され、当該方法は:
前記ピクセル・ビームのセクションをサンプリングする第1ポリゴンの頂点を、前記瞳孔のサンプリングを表現する第2ポリゴンの頂点に結ぶ線の、第1表面との一群の交わりによる凸状包絡線に対応する、前記ピクセル・ビームに関連するボケを表すデータを生成するステップ;
を有する方法。 - 前記ピクセル・ビームのセクションは前記センサーのピクセルのコンジュゲートに対応し、前記瞳孔は前記光学系のエントランス瞳孔に対応し、前記第1表面は前記光学系の焦点面に対応する、請求項1に記載の方法。
- 前記ピクセル・ビームのセクションが、前記ピクセル・ビームと或る平面との交わりについての他の光学系を介するコンジュゲートに対応し、前記瞳孔は前記光学系のエグジット瞳孔に対応し、前記第1表面は前記光学系に関連するセンサーに対応する、請求項1に記載の方法。
- 前記第1ポリゴンはp個の頂点を有し、前記第2ポリゴンはn個の頂点を有し、前記第1ポリゴンのp個の頂点を前記第2ポリゴンのn個の頂点に結ぶ線の個数は、n×pの倍数である、請求項1ないし3のうちの何れか一項に記載の方法。
- 光学系の瞳孔と、前記光学系に関連するセンサーの少なくとも1つのピクセルについての、前記光学系の対物空間におけるコンジュゲートとを通る光線群により占められる前記光学系の対物空間における或る体積に関連するボケを表すデータを生成する装置であって、前記体積は、ピクセル・ビームと言及される光線群により占められ、前記ピクセル・ビームの集合によりライト・フィールド・コンテンツが表現され、当該装置は:
前記ピクセル・ビームのセクションをサンプリングする第1ポリゴンの頂点を、前記瞳孔のサンプリングを表現する第2ポリゴンの頂点に結ぶ線の、第1表面との一群の交わりによる凸状包絡線に対応する、前記ピクセル・ビームに関連するボケを表すデータを生成する;
ように構成されるプロセッサを有する装置。 - 前記ピクセル・ビームのセクションは前記センサーのピクセルのコンジュゲートに対応し、前記瞳孔は前記光学系のエントランス瞳孔に対応し、前記第1表面は前記光学系の焦点面に対応する、請求項5に記載の装置。
- 前記ピクセル・ビームのセクションが、前記ピクセル・ビームと或る平面との交わりについての他の光学系を介するコンジュゲートに対応し、前記瞳孔は前記光学系のエグジット瞳孔に対応し、前記第1表面は前記光学系に関連するセンサーに対応する、請求項5に記載の装置。
- 前記第1ポリゴンはp個の頂点を有し、前記第2ポリゴンはn個の頂点を有し、前記第1ポリゴンのp個の頂点を前記第2ポリゴンのn個の頂点に結ぶ線の個数は、n×pの倍数である、請求項5ないし7のうちの何れか一項に記載の装置。
- 光学系の瞳孔と、前記光学系に関連するセンサーの少なくとも1つのピクセルについての、前記光学系の対物空間におけるコンジュゲートとを通る光線群により占められる光学系の対物空間における或る体積に関連するボケをレンダリングするデバイスであって、前記体積は、請求項1ないし4のうち何れか一項に記載の方法により取得されるピクセル・ビームと言及される光線群により占められる、デバイス。
- プログラムがプロセッサにより実行される場合に、請求項1ないし4のうち何れか一項に従って、ボケを表すデータを生成する方法を実現するプログラム・コード命令を有することを特徴とするコンピュータ・プログラム。
- 請求項1ないし4のうち何れか一項に従って、ボケを表すデータを生成する方法をプロセッサに実行させる命令を保存したプロセッサ読み取り可能な媒体。
- プログラムがコンピューティング・デバイスで実行される場合に、請求項1ないし4のうち何れか一項に従って、ボケを表すデータを生成する方法を実行するためのプログラム・コードの命令を担う非一時的な記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16306082.5A EP3288253A1 (en) | 2016-08-25 | 2016-08-25 | Method and apparatus for generating data representative of a bokeh associated to light-field data |
EP16306082.5 | 2016-08-25 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018033133A JP2018033133A (ja) | 2018-03-01 |
JP2018033133A5 JP2018033133A5 (ja) | 2020-09-24 |
JP6971084B2 true JP6971084B2 (ja) | 2021-11-24 |
Family
ID=56883744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017156980A Active JP6971084B2 (ja) | 2016-08-25 | 2017-08-16 | ライト・フィールド・データに関連するボケを表現するデータを生成する方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10475163B2 (ja) |
EP (2) | EP3288253A1 (ja) |
JP (1) | JP6971084B2 (ja) |
KR (1) | KR102478989B1 (ja) |
CN (1) | CN107786808B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
EP3270589A1 (en) * | 2016-07-11 | 2018-01-17 | Thomson Licensing | An apparatus and a method for generating data representative of a pixel beam |
US11328437B2 (en) | 2020-09-08 | 2022-05-10 | Weta Digital Limited | Method for emulating defocus of sharp rendered images |
US11308586B2 (en) | 2020-09-08 | 2022-04-19 | Unity Technologies Sf | Method for applying a vignette effect to rendered images |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8400454B2 (en) | 2005-03-30 | 2013-03-19 | Ati Technologies, Inc. | System and method for creating motion blur |
JP4826152B2 (ja) * | 2005-06-23 | 2011-11-30 | 株式会社ニコン | 画像合成方法及び撮像装置 |
JP5067154B2 (ja) * | 2007-12-27 | 2012-11-07 | ソニー株式会社 | 撮像装置 |
WO2011063347A2 (en) | 2009-11-20 | 2011-05-26 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
KR101661166B1 (ko) | 2010-06-14 | 2016-09-29 | 연세대학교 산학협력단 | 3차원 영상 시스템에서 광선 추적 방법 및 장치 |
JP2012044564A (ja) * | 2010-08-20 | 2012-03-01 | Sanyo Electric Co Ltd | 撮像装置 |
JP5623313B2 (ja) * | 2011-03-10 | 2014-11-12 | キヤノン株式会社 | 撮像装置および撮像光学系 |
EP2817955B1 (en) * | 2012-02-21 | 2018-04-11 | FotoNation Cayman Limited | Systems and methods for the manipulation of captured light field image data |
US8995785B2 (en) | 2012-02-28 | 2015-03-31 | Lytro, Inc. | Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices |
GB2503656B (en) * | 2012-06-28 | 2014-10-15 | Canon Kk | Method and apparatus for compressing or decompressing light field images |
JP6335423B2 (ja) * | 2012-08-31 | 2018-05-30 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP6091176B2 (ja) * | 2012-11-19 | 2017-03-08 | キヤノン株式会社 | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 |
US9092890B2 (en) * | 2012-12-20 | 2015-07-28 | Ricoh Company, Ltd. | Occlusion-aware reconstruction of three-dimensional scenes from light field images |
JP6381273B2 (ja) | 2014-05-02 | 2018-08-29 | キヤノン株式会社 | 撮像装置、画像処理システム、ならびにそれらの制御方法 |
US8988317B1 (en) * | 2014-06-12 | 2015-03-24 | Lytro, Inc. | Depth determination for light field images |
JP6548367B2 (ja) * | 2014-07-16 | 2019-07-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
CN105635530B (zh) * | 2014-11-03 | 2019-04-30 | 北京蚁视科技有限公司 | 光场成像*** |
EP3026884A1 (en) * | 2014-11-27 | 2016-06-01 | Thomson Licensing | Plenoptic camera comprising a light emitting device |
FR3030066B1 (fr) * | 2014-12-16 | 2017-12-22 | Commissariat Energie Atomique | Projecteur de lumiere structuree et scanner tridimensionnel comportant un tel projecteur |
US9544514B2 (en) * | 2015-03-06 | 2017-01-10 | Ricoh Company, Ltd. | Automatic adjustment of light field imaging systems for resolution enhancement |
JP2017021425A (ja) * | 2015-07-07 | 2017-01-26 | キヤノン株式会社 | 画像生成装置、画像生成方法、および画像生成プログラム |
US10218968B2 (en) * | 2016-03-05 | 2019-02-26 | Maximilian Ralph Peter von und zu Liechtenstein | Gaze-contingent display technique |
US10887581B2 (en) * | 2016-11-11 | 2021-01-05 | Disney Enterprises, Inc. | Object reconstruction from dense light fields via depth from gradients |
US9900510B1 (en) * | 2016-12-08 | 2018-02-20 | Lytro, Inc. | Motion blur for light-field images |
-
2016
- 2016-08-25 EP EP16306082.5A patent/EP3288253A1/en not_active Withdrawn
-
2017
- 2017-08-04 EP EP17184960.7A patent/EP3291535A1/en active Pending
- 2017-08-16 JP JP2017156980A patent/JP6971084B2/ja active Active
- 2017-08-22 KR KR1020170106078A patent/KR102478989B1/ko active IP Right Grant
- 2017-08-22 US US15/683,207 patent/US10475163B2/en active Active
- 2017-08-25 CN CN201710740619.XA patent/CN107786808B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
EP3291535A1 (en) | 2018-03-07 |
JP2018033133A (ja) | 2018-03-01 |
KR102478989B1 (ko) | 2022-12-19 |
KR20180023835A (ko) | 2018-03-07 |
CN107786808A (zh) | 2018-03-09 |
US20180061016A1 (en) | 2018-03-01 |
US10475163B2 (en) | 2019-11-12 |
EP3288253A1 (en) | 2018-02-28 |
CN107786808B (zh) | 2022-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6971084B2 (ja) | ライト・フィールド・データに関連するボケを表現するデータを生成する方法及び装置 | |
KR102253320B1 (ko) | 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 | |
JP2018531448A6 (ja) | 光学的捕捉システムを校正する装置及び方法 | |
JP2018531448A (ja) | 光学的捕捉システムを校正する装置及び方法 | |
RU2729698C2 (ru) | Устройство и способ для кодирования изображения, захваченного оптической системой получения данных | |
KR102454773B1 (ko) | 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법 | |
CN108353120B (zh) | 用于生成表示像素束的数据的装置和方法 | |
CN109565583B (zh) | 用于生成表示像素束的数据的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181220 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181227 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200813 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200813 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6971084 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |