JP2017158153A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2017158153A JP2017158153A JP2016042494A JP2016042494A JP2017158153A JP 2017158153 A JP2017158153 A JP 2017158153A JP 2016042494 A JP2016042494 A JP 2016042494A JP 2016042494 A JP2016042494 A JP 2016042494A JP 2017158153 A JP2017158153 A JP 2017158153A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display image
- display
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title description 2
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 29
- 238000009795 derivation Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 abstract 3
- 238000004364 calculation method Methods 0.000 description 62
- 238000001514 detection method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
特許文献1には、ステレオではない全方位画像を平面のディスプレイに効率的に表示するための画像生成方法が開示されている。この方法は、球面上の座標で表される全方位画像を予め複数の平面に分割しておき、球面から平面への投影変換を平面から平面への投影変換に近似することで、効率的にディスプレイに表示する平面画像を生成する方法である。
そこで、本発明は、ステレオ画像表示デバイスに表示する表示画像を効率的に生成することを目的とする。
本実施形態では、所定の参照画像を変換してステレオ画像表示デバイスに表示する際に、計算量を削減してステレオ画像表示デバイスに表示する表示画像を効率的に生成する方法について説明する。上記参照画像は、水平方向や垂直方向といった全方位を撮像した全方位画像や、水平方向360度を撮像した全周囲画像を用いることができる。本実施形態では、参照画像が、左目用全方位画像と右目用全方位画像とを含むステレオ全方位画像であり、ステレオ画像表示デバイスが、ヘッドマウントディスプレイ(HMD)である場合について説明する。
CPU101は、画像処理装置100における動作を統括的に制御するものであり、システムバス109を介して、各構成部(102〜104、106〜108)を制御する。RAM102は、CPU101のワークメモリとして機能する。CPU101が処理を実行するために必要なプログラムや各種データは、ROM102やHDD105に格納されている。つまり、CPU101は、処理の実行に際してROM102やHDD105に格納されたプログラムを実行することで、各種の機能動作を実現する。
この図2に示す情報処理装置100の各部の機能は、図1のCPU101がプログラムを実行することにより実現され得る。なお、図2に示す情報処理装置100の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、CPU101の制御に基づいて動作する。
姿勢情報取得部112は、姿勢検出装置203または入力デバイス201から姿勢情報を取得する。なお、姿勢情報取得部112は、RAM102やHDD105に一旦保存された姿勢情報を取得してもよい。画像データ取得部113は、HDD105や入力デバイス201からステレオ全方位画像を取得する。画像処理部114は、表示パラメータと姿勢情報とステレオ全方位画像とに基づいて、HMD202に表示するための表示画像を生成する。画像データ出力部115は、画像処理部114において生成された表示画像をHMD202に出力する。
画像処理部114の計算領域算出部116は、表示画像生成処理に際して計算の必要がある領域(計算領域)を算出し、画素値取得部117は、計算領域の各画素位置に対応する画素値を所定の参照画像からサンプリングする。画素値取得部117の光線方向算出部118は、表示画像の画素位置と所定の参照画像の画素位置とを対応付ける対応情報として、計算領域の各画素位置に表示すべき光線の方向を示す情報を算出する。
図3は、画像処理装置100の動作を説明するフローチャートである。画像処理装置100は、CPU101が必要なプログラムを読み出して実行することにより、図3に示す各処理を実現することができる。以降、アルファベットSはフローチャートにおけるステップを意味するものとする。
S3では、画像データ取得部113は、次に表示するステレオ全方位画像を取得する。ステレオ全方位画像の例を図4に示す。本実施形態では、全方位画像のうち、左目に表示する画像を左目用全方位画像IL、右目に表示する画像を右目用全方位画像IRとする。ここで、全方位画像は、上述したように全ての方向の光線の色を保存した画像データである。全方位画像の横軸は方位角であり、その範囲は[0,2π]である。また、全方位画像の縦軸は仰角であり、その範囲は[−π/2,π/2]である。
S5では、画像データ出力部115は、S4において生成された表示画像JLおよびJRをHMD202に出力することで、ステレオ全方位画像から生成された表示画像JLおよびJRを、HMD202に表示させる表示制御を行う。S6では、パラメータ取得部111は、画像処理を終了するか否かを判定し、処理を継続すると判定した場合にはS1に戻り、処理を終了すると判定した場合には図3の処理を終了する。
画像処理部114は、視聴者の頭部の向いている方向に応じてステレオ全方位画像から画素値をサンプリングすることで、HMD202に表示する画像を生成する。画素値をステレオ全方位画像からサンプリングするために、画像処理部114は、視聴者の姿勢情報(HMD202の姿勢情報)を基に、HMD202のパネル上の各画素位置にどの方向の光線を表示するかを計算する。この光線の方向は、水平方向の角度を表す方位角θと、垂直方向の角度を表す仰角φとによって表すことができる。そして、この光線の方向(θ,φ)は、接眼レンズの光軸と表示画像との交点からの相対的な位置によって決まる。
そこで、本実施形態では、画像処理部114は、同じ座標値となる画素位置(xL,yL)と(xR,yR)とについて、表示すべき光線の方向をそれぞれ導出するのではなく、光線の方向の導出結果を共有する。つまり、画像処理部114は、左右の表示画像上で接眼レンズの光軸と交わる点からの相対的な位置が等しい領域については、入射する光線の方向が1回の計算で求められることを利用して、全体の計算コストを削減する。
左右で同じ計算が可能な重複領域ROは、左目用表示画像JLと右目用表示画像JRとに共に存在する領域であり、左上(xR0,y0)、右下(xL1,y1)とする四角形の領域である。左目用表示画像JLのみでしか計算を行わない領域RLは、左目用表示画像JL上の重複領域RO以外の領域であり、左上(xL0,y0)、右下(xR0,y1)とする四角形の領域である。右目用表示画像JRのみでしか計算を行わない領域RRは、右目用表示画像JR上の重複領域RO以外の領域であり、左上(xL1,y0)、右下(xR1,y1)とする四角形の領域である。
計算領域Rは、これら3つの領域RO、RL、RRを合わせた領域であり、左上(xL0,y0)、右下(xR1,y1)とする四角形の領域である。計算領域算出部116は、表示パラメータに基づいて、この計算領域Rを、光線の方向を計算する領域として算出する。
そのため、r>Rである場合には、光線方向算出部118は、画素位置(x,y)が視聴可能範囲外であり、描画を行う必要はないと判断してS403に移行し、画素位置(x,y)に対応する表示画像の画素値の値を黒に設定してS412に移行する。一方、r≦Rである場合には、光線方向算出部118は、画素位置(x,y)が視聴範囲内であるため、描画処理を進めると判断してS404に移行する。
なお、接眼レンズの特性によって、波長ごとに歪曲率が異なる場合には、パネルにおけるR、G、Bの波長ごとにルックアップテーブルを用意する。そして、R、G、B毎の歪曲率を取得した以後のステップでは、R、G、Bの色ごとに異なる歪曲率を用いて処理を行う。
xd=x×d,
yd=y×d ………(1)
S406では、光線方向算出部118は、歪曲後の画素位置(xd,yd)を眼の位置を原点とする座標系の3次元位置(X,Y,Z)に変換する。図10に画像座標上の点と3次元座標上の点との関係の例を示す。姿勢情報を3×3の回転行列M、画素単位で表現した焦点距離をfとすると、(X,Y,Z)は以下の式で計算できる。
[X Y Z]t=M×[xd yd f]t ………(2)
φ=arcsin(Y/L),
θ=arcsin(Z/L/cosφ) ………(3)
つまり、光線の方向(θ,φ)は、レンズの歪曲情報と視聴者の姿勢情報とに基づいて導出することができる。
S409では、画素値格納部119は、S407において算出された光線の方向(θ,φ)に対応する画素の画素値を、左目用全方位画像ILから取得し、左目用表示画像JLに格納する。画素値を格納する位置は、左目用表示画像JLにおける原点OLから(x,y)だけ移動した位置である。なお、全方位画像から画素値をサンプリングする際は、最近傍の画素値を取得してもよいし、バイリニア補間やバイキュービック補間など周辺の画素値を使って補間してサンプリングを行ってもよい。
このように、画素値格納部119は、重複領域ROについては、S407において算出された光線の方向(θ,φ)に基づいて、左右両方の全方位画像から画素値のサンプリングを行い、左右両方の表示画像に値を格納する。一方、領域RLについては、画素値のサンプリングを左目用の全方位画像から行い、左目用の表示画像に値を格納する。また、領域RRについては、画素値のサンプリングを右目用の全方位画像から行い、右目用の表示画像に値を格納する。
以上のように、画像処理装置100は、視聴者に提示する右目用の表示画像と左目用の表示画像について、それぞれ視聴者の眼前に配置されるレンズの光軸と交わる点からの相対的な位置が等しい領域である重複領域を抽出する。また、画像処理装置100は、視聴者の姿勢情報と上記重複領域とに基づいて、所定の参照画像から表示画像を生成する。その際、画像処理装置100は、重複領域において、右目用の表示画像と左目用の表示画像とで、表示画像の生成処理に係る情報を共有する。ここで、参照画像は、右目用の全方位画像と左目用の全方位画像とを含むステレオ全方位画像である。
このように、画像処理装置100は、右目用表示画像および左目用表示画像を生成する際に同じ計算を行う領域を算出し、その領域の計算結果を共有することができる。そのため、ステレオ全方位画像から視聴者の姿勢に応じたステレオ表示画像を生成する処理に必要な計算量を削減することができる。
これに対して、本実施形態では、視聴者が向いている方向に応じて、ステレオ全方位画像からHMDに表示する表示画像を効率的に生成することができる。したがって、リアルタイムでHMDにステレオ全方位画像を表示することができ、視聴者は臨場感の高い映像を視聴することができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (10)
- 視聴者の姿勢情報を取得する第一の取得手段と、
前記視聴者に提示する右目用の表示画像と左目用の表示画像について、それぞれ前記視聴者の眼前に配置されるレンズの光軸と交わる点からの相対的な位置が等しい領域である重複領域を抽出する抽出手段と、
前記第一の取得手段により取得された前記姿勢情報と、前記抽出手段により抽出された前記重複領域とに基づいて、所定の参照画像から前記表示画像を生成する生成手段と、を備え、
前記生成手段は、前記重複領域において、前記右目用の表示画像と前記左目用の表示画像とで、前記表示画像の生成処理に係る情報を共有することを特徴とする画像処理装置。 - 前記生成手段は、
前記第一の取得手段により取得された前記姿勢情報と、前記抽出手段により抽出された前記重複領域とに基づいて、前記表示画像の画素位置と参照画像の画素位置とを対応付ける対応情報を導出する導出手段を備え、
前記導出手段により導出された前記対応情報と、前記抽出手段により抽出された前記重複領域とに基づいて、前記参照画像から前記表示画像を生成することを特徴とする請求項1に記載の画像処理装置。 - 前記導出手段は、
前記重複領域において、前記右目用の表示画像と前記左目用の表示画像とで前記対応情報の導出結果を共有することを特徴とする請求項2に記載の画像処理装置。 - 前記生成手段は、
前記導出手段により導出された前記対応情報に基づいて前記参照画像から画素値をサンプリングし、サンプリングした前記画素値を前記表示画像の対応する画素位置に格納することで、前記表示画像を生成することを特徴とする請求項2または3に記載の画像処理装置。 - 前記レンズの歪曲情報を取得する第二の取得手段をさらに備え、
前記導出手段は、前記第一の取得手段により取得された前記姿勢情報と、前記抽出手段により抽出された前記重複領域と、前記第二の取得手段により取得された歪曲情報とに基づいて、前記対応情報を導出することを特徴とする請求項2から4のいずれか1項に記載の画像処理装置。 - 前記導出手段は、前記表示画像の各画素に表示する光線の方向を示す情報を、前記対応情報として導出することを特徴とする請求項2から5のいずれか1項に記載の画像処理装置。
- 前記参照画像は、右目用の全方位画像と左目用の全方位画像とを含むステレオ全方位画像であることを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
- 前記生成手段によって生成された前記表示画像を、前記視聴者が装着可能な頭部装着型の表示装置に表示させる表示制御手段をさらに備えることを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。
- 視聴者の姿勢情報を取得するステップと、
前記視聴者に提示する右目用の表示画像と左目用の表示画像について、それぞれ前記視聴者の眼前に配置されるレンズの光軸と交わる点からの相対的な位置が等しい領域である重複領域を抽出するステップと、
取得された前記姿勢情報と、抽出された前記重複領域とに基づいて、所定の参照画像から前記表示画像を生成するステップと、を含み、
前記表示画像を生成するステップでは、前記重複領域において、前記右目用の表示画像と前記左目用の表示画像とで、前記表示画像の生成処理に係る情報を共有することを特徴とする画像処理方法。 - コンピュータを、請求項1から8のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016042494A JP6708444B2 (ja) | 2016-03-04 | 2016-03-04 | 画像処理装置および画像処理方法 |
US15/439,567 US10277891B2 (en) | 2016-03-04 | 2017-02-22 | Image processing apparatus, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016042494A JP6708444B2 (ja) | 2016-03-04 | 2016-03-04 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017158153A true JP2017158153A (ja) | 2017-09-07 |
JP6708444B2 JP6708444B2 (ja) | 2020-06-10 |
Family
ID=59724502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016042494A Active JP6708444B2 (ja) | 2016-03-04 | 2016-03-04 | 画像処理装置および画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10277891B2 (ja) |
JP (1) | JP6708444B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019035381A1 (ja) | 2017-08-18 | 2019-02-21 | 三菱瓦斯化学株式会社 | ジシアノシクロヘキサンの製造方法 |
JPWO2019220527A1 (ja) * | 2018-05-15 | 2021-07-01 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラム |
WO2022070270A1 (ja) * | 2020-09-29 | 2022-04-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108111874B (zh) * | 2016-11-16 | 2020-01-31 | 腾讯科技(深圳)有限公司 | 一种文件处理方法、终端及服务器 |
US11611700B2 (en) * | 2020-07-12 | 2023-03-21 | Skydio, Inc. | Unmanned aerial vehicle with virtual un-zoomed imaging |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08191419A (ja) * | 1995-01-10 | 1996-07-23 | Yamaha Corp | 頭部装着型表示システム |
JPH0927971A (ja) * | 1995-07-10 | 1997-01-28 | Shimadzu Corp | 画像表示システム |
JP2002354505A (ja) * | 2001-05-29 | 2002-12-06 | Vstone Kk | 立体視システム |
JP2013090180A (ja) * | 2011-10-19 | 2013-05-13 | Nippon Hoso Kyokai <Nhk> | 立体映像撮影表示装置 |
JP2014140593A (ja) * | 2013-01-25 | 2014-08-07 | Fujifilm Corp | 立体内視鏡装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012256274A (ja) | 2011-06-10 | 2012-12-27 | Panasonic Corp | 画像生成装置、画像生成方法、及びコンピュータプログラム |
US11205305B2 (en) * | 2014-09-22 | 2021-12-21 | Samsung Electronics Company, Ltd. | Presentation of three-dimensional video |
-
2016
- 2016-03-04 JP JP2016042494A patent/JP6708444B2/ja active Active
-
2017
- 2017-02-22 US US15/439,567 patent/US10277891B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08191419A (ja) * | 1995-01-10 | 1996-07-23 | Yamaha Corp | 頭部装着型表示システム |
JPH0927971A (ja) * | 1995-07-10 | 1997-01-28 | Shimadzu Corp | 画像表示システム |
JP2002354505A (ja) * | 2001-05-29 | 2002-12-06 | Vstone Kk | 立体視システム |
JP2013090180A (ja) * | 2011-10-19 | 2013-05-13 | Nippon Hoso Kyokai <Nhk> | 立体映像撮影表示装置 |
JP2014140593A (ja) * | 2013-01-25 | 2014-08-07 | Fujifilm Corp | 立体内視鏡装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019035381A1 (ja) | 2017-08-18 | 2019-02-21 | 三菱瓦斯化学株式会社 | ジシアノシクロヘキサンの製造方法 |
JPWO2019220527A1 (ja) * | 2018-05-15 | 2021-07-01 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラム |
JP7198277B2 (ja) | 2018-05-15 | 2022-12-28 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ、画像表示方法およびコンピュータプログラム |
WO2022070270A1 (ja) * | 2020-09-29 | 2022-04-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
Also Published As
Publication number | Publication date |
---|---|
US20170257621A1 (en) | 2017-09-07 |
JP6708444B2 (ja) | 2020-06-10 |
US10277891B2 (en) | 2019-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6808484B2 (ja) | 画像処理装置および画像処理方法 | |
EP3057066B1 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
JP6708444B2 (ja) | 画像処理装置および画像処理方法 | |
EP3438919B1 (en) | Image displaying method and head-mounted display apparatus | |
JP2019160330A (ja) | 画像生成装置、及び画像表示制御装置 | |
EP3465630B1 (en) | Light-field viewpoint and pixel culling for a head mounted display device | |
JP2008015756A (ja) | 局所領域分割による自由視点画像の生成方法、装置およびプログラム | |
WO2019076348A1 (zh) | 一种虚拟现实vr界面生成的方法和装置 | |
US9766458B2 (en) | Image generating system, image generating method, and information storage medium | |
KR101433803B1 (ko) | 집적영상기술에서 기초 영상을 생성하는 방법 및 장치 | |
JP2020004325A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5809607B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2008085503A (ja) | 三次元画像処理装置、方法、プログラム及び三次元画像表示装置 | |
JP4406824B2 (ja) | 画像表示装置、画素データ取得方法、およびその方法を実行させるためのプログラム | |
JP5522794B2 (ja) | 立体像生成装置およびそのプログラム | |
US10664947B2 (en) | Image processing apparatus and image processing method to represent part of spherical image in planar image using equidistant cylindrical projection | |
JP2019029721A (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR101947372B1 (ko) | Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd | |
CN113438465A (zh) | 一种显示调节方法、装置、设备及介质 | |
KR101632514B1 (ko) | 깊이 영상 업샘플링 방법 및 장치 | |
JP4889036B2 (ja) | 画像処理装置、画像処理方法 | |
JP2018129025A (ja) | 決定装置、画像処理装置、決定方法及び決定プログラム | |
JP2018129026A (ja) | 決定装置、画像処理装置、決定方法及び決定プログラム | |
CN114020150A (zh) | 图像显示方法、装置、电子设备及介质 | |
JPH07210705A (ja) | 仮想現実装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200421 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200521 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6708444 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |