JP2021056679A - 画像処理装置、方法及びプログラム - Google Patents
画像処理装置、方法及びプログラム Download PDFInfo
- Publication number
- JP2021056679A JP2021056679A JP2019178048A JP2019178048A JP2021056679A JP 2021056679 A JP2021056679 A JP 2021056679A JP 2019178048 A JP2019178048 A JP 2019178048A JP 2019178048 A JP2019178048 A JP 2019178048A JP 2021056679 A JP2021056679 A JP 2021056679A
- Authority
- JP
- Japan
- Prior art keywords
- voxel
- model
- image
- determined
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
撮影部11は、図2の撮影環境PEにおいてその模式例を示したように、撮影環境PE(例えば撮影スタジオ等)において、3Dモデル生成対象となる人物等のオブジェクトOBを取り囲んで撮影するように配置された複数N台(N≧2)のカメラC1,C2,…,CNをハードウェアとして構成される。撮影部11は当該各視点のカメラでオブジェクトOBを撮影することで得られる画像(N視点の多視点画像)を抽出部12及び描画部14へと出力する。
抽出部12では、撮影部11で得た多視点画像におけるN視点のN枚の画像のそれぞれについて、撮影されているオブジェクトOBを前景のシルエットとして抽出することでマスク画像(シルエットの前景に該当する画素には値「1」を、それ以外の背景に該当する画素には値「0」を与えた2値マスク画像)を作成し、当該抽出されたN枚のマスク画像を生成部13へと出力する。
AR表示の視聴を行うユーザUが存在する視聴環境PE(図2)にある端末装置20(AR表示の視聴デバイス)の側に備わる取得部21は、この端末装置20を利用するユーザの環境情報をリアルタイムで取得して、ネットワークNWを経由してこの環境情報を画像処理装置10の生成部13へと送信する。ここで、取得部21で環境情報を取得した際は、その取得時刻がタイムスタンプとして紐づけられたうえで、生成部13へと送信される。
位置姿勢取得部211では、任意の既存手法により、端末装置20の位置姿勢の情報を取得することができる。この位置姿勢の情報は、カメラパラメータにおける外部パラメータの情報に相当するものとして、ユーザUが存在する視聴環境PE(図2)で定義される3次元世界座標系において、端末装置20の位置及び姿勢を与えるものである。
デプス取得部212では、任意の既存手法により、ユーザUが存在する視聴環境PE(図2)にある端末装置20から見たデプス画像(位置姿勢取得部211の取得する位置姿勢にデプスカメラ等があるものとしたデプス画像)を取得することができる。
生成部13では、抽出部12で得たN視点のN枚のマスク画像に対して、取得部21から送信される端末装置20側のユーザの環境情報を考慮することで、オクルージョン領域を除外した形で視体積交差法を適用し、生成されたオブジェクトOBの3Dモデル(仮想オブジェクトVOB)を描画部14へと出力する。なお、抽出部12から得られるN枚のマスク画像には撮影部11における共通の撮影時刻(N台のカメラで同期されている)が紐づいており、取得部21での環境情報にもタイムスタンプとして取得時刻が紐づいているので、生成部13ではN枚のマスク画像の時刻と同一時刻の環境情報を参照したうえで、3Dモデルを生成することができる。
(第2ケース)「S15→S17」と遷移することで、視体積交差法(S14)を適用したうえで、E(vi)=0(オクルージョン領域に該当せず、「3Dモデルに属さない」)と判定される。
(第3ケース)「S13→S17」と遷移することで、視体積交差法(S14)を適用することなく、E(vi)=0(オクルージョン領域に該当するため「3Dモデルに属さない」)と判定される。
描画部14では、生成部13で生成された3Dモデルを、撮影部11で得た多視点画像のテクスチャを用いて仮想カメラVCの視点においてレンダリングすることで描画し、得られた仮想視点画像(描画がなされた箇所以外は画素値が定義されないマスク画像となる)を端末装置20の表示部23へと送信する。
表示部23は、描画部14より送信された仮想視点画像をユーザに対して表示することで、ユーザに対してAR視聴を可能とする。ハードウェアとしての表示部23は例えば、光学シースルー型HMD又はビデオシースルー型HMDとして実現することができる。前者(光学シースルー型HMD)の場合であれば、ユーザの肉眼にそのまま見えている撮影環境WEの実物の背景に対して、描画部14より送信された仮想視点画像(マスク画像)のみを重畳表示すればよい。後者(ビデオシースルー型HMD)の場合、ハードウェアとしてはカメラで構成される表示側撮影部22が撮影した撮影環境WEの背景画像に対して、描画部14より送信された仮想視点画像(マスク画像)を重畳表示すればよい。なお、端末装置20側での画像撮影が不要な場合、表示側撮影部22は省略してよい。
第二実施形態は、第一実施形態において得られた仮想オブジェクトを用いて3Dモデル空間に光源を配置したうえで仮想オブジェクトの影を含めて描画を行う場合に発生しうる、次のような課題への対処を可能とするものである。
図11は、第二実施形態による生成部13のモデル生成の手順の一例を示すフローチャートである。図11のフローチャートは、図7のフローチャートに示されるのと同様のステップS10〜S18に、第二実施形態での追加手順としてのステップS131及びS132を加えたものである。ステップS10〜S18に関しては図7の同符号のステップと特段の追加説明がない限り同様であるため、重複する説明は省略し、相違点としてのステップS13,S131,S132,S16,S18に関して以下で説明する。
ステップS131では、当該ボクセルviを仮想空間内の所定位置が定義されている仮想光源VLにおけるカメラ座標系の画像平面にマッピングし、その画素位置(x,y)を求め、仮想光源VLとボクセルviとの距離e2i=dist(vi,VL)を計算する。ここで、後述するステップS16の追加処理により、仮想光源VLにおけるカメラ座標系の画像平面には、仮想光源VLから見て3Dモデルに属するボクセルとの距離のうちの最小値が「光源デプス画像」として記録され継続的に更新されている。
ステップS16での追加処理として、上記ステップS131で参照するための「光源デプス画像」の画素値を更新する。具体的には、ステップS131と同様に、当該3Dモデルを構成する点であると判定されたボクセルviに関して、仮想光源VLにおけるカメラ座標系の画像平面にマッピングし、その画素位置(x,y)を求め、仮想光源VLとボクセルviとの距離e2i=dist(vi,VL)を計算する。そして、当該計算した距離e2iに関して、現時点での同位置(x,y)における光源デプス画像の画素値L(x,y)との大小関係を調べ、距離e2iの方が小さい(「e2i<L(x,y)」)ならば、光源デプス画像の画素値L(x,y)を、当該より小さい距離e2iの値で上書きして更新する。否定「e2i≧L(x,y)」の場合、値の更新は行わない。なお、光源デプス画像の画素の初期値として、ステップS10において各画素位置(x,y)における光源デプス値L(x,y)=∞(無限大)を設定しておけばよい。計算された距離e2iの値によらず常に、大小関係は「e2i<∞」である。
描画部14では、生成部13で得られた3Dモデルを用いて、光源を反映した描画を行う。ここで、3Dモデルの全体のうち、オクルージョン領域とは判定されなかった部分に関しては、そのテクスチャを第一実施形態と同様にして光源を反映したうえで描画し、且つ、光源が存在することによって当該領域によって生じる影も描画するようにすればよい。一方、3Dモデルの全体のうち、オクルージョン領域と判定された部分に関しては、ユーザ視点(仮想カメラ)から見えないためテクスチャ描画は省略するが、当該領域によって当該光源との関係で生じる影に関する描画は行うようにすればよい。(すなわち、テクスチャ描画は、3Dモデル全体のうち、オクルージョン領域でない部分のみを用いて行い、影の描画は、オクルージョン領域であるか否かを問わず、3Dモデル全体を用いて行えればよい。)光源効果を付与した影の描画に関しては、3DCG(3Dコンピュータグラフィックス)の分野で利用されている任意の既存手法を利用してよい。
表示部23では、描画部14で得られた描画結果としての、仮想オブジェクトのテクスチャとその影とを表示すれよい。
第三実施形態は、第一実施形態での生成部13に対する追加処理として、次を行うものである。すなわち、生成部13では予め、第一実施形態によってオクルージョン領域を除外して3Dモデルを構成するボクセルを求めておき、追加処理として、オクルージョン領域に該当すると判定されたボクセル集合に関しても、ボクセル密度を所定割合だけ下げたうえで、視体積交差法を適用し、3Dモデルを構成するボクセルを求める。
第四実施形態は第三実施形態の変形例である。第三実施形態では、オクルージョン領域内の全体を対象として、低密度で視体積交差法を適用して3Dモデルを構成するボクセル集合(第2ボクセル集合)を求めたが、第四実施形態は、オクルージョン領域内の一部分のみを対象として、低密度で視体積交差法を適用して3Dモデルを構成するボクセル集合(第3ボクセル集合とする)を求めるものである。
第五実施形態は、第三実施形態の変形例として、上記の閾値判定の緩和の考え方と同様にして、位置姿勢取得部211で得られるユーザ視点に対応する仮想視点の位置姿勢の時間変動(仮想視点の動き)が閾値判定で大きいと判定される場合に、第三実施形態を適用するようにし、当該判定されない場合には第一実施形態を適用する場合分けを行うものである。
第六実施形態は、第四実施形態の変形例として、上記の閾値判定の緩和の考え方と同様にして、位置姿勢取得部211で得られるユーザ視点に対応する仮想視点の位置姿勢の時間変動(仮想視点の動き)が閾値判定で大きいと判定される場合に、第四実施形態を適用するようにし、当該判定されない場合には第一実施形態を適用する場合分けを行うものである。
図13は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。画像処理装置10及び端末装置20の各々は、このような構成を有する1台以上のコンピュータ装置70として実現可能である。なお、2台以上のコンピュータ装置70で画像処理装置10又は端末装置20の各々を実現する場合、ネットワーク経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置70は、所定命令を実行するCPU(中央演算装置)71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU(グラフィックス演算装置)72、CPU71にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、GPU72用のメモリ空間を提供するGPUメモリ78、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77センサ78、及びカメラ79と、これらの間でデータを授受するためのバスBSと、を備える。
10…画像処理装置、11…撮影部、12…抽出部、13…生成部、14…描画部
20…端末装置、21…取得部、22…表示側撮影部、23…表示部
Claims (10)
- 多視点画像の各視点の画像より、撮影されているオブジェクトの領域をマスク画像として抽出する抽出部と、
前記マスク画像に視体積交差法を適用して、前記オブジェクトの3Dモデルを、所定のボクセル集合の各ボクセルにつき当該3Dモデルに属するか否かを判定することによって生成する生成部と、を備える画像処理装置であって、
前記生成部は、前記適用する前に予め、ユーザ視点におけるものとして取得された深度情報を、仮想カメラ視点を基準としたボクセル空間に配置して当該深度情報の与える空間位置を定めたうえで、各ボクセルが当該深度情報の与える空間位置よりも仮想カメラ視点に近い側にあるか遠い側にあるかを判定し、近い側にあると判定されたボクセルのみを、視体積交差法の適用対象として前記3Dモデルに属するか否かを判定することを特徴とする画像処理装置。 - 前記生成された3Dモデルを、前記仮想カメラ視点を基準とした画像平面に投影して前記多視点画像のテクスチャを用いて描画する描画部をさらに備えることを特徴とする請求項1に記載の画像処理装置。
- 前記ボクセル空間には所定位置の光源が設定されており、
前記生成部は、所定のボクセル集合の各ボクセルに関して、所定の順番で、前記予め近い側にあるか遠い側にあるかを判定したうえで、近い側にあると判定されたボクセルに関して前記3Dモデルに属するか否かを判定し、
前記遠い側にあると判定されたボクセルに関してはさらに、前記所定の順番の判定によって既に前記3Dモデルに属するものと判定されているボクセルによって、前記光源から遮蔽されているか否かを判定し、
遮蔽されていないと判定された場合には、当該ボクセルを視体積交差法の適用対象として前記3Dモデルに属するか否かを判定することを特徴とする請求項1に記載の画像処理装置。 - 前記生成された3Dモデルのうち、前記近い側にあると判定されたボクセルに該当する部分のみを、前記仮想カメラ視点を基準とした画像平面に投影して前記多視点画像のテクスチャを用いて描画し、且つ、
前記生成された3Dモデルの全体を用いて、前記光源による当該3Dモデルの影を、前記画像平面に対して描画する描画部をさらに備えることを特徴とする請求項3に記載の画像処理装置。 - 前記生成部は、前記近い側にあると判定されたボクセルについては第一ボクセル密度で視体積交差法を適用し、さらに、前記遠い側にあると判定されたボクセルについては前記第一ボクセル密度よりも低い第二ボクセル密度で視体積交差法を適用することを特徴とする請求項1に記載の画像処理装置。
- 前記生成部は、前記遠い側にあると判定されたボクセルについて、前記近い側にあると判定されたボクセルに近いと判定されるもののみに関して、前記第一ボクセル密度よりも低い前記第二ボクセル密度で視体積交差法を適用することを特徴とする請求項5に記載の画像処理装置。
- 前記生成部は、第一時刻において前記第一ボクセル密度及び前記第二ボクセル密度で視体積交差法を適用することにより前記3Dモデルを生成し、
前記生成された3Dモデルを、前記仮想カメラ視点を基準とした画像平面に投影して前記多視点画像のテクスチャを用いて描画する描画部をさらに備え、
前記描画部は、前記第一時刻においては前記3Dモデルのうち前記第一ボクセル密度の部分のみに関して描画を行い、
前記第一時刻よりも後の第二時刻においては、前記深度情報を、当該第二時刻における仮想カメラ視点を基準としたボクセル空間に配置して当該深度情報の与える空間位置を定めたうえで、各ボクセルが当該深度情報の与える空間位置よりも仮想カメラ視点に近い側にあるか遠い側にあるかを判定し、近い側にあると判定されたボクセルに該当する部分のみに関して、前記3Dモデルの描画を行うことを特徴とする請求項5または6に記載の画像処理装置。 - 前記ユーザ視点の位置姿勢の時間変化が取得されており、
前記時間変化が閾値判定により大きいと判定された場合には、
前記生成部は、前記近い側にあると判定されたボクセルについては第一ボクセル密度で視体積交差法を適用し、さらに、前記遠い側にあると判定されたボクセルの全部又は一部について前記第一ボクセル密度よりも低い第二ボクセル密度で視体積交差法を適用し、
前記時間変化が前記閾値判定により大きいとは判定されなかった場合には、
前記生成部は、前記近い側にあると判定されたボクセルのみを、視体積交差法の適用対象として前記3Dモデルに属するか否かを判定することを特徴とする請求項1に記載の画像処理装置。 - 多視点画像の各視点の画像より、撮影されているオブジェクトの領域をマスク画像として抽出する抽出段階と、
前記マスク画像に視体積交差法を適用して、前記オブジェクトの3Dモデルを、所定のボクセル集合の各ボクセルにつき当該3Dモデルに属するか否かを判定することによって生成する生成段階と、を備える画像処理方法であって、
前記生成段階は、前記適用する前に予め、ユーザ視点におけるものとして取得された深度情報を、仮想カメラ視点を基準としたボクセル空間に配置して当該深度情報の与える空間位置を定めたうえで、各ボクセルが当該深度情報の与える空間位置よりも仮想カメラ視点に近い側にあるか遠い側にあるかを判定し、近い側にあると判定されたボクセルのみを、視体積交差法の適用対象として前記3Dモデルに属するか否かを判定することを特徴とする画像処理方法。 - 多視点画像の各視点の画像より、撮影されているオブジェクトの領域をマスク画像として抽出する抽出部と、
前記マスク画像に視体積交差法を適用して、前記オブジェクトの3Dモデルを、所定のボクセル集合の各ボクセルにつき当該3Dモデルに属するか否かを判定することによって生成する生成部と、を備える画像処理装置であって、
前記生成部は、前記適用する前に予め、ユーザ視点におけるものとして取得された深度情報を、仮想カメラ視点を基準としたボクセル空間に配置して当該深度情報の与える空間位置を定めたうえで、各ボクセルが当該深度情報の与える空間位置よりも仮想カメラ視点に近い側にあるか遠い側にあるかを判定し、近い側にあると判定されたボクセルのみを、視体積交差法の適用対象として前記3Dモデルに属するか否かを判定する画像処理装置として、コンピュータを機能させることを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019178048A JP7197451B2 (ja) | 2019-09-27 | 2019-09-27 | 画像処理装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019178048A JP7197451B2 (ja) | 2019-09-27 | 2019-09-27 | 画像処理装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021056679A true JP2021056679A (ja) | 2021-04-08 |
JP7197451B2 JP7197451B2 (ja) | 2022-12-27 |
Family
ID=75270760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019178048A Active JP7197451B2 (ja) | 2019-09-27 | 2019-09-27 | 画像処理装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7197451B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022137907A1 (ja) * | 2020-12-25 | 2022-06-30 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2023000947A (ja) * | 2021-06-18 | 2023-01-04 | ヤフー株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
JP2023000858A (ja) * | 2021-06-18 | 2023-01-04 | ヤフー株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
WO2023026519A1 (ja) * | 2021-08-27 | 2023-03-02 | ソニーグループ株式会社 | 情報処理装置、情報処理端末、情報処理方法、および記憶媒体 |
WO2023047637A1 (ja) * | 2021-09-22 | 2023-03-30 | ソニーグループ株式会社 | 情報処理装置およびプログラム |
WO2023085075A1 (ja) * | 2021-11-12 | 2023-05-19 | ソニーグループ株式会社 | 情報処理装置および方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002236909A (ja) * | 2001-02-09 | 2002-08-23 | Minolta Co Ltd | 画像データ処理方法およびモデリング装置 |
JP2007310797A (ja) * | 2006-05-22 | 2007-11-29 | Sony Computer Entertainment Inc | オクルージョンカリング方法および描画処理装置 |
JP2009074836A (ja) * | 2007-09-19 | 2009-04-09 | Advanced Telecommunication Research Institute International | 画像処理装置、画像処理方法及び画像処理プログラム |
US20170358127A1 (en) * | 2014-12-19 | 2017-12-14 | Donya Labs Ab | Rendering based generation of occlusion culling models |
-
2019
- 2019-09-27 JP JP2019178048A patent/JP7197451B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002236909A (ja) * | 2001-02-09 | 2002-08-23 | Minolta Co Ltd | 画像データ処理方法およびモデリング装置 |
JP2007310797A (ja) * | 2006-05-22 | 2007-11-29 | Sony Computer Entertainment Inc | オクルージョンカリング方法および描画処理装置 |
JP2009074836A (ja) * | 2007-09-19 | 2009-04-09 | Advanced Telecommunication Research Institute International | 画像処理装置、画像処理方法及び画像処理プログラム |
US20170358127A1 (en) * | 2014-12-19 | 2017-12-14 | Donya Labs Ab | Rendering based generation of occlusion culling models |
Non-Patent Citations (1)
Title |
---|
上田 恵: "多視点動画像処理による3次元モデル復元に基づく自由視点画像生成のオンライン化", 情報処理学会論文誌, vol. 第46巻 第11号, JPN6022024347, 15 November 2005 (2005-11-15), pages 2768 - 2778, ISSN: 0004800273 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022137907A1 (ja) * | 2020-12-25 | 2022-06-30 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2023000947A (ja) * | 2021-06-18 | 2023-01-04 | ヤフー株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
JP2023000858A (ja) * | 2021-06-18 | 2023-01-04 | ヤフー株式会社 | 表示制御装置、表示制御方法および表示制御プログラム |
WO2023026519A1 (ja) * | 2021-08-27 | 2023-03-02 | ソニーグループ株式会社 | 情報処理装置、情報処理端末、情報処理方法、および記憶媒体 |
WO2023047637A1 (ja) * | 2021-09-22 | 2023-03-30 | ソニーグループ株式会社 | 情報処理装置およびプログラム |
WO2023085075A1 (ja) * | 2021-11-12 | 2023-05-19 | ソニーグループ株式会社 | 情報処理装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7197451B2 (ja) | 2022-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11238644B2 (en) | Image processing method and apparatus, storage medium, and computer device | |
US11210838B2 (en) | Fusing, texturing, and rendering views of dynamic three-dimensional models | |
JP7197451B2 (ja) | 画像処理装置、方法及びプログラム | |
US11410269B2 (en) | Mixed reality system with virtual content warping and method of generating virtual content using same | |
US10096157B2 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
AU2018233733B2 (en) | Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same | |
GB2546572A (en) | Method and system for generating an image file of a 3D garment model on a 3D body model | |
US11922562B2 (en) | Methods and systems for rendering view-dependent images using 2D images | |
Meerits et al. | Real-time diminished reality for dynamic scenes | |
KR20120104071A (ko) | 입체영상 시각효과 처리 방법 | |
JP2021022032A (ja) | 合成装置、方法及びプログラム | |
US20180286130A1 (en) | Graphical image augmentation of physical objects | |
KR20230032893A (ko) | 화상처리장치, 화상처리방법 및 기억 매체 | |
US11682234B2 (en) | Texture map generation using multi-viewpoint color images | |
CN113989434A (zh) | 一种人体三维重建方法及设备 | |
Dong et al. | Resolving incorrect visual occlusion in outdoor augmented reality using TOF camera and OpenGL frame buffer | |
EP3980975B1 (en) | Method of inferring microdetail on skin animation | |
Jang et al. | Depth video based human model reconstruction resolving self-occlusion | |
JP7261121B2 (ja) | 情報端末装置及びプログラム | |
Liu et al. | Research on Real-Time Graphics Drawings Technology in Virtual Scene | |
JP2023153534A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
de Sorbier et al. | Depth Camera to Generate On-line Content for Auto-Stereoscopic Displays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7197451 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |