JP7008730B2 - 画像に挿入される画像コンテンツについての影生成 - Google Patents
画像に挿入される画像コンテンツについての影生成 Download PDFInfo
- Publication number
- JP7008730B2 JP7008730B2 JP2019566264A JP2019566264A JP7008730B2 JP 7008730 B2 JP7008730 B2 JP 7008730B2 JP 2019566264 A JP2019566264 A JP 2019566264A JP 2019566264 A JP2019566264 A JP 2019566264A JP 7008730 B2 JP7008730 B2 JP 7008730B2
- Authority
- JP
- Japan
- Prior art keywords
- shadow
- content
- location
- image
- surface plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
本願は、2017年10月4日に出願された米国出願番号第62/568,083号に基づく優先権を主張する、かつ2017年10月4日に出願された米国出願番号第62/568,115号に基づく優先権を主張する、2018年10月3日に出願され「挿入コンテンツについての影(SHADOWS FOR INSERTED CONTENT)」と題された米国非仮特許出願番号第16/150,794号の継続出願であり、それに基づく優先権を主張する。これらの開示全体を本明細書に引用により援用する。
コンテンツは画像またはユーザの視野に挿入され得る。たとえば、拡張現実(augmented reality:AR)システムは、コンテンツを挿入することによってユーザ用の没入型拡張環境を生成し得る。没入型拡張環境は、コンピュータ生成コンテンツを現実世界のユーザの視野に重ね合わせることによって生成することができる。たとえば、コンピュータ生成コンテンツは、ラベル、テキスト情報、画像、スプライト、および3次元エンティティを含み得る。これらの画像は、現実世界の物体を重畳しているように見えるようにユーザの視野内の位置に表示され得る。同様に、コンピュータ生成コンテンツは表示画像の上に重畳され得る。挿入コンテンツは、表示画像を重畳する影を生成し得る。影を生成する既存の技法は、リアルタイムのARアプリケーションでの使用には不十分な場合がある。
本開示では、挿入コンテンツについて影を生成するためのシステムおよび方法を記載する。たとえば、挿入コンテンツは、物理的空間の画像に挿入される拡張現実コンテンツを含み得る。
以下に本開示の非限定的な例について詳細に述べるが、それらの例は添付の図面に示されている。これらの例を、同様の参照番号は同様の要素を指す図面を参照して以下に説明する。同様の参照番号が示されている場合、対応する説明は繰返さない。興味のある読者は、同様の要素の説明については以前に述べた図面を参照されたい。
Claims (23)
- 方法であって、
コンテンツを挿入すべき画像内の場所を決定することを備え、前記コンテンツは骨格アニメーションモデルを含み、前記方法はさらに、
前記骨格アニメーションモデルからの少なくとも3以上の骨格関節に基づいて、表面平面上にバウンディングボックスを生成することと、
前記少なくとも3以上の骨格関節に基づいて、前記表面平面上の影中心点の場所を求めることと、
前記バウンディングボックスおよび前記影中心点の場所に基づいて、影エンティティを生成することと、
前記影中心点の場所に少なくとも部分的に基づいて求められた画素値を用いて、前記影エンティティをレンダリングすることとを備える、方法。 - 前記コンテンツをレンダリングされた前記影エンティティの上に重畳することと、
前記コンテンツおよびレンダリングされた前記影エンティティを前記画像に挿入して拡張画像を生成することと、
前記拡張画像を表示することとをさらに備える、請求項1に記載の方法。 - 前記画像を表示することと、
挿入された前記コンテンツおよびレンダリングされた前記影エンティティを、表示された前記画像の上に重畳することとをさらに備える、請求項1に記載の方法。 - 前記画像に基づいて前記表面平面を識別することをさらに備え、前記コンテンツは拡張現実コンテンツであり、前記コンテンツを挿入すべき画像内の場所を決定することは、前記表面平面に基づいて前記画像内の前記場所を決定することを含む、請求項1に記載の方法。
- 前記表面平面は、前記画像内に識別される床に対応する、請求項1~4のいずれか1項に記載の方法。
- 前記影エンティティはポリゴンを含む、請求項1~5のいずれか1項に記載の方法。
- 前記ポリゴンは、前記バウンディングボックスによって取囲まれる長円形状のポリゴンである、請求項6に記載の方法。
- 前記長円形状のポリゴンの長軸および前記長円形状のポリゴンの短軸は前記影中心点の場所で交差する、請求項7に記載の方法。
- 前記ポリゴンは、前記バウンディングボックスの角によって規定される四辺形ポリゴンである、請求項6に記載の方法。
- 前記影エンティティをレンダリングすることは、前記影中心点の場所からの距離に基づいて画素値を求めることを含む、請求項1~9のいずれか1項に記載の方法。
- 前記画素値を求めることは、前記影中心点の場所からの距離に基づく非線形のラジアルフォールオフを用いて画素の透明度値を計算することを含む、請求項10に記載の方法。
- 命令が格納された非一時的なコンピュータ可読記憶媒体であって、前記命令は、少なくとも1つのプロセッサによって実行されると、コンピューティングシステムに少なくとも、
コンテンツを挿入すべき画像内の場所を決定させ、前記コンテンツは骨格アニメーションモデルを含み、さらに、
前記画像に基づいて表面平面を識別させ、
前記骨格アニメーションモデルからの少なくとも3以上の骨格関節に基づいて、前記表面平面上にバウンディングボックスを生成させ、
前記少なくとも3以上の骨格関節に基づいて、前記表面平面上の影中心点の場所を求めさせ、
前記バウンディングボックスおよび前記影中心点の場所に基づいて、影エンティティを生成させ、
前記影中心点の場所に少なくとも部分的に基づいて求められた画素値を用いて、前記影エンティティをレンダリングさせるように構成される、非一時的なコンピュータ可読記憶媒体。 - 前記システムに前記コンテンツを挿入すべき画像内の場所を決定させる前記命令は、前記システムに前記コンテンツのための場所を識別するユーザ入力を受信させる命令を含む、請求項12に記載の非一時的なコンピュータ可読記憶媒体。
- 前記システムに前記影中心点の場所を求めさせる前記命令は、前記システムに前記少なくとも3以上の骨格関節を前記表面平面上に投影させる命令を含む、請求項12または13に記載の非一時的なコンピュータ可読記憶媒体。
- 前記影中心点の場所は、投影された前記少なくとも3以上の骨格関節の中点を計算することに基づいて求められる、請求項14に記載の非一時的なコンピュータ可読記憶媒体。
- 前記影中心点の場所は、前記少なくとも3以上の骨格関節の質量中心に基づいて求められる、請求項14に記載の非一時的なコンピュータ可読記憶媒体。
- 前記質量中心は、前記少なくとも3以上の骨格関節を等しく重み付けすることに基づいて求められる、請求項16に記載の非一時的なコンピュータ可読記憶媒体。
- 前記質量中心は、前記表面平面からの距離に基づいて前記少なくとも3以上の骨格関節を重み付けすることに基づいて求められる、請求項16に記載の非一時的なコンピュータ可読記憶媒体。
- 前記コンテンツは、前記少なくとも3以上の骨格関節を囲むポリゴンメッシュをさらに含む、請求項12~18のいずれか1項に記載の非一時的なコンピュータ可読記憶媒体。
- 前記システムに、前記骨格アニメーションモデルからの前記少なくとも3以上の骨格関節に基づいて、前記表面平面上にバウンディングボックスを生成させる前記命令は、前記システムに、前記骨格アニメーションモデルと関連付けられたデータ構造に基づいて、前記骨格アニメーションモデルから前記少なくとも3以上の骨格関節を識別させる命令を含み、前記少なくとも3以上の骨格関節は、前記骨格アニメーションモデルの骨格関節のすべては含まない、請求項12~19のいずれか1項に記載の非一時的なコンピュータ可読記憶媒体。
- システムであって、
カメラアセンブリと、
少なくとも1つのプロセッサと、
命令を格納しているメモリとを備え、前記命令は、前記少なくとも1つのプロセッサによって実行されると、前記システムに、
前記カメラアセンブリを用いて画像を取込ませ、
前記画像に基づいて表面平面を識別させ、
少なくとも3以上の関節を有する骨格によって部分的に規定されるポリゴンメッシュを含むコンテンツを挿入すべき場所を決定させ、
前記少なくとも3以上の関節に基づいて、前記コンテンツのためのバウンディングボックスを前記表面平面上に生成させ、
前記少なくとも3以上の関節を前記表面平面上に投影して、投影された前記少なくとも3以上の関節の位置を平均することに基づいて、前記コンテンツの質量中心の場所を求めさせ、
前記バウンディングボックスおよび前記質量中心の場所に基づいて、前記表面平面上にシャドウポリゴンを生成させ、
前記質量中心の場所にラジアルフォールオフ関数を適用することに基づく透明度値を用いて、前記シャドウポリゴンをレンダリングさせ、
挿入された前記コンテンツをレンダリングされた前記シャドウポリゴンの上に重畳させる、システム。 - 前記シャドウポリゴンは、前記バウンディングボックスの中に含まれる、かつ前記質量中心の場所で交差する第1の軸および第2の軸を含む、長円形状のポリゴンである、請求項21に記載のシステム。
- コンピュータによって実行されるプログラムであって、前記プログラムは、前記コンピュータに、請求項1~11のいずれか1項に記載の方法を実行させる、プログラム。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762568083P | 2017-10-04 | 2017-10-04 | |
US201762568115P | 2017-10-04 | 2017-10-04 | |
US62/568,083 | 2017-10-04 | ||
US62/568,115 | 2017-10-04 | ||
US16/150,794 US10607403B2 (en) | 2017-10-04 | 2018-10-03 | Shadows for inserted content |
US16/150,794 | 2018-10-03 | ||
PCT/US2018/054360 WO2019070971A1 (en) | 2017-10-04 | 2018-10-04 | SHADOW GENERATION FOR IMAGE CONTENT INSERTED IN IMAGE |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020537200A JP2020537200A (ja) | 2020-12-17 |
JP7008730B2 true JP7008730B2 (ja) | 2022-01-25 |
Family
ID=65896860
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019568026A Active JP7008733B2 (ja) | 2017-10-04 | 2018-10-04 | 挿入される画像コンテンツについての影生成 |
JP2019566264A Active JP7008730B2 (ja) | 2017-10-04 | 2018-10-04 | 画像に挿入される画像コンテンツについての影生成 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019568026A Active JP7008733B2 (ja) | 2017-10-04 | 2018-10-04 | 挿入される画像コンテンツについての影生成 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10679404B2 (ja) |
EP (2) | EP3692505A1 (ja) |
JP (2) | JP7008733B2 (ja) |
CN (2) | CN110692089B (ja) |
WO (2) | WO2019070971A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10922878B2 (en) * | 2017-10-04 | 2021-02-16 | Google Llc | Lighting for inserted content |
WO2019119345A1 (en) * | 2017-12-21 | 2019-06-27 | Intel Corporation | Methods and apparatus to map virtual environment to physical environment |
US10997781B1 (en) * | 2017-12-27 | 2021-05-04 | Disney Enterprises, Inc. | Systems and methods of real-time ambient light simulation based on generated imagery |
TWI715903B (zh) * | 2018-12-24 | 2021-01-11 | 財團法人工業技術研究院 | 動作追蹤系統及方法 |
US10846834B2 (en) * | 2019-02-20 | 2020-11-24 | United States Of America As Represented By The Secretary Of The Navy | Shadow brightening image enhancement |
CA3045133C (en) * | 2019-06-03 | 2023-03-21 | Eidos Interactive Corp. | Systems and methods for augmented reality applications |
US20220237849A1 (en) * | 2019-06-28 | 2022-07-28 | Tobii Ab | Method and system for reducing processor load in a computer |
US11164367B2 (en) | 2019-07-17 | 2021-11-02 | Google Llc | Illumination effects from luminous inserted content |
KR102314008B1 (ko) * | 2019-12-20 | 2021-10-18 | 네이버랩스 주식회사 | 증강 현실 기반 내비게이션 환경에서 객체의 그림자를 표시하기 위한 전자 장치 및 그의 동작 방법 |
US20230090732A1 (en) * | 2020-03-17 | 2023-03-23 | Interdigital Ce Patent Holdings, Sas | System and method for real-time ray tracing in a 3d environment |
CN112184920B (zh) * | 2020-10-12 | 2023-06-06 | 中国联合网络通信集团有限公司 | 基于ar的滑雪盲区显示方法、装置及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002042165A (ja) | 2000-07-27 | 2002-02-08 | Namco Ltd | 画像生成装置、方法および記録媒体 |
JP2006285511A (ja) | 2005-03-31 | 2006-10-19 | Namco Bandai Games Inc | プログラム、情報記憶媒体、及び画像生成システム |
JP2008305241A (ja) | 2007-06-08 | 2008-12-18 | Samii Kk | 画像生成装置および画像生成プログラム |
JP2010055131A (ja) | 2008-07-28 | 2010-03-11 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
JP2013517579A (ja) | 2010-03-25 | 2013-05-16 | ビズモードライン カンパニー リミテッド | 拡張現実システム |
WO2014091824A1 (ja) | 2012-12-10 | 2014-06-19 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
JP2015509230A (ja) | 2011-12-12 | 2015-03-26 | マイクロソフト コーポレーション | シースルーディスプレイによる影の表示 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3667393B2 (ja) * | 1995-08-04 | 2005-07-06 | 株式会社ナムコ | 3次元ゲーム装置及び画像合成方法 |
JP4098882B2 (ja) * | 1998-05-01 | 2008-06-11 | 株式会社日立製作所 | 仮想現実感生成装置及び方法 |
US6437782B1 (en) * | 1999-01-06 | 2002-08-20 | Microsoft Corporation | Method for rendering shadows with blended transparency without producing visual artifacts in real time applications |
US6791563B2 (en) | 2001-09-18 | 2004-09-14 | Bentley Systems, Incorporated | System, method and computer program product for global rendering |
US6906724B2 (en) | 2001-10-17 | 2005-06-14 | Lntel Corporation | Generating a shadow for a three-dimensional model |
JP3629243B2 (ja) * | 2002-02-13 | 2005-03-16 | Necマイクロシステム株式会社 | モデリング時の距離成分を用いてレンダリング陰影処理を行う画像処理装置とその方法 |
JP2003331313A (ja) * | 2002-05-14 | 2003-11-21 | Konami Computer Entertainment Japan Inc | 画像処理プログラム |
JP4001227B2 (ja) | 2002-05-16 | 2007-10-31 | 任天堂株式会社 | ゲーム装置及びゲームプログラム |
US6975318B2 (en) * | 2002-06-25 | 2005-12-13 | Intel Corporation | Polygon binning process for tile-based rendering |
JP4193979B2 (ja) * | 2003-03-17 | 2008-12-10 | 任天堂株式会社 | シャドウボリューム生成プログラム及びゲーム装置 |
US7589725B2 (en) | 2006-06-30 | 2009-09-15 | Microsoft Corporation | Soft shadows in dynamic scenes |
US8537233B1 (en) * | 2008-10-14 | 2013-09-17 | Marvell International Ltd. | Preventing color artifacts in overexposed regions and preserving maximum signals in near-overexposed regions of digital images |
US9122053B2 (en) | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
US9324183B2 (en) * | 2011-11-29 | 2016-04-26 | Apple Inc. | Dynamic graphical interface shadows |
CN104408775B (zh) | 2014-12-19 | 2017-04-26 | 哈尔滨工业大学 | 基于深度感知的三维皮影戏制作方法 |
CN107230249A (zh) * | 2017-07-04 | 2017-10-03 | 北京像素软件科技股份有限公司 | 阴影渲染方法和装置 |
-
2018
- 2018-10-03 US US16/150,813 patent/US10679404B2/en active Active
- 2018-10-03 US US16/150,794 patent/US10607403B2/en active Active
- 2018-10-04 WO PCT/US2018/054360 patent/WO2019070971A1/en unknown
- 2018-10-04 EP EP18793111.8A patent/EP3692505A1/en active Pending
- 2018-10-04 CN CN201880037061.1A patent/CN110692089B/zh active Active
- 2018-10-04 WO PCT/US2018/054356 patent/WO2019070969A1/en unknown
- 2018-10-04 JP JP2019568026A patent/JP7008733B2/ja active Active
- 2018-10-04 EP EP18793113.4A patent/EP3692506A1/en active Pending
- 2018-10-04 JP JP2019566264A patent/JP7008730B2/ja active Active
- 2018-10-04 CN CN201880037080.4A patent/CN110709897B/zh active Active
-
2020
- 2020-05-11 US US15/929,572 patent/US10762694B1/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002042165A (ja) | 2000-07-27 | 2002-02-08 | Namco Ltd | 画像生成装置、方法および記録媒体 |
JP2006285511A (ja) | 2005-03-31 | 2006-10-19 | Namco Bandai Games Inc | プログラム、情報記憶媒体、及び画像生成システム |
JP2008305241A (ja) | 2007-06-08 | 2008-12-18 | Samii Kk | 画像生成装置および画像生成プログラム |
JP2010055131A (ja) | 2008-07-28 | 2010-03-11 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
JP2013517579A (ja) | 2010-03-25 | 2013-05-16 | ビズモードライン カンパニー リミテッド | 拡張現実システム |
JP2015509230A (ja) | 2011-12-12 | 2015-03-26 | マイクロソフト コーポレーション | シースルーディスプレイによる影の表示 |
WO2014091824A1 (ja) | 2012-12-10 | 2014-06-19 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2019070971A1 (en) | 2019-04-11 |
EP3692506A1 (en) | 2020-08-12 |
US20200273238A1 (en) | 2020-08-27 |
JP2020537201A (ja) | 2020-12-17 |
CN110692089B (zh) | 2023-06-06 |
US10679404B2 (en) | 2020-06-09 |
US10762694B1 (en) | 2020-09-01 |
EP3692505A1 (en) | 2020-08-12 |
JP7008733B2 (ja) | 2022-01-25 |
US20190102935A1 (en) | 2019-04-04 |
CN110709897A (zh) | 2020-01-17 |
US20190102934A1 (en) | 2019-04-04 |
CN110709897B (zh) | 2024-01-02 |
WO2019070969A1 (en) | 2019-04-11 |
JP2020537200A (ja) | 2020-12-17 |
CN110692089A (zh) | 2020-01-14 |
US10607403B2 (en) | 2020-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7008730B2 (ja) | 画像に挿入される画像コンテンツについての影生成 | |
US11043031B2 (en) | Content display property management | |
KR101823182B1 (ko) | 동작의 속성을 이용한 디스플레이 상의 3차원 사용자 인터페이스 효과 | |
US9411413B2 (en) | Three dimensional user interface effects on a display | |
US10922889B2 (en) | Directing user attention | |
US20170287215A1 (en) | Pass-through camera user interface elements for virtual reality | |
US11430192B2 (en) | Placement and manipulation of objects in augmented reality environment | |
US20170329503A1 (en) | Editing animations using a virtual reality controller | |
EP3740849B1 (en) | Hybrid placement of objects in an augmented reality environment | |
CN108697935B (zh) | 虚拟环境中的化身 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200527 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7008730 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |