JP7500512B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7500512B2 JP7500512B2 JP2021139991A JP2021139991A JP7500512B2 JP 7500512 B2 JP7500512 B2 JP 7500512B2 JP 2021139991 A JP2021139991 A JP 2021139991A JP 2021139991 A JP2021139991 A JP 2021139991A JP 7500512 B2 JP7500512 B2 JP 7500512B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- image processing
- foreground object
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 81
- 238000003672 processing method Methods 0.000 title claims 3
- 239000002131 composite material Substances 0.000 claims description 28
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 description 33
- 238000009877 rendering Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 24
- 238000000034 method Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 14
- 238000003786 synthesis reaction Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
Description
図1は、本実施形態に係る、仮想視点画像を生成するための画像処理システムの構成の一例を示す図である。画像処理システム100は、撮像装置(カメラ)110、計測装置120、画像処理装置130及び表示装置140を有する。画像処理システム100では、カメラ110で撮像した映像を、画像処理装置120にて三次元コンピュータグラフィックスに合成して表示装置140に表示する。
図2は、画像処理装置130のハードウェア構成の一例を示す図である。情報処理装置である画像処理装置130は、CPU211、ROM212、RAM213、補助記憶装置214、操作部215、通信I/F216、及びバス217を有する。
図3は、本実施形態に係る、カメラ110で得た前景オブジェクトの撮像画像を3DCGに合成する画像処理装置130の内部構成の一例を示す図である。画像処理装置130は、データ取得部301、同期部302、合成部303、データ出力部308の各機能部を有する。そして、合成部303、背景保持部304、前処理部305、投影部306、レンダリング部307を有する。なお、画像処理装置130は、複数の電子機器によって構成されてもよい。以下、各機能部について説明する。
図3に示すように合成部303は、背景保持部304、前処理部305、投影部306及びレンダリング部307部を有する。図4のフローチャートを参照して、合成部303の機能の詳細について説明する。なお、図4のフローチャートが示す一連の処理は、CPU211が、ROM212又は補助記憶装置214等に格納された制御プログラムを読み出してRAM213に展開し、これを実行することで実現される。なお、以下の説明において記号「S」はステップを意味する。
カメラ110による前景オブジェクトの撮像を、クロマキー処理を前提としていわゆるグリーンバックやブルーバックの環境で行なう場合を説明したが、そのような環境下での撮像は必須ではない。例えば通常のスタジオにて撮像を行って得られた撮像画像からオブジェクト認識技術によって演者とそれ以外の背景とを判別し、演者に対応する画像領域だけを切り抜くような画像処理を行って、投影に用いてもよい。
本実施形態の画像処理装置130は、実施形態1のカメラ110による撮像画像の切り抜き画像に代えて、画像処理サーバ1202で生成された仮想視点画像の切り抜き画像を3DCGに合成する。そのためにデータ取得部301は、仮想視点パラメータに含まれる仮想視点の位置・姿勢、焦点距離、画角といった情報を、実施形態1の撮像パラメータとして扱う。すなわち、仮想視点をカメラ110と見做し、仮想視点の位置・姿勢や画角などの光学情報を、前述の撮像パラメータにおけるカメラ110の位置・姿勢や画角などの光学情報と見做して、データ取得部301はこれらの情報を同期部302に出力する。また、本実施形態のデータ取得部301は、仮想視点パラメータに含まれる又は仮想視点画像に埋め込まれた時刻情報に基づいて各フレームに対応する前景モデルを、実施形態1の位置形状データと見做して、同期部302に出力する。このとき、後段の合成部303で処理が行いやすいように、前景モデルに対して形状を簡略化してデータ量を削減する処理を行った上で出力してもよい。形状簡略化処理としては、例えば、前景モデルが表す三次元形状に外接する直方体(バウンディングボックス)の情報に変換したり、三次元形状を表現する点群やメッシュを間引いたりする処理が考えられる。なお、フォーマット変換などデータ間の整合性を取るための処理が必要に応じて行われるなされることは言うまでもない。
本実施形態では、仮想視点画像、仮想視点パラメータ、前景モデルの3つのデータの同期を、実施形態1と同様、画像処理装置130内で取っているがこれに限定されない。例えば、これらデータの同期を仮想視点画像生成システム内で取った上で例えば圧縮等を行って1つにまとめファイル化した上で画像処理装置130に送信する構成でもよい。このような構成の場合、画像処理装置130内の同期部302は不要となる。そして、データ取得部301にて、受信したデータファイルを展開して、仮想視点画像、仮想視点パラメータ、前景モデルの各データを取得して合成部303に入力すればよい。このような構成により画像処理装置側で同期をとる必要がなくなるとともに、データ伝送の煩雑性も解消することができる。
本開示の技術は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
301 データ取得部
303 合成部
305 前処理部
306 投影部
307 レンダリング部
Claims (13)
- 特定の視点に対応する前景オブジェクトを含む二次元画像と、前記二次元画像を得る際の条件を規定するパラメータと、前記二次元画像に含まれる前景オブジェクトの三次元位置及び形状を表す位置形状データを取得する取得手段と、
背景オブジェクトを示す三次元データを含む仮想空間に配置された、前記位置形状データに基づくスクリーンと、前記二次元画像に含まれる前記前景オブジェクトの画像とに基づいて、前記前景オブジェクトと前記背景オブジェクトとを含む合成画像を生成する生成手段と、
を有し、
前記二次元画像は、複数の撮像画像に基づいて生成される、指定された仮想視点に対応する仮想視点画像であり、
前記パラメータは、前記仮想視点画像を生成する際の条件を表す仮想視点パラメータである、
ことを特徴とする画像処理システム。 - 前記位置形状データは、前記複数の撮像画像に基づいて生成される、前記前景オブジェクトの三次元形状データに基づくデータであることを特徴とする請求項1に記載の画像処理システム。
- 前記スクリーンは、三次元の形状である、ことを特徴とする請求項1又は2に記載の画像処理システム。
- 前記スクリーンは、透明なバウンディングボックスである、ことを特徴とする請求項3に記載の画像処理システム。
- 前記位置形状データは、前記前景オブジェクトに外接する直方体の各頂点の三次元位置及び当該直方体の各辺の長さを記述したデータである、ことを特徴とする請求項4に記載の画像処理システム。
- 前記生成手段は、前記仮想空間に、前記前景オブジェクトの疑似的な影を、前記位置形状データに基づいて生成し、前記合成画像を生成する、ことを特徴とする請求項1乃至5のいずれか一項に記載の画像処理システム。
- 前記疑似的な影は、半透明の黒またはグレーの楕円形である、ことを特徴とする請求項6に記載の画像処理システム。
- 前記生成手段は、前記パラメータに基づき設定された視点から各前景オブジェクトまでの距離に基づいて、前記合成画像の画素の色を決定する、ことを特徴とする請求項1乃至7のいずれか一項に記載の画像処理システム。
- 前記生成手段は、
前記スクリーンへの前記前景オブジェクトの投影を行う際の条件を、前記パラメータによって規定される前記二次元画像を得る際の条件に合わせて設定し、
前記合成画像の画素の色を決定する際の条件を、前記パラメータによって規定される前記二次元画像を得る際の条件に合わせて設定する、
ことを特徴とする請求項8に記載の画像処理システム。 - 前記特定の視点に対応した二次元画像は動画像を構成するフレームであり、
前記位置形状データの取得周期と前記動画像を構成するフレームの取得周期とが異なる場合、前記動画像の各フレームに同期させた位置形状データを生成する同期手段をさらに有することを特徴とする請求項1乃至9のいずれか一項に記載の画像処理システム。 - 前記特定の視点に対応した二次元画像は動画像を構成するフレームであり、
前記取得手段は、前記位置形状データを、前記動画像を構成するフレームと同期したタイミングで取得することを特徴とする請求項1乃至9のいずれか一項に記載の画像処理システム。 - 特定の視点に対応する前景オブジェクトを含む二次元画像と、前記二次元画像を得る際の条件を規定するパラメータと、前記二次元画像に含まれる前景オブジェクトの三次元位置及び形状を表す位置形状データを取得する取得ステップと、
背景オブジェクトを示す三次元データを含む仮想空間に配置された、前記位置形状データに基づくスクリーンと、前記二次元画像に含まれる前記前景オブジェクトの画像とに基づいて、前記前景オブジェクトと前記背景オブジェクトとを含む合成画像を生成する生成ステップと、
を含み、
前記二次元画像は、複数の撮像画像に基づいて生成される、指定された仮想視点に対応する仮想視点画像であり、
前記パラメータは、前記仮想視点画像を生成する際の条件を表す仮想視点パラメータである、
ことを特徴とする画像処理方法。 - コンピュータに、請求項12に記載の画像処理方法を実行させるためのプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021139991A JP7500512B2 (ja) | 2021-08-30 | 2021-08-30 | 画像処理装置、画像処理方法、及びプログラム |
BR102022015085-0A BR102022015085A2 (pt) | 2021-08-30 | 2022-07-29 | Aparelho de processamento de imagem, método de processamento de imagem e meio de armazenamento |
KR1020220097628A KR20230032893A (ko) | 2021-08-30 | 2022-08-05 | 화상처리장치, 화상처리방법 및 기억 매체 |
EP22190212.5A EP4140552A1 (en) | 2021-08-30 | 2022-08-12 | Image processing apparatus, image processing method, and program |
US17/886,626 US20230062973A1 (en) | 2021-08-30 | 2022-08-12 | Image processing apparatus, image processing method, and storage medium |
CN202211042898.XA CN115733936A (zh) | 2021-08-30 | 2022-08-29 | 图像处理设备、图像处理方法和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021139991A JP7500512B2 (ja) | 2021-08-30 | 2021-08-30 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023033975A JP2023033975A (ja) | 2023-03-13 |
JP7500512B2 true JP7500512B2 (ja) | 2024-06-17 |
Family
ID=82932341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021139991A Active JP7500512B2 (ja) | 2021-08-30 | 2021-08-30 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230062973A1 (ja) |
EP (1) | EP4140552A1 (ja) |
JP (1) | JP7500512B2 (ja) |
KR (1) | KR20230032893A (ja) |
CN (1) | CN115733936A (ja) |
BR (1) | BR102022015085A2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021149526A1 (ja) * | 2020-01-23 | 2021-07-29 | ||
US11842444B2 (en) * | 2021-06-02 | 2023-12-12 | Streem, Llc | Visualization of camera location in a real-time synchronized 3D mesh |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009141570A (ja) | 2007-12-05 | 2009-06-25 | Sony Corp | クロック信号生成回路、表示パネルモジュール、撮像デバイス及び電子機器 |
WO2015098807A1 (ja) | 2013-12-24 | 2015-07-02 | チームラボ株式会社 | 被写体と3次元仮想空間をリアルタイムに合成する撮影システム |
WO2018084087A1 (ja) | 2016-11-01 | 2018-05-11 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示システム、画像表示装置、その制御方法、及びプログラム |
WO2019097639A1 (ja) | 2017-11-16 | 2019-05-23 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
WO2021149484A1 (ja) | 2020-01-20 | 2021-07-29 | ソニーグループ株式会社 | 画像生成装置、画像生成方法、および、プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6853013B2 (ja) | 2016-10-26 | 2021-03-31 | グリー株式会社 | 情報処理システム、情報処理方法、および情報処理プログラム |
JP7051457B2 (ja) * | 2018-01-17 | 2022-04-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2021
- 2021-08-30 JP JP2021139991A patent/JP7500512B2/ja active Active
-
2022
- 2022-07-29 BR BR102022015085-0A patent/BR102022015085A2/pt unknown
- 2022-08-05 KR KR1020220097628A patent/KR20230032893A/ko unknown
- 2022-08-12 EP EP22190212.5A patent/EP4140552A1/en active Pending
- 2022-08-12 US US17/886,626 patent/US20230062973A1/en active Pending
- 2022-08-29 CN CN202211042898.XA patent/CN115733936A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009141570A (ja) | 2007-12-05 | 2009-06-25 | Sony Corp | クロック信号生成回路、表示パネルモジュール、撮像デバイス及び電子機器 |
WO2015098807A1 (ja) | 2013-12-24 | 2015-07-02 | チームラボ株式会社 | 被写体と3次元仮想空間をリアルタイムに合成する撮影システム |
WO2018084087A1 (ja) | 2016-11-01 | 2018-05-11 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示システム、画像表示装置、その制御方法、及びプログラム |
WO2019097639A1 (ja) | 2017-11-16 | 2019-05-23 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
WO2021149484A1 (ja) | 2020-01-20 | 2021-07-29 | ソニーグループ株式会社 | 画像生成装置、画像生成方法、および、プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN115733936A (zh) | 2023-03-03 |
JP2023033975A (ja) | 2023-03-13 |
KR20230032893A (ko) | 2023-03-07 |
US20230062973A1 (en) | 2023-03-02 |
EP4140552A1 (en) | 2023-03-01 |
BR102022015085A2 (pt) | 2023-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7007348B2 (ja) | 画像処理装置 | |
JP4115117B2 (ja) | 情報処理装置および方法 | |
JP7500512B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4847203B2 (ja) | 情報処理方法、情報処理装置 | |
WO2018170470A1 (en) | Mixed reality system with virtual content warping and method of generating virtual content using same | |
JP7197451B2 (ja) | 画像処理装置、方法及びプログラム | |
US11158073B2 (en) | System for image compositing including training with custom synthetic data | |
JP6403862B1 (ja) | 3次元モデルの生成装置、生成方法及びプログラム | |
JP2023546739A (ja) | シーンの3次元モデルを生成するための方法、装置、およびシステム | |
JP7403967B2 (ja) | 情報処理装置、映像生成装置、画像処理システム、それらの制御方法及びプログラム | |
US11941729B2 (en) | Image processing apparatus, method for controlling image processing apparatus, and storage medium | |
CN113763544A (zh) | 图像确定方法、装置、电子设备和计算机可读存储介质 | |
CA3155612A1 (en) | Method and system for providing at least a portion of content having six degrees of freedom motion | |
JP2002083286A (ja) | アバタ生成方法、装置及びそのプログラムを記録した記録媒体 | |
CN113763545A (zh) | 图像确定方法、装置、电子设备和计算机可读存储介质 | |
JP2022184354A (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2023166794A1 (ja) | 情報処理装置、情報処理方法、画像生成装置、画像生成方法及びプログラム | |
US11682175B2 (en) | Previsualization devices and systems for the film industry | |
WO2024014197A1 (ja) | 映像処理装置、映像処理方法およびプログラム | |
JP2023021735A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2023153534A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2002312810A (ja) | 合成動画像生成装置および合成動画像生成方法 | |
JP2022093262A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
JP2022094788A (ja) | 生成装置、生成方法、及び、プログラム | |
JP2023026244A (ja) | 画像生成装置および画像生成方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240605 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7500512 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |