JP6702196B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents
情報処理装置、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP6702196B2 JP6702196B2 JP2016562332A JP2016562332A JP6702196B2 JP 6702196 B2 JP6702196 B2 JP 6702196B2 JP 2016562332 A JP2016562332 A JP 2016562332A JP 2016562332 A JP2016562332 A JP 2016562332A JP 6702196 B2 JP6702196 B2 JP 6702196B2
- Authority
- JP
- Japan
- Prior art keywords
- space
- landmark
- image data
- image
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 62
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000000007 visual effect Effects 0.000 claims description 85
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 235000002673 Dioscorea communis Nutrition 0.000 description 2
- 241000544230 Dioscorea communis Species 0.000 description 2
- 208000035753 Periorbital contusion Diseases 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Description
1.空間視聴率の推定
2.画像の収集および自由視点画像の生成
3.システム構成例
4.処理フローの例
5.ハードウェア構成
6.補足
本開示の一実施形態では、空間内に存在する複数の視点からの視対象位置(visual target position)の密度に基づいて空間視聴率(spatial rating)が推定される。空間視聴率は、空間内のそれぞれの位置がどの程度の注目を集めているかを示す。例えば競技場のような空間を想定する場合、複数の視点は、例えば競技場にいる観客の視点を含みうる。また、複数の視点は、例えば競技場に設置されたカメラの視点を含んでもよい。これらの視点からの視対象位置は、例えば視線上の位置である。観客やカメラからの視線が集中している位置、つまり空間視聴率が高い位置は、競技場の中で特に注目されていると推定される。本実施形態では、このような空間視聴率に基づいて、自由視点画像を提供するための3次元点群(ポイントクラウド)データを生成する。なお、本明細書において、画像は動画像(映像)および静止画像を含む。
図4は、本開示の一実施形態における画像の収集の例について概念的に説明するための図である。図4に示されるように、本実施形態では、空間SP(図示された例では競技場)内に配置された視点210のそれぞれにおいて撮影された画像のうち、空間視聴率に基づいて選定された位置220を含む画像が、自由視点画像の生成のために収集される。視点210は、例えばウェアラブルカメラを装用したり、モバイルカメラ(通常のデジタルカメラまたはスマートフォンなどに搭載されるカメラなど)で撮影を実行したりしている観客(プロフェッショナルのカメラマンであってもよい)の位置でありうる。また、視点210は、中継などのために固定設置されたカメラの位置を含んでもよい。
図8は、本開示の一実施形態に係るシステムの構成例を示す図である。図8を参照すると、システム10は、カメラ300と、視聴者端末400と、サーバ500と、ユーザ端末600とを含む。なお、本明細書において、視聴者は空間内に存在する視点を有する主体を意味し、ユーザは視聴者の視対象位置の密度に応じて推定された空間視聴率に基づいて提供される自由視点画像を閲覧する主体を意味する。以下、それぞれの
図9は、本開示の一実施形態における処理の例を示すフローチャートである。図9では、上記で図8を参照して説明したシステム10において実行される処理の例が示されている。
次に、図10を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図10は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置900は、例えば、上記の実施形態における視聴者端末、サーバ装置、および/またはユーザ端末を実現しうる。
本開示の実施形態は、例えば、上記で説明したような情報処理装置、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
(1)空間内に存在する複数の視点からの視対象位置を示す情報を収集する機能と、
前記視対象位置の密度に応じて前記空間内の位置を評価する機能と
を実現するプロセッサを備える情報処理装置。
(2)前記プロセッサは、
前記空間内を撮影することによって得られる画像データを取得する機能と、
前記空間内の位置を評価した結果に基づいて、前記画像データの編集を実行する機能と
をさらに実現する、前記(1)に記載の情報処理装置。
(3)前記画像データの編集は、自由視点画像を提供するためのデータの生成を含む、前記(2)に記載の情報処理装置。
(4)前記画像データの編集は、前記視対象位置の密度に応じて選択的に前記自由視点画像を提供するためのデータを生成することを含む、前記(3)に記載の情報処理装置。
(5)前記画像データの編集は、前記視対象位置の密度に応じて記録される前記画像データの品質を変化させることを含む、前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)前記画像データの編集は、前記視対象位置の密度に応じて記録される前記画像データを選別することを含む、前記(2)〜(5)のいずれか1項に記載の情報処理装置。
(7)前記視対象位置は、前記画像データに基づいて推定される、前記(2)〜(6)のいずれか1項に記載の情報処理装置。
(8)前記プロセッサは、
前記空間内を撮影することによって得られる画像データを取得する機能と、
前記空間内の位置を評価した結果に基づいて、前記画像データの取得の制御を実行する機能と
をさらに実現する、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)前記画像データの取得の制御は、前記撮影の対象になる位置の制御を含む、前記(8)に記載の情報処理装置。
(10)前記画像データの取得の制御は、前記撮影の対象になる範囲の制御を含む、前記(8)または(9)に記載の情報処理装置。
(11)前記視対象位置は、前記空間内を前記複数の視点から撮影することによって得られる画像データに基づいて推定される、前記(1)に記載の情報処理装置。
(12)前記プロセッサは、
前記視対象位置を示す情報に基づいて前記視対象位置を推定する機能
をさらに実現する、前記(11)に記載の情報処理装置。
(13)前記視対象位置を示す情報は、前記画像データを含む、前記(12)に記載の情報処理装置。
(14)前記視対象位置を示す情報は、前記画像データに基づいて推定された前記複数の視点の位置を示す情報を含む、前記(12)に記載の情報処理装置。
(15)前記視対象位置を示す情報は、前記複数の視点からの視線を示す情報をさらに含む、前記(14)に記載の情報処理装置。
(16)前記視対象位置の密度は、前記空間内に設定されるグリッドごとに評価される、前記(1)〜(15)のいずれか1項に記載の情報処理装置。
(17)前記視対象位置の密度は、互いに近接する前記視対象位置を含むクラスタごとに評価される、前記(1)〜(15)のいずれか1項に記載の情報処理装置。
(18)空間内に存在する複数の視点からの視対象位置を示す情報を収集することと、
プロセッサが、前記視対象位置の密度に応じて前記空間内の位置を評価することと
を含む情報処理方法。
(19)空間内に存在する複数の視点からの視対象位置を示す情報を収集する機能と、
前記視対象位置の密度に応じて前記空間内の位置を評価する機能と
をプロセッサに実現させるためのプログラム。
300 カメラ
400 視聴者端末
500 サーバ
510 視対象位置データ
520 空間視聴率推定部
530 画像データ
540 ポイントクラウド生成部
600 ユーザ端末
610 自由視点画像生成部
Claims (11)
- ランドマークが設置された空間内に存在する複数の視点の位置を示す情報を、前記ランドマークに基づいて収集する機能と、
前記ランドマークが設置された空間内に存在する複数の視点からの視対象位置を示す情報を、前記複数の視点の位置に基づいて収集する機能と、
前記視対象位置の密度に応じて前記ランドマークが設置された空間内の位置を評価する機能と、
前記ランドマークが設置された空間内を撮影することによって得られる画像データを取得する機能と、
前記ランドマークが設置された空間内の位置を評価した結果に基づいて、前記画像データの取得の制御を実行する機能と、
前記ランドマークが設置された空間内の位置を評価した結果に基づいて、前記画像データの編集を実行する機能と
を実現するプロセッサを備え、
前記画像データの編集は、前記ランドマークが設置された空間内の自由視点画像を提供するためのデータの生成を含む、
情報処理装置。 - 前記画像データの編集は、前記視対象位置の密度に応じて選択的に前記自由視点画像を提供するためのデータを生成することを含む、請求項1に記載の情報処理装置。
- 前記画像データの編集は、前記視対象位置の密度に応じて記録される前記画像データの品質を変化させることを含む、請求項1または2に記載の情報処理装置。
- 前記画像データの編集は、前記視対象位置の密度に応じて記録される前記画像データを選別することを含む、請求項1から3のいずれか1項に記載の情報処理装置。
- 前記視対象位置は、前記画像データに基づいて推定される、請求項1から4のいずれか1項に記載の情報処理装置。
- 前記画像データの取得の制御は、前記撮影の対象になる位置の制御を含む、請求項1〜5のいずれか1項に記載の情報処理装置。
- 前記画像データの取得の制御は、前記撮影の対象になる範囲の制御を含む、請求項1〜5のいずれか1項に記載の情報処理装置。
- 前記視対象位置の密度は、前記ランドマークが設置された空間内に設定されるグリッドごとに評価される、請求項1から7のいずれか1項に記載の情報処理装置。
- 前記視対象位置の密度は、互いに近接する前記視対象位置を含むクラスタごとに評価される、請求項1から7のいずれか1項に記載の情報処理装置。
- ランドマークが設置された空間内に存在する複数の視点の位置を示す情報を、前記ランドマークに基づいて収集することと、
前記ランドマークが設置された空間内に存在する複数の視点からの視対象位置を示す情報を、前記複数の視点の位置に基づいて収集することと、
プロセッサが、前記視対象位置の密度に応じて前記ランドマークが設置された空間内の位置を評価することと、
前記ランドマークが設置された空間内を撮影することによって得られる画像データを取得することと、
前記ランドマークが設置された空間内の位置を評価した結果に基づいて、前記画像データの取得の制御を実行することと、
前記ランドマークが設置された空間内の位置を評価した結果に基づいて、前記画像データの編集を実行することと
を含み、
前記画像データの編集は、前記ランドマークが設置された空間内の自由視点画像を提供するためのデータの生成を含む、
情報処理方法。 - ランドマークが設置された空間内に存在する複数の視点の位置を示す情報を、前記ランドマークに基づいて収集する機能と、
前記ランドマークが設置された空間内に存在する複数の視点からの視対象位置を示す情報を、前記複数の視点の位置に基づいて収集する機能と、
前記視対象位置の密度に応じて前記ランドマークが設置された空間内の位置を評価する機能と、
前記ランドマークが設置された空間内を撮影することによって得られる画像データを取得する機能と、
前記ランドマークが設置された空間内の位置を評価した結果に基づいて、前記画像データの取得の制御を実行する機能と、
前記ランドマークが設置された空間内の位置を評価した結果に基づいて、前記画像データの編集を実行する機能と
をプロセッサに実現させ、
前記画像データの編集は、前記ランドマークが設置された空間内の自由視点画像を提供するためのデータの生成を含む、
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014245901 | 2014-12-04 | ||
JP2014245901 | 2014-12-04 | ||
PCT/JP2015/077216 WO2016088437A1 (ja) | 2014-12-04 | 2015-09-25 | 情報処理装置、情報処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016088437A1 JPWO2016088437A1 (ja) | 2017-09-14 |
JP6702196B2 true JP6702196B2 (ja) | 2020-05-27 |
Family
ID=56091394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016562332A Expired - Fee Related JP6702196B2 (ja) | 2014-12-04 | 2015-09-25 | 情報処理装置、情報処理方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10190869B2 (ja) |
EP (1) | EP3229459B1 (ja) |
JP (1) | JP6702196B2 (ja) |
WO (1) | WO2016088437A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106454069B (zh) * | 2016-08-31 | 2019-11-08 | 歌尔股份有限公司 | 一种控制无人机拍摄的方法、装置和可穿戴设备 |
JP6434947B2 (ja) * | 2016-09-30 | 2018-12-05 | キヤノン株式会社 | 撮像システム、画像処理装置、画像処理方法、及びプログラム |
KR102458807B1 (ko) | 2016-11-04 | 2022-10-25 | 딥마인드 테크놀로지스 리미티드 | 신경망을 이용한 장면 이해 및 생성 |
WO2018088037A1 (ja) * | 2016-11-14 | 2018-05-17 | ソニー株式会社 | 可動型撮像装置の制御装置、可動型撮像装置の制御方法及びプログラム |
US20180232574A1 (en) * | 2017-02-14 | 2018-08-16 | The Board Of Trustees Of The Leland Junior University | Systems and Methods for Transmitting and Receiving Data Using Machine Learning Classification |
JP7104504B2 (ja) * | 2017-10-18 | 2022-07-21 | キヤノン株式会社 | 画像処理システム、画像処理装置、画像伝送方法、及び、プログラム |
JP6433559B1 (ja) | 2017-09-19 | 2018-12-05 | キヤノン株式会社 | 提供装置および提供方法、プログラム |
US11575825B2 (en) * | 2017-10-17 | 2023-02-07 | Nikon Corporation | Control apparatus, control system, and control program |
WO2019092790A1 (ja) * | 2017-11-07 | 2019-05-16 | ヤマハ株式会社 | 撮像システム、制御装置、撮像装置、撮像装置の制御方法およびプログラム |
JP6415675B1 (ja) * | 2017-12-04 | 2018-10-31 | キヤノン株式会社 | 生成装置、生成方法及びプログラム |
JP6921031B2 (ja) * | 2018-04-27 | 2021-08-18 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 制御装置及び撮影方法 |
JP7193938B2 (ja) * | 2018-07-04 | 2022-12-21 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム |
JP2020136776A (ja) * | 2019-02-14 | 2020-08-31 | キヤノン株式会社 | 画像生成システムおよび画像生成方法、制御装置および制御方法 |
JP7504634B2 (ja) | 2019-06-21 | 2024-06-24 | キヤノン株式会社 | 画像提供システム、その制御方法、プログラムおよび記憶媒体 |
JP7305461B2 (ja) * | 2019-06-28 | 2023-07-10 | キヤノン株式会社 | 画像提供システム、画像提供装置、その制御方法、及びプログラム |
WO2020256120A1 (ja) * | 2019-06-21 | 2020-12-24 | キヤノン株式会社 | 画像提供システム及びその制御方法 |
EP4083991A4 (en) | 2019-12-23 | 2023-06-28 | Sony Group Corporation | Image generation device, image generation method, and image generation program |
CN116171573A (zh) * | 2020-07-21 | 2023-05-26 | 索尼集团公司 | 信息处理设备、信息处理方法和程序 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003179800A (ja) | 2001-12-13 | 2003-06-27 | Sony Corp | 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム |
JP2005100367A (ja) * | 2003-09-02 | 2005-04-14 | Fuji Photo Film Co Ltd | 画像生成装置、画像生成方法、及び画像生成プログラム |
JP2005109757A (ja) * | 2003-09-29 | 2005-04-21 | Fuji Photo Film Co Ltd | 画像撮像装置、画像処理装置、画像撮像方法、及びプログラム |
JP2007235399A (ja) | 2006-02-28 | 2007-09-13 | Matsushita Electric Ind Co Ltd | 自動撮影装置 |
JP5200821B2 (ja) * | 2008-09-25 | 2013-06-05 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
-
2015
- 2015-09-25 WO PCT/JP2015/077216 patent/WO2016088437A1/ja active Application Filing
- 2015-09-25 JP JP2016562332A patent/JP6702196B2/ja not_active Expired - Fee Related
- 2015-09-25 EP EP15865510.0A patent/EP3229459B1/en active Active
- 2015-09-25 US US15/520,073 patent/US10190869B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3229459B1 (en) | 2022-08-24 |
US20170322017A1 (en) | 2017-11-09 |
US10190869B2 (en) | 2019-01-29 |
JPWO2016088437A1 (ja) | 2017-09-14 |
EP3229459A4 (en) | 2018-08-15 |
WO2016088437A1 (ja) | 2016-06-09 |
EP3229459A1 (en) | 2017-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6702196B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US10679676B2 (en) | Automatic generation of video and directional audio from spherical content | |
US10721439B1 (en) | Systems and methods for directing content generation using a first-person point-of-view device | |
US9729788B2 (en) | Image generation apparatus and image generation method | |
RU2683262C2 (ru) | Устройство обработки информации, способ обработки информации и программа | |
EP2779620B1 (en) | Image generation device, and image generation method | |
US9894272B2 (en) | Image generation apparatus and image generation method | |
US10284776B2 (en) | Image generation apparatus and image generation method | |
JP6897728B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
EP2998935B1 (en) | Image processing device, image processing method, and program | |
JPWO2014103731A1 (ja) | 画像処理装置および方法、並びにプログラム | |
JP6359704B2 (ja) | イベントに関連付けられる情報を人に供給するための方法 | |
CN112839165B (zh) | 人脸跟踪摄像的实现方法、装置、计算机设备和存储介质 | |
US11195295B2 (en) | Control system, method of performing analysis and storage medium | |
JP2016194783A (ja) | 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム | |
JP2010130403A (ja) | 映像制御装置およびそれを備えた撮像装置、表示装置 | |
KR20150114589A (ko) | 피사체 재구성을 위한 장치 및 방법 | |
Matsumoto et al. | Image processing device and method to obtain a 360 image without remapping | |
JP2015056727A (ja) | 装置、方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180813 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180813 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200420 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6702196 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |