JP2019179390A - 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル - Google Patents
注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル Download PDFInfo
- Publication number
- JP2019179390A JP2019179390A JP2018068120A JP2018068120A JP2019179390A JP 2019179390 A JP2019179390 A JP 2019179390A JP 2018068120 A JP2018068120 A JP 2018068120A JP 2018068120 A JP2018068120 A JP 2018068120A JP 2019179390 A JP2019179390 A JP 2019179390A
- Authority
- JP
- Japan
- Prior art keywords
- image
- estimation
- gazing point
- gaze
- point estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
図1は、第1の実施形態に係る注視点推定処理システムの一例を示すブロック図である。図1に示された注視点推定処理システム1は、学習用画像表示装置11と、注視点検出装置12と、属性データ提供装置13と、注視点推定モデル生成装置14と、推定用データ提供装置15と、注視点推定処理装置16と、出力先装置17と、を備える。注視点推定モデル生成装置14は、学習用画像データ記憶部141と、検出注視点画像データ記憶部142と、属性データ記憶部143と、学習用画像解析部(オプティカルフロー算出部)144と、注視点推定モデル生成部(学習部)145と、を備える。注視点推定処理装置16は、注視点推定モデル記憶部161と、推定用画像解析部(オプティカルフロー算出部)162と、注視点推定部163と、を備える。
図6は、第2の実施形態に係る注視点推定処理システムの一例を示すブロック図である。図6に示された注視点推定処理システム1では、注視点推定処理装置16が、画像加工部164をさらに備える。なお、第1の実施形態と同様な点は、説明を省略する。
図8は、第3の実施形態に係る注視点推定処理システムの一例を示すブロック図である。図8に示された注視点推定処理システム1では、注視点推定処理装置16が、画像評価部165をさらに備える。なお、第1の実施形態と同様な点は、説明を省略する。
図10は、第4の実施形態に係る注視点推定処理システムの一例を示すブロック図である。図10に示された注視点推定処理システム1では、音データ提供装置18をさらに備える。また、注視点推定処理装置16が、注視物導出部166と、返答生成部167と、をさらに備える。なお、第1の実施形態と同様な点は、説明を省略する。
Claims (15)
- 学習用画像と前記学習用画像に対する第1注視点に関する情報とに基づく学習により生成された注視点推定モデルを記憶する記憶部と、
前記注視点推定モデルを用いて、推定用画像から、前記推定用画像に対する第2注視点に関する情報を推定する注視点推定部と、
を備える注視点推定処理装置。 - 前記注視点推定モデルは、入力画像から、前記入力画像内のピクセルが注視点である可能性を示す画像を生成するニューラルネットワークであり、
前記注視点推定部は、前記推定用画像内のピクセルが前記第2注視点である可能性を示す推定注視点画像を生成する
請求項1に記載の注視点推定処理装置。 - 時系列の前記推定用画像から、前記推定用画像上での速度ベクトルの分布状態を示すオプティカルフローを算出する算出部
をさらに備え、
前記注視点推定モデルの学習には、前記学習用画像上での速度ベクトルの分布状態を示すオプティカルフローが入力情報の一つとして用いられており、
前記注視点推定部は、前記推定用画像のオプティカルフローをさらに用いて、前記第2注視点を推定する
請求項1または2に記載の注視点推定処理装置。 - 前記記憶部が複数の前記注視点推定モデルを記憶し、
前記複数の注視点推定モデルは、前記学習用画像の第1視聴者の属性ごとに分類されて記憶されており、
前記注視点推定部が、前記推定用画像の第2視聴者と同一の属性を有する第1視聴者に係る注視点推定モデルを抽出し、抽出された注視点推定モデルを用いる
請求項1ないし3のいずれか一項に記載の注視点推定処理装置。 - 前記注視点推定モデルの学習には、前記学習用画像の第1視聴者の属性が入力情報の一つとして用いられており、
前記注視点推定部は、前記推定用画像の第2視聴者の属性をさらに用いて、前記第2注視点を推定する
請求項1ないし3のいずれか一項に記載の注視点推定処理装置。 - 前記第2注視点に基づき、前記推定用画像を加工する画像加工部
をさらに備える請求項1ないし5いずれか一項に記載の注視点推定処理装置。 - 前記第2注視点に基づき、前記推定用画像を評価する評価部
をさらに備える
請求項1ないし6いずれか一項に記載の注視点推定処理装置。 - 前記前記推定用画像と前記第2注視点とに基づき、前記推定用画像の第2視聴者の注視物を導出する注視物導出部と、
をさらに備える請求項1ないし7のいずれか一項に記載の注視点推定処理装置。 - 前記第2視聴者に関する入力データに前記注視物に関する情報が含まれている場合に、前記注視物に関する返答を生成する返答生成部と、
をさらに備える請求項8に記載の注視点推定処理装置。 - 少なくとも、前記学習用画像と、前記第1注視点に関する情報と、に基づく学習を行うことにより、請求項1ないし9のいずれか一項に記載の注視点推定モデルを生成する注視点推定モデル生成部
を備えた注視点推定モデル生成装置。 - 画像を撮影する撮影装置と、
前記撮影装置により撮影された画像を前記推定用画像として受け取る請求項1ないし9のいずれか一項に記載の注視点推定処理装置と、
を備え、
前記注視点推定処理装置が、前記第2注視点の位置に関するデータを前記撮影装置に送信し、
前記撮影装置が、前記第2注視点の位置上または周辺にある物体を撮影するために設定を変更する
注視点推定処理システム。 - 移動体に搭載された撮影装置により撮影された画像を前記推定用画像として受け取る請求項1ないし9のいずれか一項に記載の注視点推定処理装置と、
前記注視点推定処理装置により推定された第2注視点に基づき、前記移動体を移動させるように制御する制御装置と、
を備える注視点推定処理システム。 - 学習用画像と前記学習用画像に対する第1注視点に関する情報とに基づく学習により生成された注視点推定モデルを取得するステップと、
前記注視点推定モデルを用いて、推定用画像から、前記推定用画像に対する第2注視点に関する情報を推定するステップと、
を備える注視点推定処理方法。 - 学習用画像と前記学習用画像に対する第1注視点に関する情報とに基づく学習により生成された注視点推定モデルを取得するステップと、
前記注視点推定モデルを用いて、推定用画像から、前記推定用画像に対する第2注視点に関する情報を推定するステップと、
をコンピュータに実行させるためのプログラム。 - ニューラルネットワークに基づく学習済みの注視点推定モデルであって、
推定用画像が前記注視点推定モデルの入力層に入力されると、前記注視点推定モデルの各中間層において学習済みのパラメータに基づく演算を行い、前記注視点推定モデルの出力層から、前記推定用画像内のピクセルが第2注視点である可能性を示す推定注視点画像を出力するように、コンピュータを機能させる
注視点推定モデル。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018068120A JP7118697B2 (ja) | 2018-03-30 | 2018-03-30 | 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル |
US16/370,528 US11341680B2 (en) | 2018-03-30 | 2019-03-29 | Gaze point estimation processing apparatus, gaze point estimation model generation apparatus, gaze point estimation processing system, and gaze point estimation processing method |
US17/732,056 US11748904B2 (en) | 2018-03-30 | 2022-04-28 | Gaze point estimation processing apparatus, gaze point estimation model generation apparatus, gaze point estimation processing system, and gaze point estimation processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018068120A JP7118697B2 (ja) | 2018-03-30 | 2018-03-30 | 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019179390A true JP2019179390A (ja) | 2019-10-17 |
JP2019179390A5 JP2019179390A5 (ja) | 2021-09-09 |
JP7118697B2 JP7118697B2 (ja) | 2022-08-16 |
Family
ID=68056486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018068120A Active JP7118697B2 (ja) | 2018-03-30 | 2018-03-30 | 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル |
Country Status (2)
Country | Link |
---|---|
US (2) | US11341680B2 (ja) |
JP (1) | JP7118697B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022019689A (ja) * | 2020-07-17 | 2022-01-27 | タタ・コンサルタンシー・サーヴィシズ・リミテッド | 時系列データに対する普遍的敵対的攻撃から防御するための方法およびシステム |
WO2022181156A1 (ja) * | 2021-02-26 | 2022-09-01 | ソニーグループ株式会社 | 投射システム |
JP2022547479A (ja) * | 2019-10-22 | 2022-11-14 | 上▲海▼商▲湯▼智能科技有限公司 | 車載デジタル人に基づくインタラクション |
JP7481205B2 (ja) | 2020-08-26 | 2024-05-10 | 川崎重工業株式会社 | ロボットシステム、ロボットの制御方法、情報処理装置、コンピュータプログラム、学習装置、及び学習済みモデルの生成方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7118697B2 (ja) * | 2018-03-30 | 2022-08-16 | 株式会社Preferred Networks | 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル |
EP3660733B1 (en) * | 2018-11-30 | 2023-06-28 | Tata Consultancy Services Limited | Method and system for information extraction from document images using conversational interface and database querying |
GB2599900B (en) * | 2020-10-09 | 2023-01-11 | Sony Interactive Entertainment Inc | Data processing system and method for image enhancement |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9025880B2 (en) * | 2012-08-29 | 2015-05-05 | Disney Enterprises, Inc. | Visual saliency estimation for images and video |
WO2017155663A1 (en) * | 2016-03-11 | 2017-09-14 | Qualcomm Incorporated | Recurrent networks with motion-based attention for video understanding |
JP2018022360A (ja) * | 2016-08-04 | 2018-02-08 | 株式会社リコー | 画像解析装置、画像解析方法およびプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7515173B2 (en) * | 2002-05-23 | 2009-04-07 | Microsoft Corporation | Head pose tracking system |
US7306337B2 (en) * | 2003-03-06 | 2007-12-11 | Rensselaer Polytechnic Institute | Calibration-free gaze tracking under natural head movement |
US8885882B1 (en) * | 2011-07-14 | 2014-11-11 | The Research Foundation For The State University Of New York | Real time eye tracking for human computer interaction |
EP2962251A1 (en) * | 2013-02-27 | 2016-01-06 | Thomson Licensing | Method and device for calibration-free gaze estimation |
JP6187155B2 (ja) | 2013-10-28 | 2017-08-30 | 株式会社デンソーアイティーラボラトリ | 注視対象物推定装置 |
EP3065040A4 (en) | 2013-11-01 | 2017-06-21 | Sony Corporation | Information processing device, information processing method, and program |
US9684827B2 (en) * | 2014-03-26 | 2017-06-20 | Microsoft Technology Licensing, Llc | Eye gaze tracking based upon adaptive homography mapping |
WO2016018487A2 (en) | 2014-05-09 | 2016-02-04 | Eyefluene, Inc. | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
CN104951084B (zh) * | 2015-07-30 | 2017-12-29 | 京东方科技集团股份有限公司 | 视线追踪方法及装置 |
JP6713434B2 (ja) | 2016-05-30 | 2020-06-24 | 日本電信電話株式会社 | 注目範囲推定装置、学習装置、それらの方法およびプログラム |
US9898082B1 (en) * | 2016-11-01 | 2018-02-20 | Massachusetts Institute Of Technology | Methods and apparatus for eye tracking |
US10325396B2 (en) * | 2017-02-14 | 2019-06-18 | Linden Research, Inc. | Virtual reality presentation of eye movement and eye contact |
JP7118697B2 (ja) * | 2018-03-30 | 2022-08-16 | 株式会社Preferred Networks | 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル |
US20190324528A1 (en) * | 2018-04-20 | 2019-10-24 | Microsoft Technology Licensing, Llc | Adjusting gaze point based on determined offset adjustment |
-
2018
- 2018-03-30 JP JP2018068120A patent/JP7118697B2/ja active Active
-
2019
- 2019-03-29 US US16/370,528 patent/US11341680B2/en active Active
-
2022
- 2022-04-28 US US17/732,056 patent/US11748904B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9025880B2 (en) * | 2012-08-29 | 2015-05-05 | Disney Enterprises, Inc. | Visual saliency estimation for images and video |
WO2017155663A1 (en) * | 2016-03-11 | 2017-09-14 | Qualcomm Incorporated | Recurrent networks with motion-based attention for video understanding |
JP2018022360A (ja) * | 2016-08-04 | 2018-02-08 | 株式会社リコー | 画像解析装置、画像解析方法およびプログラム |
Non-Patent Citations (2)
Title |
---|
TILKE JUDD ET AL.: "Learning to predict where humans look", 2009 IEEE 12TH INTERNATIONAL CONFERENCE ON COMPUTER VISION, JPN6022006544, 29 September 2009 (2009-09-29), pages 2106 - 2113, XP031672792, ISSN: 0004708718 * |
渡辺 隆: "シグモイド型パルスジェネレータを取り入れたPulse−Coupled Neural Networkに", 計測自動制御学会論文集 第38巻 第8号, JPN6022006545, 31 August 2002 (2002-08-31), JP, pages 726 - 732, ISSN: 0004708719 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022547479A (ja) * | 2019-10-22 | 2022-11-14 | 上▲海▼商▲湯▼智能科技有限公司 | 車載デジタル人に基づくインタラクション |
JP2022019689A (ja) * | 2020-07-17 | 2022-01-27 | タタ・コンサルタンシー・サーヴィシズ・リミテッド | 時系列データに対する普遍的敵対的攻撃から防御するための方法およびシステム |
JP7229308B2 (ja) | 2020-07-17 | 2023-02-27 | タタ・コンサルタンシー・サーヴィシズ・リミテッド | 時系列データに対する普遍的敵対的攻撃から防御するための方法およびシステム |
JP7481205B2 (ja) | 2020-08-26 | 2024-05-10 | 川崎重工業株式会社 | ロボットシステム、ロボットの制御方法、情報処理装置、コンピュータプログラム、学習装置、及び学習済みモデルの生成方法 |
WO2022181156A1 (ja) * | 2021-02-26 | 2022-09-01 | ソニーグループ株式会社 | 投射システム |
Also Published As
Publication number | Publication date |
---|---|
US20220254063A1 (en) | 2022-08-11 |
US11341680B2 (en) | 2022-05-24 |
US11748904B2 (en) | 2023-09-05 |
US20190304136A1 (en) | 2019-10-03 |
JP7118697B2 (ja) | 2022-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7118697B2 (ja) | 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル | |
US10573313B2 (en) | Audio analysis learning with video data | |
KR102425578B1 (ko) | 객체를 인식하는 방법 및 장치 | |
US11206450B2 (en) | System, apparatus and method for providing services based on preferences | |
EP3452935B1 (en) | Mobile and wearable video capture and feedback plat-forms for therapy of mental disorders | |
CN110263213B (zh) | 视频推送方法、装置、计算机设备及存储介质 | |
US20170098122A1 (en) | Analysis of image content with associated manipulation of expression presentation | |
CN112805743A (zh) | 用于基于知识图谱来提供内容的***和方法 | |
US11700420B2 (en) | Media manipulation using cognitive state metric analysis | |
KR102448382B1 (ko) | 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법 | |
KR102092931B1 (ko) | 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 | |
CN113015984A (zh) | 卷积神经网络中的错误校正 | |
US10872438B2 (en) | Artificial intelligence device capable of being controlled according to user's gaze and method of operating the same | |
US11327320B2 (en) | Electronic device and method of controlling the same | |
US20210084372A1 (en) | Video playback device and control method thereof | |
KR20190118965A (ko) | 시선 추적 시스템 및 방법 | |
US20200114925A1 (en) | Interaction device, interaction method, and program | |
KR20120120858A (ko) | 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기 | |
JP2015002477A (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
US20230334907A1 (en) | Emotion Detection | |
US20210165974A1 (en) | Artificial intelligence apparatus for learning natural language understanding models | |
KR20210051349A (ko) | 전자장치 및 그 제어방법 | |
US11322134B2 (en) | Artificial intelligence device and operating method thereof | |
US20200234187A1 (en) | Information processing apparatus, information processing method, and program | |
KR102675910B1 (ko) | 자율 주행 기반의 안내 로봇 시스템 및 그 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210127 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210726 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220715 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220803 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7118697 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |