JP7113364B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP7113364B2 JP7113364B2 JP2020521615A JP2020521615A JP7113364B2 JP 7113364 B2 JP7113364 B2 JP 7113364B2 JP 2020521615 A JP2020521615 A JP 2020521615A JP 2020521615 A JP2020521615 A JP 2020521615A JP 7113364 B2 JP7113364 B2 JP 7113364B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- detection
- animal
- display
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/18—Signals indicating condition of a camera member or suitability of light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Automatic Focus Adjustment (AREA)
Description
実施の形態1では、本開示に係る撮像装置の一例として、画像認識技術に基づき人と動物を検出する機能を有するデジタルカメラについて説明する。このような検出機能においては、人を動物と間違う誤検出が生じたときに、ユーザに不快感を与える事態が懸念される。そこで、本実施形態では、上記の検出機能における誤検出が、ユーザの不快感を生じる可能性を低減できるデジタルカメラを提供する。
実施の形態1に係るデジタルカメラの構成について、図1を用いて説明する。
本実施形態における画像認識部122の詳細を、図2を用いて説明する。
以上のように構成されるデジタルカメラ100の動作について、以下説明する。
本実施形態のデジタルカメラ100は、以上のような人の検出及び動物の検出を行う人/動物検出モードと、動物の検出を行わずに人の検出を行う人検出モードとに設定可能である一方、人の検出を行なわずに動物の検出を行うような動作モード(以下「動物検出モード」という)には、設定不可能に構成される。本実施形態のデジタルカメラ100におけるモード設定について、図4,5を用いて説明する。
本実施形態の人検出モードの動作について、図6~7を用いて説明する。
本実施形態の人/動物検出モードの動作について、図8~11を用いて説明する。
以上のように、本実施形態において、撮像装置の一例であるデジタルカメラ100は、イメージセンサ115(撮像部)と、表示モニタ130(表示部)と、画像認識部122(第1及び第2の検出部)と、コントローラ135(制御部)とを備える。イメージセンサ115は、被写体を撮像して撮像画像Imを生成する。表示モニタ130は、撮像画像Imを表示する。画像認識部122は第1検出器122aとして、被写体が人の場合、人の少なくとも一部を検出する。画像認識部122は第2検出器122bとして、被写体が動物の場合、動物の少なくとも一部を検出する。コントローラ135は、表示モニタ130を制御して、撮像画像Im上に、人に応じた人検出枠30(第1検出枠)、及び動物に応じた動物検出枠40(第2検出枠)を表示させる。コントローラ135は、人検出枠30と動物検出枠40とが、被写体のうちの主要被写体に応じたAF対象の検出枠50(第3検出枠)ではない場合に共通の表示態様において表示されるように、表示モニタ130を制御する。
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
Claims (10)
- 被写体を撮像して撮像画像を生成する撮像部と、
前記撮像画像を表示する表示部と、
画像認識処理によって前記被写体が人の少なくとも一部であることを検出する第1の検出部と、
画像認識処理によって前記被写体が動物の少なくとも一部であることを検出する第2の検出部と、
前記表示部を制御して、前記撮像画像上に、前記人に応じた第1検出枠、及び前記動物に応じた第2検出枠を表示させる制御部とを備え、
前記第1検出枠は、前記第1の検出部の検出結果として前記撮像画像上で前記人の体を囲む領域を示す第1枠と、前記人の顔を囲む領域を示す第2枠とを含み、
前記第2検出枠は、前記第2の検出部の検出結果として前記撮像画像上で前記動物の体を囲む領域を示す第3枠を含み、
前記制御部は、前記第1検出枠における前記第1枠と前記第2検出枠における前記第3枠とが、前記被写体のうちの主要被写体に応じた第3検出枠ではない場合に共通の表示態様において前記第3検出枠と共に表示され、且つ前記共通の表示態様が、前記第3検出枠の表示態様とは異なるように、前記表示部を制御する
撮像装置。 - 前記第3検出枠は、前記主要被写体が前記人の場合と前記動物の場合との間で共通の表示態様において表示される
請求項1に記載の撮像装置。 - 前記第1検出枠は、前記撮像画像上で前記人の体を囲む領域を示す第1枠と、前記人の顔を囲む領域を示す第2枠とを含み、
前記制御部は、前記第1枠の領域と前記第2枠の領域とが重なる場合、前記第1枠を表示せずに前記第2枠を表示するように、前記表示部を制御する
請求項1又は2に記載の撮像装置。 - 前記第2検出枠は、前記撮像画像上で前記動物の体を囲む領域を示す第3枠を含み、
前記制御部は、前記第3枠の領域と前記第2枠の領域とが重なる場合、前記第3枠を表示せずに前記第2枠を表示するように、前記表示部を制御する
請求項3に記載の撮像装置。 - 前記第2検出枠は、前記撮像画像上で前記動物の顔を囲む領域を示す第4枠をさらに含み、
前記制御部は、前記第1枠と前記第3枠とを区別せず、且つ前記第2枠と前記第4枠とを区別せずに前記表示部に表示させる
請求項4に記載の撮像装置。 - 前記第1の検出部は、前記人の体、顔および瞳のうちの少なくとも1つを検出し、
前記第2の検出部は、前記動物の体、顔および瞳のうちの少なくとも1つを検出する
請求項1~4のいずれか1項に記載の撮像装置。 - 前記制御部は、前記第3検出枠に基づいて、前記主要被写体に合焦するように、前記撮像装置の合焦動作を制御する
請求項1~6のいずれか1項に記載の撮像装置。 - 前記表示態様は、各検出枠の色、線種、線幅、および枠形状のうちの少なくとも1つを含む
請求項1~7のいずれか1項に記載の撮像装置。 - 前記撮像装置の動作モードを設定可能な操作部をさらに備え、
前記動作モードとして、前記人の検出を行って前記動物の検出を行わない第1検出モードと、前記人の検出を行って且つ前記動物の検出を行う第2検出モードとを有し、前記人の検出を行わずに前記動物の検出を行う第3検出モードを有さない
請求項1~8のいずれか1項に記載の撮像装置。 - 前記第2の検出部は、画像認識処理によって前記被写体における動物の顔をさらに検出し、
前記第2検出枠は、前記撮像画像上で前記動物の顔を囲む領域を示す第4枠をさらに含み、
前記制御部は、前記第2枠と前記第4枠とが、前記第3検出枠ではない場合に共通の表示態様において表示されるように、前記表示部を制御する
請求項1に記載の撮像装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018196724 | 2018-10-18 | ||
JP2018196724 | 2018-10-18 | ||
PCT/JP2019/037017 WO2020080037A1 (ja) | 2018-10-18 | 2019-09-20 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020080037A1 JPWO2020080037A1 (ja) | 2021-02-15 |
JP7113364B2 true JP7113364B2 (ja) | 2022-08-05 |
Family
ID=70283417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020521615A Active JP7113364B2 (ja) | 2018-10-18 | 2019-09-20 | 撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11431893B2 (ja) |
JP (1) | JP7113364B2 (ja) |
WO (1) | WO2020080037A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7188067B2 (ja) * | 2018-12-27 | 2022-12-13 | オムロン株式会社 | 人検出装置および人検出方法 |
JP2022131497A (ja) * | 2021-02-26 | 2022-09-07 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
KR102453695B1 (ko) * | 2021-06-28 | 2022-10-12 | 주식회사 펫나우 | 반려 동물의 식별을 위한 객체를 촬영하기 위한 방법 및 장치 |
JP2023068454A (ja) | 2021-11-02 | 2023-05-17 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、画像処理装置、および撮像システム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009212557A (ja) | 2008-02-29 | 2009-09-17 | Casio Comput Co Ltd | 撮像装置、撮像方法及びプログラム |
JP2011095862A (ja) | 2009-10-27 | 2011-05-12 | Canon Inc | 画像処理装置、画像処理方法、及びプログラム |
JP2012015889A (ja) | 2010-07-02 | 2012-01-19 | Sony Corp | 画像処理装置および画像処理方法 |
JP2013098746A (ja) | 2011-10-31 | 2013-05-20 | Jvc Kenwood Corp | 撮像装置、撮像方法およびプログラム |
JP2013162329A (ja) | 2012-02-06 | 2013-08-19 | Sony Corp | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
JP2014204249A (ja) | 2013-04-04 | 2014-10-27 | キヤノン株式会社 | 撮像装置 |
JP2013236232A5 (ja) | 2012-05-08 | 2015-05-14 | ||
JP2016144044A (ja) | 2015-02-02 | 2016-08-08 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US20170026565A1 (en) | 2015-07-20 | 2017-01-26 | Samsung Electronics Co., Ltd. | Image capturing apparatus and method of operating the same |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8194173B2 (en) * | 2004-07-16 | 2012-06-05 | Nikon Corporation | Auto-focusing electronic camera that focuses on a characterized portion of an object |
JP2009010777A (ja) * | 2007-06-28 | 2009-01-15 | Sony Corp | 撮像装置、撮影制御方法、プログラム |
JP2010134910A (ja) * | 2008-11-07 | 2010-06-17 | Fujifilm Corp | ペット画像検出システムおよびその動作制御方法 |
JP5485712B2 (ja) * | 2010-01-07 | 2014-05-07 | 株式会社ザクティ | 電子カメラ |
US9321399B2 (en) * | 2010-03-01 | 2016-04-26 | Honda Motor Co., Ltd. | Surrounding area monitoring device for vehicle |
JP5485781B2 (ja) | 2010-05-10 | 2014-05-07 | 株式会社ザクティ | 電子カメラ |
JP2012037556A (ja) | 2010-08-03 | 2012-02-23 | Ricoh Co Ltd | 撮像装置 |
JP2013065110A (ja) | 2011-09-15 | 2013-04-11 | Omron Corp | 検出装置、該検出装置を備えた表示制御装置および撮影制御装置、物体検出方法、制御プログラム、ならびに、記録媒体 |
US20130155308A1 (en) * | 2011-12-20 | 2013-06-20 | Qualcomm Incorporated | Method and apparatus to enhance details in an image |
EP2838253A4 (en) * | 2012-04-09 | 2015-10-07 | Sony Corp | DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD, AND PROGRAM |
JP5909147B2 (ja) * | 2012-05-08 | 2016-04-26 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、およびプログラム |
JP6752681B2 (ja) | 2016-10-19 | 2020-09-09 | キヤノン株式会社 | 表示制御装置、表示制御装置の制御方法及びプログラム並びに記憶媒体 |
-
2019
- 2019-09-20 US US17/262,875 patent/US11431893B2/en active Active
- 2019-09-20 JP JP2020521615A patent/JP7113364B2/ja active Active
- 2019-09-20 WO PCT/JP2019/037017 patent/WO2020080037A1/ja active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009212557A (ja) | 2008-02-29 | 2009-09-17 | Casio Comput Co Ltd | 撮像装置、撮像方法及びプログラム |
JP2011095862A (ja) | 2009-10-27 | 2011-05-12 | Canon Inc | 画像処理装置、画像処理方法、及びプログラム |
JP2012015889A (ja) | 2010-07-02 | 2012-01-19 | Sony Corp | 画像処理装置および画像処理方法 |
JP2013098746A (ja) | 2011-10-31 | 2013-05-20 | Jvc Kenwood Corp | 撮像装置、撮像方法およびプログラム |
JP2013162329A (ja) | 2012-02-06 | 2013-08-19 | Sony Corp | 画像処理装置、画像処理方法、プログラム、及び記録媒体 |
JP2013236232A5 (ja) | 2012-05-08 | 2015-05-14 | ||
JP2014204249A (ja) | 2013-04-04 | 2014-10-27 | キヤノン株式会社 | 撮像装置 |
JP2016144044A (ja) | 2015-02-02 | 2016-08-08 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US20170026565A1 (en) | 2015-07-20 | 2017-01-26 | Samsung Electronics Co., Ltd. | Image capturing apparatus and method of operating the same |
JP2018067787A5 (ja) | 2016-10-19 | 2019-11-14 |
Also Published As
Publication number | Publication date |
---|---|
US20210321034A1 (en) | 2021-10-14 |
JPWO2020080037A1 (ja) | 2021-02-15 |
WO2020080037A1 (ja) | 2020-04-23 |
US11431893B2 (en) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7113364B2 (ja) | 撮像装置 | |
US8004573B2 (en) | Imaging apparatus, imaged picture recording method, and storage medium storing computer program | |
EP1628465A1 (en) | Image capture apparatus and control method therefor | |
US9060129B2 (en) | Imaging device, control method of imaging device, and computer program | |
JP5467992B2 (ja) | 撮像装置 | |
JP5604285B2 (ja) | 撮像装置 | |
JP4293055B2 (ja) | カメラ装置およびプログラム | |
JP2011061703A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP4506779B2 (ja) | 撮像装置及びプログラム | |
US11662809B2 (en) | Image pickup apparatus configured to use line of sight for imaging control and control method thereof | |
US12015846B2 (en) | Imaging apparatus with autofocus control based on movement tendency | |
JP5448868B2 (ja) | 撮像装置および撮像装置の制御方法 | |
US11394869B2 (en) | Imaging device with focusing operation based on subject and predetermined region | |
JP2005045601A (ja) | 画像撮影装置およびプログラム | |
JPWO2022145294A5 (ja) | ||
JP7117593B1 (ja) | 撮像装置 | |
JP2020067534A (ja) | 撮像装置 | |
US11917293B2 (en) | Imaging device | |
JP2020079834A (ja) | 撮像装置 | |
JP2005341016A (ja) | カメラ装置およびプログラム | |
JP7337865B2 (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
US20220279132A1 (en) | Image processing apparatus and control method thereof, imaging apparatus, and storage medium | |
JP5242491B2 (ja) | 表示制御装置およびその動作制御方法 | |
US20240028113A1 (en) | Control apparatus, image pickup apparatus, control method, and storage medium | |
JP5094561B2 (ja) | カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200416 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220527 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7113364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |