JP6839771B2 - 補正パターン分析による映像補正方法およびシステム - Google Patents
補正パターン分析による映像補正方法およびシステム Download PDFInfo
- Publication number
- JP6839771B2 JP6839771B2 JP2019550578A JP2019550578A JP6839771B2 JP 6839771 B2 JP6839771 B2 JP 6839771B2 JP 2019550578 A JP2019550578 A JP 2019550578A JP 2019550578 A JP2019550578 A JP 2019550578A JP 6839771 B2 JP6839771 B2 JP 6839771B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature points
- face
- facial feature
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims description 187
- 238000000034 method Methods 0.000 title claims description 85
- 238000004458 analytical method Methods 0.000 title description 2
- 230000001815 facial effect Effects 0.000 claims description 106
- 238000003702 image correction Methods 0.000 claims description 49
- 238000004590 computer program Methods 0.000 claims description 25
- 230000000295 complement effect Effects 0.000 claims 2
- 230000006870 function Effects 0.000 description 19
- 230000015654 memory Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 210000004709 eyebrow Anatomy 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000000465 moulding Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000006930 Pseudomyxoma Peritonei Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229920000306 polymethylpentene Polymers 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Description
Claims (16)
- コンピュータで実現される電子機器と結合して映像補正方法をコンピュータに実行させるためのコンピュータプログラムであって、
前記映像補正方法は、
入力された第1映像に含まれる顔の顔特徴点を認識する段階、
認識された前記顔特徴点のうちの少なくとも一部を前記入力された第1映像とともに前記電子機器の画面に表示する段階、
前記画面に表示された第1映像の顔特徴点のうちの少なくとも1つの顔特徴点の移動のためのユーザ入力を認識する段階、
認識された前記ユーザ入力に従って前記第1映像の少なくとも1つの顔特徴点を移動させることによって変更された前記第1映像の顔特徴点を利用して前記入力された第1映像を補正する段階、および
前記第1映像の補正に対するパターンを分析して補正パターン情報を生成および記録する段階
を含み、
記録された前記補正パターン情報は、他の映像に関する補正パターン情報を利用して更新される、
コンピュータプログラム。 - 前記映像補正方法は、
入力された第2映像に含まれる顔の顔特徴点を認識する段階、
認識された前記第2映像に含まれる顔の顔特徴点のうちの少なくとも一部を前記入力された第2映像とともに前記電子機器の画面に表示する段階、
前記画面に表示された第2映像の顔特徴点のうちの少なくとも1つの顔特徴点の移動のためのユーザ入力を認識する段階、
認識された前記第2映像の顔特徴点のうちの少なくとも1つの顔特徴点の移動のためのユーザ入力に従って前記第2映像の少なくとも1つの顔特徴点を移動させることによって変更された前記第2映像の顔特徴点を利用して前記入力された第2映像を補正する段階、および
前記第2映像の補正に対するパターンを分析して前記記録された補正パターン情報を更新する段階
をさらに含む、請求項1に記載のコンピュータプログラム。 - 前記映像補正方法は、
入力された第3映像に含まれる顔の顔特徴点を認識する段階、および
前記第3映像で認識された顔特徴点のうちの少なくとも1つの顔特徴点を、前記記録された補正パターン情報を利用して移動させることによって変更された前記第3映像の顔特徴点を利用して前記入力された第3映像を自動補正する段階
をさらに含む、請求項1に記載のコンピュータプログラム。 - 前記補正パターン情報を生成および記録する段階は、
前記変更された前記第1映像の顔特徴点を利用して前記第1映像の顔の顔部位を認識し、前記顔全体に対する前記顔部位それぞれの比率情報を前記補正パターン情報として計算する、請求項1に記載のコンピュータプログラム。 - 前記補正パターン情報は、前記顔部位それぞれの部位識別子、前記顔全体の幅および長さと前記顔部位それぞれの幅および長さとの比率情報、および前記顔部位それぞれに対応する顔特徴点の特徴点識別子が互いに連係された情報を含む、請求項4に記載のコンピュータプログラム。
- 前記補正パターン情報は、前記変更された前記第1映像の顔特徴点をさらに含む、請求項4に記載のコンピュータプログラム。
- 前記映像補正方法は、
前記記録された補正パターン情報の共有のために、前記記録された補正パターン情報を、ネットワークを介して他の電子機器およびサーバのうちの少なくとも1つに送信する段階
をさらに含む、請求項1に記載のコンピュータプログラム。 - 映像補正方法であって、
入力された第1映像に含まれる顔の顔特徴点を認識する段階、
認識された前記顔特徴点のうちの少なくとも一部を前記入力された第1映像とともに電子機器の画面に表示する段階、
前記画面に表示された第1映像の顔特徴点のうちの少なくとも1つの顔特徴点の移動のためのユーザ入力を認識する段階、
認識された前記ユーザ入力に従って前記第1映像の少なくとも1つの顔特徴点を移動させることによって変更された前記第1映像の顔特徴点を利用して前記入力された第1映像を補正する段階、および
前記第1映像の補正に対するパターンを分析して補正パターン情報を生成および記録する段階
を含み、
記録された前記補正パターン情報は、他の映像に関する補正パターン情報を利用して更新される、
映像補正方法。 - 入力された第2映像に含まれる顔の顔特徴点を認識する段階、
認識された前記第2映像に含まれる顔の顔特徴点のうちの少なくとも一部を前記入力された第2映像とともに前記電子機器の画面に表示する段階、
前記画面に表示された第2映像の顔特徴点のうちの少なくとも1つの顔特徴点の移動のためのユーザ入力を認識する段階、
認識された前記第2映像の顔特徴点のうちの少なくとも1つの顔特徴点の移動のためのユーザ入力に従って前記第2映像の少なくとも1つの顔特徴点を移動させることによって変更された前記第2映像の顔特徴点を利用して前記入力された第2映像を補正する段階、および
前記第2映像の補正に対するパターンを分析して前記記録された補正パターン情報を更新する段階
をさらに含む、請求項8に記載の映像補正方法。 - 入力された第3映像に含まれる顔の顔特徴点を認識する段階、および
前記第3映像で認識された顔特徴点のうちの少なくとも1つの顔特徴点を前記記録された補正パターン情報を利用して移動させることによって変更された前記第3映像の顔特徴点を利用して前記入力された第3映像を自動補正する段階
をさらに含む、請求項8に記載の映像補正方法。 - 映像補正方法であって、
電子機器からネットワークを介して受信された、入力された第1映像に含まれる顔の顔特徴点を認識する段階、
認識された前記顔特徴点のうちの少なくとも一部が前記入力された第1映像とともに前記電子機器の画面に表示されるように制御し、前記画面に表示された第1映像の顔特徴点のうちの少なくとも1つの顔特徴点の移動に関する情報を受信するための機能を提供する段階、
移動によって変更された前記第1映像の顔特徴点を利用して前記入力された第1映像を補正する段階、
補正された前記第1映像を、ネットワークを介して前記電子機器に送信する段階、および
前記第1映像の補正に対するパターンを分析して補正パターン情報を生成し、前記電子機器または前記電子機器のユーザと関連付けて記録する段階
を含み、
記録された前記補正パターン情報は、他の映像に関する補正パターン情報を利用して更新される、
映像補正方法。 - 前記電子機器からネットワークを介して受信された、入力された第2映像に含まれる顔の顔特徴点を認識する段階、
認識された前記第2映像に含まれる顔の顔特徴点のうちの少なくとも一部が前記入力された第2映像とともに前記電子機器の画面に表示されるように制御し、前記画面に表示された第2映像の顔特徴点のうちの少なくとも1つの顔特徴点の移動に関する情報を受信するための機能を提供する段階、
移動によって変更された前記第2映像の顔特徴点を利用して前記入力された第2映像を補正する段階、
補正された前記第2映像を、ネットワークを介して前記電子機器に送信する段階、および
前記第2映像の補正に対するパターンを分析して前記記録された補正パターン情報を更新する段階
をさらに含む、請求項11に記載の映像補正方法。 - 前記電子機器からネットワークを介して受信された、入力された第3映像に含まれる顔の顔特徴点を認識する段階、
前記第3映像で認識された顔特徴点のうちの少なくとも1つの顔特徴点を前記記録された補正パターン情報を利用して移動させることによって変更された前記第3映像の顔特徴点を利用して前記入力された第3映像を自動補正する段階、および
自動補正された前記第3映像を、ネットワークを介して前記電子機器に送信する段階
をさらに含む、請求項11に記載の映像補正方法。 - 前記補正パターン情報を生成および記録する段階は、
前記移動によって変更された前記第1映像の顔特徴点を利用して前記第1映像の顔の顔部位を認識し、前記顔全体に対する前記顔部位それぞれの比率情報を前記補正パターン情報として計算する、請求項11に記載の映像補正方法。 - 前記補正パターン情報は、前記顔部位それぞれの部位識別子、前記顔全体の幅および長さと前記顔部位それぞれの幅および長さとの比率情報、および前記顔部位それぞれに対応する顔特徴点の特徴点識別子が互いに連係された情報を含む、請求項14に記載の映像補正方法。
- 前記補正パターン情報は、前記移動によって変更された前記第1映像の顔特徴点をさらに含む、請求項14に記載の映像補正方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2017/004237 WO2018194197A1 (ko) | 2017-04-20 | 2017-04-20 | 보정패턴 분석을 통한 영상 보정 방법 및 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020510936A JP2020510936A (ja) | 2020-04-09 |
JP6839771B2 true JP6839771B2 (ja) | 2021-03-10 |
Family
ID=63855918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019550578A Active JP6839771B2 (ja) | 2017-04-20 | 2017-04-20 | 補正パターン分析による映像補正方法およびシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11281890B2 (ja) |
JP (1) | JP6839771B2 (ja) |
KR (1) | KR102239355B1 (ja) |
CN (1) | CN110168601B (ja) |
WO (1) | WO2018194197A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330408B (zh) * | 2017-06-30 | 2021-04-20 | 北京乐蜜科技有限责任公司 | 视频处理方法、装置、电子设备及存储介质 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004110728A (ja) * | 2002-09-20 | 2004-04-08 | Mitsubishi Heavy Ind Ltd | 似顔絵作成装置 |
JP2004147288A (ja) * | 2002-10-25 | 2004-05-20 | Reallusion Inc | 顔画像の補正方法 |
JP4277534B2 (ja) * | 2003-02-12 | 2009-06-10 | オムロン株式会社 | 画像編集装置および画像編集方法 |
JP4496005B2 (ja) * | 2004-04-28 | 2010-07-07 | 株式会社東芝 | 画像処理方法および画像処理装置 |
JP4424111B2 (ja) * | 2004-07-30 | 2010-03-03 | 沖電気工業株式会社 | モデル作成装置およびデータ配信システム |
KR100764130B1 (ko) * | 2005-03-29 | 2007-10-05 | (주)제니텀 엔터테인먼트 컴퓨팅 | 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템 |
CN101163189A (zh) * | 2006-10-13 | 2008-04-16 | 上海银晨智能识别科技有限公司 | 人脸图像校正方法 |
JP4254873B2 (ja) * | 2007-02-16 | 2009-04-15 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
JP4289414B2 (ja) * | 2007-03-27 | 2009-07-01 | セイコーエプソン株式会社 | 画像変形のための画像処理 |
JP4946730B2 (ja) * | 2007-08-27 | 2012-06-06 | ソニー株式会社 | 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム |
JP5239625B2 (ja) * | 2008-08-22 | 2013-07-17 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
KR101646669B1 (ko) * | 2009-06-24 | 2016-08-08 | 삼성전자주식회사 | 사용자 패턴을 이용한 구도 데이터베이스 업데이트 방법 및 장치, 및 디지털 촬영 장치 |
JP5240795B2 (ja) * | 2010-04-30 | 2013-07-17 | オムロン株式会社 | 画像変形装置、電子機器、画像変形方法、および画像変形プログラム |
JP5766564B2 (ja) * | 2011-09-15 | 2015-08-19 | 株式会社東芝 | 顔認証装置及び顔認証方法 |
KR101381439B1 (ko) * | 2011-09-15 | 2014-04-04 | 가부시끼가이샤 도시바 | 얼굴 인식 장치 및 얼굴 인식 방법 |
JP5632100B2 (ja) * | 2011-11-24 | 2014-11-26 | 株式会社Nttドコモ | 表情出力装置及び表情出力方法 |
KR101270351B1 (ko) * | 2012-04-03 | 2013-05-31 | 조선대학교산학협력단 | 얼굴 인식을 위한 얼굴 영상 획득 방법 및 장치 |
KR101934311B1 (ko) * | 2012-09-18 | 2019-01-02 | 엘지이노텍 주식회사 | 스테레오 영상의 위치보정 장치 및 방법 |
JP6008323B2 (ja) * | 2013-02-01 | 2016-10-19 | パナソニックIpマネジメント株式会社 | メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム |
KR20150033877A (ko) * | 2013-09-25 | 2015-04-02 | 삼성전기주식회사 | 얼굴 비율 보정 장치 및 그 방법 |
CN104917532B (zh) * | 2015-05-06 | 2016-10-12 | 清华大学 | 人脸模型压缩方法 |
JP6741270B2 (ja) * | 2015-10-07 | 2020-08-19 | 国立大学法人大阪大学 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US9646195B1 (en) * | 2015-11-11 | 2017-05-09 | Adobe Systems Incorporated | Facial feature liquifying using face mesh |
-
2017
- 2017-04-20 KR KR1020197009816A patent/KR102239355B1/ko active IP Right Grant
- 2017-04-20 WO PCT/KR2017/004237 patent/WO2018194197A1/ko active Application Filing
- 2017-04-20 JP JP2019550578A patent/JP6839771B2/ja active Active
- 2017-04-20 CN CN201780081108.XA patent/CN110168601B/zh active Active
-
2019
- 2019-08-23 US US16/549,789 patent/US11281890B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR102239355B1 (ko) | 2021-04-12 |
WO2018194197A1 (ko) | 2018-10-25 |
KR20190043618A (ko) | 2019-04-26 |
CN110168601B (zh) | 2023-05-26 |
JP2020510936A (ja) | 2020-04-09 |
US11281890B2 (en) | 2022-03-22 |
CN110168601A (zh) | 2019-08-23 |
US20190384966A1 (en) | 2019-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10691299B2 (en) | Display of hierarchical datasets using high-water mark scrolling | |
JP6877149B2 (ja) | 撮影位置推薦方法、コンピュータプログラムおよび撮影位置推薦システム | |
EP3129871B1 (en) | Generating a screenshot | |
EP3042278B1 (en) | Managing shared state information produced by applications | |
KR102649197B1 (ko) | 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체 | |
US10289390B2 (en) | Interactive multimodal display platform | |
CN112074797A (zh) | 用于将虚拟对象锚定到物理位置的***和方法 | |
US20230011686A1 (en) | Crowd sourced mapping system | |
US9996904B2 (en) | Intelligent image processing for enterprise applications | |
JP2021044804A (ja) | 映像通話をしながら使用する360度パノラマ背景提供方法および装置 | |
JP2019012526A (ja) | 映像処理方法、コンピュータプログラムおよび記録媒体 | |
EP3312702B1 (en) | Method and device for identifying gesture | |
US11430211B1 (en) | Method for creating and displaying social media content associated with real-world objects or phenomena using augmented reality | |
TW202009682A (zh) | 基於擴增實境的互動方法及裝置 | |
JP2023504994A (ja) | 視線を決定するために深層学習を使用すること | |
CN113014863A (zh) | 认证用户的方法及***以及计算机可读记录介质 | |
US11579744B2 (en) | Systems and methods for seat selection in virtual reality | |
US20140232748A1 (en) | Device, method and computer readable recording medium for operating the same | |
KR20150012067A (ko) | 메시지 처리 방법 및 그 전자 장치 | |
CN112162843A (zh) | 工作流执行方法、装置、设备及存储介质 | |
JP2022169565A (ja) | プロフィール写真を推薦する方法とシステム、および非一時的なコンピュータ読み取り可能な記録媒体 | |
KR20180097912A (ko) | 사용자 단말을 이용하여 사용자의 감정을 분석하는 감정 분석 방법 및 시스템 | |
US10572231B1 (en) | Component grouping for application development | |
JP6839771B2 (ja) | 補正パターン分析による映像補正方法およびシステム | |
US10733676B2 (en) | Automatic generation of expense data using facial recognition in digitally captured photographic images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6839771 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |