JP2019046443A - 眉型を推奨するための表示方法及び電子機器 - Google Patents

眉型を推奨するための表示方法及び電子機器 Download PDF

Info

Publication number
JP2019046443A
JP2019046443A JP2018070664A JP2018070664A JP2019046443A JP 2019046443 A JP2019046443 A JP 2019046443A JP 2018070664 A JP2018070664 A JP 2018070664A JP 2018070664 A JP2018070664 A JP 2018070664A JP 2019046443 A JP2019046443 A JP 2019046443A
Authority
JP
Japan
Prior art keywords
auxiliary line
face
person
length
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018070664A
Other languages
English (en)
Other versions
JP6694465B2 (ja
Inventor
軾榮 沈
Shyh-Yong Shen
軾榮 沈
敏昶 季
Min-Chang Chi
敏昶 季
孝宗 ▲呉▼
孝宗 ▲呉▼
xiao zong Wu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cal Comp Big Data Inc
Original Assignee
Cal Comp Big Data Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cal Comp Big Data Inc filed Critical Cal Comp Big Data Inc
Publication of JP2019046443A publication Critical patent/JP2019046443A/ja
Application granted granted Critical
Publication of JP6694465B2 publication Critical patent/JP6694465B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/169Holistic features and representations, i.e. based on the facial image taken as a whole
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Tourism & Hospitality (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】顔形に対応する理想的な眉型を明確に知ることができる、眉型を推奨するための表示方法及び電子機器を提供する。【解決手段】画像を取得するステップと、画像内の人の顔の顔形を判定するステップと、画像内の人の顔の顔形に応じて、対応する推奨眉型を取得するステップと、画像内の人の顔の眉領域に推奨眉型を表示するステップとを含む。【選択図】図9

Description

本発明は、眉型を推奨するための表示方法及び電子機器に関する。
メイクアップの過程において、ほとんどの人は、通常、自身の顔形により適した眉型にするように、眉を「整える」。しかし、ほとんどの人は、自身の顔形を効率的かつ明確に知ることができないため、自身の顔形に応じて、自身にとって理想的な眉型を取得することができない。そのため、人の顔形、及びそれに見合った推奨眉型を効率的かつ明確に知る方法は、当業者が解決すべき課題の1つである。
ほとんどの人は、自身の顔形を効率的かつ明確に知ることができないため、自身の顔形に応じて、自身にとって理想的な眉型を取得することができない。
本発明は、眉型を推奨するための表示方法を提供し、これにより、画像内の人の顔の顔形に応じて、対応する推奨眉型を人の顔の眉領域上に表示することができる。
眉型を推奨するための表示方法が提供される。本表示方法は、画像を取得するステップと、画像内の人の顔の顔形を判定するステップと、画像内の人の顔の顔形に応じて、対応する推奨眉型を取得するステップと、画像内の人の顔の眉領域に推奨眉型を表示するステップと、を含む。
記憶ユニットと、処理ユニットとを備える電子機器が提供される。記憶ユニットは、複数のモジュールを記憶するよう構成される。処理ユニットは、記憶ユニットによって記憶されたモジュールにアクセスし、実行するよう構成される。モジュールは、画像取得モジュール、顔形判定モジュール、推奨眉型取得モジュール、及び表示モジュールを含む。画像取得モジュールは、画像を取得する。顔形判定モジュールは、画像内の人の顔の顔形を判定する。推奨眉型取得モジュールは、画像内の人の顔の顔形に応じて、対応する推奨眉型を取得する。表示モジュールは、画像内の人の顔の眉領域に推奨眉型を表示する。
上記に基づいて、本発明によって提供される眉型を推奨するための表示方法では、対応する推奨眉型は、画像内の人の顔の顔形に応じて、人の顔の眉領域に表示することができる。これにより、ユーザは、彼/彼女の顔形に対応する理想的な眉型を明確に知り、これに応じて、表示された画像に従って眉を整えることができ、メイクアップ中の効率性及び利便性を向上させることができる。
本発明の上述した特徴および他の特徴、並びに利点を一層理解するために、以降において、いくつかの実施形態を添付の図面とともに説明する。
本発明のさらなる理解を提供するために、添付の図面が含まれ、組み入れられ、本明細書の一部を構成する。図面は、説明とともに本発明の例示的な実施形態を示し、本発明の原理を説明するのに役立つ。
本発明の一実施形態による電子機器を例示する概略ブロック図である。 本発明の一実施形態による顔形と眉との対応関係を例示する概略図である。 本発明の一実施形態による眉型を推奨するための表示方法を例示する流れ図である。 本発明の一実施形態による画像内の人の顔を分析する模式図である。 本発明の一実施形態による人の顔の顔形の判定するフローチャートである。 図6A及び6Bは、本発明の一実施形態による推奨眉型を重ね合わせるための位置を判定する模式図である。 図7A及び7Bは、本発明の一実施形態による推奨眉型の表示方法を判定する模式図である。 本発明の一実施形態による推奨眉型を表示する表示結果の模式図である。 本発明の一実施形態による眉型を推奨するための表示方法を例示するフローチャートである。
図1は、本発明の一実施形態による電子機器を示す概略ブロック図である。図1を参照すると、電子機器1000は、処理ユニット100と、記憶ユニット120とを少なくとも含み、処理ユニット100は、記憶ユニット120に結合されるが、本発明はこれに限らない。本発明の一実施形態において、電子機器1000は、サーバ、スマートモバイルデバイス、デスクトップコンピュータ、ノートパソコン、ワークステーション、パーソナルデジタルアシスタント(PDA)等であってもよいが、本発明はこれに限らない。
処理ユニット100は、中央処理装置(CPU)、又は、他の汎用又は専用のプログラマブルマイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、プログラマブルコントローラ、特定用途向け集積回路(ASIC)、他の類似のデバイス、あるいは上述したデバイスの組合せであってよい。
記憶ユニット120は、任意の固定又は可動のランダム・アクセス・メモリ(RAM)、リード・オンリー・メモリ(ROM)、フラッシュメモリ、類似のデバイス、あるいは上述したデバイスの組み合わせであってよい。
本例示の実施形態において、電子機器1000の記憶ユニット120は、複数のプログラムコードのセグメントを記憶する。プログラムコードのセグメントは、インストールされた後に、処理ユニット100によって実行される。一例として、記憶ユニット120は、例えば画像取得モジュール121、顔形判定モジュール123、推奨眉型取得モジュール125、及び表示モジュール127を含む、複数のモジュールを記憶する。電子機器1000に適用可能な様々な動作は、これらのモジュールによって実行することができ、各モジュールは、1つ又は複数のプログラムコードのセグメントによって構成される。上記の実施形態に記載の記憶ユニット120は、単一のメモリデバイスに限定されず、各モジュールは、同じタイプ又は異なるタイプの2つ以上のメモリデバイスに別々に記憶することもできることに留意されたい。本発明の他の実施形態では、モジュールは、さらに、例えば、特定の回路構成によってそれぞれ実装することもできる。
本発明の一実施形態において、電子機器1000は、(不図示の)入力/出力(I/O)インターフェース、及び(不図示の)通信インターフェースのような機器をさらに含むが、本発明はこれに限らない。詳しくは、I/Oインターフェースは、情報又はデータを出力又は入力するために用いられるディスプレイ、スピーカ、キーボード、マウス、及びタッチパネルを含む。一方、通信インターフェースは様々な有線通信規格及び無線通信規格に適合し、電子機器1000は該規格を通して他の機器に接続することができる。
本発明の実施形態によって提供される眉型を推奨するための表示方法は、図1に例示した電子機器1000に実装することができる。図1に例示した電子機器1000を参照して、上述の方法を説明するために、以下にいくつかの実施形態を提供する。眉型を推奨するための表示方法は、電子機器1000に実装することに限られず、対応する機能を有する他の電子機器又はシステムによって上述した分析方法を同じやり方で具体化することができることに留意されたい。
図2は、本発明の一実施形態による顔形と眉との対応関係を例示している概略図である。図2を参照すると、眉は主に3つの特徴点、すなわち、「眉頭」、「眉山」、及び「眉尻」に分けることができる。「眉頭」は、鼻梁に最も近く、図2に四角によって表されている眉の特徴点をいう。「眉山」は、眉の曲線の最も高い点を表し、図2に丸によって表されている。「眉尻」は、主に眉の端部の特徴点をいい、図2に三角によって表されている。
概して、顔形は、理想的な眉型に対応している。例えば、図2において、人の顔22aの形は菱形であり、これに対応する理想的な眉型は眉20aの形である。眉20aは、平行な線に属し、眉20aの長さは目尻を僅かに超える。具体的には、人の顔の顔形が菱形である場合、通常、眉は明らかな「眉山」を避けなければならない。そのため、眉20aは、眉山の特徴点を有さない。他の例では、人の顔22bの形は卵形であり、これに対応する理想的な眉型は、眉20bの形である。眉20bは、標準形の眉に属し、眉20bの眉尻は、眉頭よりわずかに高い。さらに、人の顔22cから人の顔22fまでの様々な顔形に対応する眉型が、眉20cから眉20fとして例示されており、これらについてはもはや説明は繰り返さない。具体的には、本発明の眉型を推奨するための表示方法では、眉20aから眉20fまでの眉型は、記憶ユニット120に予め記憶しておくことができ、電子機器1000が出力画像内の人の顔の形を判定した後、対応する眉型を出力画像における人の顔の眉領域に重ね合わせて表示させ、これにより、拡張現実感(AR)での表示を達成し、ユーザが彼/彼女自身の顔形に最も良く似合う眉型を知ることを可能にする。
図3は、本発明の一実施形態による眉型を推奨するための表示方法を示す流れ図である。
図3を参照するに、ステップS301では、画像取得モジュール121によって人の顔を含む画像を取得することができ、画像内の人の顔形は、顔形判定モジュール123によって判定することができる。
具体的には、図4は、本発明の一実施形態による画像内の人の顔を分析する模式図である。図5は、本発明の一実施形態による人の顔の顔形の判定するフローチャートである。図4及び図5を同時に参照するに、画像取得モジュール121が人の顔を含む画像400を取得した後に、顔形判定モジュール123は、複数の補助線を用いることによって画像400内の人の顔を分析することができ、これにより、画像400内の人の顔の顔形を判定する。具体的には、顔形判定モジュール123は、画像400内の人の顔に、補助線L1(第1補助線ともいう)、補助線L2(第2補助線ともいう)、補助線L3(第3補助線ともいう)、補助線L4(第4補助線ともいう)、補助線L5(第5補助線ともいう)、生え際L6、及び接線L7を規定する。
補助線L1は、画像400内の2つの眉(まとめて眉領域という)の眉尻を通る水平線である。補助線L2は、画像400内の人の顔の口角を通る水平線である。補助線L3は、画像400内の人の顔の下唇に接し、画像400内の人の顔の両側の頬でそれぞれ終端する2つの端部を有する水平線である。補助線L4は、画像400内の人の顔の生え際L6までの距離がe1(第2距離ともいう)で、補助線L1までの距離がe2(第3距離ともいう)で、画像400内の人の顔の額の両側でそれぞれ終端する2つの端部を有する水平線である。本例示の実施形態において、距離e2に対する距離e1の比は、1/2(第3既定値ともいう)である。すなわち、距離e2に対する距離e1の比は1:2である。しかし、本発明は、距離e2に対する距離e1の比を限定することを意図したものでないことに留意されたい。
補助線L5(第5補助線ともいう)は、画像400内の人の顔の両目の下端に接し、画像400内の人の顔の両側の頬でそれぞれ終端する2つの端部を有する水平線である。加えて、顔形判定モジュール123は、さらに、画像400内の人の顔の片側の頬に接する接線L7と、人の顔の頬との間の夾角θを取得する。接線L7及び夾角θは、実質上、頬と顎との連接点P40によって応じて決定され、これにより顔の特徴が相応して表現される。具体的にいうと、接線L7は、実質上、頬と下顎との間の連接点P40によって決定され、連接点P40に隣接する顎の湾曲部に対する接線である。夾角θは、接線L7と、頬と顎との間の連接点P40に隣接する頬の湾曲部に接する接線L50とによって決定される。
補助線L1〜L5、生え際L6、及び接線L7を規定した後、顔形判定モジュール123は、画像400内の人の顔の顔形を判定することができる。
図5を参照するに、図5に例示されるステップS501において、顔形判定モジュール123は、補助線L1と補助線L2との間の距離a1(第1距離ともいう)を算出して、取得する。顔形判定モジュール123は、補助線L3の長さb1(第1長さともいう)も算出して、取得する。顔形判定モジュール123は、距離a1及び長さb1に応じて画像400内の人の顔の顔形を判定する。
長さb1に対する距離a1の比が第1既定値に等しい場合、ステップS503で、顔形判定モジュール123は、画像400内の人の顔の顔形は卵形であると判定する。本例示の実施形態において、第1既定値の値は1である。しかし、本発明は、第1既定値の値を限定することを意図しない。
しかし、長さb1に対する距離a1の比が第1既定値に等しくない場合には、ステップS505において、顔形判定モジュール123は、長さb1に対する距離a1の比が第2既定値に等しいか否かを判定する。本例示の実施形態において、第2既定値の値は2/3である。しかし、本発明は、第2既定値の値を限定することを意図しない。
長さb1に対する距離a1の比が第2既定値に等しい場合、ステップS507で、顔形判定モジュール123は、画像400内の人の顔の一方の頬に接する接線L7と、頬との間の夾角θが第1閾値より大きいか否かを判定する。本例示の実施形態において、第1閾値の角度は45度である。しかし、本発明は第1閾値の角度を限定することを意図しない。
接線L7と頬との間の夾角θが第1閾値より大きい場合、ステップS509で、顔形判定モジュール123は、画像400内の人の顔の顔形は四角形であると判定する。接線L7と頬との間の夾角θが第1閾値より大きくない場合には、ステップS511で、顔形判定モジュール123は、画像400内の人の顔の顔形は丸形であると判定する。
さらに、顔形判定モジュール123が、ステップS505において長さb1に対する距離a1の比が第2既定値に等しくないと判定した場合には、ステップS513で、顔形判定モジュール123は、補助線L4の長さc1(第2長さともいう)、及び補助線L5の長さd1(第3長さともいう)を取得し、長さd1に対する長さc1の比が第4既定値に等しいか否かを判定する。本例示の実施形態において、第4既定値の値は1である。しかし、本発明は第4既定値の値を限定することを意図しない。
長さd1に対する長さc1の比が第4既定値に等しい場合、ステップS515で、顔形判定モジュール123は、画像400内の人の顔の顔形が逆三角形であると判定する。
しかし、顔形判定モジュール123が、ステップS513において長さd1に対する長さc1の比が第4既定値に等しくないと判定した場合には、ステップS517で、顔形判定モジュール123は、長さd1に対する長さc1の比が第5既定値に等しいか否かを判定する。本例示の実施形態において、第5既定値の値は、2/3である。しかし、本発明は第5既定値の値を限定することを意図しない。
長さd1に対する長さc1の比が第5既定値に等しい場合、ステップS519で、顔形判定モジュール123は、画像400内の人の顔の顔形が菱形であると判定する。長さd1に対する長さc1の比が第5既定値に等しくない場合には、ステップS521で、顔形判定モジュール123は、画像400内の人の顔の顔形が楕円形であると判定する。
図4及び図5に例示した実施形態によれば、顔形判定モジュール123は、画像400内の人の顔の顔形が、卵形、四角形、丸形、逆三角形、菱形、又は楕円形である判定することができる。
次に、図3を再度参照するに、出力画像における人の顔の顔形を判定するステップS301が完了した後には、ステップS303において、推奨眉型取得モジュール125は、判定された顔形に応じて、対応する推奨眉型を取得することができる。その間に、ステップS305で、表示モジュール127は、画像内で推奨眉型を重ね合わせる位置を決定することができる。最後に、ステップS307で、表示モジュール127は、画像内の眉領域上に推奨眉型を重ね合わせて表示することができる。
図6Aおよび図6Bは、本発明の一実施形態による推奨眉型を重ね合わせる位置を決定する模式図である。
図6Aを参照すると、推奨眉型を重ね合わせる位置を決定するステップで、表示モジュール127が、まず、一方の側の眉60の周りに複数の基準点(第1基準点ともいう)を規定し、他方の側の眉62の周りに複数の基準点(第2基準点ともいう)を規定する。次に、表示モジュール127は、第1基準点のうちの基準点P1(第3基準点ともいう)から補助線L8(第6補助線ともいう)までの高さ(第1高さともいう)を取得する。補助線L8は、基準点174を通る水平線であり、Y方向(第1方向ともいう)における基準点P1の座標(Y座標という)は、第1基準点のうちの他の基準点のY座標より大きい。すなわち、基準点P1は、第1基準点のうち最も高い位置にある基準点である。
眉頭60a及び眉尻60bを取得する方法を、ここでさらに説明する。図6Bを参照するに、表示モジュール127は、人の顔の、鼻翼45と一方の目の眼角134(第1眼角ともいう)とを通る補助線L10(第8補助線ともいう)を規定することができる。表示モジュール127は、鼻翼45と、上述した眼の他方の眼角144(第2眼角ともいう)とを通る補助線L11(第10補助線ともいう)も規定することができる。補助線L10と補助線L8との交点が、眉60の眉頭60aであり、補助線L11と補助線L8との交点が、眉60の眉尻60bである。具体的には、補助線L8は、基準点174を通る水平線であり、基準点174のX座標は、第1基準点のうちの他の基準点のX座標より大きいが、基準点184のX座標は、第1基準点のうちの他の基準点のX座標より小さい。さらに、眼角144と鼻翼45との間の距離は、眼角134と鼻翼45との間の距離より長い。言い換えれば、眼角134は鼻に比較的近く、眼角144は鼻から比較的遠い。
図6Aを再び参照するに、表示モジュール127は、同様に、第2基準点のうちの基準点P2(第4基準点ともいう)から補助線L9(第7補助線ともいう)までの高さ(第2高さともいう)を取得する。補助線L9は、眉62の眉頭62a及び眉尻62bを通る水平線であり、Y方向(第1方向ともいう)における基準点P2の座標(Y座標という)は、第2基準点のうちの他の基準点のY座標より大きい。すなわち、基準点P2は、第2基準点のうちの最も高い位置にある基準点である。
さらに、眉頭62a、眉尻62b、補助線L9、補助線L12、及び補助線L13は、眉頭60a、眉尻60b、補助線L8、補助線L10、及び補助線L11と同様に規定することができるため、以降においてはその説明を省略する。
その後、表示モジュール127は、第1高さ及び第2高さに従って平均高さを算出し、その平均高さによって、眉60と眉62との位置の上に推奨眉型を表示することができる。より詳細には、表示モジュール127は、補助線L8から平均高さにある眉60における位置の上に推奨眉型を表示し、補助線L9から平均高さにある眉62における位置の上に推奨眉型を表示する。
具体的には、表示モジュール127は、推奨眉型の眉頭及び眉尻の表示位置も判定することができる。
図7A及び図7Bは、本発明の一実施形態による推奨眉型の表示方法を判定する模式図である。
図7Aを参照するに、推奨眉型701は、眉頭701a及び眉尻701bを含む2つの特徴点のみを有し、眉山の特徴点を有さない眉型とする。この状況では、表示モジュール127は、補助線L8から平均高さにある眉60における位置の上に推奨眉型701を表示し、補助線L9から平均高さにある眉62における位置の上に推奨眉型701を表示する。具体的には、表示モジュール127は、補助線L10上の眉頭60aの上に推奨眉型701の眉頭701aも表示し、補助線L12上の眉頭62aの上に推奨眉型701の眉頭701aも表示する。加えて、表示モジュール127は、補助線L14(第9補助線ともいう)及び補助線L15の上にそれぞれ推奨眉型701の眉尻701bも表示する。補助線L14は、眉60の眉尻60bを通る垂直線であり、眉尻60bは、補助線L11上に位置する。補助線L15は、眉62の眉尻62bを通る垂直線であり、眉尻62bは補助線L13上に位置する。
図7に例示した推奨眉型701は、眉山の特徴点を有していないことに留意されたい。しかし、図7Bに例示した実施形態では、推奨眉型702は、眉頭702a、眉尻702b、及び眉山702cを含んでいる。推奨眉型702を表示しようとする際に、表示モジュール127は、補助線L8から平均高さにある眉60における位置の上に推奨眉型702を表示し、補助線L9から平均高さにある眉62における位置の上に推奨眉型702を表示する。具体的には、表示モジュール127は、補助線L10上の眉頭60aの上に推奨眉型702の眉頭702aを表示し、補助線L12上の眉頭62aの上に推奨眉型702の眉頭702aを表示する。加えて、表示モジュール127は、補助線L14及び補助線L15上にそれぞれ推奨眉型702の眉尻702bも表示する。また、表示モジュール127は、補助線L16(第11補助線ともいう)上に推奨眉型702の眉山702cも表示する。補助線L16と補助線L14との間の距離t2(第5距離ともいう)に対する、補助線L16と補助線L10との間の距離t1(第4距離ともいう)の比は2:1である。同様に、表示モジュール127は、補助線L17上に推奨眉型702の眉山702cも表示する。補助線L17と補助線L15との間の距離t4に対する、補助線L17と補助線L12との間の距離t3の比は2:1である。
図8は、本発明の一実施形態による推奨眉型を表示する表示結果の模式図である。
図8を参照するに、前述のステップを実行した後に、表示モジュール127は、眉60及び眉62の部分の上にそれぞれ推奨眉型800をAR(拡張現実感)で表示することができる。具体的には、推奨眉型800は、例えば、上述したような推奨眉型701又は推奨眉型702であってもよい。このようにして、ユーザは、彼/彼女に適した、最も良く似合う眉型を知り、かつこの眉型を眉の上述した領域にどのように設定すべきかを明確に知ることができる。
図9は、本発明の一実施形態による眉型を推奨するための表示方法を例示するフローチャートである。
図9を参照するに、ステップS901で、画像取得モジュール121は画像を取得する。ステップS903では、顔形判定モジュール123が、画像内の人の顔の顔形を判定する。ステップS905では、推奨眉型取得モジュール125が、画像内の人の顔の顔形に応じて対応する推奨眉型を取得する。ステップS907では、表示モジュール127が、画像内の人の顔の眉領域に推奨眉型を表示する。
上記に照らして、眉型を推奨するための表示方法では、対応する推奨眉型を、画像内の人の顔の顔形に応じて、人の顔の眉領域上に表示することができる。これにより、ユーザは、表示された画像によって、彼/彼女の顔形に理想的な眉型を明確に知り、表示された画像によって彼/彼女の眉を対応して整えることができ、メイクアップの過程での効率性及び利便性を向上させることができる。
本発明を、上記実施形態を参照して説明してきたが、本発明の趣旨から逸脱せずに、記載された実施形態の変更がなされることは当業者にとって明らかである。したがって、本発明の範囲は、上記詳細な説明によってではなく、添付の請求項によって定義される。
本発明の眉型推奨するための表示方法では、対応する推奨眉型を、画像内の人の顔の顔形に応じて人の顔の眉領域に表示することができる。これにより、ユーザは、彼/彼女の顔形に理想的な眉型を明確に知り、これに相応して、表示された画像によって彼/彼女の眉を整えることができ、そのため、メイクアップの過程において効率性及び利便性を向上させることができる。
1000 電子機器
100 処理ユニット
120 記憶ユニット
121 画像取得モジュール
123 顔形判定モジュール
125 推奨眉型取得モジュール
127 表示モジュール
22 人の顔
20a,20b,20f 眉
22b,22c,22f 人の顔
L1,L2,L3,L4,L5 補助線
L6 生え際
L7 接線
60,62 眉
60a,60b 眉頭
45 鼻翼
134,144 眼角
L8,L9,L10,L11,L12,L13 補助線
701,702 眉型
701a 眉頭
701b 眉尻
702a 眉頭
702b 眉尻
702c 眉山
800 眉型

Claims (18)

  1. 眉型を推奨するための表示方法であって、
    画像を取得するステップと、
    前記画像内の人の顔の顔形を判定するステップと、
    前記画像内の前記人の顔の前記顔形に応じて、対応する推奨眉型を取得するステップと、
    前記画像内の前記人の顔の眉領域に前記推奨眉型を表示するステップと
    を含む、表示方法。
  2. 前記画像内の前記人の顔の前記顔形を判定するステップは、
    第1補助線と第2補助線との間の第1距離を取得するステップであって、前記第1補助線は、前記眉領域における前記眉の眉尻を通り、前記第2補助線は、前記人の顔の口角を通る、ステップと、
    第3補助線の第1長さを取得するステップであって、前記第3補助線は、前記人の顔の下唇に接し、前記第3補助線の2つの端部はそれぞれ前記人の顔の頬で終端する、ステップと、
    前記第1距離と前記第1長さとに応じて、前記画像内の前記人の顔の前記顔形を判定するステップと
    を含む、請求項1に記載の表示方法。
  3. 前記第1長さに対する前記第1距離の比が第1既定値に等しい場合、前記人の顔形を楕円形と判定するステップをさらに含む、請求項2に記載の表示方法。
  4. 前記第1長さに対する前記第1距離の比が第2既定値に等しい場合、前記人の顔の一方頬に接する接線と、前記頬との間の夾角が第1閾値より大きいか否かを判定するステップと、
    前記接線と、前記人の顔の前記頬との間の前記夾角が前記第1閾値より大きい場合、前記人の顔形を四角形と判定するステップと、
    前記接線と前記人の顔の前記頬との間の前記夾角が前記第1閾値より大きくない場合、前記人の顔形を丸形と判定するステップと
    をさらに含む、請求項3に記載の表示方法。
  5. 前記第1長さに対する前記第1距離の比が前記第1既定値でも前記第2既定値でもない場合に、
    第4補助線の第2長さを取得するステップであって、前記第4補助線は前記人の顔の生え際から第2距離離れ、前記第4補助線は、前記第1補助線から第3距離離れ、前記第4補助線の2つの端部は、それぞれ前記人の顔の額の両側で終端し、前記第3距離に対する前記第2距離の比は、第3既定値に等しい、ステップと、
    第5補助線の第3長さを取得するステップであって、前記第5補助線は、前記人の顔の両目の下端に接し、前記第5補助線の2つの端部は、それぞれ前記人の顔の両頬で終端する、ステップと、
    前記第3長さに対する前記第2長さの比が第4既定値に等しいか否かを判定するステップと、
    前記第3長さに対する前記第2長さの比が前記第4既定値に等しい場合、前記人の顔形を逆三角形と判定するステップと
    をさらに含む、請求項4に記載の表示方法。
  6. 前記第3長さに対する前記第2長さの比が第5既定値に等しい場合、前記人の顔形を菱形と判定するステップと、
    前記第3長さに対する前記第2長さの比が、前記第4既定値でも前記第5既定値でもない場合、前記人の顔形を楕円形と判定するステップと
    をさらに含む、請求項5に記載の表示方法。
  7. 前記画像内の前記人の顔の前記眉領域に前記推奨眉型を表示するステップは、
    前記眉領域における一方の眉の周りに複数の第1基準点を規定するステップと、
    前記眉領域における他方の前記眉の周りに複数の第2基準点を規定するステップと、
    前記第1基準点のうちの第3基準点から第6補助線までの第1高さを取得するステップであって、前記第6補助線は、前記眉の眉頭及び眉尻を通り、第1方向における前記第3基準点の座標は、前記第1方向における、前記第1基準点のうちの他の基準点の座標より大きい、ステップと、
    前記第2基準点のうちの第4基準点から第7補助線までの第2高さを取得するステップであって、前記第7補助線は、前記他方の眉の眉頭及び眉尻を通り、前記第1方向における前記第4基準点の座標は、前記第1方向における、前記第2基準点のうちの他の基準点の座標より大きい、ステップと、
    前記第1高さ及び前記第2高さに従って平均高さを算出するステップと、
    前記平均高さに応じて、前記眉領域内に前記推奨眉型を表示するステップと
    を含む、請求項1に記載の表示方法。
  8. 前記画像内の前記人の顔の眉領域に前記推奨眉型を表示するステップは、
    第8補助線上に前記推奨眉型の眉頭を表示するステップであって、前記第8補助線は、前記人の顔の、鼻翼と一方の目の第1眼角とを通る、ステップと、
    第9補助線上に前記推奨眉型の眉尻を表示するステップであって、前記第9補助線は前記人の顔の一方の眉尻を通り、前記眉尻は前記鼻翼及び前記目の第2眼角を通る第10補助線上に位置する、ステップと
    を含み、前記第2眼角と前記鼻翼との間の距離は、前記第1眼角と前記鼻翼との間の距離より長い、請求項7に記載の表示方法。
  9. 前記画像内の前記人の顔の前記眉領域に前記推奨眉型を表示するステップは、
    第11補助線上に前記推奨眉型の眉山を表示するステップであって、前記第11補助線と前記第9補助線との間の第5距離に対する、前記第11補助線と前記第8補助線との間の第4距離の比は、2:1である、ステップをさらに含む、請求項8に記載の表示方法。
  10. 複数のモジュールを記憶するよう構成された記憶ユニットと
    前記記憶ユニットに結合され、前記記憶ユニットによって記憶された前記モジュールにアクセスし、実行するよう構成された処理ユニットとを備え、
    前記モジュールは、
    画像を取得する画像取得モジュールと、
    前記画像内の人の顔の顔形を判定する顔形判定モジュールと、
    前記画像内の前記人の顔の前記顔形に応じて、対応する推奨眉型を取得する推奨眉型取得モジュールと、
    前記画像内の前記人の顔の眉領域に前記推奨眉型を表示する表示モジュールとを備える、電子機器。
  11. 前記画像内の前記人の顔の前記顔形を判定する動作において、
    前記顔形判定モジュールは、第1補助線と第2補助線との間の第1距離を取得し、前記第1補助線は、前記眉領域における前記眉の眉尻を通り、前記第2補助線は、前記人の顔の口角を通り、
    前記顔形判定モジュールは、第3補助線の第1長さを取得し、前記第3補助線は、前記人の顔の下唇に接し、前記第3補助線の2つの端部はそれぞれ前記人の顔の頬で終端し、
    前記顔形判定モジュールは、前記第1距離及び前記第1長さに従って、前記画像内の前記人の顔の前記顔形を判定する、請求項10に記載の電子機器。
  12. 前記第1長さに対する前記第1距離の比が第1既定値に等しい場合、前記顔形判定モジュールは、前記人の顔形を楕円形と判定する、請求項11に記載の電子機器。
  13. 前記第1長さに対する前記第1距離の比が第2既定値に等しい場合、前記顔形判定モジュールは、前記人の顔の一方の頬に接する接線と、前記頬との間の夾角が第1閾値より大きいか否かを判定し、
    前記接線と、前記人の顔の前記頬との間の前記夾角が前記第1閾値より大きい場合、前記人の顔形を四角形と判定し、
    前記接線と前記人の顔の前記頬との間の前記夾角が前記第1閾値より大きくない場合には、前記顔形判定モジュールは、前記人の顔形を丸形と判定する、請求項12に記載の電子機器。
  14. 前記第1長さに対する前記第1距離の比が前記第1既定値でも前記第2既定値でもない場合に、
    前記顔形判定モジュールは、第4補助線の第2長さを取得し、前記第4補助線は前記人の顔の生え際から第2距離離れ、前記第4補助線は、前記第1補助線から第3距離離れ、前記第4補助線の2つの端部は、それぞれ前記人の顔の額の両側で終端し、前記第3距離に対する前記第2距離の比は、第3既定値に等しく、
    前記顔形判定モジュールは、第5補助線の第3長さを取得し、前記第5補助線は、前記人の顔の両目の下端に接し、前記第5補助線の2つの端部は、それぞれ前記人の顔の両頬で終端し、
    前記顔形判定モジュールは、前記第3長さに対する前記第2長さの比が第4既定値に等しいか否かを判定し、
    前記第3長さに対する前記第2長さの比が前記第4既定値に等しい場合、前記顔形判定モジュールは、前記人の顔形を逆三角形と判定する、請求項13に記載の電子機器。
  15. 前記第3長さに対する前記第2長さの比が第5既定値に等しい場合、前記顔形判定モジュールは、前記人の顔形を菱形と判定し、
    前記第3長さに対する前記第2長さの比が、前記第4既定値でも前記第5既定値でもない場合、前記顔形判定モジュールは、前記人の顔形を楕円形と判定する、請求項14に記載の電子機器。
  16. 前記画像内の前記人の顔の前記眉領域に前記推奨眉型を表示する動作において、
    前記表示モジュールは、前記眉領域における一方の眉の周りに複数の第1基準点を規定し、
    前記表示モジュールは、前記眉領域における他方の眉の周りに複数の第2基準点を規定し、
    前記表示モジュールは、前記第1基準点のうちの第3基準点から第6補助線までの第1高さを取得し、前記第6補助線は、前記眉の眉頭及び眉尻を通り、第1方向における前記第3基準点の座標は、前記第1方向における、前記第1基準点のうちの他の基準点の座標より大きく、
    前記表示モジュールは、前記第2基準点のうちの第4基準点から第7補助線までの第2高さを取得し、前記第7補助線は、前記他方の眉の眉頭及び眉尻を通り、前記第1方向における前記第4基準点の座標は、前記第1方向における、前記第2基準点のうちの他の基準点の座標より大きく、
    前記表示モジュールは、前記第1高さ及び前記第2高さに従って平均高さを算出し、
    前記表示モジュールは、前記平均高さに応じて、前記眉領域内に前記推奨眉型を表示する、請求項10に記載の電子機器。
  17. 前記画像内の前記人の顔の眉領域に前記推奨眉型を表示する動作において、
    前記表示モジュールは、第8補助線上に前記推奨眉型の眉頭を表示し、前記第8補助線は、前記人の顔の、鼻翼と一方の目の第1眼角とを通り、
    前記表示モジュールは、第9補助線上に前記推奨眉型の眉尻を表示し、前記第9補助線は前記人の顔の一方の眉尻を通り、前記眉尻は前記鼻翼及び前記目の第2眼角を通る第10補助線上に位置し、
    前記第2眼角と前記鼻翼との間の距離は、前記第1眼角と前記鼻翼との間の距離より長い、請求項16に記載の電子機器。
  18. 前記画像内の前記人の顔の前記眉領域に前記推奨眉型を表示する動作において、
    前記表示モジュールは、第11補助線上に前記推奨眉型の眉山を表示し、前記第11補助線と前記第9補助線との間の第5距離に対する、前記第11補助線と前記第8補助線との間の第4距離の比は、2:1である、請求項17に記載の電子機器。
JP2018070664A 2017-08-31 2018-04-02 眉型を推奨するための表示方法及び電子機器 Expired - Fee Related JP6694465B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710768327.7A CN109419140A (zh) 2017-08-31 2017-08-31 推荐眉毛形状显示方法与电子装置
CN201710768327.7 2017-08-31

Publications (2)

Publication Number Publication Date
JP2019046443A true JP2019046443A (ja) 2019-03-22
JP6694465B2 JP6694465B2 (ja) 2020-05-13

Family

ID=62110977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018070664A Expired - Fee Related JP6694465B2 (ja) 2017-08-31 2018-04-02 眉型を推奨するための表示方法及び電子機器

Country Status (5)

Country Link
US (1) US10395096B2 (ja)
EP (1) EP3451229A1 (ja)
JP (1) JP6694465B2 (ja)
KR (1) KR102102944B1 (ja)
CN (1) CN109419140A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI657799B (zh) * 2016-09-29 2019-05-01 麗寶大數據股份有限公司 電子裝置與其提供膚質檢測資訊的方法
CN109288233A (zh) * 2017-07-25 2019-02-01 丽宝大数据股份有限公司 可标示修容区域的身体信息分析装置
CN110097622B (zh) * 2019-04-23 2022-02-25 北京字节跳动网络技术有限公司 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN110866139A (zh) * 2019-08-22 2020-03-06 北京新氧科技有限公司 一种化妆处理方法、装置及设备
CN111553220A (zh) * 2020-04-21 2020-08-18 海信集团有限公司 一种智能设备及数据处理方法
CN111553221B (zh) * 2020-04-21 2023-10-31 海信集团有限公司 一种数据处理方法及智能设备
KR102292629B1 (ko) * 2021-01-15 2021-08-23 주식회사 블라썸클라우드 Ai 안면인식을 이용한 뷰티 콘텐츠 제공 시스템 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000011144A (ja) * 1998-06-18 2000-01-14 Shiseido Co Ltd 眉変形システム
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法
CN101339612A (zh) * 2008-08-19 2009-01-07 陈建峰 一种脸型轮廓的检测与分类方法
JP2011152352A (ja) * 2010-01-28 2011-08-11 Spill:Kk 顔型分類装置、顔型分類方法および該方法を実現させるプログラムが記憶された記録媒体
JP2013501292A (ja) * 2009-08-04 2013-01-10 ヴェサリス 基準画像に対して対象画像を補正する画像処理方法及びその画像処理装置
US20130170766A1 (en) * 2011-12-28 2013-07-04 HeHuan Xu Method of performing eyebrow shaping on an image and related computing device
US20150243015A1 (en) * 2012-09-07 2015-08-27 Tipheret Method and device for preparing a spectacle frame

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8115774B2 (en) * 2006-07-28 2012-02-14 Sony Computer Entertainment America Llc Application of selective regions of a normal map based on joint position in a three-dimensional model
US8207971B1 (en) * 2008-12-31 2012-06-26 Lucasfilm Entertainment Company Ltd. Controlling animated character expressions
KR101287420B1 (ko) * 2011-01-19 2013-07-18 임경근 헤어스타일 합성시스템 및 합성방법
JP5420691B2 (ja) * 2012-02-13 2014-02-19 株式会社 資生堂 眉を描写するための化粧情報提供システム
CN102693288A (zh) * 2012-04-27 2012-09-26 上海申视汽车新技术有限公司 一种化妆方案自动推荐方法
JP6368919B2 (ja) * 2013-08-30 2018-08-08 パナソニックIpマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
US8997757B1 (en) * 2013-10-15 2015-04-07 Anastasia Soare Golden ratio eyebrow shaping method
JP6463038B2 (ja) * 2014-08-27 2019-01-30 富士フイルム株式会社 画像位置合せ装置、方法およびプログラム
US9760762B2 (en) * 2014-11-03 2017-09-12 Anastasia Soare Facial structural shaping
US9721146B1 (en) * 2015-12-28 2017-08-01 Andrew John-Haidukewych Hayduke System and method for analyzing features of a human face using one or more overlay facial grids
CN106204691A (zh) * 2016-07-19 2016-12-07 马志凌 虚拟化妆***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000011144A (ja) * 1998-06-18 2000-01-14 Shiseido Co Ltd 眉変形システム
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法
CN101339612A (zh) * 2008-08-19 2009-01-07 陈建峰 一种脸型轮廓的检测与分类方法
JP2013501292A (ja) * 2009-08-04 2013-01-10 ヴェサリス 基準画像に対して対象画像を補正する画像処理方法及びその画像処理装置
JP2011152352A (ja) * 2010-01-28 2011-08-11 Spill:Kk 顔型分類装置、顔型分類方法および該方法を実現させるプログラムが記憶された記録媒体
US20130170766A1 (en) * 2011-12-28 2013-07-04 HeHuan Xu Method of performing eyebrow shaping on an image and related computing device
US20150243015A1 (en) * 2012-09-07 2015-08-27 Tipheret Method and device for preparing a spectacle frame

Also Published As

Publication number Publication date
KR20190024582A (ko) 2019-03-08
KR102102944B1 (ko) 2020-04-22
US20190065827A1 (en) 2019-02-28
EP3451229A1 (en) 2019-03-06
US10395096B2 (en) 2019-08-27
JP6694465B2 (ja) 2020-05-13
CN109419140A (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
JP2019046443A (ja) 眉型を推奨するための表示方法及び電子機器
US10650224B2 (en) Facial structural shaping
US20200042769A1 (en) Face image processing methods and apparatuses, and electronic devices
JP2751145B2 (ja) 眼鏡形状デザイン設計システム
JP6990773B2 (ja) 画像処理方法及び装置、画像デバイス並びに記憶媒体
KR101259662B1 (ko) 얼굴 분류 방법, 얼굴 분류 장치, 분류맵, 얼굴 분류프로그램, 및 상기 프로그램이 기록된 기록매체
CN109063560A (zh) 图像处理方法、装置、计算机可读存储介质和终端
CN107452049B (zh) 一种三维头部建模方法及装置
CN109952594A (zh) 图像处理方法、装置、终端及存储介质
CN110688948B (zh) 视频中人脸性别变换方法、装置、电子设备和存储介质
CN104992402A (zh) 一种美颜处理方法及装置
CN109886144B (zh) 虚拟试发方法、装置、计算机设备和存储介质
CN101779218A (zh) 化妆模拟***、化妆模拟装置、化妆模拟方法以及化妆模拟程序
CN108463823A (zh) 一种用户头发模型的重建方法、装置及终端
WO2020252969A1 (zh) 眼部关键点的标注及其检测模型的训练方法和装置
CN109961496A (zh) 表情驱动方法及表情驱动装置
US11321764B2 (en) Information processing apparatus and information processing method
CN109063539A (zh) 眼镜虚拟佩戴方法、装置、计算机设备及存储介质
CN112734633A (zh) 虚拟发型的替换方法、电子设备及存储介质
CN109447031A (zh) 图像处理方法、装置、设备及存储介质
JP2000011143A (ja) 顔立ち認識システム
KR20170090303A (ko) 안면 구성요소 추출을 통한 비대칭요소 보정 가이드방법
CN114743252B (zh) 用于头部模型的特征点筛选方法、设备和存储介质
CN115631516A (zh) 人脸图像处理方法、装置、设备及计算机可读存储介质
CN107895343B (zh) 一种基于五官定位快速简单上腮红的图像处理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190918

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200214

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200417

R150 Certificate of patent or registration of utility model

Ref document number: 6694465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees