JP7361264B2 - Skin analysis device, skin analysis method, and computer program - Google Patents

Skin analysis device, skin analysis method, and computer program Download PDF

Info

Publication number
JP7361264B2
JP7361264B2 JP2019106043A JP2019106043A JP7361264B2 JP 7361264 B2 JP7361264 B2 JP 7361264B2 JP 2019106043 A JP2019106043 A JP 2019106043A JP 2019106043 A JP2019106043 A JP 2019106043A JP 7361264 B2 JP7361264 B2 JP 7361264B2
Authority
JP
Japan
Prior art keywords
facial
face
skin analysis
mark
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019106043A
Other languages
Japanese (ja)
Other versions
JP2020075080A (en
Inventor
博志 松本
宏毅 田岡
一朗 武井
明夫 西村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN201910898891.XA priority Critical patent/CN111210400A/en
Priority to US16/589,334 priority patent/US11042726B2/en
Priority to EP19206104.2A priority patent/EP3648004A1/en
Publication of JP2020075080A publication Critical patent/JP2020075080A/en
Application granted granted Critical
Publication of JP7361264B2 publication Critical patent/JP7361264B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本開示は、肌分析装置、肌分析方法、及び、コンピュータプログラムに関する。 The present disclosure relates to a skin analysis device, a skin analysis method, and a computer program.

従来、ユーザの顔を撮影した顔画像に基づき、顔の肌の状態を分析し、分析結果を可視化及び定量化することが行われている。特許文献１には、顔画像から顔部位の位置を自動的に認識し、その認識した顔部位の位置に基づいて、肌の分析対象の領域（以下「肌分析領域」という）を自動的に設定する装置が開示されている。 BACKGROUND ART Conventionally, the condition of facial skin is analyzed based on a facial image taken of a user's face, and the analysis results are visualized and quantified. Patent Document 1 describes a method for automatically recognizing the position of a facial part from a face image, and automatically determining a skin analysis target area (hereinafter referred to as "skin analysis area") based on the recognized position of the facial part. An apparatus for configuring is disclosed.

国際公開第２０１５／０１５７９３号International Publication No. 2015/015793

しかし、特許文献１のように、顔画像から、目、鼻及び口などの顔部位の位置を自動的に認識する場合、その認識結果が正しくない場合もある。このような場合に、特許文献１の装置は、顔部位の認識結果を容易に修正することができない。 However, when the positions of facial parts such as eyes, nose, and mouth are automatically recognized from a facial image as in Patent Document 1, the recognition results may not be correct. In such a case, the device disclosed in Patent Document 1 cannot easily modify the facial part recognition results.

本開示の非限定的な実施例は、顔画像に対する顔部位の認識を容易に修正できる肌分析装置、肌分析方法、及び、コンピュータプログラムを提供することに資する。 Non-limiting embodiments of the present disclosure contribute to providing a skin analysis device, a skin analysis method, and a computer program that can easily modify the recognition of facial parts in a facial image.

本開示の一態様に係る肌分析装置は、カメラが撮影したユーザの顔画像から顔部位を認識する顔部位認識部と、前記顔部位を示す顔部位マークを前記顔画像に配置したＵＩ（User Interface）をディスプレイに表示させ、前記顔部位マークに対する操作を受け付けるＵＩ部と、前記操作された顔部位マークの位置に基づいて、前記顔画像に対して肌分析領域を設定する分析領域設定部と、前記設定された肌分析領域に対して肌分析を実行する肌分析実行部と、を備える。 A skin analysis device according to an aspect of the present disclosure includes a face part recognition unit that recognizes a facial part from a user's face image captured by a camera, and a UI (User an analysis area setting unit that sets a skin analysis area for the facial image based on the position of the operated facial area mark; and a skin analysis execution unit that executes skin analysis on the set skin analysis area.

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 Note that these comprehensive or specific aspects may be realized by a system, a method, an integrated circuit, a computer program, or a recording medium, and any of the systems, devices, methods, integrated circuits, computer programs, and recording media may be implemented. It may be realized by any combination.

本開示の一態様によれば、顔画像に対する顔部位の認識を容易に修正できる。 According to one aspect of the present disclosure, recognition of facial parts in a facial image can be easily corrected.

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。 Further advantages and advantages of one aspect of the disclosure will become apparent from the specification and drawings. Such advantages and/or effects may be provided by each of the several embodiments and features described in the specification and drawings, but not necessarily all are provided in order to obtain one or more of the same features. There isn't.

一実施の形態に係る肌分析装置の利用例を示す図である。FIG. 1 is a diagram showing an example of usage of a skin analysis device according to an embodiment. 一実施の形態に係る肌分析装置の動作概要を示すフローチャートである。1 is a flowchart showing an overview of the operation of a skin analysis device according to an embodiment. 一実施の形態に係る肌分析装置の構成例を示す図である。FIG. 1 is a diagram illustrating a configuration example of a skin analysis device according to an embodiment. 一実施の形態に係る肌分析装置によって撮影された正面顔の顔画像の例を示す図である。FIG. 3 is a diagram illustrating an example of a facial image of a frontal face taken by a skin analysis device according to an embodiment. 一実施の形態に係る肌分析装置によって撮影された右横顔の顔画像の例を示す図である。FIG. 3 is a diagram illustrating an example of a right profile face image taken by a skin analysis device according to an embodiment. 一実施の形態に係る肌分析装置によって撮影された左横顔の顔画像の例を示す図である。FIG. 3 is a diagram illustrating an example of a left profile face image taken by the skin analysis device according to an embodiment. 一実施の形態に係る顔部位認識部の処理例を示すフローチャートである。7 is a flowchart illustrating a processing example of a facial part recognition unit according to an embodiment. 一実施の形態に係る正面顔の認識結果確認用ＵＩの例を示す図である。FIG. 3 is a diagram illustrating an example of a UI for confirming recognition results of a frontal face according to an embodiment. 一実施の形態に係る左横顔の認識結果確認用ＵＩの例を示す図である。FIG. 3 is a diagram illustrating an example of a UI for checking recognition results of a left profile face according to an embodiment. 一実施の形態に係る右横顔の認識結果確認用ＵＩの例を示す図である。FIG. 3 is a diagram illustrating an example of a UI for checking recognition results of a right profile face according to an embodiment. 一実施の形態に係る顔部位マークの修正用ＵＩの第１の例を示す図である。FIG. 3 is a diagram illustrating a first example of a UI for correcting facial part marks according to an embodiment. 一実施の形態に係る顔部位マークの修正用ＵＩの第２の例を示す図である。FIG. 7 is a diagram illustrating a second example of a UI for correcting facial part marks according to an embodiment. 一実施の形態に係る顔部位マークの設定用ＵＩの例を示す図である。FIG. 3 is a diagram illustrating an example of a UI for setting facial part marks according to an embodiment. 一実施の形態に係る顔部位マークの形状を顔部位の形状に変形する例を示す図である。FIG. 7 is a diagram illustrating an example in which the shape of a facial part mark is transformed into the shape of a facial part according to an embodiment. 一実施の形態に係る顔部位マークの変形パターンの例を示す図である。FIG. 3 is a diagram illustrating an example of a deformation pattern of a facial part mark according to an embodiment. 一実施の形態に係る顔部位マークを用いて顔部位の特徴点を設定する例を示す図である。FIG. 6 is a diagram illustrating an example of setting feature points of a facial region using a facial region mark according to an embodiment. 一実施の形態に係る肌分析領域の確認画面の例を示す図である。FIG. 3 is a diagram illustrating an example of a skin analysis area confirmation screen according to an embodiment. 本開示に係る本開示の実施の形態に係るハードウェア構成の例を示す図である。1 is a diagram illustrating an example of a hardware configuration according to an embodiment of the present disclosure; FIG.

以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Embodiments of the present invention will be described in detail below with appropriate reference to the drawings. However, more detailed explanation than necessary may be omitted. For example, detailed explanations of well-known matters or redundant explanations of substantially the same configurations may be omitted. This is to avoid unnecessary redundancy in the following description and to facilitate understanding by those skilled in the art.

（一実施の形態）
＜肌分析装置の概要＞
図１は、肌分析装置の利用例を示す。図２のフローチャートは、肌分析装置の動作概要の一例を示す。次に、図１及び図２を参照して、肌分析装置の概要について説明する。 (One embodiment)
<Overview of the skin analysis device>
FIG. 1 shows an example of the use of a skin analysis device. The flowchart in FIG. 2 shows an example of an outline of the operation of the skin analysis device. Next, an outline of the skin analysis device will be explained with reference to FIGS. 1 and 2.

ユーザ２は、図１に示すように、肌分析装置１０の前に座り、肌分析装置１０に対して肌分析の開始を指示する。肌分析装置１０は、この開始の指示を受けて、次の動作を開始する。 As shown in FIG. 1, the user 2 sits in front of the skin analysis device 10 and instructs the skin analysis device 10 to start skin analysis. Upon receiving this start instruction, the skin analysis device 10 starts the next operation.

肌分析装置１０は、カメラ１０１からユーザ２の顔を撮影する（Ｓ１１）。以下、カメラ１０１によって撮影されたユーザ２の顔の画像を「顔画像」と表現する。 The skin analysis device 10 photographs the face of the user 2 using the camera 101 (S11). Hereinafter, the image of the user 2's face photographed by the camera 101 will be referred to as a "face image."

肌分析装置１０は、Ｓ１１にて撮影した顔画像から、顔部位を認識する（Ｓ１２）。顔部位とは、例えば、顔の輪郭、目、鼻、口、眉、及び、髪の毛の生え際など、顔において特徴的な部分である。なお、顔部位は、顔パーツ、顔器官、又は顔特徴部分などと表現されてもよい。 The skin analysis device 10 recognizes facial parts from the facial image photographed in S11 (S12). The facial parts are characteristic parts of the face, such as the outline of the face, eyes, nose, mouth, eyebrows, and hairline. Note that the facial region may be expressed as facial parts, facial organs, facial features, or the like.

肌分析装置１０は、Ｓ１２にて認識した顔部位の位置などに基づいて、顔画像に、肌分析を行う領域（以下「肌分析領域」という）を設定する（Ｓ１３）。 The skin analysis device 10 sets an area for performing skin analysis (hereinafter referred to as "skin analysis area") in the facial image based on the position of the facial part recognized in S12 (S13).

肌分析装置１０は、Ｓ１３にて設定した各肌分析領域に対して、肌分析を実行する（Ｓ１４）。 The skin analysis device 10 performs skin analysis on each skin analysis area set in S13 (S14).

肌分析装置１０は、Ｓ１４にて実行した肌分析の結果を、ディスプレイ１０２に表示する（Ｓ１５）。 The skin analysis device 10 displays the results of the skin analysis performed in S14 on the display 102 (S15).

上述のとおり、ユーザ２は、肌分析装置１０を利用することにより、簡単に肌分析を受けることができる。以下、詳細に説明する。 As described above, the user 2 can easily undergo a skin analysis by using the skin analysis device 10. This will be explained in detail below.

＜肌分析装置の構成＞
次に、図３を参照して、肌分析装置１０の構成を説明する。 <Skin analyzer configuration>
Next, the configuration of the skin analysis device 10 will be explained with reference to FIG.

肌分析装置１０は、例えば、カメラ１０１、ディスプレイ１０２、入力Ｉ／Ｆ１０３、記憶部１０４、及び、制御部１０５を備える。また、肌分析装置１０は、データベース２０に接続してよい。 The skin analysis device 10 includes, for example, a camera 101, a display 102, an input I/F 103, a storage section 104, and a control section 105. Additionally, the skin analysis device 10 may be connected to a database 20.

カメラ１０１は、ユーザ２の顔を撮影する。なお、図１では、カメラ１０１が肌分析装置１０に内蔵されているが、カメラ１０１は肌分析装置１０とは別の装置であってもよい。この場合、カメラ１０１は、所定の有線通信又は無線通信を通じて、撮影した顔画像を肌分析装置１０へ送信する。 Camera 101 photographs user 2's face. Although the camera 101 is built into the skin analysis device 10 in FIG. 1, the camera 101 may be a separate device from the skin analysis device 10. In this case, the camera 101 transmits the photographed facial image to the skin analysis device 10 through predetermined wired or wireless communication.

ディスプレイ１０２は、画像及び情報などを表示する。なお、図１では、ディスプレイ１０２が肌分析装置１０に内蔵されているが、ディスプレイ１０２は肌分析装置１０とは別の装置であってもよい。この場合、肌分析装置１０は、表示用のデータを、所定の有線通信又は無線通信を通じて、ディスプレイ１０２へ送信する。 The display 102 displays images, information, and the like. Although the display 102 is built into the skin analysis device 10 in FIG. 1, the display 102 may be a separate device from the skin analysis device 10. In this case, the skin analysis device 10 transmits display data to the display 102 through predetermined wired communication or wireless communication.

入力Ｉ／Ｆ１０３は、ユーザ２からの指示を受け付ける。なお、肌分析装置１０は、複数の入力Ｉ／Ｆ１０３を備えてもよい。例えば、肌分析装置１０は、入力Ｉ／Ｆ１０３として、タッチパネル、マウス、キーボード、撮影指示用のボタン、及び音声入力用のマイクなどを備えてもよい。また、入力Ｉ／Ｆ１０３は、肌分析装置１０とは別の装置であってもよい。この場合、入力Ｉ／Ｆ１０３は、入力されたデータを、所定の有線通信又は無線通信を通じて、肌分析装置１０へ送信する。 The input I/F 103 receives instructions from the user 2. Note that the skin analysis device 10 may include a plurality of input I/Fs 103. For example, the skin analysis device 10 may include, as the input I/F 103, a touch panel, a mouse, a keyboard, a button for photographing instructions, a microphone for voice input, and the like. Moreover, the input I/F 103 may be a device different from the skin analysis device 10. In this case, input I/F 103 transmits the input data to skin analysis device 10 through predetermined wired communication or wireless communication.

記憶部１０４は、制御部１０５に使用されるデータを記憶する。記憶部１０４は、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリであってもよいし、ＳＳＤ（Solid State Drive）などの不揮発性メモリであってもよい。或いは、記憶部１０４は、
これらの組み合わせであってもよい。 The storage unit 104 stores data used by the control unit 105. The storage unit 104 may be a volatile memory such as a DRAM (Dynamic Random Access Memory), or a nonvolatile memory such as an SSD (Solid State Drive). Alternatively, the storage unit 104
A combination of these may also be used.

制御部１０５は、例えばＣＰＵ（Central Processing Unit）であり、肌分析装置１０
が有する機能を実現する。例えば、制御部１０５は、記憶部１０４に記憶されたコンピュータプログラムを実行することにより、後述する、撮影処理部２０１、顔部位認識部２０２、顔部位マークＵＩ部２０３、分析領域設定部２０４及び肌分析実行部２０５に係る機能を実現する。 The control unit 105 is, for example, a CPU (Central Processing Unit), and the control unit 105 is a CPU (Central Processing Unit).
realize the functions possessed by For example, by executing a computer program stored in the storage unit 104, the control unit 105 controls the image capturing processing unit 201, facial part recognition unit 202, facial part mark UI unit 203, analysis area setting unit 204, and skin It realizes the functions related to the analysis execution unit 205.

撮影処理部２０１は、カメラ１０１を制御してユーザ２の顔を撮影し、顔画像を生成する。なお、撮影処理部２０１は、カメラ１０１で撮影中の顔画像をリアルタイムにディスプレイ１０２に表示してもよい。これにより、ユーザ２は、ディスプレイ１０２を見ながら、自分の顔が正しく撮影されるように、顔の位置及び向きなどを調整することができる。 The photographing processing unit 201 controls the camera 101 to photograph the face of the user 2 and generates a facial image. Note that the photographing processing unit 201 may display the face image being photographed by the camera 101 on the display 102 in real time. Thereby, the user 2 can adjust the position and orientation of his or her face while viewing the display 102 so that the user's face is photographed correctly.

また、撮影処理部２０１は、ユーザ２の正面顔、左横顔、及び右横顔を撮影してよい。左横顔及び右横顔が適切に撮影されるように、肌分析装置１０には、図１に示すように、ユーザ２から向かってカメラ１０１よりも左側に鏡１１ａが備えられ、ユーザ２から向かってカメラ１０１よりも右側に鏡１１ｂが備えられてよい。左側の鏡１１ａの向き（角度）は、ユーザ２がその左側の鏡１１ａに正面顔が映るように顔を向けたときに、カメラ１０１がユーザ２の適切な右横顔を撮影できる向き（角度）であってよい。右側の鏡１１ｂの向き（角度）は、ユーザ２がその右側の鏡１１ｂに正面顔が映るように顔を向けたときに、カメラ１０１がユーザ２の適切な左横顔を撮影できる向き（角度）であってよい。 Further, the photographing processing unit 201 may photograph the front face, left profile, and right profile of the user 2. As shown in FIG. 1, the skin analysis device 10 is equipped with a mirror 11a on the left side of the camera 101 when facing from the user 2, so that the left side profile and the right side face are appropriately photographed. A mirror 11b may be provided on the right side of the camera 101. The direction (angle) of the left mirror 11a is such that when the user 2 turns his/her face so that the front face is reflected in the left mirror 11a, the camera 101 can capture an appropriate right side profile of the user 2. It may be. The direction (angle) of the right mirror 11b is such that when the user 2 turns his/her face so that the front face is reflected in the right mirror 11b, the camera 101 can capture an appropriate left side profile of the user 2. It may be.

また、撮影処理部２０１は、撮影に際し、ユーザ２に対して正面を向くように指示し、カメラ１０１から正面顔を撮影してよい。図４は、ユーザ２の正面顔を撮影した顔画像２５０ａの一例である。次に、撮影処理部２０１は、ユーザ２に対して左側の鏡１１ａに正面顔が映るように顔を向けるよう指示し、カメラ１０１から右横顔を撮影してよい。図５は、ユーザ２の右横顔を撮影した顔画像２５０ｂの一例である。最後に、撮影処理部２０１は、ユーザ２に対して右側の鏡１１ｂに正面顔が映るように顔を向けるようを指示し、カメラ１０１から左横顔を撮影してよい。図６は、ユーザ２の左横顔を撮影した顔画像２５０ｃの一例である。以下、正面顔、左横顔及び右横顔を区別しない場合は、顔画像２５０と表現する。 Further, the photographing processing unit 201 may instruct the user 2 to face the front when photographing, and may photograph the user's front face with the camera 101. FIG. 4 is an example of a face image 250a taken of the front face of the user 2. Next, the photographing processing unit 201 may instruct the user 2 to turn his or her face so that the front face is reflected in the left mirror 11a, and photograph the right side profile using the camera 101. FIG. 5 is an example of a face image 250b obtained by photographing the right side profile of the user 2. Finally, the photographing processing unit 201 may instruct the user 2 to turn his or her face so that the front face is reflected in the right mirror 11b, and photograph the left side profile using the camera 101. FIG. 6 is an example of a face image 250c taken of the left side profile of the user 2. Hereinafter, when a front face, a left profile face, and a right profile face are not distinguished, they will be expressed as a face image 250.

顔部位認識部２０２は、例えば、次の処理によって顔部位を認識する。すなわち、顔部位認識部２０２は、まず、公知の画像処理技術を用いて、顔画像２５０から特徴点を抽出する。次に、顔部位認識部２０２は、その抽出した特徴点から、顔の輪郭、目、鼻、口、眉、及び髪の毛の生え際などの顔部位を認識する。 The facial part recognition unit 202 recognizes facial parts by, for example, the following process. That is, the facial part recognition unit 202 first extracts feature points from the facial image 250 using a known image processing technique. Next, the facial part recognition unit 202 recognizes facial parts such as the facial outline, eyes, nose, mouth, eyebrows, and hairline from the extracted feature points.

しかし、特徴点の抽出精度が低い場合など、顔部位認識部２０２が、顔部位の認識に失敗する場合がある。また、顔部位認識部２０２が顔部位の認識に成功したと判定しても、実際には顔部位の位置などが正しく認識されていない場合がある。本実施の形態に係る肌分析装置１０は、このような場合において、顔部位の認識を効率的に修正することができる。 However, the face part recognition unit 202 may fail to recognize a face part, such as when the extraction accuracy of feature points is low. Furthermore, even if the facial part recognition unit 202 determines that facial part recognition has been successful, the position of the facial part may not actually be recognized correctly. The skin analysis device 10 according to the present embodiment can efficiently correct facial region recognition in such a case.

顔部位マークＵＩ部２０３は、顔部位マークを顔画像に配置した顔部位マークのＵＩをディスプレイに表示させ、顔部位マークに対する操作を受け付ける。顔部位マークとは、後述の図８等に示すように、各顔部位を示すマーク（イラスト）である。例えば、顔部位「目」を示す顔部位マークは、目のマーク（イラスト）であり、顔部位「口」を示す顔部位マーク３０１は、口のマーク（イラスト）である。 The face part mark UI unit 203 displays on the display a UI of a face part mark in which the face part mark is placed on a face image, and accepts an operation for the face part mark. The facial part mark is a mark (illustration) indicating each facial part, as shown in FIG. 8, etc., which will be described later. For example, the facial part mark 301 indicating the facial part "eyes" is an eye mark (illustration), and the facial part mark 301 indicating the facial part "mouth" is a mouth mark (illustration).

なお、顔部位マークＵＩ部２０３は、顔部位認識部２０２が顔部位の認識に成功したと判断した場合、その認識された顔部位の位置に、当該顔部位を示す顔部位マークを配置してよい。 Note that when the face part recognition unit 202 determines that the face part has been successfully recognized, the face part mark UI unit 203 places a face part mark indicating the face part at the position of the recognized face part. good.

また、顔部位マークＵＩ部２０３は、顔部位認識部２０２が顔部位の認識に失敗したと判定した場合、所定の位置に顔部位マークを配置してもよい。或いは、顔部位マークＵＩ部２０３は、顔部位認識部２０２が顔部位の認識に失敗したと判定した場合、ユーザ２の他の顔画像（例えば過去の顔画像）において認識に成功したときの顔部位マークを、顔画像に配置してもよい。或いは、顔部位マークＵＩ部２０３は、顔部位認識部２０２が顔部位の認識に失敗したと判定した場合、ユーザ２の他の顔画像（例えば過去の顔画像）に対して操作によっては位置された顔部位マークを、顔画像に配置してもよい。なお、顔部位マークＵＩ部２０３の詳細については後述する。 Furthermore, when the face part recognition unit 202 determines that facial part recognition has failed, the face part mark UI unit 203 may place a face part mark at a predetermined position. Alternatively, when the face part recognition unit 202 determines that recognition of a face part has failed, the face part mark UI unit 203 displays a face that was successfully recognized in another face image (for example, a past face image) of the user 2. Part marks may be placed on the facial image. Alternatively, if the face part recognition unit 202 determines that recognition of a face part has failed, the face part mark UI part 203 may be positioned with respect to another face image (for example, a past face image) of the user 2 by an operation. A facial part mark may be placed on the facial image. Note that details of the facial part mark UI section 203 will be described later.

分析領域設定部２０４は、顔部位マークＵＩ部２０３によって配置された顔部位マークの位置に基づいて、顔画像に少なくとも１つの肌分析領域を設定する。なお、分析領域設定部２０４は、顔部位認識部２０２によって認識された各顔部位の位置に基づいて、顔画像に肌分析領域を設定してもよい。なお、分析領域設定部２０４の詳細については後述する。 The analysis area setting unit 204 sets at least one skin analysis area in the facial image based on the position of the facial part mark placed by the facial part mark UI unit 203. Note that the analysis region setting section 204 may set a skin analysis region in the facial image based on the position of each facial region recognized by the facial region recognition section 202. Note that details of the analysis area setting unit 204 will be described later.

肌分析実行部２０５は、分析領域設定部２０４によって顔画像に設定された各肌分析領域に対して、肌分析を実行する。例えば、肌分析実行部２０５は、顔画像における肌分析領域内に対して公知の画像処理を適用して、皺、シミ、及び／又は、毛穴などの量を分析する。 The skin analysis execution unit 205 executes skin analysis on each skin analysis area set in the facial image by the analysis area setting unit 204. For example, the skin analysis execution unit 205 applies known image processing to the skin analysis region of the facial image to analyze the amount of wrinkles, spots, and/or pores.

データベース２０は、各ユーザ２の顔画像と、当該顔画像の肌分析結果とを対応付けて管理する。なお、図３において、データベース２０は、肌分析装置１０とは別の装置であるが、データベース２０は、肌分析装置１０に内蔵されてもよい。 The database 20 manages the facial images of each user 2 and the skin analysis results of the facial images in association with each other. Note that in FIG. 3, the database 20 is a separate device from the skin analysis device 10, but the database 20 may be built into the skin analysis device 10.

＜顔部位マークＵＩ部の詳細＞
次に、図７に示すフローチャートを参照して、顔部位マークＵＩ部２０３の詳細について説明する。なお、正面顔、左横顔及び右横顔の３つの顔画像２５０ａ、２５０ｂ、２５０ｃを撮影する場合、顔部位認識部２０２は、顔画像２５０ａ、２５０ｂ、２５０ｃのそれぞれについて、当該フローチャートを実行してよい。 <Details of face part mark UI section>
Next, details of the facial part mark UI section 203 will be explained with reference to the flowchart shown in FIG. Note that when capturing three facial images 250a, 250b, and 250c of a front face, a left profile, and a right profile, the facial part recognition unit 202 may execute the flowchart for each of the facial images 250a, 250b, and 250c. .

顔部位認識部２０２は、公知の画像処理技術を用いて、顔画像２５０ら、顔部位を認識する（Ｓ１０１）。そして、顔部位認識部２０２は、顔部位の認識に成功したか否かを判定する（Ｓ１０２）。例えば、顔部位認識部２０２は、顔の輪郭、目、鼻、口、眉、及び、髪の毛の生え際などの全ての顔部位を認識できた場合、認識成功と判定する。或いは、顔部位認識部２０２は、これらのうち、少なくとも１つの顔部位を認識できた場合、認識成功と判定してもよい。或いは、顔部位認識部２０２は、正面顔の顔画像２５０ａと、右横顔の顔画像２５０ｂと、左横顔の顔画像２５０ｃとを比較し、少なくとも２つにおいて顔のサイズが所定以上異なっている場合、認識失敗と判定してもよい。 The facial part recognition unit 202 recognizes facial parts in the facial image 250 using a known image processing technique (S101). Then, the facial part recognition unit 202 determines whether the recognition of the facial part has been successful (S102). For example, the facial part recognition unit 202 determines that recognition is successful when all facial parts such as the outline of the face, eyes, nose, mouth, eyebrows, and hairline can be recognized. Alternatively, the facial part recognition unit 202 may determine that the recognition is successful if at least one of these facial parts can be recognized. Alternatively, the face part recognition unit 202 compares the face image 250a of the front face, the face image 250b of the right side face, and the face image 250c of the left side face, and if the face sizes of at least two of them differ by more than a predetermined value, , it may be determined that recognition has failed.

Ｓ１０１において顔部位認識部２０２が顔部位の認識失敗と判定した場合（Ｓ１０２：ＮＯ）、顔部位マークＵＩ部２０３は、デフォルトの位置に顔部位マークを配置した顔部位マークのＵＩ５００（図１３参照）をディスプレイ１０２に表示し、ユーザ２からの操作を受け付ける（Ｓ１０３）。ユーザ２は、顔部位マークのＵＩ５００をマニュアル（手動）操作して、顔画像の各顔部位の正しい位置に、その顔部位を示す顔部位マーク３０１（図８参照）を配置する（Ｓ１０４）。 If the face part recognition unit 202 determines that recognition of the face part has failed in S101 (S102: NO), the face part mark UI unit 203 displays the face part mark UI 500 (see FIG. 13) in which the face part mark is placed in the default position. ) is displayed on the display 102, and an operation from the user 2 is accepted (S103). The user 2 manually operates the face part mark UI 500 to place a face part mark 301 (see FIG. 8) indicating the face part at the correct position of each face part in the face image (S104).

顔部位マークＵＩ部２０３は、ユーザ２からの完了指示を受領すると、ユーザ２が再配置した顔部位マーク３０１の位置を確定する（Ｓ１０５）。そして、本フローは終了する。 Upon receiving the completion instruction from the user 2, the facial part mark UI unit 203 determines the position of the facial part mark 301 rearranged by the user 2 (S105). Then, this flow ends.

Ｓ１０１において顔部位認識部２０２が顔部位の認識成功と判定した場合（Ｓ１０２：ＹＥＳ）、顔部位マークＵＩ部２０３は、顔部位認識部２０２が認識した位置に顔部位マーク３０１を配置した顔部位マークのＵＩ３００（図８、図９及び図１０参照）を、ディスプレイ１０２に表示し（Ｓ１０６）、ユーザ２からの操作を受け付ける。 If the face part recognition unit 202 determines that the face part recognition is successful in S101 (S102: YES), the face part mark UI unit 203 displays the face part mark 301 placed at the position recognized by the face part recognition unit 202. The mark UI 300 (see FIGS. 8, 9, and 10) is displayed on the display 102 (S106), and operations from the user 2 are accepted.

ユーザ２は、顔部位マークのＵＩ３００を見て、顔画像の各顔部位の位置に、その顔部位を示す顔部位マーク３０１が正しく配置されているか否かを判断する（Ｓ１０７）。 The user 2 looks at the facial part mark UI 300 and determines whether the facial part mark 301 indicating the facial part is correctly placed at the position of each facial part in the face image (S107).

ユーザ２が顔部位マーク３０１が正しく配置されていると判断した場合（Ｓ１０７：ＹＥＳ）、顔部位マークＵＩ部２０３は、その配置されている顔部位マーク３０１の位置を確定する（Ｓ１０８）。そして、本フローは終了する。 If the user 2 determines that the face part mark 301 is correctly placed (S107: YES), the face part mark UI unit 203 determines the position of the placed face part mark 301 (S108). Then, this flow ends.

ユーザ２が顔部位マーク３０１が正しく配置されていないと判断した場合（Ｓ１０７：ＮＯ）、顔部位マークＵＩ部２０３は、顔部位認識部２０２が認識した位置に顔部位マーク３０１を配置した顔部位マークのＵＩ４００（図１１及び図１２参照）を、ディスプレイ１０２に表示し、ユーザ２からの操作を受け付ける（Ｓ１０９）。ユーザ２は、顔部位マークのＵＩ４００をマニュアル（手動）操作して、顔画像の各顔部位の正しい位置に、その顔部位を示す顔部位マーク３０１を再配置（修正）する（Ｓ１１０）。 If the user 2 determines that the face part mark 301 is not placed correctly (S107: NO), the face part mark UI unit 203 displays the face part mark 301 placed at the position recognized by the face part recognition unit 202. The mark UI 400 (see FIGS. 11 and 12) is displayed on the display 102, and operations from the user 2 are accepted (S109). The user 2 manually operates the facial part mark UI 400 to rearrange (correct) the facial part mark 301 indicating the facial part at the correct position of each facial part in the face image (S110).

顔部位マークＵＩ部２０３は、ユーザ２からの完了指示を受領すると、ユーザ２が再配置した顔部位マーク３０１の位置を確定する（Ｓ１１１）。そして、本フローは終了する。 Upon receiving the completion instruction from the user 2, the facial part mark UI unit 203 determines the position of the facial part mark 301 rearranged by the user 2 (S111). Then, this flow ends.

＜顔部位マークのＵＩの例＞
図８、図９及び図１０は、図７のＳ１０６にて表示される顔部位マークのＵＩ３００の一例である。なお、図８、図９及び図１０は、顔部位の認識に成功し、かつ、顔部位マーク３０１が正しく配置されている例である。また、図８は、正面顔の顔部位マークのＵＩ３００の例であり、図９は、右横顔の顔部位マークのＵＩ３００の例であり、図１０は、左横顔の顔部位マークのＵＩ３００の例である。 <Example of UI for face part mark>
8, 9, and 10 are examples of the facial part mark UI 300 displayed in S106 of FIG. 7. Note that FIGS. 8, 9, and 10 are examples in which facial part recognition is successful and the facial part mark 301 is correctly placed. Further, FIG. 8 is an example of a UI 300 for a face part mark for a front face, FIG. 9 is an example of a UI 300 for a face part mark for a right profile, and FIG. 10 is an example of a UI 300 for a face part mark for a left profile. It is.

図８、図９及び図１０に示すように、顔部位の認識に成功した場合、顔部位マークＵＩ部２０３は、顔画像の認識した顔部位の位置に、その顔部位を示す顔部位マーク３０１を配置した顔部位マークのＵＩ３００を生成し、ディスプレイ１０２に表示する。 As shown in FIGS. 8, 9, and 10, when the recognition of a facial part is successful, the facial part mark UI section 203 displays a facial part mark 301 indicating the recognized facial part at the position of the recognized facial part in the face image. A UI 300 of a facial part mark in which the .

図８、図９及び図１０では、目の顔部位マーク３０１ａが、顔画像の目の位置に正しく配置されている。また、鼻の顔部位マーク３０１ｂが、顔画像の鼻の位置に正しく配置されている。また、口の顔部位マーク３０１ｃが、顔画像の口の位置に正しく配置されている。また、眉の顔部位マーク３０１ｄが、顔画像の眉の位置に正しく配置されている。顔輪郭の顔部位マーク３０１ｅが、顔画像の顎から耳にかけての輪郭の位置に正しく配置されている。また、髪の生え際の顔部位マーク３０１ｆが、顔画像の髪の生え際の位置に正しく配置されている。 In FIGS. 8, 9, and 10, the eye facial part mark 301a is correctly placed at the eye position of the face image. Further, the nose facial part mark 301b is correctly placed at the nose position in the face image. Furthermore, the mouth facial part mark 301c is correctly placed at the mouth position in the face image. Furthermore, the eyebrow facial part mark 301d is correctly placed at the eyebrow position of the facial image. The face part mark 301e of the face outline is correctly placed at the position of the outline from the chin to the ear of the face image. Further, the hairline facial part mark 301f is correctly placed at the hairline position of the face image.

ユーザ２は、全ての顔部位マーク３０１が、顔画像の顔部位に正しく配置されている場合、ＯＫボタン３１１を押下する。この場合、図７のＳ１０７の判定結果が「ＹＥＳ」となる。 User 2 presses the OK button 311 when all facial region marks 301 are correctly placed at the facial regions of the facial image. In this case, the determination result in S107 in FIG. 7 is "YES".

ユーザ２は、少なくとも１つの顔部位マーク３０１が、顔画像の顔部位に正しく配置されていない場合、要調整ボタン３１２を押下する。この場合、図７のＳ１０７の判定結果が「ＮＯ」となり、図７のＳ１０９において、顔部位マークのＵＩ４００が表示される。なお、ユーザ２は、図８、図９及び図１０に示す顔画像のそれぞれについて、ＯＫボタン３１１又は要調整ボタン３１２を選択できてよい。この場合、顔部位マークＵＩ部２０３は、要調整ボタン３１２を押下された顔画像についてのみ、顔部位マークのＵＩ４００を表示してよい。 User 2 presses adjustment required button 312 if at least one facial region mark 301 is not correctly placed on the facial region of the facial image. In this case, the determination result in S107 in FIG. 7 is "NO", and in S109 in FIG. 7, the UI 400 of the facial part mark is displayed. Note that the user 2 may be able to select the OK button 311 or the adjustment required button 312 for each of the face images shown in FIGS. 8, 9, and 10. In this case, the face part mark UI unit 203 may display the face part mark UI 400 only for the face image for which the adjustment required button 312 has been pressed.

また、ユーザ２が、図８、図９及び図１０に示す再撮影ボタン３１３を押下した場合、図７に示すフローはＳ１０７からＳ１０１へ戻り、顔の再撮影が行われてよい（図７には図示せず）。この場合、撮影処理部２０１は、再撮影ボタン３１３を押下された顔画像に対応する顔の向きについてのみ、再撮影を行ってもよい。 Further, when the user 2 presses the re-photographing button 313 shown in FIGS. 8, 9, and 10, the flow shown in FIG. 7 returns from S107 to S101, and the face may be re-photographed (see FIG. 7). (not shown). In this case, the photographing processing unit 201 may re-photograph only the face orientation corresponding to the face image for which the re-photographing button 313 was pressed.

図１１及び図１２は、それぞれ、図７のＳ１０９にて表示される顔部位マークのＵＩ４００の一例である。上述のとおり、顔部位マークのＵＩ４００は、顔部位の認識に成功したものの、顔部位マークの修正が必要な場合に用いられる。 11 and 12 are examples of the facial part mark UI 400 displayed in S109 of FIG. 7, respectively. As described above, the face part mark UI 400 is used when the face part mark has been successfully recognized but the face part mark needs to be corrected.

顔部位マークのＵＩ４００は、全ての顔部位マーク３０１をまとめて修正するための顔全体ボタン４０１と、顔部位マーク３０１を個別に修正するための部位別ボタン４０２とを有する。また、顔部位マークのＵＩ４００には、図８～図１０と同様、顔部位認識部２０２が認識（誤認識）した顔部位の位置に、その顔部位を示す顔部位マーク３０１が配置されている。 The face part mark UI 400 includes an entire face button 401 for modifying all the face part marks 301 at once, and a part-specific button 402 for modifying the face part marks 301 individually. Further, in the face part mark UI 400, as in FIGS. 8 to 10, a face part mark 301 indicating the face part is arranged at the position of the face part recognized (erroneously recognized) by the face part recognition unit 202. .

図１１に示すように、顔部位マーク３０１の位置及び／又は大きさが全体的にずれているような場合、ユーザ２は、顔全体ボタン４０１を押下するとよい。顔全体ボタン４０１が押下されると、顔部位マークのＵＩ４００では、破線４２０のように、全ての顔部位マーク３０１が選択された状態となる。これにより、ユーザ２は、全ての顔部位マーク３０１を一度に修正できる。この修正には、移動、回転、拡大、縮小、及び、縦横アスペクト比の変更のうちの少なくとも１つが含まれてよい。 As shown in FIG. 11, if the position and/or size of the face part mark 301 is shifted overall, the user 2 may press the whole face button 401. When the whole face button 401 is pressed, all the face part marks 301 are selected in the face part mark UI 400 as indicated by a broken line 420. Thereby, user 2 can modify all facial part marks 301 at once. This modification may include at least one of moving, rotating, enlarging, reducing, and changing the aspect ratio.

図１２に示すように、個々の顔部位マーク３０１の位置及び／又は大きさがずれているような場合、ユーザ２は、部位別ボタン４０２を押下するとよい。部位別ボタン４０２が押下されると、顔部位マークのＵＩ４００では、各顔部位マーク３０１を選択可能な状態となる。ユーザ２は、破線４３０に示すように、修正したい顔部位マーク３０１を選択し、その選択した顔部位マーク３０１を修正できる。この修正には、移動、回転、拡大、縮小、及び、縦横アスペクト比の変更のうちの少なくとも１つが含まれてよい。 As shown in FIG. 12, if the positions and/or sizes of the individual facial region marks 301 are off, the user 2 may press the region specific button 402. When the body part button 402 is pressed, each facial body part mark 301 becomes selectable on the face body part mark UI 400. The user 2 can select the facial part mark 301 to be modified, as shown by the broken line 430, and modify the selected facial part mark 301. This modification may include at least one of moving, rotating, enlarging, reducing, and changing the aspect ratio.

例えば、図１２の場合、目の顔部位マーク３０１ａの大きさが顔画像の目の大きさよりも小さいので、ユーザ２は、目の顔部位マーク３０１ａを選択し、顔画像の目の大きさに合うように、目の顔部位マーク３０１ａを拡大してよい。また、眉の顔部位マーク３０１ｄの角度が顔画像の眉の角度よりも急なので、ユーザ２は、眉の顔部位マーク３０１ｄを選択し、顔画像の眉の角度に合うように、眉の顔部位マーク３０１ｄを回転してよい。また、鼻の顔部位マーク３０１ｂの縦の長さが顔画像の鼻の長さよりも短いので、ユーザ２は、鼻の顔部位マーク３０１ｂを選択し、顔画像上の鼻の縦の長さに合うように、鼻の顔部位マーク３０１ｂのアスペクト比を変更してよい。 For example, in the case of FIG. 12, the size of the eye facial part mark 301a is smaller than the eye size of the face image, so the user 2 selects the eye facial part mark 301a and adjusts the eye size to the eye size of the face image. The eye facial part mark 301a may be enlarged to fit. In addition, since the angle of the eyebrow facial part mark 301d is steeper than the angle of the eyebrow in the face image, the user 2 selects the eyebrow facial part mark 301d and adjusts the angle of the eyebrow to match the angle of the eyebrow in the face image. The part mark 301d may be rotated. Further, since the vertical length of the nose face part mark 301b is shorter than the nose length in the face image, the user 2 selects the nose face part mark 301b and adjusts the vertical length of the nose in the face image. The aspect ratio of the nose facial part mark 301b may be changed to match.

また、顔部位マークＵＩ部２０３は、顔部位マークの位置と、その顔部位マークに対応する顔部位の位置とが所定距離未満になると、その顔部位マーク３０１を、その顔部位の位置に自動的にスナップさせてもよい。この場合、顔部位マークＵＩ部２０３は、顔部位マーク３０１の近傍の顔画像に対して部分的なパターンマッチングを行って、その顔部位マークに対応する顔部位を認識（つまり再認識）し、その認識した顔部位の位置へ顔部位マークをスナップさせてよい。これにより、ユーザ２が顔部位マークを微調整する手間が省けるので、顔部位マーク３０１の修正作業の効率が向上する。 Furthermore, when the position of a face part mark and the position of the face part corresponding to the face part mark become less than a predetermined distance, the face part mark UI unit 203 automatically moves the face part mark 301 to the position of the face part. You can also make the target snap. In this case, the face part mark UI unit 203 performs partial pattern matching on the face image near the face part mark 301 to recognize (that is, re-recognize) the face part corresponding to the face part mark, The face part mark may be snapped to the position of the recognized face part. This saves the user 2 the effort of making fine adjustments to the face part mark, thereby improving the efficiency of the work of correcting the face part mark 301.

なお、顔部位マークＵＩ部２０３は、位置関係において関連性の高い顔の構成パーツに対応する顔部位マーク３０１同士を、１つのグループにまとめてもよい。位置関係において関連性の高い顔の構成パーツとは、例えば、目と眉、又は、鼻と口のように、位置する距離が比較的近い顔の構成パーツ、或いは、筋肉又は骨格によって互いに連動している顔の構成パーツである。顔部位マークＵＩ部２０３は、グループの単位でまとめて顔部位マーク３０１を移動させてもよい。グループで移動させる場合、或いは、グループの単位ではなく、１つの顔部位マーク３０１を移動させる場合における顔部位マークのＵＩには、顔全体ボタン４０１、部位別ボタン４０２と同様のボタンが別途配置されてもよい。また、キーボード及び／又はマウスなどの操作デバイスのボタン等には、特定の機能が割り当られてもよい。 Note that the face part mark UI unit 203 may combine into one group the face part marks 301 that correspond to parts of the face that are highly related in terms of positional relationship. Component parts of the face that are highly related in terms of position are, for example, parts of the face that are relatively close to each other, such as the eyes and eyebrows, or the nose and mouth, or parts that are linked to each other by muscles or bones. These are the constituent parts of the face. The face part mark UI unit 203 may move the face part marks 301 in groups. When moving in a group, or when moving one face part mark 301 instead of a group unit, buttons similar to the whole face button 401 and the individual part buttons 402 are separately arranged on the face part mark UI. It's okay. Further, specific functions may be assigned to buttons of an operating device such as a keyboard and/or a mouse.

図１３は、図７のＳ１０３にて表示される顔部位マークのＵＩ５００の一例である。上述のとおり、顔部位マークのＵＩ５００は、顔部位の認識に失敗した場合に用いられる。 FIG. 13 is an example of the facial part mark UI 500 displayed in S103 of FIG. As described above, the facial part mark UI 500 is used when facial part recognition fails.

顔部位マークのＵＩ５００は、図１１及び図１２と同様、顔全体ボタン４０１と、部位別ボタン４０２とを有する。なお、顔部位認識部２０２が顔部位の認識に失敗しており、顔部位の位置が不明なので、顔部位マーク３０１のＵＩ５００では、デフォルト（予め登録済み）の位置に、デフォルトの形状の顔部位マーク３０１が配置されてよい。 The face part mark UI 500 includes an entire face button 401 and a part-specific button 402, as in FIGS. 11 and 12. Note that since the face part recognition unit 202 has failed to recognize the face part and the position of the face part is unknown, the UI 500 of the face part mark 301 displays the default shape of the face part at the default (registered in advance) position. A mark 301 may be placed.

ユーザ２は、図１１又は図１２の場合と同様、顔部位マークのＵＩ５００を操作して、顔部位マーク３０１を、その顔部位マークに対応する顔部位の位置に再配置（修正）する。 As in the case of FIG. 11 or 12, the user 2 operates the face part mark UI 500 to rearrange (correct) the face part mark 301 to the position of the face part corresponding to the face part mark.

顔検出に失敗した場合において、顔部位マーク３０１を配置する際、顔部位マークのＵＩ５００は、顔画像上の目の位置をユーザーに指定してもらい、他の顔部位マーク３０１を、デフォルト設定に従って自動的に、その指定された目の位置に対して相対的な位置に配置してもよい。なぜなら、顔のパーツ配置において、最も特徴的なパーツは目であるからである。 When placing the face part mark 301 when face detection fails, the face part mark UI 500 asks the user to specify the position of the eyes on the face image, and then places other face part marks 301 according to the default settings. It may be automatically placed at a position relative to the specified eye position. This is because the eyes are the most distinctive part of the face.

なお、顔部位の認識に失敗した場合における顔部位マーク３０１の修正の手順は、予め定められてよい。例えば、次の（Ａ１）から（Ａ３）の何れかのように、予め修正の手順が定められてよい。 Note that the procedure for correcting the facial part mark 301 in the case of failure in facial part recognition may be determined in advance. For example, a correction procedure may be determined in advance, such as any one of the following (A1) to (A3).

（Ａ１）顔部位マークＵＩ部２０３は、顔部位マークのＵＩ５００において、まず、顔全体に対する顔部位マーク３０１を修正するためのＵＩを表示し（例えば図１１）、次に、顔部位別に顔部位マーク３０１を修正するためのＵＩを表示する（例えば図１２）。当該Ａ１によれば、ユーザ２が迷うことなく顔部位マーク３０１を修正できるので、顔部位マーク３０１の修正作業の効率が向上する。 (A1) In the face part mark UI 500, the face part mark UI unit 203 first displays a UI for modifying the face part mark 301 for the entire face (for example, FIG. 11), and then displays the face part mark for each face part. A UI for modifying the mark 301 is displayed (for example, FIG. 12). According to A1, the user 2 can correct the face part mark 301 without hesitation, so the efficiency of the work of correcting the face part mark 301 is improved.

（Ａ２）顔部位マークＵＩ部２０３は、同一ユーザ２について過去に認識に成功した顔部位マーク３０１がデータベース２０に存在する場合、その顔部位マーク３０１をデフォルトの顔部位マーク３０１として使用する。同一ユーザ２の過去の顔部位マーク３０１の方が、デフォルトの顔部位マーク３０１よりも、そのユーザ２に類似している可能性が高い。したがって、当該Ａ２によれば、顔部位マークの修正の手間を軽減できる。 (A2) If a face part mark 301 that has been successfully recognized in the past for the same user 2 exists in the database 20, the face part mark UI unit 203 uses that face part mark 301 as the default face part mark 301. The past facial part mark 301 of the same user 2 is more likely to be similar to that user 2 than the default facial part mark 301. Therefore, according to A2, it is possible to reduce the effort required to correct facial part marks.

（Ａ３）顔部位マークＵＩ部２０３は、複数回撮影された同一ユーザ２の顔画像を用いて、顔部位マーク３０１を類推する。例えば、左横顔において顔部位の認識に成功し、右横顔において顔部位の認識に失敗した場合、顔部位マークＵＩ部２０３は、認識に成功した左横顔に対応する顔部位マーク（例えば図９）３０１を左右反転させたものを、認識に失敗した右横顔におけるデフォルトの顔部位マーク３０１に使用する。同一ユーザ２の顔画像から類推した顔部位マーク３０１の方が、デフォルトの顔部位マーク３０１よりもそのユーザ２に類似している可能性が高い。したがって、当該Ａ３によれば、顔部位マークの修正の手間を軽減できる。 (A3) The face part mark UI unit 203 infers the face part mark 301 using facial images of the same user 2 that have been photographed multiple times. For example, if facial part recognition is successful for the left profile but fails to be recognized for the right profile, the facial part mark UI unit 203 will display the facial part mark (for example, in FIG. 9) corresponding to the left profile that was successfully recognized. A left-right inverted version of 301 is used as the default facial part mark 301 for the right profile face for which recognition has failed. The face part mark 301 inferred from the face image of the same user 2 is more likely to be similar to that user 2 than the default face part mark 301. Therefore, according to A3, it is possible to reduce the effort required to correct facial part marks.

次に、図１４～図１６を参照して、顔画像の特徴点と顔部位マーク３０１との関係について説明する。 Next, the relationship between the feature points of the facial image and the facial part mark 301 will be explained with reference to FIGS. 14 to 16.

上述のとおり、顔部位認識部２０２は、顔画像から顔部位６０１の特徴点６１０を抽出する。また、顔部位マーク６０２は、図１４に示すように、顔部位６０１に対応する形状を構成する点（以下「構成点」という）６２０を有する。 As described above, facial region recognition unit 202 extracts feature points 610 of facial region 601 from the facial image. Furthermore, as shown in FIG. 14, the face part mark 602 has points (hereinafter referred to as "constituent points") 620 that constitute a shape corresponding to the face part 601.

顔部位マークＵＩ部２０３は、顔部位認識部２０２が顔部位６０１の認識に成功した場合、デフォルトの顔部位マーク６０２の形状を、その認識に成功した顔部位６０１の形状に変形させてよい。なお、形状の変形とは、デフォルトの顔部位マーク６０２の複数の構成点６２０の相対位置を、認識した顔部位６０１の複数の特徴点６１０の相対位置と適合するように変形することであってよい。 If the facial part recognition unit 202 succeeds in recognizing the facial part 601, the facial part mark UI unit 203 may change the shape of the default facial part mark 602 to the shape of the facial part 601 that was successfully recognized. Note that deforming the shape means changing the relative positions of the plurality of constituent points 620 of the default facial part mark 602 so as to match the relative positions of the plurality of feature points 610 of the recognized facial part 601. good.

例えば、図１４に示すように、顔部位マークＵＩ部２０３は、顔画像の目の部分から抽出した特徴点６１０の相対位置に適合するように、目の顔部位マーク６０２の構成点６２０の相対位置を変形する。この変形には、図１５（ａ）～（ｅ）に例示するように、拡大、縮小、回転、及び、アスペクト比変更の少なくとも１つが含まれてよい。これにより、ユーザ２の顔部位６０１に適した顔部位マーク６２０を生成できるので、顔部位マーク６２０の修正の手間を軽減できる。 For example, as shown in FIG. 14, the facial part mark UI unit 203 displays the relative position of the component points 620 of the eye facial part mark 602 so as to match the relative position of the feature point 610 extracted from the eye part of the face image. Transform the position. This transformation may include at least one of enlargement, reduction, rotation, and aspect ratio change, as illustrated in FIGS. 15(a) to 15(e). As a result, a face part mark 620 suitable for the face part 601 of the user 2 can be generated, so that the effort of correcting the face part mark 620 can be reduced.

また、認識された顔部位６０１の特徴点６１０と、その顔部位６０１に対応する顔部位マーク６２０の構成点６２０とは対応付けられてよい。この場合、顔部位マークの修正用ＵＩ４００において、顔部位マーク６０２が修正されると、顔部位マークＵＩ部２０３は、その顔部位マーク６０２の構成点６２０に対応付けられている特徴点６１０を修正してよい。すなわち、顔部位マークのＵＩ４００は、認識された顔部位６０１の特徴点６１０を容易に修正することができるＵＩともいえる。 Further, the feature points 610 of the recognized facial region 601 and the constituent points 620 of the facial region mark 620 corresponding to the facial region 601 may be associated with each other. In this case, when the face part mark 602 is modified in the face part mark correction UI 400, the face part mark UI section 203 modifies the feature points 610 that are associated with the component points 620 of the face part mark 602. You may do so. In other words, the facial part mark UI 400 can be said to be a UI that allows the feature points 610 of the recognized facial part 601 to be easily modified.

また、顔部位マークのＵＩ５００において、顔部位マーク６０２が配置されると、顔部位マークＵＩ部２０３は、その配置された顔部位マーク６０２の構成点６２０を、その顔部位マーク６０２に対応する顔部位６０１の特徴点６１０として顔画像に設定してよい。 Furthermore, when a face part mark 602 is placed in the face part mark UI 500, the face part mark UI unit 203 displays the component points 620 of the placed face part mark 602 on the face corresponding to the face part mark 602. The feature points 610 of the body part 601 may be set in the facial image.

例えば、まず、図１６（ａ）、（ｂ）に示すように、ユーザ２が、顔部位マークのＵＩ５００において、顔部位「目」６０１に適合するように目の顔部位マーク６０２を変形させて、顔部位「目」６０１の位置に配置する。次に、図１６（ｃ）に示すように、顔部位マークＵＩ２０３は、配置された顔部位マーク６０１の構成点６２０を、顔部位「目」６０１の特徴点６１０として顔画像に設定する。 For example, first, as shown in FIGS. 16A and 16B, the user 2 deforms the eye face part mark 602 to fit the face part "eye" 601 on the face part mark UI 500. , is placed at the position of the facial part "eye" 601. Next, as shown in FIG. 16C, the face part mark UI 203 sets the constituent points 620 of the arranged face part mark 601 as the feature points 610 of the face part "eyes" 601 in the face image.

これにより、顔部位の認識に失敗した場合であっても、容易に顔部位６０１の特徴点６１０を設定できる。すなわち、顔部位マークのＵＩ５００は、顔部位６０１の特徴点６１０を容易に設定できるＵＩともいえる。 Thereby, even if facial region recognition fails, the feature points 610 of the facial region 601 can be easily set. In other words, the facial part mark UI 500 can be said to be a UI that allows the feature points 610 of the facial part 601 to be easily set.

＜分析領域設定部の詳細＞
図１７は、肌分析領域のＵＩ７００の一例を示す。次に、図１７を参照して、肌分析領域部２０４について詳細に説明する。 <Details of analysis area setting section>
FIG. 17 shows an example of a UI 700 of the skin analysis area. Next, the skin analysis area section 204 will be described in detail with reference to FIG. 17.

分析領域設定部２０４は、各顔部位マーク３０１の位置に基づいて、顔画像に対して肌分析領域を設定する。或いは、分析領域設定部２０４は、顔部位の特徴点に基づいて、顔画像に対して肌分析領域を設定してもよい。なお、この顔部位の特徴点は、顔部位マークのＵＩ４００によって修正されたものであってよい。 Analysis area setting section 204 sets a skin analysis area for the facial image based on the position of each facial part mark 301. Alternatively, the analysis area setting unit 204 may set a skin analysis area for the facial image based on the feature points of the facial region. Note that the feature points of this facial region may be modified using the facial region mark UI 400.

分析領域設定部２０４は、図１７に例示するように、髪の生え際の顔部位マーク３０１ｆと、眉の顔部位マーク３０１ｄとの間を、額の肌分析領域７０１ａに設定してよい。また、分析領域設定部２０４は、目の顔部位マーク３０１ａの下の所定領域を、目周りの肌分析領域７０１ｂに設定してよい。また、分析領域設定部２０４は、鼻の顔部位マーク３０１ｂの重畳領域を、鼻の肌分析領域７０１ｃに設定してよい。また、分析領域設定部２０４は、口の顔部位マーク３０１ｃの左右の所定領域を、口周りの肌分析領域７０１ｄに設定してよい。また、分析領域設定部２０４は、顔の輪郭線の顔部位マーク３０１ｅと、目の顔部位マーク３０１ａと、鼻の顔部位マーク３０１ｂと、口の顔部位マーク３０１ｃとに囲まれた所定領域を、頬の肌分析領域７０１ｅに設定してよい。 As illustrated in FIG. 17, the analysis region setting unit 204 may set the area between the hairline facial region mark 301f and the eyebrow facial region mark 301d as the forehead skin analysis region 701a. Furthermore, the analysis area setting unit 204 may set a predetermined area under the eye facial part mark 301a as the skin analysis area 701b around the eyes. Furthermore, the analysis area setting unit 204 may set the overlapping area of the nose facial part mark 301b to the nose skin analysis area 701c. The analysis area setting unit 204 may also set predetermined areas on the left and right sides of the mouth facial part mark 301c as the skin analysis area 701d around the mouth. The analysis area setting unit 204 also defines a predetermined area surrounded by the face part mark 301e of the face outline, the eye face part mark 301a, the nose face part mark 301b, and the mouth face part mark 301c. , may be set in the cheek skin analysis area 701e.

なお、顔部位マークＵＩ部２０３は、図１７に示すように、分析領域設定部２０４によって設定された肌分析領域と、顔画像及び顔部位マークとを含む肌分析領域のＵＩ７００を生成し、ディスプレイ１０２に表示してよい。これにより、ユーザ２は、肌分析領域が正しく設定されているか否かを判断できる。 Note that, as shown in FIG. 17, the facial region mark UI section 203 generates a skin analysis region UI 700 that includes the skin analysis region set by the analysis region setting section 204, a facial image, and a facial region mark, and displays the skin analysis region UI 700 on the display. 102. Thereby, the user 2 can determine whether the skin analysis area is set correctly.

また、顔部位マークＵＩ部２０３は、顔部位マークのＵＩ４００に、分析領域設定部２０４によって設定された肌分析領域を合わせて表示してもよい。この場合、分析領域設定部２０４は、顔部位マークの修正に応じて、リアルタイムに肌分析領域を再設定してよい。そして、顔部位マークＵＩ部２０３は、その再設定された肌分析領域をリアルタイムに顔部位マークのＵＩ４００に表示してもよい。これにより、ユーザ２は、肌分析領域が正しく設定されるように、顔部位マークを修正できる。 Further, the facial region mark UI section 203 may display the skin analysis region set by the analysis region setting section 204 together with the facial region mark UI 400. In this case, the analysis area setting unit 204 may reset the skin analysis area in real time in accordance with the correction of the facial region mark. Then, the face part mark UI unit 203 may display the reset skin analysis area on the face part mark UI 400 in real time. Thereby, the user 2 can modify the facial region mark so that the skin analysis area is correctly set.

また、肌分析実行部２０５は、上述のように設定された各肌分析領域に対して、公知の画像処理技術を適用し、肌分析を実行してよい。肌分析実行部２０５は、異なる肌分析領域に対して、異なる肌分析を実行してよい。例えば、肌分析実行部２０５は、額の肌分析領域７０１ａ、目周りの肌分析領域７０１ｂ、及び、口周りの肌分析領域７０１ｄに対して、皺の量を分析してよい。また、肌分析実行部２０５は、鼻の肌分析領域７０１ｃに対して、毛穴の量を分析してよい。また、肌分析実行部２０５は、頬の肌分析領域７０１ｅに対して、シミ及び毛穴の量を分析してよい。 Further, the skin analysis execution unit 205 may perform skin analysis by applying a known image processing technique to each skin analysis area set as described above. The skin analysis execution unit 205 may perform different skin analyzes on different skin analysis regions. For example, the skin analysis execution unit 205 may analyze the amount of wrinkles in the skin analysis area 701a around the forehead, the skin analysis area 701b around the eyes, and the skin analysis area 701d around the mouth. Furthermore, the skin analysis execution unit 205 may analyze the amount of pores in the nose skin analysis region 701c. Furthermore, the skin analysis execution unit 205 may analyze the amount of spots and pores in the cheek skin analysis region 701e.

＜注記＞
顔部位認識部２０２において顔画像における顔部位の認識に失敗した場合、当該顔画像と、顔部位マークＵＩ部２０３の操作を通じて配置された顔部位マークの位置などの情報と、を対応付けてよい。そして、当該対応関係を用いた機械学習を実機することにより、顔部位認識部２０２における顔部位認識の精度を向上させることも可能である。 <Note>
If the face part recognition unit 202 fails to recognize a face part in a face image, the face image may be associated with information such as the position of a face part mark placed through the operation of the face part mark UI unit 203. . It is also possible to improve the accuracy of face part recognition in the face part recognition unit 202 by actually performing machine learning using this correspondence.

また、上述では、顔部位マークＵＩ部２０３は、図７のＳ１０７において、図８から図１０のＵＩ３００に示すような画面を表示して、ユーザ２に、顔部位と顔部位マークとの位置関係を確認させることを例示した。しかし、顔部位マークＵＩ部２０３は、図７のＳ１０７において、図１７に例示するような肌分析領域を含む画面を表示して、ユーザ２に、顔部位、顔部位マーク及び肌分析領域の位置関係を確認させてもよい。 In addition, in the above description, the facial part mark UI unit 203 displays screens as shown in the UI 300 of FIGS. 8 to 10 in S107 of FIG. This example shows how to confirm the following. However, in S107 of FIG. 7, the facial part mark UI unit 203 displays a screen including the skin analysis area as illustrated in FIG. You may want to confirm the relationship.

＜本開示のまとめ＞
本実施の形態では、肌分析装置１０は、カメラ１０１が撮影したユーザ２の顔画像から顔部位を認識する顔部位認識部２０２と、顔部位を示す顔部位マーク３０１を顔画像に配置した顔部位マークのＵＩをディスプレイ１０２に表示させ、顔部位マーク３０１に対する操作を受け付ける顔部位マークＵＩ部２０３と、操作された顔部位マーク３０１の位置に基づいて、顔画像に対して肌分析領域を設定する分析領域設定部２０４と、設定された肌分析領域に対して肌分析を実行する肌分析実行部２０５とを備える。当該構成によれば、例えば以下の（１）及び（２）のような作用効果が得られる。 <Summary of this disclosure>
In the present embodiment, the skin analysis device 10 includes a facial region recognition unit 202 that recognizes a facial region from a facial image of the user 2 taken by a camera 101, and a facial region recognition unit 202 that recognizes a facial region from a facial image of the user 2 captured by a camera 101, and a facial region recognition unit 202 that recognizes a facial region from a facial image of the user 2 taken by a camera 101, and a facial region recognition unit 202 that recognizes a facial region from a facial image of the user 2 taken by a camera 101. A face part mark UI unit 203 displays a part mark UI on the display 102 and receives an operation on the face part mark 301, and a skin analysis area is set for the face image based on the position of the operated face part mark 301. and a skin analysis execution unit 205 that executes skin analysis on the set skin analysis area. According to the configuration, the following effects (1) and (2) can be obtained, for example.

（１）特許文献１に代表される従来の構成では、顔部位認識部２０２の許容範囲に収まらない顔画像が撮影された場合、顔部位の認識に失敗し、肌分析領域を設定できない。典型的には、髪の毛により顔部位の一部が隠れて撮影された場合、又は、横顔の顔画像の撮影時に横顔の角度が深くなり過ぎて目などの顔部位が撮影されなかった場合などに、顔部位の認識に失敗する。これに対して、本実施の形態に係る肌分析装置１０によれば、顔部位マークＵＩ部２０３の操作を通じて顔部位に関する情報を設定（修正）するにより、肌分析領域を設定することが可能となる。 (1) In the conventional configuration typified by Patent Document 1, when a face image that does not fall within the tolerance range of the facial part recognition unit 202 is captured, facial part recognition fails and a skin analysis region cannot be set. Typically, this occurs when a part of the face is obscured by hair, or when a profile image is taken, and the angle of the profile is too deep and facial parts such as the eyes are not captured. , fails to recognize facial parts. In contrast, according to the skin analysis device 10 according to the present embodiment, the skin analysis region can be set by setting (correcting) information regarding the facial region through the operation of the facial region mark UI section 203. Become.

（２）従来の構成では、肌分析領域に含まれる毛髪領域が肌分析結果に影響を及ぼすことがあったため、美容皮膚科などの医療現場では、毛髪領域を肌分析領域から除外することが課題の１つであった。これに対して、本実施の形態に係る肌分析装置１０によれば、髪の毛の生え際など顔部位を顔部位マークＵＩ部２０３の操作を通じて指定できるため、毛髪領域を簡単かつ適切に除外することができる。 (2) In the conventional configuration, the hair area included in the skin analysis area could affect the skin analysis results, so in medical settings such as cosmetic dermatology, it is an issue to exclude the hair area from the skin analysis area. It was one of the On the other hand, according to the skin analysis device 10 according to the present embodiment, facial parts such as the hairline can be specified through the operation of the face part mark UI section 203, so that hair regions can be easily and appropriately excluded. can.

以上、本開示に係る実施形態について図面を参照して詳述してきたが、上述した肌分析装置１０の機能は、コンピュータプログラムにより実現され得る。 Although the embodiments according to the present disclosure have been described above in detail with reference to the drawings, the functions of the skin analysis device 10 described above can be realized by a computer program.

図１８は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ２１００は、キーボード又はマウス、タッチパッドなどの入力装置２１０１、ディスプレイ又はスピーカーなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５、ハードディスク装置又はＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う通信装置２１０８を備え、各部はバス２１０９により接続される。 FIG. 18 is a diagram showing the hardware configuration of a computer that implements the functions of each device using programs. This computer 2100 includes an input device 2101 such as a keyboard, mouse, or touch pad, an output device 2102 such as a display or speakers, a CPU (Central Processing Unit) 2103, a ROM (Read Only Memory) 2104, a RAM (Random Access Memory) 2105, A reading device 2107 that reads information from a storage device 2106 such as a hard disk device or an SSD (Solid State Drive), a recording medium such as a DVD-ROM (Digital Versatile Disk Read Only Memory) or a USB (Universal Serial Bus) memory, and a network. It includes a communication device 2108 that performs communication, and each part is connected by a bus 2109.

そして、読取装置２１０７は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、通信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。 Then, the reading device 2107 reads the program from the recording medium recording the program for realizing the functions of each of the above devices, and stores the program in the storage device 2106. Alternatively, the communication device 2108 communicates with a server device connected to the network, and causes the storage device 2106 to store programs downloaded from the server device to implement the functions of each device.

そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各装置の機能が実現される。 Then, the CPU 2103 copies the program stored in the storage device 2106 to the RAM 2105, and sequentially reads out and executes instructions included in the program from the RAM 2105, thereby realizing the functions of each of the above devices.

本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。 The present disclosure can be implemented with software, hardware, or software in conjunction with hardware.

上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。 Each functional block used in the description of the above embodiment is partially or entirely realized as an LSI that is an integrated circuit, and each process explained in the above embodiment is partially or entirely realized as an LSI, which is an integrated circuit. It may be controlled by one LSI or a combination of LSIs. The LSI may be composed of individual chips, or may be composed of a single chip that includes some or all of the functional blocks. The LSI may include data input and output. LSIs are sometimes called ICs, system LSIs, super LSIs, and ultra LSIs depending on the degree of integration.

集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成
可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。 The method of circuit integration is not limited to LSI, but may be implemented using a dedicated circuit, a general-purpose processor, or a dedicated processor. Furthermore, an FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured or a reconfigurable processor that can reconfigure the connections and settings of circuit cells inside the LSI may be used. The present disclosure may be implemented as digital or analog processing.

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。 Furthermore, if an integrated circuit technology that replaces LSI emerges due to advancements in semiconductor technology or other derived technology, then of course the functional blocks may be integrated using that technology. Possibilities include the application of biotechnology.

本開示の一態様は、人体の部位を認識するシステムに有用である。 One aspect of the present disclosure is useful for systems that recognize parts of the human body.

１０ 肌分析装置
２０ データベース
１０１ カメラ
１０２ ディスプレイ
１０３ 入力Ｉ／Ｆ
１０４ 記憶部
１０５ 制御部
２０１ 撮影処理部
２０２ 顔部位認識部
２０３ 顔部位マークＵＩ部
２０４ 分析領域設定部
２０５ 肌分析実行部
３００、４００、５００ 顔部位マークのＵＩ
７００ 肌分析領域のＵＩ 10 Skin analysis device 20 Database 101 Camera 102 Display 103 Input I/F
104 Storage unit 105 Control unit 201 Imaging processing unit 202 Face part recognition unit 203 Face part mark UI part 204 Analysis area setting part 205 Skin analysis execution part 300, 400, 500 Face part mark UI
700 Skin analysis area UI

Claims (11)

カメラが撮影したユーザの顔画像から顔部位を認識する顔部位認識部と、
前記顔部位を示す顔部位マークを前記顔画像に配置したＵＩ（User Interface）をディスプレイに表示させ、前記顔部位マークに対する操作を受け付けるＵＩ部と、
前記操作された顔部位マークの位置に基づいて、前記顔画像に対して肌分析領域を設定する分析領域設定部と、
前記設定された肌分析領域に対して肌分析を実行する肌分析実行部と、
を備え、
前記ＵＩ部は、
前記ディスプレイに表示された前記顔部位マークに対する修正を受け付ける画面として、修正対象を顔全体または顔部位別のいずれとするかの選択操作を受付ける画面を表示し、
顔全体が選択された場合、全ての顔部位マークの一括修正を受付け、
顔部位別が選択された場合、選択された個々の顔部位マークの修正を受付ける、
肌分析装置。 a face part recognition unit that recognizes a face part from a user's face image taken by the camera;
a UI unit that displays on a display a UI (User Interface) in which a facial part mark indicating the facial part is placed on the facial image, and receives an operation on the facial part mark;
an analysis area setting unit that sets a skin analysis area for the facial image based on the position of the operated facial part mark;
a skin analysis execution unit that executes skin analysis on the set skin analysis area;
Equipped with
The UI section is
Displaying a screen that accepts a selection operation as to whether the entire face or each facial area is to be corrected as a screen that accepts corrections to the facial part mark displayed on the display;
If the entire face is selected, batch correction of all facial part marks will be accepted.
If "By facial region" is selected, the modification of each selected facial region mark will be accepted.
Skin analysis device. 前記ＵＩ部は、前記顔部位認識部が前記顔部位の認識に成功したと判定した場合、前記認識された顔部位の位置に前記顔部位マークを配置する、
請求項１に記載の肌分析装置。 When the UI unit determines that the face part recognition unit has succeeded in recognizing the face part, the UI unit places the face part mark at the position of the recognized face part.
The skin analysis device according to claim 1. 前記ＵＩ部は、
前記顔部位認識部が前記顔部位の認識に成功したと判定した場合、前記認識された顔部位の位置に前記顔部位マークを配置し、
前記顔部位認識部が前記顔部位の認識に失敗したと判定した場合、前記顔部位の認識とは無関係の予め決められた位置に前記顔部位マークを配置する、
請求項１に記載の肌分析装置。 The UI section is
If the facial part recognition unit determines that the facial part has been successfully recognized, placing the facial part mark at the position of the recognized facial part;
If the face part recognition unit determines that recognition of the face part has failed, placing the face part mark at a predetermined position unrelated to recognition of the face part;
The skin analysis device according to claim 1. 前記ＵＩ部は、前記顔部位認識部が前記顔部位の認識に失敗したと判定した場合、前記ユーザを撮影した過去の顔画像において認識に成功したときの前記顔部位マークを、前記顔画像に配置する、
請求項１に記載の肌分析装置。 If the facial part recognition unit determines that the face part recognition unit has failed in recognition of the facial part, the UI unit adds the facial part mark that was used when recognition was successful in a past facial image taken of the user to the facial image. Deploy,
The skin analysis device according to claim 1. 前記ＵＩ部は、前記顔部位認識部が前記顔部位の認識に失敗したと判定した場合、前記ユーザを撮影した過去の顔画像に対して前記操作によって配置された前記顔部位マークを、前記顔画像に配置する、
請求項１に記載の肌分析装置。 When it is determined that the face part recognition unit has failed in recognition of the face part, the UI unit replaces the face part mark placed by the operation with respect to a past face image taken of the user. Place it on the image,
The skin analysis device according to claim 1. 前記ＵＩ部は、前記顔部位認識部が前記顔部位の認識に失敗したと判定した場合、前記ユーザから顔画像上の目の位置の操作入力を受付け、他の顔部位マークは予め登録された設定に従って自動的に、前記受付けた目の位置に対して相対的な位置に配置する、
請求項１に記載の肌分析装置。 If the facial part recognition unit determines that the face part recognition unit has failed in recognition of the facial part, the UI part accepts an operation input for the position of the eyes on the face image from the user, and other facial part marks are registered in advance. automatically placing the eye in a position relative to the accepted eye position according to settings;
The skin analysis device according to claim 1. 前記顔画像及び前記過去の顔画像は、それぞれ、前記ユーザを撮影した正面の顔画像、左横顔の顔画像、及び、右横顔の顔画像のうちの何れかである、
請求項４又は５に記載の肌分析装置。 The face image and the past face image are each one of a front face image, a left profile face image, and a right profile face image taken of the user;
The skin analysis device according to claim 4 or 5. 前記顔部位認識部は、前記正面の顔画像と、前記左横顔の顔画像と、前記右横顔の顔画像との間における顔のサイズが所定以上異なっている場合、前記顔部位の認識に失敗したと判定する、
請求項７に記載の肌分析装置。 The face part recognition unit fails to recognize the face part if the face sizes among the front face image, the left profile face image, and the right profile face image differ by more than a predetermined value. It is determined that
The skin analysis device according to claim 7. 前記顔部位は、顔の輪郭、目、鼻、口、眉、及び、髪の生え際のうちの少なくとも１つの部位であり、
前記顔部位マークは、前記顔部位の形状に対応する形状を有する、
請求項１に記載の肌分析装置。 The facial region is at least one of the facial contour, eyes, nose, mouth, eyebrows, and hairline,
The facial part mark has a shape corresponding to the shape of the facial part,
The skin analysis device according to claim 1. 肌分析装置が、
カメラが撮影したユーザの顔画像から顔部位を認識し、
前記顔部位を示す顔部位マークを前記顔画像に配置したＵＩをディスプレイに表示させ、
前記ディスプレイに表示された前記顔部位マークに対する修正を受け付ける画面として、修正対象を顔全体または顔部位別のいずれとするかを選択する操作を受付ける画面を表示し、
顔全体が選択された場合、全ての顔部位マークの一括修正を受付け、
顔部位別が選択された場合、選択された個々の顔部位マークの修正を受付け、
前記操作された顔部位マークの位置に基づいて、前記顔画像に対して肌分析領域を設定し、
前記設定された肌分析領域に対して肌分析を実行する、
肌分析方法。 The skin analyzer
Recognizes facial parts from the user's facial image taken by the camera,
displaying on a display a UI in which a facial part mark indicating the facial part is placed on the facial image;
displaying a screen for accepting an operation for selecting whether to modify the entire face or each facial region as a screen for accepting corrections to the facial part mark displayed on the display;
If the entire face is selected, batch correction of all facial part marks will be accepted.
If "By facial region" is selected, the modification of each selected facial region mark will be accepted.
setting a skin analysis area for the facial image based on the position of the operated facial part mark;
performing skin analysis on the set skin analysis area;
Skin analysis method. カメラが撮影したユーザの顔画像から顔部位を認識し、
前記顔部位を示す顔部位マークを前記顔画像に配置したＵＩをディスプレイに表示させ、
前記ディスプレイに表示された前記顔部位マークに対する修正を受け付ける画面として、修正対象を顔全体または顔部位別のいずれとするかを選択する操作を受付ける画面を表示し、
顔全体が選択された場合、全ての顔部位マークの一括修正を受付け、
顔部位別が選択された場合、選択された個々の顔部位マークの修正を受付け、
前記操作された顔部位マークの位置に基づいて、前記顔画像に対して肌分析領域を設定し、
前記設定された肌分析領域に対して肌分析を実行する、
ことをコンピュータに実行させる、
コンピュータプログラム。

Recognizes facial parts from the user's facial image taken by the camera,
displaying on a display a UI in which a facial part mark indicating the facial part is placed on the facial image;
displaying a screen for accepting an operation for selecting whether to modify the entire face or each facial region as a screen for accepting corrections to the facial part mark displayed on the display;
If the entire face is selected, batch correction of all facial part marks will be accepted.
If "By facial region" is selected, the modification of each selected facial region mark will be accepted.
setting a skin analysis area for the facial image based on the position of the operated facial part mark;
performing skin analysis on the set skin analysis area;
make a computer do something
computer program.
JP2019106043A 2018-11-05 2019-06-06 Skin analysis device, skin analysis method, and computer program Active JP7361264B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910898891.XA CN111210400A (en) 2018-11-05 2019-09-23 Skin analysis device, skin analysis method, and recording medium
US16/589,334 US11042726B2 (en) 2018-11-05 2019-10-01 Skin analyzer, skin analysis method, and non-transitory computer-readable recording medium
EP19206104.2A EP3648004A1 (en) 2018-11-05 2019-10-30 Skin analyzer, skin analysis method, and non-transitory computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018208075 2018-11-05
JP2018208075 2018-11-05

Publications (2)

Publication Number Publication Date
JP2020075080A JP2020075080A (en) 2020-05-21
JP7361264B2 true JP7361264B2 (en) 2023-10-16

Family

ID=70723105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019106043A Active JP7361264B2 (en) 2018-11-05 2019-06-06 Skin analysis device, skin analysis method, and computer program

Country Status (2)

Country Link
JP (1) JP7361264B2 (en)
CN (1) CN111210400A (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023275959A1 (en) * 2021-06-28 2023-01-05 日本電信電話株式会社 Image superimposition system and image superimposition method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004321793A (en) 2003-04-29 2004-11-18 Inforward Inc Method and system for computational analysis of skin image
JP2009000410A (en) 2007-06-25 2009-01-08 Noritsu Koki Co Ltd Image processor and image processing method
JP2014115821A (en) 2012-12-10 2014-06-26 Secom Co Ltd Face feature extraction device and face authentication system
WO2015015793A1 (en) 2013-07-31 2015-02-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Skin analysis method, skin analysis device, and method for controlling skin analysis device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI669103B (en) * 2014-11-14 2019-08-21 日商新力股份有限公司 Information processing device, information processing method and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004321793A (en) 2003-04-29 2004-11-18 Inforward Inc Method and system for computational analysis of skin image
JP2009000410A (en) 2007-06-25 2009-01-08 Noritsu Koki Co Ltd Image processor and image processing method
JP2014115821A (en) 2012-12-10 2014-06-26 Secom Co Ltd Face feature extraction device and face authentication system
WO2015015793A1 (en) 2013-07-31 2015-02-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Skin analysis method, skin analysis device, and method for controlling skin analysis device

Also Published As

Publication number Publication date
JP2020075080A (en) 2020-05-21
CN111210400A (en) 2020-05-29

Similar Documents

Publication Publication Date Title
JP7052079B2 (en) Image processing methods, devices, computer devices and computer programs
JP6019947B2 (en) Gesture recognition device, control method thereof, display device, and control program
US11042726B2 (en) Skin analyzer, skin analysis method, and non-transitory computer-readable recording medium
JP4664147B2 (en) Iris authentication device
JP5088018B2 (en) Image processing apparatus and control program
EP3657384A1 (en) Skin analysis apparatus
EP3582188B1 (en) Image processing device, image processing method, image processing program, and recording medium storing program
JP7363786B2 (en) Information processing device, information processing method, and information processing program
JP2023547595A (en) Fundus camera and fully automatic fundus image capturing method
JP7361264B2 (en) Skin analysis device, skin analysis method, and computer program
KR101946466B1 (en) Shooting method for diagnosis of hair loss and electronic device
WO2020218491A1 (en) Authentication data generation device, authentication device, authentication data generation method, and recording medium
JP7075237B2 (en) Operation judgment device and operation judgment method
US11017216B2 (en) Skin analyzing device, skin analyzing method, and recording medium
US20210012501A1 (en) Information processing method, storage medium, and information processing apparatus
KR20200086148A (en) Image analysis device for confirming skin improvement and the analyzing method thereof
JP4496966B2 (en) Identification system
WO2013054590A1 (en) Fundus oculi image analysis device, fundus oculi image analysis method, and program
JP5966657B2 (en) Image generating apparatus, image generating method, and program
KR102512838B1 (en) Image Processing Method and Apparatus Using Thereof
JP6849763B2 (en) Human body recognition methods, devices, devices and computer-readable storage media
TWI743413B (en) Single-photo generating device and method and non-volatile computer-readable media thereof
JP7499976B2 (en) Information processing device, information processing method, and program
JP2001215605A (en) Face image photographing device, and face image photographing method
CN111386069B (en) Operation method of three-dimensional face diagnosis device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230919

R151 Written notification of patent or utility model registration

Ref document number: 7361264

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151