WO2024085505A1 - 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치 - Google Patents

동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치 Download PDF

Info

Publication number
WO2024085505A1
WO2024085505A1 PCT/KR2023/015271 KR2023015271W WO2024085505A1 WO 2024085505 A1 WO2024085505 A1 WO 2024085505A1 KR 2023015271 W KR2023015271 W KR 2023015271W WO 2024085505 A1 WO2024085505 A1 WO 2024085505A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
center line
frontal
straight line
determining whether
Prior art date
Application number
PCT/KR2023/015271
Other languages
English (en)
French (fr)
Inventor
김종은
이슬기
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of WO2024085505A1 publication Critical patent/WO2024085505A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Definitions

  • the present disclosure relates to a method and device for determining whether a face is frontally visible for dynamic smile analysis.
  • the patient's smile information is required to obtain results that match the patient's face.
  • the concept of digital smile design and software based on it have been developed recently. This is very helpful in determining the arrangement, size, and shape of teeth that harmonize with the patient's smile, and is also helpful in communication between the dentist and the dental technician who produces the prosthesis.
  • the existing method has a limitation in that it does not result in a natural facial expression (smile) because the photographic information is not obtained naturally while the patient is in a comfortable state.
  • the purpose of the embodiments disclosed in the present disclosure is to provide a method and device for determining whether a face is frontally visible for dynamic smile analysis.
  • a method for determining whether a face is frontal for dynamic smile analysis includes extracting a plurality of facial landmarks from an image based on a first algorithm based on artificial intelligence; Comprising a step of calculating a plurality of parameters using the plurality of facial landmarks and determining whether the face in the image is frontal using the plurality of parameters based on a second algorithm based on artificial intelligence; , the step of determining whether the front is front may be to determine whether the front is front based on whether the plurality of parameters meet preset conditions.
  • the step of calculating the parameter includes calculating a 1-1 straight line length from the right eye to the outside of the face and a 1-2 straight line length from the left eye to the outside of the face based on the plurality of facial landmarks. , calculating a 2-1 straight line length from the right nostril to the outside of the face and a 2-2 straight line length from the left nostril to the outside of the face based on the plurality of facial landmarks, and It may include calculating a 1-1 area of the right ear area and a 1-2 area of the left ear area based on the method.
  • the step of determining whether the front is front includes the difference between the 1-1 straight line length and the 1-2 straight line length, the difference between the 2-1 straight line length and the 2-2 straight line length, and the first If the difference between the -1 area and the 1-2 area satisfies the above condition, it can be determined that the face is frontal.
  • the method may further include, when it is determined that the face is frontal, extracting a face center line and classifying the image determined to be frontal (hereinafter referred to as frontal image) based on the face center line. there is.
  • the facial center line may be formed in plurality based on both end points of each of the 1-1 straight line length and the 1-2 straight line length and both end points of each of the 2-1 straight line length and the 2-2 straight line length.
  • the center point may be extracted and extracted from the plurality of center points based on the least squares method.
  • the classifying step may include classifying the type of the frontal image based on at least one of the face center line, the tooth midline, and the nose bridge center line.
  • the type includes: a first type in which the facial center line, the tooth midline, and the nose bridge center line all coincide; a second type in which the face center line and the tooth midline do not match, but the face center line and the nose bridge center line match; A third type in which the face center line and the tooth midline coincide, but the face center line and the nose bridge center line do not match; and a fourth type in which the face center line and the tooth midline do not match and the face center line and the nose bridge center line do not match. may include.
  • whether the face center line and the nose bridge center line match is determined by calculating the distance between both end points of the face center line and the nose bridge center line, respectively, and determining that they match when the larger of the two distance values is smaller than a preset value. It can be.
  • the device for determining whether the face is front for dynamic smile analysis includes a communication unit, storing at least one process for determining whether the face is front for dynamic smile analysis. It includes a memory and a processor that operates according to the process, wherein the processor extracts a plurality of facial landmarks from an image based on a first algorithm based on artificial intelligence, and uses the plurality of facial landmarks to create a plurality of facial landmarks. Calculate parameters and determine whether the face in the image is frontal using the plurality of parameters based on a second algorithm based on artificial intelligence. When determining whether the face is frontal, the processor determines whether the face is frontal. The presence of the front may be determined depending on whether the parameter satisfies a preset condition.
  • the processor determines a 1-1 straight line length from the right eye to the outside of the face and a 1-2 straight line length from the left eye to the outside of the face based on the plurality of facial landmarks. Calculate, based on the plurality of facial landmarks, calculate the 2-1 straight line length from the right nostril to the outer face and the 2-2 straight line length from the left nostril to the outer face, and calculate the plurality of facial lands Based on the mark, the 1-1 area of the right ear area and the 1-2 area of the left ear area can be calculated.
  • the processor when determining whether the processor is front, the difference between the 1-1 straight line length and the 1-2 straight line length, the difference between the 2-1 straight line length and the 2-2 straight line length, and If the difference between the 1-1 area and the 1-2 area satisfies the above condition, it may be determined that the face is frontal.
  • the processor may extract the center line of the face and classify the image determined to be frontal (hereinafter referred to as frontal image) based on the center line of the face.
  • the facial center line may be formed in plurality based on both end points of each of the 1-1 straight line length and the 1-2 straight line length and both end points of each of the 2-1 straight line length and the 2-2 straight line length.
  • the center point may be extracted and extracted from the plurality of center points based on the least squares method.
  • the processor may classify the type of the frontal image based on at least one of the face center line, the tooth midline, and the nose bridge center line.
  • the type includes: a first type in which the facial center line, the tooth midline, and the nose bridge center line all coincide; a second type in which the face center line and the tooth midline do not match, but the face center line and the nose bridge center line match; A third type in which the face center line and the tooth midline coincide, but the face center line and the nose bridge center line do not match; and a fourth type in which the face center line and the tooth midline do not match and the face center line and the nose bridge center line do not match. may include.
  • a computer program stored in a computer-readable recording medium for execution to implement the present disclosure may be further provided.
  • a computer-readable recording medium recording a computer program for executing a method for implementing the present disclosure may be further provided.
  • the patient's ideal (natural) smile state can be obtained by extracting the front frame of the patient's face from a video in which the patient's natural appearance is captured.
  • the frontal image can be extracted with higher accuracy by determining whether it is frontal using various parameters.
  • FIG. 1 is a diagram schematically showing a system for determining whether a face is frontal for dynamic smile analysis according to the present disclosure.
  • FIGS. 2 and 3 are schematic diagrams of a device for determining whether a face is front for dynamic smile analysis according to the present disclosure.
  • Figure 4 is a flowchart of a method for determining whether a face is frontal for dynamic smile analysis according to the present disclosure.
  • Figure 5 is a diagram for explaining parameters according to the present disclosure.
  • FIG. 6 is a diagram illustrating a process for determining whether a device is front or not based on whether parameter conditions are met according to the present disclosure.
  • Figure 7 is a diagram for explaining the facial center line according to the present disclosure.
  • Figure 8 is a diagram for explaining frontal image classification according to the present disclosure.
  • first and second are used to distinguish one component from another component, and the components are not limited by the above-mentioned terms.
  • the identification code for each step is used for convenience of explanation.
  • the identification code does not explain the order of each step, and each step may be performed differently from the specified order unless a specific order is clearly stated in the context. there is.
  • 'device' includes all various devices that can perform computational processing and provide results to the user.
  • the device in the present disclosure may include all of a computer, a server device, and a portable terminal, or may take the form of any one.
  • the computer may include, for example, a laptop, desktop, laptop, tablet PC, slate PC, etc. equipped with a web browser.
  • the server device is a server that processes information by communicating with external devices and may include an application server, computing server, database server, file server, game server, mail server, proxy server, and web server.
  • the portable terminal is, for example, a wireless communication device that guarantees portability and mobility, such as PCS (Personal Communication System), GSM (Global System for Mobile communications), PDC (Personal Digital Cellular), PHS (Personal Handyphone System), and PDA. (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), WiBro (Wireless Broadband Internet) terminal, smart phone ), all types of handheld wireless communication devices, and wearable devices such as watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-mounted-device (HMD). may include.
  • PCS Personal Communication System
  • GSM Global System for Mobile communications
  • PDC Personal Digital Cellular
  • PHS Personal Handyphone System
  • PDA Personal Digital Assistant
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA Wideband Code Division Multiple Access
  • WiBro Wireless Broadband Internet
  • smart phone smart phone
  • FIG. 1 is a diagram schematically showing a system for determining whether a face is frontal for dynamic smile analysis according to the present disclosure.
  • the existing system identifies the degree of gum exposure, amount of tooth exposure, number of exposed teeth, characteristics of the smile, and the relationship between the center line of the face and teeth through 1-2 photos of the patient's smile, and uses this information before orthodontic and prosthetic treatment.
  • This method is used as initial information. Photos obtained through this method are limited in that they do not represent the patient's natural facial expression (smile) because they were not obtained naturally while the patient was in a comfortable state. In other words, it is difficult to guarantee that an ideal smile condition has been achieved, and it is also difficult to obtain overall data on how the patient's teeth and surrounding gingiva look depending on the size or pronunciation of the smile during everyday conversation.
  • the system according to the present disclosure can obtain a frontal image containing the patient's natural expression (smile) by applying a facial frontal determination algorithm to each frame of the video in which the patient's natural appearance is captured.
  • the device 100 for determining whether a face is in front can acquire a video captured by an external device.
  • the device 100 for determining whether a face is front can perform front-face determination for each frame of the video.
  • the device 100 for determining whether the patient's face is in front can extract only the frames in which the patient's face is shown in front among all frames and extract them to an external device.
  • the external device may be a doctor's terminal or a patient's terminal, but is not limited thereto and may be a server device that provides a specific service.
  • FIGS. 2 and 3 are schematic diagrams of a device for determining whether a face is front for dynamic smile analysis according to the present disclosure.
  • the device 100 for determining whether a face is front may include a communication unit 110, a memory 120, a processor 130, and a modeling unit 140.
  • the device 100 for determining whether a face is front or not may include fewer or more components than the components shown in FIG. 2 .
  • the communication unit 110 may include one or more components that enable communication with an external device, and may include, for example, at least one of a wired communication module, a wireless communication module, a short-range communication module, and a location information module. .
  • Wired communication modules include various wired communication modules such as Local Area Network (LAN) modules, Wide Area Network (WAN) modules, or Value Added Network (VAN) modules, as well as USB (Universal Serial Bus) modules. ), HDMI (High Definition Multimedia Interface), DVI (Digital Visual Interface), RS-232 (recommended standard 232), power line communication, or POTS (plain old telephone service).
  • LAN Local Area Network
  • WAN Wide Area Network
  • VAN Value Added Network
  • USB Universal Serial Bus
  • HDMI High Definition Multimedia Interface
  • DVI Digital Visual Interface
  • RS-232 Recommended standard 232
  • power line communication or POTS (plain old telephone service).
  • wireless communication modules include GSM (global System for Mobile Communication), CDMA (Code Division Multiple Access), WCDMA (Wideband Code Division Multiple Access), and UMTS (universal mobile telecommunications system). ), TDMA (Time Division Multiple Access), LTE (Long Term Evolution), 4G, 5G, 6G, etc. may include a wireless communication module that supports various wireless communication methods.
  • GSM Global System for Mobile Communication
  • CDMA Code Division Multiple Access
  • WCDMA Wideband Code Division Multiple Access
  • UMTS universal mobile telecommunications system
  • TDMA Time Division Multiple Access
  • LTE Long Term Evolution
  • 4G, 5G, 6G, etc. may include a wireless communication module that supports various wireless communication methods.
  • the short-range communication module is for short-range communication and includes BluetoothTM, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra Wideband), ZigBee, and NFC (Near Field). Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless USB (Wireless Universal Serial Bus) technology can be used to support short-distance communication.
  • the memory 120 may store at least one process for determining whether a face is front for dynamic smile analysis.
  • the memory 120 can store data supporting various functions of the facial presence determination device 100 and a program for the operation of the processor 130, and can store input/output data (e.g., music files, Still images, videos, etc.) can be stored, data for the operation of the device for determining whether a face is seen in front (a plurality of applications (application programs or applications) running on the device 100), and a device for determining whether a face is seen in front (100). At least some of these application programs may be downloaded from an external server through wireless communication.
  • input/output data e.g., music files, Still images, videos, etc.
  • data for the operation of the device for determining whether a face is seen in front a plurality of applications (application programs or applications) running on the device 100
  • a device for determining whether a face is seen in front 100
  • At least some of these application programs may be downloaded from an external server through wireless communication.
  • the memory 120 includes a flash memory type, a hard disk type, a solid state disk type, an SDD type (Silicon Disk Drive type), and a multimedia card micro type. micro type), card-type memory (e.g. SD or XD memory, etc.), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), EEPROM (electrically erasable) It may include at least one type of storage medium among programmable read-only memory (PROM), programmable read-only memory (PROM), magnetic memory, magnetic disk, and optical disk. Additionally, the memory 120 is separate from the device 100, but may be a database connected by wire or wirelessly.
  • the processor 130 has a memory that stores data for an algorithm for controlling the operation of components in the device 100 for determining whether the face is front or not, or a program that reproduces the algorithm, and performs the above-described operations using the data stored in the memory. It can be done.
  • the memory 120 and the processor 130 may each be implemented as separate chips. Alternatively, the memory 120 and processor 130 may be implemented as a single chip.
  • the processor 130 combines any one or a plurality of components to implement various embodiments according to the present disclosure described in FIGS. 4 to 6 below on the device 100 for determining whether the face is front. You can control it.
  • the device 100 for determining whether a face is front may further include an input unit and an output unit.
  • the device 100 for determining whether a face is frontal does not receive input data from an external device and does not transmit output data to an external device
  • video that is input data can be obtained through the input unit and output through the output unit.
  • Data image determined to be frontal
  • the input unit is for inputting image information (or signal), audio information (or signal), data, or information input from a user, and may include at least one of at least one camera, at least one microphone, and a user input unit. . Voice data or image data collected from the input unit can be analyzed and processed as a user's control command.
  • the camera processes image frames, such as still images or moving images, obtained by the image sensor in shooting mode.
  • the processed image frame may be displayed on the display unit (or the screen of the device 100 for determining whether a face is front or not according to the present disclosure) or stored in the memory 120.
  • the output unit is for generating output related to vision, etc., and may include a display unit.
  • a touch screen can be implemented by forming a layered structure with the touch sensor or being integrated with the display unit. This touch screen functions as a user input unit that provides an input interface between the device and the user, and can simultaneously provide an output interface between the device and the user.
  • the display unit displays (outputs) information processed in the device.
  • the display unit may display execution screen information of an application program (eg, an application) running on the device, or UI (User Interface) and GUI (Graphic User Interface) information according to the execution screen information.
  • application program e.g. an application
  • UI User Interface
  • GUI Graphic User Interface
  • the modeling unit 140 of the device 100 for determining whether a face is frontal may include a smile analysis model 141 and a determination model 142.
  • the processor 130 of the device 100 for determining whether a face is front or not may extract the face area in the image and extract feature points within the face through the analysis model 141. That is, characteristic parts such as eyes, nose, mouth, eyebrows, moles, scars, etc. within the face can be extracted and information about each feature point (eg, location information, numerical information) can be output.
  • characteristic parts such as eyes, nose, mouth, eyebrows, moles, scars, etc. within the face can be extracted and information about each feature point (eg, location information, numerical information) can be output.
  • the analysis model 141 may be built by learning a person's face image based on artificial intelligence.
  • the analysis model 141 may be learned based on deep learning, but is not limited to this and any learning algorithm based on artificial intelligence is applicable.
  • the judgment model 142 may include a first algorithm 1421 and a second algorithm 1422 based on artificial intelligence.
  • the processor 130 of the device 100 for determining whether a face is front or not may calculate parameters using information about the feature points based on the first algorithm 1421 of the judgment model 142.
  • the processor 130 of the device 100 for determining whether the face is front may determine whether the face is front using parameters based on the second algorithm 1422 of the judgment model 142.
  • the analysis model 141 and the judgment model 142 are operated separately, but depending on the embodiment, the analysis model 141 and the judgment model 142 are not distinguished and may operate as one model. You can.
  • the processor 130 of the device 100 for determining whether a face is frontal extracts a feature point (facial landmark) in the image based on the first algorithm 1421 of the judgment model 142, and uses the facial landmark to After calculating the parameters, it is possible to determine whether the face is frontal or not using the parameters based on the second algorithm 1422. That is, the first algorithm 1421 can perform the role of the analysis model 141.
  • the judgment model 142 may be constructed by learning a person's face image based on artificial intelligence.
  • the judgment model 142 may be learned based on deep learning, but is not limited to this and any learning algorithm based on artificial intelligence is applicable.
  • the judgment model 142 can be built based on deep learning using a person's face image, facial landmarks in the image, parameters, and whether the face is frontal as a learning data set.
  • Figure 4 is a flowchart of a method for determining whether a face is frontal for dynamic smile analysis according to the present disclosure.
  • Figure 5 is a diagram for explaining parameters according to the present disclosure.
  • FIG. 6 is a diagram illustrating a process for determining whether a device is front or not based on whether parameter conditions are met according to the present disclosure.
  • Figure 7 is a diagram for explaining the facial center line according to the present disclosure.
  • Figure 8 is a diagram for explaining frontal image classification according to the present disclosure.
  • the device 100 for determining whether the face is frontal is performed by a terminal device (the doctor's or patient's terminal device) on which a program or application for determining whether the face is frontal or not is installed. It can also be understood as being.
  • the processor 130 of the device 100 for determining whether a face is frontally visible may extract a plurality of facial landmarks from an image based on a first algorithm based on artificial intelligence (S210).
  • the processor 130 of the device 100 for determining whether the face is front is capable of calculating a plurality of parameters using a plurality of facial landmarks based on a first algorithm based on artificial intelligence (S220).
  • the processor 130 of the device 100 for determining whether a face is frontal may determine whether the face in the image is frontal using the plurality of parameters based on a second algorithm based on artificial intelligence (S230).
  • facial landmarks will be described as being extracted using the first algorithm 1421.
  • the facial landmark extraction operation may be performed using the analysis model 141.
  • the processor 130 may extract a face area in the image using the first algorithm 1421 and extract facial landmarks (feature points) from the extracted face area. That is, the processor 130 uses the first algorithm 1421 to extract characteristic parts of the face, such as eyes, nose, nose, ears, outer face, mouth, eyebrows, moles, scars, etc., as facial landmarks. You can.
  • the processor 130 may calculate parameters from the facial landmarks extracted using the first algorithm 1421.
  • the parameter may mean a variable for determining whether the face is frontal.
  • the values of parameters calculated for each frame of a video may vary depending on the direction and position of the face, whether or not it has an expression, and the positions of the eyes, nose, mouth, and ears.
  • the parameters are the straight line length to the outside of the face (each length on the left and right sides), the straight line length from the bridge of the nose to the outside of the face (each length on the left and right sides), and the width of the ear area (each length on the left and right sides). It can be included. However, it is not limited to this and may include all parameters that can be calculated using facial landmarks.
  • the processor 130 calculates the 1-1 straight line length from the right eye to the outside of the face and the 1-2 straight line length from the left eye to the outside of the face based on the plurality of facial landmarks and uses them as parameters. You can. Referring to FIG. 5, the length of the 1-1st straight line may be a1, and the length of the 1-2th straight line may be a2.
  • the processor 130 calculates the 2-1 straight line length from the right nostril to the outside of the face and the 2-2 straight line length from the left nostril to the outside of the face based on a plurality of facial landmarks and uses them as parameters. You can. Referring to FIG. 5, the 2-1st straight line length may be b1, and the 2-2nd straight line length may be b2.
  • the processor 130 may calculate the 1-1 area of the right ear area and the 1-2 area of the left ear area based on a plurality of facial landmarks and use them as parameters. Referring to FIG. 5, the 1-1st area may be c1, and the 1-2th area may be c2.
  • the processor 130 may determine whether the face included in the image faces the front using the second algorithm 1422 based on parameters calculated differently depending on the appearance and shape of the face in the image.
  • the processor 130 may determine whether it is front based on whether a plurality of parameters meet preset conditions.
  • the processor 130 operates on the difference between the 1-1 straight line length and the 1-2 straight line length, the difference between the 2-1 straight line length and the 2-2 straight line length, and the 1-1 area and the 1-2 area. If the difference satisfies preset conditions, it can be determined that the face is frontal.
  • the condition may be about whether the two values match (i.e., whether the difference between the two values is 0), but is not limited to this and may be about whether the difference between the two values is within a set range.
  • the 1-1 straight line length (a1) and the 1-2 straight line length (a2) match, and the 2-1 straight line length (b1) and the 2-2 straight line length (b2) match. And, if the 1-1st area (c1) and the 1-2nd area (c2) match, it can be determined that it is the front.
  • the face can be judged to be frontal.
  • the processor 130 may set the priorities of three parameters according to the gender of the person in the image and determine whether the face is frontal or not based on the set priorities.
  • the priority of the parameter for the area of the ear area can be set to the lowest priority to determine whether the condition is met and whether it is frontal.
  • the judgment operation may be performed by resetting the condition of the lowest priority parameter so that it is more relaxed than the previous condition.
  • the judgment operation may be performed by excluding the lowest priority parameter (because accuracy is low) and resetting the conditions of the remaining two parameters more tightly.
  • relaxing the condition may mean expanding the range compared to the previous condition (for example, the difference between the two areas is within 0.5 ⁇ the difference between the two areas is within 1).
  • the processor 130 may set the priorities of three parameters according to whether the person in the image is smiling and determine whether the face is frontal or not based on the set priorities.
  • Classification work can be performed on the images judged head-on in this way to use them as data for analyzing the user's smile.
  • the processor 130 may extract the center line of the face and classify the image determined to be frontal (hereinafter referred to as frontal image) based on the center line of the face.
  • the face center line is based on both end points of each of the 1-1 straight line length and the 1-2 straight line length and both end points of each of the 2-1 straight line length and the 2-2 straight line length.
  • the center point may be extracted and extracted from the plurality of center points based on the least squares method.
  • both end points of the 1-1 straight line length (a1) are called a11 and a12, respectively, and both end points of the 1-2 straight line length (a2) are called a21 and a22, respectively, and the 2-1
  • the two end points of the straight line length (b1) are called b11 and b12
  • the two end points of the 2-2 straight line length (b2) are called b21 and b22
  • there are a total of four center points (M1, M2, M3, M4). ) can be extracted.
  • M1 may be (a11+a22)/2
  • M2 may be (a12+a21)/2
  • M3 may be (b11+b22)/2
  • M4 may be (b12+b21)/2.
  • the processor 130 can find a straight line passing through all M1, M2, M3, and M4 using the least squares method, and set the straight line as the center line of the face.
  • the processor 130 may classify the type of frontal image (image determined to be frontal) based on at least one of the extracted facial center line, dental midline, and nose bridge center line.
  • the type includes: a first type in which the face center line, the tooth midline, and the nose bridge center line all coincide; a second type in which the face center line and the tooth midline do not match, but the face center line and the nose bridge center line match; A third type in which the face center line and the tooth midline coincide, but the face center line and the nose bridge center line do not match; and a fourth type in which the face center line and the tooth midline do not match and the face center line and the nose bridge center line do not match. may include.
  • the processor 130 calculates the distances ( ⁇ 1, ⁇ 2) between the two end points of the center line of the face and the center line of the nose bridge, respectively, and the larger value of the two distance values ( ⁇ 1 in FIG. 5) is the default value. If it is smaller than the set value, it can be determined that the center line of the face and the center line of the bridge of the nose match.
  • the processor 130 may determine that the face center line and the nose bridge center line do not match when the larger of the two distance values ( ⁇ 1 in FIG. 5) is greater than a preset value.
  • the processor 130 calculates the distance ( ⁇ ) between the face center line and the tooth midline, and when the distance ( ⁇ ) is less than a preset value, the face center line and the tooth midline coincide. It can be judged that
  • the processor 130 may determine that the center line of the face and the center line of the teeth do not match.
  • the frontal images classified by type can be transmitted to an external device and used to analyze the user's smile.
  • the processor 130 extracts all images with faces taken from the front among all frames of the video, and extracts only some of them with high accuracy and provides them to an external device. At this time, accuracy can be judged based on the distance ( ⁇ ) between the center line of the face and the center line of the teeth. For example, images whose distance ( ⁇ ) is within a preset value may be determined to have higher accuracy and only those images may be provided to an external device. Alternatively, images whose distance ( ⁇ ) is within a preset upper few percent may be judged to have higher accuracy, and only those images may be provided to an external device.
  • the straight line length from the eyes to the outside of the face (each left and right length)
  • the straight line length from the bridge of the nose to the outside of the face (each left and right length)
  • the width of the ear area (each left and right side).
  • an embodiment of determining whether the face is frontal will be described by using the distance between the center line of the face and the center line of the teeth, and the angle between the center line of the face and the center line of the bridge of the nose as parameters.
  • the processor 130 may calculate parameters using facial landmarks based on the first algorithm 1421.
  • the parameters are the distance between the center line of the face and the center line of the teeth, the angle between the center line of the face and the center line of the bridge of the nose, the straight line length from the eyes to the outside of the face (each on the left and right sides), and the straight line length from the bridge of the nose to the outside of the face (each on the left and right). length), and the width of the ear area (each width on the left and right sides).
  • the processor 130 may determine whether the face included in the image faces the front using the second algorithm 1422 based on parameters calculated differently depending on the appearance and shape of the face in the image.
  • the processor 130 may determine whether it is front based on whether a specific parameter among a plurality of parameters satisfies a preset condition.
  • the processor 130 may calculate the distance between the facial center line and the tooth midline extracted based on at least one facial landmark and use it as a parameter.
  • the distance between the facial center line extracted from the horizontal length of the face and the tooth midline extracted from the positions of the two upper front teeth among the teeth can be used as a parameter for determining whether it is frontal.
  • the face center line may mean a straight line extending vertically from the midpoint of the horizontal width of the face.
  • the dental midline may refer to a straight line extending vertically between the two upper front teeth.
  • the processor 130 may determine that the face is frontal if the distance between the two satisfies a preset condition. For example, if the distance between the two is 0, it may be determined that the face is frontal. However, this spacing condition is not limited to 0, and may be set within a range including the margin of error, taking into account differences in the shape of each person's face.
  • the processor 130 may calculate the angle between the facial center line and the nose bridge center line extracted based on at least one facial landmark and use it as a parameter.
  • the angle between the facial center line extracted from the horizontal length of the face and the nose bridge center line extracted from the nose position and nose bridge direction can be used as a parameter for determining whether it is frontal.
  • the face center line may mean a straight line extending vertically from the midpoint of the horizontal width of the face.
  • the center line of the bridge of the nose may refer to a straight line extending from the midpoint of the length between the two nostrils in the direction of the bridge of the nose.
  • the processor 130 may determine that the face is frontal if the angle satisfies a preset condition. For example, if the angle is less than 10°, it may be determined that the face is frontal. However, this angle condition is not limited to 10°, and may be set within a range including the margin of error, taking into account differences in the shape of each person's face.
  • processor 130 configures the distance between the facial centerline and the dental midline extracted based on the at least one facial landmark and the angle between the facial centerline and the nasal bridge centerline extracted based on the at least one facial landmark. It can be used as a parameter.
  • the processor 130 may use the distance between the facial center line extracted from the horizontal length of the face and the tooth midline extracted from the positions of the two upper front teeth among the teeth as a parameter for determining whether it is frontal. Additionally, the processor 130 may use the angle between the face center line extracted from the horizontal length of the face and the nose bridge center line extracted from the nose position and nose bridge direction as a parameter for determining whether it is frontal.
  • the processor 130 can determine that the face is frontal only when the distance and the angle respectively meet preset conditions. Detailed description is omitted as it overlaps with the above description.
  • the processor 130 calculates the distance between the facial center line and the tooth midline extracted based on the at least one facial landmark as a first parameter, and calculates the distance between the facial center line and the tooth midline extracted based on the at least one facial landmark.
  • One of the straight line length from the eyes to the outside of the face, the straight line length from the bridge of the nose to the outside of the face, and the area of the ear area can be calculated as the second parameter.
  • the processor 130 may use the distance between the facial center line extracted from the horizontal length of the face and the tooth midline extracted from the positions of the two upper front teeth among the teeth as a first parameter for determining whether it is frontal.
  • the processor 130 calculates the straight line lengths from the corners of both eyes to the outer face (a1, a2 in FIG. 5) and the straight line lengths from the nostrils of both noses to the outer face (b1, b2 in FIG. 5). And one of the areas of each ear (c1, c2 in FIG. 5) can be used as a second parameter for determining whether the device is facing forward. That is, the second parameter may be one of [a1, a2], [b1, b 2], and [c1, c 2].
  • the second parameter is [a1, a2] among [a1, a2], [b1, b 2], and [c1, c 2]
  • the description to be described below is not limited to the case of [a1, a2], but can also be applied equally to the case where the second parameter is [b1, b 2] or [c1, c2].
  • the processor 130 uses the distance between the center line of the face and the midline of the teeth and the straight line lengths (a1, a2) from the corner of both eyes to the outer edge of the face as first and second parameters, respectively, to determine whether the condition is satisfied from the first parameter. can be judged.
  • the processor 130 may determine whether the length (a1, a2), which is the second parameter, satisfies the preset second condition.
  • the processor 130 may determine whether the length (a1, a2), which is the second parameter, satisfies the preset third condition. That is, different conditions can be applied to the second parameter depending on whether the first condition of the first parameter is satisfied.
  • the third condition may be set to have a narrower scope than the second condition. This is to ensure that frontality can be determined with high accuracy by applying tighter conditions to the second parameter since frontality has not been confirmed with the first parameter.
  • the second condition may be determining whether the difference between a1 and a2 is within 0.5 cm
  • the third condition may be determining whether a1 and a2 are the same.
  • the processor 130 may determine that the face is frontal when the distance, which is the first parameter, satisfies the first condition, and the difference between the lengths (a1 and a2), which is the second parameter, satisfies the second condition.
  • the processor 130 may determine that the face is frontal if the distance, which is the first parameter, does not satisfy the first condition, and the difference between the lengths (a1 and a2), which is the second parameter, satisfies the third condition.
  • the processor 130 may determine that the face is not frontal if the distance, which is the first parameter, satisfies the first condition, and the difference between the lengths (a1 and a2), which is the second parameter, does not satisfy the second condition.
  • the processor 130 may determine that the face is not frontal if the distance, which is the first parameter, does not satisfy the first condition, and the difference between the lengths (a1 and a2), which is the second parameter, does not meet the third condition.
  • the processor 130 calculates the straight line length from the eye to the outer face (a1, a2 in FIG. 5) as a third parameter based on at least one facial landmark, and calculates the straight line length from the eye to the outer edge of the face based on at least one facial landmark. Based on this, the straight line length from the bridge of the nose to the outside of the face (b1, b2 in Figure 5) is calculated as the fourth parameter, and the area of the ear area (c1, c2 in Figure 5) is calculated based on at least one facial landmark. It can be calculated with the fifth parameter.
  • the processor 130 calculates the straight line lengths (a1, a2) from the corners of both eyes to the outer face, the straight line lengths (b1, b2) from the nostrils of both noses to the outer face, and the straight line lengths (b1, b2) of both ears.
  • the frontage can be determined by using the areas (c1, c2) as individual parameters.
  • the processor 130 determines whether the conditions of each of the third, fourth, and fifth parameters are met according to a preset priority, and determines that the face is frontal if the third, fourth, and fifth parameters all meet the conditions. can do.
  • the processor 130 readjusts the priorities of the third parameter, fourth parameter, and fifth parameter according to the gender of the person in the image, and determines whether the face is frontal based on the readjusted priority. You can judge.
  • the value of the fifth parameter which is the area of the ear area, may be calculated incorrectly (women generally have long hair, which often covers their ears). Accordingly, in the case of a female gender, the priority of the fifth parameter can be readjusted to the lowest priority to determine whether the condition is met and whether the situation is frontal.
  • the judgment operation may be performed by resetting the condition of the lowest priority parameter so that it is more relaxed than the previous condition.
  • the judgment operation may be performed by excluding the lowest priority parameter (because accuracy is low) and resetting the conditions of the remaining two parameters more tightly.
  • relaxing the condition may mean expanding the range compared to the previous condition (for example, the difference between the two areas is within 0.5 ⁇ the difference between the two areas is within 1).
  • the processor 130 readjusts the priorities of the third parameter, fourth parameter, and fifth parameter according to whether the person in the image is smiling, and whether the face is front or not based on the readjusted priority. can be judged.
  • the image in which the face is determined to be frontal can be transmitted to an external device and used to analyze the user's smile.
  • the processor 130 extracts all images with faces taken from the front among all frames of the video, and extracts only some of them with high accuracy and provides them to an external device. At this time, accuracy can be judged based on the distance between the center line of the face and the midline of the teeth. For example, images whose distance is within a preset value may be determined to have higher accuracy and only those images may be provided to an external device. Alternatively, images whose distance values are within a preset upper few percent may be determined to have higher accuracy and only those images may be provided to an external device.
  • Figure 4 depicts steps as being sequentially executed, but this is merely an illustrative explanation of the technical idea of this embodiment, and those skilled in the art will not deviate from the essential characteristics of this embodiment. Since the steps shown in FIG. 4 can be modified and modified in various ways by changing the order of the steps or executing them in parallel, the steps shown in FIG. 4 are not limited to a time-serial order.
  • steps depicted in FIG. 4 may be further divided into additional steps or combined into fewer steps, depending on the implementation of the present disclosure. Additionally, some steps may be omitted or the order between steps may be changed as needed.
  • the disclosed embodiments may be implemented in the form of a recording medium that stores instructions executable by a computer. Instructions may be stored in the form of program code, and when executed by a processor, may create program modules to perform operations of the disclosed embodiments.
  • the recording medium may be implemented as a computer-readable recording medium.
  • Computer-readable recording media include all types of recording media storing instructions that can be decoded by a computer. For example, there may be Read Only Memory (ROM), Random Access Memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, etc.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • magnetic tape magnetic tape
  • magnetic disk magnetic disk
  • flash memory optical data storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치가 제공된다. 상기 방법은, 인공지능 기반의 제1 알고리즘을 기반으로 이미지 내에서 복수의 랜드마크를 추출하는 단계, 상기 복수의 얼굴 랜드마크를 이용하여 복수의 파라미터를 계산하는 단계 및 인공지능 기반의 제2 알고리즘을 기반으로 상기 복수의 파라미터를 이용하여 상기 이미지 내의 얼굴이 정면인지의 여부를 판단하는 단계를 포함한다.

Description

동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치
본 개시는 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치에 관한 것이다.
치아 교정 및 보철 치료 과정에서 환자의 얼굴과 조화된 결과물을 얻기 위하여 환자의 스마일 정보가 필요하다. 이를 위해 최근에 digital smile design이라는 컨셉과 이를 기반으로 한 소프트웨어들이 개발되어 왔다. 이는 환자의 미소와 조화된 치아의 배열과 크기 형태 등을 결정하는데 많은 도움을 주며, 치과의사와 보철물을 제작하는 치과기공사 간의 커뮤니케이션에도 도움이 된다.
그러나 기존의 방식은 환자가 편안한 상태에서 자연스럽게 얻어진 사진 정보가 아니므로 자연스러운 표정(스마일)이 아니라는 점에 한계가 있다.
본 개시에 개시된 실시예는 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치를 제공하는데 그 목적이 있다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 본 개시에 일 측면에 따른 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법은, 인공지능 기반의 제1 알고리즘을 기반으로 이미지 내에서 복수의 얼굴 랜드마크를 추출하는 단계, 상기 복수의 얼굴 랜드마크를 이용하여 복수의 파라미터를 계산하는 단계 및 인공지능 기반의 제2 알고리즘을 기반으로 상기 복수의 파라미터를 이용하여 상기 이미지 내의 얼굴이 정면인지의 여부를 판단하는 단계를 포함하고, 상기 정면 여부를 판단하는 단계는, 상기 복수의 파라미터가 기 설정된 조건을 충족하는지의 여부에 따라 상기 정면 여부를 판단하는 것일 수 있다.
또한, 상기 파라미터를 계산하는 단계는, 상기 복수의 얼굴 랜드마크에 기초하여 오른쪽 눈에서 얼굴 외곽까지의 제1-1 직선 길이 및 왼쪽 눈에서 얼굴 외곽까지의 제1-2 직선 길이를 계산하는 단계, 상기 복수의 얼굴 랜드마크에 기초하여 오른쪽 콧망울에서 얼굴 외곽까지의 제2-1 직선 길이 및 왼쪽 콧망울에서 얼굴 외곽까지의 제2-2 직선 길이를 계산하는 단계 및 상기 복수의 랜드마크에 기초하여 오른쪽 귀 영역의 제1-1 넓이 및 왼쪽 귀 영역의 제1-2 넓이를 계산하는 단계를 포함할 수 있다.
또한, 상기 정면 여부를 판단하는 단계는, 상기 제1-1 직선 길이 및 상기 제1-2 직선 길이 간 차이, 상기 제2-1 직선 길이 및 상기 제2-2 직선 길이 간 차이 및 상기 제1-1 넓이 및 상기 제1-2 넓이 간 차이가 상기 조건을 만족하는 경우 상기 얼굴이 정면인 것으로 판단할 수 있다.
또한, 상기 방법은, 상기 얼굴이 정면인 것으로 판단되면, 얼굴 중심선을 추출하는 단계 및 상기 얼굴 중심선을 기초로 상기 정면인 것으로 판단된 이미지(이하, 정면 이미지)를 분류하는 단계를 더 포함할 수 있다.
또한, 상기 얼굴 중심선은, 상기 제1-1 직선 길이 및 상기 제1-2 직선 길이 각각의 양 끝점과 상기 제2-1 직선 길이 및 상기 제2-2 직선 길이 각각의 양 끝점을 기초로 복수의 중앙점을 추출하고, 최소 자승법에 기초하여 상기 복수의 중앙점으로부터 추출되는 것일 수 있다.
또한, 상기 분류하는 단계는, 상기 얼굴 중심선, 치아 정중선 및 콧대 중심선 중 적어도 하나에 기초하여 상기 정면 이미지의 유형을 분류하는 것일 수 있다.
또한, 상기 유형은, 상기 얼굴 중심선, 상기 치아 정중선 및 상기 콧대 중심선이 모두 일치하는 제1 유형, 상기 얼굴 중심선과 상기 치아 정중선은 일치하지 않지만 상기 얼굴 중심선과 상기 콧대 중심선은 일치하는 제2 유형, 상기 얼굴 중심선과 상기 치아 정중선은 일치하지만 상기 얼굴 중심선과 상기 콧대 중심선은 일치하지 않는 제3 유형 및 상기 얼굴 중심선과 상기 치아 정중선이 일치하지 않고 상기 얼굴 중심선과 상기 콧대 중심선도 일치하지 않는 제4 유형을 포함할 수 있다.
또한, 상기 얼굴 중심선과 상기 콧대 중심선의 일치 여부는, 상기 얼굴 중심선과 상기 콧대 중심선의 양 끝점 간의 거리를 각각 산출하고, 두 개의 거리 값 중 큰 값이 기 설정된 값보다 작은 경우에 일치하는 것으로 판단될 수 있다.
또한, 상술한 기술적 과제를 달성하기 위한 본 개시에 다른 측면에 따른 동적 스마일 분석을 위한 얼굴 정면 여부 판단 장치는, 통신부, 동적 스마일 분석을 위한 얼굴 정면 여부 판단을 위한 적어도 하나의 프로세스를 저장하고 있는 메모리 및 상기 프로세스에 따라 동작하는 프로세서를 포함하고, 상기 프로세서는, 인공지능 기반의 제1 알고리즘을 기반으로 이미지 내에서 복수의 얼굴 랜드마크를 추출하고, 상기 복수의 얼굴 랜드마크를 이용하여 복수의 파라미터를 계산하고, 인공지능 기반의 제2 알고리즘을 기반으로 상기 복수의 파라미터를 이용하여 상기 이미지 내의 얼굴이 정면인지의 여부를 판단하며, 상기 프로세서는, 상기 정면 여부를 판단 시에, 상기 복수의 파라미터가 기 설정된 조건을 충족하는지의 여부에 따라 상기 정면 여부를 판단하는 것일 수 있다.
또한, 상기 프로세서는, 상기 파라미터를 계산 시에, 상기 복수의 얼굴 랜드마크에 기초하여 오른쪽 눈에서 얼굴 외곽까지의 제1-1 직선 길이 및 왼쪽 눈에서 얼굴 외곽까지의 제1-2 직선 길이를 계산하고, 상기 복수의 얼굴 랜드마크에 기초하여 오른쪽 콧망울에서 얼굴 외곽까지의 제2-1 직선 길이 및 왼쪽 콧망울에서 얼굴 외곽까지의 제2-2 직선 길이를 계산하고, 상기 복수의 얼굴 랜드마크에 기초하여 오른쪽 귀 영역의 제1-1 넓이 및 왼쪽 귀 영역의 제1-2 넓이를 계산할 수 있다.
또한, 상기 프로세서는, 상기 정면 여부를 판단 시에, 상기 제1-1 직선 길이 및 상기 제1-2 직선 길이 간 차이, 상기 제2-1 직선 길이 및 상기 제2-2 직선 길이 간 차이 및 상기 제1-1 넓이 및 상기 제1-2 넓이 간 차이가 상기 조건을 만족하는 경우 상기 얼굴이 정면인 것으로 판단할 수 있다.
또한, 상기 프로세서는, 상기 얼굴이 정면인 것으로 판단되면, 얼굴 중심선을 추출하고, 상기 얼굴 중심선을 기초로 상기 정면인 것으로 판단된 이미지(이하, 정면 이미지)를 분류할 수 있다.
또한, 상기 얼굴 중심선은, 상기 제1-1 직선 길이 및 상기 제1-2 직선 길이 각각의 양 끝점과 상기 제2-1 직선 길이 및 상기 제2-2 직선 길이 각각의 양 끝점을 기초로 복수의 중앙점을 추출하고, 최소 자승법에 기초하여 상기 복수의 중앙점으로부터 추출되는 것일 수 있다.
또한, 상기 프로세서는, 상기 분류 시에, 상기 얼굴 중심선, 치아 정중선 및 콧대 중심선 중 적어도 하나에 기초하여 상기 정면 이미지의 유형을 분류할 수 있다.
또한, 상기 유형은, 상기 얼굴 중심선, 상기 치아 정중선 및 상기 콧대 중심선이 모두 일치하는 제1 유형, 상기 얼굴 중심선과 상기 치아 정중선은 일치하지 않지만 상기 얼굴 중심선과 상기 콧대 중심선은 일치하는 제2 유형, 상기 얼굴 중심선과 상기 치아 정중선은 일치하지만 상기 얼굴 중심선과 상기 콧대 중심선은 일치하지 않는 제3 유형 및 상기 얼굴 중심선과 상기 치아 정중선이 일치하지 않고 상기 얼굴 중심선과 상기 콧대 중심선도 일치하지 않는 제4 유형을 포함할 수 있다.
이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 개시의 전술한 과제 해결 수단에 의하면, 환자의 자연스러운 모습이 촬영된 동영상에서 환자의 얼굴 정면 프레임을 추출함으로써 환자의 이상적인(자연스러운) 스마일 상태를 획득할 수 있다.
또한, 다양한 파라미터를 이용하여 정면 여부를 판단함으로써 보다 높은 정확도로 정면 이미지를 추출할 수 있다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시에 따른 동적 스마일 분석을 위한 얼굴 정면 여부를 판단하기 위한 시스템을 개략적으로 나타낸 도면이다.
도 2 및 도 3은 본 개시에 따른 동적 스마일 분석을 위한 얼굴 정면 여부 판단 장치의 개략적인 구성도이다.
도 4는 본 개시에 따른 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법의 순서도이다.
도 5는 본 개시에 따른 파라미터를 설명하기 위한 도면이다.
도 6은 본 개시에 따른 파라미터의 조건 충족 여부를 통한 정면 여부 판단 과정을 설명하기 위한 도면이다.
도 7은 본 개시에 따른 얼굴 중심선을 설명하기 위한 도면이다.
도 8은 본 개시에 따른 정면 이미지 분류를 설명하기 위한 도면이다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
본 명세서에서 '장치'는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 장치는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
도 1은 본 개시에 따른 동적 스마일 분석을 위한 얼굴 정면 여부를 판단하기 위한 시스템을 개략적으로 나타낸 도면이다.
기존 시스템은 환자의 스마일 사진 1-2장을 통해 잇몸의 노출도, 치아의 노출량, 노출 치아의 개수, 스마일의 특성, 얼굴과 치아의 중심선 관계 등을 파악하고, 이러한 정보를 교정 및 보철 치료 이전의 초기 정보로 사용하는 방식이다. 이러한 방식을 통해 얻어진 사진은 환자가 편안한 상태에서 자연스럽게 얻어진 것이 아니기 때문에 환자의 자연스러운 표정(스마일)이 아니라는 점에 한계가 있다. 즉, 이상적인 스마일 상태를 얻어냈다고 보장하기가 어렵고, 또한 일상적인 대화 중에 웃음의 크기나 발음 등에 따라 환자의 치아 및 주변 치은이 어떻게 보이는지에 대한 전반적인 데이터를 얻어내기는 어렵다.
본 개시에 따른 시스템은 환자의 자연스러운 모습이 촬영된 동영상의 각 프레임에 대해 얼굴 정면 여부 판단 알고리즘을 적용하여, 환자의 자연스러운 표정(스마일)이 담긴 정면 이미지를 획득할 수 있다.
도 1을 참조하면, 얼굴 정면 여부 판단 장치(100)는 외부 장치에 의해 촬영된 동영상을 획득할 수 있다. 얼굴 정면 여부 판단 장치(100)는 해당 동영상의 각 프레임에 대한 정면 판단을 수행할 수 있다. 얼굴 정면 여부 판단 장치(100)는 모든 프레임 중에서 환자의 얼굴이 정면으로 나온 프레임만 추출하여 외부 장치로 추출할 수 있다.
여기서, 외부 장치는 의사의 단말일 수도 있고 환자의 단말일 수도 있으며, 이에 제한되지 않고 특정한 서비스를 제공하는 서버 장치일 수도 있다.
도 2 및 도 3은 본 개시에 따른 동적 스마일 분석을 위한 얼굴 정면 여부 판단 장치의 개략적인 구성도이다.
도 2를 참조하면, 얼굴 정면 여부 판단 장치(100)는 통신부(110), 메모리(120), 프로세서(130) 및 모델링부(140)를 포함할 수 있다.
다만, 몇몇 실시예에서, 얼굴 정면 여부 판단 장치(100)는 도 2에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 수의 구성요소를 포함할 수도 있다.
통신부(110)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
유선 통신 모듈은, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
메모리(120)는 동적 스마일 분석을 위한 얼굴 정면 여부 판단을 위한 적어도 하나의 프로세스를 저장하고 있을 수 있다.
메모리(120)는 얼굴 정면 여부 판단 장치(100)의 다양한 기능을 지원하는 데이터와, 프로세서(130)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음악 파일, 정지영상, 동영상 등)을 저장할 수 있고, 본 얼굴 정면 여부 판단 장치(100에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 얼굴 정면 여부 판단 장치(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.
이러한, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(120)는 본 장치(100)와는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.
프로세서(130)는 본 얼굴 정면 여부 판단 장치(100) 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리, 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행할 수 있다. 이때, 메모리(120)와 프로세서(130)는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리(120)와 프로세서(130)는 단일 칩으로 구현될 수도 있다.
또한, 프로세서(130)는 이하의 도 4 내지 도 6에서 설명되는 본 개시에 따른 다양한 실시예들을 본 얼굴 정면 여부 판단 장치(100) 상에서 구현하기 위하여, 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.
도 2에 도시하지는 않았지만, 얼굴 정면 여부 판단 장치(100)는 입력부 및 출력부를 더 포함할 수도 있다.
보다 상세하게, 얼굴 정면 여부 판단 장치(100)가 입력 데이터를 외부 장치로부터 수신하지 않고 출력 데이터를 외부 장치로 송신하지 않는 경우, 입력부를 통해 입력 데이터인 동영상을 획득할 수 있고, 출력부를 통해 출력 데이터(정면으로 판단된 이미지)를 표시할 수 있다.
입력부는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 적어도 하나의 카메라, 적어도 하나의 마이크로폰 및 사용자 입력부 중 적어도 하나를 포함할 수 있다. 입력부에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
카메라는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(또는 본 개시의 얼굴 정면 여부 판단 장치(100)의 화면)에 표시되거나 메모리(120)에 저장될 수 있다.
출력부는 시각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부를 포함할 수 있다. 디스플레이부는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 본 장치와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 본 장치와 사용자 간에 출력 인터페이스를 제공할 수 있다.
디스플레이부는 본 장치에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부는 본 장치에서 구동되는 응용 프로그램(일 예로, 어플리케이션)의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
도 3을 참조하면, 얼굴 정면 여부 판단 장치(100)의 모델링부(140)는 미소 분석 모델(141) 및 판단 모델(142)을 포함할 수 있다.
얼굴 정면 여부 판단 장치(100)의 프로세서(130)는 분석 모델(141)을 통해 이미지 내의 얼굴 영역을 추출하고, 얼굴 내의 특징점들을 추출할 수 있다. 즉, 얼굴 내의 눈, 코, 입, 눈썹, 점, 상처 등과 같은 특징이 되는 부분들을 추출하고 각 특징점들에 대한 정보(예를 들어, 위치 정보, 수치화 정보)를 출력할 수 있다.
여기서, 분석 모델(141)은 인공지능 기반으로 사람의 얼굴 이미지를 학습하여 구축된 것일 수 있다. 예를 들어, 분석 모델(141)은 딥러닝을 기반으로 학습될 수 있지만, 이에 제한되지 않고 인공지능을 기반으로 하는 학습 알고리즘은 전부 적용 가능하다.
판단 모델(142)은 인공지능 기반의 제1 알고리즘(1421) 및 제2 알고리즘(1422)을 포함할 수 있다. 얼굴 정면 여부 판단 장치(100)의 프로세서(130)는 판단 모델(142)의 제1 알고리즘(1421)을 기반으로 상기 특징점들에 대한 정보를 이용하여 파라미터를 계산할 수 있다. 얼굴 정면 여부 판단 장치(100)의 프로세서(130)는 판단 모델(142)의 제2 알고리즘(1422)을 기반으로 파라미터를 이용하여 얼굴의 정면 여부를 판단할 수 있다.
도 3에서는 분석 모델(141)과 판단 모델(142)이 분리되어 동작을 수행하는것으로 설명하였지만, 실시예에 따라 분석 모델(141)과 판단 모델(142)은 구분되지 않고 하나의 모델로써 동작할 수 있다. 이러한 경우, 얼굴 정면 여부 판단 장치(100)의 프로세서(130)는 판단 모델(142)의 제1 알고리즘(1421)을 기반으로 이미지 내의 특징점(얼굴 랜드마크)을 추출하고, 얼굴 랜드마크를 이용하여 파라미터를 계산한 후, 제2 알고리즘(1422)을 기반으로 파라미터를 이용하여 얼굴의 정면 여부를 판단할 수 있다. 즉, 제1 알고리즘(1421)이 상기 분석 모델(141)의 역할을 수행할 수 있다. 이때, 판단 모델(142)은 인공지능 기반으로 사람의 얼굴 이미지를 학습하여 구축된 것일 수 있다. 예를 들어, 판단 모델(142)은 딥러닝을 기반으로 학습될 수 있지만, 이에 제한되지 않고 인공지능을 기반으로 하는 학습 알고리즘은 전부 적용 가능하다. 구체적으로, 판단 모델(142)은 사람의 얼굴 이미지, 이미지 내의 얼굴 랜드마크, 파라미터, 얼굴의 정면 여부를 학습 데이터 셋으로 이용하여 딥러닝 기반으로 구축될 수 있다.
도 4는 본 개시에 따른 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법의 순서도이다. 도 5는 본 개시에 따른 파라미터를 설명하기 위한 도면이다. 도 6은 본 개시에 따른 파라미터의 조건 충족 여부를 통한 정면 여부 판단 과정을 설명하기 위한 도면이다. 도 7은 본 개시에 따른 얼굴 중심선을 설명하기 위한 도면이다. 도 8은 본 개시에 따른 정면 이미지 분류를 설명하기 위한 도면이다. 이하에서는 도 4의 방법을 얼굴 정면 여부 판단 장치(100)가 수행하는 것으로 설명하지만, 이에 제한되지 않고 얼굴 정면 여부 판단을 위한 프로그램 또는 어플리케이션이 설치된 단말 장치(의사 또는 환자의 단말 장치)에 의해 수행되는 것으로도 이해될 수 있다.
도 4를 참조하면, 얼굴 정면 여부 판단 장치(100)의 프로세서(130)는 인공지능 기반의 제1 알고리즘을 기반으로 이미지 내에서 복수의 얼굴 랜드마크를 추출할 수 있다(S210).
얼굴 정면 여부 판단 장치(100)의 프로세서(130)는 인공지능 기반의 제1 알고리즘을 기반으로 복수의 얼굴 랜드마크를 이용하여 복수의 파라미터를 계산할 수 있다(S220).
얼굴 정면 여부 판단 장치(100)의 프로세서(130)는 인공지능 기반의 제2 알고리즘을 기반으로 상기 복수의 파라미터를 이용하여 상기 이미지 내의 얼굴이 정면인지의 여부를 판단할 수 있다(S230).
이하에서는, 얼굴 랜드마크를 제1 알고리즘(1421)을 이용하여 추출하는 것으로 설명하지만, 상술한 바와 같이, 얼굴 랜드마크 추출 동작은 분석 모델(141)을 이용하여 수행될 수도 있다.
프로세서(130)는 제1 알고리즘(1421)을 이용하여 이미지 내의 얼굴 영역을 추출하고, 추출된 얼굴 영역에서 얼굴 랜드마크(특징점)를 추출할 수 있다. 즉, 프로세서(130)는 제1 알고리즘(1421)을 이용하여 눈, 코, 콧망울, 귀, 얼굴 외각, 입, 눈썹, 점, 상처 등과 같은 얼굴에서 특징이 되는 부분들을 얼굴 랜드마크로서 추출할 수 있다.
프로세서(130)는 제1 알고리즘(1421)을 이용하여 추출된 얼굴 랜드마크로부터 파라미터를 계산할 수 있다. 여기서, 파라미터는 얼굴의 정면 여부를 판단하기 위한 변수를 의미할 수 있다. 동영상의 프레임마다 계산되는 파라미터의 값은 얼굴의 방향 및 위치, 표정 여부, 눈, 코, 입, 귀의 위치에 따라 다를 수 있다.
여기서, 파라미터는 얼굴 외곽까지의 직선 길이(왼쪽 및 오른쪽 각각의 길이), 콧망울에서 얼굴 외곽까지의 직선 길이(왼쪽 및 오른쪽 각각의 길이), 귀 영역의 넓이(왼쪽 및 오른쪽 각각의 넓이)를 포함할 수 있다. 그러나, 이에 제한되지 않고, 얼굴 랜드마크를 이용하여 계산될 수 있는 모든 파라미터를 포함할 수 있다.
구체적으로, 프로세서(130)는 상기 복수의 얼굴 랜드마크에 기초하여 오른쪽 눈에서 얼굴 외곽까지의 제1-1 직선 길이 및 왼쪽 눈에서 얼굴 외곽까지의 제1-2 직선 길이를 계산하여 파라미터로 활용할 수 있다. 도 5를 참조하면, 제1-1 직선 길이가 a1이고, 제1-2 직선 길이가 a2일 수 있다.
또한, 프로세서(130)는 복수의 얼굴 랜드마크에 기초하여 오른쪽 콧망울에서 얼굴 외곽까지의 제2-1 직선 길이 및 왼쪽 콧망울에서 얼굴 외곽까지의 제2-2 직선 길이를 계산하여 파라미터로 활용할 수 있다. 도 5를 참조하면, 제2-1 직선 길이가 b1이고, 제2-2 직선 길이가 b2일 수 있다.
또한, 프로세서(130)는 복수의 얼굴 랜드마크에 기초하여 오른쪽 귀 영역의 제1-1 넓이 및 왼쪽 귀 영역의 제1-2 넓이를 계산하여 파라미터로 활용할 수 있다. 도 5를 참조하면, 제1-1 넓이가 c1이고, 제1-2 넓이가 c2일 수 있다.
프로세서(130)는 이미지 내의 얼굴의 모습 및 형태에 따라 상이하게 계산되는 파라미터를 기초로 제2 알고리즘(1422)을 이용하여 해당 이미지에 포함된 얼굴이 정면을 향해있는지를 판단할 수 있다.
구체적으로, 프로세서(130)는 복수의 파라미터가 기 설정된 조건을 충족하는지의 여부에 따라 정면 여부를 판단할 수 있다.
프로세서(130)는 제1-1 직선 길이 및 제1-2 직선 길이 간 차이, 제2-1 직선 길이 및 제2-2 직선 길이 간 차이 및 제1-1 넓이 및 상기 제1-2 넓이 간 차이가 기 설정된 조건을 만족하는 경우 상기 얼굴이 정면인 것으로 판단할 수 있다. 여기서, 조건은 두 값이 일치하는지에(즉, 두 값의 차이가 0인지) 관한 것일 수 있지만, 이에 제한되지 않고 두 값의 차이가 설정된 범위 내에 포함되는지에 관한 것일 수도 있다.
도 6을 참조하면, 제1-1 직선 길이(a1)와 제1-2 직선 길이(a2), 제2-1 직선 길이(b1)와 제2-2 직선 길이(b2), 제1-1 넓이(c1)와 제1-2 넓이(c2) 중 하나라도 일치하지 않는 경우엔 해당 이미지 내 얼굴이 정면이 아닌 것으로 판단할 수 있다. 이렇게 정면이 아닌 것으로 판단된 이미지는 사용자의 스마일 분석을 위한 데이터로 활용될 수 없다.
도 6을 참조하면, 제1-1 직선 길이(a1)와 제1-2 직선 길이(a2)가 일치하고, 제2-1 직선 길이(b1)와 제2-2 직선 길이(b2)가 일치하고, 제1-1 넓이(c1)와 제1-2 넓이(c2)가 일치하면, 정면인 것으로 판단할 수 있다.
이렇게 세 개의 파라미터들이 모두 조건에 충족된다면 얼굴이 정면인 것으로 판단할 수 있다.
이때, 실시예에 따라, 프로세서(130)는 이미지 내 인물의 성별에 따라 세 개의 파라미터의 우선순위를 설정하고, 설정된 우선순위에 기초하여 상기 얼굴의 정면 여부를 판단할 수 있다.
구체적으로, 성별이 여자인 경우, 귀 영역의 넓이인 파라미터의 값이 정확하지 않게 계산될 수 있다(여자들은 일반적으로 긴 머리가 많아서 귀를 가리는 경우가 많음). 따라서, 성별인 여자인 경우는, 귀 영역의 넓이에 대한 파라미터의 우선순위를 제일 후순위로 설정하여 조건 충족 및 정면 여부 판단을 수행할 수 있다.
이때, 제일 후순위인 파라미터의 조건이 이전 조건보다 완화되도록 재설정되어 판단 동작이 수행될 수도 있다. 또는 제일 후순위인 파라미터는 제외하고(정확도가 떨어지기 때문에), 나머지 두 개의 파라미터의 조건을 더 타이트하게 재설정하여 판단 동작을 수행할 수도 있다. 여기서, 조건을 완화한다는 것은 이전 조건에 비하여 범위를 넓힌다는 것을 의미할 수 있다(예를 들어, 두 넓이의 차이값이 0.5 이내 → 두 넓이의 차이값 1 이내).
또한, 실시예에 따라, 프로세서(130)는 이미지 내 인물의 미소 여부에 따라 세 개의 파라미터의 우선순위를 설정하고, 설정된 우선순위에 기초하여 상기 얼굴의 정면 여부를 판단할 수 있다.
이렇게 정면으로 판단된 이미지에 대해서는 사용자의 스마일 분석을 위한 데이터로 활용하기 위해 분류 작업이 수행될 수 있다.
프로세서(130)는 상기 얼굴이 정면인 것으로 판단되면, 얼굴 중심선을 추출하고, 상기 얼굴 중심선을 기초로 상기 정면인 것으로 판단된 이미지(이하, 정면 이미지)를 분류할 수 있다.
여기서, 상기 얼굴 중심선은 상기 제1-1 직선 길이 및 상기 제1-2 직선 길이 각각의 양 끝점과 상기 제2-1 직선 길이 및 상기 제2-2 직선 길이 각각의 양 끝점을 기초로 복수의 중앙점을 추출하고, 최소 자승법에 기초하여 상기 복수의 중앙점으로부터 추출되는 것일 수 있다.
도 7을 참조하면, 제1-1 직선 길이(a1)의 양 끝점을 각각 a11 및 a12이라 하고, 제1-2 직선 길이(a2)의 양 끝점을 각각 a21 및 a22이라 하고, 제2-1 직선 길이(b1)의 양 끝점을 각각 b11 및 b12이라 하고, 제2-2 직선 길이(b2)의 양 끝점을 각각 b21 및 b22이라 했을 때, 총 4개의 중앙점(M1, M2, M3, M4)이 추출될 수 있다.
여기서, M1은 (a11+a22)/2 이고, M2은 (a12+a21)/2 이고, M3은 (b11+b22)/2 이고, M4은 (b12+b21)/2 일 수 있다.
프로세서(130)는 최소 자승법을 이용하여 M1, M2, M3, M4을 모두 지나는 직선을 찾아, 해당 직선을 얼굴 중심선으로 설정할 수 있다.
이렇게 얼굴 중심선이 추출되면, 프로세서(130)는 추출된 얼굴 중심선, 치아 정중선 및 콧대 중심선 중 적어도 하나에 기초하여 정면 이미지(정면으로 판단된 이미지)의 유형을 분류할 수 있다.
여기서, 상기 유형은, 상기 얼굴 중심선, 상기 치아 정중선 및 상기 콧대 중심선이 모두 일치하는 제1 유형, 상기 얼굴 중심선과 상기 치아 정중선은 일치하지 않지만 상기 얼굴 중심선과 상기 콧대 중심선은 일치하는 제2 유형, 상기 얼굴 중심선과 상기 치아 정중선은 일치하지만 상기 얼굴 중심선과 상기 콧대 중심선은 일치하지 않는 제3 유형 및 상기 얼굴 중심선과 상기 치아 정중선이 일치하지 않고 상기 얼굴 중심선과 상기 콧대 중심선도 일치하지 않는 제4 유형을 포함할 수 있다.
이때, 프로세서(130)는 도 8에 도시된 바와 같이, 얼굴 중심선과 콧대 중심선의 양 끝점 간의 거리(β1, β2)를 각각 산출하고, 두 개의 거리 값 중 큰 값(도 5에서는 β1)이 기 설정된 값보다 작은 경우에 상기 얼굴 중심선과 상기 콧대 중심선이 일치하는 것으로 판단할 수 있다.
반대로, 프로세서(130)는 두 개의 거리 값 중 큰 값(도 5에서는 β1)이 기 설정된 값보다 큰 경우에 상기 얼굴 중심선과 상기 콧대 중심선이 일치하지 않는 것으로 판단할 수 있다.
또한, 프로세서(130)는 도 8에 도시된 바와 같이, 얼굴 중심선과 치아 정중선 간의 거리(α)를 산출하고, 거리(α)가 기 설정된 값보다 작은 경우에 상기 얼굴 중심선과 상기 치아 정중선이 일치하는 것으로 판단할 수 있다.
반대로, 프로세서(130)는 거리(α)가 기 설정된 값보다 큰 경우에 상기 얼굴 중심선과 상기 치아 정중선이 일치하지 않는 것으로 판단할 수 있다.
이렇게 유형 별로 분류된 정면 이미지는, 외부 장치로 송신되어 사용자의 스마일 분석에 활용될 수 있다.
보다 상세하게, 프로세서(130)는 동영상의 전체 프레임 중에서 얼굴이 정면으로 찍힌 이미지를 모두 추출하고, 그 중에서도 정확도가 높은 일부만을 다시 추출하여 외부 장치로 제공할 수 있다. 이때, 정확도는 얼굴 중심선과 치아 정중선 간의 거리(α)에 기초하여 판단할 수 있다. 예를 들어, 상기 거리(α)가 기 설정된 값 이내인 이미지들이 정확도가 더 높은 것으로 판단하여 해당 이미지들만을 외부 장치로 제공할 수도 있다. 또는 상기 거리(α)의 값이 기 설정된 상위 몇 퍼센트 이내인 이미지들이 정확도가 더 높은 것으로 판단하여 해당 이미지들만을 외부 장치로 제공할 수도 있다.
상기에서는 눈에서부터 얼굴 외곽까지의 직선 길이(왼쪽 및 오른쪽 각각의 길이), 콧망울에서 얼굴 외곽까지의 직선 길이(왼쪽 및 오른쪽 각각의 길이), 귀 영역의 넓이(왼쪽 및 오른쪽 각각의 넓이)를 파라미터로 활용하여 정면 여부를 판단한 후, 정면으로 판단된 이미지를 얼굴 중심선, 치아 정중선 및 콧대 중심선을 이용하여 분류하는 실시예에 대해서 설명하였다.
이하에서는 눈에서부터 얼굴 외곽까지의 직선 길이(왼쪽 및 오른쪽 각각의 길이), 콧망울에서 얼굴 외곽까지의 직선 길이(왼쪽 및 오른쪽 각각의 길이), 귀 영역의 넓이(왼쪽 및 오른쪽 각각의 넓이)뿐만 아니라 얼굴 중심선 및 치아 정중선 간의 간격, 얼굴 중심선 및 콧대 중심선 간의 각도도 파라미터로 활용하여 정면 여부를 판단하는 실시예에 대해서 설명하도록 한다.
상술한 바와 같이, 프로세서(130)는 제1 알고리즘(1421)을 기반으로 얼굴 랜드마크를 이용하여 파라미터를 계산할 수 있다. 이때 파라미터는 얼굴 중심선 및 치아 정중선 간의 거리, 얼굴 중심선 및 콧대 중심선 간의 각도, 눈에서부터 얼굴 외곽까지의 직선 길이(왼쪽 및 오른쪽 각각의 길이), 콧망울에서 얼굴 외곽까지의 직선 길이(왼쪽 및 오른쪽 각각의 길이), 귀 영역의 넓이(왼쪽 및 오른쪽 각각의 넓이)를 포함할 수 있다. 그러나, 이에 제한되지 않고, 얼굴 랜드마크를 이용하여 계산될 수 있는 모든 파라미터를 포함할 수 있다.
프로세서(130)는 이미지 내의 얼굴의 모습 및 형태에 따라 상이하게 계산되는 파라미터를 기초로 제2 알고리즘(1422)을 이용하여 해당 이미지에 포함된 얼굴이 정면을 향해있는지를 판단할 수 있다.
구체적으로, 프로세서(130)는 복수의 파라미터 중 특정 파라미터가 기 설정된 조건을 충족하는지의 여부에 따라 정면 여부를 판단할 수 있다.
이하에서는 특정 얼굴 랜드마크의 조합에 따라 계산되는 파라미터를 이용하여 얼굴의 정면 여부를 판단하는 다양한 실시예에 대해서 설명하도록 한다.
일 실시예에서, 프로세서(130)는 적어도 하나의 얼굴 랜드마크에 기초하여 추출된 얼굴 중심선 및 치아 정중선 간의 거리를 계산하여 파라미터로 이용할 수 있다. 얼굴의 가로 길이로부터 추출되는 얼굴 중심선과, 치아 중 두 개의 윗 앞니의 위치로부터 추출되는 치아 정중선 간의 거리는 정면 여부 판단을 위한 파라미터로 활용될 수 있다.
즉, 얼굴 중심선은 얼굴의 가로 폭의 중간 지점에서 세로 방향으로 이어지는 직선을 의미할 수 있다. 치아 정중선은 두 개의 윗 앞니 사이에서 세로 방향으로 이어지는 직선을 의미할 수 있다.
프로세서(130)는 상기 양자 간 거리가 기 설정된 조건을 충족하는 경우 상기 얼굴이 정면인 것으로 판단할 수 있다. 예를 들어, 상기 양자 간 거리가 0이면 상기 얼굴이 정면인 것으로 판단할 수 있다. 그러나 이러한 간격 조건은 0으로 제한되는 것이 아니고, 사람마다의 얼굴 형태의 차이를 고려하여 오차범위를 포함한 범위 내로 정해질 수도 있다.
다른 실시예에서, 프로세서(130)는 적어도 하나의 얼굴 랜드마크에 기초하여 추출된 얼굴 중심선 및 콧대 중심선 간의 각도를 계산하여 파라미터로 이용할 수 있다. 얼굴의 가로 길이로부터 추출되는 얼굴 중심선과, 코의 위치 및 콧대 방향으로부터 추출되는 콧대 중심선 간의 각도는 정면 여부 판단을 위한 파라미터로 활용될 수 있다.
즉, 얼굴 중심선은 얼굴의 가로 폭의 중간 지점에서 세로 방향으로 이어지는 직선을 의미할 수 있다. 콧대 중심선은 양 콧볼 간 길이의 중간 지점에서 콧대 방향으로 이어지는 직선을 의미할 수 있다.
프로세서(130)는 상기 각도가 기 설정된 조건을 충족하는 경우 상기 얼굴이 정면인 것으로 판단할 수 있다. 예를 들어, 각도가 10°보다 작으면 상기 얼굴이 정면인 것으로 판단할 수 있다. 그러나 이러한 각도 조건은 10°으로 제한되는 것이 아니고, 사람마다의 얼굴 형태의 차이를 고려하여 오차범위를 포함한 범위 내로 정해질 수도 있다.
또 다른 실시예에서, 프로세서(130)는 적어도 하나의 얼굴 랜드마크에 기초하여 추출된 얼굴 중심선 및 치아 정중선 간의 거리와, 적어도 하나의 얼굴 랜드마크에 기초하여 추출된 얼굴 중심선 및 콧대 중심선 간의 각도를 파라미터로 이용할 수 있다.
프로세서(130)는 얼굴의 가로 길이로부터 추출되는 얼굴 중심선과, 치아 중 두 개의 윗 앞니의 위치로부터 추출되는 치아 정중선 간의 거리를 정면 여부 판단을 위한 파라미터로 활용할 수 있다. 또한, 프로세서(130)는 얼굴의 가로 길이로부터 추출되는 얼굴 중심선과, 코의 위치 및 콧대 방향으로부터 추출되는 콧대 중심선 간의 각도를 정면 여부 판단을 위한 파라미터로 활용할 수 있다.
프로세서(130)는 상기 거리와 상기 각도가 각각 기 설정된 조건을 충족해야만 상기 얼굴이 정면인 것으로 판단할 수 있다. 상세한 설명은 위의 설명과 중복되므로 생략한다.
또 다른 실시예에서, 프로세서(130)는 상기 적어도 하나의 얼굴 랜드마크에 기초하여 추출된 얼굴 중심선 및 치아 정중선 간의 거리를 제1 파라미터로 계산하고, 상기 적어도 하나의 얼굴 랜드마크에 기초하여 계산된 눈에서부터 얼굴 외곽까지의 직선 길이, 콧망울에서 얼굴 외곽까지의 직선 길이 및 귀 영역의 넓이 중 하나를 제2 파라미터로 계산할 수 있다.
프로세서(130)는 얼굴의 가로 길이로부터 추출되는 얼굴 중심선과, 치아 중 두 개의 윗 앞니의 위치로부터 추출되는 치아 정중선 간의 거리를 정면 여부 판단을 위한 제1 파라미터로 활용할 수 있다.
프로세서(130)는 양쪽 눈의 눈꼬리에서부터 얼굴 외곽까지의 각각의 직선 길이(도 5의 a1, a2), 양쪽 코의 콧망울에서 얼굴 외곽까지의 각각의 직선 길이(도 5의 b1, b 2) 및 양쪽 귀의 각각의 넓이(도 5의 c1, c 2) 중 하나를 정면 여부 판단을 위한 제2 파라미터로 활용할 수 있다. 즉, 제2 파라미터는 [a1, a2], [b1, b 2] 및 [c1, c 2] 중 하나의 세트가 될 수 있다.
이하에서는 제2 파라미터가 [a1, a2], [b1, b 2] 및 [c1, c 2] 중에서 [a1, a2]인 경우를 예로 들어 설명하도록 한다. 그러나 이하에 기재될 설명은 [a1, a2]의 경우에만 한정되는 것이 아니라 제2 파라미터가 [b1, b 2] 또는 [c1, c2]인 경우에도 똑같이 적용될 수 있다.
프로세서(130)는 얼굴 중심선 및 치아 정중선 간의 거리 및 양쪽 눈의 눈꼬리에서부터 얼굴 외곽까지의 각각의 직선 길이(a1, a2)를 각각 제1 파라미터 및 제2 파라미터로 활용하여 제1 파라미터부터 조건 충족 여부를 판단할 수 있다.
즉, 프로세서(130)는 제1 파라미터인 거리가 설정된 제1 조건을 충족하는 경우 제2 파라미터인 길이(a1, a2)가 기 설정된 제2 조건을 충족하는지를 판단할 수 있다.
반면에, 프로세서(130)는 제1 파라미터인 거리가 기 설정된 제1 조건을 충족하지 않는 경우 제2 파라미터인 길이(a1, a2)가 기 설정된 제3 조건을 충족하는지를 판단할 수 있다. 즉, 제1 파라미터의 제1 조건 충족 여부에 따라 제2 파라미터에 상이한 조건을 적용할 수 있다.
이때, 제3 조건은 제2 조건은 보다 그 범위가 좁게 설정될 수 있다. 이는 제1 파라미터로 정면 여부가 확인되지 않았기 때문에 제2 파라미터에 보다 타이트한 조건을 적용함으로써 높은 정확도로 정면 여부를 판단할 수 있도록 하기 위함이다. 예를 들어, 제2 조건은 a1 및 a2의 차이값이 0.5cm 이내인지를 판단하는 것일 수 있고, 제3 조건은 a1 및 a2가 동일한지를 판단하는 것일 수 있다.
프로세서(130)는 제1 파라미터인 거리가 제1 조건을 충족하고, 제2 파라미터인 길이(a1, a2) 간의 차이가 제2 조건을 충족하는 경우 얼굴이 정면인 것으로 판단할 수 있다.
프로세서(130)는 제1 파라미터인 거리가 제1 조건을 충족하지 않고, 제2 파라미터인 길이(a1, a2) 간의 차이가 제3 조건을 충족하면 얼굴이 정면인 것으로 판단할 수 있다.
프로세서(130)는 제1 파라미터인 거리가 제1 조건을 충족하고, 제2 파라미터인 길이(a1, a2) 간의 차이가 상기 제2 조건을 충족하지 않으면 얼굴이 정면이 아닌 것으로 판단할 수 있다.
프로세서(130)는 제1 파라미터인 거리가 제1 조건을 충족하지 않고, 제2 파라미터인 길이(a1, a2) 간의 차이가 제3 조건을 충족하지 않으면 얼굴이 정면이 아닌 것으로 판단할 수 있다.
또 다른 실시예에서, 프로세서(130)는 적어도 하나의 얼굴 랜드마크에 기초하여 눈에서부터 얼굴 외곽까지의 직선 길이(도 5의 a1, a2)를 제3 파라미터로 계산하고, 적어도 하나의 얼굴 랜드마크에 기초하여 콧망울에서 얼굴 외곽까지의 직선 길이(도 5의 b1, b2)를 제4 파라미터로 계산하고, 적어도 하나의 얼굴 랜드마크에 기초하여 귀 영역의 넓이(도 5의 c1, c2)를 제5 파라미터로 계산할 수 있다.
즉, 프로세서(130)는 양쪽 눈의 눈꼬리에서부터 얼굴 외곽까지의 각각의 직선 길이(a1, a2), 양쪽 코의 콧망울에서 얼굴 외곽까지의 각각의 직선 길이(b1, b2), 양쪽 귀의 각각의 넓이(c1, c 2)를 각각 개별적인 파라미터로 활용하여 정면 여부 판단할 수 있다.
프로세서(130)는 기 설정된 우선순위에 따라 제3, 제4 및 제5 파라미터 각각의 조건 충족 여부를 판단하고, 제3, 제4 및 제5 파라미터가 모두 조건에 충족된다면 얼굴이 정면인 것으로 판단할 수 있다.
이때, 실시예에 따라, 프로세서(130)는 이미지 내 인물의 성별에 따라 제3 파라미터, 제4 파라미터 및 제5 파라미터의 우선순위를 재조정하고, 재조정된 우선순위에 기초하여 상기 얼굴의 정면 여부를 판단할 수 있다.
구체적으로, 성별이 여자인 경우, 귀 영역의 넓이인 제5 파라미터의 값이 정확하지 않게 계산될 수 있다(여자들은 일반적으로 긴 머리가 많아서 귀를 가리는 경우가 많음). 따라서, 성별인 여자인 경우는, 제5 파라미터의 우선순위를 제일 후순위로 재조정하여 조건 충족 및 정면 여부 판단을 수행할 수 있다.
이때, 제일 후순위인 파라미터의 조건이 이전 조건보다 완화되도록 재설정되어 판단 동작이 수행될 수도 있다. 또는 제일 후순위인 파라미터는 제외하고(정확도가 떨어지기 때문에), 나머지 두 개의 파라미터의 조건을 더 타이트하게 재설정하여 판단 동작을 수행할 수도 있다. 여기서, 조건을 완화한다는 것은 이전 조건에 비하여 범위를 넓힌다는 것을 의미할 수 있다(예를 들어, 두 넓이의 차이값이 0.5 이내 → 두 넓이의 차이값 1 이내).
또한, 실시예에 따라, 프로세서(130)는 이미지 내 인물의 미소 여부에 따라 제3 파라미터, 제4 파라미터 및 제5 파라미터의 우선순위를 재조정하고, 재조정된 우선순위에 기초하여 상기 얼굴의 정면 여부를 판단할 수 있다.
이렇게 상기 얼굴이 정면인 것으로 판단된 이미지는, 외부 장치로 송신되어 사용자의 스마일 분석에 활용될 수 있다.
보다 상세하게, 프로세서(130)는 동영상의 전체 프레임 중에서 얼굴이 정면으로 찍힌 이미지를 모두 추출하고, 그 중에서도 정확도가 높은 일부만을 다시 추출하여 외부 장치로 제공할 수 있다. 이때, 정확도는 얼굴 중심선과 치아 정중선 간의 거리에 기초하여 판단할 수 있다. 예를 들어, 상기 거리가 기 설정된 값 이내인 이미지들이 정확도가 더 높은 것으로 판단하여 해당 이미지들만을 외부 장치로 제공할 수도 있다. 또는 상기 거리의 값이 기 설정된 상위 몇 퍼센트 이내인 이미지들이 정확도가 더 높은 것으로 판단하여 해당 이미지들만을 외부 장치로 제공할 수도 있다.
도 4는 단계들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 4에 기재된 단계들의 순서를 변경하여 실행하거나 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 4에 기재된 단계들은 시계열적인 순서로 한정되는 것은 아니다.
한편, 상술한 설명에서, 도 4에 기재된 단계들은 본 개시의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (15)

  1. 장치에 의해 수행되는 방법에 있어서,
    인공지능 기반의 제1 알고리즘을 기반으로 이미지 내에서 복수의 얼굴 랜드마크를 추출하는 단계;
    상기 복수의 얼굴 랜드마크를 이용하여 복수의 파라미터를 계산하는 단계; 및
    인공지능 기반의 제2 알고리즘을 기반으로 상기 복수의 파라미터를 이용하여 상기 이미지 내의 얼굴이 정면인지의 여부를 판단하는 단계;를 포함하고,
    상기 정면 여부를 판단하는 단계는,
    상기 복수의 파라미터가 기 설정된 조건을 충족하는지의 여부에 따라 상기 정면 여부를 판단하는 것인,
    동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법.
  2. 제1항에 있어서,
    상기 파라미터를 계산하는 단계는,
    상기 복수의 얼굴 랜드마크에 기초하여 오른쪽 눈에서 얼굴 외곽까지의 제1-1 직선 길이 및 왼쪽 눈에서 얼굴 외곽까지의 제1-2 직선 길이를 계산하는 단계;
    상기 복수의 얼굴 랜드마크에 기초하여 오른쪽 콧망울에서 얼굴 외곽까지의 제2-1 직선 길이 및 왼쪽 콧망울에서 얼굴 외곽까지의 제2-2 직선 길이를 계산하는 단계; 및
    상기 복수의 얼굴 랜드마크에 기초하여 오른쪽 귀 영역의 제1-1 넓이 및 왼쪽 귀 영역의 제1-2 넓이를 계산하는 단계;를 포함하는,
    동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법.
  3. 제2항에 있어서,
    상기 정면 여부를 판단하는 단계는,
    상기 제1-1 직선 길이 및 상기 제1-2 직선 길이 간 차이, 상기 제2-1 직선 길이 및 상기 제2-2 직선 길이 간 차이 및 상기 제1-1 넓이 및 상기 제1-2 넓이 간 차이가 상기 조건을 만족하는 경우 상기 얼굴이 정면인 것으로 판단하는,
    동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법.
  4. 제2항에 있어서,
    상기 얼굴이 정면인 것으로 판단되면, 얼굴 중심선을 추출하는 단계; 및
    상기 얼굴 중심선을 기초로 상기 정면인 것으로 판단된 이미지(이하, 정면 이미지)를 분류하는 단계;를 더 포함하는,
    동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법.
  5. 제4항에 있어서,
    상기 얼굴 중심선은,
    상기 제1-1 직선 길이 및 상기 제1-2 직선 길이 각각의 양 끝점과 상기 제2-1 직선 길이 및 상기 제2-2 직선 길이 각각의 양 끝점을 기초로 복수의 중앙점을 추출하고, 최소 자승법에 기초하여 상기 복수의 중앙점으로부터 추출되는 것인,
    동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법.
  6. 제4항에 있어서,
    상기 분류하는 단계는,
    상기 얼굴 중심선, 치아 정중선 및 콧대 중심선 중 적어도 하나에 기초하여 상기 정면 이미지의 유형을 분류하는 것인,
    동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법.
  7. 제6항에 있어서,
    상기 유형은,
    상기 얼굴 중심선, 상기 치아 정중선 및 상기 콧대 중심선이 모두 일치하는 제1 유형, 상기 얼굴 중심선과 상기 치아 정중선은 일치하지 않지만 상기 얼굴 중심선과 상기 콧대 중심선은 일치하는 제2 유형, 상기 얼굴 중심선과 상기 치아 정중선은 일치하지만 상기 얼굴 중심선과 상기 콧대 중심선은 일치하지 않는 제3 유형 및 상기 얼굴 중심선과 상기 치아 정중선이 일치하지 않고 상기 얼굴 중심선과 상기 콧대 중심선도 일치하지 않는 제4 유형을 포함하는,
    동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법.
  8. 제7항에 있어서,
    상기 얼굴 중심선과 상기 콧대 중심선의 일치 여부는,
    상기 얼굴 중심선과 상기 콧대 중심선의 양 끝점 간의 거리를 각각 산출하고, 두 개의 거리 값 중 큰 값이 기 설정된 값보다 작은 경우에 일치하는 것으로 판단되는,
    동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법.
  9. 통신부;
    동적 스마일 분석을 위한 얼굴 정면 여부 판단을 위한 적어도 하나의 프로세스를 저장하고 있는 메모리; 및
    상기 프로세스에 따라 동작하는 프로세서;를 포함하고,
    상기 프로세서는,
    인공지능 기반의 제1 알고리즘을 기반으로 이미지 내에서 복수의 얼굴 랜드마크를 추출하고, 상기 복수의 얼굴 랜드마크를 이용하여 복수의 파라미터를 계산하고, 인공지능 기반의 제2 알고리즘을 기반으로 상기 복수의 파라미터를 이용하여 상기 이미지 내의 얼굴이 정면인지의 여부를 판단하며,
    상기 프로세서는, 상기 정면 여부를 판단 시에,
    상기 복수의 파라미터가 기 설정된 조건을 충족하는지의 여부에 따라 상기 정면 여부를 판단하는 것인,
    동적 스마일 분석을 위한 얼굴 정면 여부 판단 장치.
  10. 제9항에 있어서,
    상기 프로세서는, 상기 파라미터를 계산 시에,
    상기 복수의 얼굴 랜드마크에 기초하여 오른쪽 눈에서 얼굴 외곽까지의 제1-1 직선 길이 및 왼쪽 눈에서 얼굴 외곽까지의 제1-2 직선 길이를 계산하고,
    상기 복수의 얼굴 랜드마크에 기초하여 오른쪽 콧망울에서 얼굴 외곽까지의 제2-1 직선 길이 및 왼쪽 콧망울에서 얼굴 외곽까지의 제2-2 직선 길이를 계산하고,
    상기 복수의 얼굴 랜드마크에 기초하여 오른쪽 귀 영역의 제1-1 넓이 및 왼쪽 귀 영역의 제1-2 넓이를 계산하는,
    동적 스마일 분석을 위한 얼굴 정면 여부 판단 장치.
  11. 제10항에 있어서,
    상기 프로세서는, 상기 정면 여부를 판단 시에,
    상기 제1-1 직선 길이 및 상기 제1-2 직선 길이 간 차이, 상기 제2-1 직선 길이 및 상기 제2-2 직선 길이 간 차이 및 상기 제1-1 넓이 및 상기 제1-2 넓이 간 차이가 상기 조건을 만족하는 경우 상기 얼굴이 정면인 것으로 판단하는,
    동적 스마일 분석을 위한 얼굴 정면 여부 판단 장치.
  12. 제10항에 있어서,
    상기 프로세서는,
    상기 얼굴이 정면인 것으로 판단되면, 얼굴 중심선을 추출하고,
    상기 얼굴 중심선을 기초로 상기 정면인 것으로 판단된 이미지(이하, 정면 이미지)를 분류하는,
    동적 스마일 분석을 위한 얼굴 정면 여부 판단 장치.
  13. 제12항에 있어서,
    상기 얼굴 중심선은,
    상기 제1-1 직선 길이 및 상기 제1-2 직선 길이 각각의 양 끝점과 상기 제2-1 직선 길이 및 상기 제2-2 직선 길이 각각의 양 끝점을 기초로 복수의 중앙점을 추출하고, 최소 자승법에 기초하여 상기 복수의 중앙점으로부터 추출되는 것인,
    동적 스마일 분석을 위한 얼굴 정면 여부 판단 장치.
  14. 제12항에 있어서,
    상기 프로세서는, 상기 분류 시에,
    상기 얼굴 중심선, 치아 정중선 및 콧대 중심선 중 적어도 하나에 기초하여 상기 정면 이미지의 유형을 분류하는,
    동적 스마일 분석을 위한 얼굴 정면 여부 판단 장치.
  15. 제14항에 있어서,
    상기 유형은,
    상기 얼굴 중심선, 상기 치아 정중선 및 상기 콧대 중심선이 모두 일치하는 제1 유형, 상기 얼굴 중심선과 상기 치아 정중선은 일치하지 않지만 상기 얼굴 중심선과 상기 콧대 중심선은 일치하는 제2 유형, 상기 얼굴 중심선과 상기 치아 정중선은 일치하지만 상기 얼굴 중심선과 상기 콧대 중심선은 일치하지 않는 제3 유형 및 상기 얼굴 중심선과 상기 치아 정중선이 일치하지 않고 상기 얼굴 중심선과 상기 콧대 중심선도 일치하지 않는 제4 유형을 포함하는,
    동적 스마일 분석을 위한 얼굴 정면 여부 판단 장치.
PCT/KR2023/015271 2022-10-17 2023-10-04 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치 WO2024085505A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220133018A KR20240053687A (ko) 2022-10-17 2022-10-17 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치
KR10-2022-0133018 2022-10-17

Publications (1)

Publication Number Publication Date
WO2024085505A1 true WO2024085505A1 (ko) 2024-04-25

Family

ID=90737912

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/015271 WO2024085505A1 (ko) 2022-10-17 2023-10-04 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20240053687A (ko)
WO (1) WO2024085505A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710200B1 (ko) * 2015-11-05 2017-02-24 광운대학교 산학협력단 얼굴 인식을 사용한 자동 출석관리 시스템 및 방법
KR101779840B1 (ko) * 2016-11-25 2017-09-19 가톨릭대학교 산학협력단 미소 검출 기반 얼굴 분석 장치 및 방법
KR101798860B1 (ko) * 2016-07-04 2017-11-16 (주)이즈테크놀로지 얼굴 방향 검출 장치 및 방법
KR101821496B1 (ko) * 2016-08-19 2018-03-08 동서대학교산학협력단 안전운전 보조 시스템 동작방법
KR20220017329A (ko) * 2020-08-04 2022-02-11 (주)엔에스데블 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101783629B1 (ko) 2017-06-21 2017-10-10 영남대학교 산학협력단 얼굴의 특징점 검출 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710200B1 (ko) * 2015-11-05 2017-02-24 광운대학교 산학협력단 얼굴 인식을 사용한 자동 출석관리 시스템 및 방법
KR101798860B1 (ko) * 2016-07-04 2017-11-16 (주)이즈테크놀로지 얼굴 방향 검출 장치 및 방법
KR101821496B1 (ko) * 2016-08-19 2018-03-08 동서대학교산학협력단 안전운전 보조 시스템 동작방법
KR101779840B1 (ko) * 2016-11-25 2017-09-19 가톨릭대학교 산학협력단 미소 검출 기반 얼굴 분석 장치 및 방법
KR20220017329A (ko) * 2020-08-04 2022-02-11 (주)엔에스데블 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20240053687A (ko) 2024-04-25

Similar Documents

Publication Publication Date Title
WO2019164266A1 (en) Electronic device for generating image including 3d avatar reflecting face motion through 3d avatar corresponding to face and method of operating same
WO2018236058A1 (en) ELECTRONIC DEVICE FOR PROVIDING PROPERTY INFORMATION OF AN EXTERNAL LIGHT SOURCE FOR AN OBJECT OF INTEREST
WO2020036343A1 (en) Electronic device and control method thereof
WO2020085666A1 (en) Electronic device and control method thereof
WO2016085085A1 (ko) 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램
WO2015122566A1 (en) Head mounted display device for displaying augmented reality image capture guide and control method for the same
WO2018174493A1 (ko) 피부에 해당하는 이미지 처리 영역을 보정하는 방법 및 전자 장치
WO2020153785A1 (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
WO2015012495A1 (en) User terminal device and the control method thereof
US11321764B2 (en) Information processing apparatus and information processing method
WO2020149601A1 (ko) 3d cnn을 이용한 고속 영상 인식 방법 및 장치
WO2021235566A1 (ko) 다중 피부 병변 검출 시스템, 다형 피부 병변 검출 방법 및 이를 구현하기 위한 프로그램이 기록되고 컴퓨터로 읽을 수 있는 기록매체
WO2021235833A1 (ko) 출입자의 마스크 탐지 및 체온 보정을 이용한 인공지능 기반 스마트패스 시스템
WO2022255529A1 (ko) 머신 러닝 기반의 립싱크 영상 생성을 위한 학습 방법 및 이를 수행하기 위한 립싱크 영상 생성 장치
WO2024085505A1 (ko) 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치
WO2022215823A1 (ko) 영상 생성 방법 및 장치
WO2019164145A1 (ko) 전자 장치 및 그의 자세 교정 방법
WO2023239110A1 (ko) 사용자에게 맞춤형 스타일을 추천하는 가상 체험 장치
WO2020050550A1 (en) Methods and systems for performing editing operations on media
WO2022050742A1 (ko) 깊이 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 깊이 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
WO2021256702A1 (ko) 전자 장치 및 이의 제어 방법
WO2022124476A1 (ko) 전자 장치 및 이의 제어 방법
WO2020055097A1 (ko) 객체를 인식하는 전자 장치 및 그 전자 장치를 제어하는 방법
WO2024058468A1 (ko) 디스플레이 장치 및 이의 제어 방법
WO2020130274A1 (ko) 영상에서 오브젝트를 인식하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23880084

Country of ref document: EP

Kind code of ref document: A1