WO2018164329A1 - Method and system for providing information on face by using anatomical layer, and non-transitory computer-readable recording medium - Google Patents

Method and system for providing information on face by using anatomical layer, and non-transitory computer-readable recording medium Download PDF

Info

Publication number
WO2018164329A1
WO2018164329A1 PCT/KR2017/008508 KR2017008508W WO2018164329A1 WO 2018164329 A1 WO2018164329 A1 WO 2018164329A1 KR 2017008508 W KR2017008508 W KR 2017008508W WO 2018164329 A1 WO2018164329 A1 WO 2018164329A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
anatomical
user
shape
information
Prior art date
Application number
PCT/KR2017/008508
Other languages
French (fr)
Korean (ko)
Inventor
김진수
최흥산
김희진
최종우
허창훈
Original Assignee
주식회사 모르페우스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170094995A external-priority patent/KR101959866B1/en
Application filed by 주식회사 모르페우스 filed Critical 주식회사 모르페우스
Publication of WO2018164329A1 publication Critical patent/WO2018164329A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Definitions

  • the present invention relates to a method, system and non-transitory computer readable recording medium for providing information about a face using an anatomical layer.
  • an outline of a face component such as an eye, a nose, a mouth, and a chin is extracted from a face image obtained from a user, and the face of the user is extracted based on the feature points of each of the components.
  • Estimation techniques have been introduced.
  • a user terminal that allows a user to transmit a comparison original image to be compared by connecting to a network and a comparison target image provided through the user terminal, the specific comparison target image according to the user's designation
  • a person image similarity comparison system including a similarity comparison server unit providing similarity information has been introduced.
  • the entire user's face is estimated based only on local features obtained from the image of the user's face or bone, and based on the estimated user's face. Since it only provides a comparison service, there was no choice but to make a difference between actual and virtual results.
  • the present invention aims to solve all of the above-mentioned problems of the prior art.
  • another object of the present invention is to estimate the shape and position of at least one type of anatomical layer included in soft tissue of a user's face based on user information.
  • a method for providing information about a face using an anatomical layer comprising: obtaining three-dimensional measurement data about the shape of a user's face, the obtained three-dimensional measurement data to the user Estimating the shape and location of at least one type of anatomical layer included in soft tissue of the user's face by analyzing it in comparison with at least one anatomical face model associated with the information; and Providing information regarding a comparison between the user's face specified by the at least one reference anatomical face model, wherein the anatomical face model includes at least one type of anatomical layer included in soft tissue of the face;
  • a method is provided that includes modeled data relating to the shape and location of a.
  • a system for providing information about a face using an anatomical layer a measurement data acquisition unit for obtaining three-dimensional measurement data about the shape of the user's face, the obtained three-dimensional measurement data
  • a layer estimator for estimating the shape and position of at least one kind of anatomical layer included in soft tissue of the user's face by analyzing the at least one anatomical face model associated with the user information
  • a comparison information providing unit for providing information regarding a comparison between the user's face specified by the estimation and at least one reference anatomical face model, wherein the anatomical face model is included in the soft tissue of the face. Modeled data on the shape and location of at least one type of anatomical layer is included.
  • non-transitory computer readable recording medium for recording another method for implementing the present invention, another system, and a computer program for executing the method.
  • the present invention it is possible to estimate the shape and position of at least one kind of anatomical layer included in the soft tissue of the user's face based on the user information.
  • FIG. 1 is a view showing a schematic configuration of an entire system for providing information about a face using an anatomical layer according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing in detail the internal configuration of the information providing system according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a process of providing information on a face using an anatomical layer according to an embodiment of the present invention.
  • 4 to 6 exemplarily illustrate a process of generating information about a comparison between a user's face and a reference anatomical face model according to one embodiment of the present invention.
  • FIG. 1 is a view showing a schematic configuration of an entire system for providing information about a face using an anatomical layer according to an embodiment of the present invention.
  • the entire system may include a communication network 100, an information providing system 200, and a device 300.
  • the communication network 100 may be configured regardless of a communication mode such as wired communication or wireless communication, and includes a local area network (LAN) and a metropolitan area network (MAN). ), And various communication networks such as a wide area network (WAN).
  • LAN local area network
  • MAN metropolitan area network
  • WAN wide area network
  • the communication network 100 as used herein may be a known Internet or World Wide Web (WWW).
  • WWW World Wide Web
  • the communication network 100 may include, at least in part, a known wired / wireless data communication network, a known telephone network, or a known wired / wireless television communication network without being limited thereto.
  • the communication network 100 is a wireless data communication network, and includes Wi-Fi communication, Wi-Fi Direct communication, Long Term Evolution (LTE) communication, Bluetooth communication (for example, low power Bluetooth BLE (Bluetooth Low Energy), infrared communication, ultrasonic communication, etc. may be implemented at least in part.
  • Wi-Fi communication Wi-Fi Direct communication
  • Wi-Fi Direct communication Wi-Fi Direct communication
  • LTE Long Term Evolution
  • Bluetooth communication for example, low power Bluetooth BLE (Bluetooth Low Energy), infrared communication, ultrasonic communication, etc. may be implemented at least in part.
  • the information providing system 200 may perform communication with the device 300, which will be described later, through the communication network 100, and transmit 3D measurement data regarding the shape of the user's face.
  • At least one type of anatomical layer included in the soft tissue of the user's face by acquiring and analyzing the acquired three-dimensional measurement data in comparison with at least one anatomical face model associated with the user information. and estimating the shape and position of the layer, and providing information on the comparison between the user's face specified by the estimation and the at least one reference anatomical face model.
  • the configuration and function of the information providing system 200 according to the present invention will be described in detail through the following detailed description. Meanwhile, the information providing system 200 has been described as above, but this description is exemplary, and at least some of the functions or components required for the information providing system 200 will be described later as necessary. It will be apparent to those skilled in the art that they may be implemented within an external system (not shown) or may be included in the device 300 or an external system (not shown).
  • the device 300 is a digital device including a function for enabling communication after connecting to the information providing system 200 through the communication network 100, a smartphone, a tablet PC
  • the device 300 can be adopted as the device 300 according to the present invention.
  • the device 300 may include an application for supporting a function according to the present invention for providing information about a face using an anatomical layer.
  • an application may be downloaded from the information providing system 200 or an external application distribution server (not shown).
  • FIG. 2 is a diagram showing in detail the internal configuration of the information providing system 200 according to an embodiment of the present invention.
  • the information providing system 200 may be a digital device having a computing power by including a memory means and a microprocessor.
  • the information providing system 200 may be a server system.
  • the information providing system 200 includes a measurement data obtaining unit 210, a layer estimating unit 220, a comparison information providing unit 230, a service providing unit 240, a communication unit 250, and It may be configured to include a controller 260.
  • the measurement data acquisition unit 210, the layer estimator 220, the comparison information providing unit 230, the service providing unit 240, the communication unit 250 and the control unit 260 is At least some of the above may be program modules that communicate with an external system.
  • Such program modules may be included in the information providing system 200 in the form of an operating system, an application program module, or other program modules, and may be physically stored in various known storage devices.
  • the program module may be stored in a remote storage device that can communicate with the information providing system 200.
  • program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.
  • the measurement data acquisition unit 210 may perform a function of acquiring three-dimensional measurement data regarding a shape of a user's face.
  • the three-dimensional measurement data may include at least one of three-dimensional scanning data of the user's face and three-dimensional imaging data of the hard tissue of the user's face, such three-dimensional scanning
  • the imaging data may include x-rays, ultrasound waves, computer tomography (CT), magnetic resonance images (MRI), and positron emission tomography (PET). And a three-dimensional scanner.
  • the measurement data acquisition unit 210 may obtain three-dimensional measurement data about the user's face shape from the two-dimensional measurement data regarding the user's face shape.
  • the measurement data acquisition unit 210 acquires two-dimensional measurement data (eg, a picture, a picture, etc.) regarding a shape of a user
  • a perspective projection conversion algorithm (perspective) is obtained.
  • three-dimensional measurement on the shape of the user's face by converting the two-dimensional measurement data obtained above through the known three-dimensional transformation algorithm such as projection transformation into three-dimensional data based on the user's facial feature points of the two-dimensional measurement data.
  • Data can be obtained.
  • the layer estimator 220 at least one anatomy associated with the user information, the three-dimensional measurement data about the shape of the user's face obtained from the measurement data acquisition unit 210 By analyzing the comparison with the enemy face model, it is possible to estimate the shape and position of at least one type of anatomical layer included in the soft tissue of the user's face.
  • the anatomical face model is obtained by scanning the peeled (or unpeeled) layer while peeling off the anatomical layers of the soft tissue of the face of the dead human body (ie, the dead body).
  • the position and shape of a layer and data obtained by transmitting at least one of ultrasonic waves, radiation, a magnetic field, and a positron to a living human facial soft tissue (for example, data regarding the position and shape of a layer).
  • a living human facial soft tissue for example, data regarding the position and shape of a layer.
  • the modeled data may be included.
  • the data obtained above such as the support vector machine (SVM) algorithm, multivariate adaptive regression spline (MARS) algorithm, nearest neighbor (KNN) algorithm, neural network (NN) algorithm, etc.
  • SVM support vector machine
  • MARS multivariate adaptive regression spline
  • KNN nearest neighbor
  • NN neural network
  • an anatomical face model may be obtained that patterns the anatomical layers of the face according to demographic indicators.
  • the above-described anatomical layer may include layers relating to at least one of muscle, fat, blood vessels, nerves and lymphatic vessels, and the user information may include race, ethnicity, gender, and age of the user. Information may be included.
  • the type of the anatomical layer and the user information according to an embodiment of the present invention is not necessarily limited to those listed above, periosteum, fascia (faiocia) within the scope that can achieve the object of the present invention , Anatomic layers such as ligaments, or user information, such as a country or a residential area.
  • the layer estimator 220 may include at least one feature related to the face of the user, which is extracted from the 3D measurement data regarding the shape of the face of the user, associated with the corresponding user information.
  • the user's face by matching or transforming the shape and position of at least one type of anatomical layer included in the anatomical face model to conform to three-dimensional measurement data about the shape of the user's face It is possible to estimate the shape or position of at least one type of anatomical layer included in the soft tissue of.
  • the layer estimator 220 compares three-dimensional measurement data regarding the shape of the user's face with at least one anatomical face model associated with the user information, and analyzes the active expression.
  • Active appearance model (AAM) algorithms active shape model (ASM) algorithms, composite constraint AAM algorithms, iterative closest points (ICP) algorithms, and non-rigid matching algorithms At least one of (non-rigid registration) may be used.
  • the layer estimator 220 extracts a feature of the user's face from the 3D measurement data regarding the shape of the user's face, and an active appearance model (AAM).
  • AAM active appearance model
  • At least one of an algorithm, an active shape model (ASM) algorithm, and a composite constraint active expression model (Composite Constraint AAM) algorithm may be used, and iterative closest points (ICP) algorithms and non-rigid matching algorithms (by matching or transforming the shape and position of at least one type of anatomical layer included in the anatomical face model with at least one of non-rigid registration to conform to three-dimensional measurement data about the shape of the user's face, Estimate the shape or location of at least one type of anatomical layer included in the soft tissue of the user's face have.
  • ICP iterative closest points
  • non-rigid matching algorithms by matching or transforming the shape and position of at least one type of anatomical layer included in the anatomical face model with at least one of non-rigid registration
  • an algorithm for comparing and analyzing three-dimensional measurement data about a shape of a face and at least one anatomical face model associated with user information is not necessarily limited to those listed above. It is noted that other algorithms may be utilized within the scope of the object of the present invention.
  • the layer estimator 220 may include at least one anatomical data associated with corresponding user information, using the 3D measurement data regarding the shape of the face of the user obtained from the measurement data acquirer 210.
  • the analysis may be performed by comparing with the face model to estimate a change over time of the shape and position of at least one kind of anatomical layer included in the soft tissue of the user's face.
  • the layer estimator 220 analyzes three-dimensional measurement data regarding the shape of the user's face by comparing it with at least one anatomical face model associated with the user information. Estimating the shape and position of at least one type of anatomical layer included in the soft tissue of the user's face, and referring to the information on the change over time of the at least one anatomical face model, the estimated at least one It is possible to estimate the change over time of the shape and position of the kind of anatomical layer.
  • the layer estimator 220 may include at least one feature related to the face of the user, which is extracted from the 3D measurement data regarding the shape of the face of the user, associated with the corresponding user information. Compare or match the user's three-dimensional measurement data with the shape and position of at least one type of anatomical layer included in the at least one anatomical face model to compare the user's anatomical face model with The shape or position of at least one type of anatomical layer included in the soft tissue of the face may be estimated.
  • the layer estimator 220 may include information about a change over time of at least one anatomical face model associated with the above user information (for example, a user over time). The shape and position of the at least one kind of anatomical layer estimated above with reference to the shape and position of at least one type of anatomical layer included in the at least one anatomical face model associated with the information). The change over time can be estimated.
  • the comparison information providing unit 230 may provide information about a comparison between the face of the user specified by the estimation of the layer estimator 220 and the at least one reference anatomical face model.
  • the above-described reference anatomical face model includes (a) a model calculated by averaging, standardizing, or normalizing a plurality of anatomical face models, (b) a length between predetermined face points, and a predetermined face point.
  • Averaging and standardizing a face model in which at least one of a distance between each other, an angle between a plurality of predetermined points of a face, a height between predetermined face points, a size of a predetermined face area, a volume of a face, and a ratio between predetermined face points meets a predetermined criterion
  • at least one of a model calculated by normalizing and a model calculated by averaging, normalizing, or normalizing a predetermined super normal anatomical face model means that the appearance is superior to the average face
  • the super normal anatomical face model includes a beauty contest (eg, Miss Universe, Miss). World, Miss International, Miss Asia Pacific World, etc.) anatomical face model of the winner.
  • the comparison information providing unit 230 may include at least one reference anatomical result obtained by aggregating and averaging shapes and positions between the respective anatomical layers included in the plurality of anatomical face models. Information about a comparison between a face model and a face of a user specified by the estimation of the layer estimator 220 may be provided. Meanwhile, according to an exemplary embodiment of the present disclosure, the comparison information providing unit 230 may include a plurality of anatomical face models associated with user information (for example, a plurality of anatomical associations (or the same) with age or gender of the user). Information about a comparison between at least one reference anatomical face model obtained by averaging the shape and position of each anatomical layer included in the face model) and the user's face specified by the estimation of the layer estimator 220. May be provided.
  • the comparison information providing unit 230 may include a length between predetermined face points, a distance between predetermined face points, an angle between a plurality of predetermined points of a face, and a predetermined face point.
  • Select at least one face model in which at least one of the height, the size of the predetermined face area, the volume of the face, and the ratio between the predetermined points of the face is close to a predetermined criterion (eg, the golden ratio of the Fibonacci sequence), and the selected model is selected.
  • Information about a comparison between at least one reference anatomical face model obtained by averaging the shapes and positions of the respective anatomical layers included and the user's face specified by the estimation of the layer estimator 220 may be provided.
  • the comparison information providing unit 230 may include a plurality of anatomical face models associated with user information (for example, a plurality of anatomy in which the user is associated with (or the same) age or gender).
  • At least one face model selected from at least one of which is close to a predetermined criterion (for example, the golden ratio of Fibonacci sequence), and the average of the shapes and positions between the anatomical layers included in the selected model are averaged.
  • Information about a comparison between one reference anatomical face model and a user's face specified by the estimation of the layer estimator 220 may be provided.
  • the comparison information providing unit 230 may detect a face of a user of a predetermined age from an estimation result of a change over time of the shape and position of at least one type of anatomical layer. And provide information regarding a comparison between a face of a user of a given age and at least one reference anatomical face model.
  • the comparison information providing unit 230 is a length between the predetermined face, the distance between the predetermined face between the face of the user and at least one reference anatomical face model specified by the estimation, The values compared with respect to at least one of the angle between the plurality of predetermined points of the face, the height between the predetermined faces of the face, the size of the predetermined face of the face, the volume of the face, and the ratio between the predetermined faces of the face can be provided as information on the comparison.
  • the service provider 240 refers to the estimation result of the shape and position of at least one type of anatomical layer and the information about the comparison provided from the comparison information provider 230.
  • a simulation service regarding at least one of plastic surgery and skin surgery may be provided.
  • the service provider 240 may include at least one type of anatomical layer included in the soft tissue of the user's face through information about the comparison provided from the comparison information provider 230.
  • the layer estimator 220 may include at least one of virtual deformation, injection, and extraction of the user's face according to a simulation service relating to at least one of plastic surgery and skin treatment.
  • the communication unit 250 includes data from / to the measurement data acquisition unit 210, the layer estimator 220, the comparison information provider 230, and the service provider 240. It may perform a function to enable transmission and reception.
  • control unit 260 is a measurement data acquisition unit 210, layer estimator 220, comparison information providing unit 230, service provider 240 and communication unit 250 Control the flow of data between the liver. That is, the controller 260 according to the present invention controls the data flow from / to the outside of the information providing system 200 or the data flow between each component of the information providing system 200, thereby measuring the measurement data obtaining unit 210.
  • the layer estimator 220, the comparison information provider 230, the service provider 240, and the communicator 250 may control to perform a unique function.
  • FIG. 3 is a diagram illustrating a process of providing information on a face using an anatomical layer according to an embodiment of the present invention.
  • 4 to 6 exemplarily illustrate a process of generating information about a comparison between a user's face and a reference anatomical face model according to one embodiment of the present invention.
  • the information providing system 200 may acquire 3D computed tomography data of hard tissue of a user's face or 3D scanning data of a user's face ( 301).
  • the information providing system 200 selects (302) at least one anatomical face model (A) associated with at least one of the race, gender and age of the user,
  • the shape or position of at least one kind of anatomical layer included in the selected at least one anatomical face model (A) is adapted to match the three-dimensional data about the shape of the user's face using a non-rigid registration algorithm.
  • the shape or position of at least one kind of anatomical layer included in the soft tissue of the user's face can be estimated (303).
  • the information providing system 200 according to an embodiment of the present invention, the information about the comparison between the user's face and at least one reference anatomical face model (B, 304) measured by the above estimation Can be obtained.
  • the information providing system 200 sets a feature point 410 on each of a user's face and at least one reference anatomical face model. Measure at least one of length, distance, angle, height, size, volume, and ratio of a predetermined point or portion of the face of the user's face and the reference anatomical face model based on the feature point (510, e.g. Angle (nasofrontal angle), lip-jaw fold angle (labiomental fold angle, etc.), and then compare and analyze the measured values, respectively, to compare the user's face with the reference anatomical face model. Information about the information may be obtained (610).
  • information regarding a comparison between a user's face and a reference anatomical face model is obtained based on a diagnosis element regarding a user's face as follows. Can be.
  • a value related to a face width may include a width of left and right of each of the top 701, middle 702, and bottom 703 faces of the user face viewed from the front. It may be a value measured.
  • the wide left and right widths around the clown in the case of the face stop 702, the wide left and right widths around the clown, and in the case of the lower face 703, both end points of the lips It may be measured at a location passing by.
  • the information on the face width may be information used during facial contouring procedures (for example, clown and mandibular reduction surgery, etc.) to an Asian who has a slightly larger face width than an ideal face ratio. have.
  • Face asymmetry (volume asymmetry): According to an embodiment of the present invention, the value of the face asymmetry, the user's face is divided into the upper 801, middle 802, lower 803, and divided Volumes of six areas generated by dividing each area from side to side according to the face center line 804 may be measured. In addition, according to an embodiment of the present invention, the total volume of the user's face may be calculated by adding up the volumes of the six areas.
  • the information on the facial asymmetry may be information divided into soft tissue asymmetry and cervical tissue asymmetry, and may be information used for face asymmetry correction.
  • the value related to the eye width width is the horizontal distance 901 of the user's right eye, the distance 902 between both eyes, and the left eye.
  • the ratio of the horizontal distance 903 may be measured.
  • a value corresponding to the distance 902 between both eyes may be set to 1.0.
  • the information about the width of the eye may be information used in surgery such as an intraocular angle or an external angle plastic surgery to an Asian having a Mongolian inner jaw wrinkle.
  • the value related to the height of the face is measured by measuring the ratio of the vertical distance of the upper face 1001, the middle finger 1002 and the lower face 1003 of the user's face.
  • a value corresponding to the top 1001 of the face may be set to 1.0.
  • the vertical distance ratio divided up and down by the both ends 1004 of the lips at the lower face 1003 may be further measured.
  • the information regarding the face height may be information used for facial contour surgery, jaw surgery, and the like.
  • the contour depths are sequentially generated by arranging the contours of the cross section perpendicular to the front and back directions of the user's face at 0.25 mm intervals from the tip of the nose (1101). May be).
  • the relative height of each part of the face may be easily determined by the contour line using the depth of the contour, and may be measured by the left and right asymmetry and the smoothness of the curved surface of the face.
  • the information about the contour depth is information indicating what contour the user's face has before and after, and reduces the left and right face widths to Asians and the like who have shorter front and back lengths than Westerners. Information may be used to determine whether facial contour surgery is effective, forehead, nose, chin, etc., forehead plastic surgery, nose plastic surgery or chin plastic surgery is effective.
  • Depth by color map (depth by color map): According to an embodiment of the present invention, the color map according to the depth indicates the face height information such as depth by contour above using the color map. As shown in 1201, the relative height of each part of the user's face may be easily determined through color comparison.
  • the information on the color map according to the depth according to an embodiment of the present invention is an image that shows the degree of the overall facial protrusion easily in color, and forehead, nose, and the forehead of the forehead, nose, chin, jaw This may be information used to determine which surgery is most effective for a patient, such as a plastic surgery.
  • the value relating to the front-rear projection is the front-rear direction from the main feature point 1301 of the user's face to the reference plane 1302 behind the face.
  • the distance may be a value 1303.
  • it may be a value obtained by measuring the front-rear direction distance from the designated point of the user's face to the reference plane 1302.
  • the reference plane 1302 may refer to a plane perpendicular to the front and back direction after passing the average position of the left and right ear beads (tragus).
  • the information about the front-rear projections, forehead, nose, chin tip, etc. such as forehead plastic surgery, nose plastic surgery, chin tip plastic surgery, such as surgery which operation will be effective to the patient
  • the information may be used when making a judgment.
  • the present invention may be a value used when determining the amount to be operated before the related operation or to analyze the results before and after the operation.
  • a value related to an eye distance includes a horizontal and vertical distance 1401 of left and right eyes, a distance 1402 between both eyes, and a vertical distance of left and right eyelids. 1403, etc., the values may mean various measurements related to the eye distance.
  • the information on the eye distance may be a value used to determine the amount of surgery during surgery, such as double eyelid surgery, eye correction, inner eye plastic surgery, external eye plastic surgery.
  • nose and lips length (nose and lips length): According to an embodiment of the present invention, the values relating to the nose and lips distance, nasal bridge length (nasal bridge length, 1501), nasal bridge height (nasal bridge height, 1502) It may be a value meaning various measurements related to nose and lip distance, such as aesthetic line.
  • the information about the nose and lip distance may indicate the relative or absolute length associated with the user's nose and lips, it is used during surgery such as nose plastic surgery, jaw correction surgery, jaw surgery May be information.
  • the information regarding the nose and lip angles may be information used during nose plastic surgery and jaw surgery.
  • Curved length is defined by the eye (Ex, 1702), nose (Al) from the tragus 1701 point of the ear for each of the left and right sides of the user's face. , 1703), the distance to the mouth (Ch, 1704), and the jaw (Gn, 1705).
  • the information about the curve length may be a numerical value that cannot be grasped in two dimensions and can be grasped only in three dimensions.
  • the information about the length of the curve may be utilized during surgery, such as eye surgery, nose surgery, facial contour surgery, wrinkle surgery, information that can be effectively analyzed before and after such surgery Can be.
  • the user's face is not limited to the above-described diagnosis elements related to the above-described user faces, and other various diagnosis elements are added or changed to other diagnosis elements within the above diagnosis elements. It will be apparent to one skilled in the art that information regarding the comparison between and the reference anatomical face model can be obtained.
  • the information providing system 200 may provide the information regarding the obtained comparison through the device 300 (305).
  • Embodiments according to the present invention described above can be implemented in the form of program instructions that can be executed by various computer components and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be modified with one or more software modules to perform the processing according to the present invention, and vice versa.

Abstract

The present invention relates to a method and system for providing information on a face by using an anatomical layer, and to a non-transitory computer-readable recording medium. An aspect of the present invention provides the method for providing information on a face by using an anatomical layer, comprising: a step of acquiring three-dimensional measurement data of the shape of a face of a user; a step of analyzing the acquired three-dimensional measurement data by comparing same against at least one anatomical face model associated with the user data, thereby estimating the shape and location of at least one kind of an anatomical layer included in soft tissue of the face of the user; and a step of providing information on the comparison between the face of the user specified by the estimation and at least one reference anatomical face model, wherein the anatomical face model includes modeled data of the shape and location of the at least one kind of the anatomical layer included in the soft tissue of the face.

Description

해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체Methods, systems, and non-transitory computer readable recording media that provide information about the face using anatomical layers
본 발명은 해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.The present invention relates to a method, system and non-transitory computer readable recording medium for providing information about a face using an anatomical layer.
외모에 대한 관심이 높아짐에 따라, 성형 수술, 치과 교정, 피부과 시술, 화장품, 액세서리 등을 통해 사용자의 외모를 가상으로 꾸밀 수 있도록 도와주는 서비스, 외모가 뛰어난 연예인과 사용자 간 외모 일치 정도를 분석해주는 서비스 등이 등장하고 있다. 이와 함께 사용자의 외모를 실제 외모와 거의 흡사하게 가상으로 구현하는 기술 및 사용자 간 외모의 차이를 정확하고 세밀하게 분석하는 기술에 대하여 많은 연구가 진행되고 있다.Increasing interest in appearance, services that help you virtualize your appearance through cosmetic surgery, orthodontics, dermatology, cosmetics, accessories, etc., and analyze the appearance match between outstanding celebrities and users Services are emerging. In addition, a lot of researches have been conducted on the technology of virtually realizing the user's appearance almost identical to the actual appearance and a technique for accurately and precisely analyzing the difference between the user's appearance.
이에 관한, 종래 기술의 일 예로서, 사용자로부터 획득된 얼굴 이미지로부터 눈, 코, 입, 턱 등의 얼굴 구성요소에 대한 윤곽선을 추출하고, 그 구성요소 각각의 특징점에 기초하여 그 사용자의 얼굴을 추정하는 기술이 소개된 바 있다.In this regard, as an example of the related art, an outline of a face component such as an eye, a nose, a mouth, and a chin is extracted from a face image obtained from a user, and the face of the user is extracted based on the feature points of each of the components. Estimation techniques have been introduced.
또한, 종래 기술의 다른 일 예로서, 사용자가 네트워크로 접속하여 비교하고자 하는 비교 원본 이미지를 전송할 수 있게 한 사용자 단말기 및 상기 사용자 단말기를 통하여 제공되는 비교 원본 이미지를 사용자의 지정에 따른 특정 비교 대상 이미지와 비교하여 유사도 정보를 제공하는 유사도 비교 서버부로 구성되는 인물 이미지 유사도 비교 시스템이 소개된 바 있다.In addition, as another example of the prior art, a user terminal that allows a user to transmit a comparison original image to be compared by connecting to a network and a comparison target image provided through the user terminal, the specific comparison target image according to the user's designation In comparison with the above, a person image similarity comparison system including a similarity comparison server unit providing similarity information has been introduced.
하지만, 위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 사용자의 안면 또는 뼈를 촬영한 이미지로부터 얻어지는 국부적인 특징에만 기초하여 사용자의 얼굴 전체를 추정하고, 그 추정되는 사용자의 얼굴에 기초하여 외모 비교 서비스 등을 제공할 뿐이므로, 실제 결과와 가상 결과 간에 괴리가 발생할 수 밖에 없었다.However, according to the prior art as described above and the techniques introduced so far, the entire user's face is estimated based only on local features obtained from the image of the user's face or bone, and based on the estimated user's face. Since it only provides a comparison service, there was no choice but to make a difference between actual and virtual results.
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.The present invention aims to solve all of the above-mentioned problems of the prior art.
또한, 본 발명은 사용자 정보에 기초하여 사용자의 얼굴의 연조직(soft tissue)에 포함되는 적어도 한 종류의 해부학적 레이어(layer)의 형상 및 위치를 추정하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to estimate the shape and position of at least one type of anatomical layer included in soft tissue of a user's face based on user information.
또한, 본 발명은, 사용자의 얼굴과 적어도 하나의 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보를 제공하는 것을 또 다른 목적으로 한다.It is yet another object of the present invention to provide information regarding a comparison between a user's face and at least one reference anatomical face model.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.Representative configuration of the present invention for achieving the above object is as follows.
본 발명의 일 태양에 따르면, 해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하는 방법으로서, 사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 획득하는 단계, 상기 획득되는 3차원 측정 데이터를 상기 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 상기 사용자의 얼굴의 연조직(soft tissue)에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 추정하는 단계, 및 상기 추정에 의하여 특정되는 상기 사용자의 얼굴과 적어도 하나의 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보를 제공하는 단계를 포함하고, 상기 해부학적 얼굴 모델에는, 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 관한 모델링된 데이터가 포함되는 방법이 제공된다.According to an aspect of the present invention, a method for providing information about a face using an anatomical layer, the method comprising: obtaining three-dimensional measurement data about the shape of a user's face, the obtained three-dimensional measurement data to the user Estimating the shape and location of at least one type of anatomical layer included in soft tissue of the user's face by analyzing it in comparison with at least one anatomical face model associated with the information; and Providing information regarding a comparison between the user's face specified by the at least one reference anatomical face model, wherein the anatomical face model includes at least one type of anatomical layer included in soft tissue of the face; A method is provided that includes modeled data relating to the shape and location of a.
본 발명의 다른 태양에 따르면, 해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하는 시스템으로서, 사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 획득하는 측정 데이터 획득부, 상기 획득되는 3차원 측정 데이터를 상기 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 상기 사용자의 얼굴의 연조직(soft tissue)에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 추정하는 레이어 추정부, 및 상기 추정에 의하여 특정되는 상기 사용자의 얼굴과 적어도 하나의 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보를 제공하는 비교 정보 제공부를 포함하고, 상기 해부학적 얼굴 모델에는, 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 관한 모델링된 데이터가 포함되는 시스템이 제공된다.According to another aspect of the present invention, a system for providing information about a face using an anatomical layer, a measurement data acquisition unit for obtaining three-dimensional measurement data about the shape of the user's face, the obtained three-dimensional measurement data A layer estimator for estimating the shape and position of at least one kind of anatomical layer included in soft tissue of the user's face by analyzing the at least one anatomical face model associated with the user information And a comparison information providing unit for providing information regarding a comparison between the user's face specified by the estimation and at least one reference anatomical face model, wherein the anatomical face model is included in the soft tissue of the face. Modeled data on the shape and location of at least one type of anatomical layer is included. This system, which is provided.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.In addition, there is further provided a non-transitory computer readable recording medium for recording another method for implementing the present invention, another system, and a computer program for executing the method.
본 발명에 의하면, 사용자 정보에 기초하여 사용자의 얼굴의 연조직(soft tissue)에 포함되는 적어도 한 종류의 해부학적 레이어(layer)의 형상 및 위치를 추정할 수 있게 된다.According to the present invention, it is possible to estimate the shape and position of at least one kind of anatomical layer included in the soft tissue of the user's face based on the user information.
본 발명에 의하면, 사용자의 얼굴과 적어도 하나의 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보를 제공할 수 있게 된다.According to the present invention, it is possible to provide information regarding a comparison between a user's face and at least one reference anatomical face model.
도 1은 본 발명의 일 실시예에 따라 해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.1 is a view showing a schematic configuration of an entire system for providing information about a face using an anatomical layer according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 정보 제공 시스템의 내부 구성을 상세하게 도시하는 도면이다.2 is a diagram showing in detail the internal configuration of the information providing system according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따라 해부학적 레이어를 이용하여 얼굴에 관한 정보가 제공되는 과정을 예시적으로 나타내는 도면이다.3 is a diagram illustrating a process of providing information on a face using an anatomical layer according to an embodiment of the present invention.
도 4 내지 도 6은 본 발명의 일 실시예에 따라 사용자의 얼굴과 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보가 생성되는 과정을 예시적으로 나타내는 도면이다.4 to 6 exemplarily illustrate a process of generating information about a comparison between a user's face and a reference anatomical face model according to one embodiment of the present invention.
<부호의 설명><Description of the code>
100: 통신망100: network
200: 정보 제공 시스템200: information providing system
210: 측정 데이터 획득부210: measurement data acquisition unit
220: 레이어 추정부220: layer estimator
230: 비교 정보 제공부230: comparison information provider
240: 통신부240: communication unit
250: 제어부250: control unit
300: 디바이스300: device
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.DETAILED DESCRIPTION The following detailed description of the invention refers to the accompanying drawings that show, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein may be implemented with changes from one embodiment to another without departing from the spirit and scope of the invention. In addition, it is to be understood that the location or arrangement of individual components within each embodiment may be changed without departing from the spirit and scope of the invention. Accordingly, the following detailed description is not to be taken in a limiting sense, and the scope of the present invention should be taken as encompassing the scope of the claims of the claims and all equivalents thereto. Like reference numerals in the drawings indicate the same or similar elements throughout the several aspects.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily implement the present invention.
전체 시스템의 구성Configuration of the entire system
도 1은 본 발명의 일 실시예에 따라 해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.1 is a view showing a schematic configuration of an entire system for providing information about a face using an anatomical layer according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 정보 제공 시스템(200) 및 디바이스(300)를 포함할 수 있다.As shown in FIG. 1, the entire system according to an embodiment of the present invention may include a communication network 100, an information providing system 200, and a device 300.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.First, the communication network 100 according to an embodiment of the present invention may be configured regardless of a communication mode such as wired communication or wireless communication, and includes a local area network (LAN) and a metropolitan area network (MAN). ), And various communication networks such as a wide area network (WAN). Preferably, the communication network 100 as used herein may be a known Internet or World Wide Web (WWW). However, the communication network 100 may include, at least in part, a known wired / wireless data communication network, a known telephone network, or a known wired / wireless television communication network without being limited thereto.
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE; Long Term Evolution) 통신, 블루투스 통신(예를 들면, 저전력 블루투스(BLE; Bluetooth Low Energy) 통신), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방식을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.For example, the communication network 100 is a wireless data communication network, and includes Wi-Fi communication, Wi-Fi Direct communication, Long Term Evolution (LTE) communication, Bluetooth communication (for example, low power Bluetooth BLE (Bluetooth Low Energy), infrared communication, ultrasonic communication, etc. may be implemented at least in part.
다음으로, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은 통신망(100)을 통하여 후술할 디바이스(300)와의 통신을 수행할 수 있고, 사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 획득하고, 그 획득되는 3차원 측정 데이터를 해당 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 해당 사용자의 얼굴의 연조직(soft tissue)에 포함되는 적어도 한 종류의 해부학적 레이어(layer)의 형상 및 위치를 추정하고, 그 추정에 의하여 특정되는 해당 사용자의 얼굴과 적어도 하나의 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보를 제공하는 기능을 수행할 수 있다.Next, the information providing system 200 according to an embodiment of the present invention may perform communication with the device 300, which will be described later, through the communication network 100, and transmit 3D measurement data regarding the shape of the user's face. At least one type of anatomical layer included in the soft tissue of the user's face by acquiring and analyzing the acquired three-dimensional measurement data in comparison with at least one anatomical face model associated with the user information. and estimating the shape and position of the layer, and providing information on the comparison between the user's face specified by the estimation and the at least one reference anatomical face model.
본 발명에 따른 정보 제공 시스템(200)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다. 한편, 정보 제공 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 정보 제공 시스템(200)에 대하여 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 후술할 디바이스(300) 또는 외부 시스템(미도시됨) 내에서 실현되거나 디바이스(300) 또는 외부 시스템(미도시됨)에 포함될 수도 있음은 당업자에게 자명하다.The configuration and function of the information providing system 200 according to the present invention will be described in detail through the following detailed description. Meanwhile, the information providing system 200 has been described as above, but this description is exemplary, and at least some of the functions or components required for the information providing system 200 will be described later as necessary. It will be apparent to those skilled in the art that they may be implemented within an external system (not shown) or may be included in the device 300 or an external system (not shown).
다음으로, 본 발명의 일 실시예에 따라 디바이스(300)는 통신망(100)을 통해 정보 제공 시스템(200)에 접속한 후 통신할 수 있도록 하는 기능을 포함하는 디지털 기기로서, 스마트폰, 태블릿 PC 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 휴대 가능한 디지털 기기라면 얼마든지 본 발명에 따른 디바이스(300)로서 채택될 수 있다.Next, according to an embodiment of the present invention, the device 300 is a digital device including a function for enabling communication after connecting to the information providing system 200 through the communication network 100, a smartphone, a tablet PC As long as a portable digital device having a memory means and a microprocessor equipped with computing power, the device 300 can be adopted as the device 300 according to the present invention.
한편, 본 발명의 일 실시예에 따르면, 디바이스(300)에는, 해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하는 본 발명에 따른 기능이 지원되기 위한 애플리케이션이 포함되어 있을 수 있다. 이와 같은 애플리케이션은 정보 제공 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다.Meanwhile, according to an embodiment of the present invention, the device 300 may include an application for supporting a function according to the present invention for providing information about a face using an anatomical layer. Such an application may be downloaded from the information providing system 200 or an external application distribution server (not shown).
정보 제공 시스템의 구성Organization of Informational System
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 정보 제공 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.Hereinafter, the internal configuration of the information providing system 200 performing important functions for the implementation of the present invention and the function of each component will be described.
도 2는 본 발명의 일 실시예에 따른 정보 제공 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.2 is a diagram showing in detail the internal configuration of the information providing system 200 according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 정보 제공 시스템(200)은 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기일 수 있다. 이러한 정보 제공 시스템(200)은 서버 시스템일 수 있다. 도 2에 도시된 바와 같이, 정보 제공 시스템(200)은 측정 데이터 획득부(210), 레이어 추정부(220), 비교 정보 제공부(230), 서비스 제공부(240), 통신부(250) 및 제어부(260)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 측정 데이터 획득부(210), 레이어 추정부(220), 비교 정보 제공부(230), 서비스 제공부(240), 통신부(250) 및 제어부(260)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 정보 제공 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 정보 제공 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.The information providing system 200 according to an exemplary embodiment of the present invention may be a digital device having a computing power by including a memory means and a microprocessor. The information providing system 200 may be a server system. As shown in FIG. 2, the information providing system 200 includes a measurement data obtaining unit 210, a layer estimating unit 220, a comparison information providing unit 230, a service providing unit 240, a communication unit 250, and It may be configured to include a controller 260. According to an embodiment of the present invention, the measurement data acquisition unit 210, the layer estimator 220, the comparison information providing unit 230, the service providing unit 240, the communication unit 250 and the control unit 260 is At least some of the above may be program modules that communicate with an external system. Such program modules may be included in the information providing system 200 in the form of an operating system, an application program module, or other program modules, and may be physically stored in various known storage devices. In addition, the program module may be stored in a remote storage device that can communicate with the information providing system 200. On the other hand, such program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.
먼저, 본 발명의 일 실시예에 따라 측정 데이터 획득부(210)는 사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 획득하는 기능을 수행할 수 있다. 본 발명의 일 실시예에 따른 3차원 측정 데이터에는, 사용자의 안면에 대한 3차원 스캐닝 데이터 및 사용자의 얼굴 경조직(hard tissue)에 대한 3차원 촬영 데이터 중 적어도 하나가 포함될 수 있으며, 이러한 3차원 스캐닝 또는 촬영 데이터는, 엑스레이(x-ray), 초음파(ultrasonic wave), 컴퓨터 단층 촬영(CT; Computer Tomography), 자기 공명 영상(MRI; magnetic resonance image), 양전자 방출 촬영 영상(PET; positron emission tomography) 및 3차원 스캐너 중 적어도 하나로부터 획득될 수 있다.First, according to an embodiment of the present invention, the measurement data acquisition unit 210 may perform a function of acquiring three-dimensional measurement data regarding a shape of a user's face. The three-dimensional measurement data according to an embodiment of the present invention may include at least one of three-dimensional scanning data of the user's face and three-dimensional imaging data of the hard tissue of the user's face, such three-dimensional scanning Alternatively, the imaging data may include x-rays, ultrasound waves, computer tomography (CT), magnetic resonance images (MRI), and positron emission tomography (PET). And a three-dimensional scanner.
또한, 본 발명의 일 실시예에 따라 측정 데이터 획득부(210)는 사용자의 얼굴 형상에 관한 2차원 측정 데이터로부터 사용자의 얼굴 형상에 관한 3차원 측정 데이터를 획득할 수도 있다.In addition, according to an exemplary embodiment, the measurement data acquisition unit 210 may obtain three-dimensional measurement data about the user's face shape from the two-dimensional measurement data regarding the user's face shape.
예를 들면, 본 발명의 일 실시예에 따라 측정 데이터 획득부(210)는 사용자의 얼굴 형상에 관한 2차원 측정 데이터(예를 들면, 사진, 그림 등)가 획득되면, 원근 투영 변환 알고리즘(perspective projection transformation) 등의 공지의 3차원 변환 알고리즘을 통해 위의 획득되는 2차원 측정 데이터를 그 2차원 측정 데이터의 사용자의 얼굴 특징점에 기초하여 3차원 데이터로 변환함으로써 사용자의 얼굴 형상에 관한 3차원 측정 데이터를 획득할 수 있다.For example, in accordance with an embodiment of the present invention, when the measurement data acquisition unit 210 acquires two-dimensional measurement data (eg, a picture, a picture, etc.) regarding a shape of a user, a perspective projection conversion algorithm (perspective) is obtained. three-dimensional measurement on the shape of the user's face by converting the two-dimensional measurement data obtained above through the known three-dimensional transformation algorithm such as projection transformation into three-dimensional data based on the user's facial feature points of the two-dimensional measurement data. Data can be obtained.
다음으로, 본 발명의 일 실시예에 따라 레이어 추정부(220)는 측정 데이터 획득부(210)로부터 획득되는 사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 해당 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 그 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 추정하는 기능을 수행할 수 있다. 본 발명의 일 실시예에 따라 해부학적 얼굴 모델은, 죽은 인체(즉, 사체)의 얼굴의 연조직의 해부학적 레이어를 한꺼풀씩 벗겨내면서 벗겨진(또는 벗겨지지 않은) 레이어에 대한 스캐닝을 통해 획득되는 데이터(예를 들면, 레이어의 위치, 형상 등) 및 살아있는 인체 얼굴 연조직에 대하여 초음파, 방사선, 자기장 및 양전자 중 적어도 하나를 투과시켜 획득되는 데이터(예를 들면, 레이어의 위치, 형상 등에 관한 데이터) 중 적어도 하나에 기초하여, 인구 통계학적 지표(demographic variable, 예를 들면, 인종, 성별, 나이 등)에 따라 얼굴의 해부학적 레이어를 정규화, 평균화 또는 표준화함으로써 획득되는 얼굴 모델링 데이터일 수 있으며, 이러한 해부학적 얼굴 모델에는, 얼굴의 연조직에 포함될 수 있는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 관하여 모델링된 데이터가 포함될 수 있다. 한편, 본 발명의 일 실시예에 따라, 위의 획득되는 데이터를 서포트 벡터 머신(SVM) 알고리즘, 다변수 적응 회귀 스플라인(MARS) 알고리즘, 최근접 이웃(KNN) 알고리즘, 신경망(NN) 알고리즘 등의 공지의 딥러닝 또는 빅데이터에 관한 알고리즘을 통해 분석함으로써, 인구 통계학적 지표에 따라 얼굴의 해부학적 레이어를 패턴화한 해부학적 얼굴 모델이 획득될 수도 있다. 또한, 본 발명의 일 실시예에 따라 전술한 해부학적 레이어에는 근육, 지방, 혈관, 신경 및 림프관 중 적어도 하나에 관한 레이어가 포함될 수 있으며, 전술한 사용자 정보에는 사용자의 인종, 민족, 성별, 나이 등에 관한 정보가 포함될 수 있다. 한편, 본 발명에 일 실시예 따른 이러한 해부학적 레이어의 종류 및 사용자 정보가 반드시 앞서 열거한 것에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 골막(periosteum), 근막(fascia), 인대(ligament) 등과 같은 해부학적 레이어나 국가, 거주 지역 등과 같은 사용자 정보 등으로 다양하게 변경될 수 있다.Next, the layer estimator 220 according to an embodiment of the present invention at least one anatomy associated with the user information, the three-dimensional measurement data about the shape of the user's face obtained from the measurement data acquisition unit 210 By analyzing the comparison with the enemy face model, it is possible to estimate the shape and position of at least one type of anatomical layer included in the soft tissue of the user's face. According to an embodiment of the present invention, the anatomical face model is obtained by scanning the peeled (or unpeeled) layer while peeling off the anatomical layers of the soft tissue of the face of the dead human body (ie, the dead body). (For example, the position and shape of a layer) and data obtained by transmitting at least one of ultrasonic waves, radiation, a magnetic field, and a positron to a living human facial soft tissue (for example, data regarding the position and shape of a layer). Based on at least one, may be facial modeling data obtained by normalizing, averaging, or normalizing the anatomical layers of the face according to demographic variables (eg, race, gender, age, etc.), such anatomy Red face models relate to the shape and location of at least one type of anatomical layer that may be included in the soft tissues of the face. The modeled data may be included. On the other hand, according to an embodiment of the present invention, the data obtained above, such as the support vector machine (SVM) algorithm, multivariate adaptive regression spline (MARS) algorithm, nearest neighbor (KNN) algorithm, neural network (NN) algorithm, etc. By analyzing through known algorithms for deep learning or big data, an anatomical face model may be obtained that patterns the anatomical layers of the face according to demographic indicators. In addition, according to an embodiment of the present invention, the above-described anatomical layer may include layers relating to at least one of muscle, fat, blood vessels, nerves and lymphatic vessels, and the user information may include race, ethnicity, gender, and age of the user. Information may be included. On the other hand, the type of the anatomical layer and the user information according to an embodiment of the present invention is not necessarily limited to those listed above, periosteum, fascia (faiocia) within the scope that can achieve the object of the present invention , Anatomic layers such as ligaments, or user information, such as a country or a residential area.
구체적으로, 본 발명의 일 실시예에 따라 레이어 추정부(220)는, 사용자의 얼굴의 형상에 관한 3차원 측정 데이터로부터 추출되는 해당 사용자의 얼굴에 관한 특징을 해당 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여, 해부학적 얼굴 모델에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 해당 사용자의 얼굴의 형상에 관한 3차원 측정 데이터에 부합하도록 정합 또는 변환함으로써, 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 또는 위치를 추정할 수 있다.Specifically, according to an embodiment of the present invention, the layer estimator 220 may include at least one feature related to the face of the user, which is extracted from the 3D measurement data regarding the shape of the face of the user, associated with the corresponding user information. Compared to the anatomical face model, the user's face by matching or transforming the shape and position of at least one type of anatomical layer included in the anatomical face model to conform to three-dimensional measurement data about the shape of the user's face It is possible to estimate the shape or position of at least one type of anatomical layer included in the soft tissue of.
한편, 본 발명의 일 실시예에 따라 레이어 추정부(220)는 사용자의 얼굴의 형상에 관한 3차원 측정 데이터와 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델을 비교하여 분석하기 위하여, 능동 표현 모델(AAM; active appearance model) 알고리즘, 능동 형상 모델(ASM; active shape model) 알고리즘, 복합 제약 능동 표현 모델(Composite Constraint AAM) 알고리즘, 반복 최근접점(ICP; iterative closest points) 알고리즘 및 비강체 정합 알고리즘(non-rigid registration) 중 적어도 하나를 이용할 수 있다.Meanwhile, according to an embodiment of the present invention, the layer estimator 220 compares three-dimensional measurement data regarding the shape of the user's face with at least one anatomical face model associated with the user information, and analyzes the active expression. Active appearance model (AAM) algorithms, active shape model (ASM) algorithms, composite constraint AAM algorithms, iterative closest points (ICP) algorithms, and non-rigid matching algorithms At least one of (non-rigid registration) may be used.
구체적으로, 본 발명의 일 실시예에 따라, 레이어 추정부(220)는 사용자 얼굴 형상에 관한 3차원 측정 데이터로부터 그 사용자의 얼굴의 특징을 추출하기 위하여, 능동 표현 모델(AAM; active appearance model) 알고리즘, 능동 형상 모델(ASM; active shape model) 알고리즘 및 복합 제약 능동 표현 모델(Composite Constraint AAM) 알고리즘 중 적어도 하나를 이용할 수 있으며, 반복 최근접점(ICP; iterative closest points) 알고리즘 및 비강체 정합 알고리즘(non-rigid registration) 중 적어도 하나를 이용하여 해부학적 얼굴 모델에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 그 사용자의 얼굴의 형상에 관한 3차원 측정 데이터에 부합하도록 정합 또는 변환함으로써, 그 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 또는 위치를 추정할 수 있다. 한편, 본 발명의 일 실시예에 따라 얼굴의 형상에 관한 3차원 측정 데이터와 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델을 비교하여 분석하기 위한 알고리즘이 반드시 앞서 열거된 것에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다른 알고리즘이 활용될 수도 있음을 밝혀둔다.Specifically, according to an embodiment of the present invention, the layer estimator 220 extracts a feature of the user's face from the 3D measurement data regarding the shape of the user's face, and an active appearance model (AAM). At least one of an algorithm, an active shape model (ASM) algorithm, and a composite constraint active expression model (Composite Constraint AAM) algorithm may be used, and iterative closest points (ICP) algorithms and non-rigid matching algorithms ( by matching or transforming the shape and position of at least one type of anatomical layer included in the anatomical face model with at least one of non-rigid registration to conform to three-dimensional measurement data about the shape of the user's face, Estimate the shape or location of at least one type of anatomical layer included in the soft tissue of the user's face have. Meanwhile, according to an embodiment of the present invention, an algorithm for comparing and analyzing three-dimensional measurement data about a shape of a face and at least one anatomical face model associated with user information is not necessarily limited to those listed above. It is noted that other algorithms may be utilized within the scope of the object of the present invention.
한편, 본 발명의 일 실시예에 따라 레이어 추정부(220)는 측정 데이터 획득부(210)로부터 획득되는 사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 해당 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 그 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화를 추정하는 기능을 더 수행할 수도 있다.Meanwhile, according to an exemplary embodiment of the present disclosure, the layer estimator 220 may include at least one anatomical data associated with corresponding user information, using the 3D measurement data regarding the shape of the face of the user obtained from the measurement data acquirer 210. The analysis may be performed by comparing with the face model to estimate a change over time of the shape and position of at least one kind of anatomical layer included in the soft tissue of the user's face.
구체적으로, 본 발명의 일 실시예에 따라 레이어 추정부(220)는, 사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 그 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 해당 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 추정하고, 위의 적어도 하나의 해부학적 얼굴 모델의 시간에 따른 변화에 관한 정보를 참조하여, 그 추정되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화를 추정할 수 있다.Specifically, according to an embodiment of the present invention, the layer estimator 220 analyzes three-dimensional measurement data regarding the shape of the user's face by comparing it with at least one anatomical face model associated with the user information. Estimating the shape and position of at least one type of anatomical layer included in the soft tissue of the user's face, and referring to the information on the change over time of the at least one anatomical face model, the estimated at least one It is possible to estimate the change over time of the shape and position of the kind of anatomical layer.
예를 들면, 본 발명의 일 실시예에 따라 레이어 추정부(220)는, 사용자의 얼굴의 형상에 관한 3차원 측정 데이터로부터 추출되는 해당 사용자의 얼굴에 관한 특징을 해당 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여, 그 사용자의 3차원 측정 데이터에 위의 적어도 하나의 해부학적 얼굴 모델에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치가 부합되도록 정합 또는 변환함으로써, 그 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 또는 위치를 추정할 수 있다. 또한, 본 발명의 일 실시예에 따라 레이어 추정부(220)는 위의 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델의 시간에 따른 변화에 관한 정보(예를 들면, 시간이 지남에 따라 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치가 변화되는 양상 등)를 참조하여 위의 기추정된 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화를 추정할 수 있다.For example, according to an embodiment of the present invention, the layer estimator 220 may include at least one feature related to the face of the user, which is extracted from the 3D measurement data regarding the shape of the face of the user, associated with the corresponding user information. Compare or match the user's three-dimensional measurement data with the shape and position of at least one type of anatomical layer included in the at least one anatomical face model to compare the user's anatomical face model with The shape or position of at least one type of anatomical layer included in the soft tissue of the face may be estimated. In addition, according to an embodiment of the present invention, the layer estimator 220 may include information about a change over time of at least one anatomical face model associated with the above user information (for example, a user over time). The shape and position of the at least one kind of anatomical layer estimated above with reference to the shape and position of at least one type of anatomical layer included in the at least one anatomical face model associated with the information). The change over time can be estimated.
다음으로, 본 발명의 일 실시예에 따라 비교 정보 제공부(230)는 레이어 추정부(220)의 추정에 의하여 특정되는 사용자의 얼굴과 적어도 하나의 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보를 제공할 수 있다. 본 발명의 일 실시예에 따라 전술한 기준 해부학적 얼굴 모델에는, (a) 복수의 해부학적 얼굴 모델을 평균화, 표준화 또는 정규화함으로써 산출되는 모델, (b) 얼굴 소정 지점 사이의 길이, 얼굴 소정 지점 사이의 거리, 얼굴의 복수의 소정 지점 사이의 각도, 얼굴 소정 지점 간 높낮이, 얼굴 소정 부위의 크기, 얼굴의 부피 및 얼굴 소정 지점 간 비율 중 적어도 하나가 소정 기준에 부합되는 얼굴 모델을 평균화, 표준화 또는 정규화함으로써 산출되는 모델 및 (c) 기설정된 수퍼 노멀(super normal) 해부학적 얼굴 모델을 평균화, 표준화 또는 정규화함으로써 산출되는 모델 중 적어도 하나가 포함될 수 있다. 한편, 본 발명의 일 실시예에 따라 전술한 수퍼 노멀은 평균적인 얼굴을 초월하여 외모가 뛰어남을 뜻하는 의미로서, 그 수퍼 노멀 해부학적 얼굴 모델에는, 미인 대회(예를 들면, 미스 유니버스, 미스 월드, 미스 인터내셔널, 미스 아시아 퍼시픽 월드 등) 수상자의 해부학적 얼굴 모델 등이 포함될 수 있다.Next, according to an embodiment of the present invention, the comparison information providing unit 230 may provide information about a comparison between the face of the user specified by the estimation of the layer estimator 220 and the at least one reference anatomical face model. Can provide. According to an embodiment of the present invention, the above-described reference anatomical face model includes (a) a model calculated by averaging, standardizing, or normalizing a plurality of anatomical face models, (b) a length between predetermined face points, and a predetermined face point. Averaging and standardizing a face model in which at least one of a distance between each other, an angle between a plurality of predetermined points of a face, a height between predetermined face points, a size of a predetermined face area, a volume of a face, and a ratio between predetermined face points meets a predetermined criterion Or at least one of a model calculated by normalizing and a model calculated by averaging, normalizing, or normalizing a predetermined super normal anatomical face model. Meanwhile, the above-described super normal according to an embodiment of the present invention means that the appearance is superior to the average face, and the super normal anatomical face model includes a beauty contest (eg, Miss Universe, Miss). World, Miss International, Miss Asia Pacific World, etc.) anatomical face model of the winner.
예를 들면, 본 발명의 일 실시예에 따라, 비교 정보 제공부(230)는 복수의 해부학적 얼굴 모델에 포함되는 각각의 해부학적 레이어 간 형상 및 위치를 종합하여 평균화한 적어도 하나의 기준 해부학적 얼굴 모델과 레이어 추정부(220)의 추정에 의하여 특정되는 사용자의 얼굴 사이의 비교에 관한 정보를 제공할 수 있다. 한편, 본 발명의 일 실시예에 따라, 비교 정보 제공부(230)는 사용자 정보와 연관되는 복수의 해부학적 얼굴 모델(예를 들면, 사용자와 나이 또는 성별이 연관된(또는 동일한) 복수의 해부학적 얼굴 모델)에 포함되는 각각의 해부학적 레이어 간 형상 및 위치를 종합하여 평균화한 적어도 하나의 기준 해부학적 얼굴 모델과 레이어 추정부(220)의 추정에 의하여 특정되는 사용자의 얼굴 사이의 비교에 관한 정보를 제공할 수도 있다.For example, according to an exemplary embodiment of the present invention, the comparison information providing unit 230 may include at least one reference anatomical result obtained by aggregating and averaging shapes and positions between the respective anatomical layers included in the plurality of anatomical face models. Information about a comparison between a face model and a face of a user specified by the estimation of the layer estimator 220 may be provided. Meanwhile, according to an exemplary embodiment of the present disclosure, the comparison information providing unit 230 may include a plurality of anatomical face models associated with user information (for example, a plurality of anatomical associations (or the same) with age or gender of the user). Information about a comparison between at least one reference anatomical face model obtained by averaging the shape and position of each anatomical layer included in the face model) and the user's face specified by the estimation of the layer estimator 220. May be provided.
다른 예를 들면, 본 발명의 일 실시예에 따라, 비교 정보 제공부(230)는 얼굴 소정 지점 사이의 길이, 얼굴 소정 지점 사이의 거리, 얼굴의 복수의 소정 지점 사이의 각도, 얼굴 소정 지점 간 높낮이, 얼굴 소정 부위의 크기, 얼굴의 부피 및 얼굴 소정 지점 간 비율 중 적어도 하나가 소정 기준(예를 들면, 피보나치 수열의 황금 비율)에 가까운 적어도 하나의 얼굴 모델을 선정하고, 그 선정된 모델에 포함되는 각각의 해부학적 레이어 간 형상 및 위치를 종합하여 평균화한 적어도 하나의 기준 해부학적 얼굴 모델과 레이어 추정부(220)의 추정에 의하여 특정되는 사용자의 얼굴 사이의 비교에 관한 정보를 제공할 수 있다. 한편, 본 발명의 일 실시예에 따라, 비교 정보 제공부(230)는 사용자 정보와 연관되는 복수의 해부학적 얼굴 모델(예를 들면, 사용자와 나이 또는 성별이 연관(또는 동일한)된 복수의 해부학적 얼굴 모델) 중 얼굴 소정 지점 사이의 길이, 얼굴 소정 지점 사이의 거리, 얼굴의 복수의 소정 지점 사이의 각도, 얼굴 소정 지점 간 높낮이, 얼굴 소정 부위의 크기, 얼굴의 부피 및 얼굴 소정 지점 간 비율 중 적어도 하나가 소정 기준(예를 들면, 피보나치 수열의 황금 비율)에 가까운 적어도 하나의 얼굴 모델을 선정하고, 그 선정된 모델에 포함되는 각각의 해부학적 레이어 간 형상 및 위치를 종합하여 평균화한 적어도 하나의 기준 해부학적 얼굴 모델과 레이어 추정부(220)의 추정에 의하여 특정되는 사용자의 얼굴 사이의 비교에 관한 정보를 제공할 수도 있다.For another example, according to an embodiment of the present invention, the comparison information providing unit 230 may include a length between predetermined face points, a distance between predetermined face points, an angle between a plurality of predetermined points of a face, and a predetermined face point. Select at least one face model in which at least one of the height, the size of the predetermined face area, the volume of the face, and the ratio between the predetermined points of the face is close to a predetermined criterion (eg, the golden ratio of the Fibonacci sequence), and the selected model is selected. Information about a comparison between at least one reference anatomical face model obtained by averaging the shapes and positions of the respective anatomical layers included and the user's face specified by the estimation of the layer estimator 220 may be provided. have. Meanwhile, according to an exemplary embodiment of the present invention, the comparison information providing unit 230 may include a plurality of anatomical face models associated with user information (for example, a plurality of anatomy in which the user is associated with (or the same) age or gender). The length between predetermined face points, the distance between predetermined face points, the angle between a plurality of predetermined points of the face, the height between predetermined face points, the size of the predetermined face area, the volume of the facial face and the ratio between the predetermined face points. At least one face model selected from at least one of which is close to a predetermined criterion (for example, the golden ratio of Fibonacci sequence), and the average of the shapes and positions between the anatomical layers included in the selected model are averaged. Information about a comparison between one reference anatomical face model and a user's face specified by the estimation of the layer estimator 220 may be provided.
또 다른 예를 들면, 본 발명의 일 실시예에 따른 비교 정보 제공부(230)는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화에 대한 추정 결과로부터 소정 나이대의 사용자의 얼굴을 특정하고, 그 특정되는 소정 나이대의 사용자의 얼굴과 적어도 하나의 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보를 제공할 수 있다.As another example, the comparison information providing unit 230 according to an embodiment of the present invention may detect a face of a user of a predetermined age from an estimation result of a change over time of the shape and position of at least one type of anatomical layer. And provide information regarding a comparison between a face of a user of a given age and at least one reference anatomical face model.
한편, 본 발명의 일 실시예에 따라 비교 정보 제공부(230)는 추정에 의하여 특정되는 사용자의 얼굴 및 적어도 하나의 기준 해부학적 얼굴 모델 간에 얼굴 소정 지점 사이의 길이, 얼굴 소정 지점 사이의 거리, 얼굴의 복수의 소정 지점 사이의 각도, 얼굴 소정 지점 간 높낮이, 얼굴 소정 부위의 크기, 얼굴의 부피 및 얼굴 소정 지점 간 비율 중 적어도 하나에 관하여 비교된 수치를 비교에 관한 정보로서 제공할 수 있다.On the other hand, according to an embodiment of the present invention, the comparison information providing unit 230 is a length between the predetermined face, the distance between the predetermined face between the face of the user and at least one reference anatomical face model specified by the estimation, The values compared with respect to at least one of the angle between the plurality of predetermined points of the face, the height between the predetermined faces of the face, the size of the predetermined face of the face, the volume of the face, and the ratio between the predetermined faces of the face can be provided as information on the comparison.
다음으로, 본 발명의 일 실시예에 따라 서비스 제공부(240)는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 대한 추정 결과와 비교 정보 제공부(230)로부터 제공되는 비교에 관한 정보를 참조하여 성형 수술 및 피부 시술 중 적어도 하나에 관한 시뮬레이션 서비스를 제공할 수 있다.Next, according to an embodiment of the present invention, the service provider 240 refers to the estimation result of the shape and position of at least one type of anatomical layer and the information about the comparison provided from the comparison information provider 230. Thus, a simulation service regarding at least one of plastic surgery and skin surgery may be provided.
구체적으로, 본 발명의 일 실시예에 따라 서비스 제공부(240)는 비교 정보 제공부(230)로부터 제공되는 비교에 관한 정보를 통해 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 대한 추정 결과에 반영될 가상의 변형, 주입 및 추출을 결정함으로써, 성형 수술 및 피부 시술 중 적어도 하나에 관한 시뮬레이션 서비스를 제공할 수 있다. 한편, 이 경우, 본 발명의 일 실시예에 따른 레이어 추정부(220)는 성형 수술 또는 피부 시술 중 적어도 하나에 관한 시뮬레이션 서비스에 따라 사용자의 얼굴에 대한 가상의 변형, 주입 및 추출 중 적어도 하나가 결정되면, 해당 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 재추정할 수 있다.Specifically, according to an embodiment of the present invention, the service provider 240 may include at least one type of anatomical layer included in the soft tissue of the user's face through information about the comparison provided from the comparison information provider 230. By determining the virtual deformation, injection and extraction to be reflected in the estimation result of the shape and position, it is possible to provide a simulation service for at least one of plastic surgery and skin treatment. In this case, the layer estimator 220 according to an embodiment of the present invention may include at least one of virtual deformation, injection, and extraction of the user's face according to a simulation service relating to at least one of plastic surgery and skin treatment. Once determined, the shape and position of at least one type of anatomical layer included in the soft tissue of the user's face may be reestimated.
다음으로, 본 발명의 일 실시예에 따른 통신부(250)는 측정 데이터 획득부(210), 레이어 추정부(220), 비교 정보 제공부(230) 및 서비스 제공부(240)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.Next, the communication unit 250 according to an embodiment of the present invention includes data from / to the measurement data acquisition unit 210, the layer estimator 220, the comparison information provider 230, and the service provider 240. It may perform a function to enable transmission and reception.
마지막으로, 본 발명의 일 실시예에 따른 제어부(260)는 측정 데이터 획득부(210), 레이어 추정부(220), 비교 정보 제공부(230), 서비스 제공부(240) 및 통신부(250) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(260)는 정보 제공 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 정보 제공 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 측정 데이터 획득부(210), 레이어 추정부(220), 비교 정보 제공부(230), 서비스 제공부(240) 및 통신부(250)에서 각각 고유 기능을 수행하도록 제어할 수 있다.Finally, the control unit 260 according to an embodiment of the present invention is a measurement data acquisition unit 210, layer estimator 220, comparison information providing unit 230, service provider 240 and communication unit 250 Control the flow of data between the liver. That is, the controller 260 according to the present invention controls the data flow from / to the outside of the information providing system 200 or the data flow between each component of the information providing system 200, thereby measuring the measurement data obtaining unit 210. In addition, the layer estimator 220, the comparison information provider 230, the service provider 240, and the communicator 250 may control to perform a unique function.
도 3은 본 발명의 일 실시예에 따라 해부학적 레이어를 이용하여 얼굴에 관한 정보가 제공되는 과정을 예시적으로 나타내는 도면이다.3 is a diagram illustrating a process of providing information on a face using an anatomical layer according to an embodiment of the present invention.
도 4 내지 도 6은 본 발명의 일 실시예에 따라 사용자의 얼굴과 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보가 생성되는 과정을 예시적으로 나타내는 도면이다.4 to 6 exemplarily illustrate a process of generating information about a comparison between a user's face and a reference anatomical face model according to one embodiment of the present invention.
먼저, 도 3을 참조하면, 본 발명의 일 실시예에 따라 정보 제공 시스템(200)은 사용자 얼굴의 경조직에 대한 3차원 컴퓨터 단층 촬영 데이터 또는 사용자 안면에 대한 3차원 스캐닝 데이터를 획득할 수 있다(301).First, referring to FIG. 3, according to an embodiment of the present invention, the information providing system 200 may acquire 3D computed tomography data of hard tissue of a user's face or 3D scanning data of a user's face ( 301).
그 다음에, 본 발명의 일 실시예에 따라 정보 제공 시스템(200)은 그 사용자의 인종, 성별 및 나이 중 적어도 하나와 연관되는 적어도 하나의 해부학적 얼굴 모델(A)을 선정하고(302), 그 선정되는 적어도 하나의 해부학적 얼굴 모델(A)에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 또는 위치를 비강체 정합 알고리즘을 이용하여, 해당 사용자의 얼굴의 형상에 관한 3차원 데이터에 부합하도록 정합 또는 변환함으로써, 그 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 또는 위치를 추정할 수 있다(303).Then, according to an embodiment of the present invention, the information providing system 200 selects (302) at least one anatomical face model (A) associated with at least one of the race, gender and age of the user, The shape or position of at least one kind of anatomical layer included in the selected at least one anatomical face model (A) is adapted to match the three-dimensional data about the shape of the user's face using a non-rigid registration algorithm. By matching or transforming, the shape or position of at least one kind of anatomical layer included in the soft tissue of the user's face can be estimated (303).
그 다음에, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은, 위의 추정에 의하여 측정되는 사용자의 얼굴과 적어도 하나의 기준 해부학적 얼굴 모델(B, 304) 사이의 비교에 관한 정보를 획득할 수 있다.Then, the information providing system 200 according to an embodiment of the present invention, the information about the comparison between the user's face and at least one reference anatomical face model (B, 304) measured by the above estimation Can be obtained.
보다 구체적으로, 도 4 내지 도 6을 참조하면, 본 발명의 일 실시예에 따라 정보 제공 시스템(200)은 사용자의 얼굴 및 적어도 하나의 기준 해부학적 얼굴 모델 각각에 특징점(410)을 설정하고, 그 특징점에 기초하여 사용자의 얼굴 및 기준 해부학적 얼굴 모델의 얼굴 소정 지점 또는 소정 부위의 길이, 거리, 각도, 높낮이, 크기, 부피 및 비율 중 적어도 하나를 측정(510, 예를 들면, 코-이마 각도(비전두각, nasofrontal angle), 입술-턱 접힘 각도(하순부 주름각, labiomental fold angle) 등)하고, 그 측정된 수치를 각각 비교하여 분석함으로써 사용자의 얼굴과 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보를 획득할 수 있다(610).More specifically, referring to FIG. 4 to FIG. 6, the information providing system 200 sets a feature point 410 on each of a user's face and at least one reference anatomical face model. Measure at least one of length, distance, angle, height, size, volume, and ratio of a predetermined point or portion of the face of the user's face and the reference anatomical face model based on the feature point (510, e.g. Angle (nasofrontal angle), lip-jaw fold angle (labiomental fold angle, etc.), and then compare and analyze the measured values, respectively, to compare the user's face with the reference anatomical face model. Information about the information may be obtained (610).
예를 들어, 도 7 내지 도 17을 참조하면, 본 발명의 일 실시예에 따라 다음과 같은 사용자 얼굴에 관한 진단 요소를 기준으로 사용자의 얼굴과 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보가 획득될 수 있다.For example, referring to FIGS. 7 to 17, according to an embodiment of the present invention, information regarding a comparison between a user's face and a reference anatomical face model is obtained based on a diagnosis element regarding a user's face as follows. Can be.
(1) 얼굴 폭(facial width) : 본 발명의 일 실시예에 따라 얼굴 폭에 관한 값은, 정면에서 바라본 사용자 얼굴의 상단(701), 중단(702) 및 하단(703) 얼굴 각각의 좌우 폭을 측정한 값일 수 있다. 본 발명의 일 실시예에 따라, 얼굴 상단(701)의 경우에는 이마 중간 위치, 얼굴 중단(702)의 경우에는 광대 주변의 좌우 폭이 가장 넓은 위치 및 얼굴 하단(703)의 경우에는 입술 양 끝점을 지나는 위치에서 측정되는 것일 수 있다.(1) Face width: According to an embodiment of the present invention, a value related to a face width may include a width of left and right of each of the top 701, middle 702, and bottom 703 faces of the user face viewed from the front. It may be a value measured. According to an embodiment of the present invention, in the case of the upper face 701, the middle position of the forehead, in the case of the face stop 702, the wide left and right widths around the clown, and in the case of the lower face 703, both end points of the lips It may be measured at a location passing by.
한편, 본 발명의 일 실시예에 따라 얼굴 폭에 관한 정보는, 이상적인 얼굴 비율에 비해 얼굴 폭이 다소 큰 동양인 등에게 안면 윤곽술 시술(예를 들면, 광대 및 하악 축소술 등) 시 활용되는 정보일 수 있다.Meanwhile, according to an embodiment of the present invention, the information on the face width may be information used during facial contouring procedures (for example, clown and mandibular reduction surgery, etc.) to an Asian who has a slightly larger face width than an ideal face ratio. have.
(2) 얼굴 비대칭(asymmetry by volume) : 본 발명의 일 실시예에 따라 얼굴 비대칭에 관한 값은, 사용자의 얼굴을 상단(801), 중단(802), 하단(803)으로 구분하고, 구분된 각각의 영역을 다시 얼굴 중심선(804)에 따라 좌우로 각각 구분함으로써 생성되는 여섯 영역의 볼륨(volume)을 측정한 값일 수 있다. 또한, 본 발명의 일 실시예에 따라 그 여섯 영역의 볼륨을 모두 합하여 사용자 얼굴 전체 볼륨이 산출될 수도 있다.(2) Face asymmetry (volume asymmetry): According to an embodiment of the present invention, the value of the face asymmetry, the user's face is divided into the upper 801, middle 802, lower 803, and divided Volumes of six areas generated by dividing each area from side to side according to the face center line 804 may be measured. In addition, according to an embodiment of the present invention, the total volume of the user's face may be calculated by adding up the volumes of the six areas.
한편, 본 발명의 일 실시예에 따라, 얼굴 비대칭에 관한 정보는, 연부 조직 비대칭 및 경부 조직 비대칭으로 구분되는 정보일 수 있고, 얼굴 비대칭 교정 등에 활용되는 정보일 수 있다.Meanwhile, according to an embodiment of the present invention, the information on the facial asymmetry may be information divided into soft tissue asymmetry and cervical tissue asymmetry, and may be information used for face asymmetry correction.
(3) 눈 가로 폭(eye width balance) : 본 발명의 일 실시예에 따라 눈 가로 폭에 관한 값은, 사용자 우측 눈의 수평 거리(901), 양쪽 눈 사이의 거리(902) 및 좌측 눈의 수평 거리(903)의 비율을 측정한 값일 수 있다. 본 발명의 일 실시예에 따라 위의 양쪽 눈 사이의 거리(902)에 해당하는 값이 1.0으로 설정될 수 있다.(3) Eye width balance: According to an embodiment of the present invention, the value related to the eye width width is the horizontal distance 901 of the user's right eye, the distance 902 between both eyes, and the left eye. The ratio of the horizontal distance 903 may be measured. According to an embodiment of the present invention, a value corresponding to the distance 902 between both eyes may be set to 1.0.
한편, 본 발명의 일 실시예에 따라 눈 가로 폭에 관한 정보는, 몽고리안 내악각 주름을 가지는 아시아인 등에게 내안각 또는 외안각 성형술 등의 수술 시 활용되는 정보일 수 있다.Meanwhile, according to an embodiment of the present invention, the information about the width of the eye may be information used in surgery such as an intraocular angle or an external angle plastic surgery to an Asian having a Mongolian inner jaw wrinkle.
(4) 얼굴 높이(facial height balance) : 본 발명의 일 실시예에 따라 얼굴 높이에 관한 값은 사용자 얼굴의 상단(1001), 중단(1002) 및 하단(1003)의 수직 거리의 비율을 측정한 값일 수 있다. 본 발명의 일 실시예에 따라 얼굴의 상단(1001)에 해당하는 값이 1.0으로 설정될 수 있다. 또한, 본 발명의 일 실시예에 따라 얼굴 하단(1003)에서 입술 양 끝점(1004)에 의해 위아래로 구분되는 수직 거리 비율이 더 측정될 수 있다.(4) facial height (facial height balance): According to an embodiment of the present invention, the value related to the height of the face is measured by measuring the ratio of the vertical distance of the upper face 1001, the middle finger 1002 and the lower face 1003 of the user's face. Can be a value. According to an embodiment of the present invention, a value corresponding to the top 1001 of the face may be set to 1.0. In addition, according to an embodiment of the present invention, the vertical distance ratio divided up and down by the both ends 1004 of the lips at the lower face 1003 may be further measured.
한편, 본 발명의 일 실시예에 따라 얼굴 높이에 관한 정보는, 안면 윤곽 수술, 양악 수술 등에 활용되는 정보일 수 있다.Meanwhile, according to an embodiment of the present invention, the information regarding the face height may be information used for facial contour surgery, jaw surgery, and the like.
(5) 윤곽 깊이(depth by contours) : 본 발명의 일 실시예에 따라 윤곽 깊이는, 사용자 얼굴의 앞뒤 방향에 수직인 단면의 윤곽선을 코 끝에서 0.25mm 간격으로 하여 순차적으로 생성되는 것(1101)일 수 있다. 본 발명의 일 실시예에 따라 윤곽 깊이를 이용하여 얼굴 각 부위의 상대적인 높낮이가 등고선에 의해 쉽게 판단될 수 있을 뿐만 아니라, 얼굴의 좌우 비대칭 및 얼굴 피부 곡면의 부드러운 정도까지 측정될 수도 있다.(5) depth by contours: According to an embodiment of the present invention, the contour depths are sequentially generated by arranging the contours of the cross section perpendicular to the front and back directions of the user's face at 0.25 mm intervals from the tip of the nose (1101). May be). According to an embodiment of the present invention, the relative height of each part of the face may be easily determined by the contour line using the depth of the contour, and may be measured by the left and right asymmetry and the smoothness of the curved surface of the face.
한편, 본 발명의 일 실시예에 따라 윤곽 깊이에 관한 정보는, 사용자의 얼굴이 앞뒤로 어떤 윤곽을 가지고 있는지를 나타내는 정보로서, 서양인에 비해 상대적으로 앞뒤 길이가 짧은 아시아인 등에게 좌우 얼굴 폭을 줄이는 안면 윤곽 수술이 효과적일지, 이마, 코, 턱 끝 등을 앞뒤로 융기시키는 이마 성형술, 코 성형술 또는 턱 끝 성형술이 효과적일지 등을 판단할 때 활용되는 정보일 수 있다.Meanwhile, according to an embodiment of the present invention, the information about the contour depth is information indicating what contour the user's face has before and after, and reduces the left and right face widths to Asians and the like who have shorter front and back lengths than Westerners. Information may be used to determine whether facial contour surgery is effective, forehead, nose, chin, etc., forehead plastic surgery, nose plastic surgery or chin plastic surgery is effective.
(6) 깊이에 따른 색채 지도(depth by color map) : 본 발명의 일 실시예에 따라 깊이에 따른 색채 지도는 위의 윤곽 깊이(depth by contour)와 같은 얼굴 높낮이 정보를 색채 지도를 이용하여 나타낸 것(1201)으로써, 사용자 얼굴 각 부위의 상대적인 높낮이가 색상 비교를 통해 쉽게 판단될 수 있다.(6) Depth by color map (depth by color map): According to an embodiment of the present invention, the color map according to the depth indicates the face height information such as depth by contour above using the color map. As shown in 1201, the relative height of each part of the user's face may be easily determined through color comparison.
한편, 본 발명의 일 실시예에 따라 깊이에 따른 색채 지도에 관한 정보는 전반적인 안면의 돌출 정도를 색깔로 쉽게 보여주는 이미지로서, 이마, 코, 턱 끝 등을 앞뒤로 융기시키는 이마 성형술, 코 성형술, 턱 끝 성형술 등의 수술 중 어떤 수술이 가장 환자에게 효과적인지 판단할 때 활용되는 정보일 수 있다.Meanwhile, the information on the color map according to the depth according to an embodiment of the present invention is an image that shows the degree of the overall facial protrusion easily in color, and forehead, nose, and the forehead of the forehead, nose, chin, jaw This may be information used to determine which surgery is most effective for a patient, such as a plastic surgery.
(7) 전-후 투영(anterior-posterior projection) : 본 발명의 일 실시예에 따라 전후 투영에 관한 값은 사용자 얼굴의 주요 특징점(1301)에서 얼굴 뒤쪽 기준 평면(1302)까지의 전-후 방향 거리를 측정한 값(1303)일 수 있다. 또한, 본 발명의 일 실시예에 따라 사용자 얼굴의 지정된 점에서 기준 평면(1302)까지의 전-후 방향 거리를 측정한 값일 수도 있다. 본 발명의 일 실시예에 따라 위의 기준 평면(1302)은 좌우 귀 구슬(tragus)의 평균 위치를 지나고 얼굴 앞뒤 방향에 수직인 평면을 의미할 수 있다.(7) Anterior-posterior projection: According to an embodiment of the present invention, the value relating to the front-rear projection is the front-rear direction from the main feature point 1301 of the user's face to the reference plane 1302 behind the face. The distance may be a value 1303. In addition, according to an embodiment of the present invention, it may be a value obtained by measuring the front-rear direction distance from the designated point of the user's face to the reference plane 1302. According to an embodiment of the present invention, the reference plane 1302 may refer to a plane perpendicular to the front and back direction after passing the average position of the left and right ear beads (tragus).
한편, 본 발명의 일 실시예에 따라 전-후 투영에 관한 정보는, 이마, 코, 턱 끝 등을 앞뒤로 융기시키는 이마 성형술, 코 성형술, 턱 끝 성형술 등의 수술 중 어떤 수술이 환자에게 효과적일지 판단할 때 활용되는 정보일 수 있다. 또한, 본 발명의 일 실시예에 따라 관련 수술 전 수술되어야 할 양을 결정하거나 수술 전후 결과를 분석할 때 활용되는 수치일 수 있다.On the other hand, according to an embodiment of the present invention, the information about the front-rear projections, forehead, nose, chin tip, etc., such as forehead plastic surgery, nose plastic surgery, chin tip plastic surgery, such as surgery which operation will be effective to the patient The information may be used when making a judgment. In addition, according to an embodiment of the present invention may be a value used when determining the amount to be operated before the related operation or to analyze the results before and after the operation.
(8) 눈 거리(eye length) : 본 발명의 일 실시예에 따라 눈 거리에 관한 값은, 좌우 눈의 수평 및 수직 거리(1401), 양쪽 눈 사이의 거리(1402), 좌우 눈꺼풀의 수직 거리(1403) 등 눈 거리와 관련된 다양한 측정치를 의미하는 값일 수 있다.(8) Eye length: According to an embodiment of the present invention, a value related to an eye distance includes a horizontal and vertical distance 1401 of left and right eyes, a distance 1402 between both eyes, and a vertical distance of left and right eyelids. 1403, etc., the values may mean various measurements related to the eye distance.
한편, 본 발명의 일 실시예에 따라 눈 거리에 관한 정보는, 쌍꺼풀 수술, 눈매 교정술, 내안각 성형술, 외안각 성형술 등의 수술 시 수술양을 결정하는데 활용되는 수치일 수 있다.On the other hand, according to an embodiment of the present invention, the information on the eye distance may be a value used to determine the amount of surgery during surgery, such as double eyelid surgery, eye correction, inner eye plastic surgery, external eye plastic surgery.
(9) 코 및 입술 거리(nose and lips length) : 본 발명의 일 실시예에 따라 코 및 입술 거리에 관한 값은, 콧등 길이(nasal bridge length, 1501), 콧등 높이(nasal bridge height, 1502), 심미선(aesthetic line) 등 코 및 입술 거리와 관련된 다양한 측정치를 의미하는 값일 수 있다.(9) nose and lips length (nose and lips length): According to an embodiment of the present invention, the values relating to the nose and lips distance, nasal bridge length (nasal bridge length, 1501), nasal bridge height (nasal bridge height, 1502) It may be a value meaning various measurements related to nose and lip distance, such as aesthetic line.
한편, 본 발명의 일 실시예에 따라 코 및 입술 거리에 관한 정보는, 사용자 코 및 입술과 관련된 상대적 또는 절대적 길이를 나타내는 것일 수 있으며, 코 성형 수술, 턱 교정 수술, 양악 수술 등의 수술 시 활용되는 정보일 수 있다.On the other hand, according to an embodiment of the present invention, the information about the nose and lip distance, may indicate the relative or absolute length associated with the user's nose and lips, it is used during surgery such as nose plastic surgery, jaw correction surgery, jaw surgery May be information.
(10) 코 및 입술 각도(nose and lips angle) : 본 발명의 일 실시예에 따라 코 및 입술 각도에 관한 값은, 코이마각(nasofrontal angel, 1601), 코입술각(nasolabial angle, 1602), 입술턱각(labiomental angle, 1603) 등 코 및 입술 각도와 관련된 다양한 측정치를 의미하는 값일 수 있다.(10) nose and lips angle (nose and lips angle): According to an embodiment of the present invention, the value relating to the nose and lips angle, nasofrontal angel (1601), nasolabial angle (1602), It may be a value meaning various measurements related to nose and lip angles, such as a lip lip angle (labiomental angle, 1603).
한편, 본 발명의 일 실시예에 따라 코 및 입술 각도에 관한 정보는, 코 성형 수술 및 양악 수술 시 활용되는 정보일 수 있다.Meanwhile, according to an embodiment of the present invention, the information regarding the nose and lip angles may be information used during nose plastic surgery and jaw surgery.
(11) 곡선 길이(curved length) : 본 발명의 일 실시예에 따라 곡선 길이는, 사용자 얼굴의 좌우 각각에 대하여 귀의 귀구슬(tragus)(1701)점으로부터 눈(Ex, 1702), 코(Al, 1703), 입(Ch, 1704), 턱(Gn, 1705)에 이르는 곡선 거리를 의미할 수 있다.(11) Curved length: According to one embodiment of the present invention, the curved length is defined by the eye (Ex, 1702), nose (Al) from the tragus 1701 point of the ear for each of the left and right sides of the user's face. , 1703), the distance to the mouth (Ch, 1704), and the jaw (Gn, 1705).
한편, 본 발명의 일 실시예에 따라 곡선 길이에 관한 정보는, 2차원 상에서는 파악할 수 없는 수치로서 3차원 상에서만 파악될 수 있는 수치일 수 있다. 또한, 본 발명의 일 실시예에 따라, 이러한 곡선 길이에 관한 정보는, 눈 수술, 코 수술, 안면 윤곽술, 주름 성형술 등의 수술 시 활용될 수 있으며, 이러한 수술 전후 결과가 효과적으로 분석될 수 있는 정보일 수 있다.Meanwhile, according to an embodiment of the present invention, the information about the curve length may be a numerical value that cannot be grasped in two dimensions and can be grasped only in three dimensions. In addition, according to an embodiment of the present invention, the information about the length of the curve, may be utilized during surgery, such as eye surgery, nose surgery, facial contour surgery, wrinkle surgery, information that can be effectively analyzed before and after such surgery Can be.
한편, 본 발명의 일 실시예에 따라 위의 열거된 사용자 얼굴에 관한 진단 요소에 한정되지 않고, 다른 다양한 진단 요소가 추가되거나 위의 진단 요소 내에서 다른 진단 요소로 변경된 것을 기준으로 하여 사용자의 얼굴과 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보가 획득될 수 있음은 당업자에게 자명하다.Meanwhile, the user's face is not limited to the above-described diagnosis elements related to the above-described user faces, and other various diagnosis elements are added or changed to other diagnosis elements within the above diagnosis elements. It will be apparent to one skilled in the art that information regarding the comparison between and the reference anatomical face model can be obtained.
그 다음에, 본 발명의 일 실시예에 따른 정보 제공 시스템(200)은, 위의 획득된 비교에 관한 정보를 디바이스(300)를 통해 제공할 수 있다(305).Next, the information providing system 200 according to an embodiment of the present invention may provide the information regarding the obtained comparison through the device 300 (305).
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention described above can be implemented in the form of program instructions that can be executed by various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be modified with one or more software modules to perform the processing according to the present invention, and vice versa.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.Although the present invention has been described by specific matters such as specific components and limited embodiments and drawings, it is provided only to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. Those skilled in the art may make various modifications and changes from this description.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and the scope of the spirit of the present invention is defined not only in the claims below, but also in the ranges equivalent to or equivalent to the claims. Will belong to.

Claims (12)

  1. 해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하는 방법으로서,A method of providing information about a face using an anatomical layer,
    사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 획득하는 단계,Obtaining three-dimensional measurement data about the shape of the user's face,
    상기 획득되는 3차원 측정 데이터를 상기 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 상기 사용자의 얼굴의 연조직(soft tissue)에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 추정하는 단계, 및By analyzing the obtained three-dimensional measurement data by comparing with the at least one anatomical face model associated with the user information, the shape of at least one kind of anatomical layer included in the soft tissue of the user's face and Estimating a location, and
    상기 추정에 의하여 특정되는 상기 사용자의 얼굴과 적어도 하나의 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보를 제공하는 단계Providing information regarding a comparison between the user's face specified by the estimation and at least one reference anatomical face model
    를 포함하고,Including,
    상기 해부학적 얼굴 모델에는, 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 관한 모델링된 데이터가 포함되는The anatomical face model includes modeled data regarding the shape and position of at least one type of anatomical layer included in the soft tissue of the face.
    방법.Way.
  2. 제1항에 있어서,The method of claim 1,
    상기 기준 해부학적 얼굴 모델에는, 복수의 해부학적 얼굴 모델을 평균화, 표준화 또는 정규화함으로써 산출되는 모델, 얼굴 소정 지점 사이의 길이, 얼굴 소정 지점 사이의 거리, 얼굴의 복수의 소정 지점 사이의 각도, 얼굴 소정 지점 간 높낮이, 얼굴 소정 부위의 크기, 얼굴의 부피 및 얼굴 소정 지점 간 비율 중 적어도 하나가 소정 기준에 부합되는 얼굴 모델을 평균화, 표준화 또는 정규화함으로써 산출되는 모델 및 기설정된 수퍼 노멀(super normal) 해부학적 얼굴 모델을 평균화, 표준화 또는 정규화함으로써 산출되는 모델 중 적어도 하나가 포함되는The reference anatomical face model includes a model calculated by averaging, standardizing, or normalizing a plurality of anatomical face models, a length between predetermined face points, a distance between predetermined face points, an angle between a plurality of predetermined points of the face, and a face. A model calculated by averaging, standardizing, or normalizing a face model in which at least one of a height between predetermined points, a size of a predetermined face area, a volume of a face, and a ratio between predetermined points of a face meets a predetermined criterion, and a predetermined super normal At least one of the models calculated by averaging, standardizing, or normalizing the anatomical face model is included.
    방법.Way.
  3. 제1항에 있어서,The method of claim 1,
    상기 획득 단계에서, 상기 획득되는 3차원 측정 데이터에는, 상기 사용자의 안면에 대한 3차원 스캐닝 데이터 및 상기 사용자의 얼굴 경조직(hard tissue)에 대한 3차원 촬영 데이터 중 적어도 하나가 포함되는In the acquiring step, the acquired three-dimensional measurement data includes at least one of three-dimensional scanning data of a face of the user and three-dimensional imaging data of a hard tissue of the user's face.
    방법.Way.
  4. 제1항에 있어서,The method of claim 1,
    상기 추정 단계에서, 상기 해부학적 레이어에는, 근육, 지방, 혈관, 신경 및 림프관 중 적어도 하나가 포함되는In the estimating step, the anatomical layer includes at least one of muscle, fat, blood vessels, nerves and lymphatic vessels.
    방법.Way.
  5. 제1항에 있어서,The method of claim 1,
    상기 추정 단계에서, 능동 표현 모델(AAM; active appearance model) 알고리즘, 능동 형상 모델(ASM; active shape model) 알고리즘, 복합 제약 능동 표현 모델(Composite Constraint AAM) 알고리즘, 반복 최근접점(ICP; iterative closest points) 알고리즘 및 비강체 정합 알고리즘(non-rigid registration) 중 적어도 하나를 이용하여 상기 획득되는 3차원 측정 데이터를 상기 해부학적 얼굴 모델과 비교하여 분석하는In the estimating step, an active appearance model (AAM) algorithm, an active shape model (ASM) algorithm, a composite constraint active expression model (Composite Constraint AAM) algorithm, and iterative closest points (ICP) Analyzing the obtained three-dimensional measurement data by comparing the anatomical face model with at least one of an algorithm and a non-rigid registration algorithm.
    방법.Way.
  6. 제1항에 있어서,The method of claim 1,
    상기 추정 단계에서, 상기 사용자의 얼굴의 연조직(soft tissue)에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화를 더 추정하는In the estimating step, further estimating the change over time of the shape and position of at least one type of anatomical layer included in the soft tissue of the user's face
    방법.Way.
  7. 제6항에 있어서,The method of claim 6,
    상기 제공 단계는,The providing step,
    상기 적어도 한 종류의 해부학적 레이어의 형상 및 위치의 시간에 따른 변화에 대한 추정 결과로부터 소정 나이대의 사용자의 얼굴을 특정하는 단계, 및Specifying a face of a user of a predetermined age from an estimation result of a change over time of the shape and position of the at least one kind of anatomical layer, and
    상기 특정되는 상기 사용자의 얼굴과 상기 적어도 하나의 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보를 제공하는 단계Providing information regarding a comparison between the specified face of the user and the at least one reference anatomical face model
    를 포함하는Containing
    방법.Way.
  8. 제1항에 있어서,The method of claim 1,
    상기 제공 단계에서, 상기 비교에 관한 정보에는, 얼굴 소정 지점 사이의 길이, 얼굴 소정 지점 사이의 거리, 얼굴의 복수의 소정 지점 사이의 각도, 얼굴 소정 지점 간 높낮이, 얼굴 소정 부위의 크기, 얼굴의 부피 및 얼굴 소정 지점 간 비율 중 적어도 하나에 관하여 비교된 수치가 포함되는In the providing step, the comparison information includes a length between predetermined faces of the face, a distance between predetermined faces of the face, an angle between a plurality of predetermined points of the face, a height between predetermined faces of the face, a size of a predetermined face of the face, The numerical values compared with respect to at least one of the volume and the ratio between the predetermined points of the face are included.
    방법.Way.
  9. 제1항에 있어서,The method of claim 1,
    상기 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 대한 추정 결과 및 상기 제공되는 비교에 관한 정보를 참조하여, 성형 시술 또는 피부 시술에 관한 시뮬레이션 서비스를 제공하는 단계를 더 포함하는Providing a simulation service for a plastic surgery or a skin procedure with reference to the estimation result of the shape and position of the at least one type of anatomical layer and the information on the comparison provided;
    방법.Way.
  10. 제9항에 있어서,The method of claim 9,
    상기 시뮬레이션 서비스를 제공하는 단계에서, 상기 시뮬레이션 서비스에 따라 상기 사용자 얼굴 형상에 대한 가상의 변형, 주입 및 추출 중 적어도 하나가 결정되면, 상기 사용자의 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 각각 재추정하는In the providing of the simulation service, if at least one of virtual deformation, injection, and extraction of the shape of the user's face is determined according to the simulation service, at least one kind of anatomical layer included in soft tissue of the user's face To reestimate the shape and position of
    방법.Way.
  11. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.A non-transitory computer readable recording medium for recording a computer program for executing the method according to claim 1.
  12. 해부학적 레이어를 이용하여 얼굴에 관한 정보를 제공하는 시스템으로서,A system for providing information about a face using an anatomical layer,
    사용자의 얼굴의 형상에 관한 3차원 측정 데이터를 획득하는 측정 데이터 획득부,A measurement data acquisition unit for obtaining 3D measurement data regarding a shape of a user's face,
    상기 획득되는 3차원 측정 데이터를 상기 사용자 정보와 연관되는 적어도 하나의 해부학적 얼굴 모델과 비교하여 분석함으로써, 상기 사용자의 얼굴의 연조직(soft tissue)에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치를 추정하는 레이어 추정부, 및By analyzing the obtained three-dimensional measurement data by comparing with the at least one anatomical face model associated with the user information, the shape of at least one kind of anatomical layer included in the soft tissue of the user's face and A layer estimator for estimating a position, and
    상기 추정에 의하여 특정되는 상기 사용자의 얼굴과 적어도 하나의 기준 해부학적 얼굴 모델 사이의 비교에 관한 정보를 제공하는 비교 정보 제공부A comparison information providing unit providing information on a comparison between the user's face specified by the estimation and at least one reference anatomical face model
    를 포함하고,Including,
    상기 해부학적 얼굴 모델에는, 얼굴의 연조직에 포함되는 적어도 한 종류의 해부학적 레이어의 형상 및 위치에 관한 모델링된 데이터가 포함되는The anatomical face model includes modeled data regarding the shape and position of at least one type of anatomical layer included in the soft tissue of the face.
    시스템.system.
PCT/KR2017/008508 2017-03-10 2017-08-07 Method and system for providing information on face by using anatomical layer, and non-transitory computer-readable recording medium WO2018164329A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20170030745 2017-03-10
KR10-2017-0030745 2017-03-10
KR10-2017-0094995 2017-07-26
KR1020170094995A KR101959866B1 (en) 2017-03-10 2017-07-26 Method, system and non-transitory computer-readable recording medium for providing information on face by using anatomical layers

Publications (1)

Publication Number Publication Date
WO2018164329A1 true WO2018164329A1 (en) 2018-09-13

Family

ID=63448209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/008508 WO2018164329A1 (en) 2017-03-10 2017-08-07 Method and system for providing information on face by using anatomical layer, and non-transitory computer-readable recording medium

Country Status (1)

Country Link
WO (1) WO2018164329A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040075672A (en) * 2003-02-21 2004-08-30 정보통신연구진흥원 A simulation method for hierarchical cyber face plastic surgery
KR20120096238A (en) * 2011-02-22 2012-08-30 주식회사 모르페우스 Face image correcting simulation method and system using the same
KR20130063531A (en) * 2011-03-31 2013-06-14 고쿠리츠다이가쿠호진 고베다이가쿠 Method for manufacturing three-dimensional molded model and support tool for medical treatment, medical training, research, and education
KR20150020323A (en) * 2012-05-17 2015-02-25 디퍼이 신테스 프로덕츠, 엘엘씨 Method of surgical planning
KR20170025162A (en) * 2015-08-27 2017-03-08 연세대학교 산학협력단 Method and Apparatus for Transforming Facial Age on Facial Image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040075672A (en) * 2003-02-21 2004-08-30 정보통신연구진흥원 A simulation method for hierarchical cyber face plastic surgery
KR20120096238A (en) * 2011-02-22 2012-08-30 주식회사 모르페우스 Face image correcting simulation method and system using the same
KR20130063531A (en) * 2011-03-31 2013-06-14 고쿠리츠다이가쿠호진 고베다이가쿠 Method for manufacturing three-dimensional molded model and support tool for medical treatment, medical training, research, and education
KR20150020323A (en) * 2012-05-17 2015-02-25 디퍼이 신테스 프로덕츠, 엘엘씨 Method of surgical planning
KR20170025162A (en) * 2015-08-27 2017-03-08 연세대학교 산학협력단 Method and Apparatus for Transforming Facial Age on Facial Image

Similar Documents

Publication Publication Date Title
KR101959866B1 (en) Method, system and non-transitory computer-readable recording medium for providing information on face by using anatomical layers
US7760923B2 (en) Method and system for characterization of knee joint morphology
Naudi et al. The virtual human face: superimposing the simultaneously captured 3D photorealistic skin surface of the face on the untextured skin image of the CBCT scan
Deng et al. A novel skull registration based on global and local deformations for craniofacial reconstruction
JP4936491B2 (en) Gaze direction estimation apparatus, gaze direction estimation method, and program for causing computer to execute gaze direction estimation method
CN108352068A (en) Method and apparatus for the absolute dimension size for estimating test object
US20190371059A1 (en) Method for creating a three-dimensional virtual representation of a person
US11931166B2 (en) System and method of determining an accurate enhanced Lund and Browder chart and total body surface area burn score
US20160371569A1 (en) Systems and methods of analyzing images
JP2016085490A (en) System and method for evaluating face form
KR101949152B1 (en) Method and Appartus for Skin Condition Diagnosis and System for Providing Makeup Information suitable Skin Condition Using the Same
Imaizumi et al. Development of three-dimensional facial approximation system using head CT scans of Japanese living individuals
WO2018164329A1 (en) Method and system for providing information on face by using anatomical layer, and non-transitory computer-readable recording medium
WO2018164394A1 (en) Method and system for providing information on result of procedure, and non-transitory computer-readable recording medium
Christensen et al. Automatic measurement of the labyrinth using image registration and a deformable inner ear atlas
Nurhudatiana A computer-aided diagnosis system for vitiligo assessment: A segmentation algorithm
Wu et al. Reconstruction of 4D-CT from a single free-breathing 3D-CT by spatial-temporal image registration
WO2018164328A1 (en) Method and system for estimating face by using anatomical layer, and non-transitory computer-readable recording medium
TWI731447B (en) Beauty promotion device, beauty promotion system, beauty promotion method, and beauty promotion program
WO2018164327A1 (en) Method and system for estimating anatomical layer of face, and non-transitory computer-readable recording medium
Alcantara et al. Exploration of shape variation using localized components analysis
D'Alessio et al. Measure and comparison of facial attractiveness indices through photogrammetry and statistical analysis
WO2023234757A1 (en) Method and system for processing image for nail analysis, and non-transitory computer-readable recording medium
CN117636446B (en) Face acupoint positioning method, acupuncture robot and storage medium
CN114677759A (en) Facial paralysis rehabilitation condition evaluation system and method based on structured light technology

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17899242

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 05.12.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17899242

Country of ref document: EP

Kind code of ref document: A1