KR100901006B1 - Skin Image Overlay and Matching Method for Efficiency Evaluation of Skin Products, Cosmetics, Foods, Medical Supplies - Google Patents

Abstract

본 발명은 피부 개선품 효능의 측정 및 판단을 위하여 피부 영상을 오버레이시켜서 볼 수 있고, 피부 개선 효과 측정시 이미 획득된 영상과 현재 카메라로부터 입력된 영상의 특징을 추출한 후 이들 간의 오차를 계산하여 자동으로 시편의 위치를 조정함으로써 정확한 위치의 영상을 획득하는 오버레이를 통한 피부영상 매칭방법에 관한 것이다.The present invention can be seen by overlaying the skin image to measure and determine the efficacy of the skin improvement product, and automatically calculates the error between the images obtained from the image obtained from the current camera and the current image when the skin improvement effect is measured. The present invention relates to a skin image matching method through overlay for obtaining an image of an accurate position by adjusting the position of a specimen.

본 발명의 오버레이를 통한 피부영상 매칭방법은 피부영상 DB에 저장된 적용전 피부영상의 알파값을 조정하여 반투명화한 후에 카메라를 통해 실시간으로 입력되는 시편의 적용후 피부영상에 오버레이시키는 (a) 단계; 상기 적용전 피부영상과 상기 적용후 피부영상의 각각을 히스토그램 비교를 통해 임계값을 설정하여 이진영상으로 변환한 후에 형태학적 처리를 통해 잡음을 제거하고 단절영역을 연결하는 전처리를 수행하는 (b) 단계; 특징 추출을 위해 상기 적용전 피부영상과 상기 적용후 피부영상의 각각에 대한 모공영역 및 위치 비교점 추출하는 (c) 단계; 상기 추출된 위치 비교점들 간의 거리 계산으로 상기 적용전 피부영상과 상기 적용후 피부영상의 위치오차를 계산하는 (d) 단계 및 상기 위치오차에 따라 상기 시편을 이동시켜 상기 적용전 피부영상과 상기 적용후 피부영상을 정확하게 매칭시키는 단계를 포함하여 이루어진다.In the skin image matching method using the overlay of the present invention, a step of overlaying the skin image after application of the specimen input in real time through the camera after translucency by adjusting the alpha value of the skin image before application stored in the skin image DB is performed. ; (B) performing a preprocessing of removing noise and connecting disconnection regions through morphological processing after converting each of the pre-applied skin image and the post-applied skin image to a binary image by setting a threshold value through a histogram comparison step; (C) extracting a pore area and a position comparison point for each of the pre-applied skin image and the post-applied skin image for feature extraction; (D) calculating a position error of the skin image before the application and the skin image after the application by calculating the distance between the extracted position comparison points, and moving the specimen according to the position error and the skin image before the application and the After the application, the skin image is accurately matched.

피부, 영상, 화장품, 식품, 의약품, 개선, 매칭, 오버레이, 특징, 추출 Skin, image, cosmetics, food, pharmaceuticals, improvement, matching, overlay, features, extraction

Description

피부 영상 오버레이 및 매칭 방법{Skin Image Overlay and Matching Method for Efficiency Evaluation of Skin Products, Cosmetics, Foods, Medical Supplies}Skin Image Overlay and Matching Method for Efficiency Evaluation of Skin Products, Cosmetics, Foods, Medical Supplies}

도 1은 본 발명의 피부 영상 오버레이 및 매칭 시스템의 기능적인 블록 구성도,1 is a functional block diagram of a skin image overlay and matching system of the present invention;

도 2는 본 발명의 피부 영상 오버레이 및 매칭 방법을 설명하기 위한 흐름도,2 is a flowchart illustrating a skin image overlay and matching method of the present invention;

도 3은 본 발명의 피부 영상 오버레이 및 매칭 방법에서 반투명화 단계를 설명하기 위한 도,3 is a view for explaining a semi-transparency step in the skin image overlay and matching method of the present invention,

도 4는 본 발명의 피부 영상 오버레이 및 매칭 방법에서 특징점 추출을 위한 영상 처리 프로세스를 설명하기 위한 도,4 is a view for explaining an image processing process for feature point extraction in the skin image overlay and matching method of the present invention;

도 5는 본 발명의 피부 영상 오버레이 및 매칭 방법에서 적용전 피부영상과 적용후 피부영상의 형태학적 연산 전후의 예시 사진,5 is an exemplary photograph before and after the morphological calculation of the skin image before and after the application in the skin image overlay and matching method of the present invention,

도 6은 본 발명의 피부 영상 오버레이 및 매칭 방법에서 다수 샘플에 대한 모공 및 주름 영역의 모멘트를 예시한 도표,6 is a diagram illustrating moments of pores and wrinkle areas for multiple samples in the skin image overlay and matching method of the present invention;

도 7은 본 발명의 피부 영상 오버레이 및 매칭 방법에서 모공 영역의 추출 결과를 보인 도표,7 is a diagram showing the extraction result of the pores in the skin image overlay and matching method of the present invention,

도 8은 본 발명의 피부 영상 오버레이 및 매칭 시스템에서 시편 이동 장치의 예시 사진.8 is an exemplary photograph of a specimen moving device in the skin image overlay and matching system of the present invention.

*** 도면의 주요 부분에 대한 부호의 설명 ****** Explanation of symbols for the main parts of the drawing ***

10: 피부영상 수집장치, 20: 시편 이동 장치,10: skin image acquisition device, 20: specimen transfer device,

30: 피부영상 특징추출기, 40: 피부영상 매칭장치,30: skin image feature extractor, 40: skin image matching device,

50: 피부영상 DB, 60: 퍼스널 컴퓨터,50: skin image DB, 60: personal computer,

BS: 적용전 피부영상, AS, AS': 적용후 피부영상BS: skin image before application, AS, AS ': skin image after application

본 발명은 피부 영상 오버레이 및 매칭 방법에 관한 것으로, 특히 화장품, 기능성화장품, 의약외품, 건강기능성식품, 건강보조식품, 의약품 효능의 측정 및 판단을 위하여 피부 영상을 오버레이시켜서 볼 수 있고, 피부 개선 효과 측정시 이미 획득된 영상과 현재 카메라로부터 입력된 영상의 특징을 추출한 후 이들 간의 오차를 계산하여 자동으로 시편의 위치를 조정함으로써 정확한 위치의 영상을 획득하는 피부 영상 오버레이 및 매칭 방법에 관한 것이다.The present invention relates to a skin image overlay and matching method, in particular, cosmetics, functional cosmetics, quasi-drugs, health functional foods, health supplements, can be seen by overlaying the skin image for the measurement and determination of the efficacy of the drug, skin improvement effect measurement The present invention relates to a skin image overlay and a matching method of obtaining an image of an accurate position by automatically extracting a feature of an image obtained from an image and an image input from a current camera and calculating an error therebetween.

근래 들어, 생활이 윤택해지고 삶의 질이 향상됨에 따라 피부 미용에 대한 관심이 부쩍 증가하고 있다. 특히 인터넷이나 매스컴을 통해서 '피부 미인'이라는 신조어가 생겨날 정도로 하얗고 주름 없는 깨끗한 피부가 미인을 구분하는 중요한 척도로 자리매김하고 있고, 이러한 시대상을 반영하여 여성은 물론이고 남성들조차 피부 미용에 많은 시간과 돈을 투자하고 있다.In recent years, as beauty of life is improved and quality of life is increasing, interest in skin beauty is rapidly increasing. In particular, clean skin without white wrinkles is becoming an important criterion for distinguishing beautiful women, so that the new word “skin beauty” is created through the Internet and the mass media. And investing money.

따라서, 피부 미용이나 피부의 질을 개선하는데 사용되는 화장품, 식품, 의약품(이하 이를 총칭하여 '피부 개선품'을 제조하는 업체들도 보다 효능이 좋은 제품을 개발하는데 많은 시간과 노력을 투자하고 있는데, 이러한 노력에 필수적인 것이 바로 피부 개선품을 피부에 바른 후에 나타나는 효능을 정확하게 판정하는 것이다. 그리고 이를 위해 피부 개선품을 바르기 전에 촬영하여 획득한 피부 영상(이하 이를 시간적인 선후 관계에서 '적용전 피부영상'이라 한다)에 피부 개선품을 바른 후에 촬영하여 획득한 피부 영상(이하 이를 시간적인 선후 관계에서 '적용후 피부영상'이라 한다)을 정확하게 오버레이 및 매칭시키는 기술이 선결 과제로 요구되고 있다.Therefore, cosmetics, foods, and medicines used to improve skin beauty and skin quality (hereinafter collectively, companies that manufacture 'skin improvement products' are also investing a lot of time and effort in developing more effective products. Essential to this endeavor is to accurately determine the efficacy of applying a skin-improving product on the skin, and for this purpose, a skin image obtained before applying the skin-improving product (hereinafter referred to as 'pre-application skin' A technique for accurately overlaying and matching a skin image (hereinafter referred to as a 'skin image after application') obtained by applying a skin improvement product to a skin improvement product (hereinafter referred to as 'image') is required as a prior task.

그러나 종래에는 적용전 피부영상을 적용후 피부영상에 자동으로 오버레이 및 매칭시키는 시스템이 제안되어 있지 않아서 평가자가 이들 영상을 모두 컴퓨터 화면에 띄운 상태에서 목측에 의해 이들을 비교하여 그 개선 효과를 판단하고 있다. 이에 따라 동일한 적용전 피부영상과 적용후 피부영상일지라도 평가자의 경험이나 주관에 의해 그 판단 결과가 전혀 다르게 나올 수도 있어서 정확한 계량화가 불가능할 뿐만 아니라 경험 많은 평가자가 필요하다고 하는 문제점이 있었다.However, in the related art, a system for automatically overlaying and matching skin images before application is not proposed. Therefore, the evaluator judges the improvement effect by comparing these images by the neck side while all these images are displayed on the computer screen. . Accordingly, even the same pre-applied skin image and post-applied skin image may have different judgment results depending on the experience or subjectivity of the evaluator, so that accurate quantification is impossible and an experienced evaluator is required.

본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 피부 개선품 효능의 측정 및 판단을 위하여 피부 영상을 오버레이시켜서 볼 수 있고, 피부 개선 효과 측정시 이미 획득된 영상과 현재 카메라로부터 입력된 영상의 특징을 추출한 후 이들 간의 오차를 계산하여 자동으로 시편의 위치를 조정함으로써 정확한 위치의 영상을 획득하는 피부 영상 오버레이 및 매칭 방법을 제공함을 목적으로 한다.The present invention has been made to solve the above-described problems, it can be seen by overlaying the skin image for the measurement and determination of the skin improvement product efficacy, the image of the image already obtained and the current input from the camera when measuring the skin improvement effect It is an object of the present invention to provide a skin image overlay and matching method for obtaining an image of an accurate position by automatically adjusting the position of a specimen by calculating an error between them after extracting a feature.

전술한 목적으로 달성하기 위한 본 발명의 오버레이를 통한 피부영상 매칭방법은 피부영상 DB에 저장된 적용전 피부영상의 알파값을 조정하여 반투명화한 후에 카메라를 통해 실시간으로 입력되는 시편의 적용후 피부영상에 오버레이시키는 (a) 단계; 상기 적용전 피부영상과 상기 적용후 피부영상의 각각을 히스토그램 비교를 통해 임계값을 설정하여 이진영상으로 변환한 후에 형태학적 처리를 통해 잡음을 제거하고 단절영역을 연결하는 전처리를 수행하는 (b) 단계; 특징 추출을 위해 상기 적용전 피부영상과 상기 적용후 피부영상의 각각에 대한 모공영역 및 위치 비교점 추출하는 (c) 단계; 상기 추출된 위치 비교점들 간의 거리 계산으로 상기 적용전 피부영상과 상기 적용후 피부영상의 위치오차를 계산하는 (d) 단계 및 상기 위치오차에 따라 상기 시편을 이동시켜 상기 적용전 피부영상과 상기 적용후 피부영상을 정확하게 매칭시키는 단계를 포함하여 이루어진다.Skin image matching method through the overlay of the present invention for achieving the above object is a skin image after the application of the specimen input in real time through the camera after translucency by adjusting the alpha value of the skin image before application stored in the skin image DB Overlaying it on (a); (B) performing a preprocessing of removing noise and connecting disconnection regions through morphological processing after converting each of the pre-applied skin image and the post-applied skin image to a binary image by setting a threshold value through a histogram comparison step; (C) extracting a pore area and a position comparison point for each of the pre-applied skin image and the post-applied skin image for feature extraction; (D) calculating a position error of the skin image before the application and the skin image after the application by calculating the distance between the extracted position comparison points, and moving the specimen according to the position error and the skin image before the application and the After the application, the skin image is accurately matched.

전술한 구성에서, 상기 (b) 단계의 형태학적 처리에서는 팽창을 수행하고 침식을 수행하는 닫힘 연산을 이용하는 것이 바람직하다.In the above configuration, in the morphological treatment of step (b), it is preferable to use a closing operation that performs expansion and erosion.

한편, 상기 (c) 단계는 구체적으로 상기 적용전 피부영상과 상기 적용후 피부영상의 상기 전처리된 이진영상에 대해 각 영역의 모멘트를 계산하여 상기 모공영역 추출하고, 상기 추출된 모공영역들의 중심점을 계산하며, 상기 중심점들 영역 비교를 통해 비교점 쌍 추출을 추출하는 단계로 이루어지고, 상기 (d) 단계는 상기 비교점 쌍들 사이의 픽셀 차를 계산하여 위치오차를 파악하고, 상기 계산된 픽셀 차를 카메라 배율과 비율로 계산하여 이동량을 산출하는 단계로 이루어진다.On the other hand, step (c) specifically extracts the pore areas by calculating the moment of each region for the pre-processed binary image of the pre-applied skin image and the post-applied skin image, the center point of the extracted pore areas And extracting a comparison point pair extraction by comparing the center points regions, wherein step (d) calculates a pixel difference between the pairs of comparison points to determine a position error, and calculates the calculated pixel difference. Calculating the movement amount by calculating the camera magnification and the ratio.

더욱이, 상기 (c) 단계에서 상기 모공영역은

를 이용하여 추출되되, 여기에서

는 1차 불변 모멘트를 나타내고,

은 수평축 분산을 나타 내며,

는 수직축 분산을 나타내고,

는 (p+q)차 모멘트를 나타낸다.Furthermore, in step (c), the pore region is

Extracted using, where

Represents the first invariant moment,

Represents the horizontal axis dispersion,

Represents the vertical axis dispersion,

Denotes the (p + q) difference moment.

이하에는 첨부한 도면을 참조하여 본 발명의 피부 영상 오버레이 및 매칭 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the skin image overlay and matching method of the present invention.

도 1은 본 발명의 피부 영상 오버레이 및 매칭 시스템의 기능적인 블록 구성도이다. 도 1에 도시한 바와 같이, 본 발명의 피부 영상 오버레이 및 매칭 시스템은 크게 피부영상을 수집하는 피부영상 수집장치(10), 수집된 피부영상에서 특징점을 추출하는 피부영상 특징추출기(30), 피부영상 특징추출기(30)에서 추출된 피부영상을 상호 매칭시키는 피부영상 매칭장치(40), 적용전 피부영상을 저장하고 있는 피부영상 DB(50) 및 적용후 피부영상을 적용전 피부영상에 정확하게 오버레이시키기 위해 피부 시편을 이동시키는 시편 이동장치(20)를 포함하여 이루어질 수 있다.1 is a functional block diagram of a skin image overlay and matching system of the present invention. As shown in FIG. 1, the skin image overlay and matching system of the present invention includes a skin image collecting device 10 that largely collects skin images, a skin image feature extractor 30 that extracts feature points from the collected skin images, and skin Skin image matching device 40 for matching the skin images extracted by the image feature extractor 30 to each other, skin image DB 50 that stores the skin image before application, and the skin image after application is accurately overlayed on the skin image before application It may be made to include a specimen moving device 20 for moving the skin specimen to make.

전술한 구성에서, 피부영상 수집장치(10)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semi-conducter) 카메라와 같은 디지털 카메라로 구현될 수 있는데, 특히 접사 촬영이 가능한 고해상도 카메라로 구현되는 것이 바람직하다.In the above-described configuration, the skin image collecting device 10 may be implemented as a digital camera such as a Charge Coupled Device (CCD) or a Complementary Metal Oxide Semi-conducter (CMOS) camera. It is preferable.

피부영상 특징추출기(30)와 피부영상 매칭장치(40)는 통상의 퍼스널 컴퓨터(60)에 응용 프로그램 형태로 탑재될 수 있고, 피부영상 DB(50) 역시 퍼스널 컴퓨터(60)의 하드 디스크에 구축될 수 있을 것이다. 시편 이동장치(20)는 고 정밀도, 예를 들어 1㎛ 단위로 이동이 가능한 2축(X축 및 Y축) 또는 3축(Z축까지 포함) 스텝모터로 구현되는 것이 바람직하다.The skin image feature extractor 30 and the skin image matching device 40 may be mounted in the form of an application program in a general personal computer 60, and the skin image DB 50 is also built in the hard disk of the personal computer 60. Could be. The specimen moving device 20 is preferably implemented with high accuracy, for example, two-axis (X-axis and Y-axis) or three-axis (including Z-axis) step motors that can be moved in units of 1 μm.

도 2는 본 발명의 피부 영상 오버레이 및 매칭 방법을 설명하기 위한 흐름도이다. 도 2에 도시한 바와 같이, 본 발명의 피부 영상 오버레이 및 매칭 방법에 따르면, 먼저 단계 S10에서는 피부영상 DB(50)에 저장되어 있는 적용전 피부영상, 예를 들어 JPEG 형식의 적용전 피부영상을 읽어들여서 디스플레이하고, 다시 단계 S12에서는 이후 여기에 오버레이될 적용후 피부영상과의 정확한 매칭을 위해 적용전 피부영상을 반투명화한다.2 is a flowchart illustrating a skin image overlay and matching method of the present invention. As shown in FIG. 2, according to the skin image overlay and matching method of the present invention, first, in step S10, a pre-application skin image stored in the skin image DB 50, for example, a pre-application skin image in JPEG format, may be used. After reading and displaying, in step S12, the skin image before application is semi-transparent for accurate matching with the skin image after application to be overlaid hereafter.

도 3은 본 발명의 피부 영상 오버레이 및 매칭 방법에서 반투명화 단계를 설명하기 위한 도이다. 적용전 피부영상을 적용후 피부영상에 오버레이시킴에 있어서 반투명화 작업을 거치지 않는 경우에는 도 3에서 좌측에 도시한 바와 같이 적용후 피부영상(AS)이 적용전 피부영상(BS)에 의해 완전히 가려져서 적용후 피부영상(AS)의 식별이 불가능한 반면에 적용전 피부영상(BS)과 적용후 피부영상(AS)에 대해 반투명화 작업을 거치게 되면 도 3에서 우측에 도시한 바와 같이 적용전 피부영상(BS')을 통해 적용후 피부영상(AS)을 식별할 수 있게 된다.3 is a view for explaining a semi-transparency step in the skin image overlay and matching method of the present invention. In the case where the skin image before application is not translucent in overlaying the skin image after application, as shown on the left in FIG. 3, the skin image AS after application is completely covered by the skin image BS before application. After the application of the skin image (AS) is impossible to identify while the pre-application skin image (BS) and the post-applied skin image (AS) is subjected to a semi-transparency operation as shown on the right in Figure 3 skin image before application ( BS ') can be used to identify the skin image (AS) after application.

한편, 이러한 반투명화는 적용전 피부영상과 현재 실시간으로 촬영하여 얻어진 적용후 피부영상의 알파(α) 값을 아래의 수학식 1에 의거하여 조정함으로써 수행될 수 있다.On the other hand, such semi-transparency may be performed by adjusting the alpha (α) value of the pre-applied skin image and the post-applied skin image obtained by photographing in real time based on Equation 1 below.

위의 수학식 1에서

는 0에서 1사이의 값을 갖고, 영상1은 적용전 피부영 상이고 영상2는 적용후 피부영상일 수 있다. 일반적으로 컴퓨터에서 색상을 표현할 때 R(Red), G(Green), B(Blue)의 3가지 색상을 사용하지만 여기에 Alpha(α)성분을 추가하여 사용하기도 하는데, 이러한 Alpha(α) 성분은 영상을 투명한 형태로 만들 때 사용한다.In Equation 1 above

Has a value between 0 and 1, Image 1 may be a skin image before application, and Image 2 may be a skin image after application. Generally, three colors, R (Red), G (Green), and B (Blue), are used to express colors on a computer, but Alpha (α) components are sometimes added to these colors. Used to make the image transparent.

다음으로, 적용전 피부영상 및 적용후 피부영상의 매칭시 위치 정확도를 높이기 위해 피부영상의 특징점을 추출하여 특징간 거리 계산을 통해 두 영상을 정확하게 매칭시킨다.Next, in order to increase the positional accuracy when matching the skin image before and after application, feature points of the skin image are extracted and the two images are accurately matched by calculating the distance between the features.

도 4는 본 발명의 피부 영상 오버레이 및 매칭 방법에서 특징점 추출을 위한 영상 처리 프로세스를 설명하기 위한 도이다. 도 4에서 상측에 도시한 바와 같이, 적용전 피부영상(BS)을 퍼스널 컴퓨터(60)의 피부영상 DB(50)에서 읽어들여서 후술하는 전처리를 수행하고, 이어서 특징점을 추출하게 된다. 마찬가지로 도 4에서 하측에 도시한 바와 같이, 현재 카메라(10)를 통해 실시간으로 입력되는 적용후 피부영상(AS)에 대해 전처리를 수행하고, 이어서 특징점을 추출하게 된다.4 is a view for explaining an image processing process for feature point extraction in the skin image overlay and matching method of the present invention. As shown in the upper side in FIG. 4, the pre-application skin image BS is read from the skin image DB 50 of the personal computer 60 to perform a preprocess described below, and then feature points are extracted. Similarly, as shown below in FIG. 4, pre-processing is performed on the applied skin image AS input in real time through the current camera 10, and then feature points are extracted.

이를 구체적으로 설명하면, 다음으로, 단계 S14에서는 이렇게 반투명화된 적용전 피부영상과 적용후 피부영상을 오버레이시킨다. 다음으로 단계 S20에서는 적용전 피부영상과 현재 피부영상 수집장치, 즉 카메라(10)로부터 입력되는 적용후 피부영상에 대한 전처리를 후행하는데, 구체적으로 단계 S22에서는 두 영상의 히스토그램 비교를 통해 임계값을 설정하여 이진영상으로 변환하고, 다시 단계 S24에서는 형태학(morphology)적 처리를 통해 잡음을 제거하고 단절영역을 연결한다.In detail, next, in step S14, the translucent pre-applied skin image and the post-applied skin image are overlaid. Next, in step S20, the pre-application of the skin image and the current skin image collection device, that is, the pre-application of the skin image after the input from the camera 10 are preprocessed. Set to convert to a binary image, and in step S24, noise is removed through morphological processing and a disconnection region is connected.

여기에서, '형태학'(morphology)라는 용어는 보통 동·식물의 형태와 구조를 다루는 생물학의 한 분야(형태학)를 의미하나, 본 명세서에서는 똑같은 용어를 수학적 형태학의 문맥에서, 영역 모양의 표현과 기술에 유용한 경계선, 골격 또는 볼록 도형 같은 영상 성분을 추출하는 도구로서 사용한다. 이러한 형태학적 연산에는 팽창(dilation)과 침식(erosion)이 있는바, 본 발명에서는 팽창을 수행하고 침식을 수행하는 닫힘(close) 연산을 이용하고 있다. 이와 같이 닫힘 연산을 이용하면 영상 안의 잡음을 제거하고, 끊어진 영역도 연결할 수 있다.Here, the term 'morphology' usually refers to a field of biology (morphology) that deals with the forms and structures of animals and plants, but the same term is used herein in the context of mathematical morphology to Use as a tool to extract image components such as borders, skeletons or convex shapes useful in the technique. Such morphological operations include dilation and erosion. In the present invention, a close operation that performs expansion and performs erosion is used. Using this operation, we can remove the noise in the image and connect the broken areas.

도 5는 본 발명의 피부 영상 오버레이 및 매칭 방법에서 적용전 피부영상(BS)과 적용후 피부영상(AS)의 형태학적 연산 전후의 예시 사진이다.5 is an exemplary photograph before and after the morphological calculation of the pre-application skin image (BS) and the post-application skin image (AS) in the skin image overlay and matching method of the present invention.

다시 도 2로 돌아가서, 단계 S30에서는 특징 추출을 위해 피부영상 중 모공영역 및 위치 비교점 추출하는데, 보다 구체적으로 단계 S32에서는 적용전 및 적용후 피부영상의 전처리된 이진영상에 대해 각각의 영역의 모멘트를 계산하여 모공영역 추출하고, 다시 단계 S34에서는 추출된 모공영역들의 중심점을 계산하며, 단계 S36에서는 중심점들 영역 비교를 통해 비교점 쌍 추출을 추출한다.2 again, in step S30, the pore region and the position comparison point of the skin image are extracted for feature extraction. More specifically, in step S32, the moment of each region is applied to the preprocessed binary image of the skin image before and after application. To extract the pore area, and in step S34 to calculate the center points of the extracted pore areas, and in step S36 to extract the pair of comparison point extraction through the area comparison of the center points.

본 발명에서는 피부영상에서 모공영역 추출을 위해 Hu에 의해 제안된 불변모멘트를 이용한다. 불변모멘트는 크기, 이동, 회전 및 대칭 변환인 선형변환에 불변하다는 특성이 있는바, 이를 피부영상에 적용하여 모공 영역의 모멘트 값의 범위를 정의함으로써 모공 영역만을 추출한다. 본 발명에서는 계산의 간편화를 위해 불변모멘트 7개 식 중 첫 번째 식인 아래의 수학식 2를 이용한다.In the present invention, the constant moment proposed by Hu is used to extract the pores from the skin image. The invariant moment is characteristic that it is invariant to the linear transformation such as size, movement, rotation, and symmetry transformation. By applying it to the skin image, only the pore region is extracted by defining the range of the moment value of the pore region. In the present invention, Equation 2 below, which is the first equation among the seven constant moment equations, is used to simplify the calculation.

상기한 수학식 2에서

는 1차 불변 모멘트를 나타내고,

은 수평축 분산을 나타내며,

는 수직축 분산을 나타내고,

는 (p+q)차 모멘트를 나타낸다.In Equation 2 above

Represents the first invariant moment,

Represents the horizontal axis dispersion,

Represents the vertical axis dispersion,

Denotes the (p + q) difference moment.

한편, 모공 추출을 위해 첫째로 임계값에 의해 이진화된 영상을 8-연결성을 통해 레이블링을 하고, 이렇게 레이블링으로 묶여진 각 영역의 모멘트를 계산함으로써 각 영역의 특징을 파악하고 그 중 일정한 값을 갖는 영역을 모공이라 판단한다. 본 발명자는 이러한 모멘트값 설정을 위해 피부 영상 중 모공이라 판단되는 임의의 영역을 선정하였으며 이를 선형변환시켜 실험을 행하였는바, 계산된 모멘트 결과는 도 6과 같다.On the other hand, to extract the pores, first, the image binarized by the threshold value is labeled through 8-connectivity, and the characteristics of each region are identified by calculating the moment of each region bound by the labeling, and the region having a constant value among them. Determination of pores. The present inventors selected an arbitrary area determined to be pores in the skin image for setting the moment value, and performed an experiment by linearly converting it. The calculated moment result is shown in FIG. 6.

도 6은 본 발명의 피부 영상 오버레이 및 매칭 방법에서 다수 샘플에 대한 모공 및 주름 영역의 모멘트를 예시한 도표이고, 도 7은 본 발명의 피부 영상 오버레이 및 매칭 방법에서 모공 영역의 추출 결과를 보인 도표이다. 도 6의 도표에서 알 수 있는 바와 같이, 주름 영역은 선형 변환에 관계없이 모멘트가 약 0.22 정도이고 주름은 0.9 이상임을 알 수 있다. 이를 바탕으로 본 발명에서는 0.05보다 크고 0.5보다는 작은 모멘트로 임계치를 설정하였으며 이 범위 이내의 영역들을 모공이라 판단하였다. 도 7은 모공 및 주름 추출 영상으로부터 모공 영역만 추출한 결 과를 보여주고 있다.FIG. 6 is a diagram illustrating moments of pores and wrinkle areas for multiple samples in the skin image overlay and matching method of the present invention, and FIG. 7 is a diagram showing extraction results of the pore areas in the skin image overlay and matching method of the present invention. to be. As can be seen in the diagram of FIG. 6, it can be seen that the wrinkle area has a moment of about 0.22 and a wrinkle of 0.9 or more, regardless of the linear transformation. Based on this, in the present invention, the threshold value was set to a moment greater than 0.05 and less than 0.5, and the regions within this range were determined to be pores. Figure 7 shows the results of extracting only the pores from the pores and wrinkles extraction image.

다시 도 2로 돌아가서, 단계 S40에서는 추출된 비교점 쌍들 간의 거리 계산으로 영상의 위치 오차 출력하는데, 구체적으로 단계 S42에서는 비교점 쌍들 사이의 픽셀 차를 계산하여 위치오차를 파악하고, 다시 단계 S44에서는 계산된 픽셀 차를 카메라 배율과 비율로 계산하여 ㎛ 단위의 이동량을 산출한다. 마지막으로 단계 S50에서는 이렇게 산출된 이동량 데이터를 시리얼 포트 또는 랜 포트를 통해 위치 이동장치로 전송하여 이를 구동함으로써 적용전 피부영상에 대해 적용후 피부영상을 정확하게 매칭시키게 된다. 그리고 이렇게 매칭된 결과를 체크함으로써 피부 개선품의 효능, 즉 피부의 개선 정도를 정량적으로 파악할 수가 있다.2 again, in step S40, the position error of the image is output by calculating the distance between the extracted pairs of comparison points. Specifically, in step S42, the position error is determined by calculating the pixel difference between the pairs of comparison points. The calculated pixel difference is calculated by the camera magnification and the ratio to calculate the movement amount in μm. Finally, in step S50, the calculated movement amount data is transmitted to the position moving device through the serial port or the LAN port to drive the same, thereby accurately matching the skin image after application to the skin image before application. By checking the matched results, it is possible to quantitatively grasp the efficacy of the skin improvement product, that is, the degree of improvement of the skin.

도 8은 본 발명의 피부 영상 오버레이 및 매칭 시스템에서 시편 이동 장치의 예시 사진이다.8 is an exemplary photograph of a specimen moving device in the skin image overlay and matching system of the present invention.

본 발명의 피부 영상 오버레이 및 매칭 방법은 전술한 실시예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수가 있다.The skin image overlay and matching method of the present invention is not limited to the above-described embodiments, and may be modified in various ways within the scope of the technical idea of the present invention.

이상에서 설명한 바와 같은 본 발명의 피부 영상 오버레이 및 매칭 방법에 따르면, 피부 개선 효과 측정시 이미 획득된 영상과 현재 카메라로부터 입력된 영상의 특징을 추출한 후 이들 간의 오차를 계산하여 자동으로 시편의 위치를 조정함으로써 피 실험자 및 실험자의 편의성을 향상시킴과 함께 분석에 소요되는 시간과 인력을 대폭적으로 절감할 수가 있고, 이에 따라 피부 개선품의 효능을 정확하게 신속하게 파악할 수가 있다.According to the skin image overlay and matching method of the present invention as described above, when measuring the skin improvement effect, after extracting the features of the image already acquired and the image input from the current camera, the position of the specimen is automatically calculated by calculating the error between them. By improving the convenience of the test subject and the experimenter, the time and manpower required for the analysis can be greatly reduced, and thus the effect of the skin improvement product can be accurately and quickly identified.

Claims (4)

피부영상 DB에 저장된 적용전 피부영상의 알파값을 조정하여 반투명화한 후에 카메라를 통해 실시간으로 입력되는 시편의 적용후 피부영상에 오버레이시키는 (a) 단계;(A) overlaying the skin image after application of the specimen input in real time through the camera after adjusting the alpha value of the skin image before application stored in the skin image DB; 상기 적용전 피부영상과 상기 적용후 피부영상의 각각을 히스토그램 비교를 통해 임계값을 설정하여 이진 영상으로 변환한 후, 영상 성분(경계선, 골격, 볼록)을 추출하고, 팽창(dilation)과 침식(erosion)을 수행하는 닫힘(close) 연산을 이용하여 추출된 영상을 처리하여 영상의 잡음을 제거하고 끊어진 영역을 복구하는 전처리를 수행하는 (b) 단계;After converting each of the pre-applied skin image and the post-applied skin image to a binary image by setting a threshold value through comparison of histograms, image components (boundary line, skeleton, convex) are extracted, dilation and erosion ( (b) performing a preprocessing to remove the noise of the image and to recover the broken region by processing the extracted image by using a close operation that performs an erosion; 특징 추출을 위해 상기 적용전 피부영상과 상기 적용후 피부영상의 각각에 대한 모공영역 및 위치 비교점 추출하는 (c) 단계;(C) extracting a pore area and a position comparison point for each of the pre-applied skin image and the post-applied skin image for feature extraction; 상기 추출된 위치 비교점들 간의 거리 계산으로 상기 적용전 피부영상과 상기 적용후 피부영상의 위치오차를 계산하는 (d) 단계 및(D) calculating a position error of the skin image before the application and the skin image after the application by calculating the distance between the extracted position comparison points; 상기 위치오차에 따라 상기 시편을 이동시켜 상기 적용전 피부영상과 상기 적용후 피부영상을 정확하게 매칭시키는 단계를 포함하여 이루어진 것을 특징으로 하는 오버레이를 통한 피부영상 매칭방법.The method of matching the skin image through the overlay comprising the step of accurately matching the skin image before the application and the skin image after the application by moving the specimen in accordance with the position error. 삭제delete 제 1 항에 있어서,The method of claim 1, 상기 (c) 단계는 상기 적용전 피부영상과 상기 적용후 피부영상의 상기 전처리된 이진영상에 대해 각 영역의 모멘트를 계산하여 상기 모공영역 추출하고, 상기 추출된 모공영역들의 중심점을 계산하며, 상기 중심점들 영역 비교를 통해 비교점 쌍 추출을 추출하는 단계로 이루어지고,The step (c) is to extract the pore areas by calculating the moment of each region for the pre-processed binary image of the pre-applied skin image and the post-applied skin image, calculate the center point of the extracted pore areas, Extracting a pair of comparison points by comparing the center points region, 상기 (d) 단계는 상기 비교점 쌍들 사이의 픽셀 차를 계산하여 위치오차를 파악하고, 상기 계산된 픽셀 차를 카메라 배율과 비율로 계산하여 이동량을 산출하는 단계로 이루어진 것을 특징으로 하는 오버레이를 통한 피부영상 매칭방법.In the step (d), the position difference is calculated by calculating the pixel difference between the pairs of comparison points, and calculating the movement amount by calculating the calculated pixel difference by the camera magnification and ratio. Skin image matching method. 제 1 항 또는 제 3 항에 있어서,The method according to claim 1 or 3, 상기 (c) 단계에서 상기 모공영역은

를 이용하여 추출되되,In the step (c) the pore area is

Extracted using, 여기에서

는 1차 불변 모멘트를 나타내고,

은 수평축 분산을 나타내며,

는 수직축 분산을 나타내고,

는 (p+q)차 모멘트를 나타내는 것을 특징으로 하는 오버레이를 통한 피부영상 매칭방법.From here

Represents the first invariant moment,

Represents the horizontal axis dispersion,

Represents the vertical axis dispersion,

The skin image matching method through the overlay, characterized in that (p + q) represents the difference moment.

Images