KR100904559B1 - Face Diagnotic Method Using Stereo Images - Google Patents

Face Diagnotic Method Using Stereo Images Download PDF

Info

Publication number
KR100904559B1
KR100904559B1 KR1020070121950A KR20070121950A KR100904559B1 KR 100904559 B1 KR100904559 B1 KR 100904559B1 KR 1020070121950 A KR1020070121950 A KR 1020070121950A KR 20070121950 A KR20070121950 A KR 20070121950A KR 100904559 B1 KR100904559 B1 KR 100904559B1
Authority
KR
South Korea
Prior art keywords
image
color
side image
reference color
color table
Prior art date
Application number
KR1020070121950A
Other languages
Korean (ko)
Other versions
KR20090055171A (en
Inventor
김근호
최은지
김종열
전영주
Original Assignee
한국 한의학 연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국 한의학 연구원 filed Critical 한국 한의학 연구원
Priority to KR1020070121950A priority Critical patent/KR100904559B1/en
Publication of KR20090055171A publication Critical patent/KR20090055171A/en
Application granted granted Critical
Publication of KR100904559B1 publication Critical patent/KR100904559B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상을 분석하여 안면을 진단하는 방법에 관한 것으로, 특히 다양한 각도에서 촬영된 영상을 입체 모델로 변환하여 모델의 피부 색상을 이용하여 안면을 진단하는 스테레오 영상을 이용한 안면 진단 방법에 관한 것으로, 기준 컬러 테이블이 포함된 대상 인물의 정면 영상 및 측면 영상을 디지털 카메라로 촬영하는 제 1 단계, 상기 측면 영상에 포함된 기준 컬러 테이블과 상기 정면 영상에 포함된 기준 컬러 테이블이 동일한 컬러값을 가지도록 상기 측면 영상의 컬러값을 변환하는 제 2 단계, 상기 정면 영상과 측면 영상의 특징점을 매칭시켜 하나의 3차원 텍스처로 합성하여 3차원 모델을 형성하는 제 3 단계 및 상기 3차원 모델에서 진단에 필요한 부위의 컬러를 측정하여 체질 및 변증을 진단하는 제 4 단계를 포함하여 이루어져, 명확한 컬러 기준을 생성할 수 있고, 2개 이상의 시점에서 본 영상으로 3차원 정보를 획득가능하며, 컬러 및 기하 정보로 확실한 체질과 병증 확인할 수 있는 효과가 있다.The present invention relates to a method for diagnosing a face by analyzing an image, and more particularly, to a method for diagnosing a face using a stereo image for diagnosing a face using a skin color of a model by converting an image photographed from various angles into a three-dimensional model. The first step of photographing the front image and the side image of the target person including the reference color table with a digital camera, the reference color table included in the side image and the reference color table included in the front image have the same color value. The second step of converting the color value of the side image so as to match the feature point of the front image and the side image to synthesize a single three-dimensional texture to form a three-dimensional model and the diagnosis in the three-dimensional model Clear color, including the fourth step of diagnosing constitution and dialectic by measuring the color of the necessary area Standards can be generated, three-dimensional information can be obtained from images viewed from two or more viewpoints, and color and geometric information can reliably identify constitution and pathology.

안면 진단, 스테레오 영상, 컬러 테이블, 3차원 모델, 텍스처 Facial Diagnosis, Color Image, Stereo Table, Abstract, Backgrounds

Description

스테레오 영상을 이용한 안면 진단 방법{Face Diagnotic Method Using Stereo Images}Face Diagnosis Method Using Stereo Images

본 발명은 영상을 분석하여 안면을 진단하는 방법에 관한 것으로, 특히 다양한 각도에서 촬영된 영상을 입체 모델로 변환하여 모델의 피부 색상 및 기하 특성을 이용하여 안면을 진단하는 스테레오 영상을 이용한 안면 진단 방법에 관한 것이다.The present invention relates to a method for diagnosing a face by analyzing an image, and in particular, a face diagnosis method using a stereo image for diagnosing a face using a skin color and geometric characteristics of a model by converting an image photographed from various angles into a three-dimensional model. It is about.

과학기술이 발전함에 따라 의사와 환자가 직접 대면하지 않고 원거리에서 환자의 영상만을 분석하여 건강의 정도나 이상 유무를 어느 정도 측정할 수 있는 기술들이 개발되고 있다.As science and technology develops, technologies that can measure the degree of health or abnormality by analyzing images of patients at a distance without facing doctors and patients directly are being developed.

이를 위해서는 먼저 영상 정보를 획득하고 잡음을 없이 전송하는 기술도 중요하지만 영상을 보고 의사가 환자의 상태를 진단하기 위해서는 시간과 장소를 달리하여 촬영된 다양한 영상이 같은 시간, 같은 조건에서 촬영한 것과 마찬가지의 효과를 낼 수 있도록 영상을 분석하고 변환하는 것도 중요하다.To this end, the technology of acquiring image information and transmitting it without noise is important, but in order for a doctor to diagnose a patient's condition by looking at the image, various images taken at different times and places are taken at the same time and in the same conditions. It is also important to analyze and convert the images so that they work.

평면적인 영상만을 가지고 환자의 상태를 판별하는 것보다 입체적인 모델을 이용하여 실제 환자가 옆에 있는 것처럼 자세히 원하는 부분의 색과 형상을 보고 상태를 파악하는 것이 보다 효과적이다.Rather than determining the patient's condition using only the planar image, it is more effective to identify the condition by looking at the color and shape of the desired part in detail as if the actual patient is next to it using a three-dimensional model.

영상 인식과 분석에 관련된 종래의 기술을 살펴보면 다음과 같다.A conventional technique related to image recognition and analysis is as follows.

먼저, 형상 인식 장치 및 방법(한국공개특허 2006-0119968, 2006. 11. 24공개)은 이미지를 캡쳐하여 안면을 인식하기 위한 장치 및 방법인데 이미지의 보정에 관한 구성이 없어 조명이나 기타 주위환경에 의하여 이미지가 왜곡될 수 있는 문제가 있다. First, a shape recognition device and method (Korean Patent Laid-Open Publication No. 2006-0119968, Nov. 24, 2006) is a device and method for recognizing a face by capturing an image. There is a problem that the image can be distorted.

다음으로, 촬영 시스템(일본공개특허 2003-209849, 2003. 07. 25공개)은 렌즈를 개폐하는 뚜껑의 하단부에 반사면을 설치하여 참조영상으로부터 색 채널을 보정하는 방법에 관한 것으로, 카메라 주변의 색의 변화에는 민감하나 실제 물체에 투영되는 빛의 조건을 반영하여 보정하지 못하는 문제점이 있다.Next, a photographing system (Japanese Patent Laid-Open No. 2003-209849, 2003. 07. 25 publication) relates to a method of correcting a color channel from a reference image by installing a reflective surface at a lower end of a lid for opening and closing a lens. Although sensitive to color changes, there is a problem in that correction cannot be made by reflecting a condition of light projected on a real object.

입체적 모델을 만들기 위해서는 다수의 평면 영상이 필요한데 각 평면 영상은 촬영 조건, 구체적으로는 시간과 장소, 조명 등에 따라 색상이 달라질 수 있는 문제점이 있다. 같은 부위라도 서로 다른 색상을 가지게 되면 입체적 모델을 만들었을 경우 색상이 고르지 못하여 이상 유무를 잘못 판단할 우려가 있다.In order to create a three-dimensional model, a plurality of planar images are required. Each planar image has a problem in that colors may vary depending on shooting conditions, specifically, time, place, and lighting. If the same part has a different color, the color may be uneven when the three-dimensional model is made, and there is a risk of incorrectly determining the abnormality.

본 발명은 상기한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 다수의 평면 영상의 컬러 기준을 일치시켜 색상 왜곡이 없는 영상을 얻고, 이를 이용하여 정확한 색상의 3차원 모델을 형성하여 원하는 부위의 정확한 컬러정보와 3차원 정보를 통하여 체질과 병증을 진단할 수 있는 스테레오 영상을 이용한 안면 진단 방법을 제공하는데 그 목적이 있다.The present invention has been made to solve the above problems of the prior art, by matching the color standards of a plurality of planar images to obtain an image without color distortion, by using this to form a three-dimensional model of the correct color of the desired area The purpose of the present invention is to provide a face diagnosis method using stereo images that can diagnose constitution and condition through accurate color information and three-dimensional information.

상기한 과제를 해결하기 위한 본 발명에 따른 스테레오 영상을 이용한 안면 진단 방법은 기준 컬러 테이블이 포함된 대상 인물의 정면 영상 및 측면 영상을 디지털 카메라로 촬영하는 제 1 단계, 상기 측면 영상에 포함된 기준 컬러 테이블과 상기 정면 영상에 포함된 기준 컬러 테이블이 동일한 컬러값을 가지도록 상기 측면 영상의 컬러값을 변환하는 제 2 단계, 상기 정면 영상과 측면 영상의 특징점을 매칭시켜 하나의 3차원 텍스처로 합성하여 3차원 모델을 형성하는 제 3 단계 및 상기 3차원 모델에서 진단에 필요한 부위의 컬러와 기하정보를 측정하여 체질 및 변증을 진단하는 제 4 단계를 포함한다.Face diagnosis method using a stereo image according to the present invention for solving the above problems is the first step of photographing the front and side images of the target person including a reference color table with a digital camera, the reference included in the side image A second step of converting color values of the side image such that a color table and a reference color table included in the front image have the same color value, and combining feature points of the front image and the side image into one 3D texture; The third step of forming a three-dimensional model and the fourth step of diagnosing constitution and dialectic by measuring the color and geometric information of the site necessary for diagnosis in the three-dimensional model.

여기서, 상기 제 2 단계는 상기 측면 영상에 포함된 기준 컬러 테이블의 컬러값이 상기 정면 영상에 포함된 기준 컬러 테이블의 컬러값과 일치하도록 하는 변환 행렬을 구하는 제 1 과정 및 상기 측면 영상의 전체 픽셀을 상기 변환 행렬을 이용하여 변환하는 제 2 과정을 포함한다.The second step may include a first process of obtaining a transformation matrix for matching a color value of a reference color table included in the side image with a color value of a reference color table included in the front image, and all pixels of the side image. And a second process of converting by using the transformation matrix.

또한, 상기 제 3 단계는 상기 정면 영상과 측면 영상의 특징점을 찾아 3차원 좌표로 매칭시키는 제 1 과정, 상기 3차원 좌표를 기준으로 정면 영상과 측면 영상을 합성하여 원통에 사상한 하나의 텍스처로 합성하는 제 2 과정 및 상기 합성된 텍스처를 이용하여 3차원 모델을 형성하는 제 3 과정을 포함한다.The third step may be a first process of finding feature points of the front image and the side image and matching the three-dimensional coordinates, and synthesizing the front image and the side image based on the three-dimensional coordinates into a single texture mapped to the cylinder. A second process of synthesizing and a third process of forming a three-dimensional model using the synthesized texture.

또한, 상기 제 3 단계의 제 2 과정 후에, 상기 합성된 텍스처 영상의 기준 컬러 테이블의 컬러값을 기지의 기준 컬러 테이블의 컬러값과 비교하여 기준 컬러로 변환하는 과정을 더 포함한다.The method may further include converting a color value of the reference color table of the synthesized texture image into a reference color after comparing with the color value of the known reference color table after the second process of the third step.

상기 제 3 단계의 제 1 과정은 상기 정면 영상과 상기 측면 영상의 특징점을 비교하여 매칭시킨다.The first process of the third step compares and matches feature points of the front image and the side image.

상기 기준 컬러 테이블은 사람의 얼굴색과 관련이 없는 청색을 포함하는 하나 이상의 색상 띠로 이루어진다.The reference color table consists of one or more color bands that include blue, which is not related to the human face color.

상기 측면 영상은 적어도 하나 이상인 것을 특징으로 한다.The side image may be at least one.

상기와 같이 구성되는 본 발명에 따른 스테레오 영상을 이용한 안면 진단 방법은 명확한 컬러 기준을 생성할 수 있고, 2개 이상의 시점에서 본 영상으로 3차원 정보를 획득가능하며, 컬러 및 기하 정보로 확실한 체질과 병증 확인할 수 있는 효과가 있다.Facial diagnosis method using a stereo image according to the present invention configured as described above can generate a clear color reference, can obtain three-dimensional information from the image viewed from two or more viewpoints, and the constitution with color and geometric information The effect can be confirmed.

또한, 3차원 모델링시 광원 변화 정보를 이용하여 음영이 진 굴곡진 곳에서도 정확한 매칭이 가능한 효과가 있다.In addition, when the 3D modeling using the light source change information there is an effect that can be accurately matched in the shaded curved place.

이하, 첨부된 도면을 참조하여 본 발명의 구체적인 구성 및 실시예를 설명하면 다음과 같다.Hereinafter, with reference to the accompanying drawings illustrating a specific configuration and embodiment of the present invention.

도 1은 일반적으로 컬러를 결정하는 요소가 도시된 도이다.1 is a diagram generally illustrating elements for determining color.

도 1을 참조하면, 사물에 빛이 비춰지는 경우에는 다양한 요인에 의해 사물의 색상이 결정된다.Referring to FIG. 1, when light shines on an object, the color of the object is determined by various factors.

반사 벡터(R), 광원 벡터(L), 노말 벡터(N), 하프 벡터(H), 카메라 벡터(V) 등 다양한 요인이 영향을 미친다. 이러한 요인들을 이용하여 컬러 결정 공식을 만들면 다음 [수학식 1]과 같다.Various factors affect the reflection vector (R), the light source vector (L), the normal vector (N), the half vector (H), and the camera vector (V). When the color determination formula is made using these factors, Equation 1 is as follows.

Figure 112007085678162-pat00001
Figure 112007085678162-pat00001

여기서, ka, kd, ks 는 상수이며 La는 주변 컬러, Ld 는 표면의 컬러, Ls 는 광원의 컬러이다.Where k a , k d , and k s are constants, L a is the ambient color, L d is the color of the surface, and L s is the color of the light source.

얼굴진단을 위해 다수의 평면 영상으로 입체 모델을 구성하려면 다수의 평면 영상의 컬러 차이를 보정할 필요성이 있다.In order to construct a stereoscopic model using a plurality of planar images for face diagnosis, it is necessary to correct color differences of the plurality of planar images.

[수학식 1]을 참조하면 컬러를 결정하는 요소는 광원에 대한 반사를 제외한다면(Ks=0) 크게 광원에 의한 표면 컬러에 대한 곱셈과 주변 컬러의 덧셈임을 알 수 있다.Referring to [Equation 1], it can be seen that the factor that determines color is the multiplication of the surface color by the light source and the addition of the surrounding color if the reflection of the light source is excluded (K s = 0).

도 2 는 원본 컬러값과 변화된 컬러값에 대한 관계를 행렬식으로 나타낸 도이다. 도 2를 참조하면, 컬러의 빛에 대한 변화는 덧셈과 곱셈의 식으로 나타낼 수 있는 것을 알 수 있다.2 is a diagram illustrating a relationship between an original color value and a changed color value in a deterministic manner. Referring to FIG. 2, it can be seen that a change in color of light can be represented by an expression of addition and multiplication.

도 2에서 변화된 컬러(1)는 광원에 의한 컬러 변환 행렬(2)에 원본 컬러(3)를 곱하고 여기에 주변 컬러에 의한 변환 벡터(4)를 더하는 형태임을 알 수 있다.It can be seen that the changed color 1 in Fig. 2 is a form of multiplying the original color 3 by the color conversion matrix 2 by the light source and adding the conversion vector 4 by the surrounding color.

이러한 기본적 개념을 바탕으로 본 발명에 대해 구체적으로 설명하겠다.Based on this basic concept, the present invention will be described in detail.

도 3은 본 발명에 따른 스테레오 영상을 이용한 안면 진단 방법이 도시된 순서도이며, 도 4 내지 도 5는 정면 영상 및 측면 영상을 촬영하는 시스템의 구성이 도시된 도이다.3 is a flowchart illustrating a method for diagnosing a face using a stereo image according to the present invention, and FIGS. 4 to 5 are views illustrating a configuration of a system for capturing front and side images.

도 4 내지 도 5를 참조하면, 본 발명은 먼저 정면 영상 및 측면 영상을 획득한다(S110, S120).4 to 5, the present invention first obtains a front image and a side image (S110 and S120).

이 때, 단순히 대상물(10)만 촬영하는 것이 아니라 대상물(10)의 옆에 카메라(30)의 촬영 방향과 수직인 방향으로 기준 컬러 테이블(20)을 두고 함께 촬영이 이루어진다.At this time, not only the object 10 is photographed, but also the photographing is performed with the reference color table 20 in a direction perpendicular to the photographing direction of the camera 30 next to the object 10.

이 경우 카메라(30)의 촬영방향과 기준 컬러 테이블(20)이 수직을 이루고 일정한 거리를 유지하도록 하기 위해 카메라와 기준 컬러 테이블 사이에 가이드(21)를 설치할 수도 있다. 이는 선택가능한 것으로 가이드 이외의 별도의 장치를 이용하여 기준 컬러 테이블을 고정시킬 수도 있다.In this case, the guide 21 may be installed between the camera and the reference color table so that the photographing direction of the camera 30 and the reference color table 20 are perpendicular to each other and maintain a constant distance. This is optional and may be fixed by using a separate device other than the guide.

도 6은 기준 컬러 테이블의 구성이 도시된 도이다.6 is a diagram illustrating a configuration of a reference color table.

도 6을 참조하면, 기준 컬러 테이블(50)은 사람의 얼굴과 관련이 없는 청색 을 포함하는 하나 이상의 색상 띠로 이루어지며, 반사가 적은 재질로 제작된다.Referring to FIG. 6, the reference color table 50 is made of one or more color bands including blue, which is not related to the face of a person, and is made of a material having low reflection.

본 발명은 일 실시예로 기준 컬러 테이블(50)이 청색(51), 흰색(52), 빨강(53), 녹색(54)이 일렬로 배열된 구성을 가지도록 할 수 있다.According to an exemplary embodiment, the reference color table 50 may have a configuration in which blue 51, white 52, red 53, and green 54 are arranged in a line.

이렇게 기준 컬러 테이블이 포함된 정면 영상과 측면 영상을 촬영한 다음 상기 측면 영상에 포함된 기준 컬러 테이블과 상기 정면 영상에 포함된 기준 컬러 테이블이 동일한 컬러값을 가지도록 상기 측면 영상의 컬러값을 변환한다(S130).After capturing the front image and the side image including the reference color table, the color values of the side image are converted such that the reference color table included in the side image and the reference color table included in the front image have the same color value. (S130).

이때, 정면 영상에 포함된 기준 컬러 테이블을 기준으로 측면 영상의 기준 컬러 테이블의 색상을 일치시킨다. In this case, the colors of the reference color table of the side image are matched based on the reference color table included in the front image.

구체적으로 설명하면, 상기 측면 영상에 포함된 기준 컬러 테이블의 컬러값이 상기 정면 영상에 포함된 기준 컬러 테이블의 컬러값과 일치하도록 하는 변환 행렬을 구한다.In detail, a transformation matrix is obtained such that a color value of the reference color table included in the side image coincides with a color value of the reference color table included in the front image.

변환 행렬은 도 7에 의해 구할 수 있다.The transformation matrix can be obtained by FIG.

도 7은 각 기준 컬러 테이블의 컬러값을 이용하여 변환 행렬을 구하기 위한 행렬식이 도시된 도이며, 도 8은 변환 행렬을 이용하여 측면 영상의 픽셀의 컬러값을 변환하는 행렬식이 도시된 도이다. FIG. 7 is a diagram illustrating a determinant for obtaining a transformation matrix using color values of respective reference color tables, and FIG. 8 is a diagram illustrating a determinant for transforming color values of pixels of a side image using the transformation matrix.

상기 행렬식에서 왼쪽의 RGB 행렬은 변환 후의 컬러값이 되는 정면 영상의 기준 컬러 테이블의 컬러값들이며, 오른쪽의 RGB 행렬은 변환하고자 하는 측면 영상의 기준 컬러 테이블의 컬러값들이다.In the determinant, the RGB matrix on the left is the color values of the reference color table of the front image to be the color value after the conversion, and the RGB matrix on the right is the color values of the reference color table of the side image to be converted.

정면 영상과 측면 영상의 기준 컬러값은 알고 있으므로, 이를 대입하여 T 행렬과 U 행렬을 구할 수 있다.Since the reference color values of the front and side images are known, T and U matrices can be obtained by substituting them.

상기에서 구한 T 행렬 및 U 행렬로 이루어진 변환 행렬을 이용하여 상기 측면 영상의 전체 픽셀을 전부 변환한다.All the pixels of the side image are transformed by using the transformation matrix including the T matrix and the U matrix.

만약 측면 영상이 하나 이상이라면 모든 측면 영상을 동일한 과정을 수행하여 변환한다.If there is more than one side image, all side images are converted by the same process.

도 9는 정면 영상과 측면 영상을 이용하여 3차원 텍스처 영상을 만드는 모습이 도시된 도이다.9 is a diagram illustrating a three-dimensional texture image created by using the front image and the side image.

앞서 설명한 바와 같이 정면 영상과 측면 영상의 기준 컬러 테이블(50a, 50b)의 값이 일치되도록 측면 영상의 전체 픽셀을 변환한 후 컬러가 서로 일치된 정면 영상과 측면 영상의 특징점(눈, 눈썹, 입 등)을 일치시켜 3차원 좌표를 구한다.As described above, after converting all pixels of the side image so that the values of the reference color tables 50a and 50b of the front image and the side image are matched, the characteristic points (eye, eyebrow, mouth) of the front image and the side image where the colors match each other Etc.) to obtain three-dimensional coordinates.

3차원 좌표를 기준으로 두 영상을 합성하여 원통에 사상한 하나의 텍스처 영상을 구한다(S150).Two textures are synthesized based on three-dimensional coordinates to obtain one texture image mapped to a cylinder (S150).

도 10은 정면 영상과 측면 영상을 합성하여 원통에 사상한 예가 도시된 도이다.10 is a diagram illustrating an example in which a front image and a side image are synthesized and mapped onto a cylinder.

다음으로, 상기 합성된 텍스처 영상의 기준 컬러 테이블의 컬러값을 기지의 기준 컬러 테이블의 컬러값과 비교하여 기준 컬러로 변환한다(S160).Next, the color value of the reference color table of the synthesized texture image is converted into the reference color by comparing with the color value of the known reference color table (S160).

여기서 기지의 기준 컬러 테이블이라 함은 최초에 촬영시 사용했던 기준 컬러 테이블을 말한다.Here, the known reference color table refers to the reference color table used at the time of shooting.

이 과정은 앞서 설명한 측면 영상의 기준 컬러 테이블을 정면 영상의 기준 컬러 테이블과 일치시키는 과정과 실질적으로 동일하다.This process is substantially the same as the process of matching the reference color table of the side image described above with the reference color table of the front image.

도 11은 정면 영상의 기준 컬러 테이블의 컬러값과 합성된 텍스처 영상의 컬러값을 이용하여 변환 행렬을 구하기 위한 행렬식이 도시된 도이며, 도 12는 도 11에서 구한 변환 행렬을 이용하여 합성된 텍스처 영상의 컬러값을 변환하는 행렬식이 도시된 도이다. FIG. 11 is a diagram illustrating a determinant for obtaining a transformation matrix using color values of a texture color image synthesized with a reference color table of a front image, and FIG. 12 is a texture synthesized using the transformation matrix obtained in FIG. 11. A determinant for converting color values of an image is shown.

이 경우 변환 행렬은 A 와 B 이다.In this case, the transformation matrices are A and B.

이렇게 변환된 3차원 텍스처 영상을 이용하여 3차원 모델을 형성하여 원하는 부분의 컬러 정보를 측정한다(S170).The 3D texture is formed using the converted 3D texture image to measure color information of a desired portion (S170).

상기 측정된 컬러 정보와 기하정보를 이용하여 체질 및 변증을 진단한다(S180).Diagnosing constitution and dialectic using the measured color information and geometric information (S180).

이 경우, 상기 측정된 컬러 정보를 의사가 관찰하여 체질이나 변증을 진단할 수도 있고, 특정한 부위가 특정한 색상을 가지는 경우 해당하는 체질이나 변증이 저장된 데이터를 이용하여 컴퓨터가 자동으로 진단하도록 구성될 수도 있다.In this case, the doctor may observe the measured color information to diagnose constitution or dialectic disease, or when the specific area has a specific color, the computer may be configured to automatically diagnose the data using the stored constitution or dialectic data. have.

이상과 같이 본 발명에 의한 스테레오 영상을 이용한 안면 진단 방법을 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다. As described above, the method for diagnosing a face using a stereo image according to the present invention has been described with reference to the illustrated drawings. However, the present invention is not limited by the embodiments and drawings disclosed herein, and is applied within the scope of the technical idea. Can be.

도 1은 일반적으로 컬러를 결정하는 요소가 도시된 도,1 is a diagram generally showing elements for determining color;

도 2 는 원본 컬러값과 변화된 컬러값에 대한 관계를 행렬식으로 나타낸 도,2 is a diagram showing a relationship between an original color value and a changed color value in a matrix;

도 3은 본 발명에 따른 스테레오 영상을 이용한 안면 진단 방법이 도시된 순서도, 3 is a flowchart illustrating a facial diagnosis method using stereo images according to the present invention;

도 4 내지 도 5는 정면 영상 및 측면 영상을 촬영하는 시스템의 구성이 도시된 도,4 to 5 are diagrams showing the configuration of a system for photographing front and side images;

도 6은 기준 컬러 테이블의 구성이 도시된 도,6 is a diagram showing the configuration of a reference color table;

도 7은 각 기준 컬러 테이블의 컬러값을 이용하여 변환 행렬을 구하기 위한 행렬식이 도시된 도, 7 is a diagram illustrating a determinant for obtaining a transformation matrix using color values of respective reference color tables;

도 8은 변환 행렬을 이용하여 측면 영상의 픽셀의 컬러값을 변환하는 행렬식이 도시된 도,8 is a diagram illustrating a determinant for converting color values of pixels of a side image using a transformation matrix;

도 9는 정면 영상과 측면 영상을 이용하여 3차원 텍스처 영상을 만드는 모습이 도시된 도,9 is a view showing a state of making a three-dimensional texture image using the front image and the side image,

도 10은 정면 영상과 측면 영상을 합성하여 원통에 사상한 예가 도시된 도,10 is a diagram illustrating an example in which a front image and a side image are synthesized and mapped onto a cylinder;

도 11은 정면 영상의 기준 컬러 테이블의 컬러값과 합성된 텍스처의 컬러값을 이용하여 변환 행렬을 구하기 위한 행렬식이 도시된 도, FIG. 11 illustrates a determinant for obtaining a transformation matrix using color values of a texture synthesized with color values of a reference color table of a front image;

도 12는 도 11에서 구한 변환 행렬을 이용하여 합성된 텍스처의 컬러값을 변환하는 행렬식이 도시된 도이다.FIG. 12 is a diagram illustrating a determinant for converting color values of a texture synthesized using the transform matrix obtained in FIG. 11.

<도면의 주요 부분에 관한 부호의 설명><Explanation of symbols on main parts of the drawings>

10: 대상물 20: 카메라10: object 20: camera

21: 가이드 50: 기준 컬러 테이블      21: Guide 50: Reference Color Table

Claims (9)

기준 컬러 테이블이 포함된 대상 인물의 정면 영상 및 측면 영상을 디지털 카메라로 촬영하는 제 1 단계;A first step of photographing a front image and a side image of a target person including a reference color table with a digital camera; 상기 측면 영상에 포함된 기준 컬러 테이블과 상기 정면 영상에 포함된 기준 컬러 테이블이 동일한 컬러값을 가지도록 상기 측면 영상의 컬러값을 변환하는 제 2 단계;Converting a color value of the side image such that the reference color table included in the side image and the reference color table included in the front image have the same color value; 상기 정면 영상과 측면 영상의 특징점을 매칭시켜 하나의 3차원 텍스처로 합성하여 3차원 모델을 형성하는 제 3 단계; 및A third step of forming a three-dimensional model by matching feature points of the front image and the side image to synthesize one three-dimensional texture; And 상기 3차원 모델에서 진단에 필요한 부위의 컬러와 기하정보를 측정하여 체질 및 변증을 진단하는 제 4 단계를 포함하는 스테레오 영상을 이용한 안면 진단 방법.And a fourth step of diagnosing constitution and symptom by measuring color and geometric information of a region necessary for diagnosis in the 3D model. 청구항 1에 있어서, 상기 제 2 단계는 The method of claim 1, wherein the second step 상기 측면 영상에 포함된 기준 컬러 테이블의 컬러값이 상기 정면 영상에 포함된 기준 컬러 테이블의 컬러값과 일치하도록 하는 변환 행렬을 구하는 제 1 과정; 및A first process of obtaining a transformation matrix such that a color value of a reference color table included in the side image matches a color value of a reference color table included in the front image; And 상기 측면 영상의 전체 픽셀을 상기 변환 행렬을 이용하여 변환하는 제 2 과정을 포함하는 스테레오 영상을 이용한 안면 진단 방법.And a second process of converting all pixels of the side image by using the transformation matrix. 청구항 2에 있어서,The method according to claim 2, 상기 제 2 과정은 아래의 행렬식에 의해 변환되는 것을 특징으로 하는 스테레오 영상을 이용한 안면 진단 방법.The second process is a facial diagnosis method using a stereo image, characterized in that converted by the following determinant.
Figure 112009030864587-pat00002
Figure 112009030864587-pat00002
 (여기서, Rcs, Gcs, Bcs는 변환된 측면 영상의 RGB값이며, t11 내지 t33은 표면 컬러에 대한 변환행렬의 요소, Ros, Gos, Bos는 변환전 측면 영상의 RGB값, u1 내지 u3는 주변 컬러에 대한 변환행렬의 요소)(Where Rcs, Gcs, and Bcs are RGB values of the converted side image, t 11 to t 33 are elements of the conversion matrix for the surface color, Ros, Gos, and Bos are RGB values of the side image before conversion, u 1 to u 3 is the element of the transformation matrix for the surrounding color) 청구항 1에 있어서, 상기 제 3 단계는 The method of claim 1, wherein the third step 상기 정면 영상과 측면 영상의 특징점을 찾아 3차원 좌표로 매칭시키는 제 1 과정;A first step of finding feature points of the front image and the side image and matching the three-dimensional coordinates; 상기 3차원 좌표를 기준으로 정면 영상과 측면 영상을 합성하여 원통에 사상한 하나의 텍스처 영상으로 합성하는 제 2 과정; 및A second process of synthesizing the front image and the side image based on the three-dimensional coordinates into one texture image mapped to the cylinder; And 상기 합성된 텍스처 영상을 이용하여 3차원 모델을 형성하는 제 3 과정을 포함하는 스테레오 영상을 이용한 안면 진단 방법.Facial diagnosis method using a stereo image comprising a third process of forming a three-dimensional model by using the synthesized texture image. 청구항 4에 있어서, The method according to claim 4, 상기 제 3 단계의 제 2 과정과 제 3 과정 사이에, 상기 합성된 텍스처 영상의 기준 컬러 테이블의 컬러값을 기지의 기준 컬러 테이블의 컬러값과 비교하여 기준 컬러로 변환하는 과정을 더 포함하여 이루어지는 스테레오 영상을 이용한 안면 진단 방법.Between the second process and the third process of the third step, further comprising the step of converting the color value of the reference color table of the synthesized texture image to the reference color by comparing with the color value of the known reference color table Facial diagnosis method using stereo image. 청구항 4에 있어서, The method according to claim 4, 상기 제 3 단계의 제 1 과정은 상기 정면 영상과 상기 측면 영상의 특징점을 비교하여 매칭시키는 것을 특징으로 하는 스테레오 영상을 이용한 안면 진단 방법.The first step of the third step is a facial diagnosis method using a stereo image, characterized in that for matching by comparing the feature points of the front image and the side image. 청구항 1에 있어서,The method according to claim 1, 상기 기준 컬러 테이블은 사람의 얼굴색과 관련이 없는 청색을 포함하는 하나 이상의 색상 띠로 이루어진 것을 특징으로 하는 스테레오 영상을 이용한 안면 진단 방법.The reference color table is a facial diagnosis method using a stereo image, characterized in that consisting of one or more color bands including a blue color not related to the human face color. 청구항 7에 있어서,The method according to claim 7, 상기 기준 컬러 테이블은 청색, 흰색, 빨강, 녹색이 일렬로 배열된 것을 특징으로 하는 스테레오 영상을 이용한 안면 진단 방법.The reference color table is a facial diagnosis method using a stereo image, characterized in that the blue, white, red, green are arranged in a line. 청구항 1에 있어서,The method according to claim 1, 상기 측면 영상은 적어도 하나 이상인 것을 특징으로 하는 스테레오 영상을 이용한 안면 진단 방법.Facial image diagnosis method using a stereo image, characterized in that the at least one side image.
KR1020070121950A 2007-11-28 2007-11-28 Face Diagnotic Method Using Stereo Images KR100904559B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070121950A KR100904559B1 (en) 2007-11-28 2007-11-28 Face Diagnotic Method Using Stereo Images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070121950A KR100904559B1 (en) 2007-11-28 2007-11-28 Face Diagnotic Method Using Stereo Images

Publications (2)

Publication Number Publication Date
KR20090055171A KR20090055171A (en) 2009-06-02
KR100904559B1 true KR100904559B1 (en) 2009-06-25

Family

ID=40986880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070121950A KR100904559B1 (en) 2007-11-28 2007-11-28 Face Diagnotic Method Using Stereo Images

Country Status (1)

Country Link
KR (1) KR100904559B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874689A (en) * 2017-03-07 2017-06-20 佛山市融信通企业咨询服务有限公司 A kind of telecommunication network diagnosis aid system

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101253445B1 (en) * 2011-08-31 2013-04-12 한국 한의학 연구원 Apparatus and method for determining health using skin features, apparatus and method for generating health sort function
KR101310500B1 (en) * 2012-12-27 2013-09-25 한국 한의학 연구원 Apparatus and method for determining health using skin features, apparatus and method for generating health sort function
CN111259778B (en) * 2020-01-13 2022-06-17 天津众阳科技有限公司 Method for positioning human face reflecting area

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10165375A (en) 1996-12-13 1998-06-23 Minolta Co Ltd Diagnostic system
KR100347058B1 (en) 1998-11-18 2002-08-03 주식회사 신테크 Method for photographing and recognizing a face
JP2004329620A (en) 2003-05-08 2004-11-25 Fuji Photo Film Co Ltd Imaging unit
KR20050050061A (en) * 2005-04-30 2005-05-27 조동욱 Facial features extraction for ocular inspection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10165375A (en) 1996-12-13 1998-06-23 Minolta Co Ltd Diagnostic system
KR100347058B1 (en) 1998-11-18 2002-08-03 주식회사 신테크 Method for photographing and recognizing a face
JP2004329620A (en) 2003-05-08 2004-11-25 Fuji Photo Film Co Ltd Imaging unit
KR20050050061A (en) * 2005-04-30 2005-05-27 조동욱 Facial features extraction for ocular inspection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874689A (en) * 2017-03-07 2017-06-20 佛山市融信通企业咨询服务有限公司 A kind of telecommunication network diagnosis aid system

Also Published As

Publication number Publication date
KR20090055171A (en) 2009-06-02

Similar Documents

Publication Publication Date Title
US11026624B2 (en) Measuring and monitoring skin feature colors, form and size
KR100924121B1 (en) Multi-view camera color calibration using color checker chart
US8027533B2 (en) Method of automated image color calibration
CN104883946B (en) Image processing apparatus, electronic equipment, endoscope apparatus and image processing method
CN104335005B (en) 3D is scanned and alignment system
JP6254826B2 (en) Camera system, color conversion apparatus and method used therefor, and color conversion program
US20150374210A1 (en) Photometric stereo endoscopy
CN106456292B (en) Systems, methods, devices for collecting color information related to an object undergoing a 3D scan
WO2006054425A1 (en) Three-dimensional measuring instrument, three-dimensional measuring method, and three-dimensional measuring program
CN110569784B (en) Human body size measuring method and system, storage medium and electronic equipment
JP2003203220A (en) Three-dimensional image processing method, three- dimensional image processor, there-dimensional image processing system and three-dimensional image processing program
KR20170143164A (en) A skin analysis and diagnosis system for 3D face modeling
US11094085B2 (en) System comprising a color selection aid and a method for determining tooth colors
CN104869884A (en) Medical image processing device and medical image processing method
KR100904559B1 (en) Face Diagnotic Method Using Stereo Images
JPH11242745A (en) Method for measuring and processing facial image
KR100943218B1 (en) Method for Making Three-Dimentional Model using Color Correction
US20180307024A1 (en) Method for generating a reflection-reduced contrast image and corresponding device
WO2002041249A2 (en) Illumination based image synthesis
KR102095790B1 (en) Apparatus and method for analyzing body features using thermal image
JP5827249B2 (en) Skin hue measuring system and method
Carter et al. Shape from shading for hybrid surfaces as applied to tooth reconstruction
CN109166082A (en) Image processing method, device, electronic equipment and computer readable storage medium
JP2019168930A (en) Image processing device, image processing method and program
KR20220049465A (en) Comparison of color images of three-dimensional dental structures

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130610

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140410

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150616

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160608

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170412

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee