KR20160139657A - 메시 워핑을 이용한 가상 성형수술의 방법 및 시스템 - Google Patents

메시 워핑을 이용한 가상 성형수술의 방법 및 시스템 Download PDF

Info

Publication number
KR20160139657A
KR20160139657A KR1020150074941A KR20150074941A KR20160139657A KR 20160139657 A KR20160139657 A KR 20160139657A KR 1020150074941 A KR1020150074941 A KR 1020150074941A KR 20150074941 A KR20150074941 A KR 20150074941A KR 20160139657 A KR20160139657 A KR 20160139657A
Authority
KR
South Korea
Prior art keywords
nose
mouth
jaw
image
coordinates
Prior art date
Application number
KR1020150074941A
Other languages
English (en)
Other versions
KR101701199B1 (ko
Inventor
양영주
Original Assignee
주식회사 위즈인앱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 위즈인앱 filed Critical 주식회사 위즈인앱
Priority to KR1020150074941A priority Critical patent/KR101701199B1/ko
Priority to CN201610184654.3A priority patent/CN106204417A/zh
Publication of KR20160139657A publication Critical patent/KR20160139657A/ko
Application granted granted Critical
Publication of KR101701199B1 publication Critical patent/KR101701199B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 가상 성형수술의 방법 및 시스템에 관한 것으로서, 메시 워핑을 이용하여 이미지를 변형시켜 사용자가 원하는 부위를 자유롭게 성형할 수 있는 가상 성형수술의 방법 및 시스템에 관한 것이다.

Description

메시 워핑을 이용한 가상 성형수술의 방법 및 시스템{SYSTEM AND METHOD FOR VIRTUAL COSMETIC SURGERY BY USING MESH WARPING}
본 발명은 가상 성형수술의 방법 및 시스템에 관한 것으로서, 메시 워핑을 이용하여 이미지를 변형시켜 사용자가 원하는 부위를 자유롭게 성형할 수 있는 가상 성형수술의 방법 및 시스템에 관한 것이다.
오늘날 성형 수술은 콤플렉스 극복과 자신감 회복, 더 나아가 대인관계 및 사회성에 영향을 미칠 정도의 중요한 위치에 자리 잡게 되었는데, 성형은 절개 삽입 주입 등과 같은 다양한 시술방법이 존재하지만, 수술을 해야 한다는 문제점과 시술자가 환자의 원하는 수술의 요점을 파악하지 못해 성형에 실패할 수 있다는 문제점이 있고, 성형외과를 방문하여 상담을 하기 전에는 성형의 가능한 정도를 파악하지 못하는 사람 또는 자신이 원하는 성형 얼굴을 파악하지 못하고 있는 사람이 있어 성형외과 방문을 꺼려하는 문제점이 있다.
위와 같은 문제점을 해결하기 위해 스마트폰과 같은 단말기를 이용하여 가상으로 사용자가 원하는 형태로 가상의 성형수술을 시행하는 어플리케이션과 같은 프로그램이 개발되어왔다.
대한민국 등록특허 제10-0764130호(선행문헌1)는 미리 사용자가 원하는 성형 스타일의 성형 필터를 제작하여 성형하는 특징을 가진다.
하지만, 선행문헌1의 기술은 가상 성형 시 이미지의 일그러짐으로 인해 이질감을 느낄 수 있고, 성형 후 출력된 결과물에 대한 미(美)를 비교할 수 없다.
선행문헌1: 대한민국 등록특허 제10-0764130호
본 발명은 위와 같은 문제점을 해결하기 위해, 얼굴 이미지에서 자동으로 턱, 눈, 코 및 입의 윤곽선을 추출할 수 있는 가상성형 방법 및 시스템을 제공하기 위한 것이다.
또한, 본 발명은 위와 같은 문제점을 해결하기 위해, 메시 워핑을 이용하여 이미지를 변형시켰을 때 이질감을 느끼지 않는 출력물을 얻는 가성성형 방법 및 시스템을 제공하기 위한 것이다.
한편, 본 발명은 위와 같은 문제점을 해결하기 위해, 성형한 이미지를 미리 저장된 미인형 얼굴과 비교할 수 있는 가상성형 방법 및 시스템을 제공하기 위한 것이다.
더 나아가, 본 발명은 위와 같은 문제점을 해결하기 위해, 평면 이미지를 입체적으로 표현할 수 있는 가상성형 방법 및 시스템을 제공하기 위한 것이다.
상기 목적을 달성하기 위하여, 본 발명은 얼굴 촬영된 이미지에서 눈, 코, 입 및 턱의 윤곽선상에 위치하는 윤곽 좌표를 생성하는 단계, 상기 이미지에 상기 윤곽 좌표를 포함하고, 소정 간격 이격되어 배열되는 복수의 메시 포인트를 생성하는 단계, 상기 메시 포인트를 이용하여 메시 그룹을 생성하는 단계, 상기 메시 그룹에 메시 워핑을 이용하여 상기 이미지를 성형 하는 단계 및 상기 성형된 이미지를 출력하는 단계를 포함하는 가상 성형수술 방법을 제공 한다.
본 발명에 따르면, 얼굴 이미지에서 눈, 코, 입 및 턱의 윤곽선을 자동으로 추출하기 때문에 사용자가 수월하고 신속하게 가상성형을 할 수 있다.
또한, 본 발명에 따르면, 얼굴 이미지에서 눈, 코, 입 및 턱의 좌표 및 윤곽선을 미세조정하는 단계를 더 포함하기 때문에 보다 세밀하게 성형할 수 있다.
한편, 본 발명에 따르면, 얼굴 이미지에서 눈, 코, 입 및 턱의 좌표 및 윤곽선을 미세조정하는 단계를 더 포함하기 때문에 선명하지 못한 얼굴 이미지에서 추출한 좌표 및 윤곽선을 재조정할 수 있어 어떠한 이미지도 가상 성형을 할 수 있는 특징이 있다.
더 나아가, 본 발명에 따르면, 3 개의 메시 포인트로 이루어진 메시들의 집합으로 메시 워핑을 하기 때문에 보다 부드러운 이미지가 출력되고, 보다 미세한 성형을 할 수 있다는 특징이 있다.
더 나아가, 본 발명에 따르면 미인의 비율과 대조하며 성형하거나, 출력물을 미인의 비율과 대조할 수 있어 보다 수월하게 성형을 가이드할 수 있어 편리하다는 특징이 있다.
더 나아가, 본 발명에 따르면 2D이미지를 3D화하여 입체로 출력할 수 있기 때문에 보다 세밀한 수정 및 결과를 확인할 수 있다.
도 1은 본 발명의 일 실시예에 따른 메시 워핑을 이용한 가상 성형수술의 시스템을 나타낸 구성도이다.
도 2는 본 발명의 일 실시예에 따른 메시 워핑을 이용한 가상 성형수술의 방법을 나타낸 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 메시 워핑을 이용한 가상 성형수술의 방법의 윤곽 좌표를 생성하는 순서를 나타낸 블럭도이다.
도 4 내지 도 15는 본 발명의 일 실시예에 따른 메시 워핑을 이용한 가상 성형 수술 방법을 각 단계별로 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명한다. 이 과정에서 도면에 도시된 구성요소의 크기나 형상 등은 설명의 명료성과 편의상 과장되게 도시될 수 있다. 또한, 본 발명의 구성 및 작용을 고려하여 특별히 정의된 용어들은 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 한다. 그리고 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 실시예를 용이하게 실시할 수 있을 것이나, 이 또한 본 발명의 범위 내에 속함은 물론이다.
도 2 및 도 3을 참고하면, 본 발명의 일 실시예에 따른 메시 워핑을 이용한 가상 성형수술의 방법 및 시스템은 크게, 얼굴 이미지에서 얼굴의 각 구성요소인 눈, 코, 입 및 턱의 윤곽을 추출하여 윤곽 좌표를 생성하는 단계(S100)와 윤곽 좌표를 이용하여 얼굴 이미지 상에 윤곽 좌표를 포함하고, 격자 형상으로 소정간격 이격되어 나열되는 메시 포인트를 생성하는 단계(110), 메시 포인트를 이용하여 메시 그룹을 생성하는 단계(S120), 메시 포인트를 이동시켜 이미지와 함께 왜곡시킴으로써 이미지를 변형시키는 메시 워핑 하는 단계(130) 및 변형된 이미지를 출력하는 단계로 이루어진다.
또한, 얼굴 이미지에서 눈, 코, 입 및 턱의 윤곽 좌표를 생성하는 단계(S100)는 이미지에서 페이스 디텍터(Face Detector)연산자를 이용하여 동공의 기준좌표를 추출하는 단계(S200), 추출된 동공의 기준좌표를 이용하여 코, 입 및 턱의 기준좌표를 추출하는 단계(S210), 추출된 동공, 코, 입 및 턱의 기준좌표를 기반으로 눈, 코, 입 및 턱의 윤곽선을 생성하는 단계(S230) 및 생성된 눈, 코, 입 및 턱의 윤곽선을 이용하여 윤곽선 상에 위치하는 적어도 하나 이상의 윤곽 좌표를 생성하는 단계(S240)를 포함할 수 있다. 이때, 보다 정확한 성형을 위해 각 단계에서 사용자가 직접 눈, 코, 입 및 턱의 위치가 실제 얼굴 이미지의 눈, 코, 입 및 턱의 위치와 일치하도록 미세 조정하는 단계(S220, S250)를 더 포함할 수 있다. 상세하게, 눈, 코, 입 및 턱의 기준좌표를 추출하는 단계(S210) 이후, 동공, 코, 입 및 턱의 기준좌표를 미세 조정하여 실제 이미지의 눈, 코, 입 및 턱의 위치와 일치하도록 미세 조정하는 단계(S220)를 더 포함할 수 있고, 눈, 코, 입 및 턱의 윤곽 좌표를 추출하는 단계(S240) 이후, 눈, 코, 입 및 턱의 윤곽 좌표가 얼굴 이미지의 실제 눈, 코, 입 및 턱의 위치에 오도록 미세 조정하는 단계(S250)를 더 포함할 수 있다.
한편, 메시 포인트를 이용하여 메시 그룹을 생성하는 단계는 메시 포인트를 3개 연결하여 삼각형의 메시를 생성하고, 삼각형의 메시로 이루어진 메시 그룹을 생성하는 단계를 포함할 수 있다.
그 다음, 메시 그룹에 메시 워핑을 이용하여 이미지를 성형하는 단계는 윤곽 좌표를 이동시켜 이동된 윤곽 좌표와 얼굴 이미지가 함께 이동됨으로써 이미지 왜곡되는 메시 워핑을 이용한다.
또한, 메시 그룹에 메시 워핑을 이용하여 이미지를 성형하는 단계(S130)와 성형된 이미지를 출력하는 단계는 이미지의 눈, 코, 입 및 턱의 비율이 미인형 얼굴에서 추출된 황금 비율과 비교하여 보다 효과적인 가상 성형을 할 수 있도록 하는 단계(S150)를 포함할 수 있다.
한편, 메시 그룹에 메시 워핑을 이용하여 출력하는 단계는, 2D의 성형된 이미지를 3D화 하여 소정각도 회전 가능하도록 출력하는 입체 출력 단계(S170)를 포함할 수 있다.
도 1을 참고하면, 본 발명의 단말기(10)는 프로세서(11), 저장부(12), 출력부(13) 및 입력부(14)를 포함하고, 프로세서(11)는 각 단계를 실행하는 연산장치를 의미하며, 출력부(13) 및 입력부(14)는 각각 구비될 수 있으나, 스마트 단말기와 같이 터치스크린으로 구비될 수 있다.
프로세서(11)는 얼굴 이미지에서 눈, 코, 입 및 턱의 윤곽선상에 위치하는 적어도 하나 이상의 윤곽 좌표를 생성하고, 얼굴 이미지에 윤곽 좌표를 포함하고, 소정간격 이격되어 배열되는 메시 포인트를 생성하며, 메시 포인트를 이용하여 메시 그룹을 생성하고, 메시 포인트에 메시 워핑을 이용하여 얼굴 이미지를 변형 시키고, 변형된 이미지를 출력부에 출력한다.
일 예로, 본 발명에 적용되는 프로세서(11)는 CPU, AP 및 GPU 등의 처리 장치일 수 있다.
출력부(13)는 프로세서(11)에서 출력한 이미지를 표시한다.
입력부(14)는 미세 조정값을 입력받는 수단으로서, 프로세서(11)는 입력받은 미세 조정 값을 기초로 미세 조정을 수행한다.
저장부(12)는 각 단계를 실시하기 위해 필요한 정보가 저장되는데, 일례로, 추출된 동공의 기준좌표를 기반으로 코, 입 및 턱의 기준좌표를 생성하는 단계(S210)에서 사용되는 일반적인 사람의 동공, 코, 입 및 턱의 위치비율, 추출된 동공, 코, 입 및 턱의 기준좌표를 기반으로 눈, 코, 입 및 턱의 윤곽선을 생성하는 단계(S230)에서 사용되는 일반적인 사람의 동공, 코, 입 및 턱의 크기비율, 메시 그룹에 메시 워핑을 이용하여 이미지를 성형하는 단계(S130)와 성형된 이미지를 출력하는 단계 중 미(美)인형 얼굴의 눈, 코, 입 및 턱의 상대적 비율, 각도 및 좌표 및 성형된 이미지를 입체적으로 출력하는 입체출력 단계(S150)에서 사용되는 메시 포인트의 상하좌우의 각 방향에 대응하는 고유한 이동 가중치가 저장된다.
이때, 일반적인 사람의 위치비율, 크기비율, 미인형 얼굴의 상대적 비율, 각도 및 좌표 및 이동 가중치에 대한 정보는 단말기의 저장부에 미리 저장되어 사용되는 것을 일례를 들어 설명하지만, 반드시 단말기의 저장부에 저장되는 것에 한정하는 것은 아니며, 단말기에 통신부(15)가 더 구비되어 외부의 서버와 유/무선 통신을 통해 서버에 저장된 정보를 수집하여 각 단계를 진행할 수 있고, 이 또한 본 발명에 속함은 물론이다. 따라서, 통신부(15)는 서버에 미리 저장된 얼굴 이미지, 일반적인 동공, 코, 입 및 턱의 위치비율, 크기비율 및 미인형 얼굴의 눈, 코, 입 및 턱의 상대적 비율, 각도 및 좌표를 저장부(12)에 저장한다. 이하, 각 구성 및 단계별로 상세하게 설명하도록 한다.
본 발명의 일 실시예에 따른 메시 워핑을 이용한 가상 성형수술의 방법은 먼저, 얼굴이 촬영된 이미지에서 눈, 코, 입 및 턱의 윤곽선상에 위치하는 윤곽 좌표를 생성하는 단계를 가진다. 이미지에서 눈, 코, 입 및 턱의 윤곽선상에 위치하는 윤곽 좌표를 생성하는 단계의 상세한 과정은 다음과 같다.
먼저, 얼굴이 촬영된 이미지에서 동공의 기준좌표를 생성(S200)하는 단계, 생성된 동공의 기준좌표를 기반으로, 코, 입 및 턱의 기준좌표를 생성하는 단계(S210), 생성된 동공, 코, 입 및 턱의 기준좌표를 기반으로 눈, 코, 입 및 턱의 윤곽선을 생성하는 단계(S230) 및 눈, 코, 입 및 턱의 윤곽선 상에 위치하는 적어도 하나 이상의 윤곽 좌표(S240)를 생성하는 단계를 가진다. 각 단계별로 도면을 참고하여 상세하게 설명하자면 다음과 같다.
도 5를 참고하면, 눈, 코, 입 및 턱의 윤곽 좌표를 생성하는 단계(S100)에 있어서, 먼저, 얼굴 이미지에서 동공의 기준좌표를 생성하는 단계(S200)를 가지는데, 상세하게는, 얼굴 이미지에서 페이스 디텍터(Face Detector)연산자를 이용하여 동공의 좌표를 추출하고, 추출된 동공의 좌표에 눈의 기준좌표를 생성하는데, 여기서 기준좌표란, 이후 단계에서 생성되는 윤곽선의 기준이 되는 위치좌표가 입력된 좌표를 뜻하는데, 구체적인 설명은 이후 단계에서 설명하기로 한다. 한편, 페이스 디텍터는 API(Application Programming interface)로서, API는 운영체에 및 응용프로그램 사이의 통신에 사용되는 언어나 메시지를 뜻한다. 상세하게, 페이스 디텍터는 구글(***)사에서 제공하는 안드로이드 플렛폼의 API에 내장된 클래스(class)로서, 이미지에서 동공을 인식하고 추출하는 기능을 갖는다. 페이스 디텍터 API의 소스코드의 일 예는 다음 표 1과 같다.
Figure pat00001
여기서 private EyePose findEyeMidPoint(Bitmap face) 는 동공을 추출는 연산자이고, FaceDetector.Face[] faces = new FaceDetector.Face[1]; 는 최대 인식할 수 있는 얼굴의 수를 설정하는 명령어다. 또한, count = fd.findFaces(rgb565, faces); 는 얼굴 인식 기능을 실행하는 명령어이고, faces[i].getMidPoint(midpoint); 는 일 동공과 타 동공의 가운데 지점을 생성하는 명령어이며, eye.Distance = faces[i].eyesDistance(); 는 일 동공과 타 동공과 거리를 산출하는 명령어이다.
도 6를 참고하면, 위와 같이 페이스 디텍터를 이용하여 얼굴 이미지에서 동공의 좌표를 추출하여 동공의 기준좌표를 생성한 뒤, 동공의 기준좌표를 기반으로, 코, 입 및 턱의 기준좌표를 생성하는 단계(S210)를 가지게 되는데, 저장부에 미리 저장되거나, 서버에 저장된 일반사람들의 평균적인 동공, 코, 입 및 턱의 위치비율을 불러와 이를 동공의 기준좌표와 대조하여 얼굴 이미지에 일반사람들의 평균적인 동공, 코, 입 및 턱의 위치비율에 해당하는 위치에 코, 입 및 턱의 기준좌표를 생성한다. 따라서, 사용자가 미리 저장한 일반사람들의 평균적인 동공, 코, 입 및 턱의 위치비율과 비교하여 코, 입 및 턱의 기준좌표를 생성하기 때문에 얼굴 이미지의 실제 코, 입 및 턱의 위치와 상이한 좌표에 코, 입 및 턱의 기준좌표가 생성될 수 있다.
도 7 및 도8을 참고하면, 그 후, 동공, 코, 입 및 턱의 기준좌표를 기반으로 눈, 코, 입 및 턱의 윤곽선을 생성(S230)하게 되는데, 그 전에, 생성된 기준좌표가 얼굴 이미지의 실제 눈, 코, 입 및 턱의 위치에 오도록 미세 조정하는 단계(S220)를 가질 수 있다. 상세하게는, 동공, 코, 입 및 턱의 기준좌표는 페이스 디텍터를 이용해 추출된 동공의 기준좌표를 기반으로 일반 사람들의 평균적인 코, 입 및 턱의 위치비율과 대조하여 코, 입 및 턱의 기준좌표를 생성하기 때문에, 저화질 이미지 또는 어두운 이미지로 인해 페이스 디텍터 연산자가 잘못된 동공을 추적할 수 있고, 또한, 얼굴 이미지의 코, 입 및 턱의 위치가 미리 저장된 평균적인 코, 입 및 턱의 위치와 상이할 수 있기 때문에, 이를 실제 얼굴 이미지의 눈, 코, 입 및 턱에 윤곽 좌표가 위치하도록 미세 조정하는 단계(S220)를 가질 수 있다. 따라서, 실제 이미지의 눈, 코, 입 및 턱이 눈, 코, 입 및 턱의 기준좌표와 일치하는 경우에는 위의 미세 조정 단계(S220)를 생략할 수 있음은 물론이다.
기준좌표를 이동시키는 방법으로서, 트랙볼(Track ball)을 이용하여 기준좌표를 이동 및 입력시키는 것을 일례로 설명하지만, 드로그 앤 드롭(drag and drop) 또는 좌표를 직접 입력하는 등 다양한 이동 방법이 사용될 수 있으며 이 또한 본 발명에 속함은 물론이다.
이 후, 도 9를 참고하면, 동공, 코, 입 및 턱의 기준좌표를 기반으로 눈, 코, 입 및 턱의 윤곽선을 생성하게 되는데, 추출된 동공, 코, 입 및 턱의 기준좌표에 단말기의 저장부 또는 서버에 미리 저장된 크기비율과 대조하여 눈, 코, 입 및 턱의 윤곽선을 생성하는 단계(S230)이다. 상세하게는, 미리 저장된 크기비율은 눈, 코, 입 및 턱이 가지는 각각의 크기 및 눈, 코, 입 및 턱 간의 거리에 대한 정보인 크기비율 정보가 저장되는데, 얼굴 이미지에 생성된 동공, 코, 입 및 턱의 기준좌표에 해당 크기비율을 대조하여 윤곽선을 생성한다. 보다 상세하게 일례를 들어 설명하자면, 두 눈에 위치되는 눈의 기준좌표가 두 간의 거리가 20인 경우, 두 눈 간의 거리가 10이고, 눈의 크기가 1로 저장된 크기비율 정보를 대조하여 대입하게 되면, 두 눈 간의 거리는 2배가 차이나기 때문에, 눈의 크기를 2배 곱연산 한다. 따라서, 눈의 크기는 2가 되기 때문에 2의 크기를 갖는 윤곽선이 생성되는 원리이다.
그 다음, 도 9를 참고하면, 위 과정을 통해 얼굴 이미지에 생성된 윤곽선을 기반으로 윤곽선 상에 위치하는 적어도 하나 이상의 윤곽 좌표를 생성(S240)하게 된다. 상세하게 설명하자면, 윤곽선 상에 위치하는 적어도 하나 이상의 윤곽 좌표는 후술하는 단계(S240)에서 윤곽 좌표를 이동시킴으로써 이미지가 왜곡(성형)하는 메시 워핑을 이용하기 위한 포인트로서, 윤곽 좌표는 윤곽선 상에 위치하게 된다. 또한, 윤곽선 상에 위치하는 윤곽 좌표는 사용자의 미리 저장된 설정 값에 의해 그 개수를 달리하여 생성할 수 있다. 일례를 들어 설명하자면, 사용자가 눈에 6개의 윤곽 좌표를 생성하고, 코에 10개의 윤곽 좌표를 생성하는 설정값을 입력하게 되면, 윤곽선의 일단과 끝단이 연결된 눈은 6등분 하여 6개의 윤곽 좌표가 생성되고, 10개의 윤곽 좌표가 입력된 코의 경우 윤곽선의 일단 및 타단에 1개의 윤곽 좌표가 각각 생성되고, 나머지 8개의 윤곽 좌표가 소정간격 이격되어 윤곽선 상에 위치되어 생성된다. 이때, 윤곽선 상에 위치하는 윤곽 좌표는 개수를 미리 입력하여 생성하는 것을 일례를 들어 설명하였지만, 개수 뿐만 아니라, 윤곽 좌표 간의 거리를 미리 설정하여 윤곽 좌표를 생성할 수 있고, 이 또한 본 발명에 속한다.
한편, 생성된 동공, 코, 입 및 턱의 기준좌표를 기반으로 눈, 코, 입 및 턱의 윤곽선을 생성하는 단계(S230) 및 눈, 코, 입 및 턱의 윤곽선 상에 위치하는 적어도 하나 이상의 윤곽 좌표를 생성하는 단계(S240)는 두 단계를 나누어 설명하였지만, 두 단계가 동시에 이루어질 수 있다. 즉, 윤곽선을 생성하는 과정 및 생성된 윤곽선 상에 위치하는 윤곽 좌표를 생성하는 과정이 동시에 진행될 수 있고, 이 또한 본 발명에 속함은 물론이다.
도 10을 참고하면, 위와 같은 과정을 통해 눈, 코, 입 및 턱의 윤곽선 상에 위치하는 하나 이상의 윤곽 좌표를 생성(S240)한 뒤에, 윤곽 좌표가 이미지의 실제 눈, 코, 입 및 턱의 윤곽선 상에 위치하도록 미세 조정하는 과정(S250)을 더 거칠 수 있다. 상세하게는, 윤곽 좌표는 윤곽선 상에 위치하게 되는데, 윤곽선은 위의 과정에서 설명하였듯이 사용자에 의해 저장부에 미리 저장된 사람들의 평균적인 눈, 코, 입 및 턱의 크기비율을 토대로 대조 및 생성하기 때문에, 생성된 윤곽선이 얼굴 이미지의 실제 눈, 코, 입 및 턱의 윤곽선과 상이할 수 있는데, 이를 수정하기 위하여 윤곽선 및 윤곽 좌표를 이미지의 실제 눈, 코, 입 및 턱의 윤곽선 상에 위치하도록 하는 미세 조정 단계(S250)를 가진다. 또한, 윤곽 좌표를 미세 조정하는 단계에서, 위와 같이 생성된 윤곽 좌표 및 윤곽선이 얼굴 이미지의 실제 눈, 코, 입 및 턱의 윤곽선과 일치하는 경우에는 해당 미세 조정 단계를 생략할 수 있음은 물론이다.
이때, 윤곽 좌표를 이동시키는 방법으로서, 트랙볼(Track ball)을 이용하여 윤곽 좌표를 이동 및 입력시키는 것을 일례로 설명하지만, 드로그 앤 드롭(drag and drop) 또는 좌표를 직접 입력하는 등 다양한 이동 방법이 사용될 수 있으며 이 또한 본 발명에 속함은 물론이다.
여기 까지 얼굴 이미지에서 눈, 코, 입 및 턱의 윤곽선 상에 위치하는 윤곽 좌표를 생성하는 단계에 대한 설명이다.
그 다음, 메시 워핑을 이용하여 이미지를 변형시키기 전의 메시 생성 및 메시 그룹 생성 단계는 프로세서가 실행하는 작업으로서, 별도의 인터페이스 및 화면을 사용자에게 출력하지 않으므로, 도면은 생략하기로 한다.
도 1을 참고하면, 위와 같은 과정을 통해 윤곽 좌표를 생성(S100)한 뒤, 얼굴 이미지에 윤곽 좌표를 포함하고, 소정 간격 이격되어 배열되는 복수의 메시 포인트를 생성하는 단계(S110)를 가진다. 상세하게, 메시 포인트는 후술하는 메시 워핑을 이용하여 이미지를 변형시키기 위해 필요한 메시 그룹을 생성하기 위한 단계를 위한 준비단계로서, 메시 포인트는 소정 간격 이격되는 점 격자 형상의 배열로 이루어지고, 메시 포인트는 윤곽 좌표를 포함하여 구비된다. 메시 포인트는 사용자의 의해 미리 설정된 값에 의해 생성될 수 있다. 즉, 사용자가 미리 설정한 거리, 개수 및 좌표 등에 의한 조건에 따라 생성될 수 있다.
그 다음, 생성된 메시 포인트를 이용하여 메시 그룹을 생성하는 단계(S120)를 가지는데, 메시 포인트를 이용하여 메시 그룹을 생성하는 단계(120)는 메시 포인트를 꼭지점으로 하는 메시를 생성하는 과정을 더 포함한다. 상세하게는, 메시는 메시 포인트를 3개 연결하여 생성하는 삼각형의 메시로 구비될 수 있다. 일반적인 메시 워핑에서 사용되는 메시 그룹은 사각형의 메시로 이루어진 메시 그룹으로 이루어지는데, 본 발명의 메시는 메시 포인트를 3개 연결하여 생성되는 삼각 메시로 구비된다. 본 발명은 메시가 3 개의 메시 포인트를 연결한 삼각형 메시로 생성되는 것을 일례를 들어 설명하지만, 반드시 3 개의 메시 포인트를 연결한 삼각형의 메시로 한정되는 것은 아니며, 4 개의 메시 포인트로 이루어진 사각형 메시, 5개의 메시 포인트로 이루어진 오각형 메시 등과 같이 다양한 형태의 메시의 집합으로 이루어질 수 있고, 이 또한 본 발명에 속함은 물론이다. 다만, 본 발명에서와 같이 3 개의 메시 포인트를 연결한 삼각형의 메시의 집합으로 생성할 시, 종래의 사각형의 메시보다 선명하고, 세밀한 조작이 가능하며, 부드러운 출력물을 얻을 수 있다는 특징이 있다.
그 다음, 도 11을 참고하면, 위 과정에서 생성된 메시 그룹에 메시 워핑을 이용하여 이미지를 변형시키는 단계(S130)를 가지는데, 상세하게 생성된 메시 그룹은 윤곽 좌표를 포함하는 메시 포인트로 생성되는데, 윤곽 좌표를 사용자가 원하는 좌표 만큼 이동시켜 이미지를 왜곡/변형 시키는 메시 워핑을 하는 단계이다. 본 발명에서는 삼각형의 메시로 이루어진 메시 그룹을 메시 워핑하기 때문에 종래의 사각형으로 이루어진 메시의 그룹을 메시 워핑했을 때 보다, 선명하고, 세밀한 조작이 가능하며, 부드러운 출력물을 얻을 수 있다는 특징이 있다. 특히 사람의 얼굴 이미지를 대상으로 메시 워핑을 하는 본 발명은 삼각형의 메시로 이루어진 메시 그룹을 메시 워핑 하였을 때, 사각형의 메시를 메시 워핑하는 것 보다 그 효과가 뛰어나다는 특징이 있다.
여기서, 메시 워핑이란 이미지에서 임의의 점을 제어점으로 선택하고 제어점을 이동시킨 새로운 이미지를 만들어 내는 것을 뜻한다. 초기 만원경에서 출력되는 왜곡된 영상을 해결하기 위해 개발된 기술로서, 영화 등과 같이 다양한 특수효과에 주로 사용되어 지는 기술이다. 상세하게, 메시 워핑은 이미지의 x 및 y의 좌표값에 위치하는 픽셀을 미리 지정된 위치변환함수 Ux(x, y) 및 Uy(x, y)에 의해 Image(Ux(x,y), Uy(x, y))로 이동되어 이미지를 변형시키는 원리이다. 다르게 설명하자면, 메시 워핑은 이미지에서 P 점을 제어점으로 선택하고 P' 점으로 이동시키면 이에 따라 이미지 A를 구성하는 메시의 모양이 변한다. P 제어점을 가진 원본 이미지 A의 각 메시를 어파인 변환하여 P`제어점을 가진 새로운 이미지 A`로 변환하는 것이다. 메시 워핑은 공지 기술인 바 자세한 설명은 생략하기로 한다.
또한, 메시 워핑을 적용하는 방법에 있어서는, 윤곽 좌표를 이동시킴으로 메시 워핑되는데 윤과 좌표는, 트랙볼(Track ball)을 이용하여 이동 및 입력시키는 것을 일례로 설명하지만, 드로그 앤 드롭(drag and drop) 또는 좌표를 직접 입력하는 등 다양한 이동 방법이 사용될 수 있으며 이 또한 본 발명에 속함은 물론이다.
메시 워핑에 의해 변형된 이미지를 보간법을 통해 변형된 이미지에 대한 후처리 과정을 가질 수 있다. 이미지 보간법은 이선형 필터링으로서, 변형된 이미지의 화소(텍셀, texel)가 떨어져 이질적으로 느끼는 것을 해결하기 위한 것으로, 임의의 텍셀과 그와 4방향으로 인접한 텍셀들의 중점에 대하여 선형 보간법을 수행하여 이질감을 줄여 이미지를 부드럽게 보이는 것이다. 상세하게는, 텍스처를 씌운 도형을 생성/변환 할 때, 텍스처가 저장된 정보 그대로 출력되지 않는다. 텍스처를 확대 및 축소 시키거나 시점을 변환하면 텍스처 상의 화소(텍셀, texel)이 튀어 보이게 된다. 이선형 필터링은 텍스처 상의 임의의 텍셀, 텍셀의 4방향으로 인접한 텍셀들을 중점에 대하여 선형 보간법을 수행하여 텍스처가 어떤 경우라도 부드럽게 보일 수 있도록 하는 것이다.
일례로 다음 방정식에서 uk 및 vk는 텍스처의 좌표이고, k는 점, k는 색을 나타낸다. 첨자가 없는 값은 픽셀의 점을 나타내며, 첨자 0, 1, 2 및 3을 가지는 값은 각각의 픽셀과 인접해 있는 상, 좌, 우 및 하의 텍셀을 나타내며, 텍스처가 정사각형 비트맵이라고 가정하면,
Figure pat00002
수학식 1의 식이 모두 참이 된다. 그 다음 식을 정의하면,
Figure pat00003
수학식 2와 같이 보간법 방정식은 단순화할 수 있다.
Figure pat00004
그 다음, 수학식 3의 식을 결합시키면 다음 수학식 4와 같다.
Figure pat00005
또는, 다르게 표현하자면 수학식 5과 같다.
Figure pat00006
한편, 도 11을 참고하면, 메시 워핑을 이용하여 얼굴 이미지를 변형시켜 성형하는 단계(S130)에서, 얼굴 이미지의 눈에 쌍커풀을 생성하는 단계를 더 가질 수 있다. 상세하게는, 눈의 윗부분의 쌍커풀이 위치하는 좌표에 쌍커풀 라인을 따라 선을 생성하는 단계를 더 가질 수 있다. 쌍커풀을 생성할 때 위와 같이 쌍커풀이 위치되는 좌표에 선을 생성하여 쌍커풀을 생성하는 것을 일례로 설명하지만, 쌍커풀이 위치하는 좌표에 메시 워핑을 이용하여 쌍커풀을 생성하는 방법도 있으며, 이 또한 본 발명에 속한다.
도 12를 참고하면, 위와 같은 과정을 통해 얼굴 이미지를 성형한 뒤, 단말기의 출력부를 통해 성형된 이미지를 출력하는 단계를 가지게 된다. 성형된 이미지를 출력하는 단계는 세 가지로 나누어 출력될 수 있는데, 성형된 이미지를 출력하는 세 가지 방법으로서, 성형된 이미지를 그대로 즉시 출력부로 출력하는 방법, 성형된 이미지를 입체적으로 출력하는 입체출력 방법(S160, S170) 및 성형된 이미지를 미인형 얼굴이 가지는 황금 비율과 함께 출력하여 비교하는 방법(S140, S150)이 있다. 다음 세 가지 출력 방법에 대하여 상세하게 설명하기로 한다.
메시 워핑을 통해 이미지를 성형한 뒤 성형된 이미지는 기본적으로 출력부를 통해 별도의 가공 없이 출력 된다. 그 후, 사용자가 선택적으로 황금 비율과의 비교(S150)하거나, 입체적으로 출력하는 입체 출력 단계(S170)로 나누어질 수 있다.
도 13을 참고하면, 황금 비율 단계는 성형된 이미지의 눈, 코, 입 및 턱의 윤곽선 또는 윤곽 좌표 간의 비율 및 좌표를 추출하여 출력하는 단계(S140) 및 추출된 비율 및 좌표에 황금 비율을 출력하여 비교하는 단계(S150)를 포함한다. 상세하게 설명하자면, 이미지의 눈, 코, 입 및 턱의 윤곽선 또는 윤곽 좌표간의 상대적 비율 및 좌표를 출력하는 단계(S140)는 성형된 이미지의 눈, 코, 입 및 턱 간에 거리 및 상대적 비율, 눈, 코, 입 및 턱의 상대적 비율 및 크기를 추출하여, 성형된 이미지 상에 수치 및 가이드 선을 출력(S150)하게 되는데, 이를 통해 성형된 이미지의 눈, 코, 입 및 턱의 상대적 비율 및 크기를 알 수 있다. 이때, 상대적 비율 및 크기를 측정하는데 기준이 되는 눈, 코, 입 및 턱의 윤곽선 또는 윤곽 좌표는 복수의 윤곽선 또는 윤곽 좌표 중 사용자에 의해 미리 선택되는 육곽선 또는 윤곽 좌표를 기준으로 상대적 비율 및 크기가 측정된다. 또한, 황금 비율은 저장부에 미리 저장된 미(美)인 형 얼굴의 눈, 코, 입 및 턱의 상대적 비율 및 좌표가 되고, 미인형 얼굴의 황금 비율도 성형된 이미지 상에 출력된다. 즉, 성형된 이미지 상에는 성형된 이미지의 눈, 코, 입 및 턱의 상대적 비율 및 좌표와 미인형 얼굴의 눈, 코, 입 및 턱의 상대적 비율 및 좌표가 함께 출력되기 때문에 사용자가 성형한 이미지를 미인형 얼굴과 대조/비교 해볼 수 있기 때문에 이미지를 수정하거나, 평가하는데 가이드 되고, 성형된 이미지와 미인형 얼굴과 차이점을 파악할 수 있다는 특징이 있다. 자신이 성형한 얼굴 이미지는 대게 콤플렉스를 가지고 있는데, 이를 타인 또는 전문가를 통해 평가하는 것이 아니라, 객관적인 미인형 얼굴과 비교해 스스로 비교/판단 할 수 있다는 장점이 있다. 이때, 미인형 얼굴의 눈, 코, 입 및 턱의 상대적 비율 및 좌표는 단말기의 저장부에 미리 저장되는 것을 일례를 들어 설명하였지만, 통신부(15)를 통해 서버에 저장되는 미인형 얼굴을 사용할 수 있고, 이 또한 본 발명에 속한다. 또한, 미인형 얼굴의 황금비율은 사용자에 의해 미리 저장된 미인형 얼굴의 황금비율인 것을 일례를 들어 설명하였지만, 사용자에 의해 선택된 얼굴 이미지일 수도 있다. 즉, 미인형 얼굴의 황금 비율과의 대조/비교 뿐 만 아니라, 사용자가 선택한 얼굴 이미지와 비교할 수 있다. 사용자가 선택한 얼굴 이미지는 성형된 얼굴 이미지의 눈, 코, 입 및 턱의 상대적 비율 및 좌표를 추출하는 방법과 동일한 방법으로 선택한 얼굴 이미지의 눈, 코, 입 및 턱의 상대적 비율 및 좌표를 추출하여 출력하는 것이 바람직하다. 위 과정에서 성형된 이미지의 상대적 비율 및 좌표와 미인형 얼굴의 황금비율이 갖는 상대적 비율 및 좌표는 동일한 기준으로 생성하는 것이 바람직하다.
또한, 성형된 이미지의 상대적 비율 및 좌표와 미인형 얼굴의 황금비율을 출력하여 비교/대조하는 단계는 이미지를 성형하는 메시 워핑 단계에서 이루어질 수 있다. 상세하게, 미인형 얼굴의 황금 비율을 메시 워핑을 이용하여 이미지를 성형할 때 미인형 얼굴이 갖는 황금 비율을 출력함으로써, 사용자가 메시 워핑을 이용하여 이미지를 성형할 때 실시간으로 미인형 얼굴과 비교하며 성형할 수 있어 보다 효과적인 성형 가이드를 할 수 있다.
도 14 및 도 15를 참고하면, 성형된 이미지를 출력하는 단계 중 입체출력 단계(S160, S170)는 변형된 이미지의 메시 포인트마다 상하좌우의 각 방향에 대응되는 고유한 회전 가중치를 적용(S160)시켜 입체적으로 3D화 하여 출력(S170)한다. 이는 평면(2D)의 얼굴 이미지를 마치 입체(3D)로 보이는 것과 같은 착시효과를 주는 것으로서, 메시 워핑을 이용하여 각 메시 포인트를 미리 저장된 값에 의해 이동시켜 마치 입체(3D)로 회전되는 듯 하는 착시효과를 가져오게 되는데, 이때, 90˚로 회전되는 듯한 이미지를 출력시킬 수 있지만, 현실성을 위하여 15˚의 각도를 최대치로 3D화 하여 이미지를 출력되는 것으로 한다. 다만, 반드시 15˚ 의 각도에 한정되는 것은 아니며 다양한 각도로 출력될 수 있으며, 이 또한 본 발명에 속함은 물론이다. 메시 포인트 마다 상하좌우의 각 방향에 대응되는 고유한 회전 가중치를 적용시켜 입체적으로 출력하는 것에 대하여 상세하게 설명하기로 한다.
성형된 이미지 상에 위치하는 메시 포인트에 상하좌우의 각 방향 마다 미리 저장된 고유한 이동 가중치를 적용(S160)시켜 메시 포인트의 좌표가 이동되고, 이동된 메시 포인트들에 대하여 메시 워핑을 적용시켜 이미지를 변형(S170)시킨다. 위와 같은 과정을 거치게 되면, 2D의 이미지가 마치 3D로 보이는 듯한 착시효과를 가져온다. 보다 상세하게는, 사용자는 이미지를 좌측, 우측, 상측 및 하측 방향으로 회전시킬 수 있도록 하는 인터페이스가 구비되는데, 해당 인터페이스에 소정각도 회전시키는 명령을 입력을 하게 되면, 사용자가 지정한 방향과 사용자가 지정한 각도에 대응되는 미리 저장된 이동 가중치가 메시 포인트에 적용되어 메시 포인트가 해당 이동 가중치 값 만큼 이동되어 메시 워핑 된다.
사용자가 코를 성형한 뒤, 코의 옆면을 보기 위해 이미지를 우측으로 회전시키려고 하는 경우를 일례를 들어, 코에 해당하는 메시 포인트들이 코의 좌측 윤곽선에 대항하는 메시 포인트가 a1, 콧등의 메시포인트가 a2 및 코의 우측 윤곽선에 해당하는 메시포인트가 a3 으로 형성되고, 사용자가 이미지를 우측으로 15˚로 회전시켰을 때, a1, a2 및 a3는 미리 저장된 각자의 좌표 이동 가중치 값에 의해 이동되는데, a1는 우측으로 15˚ 회전에 대응하여 (0, 0)의 좌표 이동 가중치 값을 갖고, a2는 우측으로 15˚ 회전에 대응하여 (3, 0)의 좌표 이동 가중치 값을 갖지며, a3는 우측으로 15˚ 회전에 대응하여 (-1, 0)의 좌표 이동 가중치 값을 가진다고 가정하면, 해당 이미지를 우측으로 15˚ 회전하는 입력을 하였을 때, a1는 우측으로 15˚ 회전에 대응하여 (0, 0)의 좌표 이동 가중치 값을 가지기 때문에 해당 위치에 그대로 형성되고, a2는 (3, 0)의 좌표 이동 가중치 값을 가지기 때문에 (x+3, y+0)의 위치인 우측으로 이동되며, a3는 (-1, 0)의 좌표 이동 가중치 값에을 가지기 때문에 (x-1, y+0)의 위치인 좌측으로 이동된다. 그 후 이동된 a1, a2 및 a3의 좌표 값으로 이미지가 메시 워핑되어 이미지가 변형된다. 위와 같은 과정을 거치게 되면, 결과적으로, a1에서 a2 사이의 이미지는 늘어나는 변형 과정을 거치고, a2에서 a3 사이의 이미지는 줄어드는 변형 과정을 거쳐 좌측에서 실제 코를 쳐다보는 것과 같은 입체감을 가져 마치 입체 사진을 보는 것과 같은 착시효과를 가져올 수 있게 된다. 이때, 2D이미지가 입체 성형을 통해 보다 효과적인 3D화가 되는 것을 위해 얼굴 이미지의 가장자리에 형성되는 메시 포인트는 이동되지 않는 것이 바람직하다.
본 발명은 본 발명의 요지와 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
10 : 단말기 11 : 프로세서
12 : 저장부 13 : 출력부
14 : 입력부 15 : 통신부
20 : 서버

Claims (19)

  1. 단말기에서 메시 워핑을 이용하여 가상의 얼굴을 성형하는 방법에 있어서,
    얼굴 촬영된 이미지에서 눈, 코, 입 및 턱의 윤곽선상에 위치하는 윤곽 좌표를 생성하는 단계(S100);
    상기 이미지에 상기 윤곽 좌표를 포함하고, 소정 간격 이격되어 배열되는 복수의 메시 포인트를 생성하는 단계(S110);
    상기 메시 포인트를 이용하여 메시 그룹을 생성하는 단계(S120);
    상기 메시 그룹에 메시 워핑을 이용하여 상기 이미지를 성형 하는 단계(S130); 및
    상기 성형된 이미지를 출력하는 단계;를 포함하는 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술의 방법.
  2. 제 1 항에 있어서,
    얼굴이 촬영된 이미지에서 눈, 코, 입 및 턱의 윤곽선상에 위치하는 윤곽 좌표를 생성하는 단계(S100)는
    상기 이미지에서 동공의 기준좌표를 생성하는 단계(S200);
    상기 생성된 동공의 기준좌표를 기반으로 코, 입 및 턱의 기준좌표를 생성하는 단계(S210);
    상기 생성된 동공, 코, 입 및 턱의 기준좌표를 기반으로 눈, 코, 입 및 턱의 윤곽선을 생성하는 단계(S230); 및
    상기 눈, 코, 입 및 턱의 윤곽선 상에 위치하는 적어도 하나 이상의 윤곽 좌표를 생성하는 단계(S240);를 포함하는 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술의 방법.
  3. 제 2 항에 있어서,
    상기 생성된 동공의 기준좌표를 기반으로 코, 입 및 턱의 기준좌표를 생성하는 단계(S210) 이후,
    상기 동공, 코, 입 및 턱의 기준좌표가 상기 이미지의 동공, 코, 입 및 턱에 위치하도록 미세 조정하는 단계(S220)를 더 포함하는 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술의 방법.
  4. 제 2 항에 있어서,
    상기 눈, 코, 입 및 턱의 윤곽선 상에 위치하는 적어도 하나 이상의 윤곽 좌표를 생성하는 단계(S240) 이후,
    상기 눈, 코, 입 및 턱의 윤곽 좌표가 상기 이미지의 눈, 코, 입 및 턱의 윤곽선 상에 위치하도록 미세 조정하는 단계(S250);를 더 포함하는 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술의 방법.
  5. 제 2 항에 있어서,
    상기 이미지에서 동공의 기준좌표를 생성하는 단계(S200)는
    페이스 디텍터(Face Detector)연산자를 이용하여 상기 이미지에서 동공의 기준좌표를 생성하는 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술의 방법.
  6. 제 2 항에 있어서,
    상기 생성된 동공의 기준좌표를 기반으로 동공, 코, 입 및 턱의 기준좌표를 생성하는 단계(S210)는,
    상기 생성된 동공의 기준좌표와 미리 저장된 일반적인 동공, 코, 입 및 턱의 위치비율을 대조하여 코, 입 및 턱의 기준좌표를 생성하는 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술의 방법.
  7. 제 2 항에 있어서,
    상기 생성된 동공, 코, 입 및 턱의 기준좌표를 기반으로 눈, 코, 입 및 턱의 윤곽선을 생성하는 단계(S230)는,
    상기 생성된 동공, 코, 입 및 턱의 기준좌표와 미리 저장된 일반적인 동공, 코, 입 및 턱의 크기비율과 대조하여 눈, 코, 입 및 턱의 윤곽선을 생성하는 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술의 방법.
  8. 제 1 항에 있어서,
    상기 메시 포인트를 이용하여 메시 그룹을 생성하는 단계(S120)는,
    상기 메시 포인트를 꼭지점으로 하는 메시를 생성하는 단계를 더 포함하고,
    상기 메시는 상기 메시 포인트를 3개 연결하여 생성되는 삼각 메시의 집합인 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술의 방법.
  9. 제 1 항에 있어서,
    상기 메시 그룹에 메시 워핑을 이용하여 상기 이미지를 성형 하는 단계(S130)는,
    상기 윤곽 좌표를 이동시킴으로써 상기 메시 그룹이 메시 워핑되는 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술의 방법.
  10. 제 1 항에 있어서,
    상기 메시 그룹에 메시 워핑을 이용하여 상기 이미지를 성형 하는 단계(S130)는,
    상기 이미지의 눈, 코, 입 및 턱의 윤곽선 또는 윤곽 좌표 간의 비율 및 좌표를 추출하여 출력하는 단계(S140); 및
    상기 추출된 비율 및 좌표에 황금비율을 출력하여 비교하는 단계(S150);를 더 포함하고,
    상기 황금비율은 미리 저장된 미인형 얼굴의 눈, 코, 입 및 턱의 상대적 비율, 각도 및 좌표인 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술의 방법.
  11. 제 1 항에 있어서,
    상기 성형된 이미지를 출력하는 단계 이후,
    상기 이미지의 눈, 코, 입 및 턱의 윤곽선 또는 윤곽 좌표 간의 비율 및 좌표를 추출하여 출력하는 단계(S140); 및
    상기 추출된 비율 및 좌표에 황금비율을 출력하여 비교하는 단계(S150);를 더 포함하고,
    상기 황금비율은 미리 저장된 미인형 얼굴의 눈, 코, 입 및 턱의 상대적 비율, 각도 및 좌표인 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술의 방법.
  12. 제 1 항에 있어서,
    상기 성형된 이미지를 출력하는 단계 이후,
    상기 성형된 이미지를 입체적으로 출력하는 입체출력 단계(S170)를 더 포함하고,
    상기 성형된 이미지를 입체적으로 출력하는 입체출력 단계는,
    상기 성형된 이미지를 3D화 하여 소정 각도 회전 가능하도록 출력하는 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술의 방법.
  13. 제 12 항에 있어서,
    상기 성형된 이미지를 입체적으로 출력하는 입체출력 단계는,
    상기 성형된 이미지의 메시 포인트 마다 미리 저장된 상하좌우의 각 방향에 대응하는 고유한 이동 가중치를 적용시켜 메시 워핑하여 출력하는 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술의 방법.
  14. 가상 성형수술을 구현하는 단말기(10)에 있어서,
    얼굴 촬영된 이미지에서 눈, 코, 입 및 턱의 윤곽선상에 위치하는 윤곽 좌표를 생성하고, 상기 이미지에 상기 윤곽 좌표를 포함하고, 소정 간격 이격되어 배열되는 복수의 메시 포인트를 생성하고, 상기 메시 포인트를 이용하여 메시 그룹을 생성하고, 상기 메시 그룹에 메시 워핑을 이용하여 상기 이미지를 성형 하는 프로세서(11); 및
    상기 성형된 이미지를 출력하는 출력부(13);를 포함하는 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술을 구현하는 단말기.
  15. 제 14 항에 있어서,
    미세 조정 값을 입력받는 입력부(14);를 더 포함하고,
    상기 프로세서(11)는 상기 입력받은 미세 조정 값을 기초로 미세 조정을 수행하는 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술을 구현하는 단말기.
  16. 제 14 항에 있어서,
    얼굴 이미지, 동공, 코, 입 및 턱의 위치비율, 크기비율 및 미인형 얼굴의 눈, 코, 입 및 턱의 상대적 비율, 각도 및 좌표 중 적어도 하나가 미리 저장되는 저장부(12)를 더 포함하는 것을 특징을 하는 메시 워핑을 이용한 가상 성형수술을 구현하는 단말기.
  17. 제 16 항에 있어서,
    상기 프로세서(11)는 상기 이미지에서 동공의 기준좌표를 생성하고, 상기 생성된 동공의 기준좌표를 기반으로 코, 입 및 턱의 기준좌표를 생성하고, 상기 생성된 동공, 코, 입 및 턱의 기준좌표를 기반으로 눈, 코, 입 및 턱의 윤곽선을 생성하고, 상기 눈, 코, 입 및 턱의 윤곽선 상에 위치하는 적어도 하나 이상의 윤곽 좌표를 생성하고,
    상기 생성된 동공의 기준좌표와 상기 저장부에 저장된 동공, 코, 입 및 턱의 위치비율을 대조하여 코, 입 및 턱의 기준좌표를 생성하는 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술을 구현하는 단말기.
  18. 제 16 항에 있어서,
    상기 프로세서(11)는 상기 이미지에서 동공의 기준좌표를 생성하고, 상기 생성된 동공의 기준좌표를 기반으로 코, 입 및 턱의 기준좌표를 생성하고, 상기 생성된 동공, 코, 입 및 턱의 기준좌표를 기반으로 눈, 코, 입 및 턱의 윤곽선을 생성하고, 상기 눈, 코, 입 및 턱의 윤곽선 상에 위치하는 적어도 하나 이상의 윤곽 좌표를 생성하고,
    상기 생성된 동공, 코, 입 및 턱의 기준좌표와 상기 저장부에 저장된 동공, 코, 입 및 턱의 크기비율과 대조하여 눈, 코, 입 및 턱의 윤곽선을 생성하는 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술을 구현하는 단말기.
  19. 제 16항에 있어서,
    상기 출력부는 상기 이미지의 눈, 코, 입 및 턱의 윤곽선 또는 윤곽 좌표 간의 비율 및 좌표를 추출하여 출력하고, 상기 추출된 비율 및 좌표에 황금비율을 출력하고,
    상기 황금비율은 상기 저장부에 저장된 미인형 얼굴의 눈, 코, 입 및 턱의 상대적 비율, 각도 및 좌표인 것을 특징으로 하는 메시 워핑을 이용한 가상 성형수술을 구현하는 단말기.

KR1020150074941A 2015-05-28 2015-05-28 메시 워핑을 이용한 가상 성형수술의 방법 및 시스템 KR101701199B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150074941A KR101701199B1 (ko) 2015-05-28 2015-05-28 메시 워핑을 이용한 가상 성형수술의 방법 및 시스템
CN201610184654.3A CN106204417A (zh) 2015-05-28 2016-03-28 利用网格变形的虚拟整容手术方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150074941A KR101701199B1 (ko) 2015-05-28 2015-05-28 메시 워핑을 이용한 가상 성형수술의 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20160139657A true KR20160139657A (ko) 2016-12-07
KR101701199B1 KR101701199B1 (ko) 2017-02-01

Family

ID=57453150

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150074941A KR101701199B1 (ko) 2015-05-28 2015-05-28 메시 워핑을 이용한 가상 성형수술의 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR101701199B1 (ko)
CN (1) CN106204417A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824360B1 (ko) * 2017-04-14 2018-01-31 한국 한의학 연구원 얼굴 특징점 위치정보 생성 장치 및 방법
CN107122727B (zh) * 2017-04-20 2020-03-13 北京旷视科技有限公司 用于脸部整形的方法、装置及***
CN112734626A (zh) * 2019-10-14 2021-04-30 成都武侯珍妍医疗美容门诊部有限公司 一种深度学习模型的鼻部虚拟整形方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100764130B1 (ko) 2005-03-29 2007-10-05 (주)제니텀 엔터테인먼트 컴퓨팅 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템
KR20120099998A (ko) * 2011-03-02 2012-09-12 정일봉 스마트폰 애플리케이션에서 얼굴의 황금비율을 근거한 얼굴진단정보와 2세의 가상얼굴정보 제공방법
KR101397476B1 (ko) * 2012-11-28 2014-05-20 주식회사 에스하이텍 3d 가상성형기를 이용한 가상성형방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916454B (zh) * 2010-04-08 2013-03-27 董洪伟 基于网格变形和连续优化的高分辨率人脸重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100764130B1 (ko) 2005-03-29 2007-10-05 (주)제니텀 엔터테인먼트 컴퓨팅 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템
KR20120099998A (ko) * 2011-03-02 2012-09-12 정일봉 스마트폰 애플리케이션에서 얼굴의 황금비율을 근거한 얼굴진단정보와 2세의 가상얼굴정보 제공방법
KR101397476B1 (ko) * 2012-11-28 2014-05-20 주식회사 에스하이텍 3d 가상성형기를 이용한 가상성형방법

Also Published As

Publication number Publication date
KR101701199B1 (ko) 2017-02-01
CN106204417A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
US11423556B2 (en) Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional
KR101514327B1 (ko) 얼굴 아바타 생성 장치 및 방법
CN105354876B (zh) 一种基于移动终端的实时立体试衣方法
CN105938627B (zh) 用于人脸虚拟整形的处理方法和***
KR100327541B1 (ko) 3차원 얼굴 모델링 시스템 및 모델링 방법
CN105913416A (zh) 一种自动分割三维人脸模型区域的方法
CN101777195B (zh) 一种三维人脸模型的调整方法
CN103208133A (zh) 一种图像中人脸胖瘦的调整方法
CN107452049B (zh) 一种三维头部建模方法及装置
CN103608846B (zh) 一种用于三维图像模型调适的方法和装置
US20210256776A1 (en) Method and system for generating a 3d reconstruction of a human
CN108537126B (zh) 一种人脸图像处理方法
CN106952336B (zh) 一种保特征的人类三维头像生产方法
JPH0962865A (ja) 顔画像処理方法および顔画像処理装置
JP2013235537A (ja) 画像作成装置、画像作成プログラム、及び記録媒体
CN106874861A (zh) 一种人脸矫正方法及***
CN109389682A (zh) 一种三维人脸模型自动调整方法
TWI750710B (zh) 圖像處理方法及裝置、圖像處理設備及儲存媒體
KR101701199B1 (ko) 메시 워핑을 이용한 가상 성형수술의 방법 및 시스템
TWI502546B (zh) 推擠一模型通過二維場景的系統、方法和電腦程式商品
CN110782528A (zh) 自由形变的人脸整形模拟方法、***及存储介质
JP6852224B2 (ja) 全視角方向の球体ライトフィールドレンダリング方法
WO2021240848A1 (ja) ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム
CN104680574A (zh) 一种根据照片自动生成3d人脸的方法
CN115424308A (zh) 一种智能化妆镜及显示辅助妆容的方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant