KR101556992B1 - 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 - Google Patents

얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 Download PDF

Info

Publication number
KR101556992B1
KR101556992B1 KR1020140029398A KR20140029398A KR101556992B1 KR 101556992 B1 KR101556992 B1 KR 101556992B1 KR 1020140029398 A KR1020140029398 A KR 1020140029398A KR 20140029398 A KR20140029398 A KR 20140029398A KR 101556992 B1 KR101556992 B1 KR 101556992B1
Authority
KR
South Korea
Prior art keywords
unit
dimensional
camera
mesh
face
Prior art date
Application number
KR1020140029398A
Other languages
English (en)
Other versions
KR20150107063A (ko
Inventor
손우람
Original Assignee
손우람
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 손우람 filed Critical 손우람
Priority to KR1020140029398A priority Critical patent/KR101556992B1/ko
Publication of KR20150107063A publication Critical patent/KR20150107063A/ko
Application granted granted Critical
Publication of KR101556992B1 publication Critical patent/KR101556992B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템에 관한 것으로서, 휴대용 장치로서, 얼굴 추적을 수행하여 얼굴의 방향과 카메라의 방향을 인식함으로써 3차원 스캐너 촬영 시점을 가이드 해주고, 미리 정의된 촬영시점들에 도달하면 자동으로 영상을 취득하면서 촬영시점 정보를 동시에 기록하는 3차원 스캔장치; 상기 3차원 스캔장치를 통해 인식된 정보를 바탕으로 메시 형태의 3차원 모델을 생성한 후 재구성하고, 재구성된 메시 모델과 각 RGB 영상들의 촬영시점에서의 텍스처 매핑을 수행하는 3차원 스캔 후처리장치; 및 상기 3차원 스캔 후처리장치를 통해 처리된 3차원 메시 모델을 시각화 하되, 카메라 위치와 가장 근접한 텍스처 매핑정보를 바탕으로 메시 모델의 텍스처를 실시간 변경하며, 얼굴의 각 부위를 시뮬레이션하는 3차원 모델 출력장치; 를 포함한다.

Description

얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템{3D SCANNING SYSTEM USING FACIAL PLASTIC SURGERY SIMULATION}
본 발명은 3차원 스캔 시스템에 관한 것으로서, 더욱 상세하게는 얼굴의 구조를 정량적으로 측정하고, 성형 결과를 시뮬레이션 하여 환자의 만족도를 높이고, 의사에게는 정량적인 얼굴 형태 정보를 제공함으로써 보다 안전하고 손쉽게 수술계획을 설계할 수 있는 시스템에 관한 것이다.
종래 영상을 렌더링하는 기술 및 3차원 얼굴을 복원하는 기술과 관련해서는, 한국공개특허 제10-2002-0012598호(이하, '선행문헌 1') 및 한국공개특허 제10-2005-0045774호(이하, '선행문헌 2') 외에 다수 등록 및 공개되어 있다.
상기한 선행문헌 1은, 영상을 렌더링하는 방법에 있어서: 서로 다른 시점들(viewpoints)로부터 관찰된, 단일 객체(OB)의 다수의 텍스처 영상들(texture images)(TGa, TGb, ...)을 발생시키는 단계; 다수의 동일한 객체들(OB)이 렌더링되어야 할 때 소정의 결정 기준에 따라 상세히 플로팅될(plotting) 객체(OB)들 상에 정상적인 렌더링 처리를 실행하는 단계; 및 발생된 텍스처 영상들(TGa, TGb, ...)들로부터 플로팅될 방향에 따라 텍스처 영상을 선택하여 선택된 텍스처 영상을 간단히 플로팅되어야 하는 객체들(OB)에 대한 텍스처로 사용하는 단계를 포함한다.
또한 상기한 선행문헌 2는, 다양한 시점을 갖는 사용자의 2차원 얼굴 영상을 입력받아 얼굴 영상의 특징점 정보를 기반으로 3차원 얼굴을 생성하는 장치에 있어서, 사용자의 정보와 얼굴 영상 정보를 입력받고 사용자의 요구에 따라 생성된 영상을 전송 받아 출력 또는 저장하는 사용자 인터페이스부와, 상기 다수개의 사용자 인터페이스부로부터 입력된 영상 및 문자 정보에 따라 영상 정보를 처리하고 생성하여 상기 해당 사용자 인터페이스부로 전송하는 중앙 처리 시스템부를 포함하여 구성된 것을 특징으로 한다.
선행문헌 1 및 2를 포함한 기존의 의료용 3차원 스캔 시스템의 경우, 균일한 빛 조건을 만들어주는 조명 시스템을 구비하여 다양한 시점에서 촬영한 영상으로 3차원 재구성하여 메시(Mesh) 모델을 생성하고, RGB 영상을 병합하여 컬러 텍스처(Texture) 영상을 모델의 표면에 매핑한다.
조명 시스템과 다양한 시점에서 촬영하기 위해 고정설치 형태로 제작되고 크기가 커 공간의 제약이 발생하며, 이동하면서 활용이 어려운 문제점이 있다.
그리고, 기존의 이동형 3차원 스캔 시스템의 경우, 미리 정해진 촬영시점들로 사용자가 3차원 스캐너를 위치하여 촬영해 주어야 하는 불편함이 있고, 균일한 빛 조건을 만들어주는 조명 시스템이 부재하여, 텍스처 매핑시 다양한 시점에서 촬영된 RGB 영상의 광도(Luminosity) 차이로 인하여 경계선 색상 차이(Seam Artifact)가 발생되는 문제점이 있다(도 1a 참조).
이러한 문제점을 극복하기 위하여, 블렌딩 알고리즘을 통해 겹친 부분의 색상차이를 줄이게 된다. 그러나, 이 경우에도 알고리즘 수행을 위한 추가적인 계산시간이 필요하며, 원본 영상에 변형이 생겨서 의학적 관찰에 영향을 미치는 문제가 발생한다.
이런 제한으로 인해 환자의 만족도를 높이고 의사에게 보다 안전하고 편리하게 수술계획을 세울 수 있도록 보조해주는 3차원 스캔 시스템의 보급이 어려운 문제가 있다.
한국공개특허 제10-2002-0012598호. 한국공개특허 제10-2005-0045774호.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 본 발명의 제 1 목적은, 휴대용(Hand-held) 3차원 스캐너를 이용하여 스캔 시 동시에 얼굴 추적(Face Tracking)을 수행하여 얼굴의 방향과 카메라의 방향을 인식함으로써, 3차원 스캐너 촬영 시점을 가이드 해주고, 미리 정의된 촬영시점들에 도달하면 자동으로 RGB 영상을 취득하면서 촬영시점 정보를 동시에 기록함으로써, Hand-held 3차원 스캐너의 3차원 스캔과정을 손쉽게 하도록 지원함에 있다.
그리고 본 발명의 제 2 목적은, 스캔 결과인 3차원 얼굴 모델을 화면에 출력할 경우, 3차원 렌더링에서 카메라 시점과 가장 근접한 위치에서 촬영된 RGB 영상으로 텍스처 매핑을 실시간으로 교체(텍스처 스위칭)함으로써, 사용자가 3차원 모델을 바라보는 시점에서 최적의 컬러 텍스처 영상을 제공할 수 있고, 블렌딩 알고리즘을 생략할 수 있어, 시스템의 계산 시간이 짧아지며 원본 RGB 영상의 변형이 없으므로 의학적 진단에 문제를 발생시키지 않도록 함에 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템에 관한 것으로서, 휴대용 장치로서, 얼굴 추적을 수행하여 얼굴의 방향과 카메라의 방향을 인식함으로써 3차원 스캐너 촬영 시점을 가이드 해주고, 미리 정의된 촬영시점들에 도달하면 자동으로 영상을 취득하면서 촬영시점 정보를 동시에 기록하는 3차원 스캔장치; 상기 3차원 스캔장치를 통해 인식된 정보를 바탕으로 메시 형태의 3차원 모델을 생성한 후 재구성하고, 재구성된 메시 모델과 각 RGB 영상들의 촬영시점에서의 텍스처 매핑을 수행하는 3차원 스캔 후처리장치; 및 상기 3차원 스캔 후처리장치를 통해 처리된 3차원 메시 모델을 시각화 하되, 카메라 위치와 가장 근접한 텍스처 매핑정보를 바탕으로 메시 모델의 텍스처를 실시간 변경하며, 얼굴의 각 부위를 시뮬레이션하는 3차원 모델 출력장치; 를 포함한다.
또한 상기 3차원 스캔장치는, 3차원 공간 상의 위치와 방향을 매 프레임마다 실시간으로 인식하는 스캐너 위치 추적부; 인식된 깊이 맵(Depth Map)을 바탕으로, 매 프레임마다 얼굴의 형태를 분석하여 머리 자세(Head Pose)와, 센서로부터 얼굴까지의 거리를 측정함으로써, 얼굴이 향하는 방향과 거리 정보를 추출하는 얼굴 추적부; 얼굴 전체를 최적으로 촬영하기 위한 카메라 시점을 미리 설정하며, 상기 얼굴 추적부를 통해 추출된 얼굴이 향하는 방향과 거리 정보를 이용하여 기 설정된 카메라 시점에 근접할 경우, RGB 촬영을 자동으로 수행하도록 제어하는 카메라 시점 판단부; 및 상기 카메라 시점 판단부를 통해 판단된 카메라 시점이 만족할 경우, 카메라 시점 판단부의 제어에 의해 RGB 영상을 촬영하며, 촬영 시점의 카메라 내부 파라미터, 장치의 3차원 위치와 방향정보를 함께 저장하는 촬영부; 를 포함하는 것을 특징으로 한다.
또한 상기 얼굴 추적부는, 입력 값으로 깊이 맵(Depth Map) 또는 TSDF(Timed Synchronous Data Flow) Volume에서 재구성된 깊이 맵(Depth Map)을 사용하는 것을 특징으로 한다.
또한 상기 3차원 스캔장치는, TSDF Volume 상에 상기 얼굴 추적부를 통해 얻어진 얼굴 형태를 매핑하여 얼굴의 부위별 복셀(Voxel) 정보를 확인함으로써, 스캔이 되지 않은 부분을 판단하는 스캔 판단부; 를 포함하는 것을 특징으로 한다.
또한 상기 스캔 판단부는, TSDF 값이 업데이트 된 적이 없는지 판단하거나, 가중치(Weight) 값으로 업데이트 횟수를 추정하여 업데이트 횟수가 특정 임계값 이하인지를 판단하여, 스캔이 되지 않는 부분을 판단하는 것을 특징으로 한다.
또한 상기 3차원 스캔 후처리장치는, 상기 3차원 스캔장치를 통해 인식된 TSDF Volume에서 표면정보를 추출하여, 메시(Mesh) 형태의 3차원 모델을 생성하는 메시 변환부; 상기 메시 변환부를 통해 생성된 3차원 모델에서 불필요한 이중 버텍스(Duplicated Vertex)를 제거하고, 메시 간략화(Mesh Decimation or Mesh Simplication)를 수행하여 폴리곤(Polygon)의 숫자를 줄이고, Hole-filing 알고리즘을 이용하여 스캔이 안 된 부분을 채우는 것을 특징으로 하는 메시 재구성부; 복수개의 RGB 영상의 컬러정보를 개선하는 영상 재구성부; 및 상기 메시(Mesh) 형태의 3차원 모델과 각 RGB 영상들의 텍스처 매핑을 수행하는 텍스처 매핑부; 를 포함하는 것을 특징으로 한다.
또한 상기 텍스처 매핑부는, RGB 영상을 취득한 촬영시점의 3차원 스캐너 위치와 방향에서 카메라 내부 파라미터에 의해 프로젝션(Projection)을 수행하여, 메시(Mesh)의 각 얼굴(Face)의 버텍스(Vertex)들의 위치정보마다 RGB의 컬러 좌표계와 매핑하는 것을 특징으로 한다.
또한 상기 텍스처 매핑부는, 텍스처 매핑을 통해 RGB 영상의 개수만큼 텍스처 매핑정보를 생성하고, 3차원 스캐너 위치와 방향 정보와 함께 저장하는 것을 특징으로 한다.
그리고 상기 3차원 모델 출력장치는, 상기 3차원 스캔 후처리장치를 통해 처리된 3차원 메시 모델을 2차원 영상으로 출력하기 위하여, 사용자가 지정한 시점으로 렌더링하는 렌더링부; 상기 렌더링부를 통해 지정된 렌더링 기준이 되는 시점 정보를 이용하여, 카메라 위치와 가장 근접한 시점 위치를 계산하고, 계산된 시점 위치에 따른 카메라 위치와 가장 근접한 텍스처 매핑정보를 추출하는 렌더링 카메라 시점 계산부; 상기 렌더링 카메라 시점 계산부를 통해 추출된 카메라 위치와 가장 근접한 텍스처 매핑정보를 바탕으로, 상기 렌더링부에서 디스플레이 되는 메시(Mesh) 모델의 텍스처를 실시간 변경하는 텍스처 변경부; 상기 3차원 스캔장치를 통해 얻어진 얼굴 형태를 이용하여 기 설정된 부위별 거리를 시각화하고, 상기 렌더링부에서 렌더링된 2차원 영상 위에 오버레이(Overlay)하여 출력하는 부위별 측량부; 및 얼굴의 주요 부위를 분할하고, 각 분할된 영역을 시뮬레이션하는 가상 성형부; 를 포함하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 이동이 불가능하고 운영을 위한 공간적 제약을 가지는 기존의 고정형 3차원 스캔 시스템의 문제점을 휴대용(Hand-held) 3차원 스캐너를 채용함으로써 개선하고, 기존의 이동형태의 3차원 스캐너의 RGB 영상 촬영을 위해 미리 정해진 시점으로 사용자가 수동으로 움직여서 촬영을 수행하고 RGB 영상의 겹치는 부분의 블렌딩 알고리즘 수행에 따른 계산량 증가 문제와 블렌딩 적용 영역의 영상 변형 문제를 개선함으로써, 손쉽게 활용 가능한 Hand-held 3차원 스캐너를 제공하여 보다 안전하고 편안한 성형 시뮬레이션 시스템을 구축할 수 있는 효과가 있다.
그리고 본 발명은 휴대용(Hand-held) 3차원 스캐너에 자동화된 텍스처 매핑과 스위칭 시스템을 제공하는 시스템으로서, 실시간 3차원 스캐너 위치 추적 기술, 3차원 복원(Reconstruction) 기술 및 텍스처 매핑(Texture Mapping) 기술 등 복합 기술의 발전에 기여, 국내 취약분야인 3차원 스캔 장비와 의료영상처리 소프트웨어의 개발에 초석을 마련할 수 잇는 효과도 있다.
도 1a 는 종래의 고정형 3차원 스캐너를 보이는 일예시도.
도 2 는 본 발명에 따른 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템을 개념적으로 도시한 전체 구성도.
도 3 은 본 발명에 따른 얼굴 추적부를 통한 추출한 피치, 롤, 요 등으로 움직이는 머리 자세와 얼굴 방향과 센서로부터 얼굴까지의 거리를 보이는 일예시도.
도 4 는 본 발명에 따른 촬영부를 통해 촬영된 RGB 영상을 보이는 일예시도.
도 5 및 도 6 은 본 발명에 따른 3차원 스캔장치의 형태를 보이는 일예시도.
도 7 은 본 발명에 따른 3차원 스캔장치의 스캔방법을 보이는 일예시도.
도 8 은 본 발명에 따른 메시 재구성부를 통한 메시 간략화를 보이는 일예시도.
도 9 는 본 발명에 따른 메시 재구성부를 통해 스캔이 안 된 부분을 채우는 모습을 보이는 일예시도.
도 10 은 본 발명에 따른 텍스처 변경부를 통해 정면 텍스처에서 우측 텍스처로 텍스처가 실시간 변경됨을 보이는 일예시도.
도 11 은 본 발명에 따른 양 눈 간의 거리, 인중 길이 콧날 직선과 코와 턱 직선의 각도 등의 기 설정된 부위를 보이는 일예시도.
도 12 는 본 발명에 따른 가상 성형부를 통해 코 부위에 관한 시뮬레이션 전 모습과, 메시 변형 방법을 이용하여 시뮬레이션한 모습을 보이는 일예시도.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다.
본 발명에 따른 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템에 관하여 도 2 내지 도 12 를 참조하여 설명하면 다음과 같다.
도 2 는 본 발명에 따른 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템(S)을 개념적으로 도시한 전체 구성도로서, 도시된 바와 같이 3차원 스캔장치(100), 3차원 스캔 후처리장치(200) 및 3차원 모델 출력장치(300)를 포함하여 이루어진다.
3차원 스캔장치(100)는 휴대용(Hand-held) 3차원 스캐너로서, 얼굴 추적을 수행하여 얼굴의 방향과 카메라의 방향을 인식함으로써 3차원 스캐너 촬영 시점을 가이드 해주고, 미리 정의된 촬영시점들에 도달하면 자동으로 영상을 취득하면서 촬영시점 정보를 동시에 기록하는 기능을 수행하는 바, 도시된 바와 같이 스캐너 위치 추적부(110), 얼굴 추적부(120), 카메라 시점 판단부(130), 스캔 판단부(140) 및 촬영부(150)를 포함한다.
구체적으로, 스캐너 위치 추적부(110)는 ICP(Iterative Closest Point) 알고리즘을 이용하여, 3차원 공간 상의 위치와 방향을 매 프레임마다 실시간으로 인식한다.
여기서, ICP(Iterative Closest Point)은 컴퓨터 그래픽스에서 주로 사용되는 알고리즘으로서, 어떠한 모델에 대한 측정 데이터가 있을 때, 이 측정 데이터를 모델에 매칭하기 위해 스케일 변환, 회전 및 이동 등을 계산하는 방법에 관한 것이다.
얼굴 추적부(120)는 인식된 깊이 맵(Depth Map)을 바탕으로, 매 프레임마다 얼굴의 형태를 분석하여 머리 자세(Head Pose)와, 센서로부터 얼굴까지의 거리를 측정함으로써, 얼굴이 향하는 방향과 거리 정보를 추출한다.
여기서, 얼굴 추적부(120)는 입력 값으로 깊이 맵(Depth Map) 또는 TSDF(Timed Synchronous Data Flow) Volume에서 재구성된 깊이 맵(Depth Map)을 사용한다.
도 3 에는 피치(Pitch), 롤(Roll), 요(Yaw) 등으로 움직이는 머리 자세(Head Pose)(a)와, 얼굴 방향과 센서로부터 얼굴까지의 거리(b)를 나타낸다.
카메라 시점 판단부(130)는 얼굴 전체를 최적으로 촬영하기 위한 카메라 시점을 미리 설정하며, 얼굴 추적부(120)를 통해 추출된 얼굴이 향하는 방향과 거리 정보를 이용하여 기 설정된 카메라 시점에 근접할 경우, RGB 촬영을 자동으로 수행하도록 제어한다. 여기서, 한번 촬영이 수행된 카메라 시점에 다시 도달하게 되면, RGB 촬영을 다시 수행하지 않도록 제어한다.
이때, 카메라 시점 판단부(130)는 얼굴 전체를 최적으로 촬영하기 위하여, 정면, 좌, 우 등 여러 위치에 대한 카메라 시점을 미리 설정하며, 이는 의사가 주로 환자를 관찰하는 시점에 관한 정보를 입력받아 생성할 수 있다.
한편, 스캔이 되지 않거나, 미흡한 부분이 발생할 수 있다. 이에 따라, 본 발명에 따른 스캔 판단부(140)는 스캔이 되지 않거나, 미흡한 부분에 대해서 얼굴위치를 도식화하여 스캔 품질 향상을 위한 사용성을 높일 수 있다.
즉, 스캔 판단부(140)는 TSDF Volume 상에 얼굴 추적부(120)를 통해 얻어진 얼굴 형태를 매핑하여 얼굴의 부위별 복셀(Voxel) 정보를 확인함으로써, 스캔이 되지 않은 부분을 판단한다.
더욱 구체적으로, 스캔 판단부(140)는 얼굴의 부위별 복셀(Voxel) 정보를 확인하여, TSDF 값이 업데이트 된 적이 없는지 여부를 판단하여, 없는 경우 해당 부분을 스캔이 되지 않은 부분이라고 판단한다.
또한, 스캔 판단부(140)는 가중치(Weight) 값으로 업데이트 횟수를 추정하여, 업데이트 횟수가 특정 임계값 이하인지 여부를 판단하여, 이하인 경우 거리측정의 오차가 충분히 퓨전(Fusion)되지 않았다고 판단하여, 해당 부분을 표면이 매끄럽게 스캔되지 않는 부분 즉, 스캔이 미흡한 부분이라고 판단한다.
촬영부(150)는 카메라 시점 판단부(130)를 통해 판단된 카메라 시점이 만족할 경우, 카메라 시점 판단부(130)의 제어에 의해 RGB 영상을 촬영하며, 촬영 시점의 카메라 내부 파라미터, 장치의 3차원 위치와 방향정보를 함께 저장한다. 이때, 촬영된 RGB 영상은 도 4 에 도시된 바와 같으며, 촬영부(150)는 촬영된 정보를 스캐너 위치 추적부(110)로 전송할 수 있다.
한편, 3차원 스캔장치(100)의 형태 및 스캔방법은 도 5 내지 도 7 에 도시된 바와 같으며, 도시된 바와 같이, 그 외부에 IR 프로젝션(a), RGB CMOS 센서(b), IR CMOD 센서(c), 배터리가 내장된 LED 조명(d) 등이 형성되어 있으며, 그 하단으로 손잡이(e) 및 기타장치와 인터페이스될 수 있는 USB 인터페이스 장치(f)가 연결될 수 있다.
본 실시예에서, 도 5 에 나타낸 바와 같이 3차원 스캔장치(100)에 Active 방식인 Structure Light 카메라가 적용되는 것으로 설정하였으나, 본 발명이 이에 한정되지 않는 바, Time-of-Flight(TOF) 깊이 카메라, Passive 방식인 Stereo Vision 카메라 등과 같이 깊이 맵(Depth Map)을 출력해주는 카메라는 모두 사용될 수 있다.
3차원 스캔 후처리장치(200)는 3차원 스캔장치(100)를 통해 인식된 정보를 바탕으로 메시 형태의 3차원 모델을 생성한 후 재구성하고, 재구성된 메시 모델과 각 RGB 영상들의 촬영시점에서의 텍스처 매핑을 수행하는 바, 상기 도 2 에 도시된 바와 같이 메시 변환부(210), 메시 재구성부(220), 영상 재구성부(230) 및 텍스처 매핑부(240)를 포함한다.
구체적으로, 메시 변환부(210)는 3차원 스캔장치(100)를 통해 인식된 TSDF Volume에서 표면정보를 추출하여, 메시(Mesh) 형태의 3차원 모델을 생성한다.
메시 재구성부(220)는 후술하는 텍스처 매핑부(240)와 3차원 모델 출력장치(300)에서의 데이터 처리 속도를 향상시키기 위하여, 메시 변환부(210)를 통해 생성된 3차원 모델에서 불필요한 이중 버텍스(Duplicated Vertex)를 제거하고, 도 8 에 도시된 바와 같이 메시 간략화(Mesh Decimation or Mesh Simplication)를 수행하여 폴리곤(Polygon)의 숫자를 줄이고, Hole-filing 알고리즘을 이용하여 스캔이 안 된 부분을 채운다(도 9 참조).
여기서, 이중 버텍스(Duplicated Vertex)는 3차원 공간 상에 같은 위치좌표를 가지는 버텍스를 말한다.
영상 재구성부(230)는 의사의 의학적 진단에 도움이 될 수 있도록, 복수개의 RGB 영상에서 화질향상 알고리즘(Image Enhancement)을 이용하여 영상 개선 및 노이즈 제거 등을 수행하여, 컬러정보를 개선한다.
텍스처 매핑부(240)는 메시(Mesh) 형태의 3차원 모델과 각 RGB 영상들의 텍스처 매핑을 수행한다.
더욱 구체적으로, 텍스처 매핑부(240)는 RGB 영상을 취득한 촬영시점의 3차원 스캐너 위치와 방향에서 카메라 내부 파라미터에 의해 프로젝션(Projection)을 수행하여, 메시(Mesh)의 각 얼굴(Face)의 버텍스(Vertex)들의 위치정보마다 RGB의 컬러 좌표계(UV(LUV))와 매핑한다.
여기서, 텍스처 매핑정보는, RGB 영상의 개수만큼 생성되고, 3차원 스캐너 위치와 방향 정보와 함께 저장된다.
3차원 모델 출력장치(300)는 3차원 스캔 후처리장치(200)를 통해 처리된 3차원 메시 모델을 시각화 하되, 카메라 위치와 가장 근접한 텍스처 매핑정보를 바탕으로 메시 모델의 텍스처를 실시간 변경하며, 얼굴의 각 부위를 시뮬레이션하는 기능을 수행하는 바, 상기 도 2 에 도시된 바와 같이 렌더링부(310), 렌더링 카메라 시점 계산부(320), 텍스처 변경부(330), 부위별 측량부(340) 및 가상 성형부(350)를 포함한다.
구체적으로, 렌더링부(310)는 3차원 스캔 후처리장치(200)를 통해 처리된 3차원 메시 모델을 2차원 영상으로 출력하기 위하여, 사용자가 지정한 시점으로 광선 추적법(Ray-casting) 알고리즘을 이용하여, 렌더링 한다.
이때, 키보드, 마우스, 햅틱 디바이스 등을 통해 사용자의 제어정보를 입력받아 시점 이동이 가능하다.
렌더링 카메라 시점 계산부(320)는 렌더링부(310)를 통해 지정된 렌더링 기준이 되는 시점 정보를 이용하여, 카메라 위치와 가장 근접한 시점 위치를 계산하고, 계산된 시점 위치에 따른 카메라 위치와 가장 근접한 텍스처 매핑정보를 추출한다.
이때, 얼굴 모델을 바라볼 때는 시점의 방향이 얼굴 중심을 향하기 때문에, 렌더링 카메라 시점 계산부(320)는 방향은 무시하고, 렌더링 시점의 위치와 카메라 위치의 거리만 측정하여 근사할 수 있다.
즉, 방향과 관계없이 X, Y, Z 좌표만 가지고 렌더링 시점의 위치와 카메라 위치의 유클라디안 거리(Euclidean distance)를 구하거나, 맨하탄(Manhattan Distance)를 구하여 거리가 가장 작은 카메라 위치의 텍스처 매핑정보를 추출한다.
또한, 렌더링 카메라 시점 계산부(320)는 시점에서 광선 추적법(Ray-casting) 알고리즘을 수행, 시점에서 Field-of-view(시야각) 안으로 여러 광선(Ray)을 모델로 발사하여, 표면에 닿는 영역의 집합 수집하고, 렌더링 시점의 집합과 교집합이 가장 많은 카메라 위치를 선정한다.
텍스처 변경부(330)는 렌더링 카메라 시점 계산부(320)를 통해 추출된 카메라 위치와 가장 근접한 텍스처 매핑정보를 바탕으로, 렌더링부(310)에서 디스플레이 되는 메시(Mesh) 모델의 텍스처를 실시간 변경한다.
도 10 은 얼굴 정면 텍스처(a) 및 우측 텍스처(b)를 보이는 일예시도로서, 정면 텍스처(a)에서 우측 텍스처(b)로 텍스처가 실시간 변경됨을 보인다.
부위별 측량부(340)는 3차원 스캔장치(100)의 얼굴 추적부(120)를 통해 얻어진 얼굴 형태를 이용하여 기 설정된 부위별 거리를 시각화하고, 렌더링부(310)에서 렌더링된 2차원 영상 위에 오버레이(Overlay)하여 출력한다.
여기서, 기 설정된 부위는 도 11 에 도시된 바와 같이, 양 눈 간의 거리(a), 인중 길이(b), 콧날 직선과 코와 턱 직선의 각도(c) 등이 될 수 있다.
가상 성형부(350)는 3차원 스캔장치(100)의 얼굴 추적부(120)를 통해 얻어진 얼굴 형태를 이용하여 코, 눈, 이마, 볼 등의 주요 부위를 분할하고, 각 분할된 영역을 메시 변형(Mesh Deformation) 방법을 이용하여 시뮬레이션 한다.
도 12 는 코 부위에 관한 시뮬레이션 전 모습(a)과, 메시 변형 방법을 이용하여 시뮬레이션한 모습(b)을 보이는 일예시도이다.
여기서, 각 분할된 영역에 대한 메시 변형은, 보형물 또는 보형액체를 특정 량 주입시 부피가 늘어남에 따른 변형이다.
한편, 가상 성형부(350)는 키보드, 마우스, 햅틱 디바이스 등을 통한 사용자의 제어정보를 바탕으로, 분할된 주요부위의 영역의 형태를 임의로 변형할 수 있다.
즉, 특정 버텍스(Vertex) 또는 원형으로 여러 버텍스(Vertex)를 선택하여, 드래그/스윕(Drag/Sweep) 모션을 취하면, 그 방향으로 선택된 버텍스(Vertex)들이 이동하고, 표면은 연속적이므로 버텍스(Vertex)와 연결된 인접 버텍스(Vertex)들도 운동 벡터의 일정한 비율로 같이 움직이며 따라가게 된다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
100: 3차원 스캔장치 200: 3차원 스캔 후처리장치
300: 3차원 모델 출력장치 110: 스캐너 위치 추적부
120: 얼굴 추적부 130: 카메라 시점 판단부
140: 스캔 판단부 150: 촬영부
210: 메시 변환부 220: 메시 재구성부
230: 영상 재구성부 240: 텍스처 매핑부
310: 렌더링부 320: 렌더링 카메라 시점 계산부
330: 텍스처 변경부 340: 부위별 측량부
350: 가상 성형부

Claims (9)

  1. 휴대용 장치로서, 얼굴 추적을 수행하여 얼굴의 방향과 카메라의 방향을 인식함으로써 3차원 스캐너 촬영 시점을 가이드 해주고, 미리 정의된 촬영시점들에 도달하면 자동으로 영상을 취득하면서 촬영시점 정보를 동시에 기록하는 3차원 스캔장치;
    상기 3차원 스캔장치를 통해 인식된 정보를 바탕으로 메시 형태의 3차원 모델을 생성한 후 재구성하고, 재구성된 메시 모델과 각 RGB 영상들의 촬영시점에서의 텍스처 매핑을 수행하는 3차원 스캔 후처리장치; 및
    상기 3차원 스캔 후처리장치를 통해 처리된 3차원 메시 모델을 시각화 하되, 카메라 위치와 가장 근접한 텍스처 매핑정보를 바탕으로 메시 모델의 텍스처를 실시간 변경하며, 얼굴의 각 부위를 시뮬레이션하는 3차원 모델 출력장치; 를 포함하되,
    상기 3차원 스캔 후처리장치는,
    상기 3차원 스캔장치를 통해 인식된 TSDF Volume에서 표면정보를 추출하여, 메시(Mesh) 형태의 3차원 모델을 생성하는 메시 변환부;
    상기 메시 변환부를 통해 생성된 3차원 모델에서 불필요한 이중 버텍스(Duplicated Vertex)를 제거하고, 메시 간략화(Mesh Decimation or Mesh Simplication)를 수행하여 폴리곤(Polygon)의 숫자를 줄이고, Hole-filing 알고리즘을 이용하여 스캔이 안 된 부분을 채우는 것을 특징으로 하는 메시 재구성부;
    복수개의 RGB 영상의 컬러정보를 개선하는 영상 재구성부; 및
    상기 메시(Mesh) 형태의 3차원 모델과 각 RGB 영상들의 텍스처 매핑을 수행하는 텍스처 매핑부; 를 포함하는 것을 특징으로 하는 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템.
  2. 제 1 항에 있어서,
    상기 3차원 스캔장치는,
    3차원 공간 상의 위치와 방향을 매 프레임마다 실시간으로 인식하는 스캐너 위치 추적부;
    인식된 깊이 맵(Depth Map)을 바탕으로, 매 프레임마다 얼굴의 형태를 분석하여 머리 자세(Head Pose)와, 센서로부터 얼굴까지의 거리를 측정함으로써, 얼굴이 향하는 방향과 거리 정보를 추출하는 얼굴 추적부;
    얼굴 전체를 최적으로 촬영하기 위한 카메라 시점을 미리 설정하며, 상기 얼굴 추적부를 통해 추출된 얼굴이 향하는 방향과 거리 정보를 이용하여 기 설정된 카메라 시점에 근접할 경우, RGB 촬영을 자동으로 수행하도록 제어하는 카메라 시점 판단부; 및
    상기 카메라 시점 판단부를 통해 판단된 카메라 시점이 만족할 경우, 카메라 시점 판단부의 제어에 의해 RGB 영상을 촬영하며, 촬영 시점의 카메라 내부 파라미터, 장치의 3차원 위치와 방향정보를 함께 저장하는 촬영부; 를 포함하는 것을 특징으로 하는 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템.
  3. 제 2 항에 있어서,
    상기 얼굴 추적부는,
    입력 값으로 깊이 맵(Depth Map) 또는 TSDF(Timed Synchronous Data Flow) Volume에서 재구성된 깊이 맵(Depth Map)을 사용하는 것을 특징으로 하는 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템.
  4. 제 2 항에 있어서,
    상기 3차원 스캔장치는,
    TSDF Volume 상에 상기 얼굴 추적부를 통해 얻어진 얼굴 형태를 매핑하여 얼굴의 부위별 복셀(Voxel) 정보를 확인함으로써, 스캔이 되지 않은 부분을 판단하는 스캔 판단부; 를 포함하는 것을 특징으로 하는 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템.
  5. 제 4 항에 있어서,
    상기 스캔 판단부는,
    TSDF 값이 업데이트 된 적이 없는지 판단하거나, 가중치(Weight) 값으로 업데이트 횟수를 추정하여 업데이트 횟수가 특정 임계값 이하인지를 판단하여, 스캔이 되지 않는 부분을 판단하는 것을 특징으로 하는 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 텍스처 매핑부는,
    RGB 영상을 취득한 촬영시점의 3차원 스캐너 위치와 방향에서 카메라 내부 파라미터에 의해 프로젝션(Projection)을 수행하여, 메시(Mesh)의 각 얼굴(Face)의 버텍스(Vertex)들의 위치정보마다 RGB의 컬러 좌표계와 매핑하는 것을 특징으로 하는 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템.
  8. 제 1 항 또는 제 7 항에 있어서,
    상기 텍스처 매핑부는,
    텍스처 매핑을 통해 RGB 영상의 개수만큼 텍스처 매핑정보를 생성하고, 3차원 스캐너 위치와 방향 정보와 함께 저장하는 것을 특징으로 하는 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템.
  9. 제 1 항에 있어서,
    상기 3차원 모델 출력장치는,
    상기 3차원 스캔 후처리장치를 통해 처리된 3차원 메시 모델을 2차원 영상으로 출력하기 위하여, 사용자가 지정한 시점으로 렌더링하는 렌더링부;
    상기 렌더링부를 통해 지정된 렌더링 기준이 되는 시점 정보를 이용하여, 카메라 위치와 가장 근접한 시점 위치를 계산하고, 계산된 시점 위치에 따른 카메라 위치와 가장 근접한 텍스처 매핑정보를 추출하는 렌더링 카메라 시점 계산부;
    상기 렌더링 카메라 시점 계산부를 통해 추출된 카메라 위치와 가장 근접한 텍스처 매핑정보를 바탕으로, 상기 렌더링부에서 디스플레이 되는 메시(Mesh) 모델의 텍스처를 실시간 변경하는 텍스처 변경부;
    상기 3차원 스캔장치를 통해 얻어진 얼굴 형태를 이용하여 기 설정된 부위별 거리를 시각화하고, 상기 렌더링부에서 렌더링된 2차원 영상 위에 오버레이(Overlay)하여 출력하는 부위별 측량부; 및
    얼굴의 주요 부위를 분할하고, 각 분할된 영역을 시뮬레이션하는 가상 성형부; 를 포함하는 것을 특징으로 하는 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템.
KR1020140029398A 2014-03-13 2014-03-13 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 KR101556992B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140029398A KR101556992B1 (ko) 2014-03-13 2014-03-13 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140029398A KR101556992B1 (ko) 2014-03-13 2014-03-13 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템

Publications (2)

Publication Number Publication Date
KR20150107063A KR20150107063A (ko) 2015-09-23
KR101556992B1 true KR101556992B1 (ko) 2015-10-05

Family

ID=54245634

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140029398A KR101556992B1 (ko) 2014-03-13 2014-03-13 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템

Country Status (1)

Country Link
KR (1) KR101556992B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599785A (zh) * 2016-11-14 2017-04-26 深圳奥比中光科技有限公司 人体3d特征身份信息库的建立方法及设备
CN106774879A (zh) * 2016-12-12 2017-05-31 大连文森特软件科技有限公司 一种基于ar虚拟现实技术的整形手术体验***
CN109472820A (zh) * 2018-10-19 2019-03-15 清华大学 单目rgb-d相机实时人脸重建方法及装置
US11146774B2 (en) 2017-12-18 2021-10-12 Korea Institute Of Oriental Medicine Operating method of three-dimensional facial diagnosis apparatus

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10319149B1 (en) 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
WO2018164328A1 (ko) * 2017-03-10 2018-09-13 주식회사 모르페우스 해부학적 레이어를 이용하여 얼굴을 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR101950815B1 (ko) * 2017-08-25 2019-02-21 뉴로핏 주식회사 패치 가이드 방법 및 프로그램
US10997760B2 (en) 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
US11972529B2 (en) * 2019-02-01 2024-04-30 Snap Inc. Augmented reality system
KR102358854B1 (ko) * 2020-05-29 2022-02-04 연세대학교 산학협력단 얼굴 이미지 색상 합성 장치 및 방법
CN112433003A (zh) * 2020-11-30 2021-03-02 中广核检测技术有限公司 一种用于t形结构件超声波检测的三维仿真方法
CN112669447B (zh) * 2020-12-30 2023-06-30 网易（杭州）网络有限公司 一种模型头像创建方法、装置、电子设备和存储介质
CN114858086A (zh) * 2022-03-25 2022-08-05 先临三维科技股份有限公司 一种三维扫描***、方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012222736A (ja) * 2011-04-13 2012-11-12 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP5318877B2 (ja) * 2007-10-09 2013-10-16 アグファ・ヘルスケア・ナームローゼ・フェンノートシャップ データセットのボリュームレンダリングのための方法及び装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5318877B2 (ja) * 2007-10-09 2013-10-16 アグファ・ヘルスケア・ナームローゼ・フェンノートシャップ データセットのボリュームレンダリングのための方法及び装置
JP2012222736A (ja) * 2011-04-13 2012-11-12 Sony Corp 画像処理装置、画像処理方法、およびプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599785A (zh) * 2016-11-14 2017-04-26 深圳奥比中光科技有限公司 人体3d特征身份信息库的建立方法及设备
CN106599785B (zh) * 2016-11-14 2020-06-30 深圳奥比中光科技有限公司 人体3d特征身份信息库的建立方法及设备
CN106774879A (zh) * 2016-12-12 2017-05-31 大连文森特软件科技有限公司 一种基于ar虚拟现实技术的整形手术体验***
CN106774879B (zh) * 2016-12-12 2019-09-03 快创科技（大连）有限公司 一种基于ar虚拟现实技术的整形手术体验***
US11146774B2 (en) 2017-12-18 2021-10-12 Korea Institute Of Oriental Medicine Operating method of three-dimensional facial diagnosis apparatus
CN109472820A (zh) * 2018-10-19 2019-03-15 清华大学 单目rgb-d相机实时人脸重建方法及装置

Also Published As

Publication number Publication date
KR20150107063A (ko) 2015-09-23

Similar Documents

Publication Publication Date Title
KR101556992B1 (ko) 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템
US10102639B2 (en) Building a three-dimensional composite scene
JP5818773B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN107484428B (zh) 用于显示对象的方法
KR101560508B1 (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
JP5818857B2 (ja) 情報処理装置およびその制御方法
KR20210019552A (ko) 객체 모델링 및 움직임 방법 및 장치, 그리고 기기
CN111710036B (zh) 三维人脸模型的构建方法、装置、设备及存储介质
KR101744079B1 (ko) 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법
KR20170008638A (ko) 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
KR101082829B1 (ko) 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
US9224245B2 (en) Mesh animation
CN113366491B (zh) 眼球追踪方法、装置及存储介质
CN113628327A (zh) 一种头部三维重建方法及设备
CN111862333A (zh) 基于增强现实的内容处理方法、装置、终端设备及存储介质
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN107194985A (zh) 一种面向大场景的三维可视化方法及装置
KR20190069750A (ko) 2d를 3d로 변환하는 기술과 posit 알고리즘을 이용한 증강현실 표현방법
JP2010211732A (ja) 物体認識装置および方法
CN114373043A (zh) 一种头部三维重建方法及设备
KR20200042781A (ko) 입체 모델 생성 방법 및 장치
CN108549484A (zh) 基于人体动态姿态的人机交互方法和装置
KR101569693B1 (ko) 얼굴 성형 시뮬레이션을 위한 3차원 스캔 장치

Legal Events

Date Code Title Description
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee