KR102365721B1 - 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법 - Google Patents

모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법 Download PDF

Info

Publication number
KR102365721B1
KR102365721B1 KR1020160009441A KR20160009441A KR102365721B1 KR 102365721 B1 KR102365721 B1 KR 102365721B1 KR 1020160009441 A KR1020160009441 A KR 1020160009441A KR 20160009441 A KR20160009441 A KR 20160009441A KR 102365721 B1 KR102365721 B1 KR 102365721B1
Authority
KR
South Korea
Prior art keywords
model
eye
mobile device
generating
face
Prior art date
Application number
KR1020160009441A
Other languages
English (en)
Other versions
KR20170089260A (ko
Inventor
유정재
현 강
현 강
김재헌
김혜선
박창준
반윤지
유동완
최진성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160009441A priority Critical patent/KR102365721B1/ko
Priority to US15/405,728 priority patent/US10297076B2/en
Publication of KR20170089260A publication Critical patent/KR20170089260A/ko
Application granted granted Critical
Publication of KR102365721B1 publication Critical patent/KR102365721B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 3차원 얼굴 모델 생성 장치로, 모바일 기기의 움직임을 감지하여 둘 이상의 방향 각각에서 정지 영상을 자동 촬영하는 다시점 영상 촬영부와, 상기 다시점 영상 촬영부로부터 획득된 둘 이상의 정지 영상들을 이용하여 3차원 얼굴 모델을 생성하는 3차원 모델 생성부를 포함한다.

Description

모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법{Apparatus and Method for Generating 3D Face Model using Mobile Device}
본 발명은 3차원 얼굴 모델 기술에 관한 것으로, 특히 모바일 기기를 이용하여 3차원 얼굴 모델을 생성하는 장치 및 방법에 관한 것이다.
예술, 영화, 애니메이션 등 다양한 분야에서 이용되는 3차원 얼굴 모델은 레이저 스캔 장비를 이용하여 생성되거나, 사용자 주변에 배치된 2대 이상의 다수 카메라를 이용하여 촬영한 다 시점 영상을 기반으로 영상 간의 기하학적 상관 관계 분석을 통해 생성되었다. 그런데, 종래의 이러한 방식들은 특정한 공간과 환경, 장비들이 요구되므로, 일반 사용자가 저렴한 비용으로 본인의 3차원 얼굴 모델을 생성하는데는 활용될 수 없엇다.
따라서, 최근에는 모바일 기기에 부착된 카메라를 이동시키면서 여러 시점의 영상을 순차적으로 촬영하고, 이를 동시에 촬영한 다 시점 영상으로 간주하여 3차원 모델을 생성하는 방식이 제안되었다.
그런데, 다시점 영상 기반으로 3차원 모델을 생성하는 기술은 충분한 양의 특징점 대응 정보를 추출할 수 있도록 대상체의 텍스쳐가 정밀하게 표현된 선명한 영상들이 입력되어야 한다. 또한, 본래는 시간 축 상에서 동일 시점에 획득한 다시점 영상을 기반으로 3차원 복원을 수행해야 하는데, 다수의 다시점 카메라를 단일 모바일 카메라로 대체하여 여러 각도의 얼굴 영상을 순차적으로 촬영하기 때문에 사용자는 신체 움직임을 최소화한 상태에서 촬영을 수행해야 한다. 사용자가 모바일 기기를 이용하여 본인의 사진을 촬영할 때는, 실시간으로 촬영할 영상을 확인하기 위해서 모바일 기기 디스플레이와 같은 면에 위치한 전방향 카메라를 이용해야 하며, 촬영은 동영상 모드와 정지 영상 모드 두 가지를 사용 가능하다.
이때 동영상 모드는 시작 후 카메라를 이동시키면서 연속적으로 여러 각도의 얼굴 영상을 촬영 가능하지만, 움직임으로 인한 흐려짐(Blurring)이 발생하며 카메라 하드웨어 특성상 동영상 모드는 정지영상 모드보다 화질이 낮은 것이 일반적인 모바일 기기 카메라의 공통된 속성이다.
그렇기 때문에 선명한 영상을 촬영하기 위해서는 사용자가 모바일 기기를 이동하면서 촬영 준비가 완료되었을 때마다 정지영상 촬영을 실행해야 한다. 이때 손을 이용하여 화면 내부 또는 외부의 버튼을 누름으로써 영상을 촬영하면 모바일 기기의 흔들림으로 인해 영상의 화질이 떨어지게 된다.
음성 인터페이스 기능을 이용하여 구두로 촬영을 지시할 수 있지만 그렇게 할 경우 얼굴이 움직이게 되는 문제점이 있다. 타이머 기능을 이용하여 일정 시간 간격으로 촬영을 수행할 경우, 사용자가 충분한 시간적 여유를 갖고 각 시점에서의 모바일 기기의 위치, 방향을 조정할 수 없는 단점을 갖는다.
이러한 문제들 때문에 모바일 기기를 이용하여 순차적으로 촬영한 다시점 영상을 기반으로 3차원 얼굴 모델을 생성하는 종래의 기술은 사용자가 본인 얼굴의 선명한 다시점 영상을 획득할 수 있는 방법을 제공하지 않기 때문에, 정밀한 3차원 얼굴 모델 생성 방식으로 활용되기 어려운 한계를 갖는다.
본 발명은 충분한 양의 특징점 대응 정보를 추출할 수 있도록 대상체의 텍스쳐가 정밀하게 표현된 선명한 다시점 정지 영상들을 획득할 수 있는 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법을 제안한다.
본 발명은 사용자가 이동된 촬영 방향에서 별도의 촬영 지시를 할 필요가 없는 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법을 제공한다.
본 발명은 사용자가 촬영시마다 모바일 기기의 위치 및 방향을 조절할 수 있는 시간적 여유를 보장하는 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법을 제공한다.
본 발명은 3차원 얼굴 모델 생성 장치로, 모바일 기기의 움직임을 감지하여 둘 이상의 방향 각각에서 정지 영상을 자동 촬영하는 다시점 영상 촬영부와, 상기 다시점 영상 촬영부로부터 획득된 둘 이상의 정지 영상들을 이용하여 3차원 얼굴 모델을 생성하는 3차원 모델 생성부를 포함한다.
본 발명은 모바일 기기를 이용한 3차원 얼굴 모델 생성 방법으로, 모바일 기기의 움직임을 감지하여 둘 이상의 방향 각각에서 정지 영상을 자동 촬영하는 단계와, 상기 촬영된 둘 이상의 정지 영상들을 이용하여 3차원 얼굴 모델을 생성하는 단계를 포함한다.
한대의 카메라를 이동시키며 3차원 정보를 복원하는 Structure from Motion (SfM) 방식이 활용되기 위해, 대상객체 또는 배경이 정적으로 고정되어야 한다는 제약을 고려한다면, 사용자가 움직임을 최소화하면서 선명한 다시점 영상을 순차적으로 획득하게 하는 방법은 모바일 기기를 활용한 다시점 영상 기반 3차원 복원에서 결과물의 정확도 수준을 좌우하는 매우 중요한 요소이다.
본 발명에 따라 모바일 기기의 관성 센서 정보를 이용하여 사용자가 한대의 모바일 기기만으로 외부의 도움없이, 본인 얼굴을 여러 위치, 각도에서 최소한의 움직임만으로 촬영하고 이렇게 획득한 영상을 기반으로 3차원 얼굴 모델을 생성하는 것을 가능하게 한다. 이렇게 생성된 3차원 얼굴 모델은 캐릭터 생성과 인증, 원격의료 등의 분야에서 폭넓게 활용 가능하다.
도 1은 본 발명의 일 실시 예에 따른 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치의 블록 구성도이다.
도 2는 사용자가 모바일 기기로 자신의 얼굴을 촬영하는 일 예를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 모드 전환을 도시한 도면이다.
도 4는 본 발명에 따른 눈 영역 생성의 일 예를 도시한다.
도 5는 본 발명의 일 실시 예에 따른 모바일 기기를 이용한 3차원 얼굴 모델 생성 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 일 실시 예에 따른 다시점 영상 촬영 단계를 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시 예에 따른 카메라 속성 조절 단계를 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시 예에 따른 3차원 얼굴 모델 생성 단계를 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치의 블록 구성도이고, 도 2는 사용자가 모바일 기기로 자신의 얼굴을 촬영하는 일 예를 도시한 도면이다.
도 1을 참조하면, 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치(이하 '장치'로 기재함)(100)는 모바일 기기(1)에 구비되어, 모바일 기기(1)의 사용자가 도 2에 도시된 바와 같이 자신의 얼굴을 여러 방향에서 순차적으로 촬영함에 따라, 정밀한 3차원 얼굴 모델을 생성한다.
여기서, 모바일 기기(1)는 스마트폰, 태블릿 패드 등과 같이 관성센서(10)와 전방향의 카메라(20)가 장착되어, 사용자가 본인의 얼굴을 이동하며 촬영할 수 있는 모든 디바이스일 수 있다.
관성 센서(10)는 모바일 기기(1)의 방위각 및 경사각을 감지하여 출력하고, 모바일 기기(1)의 회전 방향과 회전량을 측정하여 출력하는 것으로, 이러한 관성 센서(10)는 주지된 구성이므로 여기서는 그 상세한 설명을 생략하기로 한다.
카메라(20)는 영상을 촬영하여 출력하는 것으로, 본 발명에 따라 사용자가 카메라(20)에 의해 촬영되는 영상을 표시부(30)를 통해서 보면서 촬영할 수 있도록 전방향으로 향하는 카메라일 수 있다. 또한, 영상을 확대 또는 축소 가능한 카메라일 수 있다.
또한, 모바일 기기(1)는 표시부(30) 및 조작부(40)를 더 포함할 수 있다. 표시부(30)는 카메라(20)에 의해 촬영된 영상을 출력한다. 조작부(40)는 본 발명에 따라 촬영 시작 지시를 입력받을 수 있는 수단으로, 일 예로 키 버튼 누름시마다 키데이터를 발생하는 키입력부 등이 포함될 수 있다. 또한, 도 1에서는 표시부(30) 및 조작부(40)가 분리되어 있는 것으로 도시되어 있으나, 터치 스크린과 같이 조작부(40)와 표시부(30)가 통합된 형태의 사용자 인터페이스로 구성될 수도 있다. 또한, 부가적으로, 장치(100)는 마이크(미도시)에 의해 입력되는 촬영 시작 지시를 입력받을 수 있다.
장치(100)는 다시점 영상 촬영부(110) 및 3차원 모델 생성부(120)를 포함한다. 다시점 영상 촬영부(110)는 모바일 기기(1)의 움직임을 감지하여 둘 이상의 방향 각각에서 정지 영상을 자동 촬영한다. 3차원 모델 생성부(120)는 다시점 영상 촬영부(100)로부터 획득된 둘 이상의 정지 영상들을 이용하여 3차원 얼굴 모델을 생성한다.
다시점 영상 촬영부(110)는 상세하게는 모드 결정부(111) 및 영상 획득부(112)를 포함하는데, 부가적으로 카메라 속성 조절부(113)를 더 포함할 수 있다.
모드 결정부(111)는 모바일 기기(1)에 구비된 관성 센서(10)에 의해 측정된 값에 따라, 카메라 모드를 이동 모드 또는 촬영 대기 모드로 설정한다. 여기서, 이동 모드는 도 2에 도시된 바와 같이 사용자가 모바일 기기(1)를 얼굴 주변의 원호를 따라 이동시키며, 소정 위치에서 충분한 시간적 여유를 갖고 카메라 영상 안에 얼굴이 최대한 크게 보일 수 있도록 모바일 기기(1)의 위치 및 방향을 조정하는 상태일 수 있다. 촬영 대기 모드는 사용자가 소정 위치에서 위치 및 방향의 조정을 완료하여 촬영 대기하는 상태일 수 있다.
모드 결정부(111)는 사용자로부터 조작부(40)를 통해 촬영 시작 지시가 입력되면 우선 현재 모드를 이동 모드로 설정한다. 그 후, 모드 결정부(111)는 관성 센서(10)에 의한 측정값을 계속적으로 체크하여 일정 시간 동안 움직임 정도에 따라, 현재 모드를 이동 모드 또는 촬영 모드로 설정한다.
일 예로, 모드 결정부(111)는 모바일 기기(1)의 움직임 정도를 소정 시간 간격으로 다음의 <수학식 1>의 값을 계산하고, 계산된 값이 소정 임계값 이상이면 이동 모드로 설정한다. 반면, <수학식 1>의 값이 소정 임계값 이하이면 촬영 대기 모드로 설정할 수 있다. 즉, 사용자가 위치 및 방향 조정과 같은 촬영 준비를 완료하고 촬영 대기중인 상황으로 간주하여, 이동 모드에서 촬영 대기 모드로 전환한다.
<수학식 1>
Figure 112016008585580-pat00001
상기 <수학식 1>에서 AbsSum(t 1 , t 2 )는 (t1, t2] 동안 관성 센서(10)의 삼축 방향 가속도 성분의 절대값을 합한 값이다. t는 현재 시간이며, t w1 , t w2 는 고정된 상수이며, t w1 은 사용자가 모바일 기기 이동을 마치고 촬영을 위해 대기해야 할 시간으로 설정하고, t w2 는 사용자가 다음 위치 촬영을 위해 모바일 기기의 위치 및 방향을 조정하는 동안의 평균적인 시간을 실험적으로 파악하여 결정한다.
도 3은 본 발명의 일 실시 예에 따른 모드 전환을 도시한 도면이다.
도 3을 참조하면, 모드 결정부(111)는 촬영 대기 모드가 시작되면 영상 획득부(112)에 촬영 지시 신호를 전송하고, 영상 획득부(112)로부터 촬영 완료 신호가 입력되면 다시 이동 모드로 전환한다. 모드 결정부(111)는 사용자로부터 촬영 종료 요청될 때까지, 도 3에 도시된 바와 같은 모드 전환을 반복한다. 이를 통해, 사용자는 도 2에 도시된 바와 같이 모바일 기기(1)를 얼굴 주변의 원호를 따라 이동시키며, 각각의 위치에서 충분한 시간적 여유를 갖고 카메라 영상 안에 얼굴이 최대한 크게 보일 수 있도록 모바일 기기(1)의 위치 및 방향을 조정하고, 촬영 준비가 완료되면 별도의 지시 동작 없이 자동으로 촬영이 이루어지도록 할 수 있다.
영상 획득부(112)는 모드 결정부(111)로부터 촬영 대기 모드로 설정됨에 따라, 촬영을 수행하여 정지 영상을 획득한다. 영상 획득부(112)는 모드 결정부(111)로부터 촬영지시 신호를 전달받을 때마다 모바일 기기(1) 전방 카메라 촬영을 1회 수행한다.
카메라 속성 조절부(113)는 테스트 영상을 촬영하여 카메라의 ISO 값와 특징점 검출의 감도를 조절한다. 즉, 카메라 속성 조절부(113)는 테스트 영상으로부터 얼굴 영역의 특징점들을 검출하고, 검출된 특징점들이 소정 값 이상이 될 때까지 카메라의 ISO 값과 특징점 검출의 감도를 증가시킨다. 이를 통해, 실제 다시점 영상 촬영시, 3차원 얼굴 표면 모델을 생성 가능한 충분한 양의 특징점이 검출될 수 있도록 한다. 상세하게는, 카메라 속성 조절부(113)는 먼저 입력된 테스트 영상으로부터 얼굴 영역을 탐지하고 탐지된 얼굴 영역 안에서 다시 피부 영역을 검출한 후, 모포로지 닫힘 연산을 수행하여 얼굴 피부영역 알파 맵을 생성한다. 영상 획득부(112)는 다시 얼굴 피부 영역 알파맵의 전경 영역 안에 대해서, 입력 영상으로부터 얼굴표면 3차원 모델 생성부(121)와 동일한 방식으로 특징점들을 검출한다. 검출된 특징점들이 필요한 소정 임계치(FeaMin_N)보다 작을 경우 카메라 속성 조절부(113)는 카메라의 ISO 값과 특징점 검출의 감도를 증가시켜 더 많은 특징점들이 검출될 수 있도록 조정하며, 검출되는 특징점 개수가 소정 임계치(FeaMin_N)에 도달할 때까지 위의 테스트 영상 촬영과 특징점 검출, ISO 값 및 특징점 검출 감도 조절의 과정을 반복한다.
3차원 모델 생성부(120)는 상세하게는 얼굴 표면 생성부(121) 및 눈 영역 생성부(122)를 포함한다.
얼굴 표면 생성부(121)는 다시점 영상 촬영부(110)로부터 획득된 둘 이상의 정지 영상들로부터 얼굴 영역의 특징점들을 추출하여 3차원 얼굴 표면 모델을 복원한다. 즉, 둘 이상의 정지 영상들로부터 특징점의 3차원 포인트와 카메라 내부, 외부 변수를 추정한다. 추정된 3차원 포인트와 카메라 정보를 이용하여 좀 더 조밀한 포인트 분포(Dense Point Cloud)를 생성하고, 이들 포인트를 연결하여 메쉬(Mesh)를 생성함으로써 3차원 표면을 복원한다. 이와 같이 복원된 3차원 표면에 앞서 추정된 카메라 정보와 입력 영상을 이용하여 각각의 메쉬 별로 입력 영상에서 대응영역을 찾아 매핑한다. 다수의 프레임 영상들 중 대응 영역을 선택하는 방법의 일 예로, 대응 영역을 찾고자 하는 메쉬가 특정 프레임 영상 안에 위치하면서, 3차원 공간에서 해당 프레임의 카메라 중심축(Principal Axis)이 메쉬의 수직 방향(Normal Vector)과 가장 일직선에 가깝게 배치되는 프레임을 선택하고, 해당 프레임 영상에서의 대응영역 텍스쳐를 가져와서 메쉬 표면에 매핑하는 방법을 활용 가능하다.
그런데, 다시점 영상들이 사용자의 시선이 이동하는 모바일 기기(1)를 따라가며 촬영됨으로 인해, 얼굴 표면 생성부(121)는 눈 영역을 복원하지 못하므로, 별도의 눈 영역 생성부(122)가 다시점 영상 촬영부(110)로부터 획득된 둘 이상의 정지 영상들로부터 눈 영역에 상응하는 3차원 안구 모델을 생성하고, 생성된 3차원 안구 모델을 상기 3차원 얼굴 표면 모델에 매핑한다.
도 4는 본 발명에 따른 눈 영역 생성의 일 예를 도시한다.
도 4를 참조하면, 눈 영역 생성부(122)는 3차원 얼굴 표면 모델의 크기에 따라 소정 비율로 안구 반지름을 추정하고, 추정된 안구 반지름을 이용하여 생성된 3차원 안구 모델(401)을 3차원 얼굴 표면 모델 내측에 배치하고, 3차원 안구 모델(401)에서 3차원 얼굴 표면 모델 바깥쪽으로 드러난 부분에 눈 영역의 텍스쳐(402)를 매핑한다. 이때, 눈 영역의 텍스터(402)는 획득한 둘 이상의 정지 영상들 중에서 정면 얼굴의 검출 강도가 가장 크게 산출되는 키 프레임(403)으로부터 획득될 수 있다. 여기서, 키 프레임(403)은 얼굴 크기가 영상에 가득차는 영상이라고 가정할 수 있고, 키 프레임(403)에서 피부 색상 및 눈 영역 색상에 대한 사전 지식을 활용하여 눈 영역이 검출된다. 눈 영역 생성부(122)는 정면 얼굴 키 프레임(403)의 눈 영역으로부터 눈동자와 흰자위 부분의 텍스쳐를 획득하여, 3차원 안구 모델(401)의 노출된 부위에 눈 영역의 텍스쳐(402)를 매핑한다.
도 5는 본 발명의 일 실시 예에 따른 모바일 기기를 이용한 3차원 얼굴 모델 생성 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 장치(100)는 크게 모바일 기기(1)의 움직임을 감지하여 둘 이상의 방향 각각에서 정지 영상을 자동 촬영하는 단계(S510)와, 획득된 둘 이상의 정지 영상들을 이용하여 3차원 얼굴 모델을 생성하는 단계(S520)를 포함한다.
S510은 상세하게는, 모발이 기기에 구비된 관성 센서에 의해 측정된 값에 따라, 카메라 모드를 이동 모드 또는 촬영 대기 모드로 설정하는 단계와, 카메라 모드가 촬영 대기 모드로 설정됨에 따라, 촬영을 수행하여 정지 영상을 획득하는 단계를 포함하는데, 이데 대한 상세한 설명은 하기의 도 6을 참조하여 설명하기로 한다. 부가적으로, S510은 테스트 영상을 촬영하여 카메라의 ISO 값과 특징점 검출의 감도를 조절하는 단계를 더 포함하는데, 이에 대한 상세한 설명은 하기의 도 7을 참조하여 설명하기로 한다.
그리고, S520에 대한 상세한 설명은 하기의 도 8을 참조하여 설명하기로 한다.
도 6은 본 발명의 일 실시 예에 따른 다시점 영상 촬영 단계를 설명하기 위한 순서도이다.
도 6을 참조하면, 장치(100)는 사용자로부터 조작부(40)를 통해 3차원 영상 촬영 지시 신호가 입력(S610)됨에 따라, 모바일 기기(1)에 구비된 관성 센서(10)에 의해 측정된 값에 따라, 카메라 모드를 이동 모드 또는 촬영 대기 모드로 설정한다(S620~S630). 즉, 장치(100)는 우선 현재 모드를 이동 모드로 설정한 후, 관성 센서(10)에 의한 측정값을 계속적으로 확인(S620)하여, 일정 시간 동안 움직임 정도에 따라 현재 모드를 이동 모드 또는 촬영 모드로 설정한다(S630). 이때, 장치(100)는 모바일 기기(1)의 움직임 정도를 소정 시간 간격으로 상기 <수학식 1>의 값을 계산하고, 계산된 값이 소정 임계값 이상이면 이동 모드로 설정하고, 계산된 값이 소정 임계값 이상이 아니면 촬영 대기 모드로 설정한다.
S630에서 이동 모드로 설정되면, 장치(100)는 사용자가 모바일 기기(1)의 위치 및 방향을 조정하는 것이라고 판단하여, S620 단계에서 계속적으로 관성 센서를 확인한다. 반면, S630에서 촬영 대기 모드로 설정되면 사용자가 위치 및 방향 조정과 같은 촬영 준비를 완료하고 대기중인 상황으로 간주하여, 장치(100)는 촬영을 수행하여 정지 영상을 획득한다(S640). 장치(100)는 정지 영상이 촬영되면 다시 이동 모드로 전환한다(S650).
장치(100)는 사용자로부터 촬영 종료 요청(S660)될 때까지, S620 내지 S660D을 반복적으로 수행한다. 이를 통해, 사용자는 도 2에 도시된 바와 같이 모바일 기기(1)를 얼굴 주변의 원호를 따라 이동시키며, 각각의 위치에서 촬영 준비가 완료되면 별도의 지시 동작 없이 자동으로 촬영이 이루어지도록 할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 카메라 속성 조절 단계를 설명하기 위한 순서도이다.
도 7을 참조하면, 장치(100)는 테스트 영상을 촬영(S710)하고, 테스트 영상으로부터 얼굴 특징점을 검출한다(S720). 상세하게는 얼굴 영역을 탐지하고 탐지된 얼굴 영역 안에서 다시 피부 영역을 검출한 후, 모포로지 닫힘 연산을 수행하여 얼굴 피부 영역 알파맵을 생성한다. 그런 후, 다시 얼굴 피부 영역 알파맵의 전경 영역 안에 대해서, 입력 영상으로부터 특징점들을 검출한다.
장치(100)는 검출된 특징점들이 일정 필요로 하는 소정 임계치(FeaMin_N) 이하인지를 판단한다(S730).
S730의 판단 결과 특징점들의 수가 소정 임계치 이하일 경우, 장치(100)는 카메라의 ISO 값과 특징점 검출의 감도를 증가시켜 더 많은 특징점들이 검출될 수 있도록 조정한다(S740). S730 및 S740은 검출되는 특징점 개수가 소정 임계치(FeaMin_N)에 도달할 때까지 반복될 수 있다.
도 8은 본 발명의 일 실시 예에 따른 3차원 얼굴 모델을 생성하는 단계를 설명하기 위한 순서도이다.
도 8을 참조하면, 장치(100)는 획득된 둘 이상의 다시점 다시점 정지 영상들로부터 얼굴 영역의 특징점들을 추출하여 3차원 얼굴 표면 모델을 복원한다(S810). 즉, 둘 이상의 정지 영상들로부터 특징점들의 3차원 포인트와 카메라 내부, 외부 변수를 추정한다. 추정된 3차원 포인트와 카메라 정보를 이용하여 좀 더 조밀한 포인트 분포(Dense Point Cloud)를 생성하고, 이들 포인트를 연결하여 메쉬(Mesh)를 생성함으로써 3차원 표면을 복원한다. 이와 같이 복원된 3차원 표면에 앞서 추정된 카메라 정보와 입력 영상을 이용하여 각각의 메쉬 별로 입력 영상에서 대응영역을 찾아 매핑한다. 다수의 프레임 영상들 중 대응 영역을 선택하는 방법의 일 예로, 대응 영역을 찾고자 하는 매쉬가 특정 프레임 영상 안에 위치하면서, 3차원 공간에서 해당 프레임의 카메라 중심축(Principal Axis)이 메쉬의 수직 방향(Normal Vector)과 가장 일직선에 가깝게 배치되는 프레임을 선택하고, 해당 프레임 영상에서의 대응영역 텍스쳐를 가져와서 메쉬 표면에 매핑하는 방법을 활용 가능하다.
그런데, 다시점 영상들이 사용자의 시선이 이동하는 모바일 기기(1)를 따라가며 촬영됨으로 인해, 눈 영역이 복원되지 못하므로, 장치(100)는 획득된 둘 이상의 정지 영상들로부터 눈 영역에 상응하는 3차원 안구 모델을 생성한다(S820). 3차원 얼굴 표면 모델의 크기에 따라 소정 비율로 안구 반지름을 추정하고, 추정된 안구 반지름을 이용하여 생성된 3차원 안구 모델이 생성된다.
그런 후, 장치(100)는 생성된 3차원 안구 모델을 3차원 얼굴 표면 모델에 매핑한다(S830). 상세하게는, 장치(100)는 생성된 3차원 안구 모델을 3차원 얼굴 모델 내측에 배치하고, 3차원 안구 모델에서 3차원 얼굴 표면 모델 바깥쪽으로 드러난 부분에 눈 영역의 텍스쳐를 매핑한다. 이때, 눈 영역의 텍스쳐는 획득된 둘 이상의 정지 영상들 중에서 정면 얼굴의 검출 강도가 가장 크게 산출되는 키 프레임으로부터 획득될 수 있다. 여기서, 키 프레임은 얼굴 크기가 영상에 가득차는 영상이라고 가정할 수 있고, 키 프레임에서 피부 색상 및 눈 영역에 대한 사전 지식을 활용하여 눈 영역이 검출된다.

Claims (17)

  1. 모바일 기기의 움직임을 감지하여 둘 이상의 방향 각각에서 정지 영상을 자동 촬영하는 다시점 영상 촬영부와,
    상기 다시점 영상 촬영부로부터 획득된 둘 이상의 정지 영상들을 이용하여 3차원 얼굴 모델을 생성하는 3차원 모델 생성부를 포함하고,
    상기 다시점 영상 촬영부는
    상기 모바일 기기에 구비된 관성 센서에 의해 측정된 값에 따라, 카메라 모드를 이동 모드 또는 촬영 대기 모드로 설정하는 모드 결정부와,
    상기 모드 결정부로부터 촬영 대기 모드로 설정됨에 따라, 촬영을 수행하여 정지 영상을 획득하는 영상 획득부를 포함함을 특징으로 하는 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치.
  2. 삭제
  3. 제1 항에 있어서, 상기 모드 결정부는
    소정 시간 간격으로 관성센서의 움직임 누적량 비율이 소정 임계값 이상인지의 여부에 따라 이동 모드 또는 촬영 대기 모드로 설정함을 특징으로 하는 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치.
  4. 제 1항에 있어서, 상기 다시점 영상 촬영부는
    테스트 영상을 촬영하여 카메라의 ISO 값과 특징점 검출의 감도를 조절하는 카메라 속성 조절부를 포함함을 특징으로 하는 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치.
  5. 제 4항에 있어서, 상기 카메라 속성 조절부는
    상기 테스트 영상으로부터 얼굴 영역의 특징점들을 검출하고, 검출된 특징점들이 소정 값 이상이 될 때까지 카메라의 ISO 값과 특징점 검출의 감도를 증가시킴을 특징으로 하는 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치.
  6. 제 1항에 있어서, 상기 3차원 모델 생성부는
    상기 다시점 영상 촬영부로부터 획득된 둘 이상의 정지 영상들로부터 얼굴 영역의 특징점들을 추출하여 3차원 얼굴 표면 모델을 복원하는 얼굴 표면 생성부와,
    상기 다시점 영상 촬영부로부터 획득된 둘 이상의 정지 영상들로부터 눈 영역에 상응하는 3차원 안구 모델을 생성하고, 생성된 3차원 안구 모델을 상기 3차원 얼굴 표면 모델에 매핑하는 눈 영역 생성부를 포함함을 특징으로 하는 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치.
  7. 제 6항에 있어서, 상기 눈 영역 생성부는
    상기 3차원 얼굴 표면 모델의 크기에 따라 소정 비율로 안구 반지름을 추정하고, 추정된 안구 반지름을 이용하여 생성된 3차원 안구 모델을 3차원 얼굴 표면 모델 내측에 배치하고, 3차원 안구 모델에서 3차원 얼굴 표면 모델 바깥쪽으로 드러난 부분에 눈 영역의 텍스쳐를 매핑함을 특징으로 하는 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치.
  8. 제 7항에 있어서, 상기 눈 영역 생성부는
    상기 획득된 둘 이상의 정지 영상들 중에서 정면 얼굴의 검출 강도가 가장 크게 산출되는 키 프레임으로부터 눈 영역의 텍스쳐를 획득함을 특징으로 하는 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치.
  9. 모바일 기기의 움직임을 감지하여 둘 이상의 방향 각각에서 정지 영상을 자동 촬영하는 단계와,
    상기 촬영된 둘 이상의 정지 영상들을 이용하여 3차원 얼굴 모델을 생성하는 단계를 포함하고,
    상기 촬영하는 단계는
    상기 모바일 기기에 구비된 관성 센서에 의해 측정된 값에 따라, 카메라 모드를 이동 모드 또는 촬영 대기 모드로 설정하는 단계와,
    상기 카메라 모드가 촬영 대기 모드로 설정됨에 따라, 촬영을 수행하여 정지 영상을 획득하는 단계를 포함함을 특징으로 하는 모바일 기기를 이용한 3차원 얼굴 모델 생성 방법.
  10. 삭제
  11. 제9 항에 있어서, 상기 설정하는 단계는
    소정 시간 간격으로 관성센서의 움직임 누적량 비율이 소정 임계값 이상인지의 여부에 따라 이동 모드 또는 촬영 대기 모드로 설정함 특징으로 하는 모바일 기기를 이용한 3차원 얼굴 모델 생성 방법.
  12. 제 9항에 있어서, 상기 촬영하는 단계는
    테스트 영상을 촬영하여 카메라의 ISO 값과 특징점 검출의 감도를 조절하는 단계를 더 포함함을 특징으로 하는 모바일 기기를 이용한 3차원 얼굴 모델 생성 방법.
  13. 제 12항에 있어서, 상기 조절하는 단계는
    상기 테스트 영상으로부터 얼굴 영역의 특징점들을 검출하고, 검출된 특징점들이 소정 값 이상이 될 때까지 카메라의 ISO 값과 특징점 검출의 감도를 증가시킴을 특징으로 하는 모바일 기기를 이용한 3차원 얼굴 모델 생성 방법.
  14. 제 9항에 있어서, 상기 3차원 얼굴 모델을 생성하는 단계는
    상기 촬영된 둘 이상의 정지 영상들로부터 얼굴 영역의 특징점들을 추출하여 3차원 얼굴 표면 모델을 복원하는 단계와,
    상기 촬영된 둘 이상의 정지 영상들로부터 눈 영역에 상응하는 3차원 안구 모델을 복원하는 단계와,
    상기 생성된 3차원 안구 모델을 상기 3차원 얼굴 표면 모델에 매핑하는 단계를 포함함을 특징으로 하는 모바일 기기를 이용한 3차원 얼굴 모델 생성 방법.
  15. 제 14항에 있어서, 상기 3차원 안구 모델을 복원하는 단계는
    상기 3차원 얼굴 표면 모델의 크기에 따라 소정 비율로 안구 반지름을 추정하고, 안구 반지름을 이용하여 3차원 안구 모델을 생성함을 특징으로 하는 3차원 얼굴 모델 생성 방법.
  16. 제 14항에 있어서, 상기 매핑하는 단계는
    상기 3차원 안구 모델을 상기 3차원 얼굴 표면 모델 내측에 배치하는 단계와,
    상기 3차원 안구 모델에서 3차원 얼굴 표면 모델 바깥쪽으로 드러난 부분에 눈 영역의 텍스쳐를 매핑하는 단계를 특징으로 하는 모바일 기기를 이용한 3차원 얼굴 모델 생성 방법.
  17. 제 16항에 있어서, 상기 눈 영역의 텍스쳐는
    상기 촬영된 둘 이상의 정지 영상들 중에서 정면 얼굴의 검출 강도가 가장 크게 산출되는 키 프레임으로부터 획득됨을 특징으로 하는 모바일 기기를 이용한 3차원 얼굴 모델 생성 방법.
KR1020160009441A 2016-01-26 2016-01-26 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법 KR102365721B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160009441A KR102365721B1 (ko) 2016-01-26 2016-01-26 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법
US15/405,728 US10297076B2 (en) 2016-01-26 2017-01-13 Apparatus and method for generating 3D face model using mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160009441A KR102365721B1 (ko) 2016-01-26 2016-01-26 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170089260A KR20170089260A (ko) 2017-08-03
KR102365721B1 true KR102365721B1 (ko) 2022-02-22

Family

ID=59360737

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160009441A KR102365721B1 (ko) 2016-01-26 2016-01-26 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US10297076B2 (ko)
KR (1) KR102365721B1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
CN107180441B (zh) * 2016-03-10 2019-04-09 腾讯科技（深圳）有限公司 生成眼睛图像的方法和装置
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US20180137663A1 (en) * 2016-11-11 2018-05-17 Joshua Rodriguez System and method of augmenting images of a user
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US20180227482A1 (en) * 2017-02-07 2018-08-09 Fyusion, Inc. Scene-aware selection of filters and effects for visual digital media content
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11169661B2 (en) * 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
CN108182397B (zh) * 2017-12-26 2021-04-20 王华锋 一种多姿态多尺度的人脸验证方法
US20190228580A1 (en) * 2018-01-24 2019-07-25 Facebook, Inc. Dynamic Creation of Augmented Reality Effects
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
KR102455468B1 (ko) * 2018-06-22 2022-10-19 한국전자통신연구원 객체의 3차원 모델을 복원하는 방법 및 장치
US10666071B2 (en) * 2018-07-03 2020-05-26 Xentris Wireless, Llc Inertial user interface portable power bank and method of operation
US10685457B2 (en) * 2018-11-15 2020-06-16 Vision Service Plan Systems and methods for visualizing eyewear on a user
CN110312121A (zh) * 2019-05-14 2019-10-08 广东康云科技有限公司 一种3d智能教育监控方法、***和存储介质
US11082609B2 (en) * 2019-06-11 2021-08-03 Joseph Garff User device for facilitating the controlled operation of a camera
CN110738206B (zh) * 2019-10-15 2023-04-18 四川川大智胜软件股份有限公司 一种三维人脸偏振照明和信息采集***及其方法
US11010951B1 (en) * 2020-01-09 2021-05-18 Facebook Technologies, Llc Explicit eye model for avatar
US11657570B2 (en) 2020-06-02 2023-05-23 Koninklijke Philips N.V. Creating a 3D model using two or more cameras with variable focal lengths
US11688137B2 (en) * 2021-07-22 2023-06-27 Fxgear Inc. Method and apparatus for rendering 3D polygon meshes using multi-view textures
WO2024085397A1 (ko) * 2022-10-18 2024-04-25 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006118886A (ja) 2004-10-19 2006-05-11 Sanyo Electric Co Ltd 距離算出システム、距離算出システムの距離算出方法
US20130086674A1 (en) * 2011-09-30 2013-04-04 Microsoft Corporation Multi-frame depth image information identification

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ525241A (en) * 2003-04-08 2006-02-24 Univ Waikato Range sensing system with shuttered receiver.
KR20050045774A (ko) 2003-11-12 2005-05-17 (주)버추얼미디어 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원장치 및 방법
KR101386773B1 (ko) 2007-07-31 2014-04-21 삼성전자주식회사 휴대단말에서의 3차원 이미지를 생성하는 방법 및 장치
KR100914847B1 (ko) 2007-12-15 2009-09-02 한국전자통신연구원 다시점 영상정보를 이용한 삼차원 얼굴 모델 생성방법 및장치
KR101173668B1 (ko) * 2009-10-27 2012-08-20 서울대학교산학협력단 다중 공간 주파수를 이용한 3차원 물체의 깊이 측정 방법 및 그 장치
KR20110056865A (ko) 2009-11-23 2011-05-31 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
US20120162372A1 (en) 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Apparatus and method for converging reality and virtuality in a mobile environment
US20130286161A1 (en) 2012-04-25 2013-10-31 Futurewei Technologies, Inc. Three-dimensional face recognition for mobile devices
KR20140109020A (ko) 2013-03-05 2014-09-15 한국전자통신연구원 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006118886A (ja) 2004-10-19 2006-05-11 Sanyo Electric Co Ltd 距離算出システム、距離算出システムの距離算出方法
US20130086674A1 (en) * 2011-09-30 2013-04-04 Microsoft Corporation Multi-frame depth image information identification

Also Published As

Publication number Publication date
US10297076B2 (en) 2019-05-21
US20170213385A1 (en) 2017-07-27
KR20170089260A (ko) 2017-08-03

Similar Documents

Publication Publication Date Title
KR102365721B1 (ko) 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법
JP6522708B2 (ja) プレビュー画像表示方法及び装置、並びに端末
EP3414742B1 (en) Optimized object scanning using sensor fusion
JP6974873B2 (ja) シーンから深度情報を取得するための装置および方法
JP5659305B2 (ja) 画像生成装置および画像生成方法
JP5659304B2 (ja) 画像生成装置および画像生成方法
JP5769813B2 (ja) 画像生成装置および画像生成方法
KR101845318B1 (ko) 핸드헬드 장치상에서 캡처된 다수의 이미지로부터의 인물사진 이미지 합성
US8976255B2 (en) Imaging apparatus
JP5865388B2 (ja) 画像生成装置および画像生成方法
CN106161939B (zh) 一种照片拍摄方法及终端
US20120194513A1 (en) Image processing apparatus and method with three-dimensional model creation capability, and recording medium
WO2020110323A1 (ja) 動画合成装置、動画合成方法及び記録媒体
JP6559870B1 (ja) 動画合成装置、動画合成方法及び動画合成プログラム
KR20200138349A (ko) 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체
US10447926B1 (en) Motion estimation based video compression and encoding
CN112291459B (zh) 一种摄影装置和三维扫描设备
WO2015154359A1 (zh) 拍摄的实现方法及装置
CN112614214A (zh) 动作捕捉方法、装置、电子设备及存储介质
US10165186B1 (en) Motion estimation based video stabilization for panoramic video from multi-camera capture device
CN112738388B (zh) 拍照处理方法、***、电子设备及存储介质
CN111935389B (zh) 拍摄对象切换方法、装置、拍摄设备及可读存储介质
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
JP7343237B2 (ja) 追跡方法
CN111726531B (zh) 图像拍摄方法、处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant