KR101220098B1 - 저전력 단말을 위한 3차원 입체영상 변환 시스템 및 그 방법 - Google Patents

저전력 단말을 위한 3차원 입체영상 변환 시스템 및 그 방법 Download PDF

Info

Publication number
KR101220098B1
KR101220098B1 KR1020110044350A KR20110044350A KR101220098B1 KR 101220098 B1 KR101220098 B1 KR 101220098B1 KR 1020110044350 A KR1020110044350 A KR 1020110044350A KR 20110044350 A KR20110044350 A KR 20110044350A KR 101220098 B1 KR101220098 B1 KR 101220098B1
Authority
KR
South Korea
Prior art keywords
image
face
depth information
information
region
Prior art date
Application number
KR1020110044350A
Other languages
English (en)
Other versions
KR20120126501A (ko
Inventor
이명진
최승원
이봉렬
Original Assignee
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국항공대학교산학협력단 filed Critical 한국항공대학교산학협력단
Priority to KR1020110044350A priority Critical patent/KR101220098B1/ko
Publication of KR20120126501A publication Critical patent/KR20120126501A/ko
Application granted granted Critical
Publication of KR101220098B1 publication Critical patent/KR101220098B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 저전력 단말기 환경에서 단일 카메라로부터 획득된 2차원 헤드앤숄더 영상을 실시간으로 3차원 입체 영상으로 변환하여 제공하는 기술에 관한 것으로, 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 시스템은 사용자의 얼굴 및 몸통을 촬영한 영상을 획득하는 영상획득부, 상기 영상획득부와 연결되어, 획득된 2차원 영상을 3차원 영상으로 변환하는 작업을 제어하는 영상변환제어부, 상기 영상변환제어부와 연결되어, 영상의 얼굴 영역 정보를 추출하여 분석하는 얼굴영역추출부, 상기 영상변환제어부와 연결되어, 영상의 몸통 영역 정보를 추출하여 분석하는 몸통영역추출부 및 상기 영상변환제어부와 연결되어, 영상의 얼굴 영역과 몸통 영역 정보를 토대로 3차원 영상을 생성하는 3차원영상생성부를 포함하는 것을 기술적 특징으로 하며, 2차원 영상의 얼굴 영역과 몸통 영역의 형태 모델링을 통해 하드웨어 의존도를 줄이고, 영상 처리량을 감소시켜, 3차원 동영상으로 변환시켜 제공하는 것을 기술적 목적으로 한다.

Description

저전력 단말을 위한 3차원 입체영상 변환 시스템 및 그 방법{Transform system and method to convert 2D images to 3D stereoscopic images for low power devices}
본 발명은 저전력 단말기 환경에서 단일 카메라로부터 획득된 2차원 헤드앤숄더 영상을 실시간으로 3차원 입체 영상으로 변환하여 제공하는 저전력 단말을 위한 3차원 입체영상 변환 시스템 및 그 방법에 관한 것이다.
최근 2차원 디스플레이 기술 개발이 포화됨에 따라, 3차원 디스플레이 기술이 차세대 디스플레이로서 큰 주목을 받고 있다. 이러한 추세에 따라 기존의 2차원 영상을 3차원 입체영상으로 변환하는 기술이 비약적으로 발전하고 있다.
종래의 2차원 영상의 3차원 변환 기법으로는 수정 시간차(MTD : Modified Time Difference)를 이용한 변환, 움직임 벡터를 이용한 변환, 깊이 계산을 이용한 변환 등 다양한 알고리즘이 제안되었다.
종래 상기 수정 시간차(MTD) 방식은 일본 산요(SANYO) 전기 주식회사에서 개발한 방식으로 현재 영상과 시간적으로 지연된 영상을 각각 좌안 영상과 우안 영상으로 보여 입체 효과를 얻는 방식이다. [도 18]은 수정 시간차(MTD)를 이용한 종래의 3차원 영상 변환의 원리를 보여주고 있다. 영상에서 객체가 우측으로 운동하고 있고, 카메라는 정지하고 있는 상태일 때, 현재 (N)번째 영상을 좌안 영상으로 하고, (N-2)번째 영상을 우안 영상으로 구성한다. 이렇게 생성된 좌안과 우안 영상을 양안에 제시하면, 객체는 화면 앞쪽으로 튀어나오듯이 보이고, 배경은 화면에 제시되어 입체감을 느끼게 해주는 것이다.
또한, 종래 움직임 벡터를 이용한 방식은 현재 프레임과 이전 프레임을 통해 2차원 영상의 움직임을 측정한 후에 얻어진 깊이와 스테레오 파라미터로부터 시차를 측정하여 3차원 영상으로 변환하는 방법이다.
또한, 종래 깊이 계산을 이용한 방식은 단안 단서로부터 영상의 채도(Saturation) 정보와 디포커스(defocus) 정보, 기하학적(geometric depth) 정보를 획득하여 상대적 깊이지도를 생성하여 3차원으로 변환하는 방법, 영상의 휘도(Y)성분을 이용하여 객체 분할과 수직 블록 매핑, 경계스캔 등을 통해 상대적 깊이정보를 획득하여 3차원으로 변환하는 방법 등 다양한 방식들이 존재한다.
하지만 상기의 수정 시간차(MTD) 방식과 움직임 벡터를 이용한 방식은 현재 프레임뿐만 아니라 이전 프레임에 대한 의존도가 크기 때문에 카메라의 움직임 여부에 따라 제대로 된 3차원 영상이 나오지 않을 수 있는 문제점이 있다. 이러한 문제점을 해결하기 위해, 카메라의 움직임 여부를 고려한 2차원 영상의 3차원 영상 변환 방법이 제안되었으나, 이는 영상의 특징점 추출, 카메라 움직임 인식, 움직임 시차 3차원 변환, 장면 구조 추정 3차원 변환, 홀 필링, 영상 합성 등의 복잡한 영상 처리과정을 거치게 된다. 깊이 계산을 이용한 방식 또한 영상 처리량이 많으므로 상기의 두 가지의 방식은 적은 처리량을 요구하는 저전력 단말기 환경에서는 적합하지 않은 단점이 있다.
일본 특허공개공보 평10-108152호에는, 휴대 기기의 기능을 향상시키는 하나의 방안으로서, 3차원 디스플레이를 제공하도록 양안시차를 이용하는 휴대정보 단말기를 개시하고 있다. 그러나 전술한 종래의 휴대정보 단말기는 2개의 카메라로 인해 가격이 비싸고 단말기의 전력 소모가 크기 때문에 경제적이지 못하다. 이를 보완하여 3차원 표시 기능을 갖는 저전력 플랫폼 즉, 단일 카메라로부터 얻은 2차원 헤드앤숄더 영상을 3차원 영상으로 변환해주는 저전력 플랫폼이 개발되었다.
하지만 종래 저전력 단말기로부터 얻은 2차원 헤드앤숄더 영상을 3차원 영상으로 변환해주는 저전력 플랫폼의 경우, 3차원 영상으로 변환해주는 장점이 있으나, 정지영상에 한하고, 3차원 디스플레이가 가능한 액정 모듈을 필요로 하는 단점이 존재한다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로,
본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 시스템의 목적은, 2차원으로 촬영된 사용자 영상에 관해 얼굴 영역과 몸통 영역의 형태 모델링을 통해 하드웨어 의존도를 줄이고, 영상 처리량을 감소시켜, 3차원 동영상으로 변환시켜 제공하는데 있다.
다른 목적은, 얼굴영역추출부를 포함하여, 피부색패턴으로 얼굴영역을 추출하고, 타원형 모델링을 통해 얼굴 형태 정보를 획득하는데 있다.
또 다른 목적은, 얼굴영역추출부를 하르분류기(haar classifier)로 구성하여, 얼굴 영역 추출 작업을 용이하게 하는데 있다.
또 다른 목적은, 몸통영역추출부를 포함하여, 잡음을 제거한 몸통 영역을 추출하는데 있다.
또 다른 목적은, 세크멘테이션생성부를 포함하여, 2차원 영상의 배경과 객체를 효율적으로 분리하는데 있다.
또 다른 목적은, 평균프레임생성부를 포함하여, 화면 내 특정 위치의 픽셀값 평균을 산출하는데 있다.
또 다른 목적은, 평균진폭프레임생성부를 포함하여, 획득한 프레임과 평균 프레임에 따른 평균 진폭 프레임을 생성하는데 있다.
또 다른 목적은, 객체생성부를 포함하여, 배경과 객체를 구분하는 바운더리를 생성하는데 있다.
또 다른 목적은, 영상개선부를 포함하여, 몸통 형태 정보의 잡음을 제거하는데 있다.
또 다른 목적은, 깊이정보생성부를 더 포함하여, 얼굴 영역과 몸체 영역의 깊이 정보를 생성하는데 있다.
또 다른 목적은, 깊이정보생성부를 더 포함하여, 얼굴 영역과 몸체 영역을 분리하여, 각각의 깊이 정보를 생성하는데 있다.
또 다른 목적은, 깊이정보합성부를 더 포함하여, 최종 헤드앤숄더 영상의 깊이 정보를 산출하는데 있다.
또 다른 목적은, 시차정보부여부를 더 포함하여, 최종 헤드앤숄더 부분의 각 픽셀에 시차정보를 부여하는데 있다.
본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 방법의 목적은, 2차원 영상의 얼굴 영역과 몸통 영역에 깊이 정보과 시차 정보를 고려하여, 3차원 영상으로 변환하는 방법을 제공하는데 있다.
다른 목적은, 몸통 영역 추출 시, 배경 학습을 통해 몸통 형태 정보를 획득하는데 있다.
또 다른 목적은, 몸통 영역의 잡음을 제거하는데 있다.
또 다른 목적은, 얼굴 영역 추출 시, 얼굴 영역을 검출하여, 머리 형태 정보를 획득하는데 있다.
또 다른 목적은, 얼굴 깊이 정보 및 몸통 깊이 정보를 분석하고, 이를 합성하는데 있다.
또 다른 목적은, 얼굴 영역과 몸통 영역의 깊이 정보를 기반으로 최종 헤드앤숄더 깊이 정보를 제공하는데 있다.
또 다른 목적은, 각 픽셀에 따른 시차 정보를 부여하는데 있다.
본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 시스템은 사용자의 얼굴 및 몸통을 촬영한 영상을 획득하는 영상획득부, 상기 영상획득부와 연결되어, 획득된 2차원 영상을 3차원 영상으로 변환하는 작업을 제어하는 영상변환제어부, 상기 영상변환제어부와 연결되어, 영상의 얼굴 영역 정보를 추출하여 분석하는 얼굴영역추출부, 상기 영상변환제어부와 연결되어, 영상의 몸통 영역 정보를 추출하여 분석하는 몸통영역추출부 및 상기 영상변환제어부와 연결되어, 영상의 얼굴 영역과 몸통 영역 정보를 토대로 3차원 영상을 생성하는 3차원영상생성부를 포함하는 것을 특징으로 한다.
본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 방법은 영상획득부를 이용하여, 2차원 헤드앤숄더 영상을 획득하는 단계, 얼굴영역추출부 및 몸통영역추출부를 이용하여, 상기 2차원 헤드앤숄더 영상의 얼굴 영역과 몸통 영역을 추출하는 단계 및 3차원영상생성부를 이용하여, 상기 얼굴영역과 몸통 영역에 깊이 정보와 시차 정보를 고려한 입체영상을 제공하는 단계를 포함하는 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 시스템은 2차원으로 촬영된 사용자 영상에 관해 얼굴 영역과 몸통 영역의 형태 모델링을 통해 3차원 동영상으로 변환시킴으로써, 하드웨어 의존도를 줄일 수 있으며, 영상 처리량을 감소시킬 수 있으며, 변환된 3차원 영상을 실시간으로 제공할 수 있는 효과가 있다.
또한, 얼굴영역추출부를 포함함으로써, 피부색패턴으로 얼굴영역을 추출하고, 타원형 모델링을 통해 얼굴 형태 정보를 용이하게 획득할 수 있는 효과가 있다.
또한, 얼굴영역추출부를 하르 분류기(haar classifier)로 구성함으로써, 얼굴 영역 추출 작업을 용이하게 하는 효과가 있다.
또한, 몸통영역추출부를 포함함으로써, 잡음을 제거한 몸통 영역을 추출할 수 있는 효과가 있다.
또한, 세크멘테이션생성부를 포함함으로써, 2차원 영상의 배경과 객체를 효율적으로 분리할 수 있는 효과가 있다.
또한, 평균프레임생성부를 포함함으로써, 화면 내 특정 위치의 픽셀값 평균을 산출할 수 있는 효과가 있다.
또한, 평균진폭프레임생성부를 포함함으로써, 획득한 프레임과 평균 프레임에 따른 평균 진폭 프레임을 생성할 수 있는 효과가 있다.
또한, 객체생성부를 포함함으로써, 배경과 객체를 구분하는 바운더리를 생성할 수 있는 효과가 있다.
또한, 영상개선부를 포함함으로써, 몸통 형태 정보의 잡음을 효율적으로 제거할 수 있는 효과가 있다.
또한, 깊이정보생성부를 더 포함함으로써, 얼굴 영역과 몸체 영역의 깊이 정보를 생성할 수 있는 효과가 있다.
또한, 깊이정보생성부를 더 포함함으로써, 얼굴 영역과 몸체 영역을 분리하여, 각각의 깊이 정보를 생성할 수 있는 효과가 있다.
또한, 깊이정보합성부를 더 포함함으로써, 최종 헤드앤숄더 영상의 깊이 정보를 산출할 수 있는 효과가 있다.
또한, 시차정보부여부를 더 포함함으로써, 최종 헤드앤숄더 부분의 각 픽셀에 시차정보를 부여할 수 있는 효과가 있다.
본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 방법은, 2차원 영상의 얼굴 영역과 몸통 영역에 깊이 정보과 시차 정보를 고려하여, 3차원 영상으로 변환하는 방법을 제공할 수 있는 효과가 있다.
또한, 몸통 영역 추출 시, 배경 학습을 통해 몸통 형태 정보를 획득할 수 있는 효과가 있다.
또한, 몸통 영역의 잡음을 효율적으로 제거할 수 있는 효과가 있다.
또한, 얼굴 영역 추출 시, 얼굴 영역을 검출하여, 머리 형태 정보를 획득할 수 있는 효과가 있다.
또한, 얼굴 깊이 정보 및 몸통 깊이 정보를 분석하고, 이를 합성할 수 있는 효과가 있다.
또한, 얼굴 영역과 몸통 영역의 깊이 정보를 기반으로 최종 헤드앤숄더 깊이 정보를 제공할 수 있는 효과가 있다.
또한, 각 픽셀에 따른 시차 정보를 부여할 수 있는 효과가 있다.
도 1은 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 시스템의 전체 구성도.
도 2는 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 시스템의 얼굴영역추출부의 상세 구성도.
도 3은 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 시스템의 몸통영역추출부의 상세 구성도.
도 4는 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 시스템의 세그멘테이션생성부의 상세 구성도.
도 5는 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 시스템의 깊이정보생성부의 상세 구성도.
도 6은 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 방법의 전체 흐름도.
도 7은 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 방법의 S20 단계의 몸통 영역 추출의 상세 흐름도.
도 8은 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 방법의 S20 개념도.
도 9는 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 방법의 S20 단계의 배경 학습의 일실시예.
도 10은 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 방법의 얼굴 영역 검출의 상세 흐름도.
도 11 내지 도 13은 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 방법의 얼굴 영역 추출의 개념도 및 일실시예.
도 14는 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 방법의 S30단계의 개념도.
도 15 내지 도 16은 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 방법의 S40단계의 개념도.
도 17은 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 방법의 S50단계의 일실시예.
도 18은 종래 3차원 영상 변환 원리의 개념도.
이하, 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 시스템 및 그 방법을 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.
[도 1]은 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 시스템(100)의 전체 구성도로, 영상획득부(10), 영상변환제어부(20), 얼굴영역추출부(30), 몸통영역추출부(40), 깊이정보생성부(50), 시차정보부여부(60) 및 3차원영상생성부(70)를 포함한다.
상기 영상획득부(10)는 사용자의 얼굴 및 몸통을 촬영한 영상(헤드앤숄더 영상)을 획득하는 역할을 하며, 본 발명에 따른 영상획득부(10)는 저전력 단말기를 기반으로 한 단일카메라를 포함한다.
상기 영상변환제어부(20)는 상기 영상획득부(10)와 연결되어, 상기 영상획득부(10)에서 획득된 2차원 영상을 3차원 영상으로 변환하는 작업을 제어하는 역할을 한다.
상기 얼굴영역추출부(30)는 상기 영상변환제어부(20)와 연결되어, 영상의 얼굴 영역 정보를 추출하여 분석하는 역할을 하며, 본 발명에 따른 상기 얼굴영역추출부(30)는 하르분류기(Haar Classifier)를 이용하는 것이 바람직하며, [도 2]에 도시된 바와 같이, 얼굴디텍션생성부(31) 및 형태정보생성부(33)를 포함한다.
상기 얼굴디텍션생성부(31)는 얼굴 영역을 검출하기 위한 데이터를 획득하고, 피부색 패턴 분석으로, 얼굴 영역을 추출하는 역할을 한다.
즉, 획득된 2차원 영상에서 얼굴 피부색으로 이루어진 얼굴 영역 중, 얼굴 피부색보다 눈과 입의 색이 더 진한 것을 이용하여, 그러한 색상 농도 패턴으로 얼굴 영역을 추출하게 된다.
상기 형태정보생성부(33)는 상기 얼굴디텍션생성부(31)와 연결되어, 추출된 얼굴 영역을 타원형으로 모델링하여, 얼굴 형태 정보를 획득하는 역할을 한다.
상기 몸통영역추출부(40)는 상기 영상변환제어부(20)와 연결되어, 영상의 몸통 영역 정보를 추출하여 분석하는 역할을 하며, 본 발명에 따른 상기 몸통영역추출부(40)는 [도 3]에 도시된 바와 같이, 세그멘테이션생성부(41)와 영상개선부(43)를 포함한다.
상기 세그멘테이션생성부(41)는 배경학습과 차영상을 이용하여, 몸통 영역을 추출하는 역할을 하며, 본 발명에 따른 상기 세그멘테이션생성부(41)는 평균프레임생성부(411), 평균진폭프레임생성부(413) 및 객체생성부(415)를 포함한다.
상기 평균프레임생성부(411)는 몸통영역과 배경영역을 분리하기 위한 배경의 평균 정보를 획득하기 위해 평균 프레임을 생성하는 하는 역할을 하는데 현재 시점으로부터 최근 N개의 프레임 정보를 이용하여, 화면 내 특정 위치의 픽셀 값의 평균을 산출하는 방법으로 평균 프레임을 생성하게 된다.
상기 평균진폭프레임생성부(413)는 상기 평균프레임생성부(413)와 연결되어, 배경과 객체를 분리하는 바운더리를 설정하기 위해 평균 진폭 프레임을 생성하는 하는 역할을 하며, 본 발명의 실시예에서 획득한 프레임 정보와 평균 프레임 정보의 차이 제곱에서 제곱근을 취하고, K배하여 진폭프레임을 획득하고, 이를 반복하여, 평균 진폭 프레임을 생성한다.
상기 객체생성부(415)는 상기 평균진폭프레임생성부(413)와 연결되어, 설정된 바운더리를 기준으로 배경과 객체를 분리하는 역할을 하며, 평균 프레임을 기준으로 평균 진폭 프레임과의 오차율을 줄이기 위한 바운더리를 설정하여, 상기 바운더리를 기준으로 배경과 객체를 구분하는 하게 된다.
상기 세그멘테이션생성부(41)의 상세한 기능은 하기에서 자세히 설명하도록 한다.
상기 영상개선부(43)는 상기 세그멘테이션생성부(41)와 연결되어, 추출된 몸통 영역의 잡음을 제거하는 역할을 하며, 본 발명에 따른 상기 영상개선부(43)는 모폴로지 연산 즉, 팽창연산에서 열림연산의 과정을 통해 잡음을 제거하는 것이 바람직하다.
상기 깊이정보생성부(50)는 상기 영상변환제어부(20)와 연결되어, 얼굴과 몸체를 모델링하고, 거리변환을 이용하여, 깊이 정보를 생성하는 역할을 하며, 본 발명에 따른 깊이정보생성부(50)는 [도 5]에 도시된 바와 같이, 얼굴깊이정보생성부(51), 몸통깊이정보생성부(53) 및 깊이정보합성부(55)를 포함한다.
상기 얼굴깊이정보생성부(51)는 얼굴 영역을 타원구형으로 모델링을 하고, 거리변환을 이용하여, 깊이 정보를 생성하는 역할을 하며, 상기 몸통깊이정보생성부(53)는 몸통 영역을 원통으로 모델링하고, 거리변환을 이용하여, 깊이 정보를 생성하는 역할을 한다.
또한, 상기 깊이정보합성부(55)는 상기 얼굴깊이정보생성부(51) 및 상기 몸통깊이정보생성부(53)와 연결되어, 산출된 얼굴 깊이 정보와 몸통 깊이 정보를 합성하여, 최종 헤드앤숄더 영상의 깊이 정보를 산출하는 역할을 한다.
상기 시차정보부여부(60) 상기 영상변환제어부(20)와 연결되어, 그레이스케일 깊이맵의 그레이 레벨에 따라 각 픽셀에 시차 정보를 부여하여, 최종 헤드앤숄더 부분을 배경에 비해 돌출되도록 하는 역할을 한다.
본 발명에 따른 깊이정보는 8비트 그레이스케일 영상으로써 0에서 N까지의 그레이레벨을 가지고 있다. 이 정보를 도 9와 같이 0에서 N/12까지는 K-3픽셀 시차, (N/12)+1에서 N/6까지는 K-2픽셀 시차, (N/6)+1에서 N/4까지는 K-1픽셀 시차, (N/4)+1에서 N/2까지는 K픽셀 시차, (N/2)+1에서 3N/4까지는 K+1픽셀 시차, (3N/4)+1에서 N까지는 K+2픽셀 시차를 두어 도 10과 같이 깊이정보가 있는 헤드앤숄더 부분을 배경에 비해 튀어나와 보이도록 3차원 영상변환을 한다.
상기 3차원영상생성부(70)는 상기 영상변환제어부(20)와 연결되어, 영상의 얼굴 영역과 몸통 영역 정보를 토대로 3차원 입체 영상을 생성하는 역할을 한다.
이상에서 설명한 바와 같이, 본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 시스템은 헤드앤숄더 영상의 3차원 변환을 모델링을 통해 상대적으로 적은 연산량을 통해 3차원 입체 영상으로 변환해주는 소프트웨어 플랫폼으로써 저전력 단말기 환경에 쉽게 적용이 가능토록 하는 효과를 누릴 수 있는 것이다.
상기 저전력 단말을 위한 3차원 입체영상 변환 시스템을 이용한 저전력 단말을 위한 3차원 입체영상 변환 방법을 설명하자면 다음과 같다.
[도 6]은 저전력 단말을 위한 3차원 입체영상 변환 방법의 전체 흐름도를 나타내는 도면으로, 먼저 상기 영상획득부(10)를 이용하여, 2차원 헤드앤숄더 영상을 획득하는 단계를 수행한다.(S10)
상기 S10 단계는 저전력 단말기를 기반으로 한 단일카메라를 이용하여, 사용자 얼굴과 몸통 일부를 촬영한 영상을 획득하는 단계이다.
다음으로, 얼굴영역추출부(30) 및 몸통영역추출부(40)를 이용하여, 상기 2차원 헤드앤숄더 영상의 얼굴 영역과 몸통 영역을 추출하는 단계를 수행하다.(S20)
[도 7]은 본 발명에 따른 상기 S20 단계에 있어, 몸통 영역을 추출하는 상세 흐름도를 나타내는 도면으로, 세그멘테이션생성부(41)를 이용하여, 배경을 학습하는 단계를 수행한다.(S21)
즉, 상기 S21 단계는 헤드앤숄더 영상에서 몸통 영역과 배경 영역을 분리하기 위한 배경의 정보를 학습하는 단계이며, [도 8]에 도시된 바와 같이, 상기 평균프레임생성부(411)를 이용하여, 몸통영역과 배경영역을 분리하기 위한 배경의 평균 정보를 획득하기 위해 평균 프레임을 생성하는 하는 단계(S211)를 수행하며, 현재 시점으로부터 최근 N개의 프레임 정보(a)를 이용하여, 화면 내 특정 위치의 픽셀 값의 평균을 산출하는 방법으로 평균 프레임(b)을 생성하게 된다.
다음으로, 상기 평균진폭프레임생성부(413)를 이용하여, 배경과 객체를 분리하는 바운더리를 설정하기 위해 평균 진폭 프레임을 생성하는 단계(S213)를 수행하며, 본 발명의 실시예에서 획득한 프레임 정보(a)와 평균 프레임 정보(b)의 차이 제곱에서 제곱근을 취하고, K배하여 진폭프레임을 획득하고, 이를 반복하여, 평균 진폭 프레임(c)을 생성한다.
다음으로, 상기 객체생성부(415)를 이용하여, 설정된 바운더리를 기준으로 배경과 객체를 분리하는 하는 단계(S215)를 수행하며, 평균 프레임을 기준으로 평균 진폭 프레임과의 오차율을 줄이기 위한 α를 더하여 바운더리를 설정하여, 상기 바운더리를 기준으로 배경과 객체를 구분하는 것이다.
상기 S21 단계에서, 실시간으로 획득된 헤드앤숄더 영상 정보가 평균 프레임을 중심으로 설정한 바운더리 내에 존재하는 경우에는 배경으로, 존재하지 않는 경우에는 객체로 인식하여 배경과 헤드앤숄더 정보를 구분하여 몸통의 형태정보를 획득한다.
다음으로, 영상개선부(43)를 이용하여, 상기 S21 추출된 몸통 영역의 잡음을 제거하는 단계(S22)를 수행한다. 상기 S22 단계에서 획득한 몸통의 형태정보는 약간의 잡음이 존재하는데 이는 모폴로지(팽창연산 → 열림연산)연산을 통하여 제거하는 것이다.
[도 9]는 본 발명에 따른 상기 S21 내지 S22 단계의 수행 후, 추출된 몸통 영역의 일실시예를 나타내는 도면으로, 몸통영역은 흰색으로, 배경영역은 검은색으로 표시됨으로써 몸통영역의 형태정보를 획득하는 효과를 확인할 수 있다.
또한, [도 10]은 상기 S20 단계에 있어, 얼굴 영역을 추출 시의 상세 흐름을 나타내는 도면으로, 상기 얼굴디텍션생성부(31)를 이용하여, 얼굴 영역 정보를 검출하는 단계를 수행한다.(S25)
본 발명에 따른 상기 S25 단계는 하르 분류기를 이용하는 것이 바람직하며, 미리 훈련해놓은 얼굴 검출 정보 파일을 토대로 얼굴 검출을 위한 데이터를 획득하여, 헤드앤숄더 영상에서 얼굴피부색으로 이루어진 얼굴영역에 있어, 눈과 입의 색은 얼굴 피부색보다 진한 색상을 지니므로, 이러한 색상 농도에 따른 패턴으로 얼굴영역을 추출하게 되는 것이다.
다음으로, 상기 형태정보생성부(33)를 이용하여, 머리 형태 정보를 획득하는 단계를 수행한다.(S26)
[도 11]은 본 발명에 따른 S25 내지 S26 단계의 원리를 나타내는 도면으로, 얼굴영역이 발견되면 얼굴영역의 왼쪽 상위의 좌표(131) 및 상기의 좌표로부터의 가로, 세로의 길이정보를 얻게 되는데, 이러한 두 정보를 이용하여, 중심점(134)을 계산하고 세로길이의 1/2(132)를 타원의 긴반지름으로, 가로길이의 1/2(133)를 타원의 짧은반지름으로 설정하여 (505)단계에서 추출한 얼굴영역의 좌표와 반지름을 이용하여 형태정보를 획득하게 되는 것이다.
[도 12]는 상기 S25 내지 S26 단계의 일실시예를 나타내는 도면으로, 실시간으로 얼굴을 디텍션하여 얼굴 영역은 흰색으로, 배경 영역은 검은색으로 표시됨으로써 얼굴영역의 형태정보를 획득하는 효과를 확인할 수 있다.
다음으로, 깊이정보생성부(50)를 이용하여, 얼굴 깊이 정보 및 몸통 깊이 정보를 산출 후, 합성하는 단계를 수행한다.(S30)
[도 13]은 본 발명에 따른 상기 S30 단계의 단순 모델링 구조를 나타내는 개념도이며, 얼굴 영역은 타원구로 모델링하고, 몸통 영역은 원통형으로 단순화하여 모델링하게 되며, 상기 S20 단계에서 획득한 형태정보에서 거리 변환을 이용하여, 얼굴 영역과 몸통 영역의 깊이 정보를 획득하게 된다.
본 발명에 따른 상기 거리 변환의 원리를 설명하면 다음과 같다. 영상의 임의의 배경 영역(R) 화소 (p,q)에서 임의의 객체 영역(S) 화소 (x,y)의 최소거리 md(x,y)를 [수학식 1]과 같이 나타낼 수 있다.
Figure 112011034965597-pat00001
즉, 획득한 형태정보의 픽셀에서 모델링을 통한 거리변환에 [수학식 1]을 적용하여 배경 픽셀까지의 최단거리를 결정하여 그레이스케일로 정규화 하여 헤드앤숄더 영상의 깊이정보를 획득하게 되는 것이다.
[도 14]는 상기 S30 단계의 일실시예를 나타내는 도면으로, 상기 얼굴깊이정보생성부(51)를 이용하여, 타원구형의 얼굴 깊이 정보(a)를 산출하고, 상기 몸통깊이정보생성부(53)를 이용하여, 원통형의 몸통 깊이 정보(b)를 산출하며, 상기 깊이정보합성부(55)를 이용하여, 상기 얼굴 깊이 정보(a) 및 몸통 깊이 정보(b)를 합성하여, 최종 헤드앤숄더 영상의 깊이 정보(c)를 산출할 수 있는 것이다.
상기 시차정보부여부(60)를 이용하여, 깊이 정보가 산출된 최종 헤드앤숄더 영상에 그레이스케일 깊이맵의 그레이 레벨에 따라 각 픽셀에 시차 정보를 부여하는 단계를 수행한다.(S40)
즉, 상기 S30 단계에서 획득한 깊이정보는 8비트 그레이스케일 영상으로써 0에서 N까지의 그레이레벨을 가지고 있다. 상기 S40 단계는 [도 15]에 도시된 바와 같이, 0에서 N/12까지는 K-3픽셀 시차, (N/12)+1에서 N/6까지는 K-2픽셀 시차, (N/6)+1에서 N/4까지는 K-1픽셀 시차, (N/4)+1에서 N/2까지는 K픽셀 시차, (N/2)+1에서 3N/4까지는 K+1픽셀 시차, (3N/4)+1에서 N까지는 K+2픽셀 시차를 두어 [도 16]에 도시된 일실시예와 같이, 깊이정보가 있는 헤드앤숄더헤드앤숄더경에 비해 튀어나와 보이도록 3차원 영상변환을 하는 것이다.
다음으로, 3차원영상생성부(70)를 이용하여, 상기 얼굴영역과 몸통 영역에 깊이 정보와 시차 정보를 고려한 입체영상을 제공하는 단계를 수행한다.(S50)
[도 17]은 본 발명에 따른 상기 S50 단계의 일실시예를 나타내는 도면으로, 깊이정보를 이용하여 2차원 영상에 시차를 부여하여 3차원 영상으로 변환한 결과이다. 이렇게 변환된 영상의 혜드&숄더 부분이 배경에 비해 튀어나오는 입체감을 적청 안경을 통해 확인할 수 있다.
본 발명에 따른 저전력 단말을 위한 3차원 입체영상 변환 방법은, 2차원 영상의 얼굴 영역과 몸통 영역에 깊이 정보과 시차 정보를 고려함으로써, 적은 연산량으로 3차원 영상으로 변환하는 효율적인 방법을 제공할 수 있는 효과를 누릴 수 있는 것이다.
이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 저전력 단말을 위한 3차원 입체영상 변환 시스템 및 그 방법으로 구현할 수 있다.
10 : 영상획득부 20 : 영상변환제어부
30 : 얼굴영역추출부 31 : 얼굴디텍션생성부
33 : 형태정보생성부 40 : 몸통영역추출부
41 : 세그멘테이션생성부 43 : 영상개선부
50 : 깊이정보생성부 51 : 얼굴깊이정보생성부
53 : 몸통깊이정보생성부 55 : 깊이정보합성부
60 : 시차정보부여부 70 : 3차원영상생성부
411 : 평균프레임생성부 413 : 평균진폭프레임생성부
415 : 객체생성부

Claims (20)

  1. 사용자의 얼굴 및 몸통을 촬영한 영상을 획득하는 영상획득부;
    상기 영상획득부와 연결되어, 획득된 2차원 영상을 3차원 영상으로 변환하는 작업을 제어하는 영상변환제어부;
    상기 영상변환제어부와 연결되어, 영상의 얼굴 영역 정보를 추출하여 분석하는 얼굴영역추출부;
    상기 영상변환제어부와 연결되어, 영상의 몸통 영역 정보를 추출하여 분석하는 몸통영역추출부 및
    상기 영상변환제어부와 연결되어, 영상의 얼굴 영역과 몸통 영역 정보를 토대로 3차원 입체 영상을 생성하는 3차원영상생성부를 포함하고,
    상기 몸통영역추출부는,
    배경학습과 차영상을 이용하여, 몸통 영역을 추출하는 세그멘테이션생성부 및
    상기 세그멘테이션생성부와 연결되어, 추출된 몸통 영역의 잡음을 제거하는 영상개선부를 포함하며,
    상기 세그멘테이션생성부는,
    몸통영역과 배경영역을 분리하기 위한 배경의 평균 정보를 획득하기 위해 평균 프레임을 생성하는 평균프레임생성부;
    상기 평균프레임생성부와 연결되어, 배경과 객체를 분리하는 바운더리를 설정하기 위해 평균 진폭 프레임을 생성하는 평균진폭프레임생성부 및
    상기 평균진폭프레임생성부와 연결되어, 설정된 바운더리를 기준으로 배경과 객체를 분리하는 객체생성부를 포함하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 시스템.
  2. 제1항에 있어서,
    상기 얼굴영역추출부는,
    얼굴 영역을 검출하기 위한 데이터를 획득하고, 피부색 패턴 분석으로, 얼굴 영역을 추출하는 얼굴디텍션생성부 및
    상기 얼굴디텍션생성부와 연결되어, 추출된 얼굴 영역을 타원형으로 모델링하여, 얼굴 형태 정보를 획득하는 형태정보생성부를 포함하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 시스템.
  3. 제2항에 있어서,
    상기 얼굴영역추출부는,
    하르분류기(Haar classifer)로 구성되는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 시스템.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 평균프레임생성부는,
    현재 시점으로부터 최근 N개의 프레임 정보를 이용하여, 화면 내 특정 위치의 픽셀 값의 평균을 산출하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 시스템.
  7. 제6항에 있어서,
    상기 평균진폭프레임생성부는,
    획득한 프레임 정보와 평균 프레임 정보의 차이 제곱에서 제곱근을 취하고, K배하여 진폭프레임을 획득하고, 이를 반복하여, 평균 진폭 프레임을 생성하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 시스템.
  8. 제7항에 있어서,
    상기 객체생성부는,
    상기 평균 프레임을 기준으로 평균 진폭 프레임과의 오차율을 줄이기 위한 바운더리를 설정하여, 상기 바운더리를 기준으로 배경과 객체를 구분하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 시스템.
  9. 제1항에 있어서,
    상기 영상개선부는,
    상기 세그멘테이션생성부에서 획득한 몸통의 형태정보를 모폴로지 연산을 이용하여, 잡음을 제거하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 시스템.
  10. 제1항에 있어서,
    상기 영상변환제어부와 연결되어, 얼굴과 몸통을 모델링하여 획득한 형태정보의 픽셀에서 모델링을 통한 거리변환에 하기 [수학식]을 적용하여 배경 픽셀까지의 최단거리를 결정하고, 그레이스케일로 정규화하여 헤드앤숄더 영상의 깊이 정보를 획득하는 거리변환을 이용하여, 깊이 정보를 생성하는 깊이정보생성부를 더 포함하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 시스템.
    [수학식]
    Figure 112012067051972-pat00020

    여기서, R은 영상의 임의의 배경 영역, (p,q)는 화소, (x, y)는 임의의 객체 영역(S)에서의 화소, md(p, q)는 화소 (p,q)에서 화소 (x, y)의 최단 거리를 나타낸다.
  11. 제10항에 있어서,
    상기 깊이정보생성부는,
    얼굴 영역을 타원구형으로 모델링을 하고, 상기 거리변환을 이용하여, 깊이 정보를 생성하는 얼굴깊이정보생성부 및
    몸통 영역을 원통으로 모델링하고, 상기 거리변환을 이용하여, 깊이 정보를 생성하는 몸통깊이정보생성부를 포함하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 시스템.
  12. 제11항에 있어서,
    상기 얼굴깊이정보생성부 및 상기 몸통깊이정보생성부와 연결되어,
    산출된 얼굴 깊이 정보와 몸통 깊이 정보를 합성하여, 최종 헤드앤숄더 영상의 깊이 정보를 산출하는 깊이정보합성부를 더 포함하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 시스템.
  13. 제1항에 있어서,
    상기 영상변환제어부와 연결되어, 그레이스케일 깊이맵의 그레이 레벨에 따라 각 픽셀에 시차 정보를 부여하여, 최종 헤드앤숄더 부분을 배경에 비해 돌출되도록 하는 시차정보부여부를 더 포함하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 시스템.
  14. 영상획득부를 이용하여, 2차원 헤드앤숄더 영상을 획득하는 단계;
    얼굴영역추출부 및 몸통영역추출부를 이용하여, 상기 2차원 헤드앤숄더 영상의 얼굴 영역과 몸통 영역을 추출하는 단계 및
    3차원영상생성부를 이용하여, 상기 얼굴영역과 몸통 영역에 깊이 정보와 시차 정보를 고려한 입체영상을 제공하는 단계를 포함하고,
    상기 2차원 헤드앤숄더 영상의 얼굴 영역과 몸통 영역을 추출하는 단계는,
    몸통 영역의 추출 시, 세그멘테이션생성부를 이용하여, 배경을 학습하는 단계 및
    상기 2차원 헤드앤숄더 영상의 몸통 형태 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 방법.
  15. 삭제
  16. 제14항에 있어서,
    상기 몸통 형태 정보를 획득하는 단계 이후에,
    영상개선부를 이용하여, 추출된 몸통 영역의 잡음을 제거하는 단계를 더 포함하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 방법.
  17. 제14항에 있어서,
    상기 2차원 헤드앤숄더 영상의 얼굴 영역과 몸통 영역을 추출하는 단계는,
    얼굴 영역의 추출 시, 얼굴디텍션생성부를 이용하여, 얼굴 영역 정보를 검출하는 단계 및
    형태정보생성부를 이용하여 머리 형태 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 방법.
  18. 제14항에 있어서,
    상기 입체영상을 제공하는 단계 이전에,
    깊이정보생성부를 이용하여, 얼굴 깊이 정보 및 몸통 깊이 정보를 산출 후, 합성하는 단계를 더 포함하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 방법.
  19. 제18항에 있어서,
    상기 얼굴 깊이 정보 및 몸통 깊이 정보를 산출 후, 합성하는 단계는,
    얼굴깊이정보생성부를 이용하여, 타원구형으로 모델링하여 획득한 형태정보의 픽셀에서 모델링을 통한 거리변환에 하기 [수학식]을 적용하여 배경 픽셀까지의 최단거리를 결정하고, 그레이스케일로 정규화하여 헤드앤숄더 영상의 깊이 정보를 획득하는 거리변환을 이용하여, 깊이 정보를 생성하는 단계 및
    깊이정보합성부를 이용하여, 산출된 얼굴 깊이 정보와 몸통 깊이 정보를 합성하여, 최종 헤드앤숄더 영상의 깊이 정보를 산출하는 단계를 포함하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 방법.
    [수학식]
    Figure 112012067051972-pat00021

    여기서, R은 영상의 임의의 배경 영역, (p,q)는 화소, (x, y)는 임의의 객체 영역(S)에서의 화소, md(p, q)는 화소 (p,q)에서 화소 (x, y)의 최단 거리를 나타낸다.
  20. 제19항에 있어서,
    상기 최종 헤드앤숄더 영상의 깊이 정보를 산출하는 단계 이후에,
    시차정보부여부를 이용하여, 깊이 정보가 산출된 최종 헤드앤숄더 영상에 그레이스케일 깊이맵의 그레이 레벨에 따라 각 픽셀에 시차 정보를 부여하는 단계를 더 포함하는 것을 특징으로 하는 저전력 단말을 위한 3차원 입체영상 변환 방법.
KR1020110044350A 2011-05-12 2011-05-12 저전력 단말을 위한 3차원 입체영상 변환 시스템 및 그 방법 KR101220098B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110044350A KR101220098B1 (ko) 2011-05-12 2011-05-12 저전력 단말을 위한 3차원 입체영상 변환 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110044350A KR101220098B1 (ko) 2011-05-12 2011-05-12 저전력 단말을 위한 3차원 입체영상 변환 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120126501A KR20120126501A (ko) 2012-11-21
KR101220098B1 true KR101220098B1 (ko) 2013-01-11

Family

ID=47511816

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110044350A KR101220098B1 (ko) 2011-05-12 2011-05-12 저전력 단말을 위한 3차원 입체영상 변환 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101220098B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10666933B2 (en) 2014-07-16 2020-05-26 Samsung Electronics Co., Ltd. 3D image display device and method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101767220B1 (ko) * 2015-06-12 2017-08-23 (주)인시그널 스마트 글래스를 이용하는 손 제스처 명령 처리 시스템 및 방법
KR20190106852A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 Xr 컨텐츠 제공 방법 및 xr 컨텐츠 제공 디바이스

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050022306A (ko) * 2003-08-29 2005-03-07 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
KR20090103128A (ko) * 2008-03-27 2009-10-01 주식회사 제스틴 합성이미지 제공시스템 및 방법
US20100014781A1 (en) * 2008-07-18 2010-01-21 Industrial Technology Research Institute Example-Based Two-Dimensional to Three-Dimensional Image Conversion Method, Computer Readable Medium Therefor, and System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050022306A (ko) * 2003-08-29 2005-03-07 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
KR20090103128A (ko) * 2008-03-27 2009-10-01 주식회사 제스틴 합성이미지 제공시스템 및 방법
US20100014781A1 (en) * 2008-07-18 2010-01-21 Industrial Technology Research Institute Example-Based Two-Dimensional to Three-Dimensional Image Conversion Method, Computer Readable Medium Therefor, and System

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10666933B2 (en) 2014-07-16 2020-05-26 Samsung Electronics Co., Ltd. 3D image display device and method

Also Published As

Publication number Publication date
KR20120126501A (ko) 2012-11-21

Similar Documents

Publication Publication Date Title
US10685454B2 (en) Apparatus and method for generating synthetic training data for motion recognition
CN104881881B (zh) 运动对象表示方法及其装置
KR102514697B1 (ko) 골프 동작 분석 장치 및 방법
JP7311640B2 (ja) 行動予測方法及び装置、歩容認識方法及び装置、電子機器並びにコンピュータ可読記憶媒体
KR102097016B1 (ko) 동작 분석 장치 및 방법
CN104834887B (zh) 运动行人表示方法、识别方法及其装置
JP6719497B2 (ja) 画像生成方法、画像生成装置及び画像生成システム
CN104811684B (zh) 一种图像的三维美颜方法及装置
KR20170008638A (ko) 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
JP2008535116A (ja) ３次元レンダリング用の方法及び装置
KR100896643B1 (ko) Ａａｍ을 이용한 3차원 얼굴 모델링 방법 및 시스템,그리고 이에 적용되는 장치
CN110796593A (zh) 基于人工智能的图像处理方法、装置、介质及电子设备
CN113628327A (zh) 一种头部三维重建方法及设备
KR102110459B1 (ko) 3차원 이미지 생성 방법 및 장치
KR20110088361A (ko) 정면 얼굴 영상 생성 장치 및 방법
KR20140074201A (ko) 추적 장치
JP2023547888A (ja) 三次元再構成方法、装置、システム、媒体及びコンピュータデバイス
KR101220098B1 (ko) 저전력 단말을 위한 3차원 입체영상 변환 시스템 및 그 방법
KR20140001168A (ko) Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치
KR20110112143A (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
JP3062181B1 (ja) 実時間表情検出装置
WO2022087941A1 (zh) 人脸重建模型的训练方法及装置、人脸重建方法及装置、电子设备和可读存储介质
JP2006215743A (ja) 画像処理装置及び画像処理方法
CN115294622B (zh) 语音驱动说话人头动视频合成增强方法、***和存储介质
KR100902995B1 (ko) 최적화 비율의 얼굴영상 형성 방법 및 이에 적용되는 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee