KR101276158B1

KR101276158B1 - 얼굴 특징점 추적을 이용한 실시간 3디 영상 처리 방법

Info

Publication number: KR101276158B1
Application number: KR1020110018531A
Authority: KR
Inventors: 김석수; 소요환; 송재구; 정성모; 임지훈; 김동현
Original assignee: 한남대학교 산학협력단
Priority date: 2011-03-02
Filing date: 2011-03-02
Publication date: 2013-06-18
Also published as: KR20120099971A

Abstract

본 발명은 얼굴 특징점 추적을 이용한 실시간 3D 영상 처리 방법에 관한 것으로, 2D영상을 입력 받아 3D 입체영상으로 표현함에 있어서, 실시간 3D 합성 영상을 제공하는 특징, 입력된 영상에서 사람과 배경을 구분하기 위해 얼굴을 추적하기 위한 방법을 제공하는 것으로, 컬러 및 얼굴 특징 점을 트래킹하여 얼굴 영역의 위치 값을 데이터화 하여 저장하는 방법, 입력받은 영상에서 얼굴 영역 검출이 어려울 경우 영상을 보정하여 컬러기반 얼굴 영역 검출을 시도하는 방법, 영상 보정만으로 어려울 경우 기존에 얼굴 영역 검출에 성공한 데이터를 보조 정보로 활용하고 이를 합성하여 얼굴 영역을 추출하기 위한 방법에 관한 것이다.
본 발명에 따르면, 3D영상 처리에서 특수 효과를 적용하기 위한 전처리 단계의 시스템으로, 첫째 사용자는 수집된 영상의 인물과 배경을 구분하여 특수효과를 적용하기 위한 기초 위치 값으로 활용할 수 있으며, 둘째 실시간으로 3D 입체 영상을 직접 확인함으로써 특수 효과 적용에 앞서 구도와 영상 결과를 즉시 확인할 수 있으며, 셋째 얼굴 영역 추출에 성공한 데이터를 지속적으로 개선하여 표준화된 얼굴 영역 검출 데이터를 확보하는 기초자료로 이용됨과 동시에 이는 플러그인을 만들기 위한 기초 정보로 적용이 가능하다.

Description

얼굴 특징점 추적을 이용한 실시간 3디 영상 처리 방법{A METHOD OF REAL-TIME 3D IMAGE PROCESSING USING FACE FEATURE POINTS TRACKING}

본 발명은 영상 콘텐츠 제작 과정에서 요구되는 이미지 처리 기술을 효율적으로 제공하기 위한 방법에 관한 것이다.

입체 영상을 처리하기 위해서는 촬영, 이미지 처리, 모션제어 기술들을 통해 입체 영상 제작에 요구되는 각각의 모듈화 연구로 구성된다. 이때, CG 제작환경의 자동화는 제작비 및 제작 기간을 단축하여 콘텐츠의 경쟁력을 확보하게 된다. 하지만 일반적으로 영상 촬영된 기본 소스를 한 컷, 한 컷 확인하고 이를 후 처리 함으로써 효율적인 프로세스를 갖추기 어려운 실정이다. 이를 우선 해결하기 위한 방법으로 실시간 모니터링 시스템을 촬영부터 적용함으로써 요구하는 촬영의 결과를 확인하면서 오차 범위를 파악하고 즉각적인 보정 및 재촬영을 함으로써 시간 및 품질을 향상 시킬 수 있다. 하지만 상기와 같은 방법은 3D 콘텐츠 제작에서 있어 전체 장면을 지속적으로 확인해야 하므로 불필요한 데이터 처리 시간이 요구됨으로써 시스템의 부화와 동시에 보다 효율적인 서비스 사용에 어려움이 따른다.

따라서 3D 콘텐츠에 적합한 특정 영역 또는 캐릭터, 사물만을 추적하여 입체영상으로 표현하고 이를 실시간으로 모니터링 할 수 있는 시스템을 촬영 단계부터 적용하기 위한 방법이 요구된다. 이와 관련하여, 한국특허출원 제2009-80209호(2009.08.28) 입체 영상 처리 장치 및 방법은, 입체영상 처리 장치 방법을 설명한 것으로서 격자 무늬를 투사를 통해 영상 정보를 생성하는 촬영부와 생성된 영상 정보를 이용하여 쵤영 대상의 깊이 정보를 추출하는 추출부, 깊이 정보에 상응하여 촬영 대상의 입체 정보인 양안 정보를 생성하는 양안 정보 생성부를 포함함으로써, 상기 종래기술은 입체영상의 깊이를 추출하여 입체감을 높일 수는 있었지만, 얼굴 영역을 트래킹하여 위치값을 저장하여 입체 영상에서 요구되는 후처리에 기초 데이터로 사용될 수 있도록 정보를 제공하지는 못하는 한계점이 있었다.

본 발명은 상기 종래의 입체 영상 처리 방법의 문제점을 해결하기 위하여 안출된 것으로,

특징점 및 컬러 값을 이용하여 얼굴 영역을 추출하고, 실시간 모니터링 화면상에서 트래킹된 영역을 입체 영상으로 제공하여 입체 영상 제작에 초기 영상 처리 방법을 제공하는데 그 목적이 있다.

또한, 입체영상의 콘텐츠의 품질 향상 을 위한 초기 영상 촬영시 요구되는 불필요한 반복 촬영을 감소시키고, 트래킹을 통해 3D 편집시 요구되는 위치 정보를 쉽게 추출 할 수 있고, 입체 영상 콘텐츠를 제작함에 있어 촬영부터 입체 영상 콘텐츠를 원활하게 제작하기 위한 기능을 제공하기 위해 실시간 모니터링 방법을 제공하는데 다른 목적이 있다.

본 발명은 2대의 캠 또는 3D 카메라를 이용하여 실시간 모니터링 서비스를 제공하기 위한 것으로서, 좀 더 자세히 설명하면 특수촬영 장비가 아닌 일반 카메라 장치를 이용한 환경에서 촬영 데이터가 3D 영상 콘텐츠로 제작함에 있어서, 실시간 모니터링의 특징, 캡처 받은 영상을 컬러 및 특징점 분석을 통해 얼굴 추적하는 특징, 트래킹 기반 영상 데이터를 저장하는 것으로, 트래킹 기반 데이터를 저장 관리하고 최종 사용자가 실시간 3D 입체영상을 확인하고 데이터를 관리하기 위한 방법에 관한 것이다.

보다 구체적으로, 본 발명에 의한 얼굴 특징점 추적을 이용한 실시간 3D 영상 처리 시스템은, PC와 연결되어 영상을 처리하기 위한 2대의 영상 촬영기기; 상기 영상 촬영기기의 수집되는 정보를 실시간 영상으로 출력하는 모니터링 모듈; 상기 모니터링 모듈로부터 수집된 정보를 이용하며, Color 트래킹과 얼굴 특징점 트래킹을 수행하는 영상 트래킹 모듈; 상기 트래킹 모듈에서 추출된 정보의 위치 값을 연산하고 사물 및 배경간 위치 정보를 구분하기 위한 얼굴 영역 트래킹 기반 데이터; 상기 얼굴 영역 트래킹 기반 데이터를 이용하여 영상을 출력하기 위한 트래킹 기반 모니터링 모듈; 수집된 정보를 기반으로 3D 입체 영상 출력 모듈;을 포함하여 이루어지는 것을 특징으로 하며,

본 발명에 의한 얼굴 특징점 추적을 이용한 실시간 3D 영상 처리 방법은, 상기 3D 영상 처리 시스템을 이용하는 방법으로서, 수집된 데이터를 확인하고 이들 중 현재 영상에서 수집이 불가능한 정보를 개선하기 위한 방법으로 수집 불가능한 데이터 확인하고, 상기 수집 불가능한 데이터를 보조하기 위해 사용 가능한 정보가 있지 판단하는 단계로 수집한 영상의 단말기 정보 및 필터 정보, 프레임 정보 등이 일치하는 영상 데이터가 있는지 확인하는 모델/설정값이 일치한 정보가 있는지 판단하는 단계; 상기 판단에 따라 일치하는 정보가 없는 경우 예외 정보로 등록 및 메시지 출력하고, 상기 판단에 따라 모델/설정값이 일치하는 정보가 있는 경우 정보를 확인하는 모델/설정 값 일치 정보 확인하고, 상기 정보를 기준으로 검출되었던 정보를 불러오는 검출 데이터 확인단계; 수집 불가능한 데이터에 이 정보를 입력하는 수집 불가능한 데이터에 검출된 정보를 합성하는 기존 데이터 합성; 상기 합성된 정보로 얼굴 영역 추출이 정확하게 검출되는지 판단하기 위한 얼굴 영역 검출 시도; 검출이 가능하지 않으면 상기 예외 정보로 등록 및 메시지 출력 단계로 보내고 검출이 가능한 경우 검출 데이터 추출단계를 거쳐 상기 합성 정보를 통해 검출이 완료되었음을 기록하기 위한 과정으로 얼굴 영역 트래킹 기반 데이터 테이블에 저장하기 위한 패턴 정보 저장단계를 포함하여 이루어지는 것을 특징으로 한다.

상기와 같이 본 발명에 따른 얼굴 특징점 추적을 이용한 실시간 3D 영상 처리 방법은, 실시간 3D영상을 출력하고 사람의 얼굴을 추출함으로써 영상 촬영 및 3D효과 적용을 위한 기초 데이터 추출을 위한 시스템으로, 첫째 3D영상 출력을 위한 고가의 기기의 제약을 벗어나 UCC와 같은 형태의 다양한 콘텐츠 제작에 활용될 수 있으며, 둘째 사람의 얼굴 영역을 추출하고 영상내의 사물 위치 값을 저장하여 실사 인물과 배경의 합성을 위한 영상 처리의 기초 자료를 제공할 수 있으며, 셋째 얼굴 영역 추출이 어려운 영상의 경우 기존 추출 정보 보조 자료로 촬영하여 보다 세밀한 얼굴 영역을 추출할 수 있고 이는 패턴 데이터로 저장됨으로써 지속적으로 다양한 데이터로 확장 가능하며 플로그인과 같은 형태로 활용할 수 있다.

도 1은 본 발명에 따른 얼굴 특징점 추적을 이용한 실시간 3D 영상 처리 방법의 구성도.
도 2는 본 발명의 일실시예에 따른 모니터링 처리 단계의 흐름도.
도 3은 본 발명의 일실시예에 따른 트래킹 모듈의 처리 흐름도.
도 4는 본 발명의 일실시예에 따른 얼굴 영역 트래킹 기반 데이터 테이블 구조.
도 5는 본 발명의 일실시예에 따른 트래킹 모듈중 검출이 어려운 영상 정보를 기존 트래킹된 영상 데이터 정보를 이용하여 얼굴 영역을 검출하기 위한 처리 단계의 흐름도.

이하, 첨부된 도면을 참조하여 본 발명에 의한 얼굴 특징점 추적을 이용한 실시간 3D 영상 처리 방법을 상세히 설명한다.

도 1은 본 발명의 일실시예에 의한 얼굴 특징점 추적을 이용한 실시간 3D 영상 처리 시스템의 구성도를 나타낸 것이다. 도 1에 도시한 바와 같이, 본 발명의 일실시예에 의한 얼굴 특징점 추적을 이용한 실시간 3D 영상 처리 시스템은, 촬영을 위한 영상 촬영기기(100); 상기 영상 촬영기기(100)의 정보를 수집하고 실시간 영상을 출력하는 실시간 모니터링 모듈(200); 상기 실시간 모니터링 모듈(200)로부터 수집된 정보로부터 얼굴을 추출하기 위한 트래킹 모듈(300); 상기 트래킹 모듈(300)로부터 추출된 위치 값을 저장하는 얼굴 영역 트래킹 기반 데이터(400); 상기 얼굴 영역 트래킹 기반 데이터를 기반으로 얼굴 영역을 실시간으로 추적하는 트래킹 기반 모니터링 모듈(500); 최종 사용가가 실시간으로 확인할 수 있는 입체영상 출력 모듈(600)를 포함하여 이루어지며, 입체영상 출력 모듈로부터 재생되는 영상을 확인하기 위한 실시간 영상 확인이 이루어진다.

상기 영상 트래킹 모듈(300)은 얼굴영역을 트래킹 하기 위한 방법으로 Color 트래킹(310);과 얼굴 특징점 트래킹(320);을 수행한다.

도 2는 본 발명의 일실시예에 따른 모니터링 처리 단계의 흐름도이다. 도 2에 도시한 바와 같이, 본 발명의 일실시예에 의한 영상을 수집하여 2대의 비디오 영상으로 출력하는 모듈의 순서도를 나타낸 것으로,

상기 실시간 모니터링 모듈(200)에는 상기 영상 촬영 기기에서 데이터를 받아들이기 위한 포트 인식(S_10); 상기 포트 인식을 통해 수집된 데이터를 수집하는 비디오 소스 생성(S_20); 비디오의 출력을 설정하기 위한 프레인 설정(S_30); 비디오의 출력이 정상적으로 가능한지 판단하는 비디오 소스 출력 상태 확인(S_40); 상기 출력이 정상적인 경우 영상을 출력하기 위한 2대의 비디오 영상 출력물인 비디오 1 영상 출력과 비디오 2 영상 출력(S_60);으로 이루어진다.

도 3은 본 발명의 일실시예에 따른 트래킹 모듈의 처리 흐름도이다. 도 3에 도시한 바와 같이, 본 발명의 일실시예에 따른 트래킹 모듈의 처리는, 트래킹 모듈(300)에서 비디오 캡처 소스 인식(S_300), 상기 캡처 소스로부터 컬러값 구분 가능 여부 판단(S_310), 상기 컬러값 구분 가능 여부 판단을 위한 세부 단계로서 HSL Filtering을 통해 얼굴 영역을 추출하는 HSL Filtering(S_311)단계, 상기 HSL Filtering단계를 보조하기 위한 단계로서 보다 정확한 얼굴 영역을 컬러 값으로 추출하기 위한 yCbCr Filtering(S_312)단계, 상기 HSL Filtering(S_311)단계와 yCbCr Filtering(S_312)단계에서 대입되어 분석된 컬러 값을 통해 얼굴 영역을 추출할 수 있는지 판단하는 컬러 값 분석 판단(S_313) 단계, 상기 컬러 값 분석 판단 단계에서 분석이 불가능한 경우 영상 색상의 평균 값 확인(S_314) 단계, 상기 영상 색상의 평균 값 단계로부터 받은 데이터를 이용하여 명도 값 강제 조절(S_315)단계, 상기 컬러 값 분석 판단(S_313)에서 분석이 가능할 경우 특징점을 추출(S_320)단계, 상기 특징점 추출 데이터를 분석하여 특징점 추출 데이터의 위치값 정보를 연산 처리하기 위한 특징점 위치 데이터 연산(S_330) 단계, 상기 연산된 데이터를 테이블에 저장하는 데이터 저장(S_340)단계로 구성된다.

도 4는 본 발명의 일실시예에 따른 얼굴 영역 트래킹 기반 데이터 테이블 구조이다. 도 4에 도시한 바와 같이, 본 발명의 일실시예에 따른 얼굴 영역 트래킹 기반 데이터 테이블은, 실시간 모니터링 모듈(200)시 수집되는 웹캠의 모델명, 지원 화소수 및 시스템에 연결시 요구되는 포트 번호, 그리고 웹캠의 물리적 거리 간격의 정보를 저장하고, 상기 트래킹 모듈(300)에서 적용되는 프레임 설정방법, 적용 필터 정보, Color 기반 Center 위치 값(X, Y), 코너검출 위치 값(X, Y)을 저장하고, 상기 얼굴 영역 트래킹 기반 데이터(400)를 통해 획득 되어지는 얼굴 영역 추출 값과 얼굴 윤곽선 추출 값을 데이터에 저장한다. 저장된 정보는 유사한 패턴의 값이 들어올 때 선행 패턴 데이터로 활용되어 추출되는 정보가 부족할 경우 보정 정보를 활용된다.

도 5는 본 발명의 일실시예에 따른 트래킹 모듈중 검출이 어려운 영상 정보를 기존 트래킹된 영상 데이터 정보를 이용하여 얼굴 영역을 검출하기 위한 처리 단계의 흐름도이다. 도 5에 도시한 바와 같이, 얼굴 영역을 검출하기 위한 처리 단계의 흐름은, 상기 얼굴 영역 트래킹 기반 데이터 테이블에 저장되는 데이터를 기반으로 정보를 저장하는 과정에서 수집 불가능한 데이터를 확인하고 기존 정보를 부가적인 정보로 이용하여 인지하기 어려운 영상에서 얼굴 영역을 검출해 내기 위한 방법으로 수집된 데이터 확인(S_321) 단계; 수집 불가능한 데이터 확인(S_322) 단계; 상기 수집 불가능한 데이터가 있는 영상중 모델 및 설정 값이 일치한 데이터가 있는지 검색 판단하는 단계로 모델/설정 값이 일치한 정보 유/무 판단(S_323); 상기 모델/설정 값이 일치하는 정보가 없는 경우 예외 정보로 등록하고 메시지 출력(S_323E) 단계; 상기 모델/설정 값이 일치하는 정보가 있는 경우 모델/설정 값 일치정보를 확인(S_324)하는 단계; 상기 일치 정보가 확인 데이터에서 검출 되었던 데이터를 확인(S_325) 단계; 상기 수집 불가능한 데이터(S_322)에 상기 검출된 데이터(S_325)를 추가하는 수집 불가능한 데이터에 기존 데이터 추가 생성(S_326) 단계; 상기 추가된 데이터를 통해 얼굴 영역 검출 시도(S_327) 단계; 상기 검출이 가능한지 판단하는 단계로부터 검출이 완료되어 검출 데이터를 추출(S_328) 단계; 상기 검출된 정보를 얼굴 영역 트래킹 기반 데이터 테이블의 패턴정보로 저장하는 패턴 정보 저장(S_329)단계;로 구성된다.

상기한 바와 같은 구성 및 작용은 하나의 실시예로서 본 발명의 청구범위를 제한하는 것은 아니며, 본 발명의 기술적 사상을 변경하지 아니하는 범위 내에서 다양한 변경과 수정이 가능함은 본 발명이 속하는 분야에 종사하는 자에게는 자명한 것이다.

100...영상 촬영기기
200...실시간 모니터링 모듈
300...트래킹 모듈
310...컬러 트래킹
320...얼굴 특징점 트래킹
400...얼굴 영역 트래킹 기반 데이터
500...트래킹 기반 모니터링 모듈
600...입체영상 출력 모듈
700...실시간 영상 확인 모듈

Claims

삭제
삭제
PC와 연결되어 영상을 처리하기 위한 2대의 영상 촬영기기(100); 상기 영상 촬영기기(100)의 수집되는 정보를 실시간 영상으로 출력하는 모니터링 모듈(200); 상기 모니터링 모듈로부터 수집된 정보를 이용하는 영상 트래킹 모듈(300); 상기 트래킹 모듈에서 추출된 정보의 위치 값을 연산하고 사물 및 배경간 위치 정보를 구분하기 위한 얼굴 영역 트래킹 기반 데이터(400); 상기 얼굴 영역 트래킹 기반 데이터를 이용하여 영상을 출력하기 위한 트래킹 기반 모니터링 모듈(500); 수집된 정보를 기반으로 3D 입체 영상 출력 모듈(600);을 포함하는 3D 영상 처리 시스템을 이용하는 얼굴 특징점 추적을 이용한 실시간 3D 영상 처리 방법에 있어서,
상기 얼굴 영역 트래킹 기반 데이터 테이블에 저장되는 데이터를 기반으로 정보를 저장하는 과정에서 수집 불가능한 데이터를 확인하고 기존 정보를 부가적인 정보로 이용하여 인지하기 어려운 영상에서 얼굴 영역을 검출해 내기 위한 방법으로 수집된 데이터를 확인(S_321);하고 이들 중 현재 영상에서 수집이 불가능한 정보를 개선하기 위한 방법으로 수집 불가능한 데이터 확인(S_322); 상기 수집 불가능한 데이터를 보조하기 위해 사용 가능한 정보가 있는지 판단하는 단계로 수집한 영상의 단말기 정보 및 필터 정보, 프레임 정보 등이 일치하는 영상 데이터가 있는지 확인하는 모델/설정값이 일치한 정보가 있는지 판단하는 단계(S_323); 상기 판단(S_323)에 따라 일치하는 정보가 없는 경우 예외 정보로 등록 및 메시지 출력(S_323E); 상기 판단(S_323)에 따라 모델/설정값이 일치하는 정보가 있는 경우 정보를 확인하는 모델/설정 값 일치 정보 확인(S_324); 상기 정보를 기준으로 검출 되었던 정보를 불러오는 검출 데이터 확인(S_325) 단계; 수집 불가능한 데이터에 이 정보를 입력하는 수집 불가능한 데이터에 검출된 정보를 합성하는 기존 데이터 합성(S_326); 상기 합성된 정보로 얼굴 영역 추출이 정확하게 검출되는지 판단하기 위한 얼굴 영역 검출 시도(S_327); 검출이 가능하지 않으면 상기 예외 정보로 등록 및 메시지 출력(S_323E) 단계로 보내고 검출이 가능한 경우 검출 데이터 추출(S_328); 단계를 거쳐 상기 합성 정보를 통해 검출이 완료되었음을 기록하기 위한 과정으로 얼굴 영역 트래킹 기반 데이터 테이블에 저장하기 위한 패턴 정보 저장(S_329);를 포함하여 이루어지는 것을 특징으로 하는 얼굴 특징점 추적을 이용한 실시간 3D 영상 처리 방법
제 3 항에 있어서,
상기 트래킹 모듈(300)은, 비디오 캡처 소스를 인식하고(S_300); 상기 캡처 소스로부터 컬러값 구분이 가능 여부 판단(S_310)단계; HSL Filtering을 통해 얼굴 영역을 추출하는 HSL Filtering(S_311)단계; 보다 정확한 얼굴 영역을 컬러 값으로 추출하기 위해 yCbCr Filtering을 적용하는 yCbCr Filtering(S_312)단계; 상기 HSL Filtering(S_311)단계와 yCbCr Filtering(S_312)단계에서 대입되어 분석된 컬러 값을 통해 얼굴 영역을 추출할 수 있는지 판단하는 컬러 값 분석 판단(S_313)단계; 상기 컬러 값 분석 판단 단계에서 판단이 불가능한 경우 영상 색상의 평균값을 확인(S_314)하는 단계; 상기 영상 색상의 평균값 정보를 이용하여 영상 색상을 조절하는 명도 값 강제 조절(S_315)단계; 상기 컬러 값 분석 판단(S_313) 단계에서 분석이 가능한 경우 특징점 추출(S_320)단계; 상기 특징점 추출(S_320)단계의 특징점 추출 데이터의 위치값 정보를 연산 처리하기 위한 특징점 위치 데이터 연산(S_330)단계; 상기 정보들을 저장하기 위한 데이터 저장(S_340) 단계;를 포함하여 이루어지는 것을 특징으로 하는 얼굴 특징점 추적을 이용한 실시간 3D 영상 처리 방법