KR101751417B1 - 사용자 자세 인식 장치 및 그 방법 - Google Patents

사용자 자세 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR101751417B1
KR101751417B1 KR1020150180709A KR20150180709A KR101751417B1 KR 101751417 B1 KR101751417 B1 KR 101751417B1 KR 1020150180709 A KR1020150180709 A KR 1020150180709A KR 20150180709 A KR20150180709 A KR 20150180709A KR 101751417 B1 KR101751417 B1 KR 101751417B1
Authority
KR
South Korea
Prior art keywords
region
skin
motion
user
image
Prior art date
Application number
KR1020150180709A
Other languages
English (en)
Inventor
변혜란
임광용
이수웅
유호영
Original Assignee
연세대학교 산학협력단
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단, 한국전자통신연구원 filed Critical 연세대학교 산학협력단
Priority to KR1020150180709A priority Critical patent/KR101751417B1/ko
Application granted granted Critical
Publication of KR101751417B1 publication Critical patent/KR101751417B1/ko

Links

Images

Classifications

    • G06K9/00369—
    • G06K9/00221—
    • G06K9/4652—
    • G06K9/4671—
    • G06K9/6202—

Landscapes

  • Image Analysis (AREA)

Abstract

본 발명은 사용자의 자세 또는 포스쳐를 인식하는 장치 및 그 방법에 관한 것이다.
본 발명에 따른 사용자 자세 인식 장치는 복수개의 프레임 영상에서 차분 영상을 생성하고, 상기 생성한 차분 영상에 기초하여 상기 프레임 영상에서 움직임이 존재하는 모션 영역을 분할하는 모션 영역 분할부; 상기 프레임 영상에서 사용자의 피부 후보 영역을 분할하는 피부 후보 영역 분할부; 상기 프레임 영상에서 상기 피부 후보 영역과 상기 모션 영역 간에 대응하는 영역을 피부 영역으로 검출하는 피부 영역 검출부; 및 상기 프레임 영상 내 상기 피부 영역을 분석하여 상기 사용자의 자세 또는 제스쳐를 인식하는 사용자 자세 인식부를 포함할 수 있다.

Description

사용자 자세 인식 장치 및 그 방법{Apparatus and Method of User Posture Recognition}
본 발명은 사용자의 자세 또는 포스쳐를 인식하는 장치 및 그 방법에 관한 것이다.
기존에 사용자의 자세 또는 포스처를 인식하는 기술로 다양한 기술들이 존재하고 있다. 예를 들면, 포스처 인식 방법 중 손모양의 포스처를 인식하는 방법은 입력 영상에서 SIFT 특징을 추출하여 미리 정의한 손동작에서 나타나는 SIFT 특징들과의 비교를 통해 손동작을 구분하는 방법이 있다. 하지만 SIFT 특징을 이용한 포스처 인식방법은, 사용자의 주변 배경 영역에서 유사한 특징점이 나타나는 경우 오인식률이 높아지게 되므로 배경이 단조로워야 하는 한계점이 있다.
또한 이러한 특징점 기반 방식과 달리 피부 색상 분할을 기반으로 사용자의 자세 및 포스처를 인식하는 방법이 있다. 피부색상 분할 기반 방법은, 입력 영상의 컬러 채널에 대하여 넓은 범위의 임계치를 사용하여 피부 색상을 분할한다. 이 방법은 피부색상 분할에 있어 손쉬운 접근 방법이지만, 배경에 존재하는 피부 색상을 가지는 물체들이 사용자로 잘못 검출될 가능성이 높다.
(비특허문헌 0001) C. Wang, and K. Wang, "Hand Posture Recognition Using Adaboost with SIFT for Human Robot Interaction," Proc. of Int. Conf. on Advanced Robotics, Vol. 370, pp. 317-329, 2008.
(비특허문헌 0002) A. Just, Y. Rodriguez, and S. Marcel, "Hand Posture Classification and Recognition using the Modified Census Transform," Proc. of IEEE Int. Conf. on Automatic Face and Gesture Recognition, pp. 351-356, Apr. 2006.
본 발명은 사용자의 자세 또는 포스쳐를 보다 정확하게 인식할 수 있는 사용자 자세 인식 방법 및 그에 관한 장치를 제공하고자 한다.
상기 과제를 해결하기 위해 본 발명의 일 유형에 따른 사용자 제스쳐 인식 장치는, 복수개의 프레임 영상에서 차분 영상을 생성하고, 상기 생성한 차분 영상에 기초하여 상기 프레임 영상에서 움직임이 존재하는 모션 영역을 분할하는 모션 영역 분할부; 상기 프레임 영상에서 사용자의 피부 후보 영역을 분할하는 피부 후보 영역 분할부; 상기 프레임 영상에서 상기 피부 후보 영역과 상기 모션 영역 간에 대응하는 영역을 피부 영역으로 검출하는 피부 영역 검출부; 및 상기 프레임 영상 내 상기 피부 영역을 분석하여 상기 사용자의 자세 또는 제스쳐를 인식하는 사용자 자세 인식부를 포함할 수 있다.
일 실시예에 있어서 모션 영역 분할부는, 상기 프레임 영상 간에 각 화소에서의 영상 신호 값의 차이에 따라 상기 차분 영상을 생성하는 차분 영상 생성부; 및 상기 차분 영상의 영상 신호 값의 크기를 기준으로 상기 모션 영역을 검출하여 분할하는 모션 영역 검출부를 포함할 수 있다.
일 실시예에 있어서 상기 모션 영역 검출부는 상기 차분 영상의 영상 신호 값을 소정의 임계치와 비교한 비교 결과에 따라 상기 모션 영역을 검출할 수 있다.
일 실시예에 있어서 상기 모션 영역 검출부는 복수개의 상기 프레임 영상과 기준 프레임 간의 차이의 크기의 평균에 따라 상기 임계치를 설정할 수 있다.
일 실시예에 있어서 상기 차분 영상 생성부는 적어도 세 개 이상의 상기 프레임 영상 간에 적어도 두 개 이상의 상기 차분 영상을 생성하고, 상기 모션 영역 검출부는 상기 차분 영상의 영상 신호 값을 각 화소 별로 상기 임계치와 비교하여 그 비교 결과에 따라 각 화소 별 모션 발생 판단 값을 설정하고, 복수개의 상기 차분 영상 별로 설정한 상기 모션 발생 판단 값에 기초하여 상기 모션 영역을 검출하는 것을 특징으로 할 수 있다.
일 실시예에 있어서 상기 모션 영역 검출부는 상기 복수개의 상기 차분 영상 별로 설정한 상기 모션 발생 판단 값의 평균 값을 산출하고, 상기 산출한 평균 값이 소정의 크기 이상을 가지는 영역을 상기 모션 영역으로 검출할 수 있다.
일 실시예에 있어서 상기 피부 후보 영역 분할부는 상기 프레임 영상에서 상기 사용자의 피부 색상을 추출하고, 상기 추출한 피부 색상에 기초하여 상기 프레임 영상에서 상기 피부 후보 영역을 분할할 수 있다.
일 실시예에 있어서 상기 피부 후보 영역 분할부는, 상기 프레임 영상에서 상기 사용자의 얼굴을 검출하는 얼굴 검출부; 상기 검출한 얼굴에서 상기 사용자의 피부 색상을 추출하는 피부 색상 추출부; 및 상기 프레임 영상에서 상기 추출한 피부 색상에 대응하는 피부 색상 영역을 분할하여 상기 피부 후보 영역으로 설정하는 피부 색상 영역 분할부를 포함할 수 있다.
일 실시예에 있어서 상기 얼굴 검출부는 Haar-like 특징 또는 LBP(Local Binary Pattern) 특징에 기반한 얼굴 검출 알고리즘을 이용하여 상기 사용자의 얼굴을 검출할 수 있다.
일 실시예에 있어서 상기 피부 색상 추출부는 상기 프레임 영상에서 검출된 상기 얼굴에 대응하는 영상 블록에서 영상 세그멘테이션을 수행하고, 상기 영상 세그멘테이션에 따라 상기 사용자의 안면으로 분할된 영역의 영상 신호에 따라 상기 피부 색상을 결정할 수 있다.
일 실시예에 있어서 상기 피부 색상 영역 분할부는 상기 피부 색상에 기초하여 상기 프레임 영상에서 영상 세그멘테이션을 수행하고, 상기 영상 세그멘테이션의 수행 결과 상기 피부 색상에 대응하는 영역으로 분할된 영역을 상기 피부 색상 영역으로 결정할 수 있다.
일 실시예에 있어서 상기 영상 세그멘테이션은 Mean-Shift 기법을 이용한 세그멘테이션인 것을 특징으로 할 수 있다.
일 실시예에 있어서 상기 피부 후보 영역 분할부는 미리 설정된 피부색 임계치에 기초하여, 상기 프레임 영상에서 상기 피부색 임계치 내의 영상 신호 값을 가지는 영역을 상기 피부 후보 영역으로 분할할 수 있다.
일 실시예에 있어서 상기 피부 영역 검출부는 상기 피부 후보 영역과 상기 모션 영역 간의 거리가 소정의 거리 이내인 영역을 상기 피부 영역으로 검출할 수 있다.
일 실시예에 있어서 상기 피부 영역 검출부는 상기 피부 후보 영역과 상기 모션 영역 간에 오버레이 되는 영역을 상기 피부 영역으로 검출할 수 있다.
일 실시예에 있어서 상기 사용자 자세 인식부는 상기 프레임 영상 내에서 상기 피부 영역이 존재하는 위치에 따라 상기 사용자의 자세를 인식할 수 있다.
일 실시예에 있어서 상기 사용자 자세 인식부는 상기 피부 영역의 영상 신호를 분석하여 상기 사용자의 제스쳐를 인식할 수 있다.
상기 과제를 해결하기 위해 본 발명의 일 유형에 따른 사용자 제스쳐 인식 방법은, 복수개의 프레임 영상에서 차분 영상을 생성하고, 상기 생성한 차분 영상에 기초하여 상기 프레임 영상에서 움직임이 존재하는 모션 영역을 분할하는 모션 영역 분할 단계; 상기 프레임 영상에서 사용자의 피부 후보 영역을 분할하는 피부 후보 영역 분할 단계; 상기 프레임 영상에서 상기 피부 후보 영역과 상기 모션 영역 간에 대응하는 영역을 피부 영역으로 검출하는 피부 영역 검출 단계; 및 상기 프레임 영상 내 상기 피부 영역을 분석하여 상기 사용자의 자세 또는 제스쳐를 인식하는 사용자 자세 인식 단계를 포함할 수 있다.
일 실시예에 있어서 모션 영역 분할 단계는, 상기 프레임 영상 간에 각 화소에서의 영상 신호 값의 차이에 따라 상기 차분 영상을 생성하는 차분 영상 생성 단계; 및 상기 차분 영상의 영상 신호 값의 크기를 기준으로 상기 모션 영역을 검출하여 분할하는 모션 영역 검출 단계를 포함할 수 있다.
일 실시예에 있어서 상기 피부 후보 영역 분할 단계는, 상기 프레임 영상에서 상기 사용자의 얼굴을 검출하는 얼굴 검출 단계; 상기 검출한 얼굴에서 상기 사용자의 피부 색상을 추출하는 피부 색상 추출 단계; 및 상기 프레임 영상에서 상기 추출한 피부 색상에 대응하는 피부 색상 영역을 분할하여 상기 피부 후보 영역으로 설정하는 피부 색상 영역 분할 단계를 포함할 수 있다.
본 발명에 따른 사용자 자세 인식 장치 및 그 방법은 사용자의 피부 영역을 분할하고 분할한 피부 영역을 이용하여 사용자의 자세를 인식함에 있어서, 사용자의 움직임을 고려하여 피부 영역을 보다 정확하게 분할함으로써, 보다 정확하게 사용자의 자세를 인식할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 자세 인식 장치의 블록도이다.
도 2는 모션 영역 분할부(100)의 세부 블록도이다.
도 3은 모션 영역 분할부(100)의 동작을 설명하기 위한 참고도이다.
도 4는 피부 후보 영역 분할부(200)의 세부 블록도이다.
도 5는 모션 영역 분할부(100), 피부 후보 영역 분할부(200), 및 피부 영역 검출부(300)의 동작을 설명하기 위한 참고도이다.
도 6은 사용자 자세 인식부(400)의 동작을 설명하기 위한 참고도이다.
도 7은 본 발명의 또 다른 실시예에 따른 사용자 자세 인식 방법의 흐름도이다.
도 8은 모션 영역 분할 단계(S100)의 세부 흐름도이다.
도 9는 피부 후보 영역 분할 단계(S200)의 세부 흐름도이다.
도 10은 상기 본 발명의 또 다른 실시예에 따른 방송 시스템에서의 시청자 투표 방법의 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
본 발명에서는 배경에 사용자의 피부와 유사한 색상을 가지고 있는 물체들이 분포할 경우의 오인식 문제를 해결하기 위하여, 소정의 시간 내에서 촬영된 프레임 영상에서 배경은 이동하지 않지만, 사용자의 신체에는 미세한 움직임이 발생할 가능성이 높다는 사실에 착안하여, 프레임 영상 간의 차분 영상에서 사용자의 모션 영역을 분할하고, 모션 영역에 대응하는 피부 영역을 최종 피부 영역으로 확정하는 방법을 제공한다.
도 1은 본 발명의 일 실시예에 따른 사용자 자세 인식 장치의 블록도이다.
상기 본 발명의 일 실시예에 따른 사용자 자세 인식 장치는 모션 영역 분할부(100), 피부 후보 영역 분할부(200), 피부 영역 검출부(300), 사용자 자세 인식부(400)를 포함할 수 있다.
여기서 본 발명에 따른 사용자 자세 인식 장치는 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한 필요에 따라 각 구성요소들은 각각 하나의 독립적인 하드웨어로 구현되거나 각 하드웨어에 포함될 수도 있다. 또한 본 발명에 따른 사용자 자세 인식 장치는 소프트웨어 프로그램으로 구현되어 프로세서 또는 신호 처리 모듈 위에서 동작할 수 있고, 또는 하드웨어의 형태로 구현되어 각종 프로세서, 칩(Chip), 반도체, 소자 등에 포함될 수 도 있다. 또한 본 발명에 따른 사용자 자세 인식 장치는 각종 임베디드 시스템 또는 디바이스 상에서 하드웨어 또는 소프트웨어 모듈의 형태로 포함되어 동작할 수 있다. 바람직하게는 본 발명에 따른 사용자 자세 인식 장치는 TV 디바이스, 노트북, 핸드폰에 포함되어 구현되거나, 또는 상기 장치들과 네트워크로 연결된 서버 장치에 포함되어 구현될 수 있다.
모션 영역 분할부(100)는 복수개의 프레임 영상에서 차분 영상을 생성하고, 상기 생성한 차분 영상에 기초하여 상기 프레임 영상에서 움직임이 존재하는 모션 영역을 분할한다.
피부 후보 영역 분할부(200)는 상기 프레임 영상에서 사용자의 피부 후보 영역을 분할한다.
피부 영역 검출부(300)는 상기 프레임 영상에서 상기 피부 후보 영역과 상기 모션 영역 간에 대응하는 영역을 피부 영역으로 검출한다.
사용자 자세 인식부(400)는 상기 프레임 영상 내 상기 피부 영역을 분석하여 상기 사용자의 자세 또는 제스쳐를 인식한다.
이하에서는 모션 영역 분할부(100)의 동작에 대하여 보다 상세히 설명한다.
모션 영역 분할부(100)는 복수개의 프레임 영상에서 차분 영상을 생성하고, 상기 생성한 차분 영상에 기초하여 상기 프레임 영상에서 움직임이 존재하는 모션 영역을 분할한다. 이를 위하여 본 발명에 따른 사용자 자세 인식 장치는 카메라를 이용하여 복수개의 프레임 영상을 촬영하여 이를 획득하거나, 또는 외부에서 촬영된 프레임 영상들을 입력받을 수 있다.
도 2는 모션 영역 분할부(100)의 세부 블록도이다.
모션 영역 분할부(100)는 차분 영상 생성부(110) 및 모션 영역 검출부(120)를 포함할 수 있다.
도 3은 모션 영역 분할부(100)의 동작을 설명하기 위한 참고도이다.
도 3 a와 같은 프레임 영상을 비롯한 복수개의 프레임 영상들에 대하여 이하에서 자세히 설명할 바와 같이 차분 영상을 생성하고, 그에 따라 도 3 b와 같이 모션 영역(M)을 검출하여 분할할 수 있다.
먼저 차분 영상 생성부(110)는 상기 프레임 영상 간에 각 화소에서의 영상 신호 값의 차이에 따라 상기 차분 영상을 생성한다. 여기서 차분 영상은 서로 다른 시간에 해당하는 프레임 영상 간의 차이에 따라 생성된 영상이 될 수 있다. 예를 들면 동일한 영상 좌표에 있어서 서로 다른 시간에서의 프레임 영상 간의 영상 신호의 차이값에 따라 차분 영상의 각 영상 좌표의 신호값이 설정될 수 있다. 예를 들면 차분 영상의 영상 신호 값은 위와 같이 산출된 프레임 영상 간 영상 신호의 차이값의 크기에 따르도록 설정될 수 있다. 따라서 사용자가 움직이는 경우 차분 영상에서 움직인 영역의 영상 신호 값은 소정의 기준값 이상으로 크게 되는 반면, 움직이지 않는 배경의 경우는 차분 영상의 영상 신호 값이 상대적으로 작거나 0에 가깝게 된다. 따라서 위와 같이 생성한 차분 영상을 이용하여 사용자의 움직임이 발생한 영역을 인식할 수 있다.
여기서 차분 영상 생성부(110)는 적어도 세 개 이상의 상기 프레임 영상 간에 적어도 두 개 이상의 상기 차분 영상을 생성할 수 있다. 즉 복수개의 프레임 영상 간에 복수개의 차분 영상을 생성할 수 있다. 예를 들어 시간의 흐름에 따라 F_0, F_2, F_3, .... F_N과 같은 프레임 영상이 있는 경우 인접한 프레임 영상 간에 차분 영상을 생성하여, DIFF_1, DIFF_2, ... DIFF_N 개의 차분 영상을 생성할 수 있다.
모션 영역 검출부(120)는 상기 차분 영상의 영상 신호 값의 크기를 기준으로 상기 모션 영역을 검출하여 분할한다. 일 실시예에 있어서 모션 영역 검출부(120)는 차분 영상에서 영상 신호의 크기가 소정의 임계치 보다 큰 영역을 모션 영역으로 검출할 수 있다.
여기서 차분 영상은 프레임 영상 간에 화소의 영상 신호 값이 다른 모든 경우에 0 이상의 영상 신호 값을 가지기 때문에, 미세한 변화에도 민감하게 반응하여 생성될 수 있는 문제점이 있다. 또한 조명이나 기타 환경의 변화 또는 영상 취득 센서의 변화로 인하여 영상 전체에서 영상 신호 값이 변화하는 경우 영상 전체에서 상대적으로 큰 값을 가지는 차분 영상이 생성되어, 이로부터 사용자의 동작에 따른 모션 영역을 검출하기 어려운 경우가 발생할 수 있다. 이에 본 발명에 따른 모션 영역 검출부(120)는 이하에서 보다 상세히 설명하는 바와 같이 산출한 임계치를 이용하여 모션 영역을 검출하는 방법을 통하여 모션 영역을 보다 정확하게 검출할 수 있는 효과가 있다.
여기서 모션 영역 검출부(120)는 상기 차분 영상의 영상 신호 값을 소정의 임계치와 비교한 비교 결과에 따라 상기 모션 영역을 검출할 수 있다. 이때 본 발명에 따른 모션 영역 검출부(120)는 영상 신호의 분산 값을 고려하여 임계치를 산출하고, 이를 이용하여 모션 영역을 보다 정확하게 검출할 수 있다.
여기서 임계치를 구하기 위하여, 모션 영역 검출부(120)는 복수개의 상기 프레임 영상과 기준 프레임 간의 차이의 크기의 평균에 따라 상기 임계치를 설정할 수 있다. 여기서 기준 프레임은 복수개의 상기 프레임 중에서 선택될 수 있다. 예를 들면 기준 프레임은 복수개의 프레임 중 첫 번째 프레임이나 마지막 프레임 또는 중간에 위치한 프레임으로 선택될 수 있다. 또는 기준 프레임은 복수개의 프레임의 평균으로 생성될 수도 있고, 또는 복수개의 프레임을 필터링하여 생성하는 프레임이 될 수도 있다.
일 실시예에 있어서 상기 임계치는 하기 수학식 1과 같이 산출될 수 있다.
Figure 112015123748364-pat00001
여기서 α는 상기 임계치이고, N은 기준 프레임과의 차영상을 구할 복수개의 프레임의 수이고, pi는 복수개의 프레임 중 i 번째 프레임이고, p는 상기 기준 프레임이다. 여기서 기준 프레임을 복수개의 프레임 중 하나로 선택하는 경우, pi 는 기준 프레임을 제외한 나머지 프레임들이 될 수 있고, 인덱스 i도 그에 따라 할당될 수 있다.
예를 들어 N+1장의 프레임들로부터 모션 영역을 검출하는 경우, 기준 프레임 p를 0번째 프레임으로 설정하면, pi 는 1~N번까지의 프레임이 될 수 있다. 여기서 필요에 따라 0번째 프레임 말고 다른 프레임을 기준 프레임으로 설정하는 것도 가능하다. 그리고 기준 프레임을 제외한 나머지 프레임이 pi 가 될 수 있다.
여기서 모션 영역 검출부(120)는 상기 차분 영상의 영상 신호 값을 각 화소 별로 상기 임계치와 비교하여 그 비교 결과에 따라 각 화소 별 모션 발생 판단 값을 설정하고, 복수개의 상기 차분 영상 별로 설정한 상기 모션 발생 판단 값에 기초하여 상기 모션 영역을 검출할 수 있다. 이때 모션 영역 검출부(120)는 상기 복수개의 상기 차분 영상 별로 설정한 상기 모션 발생 판단 값의 평균 값을 산출하고, 상기 산출한 평균 값이 소정의 크기 이상을 가지는 영역을 상기 모션 영역으로 검출할 수 있다. 여기서 평균 값과 비교하는 상기 소정의 크기는 필요에 따라 설정될 수 있다.
예를 들면 상기 화소 별 모션 발생 판단 값은 하기 수학식 2와 같이 산출될 수 있다.
Figure 112015123748364-pat00002
여기서 α는 상기 임계치이고, Difft(i, j)는 t 번째 차분 영상이고, (i, j)는 영상의 좌표이고, MDt(i, j)는 t 번째 차분 영상에 대응하는 모션 발생 판단 값이다.
그리고 모션 영역 M 은 하기 수학식 3과 같이 산출되는 모션 발생 판단 값의 평균 값에 따라 검출할 수 있다.
Figure 112015123748364-pat00003
다음으로는 피부 후보 영역 분할부(200)의 동작에 대하여 보다 상세히 설명한다.
피부 후보 영역 분할부(200)는 상기 프레임 영상에서 사용자의 피부 후보 영역을 분할한다. 여기서 피부 후보 영역은 사용자의 피부에 해당하는 것으로 1차적으로 판단되어 검출 및 분할된 영역이다. 여기서 1차적으로 분할된 피부 후보 영역은 이하에서 보다 상세히 설명할 피부 영역 검출부(300)에서 모션 영역 분할부(100)에서 분할된 모션 영역과 함께, 보다 정확한 피부 영역을 검출하기 위하여 사용된다.
일 실시예에 있어서 피부 후보 영역 분할부(200)는 미리 설정된 피부색 임계치에 기초하여, 상기 프레임 영상에서 상기 피부색 임계치 내의 영상 신호 값을 가지는 영역을 상기 피부 후보 영역으로 분할할 수 있다. 그런데 이와 같이 미리 결정된 피부색 임계치를 이용하는 경우 사용자의 인종과 유전적 특질에 따라 피부색이 서로 상이한 관계로 영상에서 피부 후보 영역을 잘못 분할할 가능성이 높아지는 한계점이 있다.
이를 위하여 본 발명에 따른 피부 후보 영역 분할부(200)는 미리 설정된 고정 피부색을 사용하는 대신, 프레임 영상에서 사용자를 검출하고 검출한 사용자로부터 피부 색상을 추출하고 이에 기초하여 피부 후보 영역을 분할하는 방법을 이용할 수 있다. 이를 위하여 피부 후보 영역 분할부(200)는 상기 프레임 영상에서 상기 사용자의 피부 색상을 추출하고, 상기 추출한 피부 색상에 기초하여 상기 프레임 영상에서 상기 피부 후보 영역을 분할할 수 있다. 여기서 사용자의 피부 색상을 보다 정확하게 추출하기 위하여 피부 후보 영역 분할부(200)는 영상에서 사용자 얼굴을 검출하고, 검출한 얼굴의 색상을 피부 색상으로 추출할 수 있다. 사용자가 착용한 의복의 종류에 따라 사용자의 다른 신체 부위는 가려질 가능성이 높지만, 일반적으로 사용자의 얼굴은 가려지지 않는 경향을 보이기 때문에, 상술한 바와 같이 얼굴을 추출하여 그 색상을 이용하는 경우, 프레임 영상 내에 존재하는 사용자의 피부 색상을 보다 정확하게 추출할 수 있는 효과가 있다.
도 4는 피부 후보 영역 분할부(200)의 세부 블록도이다.
피부 후보 영역 분할부(200)는 얼굴 검출부(210), 피부 색상 추출부(220), 피부 색상 영역 분할부(230)를 포함할 수 있다.
얼굴 검출부(210)는 상기 프레임 영상에서 상기 사용자의 얼굴을 검출한다.
일 실시예에 있어서 여기서 얼굴 검출부(210)는 Haar-like 특징 또는 LBP(Local Binary Pattern) 특징에 기반한 얼굴 검출 알고리즘을 이용하여 상기 사용자의 얼굴을 검출할 수 있다. 예를 들면 얼굴 검출부(210)는 'P. Viola, and M. Jones, "Rapid Object Detection using a Boosted Cascade of Simple," Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, 2001.'에서 소개하고 있는 기법을 이용하여 Haar-like 특징을 이용하여 프레임 영상에서 얼굴을 검출할 수 있고, 또는 'T. Ahonen, A. Hadid, and M. Pietikainen, "Face recognition with local binary patterns: Application to Face Recognition," IEEE Trans. on Pattern Analysis And Machine Intelligence, Vol. 28, No. 12, pp. 2037-2041, Dec. 2006.'에서 소개하는 기법을 이용하여 LBP 특징에 기반하여 얼굴을 검출할 수도 있다.
일 실시예에 있어서 얼굴 검출부(210)는 다양한 조명 환경에서 보다 안정적으로 얼굴을 검출하기 위하여 Haar-like 특징 기반 방법과 LBP 특징 기반 방법을 모두 이용하여 얼굴을 검출할 수도 있다. 예를 들면 양 방법에서 검출된 얼굴 영역의 교집합 또는 합집합을 얼굴로 검출할 수 있다. 여기서 Haar-like 특징을 이용한 얼굴 검출방법은 일반적으로 높은 정확도와 빠른 검출 속도를 보이는 반면, 역광의 실내 환경 등의 조명이 어두운 환경에서는 검출 성능이 낮아지는 한계점이 있다. 이러한 환경에서 촬영된 영상은 조명 변화에 강인한 LBP 특징을 이용한 얼굴 검출 방법이 보다 안정적으로 얼굴을 검출할 수 있다. 본 발명에서는 다양한 조명환경에서 안정적인 얼굴 검출을 수행하기 위하여 상술한 바와 같이 Haar-like 특징 기반 방법과 LBP 특징을 이용한 얼굴 검출 방법을 모두 이용할 수 있다.
또한 얼굴 검출부(210)는 영상 인식 분야에서 사용되는 다양한 알고리즘을 이용하여 프레임 영상에서 얼굴을 검출할 수 있다. 여기서 얼굴 검출부(210)는 프레임 영상을 분석하여 미리 정해진 특징(Feature) 정보를 이용하여 얼굴을 검출할 수 있다. 여기서 얼굴 검출부(210)는 얼굴을 검출하기 위하여 기존의 다양한 종류의 특징을 상기 영상에서 추출하고, 이를 이용하여 얼굴 검출을 수행할 수 있다. 예를 들면 얼굴 검출부(210)는 에지 특성이나 코너 특성, 또는 LoG(Laplacian of Gaussian), DoG(Difference of Gaussian) 등의 다양한 특징을 추출하여 이용할 수 있다. 또한 여기서 얼굴 검출부(210)는 SIFT(Scale-invariant feature transform), SURF(Speeded Up Robust Features), HOG(Histogram of Oriented Gradients)를 비롯한 기존의 다양한 특징 서술(Feature Description) 방식을 이용한 얼굴 검출 기술을 사용할 수 있다. 또는 얼굴 검출부(210)는 템플릿 이미지와 프레임 영상을 비교하여 얼굴을 검출하고 인식할 수도 있다. 또한 얼굴 검출부(210)는 위와 같이 추출한 특징이나 템플릿 등을 기반으로 미리 학습한 분류기를 이용하여 상기 영상 내 얼굴을 검출할 수 있다. 여기서 이용하는 분류기는 SVM 머신이 될 수도 있고, 기타 기존의 다양한 분류 함수를 이용한 분류기를 이용할 수 있다. 이상 얼굴 검출부(210)는 위에서 구체적으로 예시한 방법 이외에 다양한 공지된 얼굴 검출 기술을 이용하여 얼굴을 검출할 수 있음은 물론이며, 얼굴 검출부(210)의 동작은 상기 예시된 기술들에 한정되지 않는다.
피부 색상 추출부(220)는 상기 검출한 얼굴에서 상기 사용자의 피부 색상을 추출한다.
여기서 피부 색상 추출부(220)는 상기 검출한 얼굴에서 미리 설정된 소정의 임계치 내의 색상 범위에 해당하는 영역을 안면 영역으로 추출하고, 위와 같이 추출한 영역의 영상 신호를 피부 색상으로 추출할 수 있다. 여기서 피부 색상 추출부(220)는 위와 같이 추출한 영역의 영상 신호를 필터링하여 피부 색상을 추출할 수 있다. 예를 들면 피부 색상 추출부(220)는 상기 추출한 영역의 영상 신호를 미디언 필터링하여 피부 색상을 추출할 수 있고, 또는 영상 신호의 평균 값을 피부 색상으로 추출할 수 있다. 또는 피부 색상 추출부(220)는 영상 신호에서 평균 또는 분산을 이용하여 아웃라이어를 제거한 값들을 이용하여 평균을 산출하거나 대푯값(중간 값 등)을 추출하여 피부 색상을 추출할 수도 있다.
여기서 피부 색상 추출부(220)는 상기 프레임 영상에서 검출된 상기 얼굴에 대응하는 영상 블록에서 영상 세그멘테이션을 수행하고, 상기 영상 세그멘테이션에 따라 상기 사용자의 안면으로 분할된 영역의 영상 신호에 따라 상기 피부 색상을 결정할 수 있다.
다음으로 피부 색상 영역 분할부(230)는 상기 프레임 영상에서 상기 추출한 피부 색상에 대응하는 피부 색상 영역을 분할하여 상기 피부 후보 영역으로 설정한다. 여기서 피부 색상 영역 분할부(230)는 상기 프레임 영상에서 상기 피부 색상을 가지는 화소들을 선별하여 피부 색상 영역으로 분할할 수 있다. 일 실시예에 있어서 피부 색상 분할부(230)는 프레임 영상에서 상기 피부 색상을 기준으로 소정의 색상 범위 내의 영상 신호 값을 가지는 화소들을 선별하여 피부 생상 영역으로 분할할 수도 있다. 여기서 영상 신호는 RGB, YCbCr, HSV 등의 다양한 색공간에서의 신호 값이 될 수 있으며, 이는 본 발명의 다른 부분에서도 마찬가지이다.
이때 보다 정확하게 피부 색상 영역을 분할하기 위하여 영상 세그멘테이션 방법을 이용할 수 있다. 일 실시예에 있어서 피부 색상 영역 분할부(230)는 상기 피부 색상에 기초하여 상기 프레임 영상에서 영상 세그멘테이션을 수행하고, 상기 영상 세그멘테이션의 수행 결과 상기 피부 색상에 대응하는 영역으로 분할된 영역을 상기 피부 색상 영역으로 결정할 수 있다. 이때 색상 기반 영상 세그멘테이션 방법을 이용하여 영상을 분할하고, 분할된 영역들 중 상기 피부 색상과 대응하는 영역을 피부 색상 영역으로 설정할 수 있다. 여기서 피부 색상에 대응하는 영역은 분할된 영역의 영상 신호 값과 상기 피부 색상 간의 차이가 소정의 거리 이내인 영역이 될 수 있다.
여기서 피부 색상 영역 분할부(230)는 상기 피부 색상에 기초하여 영역 확장(Region Growing) 기법에 기반한 영상 세그멘테이션을 수행하고, 그 결과 상기 피부 색상에 대응하는 분할 영역을 상기 피부 색상 영역으로 결정할 수 있다.
일 실시예에 있어서 영상 세그멘테이션은 Mean-Shift 기법을 이용한 세그멘테이션으로 수행할 수 있다. 예를 들어 피부 색상 영역 분할부(230)는 'W. Tao, H. Jin, and Y. Zhang, "Color image segmentation based on mean shift and normalized cuts," IEEE Trans. on Systems, Man and Cybernetics, Vol. 37, No. 5, pp. 1382-1389, Oct. 2007.'에서 소개하는 기법을 이용하여 영상 세그멘테이션을 수행할 수 있다.
다음으로는 피부 영역 검출부(300)의 동작에 대하여 보다 상세히 설명한다.
피부 영역 검출부(300)는 상기 프레임 영상에서 상기 피부 후보 영역과 상기 모션 영역 간에 대응하는 영역을 피부 영역으로 검출한다.
단순히 피부 후보 영역(200)에서 분할한 피부 후보 영역(200)을 피부 영역으로 설정하고 이를 이용하여 사용자의 자세를 인식하는 경우, 얼굴 색상과 유사한 색상을 가지는 배경 영역이 피부 후보 영역으로 오검출되어 사용자의 자세를 잘못 인식하는 경우가 발생할 수 있다. 본 발명에서는 이와 같은 오검출에 따른 사용자 자세 인식 오류를 개선하기 위하여, 얼굴 색상에 따라 분할된 피부 후보 영역 중에서 상기 모션 영역 분할부(100)에서 분할한 모션 영역과 대응하는 영역만을 피부 영역으로 최종 선택하고, 나머지 영역은 배경 영역으로 판단하여 제거하는 방법을 이용한다.
통상적으로 영상에서 배경은 정지하고 있을 가능성이 큰 반면, 사용자는 움직일 가능성이 크다. 또한 사용자 스스로가 정지하여 있다고 인지하는 순간에도 호흡이나 심장의 박동 및 근육 운동에 따라 미세하게 움직일 가능성이 크다. 따라서 위와 같은 사용자의 동작 또는 미세한 움직임에 따라, 일정한 시간 동안 촬영된 복수개의 프레임 영상에서 사용자의 신체에 해당하는 부분은 움직임이 있게 된다. 본 발명에 따른 사용자 자세 인식 장치에서는 모션 영역 분할부(100)에서 차분 영상을 이용하여 이와 같은 사용자의 움직임이 존재하는 영역을 모션 영역으로 검출하여 분할하고, 피부 후보 영역 분할부(200)에서 1차적으로 피부에 해당하는 영역으로 분할한 피부 후보 영역과 상기 모션 영역을 함께 이용하여 피부 영역을 검출함으로써, 보다 정확하게 사용자의 실제 피부에 해당하는 피부 영역을 검출할 수 있는 효과가 있다.
여기서 피부 영역 검출부(300)는 피부 후보 영역과 모션 영역 간의 대응 관계에 따라 각 영역 또는 각 영역으로부터 소정의 거리 이내의 영역을 피부 영역으로 검출할 수 있다. 일 실시예에 있어서 피부 영역 검출부(300)는 상기 피부 후보 영역과 상기 모션 영역 간의 거리가 소정의 거리 이내인 영역을 상기 피부 영역으로 검출할 수 있다. 여기서 소정의 거리는 필요에 따라 설정될 수 있는 화소 거리이다.
일 실시예에 있어서 피부 영역 검출부(300)는 상기 피부 후보 영역과 상기 모션 영역 간에 오버레이되는 영역을 상기 피부 영역으로 검출할 수도 있다. 예를 들면 피부 영역 검출부(300)는 피부 후보 영역과 모션 영역 간의 논리곱 연산을 수행하여 피부 영역을 선별함으로써 피부 영역을 검출할 수 있다. 여기서 피부 후보 영역과 모션 영역 간의 겹치는 영역을 선별하는 기법은 기타 다양한 방법을 사용할 수 있음은 물론이다.
도 5는 모션 영역 분할부(100), 피부 후보 영역 분할부(200), 및 피부 영역 검출부(300)의 동작을 설명하기 위한 참고도이다.
도 5 a와 같은 프레임 영상 및 일련의 프레임 영상이 주어진 경우, 도 5 b와 같이 모션 영역(M)이 분할될 수 있고, 도 5 c와 같이 피부 후보 영역(CS)이 분할될 수 있다. 이에 도 5 b의 모션 영역(M)과 도 5 c의 피부 후보 영역(CS)을 이용하여 도 5 d와 같이 보다 정확한 피부 영역(S)을 검출할 수 있다.
다음으로는 사용자 자세 인식부(400)의 동작에 대하여 보다 상세히 설명한다.
사용자 자세 인식부(400)는 상기 프레임 영상 내 상기 피부 영역을 분석하여 상기 사용자의 자세 또는 제스쳐를 인식한다.
여기서 사용자 자세 인식부(400)는 상기 프레임 영상 내에서 상기 피부 영역이 존재하는 위치에 따라 상기 사용자의 자세를 인식할 수 있다. 예를 들면 사용자 자세 인식부(400)는 검출한 얼굴의 위치를 기준으로 상기 피부 영역이 존재하는 위치가 어디인지에 따라 사용자의 자세를 인식할 수 있다. 여기서 사용자의 자세는 피부 영역 위치 배치 정보로 미리 정의되어 저장될 수 있고, 사용자 자세 인식부(400)는 인식한 피부 영역의 위치와 미리 정의된 피부 영역 위치 배치 정보를 비교하여 그 비교 결과에 따라 사용자의 자세가 무엇인지를 인식할 수 있다.
도 6은 사용자 자세 인식부(400)의 동작을 설명하기 위한 참고도이다.
예를 들어 사용자의 자세가 왼팔 들기, 오른팔 들기, 양팔 들기 자세로 미리 정의된 경우, 각각의 자세는 사용자의 얼굴 위치로부터 특정 방향과 위치에 피부 영역이 존재하는지에 관한 정보로 정의될 수 있다. 예를 들면 도 6과 같이 3구획을 미리 구분하고, 사용자의 얼굴 위치를 기준으로 나타나는 1구획에 피부 영역이 위치하는 비율이 높은 경우는 오른손 들기, 2구획에 피부 영역이 위치하는 비율이 높은 경우 왼손 들기(도 6 a), 1구획과 2구획 영역에 피부 영역이 위치하는 비율이 소정의 기준 이내로 유사한 경우는 양손 들기(도 6 b)로 피부 영역 위치 배치 정보에 따라 사용자 자세를 각각 미리 정의할 수 있다. 그리고 사용자 자세 인식부(400)는 피부 영역 검출부(300)에서 검출한 피부 영역 정보를 위와 같이 미리 정의된 정보와 비교하여 사용자의 자세를 인식할 수 있다.
여기서 사용자 자세 인식부(400)는 상기 피부 영역의 영상 신호를 분석하여 상기 사용자의 제스쳐를 인식할 수도 있다. 여기서 제스쳐 인식 방법은 기존의 사용자 인체를 이용한 다양한 제스쳐 인식 방법을 이용할 수 있다. 또한 사용자 자세 인식부(400)는 복수개의 상기 프레임 영상 간에 상기 피부 영역의 위치 이동에 따라 상기 사용자의 동작을 인식할 수도 있다.
도 7은 본 발명의 또 다른 실시예에 따른 사용자 자세 인식 방법의 흐름도이다.
상기 본 발명의 또 다른 실시예에 따른 사용자 자세 인식 방법은 모션 영역 분할 단계(S100), 피부 후보 영역 분할 단계(S200), 피부 영역 검출 단계(S300), 사용자 자세 인식 단계(S400)를 포함할 수 있다. 상기 본 발명에 따른 사용자 자세 인식 방법은 도 1 내지 도 6을 참조하면서 상세히 설명한 본 발명에 따른 사용자 자세 인식 장치가 동작하는 방식과 동일한 방식으로 동작할 수 있다. 이에 중복되는 설명은 생략하고 주요 동작을 중심으로 간략히 설명한다.
모션 영역 분할 단계(S100)는 복수개의 프레임 영상에서 차분 영상을 생성하고, 상기 생성한 차분 영상에 기초하여 상기 프레임 영상에서 움직임이 존재하는 모션 영역을 분할한다.
피부 후보 영역 분할 단계(S200)는 상기 프레임 영상에서 사용자의 피부 후보 영역을 분할한다.
피부 영역 검출 단계(S300)는 상기 프레임 영상에서 상기 피부 후보 영역과 상기 모션 영역 간에 대응하는 영역을 피부 영역으로 검출한다.
사용자 자세 인식 단계(S400)는 상기 프레임 영상 내 상기 피부 영역을 분석하여 상기 사용자의 자세 또는 제스쳐를 인식한다.
도 8은 모션 영역 분할 단계(S100)의 세부 흐름도이다.
모션 영역 분할 단계(S100)는 차분 영상 생성 단계(S110), 모션 영역 검출 단계(S120)를 포함할 수 있다.
차분 영상 생성 단계(S110)는 상기 프레임 영상 간에 각 화소에서의 영상 신호 값의 차이에 따라 상기 차분 영상을 생성할 수 있다.
모션 영역 검출 단계(S120)는 상기 차분 영상의 영상 신호 값의 크기를 기준으로 상기 모션 영역을 검출하여 분할할 수 있다.
도 9는 피부 후보 영역 분할 단계(S200)의 세부 흐름도이다.
피부 후보 영역 분할 단계(S200)는 얼굴 검출 단계(S210), 피부 색상 추출 단계(S220), 피부 색상 영역 분할 단계(S230)를 포함할 수 있다.
얼굴 검출 단계(S210)는 상기 프레임 영상에서 상기 사용자의 얼굴을 검출한다.
피부 색상 추출 단계(S220)는 상기 검출한 얼굴에서 상기 사용자의 피부 색상을 추출한다.
피부 색상 영역 분할 단계(S230)는 상기 프레임 영상에서 상기 추출한 피부 색상에 대응하는 피부 색상 영역을 분할하여 상기 피부 후보 영역으로 설정한다.
본 발명의 또 다른 실시예로는 방송 시스템에서의 시청자 투표 방법이 될 수 있다.
도 10은 상기 본 발명의 또 다른 실시예에 따른 방송 시스템에서의 시청자 투표 방법의 흐름도이다.
상기 본 발명의 또 다른 실시예에 따른 방송 시스템에서의 시청자 투표 방법은 여러 명의 시청자가 이용하는 단말기를 이용하여 촬영한 영상을 서버가 수신하는 단계(S1000), 서버가 상기 촬영한 영상을 분석하여 각 사용자의 자세를 인식하는 단계(S2000), 서버가 각 사용자의 자세를 인식한 결과에 따라 투표 번호를 결정하고, 그 결과를 통합하는 단계(S3000)를 포함할 수 있다.
여기서 상기 S1000 단계에서 서버는 각 사용자가 보유하는 단말기(TV, 노트북, PC)에서 촬영된 프레임 영상들을 수신할 수 있다. 여기서 사용자는 상기 단말기에서 방송을 시청하면서, 방송에서 사용자에게 설명하여 주는 내용에 따라 복수개의 선택안 중 어느 하나를 선택하는 사전에 정의된 자세를 취할 수 있다.
여기서 상기 S2000 단계는 위에서 도 7을 참조하면서 상세히 설명한 모션 영역 분할 단계(S100), 피부 후보 영역 분할 단계(S200), 피부 영역 검출 단계(S300), 사용자 자세 인식 단계(S400)에 따라 수행될 수 있고, 각 단계는 상술한 바와 동일한 방식으로 동작할 수 있다. S100 내지 S400의 각 단계를 수행함으로써 S2000 단계에서는 각 사용자의 단말기에서 전송받은 영상 별로 사용자의 자세를 인식할 수 있다.
다음으로 상기 S3000 단계에서는 그 인식한 결과에 따라 사용자가 기 제시된 선택안 중 어느 것을 선택하여 투표하였는지를 판단하고, 각 사용자 별로 판단한 투표 결과를 통합할 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 모션 영역 분할부
200 : 피부 후보 영역 분할부
300 : 피부 영역 분할부
400 : 사용자 자세 인식부
110 : 차분 영상 생성부
120 : 모션 영역 검출부
210 : 얼굴 검출부
220 : 피부 색상 추출부
230 : 피부 색상 영역 분할부
S100 : 모션 영역 분할 단계
S200 : 피부 후보 영역 분할 단계
S300 : 피부 영역 분할 단계
S400 : 사용자 자세 인식 단계
S110 : 차분 영상 생성 단계
S120 : 모션 영역 검출 단계
S210 : 얼굴 검출 단계
S220 : 피부 색상 추출 단계
S230 : 피부 색상 영역 분할 단계

Claims (20)

  1. 복수개의 프레임 영상에서 차분 영상을 생성하고, 상기 생성한 차분 영상에 기초하여 상기 프레임 영상에서 움직임이 존재하는 모션 영역을 분할하는 모션 영역 분할부;
    상기 프레임 영상에서 사용자의 피부 후보 영역을 분할하는 피부 후보 영역 분할부;
    상기 프레임 영상에서 상기 피부 후보 영역과 상기 모션 영역 간에 대응하는 영역을 피부 영역으로 검출하는 피부 영역 검출부; 및
    상기 프레임 영상 내 상기 피부 영역을 분석하여 상기 사용자의 자세 또는 제스쳐를 인식하는 사용자 자세 인식부를 포함하며,
    상기 모션 영역 분할부는,
    상기 프레임 영상 간에 각 화소에서의 영상 신호 값의 차이에 따라 상기 차분 영상을 생성하는 차분 영상 생성부; 및
    상기 차분 영상의 영상 신호 값의 크기를 기준으로 상기 모션 영역을 검출하여 분할하는 모션 영역 검출부를 포함하는 것을 특징으로 하는 사용자 자세 인식 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 모션 영역 검출부는 상기 차분 영상의 영상 신호 값을 소정의 임계치와 비교한 비교 결과에 따라 상기 모션 영역을 검출하는 것을 특징으로 하는 사용자 자세 인식 장치.
  4. 제3항에 있어서,
    상기 모션 영역 검출부는 복수개의 상기 프레임 영상과 기준 프레임 간의 차이의 크기의 평균에 따라 상기 임계치를 설정하는 것을 특징으로 하는 사용자 자세 인식 장치.
  5. 제3항에 있어서,
    상기 차분 영상 생성부는 적어도 세 개 이상의 상기 프레임 영상 간에 적어도 두 개 이상의 상기 차분 영상을 생성하고,
    상기 모션 영역 검출부는 상기 차분 영상의 영상 신호 값을 각 화소 별로 상기 임계치와 비교하여 그 비교 결과에 따라 각 화소 별 모션 발생 판단 값을 설정하고, 복수개의 상기 차분 영상 별로 설정한 상기 모션 발생 판단 값에 기초하여 상기 모션 영역을 검출하는 것을 특징으로 하는 사용자 자세 인식 장치.
  6. 제5항에 있어서,
    상기 모션 영역 검출부는 상기 복수개의 상기 차분 영상 별로 설정한 상기 모션 발생 판단 값의 평균 값을 산출하고, 상기 산출한 평균 값이 소정의 크기 이상을 가지는 영역을 상기 모션 영역으로 검출하는 것을 특징으로 하는 사용자 자세 인식 장치.
  7. 제1항에 있어서,
    상기 피부 후보 영역 분할부는 상기 프레임 영상에서 상기 사용자의 피부 색상을 추출하고, 상기 추출한 피부 색상에 기초하여 상기 프레임 영상에서 상기 피부 후보 영역을 분할하는 것을 특징으로 하는 사용자 자세 인식 장치.
  8. 제1항에 있어서, 상기 피부 후보 영역 분할부는,
    상기 프레임 영상에서 상기 사용자의 얼굴을 검출하는 얼굴 검출부;
    상기 검출한 얼굴에서 상기 사용자의 피부 색상을 추출하는 피부 색상 추출부; 및
    상기 프레임 영상에서 상기 추출한 피부 색상에 대응하는 피부 색상 영역을 분할하여 상기 피부 후보 영역으로 설정하는 피부 색상 영역 분할부를 포함하는 것을 특징으로 하는 사용자 자세 인식 장치.
  9. 제8항에서,
    상기 얼굴 검출부는 Haar-like 특징 또는 LBP(Local Binary Pattern) 특징에 기반한 얼굴 검출 알고리즘을 이용하여 상기 사용자의 얼굴을 검출하는 것을 특징으로 하는 사용자 자세 인식 장치.
  10. 제8항에 있어서,
    상기 피부 색상 추출부는 상기 프레임 영상에서 검출된 상기 얼굴에 대응하는 영상 블록에서 영상 세그멘테이션을 수행하고, 상기 영상 세그멘테이션에 따라 상기 사용자의 안면으로 분할된 영역의 영상 신호에 따라 상기 피부 색상을 결정하는 것을 특징으로 하는 사용자 자세 인식 장치.
  11. 제8항에 있어서,
    상기 피부 색상 영역 분할부는 상기 피부 색상에 기초하여 상기 프레임 영상에서 영상 세그멘테이션을 수행하고, 상기 영상 세그멘테이션의 수행 결과 상기 피부 색상에 대응하는 영역으로 분할된 영역을 상기 피부 색상 영역으로 결정하는 것을 특징으로 하는 사용자 자세 인식 장치.
  12. 제10항 또는 제11항에 있어서,
    상기 영상 세그멘테이션은 Mean-Shift 기법을 이용한 세그멘테이션인 것을 특징으로 하는 사용자 자세 인식 장치.
  13. 제1항에 있어서,
    상기 피부 후보 영역 분할부는 미리 설정된 피부색 임계치에 기초하여, 상기 프레임 영상에서 상기 피부색 임계치 내의 영상 신호 값을 가지는 영역을 상기 피부 후보 영역으로 분할하는 것을 특징으로 하는 사용자 자세 인식 장치.
  14. 제1항에 있어서,
    상기 피부 영역 검출부는 상기 피부 후보 영역과 상기 모션 영역 간의 거리가 소정의 거리 이내인 영역을 상기 피부 영역으로 검출하는 것을 특징으로 하는 사용자 자세 인식 장치.
  15. 제1항에 있어서,
    상기 피부 영역 검출부는 상기 피부 후보 영역과 상기 모션 영역 간에 오버레이 되는 영역을 상기 피부 영역으로 검출하는 것을 특징으로 하는 사용자 자세 인식 장치.
  16. 제1항에 있어서,
    상기 사용자 자세 인식부는 상기 프레임 영상 내에서 상기 피부 영역이 존재하는 위치에 따라 상기 사용자의 자세를 인식하는 것을 특징으로 하는 사용자 자세 인식 장치.
  17. 제1항에 있어서,
    상기 사용자 자세 인식부는 상기 피부 영역의 영상 신호를 분석하여 상기 사용자의 제스쳐를 인식하는 것을 특징으로 하는 사용자 자세 인식 장치.
  18. 복수개의 프레임 영상에서 차분 영상을 생성하고, 상기 생성한 차분 영상에 기초하여 상기 프레임 영상에서 움직임이 존재하는 모션 영역을 분할하는 모션 영역 분할 단계;
    상기 프레임 영상에서 사용자의 피부 후보 영역을 분할하는 피부 후보 영역 분할 단계;
    상기 프레임 영상에서 상기 피부 후보 영역과 상기 모션 영역 간에 대응하는 영역을 피부 영역으로 검출하는 피부 영역 검출 단계; 및
    상기 프레임 영상 내 상기 피부 영역을 분석하여 상기 사용자의 자세 또는 제스쳐를 인식하는 사용자 자세 인식 단계를 포함하며,
    상기 모션 영역 분할 단계는,
    상기 프레임 영상 간에 각 화소에서의 영상 신호 값의 차이에 따라 상기 차분 영상을 생성하는 차분 영상 생성 단계; 및
    상기 차분 영상의 영상 신호 값의 크기를 기준으로 상기 모션 영역을 검출하여 분할하는 모션 영역 검출 단계를 포함하는 것을 특징으로 하는 사용자 자세 인식 방법.
  19. 삭제
  20. 제18항에 있어서, 상기 피부 후보 영역 분할 단계는,
    상기 프레임 영상에서 상기 사용자의 얼굴을 검출하는 얼굴 검출 단계;
    상기 검출한 얼굴에서 상기 사용자의 피부 색상을 추출하는 피부 색상 추출 단계; 및
    상기 프레임 영상에서 상기 추출한 피부 색상에 대응하는 피부 색상 영역을 분할하여 상기 피부 후보 영역으로 설정하는 피부 색상 영역 분할 단계를 포함하는 것을 특징으로 하는 사용자 자세 인식 방법.
KR1020150180709A 2015-12-17 2015-12-17 사용자 자세 인식 장치 및 그 방법 KR101751417B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150180709A KR101751417B1 (ko) 2015-12-17 2015-12-17 사용자 자세 인식 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150180709A KR101751417B1 (ko) 2015-12-17 2015-12-17 사용자 자세 인식 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101751417B1 true KR101751417B1 (ko) 2017-06-27

Family

ID=59514853

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150180709A KR101751417B1 (ko) 2015-12-17 2015-12-17 사용자 자세 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101751417B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101075084B1 (ko) * 2010-09-07 2011-10-19 재단법인대구경북과학기술원 피사체 인식 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101075084B1 (ko) * 2010-09-07 2011-10-19 재단법인대구경북과학기술원 피사체 인식 장치

Similar Documents

Publication Publication Date Title
AU2022252799B2 (en) System and method for appearance search
US10628683B2 (en) System and method for CNN layer sharing
Yang et al. Real-time clothing recognition in surveillance videos
US8144932B2 (en) Image processing apparatus, image processing method, and interface apparatus
Barbu Pedestrian detection and tracking using temporal differencing and HOG features
US9207757B2 (en) Gesture recognition apparatus, method thereof and program therefor
Siva et al. Weakly Supervised Action Detection.
US20160004935A1 (en) Image processing apparatus and image processing method which learn dictionary
US20090041312A1 (en) Image processing apparatus and method
JP6157165B2 (ja) 視線検出装置及び撮像装置
Ozturk et al. Boosting real-time recognition of hand posture and gesture for virtual mouse operations with segmentation
Xiang et al. Person re-identification by fuzzy space color histogram
Minematsu et al. Simple combination of appearance and depth for foreground segmentation
Singh et al. Template matching for detection & recognition of frontal view of human face through Matlab
Ahlvers et al. Model-free face detection and head tracking with morphological hole mapping
Ranganatha et al. Image Training, Corner and FAST Features based Algorithm for Face Tracking in Low Resolution Different Background Challenging Video Sequences
KR101751417B1 (ko) 사용자 자세 인식 장치 및 그 방법
Ranganatha et al. Color Based New Algorithm for Detection and Single/Multiple Person Face Tracking in Different Background Video Sequence
Arenas et al. Detection of aibo and humanoid robots using cascades of boosted classifiers
Abe et al. Estimating face direction from wideview surveillance camera
JP2011159097A (ja) オブジェクト検出方法及びオブジェクト検出装置
Simões et al. A fast and accurate algorithm for detecting and tracking moving hand gestures
Yokoyama et al. Moving region detection by transportation problem solving
Akheel Detecting and Recognizing Face Images from Videos using Spherical Harmonics and RBF Kernel Techniques
Alex et al. Optimisation of Feature Space for People Detection from TopView on Light Embedded Platform

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200305

Year of fee payment: 4