KR100243346B1 - 손 영역 자동 추출 시스템 및 방법 - Google Patents

Abstract

본 발명은 사용자의 피부색을 이용하여 연속되는 비디오 프레임에서 손 영역을 추출하는 시스템 및 방법에 관한 것으로, 사무실에 설치된 컴퓨터 앞에서 연속적인 사용자의 아날로그 영상신호를 촬영하는 단계와, 상기 연속적인 아날로그 영상신호를 일정한 시간 간격으로 샘플링한 다음, 디지털 신호로 변환시켜 사용자의 손 영상을 생성하는 단계와, A/D 변환하여 생성되는 사용자의 손 영상을 여러 번 샘플링하고 YIQ 좌표계에서 I와 Q값만을 이용하여 피부색 모델 히스토그램을 생성하여 피부색 유사도 영상을 생성하는 단계와, 상기 피부색 유사도 영상에서 손 후보 영역들을 추출하는 단계와, 상기 손 후보 영역들 중에서 손 영역을 결정하는 손 영역결정단계를 수행하여 손의 모양 변화에 민감하지 않은 손의 색에 관한 정보를 이용하고, 사용자 환경 변화에 따른 손 색의 변화를 피부색 모델에 반영하므로, 손 모양이나 사용자 환경의 변화에서도 손 영역을 쉽게 추출할 수 있게 하는 것을 특성으로 한다.

Description

손 영역 자동 추출 시스템 및 방법

본 발명은 손 영역 자동 추출 시스템과 그 방법에 관한 것으로서, 특히 사용자의 피부색을 이용하여 연속되는 비디오 프레임에서 손 영역을 추출하는 시스템 및 방법에 관한 것이다.

손 제스처 인식은 현재의 키보드나 마우스에 의존하는 컴퓨터와 사용자 사이의 인터페이스를 좀더 인간에게 편리하도록 발전시켜 구현하는 데 매우 유용한 기술로서, 손 영역 추출 시스템은 손 제스처 인식 시스템의 필수적인 요소이다.

종래에는 주로 틀 정합, 경계선 검출 등의 방법을 이용하여 손 영역을 추출하였다. 이러한 방법들은 주로 손의 모양에 관한 특징을 이용하는 것으로, 손 모양이나 사용자 환경이 다양하게 변화할 때는 성능이 저하되는 문제점이 있다.

본 발명은 상기한 종래 방법의 문제점을 해결하기 위한 것으로, 손 모양과 사용자 환경의 변화에서도 손의 색을 이용하여 손 영역을 자동으로 추출하는 시스템 및 방법을 제공하는 데 그 목적이 있다.

도 1은 본 발명에 의한 손 영역 자동 추출 시스템의 구성도.

도 2는 본 발명에 의한 손 영역 자동 추출방법의 전체적인 흐름도.

도 3은 본 발명에 의한 피부색 모델 생성 방법의 흐름도.

도 4는 본 발명에 의한 피부색 유사도 영상 생성 방법의 흐름도.

도 5는 본 발명에 의한 손 후보 영역 추출방법의 흐름도.

도 6은 본 발명에 의한 손 영역 결정 방법의 흐름도.

도 7은 본 발명에 의한 피부색 모델 수정방법의 흐름도.

*도면의 주요부분에 대한 부호의 설명*

10 : 촬영 및 입력 수단 20 : 사용자 영상 생성 수단

30 : 피부색 유사도 영상 생성 수단 40 : 손 후보 영역 추출 수단

50 : 손 영역 결정 수단

상기 목적을 달성하기 위한 본 발명의 손 영역 자동 추출방법은 사무실에 설치된 컴퓨터 앞에서 연속적인 사용자의 아날로그 영상신호를 촬영하는 촬영단계 및 입력단계와, 상기 연속적인 아날로그 영상신호를 일정한 시간 간격으로 샘플링한 다음, 디지털 신호로 변환시켜 사용자의 손 영상을 생성하는 사용자 영상생성단계와, A/D 변환하여 생성되는 사용자의 손 영상을 여러 번 샘플링하고 YIQ 좌표계에서 I와 Q값만을 이용하여 피부색 모델 히스토그램을 생성하여 피부색 유사도 영상을 생성하는 피부색 유사도 영상 생성단계와, 상기 피부색 유사도 영상에서 손 후보 영역들을 추출하는 손후보 영역추출단계와, 상기 손 후보 영역들 중에서 손 영역을 결정하는 손 영역결정단계를 수행하는 것을 특징으로 한다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하면 다음과 같다.

도 1 은 본 발명에 의한 손 영역 자동 추출방법을 달성하기 위한 바람직한 실시예로써 본 발명에 의한 시스템의 구성블럭도이다.

도시된 바와 같이 본 발명에 의한 손 영역 자동 추출 시스템은 사무실에 설치된 컴퓨터 앞에서 얻어진 사용자의 손에 대한 아날로그 영상신호를 촬영 및 입력하는 촬영수단 및 입력수단(10)과, 상기 아날로그 영상신호를 일정한 시간 간격으로 샘플링한 다음, 디지털 신호로 변환시켜 사용자 영상을 생성하는 사용자 영상 생성수단(20)과, 상기 사용자 영상 생성수단(20)에서 출력되는 사용자의 손 영상을 여러 번 샘플링하고 YIQ 좌표계에서 I와 Q값만을 이용하여 피부색 모델 히스토그램을 생성하여 피부색 유사도 영상을 생성하는 피부색 유사도 영상생성수단(30)과, 상기 피부색 유사도 영상에서 손 후보 영역들을 추출하는 손후보 영역추출수단(40)과, 상기 손 후보 영역들 중에서 손 영역을 결정하는 손영역 결정수단(50)으로 구성된다.

상기와 같이 구성된 손 영역 자동 추출 시스템의 작동을 살펴보면 다음과 같다. 촬영 및 입력 수단(10)은 컴퓨터 앞에서 얻어진 사용자 영상의 아날로그 영상 신호를 촬영하여 사용자 영상생성수단(20)에 입력한다. 사용자 영상수단(20)은 상기 입력되는 아날로그 영상 신호를 디지털 영상으로 변환하여 피부색 유사도 영상 생성 수단(30)에 인가한다. 피부색 유사도 영상 생성 수단(30)은 상기 디지털 영상에서 피부색 유사도 영상을 생성하고, 손 후보 영역 추출 수단(40)은 상기 피부색 유사도 영상에서 손 후보 영역들을 추출하며, 손 영역 결정 수단(50)은 상기 손 후보 영역들 중에서 손 영역을 결정한다.

도 2 는 본 상기 손영역 자동 추출시스템에서의 손 영역 자동 추출방법을 나타낸다. 도시된 바와 같이 설치된 컴퓨터 앞에서 연속적인 사용자의 아날로그 영상신호를 촬영하는 단계를 수행하고(100), 상기 연속적인 아날로그 영상신호를 일정한 시간 간격으로 샘플링한 다음, 디지털 신호로 변환시켜 사용자 영상을 생성하는 단계를 수행한다(200). A/D변환하여 생성되는 사용자의 영상에서 피부색 유사도 영상을 생성하는 단계를 수행하고(300), 상기 피부색 유사도 영상에서 손 후보 영역들을 추출하는 단계를 수행하고(400) 상기 손 후보 영역들 중에서 손 영역을 결정하는 단계(500)를 수행하여 손 영역을 자동 추출한다.

도 3은 상기 피부색 모델 생성 방법의 흐름을 나타낸다. 이 과정은 모든 사용자에 대한 일반적인 피부색 정보를 미리 저장하여 사용하기는 어렵기 때문에 필요하다. 즉, 사용자는 이 과정을 통해 자신의 피부색을 등록하여 손 영역 추출에 사용하게 한다.

먼저 count를 0으로 한다(301).

카메라 시야의 중심 부분에서 일정 크기의 손 영상 윈도우를 샘플링하고(302), RGB 색 좌표계의 손 영상 윈도우를 YIQ 색 좌표계로 변환한다(303). 이 때 사용되는 변환규칙은 다음과 같다.

YIQ 좌표계로 변환된 손 영상 윈도우에서 I-Q 히스토그램을 생성한다(304). YIQ 좌표계에서 Y는 조명에 따라 심하게 변하므로 조명에 덜 민감한 I와 Q만을 사용하도록 하고, 상기 I-Q 히스토그램을 다음과 같은 피부색 모델 히스토그램에 누적시킨다(305).

상기 피부색 모델 히스토그램에 누적시키다가 count가 일정한 횟수 T에 도달하였으면 현재 피부색 모델 히스토그램을 출력하고(307), 그렇지 않으면 count를 1 증가시킨 후 손 영상 윈도우 샘플링부터 반복한다(302).

이렇게 생성되는 피부색 모델 히스토그램은 사용자의 손 색에서 I와 Q값의 분포를 대표한다. 샘플링을 여러 번 하는 이유는 다양한 손 위치와 모양에서의 손 색을 피부색 모델 히스토그램에 반영하기 위한 것이다.

도 4는 피부색 유사도 영상 생성 방법의 흐름을 나타낸다.

먼저 RGB 좌표계로 입력되는 사용자 영상(309)을 YIQ 좌표계로 변환한다(310). 이 때 사용되는 변환규칙은 피부색 모델 히스토그램을 생성할 때 사용되는 변환규칙과 같이 상기 수학식 1을 사용하여 변환하도록 한다.

YIQ 좌표계로 변환된 영상을 일정한 크기의 윈도우들로 분할한 후, 각 윈도우마다 I-Q 히스토그램을 생성한다(311). 예를 들어, i번째 윈도우의 I-Q 히스토그램을 Ci라 하면, Ci는 다음과 같다.

각 윈도우마다 I-Q 히스토그램을 생성한(311) 후 각 윈도우마다 위의 I-Q 히스토그램을 피부색 모델 히스토그램과 정합하여 피부색과 유사도를 계산한다(312). 예를 들어, i번째 윈도우의 피부색 유사도를 Si라 하면, Si는 다음과 같다.

상기 수학식 4에서 M은 피부색 모델 히스토그램(307)이고, A는 i번째 윈도우 안의 화소 개수이다. 피부색 유사도는 각 윈도우가 손의 색과 얼마나 비슷한 색 분포를 가지고 있는가를 수치로 나타낸다.

피부색 유사도 명암 표현 단계에서는 각 윈도우마다 위에서 계산된 피부색 유사도가 클수록 명암을 밝게 하여 피부색 유사도를 명암으로 표현하여(313) 피부색 유사도 영상을 생성한다(314).

도 5는 손 후보 영역 추출방법의 흐름을 나타낸다.

먼저 배경 부분의 잡음 제거를 위해 상기 피부색 유사도 영상(314)에서 고립된 영역을 제거한다(401). 유사도가 0보다 큰 각 윈도우에 대해서, 이웃 여덟 윈도우들 중에 유사도가 0보다 큰 윈도우 갯수가 일정한 값보다 작으면, 중심 윈도우의 유사도를 0으로 바꾼다. 이렇게 고립된 작은 영역을 제거하여 배경 영역이 피부 영역으로 잘못 추출되는 것을 방지한다.

고립된 영역을 제거한(401) 후 손 영역 안에서 피부색 유사도가 너무 작은 부분의 유사도를 높여 손 영역을 더 명확하게 표현하도록 피부영역을 확장한다(402). 각 윈도우에 대해서, 주변의 여덟 윈도우들의 평균 유사도가 일정한 값보다 크고, 중심 윈도우의 유사도가 주변 평균 유사도보다 작으면, 중심 윈도우의 유사도를 주변 평균 유사도로 바꾼다. 이렇게 피부 영역을 확장하면 손 영역이 분리되어 두 개 이상의 피부 영역으로 잘못 추출되는 것을 막을 수 있다.

피부 영역을 확장한(402) 후 고립 영역이 제거되고 영역 확장된 피부색 유사도 영상을 이치화하여 배경과 물체를 분리한다(403). 고정 임계치를 사용하면 배경과 조명의 변화에 적응하기 어려우므로 가변 임계치를 사용한다. 임계치는 Otsu의 방법으로 구하여 전체적인 유사도가 낮으면 낮게, 높으면 높게 변화할 수 있게 한다.

다음 이치화 결과에서 8-연결 요소를 추출하여(404) 피부 영역, 즉 손 후보 영역을 추출한다(405).

도 6은 손 영역 결정 방법의 흐름을 나타낸다. 이 과정에서 가장 큰 문제는 얼굴 부분도 피부 영역으로 추출되는 것이다. 이것은 프레임에서 얼굴이 주로 위치하는 부분과 이전 프레임에서 손 위치에 관한 지식을 이용하여 해결할 수 있다. 손이 프레임의 가운데 부분에 위치한다고 가정하면 얼굴은 프레임의 위쪽 구석 부분에 위치하게 된다. 또한, 인접한 프레임 사이의 시간 차는 매우 작으므로 그 사이에 손은 멀리 이동할 수 없다.

상기 손후보 영역추출단계(40)에서 추출된 손후보 영역(405)에 대하여 면적검증을 하도록 한다(501). 즉, 손 후보 영역이 하나도 없으면 손이 없다고 결정하고, 손 후보 영역이 있으면, 먼저 면적 검증에서 면적이 너무 작지 않은 영역만을 선택한다. 면적검증이 이루어지면(501) 위치검증을 수행하는데(502), 위치 검증에서는 면적 검증을 통과한 손 후보 영역들 중에서, 너무 구석에 위치하지 않고 이전 프레임의 손 위치와 너무 멀지 않은 영역들만을 선택한다.

면적 검증과 위치 검증을 통과한 손 후보 영역의 수에 따라 손영역을 택하게 되는데 즉, 면적 검증과 위치 검증을 통과한 손 후보 영역이 0개이면 손이 없다고 결정한다(503,504,505).

면적 검증과 위치 검증을 통과한 손 후보 영역이 1개이면 그 영역을 손 영역으로 결정한다(503,504,506).

면적 검증과 위치 검증을 통과한 손 후보 영역이 2개 이상이면 그 중에서 면적이 가장 큰 영역을 손 영역으로 결정한다(503,507,508).

도 7은 피부색 모델 수정방법의 흐름을 나타낸다. 피부색 모델 수정은 사용자의 자세, 조명, 배경 등의 변화에 따른 손 색의 변화에 적응하기 위한 것이다. 이를 위해 현재 프레임에서 찾아진 손 영역의 색 정보를 이용하여 처음에 생성한 피부색 모델을 수정한다.

먼저 초기 피부색 모델을 생성할 때의 과정을 반복한다. 즉, 추출된 손 영역(506,508)에서 일정한 크기의 손 영상 윈도우를 샘플링하고(321), RGB 좌표계의 손 영상 윈도우를 YIQ 좌표계로 변환한(322) 후, YIQ 좌표계의 손 영상 윈도우에서 I-Q 히스토그램을 생성한다(323).

다음 현재의 피부색 모델 히스토그램에서 가장 오래된, 즉, 세 프레임 전의 샘플링 윈도우에서 파생된 I-Q 데이터를 제거한다(324).

위의 I-Q 히스토그램을 처음 생성한 피부색 모델 히스토그램에 누적시켜서(325) 피부색 모델 히스토그램을 생성한다(326). 이렇게 하면 피부색 모델 히스토그램은 항상 마지막 세 프레임의 손 영역에서 샘플링된 피부색 정보를 표현하게 되므로, 사용자 환경의 변화에 적응할 수 있다.

상술한 바와 같이, 본 발명에 의하면, 손의 모양 변화에 민감하지 않은 손의 색에 관한 정보를 이용하고, 사용자 환경 변화에 따른 손 색의 변화를 피부색 모델에 반영하므로, 손 모양이나 사용자 환경의 변화에서도 손 영역을 쉽게 추출할 수 있다.

Claims (6)

1. 사무실에 설치된 컴퓨터 앞에서 얻어진 사용자의 손에 대한 아날로그 영상신호를 촬영하여 입력하는 촬영 및 입력 수단과;

   상기 아날로그 영상신호를 일정한 시간 간격으로 샘플링한 다음, 디지털 신호로 변환시켜 영상을 생성하는 사용자 영상 생성 수단과;

   상기 사용자 영상 생성 수단에서 출력되는 하나의 영상에서 피부색 유사도 영상을 생성하는 피부색 유사도 영상 생성 수단과;

   상기 피부색 유사도 영상에서 손 후보 영역들을 추출하는 손 후보 영역 추출 수단과;

   상기 손 후보 영역들 중에서 손 영역을 결정하는 손 영역 결정 수단으로 구성된 것을 특징으로 하는 손 영역 자동 추출 시스템.
2. 사무실에 설치된 컴퓨터 앞에서 연속적인 사용자의 손에 대한 아날로그 영상신호를 촬영하여 입력하는 촬영 및 입력단계와;

   상기 연속적인 아날로그 영상신호를 일정한 시간 간격으로 샘플링한 다음, 디지털 신호로 변환시켜 영상을 생성하는 사용자 영상생성 단계와;

   A/D 변환하여 생성되는 사용자의 손 영상을 여러 번 샘플링하고 YIQ 좌표계에서 I와 Q값만을 이용하여 피부색 모델 히스토그램을 생성하여 피부색 유사도 영상을 생성하는 피부색 유사도 영상 생성단계와;

   상기 피부색 유사도 영상에서 손 후보 영역들을 추출하는 손 후보 영역 추출단계와;

   상기 손 후보 영역들 중에서 손 영역을 결정하는 손 영역 결정단계를 수행하는 것을 특징으로 하는 손 영역 자동 추출방법.
3. 제 2 항에 있어서,

   피부색 유사도 영상 생성단계는,

   사용자의 손 영상을 여러 번 샘플링하고 YIQ 좌표계에서 I와 Q값만을 이용하여 피부색 모델 히스토그램을 생성하는 피부색 모델을 생성하는 단계와;

   RGB 좌표계로 입력되는 사용자의 손 영상을 YIQ 좌표계로 변환하는 단계와,

   YIQ 좌표계로 변환된 영상을 일정한 크기의 윈도우들로 분할한 후 각 윈도우마다 I-Q 히스토그램을 생성하는 단계와;

   각 윈도우마다 위의 I-Q 히스토그램을 피부색 모델 히스토그램과 정합하여 피부색과 유사도를 계산하는 단계와;

   각 윈도우마다 위에서 계산된 피부색 유사도가 클수록 명암을 밝게 하여 피부색 유사도를 명암으로 표현하는 단계를 수행하는 것을 특징으로 하는 피부색 유사도 영상 생성 방법.
4. 제 2 항에 있어서,

   상기 손 후보 영역 추출단계는,

   피부색 유사도 영상에서 고립된 영역을 제거하는 단계와;

   피부색 유사도가 너무 작은 부분의 유사도를 높여 피부 영역을 확장하는 단계와;

   고립 영역이 제거되고 영역 확장된 피부색 유사도 영상을 가변 임계치를 사용하여 이치화하는 단계와;

   이치화 결과에서 8-연결 요소를 추출하는 단계를 수행하는 것을 특징으로 하는 손 후보 영역 추출방법.
5. 제 2 항에 있어서,

   상기 손 영역 결정단계는,

   손후보 영역에서 면적이 너무 작지 않은 영역만을 선택하는 면적 검증단계와;

   상기 면적 검증을 통과한 손 후보 영역들 중에서 너무 구석에 위치하지 않고 이전 프레임의 손 위치와 너무 멀지 않은 영역들만을 선택하는 위치 검증단계와;

   상기 면적 검증과 위치 검증을 통과한 손 후보 영역이 0개이면 손이 없다고 결정하는 단계와;

   상기 면적 검증과 위치 검증을 통과한 손 후보 영역이 1개이면 그 영역을 손 영역으로 결정하는 단계와;

   상기 면적 검증과 위치 검증을 통과한 손 후보 영역이 2개 이상이면 그 중에서 면적이 가장 큰 영역을 손 영역으로 결정하는 단계를 수행하는 것을 특징으로 하는 손 영역 결정 방법.
6. 제 2 항에 있어서,

   상기 손 영역 결정단계에서 추출된 손 영역에서 일정한 크기의 손 영상 윈도우를 샘플링하는 단계와;

   RGB 좌표계의 손 영상 윈도우를 YIQ 좌표계로 변환하는 단계와;

   YIQ 좌표계의 손 영상 윈도우에서 I-Q 히스토그램을 생성하는 단계와;

   현재의 피부색 모델 히스토그램에서 가장 오래된 샘플링 윈도우에서 파생된 I-Q 데이터를 제거하는 단계와;

   상기 I-Q 히스토그램을 처음 생성한 피부색 모델 히스토그램에 누적시켜 수정된 피부색 모델 히스토그램을 생성하는 단계를 부가하여 수행하는 것을 특징으로 하는 피부색 모델 수정방법.

Images