KR20100000278A

KR20100000278A - 인간과 단말기간의 마우스 인터페이스 시스템 및 제어방법

Info

Publication number: KR20100000278A
Application number: KR1020080059714A
Authority: KR
Inventors: 이응주; 이위
Original assignee: 동명대학교산학협력단
Priority date: 2008-06-24
Filing date: 2008-06-24
Publication date: 2010-01-06
Also published as: KR100957194B1

Abstract

본 발명은 사람의 입 위치와 모양 정보에서 추출한 데이터의 분석 결과를 이용하여 단말기를 제어할 수 있도록 하는 단말기 자동제어 인터페이스 시스템에 관한 것이다.

본 발명은 사용자들의 다양한 얼굴형태 및 입의 위치와 모양 등의 특징 정보를 추출하여 데이터베이스화하고, 입력된 영상을 분석하여 얻어진 정보와 얼굴의 기하학적 구조를 바탕으로 사람의 얼굴 형태를 결정하고 처리된 입의 위치와 얼굴의 기하학적 위치구조관계를 이용해서 입의 위치정보를 계산함은 물론, 계산된 사용자의 정보를 이용하여 단말기를 제어할 수 있도록 하는 것으로, 단말기를 제어함에 있어 별다른 외부 장치의 입력 없이 마우스 위치 정보와 동일한 입력이 이루어지도록 한 것이다.

입의 컬러정보를 이용하여 입모양을 2진 이미지로 처리하고 분석된 결과의 입 모양정보를 바탕으로 단말기에게 제어 정보를 전달함으로써 단말기를 쉽게 제어 할 수 있도록 하고, 사용자에게 온라인 실시간 이미지 분석프로그램을 제공하여 사용자의 얼굴 이미지 분석결과를 사전에 사용자시스템에서 미리 이루어지도록 하고, 시스템에서는 카메라를 통해 분석된 결과정보만을 제공받아 단말기에게 제어정보를 제공할 수 있도록 하고자 한 것이다.

본 발명에서는 제 1 관점으로서, 인간 단말기간 마우스 인터페이스 제어방법에 있어서, 영상입력부에서 얼굴영상을 입력받는 1단계와; 이미지처리부에서 RGB 이미지를 YC_bCr 컬러 공간의 이미지로 변경하는 2단계와; 이미지처리부에서 얼굴영역을 검출하는 3단계와; 입위치검출부에서 얼굴영역에서 입위치를 검출하는 4단계와; 입형태분석모듈부에서 얼굴영역을 이용하여 입형태를 검출하는 5단계와; 단말기 제어명령 생성부에서 상기 입위치와 입형태를 이용하여 단말기 제어명령 생성 후에 단말기에 제어명령을 전달하는 6단계를 포함하는 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 제어방법이 제시된다.

제 2 관점으로서, 인간 단말기간 마우스 인터페이스 제어방법에 있어서, 영상입력부에서 얼굴영상을 입력받는 1단계와; 이미지처리부에서 RGB 이미지를 YC_bCr 컬러 공간의 이미지로 변경하는 2단계와; 이미지처리부에서 얼굴영역을 검출하는 3단계와; 입형태분석모듈부에서 얼굴영역을 이용하여 입형태를 검출하는 4단계와; 입위치검출부에서 얼굴영역에서 입위치를 검출하는 5단계와; 단말기 제어명령 생성부에서 상기 입위치와 입형태를 이용하여 단말기 제어명령 생성 후에 단말기에 제어명령을 전달하는 6단계를 포함하는 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 제어방법이 제시된다.

제 3 관점으로서, 인간 단말기간 마우스 인터페이스 시스템에 있어서, 인간의 얼굴영상을 입력받는 영상입력부와; 상기 얼굴영상을 이용하여 이미지변환을 하여 얼굴영역을 추출하는 이미지처리부와; 상기 얼굴영역에서 입위치를 추출하는 입위치검출모듈부와; 상기 얼굴영역에서 입형태를 분석하는 입형태분석모듈부와; 상기 입위치와 입형태를 이용하여 단말기에 전달할 제어명령을 생성하는 단말기 제어 명령 생성부를 포함하는 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 시스템이 제시된다.

인터페이스, 마우스, 제어, 입위치, 입형태, 명령

Description

인간과 단말기간의 마우스 인터페이스 시스템 및 제어방법{ The mouse interface system of between human and terminal, and control method}

본 발명은 온라인 실시간 영상 처리기술을 이용하여 사용자의 입 위치와 모양 정보를 추출함은 물론, 단말기 제어정보검출에 필요한 정보를 제공할 수 있는 인간 단말기간의 마우스 인터페이스 시스템에 관한 것이다.

일반적으로, 이런 인간-단말기 인터페이스 시스템은 사람의 얼굴 부분을 많이 사용하고, 카메라 위치에 따라 알고리즘이 결정된다. 하지만 사람 얼굴 영상정보에서 양쪽 눈은 사용자의 얼굴 방향에 따라 화면에 존재하지 않을 수도 있다. 그러나 입은 항상 존재한다. 그래서 입의 위치에 따른 정보를 이용하여 필요한 정보를 확인할 수 있다. 이때 중요한 것은 얼굴 영역의 이미지에서 입 영역을 추출함을 목적으로 한다.

또한 입의 컬러정보를 이용하여 입모양을 2진 이미지로 처리하고 분석된 결과의 입 모양정보를 바탕으로 단말기에게 제어 정보를 전달함으로써 단말기를 쉽게 제어 할 수 있도록 한다.

본 발명에서는 제 1 관점으로서, 인간 단말기간 마우스 인터페이스 제어방법에 있어서, 영상입력부에서 얼굴영상을 입력받는 1단계와; 이미지처리부에서 RGB 이미지를 YC_bCr 컬러 공간의 이미지로 변경하는 2단계와; 이미지처리부에서 얼굴영역을 검출하는 3단계와; 입위치검출부에서 얼굴영역에서 입위치를 검출하는 4단계와; 입형태분석모듈부에서 얼굴영역을 이용하여 입형태를 검출하는 5단계와; 단말기 제어명령 생성부에서 상기 입위치와 입형태를 이용하여 단말기 제어명령 생성 후에 단말기에 제어명령을 전달하는 6단계를 포함하는 것을 특징으로 하는 인간 단 말기간 마우스 인터페이스 제어방법이 제시된다.

제 1,2 관점에 있어서, 상기 단말기는, 휴대폰, PDA, PC, 노트북 중에서 어느 하나인 것을 특징으로 한다.

제 3 관점으로서, 인간 단말기간 마우스 인터페이스 시스템에 있어서, 인간의 얼굴영상을 입력받는 영상입력부와; 상기 얼굴영상을 이용하여 이미지변환을 하여 얼굴영역을 추출하는 이미지처리부와; 상기 얼굴영역에서 입위치를 추출하는 입위치검출모듈부와; 상기 얼굴영역에서 입형태를 분석하는 입형태분석모듈부와; 상기 입위치와 입형태를 이용하여 단말기에 전달할 제어명령을 생성하는 단말기 제어명령 생성부를 포함하는 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 시스템이 제시된다.

제 3 관점에 있어서, 상기 단말기는,휴대폰, PDA, PC, 노트북 중에서 어느 하나인 것을 특징으로 한다.

이상에서와 같이 본 발명을 적용하게 될 경우, 실제 입 화상을 이용하여 단말기에 제어정보를 제공하므로, 사용자는 머리만 사용하면 단말기를 제어할 수 있다.

본 발명을 이용할 경우 손을 사용할 수 없어 마우스를 사용하여 간단한 작업을 할 수 없거나 손대신 발을 사용하는 장애우들도 마우스 없이도 얼굴을 이용하여 간단한 작업을 할 수 있다.

이하에서는 첨부한 도면을 참조하면서 본 발명의 실시 예에 대한 구성 및 작용을 상세하게 설명하기로 한다.

도 1은 입 위치 검출과 제어를 통한 인간-단말기 마우스 인터페이스 시스템과 정보를 과정을 나타내는 순서도이다. 먼저, 캠을 통하여 영상을 입력받은 후, 영상처리 과정을 거친다. 이 과정 후, 입 위치를 찾는 알고리즘과 입 모양 분석 알고리즘을 이용하여 입의 위치정보와 모양을 분석한 후에, 제어 알고리즘을 이용하여 입 위치정보를 검출해서, 입이 이동하는 정보를 받을 수 있으며, 이것을 통하여 단말기를 제어할 수 있는 명령에 대한 정보를 획득할 수 있다. 이 정보에 의하여 우리는 단말기를 입 모양으로 제어할 수 있으며, 인간-단말기 마우스 인터페이스 시스템을 구축할 수 있다.

도 2는 입력된 영상을 영상처리 기법에 의한 전처리 과정을 나타낸 순서도이 다. 영상이 입력되면, 입력된 영상을 YC_bC_r 영역으로 변환한다. 변환된 영상을 C_r Index를 이용하여 얼굴영역을 검출한 후, C_b * C_r Index를 이용하여 입의 위치를 검출한다. 다음으로 Y * C_r Index를 이용하여 입의 모양을 검출한다.

다음으로 보여준 영상을 입력받아 단말기에 제어 정보를 보내기까지의 과정을 설명한다. 먼저 영상입력부에서 영상을 입력받아 이미지처리부에서 RGB 이미지를 YC_bC_r 컬러공간으로 변경하는 과정을 설명한다.

HSV에 의해서 많은 머리 탐지 알고리즘이 연구되었다. 여기서 HSV란, 색을 표현하는 하나의 방법이자, 그 방법에 따라 색을 배치하는 방식이다. 색상(Hue), 채도(Saturation), 명도(Brightness, Value)의 좌표를 써서 특정한 색을 지정한다. HSB로 불리는 경우도 있다. 색상값 H(Hue)는 가시광선 스펙트럼을 고리모양으로 배치한 색상환에서 가장 파장이 긴 빨강을 0°로 하였을 때 상대적인 배치 각도를 의미한다. 때문에 H 값은 0°~360°의 범위를 갖고 360°와 0°는 같은 색상 빨강을 가리킨다. 채도값 S(Saturation)는 특정한 색상의 가장 진한 상태를 100%로 하였을 때 진하기의 정도를 나타낸다. 채도값 0%는 같은 명도의 무채색을 나타낸다. 명도값 V 또는 B(Brightness, Value : B로 표현하는 것이 더 일반적이다.)는 흰색을 100%, 검정을 0%로 하였을 때 밝기의 정도를 나타낸다. 그리고 이것의 장점 및 단점이 비교 되어있다. 많은 연구를 통해서 정확도 및 속도가 증가하는 알고리즘 이 발표되어 있다. 우리는 다른 어떤 것 보다 정확도가 높고 속도가 빠른 사람의 피부 색 정보를 탐지하는 알고리즘을 사용하였다.

사람의 피부를 분석 하자면 먼저 직선이 아닌 RGB의 YC_bC_r 컬러공간과 HSI 컬러 공간을 통해서 변형 시켜야 한다. RGB(적·녹·청)란 색을 정의하는 색 모델, 또는 색 표시 방식이다. 빛의 3원색인 적·녹·청을 혼합하여 색을 나타내는 RGB 방식은 컬러 텔레비전이나 컴퓨터의 컬러 모니터, 또는 인쇄 매체가 아닌 기타 빛을 이용하는 표시 장치에서 채용되고 있다. RGB 방식은 적·녹·청을 혼합하여 원하는 색을 만드는 가색 방식을 사용한다. 즉, 화면상의 한 점의 색은 3색의 조합으로 만들어지는데, 조합해서 만들어지는 색은 다음과 같이 된다. R는 적색, G는 녹색, B는 청색, R＋G＝황색, R＋B＝붉은 보라색(마젠타), B＋G＝청록색(시안), R＋G＋B＝백색, R·G·B의 어느 것도 가해지지 않으면, 즉 어느 것도 비춰지지 않으면 흑색이 된다. 이와 같이 R·G·B가 비춰지는가 그렇지 않은가의 조합에 따라 색을 만들면 8색이 된다. 도 3은 이것들의 색 공간을 나타내고, RGB와 사람 얼굴의 이미지 YC_bC_r 와 HSI 색 공간 (파란색 점은 모니터 위에 재생되어 표현된 것을 의미.) 그리고 피부 톤의 모델(빨간색은 입 구역 컬러 정보 표현하고, 초록색은 피부 컬러 정보를 표현한다.)로 표현하고 있다.

도 3a는 RGB 공간이고 X축은 Red 값을 나타내고, Y축은 Green 값을 나타내고, Z축은 Blue 값을 나타낸다. 여기서, Red Dot는 입 구역 컬러 정보, Green Dot는 피부색 컬러 정보, Blue Dot는 배경 컬러 정보를 나타낸다. 도 3b는 R-G공간에서 2D 투영도로서 X축은 Red 값을 나타내고, Y축은 Green 값을 나타낸다. 도 3c는 R-B공간의 2D 투영도로서 X축은 Red 값을 나타내고, Y축은 Blue 값을 나타낸다. 도 3d는 G-B공간의 2D 투영도로서 X축은 Green 값을 나타내고, Y축은 Blue 값을 나타낸다. 도 3e는 YC_bC_r공간에 나타낸 것이고 X축은 Gray 값을 나타내고, Y축은 C_b값을 나타내고, Z축은 C_r 값을 나타낸다. 여기서, Red Dot는 입 구역 컬러 정보, Green Dot는 피부색 컬러 정보, Blue Dot는 배경 컬러 정보를 나타낸다. 도 3f는 Y-C_b의 2D 투영도로서 X축은 Gray 값을 나타내고, Y축은 C_b값을 나타낸다. 도 3g는 Y-C_r공간의 2D 투영도로서 X축은 Gray 값을 나타내고, Y축은 C_r 값을 나타낸다. 도 3h는 C_b -C_r공간의 2D 투영도로서 X축은 C_b값을 나타내고, Y축은 C_r 값을 나타낸다. 도 3i는 HSI 공간에 나타내였고 X축은 Hue 값을 나타내고, Y축은 Intensity 값을 나타내고, Z축은 Saturation 값을 나타낸다. 여기서, Red Dot는 입 구역 컬러 정보, Green Dot는 피부색 컬러 정보, Blue Dot는 배경 컬러 정보를 나타낸다. 도 3j는 H-S 공간의 2D투영도로서 X축은 Hue 값을 나타내고, Y축은 Saturation 값을 나타낸다. 도 3k는 H-I 공간의 투영도로서 X축은 Hue 값을 나타내고, Y축은 Intensity 값을 나타낸다. 도 3l은 S-I 2D 투영도로서 X축은 Saturation 값을 나타내고, Y축은 Intensity 값을 나타낸다.

우리의 작업은 적당한 컬러 공간과 동일한 피부색을 선택하는 것이다. 도 3은 이를 잘 보여 주는데 적당한 빨간색과 녹색의 공간을 찾지만 이는 최상의 선택은 아니다. 또한 사람의 얼굴은 어느 특정한 독립적인 특징의 배경을 가지지 않는다. 그러나 YC_bC_r 색 공간에서 C_r 가치의 색은 강하고 독립적인 배경을 가짐으로RGB 컬러 모델과 YC_bC_r 모델간의 변환이 가능하다. 여기서 YC_bC_r 색 공간이란, 영상 시스템에서 사용되는 색공간의 일종이다. Y는 휘도 성분이며 C_b 와 C_r은 색차성분이다. YC_bC_r은 가끔 YCC 라고 줄여 부르기도 한다. YC_bC_r은 절대 색공간이 아니며 RGB 정보를 인코딩하는 방식의 하나로, 실제로 보여지는 이미지의 색은 신호를 디스플레이 하기 위해 사용된 원본 RGB 정보에 의존한다. 따라서 YC_bC_r로 표현된 값은 표준 RGB 색상이 사용된 경우거나, 색상을 변환하기 위해 사용하는 ICC 프로파일을 첨부한 경우에만 예측할 수 있다. 영상입력부로부터 입력받은 영상을 RGB 이미지에서 다시 YC_bC_r공간의 이미지로 색상을 변환하기 위해 ICC 프로파일을 사용하여 이미지를 변경한다.

다음으로, 위에서 이미지 처리부에서 RGB를 YC_bC_r 공간의 이미지로 변경을 한 후에 이것을 가지고 얼굴 영역을 검출하는 과정에 대해서 설명한다.

YC_bC_r 공간의 이미지를 통해서 얼굴영역을 검출할 수 있는데 C_r 정보를 통해서 얼굴부분을 탐지가 가능하다. 누적히스토그램에 따르면 우리는 전체 부분의 60%를 머리 부분이 차지하고 있다. 그래서 누적히스토그램 방법은 C_r threshold을 탐지하는데 사용되었고 식(18)과 도 3에서도 잘 나타나 있다. 누적히스토그램이란, 화상에 대하여 각 농도의 레벨마다 그 농도 레벨을 갖는 픽셀의 수, 또는 모든 픽셀 수에 대한 비율을 표시한 함수이다. 농도치 히스토그램이라고도 하며, 통상 X축에 농도치, Y에 픽셀 수를 취한 막대 그래프로 표시한다. 그 화상 데이터가 어떤 농도 치를 갖는 픽셀로 구성되었는지 조사하는 데 쓰이며, 화상이 소정 형상의 히스토그램을 갖도록 계조 처리를 한다.

식(18)

여기에서, H_Cr은 C_r 정보에 대한 히스토그램이고, SUM은 영상에 대한 전체 누적 히스토그램이고, Cr_Th는 영상에 대한 Threshold 결과 값이고, 60%는 얼굴 영역에 대한 누적 히스토그램 분포 값이다.

도 4는 영상에서 얼굴영역을 검출하기 위한 과정을 설명하기 위한 도면이다. 도 4의 (a)는 원영상이고 도 4의 (b)는 YC_bC_r 공간에서 C_r영역정보이고 도 4의 (c)는 얼굴검출 알고리즘을 적용한 결과이고 도 4의 (d)는 원영상(a)과 마스크적용 영상(c)을 AND 연산시킨 결과 영상이다. 도 4와 같은 과정을 거쳐서 우리는 얼굴영역을 검출하게 된다.

도 5는 얼굴 판별결과로서 도 5의 (a)는 원본 도면이고 도 5의 (b)는 C_r 도면이고, 도 5의 (c)는 검출된 얼굴 영역으로서 입 위치가 나타난 도면이다.

이하에서는 입형태분석모듈부(150)에서 입의 형태를 분석하는 과정에 대해서 설명하기로 한다.

입 형태를 분석하기 위해서 머리 포즈 X축 회전각(α)과 Y축 회전각(β)과 Z축 회전각(γ)을 먼저 구하기로 한다. 이제부터 입의 위치와 얼굴의 형태에 따른 정보를 이용하여 머리 포즈를 추정하는 알고리즘을 소개할 것이다.

머리포즈각도를 먼저 구하는 이유는 머리포즈각도에 따라 입의 위치정보가 달라지기 때문이다. 즉, 얼굴 영역에서 입의 위치를 알기 위해서 머리포즈각도를 구하게 된다. 예를 들어서 오른쪽을 바라본다면 정면을 보고 있을 때와 입의 위치, 거리정보가 달라진다. 즉, 얼굴에서 정면 일 때를 기준으로 해서, 좌우를 바라볼 때 입의 거리정보가 달라진다. 또한 위아래를 바라볼 때와 정면을 바라볼 때 역시 입의 위치정보가 다르기 때문에 입 검출에 있어서 머리포즈각도는 중요한 요소가 된다.

도 6을 보면 사람이 정면을 보고 있을 때 입의 위치 정보를 쉽게 찾을 수가 있는데 머리를 회전할 경우 입 위치의 라인은 위치가 이동하고, 이때 사람머리는 Z축을 중심으로 재설정 된다. 도 6의 도면 각각의 입 위치와 머리 부분의 각도는 도 6(a)의 경우 X 축으로 왼쪽40˚ Y축으로 10˚ Z 축으로 15˚이고, 도 6(b)의 경우 X축 왼쪽70˚ Y축과 Z축은 0˚이고, 도 6(c)의 경우 X축 왼쪽으로 90˚ Y축 Z축으로 0˚이고, 도 6(d)의 경우 X축 오른쪽으로 40˚ Y축으로 -10˚ Z축으로 10˚도이다. 도 6를 통하여 머리포즈에 따른 입의 위치를 검출할 수 있다.

먼저, 우리는 아래 프레임에서 머리 중심의 움직임과 이 알고리즘에 사용된 몇 가지의 기호, 입과 머리 부분 모델의 알고리즘에 대하여 정의하겠다. 도 7(a)에서 X축의 α, Y축의 β Z축의 γ 따른 다양한 각도의 결과를 세분화한 알고리즘에 대하여 살펴보겠다. 도 7의 (a)는 일반적인 정면모델의 머리 포즈와 입을 도시한 것이고 도 7의 (b)는 α의 거리만큼 수평 이동(좌,우)한 입과 얼굴 위치 모델이고, 도 7의 (c)는 β의 거리만큼 수직 이동(상,하)한 입과 얼굴 위치 모델이고 β는 머 리와 입이 움직이므로 만들어진 각도를 나태내고, 도 7의 (d)는 γ의 입과 머리 부분의 모델로서, 외각의 큰 원과 안쪽의 작은 원이 있고 외각의 원은 카메라에서 가까운 머리포즈를 나타낸 것이고, 안쪽의 작은 원은 카메라에서 멀리 떨어진 머리포즈를 표현한 것이다. 여기에서 입의 표현은 M이고 이동한 후의 입의 표시는 M'이고, 얼굴의 왼쪽 외곽선은 FL, 얼굴의 오른쪽 외곽선은 FR, 얼굴의 밑 부분은 FB 그리고 윗부분은 FT로 정의한다.

먼저 머리 포즈 X축 회전각(α)를 추정한다. 우리는 얼굴의 정면을 α=0으로 초기화를 시킨다. 즉 α=0이라는 의미는 입의 움직임이 없다는 것을 의미한다. 그리고 얼굴을 왼쪽에서 오른쪽으로 회전시킬 때 α의 범위는 [-π/2, π/2]로 한다. 도 7(b)에서 입과 얼굴 부분의 왼쪽 외곽선의 거리(D_ML) 계산을 볼 수가 있다.

식(1)

여기서 P_M(x)은 기준 영상에서 X축으로 변경된 입의 위치 정보, 즉 좌표값을 나타내며, P_FL(x)은 얼굴의 왼쪽 수평선이다. 그리고 입과 얼굴의 오른쪽 외곽선의 거리(D_MR) 계산은 밑의 식으로 구할 수가 있다.

식(2)

D_HorSetover(P_FL(x)와 P_FR(x)의 거리 차이값)는 밑의 식으로 구할 수가 있다.

식(3)

D_HorSetvoer는 입의 왼쪽거리정보(D_ML)와 오른쪽거리정보(D_MR)의 차이값을 의미한다. 선형의 균등함의 관계에 대한 법칙을 α 와 D_HorSetover규칙에 따랐다. 도 8의 (a)는 입의 이동하는 구역부터 모니터까지 투영되는 거리 모델이고 도 8의 (b)는 도 8의 (a)에 대한 평면도이다. 도 8은 식(4)를 유도하기 위한 도면으로서, 입 위치정보에서부터 모니터의 마우스(하드웨어)의 위치까지의 맵핑 연산 방법을 설명하기 위한 도면이다. 도 8에서는 실제 입의 위치와 모니터에 보여지는 입의 위치 간의 선형관계를 보여주고 있다. 식(4)는 이런 선형관계를 설명한 식으로서 도 8에서 x, y 만큼의 움직임에 대한 관계를 나타낸 식이다. 즉, 실제 입의 움직임과 스크린에 비춰지는 입의 위치의 비례관계를 표현한 식이다. 실험 데이터의 분석을 통하여, D_HorSetover/D_LR와 α/θ의 선형관계를 표현하기 위하여, 임의의 상수 k, b, θ를 사용하여 식(4)와 같이 일차방정식을 구성한다.

식(4)

θ는 수평으로 머리가 움직일 수 있는 최대각 [-π/2, π/2]이고,α는 카메라와 머리가 움직일 수 있는 각 [-π/2, π/2]이고, D_LR은 X축(수평)에 대한 얼굴전체거리정보이고, k는 선형 정비례상수이다. 위 식(4)에 의해 우리는 선형의 균등함의 관계에 대한 법칙을 구할 수 있다.

우리는 두 가지의 특별한 형태 즉, α = 0 (정면) 그리고 α = π/2을 실험을 통하여 계산하자. 정면에서 볼 때 α = 0, P_M(x) = 0 일 때 D_ML(=D_LR/2)와 D_MR(=D_LR/2)의 값은 같아진다. 오른쪽에서 볼 때 α = π/2, P_M(x) = D_LR/2 일 때, D_ML=D_LR 와 D_MR=0의 값을 가지게 된다. 우리는 밑의 방정식을 알 수가 있다.

식(5)

K, θ 와 b는 위 식(5)에서 계산될 수 있다.위 방정식을 풀면 결과는 식(6)과 같다.

식(6)

식(6)에서 구한 결과 값을 식(4)에 대입하면 X축의 머리의 회전각은 밑의 방정식과 같다.

식(7)

우리는 여기서 얼굴 부분과 입의 위치를 탐지한 알고리즘의 2D 이미지에서 D_LR과 P_M(x)을 쉽게 얻을 수가 있다.

다음으로 머리 포즈 Y축 회전각을 추정한다. 우리는 여기서 정면의 경우 β=0이라는 것으로 초기화를 하였다. 그리고 얼굴의 아랫부분에서 윗부분의 β범위를 [-π/2, π/2]로 정한다. 도 7(c)에서 입과 머리 윗부분 외곽선까지의 거리를 계산 할 수가 있다.

식(8)

D_MT는 Y축(수직)에 대한 입부터 얼굴 윗부분까지의 거리이고 P_M(y)는 기준 영상에서 Y축으로 변경된 입의 위치정보 즉 좌표값을 표현한다. 여기서 P_FT(y)는 얼굴 윗부분 외곽선의 수직적인 위치이다. 그리고 입과 얼굴의 아랫부분의 외곽선까지의 거리는 다음으로 계산할 수가 있다.

식(9)

D_MB는 Y축(수직)에 대한 입부터 얼굴 아랫부분까지의 거리이고 D_VerSetover는 입의 윗쪽거리정보(D_MT)와 아래쪽거리정보(D_MB)의 차이값을 의미한다. 이때 두 거리 차이, 즉 D_MT에서 D_MB까지의 거리의 차이는 식(10)과 같이 정의된다.

식(10)

선형의 균등함의 관계에 대한 법칙을 β와 D_VerSetover규칙에 따르고 실험 데이터의 분석을 통하여, D_VerSetover/D_LR와 β/θ의 선형관계를 표현하기 위하여, 임의의 상수 k, b, θ를 사용하여 식(11)과 같이 일차방정식을 구성한다.

식(11)

우리는 두 가지의 특별한 형태 즉, β = 0 (정면) 그리고 β = π/2을 실험 을 통하여 계산하자. 정면에서 볼 때 β = 0, P_M(y) = 0 일 때 D_MT(=D_TB/2)와 D_MB(=D_TB/2)의 값은 같아진다. 얼굴을 위로하여 볼 때 즉 β = π/2, P_M(y) = D_TB/2 일 때, D_MT=D_TB 와 D_MB=0의 값을 가지게 된다. 우리는 위의 값을 이용하면 식(12)의 방정식을 알 수가 있다.

식(12)

k, θ와 b는 위 식(12)에서 계산되고 결과값은 식(13)과 같다.

식(13)

사람의 입은 항상 정 중앙에만 위치하지 않는다. 그러므로 우리는 먼저 입의 위치를 P_M‘(y) = P_M(y) - D_MC 식을 이용하여 중앙에 위치시킨다.

식(14)

P_M‘(y)는 P_M(y)가 기준좌표일 때, Y축으로 변경된 입의 위치 정보, 즉 좌표값을 표현한다.

D_TB는 Y축(수직)에 대한 얼굴 아랫부분에서 얼굴 윗부분까지의 거리이다.

그리고 여기서 D_VerSetover를 구하는 공식은 다음과 같다.

식(15)

그래서 Y축에 대한 결과는 식 (16)에 의해서 구해진다.

식(16)

D_TB 와 P_M(y)는 머리 부분과 입 위치의 탐지 알고리즘으로 쉽게 얻을 수가 있다. 그리고 많은 정면실험을 통해서 아래의 머리 영역 검출 부분과 D_MC 의 결과도 얻을 수가 있다. D_MC와 D_TB의 비율확인을 위해서 FERET 얼굴 데이터베이스를 이용하여 실험한 결과, D_MC와 D_TB의 비율은 7:40이 된다.

D_MC는 정면모델 영상의 중심점(c)으로부터 입까지의 거리정보(참조:도 7(a))이다. 여기서 FERET 데이터베이스란 현존하는 영상인식시스템중에서 기본이 되는 데이터베이스이다. 얼굴인식기술 프로그램은 DARPA(Defense Advanced Research Projects Agency)와 NIST(National Institute of Standards and Technology)에 의해 관리되어진다. 얼굴 영상 데이터베이스는 1993년 12월부터 1996년 가을까지 수집되어 졌다. 2003년에 DARPA는 얼굴영상들의 고화상인 24-비트 컬러 버전을 발표했다. 데이터 세트는 856명을 나타내는 2,413장의 얼굴영상을 더하여 테스트 하였다. 이 FERET 프로그램은 알고리즘 개발자들로부터 독립적으로 모아온 얼굴영상의 큰 데이터베이스를 입증하기 위해서 준비하였다. Wechsler at George Mason University의 Harry 박사는 이 데이터베이스의 자료수집을 지시하였다. 이 데이터베이스 자료는 Dr. Wechsler 과 Dr. Phillips의 공동연구 노력이었다.

다음으로 머리 포즈 Z축 회전각을 추정한다. Z축을 이용하여 정면이 아닌 어느 위치에서도 각도의 γ값은 0이다. 왼쪽과 오른쪽 입의 포지션도 수평선에서 같게 된다. 도 7(d)에서 γ와 입의 왼쪽과 오른쪽 면에서는 아래와 같은 식이 생성된다.

식(17)

여기서 P'_MR 와 P'_ML 는 큰 이미지에서의 입 부분 중 왼쪽과 오른쪽 부분의 위치를 나타내며, P_MR 와 P_ML은 작은 이미지에서의 입 부분 중 왼쪽과 오른쪽 부분의 위치이다.

여기에서 우리는 X축과 Y축으로 이동된 머리 위치의 차이, 즉 (α, β) 각도를 통하여 입의 위치와 머리 부분의 윤곽선을 확인할 수가 있고 Z축의 γ를 통하여 입의 정보를 확인할 수가 있다. 궁극적으로는 α, β,γ를 이용하여 카메라부터 영상을 입력받았을 때 머리의 위치를 판단할 수 있다.

또한 우리는 입의 위치에 따른 정보를 이용하여 머리 정보를 확인할 수 있 다. 이때 중요한 것은 머리 부분의 이미지에서 입을 찾아야 하는 것이다. luma 와 chroma 이미지를 통해서 우리는 입과 얼굴의 외곽선을 쉽게 찾아낸다. 입과 얼굴의 색은 다양한 색 정보로 모델링 되어 있다. 도 10의 MOUSE MAPS 모델을 통하여 우리는 YC_bC_r 컬러 모델을 구할 수가 있고 C_b와 C_r 또한 여러 가지로 얼굴과 관련이 있다. 입 주변에서 chrominance의 구성 요소인 C_r 은 C_b 보다 크다. 또한 입은 C_r ² 가 낮게 반응하고 그러나 C_b ² 은 높게 반응한다. 그리고 머리 부분의 어느 곳보다 입 부분에 관한 많은 정보를 가지고 있다. 이런 결과는 식 (19)에 잘 나타나 있다. 그래서 이제부터는 입 부분의 C_b ²이 C_r ² 부분보다 다른 특징부분에 대해서 관찰할 것이다. 도 9는 이런 상황이 잘 나타나 있는데 입 주변에서의 chrominance는 C_r 이 C_b 보다 컬러 레벨이 높고, 또한 사람 입은 C_r ² 의 컬러 레벨이 C_b ² 보다 낮게 나타난다. 여기서 C_b ² 의 컬러 레벨이 Cr² 의 컬러 레벨보다 높게 나타난다는 것은 얼굴 영역에서 입의 영역이 가장 많은 컬러 정보를 가진다는 것을 의미한다. 아래에 식 (19)와 식 (20)이 잘 나타내고 있다.

식(19)

식(20)

그리고 MouthMap을 도 9의 (e)에서 잘 보여주고 있다. MouthMap은 식 (19)를 사용하여 연산되어진 이미지를 의미한다. 즉, C_r ² 와 C_r ²의 결과 이미지를 정합한 것이 MouthMap이 된다. C_r ²는 영상에서 chroma값의 제곱을 한 이미지(도 10의(a)에서 보여지고 있다.)이고 C_b ²은 영상에서 luma값의 제곱을 한 이미지(도 10의(b)에서 보여지고 있다.)이고 Φ₁은 C_r ² 의 평균값이고 Φ₂는 C_b ²의 평균값이고 Φ₃는 Φ₁+Φ₂의 평균값이다. 여기서 C_r ² 와 C_b ²는 표준적으로 [0,255]의 값을 가지는 gray image, 그리고 M과 N은 얼굴영상에서 가로값와 세로값을 나타낸다.

도 9는 C_r, C_b, C_r ²/φ₁, C_b ²/φ₂, 입 투영 이미지로서 도 9(a)는 C_r 얼굴이고, 도 9(b)는 C_b 얼굴이고, 도 9(c)는 C_r ²/φ₁ 얼굴이고, 도 9(d)는 C_b ²/φ₂ 얼굴이고, 도 9의 (e)는 입 투영 이미지이다. 도 9의 (c),(d),(e)에서 도 5의 계산 결과를 잘 보여주고 있다.

도 10은 입 영역을 검출하기 위해 사용된 도면으로서 위 MouthMap을 이용하 여 입영역을 검출하는 과정을 도시하고 있다. 도 10의 (a)는 C_r ² 적용한 얼굴 영역 영상이고 도 10의 (b)는 C_b ² 적용한 얼굴 영역 영상이고 도 10의 (c)는 식(19)을 적용한 얼굴 영상이고 도 10의 (d)는 그레이 레벨 영상을 반전시킨 영상이고 도 10의(e)는 입 영역을 검출한 영상이다. 우리는 MauthMap인 도 9의 (e)를 이용하여 얼굴영상에서 도 10의 (e)와 같은 입영역을 검출하였다.

다음으로 입 영역에서 입형태를 검출하기로 한다. 도 11은 도 10(e)를 이용하여 입형태를 구하는 과정을 도시한 것이다. 도 11의 (a)는 입의 2진화 이미지이고 도 11의(b)는 정규화를 위한 10 * 10 clip 이미지이고 도 11의 (c)는 정규화된 입의 패턴 이미지이고 도 11의 (d)는 패턴 투영 이미지이다. 위와 같은 이미지 처리단계를 거쳐 도 9의 (e)의 이미지에서 입 형태를 쉽게 찾을 수가 있다. 도 9의 (e)는 강한 하얀색의 정보가 있다.

여기에서 패턴을 사용하는 이유는 도 10의 (e)상태로 입력이 계속 들어온다면, 연산할 때 시간이 너무 많이 걸리게 된다. 또한 메모리도 많이 차지하기 때문에 속도 자체가 많이 느려지게 된다. 이런 이유로 도 11의 (d)의 형태로 패턴을 만들면 연산시 시간을 줄일 수 있고, 메모리 또한 줄일 수가 있다.

여기에서 패턴을 적용하면 입의 위치는 얼굴에서 수평으로 2/3 지점에 위치해 있고, 수직으로 1/6 지점에 위치한다. 그래서 우리는 패턴 크기를 쉽게 선택할 수가 있으며 마우스 맵 이미지에서 왼쪽 윗부분에서 오른쪽 윗부분까지 스캔 할수 가 있다. 그리고 식(21)는 픽셀 값의 계산과 패턴에 관한 식이고 그리고 식(22)는 최대 패턴값을 구하는 식이다. 여기에서 우리는 중앙 패턴 값을 구할 수가 있다.

식(21)

식(22)

식(21)에서 m은 스캔된 전체영상의 가로 영역의 윈도우 인덱스이고, n은 스캔된 전체영상의 세로 영역의 윈도우 인덱스를 나타내며, i와 j는 스캔된 전체영상 내에서의 가로 영역, 세로 영역 윈도우 인덱스이다. 도 12는 MauthMap을 이용하여 패턴처리한 계산 결과를 나타내는 도면이고 도 12(e)는 3D 결과 다이아그램이고 도 12의 (f)는 모든 패턴의 관찰 결과(검정에서 하얀색으로 변함)이다.

다음으로 입위치 검출모듈부(140)에서 도 9의 (e)의 도면을 이용하여 입의 위치정보를 구하는 방법을 설명한다. 우리는 도 9의 (e)의 이미지를 이용하여 입의 X축,Y축,Z축의 위치를 알 수 있다. 식 (21),(22)는 실제로는 이미지를 스캔하는 것을 나타내고 도 9의 (e)를 스캔해서 입의 위치를 검출할 수 있다. 즉 이미지 상에서 스캔을 해서 입의 위치를 구할 수 있다.

이하에서는 위에서 구한 입 위치정보와 입형태 정보를 이용하여 단말기 제어명령 생성부에서 단말기에 전달할 제어명령을 생성하는 과정을 설명한다.

입를 이용해서 단말기에 명령을 내리기 위해서는 입의 위치와 형태 정보 모두가 필요하다. 즉, 두 조건을 종합적으로 적용하여 학습을 시키고 사용자가 카메 라를 통해서 어떤 행동을 했을 시, 그 행동에 대한 판단을 단말기가 내리게 되는 것이다. 입의 위치와 입의 형태에 대한 정보를 가지고 단말기에게 제어명령을 전달하면 단말기가 제어명령에 따라 명령을 수행하게 된다.

도 13은 위에서와 같은 흐름에 따라 입의 위치와 입의 형태 정보를 얻어 단말기에 제어 정보를 보내서 단말기를 제어하는 실시 예이다. 도 13의 (a)는 입의 오른쪽을 제어하는 영상으로서 입의 형태가 동그랗게 모아 졌을 때는 텍스트를 OK라고 출력을 하고 있고 도 13의 (b)는 입의 왼쪽을 제어하는 영상으로서 입을 얼굴쪽으로 당기면서 입을 오므렸을 때는 Hello라는 텍스트를 보여주고 있다.

도 13의 (c) 최종적으로 입을 이용한 게임 제어 영상의 실시 예로써 입의 위치와 입의 형태 정보를 이용하여 게임을 하고 있는 모습을 보여 주고 있다.

도 14는 인간 단말기간 마우스 인터페이스 시스템의 시스템 구성도를 보여주고 있다. 인간 단말기간 마우스 인터페이스 시스템은 영상입력부(110),단말기(120),이미지처리부(130),입위치검출모듈부(140),입형태분석모듈부(150),단말기 제어명령 생성부(160)로 구성되어 있다. 영상입력부(110)는 카메라를 이용하여 인간의 얼굴영상을 입력받고, 이미지처리부(130)는 얼굴영상을 이용하여 이미지변환을 통하여 얼굴영역을 추출하고, 입위치검출모듈부(140)는 얼굴영역에서 입위치를 추출하고, 입형태분석모듈부(150)는 얼굴영역에서 입형태를 분석하고, 단말기 제어명령 생성부(160)는 입위치와 입형태를 이용하여 단말기에 전달할 제어명령을 생성한다. 상기 단말기는 제어명령이 전달되는 곳으로 휴대폰, PDA, PC, 노트북 등에 적용될 수 있다.

다음으로 인간 단말기 마우스 인터페이스 시스템을 사용하여 단말기에 제어 명령을 전달하는 방법을 살펴보자.

제 1 방법으로 도 15에 도시된 바와 같이 영상입력부에서 얼굴영상을 입력받는 1단계(S110)와, 이미지처리부에서 RGB 이미지를 YCbCr 컬러 공간의 이미지로 변경하는 2단계(S120)와 이미지처리부에서 얼굴영역을 검출하는 3단계(S130)와 입위치검출부에서 얼굴영역에서 입위치를 검출하는 4단계(S140)와 입형태분석모듈부에서 얼굴영역을 이용하여 입형태를 검출하는 5단계(S150)와 단말기 제어명령 생성부에서 상기 입위치와 입모양을 이용하여 단말기 제어명령 생성 후에 단말기에 제어명령을 전달하는 6단계(S160)를 포함한다.

제 2방법으로는 도 16에 도시된 바와 같이 영상입력부에서 얼굴영상을 입력받는 1단계(S210)와, 이미지처리부에서 RGB 이미지를 YCbCr 컬러 공간의 이미지로 변경하는 2단계(S220)와 이미지처리부에서 얼굴영역을 검출하는 3단계(S230)와 입형태분석모듈부에서 얼굴영역을 이용하여 입형태를 검출하는 4단계(S240)와 입위치검출부에서 얼굴영역에서 입위치를 검출하는 5단계(S250)와 단말기 제어명령 생성부에서 상기 입위치와 입모양을 이용하여 단말기 제어명령 생성 후에 단말기에 제어명령을 전달하는 6단계(S260)를 포함한다. 상기 단말기는 휴대폰, PDA, PC, 노트북 등에 적용될 수 있다.

이상으로 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시될 수 있다는 것을 이해 할 수 있을 것이다. 따라서 이상에서 기술한 실시 예는 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것이다.

도 1은 입 위치 검출과 제어를 통한 인간-단말기 마우스 인터페이스시스템이 입의 정보를 이용하여 단말기에 제어명령을 전달하는 흐름도이다.

도 2는 입력된 영상을 영상처리 기법에 의한 전처리 과정을 나타낸 도면이다.

도 4는 영상에서 얼굴영역을 검출하기 위한 과정을 설명하기 위한 도면이다.

도 5는 영상이미지를 이용하여 얼굴을 판별하는 과정을 도시하고 있다.

도 6은 머리포즈에 따른 입의 위치를 표시한 도면이다.

도 7은 얼굴의 위치 모델을 나타내고 있다.

도 8은 입의 이동하는 구역부터 모니터까지 투영되는 거리 모델을 도시하고 있다.

도 9는 C_r, C_b, C_r ²/φ₁, C_b ²/φ₂, 입 투영 도면이다.

도 10은 입 영역을 검출하는 과정을 도시하고 있다.

도 11은 도 10(e)를 이용하여 입 형태를 구하는 과정을 도시한 것이다.

도 12는 MauthMap을 이용하여 패턴 처리한 계산 결과를 나타내는 도면이다.

도 13은 입의 위치와 입의 형태 정보를 얻어 단말기에 제어 정보를 보내어 단말기를 제어하는 실시 예이다.

도 14는 인간-단말기간 마우스 인터페이스 시스템의 구성도를 보여주고 있다.

도 15,도 16은 입의 위치와 입의 형태를 이용한 단말기 제어방법을 도시하고 있다.

<도면의 주요부분에 대한 부호의 설명>

100 : 인간-단말기간 마우스 인터페이스 시스템

110 : 영상입력부

120 : 단말기

130 : 이미지처리부

140 : 입위치검출모듈부

150 : 입형태분석모듈부

160 : 단말기 제어명령 생성부

Claims

인간 단말기간 마우스 인터페이스 제어방법에 있어서,

영상입력부에서 얼굴영상을 입력받는 1단계와;

이미지처리부에서 RGB 이미지를 YC_bCr 컬러 공간의 이미지로 변경하는 2단계와;

이미지처리부에서 얼굴영역을 검출하는 3단계와;

입위치검출부에서 상기 얼굴영역에서 입위치를 검출하는 4단계와;

입형태분석모듈부에서 상기 얼굴영역을 이용하여 입형태를 검출하는 5단계와;

단말기 제어명령 생성부에서 상기 입위치와 입형태를 이용하여 단말기 제어명령 생성 후에 단말기에 제어명령을 전달하는 6단계를 포함하는 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 제어방법.
인간 단말기간 마우스 인터페이스 제어방법에 있어서,

영상입력부에서 얼굴영상을 입력받는 1단계와;

이미지처리부에서 RGB 이미지를 YC_bCr 컬러 공간의 이미지로 변경하는 2단계와;

이미지처리부에서 얼굴영역을 검출하는 3단계와;

입형태분석모듈부에서 상기 얼굴영역을 이용하여 입형태를 검출하는 4단계와;

입위치검출부에서 상기 얼굴영역에서 입위치를 검출하는 5단계와;

단말기 제어명령 생성부에서 상기 입위치와 입형태를 이용하여 단말기 제어명령 생성 후에 단말기에 제어명령을 전달하는 6단계를 포함하는 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 제어방법.
청구항 1 또는 2에 있어서,

상기 단말기는,

휴대폰, PDA, PC, 노트북 중에서 어느 하나인 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 제어방법.
인간 단말기간 마우스 인터페이스 시스템에 있어서,

인간의 얼굴영상을 입력받는 영상입력부와;

상기 얼굴영상을 이용하여 이미지변환을 하여 얼굴영역을 추출하는 이미지처리부와;

상기 얼굴영역에서 입위치를 추출하는 입위치검출모듈부와;

상기 얼굴영역에서 입형태를 분석하는 입형태분석모듈부와;

상기 입위치와 입형태를 이용하여 단말기에 전달할 제어명령을 생성하는 단말기 제어명령 생성부를 포함하는 것을 특징으로 하는 인간 단말기간 마우스 인터 페이스 시스템.
청구항 4에 있어서,

상기 단말기는,

휴대폰, PDA, PC, 노트북 중에서 어느 하나인 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 시스템.