KR100464040B1 - 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법 - Google Patents

Abstract

본 발명은 카메라가 부착된 이동 통신 단말기에 있어서, 카메라를 이용해 사용자의 얼굴 움직임을 검출하고, 그 움직임 각도에 따라 커서의 이동 방향을 제어할 수 있도록 하는, 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법에 관한 것으로, 얼굴을 촬영하여 그 얼굴 영상에서 두 눈을 연결하는 가상의 직선 및 어깨 양끝을 연결하는 직선을 구하는 단계와; 상기 눈 연결선에 대한 수직 이등분선을 어깨 양끝 연결선과 만나도록 연장하는 단계와; 상기 수직 이등분선과 어깨 연결선이 이루는 기울기에 의해 얼굴의 좌/우 움직임 방향을 검출하는 단계와; 상기 수직 이등분선이 어깨 연결선과 만나는 점 및 눈 연결선과 만나는 점까지의 거리에 의해 상/하 움직임 방향을 검출하는 단계와; 상기 검출된 얼굴의 움직임 방향에 의해 단말기에서의 상/하, 좌/우의 방향 제어를 수행하도록 이루어짐으로써 달성할 수 있다.

Description

얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법{METHOD FOR CONTROLLING OF MOBILE COMMUNICATION DEVICE USING FACE MOVING}

본 발명은 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법에 관한 것으로, 특히 카메라가 부착된 이동 통신 단말기에 있어서, 카메라를 이용해 사용자의 얼굴 움직임을 검출하고, 그 움직임 각도에 따라 커서의 이동 방향을 제어할 수 있도록 하는, 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법에 관한 것이다.

이동 통신 단말기의 기능이 진보함에 따라, 단순한 무선 통신 수단을 넘어 카메라 기능, 멀티미디어 재생 기능과 같이 무선 통신 외적인 기능들이 이동 통신 단말기에 부가되고 있다. 이러한 멀티미디어 기능은 이동 통신 단말기의 표시부 개선과 고속 통신의 실현에 의해 점차 활용 범위를 넓혀가고 있으며, 이미 상용화되어 있어 이동 통신 단말기를 궁극적인 휴대 엔터테인먼트 시스템으로 사용하도록 하고 있다.

이러한 멀티미디어 기능 중 카메라 기능과 멀티미디어 재생 기능은 점차 대중화되고 있는 고급 기능으로서, 디지털 카메라의 기술적 진보에 따라 이동 통신 단말기에 적용되는 카메라의 기능 역시 많은 발전이 있었으며, 이러한 카메라 자체의 기술적 진보와 이를 통해 얻어진 화상을 표시할 수 있는 디스플레이부의 비약적인 발전에 따라 카메라 기능을 구비한 이동 전화는 점차 일반화 되어가고 있는 상황이다.

한편, 현재의 이동 통신 단말기를 제어하기 위한 방법으로는, 도1의 (a)에 도시된 바와 같이 방향키 버튼이나 숫자키 버튼이 구비된 키패드를 사용하는 것이 가장 일반적이며, 일부 단말기의 경우에 상기 키패드와 병행하여 (b)에 도시된 바와 같이 음성을 이용해서 동작을 제어하는 방법을 시도하고 있는 정도다.

따라서, 상기와 같이 이동 통신 단말기에 새로운 기능들이 계속 추가되면서,이를 제어하기 위한 키패드의 각 버튼은 여러가지 제어기능을 중복 부가하여 사용하거나, 별도의 기능버튼을 더 추가하여 사용하고 있다.

그러나, 크기의 제약이 있는 단말기에 무한정 새로운 기능버튼을 추가할 수는 없으며, 각 버튼이 매우 밀집되어 있는 상황이기 때문에 게임을 수행하는 경우와 같이, 방향 버튼이나 선택 버튼 등 두 가지 이상의 버튼을 동시에 제어해야 하는 경우, 단말기를 쥐거나 두 손가락을 이용하여 버튼을 누름에 있어서 상당한 불편이 발생하게 된다.

따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 창출한 것으로, 카메라가 부착된 이동 통신 단말기에 있어서, 카메라를 이용해 사용자의 얼굴 움직임을 검출하고, 그 움직임 각도에 따라 커서의 이동 방향을 제어할 수 있도록 하는, 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법을 제공함에 그 목적이 있다.

이와 같은 목적을 달성하기 위한 본 발명은, 얼굴을 촬영하여 그 얼굴 영상에서 두 눈을 연결하는 가상의 직선 및 어깨 양끝을 연결하는 직선을 구하는 단계와; 상기 눈 연결선에 대한 수직 이등분선을 어깨 양끝 연결선과 만나도록 연장하는 단계와; 상기 수직 이등분선과 어깨 연결선이 이루는 기울기에 의해 얼굴의 좌/우 움직임 방향을 검출하는 단계와; 상기 수직 이등분선이 어깨 연결선과 만나는 점 및 눈 연결선과 만나는 점까지의 거리에 의해 상/하 움직임 방향을 검출하는 단계와; 상기 검출된 얼굴의 움직임 방향에 의해 단말기에서의 상/하, 좌/우의 방향제어를 수행하도록 이루어진 것을 특징으로 한다.

도 1은 종래의 키패드 및 음성을 이용한 단말기의 제어 방법을 설명하기 위해 보인 예시도.

도 2는 본 발명에 따른 카메라 부착형 이동 통신 단말기의 구성을 보인 블록도.

도 3은 본 발명에 의한 얼굴의 움직임을 검출하기 위한 과정의 설명을 위해 보인 예시도.

도 4는 본 발명에 의한 얼굴의 움직임을 검출하여 방향을 제어하는 과정을 보인 순서도.

*도면의 주요 부분에 대한 부호의 설명*

10 : 카메라 20 : 영상 처리부

30 : 동작 제어부

이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.

도2는 본 발명에 따른 카메라 부착형 이동 통신 단말기의 구성을 보인 블록도로서, 단말기에 부착되어 얼굴 등의 영상을 촬영하기 위한 카메라(10)와, 상기 카메라에 의해 촬영된 영상을 분석 및 처리하는 영상 처리부(20)와, 상기 처리된 영상으로부터 얼굴의 움직임을 검출하여 방향을 제어하는 동작 제어부(30)로 구성되며, 상기 동작 제어부(30)는 소정의 알고리즘에 의해 얼굴이 좌/우로 움직이는지 아니면 상/하로 움직이는지를 검출하여, 그 움직인 방향과 동일하게 단말기에서의 메뉴나 커서의 방향을 제어한다.

본 발명에서 상기와 같은 방향 제어를 수행하기 위해서는, 먼저, 얼굴을 검출하고 그 얼굴에서 눈 부위를 인식하는 과정이 선행되어야 하는데, 이와 같이 얼굴 및 각 부위(눈, 코, 입 등)에 대한 인식 방법은 이미 공지된 다양한 기술 중에서 임의의 것을 이용하면 된다. 즉, 본 발명에서 요지로 하는 것은 얼굴의 인식 기술 자체가 아니고, 얼굴에서 인식될 수 있는 임의의 부위(본 실시예에서는 눈 부위)를 이용하여 얼굴의 움직임을 검출하고, 이를 이동 통신 단말기에 접목시켜 방향을 제어하는데 사용할 수 있도록 하는 것이다.

참고로, 얼굴 영역을 검출하기 위한 방법으로는 패턴 매칭 방법 중 'Support Vector Machine'이나 표준화(Normalize)시킨 평균 얼굴 색깔 정보를 사용한 'Back-Propagation Neural Network' 방법 등이 있다.

도3은 본 발명에 의한 얼굴의 움직임을 검출하기 위한 과정의 설명을 위해 보인 예시도로서, 먼저 단말기에 부착된 카메라를 통해 입력되는 영상에서 사람의 얼굴 영역을 검출하여 초기화 과정을 수행한다.

즉, 상기 검출된 얼굴 영역으로부터 사람의 눈 위치를 먼저 검출하고, 두 눈을 서로 연결하는 직선(100)을 그은 후 이 직선에 대한 수직 이등분선(200)을 몸통 부분까지 연장하여, 그 수직 이등분선의 연장선이 어깨 양끝을 연결하는 가상의 직선(300)과 만나도록 한다.

이때, 상기 수직 이등분선(200)과 어깨 연결선(300)이 이루는 기울기(θ)가 얼굴의 좌/우 움직임을 구분하는 정보가 되며, 상기 수직 이등분선(200)이 어깨 연결선(300)과 만나는 점에서 상기 수직 이등분선(200)이 눈 연결선(100)과 만나는 점까지의 거리(y)가 상/하 움직임을 구분하는 정보가 된다.

즉, 도3에서는 설명의 편의상 몸통 전체가 움직이는 것으로 도시되어 있으나, 실제로는 사용자가 얼굴을 좌/우로 움직일 경우 몸통 전체가 좌/우로 움직이는 것은 아니기 때문에, 어깨 양끝을 연결하는 선(300)을 기준선으로 하여 눈 연결선(100)의 수직 이등분선(200)과 이루는 각(θ)에 의해 움직이는 방향 및 그 정도를 검출할 수 있으며, 마찬가지로 상기 어깨 양끝을 연결하는 선(300)으로부터 눈 연결선(100) 까지의 거리(y)에 의해 얼굴을 밑으로 내리는지 위로 올리는지 그 방향과 정도를 검출할 수 있는 것이다.

또한, 단말기의 움직임에 의해 어깨 양끝까지의 영상이 입력되지 않을 경우를 위하여, 어깨 양끝을 연결하는 선(300)의 중심 거리(x)를 계산하여, 어깨 양끝중 어느 한쪽이 카메라에 촬영되지 않더라도, 다른 한쪽 어깨로부터 수평 기준선(300)을 그을 수 있도록 한다.

따라서, 상기 초기화 과정을 수행한 후에는 사용자에 따라 어깨 양끝을 연결하는 선(300)의 중심 거리(x)와, 그 선(300)으로부터 눈 연결선(100)까지의 거리(y)가 결정되고, 얼굴을 반듯하게 세울 경우 상기 어깨 양끝을 연결하는 수평 기준선(300)과 수직 이등분선(200)이 이루는 각(θ)은 90°가 될 것이며, 그 값들을 초기값으로 저장한다.

다음, 상기와 같이 초기값을 결정하고 난 후의 움직임을 검출하는 과정도 상기 초기화 과정과 동일하게 진행되는데, 다만 초기화 과정에서 구한 값들(x, y, θ)과 현재 검출된 값들을 비교하여, 그 차이 정도에 의해 좌/우로 움직였는지 상/하로 움직였는지를 판단하고, 그에 따라 단말기의 방향 제어를 수행하는 차이점이 있다.

이때, 상기 값들(x, y, θ)은 사람의 움직임이 기계처럼 정확하지 않은 것을 고려하여, 소정의 기울기 및 좌표(거리) 편차를 적용하고 그 편차를 적용한 값이 기 설정된 임계값(Threshold1 ~ Threshold4) 이상(또는, 이하)인 경우에 좌/우 또는 상/하로 움직인 것으로 판단한다.

도4는 본 발명에 의한 얼굴의 움직임을 검출하여 방향을 제어하는 과정을 보인 순서도로서, 카메라에 입력된 영상으로부터 얼굴 영역을 검출한 후(S101 ~ S103), 눈 영역을 검출하여(S104, S105) 두 눈을 연결하는 직선을 구하고(S106), 그 눈 연결선의 수직 이등분선을 구한다(S107).

다음, 어깨 양끝을 연결하는 직선을 구하고(S108), 상기 수직 이등분선을 연장하여 어깨 양끝을 연결하는 직선과 만나도록 하고, 그 두 선이 이루는 기울기(θ) 및 상기 눈 연결선과 어깨 양끝 연결선과의 거리(y) 및 상기 어깨 양끝 연결선의 중심거리(x)를 구하여 초기값으로 저장한다(S109).

다음, 상기와 같이 초기값을 결정하고 난 후의 움직임을 검출하는 과정도 상기 초기화 과정과 동일하게 진행되므로 그에 대한 설명은 생략하고, 상기 초기화 과정에서 구한 값들(y, θ)과 현재 검출된 값들을 비교하여, 그 차이 정도에 의해 좌/우로 움직였는지 상/하로 움직였는지를 판단하고, 그에 따라 단말기의 방향 제어를 수행하는 과정에 대해서 보다 구체적으로 설명한다.

우선, 좌/우 움직임 검출을 위한 임계값(Threshold1, 2)과 상/하 움직임 검출을 위한 임계값(Threshold3, 4)을 설정하고, 상기 초기화 과정에서 구한 값들(y, θ)과 현재 검출된 값들이 임계값 이상(이하)인지를 판단한다.

즉, 눈 연결선의 수직 이등분선과 어깨 양끝을 연결하는 직선이 이루는 기울기(θ)가 임계값(Threshold1) 이상인 경우에는 좌로 움직인 것으로 판단하고(110), 임계값(Threshold2) 이하인 경우에는 우로 움직인 것으로 판단하여(S111), 현재 단말기에서 수행중인 응용 프로그램의 좌/우 방향 제어를 수행한다(S112).

다음, 눈 연결선과 어깨 양끝을 연결하는 직선과의 거리(y)가 임계값(Threshold3) 이상인 경우에는 상 방향으로 움직인 것으로 판단하고(113), 임계값(Threshold4) 이하인 경우에는 하 방향으로 움직인 것으로 판단하여(S114), 현재 단말기에서 수행중인 응용 프로그램의 상/하 방향 제어를 수행한다(S115).

이때, 상기 임계값들(Threshold1 ~ Threshold4)은 이미 상술한 바와 같이 사람의 움직임이 정확하지 않은 점을 고려하여 소정의 기울기 및 거리 편차를 적용하여 설정한다.

이상에서 설명한 바와 같이 본 발명 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법은, 카메라가 부착된 이동 통신 단말기에 있어서, 카메라를 이용해 사용자의 얼굴 움직임을 검출하고, 그 움직임 각도에 따라 커서의 이동 방향을 제어할 수 있도록 하는 효과가 있다.

또한, 본 발명은 키패드에 의존하던 단말기의 제어를 얼굴 움직임에 의해 간단히 제어할 수 있도록 함으로써, 방향 버튼이나 선택 버튼 등 두 가지 이상의 버튼을 동시에 제어해야 하는 경우, 얼굴 움직임에 의해 방향을 제어하고 다른 한 손가락으로 선택 버튼을 누르게 하여, 단말기를 쥐거나 버튼을 누름에 있어서 편의성을 향상시키는 효과가 있다.

Claims (7)

1. 얼굴을 촬영하여 그 얼굴 영상에서 두 눈을 연결하는 가상의 직선 및 어깨 양끝을 연결하는 직선을 구하는 단계와;

   상기 눈 연결선에 대한 수직 이등분선을 어깨 양끝 연결선과 만나도록 연장하는 단계와;

   상기 수직 이등분선과 어깨 연결선이 이루는 기울기(Θ)에 의해 얼굴의 좌/우 움직임 방향을 검출하는 단계와;

   상기 수직 이등분선이 어깨 연결선과 만나는 점 및 눈 연결선과 만나는 점까지의 거리(y)에 의해 상/하 움직임 방향을 검출하는 단계와;

   상기 검출된 얼굴의 움직임 방향에 의해 단말기에서의 상/하, 좌/우의 방향 제어를 수행하도록 이루어진 것을 특징으로 하는 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법.
2. 제1항에 있어서, 상기 어깨 양끝 연결선에 대한 중심 거리(x)를 계산하는 과정을 더 포함하여, 어깨 양끝 중 어느 한쪽이 카메라에 촬영되지 않더라도, 다른 한쪽 어깨 끝으로부터 기울기 검출을 위한 수평 기준선을 구할 수 있도록 이루어진 것을 특징으로 하는 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법.
3. 제1항에 있어서, 상기 각 과정을 초기화 모드에서 수행할 경우, 상기 수직이등분선과 어깨 연결선이 이루는 기울기(Θ)와, 상기 수직 이등분선이 어깨 연결선과 만나는 점 및 눈 연결선과 만나는 점까지의 거리(y)를 초기값으로 저장하는 것을 특징으로 하는 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법.
4. 제1항 또는 제3항에 있어서, 상기 각 과정을 움직임 검출 모드에서 수행할 경우, 상기 초기화 모드에서 저장된 초기값(y, θ)과 현재 검출된 값들을 비교하여, 그 차이 정도에 의해 좌/우 움직임 및 상/하 움직임을 판단하도록 이루어진 것을 특징으로 하는 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법.
5. 제4항에 있어서, 상기 움직임 방향의 판단은 사람의 움직임이 정확하지 않은 점을 고려하여 소정의 기울기 및 거리 편차를 적용한 소정의 임계값(Threshold1 ~ Threshold4)을 설정하고, 그 임계값과 현재 측정된 값과의 비교에 의해 움직임 방향을 판단하도록 이루어진 것을 특징으로 하는 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법.
6. 제5항에 있어서, 상기 좌/우 움직임 검출을 위한 임계값(Threshold1, 2)에 대하여, 눈 연결선의 수직 이등분선과 어깨 양끝을 연결하는 직선이 이루는 기울기(θ)가 좌 임계값(Threshold1) 이상인 경우에는 좌로 움직인 것으로 판단하고, 우 임계값(Threshold2) 이하인 경우에는 우로 움직인 것으로 판단하는 것을 특징으로 하는 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법.
7. 제5항에 있어서, 상기 상/하 움직임 검출을 위한 임계값(Threshold3, 4)에 대하여, 눈 연결선과 어깨 양끝을 연결하는 직선과의 거리(y)가 상 임계값(Threshold3) 이상인 경우에는 상 방향으로 움직인 것으로 판단하고, 하 임계값(Threshold4) 이하인 경우에는 하 방향으로 움직인 것으로 판단하는 것을 특징으로 하는 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법.