KR100957194B1

KR100957194B1 - The mouse interface system of between human and terminal, and control method

Info

Publication number: KR100957194B1
Application number: KR1020080059714A
Authority: KR
Inventors: 이응주; 이위
Original assignee: 동명대학교산학협력단
Priority date: 2008-06-24
Filing date: 2008-06-24
Publication date: 2010-05-11
Also published as: KR20100000278A

Abstract

본 발명은 사람의 입 위치와 모양 정보에서 추출한 데이터의 분석 결과를 이용하여 단말기를 제어할 수 있도록 하는 단말기 자동제어 인터페이스 시스템에 관한 것이다.The present invention relates to a terminal automatic control interface system for controlling a terminal by using a result of analysis of data extracted from a person's mouth position and shape information.

본 발명은 사용자들의 다양한 얼굴형태 및 입의 위치와 모양 등의 특징 정보를 추출하여 데이터베이스화하고, 입력된 영상을 분석하여 얻어진 정보와 얼굴의 기하학적 구조를 바탕으로 사람의 얼굴 형태를 결정하고 처리된 입의 위치와 얼굴의 기하학적 위치구조관계를 이용해서 입의 위치정보를 계산함은 물론, 계산된 사용자의 정보를 이용하여 단말기를 제어할 수 있도록 하는 것으로, 단말기를 제어함에 있어 별다른 외부 장치의 입력 없이 마우스 위치 정보와 동일한 입력이 이루어지도록 한 것이다.The present invention extracts and features a database of feature information such as various face shapes and mouth positions and shapes of users, and analyzes the input image to determine and process a face shape of a person based on the information and geometrical structure of the face. The location information of the mouth is calculated using the relationship between the position of the mouth and the geometrical position structure of the face, and the terminal can be controlled using the calculated user information. The same input as the mouse position information is made without.

입의 컬러정보를 이용하여 입모양을 2진 이미지로 처리하고 분석된 결과의 입 모양정보를 바탕으로 단말기에게 제어 정보를 전달함으로써 단말기를 쉽게 제어 할 수 있도록 하고, 사용자에게 온라인 실시간 이미지 분석프로그램을 제공하여 사용자의 얼굴 이미지 분석결과를 사전에 사용자시스템에서 미리 이루어지도록 하고, 시스템에서는 카메라를 통해 분석된 결과정보만을 제공받아 단말기에게 제어정보를 제공할 수 있도록 하고자 한 것이다.The user can easily control the terminal by processing the shape of the mouth into a binary image using the color information of the mouth and transmitting control information to the terminal based on the mouth shape information of the analyzed result, and provide the user with an online real-time image analysis program. By providing a result of analyzing the face image of the user in advance in the user system, the system is to provide the control information to the terminal by receiving only the result information analyzed through the camera.

본 발명에서는 제 1 관점으로서, 인간 단말기간 마우스 인터페이스 제어방법에 있어서, 영상입력부에서 얼굴영상을 입력받는 1단계와; 이미지처리부에서 RGB 이미지를 YC_bCr 컬러 공간의 이미지로 변경하는 2단계와; 이미지처리부에서 얼굴영역을 검출하는 3단계와; 입위치검출부에서 얼굴영역에서 입위치를 검출하는 4단계와; 입형태분석모듈부에서 얼굴영역을 이용하여 입형태를 검출하는 5단계와; 단말기 제어명령 생성부에서 상기 입위치와 입형태를 이용하여 단말기 제어명령 생성 후에 단말기에 제어명령을 전달하는 6단계를 포함하는 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 제어방법이 제시된다.According to a first aspect of the present invention, there is provided a method for controlling a mouse interface between human terminals, the method comprising: receiving a face image from an image input unit; Changing an RGB image into an image of a YC _b Cr color space in an image processing unit; Detecting a face region in the image processor; Detecting a mouth position in the face area by the mouth position detecting unit; Step 5 of detecting the shape of the mouth using the face area in the mouth shape analysis module unit; A method for controlling a mouse interface between human terminals is provided, the method comprising: transmitting a control command to a terminal after generating the terminal control command using the mouth position and the mouth shape in the terminal control command generation unit.

제 2 관점으로서, 인간 단말기간 마우스 인터페이스 제어방법에 있어서, 영상입력부에서 얼굴영상을 입력받는 1단계와; 이미지처리부에서 RGB 이미지를 YC_bCr 컬러 공간의 이미지로 변경하는 2단계와; 이미지처리부에서 얼굴영역을 검출하는 3단계와; 입형태분석모듈부에서 얼굴영역을 이용하여 입형태를 검출하는 4단계와; 입위치검출부에서 얼굴영역에서 입위치를 검출하는 5단계와; 단말기 제어명령 생성부에서 상기 입위치와 입형태를 이용하여 단말기 제어명령 생성 후에 단말기에 제어명령을 전달하는 6단계를 포함하는 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 제어방법이 제시된다.In a second aspect, a method of controlling a mouse interface between human terminals, the method comprising: receiving a face image from an image input unit; Changing an RGB image into an image of a YC _b Cr color space in an image processing unit; Detecting a face region in the image processor; 4 steps of detecting a mouth shape using the face region in the mouth shape analysis module unit; Detecting a mouth position in the face area by the mouth position detecting unit; A method for controlling a mouse interface between human terminals is provided, the method comprising: transmitting a control command to a terminal after generating the terminal control command using the mouth position and the mouth shape in the terminal control command generation unit.

제 3 관점으로서, 인간 단말기간 마우스 인터페이스 시스템에 있어서, 인간의 얼굴영상을 입력받는 영상입력부와; 상기 얼굴영상을 이용하여 이미지변환을 하여 얼굴영역을 추출하는 이미지처리부와; 상기 얼굴영역에서 입위치를 추출하는 입위치검출모듈부와; 상기 얼굴영역에서 입형태를 분석하는 입형태분석모듈부와; 상기 입위치와 입형태를 이용하여 단말기에 전달할 제어명령을 생성하는 단말기 제어 명령 생성부를 포함하는 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 시스템이 제시된다.As a third aspect, a mouse interface system between human terminals, comprising: an image input unit configured to receive a human face image; An image processor extracting a face region by converting an image using the face image; A mouth position detection module unit for extracting a mouth position from the face area; A mouth shape analysis module unit for analyzing a mouth shape in the face region; A mouse interface system between human terminals is provided, including a terminal control command generation unit for generating a control command to be transmitted to a terminal using the mouth position and the mouth shape.

인터페이스, 마우스, 제어, 입위치, 입형태, 명령 Interface, mouse, control, mouth, mouth, command

Description

인간과 단말기간의 마우스 인터페이스 시스템 및 제어방법{ The mouse interface system of between human and terminal, and control method}The mouse interface system of between human and terminal, and control method}

본 발명은 온라인 실시간 영상 처리기술을 이용하여 사용자의 입 위치와 모양 정보를 추출함은 물론, 단말기 제어정보검출에 필요한 정보를 제공할 수 있는 인간 단말기간의 마우스 인터페이스 시스템에 관한 것이다.The present invention relates to a mouse interface system between human terminals capable of providing information necessary for detecting terminal control information as well as extracting user mouth position and shape information using online real-time image processing technology.

일반적으로, 이런 인간-단말기 인터페이스 시스템은 사람의 얼굴 부분을 많이 사용하고, 카메라 위치에 따라 알고리즘이 결정된다. 하지만 사람 얼굴 영상정보에서 양쪽 눈은 사용자의 얼굴 방향에 따라 화면에 존재하지 않을 수도 있다. 그러나 입은 항상 존재한다. 그래서 입의 위치에 따른 정보를 이용하여 필요한 정보를 확인할 수 있다. 이때 중요한 것은 얼굴 영역의 이미지에서 입 영역을 추출함을 목적으로 한다.In general, such a human-terminal interface system uses a lot of human face parts and the algorithm is determined by the camera position. However, in the human face image information, both eyes may not exist on the screen depending on the direction of the user's face. But mouth always exists. Therefore, the necessary information can be confirmed using the information according to the position of the mouth. In this case, the main purpose is to extract the mouth region from the image of the face region.

또한 입의 컬러정보를 이용하여 입모양을 2진 이미지로 처리하고 분석된 결과의 입 모양정보를 바탕으로 단말기에게 제어 정보를 전달함으로써 단말기를 쉽게 제어 할 수 있도록 한다.Also, by using the color information of the mouth, the mouth shape is processed into a binary image and the control information is transmitted to the terminal based on the analyzed mouth shape information so that the terminal can be easily controlled.

본 발명에서는 제 1 관점으로서, 인간 단말기간 마우스 인터페이스 제어방법에 있어서, 영상입력부에서 얼굴영상을 입력받는 1단계와; 이미지처리부에서 RGB 이미지를 YC_bCr 컬러 공간의 이미지로 변경하는 2단계와; 이미지처리부에서 얼굴영역을 검출하는 3단계와; 입위치검출부에서 얼굴영역에서 입위치를 검출하는 4단계와; 입형태분석모듈부에서 얼굴영역을 이용하여 입형태를 검출하는 5단계와; 단말기 제어명령 생성부에서 상기 입위치와 입형태를 이용하여 단말기 제어명령 생성 후에 단말기에 제어명령을 전달하는 6단계를 포함하는 것을 특징으로 하는 인간 단 말기간 마우스 인터페이스 제어방법이 제시된다.According to a first aspect of the present invention, there is provided a method for controlling a mouse interface between human terminals, the method comprising: receiving a face image from an image input unit; Changing an RGB image into an image of a YC _b Cr color space in an image processing unit; Detecting a face region in the image processor; Detecting a mouth position in the face area by the mouth position detecting unit; Step 5 of detecting the shape of the mouth using the face area in the mouth shape analysis module unit; A method for controlling a human terminal period mouse interface is provided, comprising the step of transmitting a control command to a terminal after generating the terminal control command using the mouth position and the mouth shape in the terminal control command generation unit.

제 1,2 관점에 있어서, 상기 단말기는, 휴대폰, PDA, PC, 노트북 중에서 어느 하나인 것을 특징으로 한다.In the first and second aspects, the terminal is any one of a mobile phone, a PDA, a PC and a notebook.

제 3 관점으로서, 인간 단말기간 마우스 인터페이스 시스템에 있어서, 인간의 얼굴영상을 입력받는 영상입력부와; 상기 얼굴영상을 이용하여 이미지변환을 하여 얼굴영역을 추출하는 이미지처리부와; 상기 얼굴영역에서 입위치를 추출하는 입위치검출모듈부와; 상기 얼굴영역에서 입형태를 분석하는 입형태분석모듈부와; 상기 입위치와 입형태를 이용하여 단말기에 전달할 제어명령을 생성하는 단말기 제어명령 생성부를 포함하는 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 시스템이 제시된다.As a third aspect, a mouse interface system between human terminals, comprising: an image input unit configured to receive a human face image; An image processor extracting a face region by converting an image using the face image; A mouth position detection module unit for extracting a mouth position from the face area; A mouth shape analysis module unit for analyzing a mouth shape in the face region; A mouse interface system between human terminals is provided, including a terminal control command generation unit for generating a control command to be transmitted to the terminal using the mouth position and the mouth shape.

제 3 관점에 있어서, 상기 단말기는,휴대폰, PDA, PC, 노트북 중에서 어느 하나인 것을 특징으로 한다.In a third aspect, the terminal is characterized in that any one of a mobile phone, PDA, PC, notebook.

이상에서와 같이 본 발명을 적용하게 될 경우, 실제 입 화상을 이용하여 단말기에 제어정보를 제공하므로, 사용자는 머리만 사용하면 단말기를 제어할 수 있다.When the present invention is applied as described above, since the control information is provided to the terminal using the actual image, the user can control the terminal using only the head.

본 발명을 이용할 경우 손을 사용할 수 없어 마우스를 사용하여 간단한 작업을 할 수 없거나 손대신 발을 사용하는 장애우들도 마우스 없이도 얼굴을 이용하여 간단한 작업을 할 수 있다.When using the present invention, the hand cannot be used to perform simple tasks using the mouse, or those with disabilities using the feet instead of the hands can perform simple tasks using the face without the mouse.

이하에서는 첨부한 도면을 참조하면서 본 발명의 실시 예에 대한 구성 및 작용을 상세하게 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described in detail the configuration and operation of the embodiment of the present invention.

도 1은 입 위치 검출과 제어를 통한 인간-단말기 마우스 인터페이스 시스템과 정보를 과정을 나타내는 순서도이다. 먼저, 캠을 통하여 영상을 입력받은 후, 영상처리 과정을 거친다. 이 과정 후, 입 위치를 찾는 알고리즘과 입 모양 분석 알고리즘을 이용하여 입의 위치정보와 모양을 분석한 후에, 제어 알고리즘을 이용하여 입 위치정보를 검출해서, 입이 이동하는 정보를 받을 수 있으며, 이것을 통하여 단말기를 제어할 수 있는 명령에 대한 정보를 획득할 수 있다. 이 정보에 의하여 우리는 단말기를 입 모양으로 제어할 수 있으며, 인간-단말기 마우스 인터페이스 시스템을 구축할 수 있다.1 is a flow chart illustrating a human-terminal mouse interface system and information processing through mouth position detection and control. First, after receiving an image through a cam, the image is processed. After this process, after analyzing the position information and shape of the mouth using the algorithm for finding the mouth position and the mouth shape analysis algorithm, the mouth position information is detected using the control algorithm, and the mouth movement information can be received. Through this, information on a command for controlling the terminal can be obtained. With this information, we can control the terminal in the shape of a mouth and build a human-terminal mouse interface system.

도 2는 입력된 영상을 영상처리 기법에 의한 전처리 과정을 나타낸 순서도이 다. 영상이 입력되면, 입력된 영상을 YC_bC_r 영역으로 변환한다. 변환된 영상을 C_r Index를 이용하여 얼굴영역을 검출한 후, C_b * C_r Index를 이용하여 입의 위치를 검출한다. 다음으로 Y * C_r Index를 이용하여 입의 모양을 검출한다.2 is a flowchart illustrating a preprocessing process of an input image by an image processing technique. When an image is input, the input image is converted into the YC _b C _r region. Detecting a face area of the converted image using the C _r Index Then, using the C _b C _r * Index detects the position of the mouth. Next, the shape of the mouth is detected using the Y * _Cr index.

다음으로 보여준 영상을 입력받아 단말기에 제어 정보를 보내기까지의 과정을 설명한다. 먼저 영상입력부에서 영상을 입력받아 이미지처리부에서 RGB 이미지를 YC_bC_r 컬러공간으로 변경하는 과정을 설명한다.Next, a description will be given of the process from receiving the image shown to sending control information to the terminal. First, a process of converting an RGB image into a YC _b C _r color space by receiving an image from an image input unit and receiving the image will be described.

HSV에 의해서 많은 머리 탐지 알고리즘이 연구되었다. 여기서 HSV란, 색을 표현하는 하나의 방법이자, 그 방법에 따라 색을 배치하는 방식이다. 색상(Hue), 채도(Saturation), 명도(Brightness, Value)의 좌표를 써서 특정한 색을 지정한다. HSB로 불리는 경우도 있다. 색상값 H(Hue)는 가시광선 스펙트럼을 고리모양으로 배치한 색상환에서 가장 파장이 긴 빨강을 0°로 하였을 때 상대적인 배치 각도를 의미한다. 때문에 H 값은 0°~360°의 범위를 갖고 360°와 0°는 같은 색상 빨강을 가리킨다. 채도값 S(Saturation)는 특정한 색상의 가장 진한 상태를 100%로 하였을 때 진하기의 정도를 나타낸다. 채도값 0%는 같은 명도의 무채색을 나타낸다. 명도값 V 또는 B(Brightness, Value : B로 표현하는 것이 더 일반적이다.)는 흰색을 100%, 검정을 0%로 하였을 때 밝기의 정도를 나타낸다. 그리고 이것의 장점 및 단점이 비교 되어있다. 많은 연구를 통해서 정확도 및 속도가 증가하는 알고리즘 이 발표되어 있다. 우리는 다른 어떤 것 보다 정확도가 높고 속도가 빠른 사람의 피부 색 정보를 탐지하는 알고리즘을 사용하였다.Many head detection algorithms have been studied by HSV. Here, HSV is a method of expressing a color and a method of arranging colors according to the method. A specific color is specified using the coordinates of Hue, Saturation, and Brightness, Value. Sometimes called HSB. The color value H (Hue) means a relative placement angle when the longest red is 0 ° in the color wheel in which the visible light spectrum is arranged in a ring shape. Therefore, H values range from 0 ° to 360 °, with 360 ° and 0 ° pointing to the same color red. Saturation value S (Saturation) represents the degree of concentration when the darkest state of a specific color is 100%. A saturation value of 0% represents achromatic colors of the same brightness. Brightness value V or B (Brightness, Value: B is more common) indicates the degree of brightness when white is 100% and black is 0%. And its advantages and disadvantages are compared. Many studies have published algorithms that increase accuracy and speed. We used an algorithm that detects human skin color information, which is more accurate and faster than anything else.

사람의 피부를 분석 하자면 먼저 직선이 아닌 RGB의 YC_bC_r 컬러공간과 HSI 컬러 공간을 통해서 변형 시켜야 한다. RGB(적·녹·청)란 색을 정의하는 색 모델, 또는 색 표시 방식이다. 빛의 3원색인 적·녹·청을 혼합하여 색을 나타내는 RGB 방식은 컬러 텔레비전이나 컴퓨터의 컬러 모니터, 또는 인쇄 매체가 아닌 기타 빛을 이용하는 표시 장치에서 채용되고 있다. RGB 방식은 적·녹·청을 혼합하여 원하는 색을 만드는 가색 방식을 사용한다. 즉, 화면상의 한 점의 색은 3색의 조합으로 만들어지는데, 조합해서 만들어지는 색은 다음과 같이 된다. R는 적색, G는 녹색, B는 청색, R＋G＝황색, R＋B＝붉은 보라색(마젠타), B＋G＝청록색(시안), R＋G＋B＝백색, R·G·B의 어느 것도 가해지지 않으면, 즉 어느 것도 비춰지지 않으면 흑색이 된다. 이와 같이 R·G·B가 비춰지는가 그렇지 않은가의 조합에 따라 색을 만들면 8색이 된다. 도 3은 이것들의 색 공간을 나타내고, RGB와 사람 얼굴의 이미지 YC_bC_r 와 HSI 색 공간 (파란색 점은 모니터 위에 재생되어 표현된 것을 의미.) 그리고 피부 톤의 모델(빨간색은 입 구역 컬러 정보 표현하고, 초록색은 피부 컬러 정보를 표현한다.)로 표현하고 있다.In order to analyze human skin, it is necessary to transform the YC _b C _r color space and HSI color space of RGB, not straight lines. RGB (red, green, blue) is a color model or color display system that defines colors. The RGB method that displays colors by mixing red, green, and blue, which are three primary colors of light, is employed in color televisions, color monitors of computers, or display devices using other light rather than printing media. RGB method uses false color method to mix red, green and blue to make desired color. That is, the color of a point on the screen is made of a combination of three colors, and the color produced by the combination is as follows. R is red, G is green, B is blue, R + G = yellow, R + B = red purple (magenta), B + G = cyan (cyan), R + G + B = white, and none of R · G · B is applied, i.e. none If it is not reflected, it becomes black. In this way, if the color is created according to the combination of R, G, and B, it becomes 8 colors. Fig. 3 shows these color spaces, the image of RGB and human face YC _b C _r and HSI color space (blue dots are reproduced and displayed on the monitor) and skin tone model (red is mouth area color information). Green color represents skin color information).

도 3a는 RGB 공간이고 X축은 Red 값을 나타내고, Y축은 Green 값을 나타내고, Z축은 Blue 값을 나타낸다. 여기서, Red Dot는 입 구역 컬러 정보, Green Dot는 피부색 컬러 정보, Blue Dot는 배경 컬러 정보를 나타낸다. 도 3b는 R-G공간에서 2D 투영도로서 X축은 Red 값을 나타내고, Y축은 Green 값을 나타낸다. 도 3c는 R-B공간의 2D 투영도로서 X축은 Red 값을 나타내고, Y축은 Blue 값을 나타낸다. 도 3d는 G-B공간의 2D 투영도로서 X축은 Green 값을 나타내고, Y축은 Blue 값을 나타낸다. 도 3e는 YC_bC_r공간에 나타낸 것이고 X축은 Gray 값을 나타내고, Y축은 C_b값을 나타내고, Z축은 C_r 값을 나타낸다. 여기서, Red Dot는 입 구역 컬러 정보, Green Dot는 피부색 컬러 정보, Blue Dot는 배경 컬러 정보를 나타낸다. 도 3f는 Y-C_b의 2D 투영도로서 X축은 Gray 값을 나타내고, Y축은 C_b값을 나타낸다. 도 3g는 Y-C_r공간의 2D 투영도로서 X축은 Gray 값을 나타내고, Y축은 C_r 값을 나타낸다. 도 3h는 C_b -C_r공간의 2D 투영도로서 X축은 C_b값을 나타내고, Y축은 C_r 값을 나타낸다. 도 3i는 HSI 공간에 나타내였고 X축은 Hue 값을 나타내고, Y축은 Intensity 값을 나타내고, Z축은 Saturation 값을 나타낸다. 여기서, Red Dot는 입 구역 컬러 정보, Green Dot는 피부색 컬러 정보, Blue Dot는 배경 컬러 정보를 나타낸다. 도 3j는 H-S 공간의 2D투영도로서 X축은 Hue 값을 나타내고, Y축은 Saturation 값을 나타낸다. 도 3k는 H-I 공간의 투영도로서 X축은 Hue 값을 나타내고, Y축은 Intensity 값을 나타낸다. 도 3l은 S-I 2D 투영도로서 X축은 Saturation 값을 나타내고, Y축은 Intensity 값을 나타낸다.3A is an RGB space, the X axis represents a Red value, the Y axis represents a Green value, and the Z axis represents a Blue value. Here, Red Dot represents mouth area color information, Green Dot represents skin color color information, and Blue Dot represents background color information. 3B is a 2D projection view in RG space, with X axis representing a red value and Y axis representing a green value. 3C is a 2D projection view of an RB space in which the X axis represents a Red value and the Y axis represents a Blue value. 3D is a 2D projection view of GB space, where X axis represents Green value and Y axis represents Blue value. 3E shows in the YC _b C _r space, the X axis represents a Gray value, the Y axis represents a C _b value, and the Z axis represents a C _r value. Here, Red Dot represents mouth area color information, Green Dot represents skin color color information, and Blue Dot represents background color information. 3F is a 2D projection view of YC _b in which the X axis represents a Gray value and the Y axis represents a C _b value. 3G is a 2D projection view of the YC _r space, with the X axis representing Gray values and the Y axis representing C _r values. 3H is a 2D projection of C _b -C _r space, with the X axis representing the C _b value and the Y axis representing the C _r value. 3i is shown in the HSI space, the X axis represents Hue value, the Y axis represents Intensity value, and the Z axis represents Saturation value. Here, Red Dot represents mouth area color information, Green Dot represents skin color color information, and Blue Dot represents background color information. 3j is a 2D projection of HS space, where X axis represents Hue value and Y axis represents Saturation value. 3K is a projection diagram of HI space, with X axis representing Hue value and Y axis representing Intensity value. 3L is an SI 2D projection view where X axis represents Saturation value and Y axis represents Intensity value.

우리의 작업은 적당한 컬러 공간과 동일한 피부색을 선택하는 것이다. 도 3은 이를 잘 보여 주는데 적당한 빨간색과 녹색의 공간을 찾지만 이는 최상의 선택은 아니다. 또한 사람의 얼굴은 어느 특정한 독립적인 특징의 배경을 가지지 않는다. 그러나 YC_bC_r 색 공간에서 C_r 가치의 색은 강하고 독립적인 배경을 가짐으로RGB 컬러 모델과 YC_bC_r 모델간의 변환이 가능하다. 여기서 YC_bC_r 색 공간이란, 영상 시스템에서 사용되는 색공간의 일종이다. Y는 휘도 성분이며 C_b 와 C_r은 색차성분이다. YC_bC_r은 가끔 YCC 라고 줄여 부르기도 한다. YC_bC_r은 절대 색공간이 아니며 RGB 정보를 인코딩하는 방식의 하나로, 실제로 보여지는 이미지의 색은 신호를 디스플레이 하기 위해 사용된 원본 RGB 정보에 의존한다. 따라서 YC_bC_r로 표현된 값은 표준 RGB 색상이 사용된 경우거나, 색상을 변환하기 위해 사용하는 ICC 프로파일을 첨부한 경우에만 예측할 수 있다. 영상입력부로부터 입력받은 영상을 RGB 이미지에서 다시 YC_bC_r공간의 이미지로 색상을 변환하기 위해 ICC 프로파일을 사용하여 이미지를 변경한다.Our task is to choose the same skin color as the appropriate color space. Figure 3 finds a suitable red and green space to illustrate this, but this is not the best choice. Also, the face of a person does not have a background of any particular independent feature. However, in the YC _b C _r color space, the color of the C _r value has a strong and independent background, allowing conversion between the RGB color model and the YC _b C _r model. The YC _b C _r color space is a type of color space used in the video system. Y is the luminance component and C _b and C _r are the chrominance components. YC _b C _r is sometimes called YCC. YC _b C _r is not an absolute color space and is a way of encoding RGB information. The color of the image actually displayed depends on the original RGB information used to display the signal. Therefore, the value expressed as YC _b C _r can be predicted only when standard RGB color is used or when an attached ICC profile is used to convert the color. The ICC profile is used to change the image from the RGB input image to the image in the YC _b C _r space.

다음으로, 위에서 이미지 처리부에서 RGB를 YC_bC_r 공간의 이미지로 변경을 한 후에 이것을 가지고 얼굴 영역을 검출하는 과정에 대해서 설명한다.Next, in the image processing section above, replace RGB with YC _b C _r After changing to an image of space, a process of detecting a face region with this will be described.

YC_bC_r 공간의 이미지를 통해서 얼굴영역을 검출할 수 있는데 C_r 정보를 통해서 얼굴부분을 탐지가 가능하다. 누적히스토그램에 따르면 우리는 전체 부분의 60%를 머리 부분이 차지하고 있다. 그래서 누적히스토그램 방법은 C_r threshold을 탐지하는데 사용되었고 식(18)과 도 3에서도 잘 나타나 있다. 누적히스토그램이란, 화상에 대하여 각 농도의 레벨마다 그 농도 레벨을 갖는 픽셀의 수, 또는 모든 픽셀 수에 대한 비율을 표시한 함수이다. 농도치 히스토그램이라고도 하며, 통상 X축에 농도치, Y에 픽셀 수를 취한 막대 그래프로 표시한다. 그 화상 데이터가 어떤 농도 치를 갖는 픽셀로 구성되었는지 조사하는 데 쓰이며, 화상이 소정 형상의 히스토그램을 갖도록 계조 처리를 한다.YC _b C _r The face region can be detected through the image of the space, and the face part can be detected through the C _r information. According to the cumulative histogram, we make up 60% of the head. So cumulative histogram method is shown well in Figure 3 and was used to detect the C _r threshold equation (18). The cumulative histogram is a function that expresses the number of pixels having the density level or the ratio with respect to the number of all pixels for each level of density in the image. Also referred to as a density histogram, it is usually displayed as a bar graph that takes the density value on the X-axis and the number of pixels on the Y-axis. It is used to check what density value the image data is composed of, and the gradation process is performed so that the image has a histogram of a predetermined shape.

식(18)

Formula (18)

여기에서, H_Cr은 C_r 정보에 대한 히스토그램이고, SUM은 영상에 대한 전체 누적 히스토그램이고, Cr_Th는 영상에 대한 Threshold 결과 값이고, 60%는 얼굴 영역에 대한 누적 히스토그램 분포 값이다.Here, _Cr is a histogram H on C _r information, SUM is the total cumulative histogram for the image, Cr _Th is the Threshold value for the resulting image, 60% of the cumulative histogram distribution values for the facial area.

도 4는 영상에서 얼굴영역을 검출하기 위한 과정을 설명하기 위한 도면이다. 도 4의 (a)는 원영상이고 도 4의 (b)는 YC_bC_r 공간에서 C_r영역정보이고 도 4의 (c)는 얼굴검출 알고리즘을 적용한 결과이고 도 4의 (d)는 원영상(a)과 마스크적용 영상(c)을 AND 연산시킨 결과 영상이다. 도 4와 같은 과정을 거쳐서 우리는 얼굴영역을 검출하게 된다.4 is a diagram for describing a process for detecting a face region in an image. 4 (a) is the original image, FIG. 4 (b) is the C _r region information in the YC _b C _r space, FIG. 4 (c) is the result of applying the face detection algorithm, and FIG. The result of performing AND operation on the image (a) and the mask applying image (c) is an image. Through the process as shown in FIG. 4, we detect the face region.

도 5는 얼굴 판별결과로서 도 5의 (a)는 원본 도면이고 도 5의 (b)는 C_r 도면이고, 도 5의 (c)는 검출된 얼굴 영역으로서 입 위치가 나타난 도면이다.FIG. 5 is a face discrimination result. FIG. 5A is an original view, FIG. 5B is a _Cr view, and FIG. 5C is a view showing a mouth position as a detected face area.

이하에서는 입형태분석모듈부(150)에서 입의 형태를 분석하는 과정에 대해서 설명하기로 한다.Hereinafter, a process of analyzing the shape of the mouth in the mouth shape analysis module unit 150 will be described.

입 형태를 분석하기 위해서 머리 포즈 X축 회전각(α)과 Y축 회전각(β)과 Z축 회전각(γ)을 먼저 구하기로 한다. 이제부터 입의 위치와 얼굴의 형태에 따른 정보를 이용하여 머리 포즈를 추정하는 알고리즘을 소개할 것이다.In order to analyze the shape of the mouth, the head pose X-axis rotation angle (α), Y-axis rotation angle (β) and Z-axis rotation angle (γ) are first determined. We will now introduce an algorithm for estimating head pose using information based on mouth position and face shape.

머리포즈각도를 먼저 구하는 이유는 머리포즈각도에 따라 입의 위치정보가 달라지기 때문이다. 즉, 얼굴 영역에서 입의 위치를 알기 위해서 머리포즈각도를 구하게 된다. 예를 들어서 오른쪽을 바라본다면 정면을 보고 있을 때와 입의 위치, 거리정보가 달라진다. 즉, 얼굴에서 정면 일 때를 기준으로 해서, 좌우를 바라볼 때 입의 거리정보가 달라진다. 또한 위아래를 바라볼 때와 정면을 바라볼 때 역시 입의 위치정보가 다르기 때문에 입 검출에 있어서 머리포즈각도는 중요한 요소가 된다.The reason for obtaining the head pose angle first is that the position information of the mouth varies depending on the head pose angle. In other words, the head pose angle is obtained to know the position of the mouth in the face region. For example, if you look to the right, the position of the mouth and the distance information are different when you are looking in front. That is, the distance information of the mouth changes when looking to the left and right with respect to the face from the front. Also, the head pose angle is an important factor in mouth detection because the positional information of the mouth is also different when looking up and down and when looking at the front.

도 6을 보면 사람이 정면을 보고 있을 때 입의 위치 정보를 쉽게 찾을 수가 있는데 머리를 회전할 경우 입 위치의 라인은 위치가 이동하고, 이때 사람머리는 Z축을 중심으로 재설정 된다. 도 6의 도면 각각의 입 위치와 머리 부분의 각도는 도 6(a)의 경우 X 축으로 왼쪽40˚ Y축으로 10˚ Z 축으로 15˚이고, 도 6(b)의 경우 X축 왼쪽70˚ Y축과 Z축은 0˚이고, 도 6(c)의 경우 X축 왼쪽으로 90˚ Y축 Z축으로 0˚이고, 도 6(d)의 경우 X축 오른쪽으로 40˚ Y축으로 -10˚ Z축으로 10˚도이다. 도 6를 통하여 머리포즈에 따른 입의 위치를 검출할 수 있다.Referring to FIG. 6, when the person is looking at the front, the position information of the mouth can be easily found. When the head is rotated, the line of the mouth position moves, and the human head is reset about the Z axis. In FIG. 6, the mouth position and the head angle of FIG. 6 are 40 ° in the X axis and 40 ° in the Y axis, and 10 ° in the Z axis, and 15 ° in the case of FIG. 6 (b). ˚ Y-axis and Z-axis are 0 °, in the case of Fig. 6 (c), 90 ° to the left of the X axis, and 0 ° to the Z-axis. It is 10 degrees on the Z-axis. 6, the position of the mouth according to the hair pose can be detected.

먼저, 우리는 아래 프레임에서 머리 중심의 움직임과 이 알고리즘에 사용된 몇 가지의 기호, 입과 머리 부분 모델의 알고리즘에 대하여 정의하겠다. 도 7(a)에서 X축의 α, Y축의 β Z축의 γ 따른 다양한 각도의 결과를 세분화한 알고리즘에 대하여 살펴보겠다. 도 7의 (a)는 일반적인 정면모델의 머리 포즈와 입을 도시한 것이고 도 7의 (b)는 α의 거리만큼 수평 이동(좌,우)한 입과 얼굴 위치 모델이고, 도 7의 (c)는 β의 거리만큼 수직 이동(상,하)한 입과 얼굴 위치 모델이고 β는 머 리와 입이 움직이므로 만들어진 각도를 나태내고, 도 7의 (d)는 γ의 입과 머리 부분의 모델로서, 외각의 큰 원과 안쪽의 작은 원이 있고 외각의 원은 카메라에서 가까운 머리포즈를 나타낸 것이고, 안쪽의 작은 원은 카메라에서 멀리 떨어진 머리포즈를 표현한 것이다. 여기에서 입의 표현은 M이고 이동한 후의 입의 표시는 M'이고, 얼굴의 왼쪽 외곽선은 FL, 얼굴의 오른쪽 외곽선은 FR, 얼굴의 밑 부분은 FB 그리고 윗부분은 FT로 정의한다.First, we will define the movement of the center of the head in the frame below, some of the symbols used in this algorithm, and the algorithm of the mouth and head model. In FIG. 7 (a), an algorithm obtained by subdividing the results of various angles along γ of α of the X axis and β of the Z axis of the Y axis will be described. FIG. 7A illustrates a head pose and a mouth of a general frontal model, and FIG. 7B illustrates a mouth and face position model horizontally shifted (left and right) by a distance α, and FIG. 7C. Is a mouth and face position model vertically moved (up and down) by the distance of β, β represents the angle created by the movement of the head and mouth, and (d) of FIG. 7 is a model of the mouth and head of γ. The outer circle represents the head pose close to the camera, and the small inside circle represents the head pose far from the camera. The mouth expression is M, the mouth mark after movement is M ', the left outline of the face is FL, the right outline of the face is FR, the bottom of the face is FB and the top is FT.

먼저 머리 포즈 X축 회전각(α)를 추정한다. 우리는 얼굴의 정면을 α=0으로 초기화를 시킨다. 즉 α=0이라는 의미는 입의 움직임이 없다는 것을 의미한다. 그리고 얼굴을 왼쪽에서 오른쪽으로 회전시킬 때 α의 범위는 [-π/2, π/2]로 한다. 도 7(b)에서 입과 얼굴 부분의 왼쪽 외곽선의 거리(D_ML) 계산을 볼 수가 있다.First, the head pose X-axis rotation angle α is estimated. We initialize the front of the face to α = 0. In other words, α = 0 means no movement of the mouth. And when rotating the face from left to right, the range of α is [-π / 2, π / 2]. In FIG. 7B, the distance D _ML calculation of the left outline of the mouth and the face part can be seen.

식(1)

Formula (1)

여기서 P_M(x)은 기준 영상에서 X축으로 변경된 입의 위치 정보, 즉 좌표값을 나타내며, P_FL(x)은 얼굴의 왼쪽 수평선이다. 그리고 입과 얼굴의 오른쪽 외곽선의 거리(D_MR) 계산은 밑의 식으로 구할 수가 있다.Here, P _M (x) represents position information of the mouth, that is, a coordinate value changed from the reference image to the X axis, and P _FL (x) is a horizontal horizontal line on the left side of the face. The distance (D _MR ) of the right outline of the mouth and face can be calculated by the following equation.

식(2)

Equation (2)

D_HorSetover(P_FL(x)와 P_FR(x)의 거리 차이값)는 밑의 식으로 구할 수가 있다.D _HorSetover (distance difference between P _FL (x) and P _FR (x)) can be obtained from the following equation.

식(3)

Equation (3)

D_HorSetvoer는 입의 왼쪽거리정보(D_ML)와 오른쪽거리정보(D_MR)의 차이값을 의미한다. 선형의 균등함의 관계에 대한 법칙을 α 와 D_HorSetover규칙에 따랐다. 도 8의 (a)는 입의 이동하는 구역부터 모니터까지 투영되는 거리 모델이고 도 8의 (b)는 도 8의 (a)에 대한 평면도이다. 도 8은 식(4)를 유도하기 위한 도면으로서, 입 위치정보에서부터 모니터의 마우스(하드웨어)의 위치까지의 맵핑 연산 방법을 설명하기 위한 도면이다. 도 8에서는 실제 입의 위치와 모니터에 보여지는 입의 위치 간의 선형관계를 보여주고 있다. 식(4)는 이런 선형관계를 설명한 식으로서 도 8에서 x, y 만큼의 움직임에 대한 관계를 나타낸 식이다. 즉, 실제 입의 움직임과 스크린에 비춰지는 입의 위치의 비례관계를 표현한 식이다. 실험 데이터의 분석을 통하여, D_HorSetover/D_LR와 α/θ의 선형관계를 표현하기 위하여, 임의의 상수 k, b, θ를 사용하여 식(4)와 같이 일차방정식을 구성한다.D _HorSetvoer means the difference between the left distance information (D _ML ) and the right distance information (D _MR ) of the mouth. The law for the relationship of linear equality is based on the α and D _HorSetover rules. FIG. 8A is a distance model projected from the moving area of the mouth to the monitor and FIG. 8B is a plan view of FIG. 8A. FIG. 8 is a diagram for deriving equation (4), which is a view for explaining a mapping calculation method from mouth position information to the position of a mouse (hardware) of the monitor. 8 shows a linear relationship between the actual position of the mouth and the position of the mouth shown on the monitor. Equation (4) is a formula for explaining such a linear relationship, and shows the relationship of the motion by x and y in FIG. That is, it expresses the proportional relationship between the actual movement of the mouth and the position of the mouth reflected on the screen. Through the analysis of the experimental data, in order to express the linear relationship between D _HorSetover / D _LR and α / θ, a linear equation is constructed as shown in equation (4) using arbitrary constants k, b, and θ.

식(4)

Formula (4)

θ는 수평으로 머리가 움직일 수 있는 최대각 [-π/2, π/2]이고,α는 카메라와 머리가 움직일 수 있는 각 [-π/2, π/2]이고, D_LR은 X축(수평)에 대한 얼굴전체거리정보이고, k는 선형 정비례상수이다. 위 식(4)에 의해 우리는 선형의 균등함의 관계에 대한 법칙을 구할 수 있다.θ is the maximum angle [-π / 2, π / 2] the head can move horizontally, α is the angle [-π / 2, π / 2] the camera and head can move, D _LR is the X axis Total face distance information for (horizontal), k is a linear direct proportional constant. Equation (4) above gives us the law of linear equality.

우리는 두 가지의 특별한 형태 즉, α = 0 (정면) 그리고 α = π/2을 실험을 통하여 계산하자. 정면에서 볼 때 α = 0, P_M(x) = 0 일 때 D_ML(=D_LR/2)와 D_MR(=D_LR/2)의 값은 같아진다. 오른쪽에서 볼 때 α = π/2, P_M(x) = D_LR/2 일 때, D_ML=D_LR 와 D_MR=0의 값을 가지게 된다. 우리는 밑의 방정식을 알 수가 있다.We calculate two special forms, experimentally α = 0 (front) and α = π / 2. From the front, when α = 0 and P _M (x) = 0, the values of D _ML (= D _LR / 2) and D _MR (= D _LR / 2) are equal. On the right, when α = π / 2 and P _M (x) = D _LR / 2, D _ML = D _LR and D _MR = 0. We can see the equation below.

식(5)

Formula (5)

K, θ 와 b는 위 식(5)에서 계산될 수 있다.위 방정식을 풀면 결과는 식(6)과 같다.K, θ and b can be calculated from Eq. (5). Solving the above equation yields Eq. (6).

식(6)

Formula (6)

식(6)에서 구한 결과 값을 식(4)에 대입하면 X축의 머리의 회전각은 밑의 방정식과 같다.Substituting the resulting value in Eq. (6) into Eq. (4), the rotation angle of the head of the X-axis is equal to the equation below.

식(7)

Formula (7)

우리는 여기서 얼굴 부분과 입의 위치를 탐지한 알고리즘의 2D 이미지에서 D_LR과 P_M(x)을 쉽게 얻을 수가 있다.We can easily obtain D _LR and P _M (x) from the 2D image of the algorithm that detects the face and mouth position here.

다음으로 머리 포즈 Y축 회전각을 추정한다. 우리는 여기서 정면의 경우 β=0이라는 것으로 초기화를 하였다. 그리고 얼굴의 아랫부분에서 윗부분의 β범위를 [-π/2, π/2]로 정한다. 도 7(c)에서 입과 머리 윗부분 외곽선까지의 거리를 계산 할 수가 있다.Next, the head pose Y axis rotation angle is estimated. We initialized here with β = 0 for the front. The β range of the upper part of the face is set to [-π / 2, π / 2]. In FIG. 7C, the distance from the mouth to the upper outline of the head can be calculated.

식(8)

Formula (8)

D_MT는 Y축(수직)에 대한 입부터 얼굴 윗부분까지의 거리이고 P_M(y)는 기준 영상에서 Y축으로 변경된 입의 위치정보 즉 좌표값을 표현한다. 여기서 P_FT(y)는 얼굴 윗부분 외곽선의 수직적인 위치이다. 그리고 입과 얼굴의 아랫부분의 외곽선까지의 거리는 다음으로 계산할 수가 있다.D _MT is the distance from the mouth to the upper part of the face with respect to the Y axis (vertical), and P _M (y) represents the position information of the mouth changed from the reference image to the Y axis, that is, the coordinate value. Where P _FT (y) is the vertical position of the upper outline of the face. And the distance from the mouth to the outline of the lower part of the face can be calculated as

식(9)

Formula (9)

D_MB는 Y축(수직)에 대한 입부터 얼굴 아랫부분까지의 거리이고 D_VerSetover는 입의 윗쪽거리정보(D_MT)와 아래쪽거리정보(D_MB)의 차이값을 의미한다. 이때 두 거리 차이, 즉 D_MT에서 D_MB까지의 거리의 차이는 식(10)과 같이 정의된다.D _MB is the distance from the mouth to the lower part of the face with respect to the Y axis (vertical), and D _VerSetover is the difference between the upper distance information (D _MT ) and the lower distance information (D _MB ) of the mouth. In this case, the difference between the two distances, that is, the distance from D _MT to D _MB is defined as in Equation (10).

식(10)

Formula (10)

선형의 균등함의 관계에 대한 법칙을 β와 D_VerSetover규칙에 따르고 실험 데이터의 분석을 통하여, D_VerSetover/D_LR와 β/θ의 선형관계를 표현하기 위하여, 임의의 상수 k, b, θ를 사용하여 식(11)과 같이 일차방정식을 구성한다.Arbitrary constants k, b, and θ are used to express the linear relationship between D _VerSetover / D _LR and β / θ by following the β and D _VerSetover rules and analyzing the experimental data. By constructing the first equation as shown in equation (11).

식(11)

Formula (11)

우리는 두 가지의 특별한 형태 즉, β = 0 (정면) 그리고 β = π/2을 실험 을 통하여 계산하자. 정면에서 볼 때 β = 0, P_M(y) = 0 일 때 D_MT(=D_TB/2)와 D_MB(=D_TB/2)의 값은 같아진다. 얼굴을 위로하여 볼 때 즉 β = π/2, P_M(y) = D_TB/2 일 때, D_MT=D_TB 와 D_MB=0의 값을 가지게 된다. 우리는 위의 값을 이용하면 식(12)의 방정식을 알 수가 있다.We calculate two special forms, experimentally, β = 0 (front) and β = π / 2. From the front, when β = 0 and P _M (y) = 0, the values of D _MT (= D _TB / 2) and D _MB (= D _TB / 2) are equal. When face up, that is, β = π / 2, P _M (y) = D _TB / 2, D _MT = D _TB and D _MB = 0. We can find the equation in equation (12) using the above values.

식(12)

Formula (12)

k, θ와 b는 위 식(12)에서 계산되고 결과값은 식(13)과 같다.k, θ and b are calculated in Eq. (12), and the result is the same as Eq. (13).

식(13)

Formula (13)

사람의 입은 항상 정 중앙에만 위치하지 않는다. 그러므로 우리는 먼저 입의 위치를 P_M‘(y) = P_M(y) - D_MC 식을 이용하여 중앙에 위치시킨다.The mouth of a person is not always centered. Therefore, we first position the mouth in the center using the equation P _M '(y) = P _M (y)-D _MC .

식(14)

Formula (14)

P_M‘(y)는 P_M(y)가 기준좌표일 때, Y축으로 변경된 입의 위치 정보, 즉 좌표값을 표현한다.P _M '(y) represents the position information of the mouth changed to the Y axis, that is, the coordinate value when P _M (y) is the reference coordinate.

D_TB는 Y축(수직)에 대한 얼굴 아랫부분에서 얼굴 윗부분까지의 거리이다.D _TB is the distance from the bottom of the face to the top of the face with respect to the Y axis (vertical).

그리고 여기서 D_VerSetover를 구하는 공식은 다음과 같다.And the formula for D _VerSetover is as follows.

식(15)

Formula (15)

그래서 Y축에 대한 결과는 식 (16)에 의해서 구해진다.Thus, the result on the Y axis is obtained by equation (16).

식(16)

Formula (16)

D_TB 와 P_M(y)는 머리 부분과 입 위치의 탐지 알고리즘으로 쉽게 얻을 수가 있다. 그리고 많은 정면실험을 통해서 아래의 머리 영역 검출 부분과 D_MC 의 결과도 얻을 수가 있다. D_MC와 D_TB의 비율확인을 위해서 FERET 얼굴 데이터베이스를 이용하여 실험한 결과, D_MC와 D_TB의 비율은 7:40이 된다.D _TB and P _M (y) can be easily obtained with the head and mouth position detection algorithms. In addition, many frontal experiments can also obtain the results of the head region detection and D _MC below. And the ratio of D _MC to confirm the ratio of D _TB test results using a database FERET face, D _MC and D _TB is a 7:40.

D_MC는 정면모델 영상의 중심점(c)으로부터 입까지의 거리정보(참조:도 7(a))이다. 여기서 FERET 데이터베이스란 현존하는 영상인식시스템중에서 기본이 되는 데이터베이스이다. 얼굴인식기술 프로그램은 DARPA(Defense Advanced Research Projects Agency)와 NIST(National Institute of Standards and Technology)에 의해 관리되어진다. 얼굴 영상 데이터베이스는 1993년 12월부터 1996년 가을까지 수집되어 졌다. 2003년에 DARPA는 얼굴영상들의 고화상인 24-비트 컬러 버전을 발표했다. 데이터 세트는 856명을 나타내는 2,413장의 얼굴영상을 더하여 테스트 하였다. 이 FERET 프로그램은 알고리즘 개발자들로부터 독립적으로 모아온 얼굴영상의 큰 데이터베이스를 입증하기 위해서 준비하였다. Wechsler at George Mason University의 Harry 박사는 이 데이터베이스의 자료수집을 지시하였다. 이 데이터베이스 자료는 Dr. Wechsler 과 Dr. Phillips의 공동연구 노력이었다.D _MC is distance information (refer to FIG. 7A) from the center point c of the front model image to the mouth. The FERET database is the basic database among the existing image recognition systems. The facial recognition technology program is managed by the Defense Advanced Research Projects Agency (DARPA) and the National Institute of Standards and Technology (NIST). Facial imaging databases were collected from December 1993 to autumn 1996. In 2003, DARPA released a 24-bit color version of high-resolution facial images. The data set was tested by adding 2,413 face images representing 856 people. The FERET program was prepared to demonstrate a large database of facial images collected independently from algorithm developers. Dr. Harry of Wechsler at George Mason University directed the collection of data from this database. This database is based on Dr. Wechsler and Dr. It was a collaborative effort by Phillips.

다음으로 머리 포즈 Z축 회전각을 추정한다. Z축을 이용하여 정면이 아닌 어느 위치에서도 각도의 γ값은 0이다. 왼쪽과 오른쪽 입의 포지션도 수평선에서 같게 된다. 도 7(d)에서 γ와 입의 왼쪽과 오른쪽 면에서는 아래와 같은 식이 생성된다.Next, the head pose Z axis rotation angle is estimated. The γ value of the angle is zero at any position other than the front face using the Z axis. The left and right mouth positions are the same on the horizon. In FIG. 7 (d), the following equations are generated on the left and right sides of γ and the mouth.

식(17)

Formula (17)

여기서 P'_MR 와 P'_ML 는 큰 이미지에서의 입 부분 중 왼쪽과 오른쪽 부분의 위치를 나타내며, P_MR 와 P_ML은 작은 이미지에서의 입 부분 중 왼쪽과 오른쪽 부분의 위치이다.Where P ' _MR and P' _ML are the positions of the left and right portions of the mouth in the large image, and P _MR and P _ML are the positions of the left and right portions of the mouth in the small image.

여기에서 우리는 X축과 Y축으로 이동된 머리 위치의 차이, 즉 (α, β) 각도를 통하여 입의 위치와 머리 부분의 윤곽선을 확인할 수가 있고 Z축의 γ를 통하여 입의 정보를 확인할 수가 있다. 궁극적으로는 α, β,γ를 이용하여 카메라부터 영상을 입력받았을 때 머리의 위치를 판단할 수 있다.Here, we can check the position of the mouth and the contour of the head through the difference between the head position moved in the X axis and the Y axis, that is, the angle (α, β) and the information of the mouth through γ of the Z axis. . Ultimately, the position of the head can be determined when the image is input from the camera using α, β, and γ.

또한 우리는 입의 위치에 따른 정보를 이용하여 머리 정보를 확인할 수 있 다. 이때 중요한 것은 머리 부분의 이미지에서 입을 찾아야 하는 것이다. luma 와 chroma 이미지를 통해서 우리는 입과 얼굴의 외곽선을 쉽게 찾아낸다. 입과 얼굴의 색은 다양한 색 정보로 모델링 되어 있다. 도 10의 MOUSE MAPS 모델을 통하여 우리는 YC_bC_r 컬러 모델을 구할 수가 있고 C_b와 C_r 또한 여러 가지로 얼굴과 관련이 있다. 입 주변에서 chrominance의 구성 요소인 C_r 은 C_b 보다 크다. 또한 입은 C_r ² 가 낮게 반응하고 그러나 C_b ² 은 높게 반응한다. 그리고 머리 부분의 어느 곳보다 입 부분에 관한 많은 정보를 가지고 있다. 이런 결과는 식 (19)에 잘 나타나 있다. 그래서 이제부터는 입 부분의 C_b ²이 C_r ² 부분보다 다른 특징부분에 대해서 관찰할 것이다. 도 9는 이런 상황이 잘 나타나 있는데 입 주변에서의 chrominance는 C_r 이 C_b 보다 컬러 레벨이 높고, 또한 사람 입은 C_r ² 의 컬러 레벨이 C_b ² 보다 낮게 나타난다. 여기서 C_b ² 의 컬러 레벨이 Cr² 의 컬러 레벨보다 높게 나타난다는 것은 얼굴 영역에서 입의 영역이 가장 많은 컬러 정보를 가진다는 것을 의미한다. 아래에 식 (19)와 식 (20)이 잘 나타내고 있다.We can also check the head information using the information on the position of the mouth. The important thing is to find the mouth in the image of the head. Through luma and chroma images, we can easily find the outlines of the mouth and face. The mouth and face colors are modeled with various color information. Through the MOUSE MAPS model of FIG. 10, we can obtain the YC _b C _r color model, and C _b and C _{r are} also variously related to the face. At the periphery of the mouth, C _r , a component of chrominance, is greater than C _b . Also, mouth responds low to C _r ² but C _b ² reacts high. And it has more information about the mouth than anywhere else in the head. This result is shown in Eq. (19). So from now on, we will observe the features of C _b ^{2 in the} mouth that are different than C _r ² . 9 is there such a situation is well shown in the chrominance of the mouth has a high color level than the C _b C _r, also when the color levels of C _r ² _b ² C below the wearer. Here, the color level of C _b ² is higher than that of Cr ² , which means that the area of the mouth has the most color information in the face area. Formulas (19) and (20) are well shown below.

식(19)

Formula (19)

식(20)

Formula (20)

그리고 MouthMap을 도 9의 (e)에서 잘 보여주고 있다. MouthMap은 식 (19)를 사용하여 연산되어진 이미지를 의미한다. 즉, C_r ² 와 C_r ²의 결과 이미지를 정합한 것이 MouthMap이 된다. C_r ²는 영상에서 chroma값의 제곱을 한 이미지(도 10의(a)에서 보여지고 있다.)이고 C_b ²은 영상에서 luma값의 제곱을 한 이미지(도 10의(b)에서 보여지고 있다.)이고 Φ₁은 C_r ² 의 평균값이고 Φ₂는 C_b ²의 평균값이고 Φ₃는 Φ₁+Φ₂의 평균값이다. 여기서 C_r ² 와 C_b ²는 표준적으로 [0,255]의 값을 가지는 gray image, 그리고 M과 N은 얼굴영상에서 가로값와 세로값을 나타낸다. And MouthMap is shown well in Fig. 9 (e). MouthMap means an image computed using equation (19). That is, it is a result of matching the image of the C _r and C ² _r ² is the MouthMap. C _r ² is the squared chroma value in the image (shown in Fig. 10 (a)) and C _b ² is the squared luma value in the image (Fig. 10 (b)). Φ ₁ is the average value of C _r ² , Φ ₂ is the average value of C _b ² , and Φ ₃ is the average value of Φ ₁ + Φ ₂ . Here, C _r ² and C _b ² are gray images having a value of [0,255] as a standard, and M and N represent horizontal and vertical values in a face image.

도 9는 C_r, C_b, C_r ²/φ₁, C_b ²/φ₂, 입 투영 이미지로서 도 9(a)는 C_r 얼굴이고, 도 9(b)는 C_b 얼굴이고, 도 9(c)는 C_r ²/φ₁ 얼굴이고, 도 9(d)는 C_b ²/φ₂ 얼굴이고, 도 9의 (e)는 입 투영 이미지이다. 도 9의 (c),(d),(e)에서 도 5의 계산 결과를 잘 보여주고 있다.9 is C _r , C _b , C _r ² / φ ₁ , C _b ² / φ ₂ , a mouth projection image, in which FIG. 9 (a) is a C _r face, FIG. 9 (b) is a C _b face, and FIG. 9 (c) is a C _r ² / φ ₁ face, FIG. 9 (d) is a C _b ² / φ ₂ face, and FIG. 9 (e) is a mouth projection image. 9 (c), (d) and (e) show the results of the calculation of FIG. 5 well.

도 10은 입 영역을 검출하기 위해 사용된 도면으로서 위 MouthMap을 이용하 여 입영역을 검출하는 과정을 도시하고 있다. 도 10의 (a)는 C_r ² 적용한 얼굴 영역 영상이고 도 10의 (b)는 C_b ² 적용한 얼굴 영역 영상이고 도 10의 (c)는 식(19)을 적용한 얼굴 영상이고 도 10의 (d)는 그레이 레벨 영상을 반전시킨 영상이고 도 10의(e)는 입 영역을 검출한 영상이다. 우리는 MauthMap인 도 9의 (e)를 이용하여 얼굴영상에서 도 10의 (e)와 같은 입영역을 검출하였다.FIG. 10 is a diagram used to detect an mouth region and illustrates a process of detecting an mouth region using the MouthMap. (A) of FIG. 10 is a face region image to which _Cr ^{2 is} applied, FIG. 10 (b) is a face region image to which C _b ^{2 is} applied, and FIG. 10 (c) is a face image to which Equation (19) is applied. d) is an image inverting the gray level image and (e) of FIG. 10 is an image of detecting the mouth region. We detected the mouth region as shown in FIG. 10 (e) in the face image by using FIG. 9 (e) which is a MauthMap.

다음으로 입 영역에서 입형태를 검출하기로 한다. 도 11은 도 10(e)를 이용하여 입형태를 구하는 과정을 도시한 것이다. 도 11의 (a)는 입의 2진화 이미지이고 도 11의(b)는 정규화를 위한 10 * 10 clip 이미지이고 도 11의 (c)는 정규화된 입의 패턴 이미지이고 도 11의 (d)는 패턴 투영 이미지이다. 위와 같은 이미지 처리단계를 거쳐 도 9의 (e)의 이미지에서 입 형태를 쉽게 찾을 수가 있다. 도 9의 (e)는 강한 하얀색의 정보가 있다.Next, the mouth shape is detected in the mouth area. FIG. 11 illustrates a process of obtaining a mouth shape using FIG. 10 (e). (A) of FIG. 11 is a binary image of the mouth, FIG. 11 (b) is a 10 * 10 clip image for normalization, (c) of FIG. 11 is a pattern image of the normalized mouth, and (d) of FIG. Pattern projection image. Through the above image processing step, the mouth shape can be easily found in the image of FIG. 9 (e) has strong white information.

여기에서 패턴을 사용하는 이유는 도 10의 (e)상태로 입력이 계속 들어온다면, 연산할 때 시간이 너무 많이 걸리게 된다. 또한 메모리도 많이 차지하기 때문에 속도 자체가 많이 느려지게 된다. 이런 이유로 도 11의 (d)의 형태로 패턴을 만들면 연산시 시간을 줄일 수 있고, 메모리 또한 줄일 수가 있다.The reason for using the pattern here is that if the input continues to enter the state (e) of Fig. 10, it takes too much time to perform the calculation. It also takes up a lot of memory, which slows it down a lot. For this reason, if the pattern is made in the form of FIG. 11 (d), the operation time can be reduced and the memory can be reduced.

여기에서 패턴을 적용하면 입의 위치는 얼굴에서 수평으로 2/3 지점에 위치해 있고, 수직으로 1/6 지점에 위치한다. 그래서 우리는 패턴 크기를 쉽게 선택할 수가 있으며 마우스 맵 이미지에서 왼쪽 윗부분에서 오른쪽 윗부분까지 스캔 할수 가 있다. 그리고 식(21)는 픽셀 값의 계산과 패턴에 관한 식이고 그리고 식(22)는 최대 패턴값을 구하는 식이다. 여기에서 우리는 중앙 패턴 값을 구할 수가 있다.If you apply a pattern here, the position of the mouth is 2/3 horizontally and 1/6 vertically. So we can easily select the pattern size and scan from the top left to the top right in the mouse map image. Equation (21) is for calculating a pixel value and a pattern, and Equation (22) is for calculating a maximum pattern value. Here we can find the central pattern value.

식(21)

Formula (21)

식(22)

Formula (22)

식(21)에서 m은 스캔된 전체영상의 가로 영역의 윈도우 인덱스이고, n은 스캔된 전체영상의 세로 영역의 윈도우 인덱스를 나타내며, i와 j는 스캔된 전체영상 내에서의 가로 영역, 세로 영역 윈도우 인덱스이다. 도 12는 MauthMap을 이용하여 패턴처리한 계산 결과를 나타내는 도면이고 도 12(e)는 3D 결과 다이아그램이고 도 12의 (f)는 모든 패턴의 관찰 결과(검정에서 하얀색으로 변함)이다.In equation (21), m is the window index of the horizontal area of the scanned whole image, n is the window index of the vertical area of the scanned whole image, and i and j are the horizontal area and the vertical area within the scanned whole image. The window index. FIG. 12 is a view showing a calculation result of pattern processing using a MauthMap, FIG. 12 (e) is a 3D result diagram, and FIG. 12 (f) is an observation result of all patterns (changing from black to white).

다음으로 입위치 검출모듈부(140)에서 도 9의 (e)의 도면을 이용하여 입의 위치정보를 구하는 방법을 설명한다. 우리는 도 9의 (e)의 이미지를 이용하여 입의 X축,Y축,Z축의 위치를 알 수 있다. 식 (21),(22)는 실제로는 이미지를 스캔하는 것을 나타내고 도 9의 (e)를 스캔해서 입의 위치를 검출할 수 있다. 즉 이미지 상에서 스캔을 해서 입의 위치를 구할 수 있다.Next, a method of obtaining mouth position information using the drawing of FIG. 9E in the mouth position detecting module unit 140 will be described. We can know the position of the X-axis, Y-axis, and Z-axis of the mouth using the image of Figure 9 (e). Equations (21) and (22) actually indicate scanning an image and can scan the position of the mouth by scanning (e) of FIG. That is, the position of the mouth can be obtained by scanning on the image.

이하에서는 위에서 구한 입 위치정보와 입형태 정보를 이용하여 단말기 제어명령 생성부에서 단말기에 전달할 제어명령을 생성하는 과정을 설명한다.Hereinafter, a process of generating a control command to be transmitted to the terminal from the terminal control command generation unit using the mouth position information and mouth shape information obtained above will be described.

입를 이용해서 단말기에 명령을 내리기 위해서는 입의 위치와 형태 정보 모두가 필요하다. 즉, 두 조건을 종합적으로 적용하여 학습을 시키고 사용자가 카메 라를 통해서 어떤 행동을 했을 시, 그 행동에 대한 판단을 단말기가 내리게 되는 것이다. 입의 위치와 입의 형태에 대한 정보를 가지고 단말기에게 제어명령을 전달하면 단말기가 제어명령에 따라 명령을 수행하게 된다.Both mouth position and shape information are required to command the terminal using the mouth. In other words, learning is applied by applying the two conditions comprehensively, and when a user makes an action through the camera, the terminal makes a judgment on the action. When the control command is transmitted to the terminal with information about the position of the mouth and the shape of the mouth, the terminal executes the command according to the control command.

도 13은 위에서와 같은 흐름에 따라 입의 위치와 입의 형태 정보를 얻어 단말기에 제어 정보를 보내서 단말기를 제어하는 실시 예이다. 도 13의 (a)는 입의 오른쪽을 제어하는 영상으로서 입의 형태가 동그랗게 모아 졌을 때는 텍스트를 OK라고 출력을 하고 있고 도 13의 (b)는 입의 왼쪽을 제어하는 영상으로서 입을 얼굴쪽으로 당기면서 입을 오므렸을 때는 Hello라는 텍스트를 보여주고 있다.FIG. 13 is an embodiment of controlling a terminal by sending control information to a terminal by obtaining mouth position and mouth shape information according to the above flow. FIG. 13A is an image for controlling the right side of the mouth, and when the shape of the mouth is rounded, the text is output as OK. FIG. 13B is an image for controlling the left side of the mouth. When you close your mouth, it shows the text Hello.

도 13의 (c) 최종적으로 입을 이용한 게임 제어 영상의 실시 예로써 입의 위치와 입의 형태 정보를 이용하여 게임을 하고 있는 모습을 보여 주고 있다.13 (c) shows an example of playing a game using mouth position and mouth shape information as an embodiment of the game control image using the mouth.

도 14는 인간 단말기간 마우스 인터페이스 시스템의 시스템 구성도를 보여주고 있다. 인간 단말기간 마우스 인터페이스 시스템은 영상입력부(110),단말기(120),이미지처리부(130),입위치검출모듈부(140),입형태분석모듈부(150),단말기 제어명령 생성부(160)로 구성되어 있다. 영상입력부(110)는 카메라를 이용하여 인간의 얼굴영상을 입력받고, 이미지처리부(130)는 얼굴영상을 이용하여 이미지변환을 통하여 얼굴영역을 추출하고, 입위치검출모듈부(140)는 얼굴영역에서 입위치를 추출하고, 입형태분석모듈부(150)는 얼굴영역에서 입형태를 분석하고, 단말기 제어명령 생성부(160)는 입위치와 입형태를 이용하여 단말기에 전달할 제어명령을 생성한다. 상기 단말기는 제어명령이 전달되는 곳으로 휴대폰, PDA, PC, 노트북 등에 적용될 수 있다.14 shows a system configuration of a mouse interface system between human terminals. The mouse interface system between the human terminals includes the image input unit 110, the terminal 120, the image processing unit 130, the mouth position detection module unit 140, the mouth shape analysis module unit 150, the terminal control command generation unit 160 Consists of The image input unit 110 receives a human face image using a camera, the image processor 130 extracts a face region through image conversion using a face image, and the mouth position detection module unit 140 detects a face region. Extracts the mouth position from the mouth shape analysis module 150 analyzes the mouth shape in the face area, the terminal control command generation unit 160 generates a control command to be transmitted to the terminal using the mouth position and mouth shape . The terminal may be applied to a mobile phone, a PDA, a PC, a notebook, and the like, to which a control command is transmitted.

다음으로 인간 단말기 마우스 인터페이스 시스템을 사용하여 단말기에 제어 명령을 전달하는 방법을 살펴보자.Next, let's look at how to transmit control commands to the terminal using the human terminal mouse interface system.

제 1 방법으로 도 15에 도시된 바와 같이 영상입력부에서 얼굴영상을 입력받는 1단계(S110)와, 이미지처리부에서 RGB 이미지를 YCbCr 컬러 공간의 이미지로 변경하는 2단계(S120)와 이미지처리부에서 얼굴영역을 검출하는 3단계(S130)와 입위치검출부에서 얼굴영역에서 입위치를 검출하는 4단계(S140)와 입형태분석모듈부에서 얼굴영역을 이용하여 입형태를 검출하는 5단계(S150)와 단말기 제어명령 생성부에서 상기 입위치와 입모양을 이용하여 단말기 제어명령 생성 후에 단말기에 제어명령을 전달하는 6단계(S160)를 포함한다.As a first method, as shown in FIG. 15, a first step of receiving a face image from an image input unit (S110), a second step of changing an RGB image into an image of a YCbCr color space in an image processing unit (S120), and a face from an image processing unit. 3 steps (S130) of detecting an area, 4 steps (S140) of detecting a mouth position in a face area in the mouth position detection unit, and 5 steps (S150) of detecting a mouth shape using the face area in the mouth shape analysis module unit; And a step S160 of transmitting a control command to the terminal after generating the terminal control command using the mouth position and the mouth shape in the terminal control command generation unit.

제 2방법으로는 도 16에 도시된 바와 같이 영상입력부에서 얼굴영상을 입력받는 1단계(S210)와, 이미지처리부에서 RGB 이미지를 YCbCr 컬러 공간의 이미지로 변경하는 2단계(S220)와 이미지처리부에서 얼굴영역을 검출하는 3단계(S230)와 입형태분석모듈부에서 얼굴영역을 이용하여 입형태를 검출하는 4단계(S240)와 입위치검출부에서 얼굴영역에서 입위치를 검출하는 5단계(S250)와 단말기 제어명령 생성부에서 상기 입위치와 입모양을 이용하여 단말기 제어명령 생성 후에 단말기에 제어명령을 전달하는 6단계(S260)를 포함한다. 상기 단말기는 휴대폰, PDA, PC, 노트북 등에 적용될 수 있다.As a second method, as shown in FIG. 16, a first step (S210) of receiving a face image from an image input unit, a second step (S220) of changing an RGB image into an image of a YCbCr color space in an image processing unit, and an image processing unit Step 3 (S230) of detecting a face area, step 4 (S240) of detecting a mouth shape using the face area in the mouth shape analysis module unit, and step 5 (S250) of detecting a mouth position in the face area by the mouth position detection unit (S250). And a step S260 of transmitting a control command to the terminal after generating the terminal control command using the mouth position and the mouth shape in the terminal control command generation unit. The terminal may be applied to a mobile phone, a PDA, a PC, a notebook, and the like.

이상으로 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시될 수 있다는 것을 이해 할 수 있을 것이다. 따라서 이상에서 기술한 실시 예는 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것이다.Although the embodiments of the present invention have been described above with reference to the accompanying drawings, those skilled in the art to which the present invention pertains may be embodied in other specific forms without changing the technical spirit or essential features of the present invention. You can understand that. Therefore, the exemplary embodiments described above are exemplary in all respects and are not intended to be limiting.

도 1은 입 위치 검출과 제어를 통한 인간-단말기 마우스 인터페이스시스템이 입의 정보를 이용하여 단말기에 제어명령을 전달하는 흐름도이다.1 is a flowchart in which a human-terminal mouse interface system through mouth position detection and control transmits a control command to a terminal using mouth information.

도 2는 입력된 영상을 영상처리 기법에 의한 전처리 과정을 나타낸 도면이다.2 is a diagram illustrating a preprocessing process of an input image by an image processing technique.

도 4는 영상에서 얼굴영역을 검출하기 위한 과정을 설명하기 위한 도면이다. 4 is a diagram for describing a process for detecting a face region in an image.

도 5는 영상이미지를 이용하여 얼굴을 판별하는 과정을 도시하고 있다.5 illustrates a process of determining a face using an image image.

도 6은 머리포즈에 따른 입의 위치를 표시한 도면이다.6 is a view showing the position of the mouth according to the hair pose.

도 7은 얼굴의 위치 모델을 나타내고 있다.7 shows a positional model of the face.

도 8은 입의 이동하는 구역부터 모니터까지 투영되는 거리 모델을 도시하고 있다.8 shows the distance model projected from the moving zone of the mouth to the monitor.

도 9는 C_r, C_b, C_r ²/φ₁, C_b ²/φ₂, 입 투영 도면이다.9 is C _r , C _b , C _r ² / φ ₁ , C _b ² / φ ₂ , and a particle projection diagram.

도 10은 입 영역을 검출하는 과정을 도시하고 있다.10 illustrates a process of detecting the mouth region.

도 11은 도 10(e)를 이용하여 입 형태를 구하는 과정을 도시한 것이다.FIG. 11 illustrates a process of obtaining a mouth shape using FIG. 10 (e).

도 12는 MauthMap을 이용하여 패턴 처리한 계산 결과를 나타내는 도면이다.12 is a diagram illustrating a calculation result obtained by pattern processing using a MauthMap.

도 13은 입의 위치와 입의 형태 정보를 얻어 단말기에 제어 정보를 보내어 단말기를 제어하는 실시 예이다.FIG. 13 is an embodiment of controlling a terminal by sending control information to a terminal by obtaining mouth position and mouth shape information.

도 14는 인간-단말기간 마우스 인터페이스 시스템의 구성도를 보여주고 있다.14 shows a schematic diagram of a human-terminal mouse interface system.

도 15,도 16은 입의 위치와 입의 형태를 이용한 단말기 제어방법을 도시하고 있다.15 and 16 illustrate a method of controlling a terminal using a position of a mouth and a shape of a mouth.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

100 : 인간-단말기간 마우스 인터페이스 시스템100: human-terminal mouse interface system

110 : 영상입력부110: video input unit

120 : 단말기120: terminal

130 : 이미지처리부130: image processing unit

140 : 입위치검출모듈부140: position detection module unit

150 : 입형태분석모듈부150: particle shape analysis module

160 : 단말기 제어명령 생성부160: terminal control command generation unit

Claims

인간 단말기간 마우스 인터페이스 제어방법에 있어서,In the mouse interface control method between human terminals,

영상입력부에서 얼굴영상을 입력받는 1단계와;Receiving a face image from the image input unit;

이미지처리부에서 RGB 이미지를 YC_bC_r 컬러 공간의 이미지로 변경하는 2단계와;Changing an RGB image into an image of a YC _b C _r color space by an image processor;

이미지처리부에서 얼굴영역을 검출하는 3단계와;Detecting a face region in the image processor;

입위치검출부에서 상기 얼굴영역에서 입위치를 검출하는 4단계와;Detecting a mouth position in the face region by a mouth position detecting unit;

입형태분석모듈부에서 상기 얼굴영역을 이용하여 입형태를 검출하는 5단계와;Step 5 of detecting a mouth shape using the face region in a mouth shape analysis module unit;

단말기 제어명령 생성부에서 상기 입위치와 입형태를 이용하여 단말기 제어명령 생성 후에 단말기에 제어명령을 전달하는 6단계를 포함하고,And a sixth step of transmitting a control command to the terminal after generating the terminal control command by using the mouth position and the mouth shape in the terminal control command generation unit.

상기 입형태를 검출하는 5단계는, 상기 YC_bC_r 컬러 공간 중에서 C_r 영역에서 입술을 검출하고, 정규화된 입술 패턴을 사용하여 입술을 인식하는 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 제어방법.The detecting of the mouth shape may include detecting a lip in a C _r region of the YC _b C _r color space and recognizing the lip using a normalized lip pattern.

이미지처리부에서 RGB 이미지를 YC_bCr 컬러 공간의 이미지로 변경하는 2단계와;Changing an RGB image into an image of a YC _b Cr color space in an image processing unit;

입형태분석모듈부에서 상기 얼굴영역을 이용하여 입형태를 검출하는 4단계와;Detecting a shape of the mouth using the face region in the mouth shape analyzing module unit;

입위치검출부에서 상기 얼굴영역에서 입위치를 검출하는 5단계와;Detecting a mouth position in the face region by a mouth position detecting unit;

상기 입형태를 검출하는 4단계는, 상기 YC_bC_r 컬러 공간 중에서 C_r 영역에서 입술을 검출하고, 정규화된 입술 패턴을 사용하여 입술을 인식하는 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 제어방법.The detecting of the mouth shape may include detecting a lip in a C _r region of the YC _b C _r color space and recognizing the lip using a normalized lip pattern.

청구항 1 또는 2에 있어서,The method according to claim 1 or 2,

상기 단말기는,The terminal,

휴대폰, PDA, PC, 노트북 중에서 어느 하나인 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 제어방법.Mouse interface control method between the human terminal, characterized in that any one of a mobile phone, PDA, PC, notebook.

인간 단말기간 마우스 인터페이스 시스템에 있어서,In the mouse interface system between human terminals,

인간의 얼굴영상을 입력받는 영상입력부와;An image input unit configured to receive a human face image;

상기 얼굴영상의 RGB 이미지를 YC_bCr 컬러 공간의 이미지로 변환하고 얼굴영역을 추출하는 이미지처리부와;An image processor converting an RGB image of the face image into an image of a YC _b Cr color space and extracting a face region;

상기 얼굴영역에서 입위치를 추출하는 입위치검출모듈부와;A mouth position detection module unit for extracting a mouth position from the face area;

상기 얼굴영역에서 입형태를 분석하는 입형태분석모듈부와;A mouth shape analysis module unit for analyzing a mouth shape in the face region;

상기 입위치와 입형태를 이용하여 단말기에 전달할 제어명령을 생성하는 단말기 제어명령 생성부를 포함하고,A terminal control command generation unit generating a control command to be transmitted to the terminal using the mouth position and the mouth shape;

상기 입형태분석모듈부는 상기 YC_bC_r 컬러 공간 중에서 C_r 영역에서 입술을 검출하고, 정규화된 입술 패턴을 사용하여 입술을 인식하는 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 시스템.The mouth shape analysis module unit detects a lip in the C _r region of the YC _b C _r color space, and recognizes the lips using a normalized lip pattern.

청구항 4에 있어서,The method according to claim 4,

상기 단말기는,The terminal,

휴대폰, PDA, PC, 노트북 중에서 어느 하나인 것을 특징으로 하는 인간 단말기간 마우스 인터페이스 시스템.Mouse interface system between human terminals, characterized in that any one of a mobile phone, PDA, PC, notebook.