KR101159847B1 - 졸음운전 감지용 얼굴 검출 정규화 장치 및 방법 - Google Patents

Abstract

졸음운전 감지에 필요한 운전자 얼굴 검출을 할 때 렌즈를 자동으로 조절하여 얼굴이 영상의 중앙에 일정한 크기로 정규화 되도록 하는 장치 및 방법에 관한 것이다. 본 졸음운전 감지용 얼굴 검출 정규화 장치는 운전자의 얼굴을 촬영하기 위한 렌즈와, 줌 파라미터 조정을 위해 상기 렌즈를 앞 혹은 뒤로 이동시키는 제1모터와, 팬 파라미터 혹은 틸트 파라미터 조정을 위해 상기 렌즈를 수평 혹은 수직 방향으로 이동시키는 제2모터와, 상기 촬영된 입력 영상으로부터 초기 얼굴 영역을 검출하고 그에 따라 상기 제1 및 제2모터의 구동을 제어하는 제어부를 포함함을 특징으로 한다.

팬(pan), 틸트(tilt), 줌(zoom), 졸음운전 감지, 카메라, 얼굴 검출

Description

졸음운전 감지용 얼굴 검출 정규화 장치 및 방법{APPARATUS AND METHOD FOR FORMALIZING THE DETECTION OF A DRIVER'S FACE FOR SENSING SLEEPY DRIVING}

도 1은 종래의 고정식 카메라를 가지는 졸음운전 감지 장치에서 운전자의 모습을 찍은 영상들을 예시한 도면

도 2는 본 발명의 바람직한 실시예에 따른 졸음운전 감지용 얼굴 검출 정규화 장치의 구성을 나타내는 도면

도 3은 본 발명의 바람직한 실시예에 따른 졸음운전 감지용 얼굴 검출 정규화 방법을 설명하기 위한 영상 예시도

도 4는 본 발명의 바람직한 실시예에 따른 졸음운전 감지용 얼굴 검출 정규화 중 얼굴 요소 계산 과정을 구체적으로 설명하기 위한 영상들을 예시한 도면

도 5는 본 발명의 바람직한 실시예에 따른 졸음운전 감지용 얼굴 검출 정규화 방법을 나타내는 흐름도

도 6은 도 5 중 얼굴 요소 계산 과정을 구체적으로 나타낸 흐름도

본 발명은 졸음운전 감지에 필요한 얼굴 검출 장치 및 방법에 관한 것으로, 특히 렌즈를 자동으로 조절하여 운전자의 얼굴이 영상의 중앙에 일정한 크기로 정규화 되도록 하는 장치 및 방법에 관한 것이다.

졸음운전을 검출하기 위해서는 먼저 사용자의 얼굴을 검출하는 과정이 선행되어야 하며 이 과정이 전체 성능의 많은 부분을 차지하게 된다. 하지만 운전자의 운전 자세는 각각 다르다. 다시 말해서, 핸들에 바짝 붙거나 의자를 완전히 뒤로 젖히는 등 다양한 형태를 취하기 때문에 정확한 얼굴 검출이 어렵다. 또한 개인별로 얼굴 크기도 다르다.

도 1은 종래의 고정식 카메라를 가지는 졸음운전 감지 장치에서 운전자의 모습을 찍은 영상들을 예시한 것이다.

(1a)는 정상 영상을 나타내고, (1b) ~ (1d)는 비정상 영상을 나타낸다.

(1b)는 운전자의 얼굴이 너무 작아서 비정상적인 경우이다.

(1c)는 운전자의 얼굴이 너무 커서 비정상적인 경우이다.

(1d)는 운전자의 얼굴이 좌측으로 너무 치우쳐져 비정상적인 경우이다.

이와 같이 비정상적인 영상이 얻어지지 않도록 하려면 처음 장치를 구입하여 설치할 때 각 개인(의 운전 습관)에 따라 카메라의 장착 위치를 잘 결정하여야 한다. 그러나 설사 그렇게 장착했다 하더라도 운전 습관이 약간씩 바뀔 수가 있으며 다른 운전자가 앉아서 운전할 경우도 발생하게 되는데, 그때마다 카메라의 위치나 캘리브레이션을 다시 맞출 수는 없다.

이와 같은 문제들은 종래의 졸음운전 감지 장치가 일반 고정식 카메라를 이용하여 운전자의 얼굴을 검출하기 때문이다.

또한 고정식 카메라를 이용하는 졸음운전 감지 장치는 카메라와 운전자 사이의 거리를 평균적인 값으로 파악하고 있으며, 촬영된 영상으로부터 운전자의 얼굴에 해당하는 영역을 검출하는 것을 소프트웨어적으로 해결하고 있기 때문에 계산량과 속도가 떨어지는 문제점도 가지고 있다.

또한 고정식 카메라로 운전자의 얼굴을 영상에서 찾아내려면 정규화 과정을 반드시 거쳐야 하고 그렇게 하더라도 입력되는 얼굴 영상의 해상도 등과 같은 정보가 항상 달라진다는 문제가 있다. 정규화 과정이 필요한 이유는 운전자의 운전 습관에 따라 렌즈를 향하는 얼굴의 위치나 각도가 다르기 때문에 촬영된 영상 내에서 얼굴 영역의 크기나 위치도 같을 수가 없기 때문이다.

따라서 본 발명은 팬(pan), 틸트(tilt), 줌(zoom) 파라미터의 조정을 통하여 촬영된 영상에서 운전자의 얼굴이 중앙에 일정한 크기로 위치하게 함으로써 얼굴 검출에 대한 성능과 속도를 높이고 더 나아가 졸음운전 감지의 정확도를 높일 수 있는 장치 및 방법을 제공한다.

이를 위해 본 제1발명은 졸음운전 감지용 얼굴 검출 정규화 장치가 운전자의 얼굴을 촬영하기 위한 렌즈와, 줌 파라미터 조정을 위해 상기 렌즈를 앞 혹은 뒤로 이동시키는 제1모터와, 팬 파라미터 혹은 틸트 파라미터 조정을 위해 상기 렌즈를 수평 혹은 수직 방향으로 이동시키는 제2모터와, 상기 촬영된 입력 영상으로부터 초기 얼굴 영역을 검출하고 그에 따라 상기 제1 및 제2모터의 구동을 제어하는 제어부를 포함함을 특징으로 한다.

이를 위해 본 제2발명은 팬/틸트/줌 파라미터 조정이 가능한 렌즈를 구비한 졸음운전 감지용 얼굴 검출 장치에 있어서, 상기 얼굴 검출을 정규화 하는 방법이, 입력 영상으로부터 초기 얼굴 영역을 검출하는 과정과, 상기 검출한 초기 얼굴 영역으로부터 얼굴 요소를 계산하는 과정과, 상기 얼굴 요소 계산 결과를 분석하여 상기 팬 파라미터, 틸트 파라미터, 혹은 줌 파라미터의 조정이 필요한지 체크하는 과정과, 상기 체크 결과에 따라 팬 파라미터, 틸트 파라미터, 혹은 줌 파라미터를 조정하여 정규화된 얼굴 영상을 획득하는 과정을 포함함을 특징으로 한다.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 화소의 수, 입력 영상 등과 같은 특정(特定) 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 2는 본 발명의 바람직한 실시예에 따른 졸음운전 감지용 얼굴 검출 정규 화 장치의 구성을 나타내는 도면이다.

렌즈 220은 피사체(운전자의 얼굴)를 촬영하기 위한 것이다. 제1모터 240은 줌 파라미터 조정을 위해 상기 렌즈 220을 앞 혹은 뒤로 이동시키기 위한 것이다. 제2모터 260은 팬 파라미터 혹은 틸트 파라미터 조정을 위해 상기 렌즈 220을 수평 혹은 수직 방향으로 이동시키기 위한 것이다. 메모리부 280은 졸음운전 감지를 위한 프로그램과 정면 얼굴 형판 및 룩업 테이블들을 저장하기 위한 것이다. 제어부 600은 상기 룩업 테이블들에 의거 상기 제1 및 제2모터 240, 260의 구동을 제어하기 위한 것이다. 참조부호 Z는 줌 파라미터 조정 제어를 나타내고, 참조부호 P/C는 팬 혹은 틸트 파라미터 조정 제어를 나타낸다.

도 3은 본 발명의 바람직한 실시예에 따른 졸음운전 감지용 얼굴 검출 정규화 방법을 설명하기 위한 영상 예시도이다.

(3a)는 입력 영상을 나타내는데, 운전자의 얼굴이 작고 좌측 아래쪽으로 치우쳐 있어 비정상적인 영상이다.

(3b)는 (3a)의 입력 영상에 대하여 팬 파라미터 조정을 실시한 영상인데, 운전자의 얼굴이 여전히 작고 아래쪽으로 치우쳐 있어 비정상적인 영상이다.

(3c)는 (3b)의 영상에 대하여 틸트 파라미터 조정을 실시한 영상인데, 운전자의 얼굴이 여전히 작아서 비정상적인 영상이다.

(3d)는 (3c)의 영상에 대하여 줌 파라미터 조정을 실시한 영상으로서, 정상 영상이다.

도 4는 본 발명의 바람직한 실시예에 따른 졸음운전 감지용 얼굴 검출 정규 화 중 얼굴 요소 계산 과정을 구체적으로 설명하기 위한 영상들을 예시한 것이다.

(4a)는 입력 영상을 나타낸다.

(4b)는 (4a)의 입력 영상으로부터 수평 에지를 검출한 영상이다.

(4c)는 (4b)의 영상으로부터 눈과 입 영역을 검출한 영상이다.

(4d)는 (4c)의 영상으로부터 주 수평선과 주 수직선을 검출한 영상이다.

(4e)는 (4d)의 영상으로부터 얼굴 주 영역을 검출한 영상이다.

(4c-1)과 (4e-1)은 설명의 편의와 이해를 돕기 위해 도시한 것이다. (4c-1)은 (4d)의 주 수평선과 주 수직선 검출에 필요한 눈 영역과 입 영역의 주요 좌표점들을 표시한 것이고, (4e-1)은 주 영역 검출에 필요한 두 좌표점을 표시한 것이다.

도 5는 본 발명의 바람직한 실시예에 따른 졸음운전 감지용 얼굴 검출 정규화 방법을 나타내는 흐름도이다.

차량 내 운전자의 얼굴을 안정적으로 검출하고 이를 통해 다시 눈 영역을 검출하려면, 얼굴 영역이 정확한 위치에서 적절한 크기로 검출되어야 한다. 만일 얼굴 영역이 너무 작게 검출될 경우에는 눈 영역 검출의 정보가 부정확해지고, 너무 크게 검출되면 운전자가 얼굴을 움직일 때는 그 영역을 놓치게 되어 눈 영역 검출에 실패하게 된다. 또한 얼굴이 영상에서 좌측 혹은 우측으로 너무 치우치게 되는 경우에도 얼굴 영역을 안정적으로 검출해 내지 못하게 된다. 그런데 아래 설명하는 바와 같이 자동으로 렌즈를 이동시켜 팬, 틸트, 혹은 줌 파라미터 조정을 실시하면 운전자의 얼굴을 안정적으로 검출할 수 있다.

510단계에서 장치는 초기 상태에서 영상을 입력한다. 여기서 초기 상태라 함 은 카메라의 줌 파라미터를 이용하여 피사체가 크게 찍히게 하여 운전자의 얼굴이 있는 때 항상 찍힐 수 있게 하는 것이다.

520단계에서 상기 입력 영상에서 초기 얼굴 영역을 검출한다. 계산의 편리를 위해서 정면 얼굴 형판을 이용하여 영상 내 매칭을 통해 얼굴 후보 영역을 찾아낸다.

530단계에서 검출 성공 여부를 체크한다. 즉, 상기 얼굴 후보 영역이 얼굴인지 아닌지를 판단한다. 이때 만일 초기 얼굴 영역을 찾지 못했다면 다시 510단계의 초기 상태로 돌아가게 된다. 반면에, 초기 얼굴 영역을 성공적으로 찾았으면 540단계로 진행하여 초기 얼굴 영역에 대한 특징 요소들을 계산하는 얼굴 요소 계산을 실시한다.

도 6은 도 5 중 얼굴 요소 계산 과정을 구체적으로 나타낸 흐름도이다.

42단계에서 얼굴 영역(도 5의 520단계에서 미리 검출해놓았던 초기 얼굴 영역)으로부터 눈 영역과 입 영역의 검출을 위해서 수평 에지를 검출한다. 이때 검출되는 수평 에지는 예를 들어 전술한 도 4의 (4b)에 나타낸 영상에 표시된 바와 같다. 이러한 수평 에지는 공지의 소벨 에지 계산법을 사용하여 검출할 수 있으며, 형판 정합을 통해서도 검출할 수 있다.

43단계에서 눈 영역 검출을 위해 수평 에지 영상을 분석한다. 눈썹 부분의 에지 밑에 나타나는 여러 라인의 수평 에지는 눈 영역이 된다. 이때 검출된 영역은 최적 사각형으로 구성한다. 히스토그램 분석이나 형판 정합을 통해서도 눈 영역 검출을 할 수 있다.

44단계에서 입 영역 검출을 위해 수평 에지 영상을 분석한다. 영상의 중앙에서 코 영역 에지 아래에 나타나는 수평 에지를 보면 입 영역을 검출 할 수 있다. 이때 검출된 영역은 최적 사각형으로 구성한다. 히스트로그램 분석이나 형판 정합을 통해서도 입 영역을 검출 할 수 있다.

45단계에서 주 수직선을 계산한다. 입력 영상을 2차원 좌표로 보고 제일 왼쪽 위를 기준점 (0,0)으로 보고 계산한다. 도 4의 (4d)에 나타낸 영상을 참조하면, 주 수직선은 왼쪽 수직선(vertical_left)과 오른쪽 수직선(vertical_right) 두 개이다. 또한 (4c-1)을 참조하면, 전자는 왼쪽 눈 영역의 오른쪽 점(P1 혹은 P2)의 좌표값을 이용하여 정의될 수 있고, 후자는 오른쪽 눈 영역의 왼쪽 점(P4 혹은 P5)의 좌표값을 이용하여 정의될 수 있다.

46단계에서 주 수평선을 계산한다. 이 계산은 눈 영역의 좌표와 입 영역의 좌표를 이용한다. 주 수평선은 위쪽 수평선(horizontal_up)과 아래쪽 수평선(horizontal_down) 두 개이다. 또한 (4c-1)을 참조하면, 전자는 눈 영역의 아래 점(P2, P3, P5 혹은 P6)의 좌표값을 이용하여 정의될 수 있고, 후자는 입 영역의 위쪽 점(P7 혹은 P8)의 좌표값을 이용하여 정의될 수 있다.

47단계에서 주 영역을 계산한다. 주 영역은 눈 영역과 입 영역을 포함하는 최소 외곽 사각형으로 만든다. 도 4의 (4e)에 주 영역이 예시되어 있으며, (4e-1)에 도시된 바와 같이 주 영역은 두 개의 점으로 표현될 수 있다. P9는 왼쪽 상단의 점이고, P10은 오른쪽 하단의 점으로 사각형을 표시한다. P9.left는 왼쪽 눈 영역의 x 좌표값과 입의 왼쪽 영역의 x 좌표값 중 더 작은 값을 나타낸다. P9.top은 왼 쪽 눈 영역의 y 좌표값과 오른쪽 눈 영역의 y 좌표값 중 더 작은 값을 나타낸다. P10.right는 오른쪽 눈 영역의 x 좌표값과 입의 오른쪽 영역의 x 좌표값 중 더 큰 값을 나타낸다. P10.bottom은 입 영역의 y 좌표값을 나타낸다.

이렇게 만들어진 주 수평/수직선은 팬/틸트 파라미터를 조정하는 데 사용하며 주 영역 정보는 줌 파라미터를 계산하는 데 사용할 수 있다.

다시 도 5를 참조하면, 550단계에서 팬 파라미터 조정을 실시한다. 예를 들면, 전술한 도 3의 (3a)와 같은 영상을 (3b)와 같은 영상으로 변화시키는 것을 말한다.

팬 파라미터 정보는 영상에서 수평으로 움직이는 정보가 되므로 주 수직 성분을 이용한다. 즉, 320 x 240 화소(pixel)의 QVGA 영상에서는 가로 성분이 320이다. 중앙값은 160이 되고 주 수직 성분이 두 눈 사이 간격이 되므로 두 간격 사이의 중앙값을 160에 맞출 수 있게 팬 파라미터 값을 조정하면 된다.

영상에서 x좌표의 중앙값을 meanx라고 하면, 아래 수학식을 만족하도록 팬 파라미터를 조정한다.

vertical_left < meanx < vertical_right

파라미터 조절을 위해서는 영상에서 일정한 화소 이동에 따라 모터의 조작 각도를 조절하게 되는데, 룩업 테이블을 이용하여 미리 모터값들을 정의하여 둘 수 있다.

560단계에서 틸트 파라미터 조정을 실시한다. 예를 들면, 전술한 도 3의 (3b)와 같은 영상을 (3c)와 같은 영상으로 변화시키는 것을 말한다.

즉, 320 x 240 화소의 QVGA 영상에서는 세로 성분이 240이며 중앙값은 120이 된다. 또한 주 수평선이 상하로 이루어져 있으므로 이 두 상하선의 중앙값이 120이 되게 틸트 파라미터를 조정하면 된다.

영상에서 y좌표의 중앙값을 meany라고 하면, 아래 수학식을 만족하도록 틸트 파라미터를 조정한다.

horizontal_top < meany < horizontal_down

팬 파라미터 조작 방식과 마찬가지로 룩업 테이블을 이용할 수 있다.

틸트 파라미터 조정이 끝나면, 570단계에서 줌 파라미터 조정을 실시한다. 예를 들면, 전술한 도 3의 (3c)와 같은 영상을 (3d)와 같은 영상으로 변화시키는 것을 말한다.

팬/틸트 파라미터 조정을 통해 이미 얼굴 영상이 화면의 중앙에 위치하게 된 다음에는 안정적으로 눈을 검출할 수 있다. 그러나 운전자가 졸거나 약간씩 움직이더라도 안정적으로 얼굴을 검출할 수 있게 하기 위해 줌 파라미터를 조정하게 된다.

영상에서 주 영역의 크기를 계산하여 그 값이 기준값의 범위 내에 들어가도록 정의한다. 이때 기준값은 사용자가 정할 수 있다. 주 영역의 크기를 n x m = nm 화소라고 할 때, 아래 수학식을 만족하도록 줌 파라미터를 조정한다. 여기서 Min과 Max는 주 영역 크기의 범위를 정하는 기준값이다.

Min < nm < Max

카메라 특성에 따라 다르지만, 예를 들어 해당 카메라는 졸음운전 감지용으 로 사용하기 위해 검출한 얼굴 영상이 최소한 64 x 64화소라야 한다고 가정하면, 정확한 주 영역의 크기는 4,096화소가 되어야 한다. 그러나 허용 오차 범위가 100화소라고 가정할 경우 3,996 ~ 4,196화소 사이의 값만 가지면 된다. 그러므로 검출한 주 영역의 크기가 3,996 ~ 4,196화소 사이의 값을 가지지 않을 경우 줌 파라미터를 조정하여 이를 만족시키도록 한다.

본 실시예에서는 도 3 및 도 5에 나타낸 바와 같이 팬, 틸트, 줌 파라미터를 모두 조정하는 경우를 설명하고 있으나 그들 중 얼굴 요소 계산 결과를 분석하여 상기 팬 파라미터, 틸트 파라미터, 혹은 줌 파라미터 중 어느 것의 조정이 필요한지 먼저 체크하여 해당 조정만 하면 된다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며 후술하는 특허청구의 범위뿐 만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

상술한 바와 같이 본 발명은 운전자의 운전 습관이나 얼굴의 크기 등과는 무관하게 일정한 크기로 일정한 위치에서 얼굴이 검출되게 정규화 해줌으로써 졸음운전 감지용 얼굴 검출의 정확도를 높일 수 있다.

Claims (20)

1. 운전자의 얼굴을 촬영하기 위한 렌즈와,

   줌 파라미터 조정을 위해 상기 렌즈를 앞 혹은 뒤로 이동시키는 제1모터와,

   팬 파라미터 혹은 틸트 파라미터 조정을 위해 상기 렌즈를 수평 혹은 수직 방향으로 이동시키는 제2모터와,

   상기 촬영된 입력 영상으로부터 초기 얼굴 영역을 검출하고 그에 따라 상기 제1 및 제2모터의 구동을 제어하여 상기 줌, 팬, 틸트 조정을 하는 제어부를 포함하고,

   상기 제어부는,

   얼굴 요소 계산 결과를 기초로 상기 팬, 틸트, 줌 파라미터 조정을 하며,

   상기 입력 영상으로부터 검출한 초기 얼굴 영역에서 수평 에지를 검출하고, 상기 수평 에지 검출 결과로부터 눈 영역과 입 영역을 검출한 후, 주 수직선과 주 수평선을 계산하고 상기 주 수직선과 주 수평선 계산 결과로부터 주 영역을 계산하여 상기 얼굴 요소 계산을 함을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 장치.
2. 제1항에 있어서,

   상기 입력 영상 내 매칭을 통해 상기 초기 얼굴 영역을 검출하기 위한 정면 얼굴 형판을 저장하는 메모리를 더 구비함을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 장치.
3. 제1항에 있어서,

   상기 제1모터에 의한 줌 파라미터 조정값과 상기 제2모터에 의한 팬 파라미터 조정값 및 틸트 파라미터 조정값을 가지는 룩업 테이블들을 저장하는 메모리를 더 구비함을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 장치.
4. 삭제
5. 제1항에 있어서,

   상기 팬 파라미터 조정은 상기 초기 얼굴 영역에서 x좌표의 중앙값이 두 개의 주 수직선 사이에 있도록 상기 제2모터를 구동하는 것임을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 장치.
6. 제5항에 있어서,

   상기 주 수직선이 상기 초기 얼굴 영역에서 왼쪽 눈 영역의 오른쪽 점 좌표값과 오른쪽 눈 영역의 왼쪽 점 좌표값에 의해 결정됨을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 장치.
7. 제1항에 있어서,

   상기 틸트 파라미터 조정은 상기 초기 얼굴 영역에서 y좌표의 중앙값이 두 개의 주 수평선 사이에 있도록 상기 제2모터를 구동하는 것임을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 장치.
8. 제1항에 있어서,

   상기 주 수평선이 상기 초기 얼굴 영역에서 눈 영역의 아래 점 좌표값과 입 영역의 위 점 좌표값에 의해 결정됨을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 장치.
9. 제1항에 있어서,

   상기 팬 파라미터 조정은 상기 초기 얼굴 영역에서 x좌표의 중앙값이 왼쪽 눈 영역의 오른쪽 점 좌표값과 오른쪽 눈 영역의 왼쪽 점 좌표값 사이에 있도록 상기 제2모터를 구동하는 것이며,

   상기 틸트 파라미터 조정은 상기 초기 얼굴 영역에서 y좌표의 중앙값이 눈 영역의 아래 점 좌표값과 입 영역의 위 점 좌표값 사이에 있도록 상기 제2모터를 구동하는 것임을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 장치.
10. 제1항에 있어서,

    상기 주 영역은 상기 눈 영역과 상기 입 영역을 포함하는 최소 외곽 사각형으로 결정됨을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 장치.
11. 제10항에 있어서,

    상기 주 영역은 두 개의 점으로 정의되며,

    제1점의 x 좌표값은 왼쪽 눈 영역의 x 좌표값과 입의 왼쪽 영역의 x 좌표값 중 더 작은 값을 가지고, y 좌표값은 왼쪽 눈 영역의 y 좌표값과 오른쪽 눈 영역의 y 좌표값 중 더 작은 값을 가지며,

    제2점의 x 좌표값은 오른쪽 눈 영역의 x 좌표값과 입의 오른쪽 영역의 x 좌 표값 중 더 큰 값을 가지고, y 좌표값은 입 영역의 y 좌표값을 가짐을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 장치.
12. 팬/틸트/줌 파라미터 조정이 가능한 렌즈를 구비한 졸음운전 감지용 얼굴 검출 장치에서, 상기 얼굴 검출을 정규화하는 방법에 있어서,

    입력 영상으로부터 초기 얼굴 영역을 검출하는 과정과,

    상기 검출한 초기 얼굴 영역으로부터 얼굴 요소를 계산하는 과정과,

    상기 얼굴 요소 계산 결과를 분석하여 상기 팬 파라미터, 틸트 파라미터, 혹은 줌 파라미터의 조정이 필요한지 체크하는 과정과,

    상기 체크 결과에 따라 팬 파라미터, 틸트 파라미터, 혹은 줌 파라미터를 조정하여 정규화된 얼굴 영상을 획득하는 과정을 포함하며,

    상기 얼굴 요소를 계산하는 과정은,

    상기 입력 영상으로부터 검출한 초기 얼굴 영역에서 수평 에지를 검출하는 단계와,

    상기 수평 에지 검출 결과로부터 눈 영역과 입 영역을 검출하는 단계와,

    상기 눈 영역과 입 영역 검출 결과로부터 주 수직선과 주 수평선을 계산하는 단계와,

    상기 주 수직선과 주 수평선 계산 결과로부터 주 영역을 계산하는 단계를 포함을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 방법.
13. 삭제
14. 제12항에 있어서,

    상기 팬 파라미터 조정은 상기 초기 얼굴 영역에서 x좌표의 중앙값이 두 개의 주 수직선 사이에 있도록 상기 렌즈를 수평 이동시키는 것임을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 방법.
15. 제14항에 있어서,

    상기 주 수직선이 상기 초기 얼굴 영역에서 왼쪽 눈 영역의 오른쪽 점 좌표값과 오른쪽 눈 영역의 왼쪽 점 좌표값에 의해 결정됨을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 방법.
16. 제12항에 있어서,

    상기 틸트 파라미터 조정은 상기 초기 얼굴 영역에서 y좌표의 중앙값이 두 개의 주 수평선 사이에 있도록 상기 렌즈를 수직 이동시키는 것임을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 방법.
17. 제16항에 있어서,

    상기 주 수평선이 상기 초기 얼굴 영역에서 눈 영역의 아래 점 좌표값과 입 영역의 위 점 좌표값에 의해 결정됨을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 방법.
18. 제12항에 있어서,

    상기 팬 파라미터 조정은 상기 초기 얼굴 영역에서 x좌표의 중앙값이 왼쪽 눈 영역의 오른쪽 점 좌표값과 오른쪽 눈 영역의 왼쪽 점 좌표값 사이에 있도록 상기 렌즈를 수평 이동시키는 것이며,

    상기 틸트 파라미터 조정은 상기 초기 얼굴 영역에서 y좌표의 중앙값이 눈 영역의 아래 점 좌표값과 입 영역의 위 점 좌표값 사이에 있도록 상기 렌즈를 수직 이동시키는 것임을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 방법.
19. 제12항에 있어서,

    상기 주 영역은 상기 눈 영역과 상기 입 영역을 포함하는 최소 외곽 사각형으로 결정됨을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 방법.
20. 제19항에 있어서,

    상기 주 영역은 두 개의 점으로 정의되며,

    제1점의 x 좌표값은 왼쪽 눈 영역의 x 좌표값과 입의 왼쪽 영역의 x 좌표값 중 더 작은 값을 가지고, y 좌표값은 왼쪽 눈 영역의 y 좌표값과 오른쪽 눈 영역의 y 좌표값 중 더 작은 값을 가지며,

    제2점의 x 좌표값은 오른쪽 눈 영역의 x 좌표값과 입의 오른쪽 영역의 x 좌표값 중 더 큰 값을 가지고, y 좌표값은 입 영역의 y 좌표값을 가짐을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 방법.

Images