KR20150061668A

KR20150061668A - 졸음운전 경보 장치 및 그 방법

Info

Publication number: KR20150061668A
Application number: KR1020130144969A
Authority: KR
Inventors: 이석제; 최형철
Original assignee: 주식회사 디온테크
Priority date: 2013-11-27
Filing date: 2013-11-27
Publication date: 2015-06-05

Abstract

본 발명은 졸음운전 경보 장치 및 그 방법에 관한 것으로, 조명의 적외선 발광부 앞에 적외선 산란기를 설치하고, 조명의 조사축(조사각)을 카메라의 광축과 다르게 설정할 수 있도록 함으로써, 운전자의 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경에 반사된 조명의 광이 카메라에 촬영되어 운전자의 졸음여부 판단에 대한 정확도가 낮아지는 것을 방지할 수 있는 졸음운전 경보 장치 및 그 방법에 관한 것이다.

Description

졸음운전 경보 장치 및 그 방법{AN APPARATUS FOR WARNING DROWSY DRIVING AND THE METHOD THEREOF}

본 발명은 졸음운전 경보 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 운전자의 영상을 기반으로 졸음을 감지하는 장치에서, 카메라의 광축과 조명의 조사축(조사각)을 다르게 설계함으로써 운전자의 안경에 반사되는 조명이 카메라에 입력되어 졸음운전 감지의 정확도가 낮아지던 것을 보완하고, 카메라에서 촬영한 영상을 졸음운전 감지 서버로 전송한 후 상기 졸음운전 감지 서버에 의한 1차 졸음여부 판단 작업 및 모니터링 요원에 의한 2차 졸음여부 판단 작업을 실시함으로써, 빠르고 정확하게 운전자의 졸음여부를 감지하여 운전자에게 효과적으로 경보할 수 있는 졸음운전 경보 장치 및 그 방법에 대한 것이다.

현재 교통사고 발생원인의 상당 부분이 운전자의 졸음운전에 의해 발생하고 있다. 또한 일반적으로 교통사고 발생원인 중 졸음운전에 의한 사고는 다른 교통사고와는 다르게 브레이크가 작동되지 않은 채 사고가 일어나기 때문에 대형 인사 사고로 발전할 가능성이 매우 높다. 그렇기 때문에 졸음운전의 예방은 차량 안전사고를 방지하는 데 있어 매우 중요한 이슈이다.

졸음운전을 예방하기 위한 수칙들(적절한 주행 거리마다 충분한 휴식과 가벼운 스트레칭 등의 운동을 하거나, 운전 중에 졸음이 오는 경우 주행을 멈추고 휴식을 취할 것)이 다양한 매체들을 통해 운전자들에게 권고되고 있으나, 졸음운전은 여러 가지 다양한 요인에 기인하여 일어나고 있고, 실제로 차량 주행 중 운전자가 본인도 인지하지 못하는 순간에 순간적으로 조는 경우도 많기 때문에 운전자의 자력에 의한 졸음운전 예방은 한계가 있는 실정이었다.

이를 위하여 현재 다양한 졸음운전 방지 기술이 개발되어왔다. 이 같은 방법에는 사람의 얼굴을 카메라로 촬영하여 얼굴 영상을 취득하고, 취득한 얼굴 영상 중에서 눈의 위치를 찾아내서 위쪽 눈꺼풀과 아래쪽 눈꺼풀의 경계선의 간격에 따라 졸고 있는지의 여부를 감지하는 방법이 존재한다. 이 같은 종래기술에서 눈 위치를 감지하는 방법으로는 카메라로 취득한 얼굴 영상에서 밝기 차에 따라 운전자의 이목구비의 경계선을 추출하고 이로부터 눈꺼풀의 경계선을 찾아 눈의 위치를 파악할 수 있었고, 이렇게 파악한 눈의 위쪽 눈꺼풀과 아래쪽 눈꺼풀의 간격을 기반으로 운전자의 졸음여부를 감지할 수 있었다.

그러나 상기한 기술의 단점은 차량의 주행 중에 빛의 방향의 변화, 역광 등에 의하여 얼굴의 조명 조건이 계속 변화하기 때문에 경계선 추출에 의한 눈의 감지가 어려울 뿐만 아니라 야간의 경우에는 밝기 차이가 적어지기 때문에 경계선의 추출이 더욱 어렵고, 또한 운전자의 얼굴 방향에 따라서 센서 혹은 카메라에서 센싱 또는 촬영하는 이목구비의 모양이 변하기 때문에 눈이 아닌 눈썹이나 코, 안경 등을 눈으로 오인 검출하는 문제가 발생할 수 있다. 이같이 종래의 방법으로는 졸음운전 판단의 근거로 삼을 만한 정보의 신뢰도가 떨어지고, 이로 인하여 졸음 여부를 감지 및 판별하는 데 있어 오류가 크기 때문에 실제로 적용되기에는 많은 문제점이 있었다.

다음은 본 발명의 기술 분야에 존재하는 선행기술문헌에 대하여 설명하고 본 발명과의 차이점 및 관계 대해 간단하게 기술하고자 한다.

한국 등록특허공보 제10-0766592호 (2007.10.05)는 홍채 반사 영상 기반 졸음 감지 장치 및 방법에 관한 것으로, 운전자의 얼굴에 근적외선을 조사하고, 이로부터 근적외선 얼굴영상을 취득하여, 취득한 근적외선 얼굴형상으로부터 홍채위에 맺혀진 광원의 상의 형태에 따라 운전자의 졸음여부를 판단하는데 관한 기술이 기재되어 있다.

하지만 상기 기술은 운전자가 선글라스를 포함한 안경을 착용하고 있거나 콘택트렌즈를 착용하고 있을 경우, 안경에 적외선 조명이 반사될 수 있고, 이렇게 안경에 적외선 조명이 반사된 상태로 얼굴영상이 취득되면 눈 영역의 추출에 오류가 발생하여 졸음운전 감지의 정확도가 낮아지는 문제가 있다. 또한 차량의 구조에 따라 조명 및 카메라(혹은 센서) 장치를 설치할 수 있는 위치에 제약이 있을 수 있고, 운전자의 움직임으로 인해 눈 영역이 카메라 촬영 범위를 벗어나게 될 경우 졸음운전 감지를 수행할 수 없는 문제가 있었다. 또한, 촬영된 영상으로 졸음운전 감지를 차량 내부에 설치되어 있는 단말기에서 수행하기 때문에 하드웨어 성능에 따른 제약이 존재하였다.

또 다른 졸음운전 감지 기술로는, 한국 등록특허공보 제10-1031485호 (2011.04.19), 한국 등록특허공보 제10-0718941 (2007.05.10) 등이 있으나 이는 각각 안구전도에 기반한 졸음운전 감지 기술, 심박신호에 기반한 졸음운전 감지 기술에 대한 것으로서, 본원 발명과는 차량 주행 중 운전자의 졸음을 감지하는데 관한 기술이라는 점에서 기술 분야가 유사할 뿐, 본원 발명과는 다르게 운전자의 눈 영역에 대한 적외선 영상을 기반으로 졸음운전 감지를 수행하는데 관한 기술은 기재되어 있지 않다.

결국, 적외선 조명 장치를 사용할 경우 주변 가시광의 변화에 덜 민감하게 변화하는 안정적인 영상을 취득할 수 있고, 특히 가시광 조명에서는 획득할 수 없는 선글라스 착용 운전자의 눈 영역의 영상을 획득할 수 있다는 장점이 있는 것에 비해 안경에 직접 조사될 경우 안경에 반사된 조명으로 인해 눈 영역의 영상이 포화되어 졸음운전 감지의 정확도가 낮아지는 단점이 있다.

상기와 같은 실정에 따라 본 발명은 운전자의 안경에 반사되는 조명으로 인하여 졸음운전 감지의 정확도가 낮아지는 것과 하드웨어적인 한계로 인해 졸음운전감지의 정확도가 낮아지는 것 등을 포함하는 문제를 보완하고 효과적으로 운전자에게 경보 메시지를 알릴 수 있는 새로운 졸음운전 경보 장치 및 그 방법을 제시하고자 한다.

본 발명은 상기된 문제점을 해결하기 위해 창작된 것으로, 조명에서 운전자에게 적외선 광을 조사하고 운전자의 영상을 카메라로 촬영하여 상기 운전자의 졸음여부를 판단하는데 있어서, 조명의 조사축(조사각)을 카메라의 광축과 다르게 설정할 수 있도록 함으로써, 운전자의 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경 등에 반사된 조명의 반사광이 카메라에 촬영되어 운전자의 졸음여부 판단에 대한 정확도가 낮아지는 것을 방지할 수 있는 졸음운전 경보 장치 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 상기된 문제점을 해결하기 위한 방법으로서 적외선 발광부 앞에 적외선 산란기를 둠으로써 눈 영역에 직접 조사되는 조명의 양을 최소화할 수 있는 졸음운전 경보 장치 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 상기 카메라에 촬영된 영상을 기반으로 운전자의 졸음여부를 판단하는데 있어서, 상기 촬영된 영상을 졸음운전 감지 서버로 전송하여 서버에서 운전자의 졸음여부를 판단하도록 함으로써, 종래에 차량 내에 설치된 단말기에서 운전자의 졸음여부를 판단하는 것에 비해 졸음여부 판단의 정확도를 높일 수 있는 졸음운전 경보 장치 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 상기 졸음운전 감지 서버에서 운전자의 졸음여부를 판단하는데 있어서, 서버의 소프트웨어에 의한 졸음운전 자동 판단과 서버의 모니터링 요원의 육안에 의한 수동 판단을 함께 실시함으로써 더욱 정확한 졸음운전 감지를 수행할 수 있는 졸음운전 경보 장치 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 상기 카메라로 영상을 촬영하여 졸음운전 감지 서버로 전송하는데 있어서, 카메라로 촬영한 영상에서 운전자의 눈 영역을 추출한 후, 추출한 눈 영역의 데이터만을 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여(이하 대표적으로 영상정보라고도 함) 서버로 전송하는 방법을 사용함으로써, 졸음운전 감지 서버로 전송하는 데이터량을 최소화할 수 있고 더불어 개인정보 노출을 최대한 방지할 수 있는 졸음운전 경보 장치 및 그 방법을 제공하는데 그 목적이 있다.

또한, 본 발명은 카메라에 촬영된 영상을 기반으로 운전자의 졸음을 감지한 후 운전자에게 경보 서비스를 제공하는데 있어서, 차량에 설치된 단말기 또는 운전자의 휴대폰을 통해 기계음, 사전에 녹음된 육성 알람, 모니터링 요원의 실시간 육성 알람, 모니터링 요원과의 전화통화, 지인이나 가족들과의 전화통화, 또는 이들의 조합(이하 경보 알람 정보라고 함)을 포함한 방법을 이용하여 경보함으로써, 운전자의 졸음을 깨우는 효과를 높일 수 있는 졸음운전 경보 장치 및 그 방법을 제공하는데 그 목적이 있다.

본 발명의 일 실시예에 따른 졸음운전 경보 장치는, 운전자의 얼굴을 촬영하는 적어도 하나 이상의 적외선 카메라; 적어도 하나 이상의 적외선 조명장치; 및 상기 적외선 카메라와 조명장치를 개별적으로, 복합적으로 또는 이들의 조합을 통해서 자동 혹은 수동으로 조절할 수 있는 제어부;를 포함하며, 상기 운전자가 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경을 착용하고 있을 경우에도, 적외선 조명이 운전환경의 변화에 따라 상기 안경에 반사되지 않도록 실시간으로 조정하는 것이 가능한 것을 특징으로 한다.

또한, 상기 졸음운전 경보 장치는, 차량의 스티어링 휠, 클러스터, 선바이저, 대쉬보드 또는 유리창을 포함한 차량 내의 특정 부분에서 고정식, 이동식 또는 착탈식으로 설치되며, 상기 카메라에서 촬영한 운전자의 영상 정보를 저장하는 내장형 메모리 또는 외장형 메모리를 포함하는 저장장치;를 더 포함하는 것을 특징으로 한다.

또한, 상기 카메라는, 차량 내에서 움직이는 운전자의 얼굴 위치나 방향에 맞춰 자동으로 조정될 수 있도록 팬, 틸트 모터를 포함하며, 카메라 자동 조정 시 운전자의 눈 위치를 기준으로 카메라의 광축이 조정되는 것을 특징으로 한다.

또한, 상기 조명장치는, 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경에 직접 조사되는 조명의 양을 최소화하기 위해 적외선 산란기;를 더 포함하고, 상기 카메라의 광축과 어긋나게 제어함으로써 조사되는 조명이 차체의 천정이나 유리 방향으로 먼저 조사 될 수 있도록 하여 운전자의 안경에 반사된 조명이 상기 카메라에 입력되는 것을 최소화하며, 차량 내부의 차체 구조 및 운전자의 얼굴 위치에 따라 자동으로 조명장치의 조사축이 조정될 수 있는 것을 특징으로 한다.

또한, 상기 카메라와 상기 조명장치는, 각각 차량 내부의 차체 구조, 운전자의 얼굴 위치 또는 이들의 조합에 따라 팬, 틸트, 줌, 포커스, 회전 또는 이들의 조합을 통해서 광축 및 조사축의 조정이 가능하고, 카메라와 조명장치를 서로 분리된 공간에 설치할 수 있는 것을 특징으로 한다.

또한, 본 발명의 또 다른 일 실시예에 따른 졸음운전 경보 방법은, 적어도 하나 이상의 적외선 카메라와 조명장치를 포함한 졸음운전 경보 장치를 통해서 운전자의 얼굴을 촬영하는 단계; 상기 적외선 카메라와 조명장치를 개별적으로, 복합적으로 또는 이들의 조합을 통해서 자동 혹은 수동으로 조절하는 단계; 및 상기 운전자가 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경을 착용하고 있을 경우에도, 적외선 조명이 운전환경의 변화에 따라 상기 안경에 반사되지 않도록 조정하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상기 졸음운전 경보 방법은, 상기 카메라에서 촬영한 운전자의 영상 정보를 내장형 메모리 또는 외장형 메모리를 포함하는 저장장치에 저장하는 단계;를 더 포함하는 것을 특징으로 한다.

또한, 상기 조정하는 단계는, 차량 내에서 움직이는 운전자의 얼굴 위치나 방향에 맞춰 자동으로 조정될 수 있도록 팬, 틸트 모터를 포함하는 카메라를 통해 수행되며, 카메라 자동 조정 시 운전자의 눈 위치를 기준으로 카메라의 광축이 조정되는 것을 특징으로 한다.

또한, 상기 조정하는 단계는, 상기 조절하는 단계를 통해서 적외선 산란기를 이용하여 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경에 직접 조사되는 조명의 양을 최소화하도록 조정하는 것을 특징으로 한다.

또한, 상기 조정하는 단계는, 상기 조절하는 단계를 통해서 상기 카메라의 광축과 어긋나게 제어함으로써 조사되는 조명이 차체의 천정이나 유리 방향으로 먼저 조사 될 수 있도록 하여 운전자의 안경에 반사된 조명이 상기 카메라에 입력되는 것을 최소화하도록 조정하는 것을 특징으로 한다.

또한, 상기 조정하는 단계는, 차량 내부의 차체 구조 및 운전자의 얼굴 위치에 따라 자동으로 조명장치의 조사축이 조정될 수 있는 것을 특징으로 한다.

또한, 본 발명의 또 다른 일 실시예에 따른 졸음운전 감지 방법은, 카메라를 통해 운전자를 촬영하고, 촬영된 운전자의 영상 중 눈 영역에 대한 영상 데이터를 추출하는 단계; 상기 추출된 영상 데이터에서 운전자의 위쪽 눈꺼풀과 아래쪽 눈꺼풀 사이의 거리의 평균값을 추출하는 단계; 및 운전자의 최근 수초 내지 수분 동안의 눈꺼풀 사이의 거리값이 상기 평균값보다 일정 수치 이상 좁아지면 졸음으로 판단하는 단계;를 포함하는 것을 특징으로 한다.

또한, 본 발명의 또 다른 일 실시예에 따른 졸음운전 감지 방법은, 카메라를 통해 운전자를 촬영하고, 촬영된 운전자의 영상 중 눈 영역에 대한 영상 데이터를 추출하는 단계; 상기 추출된 영상 데이터에서 눈 영역의 영상 데이터 프로파일을 만드는 단계; 상기 프로파일의 탈경향 변동 분석을 수행하는 단계; 및 상기 탈경향 변동 분석의 결과를 토대로 졸음여부를 판단하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상기 프로파일은 눈 영역 영상 데이터의 픽셀 정보를 이용하여 눈 영역 영상의 가로방향 휘도값의 변화 그래프와 눈 영역 영상의 세로방향 휘도값의 변화 그래프를 이용하는 것을 특징으로 한다.

또한, 상기 탈경향 변동 분석은 운전자마다 정의된 각 기준값을 토대로 운전자가 운전 중에 생성된 프로파일이 졸음상태와 깨어있는 상태 중 어느쪽에 더 가까운지 분석하는 것을 특징으로 한다.

또한, 상기 프로파일은 졸음을 감지하기 위한 영상정보, 사용자의 눈 영상에 대한 정보, 또는 이들의 조합에 대한 정보를 요약한 것을 특징으로 한다.

또한, 본 발명의 또 다른 일 실시예에 따른 졸음운전 경보 시스템은, 졸음운전 경보 장치; 상기 졸음운전 경보 장치에서 전송된 영상 정보를 세밀하게 분석하는 졸음운전 감지 서버; 및 상기 졸음운전 경보 장치와 졸음운전 감지 서버를 상호 연결하여 주는 유무선 통신 네트워크;를 포함하는 것을 특징으로 한다.

또한, 상기 졸음운전 경보 장치는, 유무선 통신 입출력이 가능한 통신 인터페이스를 포함하는 통신부;를 더 포함하며, 카메라에서 촬영된 운전자의 눈 영역에 대한 영상을 이진 영상, 그레이 영상, 또는 이들에 대한 압축영상, 또는 졸음운전 판단 결과값 중 적어도 어느 하나를 생성하여 상기 통신부를 통해 운전자의 졸음여부를 판단하는 졸음운전 감지 서버로 전송하는 것을 특징으로 한다.

또한, 상기 졸음운전 경보 장치의 적어도 하나 이상의 카메라를 통해 촬영한 운전자의 영상 정보를 저장하는 내장형 메모리, 외장형 메모리, 클라우드 컴퓨팅 네트워크의 가상화된 저장장치 또는 이들의 조합을 포함하는 저장장치;를 더 포함하는 것을 특징으로 한다.

또한, 상기 졸음운전 감지 서버에서 졸음운전으로 판단되는 경우, 별도의 경보 메시지 출력부 또는 운전자의 휴대단말을 통해 기계음, 사전에 녹음된 육성 알람, 모니터링 요원의 실시간 육성 알람 또는 이들의 조합을 포함하는 경보 알람 정보를 출력하는 것을 특징으로 한다.

또한, 본 발명의 또 다른 일 실시예에 따른 서버 기반 졸음운전 경보 방법은, 카메라를 통해 운전자를 촬영하고, 촬영된 운전자의 영상 중 눈 영역에 대한 영상 데이터만을 추출하는 단계; 추출한 눈 영역 영상 데이터에 대한 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여 통신망을 통해 졸음운전 감지 서버로 실시간 전송하는 단계; 상기 졸음운전 감지 서버는 수신한 운전자의 눈 영역에 대한 영상 데이터를 기반으로 운전자의 졸음여부에 대해 실시간으로 판단하는 단계; 및 상기 졸음운전 감지 서버에서 졸음으로 판단되면 자동으로 차량에 설치된 졸음운전 경보 장치의 경보가 울리도록 신호를 전송하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상기 서버 기반 졸음운전 경보 방법은, 카메라에 입력되는 조명의 반사광량이 최소화 되도록 차량 내부의 차체 구조 및 운전자의 얼굴 위치에 따라 조명장치의 조사축과 카메라의 광축이 자동으로 설정되는 단계;를 더 포함하는 것을 특징으로 한다.

또한, 상기 서버 기반 졸음운전 경보 방법은, 졸음운전 감지 서버에서 수신한 운전자의 눈 영역에 대한 영상 데이터를 기반으로 모니터링 센터의 모니터링 요원이 육안으로 운전자의 졸음여부를 판단하는 단계;를 더 포함하는 것을 특징으로 한다.

또한, 상기 서버 기반 졸음운전 경보 방법은, 모니터링 요원에 의해 졸음으로 판단되면 졸음운전 감지 서버를 통해 차량에 설치된 졸음운전 경보 장치의 경보가 울리도록 신호를 전송하거나 직접 상기 졸음운전 경보 장치로 육성 경보를 전송하거나 운전자의 휴대전화를 통해 경보를 전달하는 단계;를 더 포함하는 것을 특징으로 한다.

또한, 상기 서버 기반 졸음운전 경보 방법은, 차량이 터널이나 지하차도에서와 같이 통신상태가 좋지 않아 졸음운전 감지 서버로 영상을 전송하지 못하는 경우를 대비하여, 차량에 장착된 졸음운전 경보 장치 자체에서 운전자의 졸음여부에 대해 판단하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명은 졸음운전 경보 장치 및 그 방법에 관한 것으로, 조명의 적외선 발광부 앞에 적외선 산란기를 설치하고, 조명의 조사축(조사각)을 카메라의 광축과 다르게 설정할 수 있도록 함으로써, 운전자의 안경 등에 반사된 조명의 광이 카메라에 촬영되어 운전자의 졸음여부 판단에 대한 정확도가 낮아지는 것을 방지할 수 있고, 카메라에서 촬영된 영상을 졸음운전 감지 서버로 전송하여 서버에서 운전자의 졸음여부를 판단하도록 함으로써, 종래에 차량 내에 설치된 단말기에서 운전자의 졸음여부를 판단하는 것에 비해 졸음여부 판단의 정확도를 높일 수 있고, 졸음여부를 판단하는데 있어서 서버의 소프트웨어에 의한 졸음운전 자동 판단과 서버의 모니터링 요원의 육안에 의한 수동 판단을 함께 실시함으로써 더욱 정확하게 졸음을 감지할 수 있으며, 또한 상기 카메라로 영상을 촬영하여 졸음운전 감지 서버로 전송하는데 있어서, 카메라에 촬영된 영상에서 운전자의 눈 영역에 대한 데이터만을 추출하고 이를 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여 서버로 전송하는 방법을 사용함으로써, 졸음운전 감지 서버로 전송하는 데이터양을 최소화할 수 있고 더불어 개인정보 노출을 최대한 방지할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 졸음운전 경보 장치 및 그 방법의 개략적인 개념에 대해 설명하기 위한 예시도.
도 2는 본 발명의 일 실시예에 따른 졸음운전 경보 장치의 구조에 대해 설명하기 위한 예시도.
도 3은 본 발명의 일 실시예에 따른 졸음운전 경보 장치의 조명장치와 카메라의 회전축에 대해 설명하기 위한 예시도.
도 4는 본 발명의 일 실시예에 따른 졸음운전 경보 장치의 조명장치와 카메라 방향의 설정에 대해 설명하기 위한 예시도.
도 5는 본 발명의 일 실시예에 따른 졸음운전 경보 장치의 눈 영역 영상의 프로파일 생성에 대한 개략적인 개념에 대해 설명하기 위한 예시도.
도 6은 본 발명의 일 실시예에 따른 졸음운전 경보 방법에 대해 설명하기 위한 흐름도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 졸음운전 경보 장치 및 그 방법의 일 실시예를 설명하고자 한다.

도 1은 본 발명의 일 실시예에 따른 졸음운전 경보 장치 및 그 방법의 개략적인 개념에 대해 설명하기 위한 예시도이다.

도 1에 도시되어 있는 바와 같이, 본 발명의 졸음운전 경보 장치는 차량에 설치된 졸음운전 경보 장치(100)의 카메라를 통해 운전자의 영상을 촬영하고 이를 졸음운전 감지 서버(200)로 전송하여 졸음운전 감지 서버(200) 및 모니터링 센터(300)에서 운전자의 졸음여부를 판단한 후, 졸음으로 판단될 경우 상기 졸음운전 감지 서버(200)에서 해당 차량에 설치된 졸음운전 경보 장치로 신호를 전송하여 경보를 울리거나 상기 모니터링 센터(300)에서 직접 운전자에게 육성으로 경보를 전송하는 것이다.

더욱 상세하게는, 차량에 설치된 졸음운전 경보 장치(100)는 차량 운행 중에 실시간으로 운전자의 영상을 카메라를 통해 촬영하고, 촬영된 영상 중 운전자의 눈 영역에 대한 영상 데이터만을 추출한다. 이렇게 추출한 운전자의 눈 영역 영상 데이터에 대한 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여 졸음운전 감지 서버(200)로 전송한 후, 졸음운전 감지 서버(200)에서 운전자의 졸음여부를 판단하도록 한다. 이같이 촬영된 전체 영상 중 운전자의 눈 영역만을 추출하고 이에 대한 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여(영상정보라고 함) 졸음운전 감지 서버(200)로 전송하는 방법을 사용하는 것은, 통신망을 통해 서버로 전송하는 데이터의 크기를 줄임으로써, 차량 내의 운전자의 현재모습과 졸음운전 감지 서버(20)로 전송되는 운전자의 영상의 시간 차이를 최소화하기 위해서이다. 이때 그레이 영상은 이진 영상에 비해 정보가 많기 때문에 그레이 영상을 전송할 경우 서버에서 졸음여부를 자동으로 판단하거나 모니터링 요원이 육안으로 판단하는데 있어 정확도를 높일 수 있으며, 통신망의 전송 대역폭이 넓지 않거나 통신망 사용 비용이 높을 경우 전송 데이터 량을 줄이기 위해, 이진 영상을 전송하는 방법을 사용할 수 있다. 그레이 영상을 전송할 것인지 이진 영상을 사용할 것인지에 대한 선택은 통신망의 대역폭 및 통신망 이용료를 감안하여 운전자 또는 서버 운영자가 선택적으로 설정하도록 한다. 또한 상기 그레이 영상과 이진 영상은 압축률이 높은 간단한 압축 알고리즘(허프만 코딩, run-length 코딩 또는 이들의 조합을 포함)을 사용하여 압축 후 전송하는 것도 가능하다. 참고로, 상기 졸음운전 경보 장치가 운전자의 영상을 촬영하는 것에 대한 자세한 설명은 아래 도 2 내지 도 6을 설명하면서 더욱 상세하게 다루도록 한다.

한편, 상기와 같이 차량에 설치된 단말기가 아닌 서버 시스템을 사용하여 운전자의 졸음여부를 판단하도록 하는 것은 졸음운전의 정확도를 높이기 위해서이다. 일반적으로 차량에 설치하는 졸음운전 장치는 공간적, 비용적 한계로 인해 하드웨어의 성능에 제한이 있을 수밖에 없다. 즉, 서버의 하드웨어 성능은 차량에 설치되는 단말기의 하드웨어 성능보다 월등히 높기 때문에 서버에서 운전자의 졸음여부를 판단하는 것은 단말기에서 운전자의 졸음여부를 판단하는 것에 비해 졸음여부 판단의 정확도와 그 판단 속도를 비약적으로 높일 수 있다.

한편, 운전자가 소지하고 있는 휴대용 단말(휴대폰, 스마트폰, 테블릿 PC, PDA 등)을 이용하여, 상기 졸음운전 단말에서 촬영된 영상 정보를 상기 휴대용 단말로 전송하여 휴대용 단말이 다시 서버에게 상기 영상정보를 전송하여 졸음운전 감지를 수행하고, 그 결과를 상기 휴대용 단말에 전송하여 경보신호를 출력하도록 하거나, 아니면 상기 휴대용 단말을 경유하여 상기 졸음운전 단말에 전송한 후 졸음운전 단말에서 경보신호를 출력하는 것도 가능하다. 여기서 상기 휴대용 단말은 상기 서버의 역할을 대신할 수도 있으며, 이 경우 휴대용 단말은 네트워크상의 서버나 클라우드 서버 혹은 가상화된 데이터베이스 시스템으로 졸음운전 정보를 전송하여 데이터베이스화 하는 것이 가능하다.

상기와 같이, 졸음운전 경보 장치(100)로부터 운전자의 영상을 전송받은 졸음운전 감지 서버(200)는 전송받은 운전자의 눈 영역에 대한 영상을 기반으로 운전자의 졸음여부를 자동으로 판단하게 된다. 상기 운전자의 졸음여부에 대한 판단법은 운전자의 위쪽 눈꺼풀과 아래쪽 눈꺼풀 사이의 거리를 기반으로 하는 것으로 평상시 운전자의 눈꺼풀 사이 거리의 평균값을 추출하고, 이를 기준으로 운전자의 최근 수초 내지 수분 동안의 눈꺼풀 사이의 거리값이 상기 평균값보다 일정 수치 이상 좁아지면 졸음으로 판단하는 것을 포함한 방법을 사용할 수 있다. 아울러 또 다른 방법으로는 졸음여부를 구분하는 기준이 되는 기준값을 만들고, 프로파일의 탈경향 변동 분석(DFA: Detrended Fluctuation Analysis)을 통해 상기 기준값과 비교하여 졸음여부를 판단하는 방법을 사용한다. 이에 대한 자세한 설명은 아래 도 5를 참조하여 더욱 상세하게 설명하도록 한다.

또한, 상기 졸음운전 감지 서버(200)는 졸음운전 경보 장치(100)로부터 운전자의 영상 데이터를 전송받아 운전자의 졸음여부를 판단하는 동시에 상기 운전자의 영상 데이터를 모니터링 센터(300)에 전송한다. 이때, 상기 졸음운전 감지 서버(200)에서 모니터링 센터(300)로 운전자의 영상 데이터를 전송한다는 것은 졸음운전 경보 장치(100)에서 전송한 운전자의 영상 데이터를 졸음운전 감지 서버(200)에서 수신할 때, 모니터링 센터(300)에서도 상기 졸음운전 감지 서버(200)와 시간차이 없이 상기 운전자의 영상 데이터를 수신할 수 있다는 표현으로서, 상기한 글자 그대로 졸음운전 감지 서버(200)에서 모니터링 센터(300)로 운전자의 영상 데이터를 전송할 수도 있고, 모니터링 센터(300)에서 상기 졸음운전 감지 서버(200)에 접속하여 실시간으로 운전자의 영상을 확인할 수 있는 사용자 인터페이스를 통해 운전자의 영상을 공유 받을 수도 있으며 졸음운전 감지 서버(200)가 모니터링 센터(300)내에 설치되어 운영될 수도 있고, 졸음운전 감지 서버(200)에 화면출력장치가 부착된 형태로 모니터링 센터(300)의 역할을 할 수 있다. 또한, 상기한 방법 외의 서버를 통해 실시간으로 정보를 공유 받을 수 있는 모든 방법을 포함할 수 있으며, 상기 서버도 휴대용 단말에서부터, 독립적인 서버, 네트워크상의 클라우드 서버까지 자체적인 컴퓨팅 파워를 보유한 장치라면 본 발명의 졸음운전 감지 서버의 기능이 설치될 수 있다. 참고로 서버 관리자 또는 모니터링 센터에서 일하는 담당자는 상기 사용자 인터페이스를 통해 졸음운전 감지 서버(200)의 졸음운전 알고리즘, 졸음 판단 결과 및 각종 설정을 포함한 작업을 수행할 수 있다.

이와 같이, 모니터링 센터(300)에서 수신한 주행 중인 차량 내 운전자의 영상 데이터는 상기 모니터링 센터의 모니터링 요원에 의해 육안으로 관찰된다. 이때, 상기한 바와 같이 졸음운전 감지 서버(200) 및 모니터링 센터(300)가 수신한 운전자의 영상 데이터는 운전자의 영상 중 운전자의 눈 영역만을 포함하고 있어 운전자의 개인정보가 유출되는 것을 방지할 수 있다.

이렇게 모니터링 센터(300)의 모니터링 요원이 실시간 및 육안으로 운전자의 졸음여부를 판단함으로써, 정해진 프로그램에 의해 운전자의 졸음여부를 판단함으로써 발생하는 졸음운전 감지 서버(200)의 졸음여부 판단 오류 등과 같은 문제를 보완할 수 있고, 졸음운전 감지 서버(200)보다 빠르게 운전자의 졸음을 판단하여 운전자에게 경보할 수도 있다.

상기 모니터링 센터(300)에서 모니터링 요원에 의해 운전자가 졸고 있다고 판단되면, 상기 모니터링 센터(300)에서는 상기 졸음운전 감지 서버(200)를 통해 해당 차량에 설치된 졸음운전 경보 장치(100)의 경보를 수동으로 작동시킬 수 있고, 또는 상기 졸음운전 감지 서버(200)를 통하지 않고 직접 상기 졸음운전 경보 장치(100)나 운전자의 휴대폰 등을 포함한 통신장치가 설치된 차량 내 기기를 통해 육성으로 경보를 할 수도 있다.

서버에서 졸음을 감지하는 경우 감시센터에서 운전자에게 전화를 걸어(핸즈프리) 운전자와 통화를 시도한다. 이 경우에 운전자는 서버에서 걸려온 전화를 통해서 음악이나 취미, 유머와 같은 다양한 정보의 교환이나 상호 대화를 통해서 졸음으로부터 벗어날 수 있다. 기술적으로는 사용자의 얼굴 영상을 서버로 간헐적으로 송신하고, 서버에서는 이 영상을 분석하여 졸음운전이라고 여겨지는 경우(감시센터에서 졸음 여부를 정밀 알고리즘을 통해서 검출하고, 부가적으로 감시센터의 직원은 이를 바탕으로 졸음운전인 경우 운전자와 전화통화를 하거나, 아니면 미리 등록된 사용자의 휴대폰을 통해서 서버에서 자동으로 통화를 시도하여 사용자와 정해진 순서에 따라 기계음으로 ARS 같은 것을 통해서 통화하도록 하거나, 아니면 등록된 가족이나 지인과 통화를 연결하여 상호 통화를 할 수 있도록 지원한다. 즉, 졸음운전이라고 판단되면 경보 알람 정보를 이용하여 운전자에게 통보된다.

상기와 같이, 본 발명의 졸음운전 경보 장치(100)는 졸음운전 감지 서버(200)를 기반으로 운전자의 졸음여부 판단 및 경보를 수행하고, 운전자의 졸음여부에 대해 소프트웨어적인 판단과 사람의 육안에 의한 판단을 동시에 수행함으로써, 더욱 정확하고 빠르게 운전자의 졸음을 판단하여 효과적으로 경보할 수 있는 것이다.

도 2는 본 발명의 일 실시예에 따른 서버 기반 졸음운전 경보 장치의 구조에 대해 설명하기 위한 예시도이다.

도 2에 도시되어 있는 바와 같이, 본 발명의 서버 기반 졸음운전 경보 장치(100)는 차량의 스티어링 휠, 클러스터, 선바이저, 대쉬보드 또는 유리창을 포함한 차량 내의 특정 부분에서 고정식, 이동식 또는 착탈식으로 설치되며, 카메라(110), 조명장치(120), 저장부(130), 제어부(140), 통신부(150), 경보 메시지 출력부(160)를 포함하여 구성되어 있다.

상기 카메라(110)와 조명장치(120)는 운전자의 영상을 촬영하기 위한 것으로, 기본적으로 조명장치(120)에서 적외선을 운전자에게 조사하고, 이를 카메라(110)에서 촬영하는 방법을 사용한다. 참고로 이렇게 카메라(110)에 촬영된 영상 중 얼굴부분의 밝기 차이를 기반으로 운전자의 눈 영역을 추출할 수 있다.

상기 카메라는(110)는 운전자의 졸음여부 판단을 위해 운전자의 영상을 촬영하는 적외선 카메라로서, 아날로그, 디지털 카메라 또는 이들의 조합을 포함한다. 상기 카메라(110)는 주로 디지털 카메라로 구성될 것이며, 상기 디지털 카메라는 임의의 전하 결합 소자(예: CCD 또는 CMOS)를 사용한 센서에서 이미지를 전기 신호로 변환한 후 디지털 데이터 형식으로 출력한다. 아울러 상기 카메라는(110) 운전자의 얼굴위치나 방향에 따라 카메라의 방향을 돌리거나 확대해서 더욱 선명하게 촬영하도록 제어할 수 있도록, 줌/포커스/팬/틸트 등의 제어 기능이 있을 수도 있다.

즉, 상기 카메라와 상기 조명장치는, 각각 차량 내부의 차체 구조, 운전자의 얼굴 위치 또는 이들의 조합에 따라 팬, 틸트, 줌, 포커스, 회전 또는 이들의 조합을 통해서 광축 및 조사축의 조정이 가능하고, 카메라와 조명장치를 서로 분리된 공간에 설치할 수도 있다.

상기 조명장치(120)는 상기 카메라(110)에서 효과적으로 운전자의 영상을 촬영할 수 있도록 운전자에게 적외선을 조사하는 장치이다. 만약 조명장치의 조사축과 카메라의 광축이 동일하다면 운전자의 안경 등에 조명이 반사되어 카메라에 촬영되고, 이로 인해 졸음여부 판단에 오류가 생기게 된다. 일부 적외선 영상 촬영 장치에서는 조명장치를 카메라로부터 일정 거리 떨어진 위치에 설치하는 방법을 사용하는 경우도 있으나 이 경우 역시 주변의 반사체를 이용하는 것이 아니라 조명을 피사체에 직접 조사하기 때문에 카메라로 입력되는 반사광을 크게 줄이지 못하는 문제가 있으며, 조명장치와 카메라 사이에 거리를 두어야 하기 때문에 전체 장치의 크기가 불필요하게 커지는 문제가 있다. 본 발명의 조명장치(120)는 조명장치에서 조사하는 방향을 카메라의 광축과 다르게 설정할 수 있도록 설계되어 있기 때문에 운전자의 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경이나 기타 물품들에 의해 반사되는 조명이 카메라에 촬영되는 것을 방지할 수 있다. 즉, 상기 조명장치(120)는 운전자의 얼굴에 직접 조명을 조사하지 않고, 천장이나 옆유리 등과 같은 운전석 근처의 차체내부에 조명을 조사하여 이에 반사된 조명이 운전자의 얼굴에 간접적으로 조사되도록 하는 방법을 사용한다. 또한, 상기 조명장치(120)는 적외선 산란기(122)를 포함하고 있다. 상기 적외선 산란기(122)는 상기 조명장치(120)의 발광부 앞에 설치하여 조명장치에서 조사되는 적외선을 산란시켜 운전자의 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경에 직접 조사되는 조명의 양을 최소화할 수 있다.

상기 저장부(130)는 상기 카메라(110)에서 촬영한 운전자의 영상 데이터를 저장하는 로컬 저장부로서, 통상적으로 내장형 메모리 또는 외장형 메모리를 의미하지만, 본 발명에서는 카메라(110)에서 촬영한 영상 데이터의 백업을 위하여 네트워크에 있는 클라우드 컴퓨팅 네트워크의 가상화된 저장장치(간략하게 클라우드 저장장치라고 부름)를 더 포함할 수 있다. 예컨대 상기 클라우드 저장장치는 차량이나 졸음운전 경보 장치(100)의 사업자가 제공하는 전용 클라우드 저장장치, 또는 사용자 개인이 구매한 유료 클라우드 저장장치, 또는 포털 사이트(예 : 네이버, 다음 등)에서 제공하는 무료 클라우드 저장장치(또는 네트워크 HDD)를 더 포함할 수 있다.

상기 제어부(140)는 상기 카메라와 조명장치를 개별적으로, 복합적으로 또는 이들의 조합을 통해서 자동 혹은 수동으로 조절하는 일을 수행한다. 또한, 상기 제어부(140)는 상기 카메라(110)에서 촬영한 영상 데이터를 상기 저장부(130)에 저장하고, 실시간으로 상기 카메라(110)에서 촬영한 영상 중 운전자의 눈 영역에 대한 영상 데이터만을 추출하여 이를 통신부(150)를 통해 졸음운전 감지 서버(200)로 전송하는 일을 수행한다. 또한, 통신부(150)를 통해 상기 졸음운전 감지 서버(200) 및 모니터링 센터(300)로부터 전송받은 명령신호에 따라 경보 메시지 출력부(160)를 통해 경보를 출력하는 일을 수행한다. 상기와 같이 제어부(140)는 카메라에서 촬영한 영상 중 운전자의 눈 영역만을 졸음운전 감지 서버(200)로 전송하는 방법을 사용함으로써, 전송하는 영상 데이터의 크기를 대폭 줄여 영상 전송 효율을 높일 수 있다. 또한 상기 제어부(140)는 운전자의 눈 영역 영상 데이터에 대한 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여 졸음운전 감지 서버(200)로 전송함으로써 더욱 전송 데이터양을 줄일 수도 있다. 이렇게 졸음운전 감지 서버(200)로 전송하는 데이터의 크기를 대폭 줄임으로써 통신비용을 절감할 수 있고, 운전자의 현재 모습과 졸음운전 감지 서버(200)에서 수신하는 운전자의 현재 영상의 시간차를 최소화할 수 있게 된다.

더불어 본 발명의 졸음운전 경보 장치(100)는 상기 졸음운전 감지 서버(200)를 기반으로 졸음운전를 수행하지만, 차량이 터널이나 지하차도에서와 같이 통신상태가 좋지 않아 졸음운전 감지 서버(200)로 영상 전송이 원활하게 되지 않는 경우를 대비하여 상기 제어부(140)에서도 졸음운전를 판단할 수 있도록 되어 있다. 이와 같이 자체적으로 졸음운전를 판단하는 기능은 통신상태가 좋지 못할 때에만 작동하게 할 수도 있고, 항시 작동하나 졸음운전 감지 서버의 명령신호를 우선하도록 설정하는 것도 가능할 것이다. 이는 운전자 또는 서버 관리자에 의한 모드 선택을 통해서 선택적으로 실현 가능하다. 또한, 서버로 전송하는 데이터의 량의 최소화하기 위해 제어부(140)에서 졸음운전을 판단하고 그 결과값만을 서버로 전송할 수 있다. 이 경우 서버에서는 영상을 기반으로 한 졸음운전 판단은 수행하지 않으며 졸음운전 판단에 대한 결과값이 수신되면 경보 알람 정보를 이용하여 운전자에게 통보하는 기능만을 수행하게 된다.

상기 통신부(150)는 졸음운전 감지 서버(200)로 운전자의 영상을 전송하거나 졸음운전 감지 서버(200)로부터 경보 신호를 수신하거나 모니터링 센터(300)로부터 육성 경보 메시지를 수신하는 것으로서, 그 통신 방식은 무선 방식을 이용한다. 상기 무선 방식은 근거리 무선 방식이나 원거리 무선 방식 및 그들의 조합을 포함한다. 예컨대 상기 근거리 무선 방식은 적어도 블루투스, NFC, 또는 적외선 통신 방식을 포함하고, 상기 원거리 무선 방식은 3G, 4G, LTE, 또는 와이브로(Wibro)와 같은 이동 통신 방식이나 WiFi와 같은 무선 인터넷 통신 방식을 포함한다. 물론 빅데이터의 전송이 가능한 다른 무선 통신을 추가로 적용하는 것도 가능하다.

또한 상기 경보 메시지 출력부(160)는 운전자가 졸음에서 깰 수 있도록 경보 메시지를 출력하는 것으로서, 경보음을 출력하거나 이미 녹음되어 있는 음성 메시지를 출력할 수도 있고, 상기 모니터링 센터(300)에서 전송하는 육성 경보 메시지를 출력할 수도 있다.

도 3은 본 발명의 일 실시예에 따른 서버 기반 졸음운전 경보 장치의 조명장치와 카메라의 회전축에 대해 설명하기 위한 예시도이다.

도 3에 도시되어 있는 바와 같이, 본 발명의 서버 기반 졸음운전 경보 장치(100)는 운전자의 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경에 반사되는 조명 반사광이 카메라에 촬영되거나, 운전자의 얼굴 영상이 적외선 조명에 포화되어 졸음여부 판단의 정확도가 떨어지게 되는 것을 방지하기 위하여, 조명장치(120)의 방향을 카메라(110)의 방향과는 별도로 설정할 수 있는 구조로 되어 있으며, 카메라와 조명장치를 서로 분리된 공간에 설치할 수도 있다. 또한, 카메라(110)의 광축은 차량 내에서 움직이는 운전자의 얼굴 위치나 방향에 맞춰 수동 혹은 자동으로 조정될 수 있도록 되어 있다. 이때, 카메라 자동 조정의 경우에는 운전자의 눈 위치를 기준으로 하여 조정되도록 하는 것이 바람직할 것이다.

즉, 상기 카메라(110)의 카메라 회전축(111)과 상기 조명장치(120)의 조명장치 회전축(121)은 서로 별개로 되어 있는 구조인 것이다.

상기 카메라(110)와 조명장치(120)는 상기 졸음운전 경보 장치(100)의 케이스(101) 내부에 둘 수도 있고, 차체의 내부 공간이 충분할 경우 상기 졸음운전 경보 장치(100)의 케이스(101)내부에 두지 않고 상기 카메라(110) 및 조명장치(120)를 케이스(101)외부에 두어 서로 분리된 공간에 설치할 수도 있다.

도 4는 본 발명의 일 실시예에 따른 서버 기반 졸음운전 경보 장치의 조명장치와 카메라 방향의 설정에 대해 설명하기 위한 예시도이다.

도 4에 도시되어 있는 바와 같이, 조명장치의 조사축과 카메라의 광축이 같을 때는 안경에 반사된 조명이 직접 카메라로 입력되므로 안경 영역의 영상이 포화되어 운전자의 눈 영역에 대한 제대로 된 영상을 획득하는 것이 어려웠다.

본 발명의 졸음운전 경보 장치는 차량의 운전석이 정면, 천정 및 좌우가 막혀있다는 것에 착안하여 조명장치의 조사축을 카메라의 광축과 어긋나게 하더라도 조명이 운전석 근처의 차체 내부에 반사되어 운전자에게 조사될 수 있도록 하였다. 이와 같이, 조명장치의 조사축과 카메라의 광축이 많이 어긋나 있기 때문에 안경에 반사된 조명광이 카메라로 입력되는 것을 최소화할 수 있어서 운전자의 눈 역역에 대한 영상정보 획득이 용이해진다.

상기와 같이 조명장치의 조명을 차량의 내부에 반사시켜 운전자에게 조사하는데 있어서, 차량의 종류마다 차체 내부의 구조가 다르고 운전자의 얼굴 위치도 다르므로 조명장치의 조사축은 환경에 따라 가변적으로 변할 수 있어야 한다. 본 발명의 졸음운전 경보 장치(100)의 조명장치(120)는 상기 카메라(110)와 연동하여 최적의 조사각도를 추출할 수 있다. 이는 상기 제어부(140)를 통해 수행된다.

도 5는 본 발명의 일 실시예에 따른 서버 기반 졸음운전 경보 장치의 눈 영역 영상의 프로파일 생성에 대한 개략적인 개념에 대해 설명하기 위한 예시도이다.

도 5에 도시되어 있는 바와 같이, 탈경향 변동 분석(DFA: Detrended Fluctuation Analysis)은 시그널(signal)의 통계적 자기 연관성을 분석하는 기법(self-affinity)으로서 본 발명에서는 눈 영역 영상 데이터의 프로파일이 어떤 특성을 가지고 변화하는지 상기 기준값과 어떠한 차이가 있는 지를 탈경향 변동 분석(DFA)을 통해 분석함으로써 졸음 여부를 판별한다. 상기 탈경향 변동 분석 방법으로서는 그림 5의 a와 같은 추출된 눈 영역 영상에 대해서 b 및 c와 같이 눈 영역 영상 데이터의 가로 및 세로 방향 휘도값의 변화 그래프를 생성한 후 각 그래프의 선형을 대표하는 다항식 함수로 모델링하고, 가로 및 세로 방향 각 픽셀 각각에 대해 그래프의 실제값과 다항식 함수값의 차이를 누적하여 결과값을 얻는 방법을 사용하게 된다.

상기 기준값은 운전자마다 이미 이 기준값을 보유하고 있거나, 사용자로부터 눈 영역의 영상 데이터를 추출하여 자체적으로 생성할 수 있으며, 운전자가 바뀌더라도 달라지지 않고 독립적인 공통 기준값을 생성해서 사용할 수 있다. 또한 상기 생성된 기준값은 수시로 갱신될 수 있다. 상기 탈경향 변동을 분석하는 것은 상기 기준값을 토대로 운전자가 운전 중에 생성된 프로파일이 졸음상태와 깨어있는 상태 중 어느 쪽에 더 가까운지 분석하는 것이다. 상기 프로파일은 졸음을 감지하기 위한 각종 영상정보, 사용자의 눈 영상에 대한 정보, 또는 이들의 조합에 대한 정보를 요약한 것을 말한다. 상기 프로파일을 생성하는 일예로서 눈 영역 영상 데이터의 픽셀 정보를 이용하여 눈 영역 영상의 가로방향 휘도값의 변화 그래프와 눈 영역 영상의 세로방향 휘도값의 변화 그래프를 이용하는 방법을 사용할 수 있다.

도 6은 본 발명의 일 실시예에 따른 서버 기반 졸음운전 경보 방법에 대해 설명하기 위한 흐름도이다.

도 6에 도시되어 있는 바와 같이, 본 발명의 서버 기반 졸음운전 경보 방법은, 먼저 졸음운전 경보 장치를 차량에 맞게 설정한다. 즉 차량내부의 구조와 운전 시 운전자의 위치 등을 포함한 차량 내 환경을 고려하여 졸음운전 경보장치의 카메라 광축과 조명 조사축을 자동 혹은 수동으로 설정한다(S101). 상기 졸음운전 경보 장치는 조명 반사광의 간섭 없이 카메라를 통해 운전자의 영상을 촬영하고, 상기 촬영된 운전자의 영상 중 운전자의 눈 영역의 영상 데이터만을 추출한다(S102). 상기 졸음운전 경보 장치는 이렇게 추출한 운전자의 눈 영역 영상 데이터에 대한 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여 통신망을 통해 졸음운전 감지 서버로 실시간으로 전송한다(S103). 상기 졸음운전 감지 서버는 상기 졸음운전 경보 장치로부터 수신한 운전자의 눈 영역에 대한 영상 데이터에서 눈 꺼풀의 간격을 통해 졸음여부를 판단하는 방법을 기반으로 하거나, 또는 눈영역에 대한 영상의 프로파일을 만들고, 프로파일의 탈경향 변동 분석을 통해 졸음여부를 판단하는 방법을 기반으로 운전자의 졸음여부에 대해 실시간으로 판단한다(S104). 이때 눈 영역의 영상 데이터의 프로파일을 생성하는 방법은 눈 영역 영상 데이터의 픽셀 정보를 이용하여 눈 영역 영상의 가로방향 휘도값의 변화 그래프와 눈 영역 영상의 세로방향 휘도값의 변화 그래프를 이용하는 방법을 사용한다. 이때 졸음운전으로 판단되면 상기 졸음운전 감지 서버는 해당 운전자의 차량에 설치된 졸음운전 경보 장치의 경보가 울리도록 신호를 전송함으로써 운전자의 졸음을 방지한다(S105). 또한, 상기 졸음운전 감지 서버는 상기 졸음운전 경보 장치로부터 수신한 운전자의 눈 영역에 대한 영상 데이터를 모니터링 센터에 전송한다(S106). 이렇게 모니터링 센터로 전송된 운전자의 눈 영역에 대한 영상 데이터를 모니터링 요원이 실시간 및 육안으로 모니터링 함으로써 2차적으로 운전자의 졸음여부를 판단하게 된다(S107). 이렇게 모니터링 센터에서 모니터링 요원에 의해 졸음으로 판단되면 상기 모니터링 센터에서 차량에 설치된 졸음운전 경보 장치의 경보가 울리도록 상기 졸음운전 감지 서버를 통해 수동으로 제어할 수도 있고, 서버를 통하지 않고 직접 졸음운전 경보 장치 및 운전자의 휴대폰 등의 장치를 통해 육성으로 경보함으로써 효과적으로 운전자의 졸음운전을 예방할 수 있다(S108).

이상으로 본 발명은 첨부된 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.

100 : 졸음운전 경보 장치
101 : 케이스 110 : 카메라
111 : 카메라 회전축 120 : 조명장치
121 : 조명장치 회전축 122 : 적외선 산란기
130 : 저장부 140 : 제어부
150 : 통신부 160 : 경보 메시지 출력부
200 : 졸음운전 감지 서버 300 : 모니터링 센터

Claims

운전자의 얼굴을 촬영하는 적어도 하나 이상의 적외선 카메라;
적어도 하나 이상의 적외선 조명장치; 및
상기 적외선 카메라와 조명장치를 개별적으로, 복합적으로 또는 이들의 조합을 통해서 자동 혹은 수동으로 조절할 수 있는 제어부;를 포함하며,
상기 운전자가 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경을 착용하고 있을 경우에도, 적외선 조명이 운전환경의 변화에 따라 상기 안경에 반사되지 않도록 실시간으로 조정하는 것이 가능한 것을 특징으로 하는 졸음운전 경보 장치.
청구항 1에 있어서,
상기 졸음운전 경보 장치는,
차량의 스티어링 휠, 클러스터, 선바이저, 대쉬보드 또는 유리창을 포함한 차량 내의 특정 부분에서 고정식, 이동식 또는 착탈식으로 설치되는 것을 특징으로 하는 졸음운전 경보 장치
청구항 1에 있어서,
상기 졸음운전 경보 장치는,
상기 카메라에서 촬영한 운전자의 영상 정보를 저장하는 내장형 메모리 또는 외장형 메모리를 포함하는 저장장치;를 더 포함하는 것을 특징으로 하는 졸음운전 경보 장치.
청구항 1에 있어서,
상기 적외선 카메라는,
차량 내에서 움직이는 운전자의 얼굴 위치나 방향에 맞춰 자동으로 조정될 수 있도록 팬 틸트 모터를 포함하며, 카메라 자동 조정 시 운전자의 눈 위치를 기준으로 카메라의 광축이 조정되는 것을 특징으로 하는 졸음운전 경보 장치.
청구항 1에 있어서,
상기 적외선 조명장치는,
선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경에 직접 조사되는 조명의 양을 최소화하기 위해 적외선 산란기;를 더 포함하는 것을 특징으로 하는 졸음운전 경보 장치.
청구항 1에 있어서,
상기 적외선 조명장치는,
상기 카메라의 광축과 어긋나게 제어함으로써 조사되는 조명이 차체의 천정이나 유리 방향으로 먼저 조사 될 수 있도록 하여 운전자의 안경에 반사된 조명이 상기 카메라에 입력되는 것을 최소화하는 것을 특징으로 하는 졸음운전 경보 장치.
청구항 1에 있어서,
상기 적외선 조명장치는,
차량 내부의 차체 구조 및 운전자의 얼굴 위치에 따라 자동으로 조명장치의 조사축이 조정될 수 있는 것을 특징으로 하는 졸음운전 경보 장치.
청구항 1에 있어서,
상기 적외선 카메라와 상기 적외선 조명장치는,
각각 차량 내부의 차체 구조, 운전자의 얼굴 위치 또는 이들의 조합에 따라 팬, 틸트, 줌, 포커스, 회전 또는 이들의 조합을 통해서 광축 및 조사축의 조정이 가능하고, 카메라와 조명장치를 서로 분리된 공간에 설치할 수 있는 것을 특징으로 하는 졸음운전 경보 장치.
적어도 하나 이상의 적외선 카메라와 조명장치를 포함한 졸음운전 경보 장치를 통해서 운전자의 얼굴을 촬영하는 단계;
상기 적외선 카메라와 조명장치를 개별적으로, 복합적으로 또는 이들의 조합을 통해서 자동 혹은 수동으로 조절하는 단계; 및
상기 운전자가 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경을 착용하고 있을 경우에도, 적외선 조명이 운전환경의 변화에 따라 상기 안경에 반사되지 않도록 조정하는 단계;를 포함하는 것을 특징으로 하는 졸음운전 경보 방법.
청구항 9에 있어서,
상기 졸음운전 경보 방법은,
상기 카메라에서 촬영한 운전자의 영상 정보를 내장형 메모리 또는 외장형 메모리를 포함하는 저장장치에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 졸음운전 경보 방법.
청구항 9에 있어서,
상기 조정하는 단계는,
차량 내에서 움직이는 운전자의 얼굴 위치나 방향에 맞춰 자동으로 조정될 수 있도록 팬 틸트 모터를 포함하는 카메라를 통해 수행되며, 카메라 자동 조정 시 운전자의 눈 위치를 기준으로 카메라의 광축이 조정되는 것을 특징으로 하는 졸음운전 경보 방법.
청구항 9에 있어서,
상기 조정하는 단계는,
상기 조절하는 단계를 통해서 적외선 산란기를 이용하여 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경에 직접 조사되는 조명의 양을 최소화하도록 조정하는 것을 특징으로 하는 졸음운전 경보 방법.
청구항 9에 있어서,
상기 조정하는 단계는,
상기 조절하는 단계를 통해서 상기 카메라의 광축과 어긋나게 제어함으로써 조사되는 조명이 차체의 천정이나 유리 방향으로 먼저 조사 될 수 있도록 하여 운전자의 안경에 반사된 조명이 상기 카메라에 입력되는 것을 최소화하도록 조정하는 것을 특징으로 하는 졸음운전 경보 방법.
청구항 9에 있어서,
상기 조정하는 단계는,
차량 내부의 차체 구조 및 운전자의 얼굴 위치에 따라 자동으로 조명장치의 조사축이 조정될 수 있는 것을 특징으로 하는 졸음운전 경보 방법.
카메라를 통해 운전자를 촬영하고, 촬영된 운전자의 영상 중 눈 영역에 대한 영상 데이터를 추출하는 단계;
상기 추출된 영상 데이터에서 운전자의 위쪽 눈꺼풀과 아래쪽 눈꺼풀 사이의 거리의 평균값을 추출하는 단계; 및
운전자의 최근 수초 내지 수분 동안의 눈꺼풀 사이의 거리값이 상기 평균값보다 일정 수치 이상 좁아지면 졸음으로 판단하는 단계;를 포함하는 것을 특징으로 하는 졸음운전 감지 방법.
카메라를 통해 운전자를 촬영하고, 촬영된 운전자의 영상 중 눈 영역에 대한 영상 데이터를 추출하는 단계;
상기 추출된 영상 데이터에서 눈 영역의 영상 데이터 프로파일을 만드는 단계;
상기 프로파일의 탈경향 변동 분석을 수행하는 단계; 및
상기 탈경향 변동 분석의 결과를 토대로 졸음여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 졸음운전 감지 방법.
청구항 16에 있어서,
상기 프로파일은 눈 영역 영상 데이터의 픽셀 정보를 이용하여 눈 영역 영상의 가로방향 휘도값의 변화 그래프와 눈 영역 영상의 세로방향 휘도값의 변화 그래프를 이용하는 것을 특징으로 하는 졸음운전 감지 방법.
청구항 16에 있어서,
상기 탈경향 변동 분석은 운전자마다 정의된 각 기준값을 토대로 운전자가 운전 중에 생성된 프로파일이 졸음상태와 깨어있는 상태 중 어느쪽에 더 가까운지 분석하는 것을 특징으로 하는 졸음운전 감지 방법.
청구항 16에 있어서,
상기 프로파일은 졸음을 감지하기 위한 영상정보, 사용자의 눈 영상에 대한 정보, 또는 이들의 조합에 대한 정보를 요약한 것을 특징으로 하는 졸음운전 감지 방법.
졸음운전 경보 장치;
상기 졸음운전 경보 장치에서 전송된 영상 정보를 세밀하게 분석하는 졸음운전 감지 서버; 및
상기 졸음운전 경보 장치와 졸음운전 감지 서버를 상호 연결하여 주는 유무선 통신 네트워크;를 포함하는 것을 특징으로 하는 졸음운전 경보 시스템.
청구항 20에 있어서,
상기 졸음운전 경보 장치는,
유무선 통신 입출력이 가능한 통신 인터페이스를 포함하는 통신부;를 더 포함하며,
카메라에서 촬영된 운전자의 눈 영역에 대한 영상을 이진 영상, 그레이 영상, 또는 이들에 대한 압축영상, 또는 졸음운전 판단 결과값 중 적어도 어느 하나를 생성하여 상기 통신부를 통해 운전자의 졸음여부를 판단하는 졸음운전 감지 서버로 전송하는 것을 특징으로 하는 졸음운전 경보 시스템.
청구항 20에 있어서,
상기 졸음운전 경보 장치의 적어도 하나 이상의 카메라를 통해 촬영한 운전자의 영상 정보를 저장하는 내장형 메모리, 외장형 메모리, 클라우드 컴퓨팅 네트워크의 가상화된 저장장치 또는 이들의 조합을 포함하는 저장장치;를 더 포함하는 것을 특징으로 하는 졸음운전 경보 시스템.
청구항 20에 있어서,
상기 졸음운전 감지 서버에서 졸음운전으로 판단되는 경우, 별도의 경보 메시지 출력부 또는 운전자의 휴대단말을 통해 기계음, 사전에 녹음된 육성 알람, 모니터링 요원의 실시간 육성 알람 또는 이들의 조합을 포함하는 경보 알람 정보를 출력하는 것을 특징으로 하는 졸음운전 경보 시스템.
카메라를 통해 운전자를 촬영하고, 촬영된 운전자의 영상 중 눈 영역에 대한 영상 데이터만을 추출하는 단계;
추출한 눈 영역 영상 데이터에 대한 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여 통신망을 통해 졸음운전 감지 서버로 실시간 전송하는 단계;
상기 졸음운전 감지 서버는 수신한 운전자의 눈 영역에 대한 영상 데이터를 기반으로 운전자의 졸음여부에 대해 실시간으로 판단하는 단계; 및
상기 졸음운전 감지 서버에서 졸음으로 판단되면 자동으로 차량에 설치된 졸음운전 경보 장치의 경보가 울리도록 신호를 전송하는 단계;를 포함하는 것을 특징으로 하는 서버 기반 졸음운전 경보 방법.
청구항 24에 있어서,
상기 서버 기반 졸음운전 경보 방법은,
카메라에 입력되는 조명의 반사광량이 최소화 되도록 차량 내부의 차체 구조 및 운전자의 얼굴 위치에 따라 조명장치의 조사축과 카메라의 광축이 자동으로 설정되는 단계;를 더 포함하는 것을 특징으로 하는 서버 기반 졸음운전 경보 방법.
청구항 24에 있어서,
상기 서버 기반 졸음운전 경보 방법은,
졸음운전 감지 서버에서 수신한 운전자의 눈 영역에 대한 영상 데이터를 기반으로 모니터링 센터의 모니터링 요원이 육안으로 운전자의 졸음여부를 판단하는 단계;를 더 포함하는 것을 특징으로 하는 서버 기반 졸음운전 경보 방법.
청구항 24에 있어서,
상기 서버 기반 졸음운전 경보 방법은,
모니터링 요원에 의해 졸음으로 판단되면 졸음운전 감지 서버를 통해 차량에 설치된 졸음운전 경보 장치의 경보가 울리도록 신호를 전송하거나 직접 상기 졸음운전 경보 장치로 육성 경보를 전송하거나 운전자의 휴대전화를 통해 경보를 전달하는 단계;를 더 포함하는 것을 특징으로 하는 서버 기반 졸음운전 경보 방법.
청구항 24에 있어서,
상기 서버 기반 졸음운전 경보 방법은,
차량이 터널이나 지하차도에서와 같이 통신상태가 좋지 않아 졸음운전 감지 서버로 영상을 전송하지 못하는 경우를 대비하여, 차량에 장착된 졸음운전 경보 장치 자체에서 운전자의 졸음여부에 대해 판단하는 단계;를 더 포함하는 것을 특징으로 하는 서버 기반 졸음운전 경보 방법.