KR20120136721A

KR20120136721A - 운전중 휴대폰 사용 경보 장치 및 그 방법

Info

Publication number: KR20120136721A
Application number: KR1020110055830A
Authority: KR
Inventors: 정의윤; 정호철; 이병준; 김삼용
Original assignee: 현대자동차주식회사
Priority date: 2011-06-09
Filing date: 2011-06-09
Publication date: 2012-12-20

Abstract

본 발명은 운전중 휴대폰 사용 경보 장치 및 그 방법에 관한 것으로, 운전중인 운전자의 영상을 분석하여 통화는 물론 메시지 확인/전송 및 웹서핑과 관련된 휴대폰 사용을 인지하면 경보를 울려 운전자의 안전운전을 유도하는 운전중 휴대폰 사용 경보 장치 및 그 방법을 제공하고자 한다.
이를 위하여, 본 발명은 운전중 휴대폰 사용 경보 장치에 있어서, 차량 내 운전자의 얼굴 영상을 촬영하는 영상 촬영수단; 상기 운전자의 얼굴 영상에서 상기 운전자의 휴대폰 사용을 감지하는 휴대폰 사용 감지수단; 상기 차량 내 ECU(Electronic Control Units)와 연동하여 상기 차량의 주행을 감지하는 ECU 연동수단; 상기 ECU 연동수단을 통해 상기 차량이 주행중임을 감지한 상태에서 상기 휴대폰 사용 감지수단이 상기 운전자의 휴대폰 사용을 감지한 경우 경보수단으로 경보신호를 전달하는 제어수단; 및 상기 제어수단으로부터의 경보신호에 따라 경보음을 울리는 상기 경보수단을 포함한다.

Description

운전중 휴대폰 사용 경보 장치 및 그 방법{APPARATUS AND METHOD FOR ALARMING USE OF MOBILE PHONE ON DRIVING}

본 발명은 운전중 휴대폰 사용 경보 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 운전중인 운전자의 영상을 분석하여 휴대폰 사용을 인지하면 경보를 울려 안전운전을 유도하는 운전중 휴대폰 사용 경보 장치 및 그 방법에 관한 것이다.

교통사고 발생률이 매우 높은 국내 실정상, 운전중의 휴대폰 통화는 교통사고 발생 확률을 대단히 높게 하며, 실제로 교통사고 경험이 있는 운전자들 중에는 상당수가 휴대폰 통화중에 사고를 경험한 적이 있다는 사실이 언론매체의 보도 등을 통해 알려진 바 있다.

따라서, 전화 발신자는 통화를 수신하는 상대방의 운전 여부를 확인하여 통화 상대방이 운전중인 경우에는 가급적 통화를 자제토록 하는 것이 바람직한 통화예절이다.

현재, 교통사고 발생률을 낮추기 위해 운전중 휴대폰 사용금지 및 핸즈프리 통화장치의 차량 장착을 규정화해 정착시켜가고 있는 실정이나, 핸즈프리 통화장치를 이용한 전화통화 역시도 운전자의 정신집중을 분산시켜 안전운전을 도모하기 어렵게 하는 문제점이 있다.

이를 해결하기 위해, 통화 전파를 차단하여 운전중 휴대폰 사용을 원천적으로 차단하는 방안이 제안되었으나, 이는 긴급통화를 차단하는 것은 물론 동승자의 휴대폰 통화마저 차단하는 부작용이 있으며, 아울러 휴대폰에서의 메시지 확인/전송 및 웹서핑(검색)을 검출해 내지 못하는 문제점이 있다.

상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 운전중인 운전자의 영상을 분석하여 통화는 물론 메시지 확인/전송 및 웹서핑과 관련된 휴대폰 사용을 인지하면 경보를 울려 운전자의 안전운전을 유도하는 운전중 휴대폰 사용 경보 장치 및 그 방법을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 장치는, 운전중 휴대폰 사용 경보 장치에 있어서, 차량 내 운전자의 얼굴 영상을 촬영하는 영상 촬영수단; 상기 운전자의 얼굴 영상에서 상기 운전자의 휴대폰 사용을 감지하는 휴대폰 사용 감지수단; 상기 차량 내 ECU(Electronic Control Units)와 연동하여 상기 차량의 주행을 감지하는 ECU 연동수단; 상기 ECU 연동수단을 통해 상기 차량이 주행중임을 감지한 상태에서 상기 휴대폰 사용 감지수단이 상기 운전자의 휴대폰 사용을 감지한 경우 경보수단으로 경보신호를 전달하는 제어수단; 및 상기 제어수단으로부터의 경보신호에 따라 경보음을 울리는 상기 경보수단을 포함한다.

또한 상기 목적을 달성하기 위한 본 발명의 방법은, 운전중 휴대폰 사용 경보 방법에 있어서, 차량 내 운전자의 얼굴 영상을 촬영하는 단계; 상기 운전자의 얼굴 영상에서 상기 운전자의 휴대폰 사용을 감지하는 휴대폰 사용 감지단계; 상기 차량 내 ECU(Electronic Control Units)와 연동하여 상기 차량의 주행을 감지하는 단계; 및 상기 차량이 주행중에 상기 운전자의 휴대폰 사용을 감지함에 따라 경보음을 울리는 단계를 포함한다.

본 발명에서 휴대폰은 통화가 가능한 모든 휴대 단말기를 포함하며, 특히 최근에 출시된 스마트폰을 포함한다.

상기와 같은 본 발명은, 운전중인 운전자의 영상을 분석하여 통화는 물론 메시지 확인/전송 및 웹서핑과 관련된 휴대폰 사용을 인지하면 경보를 울려 운전자의 안전운전을 유도할 수 있는 효과가 있다.

또한, 본 발명은 차량 내 각종 전자 기기에 악영향을 미치는 전파 차단 방식에서 벗어나, 영상 처리를 통해 운전자의 휴대폰 사용을 감지함으로써, 차량의 오작동을 방지할 수 있는 효과가 있다.

도 1 은 본 발명에 따른 운전중 휴대폰 사용 경보 장치의 일실시예 구성도,
도 2 는 본 발명에 따른 운전자의 얼굴 영상에 대한 일예시도,
도 3 은 본 발명에 따른 휴대폰 사용 감지부의 일실시예 상세 구성도,
도 4 는 본 발명에 따른 운전자의 시선 검출 과정에 대한 일예시도,
도 5 는 본 발명에 따른 운전중 휴대폰 사용 경보 방법에 대한 일실시예 흐름도이다.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.

도 1 은 본 발명에 따른 운전중 휴대폰 사용 경보 장치의 일실시예 구성도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 운전중 휴대폰 사용 경보 장치는, 영상 촬영부(10), 휴대폰 사용 감지부(20), ECU(Electronic Control Units) 연동부(30), 제어부(40), 및 경보부(50)를 포함한다. 여기서, 제어부(40)는 차량에 구비되어 있는 ECU로 대체되어, ECU가 제어부(40)의 기능을 수행할 수도 있다. 이때 ECU 연동부(30)는 구비하지 않아도 된다.

상기 각 구성요소들에 대해 상세히 살펴보면, 먼저 영상 촬영부(10)는 야간 촬영이 가능한 적외선 카메라를 포함하며, 차량의 운전석에 앉아 있는 운전자의 얼굴 영상을 촬영한다. 이렇게 촬영된 운전자의 얼굴 영상은 일예로 도 2에 도시된 바와 같다.

다음으로, 휴대폰 사용 감지부(20)는 영상 촬영부(10)에서 촬영된 운전자의 얼굴 영상에서 운전자의 휴대폰 사용을 감지한다.

다음으로, ECU 연동부(30)는 차량에 구비되어 있는 ECU와 연동하여 차량의 주행을 감지하고, 제어부(40)로부터의 시트 진동신호 또는 차량속도 제어신호를 ECU로 전달하여 시트를 진동시키거나 차량의 속도를 제어하게 한다.

다음으로, 제어부(40)는 ECU 연동부(30)를 통해 차량이 주행중임을 감지한 상태에서 휴대폰 사용 감지부(20)가 운전자의 휴대폰 사용을 감지한 경우 경보부(50)로 경보신호를 전달한다.

이때 제어부(40)는 위험수준에 따라 ECU 연동부(30)를 통해 ECU로 시트 진동신호 또는 속도 제어신호를 전달하여 시트를 진동시키거나 차량의 속도를 제어한다. 이는 일예로 하기의 [표 1]과 같다.

즉, 운전자가 시선은 정면을 향하고 있으나 휴대폰을 귀에 대고 통화하고 있는 경우, 위험수준은 제1단계로서 제어부(40)는 경보음의 세기를 1~3으로 설정한다.

운전자가 시선은 정면을 향하고 있으나 휴대폰으로 메시지를 확인/전송하거나 웹서핑(검색)을 하고 있는 경우, 위험수준은 제2단계로서 제어부(40)는 경보음의 세기를 4~6으로 설정한다.

운전자가 시선을 정면이 아닌 다른 곳을 응시하는 시선 부주의 상태에서 휴대폰을 귀에 대고 통화하고 있는 경우, 위험수준은 제3단계로서 제어부(40)는 경보음의 세기를 7~9로 설정하고, 아울러 ECU 연동부(30)를 통해 ECU로 시트 진동신호를 전달하여 보다 강하게 운전자의 안전운전을 유도한다.

운전자가 시선을 정면이 아닌 다른 곳을 응시하는 시선 부주의 상태(일예로, 휴대폰을 응시하고 있는 상태)에서 휴대폰으로 메시지를 확인/전송하거나 웹서핑(검색)을 하고 있는 경우, 위험수준은 제4단계로서 제어부(40)는 경보음의 세기를 최강인 10으로 설정하고, 아울러 ECU 연동부(30)를 통해 ECU로 속도 제어신호를 전달하여 차량의 속도를 줄이도록 한다.

다음으로, 경보부(50)는 제어부(40)로부터의 경보신호에 따라 경보음을 울린다. 이때 경보부(50)는 1~10까지의 세기로 경보음을 울릴 수 있으며 이는 제어부(40)의 제어에 의해 설정된다.

이하, 도 3을 참조하여 휴대폰 사용 감지부(20)에 대해 좀 더 상세히 살펴보기로 한다.

도 3에 도시된 바와 같이, 휴대폰 사용 감지부(20)는 시선 검출기(21), 통화 검출기(22), 휴대폰 검출기(23), 및 판단기(24)를 포함한다.

먼저, 시선 검출기(21)는 운전자의 시선을 검출하는 역할을 수행하며, 도 4에 도시된 바와 같이 운전자의 눈 위치 및 눈동자의 방향을 파악하여 시선을 검출한다.

즉, 영상 촬영부(10)가 촬영한 운전자의 얼굴 영상에서 얼굴이 갖는 대칭 부위, 즉 눈썹 부위인 제1대칭점영역(a)과 눈 부위인 제2대칭점영역(b) 및 콧구멍 부위인 제3대칭점영역(c)을 집중 검사해 모양과 크기 및 거리와 명암등을 고려하여 판단 기준이 되는 대칭점을 판단한다.

이때, 얼굴 영상에서 나타나는 대칭점 중 콧구멍에 가장 적합한 부위를 판단 기준이 되는 대칭점인 제3대칭점영역(c)을 기준점으로 설정하게 되는데, 이는 통상 콧구멍 부위는 다른 부위에 비해 빛에 의한 명암 변화가 없고 가장 낮은 위치에 있으면서 짧은 간격의 대칭 부위를 형성함을 이용하는 것이다.

이어, 얼굴 영상에서 콧구멍이 있는 제3대칭점영역(c)을 판단 기준이 되는 대칭점으로 설정한 후, 제3대칭점영역(c)의 윗부분을 눈위치후보영역(d, 즉 제1ㆍ2대칭점영역(a,b)임)으로 설정한다.

이와 같이, 얼굴 영상에서 눈위치후보영역(d)이 설정된 후 필터(소벨필터를 사용함)를 사용하여 눈위치후보영역(d)에서 눈의 위치를 집중 검사하게 되는데, 이는 필터(소벨필터) 사용시 로드(Load)가 많이 걸리면서 윤곽 라인을 집중적으로 표현할 수 있기 때문이다.

이어, 눈위치후보영역(d)에 대한 필터 영상을 통해 눈위치확정영역(e)을 선택하게 되는데, 이는 통상적으로 감기지 않은 눈은 타원형상이므로 이를 판단기준으로 하여 눈위치후보영역(d)에서 눈의 윤곽 라인이 타원 형상을 갖는 제1눈형상(A)을 검출한다. 즉, 눈 위치를 검출한다.

이어, 눈동자의 방향을 파악하여 시선을 검출한다.

통화 검출기(22)는 영상 촬영부(10)가 촬영한 운전자의 얼굴 영상에서 콧구멍 부위인 제3대칭점영역(c)의 아래 영역을 입으로 검출한 후 해당 영역이 움직이는 경우 운전자가 통화하고 있는 것으로 판단한다.

휴대폰 검출기(23)는 영상 촬영부(10)가 촬영한 운전자의 얼굴 영상에서 휴대폰을 검출한다. 이때 휴대폰 검출기(23)는 일반적인 "Haar Like Feature" 추출 기반의 "Adaboost' 분류기(도면에는 도시되어 있지 않음)를 이용하여 사각 모양의 휴대폰을 인식한다.

판단기(24)는 도 2의 (a)에 도시된 바와 같이 전화가 걸려왔을 때 휴대폰으로 운전자의 시선이 가는 영상의 변화, 이어서 도 2의 (b) 및 (c)에 도시된 바와 같이 휴대폰이 운전자의 얼굴 오른쪽/왼쪽으로 이동하는 영상의 변화, 및 도 2의 (d)에 도시된 바와 같이 운전자의 입의 움직임이 발생하는 영상의 변화를 통해 최종적으로 운전자의 통화를 검출할 수도 있다.

또한, 판단기(24)는 영상 촬영부(10)가 촬영한 운전자의 얼굴 영상에서 변화된 모션을 감지하여 휴대폰 후보를 추출하고, 휴대폰의 특징(사각 모양)을 이용하여 "Haar Like Feature" 추출을 수행하며, 특징 추출로부터 "Adaboost' 분류기를 학습하여 휴대폰을 검출한다.

이에 따라 제어부(40)는 시선 검출기(21)에서 검출된 운전자의 시선과 통화 검출기(22)에서 검출된 운전자의 통화 여부 및 휴대폰 검출기(23)에서의 휴대폰 검출 결과를 기반으로 위험수준을 판단하고, 해당 위험수준에 상응하는 제어를 수행한다.

도 5 는 본 발명에 따른 운전중 휴대폰 사용 경보 방법에 대한 일실시예 흐름도이다.

먼저, 영상 촬영부(10)는 차량 내 운전자의 얼굴 영상을 촬영한다(501).

이후, 휴대폰 사용 감지부(20)는 영상 촬영부(10)가 촬영한 운전자의 얼굴 영상에서 운전자의 휴대폰 사용을 감지한다(502).

이후, ECU 연동부(30)는 차량 내 ECU(Electronic Control Units)와 연동하여 차량의 주행을 감지한다(503).

이후, 제어부(40)는 차량이 주행중인 상태에서 운전자의 휴대폰 사용을 감지함에 따라 경보음을 울리도록 경보부(50)를 제어한다(504).

한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

10 : 영상 촬영부 20 : 휴대폰 사용 감지부
30 : ECU 연동부 40 : 제어부
50 : 경보부

Claims

차량 내 운전자의 얼굴 영상을 촬영하는 영상 촬영수단;
상기 운전자의 얼굴 영상에서 상기 운전자의 휴대폰 사용을 감지하는 휴대폰 사용 감지수단;
상기 차량 내 ECU(Electronic Control Units)와 연동하여 상기 차량의 주행을 감지하는 ECU 연동수단;
상기 ECU 연동수단을 통해 상기 차량이 주행중임을 감지한 상태에서 상기 휴대폰 사용 감지수단이 상기 운전자의 휴대폰 사용을 감지한 경우 경보수단으로 경보신호를 전달하는 제어수단; 및
상기 제어수단으로부터의 경보신호에 따라 경보음을 울리는 상기 경보수단
을 포함하는 운전중 휴대폰 사용 경보 장치.
제 1 항에 있어서,
상기 제어수단은,
상기 휴대폰 사용 감지수단으로부터의 감지 결과에 따라 상기 ECU 연동수단을 통해 상기 차량 내 ECU로 시트 진동신호 또는 차량속도 제어신호를 전달하는 것을 특징으로 하는 운전중 휴대폰 사용 경보 장치.
제 1 항 또는 제 2 항에 있어서,
상기 휴대폰 사용 감지수단은,
상기 영상 촬영수단이 촬영한 운전자의 얼굴 영상에서 상기 운전자의 시선을 검출하는 시선 검출기;
상기 영상 촬영수단이 촬영한 운전자의 얼굴 영상에서 입의 움직임을 통해 운전자의 통화를 검출하는 통화 검출기; 및
상기 영상 촬영수단이 촬영한 운전자의 얼굴 영상에서 휴대폰을 검출하는 휴대폰 검출기
를 포함하는 운전중 휴대폰 사용 경보 장치.
차량 내 운전자의 얼굴 영상을 촬영하는 단계;
상기 운전자의 얼굴 영상에서 상기 운전자의 휴대폰 사용을 감지하는 휴대폰 사용 감지단계;
상기 차량 내 ECU(Electronic Control Units)와 연동하여 상기 차량의 주행을 감지하는 단계; 및
상기 차량이 주행중에 상기 운전자의 휴대폰 사용을 감지함에 따라 경보음을 울리는 단계
를 포함하는 운전중 휴대폰 사용 경보 방법.
제 4 항에 있어서,
상기 휴대폰 사용 감지단계는,
상기 촬영한 운전자의 얼굴 영상에서 상기 운전자의 시선을 검출하는 단계;
상기 촬영한 운전자의 얼굴 영상에서 입의 움직임을 통해 운전자의 통화를 검출하는 단계; 및
상기 촬영한 운전자의 얼굴 영상에서 휴대폰을 검출하는 단계
를 포함하는 운전중 휴대폰 사용 경보 방법.