KR101867041B1

KR101867041B1 - 운전자의 안전한 운전상태 검측 방법 및 장치

Info

Publication number: KR101867041B1
Application number: KR1020167019558A
Authority: KR
Inventors: 시앙징 안; 지엔 리; 타오 우; 레이 예; 전핑 순; 한건 허
Original assignee: 내셔널 유니버시티 오브 디펜스 테크놀로지
Priority date: 2014-01-15
Filing date: 2015-01-15
Publication date: 2018-06-14
Also published as: JP6307629B2; JP2017505733A; EP3109114A4; CN103770733B; EP3109114B1; US20170001648A1; EP3109114A1; CN103770733A; US9963153B2; WO2015106690A1; KR20160110388A

Abstract

본 발명은 운전자의 안전한 운전상태 검측 방법 및 장치에 관한 것으로서, 상기 운전자의 안전한 운전상태 검측 방법은 실시간으로 운전자의 현재 시선방향을 검측하고 차량 운전 중 운전자의 전방 시야 중의 장면 이미지 신호를 수집하는 단계 (1); 시각 주의력 계산 모형을 기반으로, 수집한 운전자 전방 시야 중 장면 이미지 신호를 처리해 현재 운전자 전방 시야 장면에서 운전자 기대 주의력 분포를 얻는 단계 (2); 상기 단계 (1)에서 실시간 검측한 운전자의 현재 시선 방향과 상기 단계 (2)에서 계산해 얻은 운전자 기대 주의력 분포를 통합 분석한 후, 운전자가 현재 정상적인 운전 상태에 있는지 및 돌발적인 도로 교통사건에 대해 즉각적이고 적절한 반응을 보일 수 있는지를 판단하는 단계 (3)을 포함한다. 상기 장치는 상시 방법을 실시하여 사용한다. 원리가 간단하고 구현하기 쉬우며 직접적으로 운전자의 진실한 운전 상태를 반영할 수 있고 운전 안전성이 향상되는 등의 장점이 있다.

Description

운전자의 안전한 운전상태 검측 방법 및 장치{METHOD AND DEVICE FOR DETECTING SAFE DRIVING STATE OF DRIVER}

본 발명은 차량 능동형 안전 설계 분야에 관한 것으로서, 더욱 상세하게는 운전자의 안전한 운전상태 검측 방법 및 장치에 관한 것이다.

자동차 산업이 발전하면서 사회적 생산 및 일상생활 측면에서 자동차의 중요성이 날로 커지고 있으며, 이와 동시에 자동차 안전 문제에 대한 인식도 강화되고 있다. 통계에 따르면 도로 교통사고 중에서 약 75%가 사람의 과실로 인한 것인데, 다시 말해 운전자의 개인적인 요인으로 인한 경우가 많다. 구체적으로 여기에는 운전자가 차량 운전 환경을 정확하게 판단하지 않거나 운전자의 반응이 지체되는 등의 요인이 포함된다. 따라서 기술적 수단을 통해 운전자의 운전상태가 안전한지 여부를 검측할 수 있다면 도로 교통 안전 문제가 크게 개선될 것이다.

현재 운전자의 안전한 운전상태를 검측하는 기술은 세 가지로 나뉜다. 첫 번째, 운전자의 생리적 피로 특성을 기반으로 검측하는 방법이다. 두 번째, 도로에 대한 차량의 상대적인 운행관계를 기반으로 판단하는 방법이다. 세 번째, 자극-반응 모니터링 기반의 심리반응 모니터링 방법이다.

첫 번째의 운전자 생리적 피로 특성을 기반으로 검측하는 방법은 작업 원리가 하나의 가설을 기반으로 한다. 운전자의 정신상태가 좋지 않을 경우 그 운전상태도 나빠지기 때문에 안전하게 운전을 마칠 수 없다. 통상적으로 검측하는 데 사용되는 생리적 피로 특성에는 눈동자 깜빡임, 뇌파, 핸들 장악력 등이 포함된다. 일부 당업자들은 단안시(monocular vision) 기반의 운전자 피로 검측 방법을 공개했는데, 이는 운전자가 눈을 깜빡이는 빈도를 이용해 운전자의 정신 상태를 판단하는 것이다. 상기 방법은 자동차 계기판 상방에 운전자 안면부를 향한 카메라를 설치한 후, 카메라 렌즈를 이용해 운전자 안면부 이미지를 수집한다. 수집된 각 프레임 이미지에 대해 운전자 안면부 검측 및 추적을 진행하고, 검측된 안면부 구역 내에서 다시 운전자 눈에 대한 검측 및 위치추적을 진행하고, 좌우 눈 구역에서 눈 깜빡임 상태를 식별한 후 최종적으로 연속 프레임의 검측 상태를 통해 피로 특성을 관찰한다. 또 다른 당업자들은 운전자 머리부의 비정상적 흔들림을 연속적으로 검측해 운전자의 정신 상태를 관찰하는 방법 및 시스템을 공개했다. 그 작업 원리는 운전자 헤드레스트에 위치한 센서를 이용해 운전자 머리부의 흔들림 빈도와 모드를 검측함으로써, 비정상적인 흔들림 모드로 운전자의 정신 상태를 판단하는 것이다. 상기 내용을 종합하면, 상기와 같은 방법은 운전자의 피로 상태를 통해 운전자의 안전운전 상태를 유추하는 것이기 때문에 다음과 같은 세 가지 문제를 안고 있다. 첫째, 모두 간접적인 검측 방법이기 때문에 결과를 신뢰할 수 없다. 운전자의 피로상태만으로 운전자의 안전한 운전상태를 판단하는 것은, 피로상태와 운전자 운전행위 안전성 간의 직접적인 대응관계를 도출해내기 어렵고, 외부적인 생리적 특성을 통해 피로 여부를 판단하는 것 자체가 일정한 불특정성을 가지고 있다. 둘째, 피로 상태만으로 운전자의 운전한 운전상태를 판단하는 데에는 한계가 있다. 운전자가 불안전한 운전상태에 있다고 해서 반드시 피로한 상태에 있는 아니기 때문이다. 셋째, 피로 상태를 통해 운전자의 운전상태 안전성을 판단하는 방법은 즉시성을 보장하기 어렵다. 운전자가 피로한 상태에 있을 때, 운전행위는 이미 그 자체로 상당히 위험한 상태기 때문이다.

두 번째의 도로에 대한 차량의 상대적인 운행관계를 기반으로 판단하는 방법의 경우 작업 원리는 현재 차량과 다른 차량 및 도로와의 관계를 직접 측정해 발생할 추돌 등 사고를 예측하는 것이다. 일부 당업자들은 싱글칩(single chip) 기반의 차선 이탈 경보 장치를 공개했다. 즉, 차량의 비정상적인 추월 운전 동작을 통해 운전자의 운전 상태를 검측하는 것이다. 상기와 같은 방법의 단점 중 하나는 통상적으로 위험한 교통사건이 발생하려는 순간에 판단할 수 있다는 것이며, 다른 하나는 정상적인 교통사건과 비정상적 교통사건, 예를 들어 정상적인 추월 행위와 비정상적인 차선 이탈행위를 명확하게 구분해 객관적으로 판별하기가 어렵다는 것이다.

세 번째의 자극-반응 모니터링을 기반으로 한 방법의 경우 그 작업 원리는 특정한 자극 모드를 이용해 운전자 심리반응을 평가하는 것이다. 일부 당업자들은 최근 시선 포착 기술을 통해 운전자 정신 상태를 검측하는 방법을 공개했다. 상기 방법은 먼저 하나의 인공적인 시각 자극을 생성한 후 시선 포착 기술을 이용해 운전자가 상기 자극에 주의를 기울이는지 여부를 관찰함으로써, 운전자가 현재 출현하는 돌발사건을 판단할 능력이 있는지를 평가한다. 상기와 같은 방법은 운전자가 돌발 자극에 대해 반응하는지 여부를 직접적으로 판단할 수 있기는 하나, 다음과 같은 단점을 가지고 있다. 첫째, 상기와 같은 방법은 그 자체가 운전자의 주의력을 분산시키기 쉽다. 둘째, 특정 모드의 자극은 그 자체가 운전자의 심리적 활동에 추가적인 자극을 일으켜 운전자에게 부담을 줄 수 있다.

교통사고 원인에 대한 심도 있는 연구가 진행됨에 따라 사람들은 교통사고의 주요 원인이 운전자가 안전하지 않는 운전 상태에 있기 때문이라는 것을 인식하게 됐다. 안전하지 않은 운전 상태에는 적어도 두 가지 유형이 포함된다. 하나는 운전 시 피로로 인해 반응이 지연되는 경우이고, 다른 하나는 운전 시 피로하지는 않지만 운전자의 주의력이 합리적으로 분배되지 못하는 경우이다. 또 예를 들면 운전자 자신의 운전경험 부족, 잘못된 운전습관, 초보 운전자의 과도한 긴장 등이 있는데, 이 경우에는 주의해야 할 부분에 주의를 기울이지 못해 교통사고가 발생한다. 또 예를 들면 광고판 등에 시선을 빼앗기거나 문자 메시지를 보거나 다른 생각을 하는 등의 상황이 있을 수 있다. 운전자의 안전한 운전상태를 검측하는 종래 기술은 두 번째 유형의 안전하지 않은 운전 상태를 검측해 내기 어렵다.

다년간의 연구가 진행되면서 운전자의 시선 방향(운전자 자신과 마주보는 응시지점이 가리키는 방향)과 도로 장면 및 도로 교통사건과의 관계에 대한 사람들의 이해가 점점 깊어지고 있다. 정상적인 운전 상태에서 운전자는 다른 도로 장면과 도로 교통사건 중에서 합리적인 주의력 분산과 전환을 진행할 수 있어야 한다. 만약 운전자가 언제든지 출현할 수 있는 중요한 교통사건에 신속하게 반응하지 못한다면 위험하거나 비정상적인 운전 상태에 처한 것으로 볼 수 있다.

본 발명에서는 원리가 간단하고 구현하기 쉬우며 직접적으로 운전자의 진실한 운전 상태를 반영할 수 있고 운전 안전성이 향상된 운전자의 안전한 운전상태 검측 방법 및 장치를 제안함으로써, 종래 기술에 존재하는 문제를 해결하고자 한다.

상기 기술문제를 해결하기 위해 본 발명에서는 아래와 같은 기술방안을 채택했다.

운전자의 안전한 운전상태 검측 방법은 아래 단계를 포함한다.

(1) 실시간으로 운전자의 현재 시선방향을 검측하고 차량 운전 중 운전자의 전방 시야 중의 장면 이미지 신호를 수집한다.

(2) 시각 주의력 계산 모형을 기반으로, 수집한 운전자 전방 시야 중 장면 이미지 신호를 처리해 현재 운전자 전방 시야 장면에서 운전자 기대 주의력 분포를 얻는다.

(3) 상기 단계 (1)에서 실시간 검측한 운전자의 현재 시선 방향과 상기 단계 (2)에서 계산해 얻은 운전자 기대 주의력 분포를 통합 분석한 후, 운전자가 현재 정상적인 운전 상태에 있는지 및 돌발적인 도로 교통사건에 대해 즉각적이고 적절한 반응을 보일 수 있는지를 판단한다.

더 나아가, 정량 방식을 이용해 운전자가 즉각적으로 현재 장면 중의 중요 교통사건에 반응할 수 있는지 여부를 평가한다. 임의 한 시점에서 정량 평가는 구체적으로 운전자의 시선이 장면 중 중요한 교통사건이 위치한 구역에 진입했는지 및 진입 비율과 신속정도를 판단하는 것이다.

더 나아가, 한 대의 시선 포착 설비를 이용해 운전자의 현재 시선방향을 실시간으로 검측하고, 한 대의 차량 전방 시야 카메라를 통해 운전 중 운전자의 전방 시야 내에서의 장면 이미지 신호를 실시간으로 수집한다.

더 나아가, 상기 단계 (2)에 있어서 의미 있는 교통사건과 현저성에 기반한 운전자 주의력 계산 방법을 채택하며, 구체적으로는 아래 단계를 포함한다.

(6.1) 이미지 수집을 가동하고, 현재 m × n 크기의 전방 시야 이미지를 저장하고;

(6.2) 3개의 동적 배열 P1, P2, P3을 저장하는 데 사용하는 크기가 m × n인 3개의 행렬 Map1, Map2, Map3을 생성하고; 전방 시야 이미지는 3가지 유형의 운전자 응시구역을 포함하는데, 첫 번째 유형은 교통사건 관련 응시구역 R_O이고, 두 번째 유형은 전방 시야 이미지 중의 현저구역 R_S이고, 세 번째 유형은 운전자가 항상 응시하는 고정구역 R_OF이고, 상기 행렬 Map1, Map2, Map3은 상기 세 가지 유형의 구역을 저장하는 데 사용하고;

(6.3) 상기 R_OF유형 주의구역 {Rⁱ _OF}를 확정하고, 제1 프레임 주의분포도 Map1;

을 생성하고;

(6.4) 상기 Map1 중의 구역을 순서대로 상기와 같은 구역의 인덱스를 상기 배열 P1에 저장하고, 여기에서

이고;

(6.5) 교통사건 관련 주의구역을 생성하고, 컴퓨터 시각 방법을 사용해 전방 도로, 차량, 행인, 교통표지 등 상기 R_O유형 구역 {Rⁱ _Ok}를 검측 및 추적하고, 여기에서 상기 k=1, 2, 3, 4이고, 각각 전방 도로, 차량, 행인 및 교통표지 등 4가지 유형 구역을 나타내고, 제2 프레임 주의분포도

를 생성하고;

(6.6) 상기 Map2 중의 구역을 순서대로 상기와 같은 구역의 인덱스를 상기 배열 P2에 저장하고, 여기에서

이고;

(6.7) 시각 현저성 알고리듬에 의거해 전방 시야 이미지 I(t)의 현저 구역을 계산하고, 이진화된 구역 {Rⁱ _S}의 현저도 Map3을 생성하고, 여기에서

이고;

(6.8) 상기 Map3 중 구역의 대응하는 인덱스를 순서대로 상기 배열 P3에 저장하고, 여기에서 배열

이다.

더 나아가, 상기 단계 (3)에 있어서, 교통 관련 구역 및 현저성 구역과 운전자 주의력 분배의 상호 작용 과정에 대해 통일된 모형을 구축하는데, 구체적인 프로세스는 아래와 같다.

생리학 중의 뉴런 활성 설명 방법을 이용해, 상기 구역의 "주의가 필요한" 정도를 구역의 활성으로 모형을 구축하고, V로 표시한다. 운전자가 상기 구역에 주의를 기울이지 않을 경우 상기 구역의 활성 V는 일정한 규칙에 따라 상승한다. 운전자가 시선을 특정 구역에 둘 때 상기 구역의 활성은 신속하게 낮아질 수 있고; 상기 제1 유형 구역은 운전자 주의가 필요한 곳으로서, 만약 상기 구역이 장시간 주목을 받지 못할 경우 활성 V가 크게 상승하고, 일정 한계값을 넘어설 경우 경고가 나간다. 상기 제2 유형 구역은 운전자가 장시간 주의하지 않아야 하는 곳으로서, 만약 운전자가 상기 구역에 장시간 주의를 기울일 경우 그 활성 V가 지속적으로 하락하고 일정한 한계값보다 낮아질 경우 경고가 나간다.

제1 유형 구역의 경우, 그 활성은 시간 진화 규칙에 따라 아래 동적 과정과 같은 모형을 구축한다.

(1)

제2 유형 구역의 경우, 그 활성은 시간 진화 규칙에 따라 아래와 같은 모형을 구축한다.

(2)

상기 방정식 (1) 및 (2)에서 알 수 있듯이, 상기 방정식 (1) 중의 활성 V의 초기값이 0 내지 1+μ이거나 상기 방정식 (2) 중의 활성 V의 초기값이 -ν 내지 1일 경우, 상기 활성 V는 0 내지 1+μ이거나 -ν 내지 1 사이에서 진화하고, 여기에서 상기 μ, ν의 값은 1이다.

상기 방정식 (1)에 있어서 상기 V의 진화 초기값은 0이고, 경고 한계값은 1이고; 상기 방정식 (2)에 있어서 상기 V의 진화 초기값은 1이고 경고 한계값은 0이고; 상기 두 방정식에 있어서 상기 α’는 활성 누설인자이고, 본 모형에서 0을 취하고; 상기 Ø,

, β는 모두 특정 구역의 대응하는 양(+)의 진화 계수이고, 상기 Ø,

는 활성의 진화에 대해 억제 작용을 나타내고, 상기 β는 활성 증가의 작용을 나타낸다. 여기에서 상기

, β의 값은 상기 구역의 유형과 관계가 있고, 상기 Ø의 값은 구역 유형과 관계가 있을 뿐만 아니라 현재 운전자 시선이 떨어지는 구역과도 관계가 있다.

더 나아가, 전방 시야 카메라에서 얻은 도로 장면과 시선 포착 설비에서 포착한 운전자 시선 간의 보정을 진행해, 시선 포착 설비에서 포착해 얻은 운전자 시선이 응시하는 장면 타깃의 위치와 상기 타깃이 전방 시야 카메라에서 나타내는 위치가 대응하도록 일치시킨다.

운전자의 안전한 운전상태 검측 장치는 제1 모듈, 제2 모듈, 및 제3 모듈을 포함하는 것을 특징으로 한다.

상기 제1 모듈은 실시간으로 운전자의 현재 시선 방향을 검측하고 차량 운전 중 운전자의 전방 시야 내의 장면 이미지 신호를 수집하고;

상기 제2 모듈은 시각 주의력 계산 모형을 기반으로, 수집한 현재 도로 장면 이미지 신호를 처리해 현재 도로 장면 하에서 운전자 기대 주의력 분포를 얻고;

상기 제3 모듈은 실시간 검측한 운전자의 현재 시선 방향과 계산해 얻은 운전자 기대 주의력 분포를 통합 분석한 후, 운전자가 현재 정상적인 운전상태에 있는지 및 돌발적인 도로 교통사건에 즉각적이고 적절한 반응을 보일 수 있는지를 판단한다.

더 나아가 상기 시선 포착 설비는 안구 추적기이다.

종래 기술과 비교할 때 본 발명은 다음과 같은 장점을 가지고 있다.

1. 본 발명의 검측 결과는 운전자의 진실한 안전 운전상태를 직접적으로 반영할 수 있다. 운전자의 안전운전 상태와 운전자 현재의 주의력 분포 및 반응 민감도는 직접적인 관계가 있으며, 기타 일부 생리적 지표는 현재 정신 상태를 표현하는 것이기 때문에 안전운전 상태와 간접적인 대응관계를 나타낸다. 본 발명은 운전자의 주의력 분배 모드와 주의력 전환 방식을 통해 운전자가 현재 도로 교통사건에 대해 정확하고 신속한 반응을 보이는지를 직접적으로 판단하며, 검측 결과는 현재 운전자의 운전 상태에 직접적으로 대응한다.

2. 본 발명은 운전자의 피로로 인한 운전 비정상 상태를 검측할 수 있을 뿐만 아니라, 운전자가 피로하지 않더라도 한눈을 팔거나 기타 사건에 주의력이 분산되는 등의 안전하지 않은 운전 상태 및 특정 약물 복용, 만취, 운전경험 부족 등으로 인해 반응이 느린 경우 등의 안전하지 않은 운전 상태까지 검측할 수 있기 때문에, 전반적으로 안전성을 크게 향상시켜 준다.

3. 본 발명의 검측 결과는 비정상적 운전행위를 즉시 발견할 수 있기 때문에 “비(非)지연”에 속한다. 통상적으로 피로 정도에 대한 검측은 과거 일정 시간 동안 운전자의 운전 특성 또는 생리적 지표에 대한 검측이 필요하며, 얻은 결론은 앞서 일정 시간 동안 약간의 사건에서 운전자가 적합한 운전을 했는지 여부를 판단하는 것이기 때문에(사실상, 종래 방법의 경우 운전자는 피로해지기 전 상당한 시간 동안 이미 안전하지 않은 운전 상태에 있는데, 이러한 상법은 지연 검측에 속함), 현재 발생하고 있는 돌발적인 도로 교통사건에 대해 즉각적으로 반응하거나 환기시키기 어렵다.

4. 본 발명의 검측 결과는 더욱 정확하다. 본 발명에서는 피로 상태 또는 운전자의 특정 사건에 대한 반응을 이용해 운전자의 운전 상태를 간접적으로 판단하지 않기 때문에, 검측 결과는 현재 도로 교통사건에 대한 운전자의 판단과 처리능력을 더욱 정확하게 반영할 수 있다. 정상적인 운전 상태 하에서 운전자는 반드시 현재 도로 장면 중의 현저 구역에 대해 주의력 분배와 투영을 진행해야 하기 때문에, 실제 주의력 상황과 기대 주의력 상황 간의 비교를 통해 운전자의 운전 상태를 효과적으로 판단할 수 있다. 또한 운전자의 주의력에 대한 실측과 장면 주의력에 대한 계산은 모두 아주 높은 정밀도를 가지고 있기 때문에, 운전자의 정신 상태를 정밀하고 정확하게 판단할 수 있다.

5. 본 발명의 검측 과정은 비(非)접촉식이다. 본 발명의 검측 방법과 검측 과정에는 운전자에 대한 추가적인 자극이 필요하지 않기 때문에 운전자의 정상적인 운전행위를 방해하지 않는다. 또한 본 발명의 검측 과정에서는 운전자와의 직접적인 접촉을 통해 운전자의 생리적 계수를 측정하지 않기 때문에, 측정 과정이 비접촉식이라 할 수 있다.

도 1은 본 발명 방법을 응용한 후의 원리도이고;
도 2는 본 발명 장치를 응용한 후의 프레임 구조도이고;
도 3은 본 발명에 있어서 구체적인 응용 실례 중 구체적인 사용 상태 하에서의 실제 장면 설명도이고;
도 4는 실제 장면 중 시스템 전방 시야 카메라의 시야 및 세 가지 주의분포구역 설명도이고;
도 5는 본 발명에 있어서 구체적인 응용 실례 중 시스템 보정을 진행하는 흐름도이고;
도 6은 본 발명에 있어서 구체적인 응용 실례 중 의미 있는 교통사건과 현저성을 가진 운전자 주의력 계산 흐름도이고;
도 7은 본 발명에 있어서 구체적인 응용 실례 중 운전자 안전 상태 분석을 진행하는 흐름도이고;
도 8은 본 발명에 있어서 구체적인 응용 실례 중 모형 계수 훈련을 진행하는 흐름도이고;
도 9는 본 발명에 있어서 구체적인 응용 실례 중 장면이 다른 구역의 활성 정도에 대한 분석을 진행한 비교도이다.

아래에서는 도면과 구체적인 실시예를 통해 본 발명을 더욱 상세하게 설명하였다.

본 발명은 운전자 시선 추적과 운전자 기대 주의력 계산을 융합해 운전자의 안전한 운전상태를 검측하는 방법에 관한 것이다. 본 발명에서는 먼저 시선 포착 설비를 이용해 현재 운전자의 시선을 추적한다. 그 후 장면 이해 기술과 주의력 계산 기술을 이용해 차량 카메라가 촬영한 실시간 전방 장면 이미지에 대해 타깃 이해와 현저성 계산을 진행하고, 현재 장면에서 운전자가 주의해야 하는 또는 주의할 가능성이 있는 교통 관련 사건의 구역과 사람의 주의를 끄는 현저 구역을 얻는다. 마지막으로 시선 포착 설비에 실시간으로 기록된 운전자 실제 주의력과 장면 이해 및 주의력 계산 모형을 이용해 계산해 얻은 현재 장면을 기반으로 예측한 이상적 주의력 분포를 융합해 분석하고, 나아가 운전자의 현재 주의력 분배가 합리적인지를 판단해 현재 운전자의 운전 상태 및 돌발 교통사건에 대한 운전자의 반응 능력에 대해 정확한 판단을 내린다.

도 1에서 도시하는 바와 같이, 본 발명에 있어서 운전자의 안전한 운전상태 검측 방법은 시선 추적과 주의력 계산을 함께 통합 사용하는 검측 방법으로서 아래 단계를 포함한다.

(1) 실시간으로 운전자의 현재 시선방향을 검측하고 차량 운전 중 전방 도로의 장면 이미지 신호를 수집한다. 본 실시예에 있어서, 한 대의 시선 포착 설비를 이용해 운전자의 현재 시선방향을 실시간으로 검측하고, 한 대의 차량 전방 시야 카메라를 통해 운전 중 전방 도로의 장면 이미지 신호를 실시간으로 수집한다.

(2) 시각 주의력 계산 모형을 기반으로, 수집한 현재 도로 장면 이미지 신호를 처리해 현재 도로 장면 하에서 운전자 기대 주의력 분포를 얻는다(예를 들어 교통사건 관련 구역과 현저성 구역의 검측 및 추적). 본 실시예에 있어서, 한 대의 현재 도로 장면의 기대 주의력 분포를 계산하는 데 사용하는 삽입식 컴퓨터 시스템을 설치하고, 상기 삽입식 컴퓨터는 차량 전방 시야 카메라가 수집한 현재 도로 장면을 처리해 현재 도로 장면에서 운전자 기대 주의력 분포를 얻는다.

(3) 단계 (1)에서 실시간 검측한 운전자의 현재 시선방향과 단계 (2)에서 계산해 얻은 운전자 기대 주의력 분포를 통합 분석한다. 구체적으로 설명하면, 정량 방식으로 운전자가 현재 장면 중의 중요 교통사건에 대해 즉각적으로 반응을 일으키는지 여부를 평가한다. 예를 들어 임의 한 시점에서 정량 평가는 구체적으로 운전자의 시선이 장면 중의 중요한 교통사건이 위치한 구역에 진입했는지 및 진입 비율과 신속정도를 판단하는 것이다. 상기 시점의 상기 평가결과는 현재 운전자가 정상적인 운전 상태에 있는지 및 돌발적인 도로 교통사건에 대해 즉각적으로 적절한 반응을 보일 수 있는지를 판단하는 데 사용한다.

도 2에서 도시하는 바와 같이, 본 발명의 실제 응용에 있어서 본 발명의 장치는 제1 모듈, 제2 모듈, 및 제3 모듈을 포함하는 것을 특징으로 한다.

상기 제1 모듈은 실시간으로 운전자의 현제 시선 방향을 검측하고 차량 운전 중 운전자의 전방 시야 내의 장면 이미지 신호를 수집하고;

상기 제3 모듈은 실시간 검측한 운전자의 현재 시선 방향과 계산해 얻은 운전자 기대 주의력 분포를 융합 분석한 후, 운전자가 현재 정상적인 운전 상태에 있는지 및 돌발적인 도로 교통사건에 대해 즉각적이고 적절한 반응을 보일 수 있는지를 판단한다.

여기에서 제1 모듈은 안구 시선을 포착 및 기록하는 시선 포착 설비, 전방 도로 장면을 포착하는 전방 시야 카메라, 및 삽입식 컴퓨터(주로 운전자 시선 분석, 교통사건 관련 구역 계산 및 본 발명에 의거해 운전자 정신 상태 평가에 사용)를 포함한다. 시선 포착 설비는 유사 운전 패널의 적절한 위치에 설치해 고정함으로써, 정상적으로 운전자 시선을 포착할 수 있도록 보장한다(운전자 시선 포착 성능을 향상시키기 위해, 다른 실시예에서는 다수개 카메라를 사용할 수도 있음). 차량 전방 시야 카메라는 차량 전방 윈드실드 내측 꼭대기 단부에 설치하고, 제1 광축이 차체와 평행을 이루고 카메라가 전방을 향하도록 설치하고, 차량 전방 도로 정보를 촬영하는 데 사용하고, 전방 시야 카메라는 운전석 상방의 차량 꼭대기 아래에 고정 설치할 수 있다.

본 발명에서는 시선 포착 설비(예를 들어 안구 추적기)에서 얻은 운전자 실측 주의력 분포와 차량 카메라 및 주의력 계산 모형을 기반으로 얻은 운전자 주의력 분포를 비교해야 하기 때문에, 전방 시야 카메라에서 얻은 도로 장면과 시선 포착 설비에서 포착한 운전자 시선 간에 보정을 진행해야 한다. 따라서 시선 포착 설비에서 포착해 얻은 운전자 시선이 주시하는 장면 타깃의 위치가 상기 타깃이 카메라 내에서 나타내는 위치에 대응해 일치하도록 만들어야 한다. 본 발명에서 초기 보정 과정의 흐름은 도 5에서 도시하는 바와 같다. 본 실시예에서 보정의 구체적인 단계는 아래와 같다.

(4.1) 정차 상태에서 차량(전방 시야 카메라) 전방 일정 거리(예를 들어 20미터 이상) 지점에 인공적으로 일부 물체를 놓는데, 상기 물체는 현저하고 설명하기 쉬운 특징(예를 들어 빨간색의 구형 물체)을 가진 것이어야 하며, 상기 물체와 장면 내에서 고유의 기타 원거리 지점 물체를 보정 기준으로 삼는다.

(4.2) 정차 상태에서 보조자는 전방 카메라 촬영 내용을 표시하는 화면의 특정한 하나의 물체(점)를 지정함으로써 운전자의 주의를 끈다. 여기에서 시선 포착 설비가 기록하는 운전자의 해당 시점의 시선방향을 기록한다.

(4.3) 주목 받는 물체의 위치 또는 주목 받는 물체 자체를 바꿔 상기 단계 (4.2)를 반복한다. 예를 들어 통상적으로 5~7회 각기 다른 물체(점)를 바꿔야 한다.

(4.4) 보정 결과에 대한 검증을 진행한다. 여기에서 장면 중 각기 다른 물체(점)로 운전자의 주의를 끌고, 시선 포착 설비가 측정한 운전자 시선을 전방 시야 카메라의 실시간 이미지에 표시하고, 상기 물체(점)와 검측한 시선 위치가 겹치거나 근접하는지 관찰 및 기록한다. 만약 오차가 사전에 설정한 기준(예를 들어 1 내지 1.5도보다 작음)을 만족하면 초기 보정 과정을 종료한다. 그렇지 않을 경우에는 단계 (4.2) 내지 (4.3)을 반복하고 다시 보정을 진행한다. 프로세스 중에 존재하는 일부 계수 및 계수 k, E 등은 실험을 기반으로 확정할 수 있다. 본 방법은 통상적으로 5점을 이용해 보정하거나 또는 9점을 이용해 계속해서 보정을 진행하기 때문에, 여기에서의 k는 5 또는 9일 수 있다. 보정 결과가 기준에 부합하지 않을 경우 보정점의 개수를 추가할 수 있다. 여기에서의 E는 본 방안에 있어서 운전자의 시선 허용오차(θ=1 내지 1.5도)에 대응하는 디스플레이의 편차 거리를 기반으로 확정하는데, E

D*cos(θ)에 의거할 수 있고, 여기에서의 D는 운전자의 안구 거리 조정 및 테스트 시 사용하는 디스플레이(안구 추적기를 장착하는 지점)와의 거리를 말한다.

운전자 안구 높이와 카메라의 설치 높이가 다르기 때문에 전방 카메라 시야와 운전자 안구가 바라보는 실제 시야에 일정한 오차가 있을 수 있다. 구체적으로 설명하면, 운전자 입장에서 차량 전방 동일 시야각 하의 다른 물체(점)는 거리에 따라 카메라 시야 내에서 다른 시야각을 발생시킬 수 있다. 계산해 보면, 설치 높이차를 20cm 이내로 제어할 경우 차량 전방 20m 외의 다른 물체 간 시야각 오차를 0.6도 이내로 제어할 수 있는데, 이것은 시선 포착 설비가 낼 수 있는 정밀도(약 1도)보다 낮다. 상기 초기 보정 과정을 통해, 운전자가 매 시점마다 주시하는 물체가 전방 이미지 내에서 나타나는 위치와 시선 포착 설비가 관측한 상기 시점의 운전자의 시선을 하나씩 대응시킬 수 있다. 따라서 임의 시점에 시선 포착 설비에서 관측한 운전자 시선 방향에 의거해 운전자가 주시하는 전방 물체가 전방 시야 이미지 중에서 나타내는 구체적인 위치를 추측해낼 수 있고, 여기에서 운전자가 주의를 기울이는 시제 장면 중의 위치를 알 수 있다. 보정의 편의성과 정확성을 보장하기 위해 전방 시야 카메라의 왜곡 정도를 더 제어하거나, 또는 알고리즘을 통해 전방 시야 카메라에서 촬영한 이미지에 대해 왜곡 제거 처리를 진행할 수도 있다.

상기 보정 방법은 운전자 시선과 이미지 좌표계를 함께 바로 보정하는 방법이다.

다른 실시예에서 분포 보정법을 사용할 수도 있으며 그 단계는 아래와 같다.

(5.1) 먼저 사람 안구 시선과 국제좌표계를 보정한다. (a) 차량 전방 20m 밖에 다수개 좌표물을 설치하고 그 위치 {Pi}를 기록한다. (b) 사람 안구가 상기 물체를 주시할 때의 시선 방향 {Di}을 각각 기록한다. (c) 통상적으로 사용하는 "장정유( Zhang Zhengyou) 방법"에 의거해 양자 간의 보정 결과를 계산한다.

(5.2) 이미지 좌표계와 국제좌표계를 보정하는데, 이것은 종래 기술로서 양자 간의 보정 결과를 계산한다.

(5.3) 단계 (5.1)과 단계 (5.2)의 결과에 의거해, 통상적으로 사용하는 보정방법을 이용해 최종적인 사람 안구 시선과 이미지 좌표계 간의 변환 행렬을 얻을 수 있다.

상기 단계 (2)에서는 의미 있는 교통사건과 현저성을 기반으로 한 운전자 주의력 사전평가 방법을 사용했다. 통상적으로 운전자 주의를 끄는 구역에는 두 가지 유형이 포함된다. 하나는 환경 중의 상당히 현저한 구역인데, 상기 구역의 현저성은 구역 자체의 특수성(예를 들어 구역에 현저한 색깔, 무늬, 형상 등이 있음)으로 결정되는 것으로서 교통 운전사건과 무관할 수 있다. 다른 하나는 현저 구역이 운전과 관련한 교통사건으로 인한 것이다. 예를 들어 전방의 움직이는 차량, 행인, 교통표지, 계기판 등이 있다. 상기 구역에 대응하는 교통사건과 운전은 밀접한 관계를 가지는 것으로서, 정상적인 운전 상태에 있는 운전자가 반드시 긴밀한 주의를 기울여야 하는 구역이다. 두 번째 유형의 운전자 주의 구역에는 두 가지가 포함된다. 첫 번째는 동적인 운전자 주의 구역으로서, 예를 들어 전방에서 움직이는 차량, 행인, 교통표지, 도로 등이 있는데, 상기 구역은 시간이 흐름에 따라 차량 자체와 상대적인 운동을 일으킨다. 두 번째는 정적인 운전자 주의 구역으로서, 예를 들어 백미러 구역, 계기판 구역 등이 있는데, 상기 구역은 차량과 상대적일 운동을 일으키지 않으며, 이미지 중의 구역 위치가 고정되어 변하지 않는다.

본 발명에서는 운전자 주의력의 가능 분포 구역을 예측해야 하므로, 실측한 운전자 주의력과 비교를 진행할 수도 있다. 도 6에서 도시하는 바와 같이, 의미 있는 교통사건과 현저성을 가진 운전자 주의력 계산 방법을 기반으로 하며, 과정은 수집한 현재 전방 시야 이미지를 기반으로 운전자 주의력 평가 및 계산을 진행하는 것이다. 상기 계산 결과는 운전자 주의력에 대한 가능한 분포 구역의 예측이기 때문에, 실측한 운전자 주의력과 비교하는 데 사용해 운전자가 안전한 운전 상태에 있는지 여부를 판단할 수 있다. 그 구체적인 단계는 아래와 같다.

(6.1) 이미지 수집을 가동하고 현재 m × n 크기의 전방 시야 이미지를 저장한다. 본 방안에서는 통상적으로 사용하는 1024 × 768의 이미지를 사용하고;

(6.2) 3개의 동적 배열 P1, P2, P3을 저장하는 데 사용하는 크기가 m × n인 3개의 행렬 Map1, Map2, Map3을 생성한다. 도 4에서 도시하는 바와 같이, 전방 시야 이미지는 3가지 유형의 운전자 응시구역을 포함하는데, 첫 번째 유형은 교통사건과 관련한 응시구역 R_O이고, 두 번째 유형은 전방 시야 이미지 중의 현저구역 R_S이고, 세 번째 유형은 운전자가 항상 주시하는 고정구역 R_OF이고, 행렬 Map1, Map2, Map3은 상기 세 가지 유형의 구역을 저장하는 데 사용하고;

(6.3) R_OF구역이 정적이기 때문에 사전에 확정한 보정결과에 의거해 R_OF유형 주의구역 {Rⁱ _OF}를 확정하고, 제1 프레임 주의분포도 Map1을 생성할 수 있고,

이다. 전방 시야 카메라를 차에 고정 설치한 후에는 전방 시야 이미지 중에 상기 고정 응시구역을 아주 쉽게 표시할 수 있다.

(6.4) Map1 중의 구역을 순서대로 상기와 같은 구역의 인덱스를 배열 P1에 저장하고, 여기에서

이다. 후속적인 사용에 있어서, P1 중 임의 하나의 원소에 의거해 Map1 중 대응하는 구역을 찾을 수 있다.

(6.5) 교통사건 관련 주의구역을 생성한다. 종래의 컴퓨터 시각 방법(본 방법에서는 HOG+SVM 방법을 사용해 장면 중의 물체를 검측함)을 사용해 전방 도로, 차량, 행인, 교통표지 등 R_O유형 구역 {Rⁱ _Ok}을 검측 및 추적하고, 여기에서 k=1, 2, 3, 4이고, 각각 전방 도로, 차량, 행인 및 교통표지 등 4가지 유형 구역을 나타내고, 제2 프레임 주의분포도

를 생성한다.

(6.6) Map2 중의 구역을 순서대로 상기와 같은 구역의 인덱스를 배열 P2에 저장하고, 여기에서

이다. 후속적인 사용에 있어서, P2 중 임의 하나의 원소에 의거해 Map2 중 대응하는 구역을 찾을 수 있다.

이다.

(6.8) Map3 중 구역의 대응하는 인덱스를 순서대로 배열 P3에 저장하고, 여기에서 배열

이다. 후속적인 사용에 있어서, P3 중 임의 하나의 원소에 의거해 Map3 중 대응하는 구역을 찾을 수 있다.

운전자의 안전 운전을 위협하는 주요 두 가지 요소는 다음과 같다. 하나는 운전자의 생리적 피로로서 졸음, 만취, 특정 약물 복용으로 인한 반응 지연 및 수면 상태 진입이 포함되며, 주의해야 하는 교통사건에 대해 효과적으로 주의를 기울이지 못한다. 다른 하나는 운전자가 생리적으로 반응이 느려지는 상태에 있지 않으나, 운전자가 특정한 이유로 인해 주의력을 합리적으로 분배할 수 없는 경우이다(예를 들어 옥외광고의 문자, 이미지 등과 같이 운전자가 주의하지 말아야 할 사건에 장시간 과도한 주의를 기울인 경우 또는 휴대폰의 문자에 장시간 주의를 기울인 경우).

따라서 교통사건 관련 구역에 대해 검측과 추적을 진행하며, 추적한 후 만약 상기 구역에 장시간 주의력을 기울이지 않는다면, 이것은 운전자가 상기 지점을 정확하게 주의하지 않았다는 것을 말한다. 따라서 상기 구역의 "주의가 필요한" 정도가 높아지게 되고 일정 한계값에 도달하면 시스템에서 경고가 울려야 한다. 만약 운전자의 주의 시선이 상기 구역에 머물렀다면, 상기 "주의가 필요한" 정도가 현저하게 낮아져야 한다.

현저성 구역(교통사건과 무관한 구역)에 대해서는 비슷하지만 약간 다른 처리가 필요하다. 먼저 현저성 구역에 대해 검측과 추적을 진행한다. 운전자가 상기 구역에 주의를 기울인다는 것은 운전자가 관심 구역에 반응할 수 있다는 것을 의미하며, 이것은 운전자가 심각한 생리적 피로 상태에 있지 않다는 것을 설명한다. 그러나 운전자가 장시간 상기 구역을 주시한다면 마찬가지로 문제가 될 수 있으며, 이것은 운전자가 장시간 교통사건과 무관한 것(예를 들어 광고판의 문자와 미녀 사진)에 주의력을 빼앗겼다는 것을 의미한다. 여기에서 상기 구역의 "주의가 필요한" 정도가 계속 낮아져 일정한 하한값에 도달할 경우 마찬가지로 경고가 나가야 한다.

본 발명의 작업 흐름과 결산 과정(도 7에서 도시하는 바와 같음)을 더욱 상세하게 설명하기 전에, 먼저 본 발명에서 구축한 모형과 계수 설정을 소개하고자 한다.

문제 모형 제작: 본 발명에서는 교통 관련 구역 및 현저성 구역과 운전자 주의력 분배의 상호 연동 과정에 대해 통일된 모형을 제작했다. 먼저, 생리학 중의 뉴런 활성 설명 방법을 이용해, 상기 구역의 "주의가 필요한" 정도를 구역의 활성으로 모형을 구축하고, V로 표시한다. 운전자가 상기 구역에 주의를 기울이지 않을 경우 상기 구역의 활성 V는 일정한 규칙에 따라 상승한다. 운전자가 시선을 특정 구역에 둘 때 상기 구역(및 기타 관련 구역)의 활성은 신속하게 낮아질 수 있다. 예를 들어, 장면 중의 교통사건 관련 구역("제1 유형 구역"이라고 부름)은 운전자 주의가 필요한 곳이다. 만약 상기 구역이 장시간 주목을 받지 못할 경우 활성 V가 크게 상승하고, 일정 한계값을 넘어설 경우 경고가 나간다. 현저하나 교통사건과 무관한 구역("제2 유형 구역"이라고 부름)은 운전자가 장시간 주의하지 않아야 하는 곳이다. 만약 운전자가 상기 구역에 장시간 주의를 기울일 경우 그 활성 V가 지속적으로 하락하고 일정한 한계값보다 낮아질 경우 경고가 나간다. 상기 모형에 있어서, 시스템 경고의 전제는 모든 교통사건 관련 구역의 활성이 그에 상응하는 한계값보다 낮고, 모든 교통사건과 무관한 현저 구역의 활성이 특정 한계값보다 높다는 것이다. 시스템 경고 후 모든 구역의 활성 V는 그 초기 위치로 돌아간다. 제1 유형 구역에 있어서, 그 활성은 시간 진화 규칙에 따라 아래와 같은 하나의 동적 과정 모형을 구축한다.

(1)

(2)

상기 방정식 (1) 및 (2)에서 알 수 있듯이, 방정식 (1) 중의 활성 V의 초기값이 0 내지 1+μ이거나 방정식 (2) 중의 활성 V의 초기값이 -ν 내지 1일 경우, 활성 V는 0 내지 1+μ이거나 -ν 내지 1 사이에서 진화한다. 여기에서 μ, ν의 값은 1이다.

계수 설정: 방정식 (1)에 있어서 V의 진화 초기값은 0이고, 경고 한계값은 1이다. 방정식 (2)에 있어서 V의 진화 초기값은 1이고 경고 한계값은 0이다. 상기 두 방정식에 있어서 a는 활성 누설인자이고, 본 모형에서 0을 취한다. Ø,

, β는 모두 특정 구역의 대응하는 양의 진화 계수이다. Ø,

는 활성의 진화에 대해 억제 작용을 나타내고, β는 활성 증가의 작용을 나타낸다. 여기에서

, β의 값은 상기 구역의 유형과 관계가 있고, Ø의 값은 구역 유형과 관련이 있을 뿐만 아니라 현재 운전자 시선이 머무는 구역과도 관계가 있다. 이것은 만약 운전자가 특정한 의미 있는 구역에 주의를 기울일 경우 운전자의 정신 상태가 현재 시점에서 양호함을 의미하므로 다른 구역의 활성도 억제되어야 한다는 것을 고려한 것이다. 현재 활성 분석을 진행하는 구역이 i이고 운전자 시선이 구역 j에 머무른다고 가정하면, 현재 구역에 대응하는 Ø의 값은 아래 식에 따라 얻을 수 있다.

(3)

여기에서의 함의하는 바는, 즉, 운전자 시선이 투영되지 않을 경우 Ø은 0이며, 이것은 구역의 활성이 계속 증가할 수 있다는 것을 의미한다. 운전자가 특정한 의미 있는 관련 구역에 주의를 기울일 경우, 본 구역의 활성 증가가 억제될 수 있다. 운전자의 시선이 상기 구역에 투영될 경우 구역 활성은 신속하게 낮아진다. Ø의 값 범위는 [0, 1]이다. 여기에서 언급된 계수

, β, Ø _tf 는 모두 훈련을 통해 얻은 것이며, 그 훈련과정은 도 8 및 이후 내용 중의 계수 훈련 부분의 상세한 설명을 참조할 수 있다. 실제 계산에 있어서, 먼저 현재 운전자 시선이 머무는 구역 j를 판단해야 하며, 그런 다음 임의 구역 i의 계수 Ø _tf 를 확정할 수 있다. 방정식 (1) 및 (2) 중의 μ, ν 값은 1이다(각주: μ, ν의 값과 β의 값은 등가 관계에 있으며, β는 하나의 훈련해야 하는 계수이기도 하기 때문에 μ의 구체적인 값은 엄격하게 한정하지 않음).

더 나아가, 비교적 바람직한 실시예에 있어서, 안전운전 상태 검측 모형은 계수 훈련 부분과 온라인 작업 부분을 더 포함할 수 있다. 먼저 안전운전 상태 검측과 모니터링의 온라인 작업 과정은 도 7을 이용해 더욱 상세하게 설명하기로 한다. 시스템의 작업과정은 3개의 주요 단계를 포함한다.

(7.1) 단계 1: 교통사건 관련 구역, 현저성 구역의 검측과 추적

(7.1.1) 교통사건 관련 구역에 대한 검측과 추적을 진행한다.

교통사건 관련 구역은 주로 도로(L), 행인(P), 차량(V), 교통표지판(R), 운전패널(D), 백미러(M)를 포함한다. 본 방법에 있어서 상기 구역 {Rⁱ _Ok}(차선, 차량, 행인, 교통표지 등)의 검측과 추적은 컴퓨터 시각 방법을 사용할 수 있다. 이미지 구역 내에서 계기판, 백미러는 고정되어 변하지 않기 때문에 곧바로 사전에 확정할 수 있으며 구체적인 검측과 추적이 필요하지 않다.

(7.1.2) 현저성 구역의 검측과 추적

현저성 구역은 사람의 주의를 끄는 것에 속할 수 있으나 상기 구역은 사전에 설명, 훈련을 진행할 수 없는 구역이다. 따라서 통상적으로 사용하는 현저성 검측 방법을 이용해 상기 구역에 대한 검측과 추적을 진행할 수 있다.

(7.1.3) 활동 구역 리스트의 구축과 관리

먼저 단계 (6.1 내지 6.8)에서 얻은 3가지 유형의 구역

에 의거한다.

(a) 교통사건과 관련된 구역

을 확정하고;

(b) 현저하고 교통사건 관련된 구역

을 확정하고;

(c) 현저하고 교통사건과 무관한 구역

을 확정한다.

여기에서 (a) 및 (b) 두 유형의 구역은 모두 운전자가 주의를 기울여야 하나 (c) 구역은 운전자가 장시간 주의를 기울이지 않아야 한다. 따라서 (a) 및 (b)는 동일한 유형의 구역으로 볼 수 있으므로 제1 유형 구역 {R_R}으로 부르며, (c) 구역은 제2 유형 구역 {R_S}이라고 부른다. 상기 검측한 구역에 의거한 간략한 활동 구역 리스트는 다음과 같다.

(4)

여기에서 상기 두 유형의 구역은 두 개의 활동 리스트에 대응한다. 특정 구역이 소실된 후에는 상기 원소를 제거하고 후면의 구역 일련번호를 재배열한다. 특정 구역이 새로 출현하면 상기 구역을 상기 유형의 최후면에 배치한다. 시스템은 상기 구역에 대해 검측과 추적을 진행할 때 상기 표에 따라 엄격하게 진행한다.

(7.2) 단계 2: 구역 활성 진화

구역 유형이 다르면 그 진화 계수와 경고 메커니즘도 약간 다르다.

(7.2.1) 제1 유형 구역의 진화 방식은 아래와 같다.

(5)

여기에서 I은 경고 한계값이고, μ의 값은 0.1이다. V의 초기값은 0으로 설정한다. 특정 교통사건 관련 구역의 경우, Ø가 0일 때(운전자가 시선을 상기 구역 또는 관련 구역에 두지 않을 때), 상기 구역의 활성 V는 초기값에서 시작해 1+μ의 방향으로 점점 커진다. 만약 V>1이면, 시스템은 경고를 내보낸다. 이것은 교통사건 관련 중요 구역에 있어서 운전자가 장시간 상기 구역(또는 관련 구역)을 주시하지 않을 경우 운전자의 현재 주의력을 집중시키기 위해 시스템에서 경고를 내보낼 수 있다는 것을 의미한다.

(7.2.2) 제2 유형 구역의 경우, 제1 유형의 현저하고 교통사건 관련 구역과 동일한 진화 방식을 채택한다.

(6)

상기 구역 활성의 진화 초기값은 1이다. 상기 식에 있어서 0은 경고 한계값이고 v의 값은 0.1이다. 특정한 현저하고 교통사건 무관 구역은 운전자가 장시간 주시하지 않아야 하는 곳이다. 만약 운전자가 장시간 상기 구역을 주시하면 Ø값이 비교적 크며 이것은 활성 V가 계속 낮아진다는 것을 의미한다.

(7.3) 단계 3: 구역 활성이 과도하게 강하거나 약하면 경보를 울린다.

경보의 준칙은 다음과 같다. 즉, 임의 교통사건과 관련한 구역의 경우, 만약 그 활성 정도값이 1보다 크면 경보가 울린다. 임의 현저성 구역과 교통사건과 무관한 구역의 경우 그 활성 정도값이 0보다 작으면 경보가 울린다.

상기 진화 과정에 있어서, 일련의 훈련이 필요한 계수는Ø _if ,

_i , β _i 이다. 본 발명에서는 최적화된 방법을 이용해 계수 훈련과 학습을 진행한다. 아래에서는 도 8을 이용해 계수 훈련 과정을 설명하고자 한다.

단계 1: 훈련 샘플을 수집한다. 본 발명의 실시예에서는 10명의 정상적인 운전자로부터 각 1시간 동안의 운전 데이터를 수집했다. 훈련 데이터의 수집과 시스템 정상 작동 시 수집한 데이터의 흐름과 포맷은 동일하다(도 7에서 도시하는 바와 같음). 데이터에는 운전자의 안구 움직임 데이터(각 100ms마다 하나의 응시점을 수집) 및 각 하나의 응시점에 대응하는 장면 구역의 활동 리스트(옥식 (4) 참조)가 포함되며, 상기 활동 리스트는 도 6에서 도시한 상기 Map 중의 구역에서 곧바로 찾을 수 있다.

단계 2: 데이터 진화 계산을 진행한다. 활동 리스트 및 현재 계산한 계수에 의거해 각 구역의 상기 시점의 활성값을 계산한다.

단계 3: 계수를 반복해 최적화한다. 상기 진화의 활성값 및 계산한 계수를 최적화 타깃과 제약 조건에 대입한다.

최적화 타깃:

제약:

현재 계수가 제약을 만족시키고 최적화 타깃에 도달하는지 검사한다. 만약 그러하다면 반복을 멈추고, 그렇지 않다면 종래의 최적화 방법에 의거해 다음 계수

를 계산해 낸다. 여기에서의 최적화 방법은 상업용 툴키트(예를 들어 유전적 알고리듬, SA(simulated annealing) 알고리듬 등을 포함하나 이에만 한정되지 않음)를 사용해 상기 최적화 문제에 대한 답을 구한다.

본 발명의 하나의 구체적인 응용실례에 있어서, 제1 유형 구역 {R_R}은 2가지 고정된 교통사건 관련 구역인 계기판 구역(D)와 백미러 구역(M) 및 4가지 고정되지 않은 교통사건 관련 구역인 차선 구역(L), 전방 차량 구역(V), 전방 행인 구역(P) 및 교통표지 구역(R)을 포함한다. 제2 유형 구역 {R_S}는 더 세분화하지 않으며 현저하고 교통사건과 무관한 구역(S)로 통칭하는데, 본 실시예에서 상기 구역은 길가에 잇는 광고판 구역이다. 또한, 상기 모든 구역의 여집합(C)도 하나의 구역으로 간주한다.

계수 최적화 단계에서 상기 단계에 의거해 계수에 대한 답을 얻는다. 자유계수가 비교적 많고, 모형 중 활성 진화 과정의 활성 증가 계수와 활성 억제의 과정이 역방향이고, 모두 자유 계수이기 때문에, 일반성으로 간주할 수 있고 공식 (8) 제약에 위배되지 않는 상황 하에서 활성 계수 β를 고정한다.

따라서 최적화를 통해 구하는 답의 검색 공간이 크게 감소한다.

툴키트에 의거해 구하는 계수는 아래와 같다.

다른 구역 유형 간의 영향 행렬 Ø _if 은 아래와 같다.

_i 의 계수는 아래와 같다.

상기 최적화 방법을 통해 얻은 훈련 계수가 있으면 시스템은 작업을 진행할 수 있다. 여기에서 하나의 구체적인 실례를 통해 시스템의 유효성 설명을 진행한다.

실례: 고속도로에서 10초간 운전하는 과정에 있어서, 동시에 전방 시야 이미지(초당 10프레임)와 운전자의 응시점(100ms당 1회 수집)을 수집한다. 이미지 내용에 의거해 제1 유형 구역에는 도로 구역, 전방 차량 구역(상기 시간 구간 내에는 행인과 교통표지가 없음), 계기판 구역 및 백미러 구역이 포함된다. 제2 유형 구역은 광고판 구역이다. 상기 실시예에 있어서, 운전자의 시선은 계속해서 광고판에 있었다.

상기 구역의 추적 상황과 시선 투영 상황에 의거해 모든 구역의 활성값을 계산할 수 있다. 설명이 필요한 것은, 실제 계산에서 방정식 (1) 및 (2)의 동적 방정식은 연속 형식에서 계차 형식으로 변경해야 한다. 방정식 (1)은 다음과 같이 변경했다.

방정식(2)는 다음과 같이 변경했다.

여기에서 n은 계산한 스텝 수이고, T는 샘플 수집 시간 간격이고, 여기에서는 0.1s이다. 공식 (10) 또는 (11)의 점화식 및 훈련으로 얻은 계수에 의거해 상기 시점 내에서 임의 한 구역의 활성값을 계산할 수 있다. 아래 제2 유형 구역의 광고판 구역을 예로 들면, 그 활성 진화 상황은 계수를 대입한 후 진화 방정식 (11)을 아래와 같이 작성할 수 있다.

모형에 의거해 억제하고, 상기 구역의 활성 진화 초기값은 V(0)=1이고, 상기 시간 구간 내에서 상기 구역의 활성 변화 상황을 추산할 수 있다. 도 9에서 도시하는 바와 같다. 마찬가지로 제1 유형 구역(차도, 차량, 계기판 및 백미러 등 구역)의 경우, 그 활성값의 진화 상황도 동일한 단계에 의거해 계산을 진행할 수 있다. 도 9는 제2 유형 구역의 광고판 구역 및 제1 유형 구역의 차도 구역, 전방 차량 구역을 사례로 도시한 것으로서 진화 상황을 비교한 것이다. 도 9에서 알 수 있듯이, 26프레임 이미지(2.6s에 해당함)까지 계산한 경우, 광고판 구역의 활성 V가 한계값 이하(V=-0.0030<0)까지 내려갔다. 이것은 운전자가 상가 구역을 너무 오랫동안 주시했음을 설명한다. 이때의 차도 구역, 차량 구역의 활성 V의 값이 각각 정상 범위 내(V=0.4173<1, V=0.3895<1)에 있기는 했으나, 이 때 시스템은 경고를 내보내 운전자가 운전에 집중하고 주의력을 분산시키지 않도록 했다.

구체적인 응용에 있어서, 본 발명 중의 주의력 계산 부분은 삽입식 컴퓨터 내에서 구현할 수 있는데, 예를 들어 DSP 또는 FPGA의 싱글칩 시스템에서 구현할 수 있다. 본 실시예에 있어서, 분리식 시선 포착 설비를 선택해 사용할 수 있는데, 그 중 운전자 시선을 포착하는 데 사용하는 센서 부분은 차량 운전실 내(도 3에서 도시하는 바와 같음)에 장착한다. 시선 포착 설비의 패널 부분은 보정 과정에만 사용하는데, 전방 카메라에서 촬영한 이미지 및 시스템에서 계산한 운전자 응시점을 표시하는 데 사용한다.

상기 내용은 본 발명의 바람직한 실시방식에 관한 것으로서, 본 발명의 보호범위는 상기 실시예에 의해 제한되지 않는다. 본 발명의 구상을 기반으로 한 모든 기술방안은 본 발명의 보호범위에 속한다. 본 발명이 속한 기술분야의 당업자는 본 발명의 원리를 기반으로 약간의 개선과 수정을 진행한 경우 이는 본 발명의 보호범위에 속하는 것으로 간주해야 한다.

Claims

운전자의 안전한 운전상태 검측 방법에 있어서,
실시간으로 운전자의 현재 시선방향을 검측하고 차량 운전 중 운전자의 전방 시야 내의 장면 이미지 신호를 수집하는 단계 (1);
운전자의 생리적 피로 특성, 도로에 대한 차량의 상대적인 운행관계, 또는 자극-반응 모니터링 중 적어도 하나를 기초로 하는 시각 주의력 계산 모형을 기반으로, 수집한 현재 도로 장면 이미지 신호를 처리해 현재 도로 장면에서 운전자 기대 주의력 분포를 얻는 단계 (2);
상기 단계 (1)에서 실시간 검측한 운전자의 현재 시선방향과 상기 단계 (2)에서 계산해 얻은 운전자 기대 주의력 분포를 통합 분석한 후, 운전자가 현재 정상적인 운전상태에 있는지 및 돌발 도로 교통사건에 대해 즉각적이고 적절한 반응을 보일 수 있는지를 판단하는 단계 (3)을 포함하며;
상기 단계 (2)에 있어서 의미 있는 교통사건과 현저성을 기반으로 한 운전자 주의력 계산 방법을 채택하며, 구체적으로
이미지 수집을 가동하고, 현재 m × n 크기의 전방 시야 이미지를 저장하는 단계 (6.1);
3개의 동적 배열 P1, P2, P3을 저장하는 데 사용하는 크기가 m × n인 3개의 행렬 Map1, Map2, Map3을 생성하고, 상기 전방 시야 이미지는 3가지 유형의 운전자 응시구역을 포함하는데, 상기 3가지 유형중 첫 번째 유형은 교통사건 관련 응시구역 R_O이고, 두 번째 유형은 전방 시야 이미지 중의 현저구역 R_S이고, 세 번째 유형은 운전자가 항상 주시하는 고정구역 R_OF이고, 상기 행렬 Map1, Map2, Map3은 상기 세 가지 유형의 구역을 저장하는 데 사용하는 단계 (6.2);
상기 R_OF유형 주의구역 {Rⁱ _OF}를 확정하고, 제1 프레임 주의분포도 Map1
을 생성하는 단계 (6.3);
상기 Map1 중의 구역을 순서대로 상기와 같은 구역의 인덱스를 상기 배열 P1
에 저장하는 단계 (6.4);
교통사건 관련 주의구역을 생성하고, 컴퓨터 시각 방법을 사용해 전방 도로, 차량, 행인, 교통표지 등 상기 R_O유형 구역 {Rⁱ _Ok}을 검측 및 추적하고, 여기에서 상기 k=1, 2, 3, 4이고, 각각 전방 도로, 차량, 행인 및 교통표지 등 4가지 유형 구역을 나타내고, 제2 프레임 주의분포도
를 생성하는 단계 (6.5);
상기 Map2 중의 구역을 순서대로 상기와 같은 구역의 인덱스를 상기 배열 P2
에 저장하는 단계 (6.6);
시각 현저성 알고리듬에 의거해 전방 시야 이미지 I(t)의 현저 구역을 계산하고, 이진화된 구역 {Rⁱ _S}의 현저도 Map3
을 생성하는 단계 (6.7);
상기 Map3 중 구역의 대응하는 인덱스를 순서대로 상기 배열 P3
에 저장하는 단계 (6.8)를 포함하고;
상기 단계 (3)에 있어서, 교통 관련 구역 및 현저성 구역과 운전자 주의력 분배의 상호 작용 과정에 대해 통일된 모형을 구축하고,
여기에서 생리학 중의 뉴런 활성 설명 방법을 이용해, 상기 구역의 "주의가 필요한" 정도를 구역의 활성으로 모형을 구축하고, V로 표시하고, 운전자가 상기 구역에 주의를 기울이지 않을 경우 상기 구역의 활성 V는 일정한 규칙에 따라 상승하고; 운전자가 시선을 특정 구역에 둘 때 상기 구역의 활성은 신속하게 낮아질 수 있고; 상기 제1 유형 구역은 운전자 주의가 필요한 곳으로서, 만약 상기 구역이 장시간 주목을 받지 못할 경우 활성 V가 크게 상승하고, 일정 한계값을 넘어설 경우 경고가 나가고; 상기 제2 유형 구역은 운전자가 장시간 주의하지 않아야 하는 곳으로서, 만약 운전자가 상기 구역에 장시간 응시할 경우 그 활성 V가 지속적으로 하락하고 일정한 한계값보다 낮아질 경우 경고가 나가고;
상기 제1 유형 구역의 경우, 그 활성은 시간 진화 규칙에 따라 아래 동적 과정과 같은 모형을 구축하고,

(1)
상기 제2 유형 구역의 경우, 그 활성은 시간 진화 규칙에 따라 아래와 같은 모형을 구축하고,

(2)
상기 방정식 (1) 및 (2)에서 알 수 있듯이, 상기 방정식 (1) 중의 활성 V의 초기값이 0 내지 1+μ이거나 상기 방정식 (2) 중의 활성 V의 초기값이 -ν 내지 1일 경우, 상기 활성 V는 0 내지 1+μ이거나 -ν 내지 1 사이에서 진화하고, 여기에서 상기 μ, ν의 값은 1이고;
상기 방정식 (1)에 있어서 상기 V의 진화 초기값은 0이고, 경고 한계값은 1이고; 상기 방정식 (2)에 있어서 V의 진화 초기값은 1이고 경고 한계값은 0이고; 상기 두 방정식에 있어서 α’는 활성 누설인자이고, 본 모형에서 0을 취하고; 상기 Ø,
, β는 모두 특정 구역의 대응하는 양의 진화 계수이고, 상기 Ø,
는 활성의 진화에 대해 억제 작용을 가지고, 상기 β는 활성 증가의 작용을 가지고, 여기에서 상기
, β는 값과 상기 구역의 유형은 관계가 있고; 상기 Ø의 값은 구역 유형과 관련이 있을 뿐만 아니라 현재 운전자 시선이 떨어지는 구역과도 관계가 있는 것을 특징으로 하는 운전자의 안전한 운전상태 검측 방법.
제 1항에 있어서,
정량 방식을 이용해 운전자가 즉각적으로 현재 장면 중의 중요 교통사건에 반응할 수 있는지 여부를 평가하고,
임의 한 시점에서 정량 평가는 구체적으로 운전자의 시선이 장면 중의 중요한 교통사건이 위치한 구역에 진입했는지 및 진입 비율과 신속정도를 판단하는 것을 특징으로 하는 운전자의 안전한 운전상태 검측 방법.
제 1항에 있어서,
한 대의 시선 포착 설비를 이용해 운전자의 현재 시선방향을 실시간으로 검측하고, 한 대의 차량 전방 시야 카메라를 통해 운전 중 운전자의 전방 시야 내에서의 장면 이미지 신호를 실시간으로 수집하는 것을 특징으로 하는 운전자의 안전한 운전상태 검측 방법.
삭제
삭제
제 3항에 있어서,
전방 시야 카메라에서 얻은 도로 장면과 시선 포착 설비에서 포착한 운전자 시선 간의 보정을 진행해, 상기 시선 포착 설비에서 포착해 얻은 운전자 시선이 주시하는 장면 타깃의 위치를 상기 타깃이 전방 시야 카메라에서 나타내는 위치와 대응하도록 일치시키는 것을 특징으로 하는 운전자의 안전한 운전상태 검측 방법.
삭제