KR101005339B1 - 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템 - Google Patents
개인화된 템플릿 기반의 지능형 졸음운전 감시시스템 Download PDFInfo
- Publication number
- KR101005339B1 KR101005339B1 KR1020090120490A KR20090120490A KR101005339B1 KR 101005339 B1 KR101005339 B1 KR 101005339B1 KR 1020090120490 A KR1020090120490 A KR 1020090120490A KR 20090120490 A KR20090120490 A KR 20090120490A KR 101005339 B1 KR101005339 B1 KR 101005339B1
- Authority
- KR
- South Korea
- Prior art keywords
- drowsy driving
- template
- driving
- drowsy
- driver
- Prior art date
Links
- 230000002265 prevention Effects 0.000 claims abstract description 175
- 238000012544 monitoring process Methods 0.000 claims abstract description 86
- 238000003745 diagnosis Methods 0.000 claims abstract description 24
- 208000024891 symptom Diseases 0.000 claims abstract description 14
- 206010041349 Somnolence Diseases 0.000 claims description 58
- 210000001508 eye Anatomy 0.000 claims description 56
- 230000008859 change Effects 0.000 claims description 51
- 238000004891 communication Methods 0.000 claims description 45
- 230000006854 communication Effects 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 29
- 238000004088 simulation Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 15
- 210000003128 head Anatomy 0.000 claims description 10
- 210000004709 eyebrow Anatomy 0.000 claims description 9
- 230000001815 facial effect Effects 0.000 claims description 8
- 210000001747 pupil Anatomy 0.000 claims description 8
- 238000013515 script Methods 0.000 claims description 8
- 238000010295 mobile communication Methods 0.000 claims description 7
- 230000004397 blinking Effects 0.000 claims description 5
- 210000000744 eyelid Anatomy 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 239000000470 constituent Substances 0.000 claims 1
- 230000007613 environmental effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 5
- 210000000554 iris Anatomy 0.000 description 5
- 238000005259 measurement Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 101001093748 Homo sapiens Phosphatidylinositol N-acetylglucosaminyltransferase subunit P Proteins 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Emergency Management (AREA)
- Traffic Control Systems (AREA)
Abstract
지능형 졸음운전 감시시스템이 개시된다. 상기 시스템은, 차량에 설치되는 졸음운전감시 단말장치와, 상기 단말장치와 유무선 통신망을 통하여 연결되는 졸음운전 사고예방 서비스서버를 포함하며, 상기 단말장치는 차량에 설치되는 졸음운전감시 카메라의 투사각도와 거리를 변화시켜가면서 대응시킨 운전자 개인별 눈의 구성요소의 형상변화를 기하학적 수치정보 방식의 그래픽 명령문인 기하학적 수치정보 방식의 스크립트 구문형태의 개인화된 졸음운전예방 템플릿을 생성하고, 차량운행 중 실시간으로 측정한 운전자의 졸음운전예방 템플릿의 변화량을 비교 분석하여 비졸음 상태에서의 졸음운전예방 템플릿과의 차이 또는 졸음운전 상태에서의 졸음운전예방 템플릿과의 차이에 따라서 졸음운전 징후를 감시하고 인식하며, 상기 졸음운전 사고예방 서비스서버는 상기 단말장치에서 전송된 상기 개인화된 졸음운전예방 템플릿을 데이터베이스화하고 운행 중 차량에서 수집된 차량운행상황 정보와 운전자 개인의 운전습관 정보를 종합하여 상기 운전자의 졸음운전 감시환경 변화 또는 개인화된 졸음운전예방 템플릿 요소의 변화에 따라 상기 단말장치의 요구에 즉각적으로 해당 졸음운전예방 템플릿과 졸음운전진단지능정보를 상기 유무선 통신망을 통하여 전송 서비스한다.
텔레매틱스, 졸음운전예방 템플릿, 개인화 템플릿, 눈 템플릿, 휴대인터넷, 와이브로, 모바일와이맥스, Telematics, Drowsy Driving, Personalized Template, Eye Template, Mobile Internet, WiBro, Mobile WiMax, HSPA, LTE
Description
본 발명은 지능형 졸음운전 감시시스템에 관한 것으로, 특히 개인화된 템플릿(personalized template) 기반의 지능형 졸음운전 감시시스템에 관련한다.
일반적으로, 카메라 영상기반의 졸음운전 인식방법에 있어서 운전자의 시선추적, 눈 깜박임, 눈의 개폐상태, 눈의 타원형상(가령, 대한민국특허 제10-0716370호), 눈의 면적(가령, 대한민국특허 제10-0644456호) 등을 개별요소별 또는 복합요소별로 주기적으로 감시하고 측정하는 많은 방법이 제시되고 있다.
그러나, 졸음운전의 특성상 운전자가 졸음상태에 빠지는 경우 차량의 속도제어능력을 상실하는바, 초기에 졸음운전징후를 파악하여 1 ~ 2초 내에 졸음운전으로 인한 사고가능성을 차단하기 위해서는 고성능 중앙처리장치(CPU) 등과 같은 실시간 처리를 위한 시스템적 성능요건이 요구되기 때문에, 이를 개선하기 위한 대안으로 대한민국특허 제10-0617777호에서는 저장된 눈의 표준 템플릿을 이용한 눈의 신속 한 검출을 제시하고 있다.
그러나, 종래의 졸음운전인식에 관련된 특허의 문제점은, 졸음운전인식을 위한 눈의 구성요소, 가령 시선, 동공, 눈꺼풀 개폐상태, 깜박임 등의 변화와 얼굴 및 머리의 움직임 등의 변화를 실시간으로 지속적 감시 및 측정하기 위해서는 고성능의 컴퓨팅 자원이 요구되므로 차량에 장착될 장치로서의 실용성 및 경제성 확보에 어려움이 있어 보급되지 못하고 있다.
또한, 사전 저장된 표준 템플릿을 이용한 눈의 검출방식 역시 개인별 신체적 특성의 차이가 큰 다인종 사회에서는 인식률의 편차가 심할 뿐만 아니라, 개인별 졸음운전 징후 또는 성향 역시 표준화하여 적용하기에는 어려움이 있다.
더욱이, 저장된 표준 템플릿에 근사하지 않은 경우, 동일 방식의 졸음운전 감시장치의 성능이 급속히 저하될 수 있다.
또한, 눈 검출에만 한정되어 입력된 영상에서 눈의 검출이 용이하지 않은 경우에는 대체수단이 없게 되며, 가령 미국의 장거리 화물차의 경우와 같이 동일 차량의 운전자가 수시로 바뀌거나, 또는 타인 운전의 경우에는 운전자의 신체조건 및 인종, 감시카메라와의 각도 등이 변화하므로 인식률과 인식속도에서도 한계가 있다. 졸음운전 영상감시장치가 차량 내에 고정 설치되어 있을 경우, 미등록 운전자는 물론이고 동일한 운전자일지라도 다양한 운전자세 변화, 예컨대, 좌석의 전후 상하 위치 또는 자세 변경이 있을 경우, 동 장치가 사전에 학습하지 않은 운전자의 졸음운전 형상의 변화를 추적하기 위해서는 과도한 시스템 자원을 요구하게 되고, 이는 결국 실시간 졸음운전 인식 및 사고예방의 목적을 달성하기 어렵게 만드는 원 인으로 작용한다.
따라서, 본 발명의 목적은 운전자 개인별로 소유 및 유지되는 장치의 제약을 극복하고 졸음운전 인식률 및 정확도를 향상시킬 수 있는 졸음운전 감시시스템을 제공하는 것이다.
본 발명의 다른 목적은 실시간 졸음운전 징후 감시에 요구되는 컴퓨팅 자원을 최소화하고, 인식속도를 높일 수 있는 졸음운전 감시시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 차량 운행 중 운전자세 및 운전패턴의 변화 등에도 능동적으로 대응하여 지능형 졸음운전감시 단말장치에서 스스로 개인화 졸음운전예방 템플릿을 지속적으로 수집, 갱신 및 유지하고 이를 바탕으로 졸음운전 징후를 더욱 정교하게 분석할 수 있는 학습능력을 증가시켜가는 지능형 졸음운전 감시시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 졸음운전 사고예방 서비스 서버와 결합하여 상기 서비스 서버에서 다수의 졸음운전감시 단말장치 및 운전자를 관리하고 졸음운전에 따른 사고위험을 중앙관제센터에서 자동으로 인지하고 대응 예방조치를 가능하게 하는 지능형 졸음운전 감시시스템을 제공하는 것이다.
본 발명에서는, 고정각도에서의 일반인을 대상으로 하는 표준 눈 템플릿이 아닌, 졸음운전감시환경 변화, 예를 들면, 운전자 또는 차량 변경, 운전자세 및 운전패턴의 변화 등에 능동적으로 적응하여 운전자 개개인의 신속한 눈의 검출은 물론 각기 상이한 졸음운전징후에 따른 눈의 구성요소, 가령 눈썹, 동공, 홍채, 눈꺼풀, 눈의 개폐상태, 깜박임의 변화와 코, 입, 얼굴 및 머리 등의 안면 구성요소의 형상변화 정보를 인식하여 개인화된 졸음운전예방 템플릿으로 데이터베이스화하고, 운전자의 차량운행 상황정보와 결합하여 개인화된 졸음운전진단지능정보를 데이터베이스화하는 과정을 스스로 수행하고, 운전자의 졸음운전 여부에 대한 의사결정 과정을 학습하는 지능형 졸음운전 감시시스템을 제시한다
운전자 개인화된 졸음운전예방 템플릿은 차량 내에 장착되어 있는 지능형 졸음운전감시 단말장치 또는 별도의 차량주행 시뮬레이션장치 및 공간을 이용하여 사전 생성 및 등록할 수 있으며, 차량 주행 전 또는 주행 중에 카메라와 운전자 눈과 또는 기타 운전자의 안면 구성요소와의 투사각은 물론 이의 형상 변화에 따라 수시로 보정되고 추가될 수 있도록 한다. 이때 투사각 변화의 감지는 운전자가 카메라를 응시하였을 때 시선 측정각도, 운전자의 개별 눈 형상, 눈썹 형상, 또는 코, 입, 얼굴 및 머리 등의 운전자 안면 구성요소의 2차원 또는 3차원 기하학적 특성의 변화량 등을 측정하여 활용한다.
운전자 개인화된 졸음운전진단 지능정보는 운행 중 차량에서 수집된 차량운행상황정보, 가령, 운전시간대, 총주행시간 및 거리, 도로구조, 날씨, 기타 차량운행과 관계된 정보와 운전자 개인의 운전성향정보, 가령, 운전자의 성별, 나이, 운전자세, 졸음운전 취약시간대, 기타 운전관련 개인신상정보를 종합하여 개인별로 특성화된 졸음운전징후 판단 의사결정규칙, 기준값, 위험도, 대응조치 등을 개인화된 졸음운전예방 템플릿과의 상관관계 관점에서 분석 및 추론한 것으로서 졸음운전판단과 인식을 위한 지식의 기반이 된다.
이러한 개인화된 졸음운전진단 지능정보는 지능형 졸음운전감시 단말장치에서 제공된 개인화된 졸음운전예방 템플릿과 차량운행상황정보, 그리고 졸음운전 사고예방 서비스서버에서 유지하고 있는 운전자 개인의 운전성향정보와 결합하여 서비스 서버에서 가공하여 단말장치에 제공하는 것을 기본으로 하며, 서비스 서버가 가용하지 않을 시에는 단일 또는 복수의 운전자를 대상으로 단말장치 자체적으로 전체 또는 제한된 범위 내에서 생성 및 유지할 수 있다.
생성된 개인화된 졸음운전예방 템플릿은 지능형 졸음운전감시 단말장치에 저장됨과 동시에 차량운행 상황정보와 함께 졸음운전 사고예방 서비스서버로 휴대인터넷망, 가령 와이브로 또는 모바일 와이맥스, HSPA, LTE 등을 포함한 유무선통신망을 통하여 전송되어 유지 및 갱신되고, 졸음운전감시환경 변화, 가령, 운전자교체 또는 차량 변경, 운전자세 및 운전패턴의 변화 등이 있을 경우, 변경된 졸음운전 감시환경에 대응되는 운전자의 개인화된 해당 졸음운전예방 템플릿과 졸음운전진단 지능정보가 서비스 서버에서 단말장치로 다운로드 되어 단말장치가 변경된 졸음운전감시 및 인식환경에 최적화되도록 한다. 이를 위해 단말장치와 서비스 서버는 양방향으로 휴대인터넷 또는 무선데이터통신망을 개설하게 되며, 보완적으로 다양한 무선이동통신망 2G, 3G, 4G의 통신기능을 활용할 수 있도록 단말장치에 해당통신부를 구현한다.
여기서, 개인화된 졸음운전예방 템플릿이란 해당 운전자의 졸음운전 징후를 인식하기 위한 영상기반의 눈의 구성요소를 포함한 코, 입, 얼굴 및 머리 등의 안면 구성요소의 형상변화 정보를 차량에 장착될 영상카메라의 투사각도 및 거리 변화에 대응하여 차량운행 전 또는 운행 중에 생성시켜 데이터베이스화한 정보로서 이를 이용하여 졸음운전 징후와의 상관관계를 단말장치는 물론 서비스 서버에서 자동화하여 판별할 수 있다. 이때 형상변화 정보라 함은, 예를 들면, 카메라의 위치가 운전자 전방기준 상방 +15도, 0도, 하방 -15도, 좌측 20도, 0도, 우측 20도와 같이 상하좌우 카메라와 운전자 시선을 기준으로 하여 운전자의 비졸음상태(차량 운행 직전) 또는 졸음상태에서 눈의 개폐상태에서의 상하 눈꺼풀의 형상(높이, 생성곡선 등), 눈썹의 생성곡선, 시선각, 동공과 홍채의 위치, 코와 입의 생성곡선, 얼굴 및 머리의 생성곡선과 같은 기하학적 수치정보를 비롯하여 영상패턴정보 등을 부가적으로 포함하며, 운전자 개인별 주행상황별 눈깜박임 관련정보를 포함한다. 또한, 운전자 개인별 얼굴형상적 특성 기반의 고유한 졸음운전예방 템플릿 최적 측정단위 정보, 예를 들면, 상대적으로 눈의 개폐 상하크기가 큰 백인과 작은 동양인 정보와 수반되는 졸음운전징후 판단기준이 되는 임계값(Threshold Values)을 포함하며, 상기의 기하학적 수치정보는 휴대인터넷 및 무선이동통신망의 낮은 대역폭에도 단말장치와 서비스 서버 간의 통신지연을 발생시키지 않도록 졸음운전형상변화를 표시하는 스크립트 구문형식의 정보로 구성된다.
운전자 개인화된 안전운전 템플릿이란 개인화된 졸음운전예방 템플릿 중에서 차량 내 장착된 졸음운전감시 카메라와 운전자 간의 투사각도 및 거리에 대응되는 비졸음상태의 템플릿을 지칭한다. 만약 대응되는 템플릿이 존재치 않을 경우는 지능형 졸음운전감시 단말장치를 통하여 즉시(On the spot) 생성될 수 있다.
본 발명은 운전자의 졸음운전을 실시간으로 감시하고 그 징후를 조기에 인식하여 운전자가 실제로 졸음운전상황에 도달하기 전에 졸음운전으로 인한 사고를 미연에 방지할 수 있는 기술로서, 고속버스, 물류트럭 등과 같은 공용운전차량에서도 운전자 개인별 맞춤형 졸음운전인식 단말장치의 구현이 가능하고, 경량 알고리즘화, 저사양화 실현이 가능할 뿐만 아니라, 졸음운전인식률의 정확도를 동시에 제고할 수 있다.
또한, 휴대인터넷 등 무선데이터통신망을 이용하여 졸음운전 중앙관제를 위한 서비스 서버와 상시 양방향 통신을 통하여 운전자의 졸음운전징후를 원격에서도 감지하고 대응예방조치를 가능하게 하여 물류 및 승객운송기업 등의 고질적인 졸음운전사고위험을 원격에서 효과적으로 제어 감독할 수 있다.
또한, 차량 운전자가 수시로 변경되는 사업용 차량, 가령 기업용 승용차, 물류트럭, 고속버스 등에 하나의 졸음운전감시 단말장치만을 설치하여도 다수 운전자의 졸음운전 징후를 정교하게 감시 및 인식할 수 있다.
더욱이, 고성능의 컴퓨팅자원(예컨대, CPU)을 이용하지 않고서도 지속적으로 변경되는 졸음운전감시환경 변화, 예를 들면, 운전자 또는 차량 변경, 운전자세 및 운전패턴의 변화 등에 능동적으로 적응하는 지능형 졸음운전감시 단말장치의 구성이 가능하여 고정밀 인식률과 경제성 및 상용성을 동시에 확보할 수 있다.
또한, 저렴한 가격의 단말장치를 일반인에게도 보급할 수 있어 졸음운전사고를 예방할 뿐만 아니라, 그 사고로 기인한 직.간접적인 사회적 비용, 가령 교통체증비용, 사고처리비용, 보험료, 졸음운전방지를 위한 사회간접자본투자비용 등을 절감할 수 있다.
또한, 양방향 휴대인터넷통신망 또는 이동통신망을 이용하여 주행 중 카메라와 운전자 간의 투사각의 변화에 따른 운전자의 전방주시태만 방지 장치로의 활용과, 차량 내 돌발적 위난 상황에 대한 중앙관제센터의 원격감시와 초기 대응 시스템으로서의 서비스 제공을 활성화할 수 있다.
또한, 저용량 스크립트 구문형식의 졸음운전예방 템플릿 송수신으로 전송지연을 최소화하여 2G와 같은 일반 협대역 이동통신망에서도 단말장치와 서비스 서버 간의 원활한 통신이 가능하여 졸음운전사고를 사전에 감지하고 예방조치가 가능한 이동통신망을 이용한 새로운 킬러 서비스 제공할 수 있다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다.
도 1은 본 발명에 따른 졸음운전 감시시스템의 구성을 나타내는 블록도이다.
도시된 바와 같이, 개인화 템플릿 기반의 졸음운전 감시시스템은 졸음운전감시 단말장치(100)와, 졸음운전 사고예방 서비스서버(300), 및 졸음운전예방 템플릿생성 시뮬레이션장치(200)를 포함한다.
졸음운전감시 단말장치(100)는 졸음운전 감시환경 변화, 예를 들면, 운전자 또는 차량의 변경, 운전자세 및 운전패턴의 변화 등에 능동적으로 적응하여 스스로 운전자에 개인화된 졸음운전예방 템플릿(이하, 예방 템플릿이라 함)을 실시간과 온라인으로 생성, 저장, 전송, 및 수신하고, 생성된 템플릿을 분석하고 학습하여 졸음운전 징후를 감시하고 인식하는 기능을 한다.
졸음운전 사고예방 서비스서버(300)는 졸음운전감시 단말장치(100)에서 전송된 예방 템플릿을 데이터베이스화하고 차량운행상황 정보와 운전자 개인의 운전성향 정보와 종합하여 운전자의 졸음운전 감시환경 변화 또는 예방 템플릿 요소의 변화에 따라 졸음운전감시 단말장치(100)의 요구에 즉각적으로 해당 최적 예방 템플릿과 졸음운전진단지능정보를 연결된 통신망을 통하여 전송 서비스한다.
또한, 졸음운전예방 템플릿생성 시뮬레이션장치(200)는 예방 템플릿의 생성작업을 용이하게 하기 위하여 별도의 예방 템플릿 생성장치를 이용하여 다수 운전자의 개별 졸음운전예방 템플릿을 생성하고 이를 졸음운전 사고예방 서비스서버(300)에 배치(Batch) 방식으로 통신망을 통하여 전송한다.
1. 졸음운전감시 단말장치(100)
도 2는 본 발명에 따른 졸음운전감시 단말장치(100)의 구성을 나타내는 블록도이다.
졸음운전감시 단말장치(100)는, 졸음운전 감시영상 획득/처리부(110), 졸음운전예방 템플릿 생성/저장부(120), 졸음운전 인식부(130), 유무선 통신부(140) 및 중앙제어부(170)를 포함하며, 개인화된 졸음운전예방 템플릿 DB(150)와 개인화된 졸음운전 진단지능 DB(160)를 구비한다.
졸음운전 감시영상 획득/처리부(110)
졸음운전 감시영상 획득/처리부(110)는 카메라 영상 기반의 졸음운전 감시를 위한 주야간 감시 카메라와 획득된 운전자의 안면 영상을 디지털화하고 졸음운전예방 템플릿의 생성 및 비교에 최적화된 형태로 분해변환 처리기능을 수행한다. 여기서, 카메라는 선택적으로 PTZ(Pan, Tilt, Zoom) 기능을 가질 수 있다.
졸음운전 감시영상 획득/처리부(110)는 물리적으로 졸음운전감시 단말장치(100)의 다른 부분과 분리되어 차량 내 별도의 위치에 설치할 수 있고 상호 간에는 근거리 무선통신 또는 유선으로 통신한다.
졸음운전예방 템플릿 생성/저장부(120)
졸음운전예방 템플릿 생성/저장부(120)는 졸음운전 감시영상 획득/처리부(110)에서 분해 변환처리된 영상을 졸음운전 감시를 위한 다차원 변수, 즉 차량에 장착된 영상카메라의 투사각도와 거리를 변화시켜가며 대응시킨 해당 운전자 개인별 눈의 구성요소의 형상변화, 즉 눈의 개폐상태, 얼굴 및 머리각도 변화에 따른 눈 곡선의 형태, 동공 및 홍채의 위치, 시선 각, 눈썹 곡선의 형태, 코와 입의 곡선형태 등과 눈의 깜박임, 얼굴과 머리의 형상변화 등을 기하학적 수치정보 방식의 스크립트 구문형식으로 생성 및 저장하고, 보완적으로 영상패턴 형식으로도 저장한다.
여기서, 기하학적 수치정보 방식의 스크립트 구문형식이란, 눈썹, 동공, 홍채, 눈꺼풀, 좌측 눈, 우측 눈, 코, 또는 입 등과 같은 눈 및 안면 구성요소를 표현하는 객체명과, 점, 선, 원, 호, 타원, 사각형, 또는 다각형 등과 같은 그래픽 특성과 이를 드로잉하기 위한 좌표, 각도, 크기 정보 등을 포함하는 기하학적 수치정보 방식의 그래픽 명령문을 의미한다.
졸음운전예방 템플릿 생성/저장부(120)는 졸음운전 감시환경 변화, 예를 들면, 운전자 또는 차량의 변경, 운전자세 및 운전패턴의 변화 등으로 졸음운전 인식부(130)에서 학습되지 않은 새로운 졸음운전감시 매개변수, 예컨대 운전자와 카메라 간의 기준 투사각변화, 거리변화, 또는 기타 졸음운전예방 템플릿 요소의 변화 등이 인지될 경우, 졸음운전 사고예방 서비스서버(300)에 해당 각도, 거리, 자세패턴, 형상변화 등의 값을 제공하여 졸음운전예방 템플릿을 요청하고, 만약 졸음운전 사고예방 서비스서버(300)에서 졸음운전감시 매개변수 변화량에 근사값의 졸음운전예방 템플릿이 가용하지 않을 경우 즉시 새로운 졸음운전예방 템플릿을 생성 및 저장하고 이를 졸음운전 사고예방 서비스서버(300)에 전송하여 저장토록 한다.
이때 설치된 카메라와 운전자와의 투사각은 운전자의 운행허가 및 시작시점에서 운전자가 카메라를 주시하고 획득된 영상에서 운전자의 눈 또는 안면 구성요소의 각도에 따른 형상변화 및 시선을 확인함으로써 계산될 수 있다. 구체적으로, 카메라는 운전자의 전방을 중심으로 도 3의 카메라 투사방향 예시와 같이 상하좌우 가변적 위치에 유연하게 설치되어 운전자를 투사하게 되고, 운전자의 교체 또는 운전자의 자세변화에 따라 카메라 설치 위치를 변경 또는 이동해야 하는 제약성이 없다. 이때, 카메라의 투사각도 변화에는 제한을 두지 않는다.
카메라가 설치된 상하좌우 위치에 따라 카메라에 투영된 운전자 눈의 구성요소 또는 안면 구성요소 등의 형상변화를 측정하고 졸음운전예방 템플릿을 생성한 다. 이때의 각각 변화된 형상은 도 4의 카메라 투영 운전자 눈의 구성요소 형상변화 예시와 같이 상기 계산된 투사각에 Y축 또는 X축에 대칭하여 일대일 대응된다.
예를 들면, 도 3의 "우하향 30°"의 투사각도를 가진 카메라의 설치에 일대일 대응되는 눈의 구성요소 형상은 도 4의 "카메라 좌상향 30°감시"에 매핑된다. 또한, 도 3의 예시에서 각 형상은 눈의 개폐상태에 대한 형상과 연결된다. 도 5의 눈의 개폐상태 형상 예시는 도 4의 "카메라 중앙전방 감시" 형상에 대응된 눈의 개폐상태의 형상 변화이다. 눈의 개폐상태의 형상 변화를 나타내는 형상의 수는 제한하지 않는다.
도 5의 예시 형태로 눈썹, 코, 입 등의 기타 안면 구성요소에도 운전자와 카메라 간의 각도, 거리변화, 운전자의 자세변화에 따라 다양한 형상변화를 동일한 방식으로 적용할 수 있다.
졸음운전 인식부(130)
졸음운전 인식부(130)는, 졸음운전감시 환경변화에 대응하여 졸음운전 사고예방 서비스서버(300)로부터 수신된 개인화된 졸음운전진단 지능DB(160)와 졸음운전예방 템플릿 생성/저장부(120)가 생성하여 개인화된 졸음운전예방 템플릿DB(150)에 저장한 정보를 참조하여 졸음운전예방 템플릿 생성/저장부(120)가 차량운행 중 실시간으로 측정한 운전자의 졸음운전예방 템플릿 구성요소들의 변화량을 비교 분석하고, 비졸음 상태에서의 졸음운전예방 템플릿과의 차이 또는 졸음운전 상태에서의 졸음운전예방 템플릿과의 근사치 정도에 따라서 졸음운전 징후를 판단 및 인식하며 대응 경보조치를 발령한다.
만약 개인화된 졸음운전예방 템플릿DB(150)에 졸음운전감시 매개변수에 근사한 템플릿이 존재하지 않을 시에는 졸음운전예방 템플릿 생성/저장부(120)에 해당 템플릿이 존재하지 않음을 신호처리하고 임시로 가장 근접한 개인화된 졸음운전예방 템플릿을 이용하여 인식처리한다. 여기서, 졸음운전 사고예방 서비스서버(300)로부터의 개인화된 졸음운전진단 지능DB 정보가 가용하지 않을 경우를 대비하여 운행 중 수집되는 제한된 범위의 차량운행 상황정보와 운전자 개인의 운전 성향정보를 기초로 한 제한된 졸음운전진단 지능DB(Limited Intelligent DB of Drowsy Driving Analysis)를 구비할 수 있다.
유무선통신부(140)
유무선통신부(140)는, 졸음운전예방 템플릿 생성/저장부(120)에서 생성한 졸음운전예방 템플릿을 졸음운전 사고예방 서비스서버(300)로 전송하거나 졸음운전 사고예방 서비스서버(300)로부터 개인화된 졸음운전예방 템플릿을 수신하는 기능과, 졸음운전 인식부(130)에서 졸음운전 진단을 위해 요구되는 개인화된 졸음운전진단 지능DB 정보를 졸음운전 사고예방 서비스서버(300)에 요청하여 수신하며, 차량운행 상황정보 등을 졸음운전 사고예방 서비스서버(300)에 송신하여 이 서비스서버(300)에서 개인화된 졸음운전진단 지능DB 정보를 축적할 수 있도록 한다. 또한, 유무선통신부(140)는, 졸음운전 인식부(130)에서 처리된 졸음운전 징후를 졸음운전 사고예방 서비스서버(300)에 전송하고 대응되는 졸음운전 예방퇴치 콘텐츠 또는 조치를 졸음운전 사고예방 서비스서버(300)로부터 수신하여 졸음운전감시 단말장치(100)에서 졸음운전 경보발령을 가능하게 하기 위한 유무선 통신모듈로서 와이브 로(일명 모바일 와이맥스), HSPA, TETRA, LTE, 또는 기타 네트워크를 이용한 휴대인터넷 통신기능과, WCDMA, CDMA/GSM, TD-SCDMA, LTE, 기타의 네트워크 형태를 갖는 이동통신망 통신기능과, 와이파이(WiFi), DSRC, 블루투스, UMB, 기타 근거리 무선데이터 통신기능을 갖는 모든 무선 통신 모듈과 USB 등과 같은 유선 인터페이스를 갖는 통신기능을 복합적으로 구비할 수 있다.
개인화된 졸음운전예방 템플릿DB(150)와 개인화된 졸음운전진단 지능DB(160)
개인화된 졸음운전예방 템플릿DB(150)는, 졸음운전예방 템플릿 생성/저장부(120)와 연동하여 상기 정의된 졸음운전예방 템플릿을 저장, 갱신, 및 검색하는 기능을 제공하며, 개인화된 졸음운전진단 지능DB(160)는 졸음운전 인식부(130)에서 각 운전자를 대상으로 졸음운전 징후를 판단하기 위한 추가 가공정보, 즉 졸음운전예방 템플릿의 졸음운전징후 대비 시계열적 변화, 졸음운전징후 단계별 기준값 및 변화량, 위험도, 대응조치 등의 정보와, 운행 중 차량에서 수집된 차량운행 상황정보, 가령, 운전시간대, 총주행시간 및 거리, 도로구조, 날씨, 기타 차량운행과 관계된 정보와 운전자 개인의 운전성향정보, 가령, 운전자의 성별, 나이, 운전자세, 졸음운전 취약시간대, 기타 운전관련 개인신상정보를 각 정보간 상관관계 관점에서 분석. 추론할 수 있는 지식정보를 개인별로 특성화된 졸음운전징후 판단 의사결정 규칙방식으로 가공 및 처리한 것으로서, 졸음운전 인식부(130)의 요청에 따라서 졸음운전 사고예방 서비스서버(300)로부터 수신하여 유지함을 원칙으로 하고, 선택적으로 지능형 졸음운전감시 단말장치(100)에서 독립적으로 생성 및 유지할 수 있으나 그 범위는 단말장치의 성능에 종속적이다.
중앙 제어부(170)
중앙 제어부(170)는 졸음운전감시 단말장치(100)를 통합 제어하고 졸음운전 사고예방 서비스서버(300)와 연결하여 단말장치(100)를 최적의 운전자 개인화된 졸음운전예방 템플릿과 졸음운전진단 지능DB 정보를 유지하도록 관리한다.
2. 졸음운전예방 템플릿생성 시뮬레이션장치(200)
도 6은 본 발명에 따른 졸음운전예방 템플릿생성 시뮬레이션장치(200)의 구성을 나타내는 블록도이다.
졸음운전예방 템플릿생성 시뮬레이션장치(200)는 졸음운전감시 단말장치(100)가 차량에 장착되어 주행 전 또는 주행 중 탑승운전자 개인의 졸음운전예방 템플릿을 생성하는 것과는 달리, 단일 또는 다수 운전자를 대상으로 미리 비졸음 상태 또는 졸음상태에서의 개인화된 졸음운전예방 템플릿을 생성하고 졸음운전 사고예방 서비스서버(300)에 DB화할 수 있는 독립적인 장치이다.
도 6을 참조하면, 졸음운전예방 템플릿생성 시뮬레이션장치(200)는 차량주행 시뮬레이션부(210), 졸음운전예방 템플릿 영상획득/처리부(220), 졸음운전예방 템플릿 생성/저장부(230), 및 유무선 통신부(240)로 구성된다.
차량주행 시뮬레이션부(210)
차량주행 시뮬레이션부(210)는 운전자와 차량에 장착될 카메라 위치와의 투사각 및 거리 변화에 따른 졸음운전예방 템플릿 생성을 위해 실질적인 운전환경 및 조건을 모형화한다.
졸음운전예방 템플릿 영상획득/처리부(220)
졸음운전예방 템플릿 영상획득/처리부(220)는 차량주행 시뮬레이션부(210)와 카메라 영상 기반의 졸음운전감시에 이용되는 졸음운전예방 템플릿 생성을 위한 운전자의 안면 영상 획득용 졸음운전감시 카메라와 획득된 영상을 디지털화하고 졸음운전예방 템플릿의 생성 및 비교에 최적화된 형태로 분해 변환처리기능을 수행한다.
졸음운전예방 템플릿 생성/저장부(230)
졸음운전예방 템플릿 생성/저장부(230)는, 졸음운전예방 템플릿 영상획득/처리부(220)에서 분해 변환처리된 영상을 졸음운전감시를 위한 다차원변수, 즉 차량에 장착될 영상카메라의 투사각도와 거리를 변화시켜 가며 사전에 대응시킨 해당 운전자 개인별 눈의 구성요소 형상변화, 가령 눈의 개폐상태, 얼굴 및 머리각도 변화에 따른 눈 곡선의 형태, 동공 및 홍채의 위치, 시선각, 눈썹 곡선의 형태, 코와 입의 곡선형태 등과, 눈의 깜박임, 얼굴과 머리 형상변화 등을 기하학적 수치정보방식의 스크립트 구문형식으로 생성 및 저장하고, 보완적으로 영상패턴 형식으로도 저장한다.
유무선통신부(240)
유무선통신부(240)는 졸음운전예방 템플릿 생성/저장부(230)와, 생성완료된 졸음운전예방 템플릿을 졸음운전 사고예방 서비스서버(300)에 유무선통신망을 이용하여 전송한다.
3. 졸음운전 사고예방 서비스서버(300)
도 7은 본 발명에 따른 졸음운전 사고예방 서비스서버(300)의 구성을 나타내는 블록도이다.
도시된 바와 같이, 졸음운전 사고예방 서비스서버(300)는 유무선 통신부(311), 졸음운전예방 템플릿 생성시뮬레이션장치관리부(312), 졸음운전예방 템플릿 생성시뮬레이션장치관리부(312), 지능형 졸음운전감시 단말장치 실시간관리부(313), 졸음운전진단 지식가공부(314), 졸음운전예방 템플릿 등록관리부(315), 졸음운전예방 템플릿/진단 지능제공부(316), 및 서비스서버 중앙제어부(317)로 구성된다.
유무선 통신부(311)
유무선 통신부(311)는 유선통신망, 이동통신망, 휴대인터넷통신망, 또는 기타 무선통신망을 통하여 지능형 졸음운전감시 단말장치(100)와 실시간 양방향으로 접속하여 통신하고 부가적으로 졸음운전예방 템플릿 생성시뮬레이션장치(200)와 통신한다.
졸음운전예방 템플릿 생성시뮬레이션장치관리부(312)
졸음운전예방 템플릿 생성시뮬레이션장치관리부(312)는 시뮬레이션장치(200)의 속성과 기능을 관리 및 제어하고 시뮬레이션 장치(200)에서 졸음운전예방 템플릿을 생성 및 등록할 수 있는 온라인 지원기능을 제공한다.
지능형 졸음운전감시 단말장치 실시간관리부(313)
지능형 졸음운전감시 단말장치 실시간관리부(313)는 다양한 유형의 지능형 졸음운전감시 단말장치(100)의 속성과 ID를 등록, 관리 및 확인하고 단말장치(100)와 차량 주행 중 양방향 통신을 통한 실시간 졸음운전예방 템플릿, 졸음운전진단 지능DB 정보, 차량주행 상황정보를 교환하고, 단말장치(100)로의 졸음운전예방 콘텐츠 서비스를 가능하게 하는 응용계층의 통신프로토콜을 제어한다.
졸음운전 진단 지식가공부(314)
졸음운전 진단 지식가공부(314)는 지능형 졸음운전감시 단말장치(100)로부터 수신되는 차량운행 상황정보, 운전자 개인의 운전성향정보와 개인화된 졸음운전예방 템플릿DB(318) 정보, 기타정보 등을 독립적으로 결합하여 가공처리하고 개인화된 졸음운전진단 지능DB(319)에 저장, 갱신 및 유지한다.
졸음운전예방 템플릿 등록관리부(315)
졸음운전예방 템플릿 등록관리부(315)는 지능형 졸음운전감시 단말장치(100) 또는 졸음운전예방 템플릿 생성시뮬레이션장치(200)에서 생성되어 전송된 개인화된 졸음운전예방 템플릿을 등록된 운전자 개인별로 분류하고, 등록, 갱신, 및 저장하여 DB화 시키는 기능을 담당한다.
졸음운전예방 템플릿/진단 지능제공부(316)
졸음운전예방 템플릿/진단 지능제공부(316)는 지능형 졸음운전감시 단말장치(100)로부터 요청된 졸음운전 감시환경 변화, 예를 들면, 운전자 또는 차량 변경, 운전자세 및 운전패턴의 변화 등으로 인한 새로운 졸음운전감시 매개변수, 예컨대 운전자와 카메라 간의 기준 투사각변화, 거리변화, 또는 기타의 졸음운전예방 템플릿 요소의 변화 등에 대응되는 개인화된 졸음운전예방 템플릿DB 정보와 개인화 된 졸음운전진단 지능DB 정보를 단말장치(100)로 제공한다.
서비스서버 중앙제어부(317)
서비스서버 중앙제어부(317)는 상기 전체 서버장치를 제어하고, 각 단위장치를 통합.연결하는 응용기능을 수행한다.
서비스 서버(300)의 데이터베이스
졸음운전예방 템플릿 등록관리부(315)에서 확인된 운전자 개인별 졸음운전예방 템플릿은 개인화된 졸음운전예방 템플릿DB(318)에 데이터베이스화되어 유지되고, 졸음운전진단 지식가공부(314)에서 가공처리된 정보는 개인화된 졸음운전진단 지능DB(319)에 데이터베이스화되어 유지되며, 다양한 유형의 다수의 지능형 졸음운전감시 단말장치(100)의 속성 및 ID 정보는 지능형 졸음운전감시 단말장치정보DB(320)에 유지관리된다.
도 8은 졸음운전감시 단말장치(100)와 졸음운전 사고예방 서비스서버(300) 간에서 개인화된 템플릿기반 졸음운전 사고예방 템플릿기반 서비스 진행을 나타낸다.
도시된 바와 같이, 먼저, 지능형 졸음운전감시 단말장치(100)가 졸음운전 사고예방 서비스서버(300)에 유무선 통신망을 이용하여 접속을 요청한다.
서비스 서버(300)는 단말장치(100)의 속성을 확인하고 서비스가입 유무를 확인하여 접속을 허가한다.
단말장치(100)는 탑승 운전자의 ID정보를 송신하고 인증을 요청하며, 서비스 서버(300)는 탑승 운전자의 정보를 확인하고 인증을 허가한다.
이어 단말장치(100)가 카메라와 탑승 운전자 간의 기준투사각을 측정하고, 탑승 운전자의 졸음운전예방 템플릿과 졸음운전진단 지능DB 정보를 단말장치(100)에서 확인하고 서비스 서버(300)와 동기화하여 갱신 및 유지한다.
단말장치(100)는 갱신 또는 확인된 졸음운전예방 템플릿과 졸음운전진단 지능DB 정보를 이용하여 졸음운전감시를 실행한다. 이때, 단말장치(100)와 서비스 서버(300)에서 카메라와 운전자 간의 측정된 투사각, 거리, 또는 졸음운전예방 템플릿 요소에 대응하는 졸음운전예방 템플릿 정보가 가용하지 않을 때에는 즉시 단말장치(100)에서 졸음운전예방 템플릿을 생성하고 서비스 서버(300)에 전송한다.
서비스 서버(300)는 단말장치(100)에서 갱신된 졸음운전예방 템플릿에 대응하는 졸음운전진단 지능DB 정보를 갱신한다.
졸음운전감시 결과 졸음운전징후로 판단되었을 때, 단말장치(100)는 졸음운전예방. 퇴치경보 발령과 동시에 서비스 서버(300)로 졸음운전징후 측정값을 전송한다.
단말장치(100)는 졸음운전예방 및 퇴치를 위한 콘텐츠 및 조치사항을 서비스서버(300)로부터 전송받아 실현한다.
이상에서는 본 발명의 실시 예를 중심으로 설명하였지만, 당업자의 수준에서 다양한 변경을 가할 수 있음은 물론이다. 따라서, 본 발명의 권리범위는 상기한 실시 예에 한정되어 해석될 수 없으며, 이하에 기재되는 특허청구범위에 의해 해석되어야 한다.
도 1은 본 발명에 따른 졸음운전 감시시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명에 따른 졸음운전감시 단말장치(100)의 구성을 나타내는 블록도이다.
도 3은 카메라의 투사방향을 예시하는 도면이다.
도 4는 카메라 투영 운전자 눈의 구성요소 형상변화를 나타내는 도면이다.
도 5는 눈의 개폐상태 형상을 예시하는 도면이다.
도 6은 본 발명에 따른 졸음운전예방 템플릿생성 시뮬레이션장치(200)의 구성을 나타내는 블록도이다.
도 7은 본 발명에 따른 졸음운전 사고예방 서비스서버(300)의 구성을 나타내는 블록도이다.
도 8은 졸음운전감시 단말장치(100)와 졸음운전 사고예방 서비스서버(300) 간에서 개인화된 템플릿기반 졸음운전 사고예방 템플릿기반 서비스 진행을 나타낸다.
Claims (11)
- 차량에 설치되는 졸음운전감시 단말장치와, 상기 단말장치와 유무선 통신망을 통하여 연결되는 졸음운전 사고예방 서비스서버를 포함하며,상기 단말장치는 카메라 영상 기반의 졸음운전 감시를 위한 주야간 감시 카메라와 획득된 운전자의 안면 영상을 디지털화하고 졸음운전예방 템플릿의 생성 및 비교할 수 있도록 분해변환 처리기능을 수행하는 졸음운전 감시영상 획득/처리부와; 상기 졸음운전 감시영상 획득/처리부에서 분해 변환처리된 영상을 졸음운전 감시를 위한 카메라의 투사각도와 거리를 변화시켜가며 대응시킨 운전자 개인별 눈의 구성요소의 형상변화인 다차원 변수를 기하학적 수치정보 방식의 그래픽 명령문인 기하학적 수치정보 방식의 스크립트 구문형식으로 생성 및 저장하는 졸음운전예방 템플릿 생성/저장부와; 졸음운전감시 환경변화에 대응하여 상기 서비스서버로부터 수신된 개인화된 졸음운전진단 지능DB와 상기 졸음운전예방 템플릿 생성/저장부가 생성하여 개인화된 졸음운전예방 템플릿DB에 저장한 정보를 참조하여 상기 졸음운전예방 템플릿 생성/저장부가 차량운행 중 실시간으로 측정한 운전자의 졸음운전예방 템플릿의 변화량을 비교 분석하고, 비졸음 상태에서의 졸음운전예방 템플릿과의 차이 또는 졸음운전 상태에서의 졸음운전예방 템플릿과의 근사치 정도에 따라서 졸음운전 징후를 판단 및 인식하며 대응 경보조치를 발령하는 졸음운전 인식부와; 상기 졸음운전예방 템플릿 생성/저장부에서 생성한 졸음운전예방 템플릿을 상기 서비스서버로 전송하거나 상기 서비스서버로부터 개인화된 졸음운전예방 템플릿을 수신하고, 상기 졸음운전 인식부에서 졸음운전 진단을 위해 요구되는 개인화된 졸음운전진단 지능DB 정보를 상기 서비스서버에 요청하여 수신하며, 차량운행 상황정보를 상기 서비스서버에 송신하는 유무선통신부; 및 상기 단말장치를 통합 제어하고 상기 서비스서버와 연결하여 상기 단말장치가 운전자 개인화된 졸음운전예방 템플릿과 졸음운전진단 지능DB 정보를 유지하도록 관리하는 중앙 제어부를 포함하며;상기 졸음운전 사고예방 서비스서버는 상기 단말장치에서 전송된 상기 개인화된 졸음운전예방 템플릿을 데이터베이스화하고 운행 중 차량에서 수집된 차량운행상황 정보와 운전자 개인의 운전습관 정보를 종합하여 상기 운전자의 졸음운전 감시환경 변화 또는 개인화된 졸음운전예방 템플릿 요소의 변화에 따라 상기 단말장치의 요구에 즉각적으로 해당 졸음운전예방 템플릿과 졸음운전진단지능정보를 상기 유무선 통신망을 통하여 전송 서비스하는 것을 특징으로 하는 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템.
- 삭제
- 삭제
- 청구항 1에 있어서,단일 또는 다수 운전자를 대상으로 미리 비졸음 상태 또는 졸음상태에서의 개인화된 졸음운전예방 템플릿을 생성하고 상기 서비스서버에 DB화하는 졸음운전예방 템플릿생성 시뮬레이션장치를 추가로 포함하는 것을 특징으로 하는 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템.
- 청구항 4에 있어서,상기 졸음운전예방 템플릿생성 시뮬레이션장치는,운전자와 차량에 장착될 카메라 위치와의 투사각 및 거리 변화에 따른 졸음운전예방 템플릿 생성을 위해 상기 차량운행상황 정보와 운전자 개인의 운전습관 정보를 종합하여 모형화하는 차량주행 시뮬레이션부;상기 차량주행 시뮬레이션부와 카메라 영상 기반의 졸음운전감시에 이용되는 졸음운전예방 템플릿 생성을 위한 운전자의 안면 영상 획득용 졸음운전감시 카메라와 획득된 영상을 디지털화하고 졸음운전예방 템플릿의 생성 및 비교할 수 있는 형태로 분해 변환처리기능을 수행하는 졸음운전예방 템플릿 영상획득/처리부;상기 졸음운전예방 템플릿 영상획득/처리부에서 분해 변환처리된 영상을 졸음운전감시를 위한 카메라의 투사각도와 거리를 변화시켜가며 대응시킨 운전자 개인별 눈의 구성요소의 형상변화인 다차원 변수를 기하학적 수치정보 방식의 그래픽 명령문인 기하학적 수치정보 방식의 스크립트 구문형식으로 생성 및 저장하고, 보완적으로 영상패턴 형식으로도 저장하는 졸음운전예방 템플릿 생성/저장부; 및상기 졸음운전예방 템플릿 생성/저장부와, 생성완료된 졸음운전예방 템플릿을 상기 서비스서버에 유무선통신망을 이용하여 전송하는 유무선통신부를 포함하는 것을 특징으로 하는 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템.
- 청구항 1 또는 5에 있어서,상기 다차원 변수는, 차량에 장착된 영상카메라의 투사각도와 거리를 변화시켜가며 대응시킨 해당 운전자 개인별 눈의 구성요소의 형상변화, 눈의 깜박임, 및 얼굴과 머리의 형상변화를 포함하며,상기 눈의 구성요소의 형상변화는 눈의 개폐상태, 얼굴 및 머리각도 변화에 따른 눈 곡선의 형태, 동공 및 홍채의 위치, 시선 각, 눈썹 곡선의 형태, 코와 입의 곡선형태를 포함하는 것을 특징으로 하는 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템.
- 청구항 1 또는 5에 있어서,상기 기하학적 수치정보 방식의 스크립트 구문형식이란, 눈썹, 동공, 홍채, 눈꺼풀, 좌측 눈, 우측 눈, 코, 또는 입을 포함하는 눈 및 안면 구성요소를 표현하는 객체명과, 점, 선, 원, 호, 타원, 사각형, 또는 다각형을 포함하는 그래픽 특성과 이를 드로잉하기 위한 좌표, 각도, 크기 정보를 포함하는 기하학적 수치정보 방식의 그래픽 명령문을 의미하는 것을 특징으로 하는 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템.
- 삭제
- 삭제
- 삭제
- 청구항 4에 있어서,상기 서비스 서버는,유선통신망, 이동통신망, 휴대인터넷통신망, 또는 기타 무선통신망을 통하여 상기 단말장치와 실시간 양방향으로 접속하여 통신하는 유무선 통신부;상기 졸음운전예방 템플릿생성 시뮬레이션장치(200)의 속성과 기능을 관리 및 제어하고 시뮬레이션 장치(200)에서 졸음운전예방 템플릿을 생성 및 등록할 수 있는 온라인 지원기능을 제공하는 졸음운전예방 템플릿 생성 시뮬레이션장치관리부;상기 단말장치의 속성과 ID를 등록, 관리 및 확인하고 상기 단말장치와 차량 주행 중 양방향 통신을 통한 실시간 졸음운전예방 템플릿, 졸음운전진단 지능DB 정보, 차량주행 상황정보를 교환하고, 상기 단말장치로의 졸음운전예방 콘텐츠 서비스를 가능하게 하는 응용계층의 통신프로토콜을 제어하는 지능형 졸음운전감시 단말장치 실시간관리부;상기 단말장치로부터 수신되는 차량운행 상황정보, 운전자 개인의 운전성향정보와 상기 개인화된 졸음운전예방 템플릿DB 정보, 기타정보를 독립적으로 결합하여 가공처리하고 개인화된 졸음운전진단 지능DB에 저장, 갱신 및 유지하는 졸음운전 진단 지식가공부;상기 단말장치 또는 상기 생성시뮬레이션장치에서 생성되어 전송된 개인화된 졸음운전예방 템플릿을 등록된 운전자 개인별로 분류하고, 등록, 갱신, 및 저장하여 DB화 시키는 졸음운전예방 템플릿 등록관리부;상기 단말장치로부터 요청된 졸음운전 감시환경 변화로 인한 새로운 졸음운전감시 매개변수에 대응되는 개인화된 졸음운전예방 템플릿DB 정보와 개인화된 졸음운전진단 지능DB 정보를 상기 단말장치에 제공하는 졸음운전예방 템플릿/진단 지능제공부; 및상기 유무선 통신부, 졸음운전예방 템플릿생성 시뮬레이션장치관리부, 지능형 졸음운전감시 단말장치 실시간관리부, 졸음운전 진단 지식 가공부, 졸음운전예방 템플릿 등록관리부, 졸음운전예방 템플릿/진단 지능 제공부를 제어하고, 각 단말장치를 통합 및 연결하는 응용기능을 수행하는 서비스서버 중앙제어부를 포함하는 것을 특징으로 하는 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090120490A KR101005339B1 (ko) | 2009-12-07 | 2009-12-07 | 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090120490A KR101005339B1 (ko) | 2009-12-07 | 2009-12-07 | 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100088512A Division KR20110065304A (ko) | 2010-09-09 | 2010-09-09 | 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101005339B1 true KR101005339B1 (ko) | 2011-01-04 |
Family
ID=43615699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090120490A KR101005339B1 (ko) | 2009-12-07 | 2009-12-07 | 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101005339B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180065333A (ko) * | 2016-12-07 | 2018-06-18 | 광주대학교산학협력단 | 졸음운전 방지 장치 |
| JP2018183248A (ja) * | 2017-04-24 | 2018-11-22 | アルパイン株式会社 | 眠気判定装置 |
| CN113361553A (zh) * | 2020-03-06 | 2021-09-07 | 株式会社理光 | 图像处理方法、图像处理装置、存储介质和*** |
| US20220018666A1 (en) * | 2016-12-22 | 2022-01-20 | Nissan North America, Inc. | Autonomous vehicle service system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050103662A (ko) * | 2004-04-27 | 2005-11-01 | 주식회사 케이티프리텔 | 졸음 운전 예방 방법 및 장치 |
| KR20070107373A (ko) * | 2006-05-03 | 2007-11-07 | 정양권 | 지능형 안전운전 관리 방법 및 시스템 |
-
2009
- 2009-12-07 KR KR1020090120490A patent/KR101005339B1/ko not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050103662A (ko) * | 2004-04-27 | 2005-11-01 | 주식회사 케이티프리텔 | 졸음 운전 예방 방법 및 장치 |
| KR20070107373A (ko) * | 2006-05-03 | 2007-11-07 | 정양권 | 지능형 안전운전 관리 방법 및 시스템 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180065333A (ko) * | 2016-12-07 | 2018-06-18 | 광주대학교산학협력단 | 졸음운전 방지 장치 |
| US20220018666A1 (en) * | 2016-12-22 | 2022-01-20 | Nissan North America, Inc. | Autonomous vehicle service system |
| JP2018183248A (ja) * | 2017-04-24 | 2018-11-22 | アルパイン株式会社 | 眠気判定装置 |
| CN113361553A (zh) * | 2020-03-06 | 2021-09-07 | 株式会社理光 | 图像处理方法、图像处理装置、存储介质和*** |
| CN113361553B (zh) * | 2020-03-06 | 2024-02-02 | 株式会社理光 | 图像处理方法、图像处理装置、存储介质和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11688203B2 (en) | Systems and methods for providing visual allocation management | |
| KR102305914B1 (ko) | 운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체 | |
| KR102297162B1 (ko) | 차량 제어 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체 | |
| KR102391279B1 (ko) | 운전 상태 모니터링 방법 및 장치, 운전자 모니터링 시스템 및 차량 | |
| CN111417990B (zh) | 使用面向驾驶员的成像装置来监视驾驶员行为以用于车辆的车队中的车辆车队管理的***和方法 | |
| Kaplan et al. | Driver behavior analysis for safe driving: A survey | |
| US11526165B1 (en) | Systems and methods for remotely controlling operation of a vehicle | |
| CN111989729B (zh) | 信息处理装置、移动装置、信息处理***、方法和程序 | |
| JP7324716B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
| JP7139331B2 (ja) | 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法 | |
| US10764536B2 (en) | System and method for a dynamic human machine interface for video conferencing in a vehicle | |
| US8731736B2 (en) | System and method for reducing driving skill atrophy | |
| CN112041910A (zh) | 信息处理装置、移动设备、方法和程序 | |
| KR101276770B1 (ko) | 사용자 적응형 특이행동 검출기반의 안전운전보조시스템 | |
| US10666901B1 (en) | System for soothing an occupant in a vehicle | |
| KR20110065304A (ko) | 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템 및 방법 | |
| KR101005339B1 (ko) | 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템 | |
| CN115720555A (zh) | 用于提高自动驾驶车辆中用户警觉的方法和*** | |
| JP2020035437A (ja) | 車両システム、車両システムで実行される方法、および運転者支援システム | |
| US20240051585A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| US11912307B2 (en) | Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode | |
| WO2021262166A1 (en) | Operator evaluation and vehicle control based on eyewear data | |
| Van Binh et al. | Fast Warning System for Driver of Distraction with Traffic Object Recognition by Image Processing | |
| Tahoor et al. | Driver Drowsiness Detection for Safety Assistance | |
| JP2024525153A (ja) | 衝突を予測する、交差点での違反を予測する、および／またはカメラ画像内のオブジェクト検出の対象領域を決定するためのデバイスおよび方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| A107 | Divisional application of patent | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| N231 | Notification of change of applicant | ||
| FPAY | Annual fee payment |
Payment date: 20131224 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20141112 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20151228 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |