KR20230131312A - System and method for detecting and preventing drowsy driving using ai technology - Google Patents

System and method for detecting and preventing drowsy driving using ai technology Download PDF

Info

Publication number
KR20230131312A
KR20230131312A KR1020220027323A KR20220027323A KR20230131312A KR 20230131312 A KR20230131312 A KR 20230131312A KR 1020220027323 A KR1020220027323 A KR 1020220027323A KR 20220027323 A KR20220027323 A KR 20220027323A KR 20230131312 A KR20230131312 A KR 20230131312A
Authority
KR
South Korea
Prior art keywords
drowsy driving
machine learning
driving
learning classifier
vehicle
Prior art date
Application number
KR1020220027323A
Other languages
Korean (ko)
Other versions
KR102643541B1 (en
Inventor
최종훈
최종권
Original Assignee
최종훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최종훈 filed Critical 최종훈
Priority to KR1020220027323A priority Critical patent/KR102643541B1/en
Publication of KR20230131312A publication Critical patent/KR20230131312A/en
Application granted granted Critical
Publication of KR102643541B1 publication Critical patent/KR102643541B1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004—Gaseous mixtures, e.g. polluted air
    • G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
    • G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
    • G01N33/0036—General constructional details of gas analysers, e.g. portable test equipment concerning the detector specially adapted to detect a particular component
    • G01N33/004—CO or CO2
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Combustion & Propulsion (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Immunology (AREA)
  • Medicinal Chemistry (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에 따른 인공지능을 이용한 졸음 운전 방지 시스템 및 졸음 운전 방지 방법은 운전자의 눈 모양을 인식하여 졸음 운전을 판단하는 제1 기계학습 분류기와, 운전자의 눈 모양을 포함하여, 입 모양, 머리의 움직임 등과 같은 추가적인 졸음 운전 행동 패턴을 함께 인식하여 판단할 수 있는 제2 기계학습 분류기를 별도로 구비하여 운전 상황에 따른 모드 전환을 통해 보다 정밀하게 졸음 운전 상태를 감지할 수 있는 효과가 있다.The drowsy driving prevention system and drowsy driving prevention method using artificial intelligence according to the present invention include a first machine learning classifier that determines drowsy driving by recognizing the shape of the driver's eyes, the shape of the driver's eyes, the shape of the mouth, and the shape of the head. By separately providing a second machine learning classifier that can recognize and determine additional drowsy driving behavior patterns such as movement, etc., there is an effect of detecting drowsy driving conditions more precisely through mode switching according to the driving situation.

Description

인공지능을 이용한 졸음 운전 방지 시스템 및 졸음 운전 방지 방법{SYSTEM AND METHOD FOR DETECTING AND PREVENTING DROWSY DRIVING USING AI TECHNOLOGY}Drowsy driving prevention system and method to prevent drowsy driving using artificial intelligence {SYSTEM AND METHOD FOR DETECTING AND PREVENTING DROWSY DRIVING USING AI TECHNOLOGY}

본 발명은 인공지능을 이용한 졸음 운전 방지 시스템 및 졸음 운전 방지 방법에 관한 것으로, 보다 상세하게는 안면 인식을 통해 졸음 운전 초기 단계를 예측하는 기계학습 분류기와, 졸음 운전 초기 단계가 예측될 경우 보다 엄격하게 졸음 운전을 판단하는 기계학습 분류기를 별도로 구성하여 모드 전환을 통해 보다 정밀하게 졸음 운전 상태를 모니터링할 수 있는 인공지능을 이용한 졸음 운전 방지 시스템 및 졸음 운전 방지 방법에 관한 것이다.The present invention relates to a drowsy driving prevention system and a drowsy driving prevention method using artificial intelligence. More specifically, it relates to a machine learning classifier that predicts the early stages of drowsy driving through facial recognition, and a machine learning classifier that predicts the early stages of drowsy driving, and is more stringent when the early stages of drowsy driving are predicted. This relates to a drowsy driving prevention system and method for preventing drowsy driving using artificial intelligence that can monitor drowsy driving conditions more precisely through mode switching by separately constructing a machine learning classifier to determine drowsy driving.

주행 중 발생하는 졸음은 운전자가 인식하지 못한 상태에서 큰 사고로 직결될 수 있기 때문에 매우 위험하다. 특히 고속도로 주행 시 운전자가 졸음 운전을 한다면 연쇄 추돌 사고로 이어질 수 있어 막대한 물적, 인적 피해를 야기할 수 있다.Drowsiness while driving is very dangerous because it can directly lead to a serious accident without the driver being aware of it. In particular, if the driver is drowsy while driving on the highway, it can lead to a series of collisions, causing enormous material and human damage.

운전자의 졸음을 방지하기 위하여 운전자의 상태를 파악하는 전통적인 방법들은 크게 세 가지 방식으로 분류할 수 있다.Traditional methods of determining the driver's condition to prevent driver drowsiness can be broadly classified into three methods.

첫 번째로 차량의 변화를 관찰하여 운전자의 상태를 판단하는 방법이 있다. 차선을 이탈하는 상태가 일정 시간 지속되나 차선 변경 신호 없이 차선을 가로지를 시 경보를 울리는 방법들이 대표적이다.First, there is a way to determine the driver's condition by observing changes in the vehicle. Representative methods include sounding an alarm when the driver leaves the lane for a certain period of time but crosses the lane without a lane change signal.

두 번째로 운전자의 뇌파, 심장 박동 등의 생리학 데이터를 기반으로 운전자의 상태를 인식하는 방법이 있다. 이 방식은 의학적으로 졸음 상태를 명확하게 판정할 수 있어 높은 정확도를 가지지만 운전자가 운전할 때마다 수시로 측정 장비를 착용해야 하기 때문에 적용하기 번거롭다는 문제점을 갖는다.Second, there is a method to recognize the driver's condition based on physiological data such as the driver's brain waves and heart rate. This method has high accuracy because it can clearly determine medical drowsiness, but it has the problem of being cumbersome to apply because the driver must frequently wear measuring equipment every time he or she drives.

마지막으로 운전자의 시각적 특징을 기반으로 운전자의 상태를 파악하는 방법이 있다. 이는 졸음 발생 시 운전자의 눈이 감기거나 목이 기울어지는 등의 시각적 변화를 카메라로 감지하여 운전자의 상태를 인식한다.Lastly, there is a way to determine the driver's condition based on the driver's visual characteristics. This recognizes the driver's condition by detecting visual changes such as the driver's eyes closing or neck tilting when drowsiness occurs with a camera.

운전이라는 제한적인 상황에서 졸음 상태를 파악하기 위해서는 보통 얼굴 이미지 데이터를 사용한다. 이때 운전자의 얼굴로부터 졸음 상태를 감지할 수 있는 특징들을 추출하여 운전자의 상태를 파악한다.Face image data is usually used to determine drowsiness in the limited situation of driving. At this time, features that can detect drowsiness are extracted from the driver's face to identify the driver's state.

상기 특징은 눈이 감긴 정도와 감긴 눈의 지속상태를 확인하거나, 하품을 하거나 입술이 평소보다 벌어진 상태인지를 확인하기 위해 입모양을 관찰할 수도 있고, 고개가 숙여지거나 들려지는지 또는 기울어지는지를 확인 하기위해 목의 움직임 등을 관찰하여 정의할 수 있다.The above features can be used to check the degree to which the eyes are closed and how long they remain closed, to observe the shape of the mouth to check whether yawning or lips are more open than usual, and to check whether the head is bowed, lifted, or tilted. To do this, it can be defined by observing neck movements, etc.

최근에는 상기와 같은 특징들을 정의하고 이를 판단하기 위해 방대한 양의 사람 얼굴 데이터를 레이블링(Labeling)하여 학습시키는 기계 학습의 일종인 딥러닝(Deep learning) 모델을 활용하기도 한다.Recently, deep learning models, a type of machine learning that labels and learns massive amounts of human face data, are used to define and judge the above features.

그러나 상기와 같이 졸음 운전을 판단하기 위한 딥러닝 모델들은 졸음 운전을 정의하기 위한 데이터 레이블링 시 너무 엄격한 기준을 적용하면 운전자가 고개를 끄덕이거나 좌우로 흔드는 것처럼 정상적인 상황에서 대화 도중 나타날 수 있는 행동 패턴까지 너무 세부적인 부분까지 졸음 운전으로 판단할 가능성이 있어 잠을 깨우기 위한 자극을 줄 목적으로 울리는 알람이나 진동이 오히려 운전에 방해가 될 가능성이 있다.However, as described above, deep learning models for determining drowsy driving do not apply too strict criteria when labeling data to define drowsy driving, resulting in behavioral patterns that may appear during a conversation in normal situations, such as the driver nodding or shaking his head from side to side. There is a possibility that too many details may be judged as drowsy driving, so there is a possibility that alarms or vibrations that sound for the purpose of stimulating the driver to wake up may actually interfere with driving.

또한, 반대로 데이터 레이블링 시 너무 느슨한 기준을 적용하면 졸음 운전 인식에 실패할 확률이 높아진다는 문제점이 있다.Additionally, if too loose standards are applied when labeling data, there is a problem that the probability of failing to recognize drowsy driving increases.

대한민국 등록특허공보 제10-2218526호(2021.02.16)Republic of Korea Patent Publication No. 10-2218526 (2021.02.16)

본 발명은 상기 전술한 문제점을 해소하고자 안출된 것으로서, 운전자의 눈 모양을 인식하여 졸음 운전을 판단하는 제1 기계학습 분류기와, 운전자의 눈 모양을 포함하여, 입 모양, 머리의 움직임 등과 같은 추가적인 졸음 운전 행동 패턴을 함께 인식하여 판단할 수 있는 제2 기계학습 분류기를 별도로 구비하여 운전 상황에 따른 모드 전환을 통해 보다 정밀하게 졸음 운전 상태를 감지할 수 있는 인공지능을 이용한 졸음 운전 방지 시스템 및 졸음 운전 방지 방법을 제공하는데 목적이 있다.The present invention was developed to solve the above-mentioned problems, and includes a first machine learning classifier that recognizes the shape of the driver's eyes and determines drowsy driving, and additional information such as the shape of the driver's eyes, mouth shape, head movement, etc. A drowsy driving prevention system and drowsy driving system using artificial intelligence that can detect drowsy driving conditions more precisely by switching modes according to the driving situation by separately equipping a second machine learning classifier that can recognize and determine drowsy driving behavior patterns together. The purpose is to provide methods to prevent driving.

본 발명에 따른 인공지능을 이용한 졸음 운전 방지 시스템은 운전자의 얼굴과 상반신 일부를 촬영하기 위한 카메라부와, 차량 내부 실내 온도를 측정하기 위한 온도 센서와, 차량 내부의 이산화탄소 농도를 측정하기 위한 CO2 센서를 포함하는 졸음 운전 감지부와, 사람 얼굴의 눈 모양을 레이블링한 학습 데이터로 훈련되어 졸음 운전 상태를 판단하는 제1 기계학습 분류기와, 사람 얼굴의 눈 모양을 포함하되 사람의 입 모양 또는 머리와 목의 기울기, 손과 얼굴의 위치 정보 중 어느 하나 이상의 정보를 레이블링한 학습 데이터로 훈련되어 졸음 운전 상태를 판단하는 제2 기계학습 분류기를 포함하는 모드 선택부와, 상기 제1 기계학습 분류기로부터 졸음 운전이 감지되거나, 상기 졸음 운전 감지부를 통해 검출되는 온도 또는 이산화탄소 농도가 설정 값 이상일 경우 제2 기계학습 분류기를 선택하는 제어부 및 상기 제1 또는 제2 기계학습 분류기로부터 졸음 운전이 감지되거나 설정 값 이상의 온도 또는 이산화탄소 농도가 검출될 때, 스피커로 경고음을 출력하거나 차량 시트 또는 핸들에 진동을 발생시키고, 차량 내부로 외기를 순환시키거나 차창을 개방하는 전장부품 구동부를 포함하는 졸음 운전 경보부를 포함한다.The drowsy driving prevention system using artificial intelligence according to the present invention includes a camera unit for photographing the driver's face and part of the upper body, a temperature sensor for measuring the indoor temperature inside the vehicle, and a CO2 sensor for measuring the carbon dioxide concentration inside the vehicle. A drowsy driving detection unit including a first machine learning classifier that is trained with learning data labeling the eye shape of a human face to determine the drowsy driving state, and a first machine learning classifier that includes the eye shape of a human face but the shape of the human mouth or head and A mode selection unit including a second machine learning classifier that is trained with learning data labeling any one or more information of neck tilt, hand and face position information and determines a drowsy driving state, and a drowsy state from the first machine learning classifier. A control unit that selects a second machine learning classifier when driving is detected or the temperature or carbon dioxide concentration detected through the drowsy driving detection unit is greater than a set value, and drowsy driving is detected from the first or second machine learning classifier or is greater than the set value. It includes a drowsy driving warning unit that, when temperature or carbon dioxide concentration is detected, outputs a warning sound through a speaker, generates vibration on the vehicle seat or steering wheel, and includes an electric component driving unit that circulates outside air inside the vehicle or opens the vehicle window.

또한, 상기 졸음 운전 감지부는, 차량의 주차 위치를 검출하는 위치 센서와, 차량의 주차 시간을 카운트하는 타이머를 포함하고, 주행중인 차량 전방의 교통 신호등을 촬영하는 카메라로부터 수집된 이미지를 분석하여 교통 신호 위반 여부를 판별하거나, 도로에 설치된 과속 방지용 카메라 시설물로부터 교통 신호 위반 여부를 인지할 수 있는 데이터를 전송받는 교통 신호 위반 판별부를 포함하며, 주행중인 차량 전방의 도로에 표시된 차선을 촬영하는 카메라로부터 수집된 이미지와, 방향지시등 조작 이력 데이터를 분석하여 방향지시등 조작 여부를 판별하는 방향지시등 조작 여부 판별부를 포함한다.In addition, the drowsy driving detection unit includes a position sensor that detects the parking position of the vehicle, a timer that counts the parking time of the vehicle, and analyzes images collected from a camera that photographs a traffic light in front of the vehicle while driving to detect traffic signals. It includes a traffic signal violation determination unit that determines whether there is a traffic signal violation or receives data that can recognize whether there is a traffic signal violation from a speeding prevention camera installed on the road, and receives data from a camera that takes pictures of the lane marked on the road in front of the driving vehicle. It includes a turn signal light operation determination unit that analyzes the collected images and turn signal light operation history data to determine whether the turn signal light has been operated.

아울러, 상기 졸음 운전 경보부는, 상기 제어부를 통해 상기 제2 기계학습 분류기가 선택될 경우, 상기 위치 센서로 수신되는 차량 위치에서 일정 거리 이내에 위치한 다른 운전자의 단말기로 경고 데이터를 전송하는 서버를 포함하고, 상기 제2 기계학습 분류기를 통해 일정 시간 내에 일정 횟수 이상의 졸음 운전 상태가 감지될 경우, 자율 주행 모드로 전환하는 자율주행 전환부를 포함한다.In addition, the drowsy driving warning unit includes a server that transmits warning data to another driver's terminal located within a certain distance from the vehicle location received by the location sensor when the second machine learning classifier is selected through the control unit; , and an autonomous driving switching unit that switches to an autonomous driving mode when a drowsy driving state is detected a certain number of times within a certain period of time through the second machine learning classifier.

또한, 본 발명에 따른 인공지능을 이용한 졸음 운전 방지 방법은 카메라부로 수집된 운전자의 이미지를 사람 얼굴의 눈 모양을 레이블링한 학습 데이터로 훈련된 제1 기계학습 분류기로 졸음 운전 상태를 판단하거나, 차량 실내 온도가 설정 값 이상인지, 차량 실내 이산화탄소 농도가 설정 값 이상인지 판단하는 단계, 상기 단계에서 상기 제1 기계학습 분류기로부터 졸음 운전이 판단되거나, 차량 실내 온도 및 이산화탄소 농도가 설정 값 이상으로 측정되면, 사람 얼굴의 눈 모양을 포함하되 사람의 입 모양 또는 머리와 목의 기울기, 손과 얼굴의 위치 정보 중 어느 하나 이상의 정보를 레이블링한 학습 데이터로 훈련된 제2 기계학습 분류기로 전환하여 졸음 운전을 모니터링하고, 소리 또는 진동으로 경고 신호를 발생시키는 단계, 상기 단계에서 차량 실내 온도 및 이산화탄소 농도가 설정 값 이상으로 측정될 경우 차량 내부로 외기를 순환시키거나 차창을 개방하는 단계, 상기 조건들에 따라 상기 제2 기계학습 분류기가 선택될 경우 설정된 기간 내에 졸음 운전이 감지되면 소리 또는 진동으로 경고 신호를 발생시키고, 설정된 기간 내에 졸음 운전이 감지되지 않으면 제1 기계학습 분류기로 전환하여 졸음 운전을 모니터링하는 단계를 포함한다.In addition, the method for preventing drowsy driving using artificial intelligence according to the present invention determines the drowsy driving state of the driver's image collected by the camera unit using a first machine learning classifier trained with learning data labeling the eye shape of the human face, or determines the drowsy driving state of the vehicle. A step of determining whether the indoor temperature is above a set value or the carbon dioxide concentration inside the vehicle is above a set value. In the step, if drowsy driving is determined from the first machine learning classifier, or the temperature and carbon dioxide concentration inside the vehicle are measured above the set value, , converting to a second machine learning classifier trained with learning data labeled with one or more of the eye shape of the human face, the shape of the human mouth, the tilt of the head and neck, and the position information of the hands and face to prevent drowsy driving. Monitoring and generating a warning signal with sound or vibration, circulating outside air inside the vehicle or opening the car window when the vehicle interior temperature and carbon dioxide concentration are measured above the set value in the above steps, according to the above conditions When the second machine learning classifier is selected, if drowsy driving is detected within a set period, a warning signal is generated with a sound or vibration, and if drowsy driving is not detected within a set period, it switches to the first machine learning classifier to monitor drowsy driving. Includes steps.

또한, 상기 제2 기계학습 분류기가 선택될 경우 설정된 기간 내에 설정된 횟수 이하로 졸음 운전이 감지되면 소리 또는 진동으로 경고 신호를 발생시키고, 설정된 기간 내에 설정된 횟수 이상으로 졸음 운전이 감지되면 자율주행 모드로 전환하는 단계를 포함한다.In addition, when the second machine learning classifier is selected, if drowsy driving is detected less than a set number of times within a set period, a warning signal is generated with sound or vibration, and if drowsy driving is detected more than a set number of times within a set period, the autonomous driving mode is activated. Includes conversion steps.

본 발명에 따른 인공지능을 이용한 졸음 운전 방지 시스템 및 졸음 운전 방지 방법은 운전자의 눈 모양을 인식하여 졸음 운전을 판단하는 제1 기계학습 분류기와, 운전자의 눈 모양을 포함하여, 입 모양, 머리의 움직임 등과 같은 추가적인 졸음 운전 행동 패턴을 함께 인식하여 판단할 수 있는 제2 기계학습 분류기를 별도로 구비하여 운전 상황에 따른 모드 전환을 통해 보다 정밀하게 졸음 운전 상태를 감지할 수 있는 효과가 있다.The drowsy driving prevention system and drowsy driving prevention method using artificial intelligence according to the present invention include a first machine learning classifier that determines drowsy driving by recognizing the shape of the driver's eyes, the shape of the driver's eyes, the shape of the mouth, and the shape of the head. By separately providing a second machine learning classifier that can recognize and determine additional drowsy driving behavior patterns such as movement, etc., there is an effect of detecting drowsy driving conditions more precisely through mode switching according to the driving situation.

도 1은 본 발명에 따른 인공지능을 이용한 졸음 운전 방지 시스템을 나타낸 블록도이다.
도 2는 본 발명에 따른 제1 기계학습 분류기와 제2 기계학습 분류기에 적용되는 학습 데이터의 레이블링 규칙을 나타낸다.
도 3은 본 발명에 따른 인공지능을 이용한 졸음 운전 방지 방법을 나타낸 순서도이다.
도 4는 제2 기계학습 분류기가 선택될 경우 졸음 운전 감지 시점과 횟수에 따른 이벤트를 나타낸다.Figure 1 is a block diagram showing a drowsy driving prevention system using artificial intelligence according to the present invention.
Figure 2 shows labeling rules for learning data applied to the first machine learning classifier and the second machine learning classifier according to the present invention.
Figure 3 is a flowchart showing a method for preventing drowsy driving using artificial intelligence according to the present invention.
Figure 4 shows events according to the timing and number of drowsy driving detections when the second machine learning classifier is selected.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태를 상세히 설명한다. 아울러 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 부호를 달아 중복 설명을 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings. In addition, in this specification and drawings, components having substantially the same functional configuration are given the same reference numerals and redundant description is omitted.

도 1은 본 발명에 따른 인공지능을 이용한 졸음 운전 방지 시스템을 나타낸 블록도이고, 도 2는 본 발명에 따른 제1 기계학습 분류기와 제2 기계학습 분류기에 적용되는 학습 데이터의 레이블링 규칙을 나타낸다.Figure 1 is a block diagram showing a drowsy driving prevention system using artificial intelligence according to the present invention, and Figure 2 shows labeling rules for learning data applied to the first machine learning classifier and the second machine learning classifier according to the present invention.

도 1 및 도 2에 도시된 바와 같이, 본 발명에 따른 인공지능을 이용한 졸음 운전 방지 시스템은, 운전자의 얼굴과 상반신 일부를 촬영하기 위한 카메라부(110)와, 차량 내부 실내 온도를 측정하기 위한 온도 센서(120)와, 차량 내부의 이산화탄소 농도를 측정하기 위한 CO2 센서(130)와, 차량의 주차 위치를 검출하는 위치 센서(140)와, 차량의 주차 시간을 카운트하는 타이머(170)와, 주행중인 차량 전방의 교통 신호등을 촬영하는 카메라로부터 수집된 이미지를 분석하여 교통 신호 위반 여부를 판별하거나, 도로에 설치된 과속 방지용 카메라 시설물로부터 교통 신호 위반 여부를 인지할 수 있는 데이터를 전송받는 교통 신호 위반 판별부(150)와, 주행중인 차량 전방의 도로에 표시된 차선을 촬영하는 카메라로부터 수집된 이미지와, 방향지시등 조작 이력 데이터를 분석하여 방향지시등 조작 여부를 판별하는 방향지시등 조작 여부 판별부(160)를 포함하는 졸음 운전 감지부(100)를 포함한다.As shown in Figures 1 and 2, the drowsy driving prevention system using artificial intelligence according to the present invention includes a camera unit 110 for photographing the driver's face and part of the upper body, and a camera unit 110 for measuring the indoor temperature inside the vehicle. A temperature sensor 120, a CO2 sensor 130 for measuring the carbon dioxide concentration inside the vehicle, a position sensor 140 for detecting the parking position of the vehicle, and a timer 170 for counting the parking time of the vehicle, Traffic signal violations are determined by analyzing images collected from cameras that capture traffic lights in front of a driving vehicle, or receiving data that can recognize traffic signal violations from speeding prevention camera facilities installed on the road. A determination unit 150 and a turn signal operation determination unit 160 that determines whether the turn signal light has been operated by analyzing images collected from a camera that captures the lane marked on the road in front of the vehicle in which the vehicle is running, and turn signal operation history data. It includes a drowsy driving detection unit 100 including a.

상기 위치 센서(140)와 타이머(170)는 운전 전 차량의 주차 위치를 파악하기 위한 것으로써, 운전자가 차량 주행 전에 체력소모가 큰 운동시설에 들렀거나, 식사 시간에 음식점에 들른 경우를 체크하기 위한 것으로 졸음 운전 가능성이 높은 상황을 예측하기 위해 구비되는 수단이다.The position sensor 140 and timer 170 are used to determine the parking position of the vehicle before driving, and to check if the driver has stopped by an exercise facility that requires a lot of physical strength before driving the vehicle or stopped by a restaurant during meal time. It is a means provided to predict situations in which there is a high possibility of drowsy driving.

상기 위치 센서(140)는 특정 지역의 시설물 용도를 알 수 있는 지도 데이터를 기반으로 위치를 파악하는 GPS(Global Positioning System)를 이용하는 것이 바람직하며, 상기 교통 신호 위반 판별부(150)와, 방향지시등 조작 여부 판별부(160)에서 도로와 도로 위의 시설물(교통 신호등, 차량 등)을 촬영하는 카메라는 차량 내에 설치되는 블랙 박스와 연동하여 이미지 데이터를 수집하는 것이 바람직하다.The location sensor 140 preferably uses a GPS (Global Positioning System) that determines the location based on map data that can determine the use of facilities in a specific area, and includes the traffic signal violation determination unit 150 and a turn signal light. It is desirable that the camera that photographs the road and facilities on the road (traffic lights, vehicles, etc.) in the operation determination unit 160 collects image data in conjunction with a black box installed in the vehicle.

또한, 본 발명에 따른 인공지능을 이용한 졸음 운전 방지 시스템은 사람 얼굴의 눈 모양을 레이블링한 학습 데이터로 훈련되어 졸음 운전 상태를 판단하는 제1 기계학습 분류기(310)와, 사람 얼굴의 눈 모양을 포함하되 사람의 입 모양 또는 머리와 목의 기울기, 손과 얼굴의 위치 정보 중 어느 하나 이상의 정보를 레이블링한 학습 데이터로 훈련되어 졸음 운전 상태를 판단하는 제2 기계학습 분류기(320)를 포함하는 모드 선택부(300) 및 상기 제1 기계학습 분류기(310)로부터 졸음 운전이 감지되거나, 상기 졸음 운전 감지부를 통해 검출되는 온도 또는 이산화탄소 농도가 설정 값 이상일 경우 제2 기계학습 분류기(320)를 선택하는 제어부를 포함한다.In addition, the drowsy driving prevention system using artificial intelligence according to the present invention includes a first machine learning classifier 310 that is trained with learning data labeling the eye shape of the human face to determine the drowsy driving state, and the eye shape of the human face. A mode including a second machine learning classifier 320 that is trained with learning data labeling one or more of the shape of a person's mouth, the tilt of the head and neck, and the position information of the hand and face, and determines the drowsy driving state. When drowsy driving is detected from the selection unit 300 and the first machine learning classifier 310, or the temperature or carbon dioxide concentration detected through the drowsy driving detection unit is greater than a set value, the second machine learning classifier 320 is selected. Includes a control unit.

상기 제1 및 제2 기계학습 분류기(310, 320)는 이미지 데이터를 학습시키기 위한 학습 데이터를 조건에 따라 레이블링하여 학습시키는 기계 학습의 일종인 딥러닝(Deep Learning) 알고리즘에 의해 졸음 운전을 파악할 수 있는 분류 네트워크를 의미한다.The first and second machine learning classifiers 310 and 320 can detect drowsy driving by using a deep learning algorithm, a type of machine learning that labels and trains training data for training image data according to conditions. It refers to a classification network that exists.

도 2(a)는 제1 기계학습 분류기(310)에 적용되는 레이블링 규칙을 나타낸 것으로 졸음 운전을 판단하기 위한 정보로 가장 명확한 기준이 될 수 있는 사람 얼굴의 눈 모양을 감지하기 위한 레이블링 예시를 나타낸다. 상기와 같은 학습 데이터에서는 사람의 얼굴 영역과 두 눈의 위치 영역 만을 오브젝트(Object)로 설정하여 바운딩 박스(Bounding Box) 처리를 통해 데이터를 레이블링하는 것이 바람직하다.Figure 2(a) shows the labeling rules applied to the first machine learning classifier 310 and shows an example of labeling for detecting the eye shape of a human face, which can be the clearest standard as information for determining drowsy driving. . In the training data described above, it is desirable to set only the human face area and the eye position area as objects and label the data through bounding box processing.

도 2(b)는 제2 기계학습 분류기(320)에 적용되는 레이블링 규칙을 나타낸 것으로 제2 기계학습 분류기(320)는 제1 기계학습 분류기(310)에 적용되는 학습 데이터와 같이 사람 얼굴의 눈 모양을 레이블링한 학습 데이터에 추가적으로 사람의 입 모양 또는 머리와 목의 기울기, 손과 얼굴의 위치 정보 중 어느 하나 이상의 정보를 추가적으로 레이블링한 학습 데이터 셋으로 훈련될 수 있다. Figure 2(b) shows the labeling rule applied to the second machine learning classifier 320. The second machine learning classifier 320 is the eyes of a human face like the learning data applied to the first machine learning classifier 310. In addition to the shape-labeled learning data, it can be trained with a learning data set that additionally labels one or more of the shape of a person's mouth, the tilt of the head and neck, and the position information of the hands and face.

또한, 본 발명에 따른 인공지능을 이용한 졸음 운전 방지 시스템은 상기 제1 또는 제2 기계학습 분류기(310, 320)로부터 졸음 운전이 감지되거나 설정 값 이상의 온도 또는 이산화탄소 농도가 검출될 때, 스피커(412)로 경고음을 출력하거나 차량 시트 또는 핸들에 진동을 발생시키고, 차량 내부로 외기를 순환시키거나 차창을 개방하는 전장부품 구동부(410)를 포함하는 졸음 운전 경보부(400)를 포함한다.In addition, the drowsy driving prevention system using artificial intelligence according to the present invention detects drowsy driving from the first or second machine learning classifier (310, 320) or detects a temperature or carbon dioxide concentration above a set value, the speaker (412) It includes a drowsy driving warning unit 400 that includes an electrical component drive unit 410 that outputs a warning sound or generates vibration on the vehicle seat or steering wheel, circulates outside air inside the vehicle, or opens the car window.

상기 제1 기계학습 분류기(310)는 사람의 얼굴과 눈 모양 만을 인식하여 확실한 졸음 운전 상황을 검출하기 위한 것이고, 제2 기계학습 분류기(320)는 제1 기계학습 분류기(310)에서 확실하게 졸음 운전 상황이 검출되거나 실내 온도, CO2 농도, 졸음 운전을 유발할 수 있는 운동이나 음식 섭취와 같은 신체 활동이 있었는지 여부, 교통 신호를 위반하거나 방향지시등을 적절하게 조작했는지 여부를 검출하여 졸음 운전이 행해질 가능성이 큰 상황을 예측함으로써 보다 감도 높음 졸음 운전 상태를 판별하기 위한 것이다. 상기 모드 선택부(300)는 평상시에는 제1 기계학습 분류기(310)를 설정한 상태가 되며, 상기 조건들에 따라 제어부(200)를 통해 제2 기계학습 분류기(320)를 선택하며, 졸음 운전 상황이나 졸음 운전 유발 상황이 아니라고 판단되면 제2 기계학습 분류기(320)를 선택 해제하여 다시 제1 기계학습 분류기(310)로 모드 전환을 수행할 수 있다.The first machine learning classifier 310 is designed to detect a sure drowsy driving situation by recognizing only the person's face and eye shape, and the second machine learning classifier 320 is used to clearly detect drowsy driving situations in the first machine learning classifier 310. Drowsy driving can be detected by detecting the driving situation, indoor temperature, CO2 concentration, whether there was physical activity such as exercise or food intake that may cause drowsy driving, or whether traffic signals were violated or turn signals were properly operated. It is intended to determine drowsy driving conditions with greater sensitivity by predicting situations with a high probability. The mode selection unit 300 is normally in a state of setting the first machine learning classifier 310, and selects the second machine learning classifier 320 through the control unit 200 according to the above conditions. If it is determined that the situation is not one that causes drowsy driving, the second machine learning classifier 320 can be deselected and the mode switch can be performed back to the first machine learning classifier 310.

상기 제2 기계학습 분류기(320)는 스마트 워치 등과 같은 웨어러블 통신 단말기를 포함하는 심박수 체크 수단(330)에서 모니터링되는 데이터를 함께 분석하여 졸음 운전 판단을 보다 더 명확하게 하는 것도 바람직하다.It is also desirable that the second machine learning classifier 320 analyzes data monitored by the heart rate checker 330, which includes a wearable communication terminal such as a smart watch, to make drowsy driving decisions more clearly.

또한, 상기 졸음 운전 경보부(400)는, 상기 제어부(200)를 통해 상기 제2 기계학습 분류기(320)가 선택될 경우, 상기 위치 센서(140)로 수신되는 차량 위치에서 일정 거리 이내에 위치한 다른 운전자의 단말기(500)로 경고 데이터를 전송하는 서버(430)를 포함할 수 있다.In addition, when the second machine learning classifier 320 is selected through the control unit 200, the drowsy driving warning unit 400 detects other drivers located within a certain distance from the vehicle location received by the location sensor 140. It may include a server 430 that transmits warning data to the terminal 500.

상기 다른 운전자의 단말기(500)란 다른 차량에 내장된 인포테인먼트(Infotainment)나 다른 운전자가 보유한 스마트폰, 스마트 워치, 태블릿 PC 등과 같은 휴대용 단말기를 의미하며 어플리케이션 설치를 통해 서버(430)로부터 상호간에 정보를 수신할 수 있도록 구성될 수 있다.The other driver's terminal 500 refers to an infotainment device built into another vehicle or a portable terminal such as a smartphone, smart watch, tablet PC, etc. owned by another driver, and provides information to each other from the server 430 through application installation. It can be configured to receive.

아울러, 상기 서버(430)는 운전자의 졸음 운전 상태를 알리기 위해 도로교통공사, 경찰서, 119 센터 등과 같은 기관에 마련된 단말기(500)로 현재 운전자 상태 정보를 전송하여, 상기 기관에서 사고 예방을 위한 조치를 취하게 할 수도 있다.In addition, the server 430 transmits the current driver status information to the terminal 500 provided in organizations such as the Road Traffic Corporation, police stations, and 119 centers to inform the driver of the driver's drowsy driving status, so that the organizations can take measures to prevent accidents. It can also make you drunk.

또한, 상기 졸음 운전 경보부(400)는 상기 제2 기계학습 분류기(320)를 통해 일정 시간 내에 일정 횟수 이상의 졸음 운전 상태가 감지될 경우, 자율 주행 모드로 전환하는 자율주행 전환부(420)를 포함한다. 상기 자율주행 전환부(420)는 특히 고속도로 주행 시 졸음 운전 상태가 확실한 차량을 갓길이나 휴게소, 졸음 쉼터 등으로 안내할 때 유용하다. In addition, the drowsy driving warning unit 400 includes an autonomous driving switching unit 420 that switches to the autonomous driving mode when a certain number of drowsy driving conditions are detected within a certain time through the second machine learning classifier 320. do. The autonomous driving switching unit 420 is particularly useful when guiding a vehicle that is clearly in a drowsy driving state to the shoulder, a rest area, a drowsy rest area, etc. while driving on a highway.

도 3은 본 발명에 따른 인공지능을 이용한 졸음 운전 방지 방법을 나타낸 순서도이고, 도 4는 제2 기계학습 분류기가 선택될 경우 졸음 운전 감지 시점과 횟수에 따른 이벤트를 나타낸다.Figure 3 is a flow chart showing a method for preventing drowsy driving using artificial intelligence according to the present invention, and Figure 4 shows events according to the time and number of times drowsy driving is detected when the second machine learning classifier is selected.

본 발명에 따른 인공지능을 이용한 졸음 운전 방지 방법은, 카메라부(110)로 수집된 운전자의 이미지를 사람 얼굴의 눈 모양을 레이블링한 학습 데이터로 훈련된 제1 기계학습 분류기로 졸음 운전 상태를 판단(S100)하거나, 차량 실내 온도가 예컨데 설정 값인 26도 이상인지(S110), 차량 실내 이산화탄소 농도가 예컨데 설정 값인 1800ppm 이상인지(S120), 졸음 운전을 유발하는 주의 구역 내에 30분 이상 정차 또는 주차된 이력이 있는지(S130), 교통 신호를 위반했는지(S140), 차선 변경 중 방향지시등을 작동하지 않았는지(S150) 등을 판단하는 단계(S100~S150)와, 상기 단계(S100~S150)에서 상기 제1 기계학습 분류기로부터 졸음 운전이 판단되거나, 차량 실내 온도 및 이산화탄소 농도가 상기 설정 값 이상으로 측정되면, 사람 얼굴의 눈 모양을 포함하되 사람의 입 모양 또는 머리와 목의 기울기, 손과 얼굴의 위치 정보 중 어느 하나 이상의 정보를 레이블링한 학습 데이터로 훈련된 제2 기계학습 분류기로 전환(S200)하여 졸음 운전을 모니터링하고, 소리 또는 진동으로 경고 신호를 발생(S210)시키는 단계와, 상기 단계에서 차량 실내 온도 및 이산화탄소 농도가 설정 값 이상으로 측정될 경우 차량 내부로 외기를 순환시키거나 차창을 개방하는 단계(S160)와, 상기 조건들에 따라 상기 제2 기계학습 분류기가 선택(S200)될 경우 설정된 기간 내에 졸음 운전이 감지되면 소리 또는 진동으로 경고 신호를 발생(S210)시키고, 설정된 기간 내에 졸음 운전이 감지되지 않으면 제1 기계학습 분류기로 전환하여 졸음 운전을 모니터링하는 단계(S220)와, 상기 제2 기계학습 분류기가 선택될 경우(S200) 설정된 기간 내에 설정된 횟수 이하로 졸음 운전이 감지되면 소리 또는 진동으로 경고 신호를 발생(S210)시키고, 설정된 기간 내에 설정된 횟수 이상으로 졸음 운전이 감지되면 자율주행 모드로 전환(S245)하며, 설정된 기간 내에 졸음 운전이 감지되지 않으면, 제2 기계학습 분류기를 제1 기계학습 분류기로 전환(S230)하고 졸음 운전 해제 상태를 서버로 전송(S235)하는 단계(S220~S245)를 포함한다.The method for preventing drowsy driving using artificial intelligence according to the present invention determines the drowsy driving state using the driver's image collected by the camera unit 110 using a first machine learning classifier trained with learning data labeling the eye shape of the human face. (S100), or whether the vehicle's interior temperature is, for example, more than the set value of 26 degrees (S110), or the carbon dioxide concentration inside the vehicle is, for example, more than the set value of 1800 ppm (S120), or whether the vehicle is stopped or parked for more than 30 minutes in a caution zone that causes drowsy driving. Steps (S100 to S150) to determine whether there is a history (S130), whether a traffic signal was violated (S140), or whether the turn signal was not activated while changing lanes (S150), and the above steps (S100 to S150). If drowsy driving is determined from the first machine learning classifier, or the vehicle's interior temperature and carbon dioxide concentration are measured above the set value, the shape of the eyes of the human face, but also the shape of the human mouth, the tilt of the head and neck, and the shape of the hands and face. Converting at least one piece of location information to a second machine learning classifier trained with labeled learning data (S200) to monitor drowsy driving and generating a warning signal with sound or vibration (S210); When the vehicle interior temperature and carbon dioxide concentration are measured above the set value, circulating outside air inside the vehicle or opening the car window (S160), and when the second machine learning classifier is selected according to the conditions (S200) If drowsy driving is detected within a set period, generating a warning signal with sound or vibration (S210), and if drowsy driving is not detected within a set period, switching to a first machine learning classifier to monitor drowsy driving (S220); When the second machine learning classifier is selected (S200), if drowsy driving is detected less than a set number of times within a set period, a warning signal is generated with sound or vibration (S210), and when drowsy driving is detected more than a set number of times within a set period, autonomous driving is detected. Switching to driving mode (S245), and if drowsy driving is not detected within the set period, switching the second machine learning classifier to the first machine learning classifier (S230) and transmitting the drowsy driving release status to the server (S235) ( S220~S245).

참고로 상기 제2 기계학습 분류기가 선택되는 모드는 엄격 감시모드(S200)에 해당하며, 제1 기계학습 분류기가 선택되는 모드는 비교적 덜 엄격한 기준의 감시모드에 해당한다. 또한, 상기 엄격 감시모드로 전환될 때 마다 졸음 운전 주의 상태를 서버로 전송하여 주행 중인 주변의 다른 차량이나 도로교통공사, 경찰서, 119 센터 등과 같은 기관에 관련 정보를 통보함으로써 상황에 따른 대처가 가능하도록 할 수 있다.For reference, the mode in which the second machine learning classifier is selected corresponds to the strict surveillance mode (S200), and the mode in which the first machine learning classifier is selected corresponds to the surveillance mode with relatively less stringent standards. In addition, whenever the system is switched to the strict monitoring mode, the drowsy driving caution status is transmitted to the server and relevant information is notified to other driving vehicles or organizations such as the Road Traffic Corporation, police stations, and 119 centers, allowing them to respond according to the situation. You can do it.

도 4는 엄격 감시모드에서 졸음 운전 중이라고 판단하는 시점(610)에서 운전자에게 소리나 진동 같은 물리적 수단을 통해 경고하거나 자율 주행 전환을 결정하고, 졸음 운전 중이 아니라고 판단되는 경우 엄격 감시모드를 해제(620)하는 시점을 타임라인(600)에 나타낸 것이다.Figure 4 shows that at the time when it is determined that the driver is drowsy in the strict monitoring mode (610), the driver is warned through physical means such as sound or vibration or a decision is made to switch to autonomous driving, and when it is determined that the driver is not drowsy, the strict monitoring mode is released (620). ) is shown on the timeline 600.

예를 들어, 졸음 운전 판단을 위한 기간을 20분으로 설정하고, 10분 내에 3회의 졸음 운전이 감지될 때 자율 주행을 결정하는 것으로 졸음 운전 횟수를 설정한다면, 도 4(a)의 경우 엄격 감시모드로 전환된 이후 20분 내에 총 3번의 졸음 운전이 감지(610)되었으나 처음 졸음 운전이 감지된 시점이 6.5분이고 두번째 졸음 운전이 감지된 시점이 11.5분, 세번째 졸음 운전이 감지된 시점이 17.7분이라면 처음과 두번째 시점의 간격은 5분이고, 두번째와 세번째 시점의 간격은 6.2분으로 11.2분 이내에 3번의 졸음 운전이 감지된 상태이므로 이러한 경우 물리적 수단을 통한 경고만을 진행한다.For example, if the period for determining drowsy driving is set to 20 minutes and the number of drowsy driving is set to determine autonomous driving when three drowsy driving is detected within 10 minutes, in the case of FIG. 4(a), strict monitoring is performed. A total of three drowsy driving cases were detected (610) within 20 minutes after switching to the mode, but the time when the first drowsy driving was detected was 6.5 minutes, the time when the second drowsy driving was detected was 11.5 minutes, and the time when the third drowsy driving was detected was 17.7 minutes. In this case, the interval between the first and second time points is 5 minutes, and the interval between the second and third time points is 6.2 minutes. This means that three drowsy driving cases have been detected within 11.2 minutes, so in this case, only a warning is issued through physical means.

도 4(b)의 경우 엄격 감시모드로 전환된 이후 20분 내에 총 3번의 졸음 운전이 감지(610)되었으며, 처음 졸음 운전이 감지된 시점이 6.5분이고 두번째 졸음 운전이 감지된 시점이 11.5분, 세번째 졸음 운전이 감지된 시점이 14분이라면 처음과 두번째 시점의 간격은 5분이고, 두번째와 세번째 시점의 간격은 2.5분으로 7.5분 이내에 총 3번의 졸음 운전이 감지된 상태이므로 심각한 졸음 운전 상태로 판단해 자율주행 모드로 전환할 수 있다.In the case of FIG. 4(b), a total of three drowsy driving was detected (610) within 20 minutes after switching to strict monitoring mode, with the first drowsy driving being detected at 6.5 minutes, the second drowsy driving being detected at 11.5 minutes, and the second drowsy driving detected at 11.5 minutes. If the third time drowsy driving was detected was 14 minutes, the interval between the first and second time points was 5 minutes, and the interval between the second and third time points was 2.5 minutes. A total of 3 drowsy driving was detected within 7.5 minutes, so it is judged to be a serious drowsy driving condition. You can switch to autonomous driving mode.

도 4(c)의 경우 엄격 감시모드로 전환된 이후 20분 내에 총 1번의 졸음 운전이 감지되었으며, 처음 졸음 운전이 감지된 시점이 2분이라면 20분이 경과된 시점인 23분에 엄격 감시모드를 해제(620)할 수 있다.In the case of Figure 4(c), a total of one drowsy driving was detected within 20 minutes after switching to strict monitoring mode. If the first drowsy driving was detected at 2 minutes, strict monitoring mode was activated at minute 23, which is after 20 minutes. It can be released (620).

만일 타임라인(600) 상에 세 개 이상의 졸음 운전 감지 시점(610)이 표시된다면, 이때 첫번째 시점은 마지막 시점의 앞의 두번째 시점이 선택되어 항상 3개 지점을 기준으로 물리적 경고, 자율주행 전환, 엄격 감시모드 해제 같은 이벤트가 수행된다.If three or more drowsy driving detection points 610 are displayed on the timeline 600, the second point before the last point is selected as the first point, and physical warning, autonomous driving conversion, and Events such as disabling strict monitoring mode are performed.

상기와 같은 방법은 이외에도 다양한 방식에 의해 구현될 수 있으며 졸음 운전 판단 기간과 횟수가 상기 기준으로 한정되는 것이 아님을 주의하여야 한다.It should be noted that the above method can be implemented in various other ways, and that the period and frequency of determining drowsy driving is not limited to the above standards.

본 발명의 권리범위는 상술한 실시예에 한정되는 것이 아니라 첨부된 특허청구범위 내에서 다양한 형태의 실시예로 구현될 수 있다. 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 변형 가능한 다양한 범위까지 본 발명의 청구범위 기재의 범위 내에 있는 것으로 보아야 한다.The scope of the present invention is not limited to the above-described embodiments, but may be implemented in various forms of embodiments within the scope of the appended claims. Anyone skilled in the art without departing from the gist of the invention as claimed in the patent claims should regard the invention as falling within the scope of the claims to the extent that modifications can be made to various extents.

100: 졸음 운전 감지부 110: 카메라부
120: 온도 센서 130: CO2 센서
140: 위치센서 150: 교통 신호 위반 판별부
160: 방향지시등 조작 여부 판별부 170: 타이머
200: 제어부 300: 모드 선택부
310: 제1 기계학습 분류기 320: 제2 기계학습 분류기
330: 심박수 체크 수단 400: 졸음 운전 경보부
410: 전장부품 구동부 412: 스피커
414: 외기 조절부 416: 차창 개폐부
418: 진동 발생부 420: 자율주행 전환부
430: 서버 500: 단말기
600: 타임라인 610: 졸음 운전 감지 시점
620: 엄격 감시모드 해제 시점100: drowsy driving detection unit 110: camera unit
120: temperature sensor 130: CO2 sensor
140: Location sensor 150: Traffic signal violation determination unit
160: Turn signal operation determination unit 170: Timer
200: control unit 300: mode selection unit
310: first machine learning classifier 320: second machine learning classifier
330: Heart rate check means 400: Drowsy driving warning unit
410: Electrical component driving unit 412: Speaker
414: Outside air control unit 416: Window opening/closing unit
418: Vibration generation unit 420: Autonomous driving conversion unit
430: Server 500: Terminal
600: Timeline 610: When drowsy driving is detected
620: Time to cancel strict monitoring mode

Claims (8)

운전자의 얼굴과 상반신 일부를 촬영하기 위한 카메라부와, 차량 내부 실내 온도를 측정하기 위한 온도 센서와, 차량 내부의 이산화탄소 농도를 측정하기 위한 CO2 센서를 포함하는 졸음 운전 감지부;
사람 얼굴의 눈 모양을 레이블링한 학습 데이터로 훈련되어 졸음 운전 상태를 판단하는 제1 기계학습 분류기와, 사람 얼굴의 눈 모양을 포함하되 사람의 입 모양 또는 머리와 목의 기울기, 손과 얼굴의 위치 정보 중 어느 하나 이상의 정보를 레이블링한 학습 데이터로 훈련되어 졸음 운전 상태를 판단하는 제2 기계학습 분류기를 포함하는 모드 선택부;
상기 제1 기계학습 분류기로부터 졸음 운전이 감지되거나, 상기 졸음 운전 감지부를 통해 검출되는 온도 또는 이산화탄소 농도가 설정 값 이상일 경우 제2 기계학습 분류기를 선택하는 제어부; 및
상기 제1 또는 제2 기계학습 분류기로부터 졸음 운전이 감지되거나 설정 값 이상의 온도 또는 이산화탄소 농도가 검출될 때, 스피커로 경고음을 출력하거나 차량 시트 또는 핸들에 진동을 발생시키고, 차량 내부로 외기를 순환시키거나 차창을 개방하는 전장부품 구동부를 포함하는 졸음 운전 경보부를 포함하는 것을 특징으로 하는 인공지능을 이용한 졸음 운전 방지 시스템.A drowsy driving detection unit including a camera unit for photographing the driver's face and part of the upper body, a temperature sensor for measuring the indoor temperature inside the vehicle, and a CO2 sensor for measuring the carbon dioxide concentration inside the vehicle;
A first machine learning classifier that is trained with learning data labeling the eye shape of a human face and determines drowsy driving conditions, and includes the eye shape of the human face, but also the shape of the human mouth or the tilt of the head and neck, and the position of the hands and face. a mode selection unit including a second machine learning classifier that is trained with learning data labeling one or more pieces of information and determines a drowsy driving state;
a control unit that selects a second machine learning classifier when drowsy driving is detected from the first machine learning classifier or when the temperature or carbon dioxide concentration detected through the drowsy driving detection unit is greater than a set value; and
When drowsy driving is detected or a temperature or carbon dioxide concentration above a set value is detected from the first or second machine learning classifier, a warning sound is output through the speaker, vibration is generated on the vehicle seat or steering wheel, and external air is circulated inside the vehicle. A drowsy driving prevention system using artificial intelligence, characterized in that it includes a drowsy driving warning unit that includes an electrical component driving unit that opens the car window. 제1항에 있어서,
상기 졸음 운전 감지부는,
차량의 주차 위치를 검출하는 위치 센서와, 차량의 주차 시간을 카운트하는 타이머를 포함하는 것을 특징으로 하는 인공지능을 이용한 졸음 운전 방지 시스템.According to paragraph 1,
The drowsy driving detection unit,
A drowsy driving prevention system using artificial intelligence, which includes a position sensor that detects the parking position of the vehicle, and a timer that counts the parking time of the vehicle. 제1항에 있어서,
상기 졸음 운전 감지부는,
주행중인 차량 전방의 교통 신호등을 촬영하는 카메라로부터 수집된 이미지를 분석하여 교통 신호 위반 여부를 판별하거나, 도로에 설치된 과속 방지용 카메라 시설물로부터 교통 신호 위반 여부를 인지할 수 있는 데이터를 전송받는 교통 신호 위반 판별부를 포함하는 것을 특징으로 하는 인공지능을 이용한 졸음 운전 방지 시스템.According to paragraph 1,
The drowsy driving detection unit,
Traffic signal violations are determined by analyzing images collected from cameras that capture traffic lights in front of a driving vehicle, or receiving data that can recognize traffic signal violations from speeding prevention camera facilities installed on the road. A drowsy driving prevention system using artificial intelligence, characterized by including a determination unit. 제1항에 있어서,
상기 졸음 운전 감지부는,
주행중인 차량 전방의 도로에 표시된 차선을 촬영하는 카메라로부터 수집된 이미지와, 방향지시등 조작 이력 데이터를 분석하여 방향지시등 조작 여부를 판별하는 방향지시등 조작 여부 판별부를 포함하는 것을 특징으로 하는 인공지능을 이용한 졸음 운전 방지 시스템.According to paragraph 1,
The drowsy driving detection unit,
A device using artificial intelligence, characterized in that it includes a turn signal operation determination unit that determines whether the turn signal light has been operated by analyzing images collected from a camera that captures the lane marked on the road in front of the driving vehicle and turn signal light operation history data. Drowsy driving prevention system. 제1항에 있어서,
상기 졸음 운전 경보부는,
상기 제어부를 통해 상기 제2 기계학습 분류기가 선택될 경우, 상기 위치 센서로 수신되는 차량 위치에서 일정 거리 이내에 위치한 다른 운전자의 단말기로 경고 데이터를 전송하는 서버를 포함하는 인공지능을 이용한 졸음 운전 방지 시스템.According to paragraph 1,
The drowsy driving warning unit,
A drowsy driving prevention system using artificial intelligence that includes a server that transmits warning data to another driver's terminal located within a certain distance from the vehicle location received by the position sensor when the second machine learning classifier is selected through the control unit. . 제1항에 있어서,
상기 졸음 운전 경보부는,
상기 제2 기계학습 분류기를 통해 일정 시간 내에 일정 횟수 이상의 졸음 운전 상태가 감지될 경우, 자율 주행 모드로 전환하는 자율주행 전환부를 포함하는 것을 특징으로 하는 인공지능을 이용한 졸음 운전 방지 시스템.According to paragraph 1,
The drowsy driving warning unit,
A drowsy driving prevention system using artificial intelligence, comprising an autonomous driving switching unit that switches to an autonomous driving mode when a certain number of drowsy driving conditions are detected within a certain period of time through the second machine learning classifier. 카메라부로 수집된 운전자의 이미지를 사람 얼굴의 눈 모양을 레이블링한 학습 데이터로 훈련된 제1 기계학습 분류기로 졸음 운전 상태를 판단하거나, 차량 실내 온도가 설정 값 이상인지, 차량 실내 이산화탄소 농도가 설정 값 이상인지 판단하는 단계;
상기 단계에서 상기 제1 기계학습 분류기로부터 졸음 운전이 판단되거나, 차량 실내 온도 및 이산화탄소 농도가 설정 값 이상으로 측정되면, 사람 얼굴의 눈 모양을 포함하되 사람의 입 모양 또는 머리와 목의 기울기, 손과 얼굴의 위치 정보 중 어느 하나 이상의 정보를 레이블링한 학습 데이터로 훈련된 제2 기계학습 분류기로 전환하여 졸음 운전을 모니터링하고, 소리 또는 진동으로 경고 신호를 발생시키는 단계;
상기 단계에서 차량 실내 온도 및 이산화탄소 농도가 설정 값 이상으로 측정될 경우 차량 내부로 외기를 순환시키거나 차창을 개방하는 단계;
상기 조건들에 따라 상기 제2 기계학습 분류기가 선택될 경우 설정된 기간 내에 졸음 운전이 감지되면 소리 또는 진동으로 경고 신호를 발생시키고, 설정된 기간 내에 졸음 운전이 감지되지 않으면 제1 기계학습 분류기로 전환하여 졸음 운전을 모니터링하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 졸음 운전 방지 방법.The first machine learning classifier trained with learning data labeling the eye shape of the human face uses the driver's image collected by the camera unit to determine drowsy driving status, determine whether the vehicle's interior temperature is above the set value, and determine whether the vehicle's interior carbon dioxide concentration is within the set value. A step of determining whether there is an abnormality;
In the above step, if drowsy driving is determined by the first machine learning classifier, or the vehicle interior temperature and carbon dioxide concentration are measured above the set value, the shape of the eyes of the human face, but also the shape of the human mouth, the tilt of the head and neck, and the hands Monitoring drowsy driving by switching to a second machine learning classifier trained with learning data labeling one or more of the face location information and generating a warning signal with sound or vibration;
Circulating outside air inside the vehicle or opening the car window when the vehicle interior temperature and carbon dioxide concentration are measured above the set value in the above step;
When the second machine learning classifier is selected according to the above conditions, if drowsy driving is detected within the set period, a warning signal is generated with sound or vibration, and if drowsy driving is not detected within the set period, the second machine learning classifier is switched to the first machine learning classifier. A method of preventing drowsy driving using artificial intelligence, comprising the step of monitoring drowsy driving. 제7항에 있어서,
상기 제2 기계학습 분류기가 선택될 경우 설정된 기간 내에 설정된 횟수 이하로 졸음 운전이 감지되면 소리 또는 진동으로 경고 신호를 발생시키고, 설정된 기간 내에 설정된 횟수 이상으로 졸음 운전이 감지되면 자율주행 모드로 전환하는 단계를 포함하는 것을 특징으로 하는 인공지능을 이용한 졸음 운전 방지 방법.

In clause 7,
When the second machine learning classifier is selected, if drowsy driving is detected less than a set number of times within a set period, a warning signal is generated with sound or vibration, and when drowsy driving is detected more than a set number of times within a set period, the system switches to autonomous driving mode. A method for preventing drowsy driving using artificial intelligence, comprising the following steps:
KR1020220027323A 2022-03-03 2022-03-03 System for detecting and preventing drowsy driving using ai technology KR102643541B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220027323A KR102643541B1 (en) 2022-03-03 2022-03-03 System for detecting and preventing drowsy driving using ai technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220027323A KR102643541B1 (en) 2022-03-03 2022-03-03 System for detecting and preventing drowsy driving using ai technology

Publications (2)

Publication Number Publication Date
KR20230131312A true KR20230131312A (en) 2023-09-13
KR102643541B1 KR102643541B1 (en) 2024-03-05

Family

ID=88020646

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220027323A KR102643541B1 (en) 2022-03-03 2022-03-03 System for detecting and preventing drowsy driving using ai technology

Country Status (1)

Country Link
KR (1) KR102643541B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190095199A (en) * 2019-07-26 2019-08-14 엘지전자 주식회사 Method, system, and vehicle for preventing drowsy driving
KR20190111318A (en) * 2018-03-22 2019-10-02 슈어소프트테크주식회사 Automobile, server, method and system for estimating driving state
KR102150034B1 (en) * 2019-12-13 2020-08-31 제주특별자치도 SAFE DRIVING SUPPORT SYSTEM BASED ON MOBILE IoT AGENT AND METHOD FOR PROCESSING THEREOF
KR102320484B1 (en) * 2020-05-06 2021-11-04 타이아(주) System for monitering a careless driving

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190111318A (en) * 2018-03-22 2019-10-02 슈어소프트테크주식회사 Automobile, server, method and system for estimating driving state
KR20190095199A (en) * 2019-07-26 2019-08-14 엘지전자 주식회사 Method, system, and vehicle for preventing drowsy driving
KR102218526B1 (en) 2019-07-26 2021-02-19 엘지전자 주식회사 Method, system, and vehicle for preventing drowsy driving
KR102150034B1 (en) * 2019-12-13 2020-08-31 제주특별자치도 SAFE DRIVING SUPPORT SYSTEM BASED ON MOBILE IoT AGENT AND METHOD FOR PROCESSING THEREOF
KR102320484B1 (en) * 2020-05-06 2021-11-04 타이아(주) System for monitering a careless driving

Also Published As

Publication number Publication date
KR102643541B1 (en) 2024-03-05

Similar Documents

Publication Publication Date Title
CN112660157B (en) Multifunctional remote monitoring and auxiliary driving system for barrier-free vehicle
US7839292B2 (en) Real-time driving danger level prediction
EP2892036B1 (en) Alert generation correlating between head mounted imaging data and external device
Li et al. Modeling of driver behavior in real world scenarios using multiple noninvasive sensors
KR101386823B1 (en) 2 level drowsy driving prevention apparatus through motion, face, eye,and mouth recognition
US8164463B2 (en) Driver management apparatus and travel management system
CN110532976A (en) Method for detecting fatigue driving and system based on machine learning and multiple features fusion
KR101276770B1 (en) Advanced driver assistance system for safety driving using driver adaptive irregular behavior detection
CN105788028A (en) Automobile data recorder with fatigue driving pre-warning function
JPWO2008029802A1 (en) Driving information providing device
CN110503802A (en) Driving accident judgment method and system based on automobile data recorder
Shubham et al. A survey on IoT based automatic road accident detection
CN110634296A (en) Emergency processing system and method for intelligent driving
Guria et al. Iot-enabled driver drowsiness detection using machine learning
Puli et al. Safety Alerting System For Drowsy Driver
Kannan et al. Driver drowsiness detection and alert system
Mašanović et al. Driver monitoring using the in-vehicle camera
KR102643541B1 (en) System for detecting and preventing drowsy driving using ai technology
Awasekar et al. Driver fatigue detection and alert system using non-intrusive eye and yawn detection
Pardhe et al. Alcohol Detection and Traffic Sign Board Recognition for Vehicle Acceleration Using CNN
RU2703341C1 (en) Method for determining hazardous conditions on public roads based on monitoring the situation in the cabin of a vehicle
Qureshi et al. An Effective IOT based Driver's Drowsiness Detection and Monitoring System to Avoid Real-Time Road Accidents
CN204706141U (en) Wearable device
Srilakshmi et al. Automated Driver Drowsiness Detection System using Computer Vision and Machine Learning
Chaturvedi et al. Driver Safety and Assistance System using Machine Learning & IoT

Legal Events

Date Code Title Description
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant