KR102476829B1 - Method for detecting drowsiness using deep learning and system for preventing drowsy driving using thereof - Google Patents

Method for detecting drowsiness using deep learning and system for preventing drowsy driving using thereof Download PDF

Info

Publication number
KR102476829B1
KR102476829B1 KR1020210138259A KR20210138259A KR102476829B1 KR 102476829 B1 KR102476829 B1 KR 102476829B1 KR 1020210138259 A KR1020210138259 A KR 1020210138259A KR 20210138259 A KR20210138259 A KR 20210138259A KR 102476829 B1 KR102476829 B1 KR 102476829B1
Authority
KR
South Korea
Prior art keywords
drowsiness
deep learning
drowsy
drowsy driving
state
Prior art date
Application number
KR1020210138259A
Other languages
Korean (ko)
Inventor
노기섭
임준환
박진아
박수진
Original Assignee
청주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 청주대학교 산학협력단 filed Critical 청주대학교 산학협력단
Priority to KR1020210138259A priority Critical patent/KR102476829B1/en
Application granted granted Critical
Publication of KR102476829B1 publication Critical patent/KR102476829B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

The present invention relates to a device and a method for preventing drowsy driving. According to the present invention, in order to solve the problems of devices and methods for preventing drowsy driving in the prior art that has had limitations in that malfunctions frequently occur due to relatively low accuracy in recognizing various drowsy states for each driver in addition to the inconvenience of installing a separate device in a vehicle or wearing the separate device on the body to prevent drowsy driving, provided are a drowsiness detection method using deep learning and a drowsy driving prevention system using the same. Compared to existing devices and methods for preventing drowsy driving, it is possible to more accurately determine the drowsy state and effectively prevent drowsy driving by recognizing a face through a camera, detecting blinking of the eyelids, determining as a drowsy state when the eyelids are closed for more than a standard time, and generating an alarm using image recognition technology based on deep learning, thereby improving safety and reliability. At the same time, the present invention can be implemented with a simpler configuration and lower cost without the hassle of installing a separate device in a vehicle or wearing the separate device on the body by allowing such a series of processing to be performed through a camera and a speaker installed in a smartphone of a user.

Description

딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템{Method for detecting drowsiness using deep learning and system for preventing drowsy driving using thereof} Method for detecting drowsiness using deep learning and system for preventing drowsy driving using thereof}

본 발명은 졸음운전을 방지하기 위한 장치 및 방법에 관한 것으로, 더 상세하게는, 일반적으로, 교통사고 사망사고의 가장 큰 원인이 졸음운전 및 전방주시 태만인 것으로 나타나고 있으나 이러한 졸음운전 및 전방주시 태만으로 인한 교통사고의 발생을 효과적으로 방지할 수 있는 방안이 제시되지 못하였던 종래기술의 졸음운전 방지장치 및 방법들의 문제점을 해결하기 위해, 딥러닝 기술을 이용하여 졸음상태를 검출하고 경보를 발생함으로써 보다 정확하고 효과적으로 졸음운전을 방지할 수 있도록 구성되는 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템에 관한 것이다. The present invention relates to an apparatus and method for preventing drowsy driving, and more specifically, generally, the biggest causes of traffic accidents and deaths are drowsy driving and neglect of looking ahead, but such drowsy driving and neglect of looking ahead In order to solve the problems of the conventional devices and methods for preventing drowsy driving, which have not been proposed to effectively prevent the occurrence of traffic accidents due to, deep learning technology is used to detect the drowsy state and generate an alarm to make it more It relates to a drowsy driving detection method using deep learning configured to accurately and effectively prevent drowsy driving and a drowsy driving prevention system using the same.

또한, 본 발명은, 졸음운전을 방지하기 위하여 별도의 장치를 차량에 설치하거나 신체에 착용하여야 하는 불편함이 있는 데 더하여, 운전자별로 다양하게 나타나는 졸음상태의 인식에 대한 정확도가 상대적으로 떨어짐으로 인해 오작동이 빈번하게 발생하는 한계가 있었던 종래기술의 졸음운전 방지장치 및 방법들의 문제점을 해결하기 위해, 딥러닝에 기반한 영상인식 기술을 이용하여, 카메라를 통해 얼굴을 인식하고 눈꺼풀의 깜빡임을 감지하여 기준시간 이상 감겨있을 경우 졸음상태로 판단하여 경보를 발생하도록 구성됨으로써, 기존의 졸음운전 방지장치 및 방법들에 비하여 보다 정확하게 졸음상태를 판단하고 효과적으로 졸음운전을 방지하여 안전성 및 신뢰성을 향상시킬 수 있도록 구성되는 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템에 관한 것이다. In addition, in the present invention, in addition to the inconvenience of installing a separate device in the vehicle or wearing it on the body to prevent drowsy driving, the accuracy of recognizing various drowsy states for each driver is relatively low. In order to solve the problems of the prior art drowsy driving prevention devices and methods, which have limitations in that malfunctions frequently occur, deep learning-based image recognition technology is used to recognize faces through cameras and detect blinking of eyelids as a criterion. It is configured to determine the drowsy state and generate an alarm when it is wound for more than an hour, so that it can more accurately determine the drowsy state and effectively prevent drowsy driving to improve safety and reliability compared to existing devices and methods for preventing drowsy driving. It relates to a drowsiness detection method using deep learning and a drowsy driving prevention system using the same.

아울러, 본 발명은, 상기한 바와 같이 딥러닝에 기반한 영상인식 기술을 이용하여 얼굴을 인식하고 눈꺼풀의 깜빡임을 감지하여 졸음상태를 판단하여 경보를 발생하는 것에 의해 보다 정확하고 효과적으로 졸음운전을 방지할 수 있는 동시에, 그러한 일련의 처리과정이 사용자의 스마트폰에 설치된 카메라 및 스피커를 통해 이루어지도록 구성됨으로써, 별도의 장치를 차량에 설치하거나 신체에 착용해야 하는 번거로움이 없이 보다 간단한 구성 및 저렴한 비용으로 구현 가능하도록 구성되는 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템에 관한 것이다. In addition, the present invention, as described above, recognizes a face using image recognition technology based on deep learning, detects blinking of the eyelids, determines the drowsiness state, and generates an alarm to more accurately and effectively prevent drowsy driving. At the same time, such a series of processing is configured to be performed through the camera and speaker installed in the user's smartphone, so that it can be installed in a vehicle or worn on the body with a simpler configuration and lower cost. It relates to a drowsiness detection method using deep learning configured to be implemented and a drowsy driving prevention system using the same.

일반적으로, 졸음운전은 각종 교통사고의 원인이 되고, 그 중에서도 사망사고발생의 가장 큰 원인이 되고 있다. In general, drowsy driving causes various traffic accidents, and among them, it is the biggest cause of fatal accidents.

즉, 한국도로공사에서 발표한 고속도로 교통사고 사망자 분석결과(2015 ~ 2019)에 따르면 졸음 및 주시 태만이 729건(67.6%)으로 가장 큰 비율을 나타내었으며, 경찰청에서 발표한 졸음운전 교통사고 현황에 따르면 2018년 4,017건에서 2019년 8,448건으로 110% 증가하는 추세를 나타내었다. In other words, according to the analysis of highway traffic accident fatalities (2015-2019) announced by the Korea Expressway Corporation, drowsiness and negligence accounted for the largest proportion with 729 cases (67.6%), and the current status of drowsy driving traffic accidents announced by the National Police Agency According to the report, the number of cases increased by 110% from 4,017 in 2018 to 8,448 in 2019.

더욱이, 이러한 졸음운전으로 인한 교통사고는 사망사고 및 대형사고 발생의 확률이 매우 높으므로 단순히 차량파손 등과 같은 경제적 손실뿐만 아니라 인명피해를 야기하게 되나, 졸음운전으로 인한 사고발생은 감소되지 않고 지속적으로 증가하는 추세이며, 이에, 졸음운전을 방지하고 안전성을 확보하기 위한 여러 가지 방안이 제시되고 있다. Moreover, traffic accidents caused by drowsy driving have a very high probability of fatal accidents and large-scale accidents, so they cause not only economic losses such as vehicle damage, but also human casualties. It is an increasing trend, and thus, various methods for preventing drowsy driving and securing safety have been proposed.

여기서, 상기한 바와 같이 졸음운전을 방지하기 위한 장치 및 방법에 대한 종래기술의 예로는, 먼저, 예를 들면, 한국 등록특허공보 제10-2195441호에 제시된 바와 같은 "베타파 뇌파동조를 이용한 운전자 졸음방지 장치"가 있다. Here, as an example of the prior art for the device and method for preventing drowsy driving as described above, first, for example, as presented in Korean Patent Registration No. 10-2195441, "driver using beta wave brain wave tuning" There is an anti-drowsiness device.

더 상세하게는, 상기한 한국 등록특허공보 제10-2195441호는, 차량의 시트에 내부 또는 외부에 장착되며, 케이스부(Case Part); 케이스부의 제 1 위치(First Position)에 케이스부를 막는 형태로 배치되는 제 1 진동판(First Diaphragm); 케이스부에서 제 1 위치보다 전방에 위치하는 제 2 위치(Second Position)에 케이스부를 막는 형태로 배치되는 제 2 진동판(Second Diaphragm); 및 제 1 진동판과 제 2 진동판 사이에서 제 1 진동판에 배치되는 베타파 대역의 주파수로 진동을 발생하는 진동발생부(Vibration Generation Module); 제 1 진동판의 후방에 배치되는 후면판(Rear Plate)을 포함하여, 차량 내부, 특히, 운전자와 가까운 시트에 장착되어 사람이 각성수준이 높은 경우에 발생하는 뇌파인 베타파 대역의 각성유도파를 발생하는 것에 의해 운전자의 각성상태를 유도함으로써 운전자의 졸음을 방지하면서 집중력을 향상시키고 안전운전에 기여할 수 있도록 구성되는 베타파 뇌파동조를 이용한 운전자 졸음방지 장치에 관한 것이다. More specifically, the above Korean Patent Registration Publication No. 10-2195441 is mounted inside or outside a seat of a vehicle, and includes a case part; a first diaphragm disposed in a first position of the case to block the case; a second diaphragm disposed at a second position forward of the first position in the case to block the case; and a vibration generation module configured to generate vibration at a frequency of a beta wave band disposed on the first diaphragm between the first diaphragm and the second diaphragm. Including the rear plate disposed behind the first diaphragm, it is installed inside the vehicle, in particular, on a seat close to the driver, and generates an arousal induced wave in the beta wave band, which is an brain wave generated when a person has a high arousal level. The present invention relates to a device for preventing driver's drowsiness using beta wave brain wave tuning configured to improve concentration and contribute to safe driving while preventing driver's drowsiness by inducing the driver's awake state by the occurrence.

또한, 상기한 바와 같이 졸음운전을 방지하기 위한 장치 및 방법에 대한 종래기술의 다른 예로는, 예를 들면, 한국 등록특허공보 제10-1988426호에 제시된 바와 같은 "졸음방지용 손목형 전기충격기"가 있다. In addition, as described above, another example of the prior art for an apparatus and method for preventing drowsy driving is, for example, a “wrist-type electric shocker for preventing drowsiness” as suggested in Korean Patent Registration No. 10-1988426. there is.

더 상세하게는, 상기한 한국 등록특허공보 제10-1988426호는, 스피커; 진동 전달장치; 사용자의 혈중 산소농도를 측정하는 광학센서 및 압력센서를 포함하는 센서부; 제어부의 신호에 따라 소정 암페어의 전류를 흘려보내는 전기충격부; 사용자의 정상 혈중산소농도 범위 및 졸음단계에 따른 혈중산소농도 범위에 대한 데이터가 저장 및 업데이트되는 메모리부; 센서부에서 측정한 사용자의 혈중산소농도와 메모리부에 저장되어 있는 사용자의 정상 혈중산소농도 범위 및 졸음단계에 따른 혈중산소농도의 범위에 대한 데이터를 비교하여 졸음단계에 따라 전기충격부가 소정 암페어의 전류를 흘려보내도록 제어신호를 전송하는 제어부; 전원을 공급하는 배터리부; 센서부, 전기충격부, 메모리부, 제어부 및 배터리부가 결합되며 손목에 착용 가능하도록 구성된 절연소재의 밴드부; 외부 디바이스로 사용자 상태에 따른 알림을 전송하는 근거리 통신 모듈; 및 사용자의 두부에 착용하여 사용자의 눈 크기를 측정하거나, 사용자의 고개가 숙여지는 것을 측정하여 이를 근거리 통신모듈로 전송하는 외부 센서부를 포함하여, 손목에 장착되는 센서장치에서 사용자의 상태를 측정하고 측정된 사용자의 상태를 기반으로 사용자가 졸음이 오는 단계를 미리 파악하여 사용자에게 전기충격을 가하는 것에 의해 사용자가 실제로 졸기 전에 졸음을 방지할 수 있도록 구성되는 졸음방지용 손목형 전기충격기에 관한 것이다. More specifically, the above Korean Patent Registration No. 10-1988426 discloses a speaker; vibration transmission device; a sensor unit including an optical sensor and a pressure sensor for measuring a user's blood oxygen concentration; An electric shock unit that sends current of a predetermined ampere according to a signal from the control unit; a memory unit for storing and updating data on a blood oxygen concentration range according to a user's normal blood oxygen concentration range and drowsiness level; By comparing the user's blood oxygen concentration measured by the sensor unit and the data stored in the memory unit for the user's normal blood oxygen concentration range and blood oxygen concentration range according to the drowsiness stage, the electric shock unit generates a predetermined ampere according to the drowsiness stage. a control unit that transmits a control signal to allow current to flow; a battery unit that supplies power; A band portion made of an insulating material coupled to a sensor unit, an electric shock unit, a memory unit, a control unit, and a battery unit and configured to be worn on a wrist; A short-distance communication module for transmitting a notification according to a user state to an external device; And an external sensor unit that is worn on the user's head to measure the size of the user's eyes or the bending of the user's head and transmits it to the short-range communication module, measuring the user's condition in a sensor device mounted on the wrist, The present invention relates to a wrist type electric shocker for preventing drowsiness configured to prevent a user from falling asleep before actually dozing by preliminarily identifying a stage in which a user becomes drowsy based on a measured state of the user and applying an electric shock to the user.

상기한 바와 같이, 종래, 졸음운전을 방지하기 위한 다양한 장치 및 방법들이 제시된 바 있으나, 상기한 바와 같은 종래기술의 내용들은 다음과 같은 한계가 있는 것이었다. As described above, various devices and methods for preventing drowsy driving have been proposed, but the contents of the prior art as described above have the following limitations.

즉, 상기한 한국 등록특허공보 제10-2195441호에 제시된 바와 같은 종래기술의 졸음운전 방지장치 및 방법들은, 예를 들면, 운전석 시트나 스티어링 휠 등과 같이, 차량의 어딘가에 별도의 장치를 설치하여 운전전자에게 자극을 주는 방식으로 졸음을 방지하도록 구성되는 것이 대부분으로, 이와 같이 차량에 설치되는 방식은 상대적으로 그 구성이 복잡하고 설치과정이 번거로운 단점이 있었다. That is, the conventional devices and methods for preventing drowsy driving as suggested in Korean Patent Registration Publication No. 10-2195441, for example, drive by installing a separate device somewhere in the vehicle, such as a driver's seat or steering wheel. Most of them are configured to prevent drowsiness by stimulating the electrons, and the method installed in the vehicle as described above has disadvantages in that the configuration is relatively complicated and the installation process is cumbersome.

또한, 상기한 한국 등록특허공보 제10-1988426호에 제시된 바와 같은 종래기술의 졸음운전 방지장치 및 방법들은, 운전자의 신체에 착용하는 방식으로 구성되어 차량에 별도의 장치를 설치하는 번거로움을 해소하도록 하고 있으나, 그 대신에 별도의 장치를 신체에 착용하고 운전해야 하는 불편함이 있고, 이러한 불편함은 장시간 운전일수록 증가하게 된다. In addition, the prior art drowsy driving prevention devices and methods, as presented in Korean Patent Registration No. 10-1988426, are configured to be worn on the driver's body to eliminate the hassle of installing a separate device in the vehicle. However, there is an inconvenience of having to wear a separate device on the body and drive, and this discomfort increases as the driving is performed for a long time.

아울러, 상기한 바와 같은 종래기술의 졸음운전 방지장치 및 방법들은, 각각의 운전자나 상황에 따라 다양한 형태로 나타나게 되는 운전자의 졸음상태를 모두 정확히 판단할 수 없음으로 인해, 경우에 따라 오작동이 빈번히 발생하여 장치의 신뢰성이 저하되고 안전운전에 오히려 방해가 되는 문제도 있는 것이었다. In addition, the above-described devices and methods for preventing drowsy driving in the prior art frequently cause malfunctions due to the inability to accurately determine all of the driver's drowsy state, which appears in various forms depending on each driver or situation. As a result, the reliability of the device is lowered and there is a problem that rather interferes with safe driving.

따라서 상기한 바와 같은 종래기술의 졸음방지 장치 및 방법들의 한계를 해결하기 위하여는, 별도의 장치를 설치하거나 착용할 필요없이 보다 간단한 구성 및 저렴한 비용으로 구현 가능한 동시에, 각각의 운전자 및 상황별로 다르게 나타나는 졸음상태를 정확하게 판단할 수 있도록 구성되는 새로운 구성의 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템을 제시하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다. Therefore, in order to solve the limitations of the conventional sleep prevention devices and methods as described above, it can be implemented with a simpler configuration and lower cost without the need to install or wear a separate device, and at the same time, different drivers and conditions appear differently for each driver and situation. It is desirable to propose a new configuration of drowsiness detection method configured to accurately determine the drowsiness state and a drowsy driving prevention system using the same, but a device or method that satisfies all such demands has not yet been presented.

한국 등록특허공보 제10-2195441호 (2020.12.21.)Korean Patent Registration No. 10-2195441 (2020.12.21.) 한국 등록특허공보 제10-1988426호 (2019.06.05.)Korean Patent Registration No. 10-1988426 (2019.06.05.)

본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 졸음운전 및 전방주시 태만으로 인한 사고발생을 효과적으로 방지할 수 있는 방안이 제시되지 못하였던 종래기술의 졸음운전 방지장치 및 방법들의 문제점을 해결하기 위해, 딥러닝 기술을 이용하여 졸음상태를 검출하고 경보를 발생함으로써 보다 정확하고 효과적으로 졸음운전을 방지할 수 있도록 구성되는 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템을 제시하고자 하는 것이다. The present invention is intended to solve the problems of the prior art as described above, and therefore, an object of the present invention is to prevent the occurrence of accidents due to drowsy driving and negligence of looking ahead. In order to solve the problems of driving prevention devices and methods, a drowsiness detection method using deep learning configured to more accurately and effectively prevent drowsy driving by detecting a drowsy state and generating an alarm using deep learning technology, and a drowsiness detection method using the same It is intended to present a drowsy driving prevention system.

또한, 본 발명의 다른 목적은, 졸음운전을 방지하기 위하여 별도의 장치를 차량에 설치하거나 신체에 착용하여야 하는 불편함이 있는 데 더하여, 운전자별로 다양하게 나타나는 졸음상태의 인식에 대한 정확도가 상대적으로 떨어짐으로 인해 오작동이 빈번하게 발생하는 한계가 있었던 종래기술의 졸음운전 방지장치 및 방법들의 문제점을 해결하기 위해, 딥러닝에 기반한 영상인식 기술을 이용하여, 카메라를 통해 얼굴을 인식하고 눈꺼풀의 깜빡임을 감지하여 기준시간 이상 감겨있을 경우 졸음상태로 판단하여 경보를 발생하도록 구성됨으로써, 기존의 졸음운전 방지장치 및 방법들에 비하여 보다 정확하게 졸음상태를 판단하고 효과적으로 졸음운전을 방지하여 안전성 및 신뢰성을 향상시킬 수 있도록 구성되는 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템을 제시하고자 하는 것이다. In addition, another object of the present invention is that in addition to the inconvenience of installing a separate device in the vehicle or wearing it on the body in order to prevent drowsy driving, the accuracy of recognizing various drowsy states for each driver is relatively high. In order to solve the problems of the prior art drowsy driving prevention devices and methods, which have limitations in that malfunctions frequently occur due to falling, deep learning-based image recognition technology is used to recognize faces through cameras and to detect blinking of eyelids. It is configured to detect a drowsy state and generate an alarm when it is wound for more than a standard time, thereby more accurately determining the drowsy state and effectively preventing drowsy driving compared to existing devices and methods for preventing drowsy driving to improve safety and reliability. The purpose of this study is to propose a drowsiness detection method using deep learning and a drowsy driving prevention system using the same.

아울러, 본 발명의 또 다른 목적은, 상기한 바와 같이 딥러닝에 기반한 영상인식 기술을 이용하여 얼굴을 인식하고 눈꺼풀의 깜빡임을 감지하여 졸음상태를 판단하여 경보를 발생하는 것에 의해 보다 정확하고 효과적으로 졸음운전을 방지할 수 있는 동시에, 그러한 일련의 처리과정이 사용자의 스마트폰에 설치된 카메라 및 스피커를 통해 이루어지도록 구성됨으로써, 별도의 장치를 차량에 설치하거나 신체에 착용해야 하는 번거로움이 없이 보다 간단한 구성 및 저렴한 비용으로 구현 가능하도록 구성되는 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템을 제시하고자 하는 것이다. In addition, another object of the present invention, as described above, recognizes a face using image recognition technology based on deep learning and detects blinking of eyelids to determine the drowsiness state and generate an alarm so that more accurate and effective sleepiness is achieved. At the same time, it is possible to prevent driving, and the series of processing is configured to be performed through the camera and speaker installed in the user's smartphone, so that it is simpler without the hassle of installing a separate device in the vehicle or wearing it on the body. And it is to propose a drowsiness detection method using deep learning that is configured to be implemented at low cost and a drowsy driving prevention system using the same.

상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 딥러닝(Deep Learning)을 이용한 졸음탐지방법에 있어서, 카메라를 통해 촬영된 영상이나 이미지를 수신하는 처리가 수행되는 영상입력단계; 딥러닝 기반 영상인식 알고리즘을 이용하여, 상기 영상입력단계에서 실시간으로 입력되는 영상 또는 이미지로부터 얼굴을 인식하는 처리가 수행되는 얼굴인식단계; 딥러닝 기반 영상인식 알고리즘을 이용하여, 상기 얼굴인식단계에서 인식된 얼굴로부터 눈을 검출하고 눈꺼풀의 움직임을 감지하는 처리가 수행되는 졸음탐지단계; 상기 졸음탐지단계에서 감지된 눈꺼풀의 움직임에 근거하여, 미리 정해진 기준에 따라 졸음상태인지의 여부를 판단하는 처리가 수행되는 졸음판단단계; 및 상기 졸음판단단계의 판단결과에 근거하여, 졸음상태로 판단된 경우 경고를 발생하는 처리가 수행되는 경고발생단계를 포함하는 처리가 컴퓨터나 전용의 하드웨어에 의해 실행되도록 구성되는 것을 특징으로 하는 딥러닝을 이용한 졸음탐지방법이 제공된다. In order to achieve the above object, according to the present invention, in a drowsiness detection method using deep learning, an image input step of receiving a video or image captured through a camera is performed; a face recognition step in which a process of recognizing a face from a video or image input in real time in the image input step is performed using a deep learning-based image recognition algorithm; a drowsiness detection step in which eyes are detected from the face recognized in the face recognition step and eyelid movements are detected using a deep learning-based image recognition algorithm; a drowsiness determination step in which a process of determining whether or not a drowsy state is performed according to a predetermined criterion based on the eyelid movement detected in the drowsiness detection step is performed; and a warning generating step in which a warning generating step is performed when it is determined that the drowsy state is determined based on the determination result of the drowsiness determination step. A drowsiness detection method using running is provided.

여기서, 상기 방법은, 사용자의 스마트폰이나 태블릿 PC를 포함하는 정보통신 단말기로 이루어지는 사용자 단말기에 전용의 어플리케이션 프로그램을 설치하여 구성되는 것을 특징으로 한다. Here, the method is characterized in that it is configured by installing a dedicated application program in a user terminal composed of an information communication terminal including a user's smart phone or tablet PC.

또한, 상기 영상입력단계는, 상기 사용자 단말기에 구비된 카메라를 통해 사용자의 영상을 촬영하는 처리가 수행되도록 구성되는 것을 특징으로 한다. In addition, the image input step is characterized in that a process of capturing a user's image is performed through a camera provided in the user terminal.

아울러, 상기 얼굴인식단계는, 구글 ML Kit 라이브러리 기반의 BlazeFace 얼굴감지 모델을 포함하는 딥러닝 기반 얼굴인식 알고리즘을 이용하여, 상기 영상입력단계에서 실시간으로 입력되는 영상으로부터 얼굴을 인식하는 처리가 수행되도록 구성되는 것을 특징으로 한다. In addition, the face recognition step uses a deep learning-based face recognition algorithm including a BlazeFace face detection model based on the Google ML Kit library, so that a face recognition process is performed from an image input in real time in the image input step. It is characterized by being composed.

더욱이, 상기 졸음탐지단계는, 오픈소스(Open-source) 기반 깃허브(Git-hub) Drivelert를 이용하여, 상기 얼굴인식단계에서 인식된 얼굴에서 양쪽 눈꺼풀의 깜박임을 각각 감지하는 처리가 수행되도록 구성되는 것을 특징으로 한다. Moreover, the drowsiness detection step uses an open-source based Git-hub Drivelert to detect the blinking of both eyelids in the face recognized in the face recognition step. Configured to be performed characterized by being

또한, 상기 졸음판단단계는, 상기 졸음탐지단계의 눈꺼풀 깜빡임 감지결과에 근거하여, 왼쪽 눈꺼풀(l)이나 오른쪽 눈꺼풀(r) 중 어느 하나라도 감겨 있을 경우 상태값(state_i)을 0으로 설정하고, 두 눈꺼풀을 모두 뜨고 있으면 상기 상태값(state_i)을 1로 설정하며, 눈꺼풀이 감겨있는 상태(state_i 값이 0)가 미리 설정된 제 1 기준시간 이상 지속되면 졸음상태인 것으로 판단하는 처리가 수행되도록 구성되는 것을 특징으로 한다. In addition, in the drowsiness determination step, based on the eyelid blink detection result of the drowsiness detection step, if either the left eyelid (l) or the right eyelid (r) is closed, the state value (state_i) is set to 0, When both eyelids are open, the state value (state_i) is set to 1, and when the closed eyelid state (state_i value is 0) lasts longer than a preset first reference time, a process of determining that the state is in a drowsy state is performed. characterized by being

아울러, 상기 경고발생단계는, 상기 졸음판단단계에서 졸음으로 판단된 후 졸음상태가 미리 정해진 제 2 기준시간을 초과하여 지속될 경우 미리 설정된 경고메시지나 경보음을 미리 설정된 지속시간 동안 출력하는 처리가 수행되도록 구성되는 것을 특징으로 한다. In addition, in the warning generating step, if the drowsy state continues beyond a predetermined second reference time after it is determined that the drowsy state is drowsy in the drowsiness determination step, a process of outputting a preset warning message or an alarm sound for a preset duration is performed. It is characterized in that it is configured to be.

더욱이, 상기 방법은, 상기 제 1 기준시간, 상기 제 2 기준시간 및 상기 지속시간을 사용자가 임의로 설정할 수 있도록 구성되는 것을 특징으로 한다. Moreover, the method is characterized in that the first reference time, the second reference time, and the duration are configured so that the user can arbitrarily set them.

또한, 상기 경고발생단계는, 졸음감지시 별도로 설치된 스피커를 통해 상기 경고메시지나 상기 경보음을 출력하거나, 또는, 상기 사용자 단말기에 구비된 스피커를 통해 상기 경고메시지나 상기 경보음을 출력하는 처리가 수행되도록 구성되는 것을 특징으로 한다. In addition, the warning generating step may include outputting the warning message or the warning sound through a separately installed speaker when drowsiness is detected, or outputting the warning message or the warning sound through a speaker provided in the user terminal. It is characterized in that it is configured to perform.

아울러, 본 발명에 따르면, 졸음운전 방지시스템에 있어서, 운전자의 영상을 촬영하기 위한 영상취득부; 상기 영상취득부에 의해 촬영된 영상으로부터 졸음여부를 판단하는 졸음판단부; 상기 졸음판단부의 판단결과에 따라 경보음이나 경고메시지를 출력하는 경고발생부; 및 상기 시스템의 전체적인 동작을 제어하는 제어부를 포함하여 구성되고, 상기 졸음판단부는, 상기에 기재된 딥러닝을 이용한 졸음탐지방법을 이용하여 상기 운전자의 졸음운전 여부를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 하는 딥러닝을 이용한 졸음운전 방지시스템이 제공된다. In addition, according to the present invention, in the drowsy driving prevention system, the image acquisition unit for photographing the driver's image; a drowsiness determination unit determining whether or not to be drowsy from the image captured by the image obtaining unit; a warning generating unit outputting an alarm sound or a warning message according to the determination result of the drowsiness determination unit; and a control unit for controlling the overall operation of the system, wherein the drowsiness determination unit is configured to perform a process of determining whether the driver is drowsy driving by using the above-described drowsiness detection method using deep learning. A drowsy driving prevention system using deep learning is provided.

여기서, 상기 시스템은, 상기 운전자의 스마트폰이나 태블릿 PC를 포함하는 정보통신 단말기로 이루어지는 사용자 단말기에 전용의 어플리케이션 프로그램을 설치하여 구성되는 것을 특징으로 한다. Here, the system is characterized in that it is configured by installing a dedicated application program in a user terminal composed of an information communication terminal including a smart phone or a tablet PC of the driver.

상기한 바와 같이, 본 발명에 따르면, 딥러닝에 기반한 영상인식 기술을 이용하여 카메라를 통해 얼굴을 인식하고 눈꺼풀의 깜빡임을 감지하여 기준시간 이상 감겨있을 경우 졸음상태로 판단하여 경보를 발생하도록 구성되는 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템이 제공됨으로써, 기존의 졸음운전 방지장치 및 방법들에 비하여 보다 정확하게 졸음상태를 판단하고 효과적으로 졸음운전을 방지하여 안전성 및 신뢰성을 확보할 수 있다. As described above, according to the present invention, a face is recognized through a camera using image recognition technology based on deep learning, and eyelid blinking is detected to determine a drowsy state and generate an alarm when the eyelid is closed for more than a reference time By providing a drowsiness detection method using deep learning and a drowsy driving prevention system using the same, safety and reliability can be ensured by more accurately determining the drowsy state and effectively preventing drowsy driving compared to existing devices and methods for preventing drowsy driving. .

또한, 본 발명에 따르면, 상기한 바와 같이 딥러닝 기술을 이용하여 졸음상태를 검출하고 경보를 발생하는 것에 의해 보다 정확하고 효과적으로 졸음운전을 방지할 수 있도록 구성되는 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템이 제공됨으로써, 졸음운전 및 전방주시 태만으로 인한 교통사고의 발생을 효과적으로 방지할 수 있는 방안이 제시되지 못하였던 종래기술의 졸음운전 방지장치 및 방법들의 문제점을 해결할 수 있다. In addition, according to the present invention, as described above, a drowsiness detection method using deep learning configured to more accurately and effectively prevent drowsy driving by detecting a drowsy state and generating an alarm using deep learning technology, and a drowsiness detection method using the same By providing a drowsy driving prevention system using the present invention, it is possible to solve the problems of the related art drowsy driving prevention devices and methods, which have not been proposed to effectively prevent the occurrence of traffic accidents due to drowsy driving and neglect of looking ahead.

아울러, 본 발명에 따르면, 상기한 바와 같이 딥러닝에 기반한 영상인식 기술을 이용하여 얼굴을 인식하고 눈꺼풀의 깜빡임을 감지하여 졸음상태를 판단하여 경보를 발생하는 것에 의해 보다 정확하고 효과적으로 졸음운전을 방지할 수 있는 동시에, 그러한 일련의 처리과정이 사용자의 스마트폰에 설치된 카메라 및 스피커를 통해 이루어지도록 구성되는 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템이 제공됨으로써, 별도의 장치를 차량에 설치하거나 신체에 착용해야 하는 번거로움이 없이 보다 간단한 구성 및 저렴한 비용으로 구현 가능하며, 그것에 의해, 운전자별로 다양하게 나타나는 졸음상태의 인식에 대한 정확도가 상대적으로 떨어짐으로 인해 오작동이 빈번하게 발생하는 문제가 있는 데 더하여, 졸음운전을 방지하기 위하여 별도의 장치를 차량에 설치하거나 신체에 착용하여야 하는 불편함이 있었던 종래기술의 졸음운전 방지장치 및 방법들의 문제점을 해결할 수 있다. In addition, according to the present invention, as described above, by recognizing a face using image recognition technology based on deep learning and detecting eyelid blinking to determine a drowsy state and generating an alarm, more accurately and effectively preventing drowsy driving. At the same time, by providing a drowsiness detection method using deep learning and a drowsy driving prevention system using the same, which are configured such that a series of processing processes are performed through a camera and a speaker installed in a user's smartphone, a separate device is installed in the vehicle. It can be implemented at a simpler configuration and lower cost without the hassle of installation or wear on the body, and as a result, malfunctions frequently occur due to relatively low accuracy in recognizing various drowsy states for each driver. In addition, it is possible to solve the problems of the prior art drowsy driving prevention devices and methods, which had the inconvenience of installing a separate device in the vehicle or wearing it on the body in order to prevent drowsy driving.

도 1은 본 발명에 적용된 데이터셋의 구성을 표로 정리하여 나타낸 도면이다.
도 2는 도 1에 나타낸 데이터셋에서 실제 도로주행 데이터 이미지의 예를 나타내는 도면이다.
도 3은 도 1에 나타낸 데이터셋에서 준통제환경 데이터 이미지의 예를 나타내는 도면이다.
도 4는 도 1에 나타낸 데이터셋에서 통제환경 데이터 이미지의 예를 나타내는 도면이다.
도 5는 어노테이션 포맷의 상세 구조를 표로 정리하여 나타낸 도면이다.
도 6은 어노테이션 파일의 예를 나타내는 도면이다.
도 7은 SSD와 BlazeFace의 네트워크 구조를 개략적으로 나타내는 도면이다.
도 8은 본 발명에 적용된 졸음탐지 알고리즘의 전체적인 구성을 개략적으로 나타내는 플로차트이다.
도 9는 눈꺼풀을 감지하기 위한 코드의 구성예를 나타내는 도면이다.
도 10은 졸음감지 기준시간을 설정하기 위한 코드의 구성예를 나타내는 도면이다.
도 11은 경보음을 출력하기 위한 코드의 구성예를 나타내는 도면이다.
도 12는 본 발명의 실시예에 따른 딥러닝을 이용한 졸음탐지방법의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 13은 본 발명의 실시예에 따른 딥러닝을 이용한 졸음탐지방법을 이용하여 구성되는 졸음운전 방지시스템의 전체적인 구성을 개략적으로 나타내는 블록도이다.
도 14는 각각의 환경에 대하여 졸음인식 실패원인 분석결과를 표로 정리하여 나타낸 도면이다.
도 15는 각각의 환경에 대한 성능테스트 결과를 표로 정리하여 나타낸 도면이다.
도 16은 각각의 환경에 대한 성능측정 결과를 표로 정리하여 나타낸 도면이다. 1 is a diagram showing the composition of the data set applied to the present invention in a table.
FIG. 2 is a diagram illustrating an example of an actual road driving data image in the dataset shown in FIG. 1 .
FIG. 3 is a diagram showing an example of a quasi-controlled environment data image in the dataset shown in FIG. 1 .
FIG. 4 is a diagram illustrating an example of a controlled environment data image in the dataset shown in FIG. 1 .
5 is a diagram showing the detailed structure of the annotation format organized in a table.
6 is a diagram showing an example of an annotation file.
7 is a diagram schematically illustrating a network structure of SSD and BlazeFace.
8 is a flowchart schematically showing the overall configuration of the drowsiness detection algorithm applied to the present invention.
9 is a diagram showing an example of a configuration of a code for detecting an eyelid.
10 is a diagram showing an example of the configuration of a code for setting a drowsiness detection reference time.
11 is a diagram showing an example of a configuration of a code for outputting an alarm sound.
12 is a diagram schematically showing the overall configuration of a drowsiness detection method using deep learning according to an embodiment of the present invention.
13 is a block diagram schematically showing the overall configuration of a drowsy driving prevention system constructed using a drowsiness detection method using deep learning according to an embodiment of the present invention.
14 is a diagram showing the results of analyzing the cause of drowsiness recognition failure for each environment in a table.
15 is a diagram showing performance test results for each environment organized in a table.
16 is a diagram showing performance measurement results for each environment organized in a table.

이하, 첨부된 도면을 참조하여, 본 발명에 따른 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템의 구체적인 실시예에 대하여 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, specific embodiments of a method for detecting drowsiness using deep learning and a system for preventing drowsy driving using the same according to the present invention will be described with reference to the accompanying drawings.

여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다. Here, it should be noted that the contents described below are only one embodiment for carrying out the present invention, and the present invention is not limited to the contents of the embodiments described below.

또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다. In addition, in the following description of the embodiments of the present invention, for parts that are the same as or similar to the contents of the prior art or are determined to be easily understood and implemented at the level of those skilled in the art, the detailed descriptions are provided to simplify the description. It should be noted that .

즉, 본 발명은, 후술하는 바와 같이, 졸음운전 및 전방주시 태만으로 인한 교통사고의 발생을 효과적으로 방지할 수 있는 방안이 제시되지 못하였던 종래기술의 졸음운전 방지장치 및 방법들의 문제점을 해결하기 위해, 딥러닝 기술을 이용하여 졸음상태를 검출하고 경보를 발생함으로써 보다 정확하고 효과적으로 졸음운전을 방지할 수 있도록 구성되는 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템에 관한 것이다. That is, the present invention, as will be described later, to solve the problems of the prior art drowsy driving prevention devices and methods for effectively preventing the occurrence of traffic accidents due to drowsy driving and neglect of looking ahead The present invention relates to a drowsiness detection method using deep learning and a drowsy driving prevention system using the same, which are configured to more accurately and effectively prevent drowsy driving by detecting a drowsy state and generating an alarm using deep learning technology.

아울러, 본 발명은, 졸음운전을 방지하기 위하여 별도의 장치를 차량에 설치하거나 신체에 착용하여야 하는 불편함이 있는 데 더하여, 운전자별로 다양하게 나타나는 졸음상태의 인식에 대한 정확도가 상대적으로 떨어짐으로 인해 오작동이 빈번하게 발생하는 한계가 있었던 종래기술의 졸음운전 방지장치 및 방법들의 문제점을 해결하기 위해, 딥러닝에 기반한 영상인식 기술을 이용하여, 카메라를 통해 얼굴을 인식하고 눈꺼풀의 깜빡임을 감지하여 기준시간 이상 감겨있을 경우 졸음상태로 판단하여 경보를 발생하도록 구성됨으로써, 기존의 졸음운전 방지장치 및 방법들에 비하여 보다 정확하게 졸음상태를 판단하고 효과적으로 졸음운전을 방지하여 안전성 및 신뢰성을 향상시킬 수 있도록 구성되는 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템에 관한 것이다. In addition, in the present invention, in addition to the inconvenience of installing a separate device on the vehicle or wearing it on the body to prevent drowsy driving, the accuracy of recognizing various drowsy states for each driver is relatively low. In order to solve the problems of the prior art drowsy driving prevention devices and methods, which have limitations in that malfunctions frequently occur, deep learning-based image recognition technology is used to recognize faces through cameras and detect blinking of eyelids as a criterion. It is configured to determine the drowsy state and generate an alarm when it is wound for more than an hour, so that it can more accurately determine the drowsy state and effectively prevent drowsy driving to improve safety and reliability compared to existing devices and methods for preventing drowsy driving. It relates to a drowsiness detection method using deep learning and a drowsy driving prevention system using the same.

더욱이, 본 발명은, 상기한 바와 같이 딥러닝에 기반한 영상인식 기술을 이용하여 얼굴을 인식하고 눈꺼풀의 깜빡임을 감지하여 졸음상태를 판단하여 경보를 발생하는 것에 의해 보다 정확하고 효과적으로 졸음운전을 방지할 수 있는 동시에, 그러한 일련의 처리과정이 사용자의 스마트폰에 설치된 카메라 및 스피커를 통해 이루어지도록 구성됨으로써, 별도의 장치를 차량에 설치하거나 신체에 착용해야 하는 번거로움이 없이 보다 간단한 구성 및 저렴한 비용으로 구현 가능하도록 구성되는 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템에 관한 것이다. Furthermore, the present invention, as described above, recognizes a face using image recognition technology based on deep learning, detects eyelid blinking, determines the drowsy state, and generates an alarm to more accurately and effectively prevent drowsy driving. At the same time, such a series of processing is configured to be performed through the camera and speaker installed in the user's smartphone, so that it can be installed in a vehicle or worn on the body with a simpler configuration and lower cost. It relates to a drowsiness detection method using deep learning configured to be implemented and a drowsy driving prevention system using the same.

계속해서, 도면을 참조하여, 본 발명에 따른 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템의 구체적인 내용에 대하여 설명한다. Subsequently, with reference to the drawings, details of a drowsiness detection method using deep learning and a drowsy driving prevention system using the same according to the present invention will be described.

여기서, 본 발명에 따른 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템을 설명하기 전에, 먼저, 딥러닝과 같은 인공지능(AI) 기술 및 응용서비스 개발을 위해서는 테스트 데이터셋을 구축할 필요가 있으며, 이에, 본 발명에서는, 졸음운전 인식률의 정확도를 파악하기 위한 테스트 데이터로서 정부에서 제공하는 공공 데이터를 선정하였고, 확보 가능한 데이터 중에서 운전자 안면상태를 모니터링하기 위해 운전환경에서 사람의 안면 표정 및 특징점 변화가 나타나는 이미지 데이터를 테스트 데이터로 결정하였다. Here, before explaining the drowsiness detection method using deep learning and the drowsy driving prevention system using the same according to the present invention, first, it is necessary to build a test dataset to develop artificial intelligence (AI) technology and application services such as deep learning. Therefore, in the present invention, public data provided by the government was selected as test data to determine the accuracy of the drowsy driving recognition rate, and among data that can be obtained, in order to monitor the driver's facial condition, human facial expressions and Image data showing feature point changes were determined as test data.

또한, 본 발명에 제시된 시스템의 성능평가를 위해서는 운전자 안면상태 정보 이미지가 필요하므로, 적절한 데이터의 수집을 위해 한국 지능정보 사회진흥원에서 제공하는 AIHub를 활용하였다. In addition, since a driver's facial state information image is required for performance evaluation of the system presented in the present invention, AIHub provided by the Korea Intelligence Information Society Promotion Agency was used to collect appropriate data.

즉, AIHub는 인공지능 제품, 서비스 개발에 필요한 다양한 데이터를 제공하는 정부 주도의 AI 통합 플랫폼으로, 본 발명에서는 AIHub에서 제공하는 "졸음운전 예방을 위한 운전자 상태정보 영상"을 활용하여 안면 표정 및 특징점 변화를 통해 운전자의 상태를 모니터링하였다. In other words, AIHub is a government-led AI integration platform that provides various data necessary for the development of artificial intelligence products and services. Through the change, the driver's condition was monitored.

더 상세하게는, 본 발명에 적용된 데이터셋의 구성은, 크게 나누어, 실제 도로주행 데이터와, 준통제환경 데이터 및 통제환경 데이터의 세 가지로 분류할 수 있으며, 해당 데이터는 이미지 데이터와 1:1로 매칭되는 json(Java Script Object Notation) 가공파일로 구성되어 있다. More specifically, the composition of the dataset applied to the present invention can be broadly classified into three types: actual road driving data, semi-controlled environment data, and controlled environment data, and the data is image data and 1: 1 It consists of json (Java Script Object Notation) processing files that match with .

여기서, Json(Java Script Object Notation)은 '속성-값' 쌍으로 이루어진 객체를 전달하기 위해 텍스트 형태로 작성된 개방형 표준 포맷이며, 데이터 종류별 수량은 도 1의 표에 나타낸 바와 같다. Here, Json (Java Script Object Notation) is an open standard format written in the form of text to deliver an object composed of 'property-value' pairs, and the quantity by data type is shown in the table of FIG. 1.

즉, 도 1을 참조하면, 도 1은 본 발명에 적용된 데이터셋의 구성을 표로 정리하여 나타낸 도면이다. That is, referring to FIG. 1, FIG. 1 is a diagram showing the configuration of a data set applied to the present invention in a table.

여기서, 도 1에 나타낸 표에 있어서, 어노테이션(Annotation)이란 원본 데이터를 설명하기 위해 사용되는 객체 또는 이미지 카테고리와 같은 각각의 메타데이터가 태그 형식으로 데이터셋에 추가된 정보(파일)를 의미한다. Here, in the table shown in FIG. 1, annotation refers to information (file) in which each metadata, such as an object or image category used to describe original data, is added to a dataset in the form of a tag.

더 상세하게는, 실제 도로주행 데이터는 차량의 실제 주행상황에서 운전자의 얼굴을 동영상으로 수집하여 이미지로 정제하고 얼굴윤곽, 눈, 코, 입, 소지품 등을 경계상자(Bounding Box)로 가공한 데이터이다. More specifically, the actual road driving data is data obtained by collecting the driver's face as a video in the actual driving situation of the vehicle, refining it into an image, and processing the facial contour, eyes, nose, mouth, and belongings into a bounding box. to be.

여기서, 경계상자(Bounding Box)는 네 변이 이미지상에서 수직, 수평 방향을 향한(axis-aligned) 직사각형 모양의 박스로, 탐지위치를 표시할 때 사용되며, 이러한 실제 도로주행 데이터는 실제 운전환경에서의 데이터이므로 테스트 데이터로 가장 적합하다. Here, the bounding box is a rectangular box whose four sides are vertically and horizontally oriented (axis-aligned) on the image, and is used to display the detection location. Since it is data, it is most suitable as test data.

도 1의 표에 나타낸 바와 같이, 실제 도로주행 데이터는 총 650명의 운전자에 대한 192,500장의 이미지로 이루어져 있고, 1:1 매칭되는 json 형태의 어노테이션 정보가 추가로 제공된다. As shown in the table of FIG. 1, actual road driving data consists of 192,500 images for a total of 650 drivers, and annotation information in the form of json matched 1:1 is additionally provided.

즉, 도 2를 참조하면, 도 2는 도 1에 나타낸 데이터셋에서 실제 도로주행 데이터 이미지의 예를 나타내는 도면이다. That is, referring to FIG. 2 , FIG. 2 is a diagram illustrating an example of an actual road driving data image in the dataset shown in FIG. 1 .

다음으로, 준통제환경 데이터는, 예를 들면, 주차장과 같이 안전한 곳에 차량을 정차하고 일반 운전상황과 부주의 운전상황을 시나리오에 따라 연기하여 연출한 이미지 데이터이다. Next, the quasi-controlled environment data is image data produced by stopping the vehicle in a safe place, such as a parking lot, and acting a normal driving situation and careless driving situation according to a scenario.

상기한 바와 같이 연출을 통해 각각의 상황별로 동영상을 수집한 후 해당 데이터의 얼굴형태를 키포인트(Keypoint)로 가공하여 준통제환경 데이터를 수집하였다. As described above, after collecting videos for each situation through directing, the facial shape of the data was processed as a key point to collect quasi-controlled environment data.

여기서, 키포인트(Keypoint)는 이미지에서 특징이 되는 부분으로, 이미지끼리 서로 매칭이 되는지 확인 할 때 각 이미지를 비교하기 위해 사용되며, 또한, 키포인트(Keypoint)는 사람의 지문과 유사하게 개인별 특징을 구분하는 정보를 제공한다. Here, a keypoint is a characteristic part of an image, and is used to compare each image when checking whether images match with each other. Also, a keypoint distinguishes individual characteristics similar to a human fingerprint. provides information that

아울러, 정지상태의 차 안에서 졸음 및 부주의 연기를 통해 실제 차량환경 및 자연광 환경에서 다양한 광원 소스를 반영하면서 졸음 및 부주의 상황에 대한 변수를 적용하였으며, 따라서 준통제환경 데이터에는 실제 도로주행에서는 할 수 없는 시뮬레이션을 통해 조금 더 다양한 테스트 데이터가 포함되어 있다. In addition, variables for drowsiness and inattention situations were applied while reflecting various light sources in the actual vehicle environment and natural light environment through drowsiness and inattention smoke in a stationary car. A little more diverse test data is included through simulation.

도 1의 표에 나타낸 바와 같이, 준통제환경 데이터는 총 100명의 운전자에 대한 50,000장의 이미지로 이루어져 있고, 1:1 매칭되는 json 형태의 어노테이션 정보가 추가로 제공된다. As shown in the table of FIG. 1, the semi-controlled environment data consists of 50,000 images of a total of 100 drivers, and 1:1 matching json format annotation information is additionally provided.

즉, 도 3을 참조하면, 도 3은 도 1에 나타낸 데이터셋에서 준통제환경 데이터 이미지의 예를 나타내는 도면이다. That is, referring to FIG. 3 , FIG. 3 is a diagram showing an example of a semi-controlled environment data image in the dataset shown in FIG. 1 .

계속해서, 통제환경 데이터는, 실제 승용차량을 완벽히 통제한 실험실 환경에서 일반 운전상황과 부주의 운전상황을 시나리오에 따라 사람의 연기를 통해 연출한 이미지 데이터이다. Continuing, the controlled environment data is image data produced through human performance according to scenarios of general driving situations and careless driving situations in a laboratory environment in which an actual passenger vehicle is perfectly controlled.

상기한 바와 같이 연출을 통해 각각의 상황별로 동영상을 수집하여 일부를 이미지로 정제하고 얼굴윤곽, 눈, 코, 입, 소지품 등을 경계상자(Bounding Box)로 가공하였다. As described above, videos were collected for each situation through directing, some were refined into images, and facial contours, eyes, nose, mouth, belongings, etc. were processed into a bounding box.

또한, 통제환경 데이터는 준통제환경 데이터에 비하여 다양한 조건에서 졸음 및 부주의 상황 재현에 한계가 있으나, 실제 차량환경에서 주행중 사고위험을 줄이고 시뮬레이터 환경에서 졸음 및 부주의 상황에 대한 얼굴특징 데이터셋을 빠르게 수집할 수 있다는 장점이 있다. In addition, controlled environment data has limitations in reproducing drowsiness and inattentive situations under various conditions compared to semi-controlled environment data. There are advantages to being able to do it.

도 1의 표에 나타낸 바와 같이, 통제환경 데이터는 총 250명의 운전자에 대한 112,500장의 이미지로 이루어져 있고, 1:1 매칭되는 json 형태의 어노테이션 정보가 추가로 제공된다. As shown in the table of FIG. 1, the control environment data consists of 112,500 images for a total of 250 drivers, and 1:1 matching json format annotation information is additionally provided.

즉, 도 4를 참조하면, 도 4는 도 1에 나타낸 데이터셋에서 통제환경 데이터 이미지의 예를 나타내는 도면이다. That is, referring to FIG. 4 , FIG. 4 is a diagram showing an example of a controlled environment data image in the dataset shown in FIG. 1 .

다음으로, 도 5 및 도 6을 참조하면, 도 5는 어노테이션 포맷의 상세 구조를 표로 정리하여 나타낸 도면이고, 도 6은 어노테이션 파일의 예를 나타내는 도면이다. Next, referring to FIGS. 5 and 6, FIG. 5 is a diagram showing a detailed structure of an annotation format organized in a table, and FIG. 6 is a diagram showing an example of an annotation file.

도 5 및 도 6에 나타낸 바와 같이, AIHub에서 제공하는 어노테이션 포맷은 도 5에 나타낸 표와 같은 상세 구조를 가지며, 실제 도로주행 데이터, 준통제환경 데이터, 통제환경 데이터의 3가지 데이터셋이 공통된 구조를 사용한다. As shown in FIGS. 5 and 6, the annotation format provided by AIHub has a detailed structure as shown in the table shown in FIG. Use

따라서 본 발명에서는, 상기한 바와 같은 실제 도로환경, 준통제환경, 통제환경 데이터에서 얼굴(Face), 왼눈(Leye(Left Eye)), 오른눈(Reye(Right Eye)) 값을 활용하여 딥러닝 기반의 졸음인식 시스템을 구축하였다. Therefore, in the present invention, deep learning is performed using face, left eye (Left Eye), and right eye (Right Eye) values in the actual road environment, semi-controlled environment, and controlled environment data as described above. Based drowsiness recognition system was established.

또한, 본 발명에서는, 상기한 바와 같은 딥러닝 기반 실시간 영상과 영상처리 기술을 기반으로 운전자의 졸음상태를 판별하고, 졸음운전 상황을 판정하여 수준에 따라 경고 알람이 울리도록 구성되는 졸음운전 방지시스템을 구현하였다. In addition, in the present invention, a drowsy driving prevention system configured to determine the driver's drowsy state based on the deep learning-based real-time image and image processing technology, determine the drowsy driving situation, and sound a warning alarm according to the level. has been implemented.

이를 위해, 본 발명에서는, 오픈소스로 제공되는 구글의 ML Kit를 사용하여 이미지에서 얼굴을 감지하고 주요 얼굴특징을 식별하였으며, 구체적으로는, 사람 얼굴을 감지하고 경계상자(Bounding Box)와 키포인트(Keypoint) 정보를 활용하여 눈을 감고 뜨는 상태를 계산하도록 구성된다. To this end, in the present invention, Google's ML Kit provided as an open source was used to detect faces in images and identify major facial features. Specifically, human faces were detected and bounding boxes and key points ( It is configured to calculate the state of closing and opening the eyes by using Keypoint) information.

더 상세하게는, 본 발명에서는, 구글 ML Kit 라이브러리 기반으로 모바일 GPU 추론을 위해 제작되어 가볍고 성능이 우수한 얼굴 감지기인 BlazeFace 모델을 적용하였으며, BlazeFace는 기존에 대표적으로 사용되던 MobileNet V2보다 평균 정확도(Average-Precision)를 향상시키면서 추론(Inference) 속도는 1.5ms 감소시키는 기술로 알려져 있다.More specifically, in the present invention, the BlazeFace model, which is a lightweight and high-performance face detector designed for mobile GPU inference based on the Google ML Kit library, is applied, and BlazeFace has an average accuracy (Average It is known as a technology that reduces inference speed by 1.5 ms while improving precision.

또한, 본 발명에 사용된 BlazeFace 기술은 수용필드(Receptive Field) 확대기술 및 특징추출기(Anchor Scheme) 기술이며, 각각의 기술에 대하여 간략히 정리하면 다음과 같다. In addition, the BlazeFace technology used in the present invention is a receptive field expansion technology and a feature extractor (Anchor Scheme) technology, and a brief summary of each technology is as follows.

먼저, 수용필드(Receptive Field) 확대기술에 대하여 설명하면, 일반적으로, 딥러닝 기반의 영상처리를 위해 사용되는 합성곱 신경망은 커널 학습을 위해 3×3 크기의 행렬을 사용하며, 이때, 커널 연산을 위해 Point-wise 합성곱 연산을 수행한다. First, the receptive field expansion technology is described. In general, a convolutional neural network used for deep learning-based image processing uses a 3 × 3 matrix for kernel learning, and at this time, kernel operation For this, point-wise convolution operation is performed.

이에 비해, BlazeFace는 커널의 크기를 5×5로 증가시키는 대신 Depth-wise 합성곱 방식을 적용하는 것으로 연산 횟수를 감소시켰으며, 그로 인해, BlazeFace는 결과적으로 다른 신경망 모델보다 빠른 속도를 확보할 수 있다. In contrast, BlazeFace reduced the number of operations by applying the Depth-wise convolution method instead of increasing the size of the kernel to 5×5, and as a result, BlazeFace can secure faster speed than other neural network models. there is.

다음으로, 특징추출기(Anchor Scheme) 기술에 대하여 설명하면, Anchor는 사전에 정의된 탐지영역으로 Bounding Box라고도 불리며, 기존에 일반적으로 사용되고 있는 SSD(Single Shot MultiBox Detector)는 일반적인 객체의 크기에 따라 다양한 크기의 Anchor를 순차적으로 사용하는 역피라미드 형태의 신경망을 사용한다. Next, describing the feature extractor (Anchor Scheme) technology, Anchor is a predefined detection area, also called Bounding Box. It uses an inverted pyramid-type neural network that sequentially uses anchors of the same size.

반면, BlazeFace는 SSD와 달리 예측에 꼭 필요하지 않은 크기의 Anchor를 제거한 기술로, 점을 이용하여 8×8 미만의 전결합계층(Fully Connected Layer)을 제거하였다. On the other hand, BlazeFace, unlike SSD, is a technology that removes anchors of a size that is not necessary for prediction, and uses dots to remove fully connected layers of less than 8 × 8.

즉, 도 7을 참조하면, 도 7은 SSD와 BlazeFace의 네트워크 구조를 개략적으로 나타내는 도면이다. That is, referring to FIG. 7 , FIG. 7 is a diagram schematically illustrating a network structure of SSD and BlazeFace.

여기서, 도 7에 있어서, 도 7a는 SSD의 네트워크 구조이고, 도 7b는 BlazeFace의 네트워크 구조를 각각 나타내고 있다. Here, in FIG. 7, FIG. 7A is a network structure of SSD, and FIG. 7B is a network structure of BlazeFace, respectively.

도 7에 나타낸 바와 같이, BlazeFace는 특징추출기(Anchor Scheme)가 해상도를 8×8 이하로 낮추지 않으므로 주어진 물체를 겹치는 Anchor 수는 객체 크기에 따라 크게 증가하며, 이 경우, 사람이 인지할 정도의 노이즈가 발생할 수 있다. As shown in FIG. 7, since the feature extractor (Anchor Scheme) of BlazeFace does not lower the resolution below 8 × 8, the number of anchors overlapping a given object greatly increases according to the size of the object. may occur.

이에, BlazeFace는 겹치는 예측 사이의 가중평균으로 Bounding Box의 회귀 모수를 추정하는 후처리(Post-processing) 기술을 적용하여 예측 정확도를 향상하도록 구성된다. Accordingly, BlazeFace is configured to improve prediction accuracy by applying a post-processing technique that estimates the regression parameters of the bounding box as a weighted average between overlapping predictions.

따라서 상기한 바와 같은 내용으로부터 졸음감지 알고리즘 및 졸음운전 방지시스템을 구현할 수 있으며, 즉, 도 8을 참조하면, 도 8은 본 발명에 적용된 졸음탐지 알고리즘의 전체적인 구성을 개략적으로 나타내는 플로차트이다. Therefore, a drowsiness detection algorithm and a drowsy driving prevention system can be implemented from the above contents. That is, referring to FIG. 8, FIG. 8 is a flowchart schematically showing the overall configuration of the drowsiness detection algorithm applied to the present invention.

도 8에 나타낸 바와 같이, 졸음탐지 알고리즘은, 카메라를 통해 운전자의 얼굴 프레임을 지속해서 수집하고, 얼굴인식 및 눈 인식을 통해 눈꺼풀의 깜박임을 검출하여 미리 정해진 기준시간 이상 감겨있을 경우 졸음으로 인식하여 경고를 발생하도록 구성될 수 있다. As shown in FIG. 8, the drowsiness detection algorithm continuously collects the driver's face frames through a camera, detects blinking of the eyelids through face recognition and eye recognition, and recognizes them as drowsy when they are closed for more than a predetermined reference time. Can be configured to generate alerts.

더 상세하게는, 먼저, 얼굴인식 기능은, 예를 들면, import com.***.android.gmsvision.face.Face; 및 import com.***.android. gmsvision.fae.FaceDetector; 등과 같은 구글 ML Kit 라이브러리를 이용하여, 카메라로 촬영된 영상으로부터 얼굴을 인식하는 처리가 수행되도록 구성될 수 있다. More specifically, first, the face recognition function, for example, import com.***.android.gmsvision.face.Face; and import com.***.android. gmsvision.fae.FaceDetector; Using the Google ML Kit library, such as the like, processing for recognizing a face from an image captured by a camera can be configured to be performed.

또한, 도 9 내지 도 11을 참조하면, 도 9는 눈꺼풀을 감지하기 위한 코드의 구성예를 나타내는 도면이고, 도 10은 졸음감지 기준시간을 설정하기 위한 코드의 구성예를 나타내는 도면이며, 도 11은 경보음을 출력하기 위한 코드의 구성예를 각각 나타내는 도면이다. 9 to 11, FIG. 9 is a diagram showing a configuration example of a code for detecting eyelids, and FIG. 10 is a diagram showing a configuration example of a code for setting a drowsiness detection reference time. is a diagram each showing a configuration example of a code for outputting an alarm sound.

도 9에 나타낸 바와 같이, 졸음인식 기능은, 오픈소스(Open-source) 기반 깃허브(Git-hub) Drivelert를 이용하여 눈꺼풀의 깜박임을 감지하도록 구성될 수 있다. As shown in FIG. 9 , the drowsiness recognition function may be configured to detect eyelid blinks using an open-source Git-hub Drivelert.

더 상세하게는, 왼쪽 눈꺼풀(l)이 감겨 있거나, 오른쪽 눈꺼풀(r)이 감겨 있을 때, 또는, 양쪽 눈이 모두 감겨 있을 때 상태값인 state_i의 값을 0으로 하고, 두 눈꺼풀을 모두 뜨고 있으면 state_i 값을 1로 한다. More specifically, when the left eyelid (l) is closed, the right eyelid (r) is closed, or both eyes are closed, the value of state_i is set to 0, and both eyelids are open. Set the value of state_i to 1.

이때, 눈꺼풀이 미리 설정된 기준시간 이상 감겨있을 경우 졸음으로 인식하며, 즉, state_i 값이 0일 경우 졸음으로 인식하고, 졸음 감지시간이 기준시간을 초과할 경우 alert_box를 호출하여 경보음을 발생한다. At this time, if the eyelids are closed for more than a preset standard time, it is recognized as drowsy, that is, if the value of state_i is 0, it is recognized as drowsy, and if the drowsiness detection time exceeds the standard time, alert_box is called to generate an alarm sound.

여기서, 본 발명에서는 졸음판단 기준시간을 0.3초로 설정하였으며, 이러한 졸음판단 기준은 사용자가 임의로 설정할 수 있도록 구성될 수 있고, 예를 들면, 도 10에 나타낸 바와 같이, 기본값은 0.3초이고 선택구간은 0.1초에서 0.9초까지 선택 가능하도록 구성될 수 있다. Here, in the present invention, the drowsiness determination criterion is set to 0.3 seconds, and this drowsiness determination criterion can be configured to be arbitrarily set by the user. For example, as shown in FIG. 10, the default value is 0.3 second and the selection interval is It can be configured to be selectable from 0.1 sec to 0.9 sec.

또한, 졸음감지시 스피커 등을 통해 경고메시지나 경보음을 출력하도록 구성될 수 있으며, 이를 위해, 도 11에 나타낸 바와 같이, 졸음 발생시간 동안 police_alarm을 호출하여 경보음을 출력하도록 구성될 수 있다. In addition, it may be configured to output a warning message or an alarm sound through a speaker when drowsiness is detected. To this end, as shown in FIG. 11, it may be configured to call police_alarm during the drowsiness occurrence time to output an alarm sound.

여기서, 상기한 경고메시지나 경보음은 사전에 녹음된 음성파일을 미리 설정된 시간 동안 재생하는 방식으로 작동되며, 예를 들면, 5초 동안 재생되도록 구성될 수 있으며, 이에 더하여, 설정을 통해 눈을 감고 있는 동안만 경보음이 발생하도록 조정할 수 있도록 구성될 수 있다. Here, the warning message or alarm sound is operated by playing a pre-recorded voice file for a preset time, for example, it can be configured to be played for 5 seconds. It can be configured to be adjustable so that an alarm sounds only while winding.

따라서 상기한 바와 같이 구성되는 졸음감지 알고리즘을 이용하여 졸음탐지방법 및 졸음운전 방지시스템을 구현할 수 있으며, 즉, 본 발명에서는, 상기한 바와 같은 오픈소스(Open-source) 기반 깃허브(Git-hub)의 Drivelert를 사용하여, 예를 들면, 사용자의 스마트폰에 설치된 카메라를 통해 운전자의 얼굴 프레임을 지속해서 수집하고, 얼굴인식 및 눈꺼풀의 깜박임을 감지하여 미리 정해진 기준시간 이상 감겨있을 경우 졸음으로 인식하는 것에 의해 보다 정확한 감지가 가능하도록 구성되는 졸음탐지방법 및 그러한 졸음탐지방법을 이용하여 졸음감지시 스마트폰의 스피커를 통해 경보음을 발생하도록 구성되는 것에 의해 별도의 설치나 착용이 필요없이 간단한 구성 및 저렴한 비용으로 구현 가능하도록 구성되는 졸음운전 방지시스템을 제시하였다. Therefore, it is possible to implement a drowsiness detection method and a drowsy driving prevention system using the drowsiness detection algorithm configured as described above. That is, in the present invention, the open-source based Git-hub ) using Drivelert, for example, continuously collecting driver's face frames through a camera installed in the user's smartphone, detecting face recognition and blinking of the eyelids, and recognizing them as drowsy if they are closed for more than a predetermined standard time. A drowsiness detection method configured to enable more accurate detection by using the drowsiness detection method and a simple configuration without the need for separate installation or wearing by being configured to generate an alarm sound through the speaker of a smartphone when drowsiness is detected using the drowsiness detection method And a drowsy driving prevention system configured to be implemented at low cost was presented.

즉, 도 12를 참조하면, 도 12는 본 발명의 실시예에 따른 딥러닝을 이용한 졸음탐지방법의 전체적인 구성을 개략적으로 나타내는 플로차트이다. That is, referring to FIG. 12, FIG. 12 is a flowchart schematically showing the overall configuration of a drowsiness detection method using deep learning according to an embodiment of the present invention.

도 12에 나타낸 바와 같이, 본 발명의 실시예에 따른 딥러닝을 이용한 졸음탐지방법은, 크게 나누어, 먼저, 카메라를 통해 촬영된 이미지를 수신하는 처리가 수행되는 영상입력단계(S10)와, 영상입력단계(S10)에서 실시간으로 입력되는 영상으로부터 얼굴을 인식하는 처리가 수행되는 얼굴인식단계(S20)와, 얼굴인식단계(S20)에서 인식된 얼굴로부터 눈을 검출하고 눈꺼풀의 움직임을 감지하는 처리가 수행되는 졸음탐지단계(S30)와, 졸음탐지단계(S30)에서 감지된 눈꺼풀의 움직임에 근거하여 미리 정해진 기준에 따라 졸음상태인지의 여부를 판단하는 처리가 수행되는 졸음판단단계(S40) 및 졸음판단단계(S40)의 판단결과에 근거하여 졸음상태인 경우 경고를 발생하는 처리가 수행되는 경고발생단계(S50)를 포함하여 구성될 수 있다. As shown in FIG. 12, the method for detecting drowsiness using deep learning according to an embodiment of the present invention is roughly divided into: first, an image input step (S10) in which a process of receiving an image captured through a camera is performed, and an image A face recognition step (S20) in which a face recognition process is performed from an image input in real time in the input step (S10), and a process of detecting eyes and eyelid movements from the face recognized in the face recognition step (S20). drowsiness detection step (S30) in which a drowsiness detection step (S30) is performed, and a drowsiness determination step (S40) in which a process of determining whether or not a drowsy state is performed according to a predetermined criterion based on the eyelid movement detected in the drowsiness detection step (S30) is performed; and Based on the determination result of the drowsiness determination step (S40), it may be configured to include a warning generating step (S50) in which a process for generating a warning is performed when the user is in a drowsy state.

여기서, 상기한 영상입력단계(S10)는, 차량 내부에 운전자를 촬영하기 위한 카메라를 설치하여 운전자의 영상을 촬영하도록 구성될 수 있으나, 바람직하게는, 예를 들면, 사용자의 스마트폰에 구비된 전면(또는 후면) 카메라를 통해 사용자의 영상을 촬영하는 처리가 수행되도록 구성될 수 있다. Here, the above image input step (S10) may be configured to capture an image of the driver by installing a camera for capturing the driver inside the vehicle, but preferably, for example, a user's smartphone is provided A process of photographing a user's image through a front (or rear) camera may be configured to be performed.

또한, 상기한 얼굴인식단계(S20)는, 상기한 바와 같이 구글 ML Kit 라이브러리를 이용하여 카메라로 촬영된 영상으로부터 얼굴을 인식하는 처리가 수행되도록 구성될 수 있다. In addition, in the face recognition step (S20), as described above, a process of recognizing a face from an image captured by a camera using the Google ML Kit library may be configured to be performed.

아울러, 상기한 졸음탐지단계(S30)는, 상기한 바와 같이 오픈소스(Open-source) 기반 깃허브(Git-hub) Drivelert를 이용하여 양쪽 눈꺼풀의 깜박임을 감지하는 처리가 수행되도록 구성될 수 있다. In addition, in the drowsiness detection step (S30), as described above, the process of detecting the blinking of both eyelids using the open-source based Git-hub Drivelert can be configured to be performed. .

더욱이 상기한 졸음판단단계(S40)는, 상기한 바와 같이 왼쪽 눈꺼풀(l)이나 오른쪽 눈꺼풀(r) 중 어느 하나라도 감겨 있을 경우 state_i의 값을 0으로 하고, 두 눈꺼풀을 모두 뜨고 있으면 state_i 값을 1로 하여, 눈꺼풀이 감겨있는 상태(state_i 값이 0)가 미리 설정된 기준시간 이상 지속되면 졸음으로 판단하는 처리가 수행되도록 구성될 수 있다. Furthermore, in the drowsiness determination step (S40), as described above, when either the left eyelid (l) or the right eyelid (r) is closed, the value of state_i is set to 0, and when both eyelids are open, the value of state_i is set to When set to 1, if the state in which the eyelids are closed (state_i value is 0) lasts longer than a preset reference time, a process for determining drowsiness may be performed.

또한, 상기한 경고발생단계(S50)는, 상기한 바와 같이 졸음판단단계(S40)에서 졸음으로 판단된 후 미리 정해진 기준시간을 초과할 경우 경고메시지나 경보음을 발생하는 처리가 수행되도록 구성될 수 있다. In addition, the above warning generation step (S50) is configured to generate a warning message or an alarm sound when a predetermined reference time is exceeded after it is determined as drowsy in the drowsiness determination step (S40) as described above. can

이때, 상기한 기준시간 및 경고발생의 지속시간은 사용자가 임의로 설정할 수 있도록 구성될 수 있으며, 졸음감지시 차량 내부에 별도로 설치된 스피커 등을 통해 경고메시지나 경보음을 출력하도록 구성될 수 있으나, 바람직하게는, 예를 들면, 사용자의 스마트폰에 구비된 스피커를 통해 경고를 발생하도록 구성될 수 있다. At this time, the reference time and the duration of the warning may be configured to be arbitrarily set by the user, and may be configured to output a warning message or an alarm sound through a speaker separately installed inside the vehicle when drowsiness is detected, but preferably Preferably, for example, it may be configured to generate a warning through a speaker provided in a user's smart phone.

따라서 상기한 바와 같이 하여 본 발명의 실시예에 따른 딥러닝을 이용한 졸음탐지방법을 구현할 수 있으며, 이를 이용하여, 졸음운전을 방지하기 위한 졸음운전 방지시스템 및 방법을 용이하게 구현할 수 있다. Therefore, as described above, the drowsiness detection method using deep learning according to an embodiment of the present invention can be implemented, and a drowsy driving prevention system and method for preventing drowsy driving can be easily implemented using this.

즉, 도 13을 참조하면, 도 13은 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 딥러닝을 이용한 졸음탐지방법을 이용하여 구성되는 졸음운전 방지시스템(10)의 전체적인 구성을 개략적으로 나타내는 블록도이다. That is, referring to FIG. 13, FIG. 13 schematically shows the overall configuration of the drowsy driving prevention system 10 configured using the drowsiness detection method using deep learning according to an embodiment of the present invention configured as described above. It is a block diagram showing

도 13에 나타낸 바와 같이, 본 발명의 실시예에 따른 졸음운전 방지시스템(10)은, 크게 나누어, 사용자의 영상을 촬영하기 위한 영상취득부(11)와, 영상취득부(11)에 의해 촬영된 영상으로부터 졸음여부를 판단하는 졸음판단부(12)와, 졸음판단부(12)의 판단결과에 따라 경보음이나 경고메시지를 출력하는 경고발생부(13) 및 상기한 각 부 및 시스템의 전체적인 동작을 제어하는 제어부(14)를 포함하여 구성될 수 있다. As shown in FIG. 13, the drowsy driving prevention system 10 according to an embodiment of the present invention is broadly divided into an image acquisition unit 11 for capturing a user's image and a photograph taken by the image acquisition unit 11. A drowsiness determination unit 12 that determines whether or not one is drowsy from the image, a warning generating unit 13 that outputs an alarm sound or a warning message according to the determination result of the drowsiness determination unit 12, and the overall structure of each unit and system described above. It may be configured to include a control unit 14 that controls the operation.

여기서, 상기한 시스템(10)은, 예를 들면, 사용자의 스마트폰이나 태블릿 PC를 포함하는 개인 휴대용 정보통신 단말기에 전용의 어플리케이션 프로그램을 설치하여 구성될 수 있다. Here, the above system 10 may be configured by installing a dedicated application program on a personal portable information communication terminal including, for example, a user's smart phone or tablet PC.

즉, 상기한 영상취득부(11) 및 경고발생부(13)는 스마트폰의 카메라 및 스피커를 이용하여 구성될 수 있고, 상기한 졸음판단부(12)는, 상기한 바와 같이 구성되는 본 발명의 실시예에 따른 딥러닝을 이용한 졸음탐지방법을 실행시키도록 구성되는 어플리케이션 프로그램의 형태로 구성될 수 있다. That is, the image acquiring unit 11 and the warning generating unit 13 may be configured using a camera and a speaker of a smartphone, and the drowsiness determination unit 12 may be configured as described above according to the present invention. It may be configured in the form of an application program configured to execute the drowsiness detection method using deep learning according to an embodiment of.

따라서 상기한 바와 같은 구성으로부터, 본 발명의 실시예에 따른 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템(10)에 따르면, 예를 들면, 사용자의 스마트폰이나 태블릿 PC 등과 같이, 카메라가 구비된 개인 휴대용 정보처리 단말기에 전용의 어플리케이션 프로그램을 설치하여 구성됨으로써, 차량 내, 외측에 별도의 장치를 설치하거나 사용자가 별도의 장비를 착용하는 번거로움이 없이 보다 간단한 구성 및 저렴한 비용으로 구현 가능한 장점을 가지는 것이다. Therefore, from the configuration as described above, according to the drowsiness detection method using deep learning and the drowsy driving prevention system 10 using the same according to an embodiment of the present invention, for example, a user's smartphone or tablet PC, etc. It is configured by installing a dedicated application program on a personal portable information processing terminal equipped with, so that it is implemented at a simpler configuration and lower cost without the hassle of installing a separate device inside or outside the vehicle or requiring the user to wear separate equipment. It has possible advantages.

이울러, 본 발명의 실시예에 따른 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템(10)은, 상기한 바와 같이 딥러닝 기반 영상인식 알고리즘을 이용하여 졸음상태 여부를 판단하도록 구성됨으로써, 기존의 방식에 비해 보다 신속하고 정확하게 졸음 여부를 판단하고 졸음운전을 방지할 수 있다. In addition, the drowsiness detection method using deep learning and the system 10 for preventing drowsy driving using the same according to an embodiment of the present invention are configured to determine whether or not they are in a drowsy state using a deep learning-based image recognition algorithm as described above. , it is possible to more quickly and accurately determine drowsiness and prevent drowsy driving compared to existing methods.

계속해서, 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템(10)의 실제 성능을 실험을 통해 검증한 내용에 대하여 설명한다. Continuing, the actual performance of the drowsiness detection method using deep learning and the drowsy driving prevention system 10 using the same according to an embodiment of the present invention configured as described above will be described through experiments.

본 발명에서는, 실제 다양한 주행환경 및 운전자를 대상으로 실험의 수행이 어려운 한계를 극복하기 위해 AIHub에서 제공하는 "졸음운전 예방을 위한 운전자 상태정보 영상"을 확보하고, 상기한 바와 같은 실제 도로환경, 준통제환경, 통제환경 데이터를 통해 본 발명의 실시예에 따른 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템(10)의 실제 성능을 측정하기 위한 테스트 환경을 구성하였다. In the present invention, in order to overcome the limitations of performing experiments on various driving environments and drivers, the "driver status information image for preventing drowsy driving" provided by AIHub is secured, and the actual road environment as described above, A test environment was constructed to measure the actual performance of the drowsiness detection method using deep learning and the drowsy driving prevention system 10 using the same according to an embodiment of the present invention through quasi-controlled environment and controlled environment data.

더 상세하게는, 실제 도로환경, 준통제환경, 통제환경의 3가지 환경에 대하여 각각 실험을 진행하였으며, 실제 도로환경에서는 승용차, 택시, 버스, 트럭의 각 종류별 이미지 400 ~ 1,200장을 이용하여 실험을 진행하였고, 각 환경에서의 성능 테스트 실패 원인분석을 및 성능 테스트 결과를 각각 도출하였다. More specifically, experiments were conducted on three environments: real road environment, semi-controlled environment, and controlled environment. , and analysis of the cause of performance test failure in each environment and performance test results were derived, respectively.

즉, 도 14 내지 도 16을 참조하면, 도 14는 각각의 환경에 대하여 졸음인식 실패원인 분석결과를 표로 정리하여 나타낸 도면이고, 도 15는 각각의 환경에 대한 성능테스트 결과를 표로 정리하여 나타낸 도면이며, 도 16은 각각의 환경에 대한 성능측정 결과를 표로 정리하여 나타낸 도면이다. That is, referring to FIGS. 14 to 16, FIG. 14 is a diagram showing the results of analyzing the cause of drowsiness recognition failure for each environment in a table, and FIG. 15 is a diagram showing the performance test results for each environment in a table. 16 is a diagram showing performance measurement results for each environment organized in a table.

먼저, 얼굴인식 테스트에 대하여 설명하면, 도 14에 나타낸 바와 같이, 본 발명에서는, 얼굴인식의 정확성 확인을 위해 AIHub에서 제공하는 "졸음운전 예방을 위한 운전자 상태정보 영상"을 이용하여 실제 도로주행 데이터, 준통제환경 데이터, 통제환경 데이터의 3가지 환경에서 운전자 얼굴 이미지를 활용하여 인식 테스트를 진행하였고, 얼굴인식이 실패한 각각의 경우에 대하여 실패 원인을 분석하였다. First, the face recognition test will be described. As shown in FIG. 14, in the present invention, in order to check the accuracy of face recognition, the actual road driving data is used by using the “driver condition information image for preventing drowsy driving” provided by AIHub. A recognition test was conducted using the driver's face image in three environments: , semi-controlled environment data, and controlled environment data, and the cause of failure was analyzed for each case where face recognition failed.

다음으로, 성능 테스트 결과는, 도 15에 나타낸 바와 같이, 테스트에 활용한 총 데이터 수는 5,046건으로 그 중 54건의 데이터가 인식에 실패하였으나, 실제 도로환경, 준통제환경, 통제환경에 대한 테스트에서 모두 99% 이상의 성공률을 나타내었음을 확인할 수 있다. Next, as for the performance test results, as shown in FIG. 15, the total number of data used for the test was 5,046, of which 54 data failed to be recognized, but in the test for the actual road environment, semi-controlled environment, and controlled environment It can be confirmed that all of them exhibited a success rate of 99% or more.

또한, 테스트 데이터를 이용한 성능측정 결과, 도 16에 나타낸 바와 같이, Precision, Recall 모두 높은 값을 나타내었음을 확인할 수 있으며, F1-Score도 99% 이상으로 안정적이고 높은 예측성능을 나타내었음을 확인할 수 있다. In addition, as a result of performance measurement using test data, as shown in FIG. 16, it can be confirmed that both Precision and Recall showed high values, and F1-Score also showed stable and high predictive performance of 99% or more. there is.

상기한 바와 같은 실험 및 분석 결과로부터, 본 발명의 실시예에 따른 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템(10)은 충분히 높은 졸음탐지 성능을 가지는 것임을 알 수 있다. From the above experimental and analysis results, it can be seen that the drowsiness detection method using deep learning and the drowsy driving prevention system 10 using the same according to an embodiment of the present invention have sufficiently high drowsiness detection performance.

따라서 상기한 바와 같이 하여 본 발명의 실시예에 따른 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템을 구현할 수 있으며, 그것에 의해, 본 발명에 따르면, 딥러닝에 기반한 영상인식 기술을 이용하여 카메라를 통해 얼굴을 인식하고 눈꺼풀의 깜빡임을 감지하여 기준시간 이상 감겨있을 경우 졸음상태로 판단하여 경보를 발생하도록 구성되는 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템이 제공됨으로써, 기존의 졸음운전 방지장치 및 방법들에 비하여 보다 정확하게 졸음상태를 판단하고 효과적으로 졸음운전을 방지하여 안전성 및 신뢰성을 확보할 수 있다. Therefore, as described above, it is possible to implement a drowsiness detection method using deep learning and a drowsy driving prevention system using the same according to an embodiment of the present invention, whereby, according to the present invention, using image recognition technology based on deep learning By providing a drowsiness detection method using deep learning and a drowsy driving prevention system using the same, which recognizes a face through a camera and detects blinking of the eyelids to determine a drowsy state and generates an alarm when the eyelids are closed for more than a standard time, Compared to devices and methods for preventing drowsy driving, it is possible to more accurately determine the drowsy state and effectively prevent drowsy driving to ensure safety and reliability.

또한, 본 발명에 따르면, 상기한 바와 같이 딥러닝 기술을 이용하여 졸음상태를 검출하고 경보를 발생하는 것에 의해 보다 정확하고 효과적으로 졸음운전을 방지할 수 있도록 구성되는 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템이 제공됨으로써, 졸음운전 및 전방주시 태만으로 인한 교통사고의 발생을 효과적으로 방지할 수 있는 방안이 제시되지 못하였던 종래기술의 졸음운전 방지장치 및 방법들의 문제점을 해결할 수 있다. In addition, according to the present invention, as described above, a drowsiness detection method using deep learning configured to more accurately and effectively prevent drowsy driving by detecting a drowsy state and generating an alarm using deep learning technology, and a drowsiness detection method using the same By providing a drowsy driving prevention system using the present invention, it is possible to solve the problems of the related art drowsy driving prevention devices and methods, which have not been proposed to effectively prevent the occurrence of traffic accidents due to drowsy driving and neglect of looking ahead.

아울러, 본 발명에 따르면, 상기한 바와 같이 딥러닝에 기반한 영상인식 기술을 이용하여 얼굴을 인식하고 눈꺼풀의 깜빡임을 감지하여 졸음상태를 판단하여 경보를 발생하는 것에 의해 보다 정확하고 효과적으로 졸음운전을 방지할 수 있는 동시에, 그러한 일련의 처리과정이 사용자의 스마트폰에 설치된 카메라 및 스피커를 통해 이루어지도록 구성되는 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템이 제공됨으로써, 별도의 장치를 차량에 설치하거나 신체에 착용해야 하는 번거로움이 없이 보다 간단한 구성 및 저렴한 비용으로 구현 가능하며, 그것에 의해, 운전자별로 다양하게 나타나는 졸음상태의 인식에 대한 정확도가 상대적으로 떨어짐으로 인해 오작동이 빈번하게 발생하는 문제가 있는 데 더하여, 졸음운전을 방지하기 위하여 별도의 장치를 차량에 설치하거나 신체에 착용하여야 하는 불편함이 있었던 종래기술의 졸음운전 방지장치 및 방법들의 문제점을 해결할 수 있다. In addition, according to the present invention, as described above, by recognizing a face using image recognition technology based on deep learning and detecting eyelid blinking to determine a drowsy state and generating an alarm, more accurately and effectively preventing drowsy driving. At the same time, by providing a drowsiness detection method using deep learning and a drowsy driving prevention system using the same, which are configured such that a series of processing processes are performed through a camera and a speaker installed in a user's smartphone, a separate device is installed in the vehicle. It can be implemented at a simpler configuration and lower cost without the hassle of installation or wear on the body, and as a result, malfunctions frequently occur due to relatively low accuracy in recognizing various drowsy states for each driver. In addition, it is possible to solve the problems of the prior art drowsy driving prevention devices and methods, which had the inconvenience of installing a separate device in the vehicle or wearing it on the body in order to prevent drowsy driving.

이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 딥러닝을 이용한 졸음탐지방법 및 이를 이용한 졸음운전 방지시스템의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다. In the above, the details of the drowsiness detection method using deep learning and the drowsy driving prevention system using the same according to the present invention have been described through the embodiments of the present invention as described above, but the present invention is described in the above embodiments. Therefore, it is natural that the present invention is capable of various modifications, changes, combinations, and substitutions according to design needs and other various factors by those skilled in the art to which the present invention belongs. I'd say it's work.

10. 졸음운전 방지시스템 11. 영상취득부
12. 졸음판단부 13. 경고발생부
14. 제어부 10. Drowsy driving prevention system 11. Image acquisition unit
12. Drowsiness determination unit 13. Warning generating unit
14. Controls

Claims (11)

딥러닝(Deep Learning)을 이용한 졸음탐지방법에 있어서,
카메라를 통해 촬영된 영상이나 이미지를 수신하는 처리가 수행되는 영상입력단계;
딥러닝 기반 영상인식 알고리즘을 이용하여, 상기 영상입력단계에서 실시간으로 입력되는 영상 또는 이미지로부터 얼굴을 인식하는 처리가 수행되는 얼굴인식단계;
딥러닝 기반 영상인식 알고리즘을 이용하여, 상기 얼굴인식단계에서 인식된 얼굴로부터 눈을 검출하고 눈꺼풀의 움직임을 감지하는 처리가 수행되는 졸음탐지단계;
상기 졸음탐지단계에서 감지된 눈꺼풀의 움직임에 근거하여, 미리 정해진 기준에 따라 졸음상태인지의 여부를 판단하는 처리가 수행되는 졸음판단단계; 및
상기 졸음판단단계의 판단결과에 근거하여, 졸음상태로 판단된 경우 경고를 발생하는 처리가 수행되는 경고발생단계를 포함하는 처리가 컴퓨터나 전용의 하드웨어에 의해 실행되도록 구성되며,
상기 졸음판단단계는,
상기 졸음탐지단계의 눈꺼풀 움직임 감지결과에 근거하여, 왼쪽 눈꺼풀(l)이나 오른쪽 눈꺼풀(r) 중 어느 하나라도 감겨 있을 경우 상태값(state_i)을 0으로 설정하고, 두 눈꺼풀을 모두 뜨고 있으면 상기 상태값(state_i)을 1로 설정하며, 눈꺼풀이 감겨있는 상태(state_i 값이 0)가 미리 설정된 제 1 기준시간 이상 지속되면 졸음상태인 것으로 판단하는 처리가 수행되고,
상기 경고발생단계는,
상기 졸음판단단계에서 졸음으로 판단된 후 졸음상태가 미리 정해진 제 2 기준시간을 초과하여 지속될 경우 미리 설정된 경고메시지나 경보음을 미리 설정된 지속시간 동안 출력하는 처리가 수행되도록 구성됨으로써,
운전자별로 서로 다르게 나타나는 졸음상태에 대한 판단의 정확도를 높이고 오작동을 방지하여 사고발생을 보다 효과적으로 예방할 수 있도록 구성되는 것을 특징으로 하는 딥러닝을 이용한 졸음탐지방법.
In the drowsiness detection method using deep learning,
An image input step in which a process of receiving a video or image captured by a camera is performed;
a face recognition step in which a process of recognizing a face from a video or image input in real time in the image input step is performed using a deep learning-based image recognition algorithm;
a drowsiness detection step in which eyes are detected from the face recognized in the face recognition step and eyelid movements are detected using a deep learning-based image recognition algorithm;
a drowsiness determination step in which a process of determining whether or not a drowsy state is performed according to a predetermined criterion based on the eyelid movement detected in the drowsiness detection step is performed; and
Based on the determination result of the drowsiness determination step, when it is determined that the drowsy state is configured to execute a process including a warning generating step in which a warning generating process is performed by a computer or dedicated hardware,
The drowsiness determination step,
Based on the eyelid movement detection result in the drowsiness detection step, if either the left eyelid (l) or the right eyelid (r) is closed, the state value (state_i) is set to 0, and if both eyelids are open, the state value is set to 0. The value (state_i) is set to 1, and if the state in which the eyelids are closed (the state_i value is 0) continues for more than a preset first reference time, a process of determining that the state is in a drowsy state is performed,
The warning generation step is
If the drowsiness state continues beyond a predetermined second reference time after it is determined that the drowsiness is determined in the drowsiness determination step, a process of outputting a preset warning message or an alarm sound for a preset duration is configured to perform,
A drowsiness detection method using deep learning, characterized in that it is configured to increase the accuracy of judgment on the drowsiness state that appears differently for each driver and prevent malfunctions to more effectively prevent accidents.
 제 1항에 있어서,
상기 방법은,
사용자의 스마트폰이나 태블릿 PC를 포함하는 정보통신 단말기로 이루어지는 사용자 단말기에 전용의 어플리케이션 프로그램을 설치하여 구성되는 것을 특징으로 하는 딥러닝을 이용한 졸음탐지방법.
According to claim 1,
The method,
A drowsiness detection method using deep learning, characterized in that it is configured by installing a dedicated application program in a user terminal composed of an information communication terminal including a user's smartphone or tablet PC.
 제 2항에 있어서,
상기 영상입력단계는,
상기 사용자 단말기에 구비된 카메라를 통해 사용자의 영상을 촬영하는 처리가 수행되도록 구성되는 것을 특징으로 하는 딥러닝을 이용한 졸음탐지방법.
According to claim 2,
In the video input step,
The method of detecting drowsiness using deep learning, characterized in that it is configured to perform a process of photographing a user's image through a camera provided in the user terminal.
 제 1항에 있어서,
상기 얼굴인식단계는,
구글 ML Kit 라이브러리 기반의 BlazeFace 얼굴감지 모델을 포함하는 딥러닝 기반 얼굴인식 알고리즘을 이용하여, 상기 영상입력단계에서 실시간으로 입력되는 영상으로부터 얼굴을 인식하는 처리가 수행되도록 구성되는 것을 특징으로 하는 딥러닝을 이용한 졸음탐지방법.
According to claim 1,
The face recognition step,
Using a deep learning-based face recognition algorithm including a BlazeFace face detection model based on the Google ML Kit library, deep learning characterized in that it is configured to perform face recognition processing from an image input in real time in the image input step. Drowsiness detection method using
 제 1항에 있어서,
상기 졸음탐지단계는,
오픈소스(Open-source) 기반 깃허브(Git-hub) Drivelert를 이용하여, 상기 얼굴인식단계에서 인식된 얼굴에서 양쪽 눈꺼풀의 움직임을 각각 감지하는 처리가 수행되도록 구성되는 것을 특징으로 하는 딥러닝을 이용한 졸음탐지방법.
According to claim 1,
The drowsiness detection step,
Using an open-source based Git-hub Drivelert, deep learning characterized in that the processing of detecting the movement of both eyelids in the face recognized in the face recognition step is performed, respectively. drowsiness detection method.
 삭제delete 삭제delete 제 1항에 있어서,
상기 방법은,
상기 제 1 기준시간, 상기 제 2 기준시간 및 상기 지속시간을 사용자가 임의로 설정할 수 있도록 구성되는 것을 특징으로 하는 딥러닝을 이용한 졸음탐지방법.
According to claim 1,
The method,
The method for detecting drowsiness using deep learning, characterized in that the first reference time, the second reference time and the duration are configured so that a user can arbitrarily set them.
 제 1항에 있어서,
상기 경고발생단계는,
졸음감지시 별도로 설치된 스피커를 통해 상기 경고메시지나 상기 경보음을 출력하거나, 또는, 상기 사용자 단말기에 구비된 스피커를 통해 상기 경고메시지나 상기 경보음을 출력하는 처리가 수행되도록 구성되는 것을 특징으로 하는 딥러닝을 이용한 졸음탐지방법.
According to claim 1,
The warning generation step is
When drowsiness is detected, the warning message or the alarm sound is output through a separately installed speaker, or the warning message or the alarm sound is output through a speaker provided in the user terminal. Drowsiness detection method using deep learning.
 졸음운전 방지시스템에 있어서,
운전자의 영상을 촬영하기 위한 영상취득부;
상기 영상취득부에 의해 촬영된 영상으로부터 졸음여부를 판단하는 졸음판단부;
상기 졸음판단부의 판단결과에 따라 경보음이나 경고메시지를 출력하는 경고발생부; 및
상기 시스템의 전체적인 동작을 제어하는 제어부를 포함하여 구성되고,
상기 졸음판단부는,
청구항 1항 내지 청구항 5항, 청구항 8항 및 청구항 9항 중 어느 한 항에 기재된 딥러닝을 이용한 졸음탐지방법을 이용하여 상기 운전자의 졸음운전 여부를 판단하는 처리가 수행되도록 구성되는 것을 특징으로 하는 졸음운전 방지시스템.
In the drowsy driving prevention system,
an image acquisition unit for capturing a driver's image;
a drowsiness determination unit determining whether or not to be drowsy from the image captured by the image obtaining unit;
a warning generating unit outputting an alarm sound or a warning message according to the determination result of the drowsiness determination unit; and
It is configured to include a control unit for controlling the overall operation of the system,
The drowsiness determination unit,
Claims 1 to 5, claim 8 and claim 9 characterized in that it is configured to perform a process for determining whether the driver is drowsy driving using the drowsiness detection method using deep learning according to any one of claims 8 and 9 Drowsy driving prevention system.
 제 10항에 있어서,
상기 시스템은,
상기 운전자의 스마트폰이나 태블릿 PC를 포함하는 정보통신 단말기로 이루어지는 사용자 단말기에 전용의 어플리케이션 프로그램을 설치하여 구성되는 것을 특징으로 하는 딥러닝을 이용한 졸음운전 방지시스템.
According to claim 10,
The system,
A drowsy driving prevention system using deep learning, characterized in that configured by installing a dedicated application program in a user terminal composed of an information communication terminal including a smart phone or tablet PC of the driver.
KR1020210138259A 2021-10-18 2021-10-18 Method for detecting drowsiness using deep learning and system for preventing drowsy driving using thereof KR102476829B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210138259A KR102476829B1 (en) 2021-10-18 2021-10-18 Method for detecting drowsiness using deep learning and system for preventing drowsy driving using thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210138259A KR102476829B1 (en) 2021-10-18 2021-10-18 Method for detecting drowsiness using deep learning and system for preventing drowsy driving using thereof

Publications (1)

Publication Number Publication Date
KR102476829B1 true KR102476829B1 (en) 2022-12-13

Family

ID=84439207

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210138259A KR102476829B1 (en) 2021-10-18 2021-10-18 Method for detecting drowsiness using deep learning and system for preventing drowsy driving using thereof

Country Status (1)

Country Link
KR (1) KR102476829B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190037701A (en) * 2017-09-29 2019-04-08 주식회사 루멘스 Sleepiness prevention apparatus for vehicle
KR101988426B1 (en) 2017-12-15 2019-06-12 충남대학교산학협력단 Wrist type electricshock apparatus for preventing sleepiness
KR20190138725A (en) * 2018-06-06 2019-12-16 백승호 Sleeping Protection
KR102195441B1 (en) 2019-07-31 2020-12-29 (주)케이아이오티 apparatus for preventing drowsiness of driver using beta wave frequency-following effect
KR20210052634A (en) * 2019-10-29 2021-05-11 엘지전자 주식회사 Artificial intelligence apparatus and method for determining inattention of driver

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190037701A (en) * 2017-09-29 2019-04-08 주식회사 루멘스 Sleepiness prevention apparatus for vehicle
KR101988426B1 (en) 2017-12-15 2019-06-12 충남대학교산학협력단 Wrist type electricshock apparatus for preventing sleepiness
KR20190138725A (en) * 2018-06-06 2019-12-16 백승호 Sleeping Protection
KR102195441B1 (en) 2019-07-31 2020-12-29 (주)케이아이오티 apparatus for preventing drowsiness of driver using beta wave frequency-following effect
KR20210052634A (en) * 2019-10-29 2021-05-11 엘지전자 주식회사 Artificial intelligence apparatus and method for determining inattention of driver

Similar Documents

Publication Publication Date Title
Dasgupta et al. A smartphone-based drowsiness detection and warning system for automotive drivers
US20230154207A1 (en) Driver fatigue detection method and system based on combining a pseudo-3d convolutional neural network and an attention mechanism
CN105488957B (en) Method for detecting fatigue driving and device
CN110291478B (en) Driver Monitoring and Response System
Li et al. Modeling of driver behavior in real world scenarios using multiple noninvasive sensors
US11609565B2 (en) Methods and systems to facilitate monitoring center for ride share and safe testing method based for selfdriving cars to reduce the false call by deuddaction systems based on deep learning machine
CN112754498B (en) Driver fatigue detection method, device, equipment and storage medium
Lashkov et al. Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing
US20240096116A1 (en) Devices and methods for detecting drowsiness of drivers of vehicles
Guria et al. Iot-enabled driver drowsiness detection using machine learning
Alam et al. Active vision-based attention monitoring system for non-distracted driving
CN113312958B (en) Method and device for adjusting dispatch priority based on driver state
Pandey et al. A survey on visual and non-visual features in Driver’s drowsiness detection
Abulkhair et al. Using mobile platform to detect and alerts driver fatigue
KR102476829B1 (en) Method for detecting drowsiness using deep learning and system for preventing drowsy driving using thereof
Soman et al. Internet-of-Things-Assisted Artificial Intelligence-Enabled Drowsiness Detection Framework
Aboagye et al. Design and Development of Computer Vision-Based Driver Fatigue Detection and Alert System
Gupta et al. Real time driver drowsiness detecion using transfer learning
CN111476122A (en) Driving state monitoring method and device and storage medium
Adarsh et al. Drowsiness Detection System in Real Time Based on Behavioral Characteristics of Driver using Machine Learning Approach
Rajput et al. Accident Prevention Using Drowsiness Detection
Khandare et al. A deep learning framework for non-intrusive driver drowsiness detection
Priya et al. Machine Learning-Based System for Detecting and Tracking Driver Drowsiness
Amanullah et al. Accident prevention by eye-gaze tracking using imaging Constraints
Varghese et al. Drowsiness Detection and Alert Android App Using OpenCV

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant