KR20150061668A - An apparatus for warning drowsy driving and the method thereof - Google Patents
An apparatus for warning drowsy driving and the method thereof Download PDFInfo
- Publication number
- KR20150061668A KR20150061668A KR1020130144969A KR20130144969A KR20150061668A KR 20150061668 A KR20150061668 A KR 20150061668A KR 1020130144969 A KR1020130144969 A KR 1020130144969A KR 20130144969 A KR20130144969 A KR 20130144969A KR 20150061668 A KR20150061668 A KR 20150061668A
- Authority
- KR
- South Korea
- Prior art keywords
- driver
- camera
- drowsy
- image
- drowsiness
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 239000011521 glass Substances 0.000 claims abstract description 32
- 230000003287 optical effect Effects 0.000 claims abstract description 22
- 206010041349 Somnolence Diseases 0.000 claims description 125
- 238000001514 detection method Methods 0.000 claims description 77
- 238000005286 illumination Methods 0.000 claims description 58
- 238000004891 communication Methods 0.000 claims description 33
- 210000000744 eyelid Anatomy 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 13
- 238000000149 argon plasma sintering Methods 0.000 abstract 1
- 239000000203 mixture Substances 0.000 abstract 1
- 210000001508 eye Anatomy 0.000 description 57
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 208000032140 Sleepiness Diseases 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000037321 sleepiness Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010013647 Drowning Diseases 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Combustion & Propulsion (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 졸음운전 경보 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 운전자의 영상을 기반으로 졸음을 감지하는 장치에서, 카메라의 광축과 조명의 조사축(조사각)을 다르게 설계함으로써 운전자의 안경에 반사되는 조명이 카메라에 입력되어 졸음운전 감지의 정확도가 낮아지던 것을 보완하고, 카메라에서 촬영한 영상을 졸음운전 감지 서버로 전송한 후 상기 졸음운전 감지 서버에 의한 1차 졸음여부 판단 작업 및 모니터링 요원에 의한 2차 졸음여부 판단 작업을 실시함으로써, 빠르고 정확하게 운전자의 졸음여부를 감지하여 운전자에게 효과적으로 경보할 수 있는 졸음운전 경보 장치 및 그 방법에 대한 것이다.The present invention relates to a drowsy driving alarm apparatus and method thereof, and more particularly, to a drowsiness driving alarm apparatus and method thereof, and more particularly, And transmits the image photographed by the camera to the drowsiness operation detection server. Then, the drowsiness operation detection server performs a first drowsiness determination operation and monitoring The present invention relates to a drowsiness driving alarm device and a method thereof, which can quickly and accurately detect the driver ' s drowsiness and effectively alarm the driver by performing a second drowsiness judgment operation by an agent.
현재 교통사고 발생원인의 상당 부분이 운전자의 졸음운전에 의해 발생하고 있다. 또한 일반적으로 교통사고 발생원인 중 졸음운전에 의한 사고는 다른 교통사고와는 다르게 브레이크가 작동되지 않은 채 사고가 일어나기 때문에 대형 인사 사고로 발전할 가능성이 매우 높다. 그렇기 때문에 졸음운전의 예방은 차량 안전사고를 방지하는 데 있어 매우 중요한 이슈이다.Currently, much of the cause of traffic accidents is caused by driver's drowsiness. Also, among the causes of traffic accidents in general, accidents caused by drowsiness driving are very likely to develop into large personnel accidents because accidents happen without the brake being activated unlike other traffic accidents. Therefore, prevention of drowsiness driving is a very important issue in preventing vehicle safety accidents.
졸음운전을 예방하기 위한 수칙들(적절한 주행 거리마다 충분한 휴식과 가벼운 스트레칭 등의 운동을 하거나, 운전 중에 졸음이 오는 경우 주행을 멈추고 휴식을 취할 것)이 다양한 매체들을 통해 운전자들에게 권고되고 있으나, 졸음운전은 여러 가지 다양한 요인에 기인하여 일어나고 있고, 실제로 차량 주행 중 운전자가 본인도 인지하지 못하는 순간에 순간적으로 조는 경우도 많기 때문에 운전자의 자력에 의한 졸음운전 예방은 한계가 있는 실정이었다. The guidelines for preventing drowsy driving (such as exercising enough rest and light stretching at appropriate mileage, or stopping and resting when drowsiness occurs during driving) are recommended to drivers through various media, Drowsiness driving is caused by various factors, and in actuality, the driving force is often instantaneously blocked at the moment when the driver does not recognize himself. Therefore, there is a limit in preventing sleeping driving by the driver's magnetic force.
이를 위하여 현재 다양한 졸음운전 방지 기술이 개발되어왔다. 이 같은 방법에는 사람의 얼굴을 카메라로 촬영하여 얼굴 영상을 취득하고, 취득한 얼굴 영상 중에서 눈의 위치를 찾아내서 위쪽 눈꺼풀과 아래쪽 눈꺼풀의 경계선의 간격에 따라 졸고 있는지의 여부를 감지하는 방법이 존재한다. 이 같은 종래기술에서 눈 위치를 감지하는 방법으로는 카메라로 취득한 얼굴 영상에서 밝기 차에 따라 운전자의 이목구비의 경계선을 추출하고 이로부터 눈꺼풀의 경계선을 찾아 눈의 위치를 파악할 수 있었고, 이렇게 파악한 눈의 위쪽 눈꺼풀과 아래쪽 눈꺼풀의 간격을 기반으로 운전자의 졸음여부를 감지할 수 있었다.Various drowsiness driving techniques have been developed for this purpose. In such a method, there is a method in which a face of a person is photographed with a camera to acquire a face image, and the position of the eye is searched out from the obtained face image to detect whether or not the eye is in a state of being slumped according to the interval between the upper eyelid and the lower eyelid . As a method of detecting the eye position in this conventional technique, it was possible to extract the boundary line of the driver's eyeball according to the brightness difference in the face image acquired by the camera and to find the position of the eye by looking at the boundary line of the eyelid from this. Based on the distance between the upper eyelid and the lower eyelid, the driver was able to detect drowsiness.
그러나 상기한 기술의 단점은 차량의 주행 중에 빛의 방향의 변화, 역광 등에 의하여 얼굴의 조명 조건이 계속 변화하기 때문에 경계선 추출에 의한 눈의 감지가 어려울 뿐만 아니라 야간의 경우에는 밝기 차이가 적어지기 때문에 경계선의 추출이 더욱 어렵고, 또한 운전자의 얼굴 방향에 따라서 센서 혹은 카메라에서 센싱 또는 촬영하는 이목구비의 모양이 변하기 때문에 눈이 아닌 눈썹이나 코, 안경 등을 눈으로 오인 검출하는 문제가 발생할 수 있다. 이같이 종래의 방법으로는 졸음운전 판단의 근거로 삼을 만한 정보의 신뢰도가 떨어지고, 이로 인하여 졸음 여부를 감지 및 판별하는 데 있어 오류가 크기 때문에 실제로 적용되기에는 많은 문제점이 있었다. However, the disadvantage of the above-mentioned technique is that since the illumination condition of the face continuously changes due to the change of the direction of the light or backlight during the running of the vehicle, it is difficult to detect the eyes by the boundary line extraction and in the case of the nighttime, It is more difficult to extract the boundary line, and the shape of the eyeball to be sensed or photographed by the sensor or the camera changes according to the direction of the driver's face, so that the eyebrows, the nose, Such conventional methods have a problem in that the reliability of information to be used as a basis for judging drowsiness is lowered and as a result, there is a large error in detecting and discriminating drowsiness.
다음은 본 발명의 기술 분야에 존재하는 선행기술문헌에 대하여 설명하고 본 발명과의 차이점 및 관계 대해 간단하게 기술하고자 한다. Hereinafter, the prior art documents existing in the technical field of the present invention will be described and briefly describe differences and relationships with the present invention.
한국 등록특허공보 제10-0766592호 (2007.10.05)는 홍채 반사 영상 기반 졸음 감지 장치 및 방법에 관한 것으로, 운전자의 얼굴에 근적외선을 조사하고, 이로부터 근적외선 얼굴영상을 취득하여, 취득한 근적외선 얼굴형상으로부터 홍채위에 맺혀진 광원의 상의 형태에 따라 운전자의 졸음여부를 판단하는데 관한 기술이 기재되어 있다. Korean Patent Registration No. 10-0766592 (Oct. 10, 2007) discloses an apparatus and method for detecting a drowsiness based on iris reflection images. A near infrared ray face image is acquired from a driver's face, and the obtained near infrared ray face shape Describes a technique for determining whether or not the driver is drowsy according to the shape of the light source formed on the iris.
하지만 상기 기술은 운전자가 선글라스를 포함한 안경을 착용하고 있거나 콘택트렌즈를 착용하고 있을 경우, 안경에 적외선 조명이 반사될 수 있고, 이렇게 안경에 적외선 조명이 반사된 상태로 얼굴영상이 취득되면 눈 영역의 추출에 오류가 발생하여 졸음운전 감지의 정확도가 낮아지는 문제가 있다. 또한 차량의 구조에 따라 조명 및 카메라(혹은 센서) 장치를 설치할 수 있는 위치에 제약이 있을 수 있고, 운전자의 움직임으로 인해 눈 영역이 카메라 촬영 범위를 벗어나게 될 경우 졸음운전 감지를 수행할 수 없는 문제가 있었다. 또한, 촬영된 영상으로 졸음운전 감지를 차량 내부에 설치되어 있는 단말기에서 수행하기 때문에 하드웨어 성능에 따른 제약이 존재하였다.However, when the driver wears glasses including sunglasses or wears contact lenses, infrared light may be reflected on the glasses, and when the face images are acquired with the infrared rays reflected on the glasses, There is a problem in that the accuracy of drowsiness detection is lowered due to an error in extraction. In addition, depending on the structure of the vehicle, there may be restrictions on the location where the illumination and camera (or sensor) device can be installed, and when the eye area deviates from the camera shooting range due to the driver's motion, . In addition, since drowsiness driving detection is performed in a terminal installed in the vehicle, there is a restriction due to hardware performance.
또 다른 졸음운전 감지 기술로는, 한국 등록특허공보 제10-1031485호 (2011.04.19), 한국 등록특허공보 제10-0718941 (2007.05.10) 등이 있으나 이는 각각 안구전도에 기반한 졸음운전 감지 기술, 심박신호에 기반한 졸음운전 감지 기술에 대한 것으로서, 본원 발명과는 차량 주행 중 운전자의 졸음을 감지하는데 관한 기술이라는 점에서 기술 분야가 유사할 뿐, 본원 발명과는 다르게 운전자의 눈 영역에 대한 적외선 영상을 기반으로 졸음운전 감지를 수행하는데 관한 기술은 기재되어 있지 않다.Another drowsiness detection technique is disclosed in Korean Patent Registration No. 10-1031485 (Apr. 19, 2011) and Korean Patent Registration No. 10-0718941 (May 10, 2007), which are related to eye conduction-based drowsiness detection technology The present invention relates to a technology for detecting a drowsiness of a driver during driving of a vehicle. The technology is similar to that of the related art, There is no description about performing drowsiness detection based on images.
결국, 적외선 조명 장치를 사용할 경우 주변 가시광의 변화에 덜 민감하게 변화하는 안정적인 영상을 취득할 수 있고, 특히 가시광 조명에서는 획득할 수 없는 선글라스 착용 운전자의 눈 영역의 영상을 획득할 수 있다는 장점이 있는 것에 비해 안경에 직접 조사될 경우 안경에 반사된 조명으로 인해 눈 영역의 영상이 포화되어 졸음운전 감지의 정확도가 낮아지는 단점이 있다.As a result, when an infrared illumination device is used, it is possible to acquire a stable image that is less sensitive to the change of the visible light in the periphery, and in particular to acquire an image of the eye area of the driver wearing sunglasses which can not be obtained by visible light illumination It is disadvantageous that the image of the eye region is saturated due to the illumination reflected on the glasses and the accuracy of the detection of the drowsiness operation is lowered.
상기와 같은 실정에 따라 본 발명은 운전자의 안경에 반사되는 조명으로 인하여 졸음운전 감지의 정확도가 낮아지는 것과 하드웨어적인 한계로 인해 졸음운전감지의 정확도가 낮아지는 것 등을 포함하는 문제를 보완하고 효과적으로 운전자에게 경보 메시지를 알릴 수 있는 새로운 졸음운전 경보 장치 및 그 방법을 제시하고자 한다.SUMMARY OF THE INVENTION According to the present invention, it is an object of the present invention to overcome the above-mentioned problems and to solve the problem that the accuracy of detecting the drowsiness operation is lowered due to the illumination reflected on the glasses of the driver and the accuracy of drowsiness detection is lowered due to hardware limitations. A new drowsy driving alarm device and method for informing the driver of an alarm message will be presented.
본 발명은 상기된 문제점을 해결하기 위해 창작된 것으로, 조명에서 운전자에게 적외선 광을 조사하고 운전자의 영상을 카메라로 촬영하여 상기 운전자의 졸음여부를 판단하는데 있어서, 조명의 조사축(조사각)을 카메라의 광축과 다르게 설정할 수 있도록 함으로써, 운전자의 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경 등에 반사된 조명의 반사광이 카메라에 촬영되어 운전자의 졸음여부 판단에 대한 정확도가 낮아지는 것을 방지할 수 있는 졸음운전 경보 장치 및 그 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and it is an object of the present invention to provide an illuminating apparatus for illuminating an illuminating axis (an illuminating angle) of an illuminating light by irradiating an infrared light to a driver in an illuminator and photographing an image of the driver with a camera to determine whether the driver is drowsy It is possible to prevent the reflected light of the illumination reflected from the glasses or the like including the driver's sunglasses, goggles, contact lenses or a combination thereof from being photographed by the camera to reduce the accuracy of the driver's judgment of drowsiness The present invention provides a drowsy driving alarm apparatus and method thereof.
또한, 본 발명은 상기된 문제점을 해결하기 위한 방법으로서 적외선 발광부 앞에 적외선 산란기를 둠으로써 눈 영역에 직접 조사되는 조명의 양을 최소화할 수 있는 졸음운전 경보 장치 및 그 방법을 제공하는데 그 목적이 있다. It is another object of the present invention to provide a drowsy driving alarm apparatus and method for minimizing the amount of light directly irradiated to an eye area by providing an infrared scattering unit in front of an infrared ray emitting unit have.
또한, 본 발명은 상기 카메라에 촬영된 영상을 기반으로 운전자의 졸음여부를 판단하는데 있어서, 상기 촬영된 영상을 졸음운전 감지 서버로 전송하여 서버에서 운전자의 졸음여부를 판단하도록 함으로써, 종래에 차량 내에 설치된 단말기에서 운전자의 졸음여부를 판단하는 것에 비해 졸음여부 판단의 정확도를 높일 수 있는 졸음운전 경보 장치 및 그 방법을 제공하는데 그 목적이 있다. Further, in the present invention, in determining whether the driver is drowsy based on the image photographed by the camera, the user may transmit the photographed image to the drowsiness driving detection server to determine whether the driver is drowsy in the server, And an object of the present invention is to provide a drowsiness driving alarm device and a method thereof that can increase the accuracy of drowsiness determination as compared to determining whether a driver is drowsy in an installed terminal.
또한, 본 발명은 상기 졸음운전 감지 서버에서 운전자의 졸음여부를 판단하는데 있어서, 서버의 소프트웨어에 의한 졸음운전 자동 판단과 서버의 모니터링 요원의 육안에 의한 수동 판단을 함께 실시함으로써 더욱 정확한 졸음운전 감지를 수행할 수 있는 졸음운전 경보 장치 및 그 방법을 제공하는데 그 목적이 있다.Further, in the drowsiness driving detection server of the present invention, when the drowsiness of the driver is judged, automatic determination of the drowsiness driving by the software of the server and manual judgment of the monitoring staff of the server are performed together, And an object of the present invention is to provide a drowsy driving alarm device and method thereof.
또한, 본 발명은 상기 카메라로 영상을 촬영하여 졸음운전 감지 서버로 전송하는데 있어서, 카메라로 촬영한 영상에서 운전자의 눈 영역을 추출한 후, 추출한 눈 영역의 데이터만을 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여(이하 대표적으로 영상정보라고도 함) 서버로 전송하는 방법을 사용함으로써, 졸음운전 감지 서버로 전송하는 데이터량을 최소화할 수 있고 더불어 개인정보 노출을 최대한 방지할 수 있는 졸음운전 경보 장치 및 그 방법을 제공하는데 그 목적이 있다. In addition, in the present invention, in the case of photographing an image with the camera and transmitting the image to the drowsiness operation detection server, the eye area of the driver is extracted from the image taken by the camera, and then only the extracted eye area data is binary image, gray image, (Hereinafter also referred to as " image information ") is transmitted to the server, it is possible to minimize the amount of data to be transmitted to the drowsiness operation detection server and to prevent drowsiness driving An alarm device and a method thereof.
또한, 본 발명은 카메라에 촬영된 영상을 기반으로 운전자의 졸음을 감지한 후 운전자에게 경보 서비스를 제공하는데 있어서, 차량에 설치된 단말기 또는 운전자의 휴대폰을 통해 기계음, 사전에 녹음된 육성 알람, 모니터링 요원의 실시간 육성 알람, 모니터링 요원과의 전화통화, 지인이나 가족들과의 전화통화, 또는 이들의 조합(이하 경보 알람 정보라고 함)을 포함한 방법을 이용하여 경보함으로써, 운전자의 졸음을 깨우는 효과를 높일 수 있는 졸음운전 경보 장치 및 그 방법을 제공하는데 그 목적이 있다. In addition, the present invention provides an alarm service to a driver after detecting the driver's sleepiness on the basis of an image photographed by a camera. The alarm sound may be transmitted through a terminal installed in a vehicle or a mobile phone of a driver, By using a method including a real-time upbringing alarm of a driver, a telephone conversation with a monitoring person, a telephone conversation with an acquaintance or a family member, or a combination thereof (hereinafter referred to as alarm alarm information) The present invention provides a drowsy driving alarm apparatus and method thereof.
본 발명의 일 실시예에 따른 졸음운전 경보 장치는, 운전자의 얼굴을 촬영하는 적어도 하나 이상의 적외선 카메라; 적어도 하나 이상의 적외선 조명장치; 및 상기 적외선 카메라와 조명장치를 개별적으로, 복합적으로 또는 이들의 조합을 통해서 자동 혹은 수동으로 조절할 수 있는 제어부;를 포함하며, 상기 운전자가 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경을 착용하고 있을 경우에도, 적외선 조명이 운전환경의 변화에 따라 상기 안경에 반사되지 않도록 실시간으로 조정하는 것이 가능한 것을 특징으로 한다.The drowsy driving alarm apparatus according to an embodiment of the present invention includes at least one infrared camera for photographing a face of a driver; At least one infrared illumination device; And a controller capable of automatically or manually adjusting the infrared camera and the illuminating device individually, in combination, or a combination thereof, wherein the driver wears glasses including sunglasses, goggles, contact lenses or a combination thereof The infrared light can be adjusted in real time so that it is not reflected by the glasses according to the change of the driving environment.
또한, 상기 졸음운전 경보 장치는, 차량의 스티어링 휠, 클러스터, 선바이저, 대쉬보드 또는 유리창을 포함한 차량 내의 특정 부분에서 고정식, 이동식 또는 착탈식으로 설치되며, 상기 카메라에서 촬영한 운전자의 영상 정보를 저장하는 내장형 메모리 또는 외장형 메모리를 포함하는 저장장치;를 더 포함하는 것을 특징으로 한다.The drowsy driving alarm device may be installed in a fixed, movable or detachable manner in a specific portion of the vehicle including a steering wheel, a cluster, a sun visor, a dashboard or a window of the vehicle, and stores image information of a driver photographed by the camera And a storage device including a built-in memory or an external memory.
또한, 상기 카메라는, 차량 내에서 움직이는 운전자의 얼굴 위치나 방향에 맞춰 자동으로 조정될 수 있도록 팬, 틸트 모터를 포함하며, 카메라 자동 조정 시 운전자의 눈 위치를 기준으로 카메라의 광축이 조정되는 것을 특징으로 한다.In addition, the camera includes a fan and a tilt motor so that the camera can be automatically adjusted in accordance with the position and direction of the driver's face moving in the vehicle, and the optical axis of the camera is adjusted based on the driver's eye position .
또한, 상기 조명장치는, 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경에 직접 조사되는 조명의 양을 최소화하기 위해 적외선 산란기;를 더 포함하고, 상기 카메라의 광축과 어긋나게 제어함으로써 조사되는 조명이 차체의 천정이나 유리 방향으로 먼저 조사 될 수 있도록 하여 운전자의 안경에 반사된 조명이 상기 카메라에 입력되는 것을 최소화하며, 차량 내부의 차체 구조 및 운전자의 얼굴 위치에 따라 자동으로 조명장치의 조사축이 조정될 수 있는 것을 특징으로 한다.The illuminating device may further comprise an infrared scattering unit for minimizing the amount of illumination directly irradiated on the glasses including sunglasses, goggles, contact lenses or a combination thereof, So that the illumination reflected on the glasses of the driver can be minimally input to the camera, and it is possible to automatically irradiate the illumination axis of the illumination device Can be adjusted.
또한, 상기 카메라와 상기 조명장치는, 각각 차량 내부의 차체 구조, 운전자의 얼굴 위치 또는 이들의 조합에 따라 팬, 틸트, 줌, 포커스, 회전 또는 이들의 조합을 통해서 광축 및 조사축의 조정이 가능하고, 카메라와 조명장치를 서로 분리된 공간에 설치할 수 있는 것을 특징으로 한다.Further, the camera and the illumination device can adjust the optical axis and the irradiation axis through a pan, tilt, zoom, focus, rotation, or a combination thereof according to the vehicle body structure in the vehicle, the face position of the driver, , And the camera and the lighting device can be installed in separate spaces.
또한, 본 발명의 또 다른 일 실시예에 따른 졸음운전 경보 방법은, 적어도 하나 이상의 적외선 카메라와 조명장치를 포함한 졸음운전 경보 장치를 통해서 운전자의 얼굴을 촬영하는 단계; 상기 적외선 카메라와 조명장치를 개별적으로, 복합적으로 또는 이들의 조합을 통해서 자동 혹은 수동으로 조절하는 단계; 및 상기 운전자가 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경을 착용하고 있을 경우에도, 적외선 조명이 운전환경의 변화에 따라 상기 안경에 반사되지 않도록 조정하는 단계;를 포함하는 것을 특징으로 한다.According to still another aspect of the present invention, there is provided a drowsy driving alarm method comprising: photographing a driver's face through a drowsy driving alarm device including at least one infrared camera and a lighting device; Automatically or manually adjusting the infrared camera and the lighting device individually, in combination, or a combination thereof; And adjusting the infrared light so that the infrared light is not reflected to the glasses according to the change of the driving environment even when the driver wears glasses including sunglasses, goggles, contact lenses or a combination thereof .
또한, 상기 졸음운전 경보 방법은, 상기 카메라에서 촬영한 운전자의 영상 정보를 내장형 메모리 또는 외장형 메모리를 포함하는 저장장치에 저장하는 단계;를 더 포함하는 것을 특징으로 한다.The drowsy driving alarm method further includes storing the image information of the driver photographed by the camera in a storage device including an embedded memory or an external memory.
또한, 상기 조정하는 단계는, 차량 내에서 움직이는 운전자의 얼굴 위치나 방향에 맞춰 자동으로 조정될 수 있도록 팬, 틸트 모터를 포함하는 카메라를 통해 수행되며, 카메라 자동 조정 시 운전자의 눈 위치를 기준으로 카메라의 광축이 조정되는 것을 특징으로 한다.The adjustment may be performed through a camera including a fan and a tilt motor so as to be automatically adjusted in accordance with the position and direction of the driver's face moving in the vehicle, The optical axis of which is adjusted.
또한, 상기 조정하는 단계는, 상기 조절하는 단계를 통해서 적외선 산란기를 이용하여 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경에 직접 조사되는 조명의 양을 최소화하도록 조정하는 것을 특징으로 한다.In addition, the adjusting step may be performed such that the amount of light directly irradiated to the glasses including the sunglasses, the goggles, the contact lens, or a combination thereof is adjusted using the infrared scattering device through the adjusting step.
또한, 상기 조정하는 단계는, 상기 조절하는 단계를 통해서 상기 카메라의 광축과 어긋나게 제어함으로써 조사되는 조명이 차체의 천정이나 유리 방향으로 먼저 조사 될 수 있도록 하여 운전자의 안경에 반사된 조명이 상기 카메라에 입력되는 것을 최소화하도록 조정하는 것을 특징으로 한다.In addition, in the adjusting step, the illumination to be irradiated may be irradiated in the ceiling or the glass direction of the vehicle body first by controlling the optical axis of the camera by being controlled to be shifted from the optical axis of the camera through the adjusting step, So as to minimize input.
또한, 상기 조정하는 단계는, 차량 내부의 차체 구조 및 운전자의 얼굴 위치에 따라 자동으로 조명장치의 조사축이 조정될 수 있는 것을 특징으로 한다.Further, the adjusting step is characterized in that the irradiation axis of the illumination device can be automatically adjusted according to the vehicle body structure inside the vehicle and the face position of the driver.
또한, 본 발명의 또 다른 일 실시예에 따른 졸음운전 감지 방법은, 카메라를 통해 운전자를 촬영하고, 촬영된 운전자의 영상 중 눈 영역에 대한 영상 데이터를 추출하는 단계; 상기 추출된 영상 데이터에서 운전자의 위쪽 눈꺼풀과 아래쪽 눈꺼풀 사이의 거리의 평균값을 추출하는 단계; 및 운전자의 최근 수초 내지 수분 동안의 눈꺼풀 사이의 거리값이 상기 평균값보다 일정 수치 이상 좁아지면 졸음으로 판단하는 단계;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of detecting drowsiness in a driver, comprising: capturing a driver through a camera and extracting image data of an eye region of the driver; Extracting an average value of a distance between an upper eyelid and a lower eyelid of the driver from the extracted image data; And determining that the user is drowsy if the driver's distance between the eyelids for a few seconds to several minutes is narrower than the average value by a predetermined value or more.
또한, 본 발명의 또 다른 일 실시예에 따른 졸음운전 감지 방법은, 카메라를 통해 운전자를 촬영하고, 촬영된 운전자의 영상 중 눈 영역에 대한 영상 데이터를 추출하는 단계; 상기 추출된 영상 데이터에서 눈 영역의 영상 데이터 프로파일을 만드는 단계; 상기 프로파일의 탈경향 변동 분석을 수행하는 단계; 및 상기 탈경향 변동 분석의 결과를 토대로 졸음여부를 판단하는 단계;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of detecting drowsiness in a driver, comprising: capturing a driver through a camera and extracting image data of an eye region of the driver; Creating an image data profile of the eye region from the extracted image data; Performing an analysis of the tendency variation of the profile; And determining whether or not the user is drowsy based on the result of the analysis of the tendency of the tendency to change.
또한, 상기 프로파일은 눈 영역 영상 데이터의 픽셀 정보를 이용하여 눈 영역 영상의 가로방향 휘도값의 변화 그래프와 눈 영역 영상의 세로방향 휘도값의 변화 그래프를 이용하는 것을 특징으로 한다.The profile is characterized by using a graph of a change in a brightness value in the horizontal direction of the eye region image and a graph of a brightness value in the vertical direction of the eye region image using pixel information of the eye region image data.
또한, 상기 탈경향 변동 분석은 운전자마다 정의된 각 기준값을 토대로 운전자가 운전 중에 생성된 프로파일이 졸음상태와 깨어있는 상태 중 어느쪽에 더 가까운지 분석하는 것을 특징으로 한다.Further, the analysis of the tendency change analysis is characterized by analyzing whether the profile generated during driving by the driver is closer to the sleeping state or awake state based on each reference value defined for each driver.
또한, 상기 프로파일은 졸음을 감지하기 위한 영상정보, 사용자의 눈 영상에 대한 정보, 또는 이들의 조합에 대한 정보를 요약한 것을 특징으로 한다.In addition, the profile is characterized by summarizing image information for detecting drowsiness, information on a user's eye image, or information on a combination thereof.
또한, 본 발명의 또 다른 일 실시예에 따른 졸음운전 경보 시스템은, 졸음운전 경보 장치; 상기 졸음운전 경보 장치에서 전송된 영상 정보를 세밀하게 분석하는 졸음운전 감지 서버; 및 상기 졸음운전 경보 장치와 졸음운전 감지 서버를 상호 연결하여 주는 유무선 통신 네트워크;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a drowsy driving alarm system including: a drowsy driving alarm device; A drowsiness operation detection server for finely analyzing image information transmitted from the drowsy operation alarm device; And a wired / wireless communication network for interconnecting the drowsy driving alarm device and the drowsy driving detection server.
또한, 상기 졸음운전 경보 장치는, 유무선 통신 입출력이 가능한 통신 인터페이스를 포함하는 통신부;를 더 포함하며, 카메라에서 촬영된 운전자의 눈 영역에 대한 영상을 이진 영상, 그레이 영상, 또는 이들에 대한 압축영상, 또는 졸음운전 판단 결과값 중 적어도 어느 하나를 생성하여 상기 통신부를 통해 운전자의 졸음여부를 판단하는 졸음운전 감지 서버로 전송하는 것을 특징으로 한다.The drowsy operation alarm device further includes a communication unit including a communication interface capable of input and output of wired and wireless communication. The drowsy driving alarm apparatus may further include a communication unit configured to transmit the image of the driver's eye region photographed by the camera to a binary image, a gray image, , Or a result of the drowsy driving determination, and transmits the drowsy driving detection server to the drowsy driving detection server that determines whether the driver is drowsy through the communication unit.
또한, 상기 졸음운전 경보 장치의 적어도 하나 이상의 카메라를 통해 촬영한 운전자의 영상 정보를 저장하는 내장형 메모리, 외장형 메모리, 클라우드 컴퓨팅 네트워크의 가상화된 저장장치 또는 이들의 조합을 포함하는 저장장치;를 더 포함하는 것을 특징으로 한다.And a storage device including an embedded memory, an external memory, a virtualized storage device of a cloud computing network, or a combination thereof for storing image information of a driver photographed through at least one camera of the drowsy driving alarm device .
또한, 상기 졸음운전 감지 서버에서 졸음운전으로 판단되는 경우, 별도의 경보 메시지 출력부 또는 운전자의 휴대단말을 통해 기계음, 사전에 녹음된 육성 알람, 모니터링 요원의 실시간 육성 알람 또는 이들의 조합을 포함하는 경보 알람 정보를 출력하는 것을 특징으로 한다.In addition, when it is determined that the drowsy driving detection server is in the drowsy driving mode, the alarm signal may be output through a separate alarm message output unit or the portable terminal of the driver, including a machine sound, And outputs alarm alarm information.
또한, 본 발명의 또 다른 일 실시예에 따른 서버 기반 졸음운전 경보 방법은, 카메라를 통해 운전자를 촬영하고, 촬영된 운전자의 영상 중 눈 영역에 대한 영상 데이터만을 추출하는 단계; 추출한 눈 영역 영상 데이터에 대한 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여 통신망을 통해 졸음운전 감지 서버로 실시간 전송하는 단계; 상기 졸음운전 감지 서버는 수신한 운전자의 눈 영역에 대한 영상 데이터를 기반으로 운전자의 졸음여부에 대해 실시간으로 판단하는 단계; 및 상기 졸음운전 감지 서버에서 졸음으로 판단되면 자동으로 차량에 설치된 졸음운전 경보 장치의 경보가 울리도록 신호를 전송하는 단계;를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a server-based drowsy driving alarm method comprising: capturing a driver through a camera and extracting only image data of an eye area of the driver; Generating a binary image, a gray image, or a compressed image for the extracted eye region image data, and transmitting the generated compressed image to a drowsiness operation detection server through a communication network in real time; Wherein the drowsiness operation detection server determines in real time whether the driver is drowsy based on image data of the eye region of the received driver; And transmitting a signal to automatically alert the drowsy driving alarm device installed in the vehicle when it is determined that the drowsy driving detection server is drowsy.
또한, 상기 서버 기반 졸음운전 경보 방법은, 카메라에 입력되는 조명의 반사광량이 최소화 되도록 차량 내부의 차체 구조 및 운전자의 얼굴 위치에 따라 조명장치의 조사축과 카메라의 광축이 자동으로 설정되는 단계;를 더 포함하는 것을 특징으로 한다.According to the server-based drowsy driving alarm method, the irradiation axis of the illumination device and the optical axis of the camera are automatically set according to the vehicle body structure inside the vehicle and the face position of the driver so that the amount of reflected light of the illumination inputted to the camera is minimized. And further comprising:
또한, 상기 서버 기반 졸음운전 경보 방법은, 졸음운전 감지 서버에서 수신한 운전자의 눈 영역에 대한 영상 데이터를 기반으로 모니터링 센터의 모니터링 요원이 육안으로 운전자의 졸음여부를 판단하는 단계;를 더 포함하는 것을 특징으로 한다. The server-based drowsy driving alarm method may further include a step of the monitoring agent of the monitoring center judging whether the driver is drowsy by visual observation based on the image data of the eye area of the driver received by the drowsy driving detection server .
또한, 상기 서버 기반 졸음운전 경보 방법은, 모니터링 요원에 의해 졸음으로 판단되면 졸음운전 감지 서버를 통해 차량에 설치된 졸음운전 경보 장치의 경보가 울리도록 신호를 전송하거나 직접 상기 졸음운전 경보 장치로 육성 경보를 전송하거나 운전자의 휴대전화를 통해 경보를 전달하는 단계;를 더 포함하는 것을 특징으로 한다.In the server-based drowsy driving alarm method, when it is determined that the driver is drowsy by a monitoring agent, a signal is sent to the drowsiness driving alarm device installed in the vehicle through the drowsiness driving alarm server, And transmitting an alarm through the mobile phone of the driver.
또한, 상기 서버 기반 졸음운전 경보 방법은, 차량이 터널이나 지하차도에서와 같이 통신상태가 좋지 않아 졸음운전 감지 서버로 영상을 전송하지 못하는 경우를 대비하여, 차량에 장착된 졸음운전 경보 장치 자체에서 운전자의 졸음여부에 대해 판단하는 단계;를 더 포함하는 것을 특징으로 한다.In addition, the server-based drowsy driving alarm method may be applied to the drowsiness driving alarm apparatus itself installed in the vehicle in order to prevent a case in which the vehicle can not transmit the image to the drowsiness driving detection server because the communication state is poor, And determining whether or not the driver is drowsy.
본 발명은 졸음운전 경보 장치 및 그 방법에 관한 것으로, 조명의 적외선 발광부 앞에 적외선 산란기를 설치하고, 조명의 조사축(조사각)을 카메라의 광축과 다르게 설정할 수 있도록 함으로써, 운전자의 안경 등에 반사된 조명의 광이 카메라에 촬영되어 운전자의 졸음여부 판단에 대한 정확도가 낮아지는 것을 방지할 수 있고, 카메라에서 촬영된 영상을 졸음운전 감지 서버로 전송하여 서버에서 운전자의 졸음여부를 판단하도록 함으로써, 종래에 차량 내에 설치된 단말기에서 운전자의 졸음여부를 판단하는 것에 비해 졸음여부 판단의 정확도를 높일 수 있고, 졸음여부를 판단하는데 있어서 서버의 소프트웨어에 의한 졸음운전 자동 판단과 서버의 모니터링 요원의 육안에 의한 수동 판단을 함께 실시함으로써 더욱 정확하게 졸음을 감지할 수 있으며, 또한 상기 카메라로 영상을 촬영하여 졸음운전 감지 서버로 전송하는데 있어서, 카메라에 촬영된 영상에서 운전자의 눈 영역에 대한 데이터만을 추출하고 이를 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여 서버로 전송하는 방법을 사용함으로써, 졸음운전 감지 서버로 전송하는 데이터양을 최소화할 수 있고 더불어 개인정보 노출을 최대한 방지할 수 있는 효과가 있다.The present invention relates to a drowsy operation alarm apparatus and a method thereof, in which an infrared scattering unit is provided in front of an infrared light emitting unit of an illumination unit, and an irradiation axis (illumination angle) of illumination is set differently from an optical axis of the camera, It is possible to prevent the driver from feeling the drowsy state of the driver by sending the image photographed by the camera to the drowsiness operation detection server, It is possible to increase the accuracy of the drowsiness judgment in comparison with determining whether or not the driver is drowsy in a terminal installed in the vehicle in the past and to determine whether drowsiness occurs by automatically determining the drowsiness by the software of the server and by visually observing the server By performing manual judgment together, you can detect drowsiness more accurately In addition, in the case of photographing an image with the camera and transmitting the image to the drowsiness operation detection server, only the data on the eye area of the driver is extracted from the image taken by the camera, and a binary image, a gray image, By using the method of transmitting to the server, the amount of data to be transmitted to the drowsy driving detection server can be minimized and also the exposure of personal information can be prevented as much as possible.
도 1은 본 발명의 일 실시예에 따른 졸음운전 경보 장치 및 그 방법의 개략적인 개념에 대해 설명하기 위한 예시도.
도 2는 본 발명의 일 실시예에 따른 졸음운전 경보 장치의 구조에 대해 설명하기 위한 예시도.
도 3은 본 발명의 일 실시예에 따른 졸음운전 경보 장치의 조명장치와 카메라의 회전축에 대해 설명하기 위한 예시도.
도 4는 본 발명의 일 실시예에 따른 졸음운전 경보 장치의 조명장치와 카메라 방향의 설정에 대해 설명하기 위한 예시도.
도 5는 본 발명의 일 실시예에 따른 졸음운전 경보 장치의 눈 영역 영상의 프로파일 생성에 대한 개략적인 개념에 대해 설명하기 위한 예시도.
도 6은 본 발명의 일 실시예에 따른 졸음운전 경보 방법에 대해 설명하기 위한 흐름도.1 is an exemplary diagram for explaining a schematic concept of a drowsy driving alarm apparatus and a method thereof according to an embodiment of the present invention;
BACKGROUND OF THE
3 is an exemplary view for explaining a rotation axis of a lighting device and a camera of a drowsy driving alarm device according to an embodiment of the present invention;
FIG. 4 is an exemplary view for explaining setting of a lighting device and a camera direction of a drowsy driving alarm device according to an embodiment of the present invention; FIG.
FIG. 5 is an exemplary diagram for explaining a schematic concept of profile generation of an eye region image of a drowsy driving alarm apparatus according to an embodiment of the present invention; FIG.
6 is a flowchart for explaining a drowsy driving alarm method according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명에 따른 졸음운전 경보 장치 및 그 방법의 일 실시예를 설명하고자 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the embodiments of the present invention, examples of which are illustrated in the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 졸음운전 경보 장치 및 그 방법의 개략적인 개념에 대해 설명하기 위한 예시도이다.FIG. 1 is an exemplary diagram for explaining a schematic concept of a drowsiness driving alarm apparatus and a method thereof according to an embodiment of the present invention.
도 1에 도시되어 있는 바와 같이, 본 발명의 졸음운전 경보 장치는 차량에 설치된 졸음운전 경보 장치(100)의 카메라를 통해 운전자의 영상을 촬영하고 이를 졸음운전 감지 서버(200)로 전송하여 졸음운전 감지 서버(200) 및 모니터링 센터(300)에서 운전자의 졸음여부를 판단한 후, 졸음으로 판단될 경우 상기 졸음운전 감지 서버(200)에서 해당 차량에 설치된 졸음운전 경보 장치로 신호를 전송하여 경보를 울리거나 상기 모니터링 센터(300)에서 직접 운전자에게 육성으로 경보를 전송하는 것이다.1, the drowsy driving alarm apparatus of the present invention photographs an image of a driver through a camera of a drowsiness driving
더욱 상세하게는, 차량에 설치된 졸음운전 경보 장치(100)는 차량 운행 중에 실시간으로 운전자의 영상을 카메라를 통해 촬영하고, 촬영된 영상 중 운전자의 눈 영역에 대한 영상 데이터만을 추출한다. 이렇게 추출한 운전자의 눈 영역 영상 데이터에 대한 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여 졸음운전 감지 서버(200)로 전송한 후, 졸음운전 감지 서버(200)에서 운전자의 졸음여부를 판단하도록 한다. 이같이 촬영된 전체 영상 중 운전자의 눈 영역만을 추출하고 이에 대한 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여(영상정보라고 함) 졸음운전 감지 서버(200)로 전송하는 방법을 사용하는 것은, 통신망을 통해 서버로 전송하는 데이터의 크기를 줄임으로써, 차량 내의 운전자의 현재모습과 졸음운전 감지 서버(20)로 전송되는 운전자의 영상의 시간 차이를 최소화하기 위해서이다. 이때 그레이 영상은 이진 영상에 비해 정보가 많기 때문에 그레이 영상을 전송할 경우 서버에서 졸음여부를 자동으로 판단하거나 모니터링 요원이 육안으로 판단하는데 있어 정확도를 높일 수 있으며, 통신망의 전송 대역폭이 넓지 않거나 통신망 사용 비용이 높을 경우 전송 데이터 량을 줄이기 위해, 이진 영상을 전송하는 방법을 사용할 수 있다. 그레이 영상을 전송할 것인지 이진 영상을 사용할 것인지에 대한 선택은 통신망의 대역폭 및 통신망 이용료를 감안하여 운전자 또는 서버 운영자가 선택적으로 설정하도록 한다. 또한 상기 그레이 영상과 이진 영상은 압축률이 높은 간단한 압축 알고리즘(허프만 코딩, run-length 코딩 또는 이들의 조합을 포함)을 사용하여 압축 후 전송하는 것도 가능하다. 참고로, 상기 졸음운전 경보 장치가 운전자의 영상을 촬영하는 것에 대한 자세한 설명은 아래 도 2 내지 도 6을 설명하면서 더욱 상세하게 다루도록 한다.More specifically, the drowsy
한편, 상기와 같이 차량에 설치된 단말기가 아닌 서버 시스템을 사용하여 운전자의 졸음여부를 판단하도록 하는 것은 졸음운전의 정확도를 높이기 위해서이다. 일반적으로 차량에 설치하는 졸음운전 장치는 공간적, 비용적 한계로 인해 하드웨어의 성능에 제한이 있을 수밖에 없다. 즉, 서버의 하드웨어 성능은 차량에 설치되는 단말기의 하드웨어 성능보다 월등히 높기 때문에 서버에서 운전자의 졸음여부를 판단하는 것은 단말기에서 운전자의 졸음여부를 판단하는 것에 비해 졸음여부 판단의 정확도와 그 판단 속도를 비약적으로 높일 수 있다.On the other hand, to determine the driver's drowsiness using a server system other than the terminal installed in the vehicle as described above is to increase the accuracy of the drowsiness operation. Generally, the drowsiness operation device installed in a vehicle is limited in terms of hardware performance due to its spatial and cost limitations. That is, since the hardware performance of the server is much higher than the hardware performance of the terminal installed in the vehicle, the determination of the driver's drowsiness in the server determines the drowsiness judgment accuracy and the determination speed Can be dramatically increased.
한편, 운전자가 소지하고 있는 휴대용 단말(휴대폰, 스마트폰, 테블릿 PC, PDA 등)을 이용하여, 상기 졸음운전 단말에서 촬영된 영상 정보를 상기 휴대용 단말로 전송하여 휴대용 단말이 다시 서버에게 상기 영상정보를 전송하여 졸음운전 감지를 수행하고, 그 결과를 상기 휴대용 단말에 전송하여 경보신호를 출력하도록 하거나, 아니면 상기 휴대용 단말을 경유하여 상기 졸음운전 단말에 전송한 후 졸음운전 단말에서 경보신호를 출력하는 것도 가능하다. 여기서 상기 휴대용 단말은 상기 서버의 역할을 대신할 수도 있으며, 이 경우 휴대용 단말은 네트워크상의 서버나 클라우드 서버 혹은 가상화된 데이터베이스 시스템으로 졸음운전 정보를 전송하여 데이터베이스화 하는 것이 가능하다.On the other hand, by using the portable terminal (mobile phone, smart phone, tablet PC, PDA or the like) possessed by the driver, the image information photographed by the drowsy driving terminal is transmitted to the portable terminal, Information is transmitted to perform the drowsy operation detection, and the result is transmitted to the portable terminal to output an alarm signal, or after transmitting the result to the drowsiness driving terminal via the portable terminal, an alarm signal is output from the drowsiness driving terminal It is also possible to do. In this case, the portable terminal can transmit drowsiness driving information to a server, a cloud server, or a virtualized database system on the network, thereby making it database.
상기와 같이, 졸음운전 경보 장치(100)로부터 운전자의 영상을 전송받은 졸음운전 감지 서버(200)는 전송받은 운전자의 눈 영역에 대한 영상을 기반으로 운전자의 졸음여부를 자동으로 판단하게 된다. 상기 운전자의 졸음여부에 대한 판단법은 운전자의 위쪽 눈꺼풀과 아래쪽 눈꺼풀 사이의 거리를 기반으로 하는 것으로 평상시 운전자의 눈꺼풀 사이 거리의 평균값을 추출하고, 이를 기준으로 운전자의 최근 수초 내지 수분 동안의 눈꺼풀 사이의 거리값이 상기 평균값보다 일정 수치 이상 좁아지면 졸음으로 판단하는 것을 포함한 방법을 사용할 수 있다. 아울러 또 다른 방법으로는 졸음여부를 구분하는 기준이 되는 기준값을 만들고, 프로파일의 탈경향 변동 분석(DFA: Detrended Fluctuation Analysis)을 통해 상기 기준값과 비교하여 졸음여부를 판단하는 방법을 사용한다. 이에 대한 자세한 설명은 아래 도 5를 참조하여 더욱 상세하게 설명하도록 한다.As described above, the drowsy driving detection server 200 that receives the driver's image from the drowsy
또한, 상기 졸음운전 감지 서버(200)는 졸음운전 경보 장치(100)로부터 운전자의 영상 데이터를 전송받아 운전자의 졸음여부를 판단하는 동시에 상기 운전자의 영상 데이터를 모니터링 센터(300)에 전송한다. 이때, 상기 졸음운전 감지 서버(200)에서 모니터링 센터(300)로 운전자의 영상 데이터를 전송한다는 것은 졸음운전 경보 장치(100)에서 전송한 운전자의 영상 데이터를 졸음운전 감지 서버(200)에서 수신할 때, 모니터링 센터(300)에서도 상기 졸음운전 감지 서버(200)와 시간차이 없이 상기 운전자의 영상 데이터를 수신할 수 있다는 표현으로서, 상기한 글자 그대로 졸음운전 감지 서버(200)에서 모니터링 센터(300)로 운전자의 영상 데이터를 전송할 수도 있고, 모니터링 센터(300)에서 상기 졸음운전 감지 서버(200)에 접속하여 실시간으로 운전자의 영상을 확인할 수 있는 사용자 인터페이스를 통해 운전자의 영상을 공유 받을 수도 있으며 졸음운전 감지 서버(200)가 모니터링 센터(300)내에 설치되어 운영될 수도 있고, 졸음운전 감지 서버(200)에 화면출력장치가 부착된 형태로 모니터링 센터(300)의 역할을 할 수 있다. 또한, 상기한 방법 외의 서버를 통해 실시간으로 정보를 공유 받을 수 있는 모든 방법을 포함할 수 있으며, 상기 서버도 휴대용 단말에서부터, 독립적인 서버, 네트워크상의 클라우드 서버까지 자체적인 컴퓨팅 파워를 보유한 장치라면 본 발명의 졸음운전 감지 서버의 기능이 설치될 수 있다. 참고로 서버 관리자 또는 모니터링 센터에서 일하는 담당자는 상기 사용자 인터페이스를 통해 졸음운전 감지 서버(200)의 졸음운전 알고리즘, 졸음 판단 결과 및 각종 설정을 포함한 작업을 수행할 수 있다. The drowsy driving detection server 200 receives the driver's image data from the drowsy
이와 같이, 모니터링 센터(300)에서 수신한 주행 중인 차량 내 운전자의 영상 데이터는 상기 모니터링 센터의 모니터링 요원에 의해 육안으로 관찰된다. 이때, 상기한 바와 같이 졸음운전 감지 서버(200) 및 모니터링 센터(300)가 수신한 운전자의 영상 데이터는 운전자의 영상 중 운전자의 눈 영역만을 포함하고 있어 운전자의 개인정보가 유출되는 것을 방지할 수 있다.As described above, the image data of the in-vehicle driver in the running car received by the monitoring center 300 is visually observed by the monitoring personnel of the monitoring center. At this time, as described above, the image data of the driver received by the drowsiness driving detection server 200 and the monitoring center 300 includes only the eye area of the driver among the images of the driver so that leakage of personal information of the driver can be prevented have.
이렇게 모니터링 센터(300)의 모니터링 요원이 실시간 및 육안으로 운전자의 졸음여부를 판단함으로써, 정해진 프로그램에 의해 운전자의 졸음여부를 판단함으로써 발생하는 졸음운전 감지 서버(200)의 졸음여부 판단 오류 등과 같은 문제를 보완할 수 있고, 졸음운전 감지 서버(200)보다 빠르게 운전자의 졸음을 판단하여 운전자에게 경보할 수도 있다.In this way, the monitoring staff of the monitoring center 300 determines whether or not the driver is drowsy in real time and visually, thereby determining the drowsiness of the drowsy driving detection server 200 And may alert the driver to the driver's sleepiness faster than the drowsy driving detection server 200.
상기 모니터링 센터(300)에서 모니터링 요원에 의해 운전자가 졸고 있다고 판단되면, 상기 모니터링 센터(300)에서는 상기 졸음운전 감지 서버(200)를 통해 해당 차량에 설치된 졸음운전 경보 장치(100)의 경보를 수동으로 작동시킬 수 있고, 또는 상기 졸음운전 감지 서버(200)를 통하지 않고 직접 상기 졸음운전 경보 장치(100)나 운전자의 휴대폰 등을 포함한 통신장치가 설치된 차량 내 기기를 통해 육성으로 경보를 할 수도 있다.If the monitoring center 300 determines that the driver is sleepy by the monitoring personnel, the monitoring center 300 may manually inform the drowsy
서버에서 졸음을 감지하는 경우 감시센터에서 운전자에게 전화를 걸어(핸즈프리) 운전자와 통화를 시도한다. 이 경우에 운전자는 서버에서 걸려온 전화를 통해서 음악이나 취미, 유머와 같은 다양한 정보의 교환이나 상호 대화를 통해서 졸음으로부터 벗어날 수 있다. 기술적으로는 사용자의 얼굴 영상을 서버로 간헐적으로 송신하고, 서버에서는 이 영상을 분석하여 졸음운전이라고 여겨지는 경우(감시센터에서 졸음 여부를 정밀 알고리즘을 통해서 검출하고, 부가적으로 감시센터의 직원은 이를 바탕으로 졸음운전인 경우 운전자와 전화통화를 하거나, 아니면 미리 등록된 사용자의 휴대폰을 통해서 서버에서 자동으로 통화를 시도하여 사용자와 정해진 순서에 따라 기계음으로 ARS 같은 것을 통해서 통화하도록 하거나, 아니면 등록된 가족이나 지인과 통화를 연결하여 상호 통화를 할 수 있도록 지원한다. 즉, 졸음운전이라고 판단되면 경보 알람 정보를 이용하여 운전자에게 통보된다.If the server detects drowsiness, the monitoring center calls the driver (hands-free) and attempts to talk to the driver. In this case, the driver can escape from drowsiness by exchanging various information such as music, hobbies, humor, or mutual conversation through the call from the server. Technically, if a face image of a user is intermittently transmitted to a server, and the server interprets the image to be a drowsy operation (detection of drowsiness in a monitoring center through a precise algorithm, and additionally, Based on this, it is possible to make a telephone conversation with the driver in the case of drowsy driving, or to automatically make a call from the server through the mobile phone of the user registered in advance, to make a call to the user through the ARS in a predetermined order, The driver can be informed of the drowsy driving by using the alarm alarm information.
상기와 같이, 본 발명의 졸음운전 경보 장치(100)는 졸음운전 감지 서버(200)를 기반으로 운전자의 졸음여부 판단 및 경보를 수행하고, 운전자의 졸음여부에 대해 소프트웨어적인 판단과 사람의 육안에 의한 판단을 동시에 수행함으로써, 더욱 정확하고 빠르게 운전자의 졸음을 판단하여 효과적으로 경보할 수 있는 것이다. As described above, the drowsy
도 2는 본 발명의 일 실시예에 따른 서버 기반 졸음운전 경보 장치의 구조에 대해 설명하기 위한 예시도이다.FIG. 2 is a diagram for explaining a structure of a server-based drowsy driving alarm apparatus according to an embodiment of the present invention.
도 2에 도시되어 있는 바와 같이, 본 발명의 서버 기반 졸음운전 경보 장치(100)는 차량의 스티어링 휠, 클러스터, 선바이저, 대쉬보드 또는 유리창을 포함한 차량 내의 특정 부분에서 고정식, 이동식 또는 착탈식으로 설치되며, 카메라(110), 조명장치(120), 저장부(130), 제어부(140), 통신부(150), 경보 메시지 출력부(160)를 포함하여 구성되어 있다.2, the server-based drowsy driving
상기 카메라(110)와 조명장치(120)는 운전자의 영상을 촬영하기 위한 것으로, 기본적으로 조명장치(120)에서 적외선을 운전자에게 조사하고, 이를 카메라(110)에서 촬영하는 방법을 사용한다. 참고로 이렇게 카메라(110)에 촬영된 영상 중 얼굴부분의 밝기 차이를 기반으로 운전자의 눈 영역을 추출할 수 있다. The
상기 카메라는(110)는 운전자의 졸음여부 판단을 위해 운전자의 영상을 촬영하는 적외선 카메라로서, 아날로그, 디지털 카메라 또는 이들의 조합을 포함한다. 상기 카메라(110)는 주로 디지털 카메라로 구성될 것이며, 상기 디지털 카메라는 임의의 전하 결합 소자(예: CCD 또는 CMOS)를 사용한 센서에서 이미지를 전기 신호로 변환한 후 디지털 데이터 형식으로 출력한다. 아울러 상기 카메라는(110) 운전자의 얼굴위치나 방향에 따라 카메라의 방향을 돌리거나 확대해서 더욱 선명하게 촬영하도록 제어할 수 있도록, 줌/포커스/팬/틸트 등의 제어 기능이 있을 수도 있다.The
즉, 상기 카메라와 상기 조명장치는, 각각 차량 내부의 차체 구조, 운전자의 얼굴 위치 또는 이들의 조합에 따라 팬, 틸트, 줌, 포커스, 회전 또는 이들의 조합을 통해서 광축 및 조사축의 조정이 가능하고, 카메라와 조명장치를 서로 분리된 공간에 설치할 수도 있다.That is, the camera and the lighting apparatus can adjust the optical axis and the irradiation axis through a combination of a pan, tilt, zoom, focus, rotation, or a combination thereof according to the vehicle body structure in the vehicle, the face position of the driver, , The camera and the lighting device may be provided in separate spaces.
상기 조명장치(120)는 상기 카메라(110)에서 효과적으로 운전자의 영상을 촬영할 수 있도록 운전자에게 적외선을 조사하는 장치이다. 만약 조명장치의 조사축과 카메라의 광축이 동일하다면 운전자의 안경 등에 조명이 반사되어 카메라에 촬영되고, 이로 인해 졸음여부 판단에 오류가 생기게 된다. 일부 적외선 영상 촬영 장치에서는 조명장치를 카메라로부터 일정 거리 떨어진 위치에 설치하는 방법을 사용하는 경우도 있으나 이 경우 역시 주변의 반사체를 이용하는 것이 아니라 조명을 피사체에 직접 조사하기 때문에 카메라로 입력되는 반사광을 크게 줄이지 못하는 문제가 있으며, 조명장치와 카메라 사이에 거리를 두어야 하기 때문에 전체 장치의 크기가 불필요하게 커지는 문제가 있다. 본 발명의 조명장치(120)는 조명장치에서 조사하는 방향을 카메라의 광축과 다르게 설정할 수 있도록 설계되어 있기 때문에 운전자의 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경이나 기타 물품들에 의해 반사되는 조명이 카메라에 촬영되는 것을 방지할 수 있다. 즉, 상기 조명장치(120)는 운전자의 얼굴에 직접 조명을 조사하지 않고, 천장이나 옆유리 등과 같은 운전석 근처의 차체내부에 조명을 조사하여 이에 반사된 조명이 운전자의 얼굴에 간접적으로 조사되도록 하는 방법을 사용한다. 또한, 상기 조명장치(120)는 적외선 산란기(122)를 포함하고 있다. 상기 적외선 산란기(122)는 상기 조명장치(120)의 발광부 앞에 설치하여 조명장치에서 조사되는 적외선을 산란시켜 운전자의 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경에 직접 조사되는 조명의 양을 최소화할 수 있다.The
상기 저장부(130)는 상기 카메라(110)에서 촬영한 운전자의 영상 데이터를 저장하는 로컬 저장부로서, 통상적으로 내장형 메모리 또는 외장형 메모리를 의미하지만, 본 발명에서는 카메라(110)에서 촬영한 영상 데이터의 백업을 위하여 네트워크에 있는 클라우드 컴퓨팅 네트워크의 가상화된 저장장치(간략하게 클라우드 저장장치라고 부름)를 더 포함할 수 있다. 예컨대 상기 클라우드 저장장치는 차량이나 졸음운전 경보 장치(100)의 사업자가 제공하는 전용 클라우드 저장장치, 또는 사용자 개인이 구매한 유료 클라우드 저장장치, 또는 포털 사이트(예 : 네이버, 다음 등)에서 제공하는 무료 클라우드 저장장치(또는 네트워크 HDD)를 더 포함할 수 있다.The
상기 제어부(140)는 상기 카메라와 조명장치를 개별적으로, 복합적으로 또는 이들의 조합을 통해서 자동 혹은 수동으로 조절하는 일을 수행한다. 또한, 상기 제어부(140)는 상기 카메라(110)에서 촬영한 영상 데이터를 상기 저장부(130)에 저장하고, 실시간으로 상기 카메라(110)에서 촬영한 영상 중 운전자의 눈 영역에 대한 영상 데이터만을 추출하여 이를 통신부(150)를 통해 졸음운전 감지 서버(200)로 전송하는 일을 수행한다. 또한, 통신부(150)를 통해 상기 졸음운전 감지 서버(200) 및 모니터링 센터(300)로부터 전송받은 명령신호에 따라 경보 메시지 출력부(160)를 통해 경보를 출력하는 일을 수행한다. 상기와 같이 제어부(140)는 카메라에서 촬영한 영상 중 운전자의 눈 영역만을 졸음운전 감지 서버(200)로 전송하는 방법을 사용함으로써, 전송하는 영상 데이터의 크기를 대폭 줄여 영상 전송 효율을 높일 수 있다. 또한 상기 제어부(140)는 운전자의 눈 영역 영상 데이터에 대한 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여 졸음운전 감지 서버(200)로 전송함으로써 더욱 전송 데이터양을 줄일 수도 있다. 이렇게 졸음운전 감지 서버(200)로 전송하는 데이터의 크기를 대폭 줄임으로써 통신비용을 절감할 수 있고, 운전자의 현재 모습과 졸음운전 감지 서버(200)에서 수신하는 운전자의 현재 영상의 시간차를 최소화할 수 있게 된다.The
더불어 본 발명의 졸음운전 경보 장치(100)는 상기 졸음운전 감지 서버(200)를 기반으로 졸음운전를 수행하지만, 차량이 터널이나 지하차도에서와 같이 통신상태가 좋지 않아 졸음운전 감지 서버(200)로 영상 전송이 원활하게 되지 않는 경우를 대비하여 상기 제어부(140)에서도 졸음운전를 판단할 수 있도록 되어 있다. 이와 같이 자체적으로 졸음운전를 판단하는 기능은 통신상태가 좋지 못할 때에만 작동하게 할 수도 있고, 항시 작동하나 졸음운전 감지 서버의 명령신호를 우선하도록 설정하는 것도 가능할 것이다. 이는 운전자 또는 서버 관리자에 의한 모드 선택을 통해서 선택적으로 실현 가능하다. 또한, 서버로 전송하는 데이터의 량의 최소화하기 위해 제어부(140)에서 졸음운전을 판단하고 그 결과값만을 서버로 전송할 수 있다. 이 경우 서버에서는 영상을 기반으로 한 졸음운전 판단은 수행하지 않으며 졸음운전 판단에 대한 결과값이 수신되면 경보 알람 정보를 이용하여 운전자에게 통보하는 기능만을 수행하게 된다.In addition, the drowsy
상기 통신부(150)는 졸음운전 감지 서버(200)로 운전자의 영상을 전송하거나 졸음운전 감지 서버(200)로부터 경보 신호를 수신하거나 모니터링 센터(300)로부터 육성 경보 메시지를 수신하는 것으로서, 그 통신 방식은 무선 방식을 이용한다. 상기 무선 방식은 근거리 무선 방식이나 원거리 무선 방식 및 그들의 조합을 포함한다. 예컨대 상기 근거리 무선 방식은 적어도 블루투스, NFC, 또는 적외선 통신 방식을 포함하고, 상기 원거리 무선 방식은 3G, 4G, LTE, 또는 와이브로(Wibro)와 같은 이동 통신 방식이나 WiFi와 같은 무선 인터넷 통신 방식을 포함한다. 물론 빅데이터의 전송이 가능한 다른 무선 통신을 추가로 적용하는 것도 가능하다.The
또한 상기 경보 메시지 출력부(160)는 운전자가 졸음에서 깰 수 있도록 경보 메시지를 출력하는 것으로서, 경보음을 출력하거나 이미 녹음되어 있는 음성 메시지를 출력할 수도 있고, 상기 모니터링 센터(300)에서 전송하는 육성 경보 메시지를 출력할 수도 있다. The alarm
도 3은 본 발명의 일 실시예에 따른 서버 기반 졸음운전 경보 장치의 조명장치와 카메라의 회전축에 대해 설명하기 위한 예시도이다.FIG. 3 is an exemplary view for explaining a rotation axis of a lighting device and a camera of a server-based drowsy driving alarm device according to an embodiment of the present invention.
도 3에 도시되어 있는 바와 같이, 본 발명의 서버 기반 졸음운전 경보 장치(100)는 운전자의 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경에 반사되는 조명 반사광이 카메라에 촬영되거나, 운전자의 얼굴 영상이 적외선 조명에 포화되어 졸음여부 판단의 정확도가 떨어지게 되는 것을 방지하기 위하여, 조명장치(120)의 방향을 카메라(110)의 방향과는 별도로 설정할 수 있는 구조로 되어 있으며, 카메라와 조명장치를 서로 분리된 공간에 설치할 수도 있다. 또한, 카메라(110)의 광축은 차량 내에서 움직이는 운전자의 얼굴 위치나 방향에 맞춰 수동 혹은 자동으로 조정될 수 있도록 되어 있다. 이때, 카메라 자동 조정의 경우에는 운전자의 눈 위치를 기준으로 하여 조정되도록 하는 것이 바람직할 것이다. As shown in FIG. 3, the server-based drowsy driving
즉, 상기 카메라(110)의 카메라 회전축(111)과 상기 조명장치(120)의 조명장치 회전축(121)은 서로 별개로 되어 있는 구조인 것이다.That is, the
상기 카메라(110)와 조명장치(120)는 상기 졸음운전 경보 장치(100)의 케이스(101) 내부에 둘 수도 있고, 차체의 내부 공간이 충분할 경우 상기 졸음운전 경보 장치(100)의 케이스(101)내부에 두지 않고 상기 카메라(110) 및 조명장치(120)를 케이스(101)외부에 두어 서로 분리된 공간에 설치할 수도 있다.The
도 4는 본 발명의 일 실시예에 따른 서버 기반 졸음운전 경보 장치의 조명장치와 카메라 방향의 설정에 대해 설명하기 위한 예시도이다.FIG. 4 is an exemplary view for explaining the setting of the illumination device and the camera direction of the server-based drowsy driving alarm device according to the embodiment of the present invention.
도 4에 도시되어 있는 바와 같이, 조명장치의 조사축과 카메라의 광축이 같을 때는 안경에 반사된 조명이 직접 카메라로 입력되므로 안경 영역의 영상이 포화되어 운전자의 눈 영역에 대한 제대로 된 영상을 획득하는 것이 어려웠다.As shown in FIG. 4, when the illumination axis of the illumination device and the optical axis of the camera are the same, the reflected light from the glasses is directly input to the camera, so that the image of the eyeglass region is saturated to acquire a proper image of the eye region of the driver It was difficult to do.
본 발명의 졸음운전 경보 장치는 차량의 운전석이 정면, 천정 및 좌우가 막혀있다는 것에 착안하여 조명장치의 조사축을 카메라의 광축과 어긋나게 하더라도 조명이 운전석 근처의 차체 내부에 반사되어 운전자에게 조사될 수 있도록 하였다. 이와 같이, 조명장치의 조사축과 카메라의 광축이 많이 어긋나 있기 때문에 안경에 반사된 조명광이 카메라로 입력되는 것을 최소화할 수 있어서 운전자의 눈 역역에 대한 영상정보 획득이 용이해진다. The drowsy driving alarm device of the present invention is constructed so that the driver's seat of the vehicle is blocked on the front, the ceiling and the left and right sides so that the illumination is reflected to the inside of the vehicle body near the driver's seat and irradiated to the driver even if the irradiation axis of the illumination device is shifted from the optical axis of the camera Respectively. Since the irradiation axis of the illumination device and the optical axis of the camera deviate from each other in this manner, input of the illumination light reflected by the glasses to the camera can be minimized, so that it is easy to acquire image information for the driver's eye.
상기와 같이 조명장치의 조명을 차량의 내부에 반사시켜 운전자에게 조사하는데 있어서, 차량의 종류마다 차체 내부의 구조가 다르고 운전자의 얼굴 위치도 다르므로 조명장치의 조사축은 환경에 따라 가변적으로 변할 수 있어야 한다. 본 발명의 졸음운전 경보 장치(100)의 조명장치(120)는 상기 카메라(110)와 연동하여 최적의 조사각도를 추출할 수 있다. 이는 상기 제어부(140)를 통해 수행된다.As described above, the illumination of the illumination device is reflected to the inside of the vehicle to illuminate the driver. Since the structure of the inside of the vehicle differs for each type of vehicle, and the face position of the driver is different, the irradiation axis of the illumination device can be varied do. The illuminating
도 5는 본 발명의 일 실시예에 따른 서버 기반 졸음운전 경보 장치의 눈 영역 영상의 프로파일 생성에 대한 개략적인 개념에 대해 설명하기 위한 예시도이다. FIG. 5 is an exemplary diagram for explaining a schematic concept of profile generation of an eye region image of a server-based drowsiness driving alarm apparatus according to an embodiment of the present invention.
도 5에 도시되어 있는 바와 같이, 탈경향 변동 분석(DFA: Detrended Fluctuation Analysis)은 시그널(signal)의 통계적 자기 연관성을 분석하는 기법(self-affinity)으로서 본 발명에서는 눈 영역 영상 데이터의 프로파일이 어떤 특성을 가지고 변화하는지 상기 기준값과 어떠한 차이가 있는 지를 탈경향 변동 분석(DFA)을 통해 분석함으로써 졸음 여부를 판별한다. 상기 탈경향 변동 분석 방법으로서는 그림 5의 a와 같은 추출된 눈 영역 영상에 대해서 b 및 c와 같이 눈 영역 영상 데이터의 가로 및 세로 방향 휘도값의 변화 그래프를 생성한 후 각 그래프의 선형을 대표하는 다항식 함수로 모델링하고, 가로 및 세로 방향 각 픽셀 각각에 대해 그래프의 실제값과 다항식 함수값의 차이를 누적하여 결과값을 얻는 방법을 사용하게 된다.As shown in FIG. 5, Detented Fluctuation Analysis (DFA) is a self-affinity analysis technique for analyzing the statistical self-association of a signal. In the present invention, Characteristics of the subject and whether there is any difference from the reference value is determined through the DFA analysis to determine whether or not the subject is drowsy. As a method of analyzing the tendency of variation, a change graph of brightness values in the horizontal and vertical directions of the eye region image data is extracted for the extracted eye region image as shown in FIG. 5A, We use a method of modeling with a polynomial function and accumulating the difference between the actual value of the graph and the polynomial function value for each pixel in the horizontal and vertical directions to obtain the resultant value.
상기 기준값은 운전자마다 이미 이 기준값을 보유하고 있거나, 사용자로부터 눈 영역의 영상 데이터를 추출하여 자체적으로 생성할 수 있으며, 운전자가 바뀌더라도 달라지지 않고 독립적인 공통 기준값을 생성해서 사용할 수 있다. 또한 상기 생성된 기준값은 수시로 갱신될 수 있다. 상기 탈경향 변동을 분석하는 것은 상기 기준값을 토대로 운전자가 운전 중에 생성된 프로파일이 졸음상태와 깨어있는 상태 중 어느 쪽에 더 가까운지 분석하는 것이다. 상기 프로파일은 졸음을 감지하기 위한 각종 영상정보, 사용자의 눈 영상에 대한 정보, 또는 이들의 조합에 대한 정보를 요약한 것을 말한다. 상기 프로파일을 생성하는 일예로서 눈 영역 영상 데이터의 픽셀 정보를 이용하여 눈 영역 영상의 가로방향 휘도값의 변화 그래프와 눈 영역 영상의 세로방향 휘도값의 변화 그래프를 이용하는 방법을 사용할 수 있다.The reference value may be generated by itself or may be generated by extracting the image data of the eye region from the user or by generating an independent common reference value without changing the driver even if the driver changes the reference value. Also, the generated reference value may be updated from time to time. Analyzing the tendency change analysis is to analyze whether the profile generated by the driver during driving based on the reference value is closer to the drowsy state or the awake state. The profile is a summary of various image information for detecting drowsiness, information about a user's eye image, or a combination thereof. As an example of generating the profile, a method of using a graph of a change in brightness value in the horizontal direction of the eye region image and a graph of the brightness value in the vertical direction of the eye region image using the pixel information of the eye region image data can be used.
도 6은 본 발명의 일 실시예에 따른 서버 기반 졸음운전 경보 방법에 대해 설명하기 위한 흐름도이다.FIG. 6 is a flowchart illustrating a server-based drowsy driving alarm method according to an embodiment of the present invention.
도 6에 도시되어 있는 바와 같이, 본 발명의 서버 기반 졸음운전 경보 방법은, 먼저 졸음운전 경보 장치를 차량에 맞게 설정한다. 즉 차량내부의 구조와 운전 시 운전자의 위치 등을 포함한 차량 내 환경을 고려하여 졸음운전 경보장치의 카메라 광축과 조명 조사축을 자동 혹은 수동으로 설정한다(S101). 상기 졸음운전 경보 장치는 조명 반사광의 간섭 없이 카메라를 통해 운전자의 영상을 촬영하고, 상기 촬영된 운전자의 영상 중 운전자의 눈 영역의 영상 데이터만을 추출한다(S102). 상기 졸음운전 경보 장치는 이렇게 추출한 운전자의 눈 영역 영상 데이터에 대한 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여 통신망을 통해 졸음운전 감지 서버로 실시간으로 전송한다(S103). 상기 졸음운전 감지 서버는 상기 졸음운전 경보 장치로부터 수신한 운전자의 눈 영역에 대한 영상 데이터에서 눈 꺼풀의 간격을 통해 졸음여부를 판단하는 방법을 기반으로 하거나, 또는 눈영역에 대한 영상의 프로파일을 만들고, 프로파일의 탈경향 변동 분석을 통해 졸음여부를 판단하는 방법을 기반으로 운전자의 졸음여부에 대해 실시간으로 판단한다(S104). 이때 눈 영역의 영상 데이터의 프로파일을 생성하는 방법은 눈 영역 영상 데이터의 픽셀 정보를 이용하여 눈 영역 영상의 가로방향 휘도값의 변화 그래프와 눈 영역 영상의 세로방향 휘도값의 변화 그래프를 이용하는 방법을 사용한다. 이때 졸음운전으로 판단되면 상기 졸음운전 감지 서버는 해당 운전자의 차량에 설치된 졸음운전 경보 장치의 경보가 울리도록 신호를 전송함으로써 운전자의 졸음을 방지한다(S105). 또한, 상기 졸음운전 감지 서버는 상기 졸음운전 경보 장치로부터 수신한 운전자의 눈 영역에 대한 영상 데이터를 모니터링 센터에 전송한다(S106). 이렇게 모니터링 센터로 전송된 운전자의 눈 영역에 대한 영상 데이터를 모니터링 요원이 실시간 및 육안으로 모니터링 함으로써 2차적으로 운전자의 졸음여부를 판단하게 된다(S107). 이렇게 모니터링 센터에서 모니터링 요원에 의해 졸음으로 판단되면 상기 모니터링 센터에서 차량에 설치된 졸음운전 경보 장치의 경보가 울리도록 상기 졸음운전 감지 서버를 통해 수동으로 제어할 수도 있고, 서버를 통하지 않고 직접 졸음운전 경보 장치 및 운전자의 휴대폰 등의 장치를 통해 육성으로 경보함으로써 효과적으로 운전자의 졸음운전을 예방할 수 있다(S108). As shown in FIG. 6, in the server-based drowsy driving alarm method of the present invention, first, the drowsiness driving alarm apparatus is set for the vehicle. In other words, the camera optical axis and the illumination axis of the drowsy driving alarm device are automatically or manually set in consideration of the internal environment of the vehicle including the structure of the interior of the vehicle and the driver's position during operation (S101). The drowsy driving alarm device captures an image of the driver through the camera without interfering with the illumination reflected light, and extracts only the image data of the eye area of the driver from the captured driver's image (S102). The drowsy driving alarm device generates a binary image, a gray image, or a compressed image for the extracted eye area image data of the driver, and transmits the compressed image to the drowsiness driving detection server through the communication network in real time (S103). The drowsiness operation detection server may be based on a method of determining drowsiness based on the interval of the eye lids in the image data of the eye area of the driver received from the drowsy operation alarm device or may make a profile of the image of the eye area , And determines whether the driver is drowsy in real time based on the method of determining the drowsiness by analyzing the tendency change of the profile (S104). At this time, a method of generating a profile of the image data of the eye region is a method of using a graph of a change in the brightness value in the horizontal direction of the eye region image and a graph of the brightness value in the longitudinal direction of the eye region image using the pixel information of the eye region image data use. At this time, if it is determined that the driver is drowsy driving, the drowsiness driving detection server transmits a signal to alert the drowsiness driving alarm device installed in the driver of the driver so as to prevent the driver from drowning (S105). In addition, the drowsiness operation detection server transmits image data of the eye region of the driver received from the drowsiness operation alarm apparatus to the monitoring center (S106). The monitoring agent monitors the image data of the eye area of the driver transmitted to the monitoring center in real time and visually, thereby judging whether the driver is drowsy (S107). If it is determined that the monitoring center is drowsy by the monitoring personnel, the monitoring center may be manually controlled through the drowsiness operation detection server so that an alarm of the drowsiness operation alarm device installed in the vehicle is sounded at the monitoring center. Alternatively, The driver can be prevented from drowsily driving by effectively warning him / her through the device and the device such as the mobile phone of the driver (S108).
이상으로 본 발명은 첨부된 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation. I will understand that. Accordingly, the technical scope of the present invention should be defined by the following claims.
100 : 졸음운전 경보 장치
101 : 케이스 110 : 카메라
111 : 카메라 회전축 120 : 조명장치
121 : 조명장치 회전축 122 : 적외선 산란기
130 : 저장부 140 : 제어부
150 : 통신부 160 : 경보 메시지 출력부
200 : 졸음운전 감지 서버 300 : 모니터링 센터 100: drowsy driving alarm
101: Case 110: Camera
111: Camera rotation axis 120: Lighting device
121: Lighting device rotation axis 122: Infrared scattering device
130: storage unit 140:
150: communication unit 160: alarm message output unit
200: Drowsy driving detection server 300: Monitoring center
Claims (28)
적어도 하나 이상의 적외선 조명장치; 및
상기 적외선 카메라와 조명장치를 개별적으로, 복합적으로 또는 이들의 조합을 통해서 자동 혹은 수동으로 조절할 수 있는 제어부;를 포함하며,
상기 운전자가 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경을 착용하고 있을 경우에도, 적외선 조명이 운전환경의 변화에 따라 상기 안경에 반사되지 않도록 실시간으로 조정하는 것이 가능한 것을 특징으로 하는 졸음운전 경보 장치.At least one infrared camera for photographing the face of the driver;
At least one infrared illumination device; And
And a control unit capable of automatically or manually adjusting the infrared camera and the lighting device individually, in combination, or a combination thereof,
Wherein the infrared ray illumination can be adjusted in real time so that the infrared ray is not reflected by the glasses in accordance with the change of the driving environment even when the driver wears glasses containing sunglasses, goggles, contact lenses or a combination thereof Alarm device.
상기 졸음운전 경보 장치는,
차량의 스티어링 휠, 클러스터, 선바이저, 대쉬보드 또는 유리창을 포함한 차량 내의 특정 부분에서 고정식, 이동식 또는 착탈식으로 설치되는 것을 특징으로 하는 졸음운전 경보 장치The method according to claim 1,
The drowsy driving alarm device includes:
Characterized in that it is fixedly, removably or removably mounted at a specific portion of the vehicle, including a steering wheel, a cluster, a visor, a dashboard or a window of a vehicle
상기 졸음운전 경보 장치는,
상기 카메라에서 촬영한 운전자의 영상 정보를 저장하는 내장형 메모리 또는 외장형 메모리를 포함하는 저장장치;를 더 포함하는 것을 특징으로 하는 졸음운전 경보 장치.The method according to claim 1,
The drowsy driving alarm device includes:
And a storage device including an embedded memory or an external memory for storing image information of a driver photographed by the camera.
상기 적외선 카메라는,
차량 내에서 움직이는 운전자의 얼굴 위치나 방향에 맞춰 자동으로 조정될 수 있도록 팬 틸트 모터를 포함하며, 카메라 자동 조정 시 운전자의 눈 위치를 기준으로 카메라의 광축이 조정되는 것을 특징으로 하는 졸음운전 경보 장치.The method according to claim 1,
The infrared camera includes:
Wherein the optical axis of the camera is adjusted on the basis of the position of the driver's eye when the camera is automatically adjusted, including a pan tilt motor so that the camera can be automatically adjusted according to the position and direction of the driver moving in the vehicle.
상기 적외선 조명장치는,
선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경에 직접 조사되는 조명의 양을 최소화하기 위해 적외선 산란기;를 더 포함하는 것을 특징으로 하는 졸음운전 경보 장치.The method according to claim 1,
The infrared illuminating device includes:
Further comprising an infrared scatterer for minimizing the amount of illumination directly illuminated on the glasses, including sunglasses, goggles, contact lenses or combinations thereof.
상기 적외선 조명장치는,
상기 카메라의 광축과 어긋나게 제어함으로써 조사되는 조명이 차체의 천정이나 유리 방향으로 먼저 조사 될 수 있도록 하여 운전자의 안경에 반사된 조명이 상기 카메라에 입력되는 것을 최소화하는 것을 특징으로 하는 졸음운전 경보 장치.The method according to claim 1,
The infrared illuminating device includes:
Wherein the illuminating light is irradiated to the ceiling or the glass direction of the vehicle body by controlling the light emitted by the camera in a direction opposite to the optical axis of the camera so as to minimize the input of light reflected by the driver's glasses to the camera.
상기 적외선 조명장치는,
차량 내부의 차체 구조 및 운전자의 얼굴 위치에 따라 자동으로 조명장치의 조사축이 조정될 수 있는 것을 특징으로 하는 졸음운전 경보 장치.The method according to claim 1,
The infrared illuminating device includes:
Wherein the irradiation axis of the illuminating device can be automatically adjusted according to the structure of the vehicle body inside the vehicle and the face position of the driver.
상기 적외선 카메라와 상기 적외선 조명장치는,
각각 차량 내부의 차체 구조, 운전자의 얼굴 위치 또는 이들의 조합에 따라 팬, 틸트, 줌, 포커스, 회전 또는 이들의 조합을 통해서 광축 및 조사축의 조정이 가능하고, 카메라와 조명장치를 서로 분리된 공간에 설치할 수 있는 것을 특징으로 하는 졸음운전 경보 장치.The method according to claim 1,
Wherein the infrared camera and the infrared illumination device are arranged so that,
It is possible to adjust the optical axis and the irradiation axis by means of pan, tilt, zoom, focus, rotation, or a combination thereof depending on the vehicle body structure inside the vehicle, the face position of the driver, Wherein the drowsy driving alarm device is capable of being installed in the drowsy driving alarm device.
상기 적외선 카메라와 조명장치를 개별적으로, 복합적으로 또는 이들의 조합을 통해서 자동 혹은 수동으로 조절하는 단계; 및
상기 운전자가 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경을 착용하고 있을 경우에도, 적외선 조명이 운전환경의 변화에 따라 상기 안경에 반사되지 않도록 조정하는 단계;를 포함하는 것을 특징으로 하는 졸음운전 경보 방법.Photographing a driver's face through a drowsy driving alarm device including at least one infrared camera and a lighting device;
Automatically or manually adjusting the infrared camera and the lighting device individually, in combination, or a combination thereof; And
And adjusting the infrared light so that the infrared light is not reflected by the glasses according to a change in the driving environment even when the driver wears glasses including sunglasses, goggles, contact lenses or a combination thereof. Driving alarm method.
상기 졸음운전 경보 방법은,
상기 카메라에서 촬영한 운전자의 영상 정보를 내장형 메모리 또는 외장형 메모리를 포함하는 저장장치에 저장하는 단계;를 더 포함하는 것을 특징으로 하는 졸음운전 경보 방법.The method of claim 9,
In the drowsy driving alarm method,
And storing the image information of the driver photographed by the camera in a storage device including an embedded memory or an external memory.
상기 조정하는 단계는,
차량 내에서 움직이는 운전자의 얼굴 위치나 방향에 맞춰 자동으로 조정될 수 있도록 팬 틸트 모터를 포함하는 카메라를 통해 수행되며, 카메라 자동 조정 시 운전자의 눈 위치를 기준으로 카메라의 광축이 조정되는 것을 특징으로 하는 졸음운전 경보 방법.The method of claim 9,
Wherein the adjusting comprises:
And a camera including a pan tilt motor so as to be automatically adjusted in accordance with the face position or direction of a driver moving in the vehicle, wherein the optical axis of the camera is adjusted based on the position of the driver's eye when the camera is automatically adjusted Drowsy driving alarm method.
상기 조정하는 단계는,
상기 조절하는 단계를 통해서 적외선 산란기를 이용하여 선글라스, 고글, 콘택트렌즈 또는 이들의 조합을 포함한 안경에 직접 조사되는 조명의 양을 최소화하도록 조정하는 것을 특징으로 하는 졸음운전 경보 방법.The method of claim 9,
Wherein the adjusting comprises:
And adjusting the amount of illumination to be directly irradiated to glasses including sunglasses, goggles, contact lenses, or a combination thereof using an infrared scattering device through the adjusting step.
상기 조정하는 단계는,
상기 조절하는 단계를 통해서 상기 카메라의 광축과 어긋나게 제어함으로써 조사되는 조명이 차체의 천정이나 유리 방향으로 먼저 조사 될 수 있도록 하여 운전자의 안경에 반사된 조명이 상기 카메라에 입력되는 것을 최소화하도록 조정하는 것을 특징으로 하는 졸음운전 경보 방법.The method of claim 9,
Wherein the adjusting comprises:
And adjusting the light to be irradiated to the camera so as to minimize the input of the light reflected by the driver's glasses to the camera so that the illuminated light can be irradiated first in the ceiling or the glass direction of the vehicle body by controlling the optical axis of the camera Characterized by drowsiness driving alarm method.
상기 조정하는 단계는,
차량 내부의 차체 구조 및 운전자의 얼굴 위치에 따라 자동으로 조명장치의 조사축이 조정될 수 있는 것을 특징으로 하는 졸음운전 경보 방법.The method of claim 9,
Wherein the adjusting comprises:
Wherein the irradiation axis of the illumination device is automatically adjusted according to the body structure of the vehicle and the face position of the driver.
상기 추출된 영상 데이터에서 운전자의 위쪽 눈꺼풀과 아래쪽 눈꺼풀 사이의 거리의 평균값을 추출하는 단계; 및
운전자의 최근 수초 내지 수분 동안의 눈꺼풀 사이의 거리값이 상기 평균값보다 일정 수치 이상 좁아지면 졸음으로 판단하는 단계;를 포함하는 것을 특징으로 하는 졸음운전 감지 방법.A step of photographing a driver through a camera and extracting image data of an eye region of the captured image of the driver;
Extracting an average value of a distance between an upper eyelid and a lower eyelid of the driver from the extracted image data; And
And determining that the user is drowsy if the driver's distance between the eyelids for a few seconds to several minutes is narrower than the average value by a predetermined value or more.
상기 추출된 영상 데이터에서 눈 영역의 영상 데이터 프로파일을 만드는 단계;
상기 프로파일의 탈경향 변동 분석을 수행하는 단계; 및
상기 탈경향 변동 분석의 결과를 토대로 졸음여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 졸음운전 감지 방법.A step of photographing a driver through a camera and extracting image data of an eye region of the captured image of the driver;
Creating an image data profile of the eye region from the extracted image data;
Performing an analysis of the tendency variation of the profile; And
And determining whether or not the user is drowsy based on a result of the analysis of the tendency toward the drowsiness.
상기 프로파일은 눈 영역 영상 데이터의 픽셀 정보를 이용하여 눈 영역 영상의 가로방향 휘도값의 변화 그래프와 눈 영역 영상의 세로방향 휘도값의 변화 그래프를 이용하는 것을 특징으로 하는 졸음운전 감지 방법.18. The method of claim 16,
Wherein the profile uses a graph of a change in a horizontal direction brightness value of the eye region image and a change graph of a longitudinal direction brightness value of the eye region image using pixel information of the eye region image data.
상기 탈경향 변동 분석은 운전자마다 정의된 각 기준값을 토대로 운전자가 운전 중에 생성된 프로파일이 졸음상태와 깨어있는 상태 중 어느쪽에 더 가까운지 분석하는 것을 특징으로 하는 졸음운전 감지 방법.18. The method of claim 16,
Wherein the analysis of the tendency change analysis analyzes whether a profile generated during driving by a driver is closer to a sleeping state or awake state based on each reference value defined for each driver.
상기 프로파일은 졸음을 감지하기 위한 영상정보, 사용자의 눈 영상에 대한 정보, 또는 이들의 조합에 대한 정보를 요약한 것을 특징으로 하는 졸음운전 감지 방법.18. The method of claim 16,
Wherein the profile summarizes image information for detecting drowsiness, information about a user's eye image, or a combination thereof.
상기 졸음운전 경보 장치에서 전송된 영상 정보를 세밀하게 분석하는 졸음운전 감지 서버; 및
상기 졸음운전 경보 장치와 졸음운전 감지 서버를 상호 연결하여 주는 유무선 통신 네트워크;를 포함하는 것을 특징으로 하는 졸음운전 경보 시스템.Drowsy driving alarm;
A drowsiness operation detection server for finely analyzing image information transmitted from the drowsy operation alarm device; And
And a wired / wireless communication network for interconnecting the drowsy operation alarm device and the drowsy operation detection server.
상기 졸음운전 경보 장치는,
유무선 통신 입출력이 가능한 통신 인터페이스를 포함하는 통신부;를 더 포함하며,
카메라에서 촬영된 운전자의 눈 영역에 대한 영상을 이진 영상, 그레이 영상, 또는 이들에 대한 압축영상, 또는 졸음운전 판단 결과값 중 적어도 어느 하나를 생성하여 상기 통신부를 통해 운전자의 졸음여부를 판단하는 졸음운전 감지 서버로 전송하는 것을 특징으로 하는 졸음운전 경보 시스템.The method of claim 20,
The drowsy driving alarm device includes:
And a communication unit including a communication interface capable of wired / wireless communication input / output,
A drowsiness determination unit for determining whether a driver is drowsy through the communication unit by generating at least one of a binary image, a gray image, a compressed image for them, or a result of drowsiness driving determination, To the operation detection server.
상기 졸음운전 경보 장치의 적어도 하나 이상의 카메라를 통해 촬영한 운전자의 영상 정보를 저장하는 내장형 메모리, 외장형 메모리, 클라우드 컴퓨팅 네트워크의 가상화된 저장장치 또는 이들의 조합을 포함하는 저장장치;를 더 포함하는 것을 특징으로 하는 졸음운전 경보 시스템.The method of claim 20,
A storage device including an embedded memory, an external memory, a virtualized storage device of a cloud computing network, or a combination thereof for storing image information of a driver photographed through at least one camera of the drowsy driving alarm device Features a drowsy driving alarm system.
상기 졸음운전 감지 서버에서 졸음운전으로 판단되는 경우, 별도의 경보 메시지 출력부 또는 운전자의 휴대단말을 통해 기계음, 사전에 녹음된 육성 알람, 모니터링 요원의 실시간 육성 알람 또는 이들의 조합을 포함하는 경보 알람 정보를 출력하는 것을 특징으로 하는 졸음운전 경보 시스템.The method of claim 20,
If it is determined that the drowsy operation detection server is in the drowsy operation, an alert alarm including an alarm sound output through a separate alarm message output unit or a driver's portable terminal, a previously recorded sounding alarm, Wherein the drowsy driving alarm system outputs information.
추출한 눈 영역 영상 데이터에 대한 이진영상, 그레이 영상, 또는 이들에 대한 압축영상을 생성하여 통신망을 통해 졸음운전 감지 서버로 실시간 전송하는 단계;
상기 졸음운전 감지 서버는 수신한 운전자의 눈 영역에 대한 영상 데이터를 기반으로 운전자의 졸음여부에 대해 실시간으로 판단하는 단계; 및
상기 졸음운전 감지 서버에서 졸음으로 판단되면 자동으로 차량에 설치된 졸음운전 경보 장치의 경보가 울리도록 신호를 전송하는 단계;를 포함하는 것을 특징으로 하는 서버 기반 졸음운전 경보 방법.Capturing a driver through a camera and extracting only image data of an eye region of the captured image of the driver;
Generating a binary image, a gray image, or a compressed image for the extracted eye region image data, and transmitting the generated compressed image to a drowsiness operation detection server through a communication network in real time;
Wherein the drowsiness operation detection server determines in real time whether the driver is drowsy based on image data of the eye region of the received driver; And
And transmitting a signal to the drowsiness operation alarm server to automatically alert the drowsiness operation alarm device installed in the vehicle when it is determined that the drowsy operation detection server is drowsy.
상기 서버 기반 졸음운전 경보 방법은,
카메라에 입력되는 조명의 반사광량이 최소화 되도록 차량 내부의 차체 구조 및 운전자의 얼굴 위치에 따라 조명장치의 조사축과 카메라의 광축이 자동으로 설정되는 단계;를 더 포함하는 것을 특징으로 하는 서버 기반 졸음운전 경보 방법.27. The method of claim 24,
The server-based drowsy driving alarm method includes:
Further comprising the step of automatically setting an irradiation axis of the illumination device and an optical axis of the camera in accordance with the vehicle body structure inside the vehicle and the face position of the driver so that the amount of reflected light of the illumination inputted to the camera is minimized, Alarm method.
상기 서버 기반 졸음운전 경보 방법은,
졸음운전 감지 서버에서 수신한 운전자의 눈 영역에 대한 영상 데이터를 기반으로 모니터링 센터의 모니터링 요원이 육안으로 운전자의 졸음여부를 판단하는 단계;를 더 포함하는 것을 특징으로 하는 서버 기반 졸음운전 경보 방법. 27. The method of claim 24,
The server-based drowsy driving alarm method includes:
Based on the image data of the eye area of the driver received by the drowsy driving detection server, the monitoring agent of the monitoring center judges whether the driver is drowsy by the naked eye.
상기 서버 기반 졸음운전 경보 방법은,
모니터링 요원에 의해 졸음으로 판단되면 졸음운전 감지 서버를 통해 차량에 설치된 졸음운전 경보 장치의 경보가 울리도록 신호를 전송하거나 직접 상기 졸음운전 경보 장치로 육성 경보를 전송하거나 운전자의 휴대전화를 통해 경보를 전달하는 단계;를 더 포함하는 것을 특징으로 하는 서버 기반 졸음운전 경보 방법. 27. The method of claim 24,
The server-based drowsy driving alarm method includes:
If it is determined by the monitoring staff that the user is drowsy, a signal is sent to the drowsy driving alarm device installed in the vehicle through the drowsy driving detection server, or a warning signal is transmitted directly to the drowsy driving alarm device or an alarm is transmitted through the driver's mobile phone And transmitting the drowsy driving alarm signal to the server.
상기 서버 기반 졸음운전 경보 방법은,
차량이 터널이나 지하차도에서와 같이 통신상태가 좋지 않아 졸음운전 감지 서버로 영상을 전송하지 못하는 경우를 대비하여, 차량에 장착된 졸음운전 경보 장치 자체에서 운전자의 졸음여부에 대해 판단하는 단계;를 더 포함하는 것을 특징으로 하는 서버 기반 졸음운전 경보 방법.27. The method of claim 24,
The server-based drowsy driving alarm method includes:
Determining whether the driver is drowsy in the drowsy driving alarm device mounted on the vehicle in case the vehicle can not transmit the image to the drowsy driving detection server because the communication state is poor as in a tunnel or an underground car road; Wherein the server-based drowsy driving alarm method further comprises:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130144969A KR20150061668A (en) | 2013-11-27 | 2013-11-27 | An apparatus for warning drowsy driving and the method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130144969A KR20150061668A (en) | 2013-11-27 | 2013-11-27 | An apparatus for warning drowsy driving and the method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150061668A true KR20150061668A (en) | 2015-06-05 |
Family
ID=53499648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130144969A KR20150061668A (en) | 2013-11-27 | 2013-11-27 | An apparatus for warning drowsy driving and the method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20150061668A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101681938B1 (en) * | 2015-11-09 | 2016-12-02 | 모본주식회사 | Apparatus for preventing drowsy driving |
| KR101693709B1 (en) * | 2015-07-14 | 2017-01-09 | 한국생산기술연구원 | Head Support System |
| KR20190063986A (en) * | 2017-11-30 | 2019-06-10 | 주식회사 라스테크 | Artificial intelligence dashboard robot base on cloud server for recognizing states of a user |
| KR20190133533A (en) * | 2018-05-23 | 2019-12-03 | 한민홍 | drowsiness detection apparatus and method |
| US11541886B2 (en) * | 2019-08-23 | 2023-01-03 | Hyundai Motor Company | Vehicle traveling control apparatus, method and system |
-
2013
- 2013-11-27 KR KR1020130144969A patent/KR20150061668A/en not_active Application Discontinuation
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101693709B1 (en) * | 2015-07-14 | 2017-01-09 | 한국생산기술연구원 | Head Support System |
| KR101681938B1 (en) * | 2015-11-09 | 2016-12-02 | 모본주식회사 | Apparatus for preventing drowsy driving |
| KR20190063986A (en) * | 2017-11-30 | 2019-06-10 | 주식회사 라스테크 | Artificial intelligence dashboard robot base on cloud server for recognizing states of a user |
| KR20190133533A (en) * | 2018-05-23 | 2019-12-03 | 한민홍 | drowsiness detection apparatus and method |
| US11541886B2 (en) * | 2019-08-23 | 2023-01-03 | Hyundai Motor Company | Vehicle traveling control apparatus, method and system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10298741B2 (en) | Method and device for assisting in safe driving of a vehicle | |
| US10423837B2 (en) | Method and apparatus for a wearable computer | |
| JP5549721B2 (en) | Driver monitor device | |
| KR101386823B1 (en) | 2 level drowsy driving prevention apparatus through motion, face, eye,and mouth recognition | |
| KR101708832B1 (en) | Vision aiding method and apparatus integrated with a camera module and a light sensor | |
| WO2018107778A1 (en) | Smart helmet and control method therefor | |
| US20180026669A1 (en) | Phone docking station for enhanced driving safety | |
| KR20150061668A (en) | An apparatus for warning drowsy driving and the method thereof | |
| US20150054639A1 (en) | Method and apparatus for detecting mobile phone usage | |
| US20020181774A1 (en) | Face portion detecting apparatus | |
| JPWO2008029802A1 (en) | Driving information providing device | |
| US11443605B2 (en) | Monitoring apparatus, vehicle, monitoring method and information processing apparatus | |
| CN109190600A (en) | A kind of driver's monitoring system of view-based access control model sensor | |
| KR20120136721A (en) | Apparatus and method for alarming use of mobile phone on driving | |
| KR102672095B1 (en) | In-Cabin Security Sensor Installed at a Car and Platform Service Method therefor | |
| KR102494530B1 (en) | Camera Apparatus Installing at a Car for Detecting Drowsy Driving and Careless Driving and Method thereof | |
| CN113744499A (en) | Fatigue early warning method, glasses, system and computer readable storage medium | |
| KR20150106986A (en) | System for detecting drowsiness based on server and the method thereof | |
| TWI668596B (en) | Surveillance system and wearable device using the same | |
| KR20110052453A (en) | Method and apparatus for driver sleepiness detecting and warning | |
| KR102005094B1 (en) | Apparatus having a camera lens module for photographing all directions and control method thereof | |
| KR101944843B1 (en) | The eyeball fatigue measuring device of the operator and The eyeball fatigue measuring method of the operator using the same | |
| KR20160103713A (en) | Anti drowsy driving system | |
| TW201434458A (en) | Movie-record analyzing and navigating system for blind people | |
| CN215932683U (en) | Video monitor on-duty working state monitoring equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |