KR102634012B1 - 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치 - Google Patents

딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치 Download PDF

Info

Publication number
KR102634012B1
KR102634012B1 KR1020210134866A KR20210134866A KR102634012B1 KR 102634012 B1 KR102634012 B1 KR 102634012B1 KR 1020210134866 A KR1020210134866 A KR 1020210134866A KR 20210134866 A KR20210134866 A KR 20210134866A KR 102634012 B1 KR102634012 B1 KR 102634012B1
Authority
KR
South Korea
Prior art keywords
driver
object classification
behavior
image
behavior detection
Prior art date
Application number
KR1020210134866A
Other languages
English (en)
Other versions
KR20230051910A (ko
Inventor
한동석
성재호
윤영진
유민우
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020210134866A priority Critical patent/KR102634012B1/ko
Priority to PCT/KR2022/015085 priority patent/WO2023063649A1/ko
Publication of KR20230051910A publication Critical patent/KR20230051910A/ko
Application granted granted Critical
Publication of KR102634012B1 publication Critical patent/KR102634012B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치에 대한 것이다.
본 발명에 따른 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치는 이미지 프레임을 입력받는 프레임 입력부, 상기 이미지 프레임 중 이전 프레임과 현재 프레임의 해상도를 각각 다운 샘플링하는 다운 샘플링부, 상기 다운 샘플링된 이전 프레임과 현재 프레임의 각 컬러별 명암 값을 이용하여 활성 이미지를 생성하는 활성 이미지 생성부, 상기 생성된 활성 이미지에 슬라이딩 윈도우 알고리즘을 이용하여 각 윈도우의 값이 가장 큰 활성 영역을 추출하는 활성 영역 추출부 및 객체 분류 알고리즘을 이용하여 상기 추출된 활성 영역에 대한 운전자의 행동을 분류하여 검출하는 행동 검출부를 포함한다.
이와 같이 본 발명에 따르면, 운전 중 흡연, 휴대폰 사용, 음식물 섭취 등과 같은 위험 행동을 검출하여 운전자에게 경고함으로써 안전한 주행을 도모할 수 있어 사고 위험을 방지할 수 있는 효과가 있다.

Description

딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치{APPARATUS FOR DETECTING DRIVER BEHAVIOR USING OBJECT CLASSIFICATION BASED ON DEEP RUNNING}
본 발명은 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치에 관한 것으로서, 더욱 상세하게는 차량 주행 중 운전자의 위험 행동을 고속으로 검출하기 위한 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치에 관한 것이다.
운전 중 휴대폰 사용, 흡연 및 음식물 섭취 등과 같은 행동은 운전자의 집중력을 감소시켜 교통사고를 유발할 수 있다.
특히, 대다수의 운전자들은 운전 중 휴대폰 사용이 음주 운전이나 졸음 운전보다 덜 위험하다고 인식하고 있는 경우가 많은데, 조사에 따르면 운전 중 휴대폰 사용은 음주운전을 했을때와 비슷한 사고 위험도를 보이는 것으로 나타났다.
또한, 운전 중 휴대폰 사용 시 전방 주시율은 50.3%에 불과하며, 이는 음주 운전 시 혈중알콜농도 0.1% 보다 23배 높은 위험률이 있다는 연구 결과가 있어 운전 중 휴대폰 사용에 대한 올바른 인식이 필요하다.
휴대폰 사용 이외에도 운전할 때 다른 행동을 하게되면 돌발 위험 상황에 빠르게 대응하기가 어려워 사고로 이어질 수 밖에 없다.
이와 같은 운전자의 위험 행동을 검출하기 위한 방법으로 이미지 속에서 객체의 종류와 위치를 검출하는 딥러닝 객체 검출의 방법을 사용한다. 하지만 딥러닝 객체 검출 알고리즘은 많은 연산 자원을 사용하는 문제가 있다. 이러한 방식은 제한된 연산 자원을 가지는 차량 임베디드 환경에 적용하기 어렵다.
따라서, 적은 연산 자원을 사용하여 객체를 검출할 수 있는 기술의 개발이 필요하다.
본 발명의 배경이 되는 기술은 대한민국 등록특허공보 제10-2282730호(2021. 07. 29. 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 운전 중 운전자의 움직임이 적다는 특성을 이용하여 실시간으로 촬영되는 프레임 간의 명암 변화량으로부터 운전자의 행동 변화를 감지하고, 행동 변화가 감지된 부분에 대해 딥러닝 객체 분류 알고리즘을 이용하여 운전자의 행동을 검출하기 위한 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치를 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시 예에 따른 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치는, 이미지 프레임을 입력받는 프레임 입력부; 상기 이미지 프레임 중 이전 프레임과 현재 프레임의 해상도를 각각 다운 샘플링하는 다운 샘플링부; 상기 다운 샘플링된 이전 프레임과 현재 프레임의 각 컬러별 명암 값을 이용하여 활성 이미지를 생성하는 활성 이미지 생성부; 상기 생성된 활성 이미지에 슬라이딩 윈도우 알고리즘을 이용하여 각 윈도우의 값이 가장 큰 활성 영역을 추출하는 활성 영역 추출부; 및 객체 분류 알고리즘을 이용하여 상기 추출된 활성 영역에 대한 운전자의 행동을 분류하여 검출하는 행동 검출부를 포함한다.
이때, 상기 프레임 입력부는 차량 내 구비되는 카메라, 비젼 센서 및 모션 인식 센서 중 어느 하나의 촬영 수단에 의해 운전자가 촬영된 영상을 이미지 프레임 단위로 입력받을 수 있다.
또한, 상기 다운 샘플링부는 상기 이전 프레임과 상기 현재 프레임의 해상도를 각각 다운시킨 후 설정 크기 이하의 움직임을 제거하는 스무딩 필터를 이용하여 다운 샘플링할 수 있다.
또한, 상기 활성 이미지 생성부는 다음의 수학식에 의해 상기 활성 이미지를 생성할 수 있다.
여기서 Rp, Gp, Bp는 각각 이전 프레임의 R,G,B 값이고, Rc, Gc, Bc 는 각각 현재 프레임의 R,G,B 값이다.
또한, 상기 활성 영역 추출부는 기 설정된 크기의 윈도우(window)를 이용하여 상기 윈도우의 중심 영역에 대한 판단값을 추출하되, 상기 윈도우를 상기 활성 이미지 내에서 설정 방향으로 슬라이딩 시키면서 상기 활성 이미지의 모든 영역에 대한 판단값을 추출하여, 판단 값이 가장 큰 윈도우의 영역을 활성 영역으로 추출할 수 있다.
또한, 상기 행동 검출부는 상기 추출된 활성 영역을 기 학습된 딥러닝 기반의 객체 분류 알고리즘에 입력하여 운전자의 행동을 분류하고, 분류된 행동을 검출할 수 있다.
또한, 상기 행동 검출부를 통해 검출된 운전자의 행동이 기 분류된 위험 행동에 속하는 경우, 상기 검출된 행동에 대응하는 경고 음성, 경고음, 경고등 및 경고 멘트 중 적어도 어느 하나를 출력하는 경고 출력부를 더 포함할 수 있다.
이와 같이 본 발명에 따르면, 운전 중 운전자의 움직임이 적다는 특성을 이용하여 실시간으로 촬영되는 프레임 간의 명암 변화량으로부터 운전자의 행동 변화를 감지하고, 행동 변화가 감지된 부분에 대해 딥러닝 객체 분류 알고리즘을 이용하여 운전자의 행동을 검출함으로써 연산 시간이 빠르고 정확하여 객체 분류에 소요되는 비용과 시간을 절감할 수 있고, 차량 임베디드 환경에 적용하기 용이하다.
또한 본 발명에 따르면, 운전 중 흡연, 휴대폰 사용, 음식물 섭취 등과 같은 위험 행동을 검출하여 운전자에게 경고함으로써 안전한 주행을 도모할 수 있어 사고 위험을 방지할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치를 나타낸 블록구성도이다.
도 2는 도 1의 프레임 입력부로 입력되는 이미지 프레임의 예시이다.
도 3은 본 발명의 실시 예에 따른 운전자 행동 검출 장치에서 스무딩 필터 적용 유무를 비교하여 예시한 도면이다.
도 4는 도 1의 활성 이미지 생성부가 활성 이미지를 생성하는 과정을 설명하기 위해 도시한 도면이다.
도 5는 도 1의 활성 영역 추출부가 슬라이딩 윈도우 알고리즘을 이용하여 활성 영역을 추출하는 과정을 설명하기 위해 도시한 도면이다.
도 6 및 도 7은 본 발명의 실시 예에 따라 운전자의 행동이 검출되는 과정을 설명하기 위해 도시한 도면이다.
이하 첨부된 도면을 참조하 여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
먼저, 도 1 내지 도 7을 통해 본 발명의 실시 예에 따른 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치에 대하여 설명한다.
도 1은 본 발명의 실시 예에 따른 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치를 나타낸 블록구성도이다.
도 1에서와 같이 본 발명의 실시 예에 따른 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치(100)는, 프레임 입력부(110), 다운 샘플링부(120), 활성 이미지 생성부(130), 활성 영역 추출부(140), 행동 분류부(150) 및 경고 출력부(160)를 포함한다.
본 발명의 실시 예에 따른 운전자 행동 검출 장치(100)는 차량 옵션 기능으로 구현되도록 차량 제어 시스템의 일부 모듈이거나 별도의 단말일 수 있다. 또한, 프레임 입력부(110), 다운 샘플링부(120), 활성 이미지 생성부(130), 활성 영역 추출부(140), 행동 분류부(150) 및 경고 출력부(160)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어 질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.
또한, 운전자 행동 검출 장치(100)는 이동성을 갖거나 고정될 수 있다. 예를 들어 운전자 행동 검출 장치(100)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
또한, 운전자 행동 검출 장치(100)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 여기서 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
먼저 프레임 입력부(110)는 이미지 프레임을 입력받는다.
이때, 프레임 입력부(110)는 차량 내 구비되는 카메라, 비젼 센서 및 모션 인식 센서 중 어느 하나의 촬영 수단(200)에 의해 운전자가 촬영된 영상을 이미지 프레임 단위로 입력받는다.
도 2는 도 1의 프레임 입력부로 입력되는 이미지 프레임의 예시이다.
도 2에 예시한 바와 같이, 프레임 입력부(110)는 촬영 수단(200)에 의해 운전자가 촬영된 영상을 이미지 프레임 단위로 나누어 입력받는데, 자세히는 운전자의 행동 변화를 감지하기 위해 현재 프레임(tn)을 기준으로 현재 프레임(tn)과 직전 프레임(tn-1)을 입력받는다.
다운 샘플링부(120)는 이전 프레임과 현재 프레임의 해상도를 각각 다운 샘플링한다.
이때, 다운 샘플링부(120)는 이전 프레임과 현재 프레임의 해상도를 각각 다운시킨 후 설정 크기 이하의 움직임을 제거하는 스무딩 필터를 이용하여 다운 샘플링할 수 있다.
도 3은 본 발명의 실시 예에 따른 운전자 행동 검출 장치에서 스무딩 필터 적용 유무를 비교하여 예시한 도면이다.
도 3에 예시한 바와 같이, 다운 샘플링부(120)는 이전 프레임과 현재 프레임의 해상도를 각각 다운시킨 후 각각의 이미지 프레임에 스무딩 필터를 적용하는데, 자세히는 미세한 움직임(예를 들면, 도 3의 b)은 노이즈로 처리하기 위하여 스무딩 필터를 적용하여 미세한 움직임은 제거되도록 하고 비교적 큰 움직임(예를 들면, 도 3의 a)만 검출되도록 하는 것이 바람직하다.
활성 이미지 생성부(130)는 다운 샘플링된 이전 프레임과 현재 프레임의 각 컬러별 명암 값을 이용하여 활성 이미지를 생성한다.
도 4는 도 1의 활성 이미지 생성부가 활성 이미지를 생성하는 과정을 설명하기 위해 도시한 도면이다.
도 4에 도시한 바와 같이, 다운 샘플링된 이전 프레임(P)과 현재 프레임(C)을 각각 R,G,B 값으로 나누어, 이전 프레임(P)과 현재 프레임(C)의 각 컬러별 명암(R,G,B) 차이 값과 컬러 이미지를 흑백 이미지로 변환한 이미지의 명암 차이 값을 더하여 다음의 수학식 1에 의해 활성 이미지를 생성한다.
여기서 Rp, Gp, Bp는 각각 이전 프레임의 R,G,B 값이고, Rc, Gc, Bc 는 각각 현재 프레임의 R,G,B 값이다.
활성 영역 추출부(140)는 활성 이미지 생성부(130)에서 생성된 활성 이미지에 슬라이딩 윈도우(Sliding Window) 알고리즘을 이용하여 각 윈도우의 값이 가장 큰 활성 영역을 추출한다.
도 5는 도 1의 활성 영역 추출부가 슬라이딩 윈도우 알고리즘을 이용하여 활성 영역을 추출하는 과정을 설명하기 위해 도시한 도면이다.
도 5에 도시한 바와 같이, 기 설정된 크기의 윈도우(window)를 이용하여 윈도우의 중심 영역에 대한 판단값을 추출하되, 윈도우를 활성 이미지 내에서 설정 방향으로 슬라이딩 시키면서 활성 이미지의 모든 영역에 대한 판단값을 추출하여, 판단 값이 가장 큰 윈도우의 영역을 활성 영역으로 추출한다.
여기서 슬라이딩 윈도우알고리즘은 주어진 길이(n)를 가진 리스트에서 넓이(w)를 가진 창문(윈도우)를 움직이며 연산을 수행하는 방식을 의미한다.
행동 검출부(150)는 객체 분류 알고리즘을 이용하여 활성 영역 추출부(140)에서 추출된 활성 영역에 대한 운전자의 행동을 분류하여 검출한다.
이때, 행동 검출부(150)는 활성 영역 추출부(140)에서 추출된 활성 영역을 기 학습된 딥러닝 기반의 객체 분류 알고리즘에 입력하여 운전자의 행동을 분류하고, 분류된 행동을 검출한다.
여기서 딥러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 학습시키는 기계학습의 한 분야이다.
딥러닝 기법들로는 신경망(deep neural networks), 콘볼루션 신경망(convolutional deep neural networks), DBN(deep believe networks) 등과 같은 다양한 기법들이 컴퓨터비젼, 음성인식, 자연어처리, 음성 및 신호 처리 등의 분야에 적용되어 최첨단의 결과들을 보여준다.
마지막으로 경고 출력부(160)는 행동 검출부(150)를 통해 검출된 운전자의 행동이 기 분류된 위험 행동에 속하는 경우, 검출된 행동에 대응하는 경고 음성, 경고음, 경고등 및 경고 멘트 중 적어도 어느 하나를 출력한다.
이때, 위험 행동은 운전 중 휴대폰 사용, 흡연 및 음식물 섭취 등과 같은 행동으로 분류될 수 있으며 이 외에도 운전에 방해되는 다양한 행동이 추가될 수 있다. 예를 들어 운전자의 핸드폰 사용이 검출되는 경우, 경고 출력부(160)는 "운전 중 핸드폰 사용은 위험합니다."와 같은 경고 음성 및 경고 멘트를 출력하거나, 또는 경고음을 출력하거나 또는 전방에서 경고등을 점멸할 수도 있다.
또한, 경고 출력부(160)는 기 설정된 위험 단계에 따라 경고음 또는 경고 음성의 볼륨을 다르게 하고, 경고등 점멸 횟수를 다르게 하는 등 경고 수위를 단계별로 출력할 수도 있다.
도 6 및 도 7은 본 발명의 실시 예에 따라 운전자의 행동이 검출되는 과정을 설명하기 위해 도시한 도면이다.
본 발명의 실시 예에 따라 도 6에서와 같이 이전 프레임과 현재 프레임간 명암 변화량을 이용하여 운전자의 행동 변화가 일어난 영역을 추출하고, 추출된 영역을 도 7에서와 같이 기 학습된 딥러닝 기반의 객체 분류 알고리즘에 입력하여 운전자의 행동을 분류하고, 분류된 행동을 검출한다.
상술한 바와 같이, 본 발명의 실시 예에 따른 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치는 운전 중 운전자의 움직임이 적다는 특성을 이용하여 실시간으로 촬영되는 프레임 간의 명암 변화량으로부터 운전자의 행동 변화를 감지하고, 행동 변화가 감지된 부분에 대해 딥러닝 객체 분류 알고리즘을 이용하여 운전자의 행동을 검출함으로써 연산 시간이 빠르고 정확하여 객체 분류에 소요되는 비용과 시간을 절감할 수 있고, 차량 임베디드 환경에 적용하기 용이하다.
또한 본 발명의 실시 예에 따르면, 운전 중 흡연, 휴대폰 사용, 음식물 섭취 등과 같은 위험 행동을 검출하여 운전자에게 경고함으로써 안전한 주행을 도모할 수 있어 사고 위험을 방지할 수 있는 효과가 있다.
본 발명은 도면에 도시된 실시 예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 운전자 행동 검출 장치 110 : 프레임 입력부
120 : 다운 샘플링부 130 : 활성 이미지 생성부
140 : 활성 영역 추출부 150 : 행동 분류부
160 : 경고 출력부 200 : 촬영 수단

Claims (7)

  1. 이미지 프레임을 입력받는 프레임 입력부;
    상기 이미지 프레임 중 이전 프레임과 현재 프레임의 해상도를 각각 다운 샘플링하는 다운 샘플링부;
    상기 다운 샘플링된 이전 프레임과 현재 프레임의 각 컬러별 명암 값을 이용하여 활성 이미지를 생성하는 활성 이미지 생성부;
    상기 생성된 활성 이미지에 슬라이딩 윈도우 알고리즘을 이용하여 각 윈도우의 값이 가장 큰 활성 영역을 추출하는 활성 영역 추출부; 및
    객체 분류 알고리즘을 이용하여 상기 추출된 활성 영역에 대한 운전자의 행동을 분류하여 검출하는 행동 검출부를 포함하고,
    상기 다운 샘플링부는,
    상기 이전 프레임과 상기 현재 프레임의 해상도를 각각 다운시킨 후 설정 크기 이하의 움직임을 제거하는 스무딩 필터를 이용하여 다운 샘플링하는 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치.
  2. 제1항에 있어서,
    상기 프레임 입력부는,
    차량 내 구비되는 카메라, 비젼 센서 및 모션 인식 센서 중 어느 하나의 촬영 수단에 의해 운전자가 촬영된 영상을 이미지 프레임 단위로 입력받는 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 활성 이미지 생성부는,
    다음의 수학식에 의해 상기 활성 이미지를 생성하는 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치:

    여기서 Rp, Gp, Bp는 각각 이전 프레임의 R,G,B 값이고, Rc, Gc, Bc 는 각각 현재 프레임의 R,G,B 값이다.
  5. 제1항에 있어서,
    상기 활성 영역 추출부는,
    기 설정된 크기의 윈도우(window)를 이용하여 상기 윈도우의 중심 영역에 대한 판단값을 추출하되, 상기 윈도우를 상기 활성 이미지 내에서 설정 방향으로 슬라이딩 시키면서 상기 활성 이미지의 모든 영역에 대한 판단값을 추출하여, 판단 값이 가장 큰 윈도우의 영역을 활성 영역으로 추출하는 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치.
  6. 제1항에 있어서,
    상기 행동 검출부는,
    상기 추출된 활성 영역을 기 학습된 딥러닝 기반의 객체 분류 알고리즘에 입력하여 운전자의 행동을 분류하고, 분류된 행동을 검출하는 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치.
  7. 제1항에 있어서,
    상기 행동 검출부를 통해 검출된 운전자의 행동이 기 분류된 위험 행동에 속하는 경우, 상기 검출된 행동에 대응하는 경고 음성, 경고음, 경고등 및 경고 멘트 중 적어도 어느 하나를 출력하는 경고 출력부를 더 포함하는 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치.
KR1020210134866A 2021-10-12 2021-10-12 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치 KR102634012B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210134866A KR102634012B1 (ko) 2021-10-12 2021-10-12 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치
PCT/KR2022/015085 WO2023063649A1 (ko) 2021-10-12 2022-10-07 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210134866A KR102634012B1 (ko) 2021-10-12 2021-10-12 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치

Publications (2)

Publication Number Publication Date
KR20230051910A KR20230051910A (ko) 2023-04-19
KR102634012B1 true KR102634012B1 (ko) 2024-02-07

Family

ID=85988435

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210134866A KR102634012B1 (ko) 2021-10-12 2021-10-12 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치

Country Status (2)

Country Link
KR (1) KR102634012B1 (ko)
WO (1) WO2023063649A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017217472A (ja) * 2016-06-02 2017-12-14 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709420B (zh) * 2016-11-21 2020-07-10 厦门瑞为信息技术有限公司 一种监测营运车辆驾驶人员驾驶行为的方法
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN110956061B (zh) * 2018-09-27 2024-04-16 北京市商汤科技开发有限公司 动作识别方法及装置、驾驶员状态分析方法及装置
KR20200049451A (ko) * 2018-10-16 2020-05-08 삼성전자주식회사 콘볼루션 신경망 시스템 및 그것의 동작 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017217472A (ja) * 2016-06-02 2017-12-14 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
한국 공개특허공보 제10-2020-0049451호(2020.05.08.) 1부.*

Also Published As

Publication number Publication date
KR20230051910A (ko) 2023-04-19
WO2023063649A1 (ko) 2023-04-20

Similar Documents

Publication Publication Date Title
CN111274881B (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
CN108388834B (zh) 利用循环神经网络和级联特征映射的对象检测
CN111507170B (zh) 通过车对车连接警告驾驶员的异常状态的方法和装置
CN110532976B (zh) 基于机器学习和多特征融合的疲劳驾驶检测方法及***
US9881221B2 (en) Method and system for estimating gaze direction of vehicle drivers
Wang et al. Walksafe: a pedestrian safety app for mobile phone users who walk and talk while crossing roads
Chuang et al. Estimating gaze direction of vehicle drivers using a smartphone camera
Devapriya et al. Real time speed bump detection using Gaussian filtering and connected component approach
KR20210036955A (ko) 동작 인식 방법 및 장치, 운전자 상태 해석 방법 및 장치
CN111434553B (zh) 制动***、方法、装置、疲劳驾驶模型的训练方法和装置
WO2009084042A1 (en) Driver state monitoring system
WO2023124387A1 (zh) 摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品
KR20190047243A (ko) 카메라 렌즈 오염 경고 장치 및 방법
Tang et al. Real-time lane detection and rear-end collision warning system on a mobile computing platform
CN112277957B (zh) 一种用于驾驶员分心纠正的预警方法及其***、存储介质
CN112926510A (zh) 异常驾驶行为识别方法及装置、电子设备和存储介质
CN111062319B (zh) 一种基于主动红外图像的驾驶员打电话检测方法
CN110913209B (zh) 摄像头遮挡检测方法、装置、电子设备及监控***
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
KR102634012B1 (ko) 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치
KR20200005282A (ko) 미러리스 자동차의 측방 영상 처리 장치 및 방법
US9064158B2 (en) Vehicle surroundings monitoring device
CN110705416B (zh) 一种基于驾驶员面部图像建模的安全驾驶预警方法及***
CN112489363A (zh) 基于智能无线耳机的后方来车预警方法、设备及存储介质
KR101669447B1 (ko) 영상 기반의 운전자 졸음 인식 시스템 및 그 인식 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right