KR102314864B1 - 차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템 - Google Patents

차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템 Download PDF

Info

Publication number
KR102314864B1
KR102314864B1 KR1020210040751A KR20210040751A KR102314864B1 KR 102314864 B1 KR102314864 B1 KR 102314864B1 KR 1020210040751 A KR1020210040751 A KR 1020210040751A KR 20210040751 A KR20210040751 A KR 20210040751A KR 102314864 B1 KR102314864 B1 KR 102314864B1
Authority
KR
South Korea
Prior art keywords
vehicle
neural network
network model
state information
driving
Prior art date
Application number
KR1020210040751A
Other languages
English (en)
Inventor
김진복
이인섭
이윤희
홍현철
강지민
Original Assignee
주식회사 리트빅
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 리트빅 filed Critical 주식회사 리트빅
Priority to KR1020210040751A priority Critical patent/KR102314864B1/ko
Priority to PCT/KR2021/003886 priority patent/WO2022211140A1/ko
Application granted granted Critical
Publication of KR102314864B1 publication Critical patent/KR102314864B1/ko

Links

Images

Classifications

    • G06N3/0454—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 에지 딥러닝 구조에서 운전자 상태정보와 차량환경 상태정보와 차량주행 상태정보를 비롯한 차량운전 상태정보를 딥러닝 훈련시켜 신경망 모델을 형성하고 이 신경망 모델을 통해 안전운전 위협요인을 식별해내도록 구성함으로써 차량 주행 중에 운전자에게 영향을 미쳐 차량 안전운전 위협 상황을 유발하는 원인을 제거하고 차량 안전운전 효과를 높일 수 있는 에지 딥러닝 기반의 차량 안전운전 시스템에 관한 것이다. 본 발명에 따르면 운전자에게 영향을 미쳐 차량 안전운전 위협 상황을 유발하는 원인을 근원적으로 제거할 수 있는 장점이 있다. 또한, 딥러닝 구조를 통해 차량 운전 상황에 대한 신경망 모델 학습 및 적용을 적은 비용으로 효과적으로 달성할 수 있는 장점이 있다.

Description

차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템 {safe driving system of a vehicle by use of edge deep learning of driving status information}
본 발명은 일반적으로 차량 안전운전을 기술적으로 보조하기 위한 차량 안전운전 시스템에 관한 것이다.
특히, 본 발명은 에지 딥러닝 구조에서 운전자 상태정보와 차량환경 상태정보와 차량주행 상태정보를 비롯한 차량운전 상태정보를 딥러닝 훈련시켜 신경망 모델을 형성하고 이 신경망 모델을 통해 안전운전 위협요인을 식별해내도록 구성함으로써 차량 주행 중에 운전자에게 영향을 미쳐 차량 안전운전 위협 상황을 유발하는 원인을 제거하고 차량 안전운전 효과를 높일 수 있는 에지 딥러닝 기반의 차량 안전운전 시스템에 관한 것이다.
차량 안전운전을 기술적으로 보조하기 위해 DMS(Driver Monitoring System)가 사용되고 있다. 차량 실내의 운전자 전면에 감시용 카메라를 설치하고, 이 카메라의 촬영 영상에서 운전자 상태를 모니터링하여 안전운전을 위협하는 운전자의 행위, 예컨대 전방 미주시, 졸음, 멍한 상태, 흡연, 통화 등을 인식하면 알람 등을 통해 경고 메세지를 제공한다.
운전자의 상태를 인식하기 위해서는 카메라 촬영 영상에서 운전자의 얼굴 영역과 그 얼굴의 특징점(눈, 코, 입)을 추출한 후에 이들 특징점에 기초하여 운전자의 시선 방향, 눈동자 상태, 졸음 여부, 흡연 여부 등을 식별하는 방식이 주로 사용된다. 그에 따라, 기존의 DMS에서는 카메라 촬영 영상에서 특징점을 추출하고 운전자 상태를 식별하는 것에 관심이 집중되었다.
그런데, 종래의 접근 방식은 안전운전을 위협하는 운전자의 상태(현상)가 있는지 여부만 다루고 있을 뿐, 그 안전운전을 위협하는 상태를 유발한 원인을 제거하지 못하는 단점이 있다. 예를 들어 졸음운전이 식별된 경우에, 종래에는 운전자에게 졸음운전을 경고하는데 그칠 뿐, 그 졸음운전을 유발한 원인을 제거하지는 못하는 한계가 있다. 이러한 종래의 접근 방식으로는 차량 안전운전을 기술적으로 보조하는 목적을 충분히 달성하지 못한다.
본 발명의 목적은 일반적으로 차량 안전운전을 기술적으로 보조하기 위한 차량 안전운전 시스템을 제공하는 것이다.
특히, 본 발명의 목적은 에지 딥러닝 구조에서 운전자 상태정보와 차량환경 상태정보와 차량주행 상태정보를 비롯한 차량운전 상태정보를 딥러닝 훈련시켜 신경망 모델을 형성하고 이 신경망 모델을 통해 안전운전 위협요인을 식별해내도록 구성함으로써 차량 주행 중에 운전자에게 영향을 미쳐 차량 안전운전 위협 상황을 유발하는 원인을 제거하고 차량 안전운전 효과를 높일 수 있는 에지 딥러닝 기반의 차량 안전운전 시스템을 제공하는 것이다.
한편, 본 발명의 해결 과제는 이들 사항에 제한되지 않으며 본 명세서의 기재로부터 다른 해결 과제가 이해될 수 있다.
본 발명은 차량운전 상태정보를 이용하여 차량 주행 중의 안전운전 위협요인을 식별하여 운전자에게 알림으로써 차량 안전운전은 보조하기 위한 에지 딥러닝 기반의 차량 안전운전 시스템을 제공한다.
본 발명에 따른 에지 딥러닝 기반의 차량 안전운전 시스템은, 개별 차량에 장착되고, 해당 차량에 대해 차량운전 상태정보를 실시간으로 획득하고, 신경망 모델을 내장한 엣지 컴퓨팅부(130)를 구비하고, 그 실시간 획득된 차량운전 상태정보를 엣지 컴퓨팅부(130)의 신경망 모델에 입력하여 해당 차량 주행 중의 안전운전 위협요인을 식별하고 차량 운전자에게 알리는 차량 DMS 장치(100); 개별 차량에 장착된 차량 DMS 장치(100)로부터 차량운전 상태정보와 신경망 모델 데이터를 제공받아 차량운전 상태정보에 기초하여 차량 DMS 장치(100)의 신경망 모델을 딥러닝 훈련시켜 업데이트 신경망 모델을 생성한 후에 차량 DMS 장치(100)의 엣지 컴퓨팅부(130)로 업데이트 신경망 모델을 제공하는 클라우드 컴퓨터(200); 지역 별로 설치 운영되어 차량 DMS 장치(100)와 클라우드 컴퓨터(200) 사이의 데이터 송수신을 수집 중계하는 로컬 서버(300);를 포함하여 구성된다.
이때, 엣지 컴퓨팅부(130)는 그 실시간 획득하는 차량운전 상태정보로부터 제 1 훈련 데이터셋을 구성하고 신경망 모델에 대한 딥러닝 훈련 중 상대적으로 적은 연산량을 요구하는 제 1 훈련 부분을 수행하여 신경망 모델을 튜닝하도록 구성되고, 클라우드 컴퓨터(200)는 차량 DMS 장치(100)로부터 제공받는 차량운전 상태정보로부터 제 2 훈련 데이터셋을 구성하고 신경망 모델에 대한 딥러닝 훈련 중 상대적으로 많은 연산량을 요구하는 제 2 훈련 부분을 수행하여 업데이트 신경망 모델을 생성하도록 구성된다.
본 발명에서 엣지 컴퓨팅부(130)는 미리 설정된 제 1 시간구간 동안 그 실시간 획득하는 차량운전 상태정보로부터 제 1 훈련 데이터셋을 구성하고 신경망 모델에 대한 딥러닝 훈련 중 상대적으로 적은 연산량을 요구하는 제 1 훈련 부분을 수행하도록 구성되고, 클라우드 컴퓨터(200)는 미리 설정된 제 2 시간구간 동안(단, 제 2 시간구간은 제 1 시간구간보다 더 길게 설정됨) 차량 DMS 장치(100)로부터 제공받는 차량운전 상태정보로부터 제 2 훈련 데이터셋을 구성하고 신경망 모델에 대한 딥러닝 훈련 중 상대적으로 많은 연산량을 요구하는 제 2 훈련 부분을 수행하도록 구성될 수 있다.
또한 본 발명에서 엣지 컴퓨팅부(130)는 신경망 모델의 레이어 구조를 고정한 상태에서 노드간 연결 가중치에 대한 훈련을 수행하여 신경망 모델을 튜닝하도록 구성되고, 클라우드 컴퓨터(200)는 신경망 모델의 레이어 구조 및 노드간 연결 가중치 모두에 대한 훈련을 수행하여 업데이트 신경망 모델을 생성하도록 구성될 수 있다.
또한, 본 발명에서 엣지 컴퓨팅부(130)는 신경망 모델의 입력층 및 출력층 중 하나 이상에 관련된 레이어에 대한 훈련을 수행하여 신경망 모델을 튜닝하도록 구성되고, 클라우드 컴퓨터(200)는 신경망 모델의 은닉층에 관련된 레이어에 대한 훈련을 수행하여 업데이트 신경망 모델을 생성하도록 구성될 수 있다.
또한, 본 발명에서 엣지 컴퓨팅부(130)는 신경망 모델의 입력층 및 출력층 중 하나 이상에 관련된 레이어에 대한 훈련을 수행하여 신경망 모델을 튜닝하도록 구성되고, 클라우드 컴퓨터(200)는 신경망 모델 전체에 대한 훈련을 수행하여 업데이트 신경망 모델을 생성하도록 구성될 수 있다.
본 발명에서 차량 DMS 장치(100)는, 운전자 감시 카메라(111), 차량내부 환경센서(112), 차량주행 상태센서(113) 중 둘 이상을 구비하여 해당 차량에 대해 운전자 상태정보, 차량환경 상태정보, 차량주행 상태정보 중 둘 이상을 포함한 차량운전 상태정보를 실시간으로 획득하는 상태정보 획득부(110); 그 실시간 획득된 차량운전 상태정보를 신경망 모델에 입력하여 해당 차량 주행 중의 안전운전 위협요인을 출력받고 이를 차량 운전자에게 알리는 데이터 처리부(120); 신경망 모델을 내장하고, 데이터 처리부(120)로부터 차량운전 상태정보를 입력받아 신경망 모델에 의해 해당 차량 주행 중의 안전운전 위협요인을 도출하여 데이터 처리부(120)로 출력하고 차량운전 상태정보에 기초하여 신경망 모델에 대한 딥러닝 훈련 중 제 1 훈련 부분을 수행하여 신경망 모델을 튜닝하는 엣지 컴퓨팅부(130); 상태정보 획득부(110)에 의해 실시간 획득되는 차량운전 상태정보 및 데이터 처리부(120)에 의한 데이터 처리 결과를 임시 저장하는 데이터 저장부(140); 데이터 저장부(140)에 임시 저장되어 있는 데이터 및 엣지 컴퓨팅부(130)가 보유하는 신경망 모델의 데이터를 클라우드 컴퓨터(200)에 대해 전달하고 클라우드 컴퓨터(200)로부터 업데이트 신경망 모델을 제공받아 엣지 컴퓨팅부(130)로 전달하는 차량 통신부(150); 데이터 처리부(120)의 제어에 의해 안전운전 위협요인을 차량 운전자에게 출력하는 운전자 경보부(160);를 포함하여 구성될 수 있다.
한편, 본 발명에 따른 컴퓨터프로그램은 컴퓨터에 이상과 같은 차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템의 운영 방법을 실행시키기 위하여 매체에 저장된 것이다.
본 발명에 따르면 운전자의 평소 차량운전 환경에서 딥러닝 훈련을 거친 신경망 모델을 이용함으로써 차량 주행 중에 운전자에게 영향을 미쳐 차량 안전운전 위협 상황을 유발하는 원인을 근원적으로 제거할 수 있어 차량 안전운전 효과를 종래에 비해 높일 수 있는 장점이 있다.
또한, 본 발명에 따르면 차량적용 장치, 에지 컴퓨터, 클라우드 컴퓨터로 세분화된 딥러닝 구조를 통해 차량 운전 상황에 대한 신경망 모델 학습 및 적용을 적은 비용으로 효과적으로 달성할 수 있는 장점이 있다.
[도 1]은 본 발명에 따른 에지 딥러닝 기반의 차량 안전운전 시스템의 전체 구성을 나타내는 도면.
[도 2]는 본 발명에서 에지 딥러닝 구성의 제 1 실시예를 나타내는 도면.
[도 3]은 본 발명에서 에지 딥러닝 구성의 제 2 실시예를 나타내는 도면.
[도 4]는 본 발명에서 에지 딥러닝 구성의 제 3 실시예를 나타내는 도면.
[도 5]는 본 발명에서 차량 DMS 장치의 내부 구성을 나타내는 블록도.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 1]은 본 발명에 따른 에지 딥러닝 기반의 차량 안전운전 시스템의 전체 구성을 나타내는 도면이다.
본 발명은 딥러닝 훈련된 신경망 모델에 차량운전 상태정보을 입력하여 차량 주행 중의 안전운전 위협요인의 원인을 제거함으로써 차량 안전운전을 보조하는 에지 딥러닝 기반의 차량 안전운전 시스템이다.
예를 들어 운전자가 졸음 운전을 하는 경우에, 단순히 졸음 운전을 경고하는 것뿐만 아니라, 졸음의 원인이 이산화탄소 농도 때문인지, 졸릴 시간에 운전을 하고있기 때문인지, 운전 시간이 너무 길었기 때문인지 분석하여 알려줌으로써 원인까지 제거할 수 있도록 보조한다. 이를 위해, 해당 운전자의 평상시의 운전패턴과 운전 환경을 신경망 모델에 지속적으로 학습시킨다.
[도 1]을 참조하면, 본 발명에 따른 에지 딥러닝 기반의 차량 안전운전 시스템은 개별 차량에 탑재되는 차량 DMS 장치(100), 개별 차량의 신경망 모델에 대한 딥러닝 훈련을 수행하는 클라우드 컴퓨터(200), 그리고 이들 간의 데이터 송수신 중계를 담당하는 로컬 서버(300)를 포함한다.
먼저, 차량 DMS 장치(100)는 개별 차량에 탑재되어 해당 차량에 관련된 상태 정보를 실시간으로 획득하고 그 상태정보를 신경망 모델에 입력하여 안전운정 위협요인이 있는지 여부를 도출해낸다. 이를 위해, 차량 DMS 장치(100)는 카메라와 센서를 통해 차량운전 상태정보(운전자 상태정보, 차량환경 상태정보, 차량주행 상태정보)를 실시간으로 획득하고, 신경망 모델이 내장된 엣지 컴퓨팅부(130)를 구비한다. 또한, 차량 DMS 장치(100)는 그 실시간 획득된 차량운전 상태정보를 신경망 모델에 입력하여 차량 주행 중의 안전운전 위협요인을 식별하고 차량 운전자에게 적절히 알린다(예: 휴식 권장, 환기 유도 등).
다음으로, 클라우드 컴퓨터(200)는 클라우드의 코어(core)에 위치하여 차량 DMS 장치(100)에 대해 복잡한 알고리즘에 따른 딥러닝 훈련 연산을 처리함으로써 신경망 업데이트를 수행하는 장치이다. 이를 위해, 클라우드 컴퓨터(200)는 차량 DMS 장치(100)로부터 차량운전 상태정보와 신경망 모델 데이터를 제공받으며, 차량운전 상태정보에 기초하여 차량 DMS 장치(100)의 신경망 모델을 딥러닝 훈련하는 복잡한 알고리즘 연산을 수행하여 업데이트 신경망 모델을 생성한 후에 차량 DMS 장치(100)의 엣지 컴퓨팅부(130)로 제공한다. 이러한 업데이트를 통해 차량 DMS 장치(100)의 신경망 모델은 좀더 정확하게 작동하게 된다.
또한, 로컬 서버(300)는 지역 별로 설치 운영되어 해당 지역의 차량 DMS 장치(100)와 클라우드 코어의 클라우드 컴퓨터(200) 사이에서 데이터 송수신을 수집 중계하는 장치이다. 한편, [도 5]에 나타낸 바와 같이, 로컬 서버(300)의 중계 동작을 거치지 않고 차량 DMS 장치(100)와 클라우드 컴퓨터(200)가 직접 데이터를 송수신하도록 본 발명을 구성하는 것도 가능하다.
본 발명에서는 평소 차량운전 환경, 즉 운전자의 평소 운전패턴과 차량내 환경상태 또는 차량 주행 상태를 신경망 모델에 딥러닝 훈련시킨다. 운전자마다 차량 상태나 운전습관이 제각각이므로 미리 획일적으로 프로그래밍하는 것보다는 신경망 모델에 점차적으로 학습해나가는 것이 바람직하다. 특히, 딥러닝의 경우에는 관리자의 개입 없이도 스스로 카테고리를 분류해가는 능력이 있기 때문에 본 발명에서와 같이 차량 주행 상태를 정상 상태와 비정상 상태, 그리고 비정상으로 나아가고 있는 상태 등을 스스로 구별해낼 수 있다.
딥러닝(deep learning)은 훈련 과정과 적용 과정으로 이루어진다. 훈련 과정은 학습 데이터셋을 통해 신경망 모델을 학습시켜가는 과정이고, 적용 과정은 신경망 모델을 실제 상황에 활용하는 과정이다. 일반적으로, 훈련 과정은 연산량이 많고 적용 과정은 연산량이 적다.
본 발명에서는 차량 운행 환경을 감안하여 훈련 과정과 적용 과정을 분리하여 구성하였다. 훈련 과정은 클라우드 컴퓨터(200)와 엣지 컴퓨팅부(130)가 담당하고, 차량 DMS 장치(100)의 다른 구성요소가 적용 과정을 담당한다. 차량 내의 각종 상태정보를 획득하고 신경망 모델을 통해 안전운전 위협요인을 식별하여 운전자에게 알려주는 과정은 차량 DMS 장치(100)가 수행한다. 반면, 차량 내의 각종 상태정보를 이용하여 신경망 모델을 훈련시키는 것은 클라우드 컴퓨터(200)와 엣지 컴퓨팅부(130)가 수행한다. 이러한 분리를 통해 차량 전자제어장치(ECU)의 연산 부담을 줄일 수 있어 최종적으로는 가격을 낮출 수 있다.
본 발명에서는 운전자 상태정보에 기초하여 현재 운전자의 상태가 어떠한지 식별하도록 신경망 모델을 훈련시킨다. 즉, 카메라 영상에서 눈, 코, 입 등 사람이라고 인식할 수 있는 특징점을 인식하고 눈동자, 입, 얼굴 형태가 어떤 행동 패턴을 가질 때를 졸고 있는 것인지 판단 기준을 설정한다.
또한, 차량환경 상태정보에 기초하여 차량 내부의 운전 환경이 어떠한지 식별하도록 신경망 모델을 훈련시킨다. 즉, 차량내 환경(예: 이산화탄소 농도, 내부 온도)이 탑승 인원 수, 호흡량, 환기장치 작동여부에 따라 변화되는 패턴을 기준으로 정상적인 상태를 유지하는지, 빠르게 나빠지는지, 완만하게 나빠지는지 등에 대한 판단 기준을 설정한다.
또한, 차량주행 상태정보에 기초하여 차량 운전이 어떤 상황인지와 정상인지 아닌지도 식별하도록 신경망 모델을 훈련시킨다. 즉, 차량 속도가 가다서다를 반복하는지, 저속운행 하는지, 고속운행 하는지, 저속과 고속을 반복하는지, 급가속 급감속을 반복하는지에 따라 정체구간, 시내주행, 고속도로 주행, 졸음 운전, 난폭운전 등에 대한 판단 기준을 설정한다.
이와 같은 신경망 모델을 차량 DMS 장치(100)의 엣지 컴퓨팅부(130)에 구비함으로써 차량운전 상태정보에 따라 차량 주행 중의 안전운전 위협요인을 식별할 수 있도록 구성하였다. 또한, 엣지 컴퓨팅부(130)와 클라우드 컴퓨터(200)는 차량 DMS 장치(100)가 수집하는 차량운전 상태정보(운전자 상태정보, 차량환경 상태정보, 차량주행 상태정보)를 기반으로 반복적으로 추가 학습을 통해 신경망 모델을 개선(업데이트)해나가는 구성을 채택하였다.
이때, 차량 DMS 장치(100)에 구비된 엣지 컴퓨팅부(130)는 차량의 ECU 장치에 설치된 SoC 칩셋에서 뉴럴네트워크 프로세서 유닛(NPU)를 통해 사람의 신경망 회로와 동일한 개념으로 센서정보의 다양한 입력의 경우의 수를 빠르게 처리할 수 있도록 구현된 장치로 구현될 수 있다. 또한, 클라우드 컴퓨터(200)는 차량 DMS 장치(100)로부터 각종 데이터를 업로드 제공받아 상대적으로 장시간의 운전자 행동 패턴 및 장시간의 차량환경을 분석 학습하여 신경망 모델을 개선하고, 이를 통해 개선 학습한 신경망 모델을 개별 차량의 차량 DMS 장치(100)의 엣지 컴퓨팅부(130)로 제공함으로써 분석 성능을 향상시킨다.
본 발명에서는 신경망 모델에 대한 특히, 딥러닝 훈련 과정을 분리시켜 클라우드 컴퓨터(200)와 엣지 컴퓨팅부(130)로 분담시킨 에지 딥러닝 구조를 채택하는데, 이때 신경망 훈련 알고리즘에서 가장 복잡하여 연산량이 많은 과정은 클라우드 코어의 클라우드 컴퓨터(200)가 수행한다. 이를 위해, 본 발명에서 신경망 모델은 분리 훈련이 가능한 모델이 적용된 것으로 가정한다.
엣지 컴퓨팅부(130)는 클라우드 컴퓨터(200)보다는 연산 성능은 떨어지지만 가벼운 훈련 과정이 적용되어 차량운전 상태정보에 따라 즉각적으로 딥러닝 훈련이 이루어져 운전자에게 빠르게 적용할 수 있도록 한다. 반면에 클라우드 컴퓨터(200)는 고성능 장치로서 대규모 업데이트가 필요한 부분을 적용할 수 있도록 구성한다. 이러한 에지 딥러닝 구조에 따르면 신경망 모델의 훈련을 빠르게 달성할 수 있고 그 학습 결과를 차량에 신속하게 활용할 수 있다.
그에 따라, 엣지 컴퓨팅부(130)와 클라우드 컴퓨터(200)에 대해 상이한 딥러닝 훈련 정책을 적용한다. 엣지 컴퓨팅부(130)는 그 실시간 획득하는 차량운전 상태정보로부터 제 1 훈련 데이터셋을 구성하고 신경망 모델에 대한 딥러닝 훈련 중 상대적으로 적은 연산량을 요구하는 제 1 훈련 부분을 수행하여 신경망 모델을 튜닝하도록 구성한다. 반면, 클라우드 컴퓨터(200)는 차량 DMS 장치(100)로부터 제공받는 차량운전 상태정보로부터 제 2 훈련 데이터셋을 구성하고 신경망 모델에 대한 딥러닝 훈련 중 상대적으로 많은 연산량을 요구하는 제 2 훈련 부분을 수행하여 업데이트 신경망 모델을 생성하도록 구성한다.
즉, 엣지 컴퓨팅부(130)가 클라우드 컴퓨터(200)가 차량운전 상태정보(운전자 상태정보, 차량환경 상태정보, 차량주행 상태정보)에 기초하여 딥러닝 훈련을 수행하는 점에서는 공통되지만, 그 훈련 데이터셋(training dataset)은 바람직하게는 상이하게 설정된다. 이때, 엣지 컴퓨팅부(130)에 대해 더 적은 규모의 훈련 데이터셋을 구성한다. 또한, 엣지 컴퓨팅부(130)는 신경망 모델에 대한 상대적으로 작은 변화(튜닝)을 수행하는 반면, 클라우드 컴퓨터(200)는 신경망 모델에 대한 상대적으로 큰 변화(업데이트)를 수행하도록 구성된다. 이처럼 연산량의 측면에서 비교할 때, 엣지 컴퓨팅부(130)는 클라우드 컴퓨터(200)에 비해 상대적으로 적은 연산량을 요구하는 딥러닝 훈련 정책을 구성한다.
예를 들어, 엣지 컴퓨팅부(130)는 미리 설정된 제 1 시간구간(예: 1시간) 동안 그 실시간 획득하는 차량운전 상태정보로부터 제 1 훈련 데이터셋을 구성하고 신경망 모델에 대한 딥러닝 훈련 중 상대적으로 적은 연산량을 요구하는 제 1 훈련 부분을 수행하도록 구성될 수 있다. 이때, 클라우드 컴퓨터(200)는 미리 설정된 제 2 시간구간 동안(단, 제 2 시간구간은 제 1 시간구간보다 더 길게 설정됨; 예: 7일) 차량 DMS 장치(100)로부터 제공받는 차량운전 상태정보로부터 제 2 훈련 데이터셋을 구성하고 신경망 모델에 대한 딥러닝 훈련 중 상대적으로 많은 연산량을 요구하는 제 2 훈련 부분을 수행하도록 구성될 수 있다.
본 발명에서 엣지 컴퓨팅부(130)와 클라우드 컴퓨터(200)에 대해 상대적으로 상이한 연산량을 요구하는 딥러닝 훈련 정책을 구성한 세 가지 실시예를 [도 2] 내지 [도 4]에 제시한다. 이를 통해 엣지 컴퓨팅부(130)는 신경망 모델에 대한 상대적으로 작은 변화(튜닝)을 수행하고, 클라우드 컴퓨터(200)는 신경망 모델에 대한 상대적으로 큰 변화(업데이트)를 수행한다.
[도 2]는 본 발명에서 엣지 컴퓨팅부(130)와 클라우드 컴퓨터(200)에 의한 에지 딥러닝 구성의 제 1 실시예를 나타내는 도면이다.
[도 2]에서는 엣지 컴퓨팅부(130)는 신경망 모델의 레이어 구조를 고정한 상태에서 노드간 연결 가중치(connection weights)에 대한 훈련을 수행하여 신경망 모델을 튜닝하도록 구성된다. 이때, 클라우드 컴퓨터(200)는 신경망 모델의 레이어 구조(노드 구성) 및 노드간 연결 가중치 모두에 대한 훈련을 수행하여 업데이트 신경망 모델을 생성하도록 구성된다.
[도 3]은 본 발명에서 엣지 컴퓨팅부(130)와 클라우드 컴퓨터(200)에 의한 에지 딥러닝 구성의 제 2 실시예를 나타내는 도면이다.
엣지 컴퓨팅부(130)는 신경망 모델의 입력층(input layer) 및 출력층(output layer)에 관련된 레이어에 대한 훈련을 수행하여 신경망 모델을 튜닝하도록 구성된다. 입력층에 관련된 레이어([도 3]에서 하단 좌측) 및 출력층에 관련된 레이어([도 3]에서 하단 우측) 모두에 대한 훈련을 수행할 수도 있고, 이들 중에서 어느 하나에 대한 훈련만 수행할 수도 있다. 입력층 또는 출력층에 직접 연결되어 있는 은닉층의 첫번째 레이어와 마지막 레이어에 대해서는 엣지 컴퓨팅부(130)가 레이어 구조(노드 구성)을 변경하도록 구성할 수도 있고 변경하지 않도록 구성할 수도 있다. 이때, 클라우드 컴퓨터(200)는 신경망 모델의 은닉층(hidden layers)에 관련된 다수의 레이어에 대한 딥러닝 훈련을 수행하여 업데이트 신경망 모델을 생성하도록 구성된다.
[도 4]는 본 발명에서 엣지 컴퓨팅부(130)와 클라우드 컴퓨터(200)에 의한 에지 딥러닝 구성의 제 3 실시예를 나타내는 도면이다.
엣지 컴퓨팅부(130)는 신경망 모델의 입력층(input layer) 및 출력층(output layer)에 관련된 레이어에 대한 훈련을 수행하여 신경망 모델을 튜닝하도록 구성된다. 입력층에 관련된 레이어([도 3]에서 하단 좌측) 및 출력층에 관련된 레이어([도 3]에서 하단 우측) 모두에 대한 훈련을 수행할 수도 있고, 이들 중에서 어느 하나에 대한 훈련만 수행할 수도 있다. 이때, 클라우드 컴퓨터(200)는 신경망 모델 전체(overall structure of the neural network)에 대한 훈련을 수행하여 업데이트 신경망 모델을 생성하도록 구성된다.
[도 3]과 [도 4]의 딥러닝 훈련 정책에서는 엣지 컴퓨팅부(130)와 클라우드 컴퓨터(200)의 연산량에 큰 차이가 있다. 안전운전 알고리즘이 발전할수록 딥러닝 학습이 진행됨에 따라 신경망 모델의 레이어(layers)가 많아지는데, 레이어의 수가 증가할수록 은닉층에서는 컨넥션이 급격히 증가하며 훈련에 많은 컴퓨팅 파워가 필요하게 된다. 이러한 점을 감안하여 엣지 컴퓨팅부(130)는 신경망 모델의 입력층 및 출력층에 관련된 훈련을 수행하도록 구성하였다. 이를 통해, 다수의 차량 내에 개별적으로 장착되는 엣지 컴퓨팅부(130)를 효율적으로 운영할 수 있고 엣지 컴퓨팅부(130)에 대한 비용을 감소시킬 수 있다.
[도 5]는 본 발명에서 차량 DMS 장치(100)의 내부 구성을 나타내는 블록도이다. [도 5]를 참조하면, 차량 DMS 장치(100)는 상태정보 획득부(110), 데이터 처리부(120), 엣지 컴퓨팅부(130), 데이터 저장부(140), 차량 통신부(150), 운전자 경보부(160)를 포함하여 구성된다.
먼저, 상태정보 획득부(110)는 해당 차량에 대한 차량운전 상태정보를 실시간으로 획득하는 구성요소이다. 이를 위해, 상태정보 획득부(110)는 운전자 상태정보를 획득하기 위한 운전자 감시 카메라(111), 차량환경 상태정보를 획득하기 위한 차량내부 환경센서(112), 차량주행 상태정보를 획득하기 위한 차량주행 상태센서(113) 중 둘 이상을 구비한다. 본 발명은 단순히 운전자 얼굴 및 특징을 인식할 뿐 아니라 다양한 센서 데이터(차량 움직임 정보, 차량 내부 정보)를 신경망 모델에 입력하여 운전자 상태의 원인을 분석한다.
이때, 운전자 감시 카메라(111)는 조명의 영향을 적게 받기 위하여 적외선 조명과 적외선 카메라가 바람직하며, 카메라 촬영 영상을 통해 운전자의 상태를 인식한다. 운전자 상태 인식 기술은 종래에 구현되어 있고 본 발명의 핵심도 아니므로 이에 관한 구체적인 설명을 생략한다. 차량내부 환경센서(112)는 공기질 센서와 온도 센서 등을 통해 차량 내부의 이산화탄소 농도, 내부 온도 등의 정보를 획득하며, 차량주행 상태센서(113)는 차량의 주행 속도, 주행 시간, 창문 열림 등 차량의 주행 상태에 대한 정보를 획득한다.
데이터 처리부(120)는 상태정보 획득부(110)가 실시간 획득한 차량운전 상태정보를 신경망 모델에 입력하여 해당 차량 주행 중의 안전운전 위협요인을 출력받고 이를 차량 운전자에게 알리는 구성요소이다. 엣지 컴퓨팅부(130)에는 차량운전 상태정보로 딥러닝 학습된 신경망 모델이 구비되어 있는데, 데이터 처리부(120)는 상태정보 획득부(110)가 제공하는 차량운전 상태정보를 엣지 컴퓨팅부(130)의 신경망 모델에 입력함으로써 안전운전 위협요인(즉, 운전자의 상태 및 원인)을 도출하고 운전자에게 상태 이상을 알려주며 바람직하게는 원인 분석 결과도 알려준다. 또한, 데이터 처리부(120)는 차량운전 상태정보 및 데이터 처리 결과를 데이터 저장부(140)로 제공하여 저장되도록 한다.
엣지 컴퓨팅부(130)는 신경망 모델(neural network model)을 예컨대 컴퓨터 프로그램의 형태로 내장하고 신경망 모델에 관련된 각종 데이터 처리를 수행하는 구성요소이다. 엣지 컴퓨팅부(130)는 차량 ECU 장치의 SoC(System-on-Chip) 칩셋에서 뉴럴네트워크 프로세서 유닛(NPU)의 하드웨어로 구현될 수 있는데, 신경망 모델은 이 NPU의 하드웨어 회로 형태로 구현될 수도 있고 이 NPU 상에서 구동되는 컴퓨터 프로그램의 형태로 구현될 수도 있다.
엣지 컴퓨팅부(130)는 데이터 처리부(120)로부터 차량운전 상태정보를 입력받아 신경망 모델에 의해 해당 차량 주행 중의 안전운전 위협요인을 도출하여 데이터 처리부(120)로 출력한다. 또한, 엣지 컴퓨팅부(130)는 차량운전 상태정보에 기초하여 신경망 모델에 대한 딥러닝 훈련 중 상대적으로 적은 연산량을 요구하는 제 1 훈련 부분을 수행하여 신경망 모델을 튜닝한다.
실제 하드웨어 구현에 있어서 엣지 컴퓨팅부(130)가 차량운전 상태정보를 상태정보 획득부(110)로부터 직접 전달받는 것처럼 구현될 수도 있다. 하지만, 하드웨어 구현을 살펴보면, 데이터 처리부(120)와 엣지 컴퓨팅부(130)는 차량 ECU 장치에 함께 설치되어 있고, 상태정보 획득부(110)에서 차량 ECU 장치로 입력된 차량운전 상태정보가 데이터 처리부(120)와 엣지 컴퓨팅부(130)로 전달되는 것이다. 따라서, 엣지 컴퓨팅부(130)가 차량운전 상태정보를 데이터 처리부(120)로부터 전달받는 것으로 모델링할 수 있다.
본 발명에서 엣지 컴퓨팅부(130)는 데이터 처리부(120)에서 입력되는 차량운전 상태정보를 이용하여 평소에 신경망 모델을 딥러닝 훈련하는 한편, 차량운전 상태정보를 신경망 모델에 적용하여 차량 주행 중의 안전운전 위협요인을 도출하고 데이터 처리부(120)로 제공하고, 미리 설정된 기준에 따라 추가 학습이 필요한 데이터와 분석 결과를 데이터 저장부(140)에 전송한다.
데이터 저장부(140)는 상태정보 획득부(110)에 의해 실시간 획득되는 차량운전 상태정보 및 데이터 처리부(120)에 의한 데이터 처리 결과를 임시 저장하는 구성요소이다. 일반적으로 차량에 장착된 시스템은 주행 상황(예: 오지, 터널 등)에 의해 네트워크 접속이 보장되지 않기 때문에 데이터 저장부(140)는 센서 입력 및 데이터 처리 결과를 임시 저장하며 네트워크에 연결될 경우에 차량 통신부(150)를 통해서 외부로 데이터를 전송하는 역할을 한다.
차량 통신부(150)는 차량 DMS 장치(100)가 외부와 데이터 송수신할 수 있도록 통신 채널을 제공한다. 즉, 차량 통신부(150)는 데이터 저장부(140)에 임시 저장되어 있는 데이터 및 엣지 컴퓨팅부(130)가 보유하는 신경망 모델의 데이터를 클라우드 컴퓨터(200)에 대해 전달하고 클라우드 컴퓨터(200)로부터 업데이트 신경망 모델을 제공받아 엣지 컴퓨팅부(130)로 전달하는 구성요소이다. 이때, 차량 통신부(150)는 광대역 네트워크를 통해 클라우드 컴퓨터(200)와 직접 연결되는 방식으로 구성될 수도 있고, 근거리 네트워크로 로컬 서버(300)와 연결되는 방식으로 구성될 수도 있다. 또한, 차량 통신부(150)는 무선 네트워크가 바람직하지만 유선 네트워크를 배제하는 것은 아니다.
운전자 경보부(160)는 데이터 처리부(120)의 제어에 의해 안전운전 위협요인을 차량 운전자에게 시각, 청각, 촉각, 후각 등 인지 가능한 방식으로 출력하는 구성요소이다.
한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체로는 다양한 형태의 스토리지 장치가 존재하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태도 구현될 수 있다. 또한, 본 발명은 하드웨어와 결합되어 특정의 절차를 실행시키기 위하여 매체에 저장된 컴퓨터프로그램의 형태로 구현될 수도 있다.

Claims (7)

  1. 차량운전 상태정보를 이용하여 차량 주행 중의 안전운전 위협요인을 식별하여 운전자에게 알림으로써 차량 안전운전은 보조하기 위한 에지 딥러닝 기반의 차량 안전운전 시스템으로서,
    개별 차량에 장착되고, 해당 차량에 대해 차량운전 상태정보를 실시간으로 획득하고, 신경망 모델을 내장한 엣지 컴퓨팅부(130)를 구비하고, 상기 실시간 획득된 차량운전 상태정보를 상기 엣지 컴퓨팅부(130)의 상기 신경망 모델에 입력하여 해당 차량 주행 중의 안전운전 위협요인을 식별하고 차량 운전자에게 알리는 차량 DMS 장치(100);
    개별 차량에 장착된 상기 차량 DMS 장치(100)로부터 차량운전 상태정보와 신경망 모델 데이터를 제공받아 상기 차량운전 상태정보에 기초하여 상기 차량 DMS 장치(100)의 신경망 모델을 딥러닝 훈련시켜 업데이트 신경망 모델을 생성한 후에 상기 차량 DMS 장치(100)의 엣지 컴퓨팅부(130)로 상기 업데이트 신경망 모델을 제공하는 클라우드 컴퓨터(200);
    를 포함하여 구성되고,
    상기 엣지 컴퓨팅부(130)는 상기 실시간 획득하는 상기 차량운전 상태정보로부터 제 1 훈련 데이터셋을 구성하고 상기 신경망 모델의 레이어 구조를 고정한 상태에서 노드간 연결 가중치에 대한 훈련을 수행하도록 구성되고,
    상기 클라우드 컴퓨터(200)는 상기 차량 DMS 장치(100)로부터 제공받는 상기 차량운전 상태정보로부터 제 2 훈련 데이터셋을 구성하고 상기 신경망 모델의 레이어 구조 및 노드간 연결 가중치 모두에 대한 훈련을 수행하여 상기 업데이트 신경망 모델을 생성하도록 구성되는 차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템.
  2. 차량운전 상태정보를 이용하여 차량 주행 중의 안전운전 위협요인을 식별하여 운전자에게 알림으로써 차량 안전운전은 보조하기 위한 에지 딥러닝 기반의 차량 안전운전 시스템으로서,
    개별 차량에 장착되고, 해당 차량에 대해 차량운전 상태정보를 실시간으로 획득하고, 신경망 모델을 내장한 엣지 컴퓨팅부(130)를 구비하고, 상기 실시간 획득된 차량운전 상태정보를 상기 엣지 컴퓨팅부(130)의 상기 신경망 모델에 입력하여 해당 차량 주행 중의 안전운전 위협요인을 식별하고 차량 운전자에게 알리는 차량 DMS 장치(100);
    개별 차량에 장착된 상기 차량 DMS 장치(100)로부터 차량운전 상태정보와 신경망 모델 데이터를 제공받아 상기 차량운전 상태정보에 기초하여 상기 차량 DMS 장치(100)의 신경망 모델을 딥러닝 훈련시켜 업데이트 신경망 모델을 생성한 후에 상기 차량 DMS 장치(100)의 엣지 컴퓨팅부(130)로 상기 업데이트 신경망 모델을 제공하는 클라우드 컴퓨터(200);
    를 포함하여 구성되고,
    상기 엣지 컴퓨팅부(130)는 상기 실시간 획득하는 상기 차량운전 상태정보로부터 제 1 훈련 데이터셋을 구성하고 상기 신경망 모델의 입력층 및 출력층 중 하나 이상에 관련된 레이어에 대한 훈련을 수행하도록 구성되고,
    상기 클라우드 컴퓨터(200)는 상기 차량 DMS 장치(100)로부터 제공받는 상기 차량운전 상태정보로부터 제 2 훈련 데이터셋을 구성하고 상기 신경망 모델 전체에 대한 훈련을 수행하여 상기 업데이트 신경망 모델을 생성하도록 구성되는 차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템.
  3. 차량운전 상태정보를 이용하여 차량 주행 중의 안전운전 위협요인을 식별하여 운전자에게 알림으로써 차량 안전운전은 보조하기 위한 에지 딥러닝 기반의 차량 안전운전 시스템으로서,
    개별 차량에 장착되고, 해당 차량에 대해 차량운전 상태정보를 실시간으로 획득하고, 신경망 모델을 내장한 엣지 컴퓨팅부(130)를 구비하고, 상기 실시간 획득된 차량운전 상태정보를 상기 엣지 컴퓨팅부(130)의 상기 신경망 모델에 입력하여 해당 차량 주행 중의 안전운전 위협요인을 식별하고 차량 운전자에게 알리는 차량 DMS 장치(100);
    개별 차량에 장착된 상기 차량 DMS 장치(100)로부터 차량운전 상태정보와 신경망 모델 데이터를 제공받아 상기 차량운전 상태정보에 기초하여 상기 차량 DMS 장치(100)의 신경망 모델을 딥러닝 훈련시켜 업데이트 신경망 모델을 생성한 후에 상기 차량 DMS 장치(100)의 엣지 컴퓨팅부(130)로 상기 업데이트 신경망 모델을 제공하는 클라우드 컴퓨터(200);
    를 포함하여 구성되고,
    상기 엣지 컴퓨팅부(130)는 상기 실시간 획득하는 상기 차량운전 상태정보로부터 제 1 훈련 데이터셋을 구성하고 상기 신경망 모델의 입력층 및 출력층 중 하나 이상에 관련된 레이어에 대한 훈련을 수행하도록 구성되고,
    상기 클라우드 컴퓨터(200)는 상기 차량 DMS 장치(100)로부터 제공받는 상기 차량운전 상태정보로부터 제 2 훈련 데이터셋을 구성하고 상기 신경망 모델의 은닉층에 관련된 레이어에 대한 훈련을 수행하여 상기 업데이트 신경망 모델을 생성하도록 구성되는 차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템.
  4. 청구항 1 내지 청구항 3 중 어느 하나의 항에 있어서,
    상기 엣지 컴퓨팅부(130)는 미리 설정된 제 1 시간구간 동안 상기 실시간 획득하는 상기 차량운전 상태정보로부터 상기 제 1 훈련 데이터셋을 구성하고,
    상기 클라우드 컴퓨터(200)는 미리 설정된 제 2 시간구간 동안(단, 상기 제 2 시간구간은 상기 제 1 시간구간보다 더 길게 설정됨) 상기 차량 DMS 장치(100)로부터 제공받는 상기 차량운전 상태정보로부터 상기 제 2 훈련 데이터셋을 구성하는 것을 특징으로 하는 차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템.
  5. 삭제
  6. 삭제
  7. 청구항 1 내지 청구항 3 중 어느 하나의 항에 있어서,
    지역 별로 설치 운영되어 상기 차량 DMS 장치(100)와 상기 클라우드 컴퓨터(200) 사이의 데이터 송수신을 수집 중계하는 로컬 서버(300);
    를 더 포함하여 구성되는 차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템.
KR1020210040751A 2021-03-29 2021-03-29 차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템 KR102314864B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210040751A KR102314864B1 (ko) 2021-03-29 2021-03-29 차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템
PCT/KR2021/003886 WO2022211140A1 (ko) 2021-03-29 2021-03-30 차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210040751A KR102314864B1 (ko) 2021-03-29 2021-03-29 차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템

Publications (1)

Publication Number Publication Date
KR102314864B1 true KR102314864B1 (ko) 2021-10-19

Family

ID=78228041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210040751A KR102314864B1 (ko) 2021-03-29 2021-03-29 차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템

Country Status (2)

Country Link
KR (1) KR102314864B1 (ko)
WO (1) WO2022211140A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230139666A (ko) 2022-03-28 2023-10-05 부산대학교 산학협력단 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 장치 및 방법
KR102689115B1 (ko) * 2023-10-13 2024-07-26 주식회사 리트빅 엣지 클라우드 환경의 딥러닝 기반 가변형 3d 어라운드뷰 모니터링 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018027776A (ja) * 2016-08-16 2018-02-22 トヨタ自動車株式会社 運転者行動予測モデルの個人適合
KR20190095199A (ko) * 2019-07-26 2019-08-14 엘지전자 주식회사 졸음 운전을 방지하기 위한 방법, 시스템 및 차량
KR20190110068A (ko) * 2018-03-19 2019-09-27 에스알아이 인터내셔널 딥 신경망들의 동적 적응

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102061320B1 (ko) * 2018-10-25 2019-12-31 디토닉 주식회사 머신러닝 기반 멀티채널 차량 통신 시스템 및 방법
KR102239578B1 (ko) * 2019-05-02 2021-04-12 한국항공대학교산학협력단 임베디드 시스템에서의 심층 학습시 신경망의 네트워크 구조 분리 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018027776A (ja) * 2016-08-16 2018-02-22 トヨタ自動車株式会社 運転者行動予測モデルの個人適合
KR20190110068A (ko) * 2018-03-19 2019-09-27 에스알아이 인터내셔널 딥 신경망들의 동적 적응
KR20190095199A (ko) * 2019-07-26 2019-08-14 엘지전자 주식회사 졸음 운전을 방지하기 위한 방법, 시스템 및 차량

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230139666A (ko) 2022-03-28 2023-10-05 부산대학교 산학협력단 졸음운전 형태 분류 및 앙상블 딥러닝 기반의 졸음운전 인식을 위한 장치 및 방법
KR102689115B1 (ko) * 2023-10-13 2024-07-26 주식회사 리트빅 엣지 클라우드 환경의 딥러닝 기반 가변형 3d 어라운드뷰 모니터링 시스템

Also Published As

Publication number Publication date
WO2022211140A1 (ko) 2022-10-06

Similar Documents

Publication Publication Date Title
US11991194B2 (en) Cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion
Chan et al. A comprehensive review of driver behavior analysis utilizing smartphones
US7839292B2 (en) Real-time driving danger level prediction
Khodairy et al. Driving behavior classification based on oversampled signals of smartphone embedded sensors using an optimized stacked-LSTM neural networks
Fuletra et al. A survey on drivers drowsiness detection techniques
CN108791299A (zh) 一种基于视觉的驾驶疲劳检测及预警***及方法
JP2017211988A (ja) 階層型コンテキストアウェアによる手足の検出
US20090177602A1 (en) Systems and methods for detecting unsafe conditions
CN111126153B (zh) 基于深度学习的安全监测方法、***、服务器及存储介质
JP2007122362A (ja) ニューラルネットワークを用いた状態推定方法及びニューラルネットワークを用いた状態推定装置
Koay et al. Detecting and recognizing driver distraction through various data modality using machine learning: A review, recent advances, simplified framework and open challenges (2014–2021)
KR102314864B1 (ko) 차량운전 상태정보를 이용한 에지 딥러닝 기반의 차량 안전운전 시스템
CN115205729A (zh) 基于多模态特征融合的行为识别方法、***
CN113867527A (zh) 车窗控制方法、装置、电子设备及存储介质
Tibrewal et al. A deep learning approach to detect driver drowsiness
Taherifard et al. Attention-based event characterization for scarce vehicular sensing data
Vyas et al. Federated learning based driver recommendation for next generation transportation system
Vasudevan et al. Driver drowsiness monitoring by learning vehicle telemetry data
CN117542027A (zh) 基于非接触式传感器的机组失能状态监测方法
Neeraja et al. DL-Based Somnolence Detection for Improved Driver Safety and Alertness Monitoring
Bylykbashi et al. Effect of vehicle technical condition on real-time driving risk management in Internet of Vehicles: Design and performance evaluation of an integrated fuzzy-based system
Koochaki et al. Learn-able Evolution Convolutional Siamese Neural Network for Adaptive Driving Style Preference Prediction
Subbaiah et al. Driver drowsiness detection methods: A comprehensive survey
Ojha et al. Driver Drowsiness Detection Using Deep Learning
CN114475623A (zh) 车辆的控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant