KR20200087891A - 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법 - Google Patents

차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법 Download PDF

Info

Publication number
KR20200087891A
KR20200087891A KR1020180172440A KR20180172440A KR20200087891A KR 20200087891 A KR20200087891 A KR 20200087891A KR 1020180172440 A KR1020180172440 A KR 1020180172440A KR 20180172440 A KR20180172440 A KR 20180172440A KR 20200087891 A KR20200087891 A KR 20200087891A
Authority
KR
South Korea
Prior art keywords
vehicle
external
risk index
external vehicle
processor
Prior art date
Application number
KR1020180172440A
Other languages
English (en)
Other versions
KR102553053B1 (ko
Inventor
박동우
최희준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180172440A priority Critical patent/KR102553053B1/ko
Priority to CN201980081522.XA priority patent/CN113165646B/zh
Priority to EP19903942.1A priority patent/EP3842312A4/en
Priority to US17/283,881 priority patent/US11926315B2/en
Priority to PCT/KR2019/095052 priority patent/WO2020139063A1/ko
Publication of KR20200087891A publication Critical patent/KR20200087891A/ko
Application granted granted Critical
Publication of KR102553053B1 publication Critical patent/KR102553053B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/10—Buses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/12—Trucks; Load vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/36—Cycles; Motorcycles; Scooters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/112—Roll movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/12—Motorcycles, Trikes; Quads; Scooters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/14—Trucks; Load vehicles, Busses
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/90—Vehicles comprising electric prime movers
    • B60Y2200/91—Electric vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/90—Vehicles comprising electric prime movers
    • B60Y2200/92—Hybrid vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

차량 주변의 위험 요소를 감지하기 위한 전자 장치가 개시된다. 본 전자 장치는, 통신부, 적어도 하나의 컴퓨터 실행 가능 명령어를 저장하는 메모리, 적어도 하나의 컴퓨터 실행 가능 명령어를 실행하는 프로세서를 포함하며, 프로세서는, 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 통신부를 통해 수신하고, 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 외부 차량의 전복위험지수(Rollover Index)를 산출하고, 산출된 전복위험지수에 따라 기설정된 동작을 수행한다.

Description

차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법 { ELECTRONIC DEVICE FOR DETECTING RISK AROUND VEHICLE AND METHOD FOR CONTROLLING THEREOF }
본 개시는 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법에 대한 것으로, 더욱 상세하게는 차량에 탑재된 카메라를 통해 획득된 영상을 바탕으로 차량 주변에 있는 외부 차량의 전복위험지수를 산출할 수 있는 전자 장치 및 이의 제어방법에 대한 것이다.
일반적으로 차량이 롤오버(rollover)되는 경우, 재산피해는 물론 인명피해가 막대하다. 롤(Roll)은 차량의 폭방향의 거동을 지칭하는 것이고, 롤오버는 차량이 옆으로 움직이거나 전복되는 것을 뜻한다. 차량의 전복은, 일반적으로 차량이 선회할 때 차량의 무게중심이 선회방향에 대해 바깥쪽으로 이동하게 되고, 이에 의하여 선회 내측의 바퀴가 지면으로부터 떨어지게 될 때 발생하게 된다.
종래에는 차량의 전복을 방지하기 위해, 전복될 것으로 예측되는 상황에 차량의 운전자에게 적절한 경고를 제공하는 등의 방식이 이루어졌다. 전복의 위험은 차량에 구비된 각종 센서에 의해 감지 가능하였다.
그러나, 차량의 전복은, 전복이 발생한 차량뿐만 아니라 그 주변 차량에 입히는 피해도 매우 크다. 따라서, 자차량뿐만 아니라 외부 차량의 전복 위험도를 감지하는 것이 필요하다.
본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 차량에 탑재된 카메라를 통해 획득된 영상을 바탕으로 차량 주변의 위험 요소, 특히 차량 주변에 있는 외부 차량의 전복위험지수를 산출할 수 있는 전자 장치 및 이의 제어방법을 제공함에 있다.
특히, 주행 중인 차량에 탑재된 카메라로부터 획득된 영상으로부터 주행 중인 차량의 전방 또는 후방, 측면에 인접하여 위치한 차량들의 전복위험지수를 산출하고, 전복위험지수에 따라 차량의 전복가능성을 판단하여 전복가능성이 있는 차량을 고려한 차량의 주행 전략을 수립하고, 차량을 수립된 주행 전략에 따라 구동하도록 제어하는 전자 장치 및 제어방법을 제공함에 있다.
본 개시의 일 실시 예에 따른, 차량 주변의 위험 요소를 감지하기 위한 전자 장치는, 통신부, 적어도 하나의 컴퓨터 실행 가능 명령어를 저장하는 메모리, 상기 적어도 하나의 컴퓨터 실행 가능 명령어를 실행하는 프로세서를 포함하며, 상기 프로세서는, 상기 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 상기 통신부를 통해 수신하고, 상기 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 상기 외부 차량의 전복위험지수(Rollover Index)를 산출하고, 상기 산출된 전복위험지수에 따라 기설정된 동작을 수행할 수 있다.
이 경우, 상기 프로세서는, 상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 전고가 기 설정된 높이 이상인 외부 차량을 식별하고, 상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출할 수 있다.
이 경우, 상기 프로세서는, 인공지능 알고리즘에 의해 학습된 제1 인공지능 모델에 상기 복수의 외부 차량의 영상을 입력하여 상기 복수의 외부 차량의 유형에 대한 정보를 획득하고, 상기 획득된 정보를 바탕으로 상기 복수의 외부 차량 중 전고가 상기 기 설정된 높이 이상인 외부 차량을 식별할 수 있다.
한편, 상기 프로세서는, 상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하고, 상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출할 수 있다.
이 경우, 상기 프로세서는, 상기 차량이 현재 위치한 곳의 지도 정보를 획득하고, 상기 획득한 지도 정보에 기초하여 상기 복수의 외부 차량 중 상기 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별할 수 있다.
한편, 상기 프로세서는, 인공지능 알고리즘에 의해 학습된 제2 인공지능 모델에 상기 외부 차량의 영상을 입력하여 상기 외부 차량의 롤각(roll angle)을 획득하고, 상기 획득한 롤각을 기초로 상기 외부 차량의 전복위험지수를 산출할 수 있다.
한편, 상기 프로세서는, 인공지능 알고리즘에 의해 학습된 제1 인공지능 모델에 상기 외부 차량의 영상을 입력하여 상기 외부 차량의 유형에 대한 정보를 획득하고, 상기 외부 차량의 유형에 대한 정보를 바탕으로 상기 외부 차량에 대한 복수의 특성 파라미터를 획득하고, 상기 복수의 특성 파라미터에 기초하여 상기 외부 차량의 전복위험지수를 산출할 수 있다.
이 경우, 상기 외부 차량에 대한 복수의 특성 파라미터는, 상기 외부 차량의 질량, 롤댐핑계수, 롤탄성계수 및 윤거를 포함할 수 있다.
한편, 상기 프로세서는, 상기 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우, 사용자에게 알림을 제공할 수 있다.
이 경우, 상기 프로세서는, 상기 알림 제공 이후 기 설정된 시간 내에 기 설정된 사용자 액션이 없는 것으로 판단되면, 상기 외부 차량으로부터 회피하도록 상기 차량을 제어할 수 있다.
한편, 본 개시의 일 실시 예에 따른, 차량 주변의 위험 요소를 감지하기 위한 전자 장치를 제어하는 방법은, 상기 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 수신하는 단계, 상기 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 상기 외부 차량의 전복위험지수(Rollover Index)를 산출하는 단계 및 상기 산출된 전복위험지수에 따라 기설정된 동작을 수행하는 단계를 포함한다.
이 경우, 상기 전복위험지수를 산출하는 단계는, 상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 전고가 기 설정된 높이 이상인 외부 차량을 식별하는 단계 및 상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출하는 단계를 포함할 수 있다.
이 경우, 상기 식별하는 단계는, 인공지능 알고리즘에 의해 학습된 제1 인공지능 모델에 상기 복수의 외부 차량의 영상을 입력하여 상기 복수의 외부 차량의 유형에 대한 정보를 획득하고, 상기 획득된 정보를 바탕으로 상기 복수의 외부 차량 중 전고가 상기 기 설정된 높이 이상인 외부 차량을 식별할 수 있다.
한편, 상기 전복위험지수를 산출하는 단계는, 상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하는 단계 및 상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출하는 단계를 포함할 수 있다.
이 경우, 상기 식별하는 단계는, 상기 차량이 현재 위치한 곳의 지도 정보를 획득하고, 상기 획득한 지도 정보에 기초하여 상기 복수의 외부 차량 중 상기 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별할 수 있다.
한편, 상기 전복위험지수를 산출하는 단계는, 인공지능 알고리즘에 의해 학습된 제2 인공지능 모델에 상기 외부 차량의 영상을 입력하여 상기 외부 차량의 롤각(roll angle)을 획득하고, 상기 획득한 롤각을 기초로 상기 외부 차량의 전복위험지수를 산출할 수 있다.
한편, 상기 전복위험지수를 산출하는 단계는, 인공지능 알고리즘에 의해 학습된 제1 인공지능 모델에 상기 외부 차량의 영상을 입력하여 상기 외부 차량의 유형에 대한 정보를 획득하고, 상기 외부 차량의 유형에 대한 정보를 바탕으로 상기 외부 차량에 대한 복수의 특성 파라미터를 획득하고, 상기 복수의 특성 파라미터에 기초하여 상기 외부 차량의 전복위험지수를 산출할 수 있다.
이 경우, 상기 외부 차량에 대한 복수의 특성 파라미터는, 상기 외부 차량의 질량, 롤댐핑계수, 롤탄성계수 및 윤거를 포함할 수 있다.
한편, 상기 기설정된 동작을 수행하는 단계는, 상기 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우, 사용자에게 알림을 제공할 수 있다.
이 경우, 상기 기설정된 동작을 수행하는 단계는, 상기 알림 제공 이후 기 설정된 시간 내에 기 설정된 사용자 액션이 없는 것으로 판단되면, 상기 외부 차량으로부터 회피하도록 상기 차량을 제어할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 차량을 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 차량의 구성을 설명하기 위한 블럭도,
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블럭도,
도 4는 스마트폰으로 구현된 본 개시의 일 실시 예에 따른 전자 장치를 나타낸 도면,
도 5 내지 도 6은 카메라를 통해 획득된 영상에서 전복위험도가 높은 차량에 ROI(Region Of Interest)를 설정하는 본 개시의 다양한 실시 예를 설명하기 위한 도면,
도 7은 본 개시의 일 실시 예에 따른 전자 장치의 제어방법을 설명하기 위한 흐름도,
도 8은 본 개시의 또 다른 실시 예에 따른 전자 장치의 제어방법을 설명하기 위한 흐름도,
도 9는 본 개시의 일 실시 예에 따른 인공지능 모듈을 설명하기 위한 도면,
도 10은 본 개시의 일 실시 예에 따른 학습부의 블록도, 그리고
도 11은 본 개시의 일 실시 예에 따른 분석부의 블록도 이다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
본 문서에서 사용된 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 개시에서 기술되는 차량은, 예컨대, 승용차, 트럭, 오토바이, 버스 등과 같은 것일 수 있다. 본 개시에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다. 차량은 운전자의 조작 없이 주행환경을 인식하고 차량을 제어함으로써 스스로 운행할 수 있는 자율주행차(Autonomous Vehicle) 또는 무인 자동차(Unmanned Vehicle, Driverless Car)일 수 있다. 또는 차량은 운전자 조작에 의해 주행하는 수동 조작 차량이거나, 수동 조작 및 자율 주행 방식이 조합된 차량일 수 있다.
본 개시에서는 주행 중인 차량의 전복에 대한 위험성을 판단할 수 있는 지수로서, 전복위험지수를 이용한다. 전복위험지수는 차량 고유의 특성파라미터 값 및 차량의 롤각, 롤 방향 각도의 변화율을 이용해 산출할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 차량(1000)의 외관을 도시한 도면이다.
차량(1000)의 전방, 측방 및 후방 중 적어도 하나에 적어도 하나의 카메라가 배치될 수 있다. 전방 카메라는 차량(1000)의 전방(10)을 촬영하도록 배치될 수 있고, 측방 카메라는 차량(1000)의 측방(20, 30)을 촬영하도록 배치될 수 있고, 후방 카메라는 차량(1000)의 후방(40)을 촬영하도록 배치될 수 있다.
이와 같이 차량(1000)에 구비된 카메라를 통해 획득된 영상을 바탕으로, 차량(1000)은 차량(1000)의 전방 또는 후방, 측면에 인접하여 위치한 차량들의 전복위험지수를 산출하고, 전복위험지수를 기 설정된 전복위험지수와 비교하여 전복 위험 여부를 판단하고, 전복 위험이 있는 차량을 고려한 차량의 주행 전략을 수립하고, 수립된 주행 전략에 따라 구동하도록 차량을 제어할 수 있다.
이하 도 2를 참고하여 차량(1000)의 구성에 대해 구체적으로 설명하도록 한다.도 2는 본 개시의 일 실시 예에 따른 차량(1000)의 구성을 설명하기 위한 블럭도이다.
일 실시 예에 따르면, 차량(1000)은 컴퓨팅 장치(210), 센싱부(220), 차량 구동부(230), 출력부(240), 사용자 입력부(250), 무선 통신부(260)를 포함할 수 있다. 차량(1000)은 실시 형태에 따라, 도 2에 도시된 구성들 중 일부를 불포함하거나, 도시되지 않은 다른 구성을 더 포함할 수 있다.
컴퓨팅 장치(210)는 프로세서(110) 및 메모리(120)를 포함할 수 있다. 메모리(120)는 내장 메모리 또는 외장 메모리를 포함할 수 있다. 메모리(120)는 프로세서(110)에 의해 액세스되며, 프로세서(110)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 메모리(120)는 프로세서(110)에 의해 실행 가능한 인스트럭션들(instructions)을 저장할 수 있다.
프로세서(110)는 차량(1000)에 포함된 다수의 구성들을 제어할 수 있고 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(110)는 메모리(120)에 저장된 인스트럭션들을 실행하여 다양한 기능을 수행할 수 있다. 프로세서(110)는 CPU(central processing unit) 또는 GPU(graphics-processing unit)이거나 둘 다일 수 있다. 프로세서(110)는 적어도 하나의 범용 프로세서(general processor), 디지털 신호 프로세서(digital signal processor), ASIC(Application specific integrated circuit), SoC(system on chip), MICOM(Microcomputer) 등으로 구현될 수 있다.
센싱부(220)는 차량(1000)와 관련한 다양한 정보를 획득하기 위한 구성이다. 센싱부(220)는 예컨대 도 2에 도시된 바와 같이 GPS 모듈(221), 레이더(RADAR, radio detection and ranging) 모듈(222), 라이더(LIDAR, light detection and ranging) 모듈(223), 카메라(224), 차량 상태 센싱 모듈(225)을 포함할 수 있다.
GPS 모듈(221)은 차량(1000)의 위치에 대한 정보를 획득하기 위한 회로(circuitry)를 포함한다. 프로세서(110)는 GPS 모듈(221)을 이용하여, GPS 위성에서 보내는 신호를 바탕으로 차량(1000)의 위치에 대한 정보를 획득할 수 있다.
레이더 모듈(222)은 전파를 송신하고, 객체들(예를 들면, 외부 차량, 가로수, 가로등, 신호등, 교통표지판 등)로부터 반사되는 전파를 수신하기 위한 회로(circuitry)를 포함한다. 프로세서(110)는 수신된 전파를 바탕으로 차량(1000)과 객체와의 거리 및 상대 속도에 대한 정보를 획득할 수 있다.
라이더 모듈(223)은 광(light)을 송신하고, 객체들로부터 반사되는 광을 수신하기 위한 회로(circuitry)를 포함한다. 프로세서(110)는 수신된 광을 바탕으로 차량(1000)과 객체와의 거리 및 상대 속도에 대한 정보를 획득할 수 있다.
카메라(224)는 차량(1000) 주변의 환경을 촬영하기 위한 구성이다. 카메라(224)는 예컨대 전방 카메라, 후방 카메라 및 측방 카메라 중 적어도 하나를 포함할 수 있다.
전방 카메라는 차량(1000)의 전방을 촬영하도록 배치될 수 있다. 전방 카메라는 두 개의 렌즈를 포함하는 스테레오 카메라일 수 있다. 하나의 렌즈를 가지는 모노 카메라로 구현되는 것도 가능하다.
측방 카메라는 차량(1000)의 측방을 촬영하도록 배치될 수 있다. 측방 카메라는 차량(1000)의 좌측 및/또는 우측에 배치될 수 있다. 측방 카메라도 스테레오 카메라 또는 모노 카메라로 구현될 수 있다.
후방 카메라는 차량(1000)의 후방을 촬영하도록 배치될 수 있다. 후방 카메라도 스테레오 카메라 또는 모노 카메라로 구현될 수 있다.
프로세서(110)는 카메라(224)를 통해 획득된 영상 내 포함된 객체와 차량(1000)의 상대 속도, 객체와 차량(1000)의 거리를 식별할 수 있다.
일 실시 예에 따르면, 프로세서(110)는 스테레오 카메라로 구현된 카메라(224)를 통해 획득된 영상으로부터 스테레오 매칭(stereo matching) 기법을 통해 깊이 맵을 획득할 수 있다. 깊이 맵을 바탕으로 객체와의 거리, 객체와의 상대 속도, 복수의 객체 간의 거리를 식별할 수 있다.
또 다른 실시 예에 따르면, 프로세서(110)는 모노 카메라로 구현된 카메라(224)을 통해 획득된 영상 내의 객체의 크기를 기초로 객체와의 거리, 객체의 크기 변화를 기초로 상대 속도를 식별할 수 있다. 예컨대, 영상 내에서 객체 크기와 객체와의 거리 간의 관계를 학습시킨 인공지능 모델을 이용하여 모노 카메라를 통해 획득한 영상으로 객체와의 거리를 식별할 수 있다. 이러한 인공지능 모델은 영상 내에서 객체의 크기와, 레이더 모듈(222) 또는 라이더 모듈(223)를 통해 식별된 객체와의 거리 간의 관계를 학습시켜 생성할 수 있다.
차량 상태 센싱 모듈(225)은 차량(1000)의 각종 상황을 센싱하기 위한 구성이다. 차량 상태 센싱 모듈(225)은 차량(1000)의 속도를 측정하기 위한 속도 센서, 차량(1000)의 요레이트(회전 각속도)를 측정하기 위한 요 센서(yaw sensor), 차량의 각속도를 측정하기 위한 자이로 센서(gyro sensor), 온도 센서, 습도 센서 등을 포함할 수 있다. 이 밖에도 다양한 센서가 포함될 수 있다.
차량 구동부(230)는 차량(1000)의 운행과 관련한 각종 구성을 제어할 수 있다.
차량 구동부(230)는 조향 제어 모듈(231), 변속 제어 모듈(232)을 포함할 수 있다.
조향 제어 모듈(231)은 차량(1000)의 조향 바퀴의 방향 전환에 대한 제어를 수행할 수 있다. 조향 바퀴는 조향 입력에 따라 방향이 전환되는 바퀴로서, 스티어링 휠에 의한 사용자의 조향 입력에 따라 조향 바퀴는 왼쪽 또는 오른쪽 방향으로 전환할 수 있다. 스티어링 휠을 통한 사용자의 수동 조작이 없이도, 특정한 상황에서 프로세서(110)는 조향 제어 모듈(231)을 제어하여 조향 바퀴의 방향을 전환할 수 있다. 예컨대, 프로세서(110)는 외부 차량의 전복 위험이 감지된 상황에서 조향 바퀴의 방향을 전환시키도록 조향 제어 모듈(231)을 제어할 수 있다.
변속 제어 모듈(232)은 차량(1000)의 속도에 대한 제어를 수행할 수 있다. 변속 제어 모듈은 차량(1000)이 가속 또는 감속되도록 제어할 수 있다. 수동 방식에 의하면 사용자는 가속 페달 또는 브레이크 페달을 밟아 차량(1000)의 속도를 제어할 수 있다. 이러한 수동의 사용자 조작 없이도, 특정한 상황에서, 프로세서(110)는 변속 제어 모듈(232)을 제어하여, 차량(1000)의 속도를 감속하거나 가속시킬 수 있다. 예컨대, 프로세서(110)는 외부 차량의 전복 위험이 감지된 상황에서 차량(1000)이 가속 또는 감속되도록 변속 제어 모듈(232)을 제어할 수 있다.
이와 같이 프로세서(110)는 외부 차량에 전복 위험이 있는 경우에 조향 제어 모듈(231) 및 변속 제어 모듈(232) 중 적어도 하나를 제어하여 차량(1000)이 전복 가능성이 있는 외부 차량을 회피하도록 할 수 있다.
출력부(240)는 디스플레이(241), 스피커(242) 및 햅틱 모듈(243)을 포함할 수 있다.
디스플레이(241)는 영상을 표시하기 위한 구성으로서, 액정 디스플레이(Liquid Crystal Display: LCD) 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED)를 포함할 수 있다. 실시 예에 따라, 디스플레이(241)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이(241)가 HUD로 구현되는 경우, 차량(1000)의 윈드 쉴드(windshield)에 구비되는 투명 디스플레이를 통해 정보를 출력할 수 있다.
스피커(242)는 사운드를 출력하기 위한 구성이다. 햅틱 모듈(243)은 촉각적인 출력을 발생시키기 위한 회로를 포함한다. 예컨대 햅틱 모듈은 차량(1000)의 스티어링 휠, 안전 벨트, 시트를 진동시킬 수 있다.
프로세서(110)는 외부 차량에 전복 위험이 있는 경우에 출력부(240)를 제어하여 사용자에게 위험 상황을 알릴 수 있다. 예컨대, 프로세서(110)는 외부 차량에 전복 위험이 있는 경우에 위험 상황을 알리는 정보를 표시하도록 디스플레이(241)를 제어할 수 있다. 또 다른 예로, 프로세서(110)는 외부 차량에 전복 위험이 있는 경우에 경고음을 출력하도록 스피커(242)를 제어할 수 있다. 또 다른 예로, 프로세서(110)는 외부 차량에 전복 위험이 있는 경우에 차량(1000)의 스티어링 휠, 안전 벨트 및 시트 중 적어도 하나를 진동시키도록 햅틱 모듈(243)을 제어할 수 있다.
사용자 입력부(250)는 사용자 입력을 받기 위한 구성으로, 버튼, 터치 패널 등과 같은 입력 장치를 포함할 수 있다. 일 실시 예에 따르면, 차량(1000)은 터치 패널과 디스플레이(241)가 결합된 터치 스크린을 포함할 수 있다.
프로세서(110)는 사용자 입력부를 통해 입력되는 사용자 입력에 기초하여 차량(1000)의 기능들을 제어할 수 있다.
무선 통신부(260)는 외부 장치와 통신을 수행하기 위한 구성이다. 무선 통신부(260)는 블루투스, IEEE 802.11(IEEE 802.11 개정들을 포함함)에 기술된 통신 프로토콜들, 셀룰러 기술(예를 들어, GSM, CDMA, UMTS, EV-DO, WiMAX, 또는 LTE), 지그비(Zigbee), 전용 단거리 통신(DSRC, Dedicated Short Range Communications), 및 무선 주파수 식별(RFID, Radio Frequency Identification) 통신과 같은 무선 통신에 따라 통신하도록 구성될 수 있다.
예컨대 무선 통신부(260)는 차량(1000) 주행 중에 차량(1000) 주변에 존재하는 외부 차량, 각종 서버, 시스템 등과 실시간으로 접속하여 데이터를 주고 받을 수 있다.
무선 통신부(260)를 통해 다양한 외부 장치와 통신을 수행함으로써, 차량(1000)은 V2X(Vehicle to Everything)를 구현할 수 있다. V2X는 자동차와 자동차(V2V, Vehicle to Vehicle), 자동차와 인프라기지국(V2I, Vehicle to Infrastructure), 자동차와 보행자(V2P, Vehicle to Pedestrian), 자동차와 네트워크(V2N, Vehicle to Network), 자동차와 클라우드(V2C, Vehicle to Cloud) 등과 같은 정보교환을 위한 무선통신기술을 통칭하는 개념이다.
프로세서(110)는 메모리(120)에 저장된 컴퓨터 실행 가능 명령어를 실행함으로써, 차량(1000)의 외부를 촬영하도록 배치된 카메라(224)를 통해 획득된 영상을 통신부(130)를 통해 수신하고, 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 외부 차량의 전복위험지수(Rollover Index)를 산출하고, 산출된 전복위험지수에 따라 기설정된 동작을 수행할 수 있다.
여기서 기 설정된 동작은 위험을 알리기 위한 정보를 표시하도록 디스플레이(241)를 제어하는 동작, 위험 알림음을 출력하도록 스피커(242)를 제어하는 동작, 차량(1000)의 주행 전략을 수립하여 수립된 주행 전략에 대한 정보를 표시하도록 디스플레이(241)를 제어하는 동작, 수립된 주행 전략에 따라 차량 구동부(230)를 제어하는 동작 중 적어도 하나를 포함할 수 있다.
프로세서(110)가 전복위험지수를 산출하는 방법에 대해선 이하에서 좀 더 구체적으로 설명하도록 한다.
차량(1000)의 구성들은 시스템 버스, 네트워크 또는 기타 통신 방식을 통해 서로 통신할 수 있다.
한편, 차량(1000)의 구성들이 차량(1000)에 통합된 것으로 도시되었으나, 일부 구성은 차량(1000)에 탈착 가능하능하게 장착되거나, 또는 유선, 무선 연결 방식으로 차량(1000)에 연결될 수 있다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치(100)를 설명하기 위한 도면이다.
전자 장치(100)는 앞서 설명한 컴퓨팅 장치(210)를 포함할 수 있다. 즉, 전자 장치(100)는 프로세서(110) 및 메모리(120)를 포함할 수 있으며, 통신부(130)를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 차량(1000)과 별도의 장치로 구현되어, 차량(1000)의 구성들과 통신부(130)를 통해 유선 또는 무선 통신 방식으로 연결될 수 있고, 차량(1000)의 구성들을 제어할 수 있다. 예컨대, 전자 장치(100)는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 웨어러블 장치(wearable device) 등으로 구현될 수 있다.
일 실시 예에 따르면, 통신부(130)는 근거리 통신을 수행할 수 있다. 근거리 통신의 예로, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 등이 있다.
도 4는 전자 장치(100)가 차량과 별도의 장치로 구현된 예로서, 스마트 폰으로 구현된 경우를 도시한 것이다. 예컨대, 사용자가 스마트폰으로 구현된 전자 장치(100)를 가지고 차량(1000)에 탑승한 경우, 전자 장치(100)는 자동으로 또는 사용자의 애플리케이션 실행에 의해 차량(1000)과 근거리 통신 방식으로 다이렉트 통신 연결될 수 있다.
또 다른 실시 예에 따르면, 전자 장치(100)는 차량(1000)에 포함된 장치로 구현될 수 있다. 이 경우, 통신부(130)는 차량 통신 네트워크를 통해 차량(1000)의 구성들과 통신할 수 있다. 차량 통신 네트워크는 예컨대 모스트(MOST, Media Oriented Systems Transport), 플렉스레이(FlexRay), 캔(CAN, Controller Area Network), 린(LIN, Local Interconnect Network) 등의 통신 규약을 채용할 수 있다.
또 다른 실시 예에 따르면, 통신부(130)는 외부 장치와 통신을 수행할 수 있다. 일 실시 예에 따르면 통신부(130)는 무선 인터넷 기술에 따라 외부 장치와 통신할 수 있다. 무선 인터넷 기술로는, 예컨대 WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 이용될 수 있다. 예를 들면, 전자 장치(100)는 무선 인터넷을 통해 외부 서버와 데이터를 교환할 수 있다. 교환하는 데이터의 예로서, 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))정보, 지도 정보 등이 있을 수 있다. 실시 예에 따라 통신부(130)는 앞서 설명한 무선 통신부(260)일 수 있다.
프로세서(110)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
일 실시 예에 따르면, 프로세서(110)는 메모리(120)에 저장된 컴퓨터 실행 가능 명령어를 실행함으로써, 차량(1000)의 외부를 촬영하도록 배치된 카메라(224)를 통해 획득된 영상을 통신부(130)를 통해 수신하고, 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 외부 차량의 전복위험지수(Rollover Index)를 산출하고, 산출된 전복위험지수에 따라 기설정된 동작을 수행할 수 있다.
여기서 기 설정된 동작은 위험을 알리기 위한 정보를 표시하도록 디스플레이(241)를 제어하는 동작, 위험 알림음을 출력하도록 스피커(242)를 제어하는 동작, 차량(1000)의 주행 전략을 수립하여 수립된 주행 전략에 대한 정보를 표시하도록 디스플레이(241)를 제어하는 동작, 수립된 주행 전략에 따라 차량 구동부(230)를 제어하는 동작 중 적어도 하나를 포함할 수 있다.
영상에 포함된 외부 차량의 전복위험지수를 산출하는 방법에 대해선 이하에서 구체적으로 설명하도록 한다.
영상에 포함된 차량의 전복위험지수를 산출하기 위해 먼저, 프로세서(110)는 영상에서 배경으로부터 객체를 구별하는 영상 세그멘테이션(segmentation) 알고리즘을 활용하여 영상 내에 포함된 객체를 식별할 수 있다. 여기서 객체는 차량뿐만 아니라 표지판, 분리대 등 다양한 객체를 포함할 수 있다.
그리고 프로세서(110)는 식별된 객체들 중 차량을 인식(Classification)할 수 있다. 구체적으로, 차량을 인식하기 위해 학습된 인공지능 모델을 이용하여 차량을 인식할 수 있다. 단순히 차량임을 인식할 수도 있고, 또는 차량의 유형(Sedan, SUV, 버스 등)까지도 인식할 수 있도록 학습된 인공지능 모델이 이용될 수 있다. 이러한 모델은 다양한 유형의 차량의 이미지를 학습 데이터로 하여 학습될 수 있다. 특정 차량을 구별하도록 학습시키면 차량의 구체적인 모델명까지 획득할 수 있다.
또한, 프로세서(110)는 인식된 차량의 제원을 공개된 데이터베이스로부터 불러와, 해당 차량의 특성 파라미터 값들을 획득할 수 있다. 특성 파라미터 값들은 예컨대, 차량의 질량, 롤댐핑계수, 롤탄성계수 및 윤거를 포함할 수 있다. 특성 파라미터 값들은 이하 좀 더 자세히 설명하겠지만 전복위험지수를 산출하는데 이용된다.
인공지능 모델을 이용해서 차량의 구체적인 모델명까지 획득해낸 경우라면, 해당 모델명을 가진 차량의 제원을 이용해서 특성 파라미터 값들을 획득할 수 있고, 단순히 차량의 유형만을 인식한 경우라면 해당 유형의 차량의 평균적인 특성 파라미터 값들로 전복위험지수를 산출할 수 있다.
그리고 프로세서(110)는 인식된 차량들 중 전복위험지수를 산출할 차량을 선정할 수 있다. 인식된 차량들 전부에 대해 전복위험지수를 산출할 수 있지만, 프로세서(110)는 오검출의 위험성을 줄이고 차량(1000)의 안전 확보에 주목하기 위해, 차량(1000)과 가까운 외부 차량들, 그리고 전복 가능성이 있을 것이라고 예상되는 외부 차량들에 대해 우선적으로 전복위험지수를 산출할 수 있다.
일 실시 예에 따르면, 프로세서(110)는 차량(1000)과 가까운 외부 차량들(기 설정된 거리 이내에 있는 외부 차량들), 전복 가능성이 있을 것이라고 예상되는 외부 차량들에 ROI(Region Of Interest)를 설정하고, ROI가 설정된 외부 차량들의 전복위험지수를 우선적으로 산출할 수 있다. 또한 프로세서(110)는 ROI가 설정된 외부 차량들에 대해선 차량(1000)과 기 설정된 범위 내에 있는 동안에는 지속적으로 트래킹하며 전복위험지수를 산출할 수 있다.
프로세서(110)는 카메라(224)를 통해 획득된 영상 혹은 다른 방법, 예컨대 레이더 모듈(222), 라이더 모듈(223)을 통해, 외부 차량들의 상대적인 위치를 식별할 수 있다. 카메라(224)는 촬영 범위가 매우 넓으므로 수많은 차량들이 인식되는 경우가 많은데 그 중 특히 프로세서(110)는 차량(1000)과 기 설정된 거리 이내에 있는 외부 차량들에 ROI를 설정할 수 있다.
차량의 전복은 원운동시 발생하는 횡방향 가속도에 의해 발생하는데, 일반적으로 같은 횡방향 가속도를 받더라도 차량의 무게중심이 높은 경우 차량동역학적으로 전복 가능성이 높다. 따라서 프로세서(110)는 카메라 (224)를 통해 획득된 영상에 복수의 외부 차량이 포함된 경우, 각각의 외부 차량의 유형을 구분하여, 전고가 기 설정된 높이 이상인 차량들(예: 상용차량, SUV 등)을 식별하고, 식별된 외부 차량들에 ROI를 설정할 수 있다. 도 5는 주행 중인 차량에 탑재된 카메라를 통해 획득된 영상을 도시한 것으로, 전고가 높은 외부 차량에 ROI를 설정한 경우의 예시를 나타낸 도면이다.
일 실시 예에 따르면, 영상에 복수의 외부 차량이 포함된 경우, 프로세서(110)는 인공지능 알고리즘에 의해 학습된 인공지능 모델에 상기 복수의 외부 차량의 영상을 입력하여 상기 복수의 외부 차량의 유형에 대한 정보를 획득하고, 상기 획득된 정보를 바탕으로 상기 복수의 외부 차량 중 전고가 기 설정된 높이 이상인 외부 차량을 식별할 수 있다.
프로세서(110)는 이와 같은 인공지능 모델을 외부 서버로부터 통신부(130)를 통해 다운로드하여 이용할 수 있다. 또 다른 실시 예에 따르면, 프로세서(110)는 이와 같은 인공지능 모델을 구비하는 외부 서버에, 카메라(224)를 통해 획득된 영상을 전송하고, 외부 서버로부터 영상 내 차량의 유형에 대한 정보, 전고에 대한 정보 등을 수신할 수 있다.
또한 프로세서(110)는 곡률이 심한 지역이나 사고다발구역이 예상되는 경우 해당 구역에 있는 차량들에 대해 우선적으로 전복위험지수를 산출할 수 있다. 원운동에 의한 횡가속도는 곡률의 심하기에 비례하므로 프로세서(110)는 곡률이 심한 도로(곡률이 기 설정된 곡률보다 큰 도로)위의 차량들에 ROI를 설정할 수 있다. 사고다발구역의 경우 곡률이 심한 도로이거나 도로의 특성상 상대적으로 급격한 조종성을 필요로 하는 도로일 수 있다. 따라서 전복 사고 발생 확률이 상대적으로 높으므로 프로세서(110)는 사고다발구역의 차량들에 ROI를 설정할 수 있다. 도 6은 주행 중인 차량에 탑재된 카메라를 통해 획득된 영상을 도시한 것으로, 곡률이 심한 도로에 있는 외부 차량들에 ROI를 설정한 경우의 예시를 나타낸 도면이다.
일 실시 예에 따르면, 프로세서(110)는 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하고, 식별된 외부 차량의 전복위험지수를 우선적으로 산출할 수 있다.
프로세서(110)는 곡률이 심한지 여부 등을 카메라(224)를 통해 획득된 도로 영상을 통해 식별하거나, 또는 곡률 정보를 포함하는 지도 정보를 기초로 판단할 수 있다. 일 실시 예에 따르면, 프로세서(110)는 외부 서버로부터 지도 정보를 통신부(130)를 통해 수신할 수 있다. 또한, 프로세서(110)는 사고 다발 여부와 같은 정보도 외부 서버로부터 통신부(130)를 통해 수신할 수 있다. 프로세서(110)는 V2X 기술을 통해 사고 다발 여부와 같은 정보를 획득할 수 있다. 프로세서(110)는 이와 같이 외부로부터 획득한 정보들을 바탕으로, 영상 내의 외부 차량들이 곡률이 심한 도로에 있는지, 사고 다발 구역에 있는지 등을 판단할 수 있다.
일 실시 예에 따르면, 프로세서(110)는 GPS 모듈(221)을 이용하여 차량(1000)의 현재 위치를 식별할 수 있고, 차량(1000)이 현재 위치한 곳의 지도 정보를 획득할 수 있다. 그리고 프로세서(110)는 획득한 지도 정보에 기초하여, 영상 내의 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별할 수 있다.
상술한 바와 같이 프로세서(110)는 전복위험지수를 산출할 차량을 선정하고, 해당 차량에 대해 전복위험지수를 산출할 수 있다.
전복위험지수(Rollover Index)를 산출하는 방식은 여러 방법이 있다. 일 예로, 차량의 좌우 하중의 비율로 전복위험도를 결정할 수 있다. 이를 수식으로 나타내면 아래와 같다.
Figure pat00001
...(1)
FzR : 차량의 우측 수직 하중
FzL : 차량의 좌측 수직 하중
위와 같이 전복 위험 지수를 산출하면 -1 내지 +1 사이의 값을 얻을 수 있고 0은 좌우 하중 분포가 동일한 경우로 가장 안전한 상태이고 -1 혹은 +1의 경우 하중이 한 쪽으로 완전하게 쏠린 경우로 전복이 발생했다고 판단할 수 있는 경우이다. 전복위험지수를 정확하게 산출하기 위해선 좌우 하중분포를 직접 측정해야 하는 것이나, 하중분포 센서의 가격과 설치 비용이성을 고려하였을 때, 직접 측정이 상대적으로 어렵다. 따라서 아래와 같이 수식을 전개하여서 다른 방식으로 전복위험지수를 산출할 수도 있다.
Figure pat00002
...(2)
h : 차량의 roll center(일반적으로 차량의 차축 근처)를 기준으로 차량의 무게중심까지의 높이
d : 윤거(바퀴간 거리)
ay : 횡방향 선가속도(일반적으로 구심가속도, 일반적으로 차량의 진행방향이 x축, 왼쪽 방향이 y축)
g : 중력가속도(일반적으로 9.801m/s2)
Figure pat00003
: 차량의 Roll 방향으로의 각도(Roll angle)
상기 수식 (2)의 경우 ay,
Figure pat00004
의 측정 값이 필요하다. ay의 경우 일반적으로 차량에 부가적으로 고가의 센서를 설치하여야 측정이 가능한데, 아래 수식 (3)을 이용해서 센서 없이도 측정이 가능하다. 도로에 뱅크각(Bank Angle)이 있는 경우 아래 수식 (3)과 같이 횡방향 가속도에 반영이 되고, 이를 고려하여 전복 위험 지수(RI)를 산출할 수 있다.
뱅크각은 여러 가지 방법으로 알 수 있다. 예컨대, 지도 정보와 GPS 모듈(221)을 통해 획득된 정보를 바탕으로 프로세서(110)는 차량(1000)의 정확한 위치를 식별할 수 있고, 차량(1000)과 외부 차량의 거리, 상대 속도 등과 같이 상대적인 측정 값을 이용하여 외부 차량의 정확한 위치도 식별할 수 있으며, 이를 지도 정보에 투영하여 뱅크각을 산출할 수 있다.
Figure pat00005
... (3)
vy: 횡방향 선속도
vx: 종방향 선속도(일반적으로 직진 주행 상황에서 차량의 속도)
γ: Yaw rate(차량이 회전하는 속도)
Figure pat00006
: 도로의 Roll 방향으로 기울어진 정도
외부 차량의 동역학적 파라미터들(특성 파라미터들)은, 카메라를 통해 획득된 영상을 바탕으로 해당 차량의 유형 혹은 등급(class)(예컨대, 세단(Sedan), SUV, 버스, 트럭 등)이 분류된다면 해당 유형의 평균적인 파라미터들을 참고할 수 있다. 또한 전복위험지수는 아래와 같이 수식을 전개할 수도 있다
Figure pat00007
... (4)
CΥ: 차량의 Roll Motion을 간단한 Mass, Spring, Damper의 모델로 간단히 간주하였을 때의 롤댐핑계수(높을수록 Roll 방향 속도에 대한 저항이 큼)
KΥ: 차량의 Roll Motion을 간단한 Mass, Spring, Damper의 모델로 간단히 간주하였을 때의 롤탄성계수(높을수록 Roll 방향 변화에 대한 저항이 큼)
Figure pat00008
: 차량의 Roll 방향 각도의 변화율
m: 차량의 질량
수식 (4)를 이용할 경우 차량의 롤각(Roll Angle,
Figure pat00009
), 차량의 롤 방향 각도의 변화율(
Figure pat00010
)만 알 수 있다면 전복위험지수를 산출할 수 있다.
프로세서(110)는 외부 차량의 롤각과 차량의 롤 방향 각도의 변화율을 카메라(224)을 통해 획득된 영상을 바탕으로 획득할 수 있다. 일 실시 예에 따르면, 인공지능 알고리즘에 의해 학습된 인공지능 모델을 이용할 수 있다.
구체적으로, 프로세서(110)는 인공지능 알고리즘에 의해 학습된 인공지능 모델에 외부 차량의 영상을 입력하여 외부 차량의 롤각 및 롤 방향 각도의 변화율을 획득할 수 있다. 예컨대, 딥러닝을 이용하여, 차량을 촬영하여 획득된 영상에 대한 차량의 롤각을 학습시킨 인공지능모델을 생성할 수 있고, 프로세서(110)는 이와 같이 학습된 인공지능모델을 이용해서, 영상에 포함된 외부 차량의 롤각 및 롤 방향 각도의 변화율을 획득할 수 있다.
또한, 프로세서(110)는 수식 (4)를 이용하여 짧은 시간 이후의 전복위험지수를 예측할 수 있다. 이에 관해서는 이하에서 자세하게 설명한다.
현재의 물리적인 상태(롤 방향의 속도 등)가 짧은 시간 동안 유지된다고 간주한다면 테일러 시리즈(Taylor Series)를 통해 짧은 시간 이후의 어떠한 물리적인 상태를 예측할 수 있다. 수식 (4)를 이용한다면 아래와 같은 수학적 전개를 통해 예측전복위험지수(Predicted Rollover Index(PRI))를 산출할 수 있다. 일반적으로 1초 이하의 짧은 시간에 관해서만 예측전복위험지수의 산출이 유효하다.
Figure pat00011
… (5)
즉, 수식 (5)를 이용해서, 현재 시점(t)에서 외부 차량의 전복위험지수뿐만 아니라, 나아가 짧은 시간(△t) 예측된 전복위험지수를 산출할 수 있다.
Figure pat00012
Figure pat00013
는 수식 (4)로 산출된 값을 실시간으로 변화율을 산출한다는 의미이다.
프로세서(110)는 상기 수식(4) 또는 수식(5)를 이용해서 전복위험지수를 산출할 수 있다.
한편, 본 개시의 또 다른 실시 예에 따르면 외부 차량뿐만 아니라 차량(1000)의 전복위험지수도 산출할 수 있다. 이를 위해, 프로세서(110)는 메모리(120)에 기 저장된 차량(1000)의 유형 또는 모델명을 바탕으로 차량(1000)의 특성 파라미터 값들을 획득할 수 있다.
그리고 프로세서(110)는 카메라(224)를 통해 획득된 영상을 바탕으로 차량(1000)의 롤각 및 롤 방향 각도의 변화율을 획득할 수 있다. 예컨대, 프로세서(110)는 인공지능 알고리즘에 의해 학습된 인공지능 모델에 카메라(224)를 통해 획득한 영상을 입력하여 차량(1000)의 및 롤 방향 각도의 변화율을 획득할 수 있다.
프로세서(110)는 이와 같이 획득한 차량(1000)의 특성 파라미터 값들, 롤각 및 롤 방향 각도의 변화율을 수식 (4) 또는 (5)에 적용하여 차량(1000)의 전복위험지수를 산출할 수 있다.
프로세서(110)는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우에 해당 차량이 전복 가능성이 있는 것으로 판단할 수 있다.
프로세서(110)는 현재 산출된 전복위험지수가 기 설정된 전복위험지수보다 작은 경우라도 차량(1000)과 기 설정된 거리 이내에 있는 외부 차량들 또는 전복 가능성이 있을 것이라고 예상되는 외부 차량들, 즉 예컨대 전고가 기 설정된 높이 이상인 차량들, 곡률이 기 설정된 곡률보다 높은 도로 위에 있는 차량들, 사고 발생 다발 구역 내에 있는 차량들에 대해서는 지속적으로 모니터링하여 전복위험지수를 산출할 수 있다.
프로세서(110)는 산출된 전복위험지수에 따라 기설정된 동작을 수행할 수 있다. 여기서 기 설정된 동작은 위험을 알리기 위한 정보를 표시하도록 디스플레이(241)를 제어하는 동작, 위험 알림음을 출력하도록 스피커(242)를 제어하는 동작, 차량(1000)의 주행 전략을 수립하여 수립된 주행 전략에 대한 정보를 표시하도록 디스플레이(241)를 제어하는 동작, 수립된 주행 전략에 따라 차량 구동부(230)를 제어하는 동작 중 적어도 하나를 포함할 수 있다.
구체적으로, 프로세서(110)는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우, 사용자에게 알림을 제공할 수 있다.
예컨대, 프로세서(110)는 외부 차량에 대해 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우, 출력부(240)를 제어하여 사용자에게 위험 상황을 알릴 수 있다. 일 실시 예에 따르면, 프로세서(110)는 위험 상황을 알리는 정보를 표시하도록 디스플레이(241)를 제어할 수 있다. 예컨대, 도 4에 도시한 것처럼 전자 장치(100)에 위험 상황을 알리는 정보가 표시될 수 있다. 또 다른 예로, 프로세서(110)는 경고음을 출력하도록 스피커(242)를 제어할 수 있다. 또 다른 예로, 프로세서(110)는 차량(1000)의 스티어링 휠, 안전 벨트 및 시트 중 적어도 하나를 진동시키도록 햅틱 모듈(243)을 제어할 수 있다.
또한, 프로세서(110)는 차량(1000)에 대해 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우에도 이에 대한 알림을 제공하도록 출력부(240)를 제어할 수 있다.
프로세서(110)는 상기와 같이 알림 제공 이후 기 설정된 시간 내에 기 설정된 사용자 액션이 없는 것으로 판단되면, 전복위험지수가 기 설정된 전복위험지수보다 큰 외부 차량으로부터 회피하도록 차량(1000)을 제어할 수 있다. 여기서 기 설정된 사용자 액션은 해당 위험에 대한 적절한 대처에 관한 것으로, 예컨대 측방에 위험이 있는 경우에 기 설정된 사용자 액션은 차량(1000)을 가속시키는 것이다. 이러한 기 설정된 사용자 액션이 없는 경우에는 자동으로 차량(1000)을 제어할 수 있는데, 예컨대, 프로세서(110)는 전복위험지수가 기 설정된 전복위험지수보다 큰 외부 차량으로부터 차량(1000)이 회피하도록 조향 제어 모듈(231) 및 변속 제어 모듈(232) 중 적어도 하나를 제어할 수 있다.
또한 프로세서(110)는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 차량을 기반으로 주행 전략을 수립할 수 있다. 여기서 주행 전략이란 속도 변경, 경로 변경 및 차선 변경 중 적어도 하나를 포함할 수 있다.
이 경우, 프로세서(110)는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 외부 차량이 차량(1000)의 전방에 위치하는지, 후방에 위치하는지, 측방에 위치하는지에 따라 다른 주행 전략을 수립할 수 있다.
일 실시 예에 따르면, 프로세서(110)는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 외부 차량이 차량(1000)의 전방에 위치한 경우, 경우, 차량의 최대 감가속도 한계 내에서 감속을 통해 위험 상황을 방지할 수 있는지 판단하고, 방지할 수 있다면 감속하고, 방지할 수 없다면 조향하도록 하는 주행 전략을 수립할 수 있다. 전복위험지수의 경우 -1 내지 +1의 값으로 산출되기 때문에 어느 방향으로 전복이 일어날지 판단할 수 있다. 따라서 전복이 예상되는 방향의 반대방향으로 조향하도록 하는 주행 전략을 수립할 수 있다.
또 다른 실시 예에 따르면, 프로세서(110)는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 외부 차량이 차량(1000)의 측방에 위치한 경우, 차량(1000)의 최대 가속능력 내의 가속도 내에서 기 설정된 임계 시간 내에 해당 외부 차량으로부터 회피할 수 있는지 여부를 판단하고, 회피할 수 있다면 가속하고, 회피할 수 없다고 판단되면 감속하면서 전방 위험에 대한 회피 전략을 준비하는 주행 전략을 수립할 수 있다. 또 다른 실시 예에 따르면, 프로세서(110)는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 외부 차량이 차량(1000)의 후방에 위치한 경우, 차량(1000)의 최대 가속능력 내의 가속도 내에서 기 설정된 임계 시간 내에 해당 외부 차량으로부터 회피할 수 있는지 여부를 판단하고, 회피할 수 있다면 가속하고, 회피할 수 없다고 판단되면 조향하도록 하는 주행 전략을 수립할 수 있다. 전복위험지수의 경우 -1 내지 +1의 값으로 산출되기 때문에 어느 방향으로 전복이 일어날지 판단할 수 있다. 따라서 전복이 예상되는 방향의 반대방향으로 조향하도록 하는 주행 전략을 수립할 수 있다.
한편, 후방 차량의 경우, 산출된 전복위험지수가 기 설정된 전복위험지수보다 작더라도, 전복 가능성이 있을 것이라고 예상되는 외부 차량들, 즉 예컨대 전고가 기 설정된 높이 이상인 차량들, 곡률이 기 설정된 곡률보다 높은 도로 위에 있는 차량들, 사고 발생 다발 구역 내에 있는 차량들에 대해서는 지속적으로 트래킹하며 전복위험지수를 산출할 수 있다.
도 7은 본 개시의 일 실시 예에 따른, 전복위험지수 산출 및 이에 따른 주행 전략 수립 방법의 흐름도를 도시한 것이다.
도 7을 참고하면, 먼저 전자 장치(100)는 카메라(224)를 통해 획득된 영상을 입력받는다(S710). 그리고 전자 장치(100)는 영상 내에서 특정 대상들에 ROI를 설정한다(S720). 예컨대, 전고가 높은 차량들, 곡률이 심한 도로 위의 차량들, 사고발생다발 구역 내의 차량들에 ROI를 설정할 수 있다.
그리고 전자 장치(100)는 ROI가 설정된 차량들에 대해, 예측전복위험지수(PRI)를 산출할 수 있다(S730). 이 경우, 전자 장치(100)는 ROI가 설정된 차량들의 유형 또는 구체적인 모델을 인공지능 모델을 통해 식별하고, 식별된 차량 유형, 차량 등급(class) 또는 차량 모델에 대한 제원 데이터베이스로부터 챠량 특성 파라미터들(ex. 차량의 질량, 롤댐핑계수, 롤탄성계수 및 윤거)를 획득할 수 있다. 이러한 제원 데이터베이스는 전자 장치(100)에 저장되어 있거나, 외부 서버에 저장되어 있을 수 있다. 후자의 경우 전자 장치(100)는 통신부(130)를 통해 특성 파라미터에 대한 정보를 수신할 수 있다.
그리고 전자 장치(100)는 산출된 전복위험지수들 중에서 기 설정된 전복위험지수, 예컨대, 0.7보다 큰 경우가 있는지 판단할 수 있다(S740). 기 설정된 전복위험지수보다 큰 경우가 있는 경우, 해당 차량의 위험 상황의 종류를 판단할 수 있다(S750).
위험 상황이 전방에 있는 경우, 감속을 통해 회피 가능한지 판단하고(S761), 가능한 경우에는 감속하도록 변속제어모듈(232)를 제어할 수 있다(S763). 가능하지 않은 경우에는, 산출된 PRI의 부호(+ 또는 -)에 기반하여 우측 위험성이 있는지 판단하고(S765), 우측 위험성이 있는 경우에는 좌로 회피하도록 조향제어모듈(231)을 제어할 수 있고(S767), 좌측 위험성이 있는 경우에는 우로 회피하도록 조향제어모듈(231)을 제어할 수 있다(S769).
위험 상황이 측방에 있는 경우, 가속을 통해 회피 가능한지 판단하고(S771), 가능한 경우에는 가속하도록 변속제어모듈(232)를 제어할 수 있다(S773). 가능하지 않은 경우라면 상술한 것과 같은 S761 단계로 진행할 수 있다.
위험 상황이 후방에 있는 경우, 가속을 통해 회피 가능한지 판단하고(S781), 가능한 경우에는 가속하도록 변속제어모듈(232)를 제어할 수 있다(S783). 가능하지 않은 경우라면 상술한 것과 같은 S765 단계로 진행할 수 있다.
상술한 바와 같이 주행 전략이 수립되면, 프로세서(110)는 수립된 주행 전략을 바탕으로 차량 구동부(230)를 제어할 수 있다. 구체적으로, 프로세서(110)는 주행 전략에 따라 결정된 속도로 감속 또는 가속하도록 하는 제어 신호를 생성하여 변속 제어 모듈(232)에 전송할 수 있다. 또는, 주행 전략에 따라 결정된 방향으로 전환하도록 하는 제어 신호를 생성하여 조향 제어모듈(231)에 전송할 수 있다.
또 다른 실시 예에 따르면, 프로세서(110)는 직접 차량 구동부(230)를 제어하지 않고, 수립된 주행 전략에 대한 정보를 차량 구동부(230)에 전달하고, 차량 구동부(230)는 별도의 컴퓨팅 장치를 포함하여, 컴퓨팅 장치가 수신한 정보를 해석하여 속도 및/또는 조향 제어를 할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치를 제어하기 위한 방법을 설명하기 위한 흐름도이다. 도 8에 도시된 흐름도는 본 명세서에서 설명되는 차량(1000) 또는 전자 장치(100)에서 처리되는 동작들로 구성될 수 있다. 따라서, 이하에서 생략된 내용이라 하더라도 차량(1000) 또는 전자 장치(100)에 관하여 기술된 내용은 도 8에 도시된 흐름도에도 적용될 수 있다.
도 8을 참고하면, 전자 장치는 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 수신할 수 있다(S810).
그리고 전자 장치는 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 외부 차량의 전복위험지수를 산출한다(S820).
획득된 영상에 포함된 모든 외부 차량에 대해서 전복위험지수를 산출하는 것이 가능하나, 선별된 일부에 대해서만 전복위험지수를 산출할 수도 있다. 또는, 모든 외부 차량에 대해 전복위험지수를 산출하되, 어떤 차량부터 전복위험지수를 산출할 것인지에 대한 우선순위를 결정할 수도 있다.
전자 장치는 전복 위험이 있을 것으로 예측되는 외부 차량의 전복위험지수를 우선적으로 산출할 수 있다. 전복 위험이 있을 것으로 예측되는 외부 차량은 전고가 높은 차량, 곡률이 심한 도로 위의 차량, 사고 다발 구역 내의 차량을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치는 획득된 영상에 복수의 외부 차량이 포함된 경우, 복수의 외부 차량 중 전고가 기 설정된 높이 이상인 외부 차량을 식별하고, 식별된 외부 차량의 전복위험지수를 우선적으로 산출할 수 있다.
이 경우, 전자 장치는, 인공지능 알고리즘에 의해 학습된 인공지능 모델에 상기 복수의 외부 차량의 영상을 입력하여 복수의 외부 차량의 유형에 대한 정보를 획득하고, 상기 획득된 정보를 바탕으로 복수의 외부 차량 중 전고가 상기 기 설정된 높이 이상인 외부 차량을 식별할 수 있다.
예컨대, 도 6을 참고하면, 전자 장치는 ROI가 설정된 복수의 외부 차량의 영상(사각형 영역의 영상)을 인공지능모델에 입력하여 각 차량의 유형에 대한 정보를 획득할 수 있다.
또 다른 실시 예에 따르면, 전자 장치는 획득된 영상에 복수의 외부 차량이 포함된 경우, 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하고, 식별된 외부 차량의 전복위험지수를 우선적으로 산출할 수 있다.
이 경우, 전자 장치는 차량이 현재 위치한 곳의 지도 정보를 획득하고, 획득한 지도 정보에 기초하여 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별할 수 있다.
전복위험지수를 산출하는 방법으로는, 예컨대, 인공지능 알고리즘에 의해 학습된 인공지능 모델에 외부 차량의 영상을 입력하여 외부 차량의 롤각(roll angle)을 획득하고, 획득한 롤각을 기초로 외부 차량의 전복위험지수를 산출할 수 있다.
또 다른 예로, 전자 장치는 인공지능모델을 이용해 획득한 외부 차량의 유형에 대한 정보를 바탕으로 외부 차량에 대한 복수의 특성 파라미터를 획득하고, 복수의 특성 파라미터에 기초하여 외부 차량의 전복위험지수를 산출할 수 있다. 예컨대, 전자 장치는 차량 유형별로, 또는 차량 모델별로, 차량의 제원에 대한 정보를 저장한 데이터베이스(외부 데이터베이스 또는 메모리(120)에 저장된 데이터베이스)로부터 특성 파라미터를 획득할 수 있다. 외부 차량에 대한 복수의 특성 파라미터는, 외부 차량의 질량, 롤댐핑계수, 롤탄성계수 및 윤거를 포함할 수 있다. 자차량의 전복위험지수를 산출하고자 하는 경우에는, 전자 장치는 데이터베이스로부터 자차량의 특성 파라미터를 획득할 수 있다.
그리고 전자 장치는 산출된 전복위험지수에 따라 기설정된 동작을 수행할 수 있다(S830).
일 실시 예에 따르면, 전자 장치는 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우, 사용자에게 알림을 제공할 수 있다. 예컨대, 도 4를 참고하면, 스마트폰으로 구현된 전자 장치(100)의 디스플레이를 통해 그러한 알림이 제공될 수 있다.
전복 위험 알림뿐만 아니라, 전자 장치는, 예컨대, 차선을 변경하는 동안 충돌을 피하기 위한 경고, 도로상의 교차 지점에서 충돌 가능성이 있을 경우 경고, 주변환경에 따른 주행 멈춤 경고, 좌/우회전 시 교차로에서 다른 차량과의 충돌 가능성을 알림, 후방 충돌을 피하기 위해 정면 차량과의 안전한 거리를 유지하기 위한 경고, 비상 제동 시 주변 차량에 제동 정보 전송 등의 동작을 수행할 수도 있다.
또한, 전자 장치는 상기와 같이 알림 제공 이후 기 설정된 시간 내에 기 설정된 사용자 액션이 없는 것으로 판단되면, 외부 차량으로부터 회피하도록 차량을 제어할 수 있다. 여기서 기 설정된 사용자 액션이란, 현재 위험 상황에 대한 적절한 대처와 관련된다. 예컨대, 차량의 전방에서 외부 차량이 전복될 위험이 있는 경우 이에 대한 알림이 제공된 이후에, 사용자가 차량을 감속시킨 경우, 전자 장치는 기 설정된 사용자 액션이 있는 것으로 판단할 수 있다. 그러나 이와 같은 사용자 액션이 없는 경우에는, 자동으로 감속하도록 차량을 제어할 수 있다.
도 9는 전자 장치(100), 차량(1000) 또는 외부 서버(미도시)에 포함될 수 있는 본 개시의 일 실시 예에 따른, 인공 지능 모듈(900)을 설명하기 위한 도면이다. 인공 지능 모듈(900)은 메모리(120)에 포함될 수 있고, 프로세서(110)에 의해 실행될 수 있다. 또한 인공 지능 모듈(900)은 외부 서버의 메모리에 포함될 수 있고, 서버의 프로세서에 의해 실행될 수 있다.
인공 지능 모듈(900)은 학습부(910)와 분석부(920)를 포함할 수 있다.
학습부(910)는 학습 데이터를 이용하여 인공 지능 모델을 생성 또는 학습시킬 수 있다.
일 예로, 학습부(910)는 카메라로 차량을 촬영하여 획득한 영상으로부터 해당 차량의 유형, 등급(ex. 세단, SUV, 버스 등)을 식별하는 기준을 갖도록 학습된 모델을 생성할 수 있다. 특정 차량을 식별하도록 학습시키면 차량의 구체적인 모델까지 구별해낼 수 있다. 또 다른 예로, 학습부(910)는 차량을 촬영하여 획득한 영상으로부터 해당 차량의 롤각(roll angle) 및 롤 방향 각도 변화율을 판단하는 기준을 갖도록 학습된 모델을 생성할 수 있다. 또 다른 예로, 학습부(910)는 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 바탕으로 차량의 롤각 및 롤 방향 각도 변화율을 판단하는 기준을 갖도록 학습된 모델을 생성할 수 있다.
이와 같이 학습된 모델들은, 예로, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 객체 인식 모델은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 또한 학습된 모델들은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 객체 인식 모델의 예에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 등이 있을 수 있으나 이에 한정되지 않는다.
분석부(920)는 데이터를 학습된 모델에 입력하여 결과 데이터를 얻을 수 있다.
일 예로, 분석부(920)는 카메라(224)를 통해 획득한 영상을, 학습된 모델에 입력하여, 영상 내 차량의 유형을 식별한 결과 데이터를 획득할 수 있다. 또 다른 예로, 분석부(920)는 카메라(224)를 통해 획득한 영상을, 학습된 모델에 입력하여, 영상 내 차량의 롤각 및 롤 방향 각도 변화율에 대한 정보를 획득할 수 있다. 또 다른 예로, 분석부(920)는 카메라 모듈(224)를 통해 획득한 영상을, 학습된 모델에 입력하여, 차량(1000)의 롤각 및 롤 방향 각도 변화율에 대한 정보를 획득할 수 있다.
학습부(910)의 적어도 일부 및 분석부(920)의 적어도 일부는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 학습부(910) 및 분석부(920) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 전자 장치(100), 차량(1000) 또는, 인공지능 모델을 이용한 분석 결과를 전자 장치(100) 또는 차량(1000)으로 제공하는 서버에 탑재될 수도 있다. 이때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다. 학습부(910) 및 분석부(920)가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
학습부(910) 및 분석부(920)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 학습부(910) 및 분석부(920) 중 하나는 전자 장치(100)에 포함되고, 나머지 하나는 외부 서버에 포함될 수 있다. 또한, 학습부(910) 및 분석부(920)는 유선 또는 무선으로 통하여, 학습부(910)가 구축한 모델 정보를 분석부(920)로 제공할 수도 있고, 학습부(910)로 입력된 데이터가 추가 학습 데이터로서 학습부(910)로 제공될 수도 있다.
도 10은 일 실시 예에 따른 학습부(910)의 블록도이다.
도 10을 참조하면, 일부 실시 예에 따른 학습부(910)는 학습 데이터 획득부(910-1) 및 모델 학습부(910-4)를 포함할 수 있다. 또한, 학습부(910)는 학습 데이터 전처리부(910-2), 학습 데이터 선택부(910-3) 및 모델 평가부(910-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
학습 데이터 획득부(910-1)는 상술한 것과 같이 영상으로부터 차량 인식, 차량의 롤각 및 롤 방향 각도 변화율을 판단하기 위한 모델을 학습시키기 위해 학습 데이터를 획득할 수 있다.
학습 데이터는 학습부(910) 또는 학습부(910)의 제조사가 수집 또는 테스트한 데이터가 될 수도 있다.
모델 학습부(910-4)는 학습 데이터를 이용하여, 모델이 입력 데이터를 어떻게 이해, 인식, 인지, 판단, 추론 등을 할 것인지에 관한 기준을 갖도록 학습시킬 수 있다. 모델 학습부(910-4)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 모델을 학습시킬 수 있다. 또는, 모델 학습부(910-4)는, 예를 들어, 별다른 지도 없이 학습 데이터를 이용하여 스스로 학습함으로써, 상황의 판단을 위한 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 모델을 학습시킬 수 있다. 또한, 모델 학습부(910-4)는, 예를 들어, 학습에 따른 상황 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 모델을 학습시킬 수 있다. 또한, 모델 학습부(910-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 모델을 학습시킬 수 있다
모델 학습부(910-4)는 미리 구축된 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 모델을 학습할 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다.
모델이 학습되면, 모델 학습부(910-4)는 학습된 모델을 저장할 수 있다. 예컨대, 모델 학습부(910-4)는 학습된 모델을 메모리(120) 또는 외부 서버의 메모리에 저장할 수 있다.
학습부(910)는 모델의 처리 능력을 향상시키거나, 모델의 생성에 필요한 자원 또는 시간을 절약하기 위하여, 학습 데이터 전처리부(910-2) 및 학습 데이터 선택부(910-3)를 더 포함할 수도 있다.
학습 데이터 전처리부(910-2)는 상황 판단을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 학습 데이터 전처리부(910-2)는 모델 학습부(910-4)가 상황 판단을 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(910-3)는 학습 데이터 획득부(910-1)에서 획득된 데이터 또는 학습 데이터 전처리부(910-2)에서 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 학습 데이터는 모델 학습부(910-4)에 제공될 수 있다. 학습 데이터 선택부(910-3)는 기 설정된 선별 기준에 따라, 획득되거나 전처리된 데이터 중에서 학습에 필요한 학습 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(910-3)는 모델 학습부(910-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 학습 데이터를 선택할 수도 있다.
학습부(910)는 모델의 처리 능력을 향상시키기 위하여, 모델 평가부(910-5)를 더 포함할 수도 있다.
모델 평가부(910-5)는 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(910-4)로 하여금 다시 모델을 학습시키도록 할 수 있다. 이 경우, 평가 데이터는 모델을 평가하기 위한 기 정의된 데이터일 수 있다.
예를 들어, 모델 평가부(910-5)는 평가 데이터에 대한 학습된 모델의 분석 결과 중에서, 분석 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다.
한편, 학습된 모델이 복수 개가 존재하는 경우, 모델 평가부(910-5)는 각각의 학습된 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(910-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 모델로서 결정할 수 있다.
도 11은 일 실시 예에 따른 분석부(920)의 블록도이다.
도 11을 참조하면, 분석부(920)는 데이터 획득부(920-1) 및 분석 결과 제공부(920-4)를 포함할 수 있다. 또한, 분석부(920)는 데이터 전처리부(920-2), 데이터 선택부(920-3) 및 모델 갱신부(920-5) 중 적어도 하나를 선택적으로 더 포함할 수 있다.
데이터 획득부(920-1)는 분석에 필요한 데이터를 획득할 수 있다. 분석 결과 제공부(920-4)는 데이터 획득부(920-1)에서 획득된 데이터를 학습된 모델에 입력한 결과를 제공할 수 있다. 분석 결과 제공부(920-4)는 데이터의 분석 목적에 따른 분석 결과를 제공할 수 있다. 분석 결과 제공부(920-4)는 후술할 데이터 전처리부(920-2) 또는 데이터 선택부(920-3)에 의해 선택된 데이터를 입력 값으로 인식 모델에 적용하여 분석 결과를 획득할 수 있다. 분석 결과는 모델에 의해 결정될 수 있다.
분석부(920)는 모델의 분석 결과를 향상시키거나, 분석 결과의 제공을 위한 자원 또는 시간을 절약하기 위하여, 데이터 전처리부(920-2) 및 데이터 선택부(920-3)를 더 포함할 수도 있다.
데이터 전처리부(920-2)는 상황 판단을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 데이터 전처리부(920-2)는 분석 결과 제공부(920-4)가 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 정의된 포맷으로 가공할 수 있다.
데이터 선택부(920-3)는 데이터 획득부(920-1)에서 획득된 데이터 또는 데이터 전처리부(920-2)에서 전처리된 데이터 중에서 상황 판단에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 분석 결과 제공부(920-4)에게 제공될 수 있다. 데이터 선택부(920-3)는 상황 판단을 위한 기 설정된 선별 기준에 따라, 획득되거나 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 데이터 선택부(920-3)는 모델 학습부(910-4)에 의한 학습에 의해 기 설정된 선별 기준에 따라 데이터를 선택할 수도 있다.
모델 갱신부(920-5)는 분석 결과 제공부(920-4)에 의해 제공되는 분석 결과에 대한 평가에 기초하여, 모델이 갱신되도록 제어할 수 있다. 예를 들어, 모델 갱신부(920-5)는 분석 결과 제공부(920-4)에 의해 제공되는 분석 결과를 모델 학습부(910-4)에게 제공함으로써, 모델 학습부(910-4)가 모델을 추가 학습 또는 갱신하도록 요청할 수 있다.
상술한 실시 예들에 따르면 자차량 또는 타차량의 전복위험을 카메라를 통해 획득된 영상을 활용하여 판단할 수 있기 때문에, 고가의 센서를 구비하지 않고도, 비교적 낮은 비용으로 시스템을 구축할 수 있으며, 설치 및 적용이 용이하다. 나아가 전복위험지수를 정확히 산출하고 짧은 시간 이후를 예측하여 더욱 고도화된 전복위험 경보 및 방지 시스템을 구성할 수 있다.
이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합으로 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 특히, 이상에서 설명된 다양한 실시 예들은 프로세서(110)에 의해 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장될 수 있는 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기(machine)는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들의 전자 장치(100)를 포함할 수 있다.
이러한 명령어가 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령어에 해당하는 기능을 수행할 수 있다. 명령어는 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 예컨대, 저장매체에 저장된 명령어가 프로세서에 의해 실행됨으로써, 상술한 전자 장치의 제어방법이 실행될 수 있다. 일 예로, 저장매체에 저장된 명령어가 기기(또는 전자 장치)의 프로세서에 의해 실행됨으로써, 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 수신하는 단계, 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 상기 외부 차량의 전복위험지수(Rollover Index)를 산출하는 단계 및 상기 산출된 전복위험지수에 따라 기설정된 동작을 수행하는 단계를 포함하는 전자 장치의 제어방법이 수행될 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어™, 앱스토어™)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
1000: 차량

Claims (20)

  1. 차량 주변의 위험 요소를 감지하기 위한 전자 장치에 있어서,
    통신부;
    적어도 하나의 컴퓨터 실행 가능 명령어를 저장하는 메모리;
    상기 적어도 하나의 컴퓨터 실행 가능 명령어를 실행하는 프로세서;를 포함하며,
    상기 프로세서는,
    상기 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 상기 통신부를 통해 수신하고,
    상기 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 상기 외부 차량의 전복위험지수(Rollover Index)를 산출하고,
    상기 산출된 전복위험지수에 따라 기설정된 동작을 수행하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 전고가 기 설정된 높이 이상인 외부 차량을 식별하고, 상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출하는 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    인공지능 알고리즘에 의해 학습된 제1 인공지능 모델에 상기 복수의 외부 차량의 영상을 입력하여 상기 복수의 외부 차량의 유형에 대한 정보를 획득하고, 상기 획득된 정보를 바탕으로 상기 복수의 외부 차량 중 전고가 상기 기 설정된 높이 이상인 외부 차량을 식별하는 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하고, 상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출하는 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 차량이 현재 위치한 곳의 지도 정보를 획득하고, 상기 획득한 지도 정보에 기초하여 상기 복수의 외부 차량 중 상기 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하는 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    인공지능 알고리즘에 의해 학습된 제2 인공지능 모델에 상기 외부 차량의 영상을 입력하여 상기 외부 차량의 롤각(roll angle)을 획득하고, 상기 획득한 롤각을 기초로 상기 외부 차량의 전복위험지수를 산출하는 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    인공지능 알고리즘에 의해 학습된 제1 인공지능 모델에 상기 외부 차량의 영상을 입력하여 상기 외부 차량의 유형에 대한 정보를 획득하고, 상기 외부 차량의 유형에 대한 정보를 바탕으로 상기 외부 차량에 대한 복수의 특성 파라미터를 획득하고, 상기 복수의 특성 파라미터에 기초하여 상기 외부 차량의 전복위험지수를 산출하는 전자 장치.
  8. 제7항에 있어서,
    상기 외부 차량에 대한 복수의 특성 파라미터는,
    상기 외부 차량의 질량, 롤댐핑계수, 롤탄성계수 및 윤거를 포함하는 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우, 사용자에게 알림을 제공하는 전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 알림 제공 이후 기 설정된 시간 내에 기 설정된 사용자 액션이 없는 것으로 판단되면, 상기 외부 차량으로부터 회피하도록 상기 차량을 제어하는 전자 장치.
  11. 차량 주변의 위험 요소를 감지하기 위한 전자 장치를 제어하는 방법에 있어서,
    상기 차량의 외부를 촬영하도록 배치된 카메라를 통해 획득된 영상을 수신하는 단계;
    상기 획득된 영상에 포함된 외부 차량의 영상을 바탕으로, 상기 외부 차량의 전복위험지수(Rollover Index)를 산출하는 단계; 및
    상기 산출된 전복위험지수에 따라 기설정된 동작을 수행하는 단계;를 포함하는, 방법.
  12. 제11항에 있어서,
    상기 전복위험지수를 산출하는 단계는,
    상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 전고가 기 설정된 높이 이상인 외부 차량을 식별하는 단계; 및
    상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출하는 단계;를 포함하는, 방법.
  13. 제12항에 있어서,
    상기 식별하는 단계는,
    인공지능 알고리즘에 의해 학습된 제1 인공지능 모델에 상기 복수의 외부 차량의 영상을 입력하여 상기 복수의 외부 차량의 유형에 대한 정보를 획득하고, 상기 획득된 정보를 바탕으로 상기 복수의 외부 차량 중 전고가 상기 기 설정된 높이 이상인 외부 차량을 식별하는, 방법.
  14. 제11항에 있어서,
    상기 전복위험지수를 산출하는 단계는,
    상기 획득된 영상에 복수의 외부 차량이 포함된 경우, 상기 복수의 외부 차량 중 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하는 단계; 및
    상기 식별된 외부 차량의 전복위험지수를 우선적으로 산출하는 단계;를 포함하는 방법.
  15. 제14항에 있어서,
    상기 식별하는 단계는,
    상기 차량이 현재 위치한 곳의 지도 정보를 획득하고, 상기 획득한 지도 정보에 기초하여 상기 복수의 외부 차량 중 상기 기 설정된 곡률보다 큰 곡률을 가지는 도로 위에 있는 외부 차량을 식별하는, 방법.
  16. 제11항에 있어서,
    상기 전복위험지수를 산출하는 단계는,
    인공지능 알고리즘에 의해 학습된 제2 인공지능 모델에 상기 외부 차량의 영상을 입력하여 상기 외부 차량의 롤각(roll angle)을 획득하고, 상기 획득한 롤각을 기초로 상기 외부 차량의 전복위험지수를 산출하는, 방법.
  17. 제11항에 있어서,
    상기 전복위험지수를 산출하는 단계는,
    인공지능 알고리즘에 의해 학습된 제1 인공지능 모델에 상기 외부 차량의 영상을 입력하여 상기 외부 차량의 유형에 대한 정보를 획득하고, 상기 외부 차량의 유형에 대한 정보를 바탕으로 상기 외부 차량에 대한 복수의 특성 파라미터를 획득하고, 상기 복수의 특성 파라미터에 기초하여 상기 외부 차량의 전복위험지수를 산출하는, 방법.
  18. 제17항에 있어서,
    상기 외부 차량에 대한 복수의 특성 파라미터는,
    상기 외부 차량의 질량, 롤댐핑계수, 롤탄성계수 및 윤거를 포함하는, 방법.
  19. 제11항에 있어서,
    상기 기설정된 동작을 수행하는 단계는,
    상기 산출된 전복위험지수가 기 설정된 전복위험지수보다 큰 경우, 사용자에게 알림을 제공하는, 방법.
  20. 제19항에 있어서,
    상기 기설정된 동작을 수행하는 단계는,
    상기 알림 제공 이후 기 설정된 시간 내에 기 설정된 사용자 액션이 없는 것으로 판단되면, 상기 외부 차량으로부터 회피하도록 상기 차량을 제어하는, 방법.

KR1020180172440A 2018-12-28 2018-12-28 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법 KR102553053B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180172440A KR102553053B1 (ko) 2018-12-28 2018-12-28 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법
CN201980081522.XA CN113165646B (zh) 2018-12-28 2019-12-26 用于检测车辆周围的风险因素的电子设备及其控制方法
EP19903942.1A EP3842312A4 (en) 2018-12-28 2019-12-26 ELECTRONIC DEVICE FOR DETECTING RISK FACTORS AROUND A VEHICLE AND PROCEDURE FOR ITS CONTROL
US17/283,881 US11926315B2 (en) 2018-12-28 2019-12-26 Electronic apparatus for detecting risk factors around vehicle and method for controlling same
PCT/KR2019/095052 WO2020139063A1 (ko) 2018-12-28 2019-12-26 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180172440A KR102553053B1 (ko) 2018-12-28 2018-12-28 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법

Publications (2)

Publication Number Publication Date
KR20200087891A true KR20200087891A (ko) 2020-07-22
KR102553053B1 KR102553053B1 (ko) 2023-07-11

Family

ID=71127386

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180172440A KR102553053B1 (ko) 2018-12-28 2018-12-28 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법

Country Status (5)

Country Link
US (1) US11926315B2 (ko)
EP (1) EP3842312A4 (ko)
KR (1) KR102553053B1 (ko)
CN (1) CN113165646B (ko)
WO (1) WO2020139063A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210153809A (ko) * 2020-06-10 2021-12-20 주식회사 아디아랩 중장비 차량 안전 관리 시스템
KR20220074363A (ko) * 2020-11-27 2022-06-03 주식회사 엔틱스 농기계 차량의 사고 발생 경고 시스템 및 방법
KR102453688B1 (ko) * 2021-04-28 2022-10-11 아주대학교산학협력단 교통사고의 잠재적 위험도 평가 시스템 및 그 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210096568A1 (en) * 2019-09-30 2021-04-01 Wipro Limited System and method for dynamically adjusting a trajectory of an autonomous vehicle during real-time navigation
JP2022136757A (ja) * 2021-03-08 2022-09-21 本田技研工業株式会社 自律走行体
JP7230113B2 (ja) * 2021-06-07 2023-02-28 本田技研工業株式会社 制御装置、移動体、制御方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100640175B1 (ko) * 2005-11-18 2006-11-01 한양대학교 산학협력단 차량의 전복방지 제어 시스템 및 그 방법
KR20090010439A (ko) * 2007-07-23 2009-01-30 주식회사 만도 차량 자세 제어방법
KR20150062490A (ko) * 2013-11-29 2015-06-08 주식회사 만도 차량의 차속 제어 장치 및 방법
KR20180025587A (ko) * 2016-09-01 2018-03-09 삼성전자주식회사 자율 주행 방법 및 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2656141C (en) 1998-05-15 2012-02-07 International Road Dynamics Inc. Method for automatically controlling traffic signalling device
US7107136B2 (en) 2001-08-29 2006-09-12 Delphi Technologies, Inc. Vehicle rollover detection and mitigation using rollover index
DE10204128B4 (de) 2002-02-01 2011-06-22 Robert Bosch GmbH, 70469 Vorrichtung zur Überrollerkennung
US8019511B2 (en) 2008-05-22 2011-09-13 Ford Global Technologies, Llc Vehicle rollover detection
US9552726B2 (en) * 2009-08-24 2017-01-24 Here Global B.V. Providing driving condition alerts using road attribute data
DE102009055776A1 (de) 2009-11-25 2011-05-26 Conti Temic Microelectronic Gmbh Verfahren zur Schätzung des Rollwinkels in einem fahrenden Fahrzeug
US8489287B2 (en) 2010-12-31 2013-07-16 Automotive Research & Test Center Vehicle roll over prevention safety driving system and method
DE102011055795A1 (de) 2011-11-29 2013-05-29 Continental Automotive Gmbh Verfahren zur Ermittlung eines drohenden Überschlags eines Fahrzeugs
TW201412585A (zh) 2012-09-18 2014-04-01 Automotive Res & Testing Ct 車輛彎道翻覆預防系統及其方法
US9285460B2 (en) * 2014-04-14 2016-03-15 Saab Vricon Systems Ab Method and system for estimating information related to a vehicle pitch and/or roll angle
KR101694837B1 (ko) * 2015-05-29 2017-01-11 연세대학교 산학협력단 주행 차량에서 촬영된 영상에서의 차량 정보 검출 장치 및 그 방법
KR101895485B1 (ko) * 2015-08-26 2018-09-05 엘지전자 주식회사 운전 보조 장치 및 그 제어 방법
KR101857035B1 (ko) 2016-04-26 2018-05-15 현대자동차주식회사 주행 정보 최적화를 통한 차량 전복 감지 시스템
CN107972672B (zh) * 2016-10-21 2021-07-20 奥迪股份公司 驾驶辅助***和驾驶辅助方法
US10377260B2 (en) * 2017-01-13 2019-08-13 Uber Technologies, Inc. Charge control system for mobile energy storage fleet
KR20180112336A (ko) * 2017-04-03 2018-10-12 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
US10430876B1 (en) * 2018-03-08 2019-10-01 Capital One Services, Llc Image analysis and identification using machine learning with output estimation
US10817732B2 (en) * 2018-12-20 2020-10-27 Trimble Inc. Automated assessment of collision risk based on computer vision

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100640175B1 (ko) * 2005-11-18 2006-11-01 한양대학교 산학협력단 차량의 전복방지 제어 시스템 및 그 방법
KR20090010439A (ko) * 2007-07-23 2009-01-30 주식회사 만도 차량 자세 제어방법
KR20150062490A (ko) * 2013-11-29 2015-06-08 주식회사 만도 차량의 차속 제어 장치 및 방법
KR20180025587A (ko) * 2016-09-01 2018-03-09 삼성전자주식회사 자율 주행 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210153809A (ko) * 2020-06-10 2021-12-20 주식회사 아디아랩 중장비 차량 안전 관리 시스템
KR20220074363A (ko) * 2020-11-27 2022-06-03 주식회사 엔틱스 농기계 차량의 사고 발생 경고 시스템 및 방법
KR102453688B1 (ko) * 2021-04-28 2022-10-11 아주대학교산학협력단 교통사고의 잠재적 위험도 평가 시스템 및 그 방법

Also Published As

Publication number Publication date
CN113165646A (zh) 2021-07-23
WO2020139063A1 (ko) 2020-07-02
EP3842312A4 (en) 2021-11-03
KR102553053B1 (ko) 2023-07-11
CN113165646B (zh) 2024-05-24
EP3842312A1 (en) 2021-06-30
US11926315B2 (en) 2024-03-12
US20210347353A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
CN109901574B (zh) 自动驾驶方法及装置
KR102553053B1 (ko) 차량 주변의 위험 요소를 감지하기 위한 전자 장치 및 이를 제어하기 위한 방법
US11932249B2 (en) Methods and devices for triggering vehicular actions based on passenger actions
US11815892B2 (en) Agent prioritization for autonomous vehicles
US20200369271A1 (en) Electronic apparatus for determining a dangerous situation of a vehicle and method of operating the same
CN110379193B (zh) 自动驾驶车辆的行为规划方法及行为规划装置
US20190359208A1 (en) Feature-based prediction
US10824155B2 (en) Predicting movement intent of objects
CN112673407B (zh) 用于预测的车辆事故警告和规避的***和方法
US10421465B1 (en) Advanced driver attention escalation using chassis feedback
KR102267331B1 (ko) 자율 주행 차량과 이를 이용한 보행자 안내 시스템 및 방법
EP3539113B1 (en) Electronic apparatus and method of operating the same
WO2020259705A1 (en) Autonomous driving handoff systems and methods
CN112334370B (zh) 车道偏离警报的自动化载运工具动作及关联的***和方法
CN106292432B (zh) 信息处理方法、装置和电子设备
US20230037071A1 (en) Method and system for training an autonomous vehicle motion planning model
US20220126818A1 (en) Systems and methods for identifying high-risk driving situations from driving data
US12019449B2 (en) Rare event simulation in autonomous vehicle motion planning
EP4283553A1 (en) Detecting use of driver assistance systems
US12033399B1 (en) Turn and brake action prediction using vehicle light detection
KR20240003030A (ko) 최소 위험 조작을 수행하기 위한 차량 및 상기 차량의 작동 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant