KR102532657B1 - System and method for controlling autonomous driving vehicle - Google Patents
System and method for controlling autonomous driving vehicle Download PDFInfo
- Publication number
- KR102532657B1 KR102532657B1 KR1020200169822A KR20200169822A KR102532657B1 KR 102532657 B1 KR102532657 B1 KR 102532657B1 KR 1020200169822 A KR1020200169822 A KR 1020200169822A KR 20200169822 A KR20200169822 A KR 20200169822A KR 102532657 B1 KR102532657 B1 KR 102532657B1
- Authority
- KR
- South Korea
- Prior art keywords
- autonomous driving
- driver
- data
- driving control
- delete delete
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013480 data collection Methods 0.000 claims abstract description 22
- 230000001133 acceleration Effects 0.000 claims description 13
- 230000008921 facial expression Effects 0.000 claims description 6
- 230000000193 eyeblink Effects 0.000 claims description 3
- 210000001747 pupil Anatomy 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000008451 emotion Effects 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/14—Yaw
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/16—Pitch
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/18—Roll
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/18—Steering angle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
본 발명은 자율주행 제어 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 자율주행 제어 시스템은 주행 관련 데이터 및 운전자 데이터를 수집하는 데이터 수집부와, 수집된 데이터를 저장하고 운전자 상태를 판단하는 데이터 기록 및 판단부, 데이터를 학습하여 운전자가 원하는 주행 패턴을 예측하는 주행패턴 결정부 및 주행 패턴에 따라 자율주행을 수행하는 자율주행 제어부를 포함한다. The present invention relates to an autonomous driving control system and method.
An autonomous driving control system according to the present invention includes a data collection unit that collects driving-related data and driver data, a data recording and determination unit that stores the collected data and determines the driver's condition, and learns the data to determine the driver's desired driving pattern. It includes a predicted driving pattern determiner and an autonomous driving control unit that performs autonomous driving according to the driving pattern.
Description
본 발명은 자율주행 제어 시스템 및 그 방법에 관한 것이다. The present invention relates to an autonomous driving control system and method.
종래 기술에 따르면 목적지까지의 경로 및 주변 상황(장애물 정보, 신호 정보 등)을 고려하여 자율주행을 수행하고 있으나, 자율주행 패턴에 대한 운전자 개인의 선호도 정보를 고려하고 있지 않은 한계가 있다. According to the prior art, autonomous driving is performed in consideration of a route to a destination and surrounding conditions (obstacle information, signal information, etc.), but there is a limitation in that driver's personal preference information for autonomous driving patterns is not considered.
본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 운전자 상태를 고려하여 학습형 자율주행 제어를 수행하는 것이 가능한 자율주행 제어 시스템 및 방법을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above problems, and an object of the present invention is to provide an autonomous driving control system and method capable of performing learning-type autonomous driving control in consideration of a driver's condition.
본 발명에 따른 자율주행 제어 시스템은 주행 관련 데이터 및 운전자 데이터를 수집하는 데이터 수집부와, 수집된 데이터를 저장하고 운전자 상태를 판단하는 데이터 기록 및 판단부, 데이터를 학습하여 운전자가 원하는 주행 패턴을 예측하는 주행패턴 결정부 및 주행 패턴에 따라 자율주행을 수행하는 자율주행 제어부를 포함한다. An autonomous driving control system according to the present invention includes a data collection unit that collects driving-related data and driver data, a data recording and determination unit that stores the collected data and determines the driver's condition, and learns the data to determine the driver's desired driving pattern. It includes a predicted driving pattern determiner and an autonomous driving control unit that performs autonomous driving according to the driving pattern.
데이터 수집부는 조향각 센서, 차속 센서, 가속도 센서, 자이로 센서 로부터 획득된 속도, 가속도, Yaw/Pitch/Roll 각도, 조향각 정보를 수집한다. The data collection unit collects speed, acceleration, yaw/pitch/roll angle, and steering angle information obtained from the steering angle sensor, vehicle speed sensor, acceleration sensor, and gyro sensor.
데이터 수집부는 운전자 시선, 눈 깜빡임, 동공 지름, 얼굴 각도, 얼굴 위치, 표정을 포함하는 운전자 데이터를 수집한다. The data collection unit collects driver data including driver gaze, eye blink, pupil diameter, face angle, face position, and expression.
데이터 수집부는 자율주행 제어부로부터 제어값을 수집하고, 데이터 기록 및 판단부는 데이터 수집부가 수집한 주행 관련 데이터, 운전자 데이터 및 제어값을 시점에 따라 매칭하여 저장한다. The data collection unit collects control values from the autonomous driving control unit, and the data recording and determination unit matches and stores driving-related data, driver data, and control values collected by the data collection unit according to time points.
주행패턴 결정부는 데이터 기록 및 판단부에 저장된 데이터들을 이용하여 학습 과정을 수행하고, 운전자가 선호하는 주행 패턴에 근사하도록 자율주행 제어값을 결정하고, 이를 자율주행 제어부로 전달한다. The driving pattern determining unit performs a learning process using the data stored in the data recording and determining unit, determines an autonomous driving control value to approximate a driving pattern preferred by the driver, and transmits it to the autonomous driving control unit.
데이터 수집부는 결정된 자율주행 제어값에 따라 자율주행이 수행되는 경우의 운전자의 반응을 다시 수집하고, 이를 데이터 기록 및 판단부로 전송한다. The data collection unit collects the driver's reaction when autonomous driving is performed according to the determined autonomous driving control value, and transmits it to the data recording and determination unit.
본 발명에 따른 자율주행 제어 방법은 (a) 운전자 영상 데이터, 주행 관련 데이터, 자율주행 제어값을 수집하는 단계와, (b) 운전자 선호 패턴을 확인하여 주행 패턴을 결정하는 단계 및 (c) 결정된 주행패턴에 따라 자율주행 제어를 수행하는 단계를 포함한다. An autonomous driving control method according to the present invention includes (a) collecting driver image data, driving-related data, and autonomous driving control values; (b) determining a driving pattern by checking a driver's preferred pattern; and (c) determining a driving pattern. and performing autonomous driving control according to the driving pattern.
(a) 단계는 운전자의 감성을 판단할 수 있는 운전자의 표정, 얼굴 움직임을 포함하는 운전자 영상 데이터를 수집한다. Step (a) collects driver image data including facial expressions and facial movements of the driver, which can determine the driver's emotion.
(a) 단계는 속도, 가속도, 요, 피치, 롤 각도, 조향각을 포함하는 주행 관련 데이터를 수집한다. Step (a) collects driving-related data including speed, acceleration, yaw, pitch, roll angle, and steering angle.
(a) 단계는 자율주행 제어에 사용되는 종방향 제어 데이터 및 횡방향 제어 데이터를 포함하는 자율주행 제어값을 수집한다. Step (a) collects autonomous driving control values including longitudinal control data and lateral control data used for autonomous driving control.
(b) 단계는 주행 관련 데이터, 운전자 영상 데이터, 자율주행 제어값을 시점에 따라 매칭하여 저장하고, 운전자 상태 판단 기준에 따라 자율주행 패턴을 결정한다. Step (b) matches and stores driving-related data, driver image data, and autonomous driving control values according to viewpoints, and determines an autonomous driving pattern according to a criterion for determining a driver's condition.
(c) 단계는 (b) 단계에서 결정된 주행 패턴에 따라 자율주행을 수행하고, 운전자의 반응을 다시 수집하여 자율주행 제어값, 주행 관련 데이터와 함께 매칭하여 갱신시킨다. In step (c), autonomous driving is performed according to the driving pattern determined in step (b), the driver's reaction is collected again, and the autonomous driving control value and driving-related data are matched and updated.
본 발명에 따른 자율주행 제어 장치는 운전자 상태 정보, 자율주행 제어값 및 주행 관련 데이터를 수집하는 입력부와, 운전자 상태 정보, 자율주행 제어값 및 주행 관련 데이터를 이용하여 자율주행 차량을 제어하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 자율주행 패턴에 따른 운전자의 상태 정보를 학습하여 자율주행 거동 관련 제어를 수행한다. An autonomous driving control apparatus according to the present invention includes an input unit for collecting driver state information, autonomous driving control values, and driving-related data, and a program for controlling an autonomous vehicle using the driver state information, autonomous driving control values, and driving-related data. It includes a processor that executes stored memory and programs, and the processor learns state information of a driver according to an autonomous driving pattern and performs control related to autonomous driving behavior.
입력부는 속도, 가속도, Yaw, Pitch, Roll각도, 조향각 정보를 포함하는 주행 관련 데이터를 수집한다. The input unit collects driving-related data including speed, acceleration, yaw, pitch, roll angle, and steering angle information.
입력부는 자율주행 제어에 사용되는 종방향 및 횡방향 제어 데이터를 자율주행 제어값으로 수집한다. The input unit collects longitudinal and lateral direction control data used for autonomous driving control as autonomous driving control values.
입력부는 카메라를 통하여 획득된 운전자의 표정, 얼굴 움직임을 포함하는 운전자 상태 정보를 수집한다. The input unit collects driver condition information including facial expressions and facial movements of the driver acquired through the camera.
프로세서는 자율주행 제어 패턴에 따른 운전자의 감성을 학습하고, 학습 데이터를 기반으로 운전자 개인이 원하는 주행 제어 패턴을 예측하고, 예측된 주행 제어 패턴에 따른 운전자 감성을 확인하여 재학습을 수행한다. The processor learns the driver's emotion according to the autonomous driving control pattern, predicts the driving control pattern desired by the individual driver based on the learning data, and performs re-learning by confirming the driver's emotion according to the predicted driving control pattern.
프로세서는 안전 기준치 범위를 고려하여 자율주행 거동 관련 제어를 수행한다. The processor performs autonomous driving behavior-related control in consideration of the safety reference value range.
본 발명에 따르면, 자율주행 패턴에 대한 운전자의 반응을 실시간으로 모니터링하여, 운전자 개개인에 최적화된 자율주행 패턴을 산출하고 그에 따라 자율주행을 수행함으로써, 운전자들의 자율주행에 대한 이질감, 불안감을 해소하고 신뢰성을 향상시키는 것이 가능한 효과가 있다. According to the present invention, by monitoring the driver's reaction to the autonomous driving pattern in real time, calculating the autonomous driving pattern optimized for each driver, and performing autonomous driving accordingly, the driver's sense of heterogeneity and anxiety about autonomous driving are eliminated. There is an effect that it is possible to improve reliability.
자율주행에 대한 운전자의 신뢰성을 향상시킴으로써, 다양한 양태로 제공되는 서비스에 집중할 수 있고, 운전자의 편의성이 향상되는 효과가 있다. By improving the driver's reliability for autonomous driving, it is possible to focus on services provided in various aspects, and the driver's convenience is improved.
또한, 운전자 개개인에 대한 인증 및 클라우드화가 진행되는 경우, 어떠한 자율주행 차량을 이용하더라도 운전자 개개인에게 최적화된 자율주행 패턴을 제공함으로써, 운전자 만족도를 향상시키는 것이 가능한 효과가 있다.In addition, when authentication and cloudization of individual drivers are performed, it is possible to improve driver satisfaction by providing an autonomous driving pattern optimized for each driver regardless of which autonomous vehicle is used.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 본 발명의 실시예에 따른 자율주행 제어 시스템을 도시한다.
도 2는 본 발명의 실시예에 따른 운전자 상태를 고려한 자율주행 개선을 도시한다.
도 3은 본 발명의 실시예에 따른 자율주행 제어 방법을 도시한다.
도 4는 본 발명의 실시예에 따른 자율주행 제어 장치를 도시한다. 1 shows an autonomous driving control system according to an embodiment of the present invention.
2 illustrates autonomous driving improvement in consideration of a driver's condition according to an embodiment of the present invention.
3 illustrates an autonomous driving control method according to an embodiment of the present invention.
4 shows an autonomous driving control device according to an embodiment of the present invention.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The foregoing and other objects, advantages and characteristics of the present invention, and a method of achieving them will become clear with reference to the detailed embodiments described below in conjunction with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms, and only the following embodiments provide the purpose of the invention, As only provided to easily inform the configuration and effect, the scope of the present invention is defined by the description of the claims.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, terms used in this specification are for describing the embodiments and are not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, “comprises” and/or “comprising” means the presence of one or more other components, steps, operations, and/or elements in which a stated component, step, operation, and/or element is present. or added.
도 1은 본 발명의 실시예에 따른 자율주행 제어 시스템을 도시한다. 1 shows an autonomous driving control system according to an embodiment of the present invention.
본 발명의 실시예에 따른 자율주행 제어 시스템은 차량의 거동 데이터(속도, 가속도, Yaw, Pitch, Roll각도, 조향각 등)와 자율주행 제어에 사용되는 종방향(Acceleration, Brake Pressure Command 등), 횡방향(Steering Wheel Angle/Toque Command 등) 제어 데이터와 함께 카메라를 통하여 운전자의 감성을 판단할 수 있는 운전자의 표정, 얼굴 움직임 등의 데이터를 동시에 취득한다. The autonomous driving control system according to an embodiment of the present invention provides vehicle behavior data (speed, acceleration, yaw, pitch, roll angle, steering angle, etc.) and longitudinal direction (Acceleration, Brake Pressure Command, etc.) used for autonomous driving control, Along with the direction (Steering Wheel Angle/Toque Command, etc.) control data, data such as the driver's expression and facial movement that can determine the driver's emotion are simultaneously acquired through the camera.
본 발명의 실시예에 따르면, 자율주행 제어 패턴에 따른 운전자의 감성을 학습하고, 학습한 데이터를 기반으로 운전자 개인이 원하는 주행 제어 패턴을 예측하고, 예측된 주행 제어 패턴에 따른 운전자 감성을 확인하여 재학습을 통해 최적화를 수행한다. According to an embodiment of the present invention, the driver's emotion according to the autonomous driving control pattern is learned, the driving control pattern desired by the individual driver is predicted based on the learned data, and the driver's emotion according to the predicted driving control pattern is confirmed. Optimization is performed through relearning.
본 발명의 실시예에 따른 자율주행 제어 시스템은 차량 데이터 및 운전자 데이터를 수집하는 데이터 수집부(100), 수집된 데이터를 저장하고 운전자 상태를 판단하는 데이터 기록 및 판단부(300), 데이터를 학습하여 운전자가 원하는 주행 패턴을 예측하는 주행패턴 결정부(400) 및 주행 패턴에 따라 자율주행을 수행하는 자율주행 제어부(200)를 포함한다. An autonomous driving control system according to an embodiment of the present invention includes a
데이터 수집부(100)는 자율주행 데이터 수집부(110) 및 운전자 영상 데이터 수집부(120)를 포함한다. The
자율주행 데이터 수집부(110)는 차량 내에 탑재된 조향각 센서, 차속 센서, 가속도 센서, 자이로 센서 등으로부터 획득된 속도, 가속도, Yaw/Pitch/Roll 각도, 조향각 등의 정보를 차량 데이터로 수집한다. The autonomous driving
운전자 영상 데이터 수집부(120)는 클러스터 상단의 대시보드 위에 부착되는 카메라가 획득한 운전자 시선, 눈 깜빡임, 동공 지름, 얼굴 각도, 얼굴 위치, 표정 등의 데이터를 수집한다. The driver image
데이터 수집부(100)는 자율주행 제어부(200)로부터 제어값을 수집한다. The
데이터 기록 및 판단부(300)는 자율주행 데이터 수집부(110)가 수집한 주행 관련 데이터, 운전자 영상 데이터 수집부(120)가 수집한 운전자 영상 데이터, 자율주행 제어부(200)로부터 전달 받은 제어값을 시점에 따라 매칭하여 저장한다. The data recording and
데이터 기록 및 판단부(300)는 기정의된 운전자 상태 판단 기준에 따라 운전자 상태를 판단한다. The data recording and
주행패턴 결정부(400)는 데이터 기록 및 판단부(300)에 저장된 데이터들을 이용하여 학습 과정을 수행하고, 최적화된 차량 제어값을 자율주행 제어부(200)로 전달한다. The driving
운전자 영상 데이터 수집부(120)는 차량 제어값에 따른 자율주행에 대한 운전자의 반응을 다시 수집하고, 자율주행 데이터 및 제어값과 함께 갱신하여 저장한다. The driver image
주행패턴 결정부(400)는 운전자 영상 데이터, 차량 데이터, 자율주행 제어값을 학습하여 운전자가 선호하는 주행 패턴에 근사하도록 자율주행 제어값을 결정하고, 이를 자율주행 제어부(200)로 전송한다. The driving pattern determiner 400 learns driver image data, vehicle data, and autonomous driving control values to determine an autonomous driving control value to approximate a driver's preferred driving pattern, and transmits the autonomous driving control value to the autonomous
자율주행 제어부(200)는 주행패턴 결정부(400)로부터 수신한 자율주행 제어값을 이용하여 차량을 제어한다. The autonomous
이 때, 자율주행 제어부(200)는 자율주행 제어값이 안전 기준치 범위에서 초과되거나 미달되는 수치일 경우, 제어에 적용하지 않고, 안전 기준치를 적용하여 자율주행 제어를 수행한다. At this time, if the autonomous driving control value exceeds or falls short of the safety reference value range, the autonomous
도 2는 본 발명의 실시예에 따른 운전자 상태를 고려한 자율주행 개선을 도시한다. 2 illustrates autonomous driving improvement in consideration of a driver's condition according to an embodiment of the present invention.
자율주행 초기 제어값에 의해서 주행하는 자율주행 패턴에 대해서 불안감을 느끼거나 만족하지 못하는 운전자의 영상 데이터(Fear, Disgust)를 차량 데이터와 제어값과 함께 수집하여 학습하고, 자율주행 제어값을 산출한다. The driver's image data (Fear, Disgust), which is anxious or dissatisfied with the autonomous driving pattern driven by the initial control value of autonomous driving, is collected and learned along with the vehicle data and control value, and the autonomous driving control value is calculated. .
산출된 자율주행 제어값에 따른 자율주행 시, 운전자의 반응을 영상 데이터로부터 피드백 받고, 운전자가 선호하는 자율주행 패턴에 가까워질 때까지 수집, 학습, 제어 절차를 계속적으로 반복한다. During autonomous driving according to the calculated autonomous driving control value, the driver's reaction is received as feedback from the video data, and the collection, learning, and control procedures are continuously repeated until the driver's preferred autonomous driving pattern is approached.
도 3은 본 발명의 실시예에 따른 자율주행 제어 방법을 도시한다. 3 illustrates an autonomous driving control method according to an embodiment of the present invention.
본 발명의 실시예에 따른 자율주행 제어 방법은 운전자 영상 데이터, 주행 관련 데이터, 자율주행 제어값을 수집하는 단계(S310)와, 운전자 선호 패턴을 확인하여 주행 패턴을 결정하는 단계(S320)와, 결정된 주행패턴에 따라 자율주행 제어를 수행하는 단계(S330)를 포함한다. The autonomous driving control method according to an embodiment of the present invention includes collecting driver image data, driving-related data, and autonomous driving control values (S310), determining a driving pattern by checking a driver's preferred pattern (S320), and performing autonomous driving control according to the determined driving pattern (S330).
S310 단계는 운전자의 감성을 판단할 수 있는 운전자의 표정, 얼굴 움직임을 포함하는 영상 데이터를 수집한다. In step S310 , image data including facial expressions and facial movements of the driver capable of determining the driver's emotion is collected.
S310 단계는 속도, 가속도, 요, 피치, 롤 각도, 조향각을 포함하는 주행 관련 데이터를 수집한다. Step S310 collects driving-related data including speed, acceleration, yaw, pitch, roll angle, and steering angle.
S310 단계는 자율주행 제어에 사용되는 종방향 제어 데이터 및 횡방향 제어 데이터를 포함하는 자율주행 제어값을 수집한다. Step S310 collects autonomous driving control values including longitudinal control data and lateral control data used for autonomous driving control.
S320 단계는 주행 관련 데이터, 운전자 영상 데이터, 자율주행 제어값을 시점에 따라 매칭하여 저장하고, 운전자 상태 판단 기준에 따라 자율주행 패턴을 결정한다. In step S320, driving-related data, driver image data, and autonomous driving control values are matched and stored according to viewpoints, and an autonomous driving pattern is determined according to a criterion for determining a driver's condition.
S330 단계는 결정된 자율주행 패턴에 따라 자율주행을 수행하고, 운전자의 반응을 다시 수집하여 자율주행 제어값, 주행 관련 데이터와 함께 매칭하여 갱신시킨다. In step S330, autonomous driving is performed according to the determined autonomous driving pattern, the driver's reaction is collected again, and the autonomous driving control value and driving-related data are matched and updated.
도 4는 본 발명의 실시예에 따른 자율주행 제어 장치를 도시한다. 4 shows an autonomous driving control device according to an embodiment of the present invention.
본 발명의 실시예에 따른 자율주행 제어 장치는 운전자 상태 정보, 자율주행 제어값 및 주행 관련 데이터를 수집하는 입력부(410)와, 운전자 상태 정보, 자율주행 제어값 및 주행 관련 데이터를 이용하여 자율주행 차량을 제어하는 프로그램이 저장된 메모리(420) 및 프로그램을 실행시키는 프로세서(430)를 포함하고, 프로세서(430)는 자율주행 패턴에 따른 운전자의 상태 정보를 학습하여 자율주행 거동 관련 제어를 수행한다. An autonomous driving control apparatus according to an embodiment of the present invention uses an
전술한 메모리는 다양한 형태의 휘발성 또는 비휘발성 저장매체 뿐 아니라, 클라우드 기반 메모리를 포함할 수 있다. The aforementioned memory may include cloud-based memory as well as various types of volatile or non-volatile storage media.
아울러, 운전자 개개인에 대한 인증 및 클라우드화가 진행되는 경우, 본 발명의 실시예에 따른 자율주행 제어는 운전자가 자차량 뿐 아니라 공유 차량 등 어떠한 자율주행 차량을 운전하는 경우에도, 운전자 개개인에게 최적화된 자율주행 패턴을 제공할 수 있다. In addition, when authentication and cloudization of individual drivers are in progress, autonomous driving control according to an embodiment of the present invention is optimized for each driver, even when the driver drives any autonomous vehicle, such as a shared vehicle as well as a driver's own vehicle. Driving patterns can be provided.
따라서, 본 발명의 실시예에 따르면, 클라우드 기반의 운전자의 상태 정보 학습 결과에 따른 최적화된 자율주행 패턴 제공이 가능하다. Therefore, according to an embodiment of the present invention, it is possible to provide an optimized autonomous driving pattern according to a cloud-based learning result of the driver's state information.
입력부(410)는 속도, 가속도, Yaw, Pitch, Roll각도, 조향각 정보를 포함하는 주행 관련 데이터를 수집한다. The
입력부(410)는 자율주행 제어에 사용되는 종방향(Acceleration, Brake Pressure Command 등), 횡방향(Steering Wheel Angle/Toque Command 등) 제어 데이터를 자율주행 제어값으로 수집한다. The
입력부(410)는 카메라를 통하여 획득된 운전자의 표정, 얼굴 움직임을 포함하는 운전자 상태 정보를 수집한다. The
프로세서(430)는 자율주행 제어 패턴에 따른 운전자의 감성을 학습하고, 학습한 데이터를 기반으로 운전자 개인이 원하는 주행 제어 패턴을 예측하고, 예측된 주행 제어 패턴에 따른 운전자 감성을 확인하여 재학습을 수행한다. The
프로세서(430)는 안전 기준치 범위를 고려하여 자율주행 패턴을 결정한다. The
한편, 본 발명의 실시예에 따른 자율주행 제어 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the autonomous driving control method according to an embodiment of the present invention may be implemented in a computer system or recorded on a recording medium. A computer system may include at least one processor, a memory, a user input device, a data communication bus, a user output device, and a storage. Each of the aforementioned components communicates data through a data communication bus.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in memory and/or storage.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or non-volatile storage media. For example, memory may include ROM and RAM.
따라서, 본 발명의 실시예에 따른 자율주행 제어 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 자율주행 제어 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 자율주행 제어 방법을 수행할 수 있다.Therefore, the autonomous driving control method according to an embodiment of the present invention may be implemented as a method executable on a computer. When the autonomous driving control method according to an embodiment of the present invention is executed in a computer device, computer readable instructions may execute the autonomous driving control method according to the present invention.
한편, 상술한 본 발명에 따른 자율주행 제어 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the above-described autonomous driving control method according to the present invention can be implemented as computer readable codes on a computer readable recording medium. Computer-readable recording media includes all types of recording media in which data that can be decoded by a computer system is stored. For example, there may be read only memory (ROM), random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed in computer systems connected through a computer communication network, and stored and executed as readable codes in a distributed manner.
Claims (18)
상기 제어 데이터, 주행 관련 데이터 및 운전자 데이터를 시점에 따라 매칭하여 저장하고, 운전자 상태를 판단하는 데이터 기록 및 판단부;
상기 데이터 기록 및 판단부에 저장된 데이터들을 이용하여 학습 과정을 수행하고, 운전자가 원하는 주행 패턴을 예측하여 상기 운전자가 선호하는 주행 패턴에 근사하도록 자율주행 제어값을 결정하는 주행패턴 결정부; 및
상기 자율주행 제어값을 이용하여 자율주행을 수행하되, 상기 자율주행 제어값이 안전 기준치 범위에서 초과되거나 미달되는 수치일 경우, 상기 자율주행 제어값을 제어에 적용하지 않고, 안전 기준치를 적용하여 자율주행 제어를 수행하는 자율주행 제어부를 포함하고,
상기 데이터 수집부는 결정된 상기 자율주행 제어값에 따라 자율주행이 수행되는 경우의 운전자의 반응을 다시 수집하고, 이를 상기 데이터 기록 및 판단부로 전송하고,
상기 데이터 기록 및 판단부는 상기 데이터 수집부로부터 다시 수집한 운전자의 반응과 상기 자율주행 제어값, 상기 주행 관련 데이터를 함께 매칭하여 갱신시키고,
상기 주행패턴 결정부는 상기 운전자가 선호하는 자율주행 패턴을 고려하여 학습 및 제어 절차를 반복하고,
상기 주행패턴 결정부는 운전자 개개인에 대한 인증 및 클라우드화가 진행되어, 운전자가 자차량이 아닌 공유 차량인 자율주행 차량을 운전하는 경우, 상기 운전자 개개인에게 최적화된 자율주행 패턴을 제공하는 것
인 자율주행 제어 시스템.
a data collection unit that collects driving-related data and driver data of a vehicle driven by an autonomous driving initial value, which is control data used for autonomous driving control;
a data recording and determination unit that matches and stores the control data, driving-related data, and driver data according to viewpoints and determines a driver's condition;
a driving pattern determining unit that performs a learning process using the data stored in the data recording and determining unit, predicts a driving pattern desired by the driver, and determines an autonomous driving control value to approximate a driving pattern preferred by the driver; and
Autonomous driving is performed using the autonomous driving control value, but if the autonomous driving control value exceeds or falls short of the safety reference value range, the autonomous driving control value is not applied to the control and the safety reference value is applied. Including an autonomous driving control unit that performs driving control,
The data collection unit re-collects a driver's reaction when autonomous driving is performed according to the determined autonomous driving control value, and transmits it to the data recording and determining unit;
The data recording and determination unit matches and updates the driver's response collected again from the data collection unit, the autonomous driving control value, and the driving-related data;
The driving pattern determination unit repeats learning and control procedures in consideration of the driver's preferred autonomous driving pattern;
The driving pattern determination unit provides an optimized autonomous driving pattern for each driver when authentication and cloudization of individual drivers are performed, and the driver drives an autonomous vehicle, which is a shared vehicle rather than a vehicle of its own.
autonomous driving control system.
상기 데이터 수집부는 조향각 센서, 차속 센서, 가속도 센서, 자이로 센서 로부터 획득된 속도, 가속도, Yaw/Pitch/Roll 각도, 조향각 정보를 수집하는 것
인 자율주행 제어 시스템.
According to claim 1,
The data collection unit collects speed, acceleration, yaw/pitch/roll angle, and steering angle information obtained from a steering angle sensor, a vehicle speed sensor, an acceleration sensor, and a gyro sensor.
autonomous driving control system.
상기 데이터 수집부는 운전자 시선, 눈 깜빡임, 동공 지름, 얼굴 각도, 얼굴 위치, 표정을 포함하는 상기 운전자 데이터를 수집하는 것
인 자율주행 제어 시스템.
According to claim 1,
The data collection unit collects the driver data including the driver's gaze, eye blink, pupil diameter, face angle, face position, and facial expression.
autonomous driving control system.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200169822A KR102532657B1 (en) | 2020-12-07 | 2020-12-07 | System and method for controlling autonomous driving vehicle |
| US17/404,458 US20220176996A1 (en) | 2020-12-07 | 2021-08-17 | System and method for controlling vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200169822A KR102532657B1 (en) | 2020-12-07 | 2020-12-07 | System and method for controlling autonomous driving vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220080797A KR20220080797A (en) | 2022-06-15 |
| KR102532657B1 true KR102532657B1 (en) | 2023-05-16 |
Family
ID=81987577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200169822A KR102532657B1 (en) | 2020-12-07 | 2020-12-07 | System and method for controlling autonomous driving vehicle |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102532657B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018167647A (en) * | 2017-03-29 | 2018-11-01 | マツダ株式会社 | Vehicle driving support system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170053799A (en) * | 2015-11-06 | 2017-05-17 | 고려대학교 산학협력단 | Apparatus and method for providing the safety of autonomous driving vehicle |
| KR102137213B1 (en) * | 2015-11-16 | 2020-08-13 | 삼성전자 주식회사 | Apparatus and method for traning model for autonomous driving, autonomous driving apparatus |
| KR20190097486A (en) * | 2018-02-12 | 2019-08-21 | 슈어소프트테크주식회사 | Automobile capable estimating driving inclination, method and system for estimating driving inclination |
| KR102528232B1 (en) * | 2018-10-08 | 2023-05-03 | 현대자동차주식회사 | Vehicle, and control method for the same |
-
2020
- 2020-12-07 KR KR1020200169822A patent/KR102532657B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018167647A (en) * | 2017-03-29 | 2018-11-01 | マツダ株式会社 | Vehicle driving support system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220080797A (en) | 2022-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3947090B1 (en) | Method and system for determining driver intention in semi-autonomous vehicle steering | |
| KR102137213B1 (en) | Apparatus and method for traning model for autonomous driving, autonomous driving apparatus | |
| US20200216094A1 (en) | Personal driving style learning for autonomous driving | |
| CN108885836B (en) | Driving assistance device, driving assistance system, driving assistance method, control device, vehicle, and medium | |
| EP3315388B1 (en) | Spring system-based change lane approach for autonomous vehicles | |
| JP6765568B2 (en) | Control systems and methods for controlling vehicle motion | |
| JP6746784B2 (en) | Method and apparatus for assisting a driver when the vehicle's highly autonomous driving mode is stopped | |
| EP3350661B1 (en) | Method and system for steering control of an autonomous vehicle | |
| EP3690846B1 (en) | Learning method and learning device for determining whether to switch mode of vehicle from manual driving mode to autonomous driving mode by performing trajectory-based behavior analysis on recent driving route | |
| JP7241972B2 (en) | Self-driving car controls adapted to the user's driving preferences | |
| CN107406082B (en) | Method for at least partially automated driving in a vehicle | |
| US20150012182A1 (en) | Method and device for assisting a driver of a vehicle in a bottleneck | |
| JP2015189411A (en) | Lane deviation prevention controller for vehicle | |
| JP2005538457A (en) | Driver assistance system for road vehicles | |
| CN111717198A (en) | Control method, device, equipment and medium for L2 level automatic driving | |
| KR20180069505A (en) | Apparatus for path planning of vehicle and method thereof | |
| CN115362095A (en) | Method for operating a driver assistance system of a vehicle with driver throttling for partial automation, driver assistance system and vehicle | |
| CN112977474A (en) | Automatic driving controller, vehicle system including automatic driving controller, and automatic driving control method | |
| KR102532657B1 (en) | System and method for controlling autonomous driving vehicle | |
| JP4707639B2 (en) | Driving assistance device | |
| JP6663771B2 (en) | Automatic steering device | |
| JP6390665B2 (en) | Vehicle control device | |
| KR20230041892A (en) | Vehicle and method for controlling thereof | |
| CN112590663A (en) | Vehicle steering lamp control method and system and vehicle | |
| JP7188072B2 (en) | Vehicle control method and vehicle control device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |