KR102572305B1 - 자율주행차량의 튜토리얼 서비스 시스템 및 이를 제공하는 방법 - Google Patents

자율주행차량의 튜토리얼 서비스 시스템 및 이를 제공하는 방법 Download PDF

Info

Publication number
KR102572305B1
KR102572305B1 KR1020220184202A KR20220184202A KR102572305B1 KR 102572305 B1 KR102572305 B1 KR 102572305B1 KR 1020220184202 A KR1020220184202 A KR 1020220184202A KR 20220184202 A KR20220184202 A KR 20220184202A KR 102572305 B1 KR102572305 B1 KR 102572305B1
Authority
KR
South Korea
Prior art keywords
tutorial
driver
driving
self
situation
Prior art date
Application number
KR1020220184202A
Other languages
English (en)
Inventor
류동운
박선홍
오영달
Original Assignee
한국자동차연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국자동차연구원 filed Critical 한국자동차연구원
Priority to KR1020220184202A priority Critical patent/KR102572305B1/ko
Application granted granted Critical
Publication of KR102572305B1 publication Critical patent/KR102572305B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/10Conjoint control of vehicle sub-units of different type or different function including control of change-speed gearings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B60W10/182Conjoint control of vehicle sub-units of different type or different function including control of braking systems including control of parking brakes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809Driver authorisation; Driver identity check

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 자율주행차량의 튜토리얼 서비스 시스템 및 이를 제공하는 방법에 관한 것이다.
본 발명에 따른 자율주행차량의 튜토리얼 서비스 시스템은 운전자 정보를 인식하는 운전자 인식부와, 차량 환경에 대해 튜토리얼 모드로 변경시키는 튜토리얼 모드 진입부와, 운전자별 맞춤형 튜토리얼을 추천하여 제공하는 운전자 분류별 튜토리얼 추천 및 수행부 및 튜토리얼을 통한 학습 달성도를 평가하는 자율주행 튜토리얼 학습 달성도 평가부를 포함한다.

Description

자율주행차량의 튜토리얼 서비스 시스템 및 이를 제공하는 방법{TUTORIAL SERVICE SYSTEM FOR SELF-DRIVING VEHICLE AND METHOD FOR PROVIDING IT}
본 발명은 자율주행차량의 튜토리얼 서비스 시스템 및 이를 제공하는 방법에 관한 것이다.
자율주행은 운전자가 직접 조작하지 않아도 차량의 외부 환경 및 운전자 상태를 인지하고, 인지한 정보를 바탕으로 판단한 후 차량을 제어하여 스스로 목적지까지 주행할 수 있게 도와주는 기술이다. 자율주행 기술은 전통적인 자동차 제조사뿐 아니라 세계 유수의 IT 기업이 적극적으로 개발에 참여할 만큼 미래 모빌리티 기술의 핵심으로 여겨진다.
자율주행의 여러 장점에도 불구하고, 자율주행차를 처음 사용하거나, 자율주행 기능에 미숙한 운전자에게 자율주행 기능 및 MRM(위험 최소화 전략, Minimum Risk Manoeuvre) 수행에 대한 맞춤식 교육/훈련은 활자로 된 매뉴얼 제공 정도에 그쳐, 실질적인 도움이 되지 않는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 자율주행차를 처음 사용하거나, 자율주행 기능(차선 변경, 합류로 주행, 분기로 주행, 차간 거리 제어 등)에 미숙한 운전자의 자율주행 중 위험최소화전략(Minimum Risk Manoeuvre, MRM) 수행에 대한 이해/대응 능력을 높이는 것이 가능한 자율주행차량의 튜토리얼 서비스 시스템 및 방법을 제공하는 데 그 목적이 있다.
본 발명은 자율주행차량의 튜토리얼 서비스 시스템 및 이를 제공하는 방법에 관한 것이다.
본 발명에 따른 자율주행차량의 튜토리얼 서비스 시스템은 운전자 정보를 인식하는 운전자 인식부와, 차량 환경에 대해 튜토리얼 모드로 변경시키는 튜토리얼 모드 진입부와, 운전자별 맞춤형 튜토리얼을 추천하여 제공하는 운전자 분류별 튜토리얼 추천 및 수행부 및 튜토리얼을 통한 학습 달성도를 평가하는 자율주행 튜토리얼 학습 달성도 평가부를 포함한다.
상기 운전자 인식부는 운전자 데이터베이스를 이용하여 학습된 탑승객 모니터링 시스템을 활용하여, 차량에 현재 탑승한 운전자의 성별 및 연령대를 파악한다.
상기 튜토리얼 모드 진입부는 운전자의 선택에 따라 튜토리얼 모드로 진입하거나, 운전자 인식 결과에 따라 튜토리얼 필요 대상으로 확인되는 경우 튜토리얼 모드로 진입한다.
상기 튜토리얼 모드 진입부는 기어를 P단으로 자동 변경시키고, 주차 브레이크를 자동 체결하며, 스티어링 휠 잠금을 해제시킨다.
상기 운전자 분류별 튜토리얼 추천 및 수행부는 고령 운전자, 초보 운전자에게 돌발상황 대처, 자율주행 기능, ADAS 기능 숙지를 위한 튜토리얼을 제공한다.
상기 운전자 분류별 튜토리얼 추천 및 수행부는 차량별로 상이한 자율주행 레벨, 자율주행 기능, 자율주행 기능의 명칭, 제약 사항을 고려하여 튜토리얼을 제공한다.
상기 자율주행 튜토리얼 학습 달성도 평가부는 사고 발생 유무와 운전자의 반응 속도를 이용하여 평가 결과를 제공한다.
본 발명에 따른 자율주행 튜토리얼 서비스 제공 방법은 (a) 운전자를 인식하고 튜토리얼 제공 필요 여부를 판단하는 단계와, (b) 차량 환경에 대해 튜토리얼 모드로 변경시키는 단계와, (c) 운전자 분류별 튜토리얼을 추천하고 수행하는 단계 및 (d) 자율주행 튜토리얼 학습 달성도를 평가하는 단계를 포함한다.
상기 (a) 단계는, (a-1) 운전자 영상 데이터를 입력받는 단계와, (a-2) 운전자를 인식하는 단계와, (a-3) 기등록된 운전자인지 확인하는 단계 및 (a-4) 기등록된 운전자가 아닌 경우, 운전자 데이터베이스를 활용하여 운전자를 판단하는 단계 및 (a-5) 운전자 정보를 출력하는 단계를 포함한다.
상기 (b) 단계는, (b-1) 튜토리얼 메뉴 진입 신호를 입력받는 단계와, (b-2) 기어를 P단으로 자동 변경하는 단계와, (b-3) 주차 브레이크를 자동으로 체결하는 단계 및 (b-4) 스티어링 휠 잠금을 해제하는 단계를 포함한다.
상기 (c) 단계는, (c-1) 운전자 인식 결과 및 목적지 정보를 입력받는 단계와, (c-2) 운전자를 분류하고 운전자 분류 결과에 따른 튜토리얼을 제공하는 단계와, (c-3) 차량 브랜드 또는 차종별 튜토리얼을 제공하는 단계 및 (c-4) 목적지 이동 경로 기반 튜토리얼을 제공하는 단계를 포함한다.
상기 (d) 단계는, (d-1) 운전자 튜토리얼 수행 완료 신호를 입력받고 튜토리얼 달성도 평가 모드로 진입하는 단계와, (d-2) 본 회차에 수행한 튜토리얼에 대한 평가를 수행하는 단계와, (d-3) 튜토리얼 평가 점수를 계산하고 최종 평가 점수를 출력하는 단계를 포함한다.
본 발명에 따르면, 고도화된 자율주행 기능 및 그 사용 방법에 대해, 텍스트 형태가 아닌 게임 형태의 튜토리얼로 제공함으로써, 사용자가 보다 쉽게 자율주행 기능을 파악하고 비상상황 대처 방법을 익힐 수 있도록 지원하는 효과가 있다.
본 발명에 따르면, 자율주행 차량의 구동륜을 제외한 모든 부품의 전원을 가동하여, 모든 기능을 활성화한 상태에서 튜토리얼을 통해 이용 방법을 경험할 수 있도록 함으로써, 실제 상황에서도 당황하지 않고 능숙하게 차량을 이용할 수 있도록 하는 효과가 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 자율주행차량의 튜토리얼 서비스 시스템을 도시한다.
도 2는 본 발명의 실시예에 따른 자율주행차량의 튜토리얼 서비스 시스템을 이용한 튜토리얼 서비스 제공 방법을 도시한다.
도 3은 본 발명의 실시예에 따른 운전자 인식 과정을 도시한다.
도 4는 본 발명의 실시예에 따른 튜토리얼 진입 과정을 도시한다.
도 5는 본 발명의 실시예에 따른 운전자 분류별 튜토리얼 추천 및 수행 과정을 도시한다.
도 6은 본 발명의 실시예에 따른 자율주행 튜토리얼 학습 달성도 평가 과정을 도시한다.
도 7은 본 발명의 실시예에 따른 수동운전 제어권 전환 상황에 대한 튜토리얼 서비스 이용 사례를 도시한다.
도 8은 본 발명의 실시예에 따른 자율주행 성능 저하로 인한 위험 상황에 대한 튜토리얼 서비스 이용 사례를 도시한다.
도 9는 본 발명의 실시예에 따른 자율주행 시스템 오류 발생 시 단일 기능 및 정보에 대한 안내 요청 사례를 도시한다.
도 10은 본 발명의 실시예에 따른 학습 달성도에 따른 맞춤형 정보 제공 사례를 도시한다.
도 11은 본 발명의 실시예에 따른 방법을 구현하기 위한 컴퓨터 시스템을 나타낸 블록도이다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
본 발명의 실시예에 따르면, 자율주행 기능(차선 변경, 합류로 주행, 분기로 주행, 차간 거리 제어 등)에 미숙한 운전자의 자율주행 중 위험최소화전략(Minimum Risk Manoeuvre, MRM) 수행에 대한 이해/대응 능력을 높이고자, 차량 내 설치된 디스플레이(디지털 클러스터, Head up display, 윈드실드, CID, 내비게이션 등) 또는 태블릿(차량시스템과 연동되어 가시화)을 통해 사전에 자율주행에 대한 전반적인 학습 및 훈련을 위한 튜토리얼을 제공한다.
본 발명의 실시예에 따르면, 자율주행 기능 및 MRM 수행별 적절한 피드백(반응속도, 조작 숙련도 등)을 통해, 사용자가 취약한 부분에 대한 강화된 정보를 제공하거나 맞춤식 교육 및 훈련을 제공한다.
본 발명의 실시예에 따르면, 실제 자율주행 중 발생 가능한 다양한 상황(이벤트)에서의 기능 동작 및 대응 상황을 사전에 실제 차량 시스템(조향, 제동, 디스플레이 등)을 활용하여 학습하고 훈련 경험을 할 수 있도록 하여, 사용자의 기술 수용도, 사용성, 비상시 대응 능력을 향상시키는 효과가 있다.
도 1은 본 발명의 실시예에 따른 자율주행차량의 튜토리얼 서비스 시스템을 도시한다.
본 발명의 실시예에 따른 자율주행차량의 튜토리얼 서비스 시스템은 운전자 정보를 인식하는 운전자 인식부(100)와, 차량 환경에 대해 튜토리얼 모드로 변경시키는 튜토리얼 모드 진입부(200)와, 운전자별 맞춤형 튜토리얼을 추천하여 제공하는 운전자 분류별 튜토리얼 추천 및 수행부(300)와, 튜토리얼을 통한 학습 달성도를 평가하는 자율주행 튜토리얼 학습 달성도 평가부(400)를 포함한다.
운전자 인식부(100)는 운전자 데이터베이스를 이용하여 학습된 PMS(Passenger Monitoring System)를 활용하여, 차량에 현재 탑승한 운전자의 성별, 연령대를 파악한다. 이를 통해, 운전자에 대해 고령 운전자인지, 초보 운전자인지 또는 숙달된 운전자인지 분류를 수행한다. 본 발명의 실시예에 따르면, 운전자 분류 결과에 따라 별도의 튜토리얼 모드를 제안하며, 숙달된 운전자의 경우 운전자가 직접 자신이 원하는 튜토리얼을 선택하거나, 튜토리얼 모드를 종료시키는 것이 가능하다. 신규로 입력된 운전자 정보는 운전자 데이터베이스에 축적되어 관리/학습된다.
튜토리얼 모드 진입부(200)는 운전자의 수동 입력을 통해 선택된 튜토리얼 모드로 진입하거나, 운전자 인식 결과에 따라 튜토리얼 필요 대상(고령 운전자 또는 초보 운전자)으로 확인되는 경우에 자동으로 튜토리얼 모드로 진입한다. 튜토리얼 모드 진입부(200)는 튜토리얼 모드, 정차 상태에서 스티어링 휠 및 가/감속 페달 조작이 수행되나, 실제로는 차량이 움직이지 않도록, 튜토리얼 모드로 진입하는 순간 기어를 P단으로 자동 변경하고, 주차 브레이크를 자동 체결한다. 또한, 정차(주차) 중에도 스티어링 휠이 움직일 수 있도록, 스티어링 휠 잠금(핸들락) 기능을 해제시킨다.
운전자 분류별 튜토리얼 추천 및 수행부(300)는 운전자 인식 결과를 이용하여, 운전자별로 적절한 튜토리얼을 추천한다. 고령 운전자, 초보 운전자에게는 자율주행 및 ADAS 기능에 대한 이해도를 높여줄 수 있는 튜토리얼 및 돌발 상황에 대한 대처 방안을 학습할 수 있는 튜토리얼을 제공한다.
고령 운전자를 위한 돌발 상황에 대한 대처 방안 튜토리얼과 관련하여 설명하면, 현재 고령 운전자에 의한 교통사고 증가가 사회적으로 이슈가 되고 있다. 65세 이상의 고령 운전자의 운전 정보를 분석하면, 평균 속도 및 과속 빈도는 고령이 아닌 운전자에 비해 상대적으로 낮게 나타나지만, 출발 및 돌발상황에 대한 반응 시간이 상대적으로 매우 느리며, 이에 대한 대처 능력이 상대적으로 떨어지는 것으로 확인된다. 따라서, 운전자가 고령 운전자로 판단되는 경우에는, 일반주행 중 차량이 갑자기 끼어드는 상황, 전방 차량이 이유 없이 급정지/급감속 하는 상황, 보행자가 무단횡단 하는 상황, 비보호 교차로 좌회전, 교차로 우회전, 자율주행 중 센서 이상 또는 전방 공사 등으로 인해 제어권을 전환받아야 하는 상황 등에 대한 튜토리얼을 제공한다.
고령 운전자 및 초보 운전자를 위한 자율주행/ADAS 기능 활용 튜토리얼과 관련하여 설명하면, 고령 운전자 및 초보 운전자의 경우 자율주행 차량의 기능이나 ADAS 기능에 대한 이해도가 매우 낮으며, 해당 기능을 언제, 어떻게 사용하여야 하는지에 대해 알지 못하는 경우가 많다. 따라서, 자율주행 기능이나 ADAS 기능에 대한 사용 방법을 HUD, Cluster, CID 등의 디스플레이를 통해 제공하며, 운행 중 발생할 수 있는 다양한 제어권 전환 상황에 대한 튜토리얼을 제공한다. 또한, 제어권 전환 방법 및 대응 방안에 대해 가이드를 제공하고, 실습하는 것이 가능한 튜토리얼을 제공한다.
일반적으로 차량 브랜드(차종)별 자율주행 또는 ADAS 기능 및 성능이 상이하므로, 운전자가 탑승 중인 차량의 자율주행 또는 ADAS 기능이 제한되는 상황에 대한 대응 방안을 학습할 수 있도록 지원하는 튜토리얼을 제공한다. 즉, 각각의 자동차 제조사, 차종에 따라 적용된 자율주행 레벨 및 기능이 다르고, ADAS 기능 또한 명칭, 기능, 제약사항이 상이한 경우가 많다. 따라서, 차량 브랜드(차종) 정보를 사전에 입력 받고, 이와 관련된 자율주행, ADAS 기능 및 제한상황에 대한 대응방안을 가이드하는 튜토리얼을 제공한다.
본 발명의 실시예에 따르면, 설정된 목적지 정보를 기반으로 목적지까지 이동하는 경로 중 사고다발 구간 또는 자율주행, ADAS 기능이 제한되는 상황이 발생할 수 있는 구간에 대해 대응 방안을 학습할 수 있도록 지원하는 튜토리얼을 제공한다. 즉, 입력된 목적지를 기반으로 목적지까지의 이동 경로 중 사고가 발생 가능성이 높은 것으로 추론되는 구간, 자율주행 또는 ADAS 기능에 대한 제한이 발생할 것으로 추론되는 구간, 운전 제어권 전환이 필요할 것으로 추론되는 구간에 대한 정보를 안내하고, 그에 대한 대응 방안을 학습할 수 있는 튜토리얼을 제공한다.
운전자 분류별 튜토리얼 추천 및 수행부(300)는 튜토리얼 서비스 이용 시에 선택된 자율주행 상황 또는 운전자 속성을 고려하여 추천된 상황에 기반하여, 해당 상황에서 표출되는 정보와 운전자가 사용할 수 있는 기능 및 취해야 할 행동들에 대한 순차적 학습이 가능한 튜토리얼을 제공한다.
자율주행 튜토리얼 학습 달성도 평가부(400)는 튜토리얼을 통해 학습한 내용을 재현하여, 해당 돌발 상황, 위험 상황 및 제어권 전환 등과 같은 상황에서 운전자의 반응속도, 사고 발생 유무, 교통법규 준수 여부 등 자율주행 튜토리얼 학습 달성도에 대한 평가 결과를 제공한다. 이를 통해, 사용자는 자율주행 기능에 대한 과신과 오해, 불안감을 해소하고 초기 대처 능력을 향상시키는 것이 가능하다.
자율주행 튜토리얼 학습 달성도에 대한 채점은 각각의 튜토리얼 별로 사고 여부, 상황별 올바른 대응 여부, 상황별 대응 반응속도, 상황별 교통법규 준수여부 등을 측정하며, 이를 100점 척도 점수로 환산하여 평균 점수를 계산한다. 수행한 튜토리얼 별로 각각의 평가가 수행되며, 모든 평가가 완료된 후 최종 평가 점수를 제공한다.
학습 달성도 평가 결과 최종 평가 점수가 80점(최대 100점)이상인 경우에는 자율주행 튜토리얼 서비스가 종료되며, 이 기준을 넘지 못하는 경우에는 운전자가 취약한 부분을 안내해주고 튜토리얼을 추가로 추천한다.
튜토리얼 평가 종료 후 운전자 속성별로 취약한 상황에 대한 정보, 상황별 대응 반응시간, 상황별 교통법규 준수여부 등의 정보가 운전자 DB로 저장되고, 추가 학습에 활용된다.
도 2는 본 발명의 실시예에 따른 자율주행차량의 튜토리얼 서비스 시스템을 이용한 자율주행 튜토리얼 서비스 제공 방법을 도시하고, 도 3은 본 발명의 실시예에 따른 운전자 인식 과정을 도시하고, 도 4는 본 발명의 실시예에 따른 튜토리얼 진입 과정을 도시하고, 도 5는 본 발명의 실시예에 따른 운전자 분류별 튜토리얼 추천 및 수행 과정을 도시하며, 도 6은 본 발명의 실시예에 따른 자율주행 튜토리얼 학습 달성도 평가 과정을 도시한다.
본 발명의 실시예에 따른 자율주행 튜토리얼 서비스 제공 방법은 운전자를 인식하고 튜토리얼 제공 필요 여부를 판단하는 단계(S100)와, 차량 환경에 대해 튜토리얼 모드로 변경시키는 튜토리얼 모드 진입 단계(S200)와, 운전자 분류별 튜토리얼을 추천하고 수행하는 단계(S300) 및 자율주행 튜토리얼 학습 달성도를 평가하는 단계(S400)를 포함한다.
운전자를 인식하고 튜토리얼 제공 필요 여부를 판단하는 단계(S100)는 운전자 영상 데이터를 입력받는 단계(S110), 운전자를 인식하는 단계(S120), 기등록된 운전자인지 확인하는 단계(S130), 기등록된 운전자가 아닌 경우, 운전자 데이터베이스를 활용하여 운전자를 판단하는 단계(S140), 운전자 정보를 출력하는 단계(S150)를 포함한다. S110 단계에서는 실시간 운전자 영상 데이터를 입력받고, S120 단계는 PMS 카메라를 활용하여 성별, 연령대 등 운전자 정보를 추출한다. S130 단계에서 기등록된 운전자가 아닌 것으로 확인되면, S140 단계는 직접 입력된 운전자 정보를 포함하고, 운전자 판단 알고리즘 학습을 위한 학습 데이터베이스에 해당하는 운전자 데이터베이스를 이용하여 운전자 판단을 수행한다. 운전자 데이터베이스에는 운전자별 영상, 이미지, 성별, 연령대, 운전 경력, 자율주행 튜토리얼 학습 달성도 등이 포함된다. S140 단계에서는 다양한 운전자 데이터베이스를 통해 학습된 알고리즘 기반으로 운전자 성별, 연령대, 운전경력, 자율주행 튜토리얼 학습 달성도 등을 판단한다.
차량 환경에 대해 튜토리얼 모드로 변경시키는 튜토리얼 모드 진입 단계(S200)는 튜토리얼 메뉴 진입 신호를 입력받는 단계(S210)와, 기어를 P단으로 자동 변경하는 단계(S220)와, 주차 브레이크를 자동으로 체결하는 단계(S230) 및 스티어링 휠 잠금을 해제하는 단계(S240)를 포함한다. 튜토리얼 모드 진입 시, 정차 상태에서 스티어링 휠 및 가/감속 페달 조작이 수행되나, 실제로는 차량이 움직이지 않도록, 튜토리얼 모드로 진입하는 순간 기어를 P단으로 자동 변경하고, 주차 브레이크를 자동 체결하며, 정차(주차) 중에도 스티어링 휠이 움직일 수 있도록, 스티어링 휠 잠금(핸들락) 기능을 해제시킨다.
운전자 분류별 튜토리얼을 추천하고 수행하는 단계(S300)는 운전자 인식 결과 및 목적지 정보를 입력받는 단계(S310)와, 운전자를 분류하고 운전자 분류 결과에 따른 튜토리얼을 제공하는 단계(S320)와, 차량 브랜드 또는 차종별 튜토리얼을 제공하는 단계(S330) 및 목적지 이동 경로 기반 튜토리얼을 제공하는 단계(S340)를 포함한다. S320 단계에서, 고령 운전자 또는 초보 운전자 여부를 분류한다. 고령 운전자 튜토리얼은 돌발 상황에 대해 반응 속도가 상대적으로 느린 고령 운전자를 위해 출발 및 돌발 상황에 대한 대처 방안 학습을 위한 튜토리얼을 제공한다. 또한, 자율주행 및 ADAS 기능에 대한 이해도가 낮은 고령 운전자가 해당 기능을 이해하고 활용할 수 있도록 지원한다. 초보 운전자 튜토리얼은 고령 운전자에 비해 반응 속도는 빠르므로, 자율주행 및 ADAS 기능에 대한 이해도를 높이고 활용할 수 있도록 하는 튜토리얼을 제공한다. S330 단계에서, 차량 브랜드별 자율주행 기능 제한 상황 및 그에 대한 대응 방안을 학습할 수 있는 튜토리얼을 제공한다. S340 단계에서, 목적지까지의 이동 경로 중 사고 다발 구간 또는 자율주행 기능 제한 상황이 발생할 수 있는 구간에 대한 대응 방안을 학습할 수 있는 튜토리얼을 제공한다.
자율주행 튜토리얼 학습 달성도를 평가하는 단계(S400)는 운전자 튜토리얼 수행 완료 신호를 입력받고 튜토리얼 달성도 평가 모드로 진입하는 단계(S410)와, 본 회차에 수행한 튜토리얼에 대한 평가를 수행하는 단계(S420)와, 튜토리얼 평가 점수를 계산하고 최종 평가 점수를 출력하는 단계(S430)를 포함한다. S420 단계에서, 해당 튜토리얼 상황에서의 사고 발생 유무와, 돌발 상황에서의 회피, 제동, 제어권 전환 요청 수락 등에 대한 반응 속도를 고려하여 평가를 수행한다. 본 회차에 수행한 모든 튜토리얼에 대한 평가가 완료되면, S430 단계에서의 튜토리얼 평가 점수 및 최종 평가 점수 산출이 수행된다. 평가 점수 계산 시, 각 튜토리얼 별 사고유무와, 상황별 반응속도 점수를 환산하여 평균 점수를 계산하고, 모든 튜토리얼에 대한 평균 점수를 계산한다. 최종 평가 결과 점수가 일정 기준 이상인 경우 튜토리얼을 종료시키고, 일정 기준 미만인 경우 튜토리얼 추천 및 수행 과정이 반복된다. 추가적으로, S440 단계는 운전자가 취약한 부분을 안내해주고 튜토리얼을 추가로 추천하며, 튜토리얼 평가 종료 후 운전자 속성별로 취약한 상황에 대한 정보, 상황별 대응 반응시간 등의 정보를 운전자 DB로 저장하여 추가 학습에 활용한다.
도 7은 본 발명의 실시예에 따른 수동운전 제어권 전환 상황에 대한 튜토리얼 서비스 이용 사례를 도시한다. 차량 내 컨트롤 디바이스를 통해 운전제어권 전환 상황에 대한 튜토리얼을 요청한다. 디스플레이 및 윈드실드의 HUD에서 수동운전 제어권 전환 요청에 대한 알림이 제공된다. 운전자는 수동운전 제어권 전환 요청에 응답하여, 수동운전 제어권 전환을 수행한다. 수동운전 제어권 전환 상황과 관련한 튜토리얼에 대한 운전자의 학습 달성도를 측정하여 분석한 후, 수행도 향상을 위한 피드백을 제시한다.
도 8은 본 발명의 실시예에 따른 자율주행 성능 저하로 인한 위험 상황에 대한 튜토리얼 서비스 이용 사례를 도시한다.
차량 내 컨트롤 디바이스를 통해 자율주행 성능 저하로 인한 위험 상황에 대한 튜토리얼을 요청한다. 디스플레이 및 윈드실드의 HUD에서 자율주행 성능 저하로 인한 위험 상황 안내에 대한 알림이 제공된다. 시스템 성능 저하로 인한 갓길 비상 정차 안내를 제공한다. 위험상황 안내 및 갓길 비상 정차에 대한 운전자 이해도를 조사하고, 이해도 향상을 위한 피드백을 제공한다.
도 9는 본 발명의 실시예에 따른 자율주행 시스템 오류 발생 시 단일 기능 및 정보에 대한 안내 요청 사례를 도시한다. 실제 자율주행 시스템에서 오류가 발생되면, 디스플레이에서 자율주행 시스템 오류 아이콘에 대한 안내를 제공한다. 해당 아이콘이 발생한 이유 또는 고장 원인을 디스플레이나 HUD에 표출하여 설명을 제공한다. 해당 정보와 관련한 추가 정보 및 기능 안내를 제공한다.
도 10은 본 발명의 실시예에 따른 학습 달성도에 따른 맞춤형 정보 제공 사례를 도시한다. 실제 자율주행 중 차선 변경, 장애물 인지 등 자율주행 관련 정보 안내 상황이 발생되면, 각 운전자별 학습달성도를 분석하여 정보 제공 필요 여부를 판단한다. 학습 달성도에 따라 디스플레이에 표출할 위치, 크기 등에 대한 안내 방법 및 빈도가 설정된다. 운전자 학습 데이터베이스 및 운전자 인식 기반의 운전자별 맞춤형 정보가 제공된다.
도 11은 본 발명의 실시예에 따른 방법을 구현하기 위한 컴퓨터 시스템을 나타낸 블록도이다.
도 11을 참조하면, 컴퓨터 시스템(1000)은, 버스(1070)를 통해 통신하는 프로세서(1010), 메모리(1030), 입력 인터페이스 장치(1050), 출력 인터페이스 장치(1060), 및 저장 장치(1040) 중 적어도 하나를 포함할 수 있다. 컴퓨터 시스템(1000)은 또한 네트워크에 결합된 통신 장치(1020)를 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치(central processing unit, CPU)이거나, 또는 메모리(1030) 또는 저장 장치(1040)에 저장된 명령을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 저장 장치(1040)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(read only memory) 및 RAM(random access memory)를 포함할 수 있다. 본 기재의 실시예에서 메모리는 프로세서의 내부 또는 외부에 위치할 수 있고, 메모리는 이미 알려진 다양한 수단을 통해 프로세서와 연결될 수 있다. 메모리는 다양한 형태의 휘발성 또는 비휘발성 저장 매체이며, 예를 들어, 메모리는 읽기 전용 메모리(read-only memory, ROM) 또는 랜덤 액세스 메모리(random access memory, RAM)를 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터에 구현된 방법으로서 구현되거나, 컴퓨터 실행 가능 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서 구현될 수 있다. 한 실시예에서, 프로세서에 의해 실행될 때, 컴퓨터 판독 가능 명령은 본 기재의 적어도 하나의 양상에 따른 방법을 수행할 수 있다.
통신 장치(1020)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다.
또한, 본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 매체에 기록될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은, 본 발명의 실시예를 위해 특별히 설계되어 구성된 것이거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체는 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치를 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 기록 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등일 수 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 통해 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (12)

  1. 운전자 정보를 인식하는 운전자 인식부;
    차량 환경에 대해 튜토리얼 모드로 변경시키는 튜토리얼 모드 진입부;
    운전자별 맞춤형 튜토리얼을 추천하여 제공하는 운전자 분류별 튜토리얼 추천 및 수행부; 및
    튜토리얼을 통한 학습 달성도를 평가하는 자율주행 튜토리얼 학습 달성도 평가부를 포함하고,
    상기 운전자 분류별 튜토리얼 추천 및 수행부는 입력된 목적지를 기반으로 목적지까지의 이동 경로 중 사고 발생 가능성이 높은 것으로 추론되는 구간, 자율주행 기능에 대한 제한이 발생할 것으로 추론되는 구간, 운행 중 발생되는 운전 제어권 전환이 필요할 것으로 추론되는 구간에 대한 정보를 안내하고 그에 대한 대응 방안을 학습하는 튜토리얼을 제공하고,
    상기 운전자 분류별 튜토리얼 추천 및 수행부는 튜토리얼 서비스 이용 시에 선택된 자율주행 상황 또는 운전자 속성을 고려하여 추천된 상황에 기반하여, 해당 상황에서 표출되는 정보와 운전자가 사용할 수 있는 기능 및 취해야 할 행동들에 대한 순차적 학습이 가능한 튜토리얼을 제공하고,
    상기 자율주행 튜토리얼 학습 달성도 평가부는 해당 돌발 상황, 위험 상황 및 제어권 전환 상황에서 운전자의 반응속도, 사고 발생 유무, 교통법규 준수 여부를 포함하는 상기 자율주행 튜토리얼 학습 달성도에 대한 평가 결과를 제공하고, 학습 달성도 평가 결과가 기준을 넘지 못하는 경우 운전자가 취약한 부분을 안내하고 튜토리얼을 추가로 추천하며, 튜토리얼 평가 종료 후 운전자 속성별로 취약한 상황에 대한 정보, 상황별 대응 반응시간, 상황별 교통법규 준수 여부를 포함하는 정보를 운전자 DB로 저장하고 추가 학습에 활용하고,
    운전자별 상기 학습 달성도를 분석하여 상기 학습 달성도에 따라 디스플레이에 정보를 표출할 위치, 크기를 포함하는 안내 방법 및 안내 빈도를 설정하는 것
    을 특징으로 하는 자율주행차량의 튜토리얼 서비스 시스템.
  2. 제1항에 있어서,
    상기 운전자 인식부는 운전자 데이터베이스를 이용하여 학습된 탑승객 모니터링 시스템을 활용하여, 차량에 현재 탑승한 운전자의 성별 및 연령대를 파악하는 것
    인 자율주행차량의 튜토리얼 서비스 시스템.
  3. 제1항에 있어서,
    상기 튜토리얼 모드 진입부는 운전자의 선택에 따라 튜토리얼 모드로 진입하거나, 운전자 인식 결과에 따라 튜토리얼 필요 대상으로 확인되는 경우 튜토리얼 모드로 진입하는 것
    인 자율주행차량의 튜토리얼 서비스 시스템.
  4. 제1항에 있어서,
    상기 튜토리얼 모드 진입부는 기어를 P단으로 자동 변경시키고, 주차 브레이크를 자동 체결하며, 스티어링 휠 잠금을 해제시키는 것
    인 자율주행차량의 튜토리얼 서비스 시스템.
  5. 제1항에 있어서,
    상기 운전자 분류별 튜토리얼 추천 및 수행부는 고령 운전자, 초보 운전자에게 돌발상황 대처, 자율주행 기능, ADAS 기능 숙지를 위한 튜토리얼을 제공하는 것
    인 자율주행차량의 튜토리얼 서비스 시스템.
  6. 제1항에 있어서,
    상기 운전자 분류별 튜토리얼 추천 및 수행부는 차량별로 상이한 자율주행 레벨, 자율주행 기능, 자율주행 기능의 명칭, 제약 사항을 고려하여 튜토리얼을 제공하는 것
    인 자율주행차량의 튜토리얼 서비스 시스템.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
KR1020220184202A 2022-12-26 2022-12-26 자율주행차량의 튜토리얼 서비스 시스템 및 이를 제공하는 방법 KR102572305B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220184202A KR102572305B1 (ko) 2022-12-26 2022-12-26 자율주행차량의 튜토리얼 서비스 시스템 및 이를 제공하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220184202A KR102572305B1 (ko) 2022-12-26 2022-12-26 자율주행차량의 튜토리얼 서비스 시스템 및 이를 제공하는 방법

Publications (1)

Publication Number Publication Date
KR102572305B1 true KR102572305B1 (ko) 2023-08-29

Family

ID=87802127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220184202A KR102572305B1 (ko) 2022-12-26 2022-12-26 자율주행차량의 튜토리얼 서비스 시스템 및 이를 제공하는 방법

Country Status (1)

Country Link
KR (1) KR102572305B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180067486A1 (en) * 2016-09-07 2018-03-08 Ford Global Technologies, Llc Advanced autonomous vehicle tutorial
KR20180051977A (ko) * 2016-11-09 2018-05-17 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
JP2019526130A (ja) * 2016-07-29 2019-09-12 ニッサン ノース アメリカ,インク 学習し適応するスマートチュートリアル
KR20210120853A (ko) * 2020-03-27 2021-10-07 하만인터내셔날인더스트리스인코포레이티드 운전자의 기술 수준 및 신뢰 수준의 자동 추정
KR20220089772A (ko) * 2020-12-21 2022-06-29 한국전자통신연구원 운전자의 주행 능력을 평가하는 주행 능력 평가 방법 및 그 방법을 수행하는 인적 요소 평가 시스템
KR102478066B1 (ko) * 2018-09-17 2022-12-16 현대자동차주식회사 긴급상황 시뮬레이션 모드가 구비된 차량 및 이의 운전 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019526130A (ja) * 2016-07-29 2019-09-12 ニッサン ノース アメリカ,インク 学習し適応するスマートチュートリアル
JP6695494B2 (ja) * 2016-07-29 2020-05-20 ニッサン ノース アメリカ,インク 学習し適応するスマートチュートリアル
US20180067486A1 (en) * 2016-09-07 2018-03-08 Ford Global Technologies, Llc Advanced autonomous vehicle tutorial
KR20180051977A (ko) * 2016-11-09 2018-05-17 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
KR102478066B1 (ko) * 2018-09-17 2022-12-16 현대자동차주식회사 긴급상황 시뮬레이션 모드가 구비된 차량 및 이의 운전 방법
KR20210120853A (ko) * 2020-03-27 2021-10-07 하만인터내셔날인더스트리스인코포레이티드 운전자의 기술 수준 및 신뢰 수준의 자동 추정
KR20220089772A (ko) * 2020-12-21 2022-06-29 한국전자통신연구원 운전자의 주행 능력을 평가하는 주행 능력 평가 방법 및 그 방법을 수행하는 인적 요소 평가 시스템

Similar Documents

Publication Publication Date Title
US11577746B2 (en) Explainability of autonomous vehicle decision making
CN111565990A (zh) 用于自主车辆的软件验证
CN108885836A (zh) 驾驶辅助方法和利用该驾驶辅助方法的驾驶辅助装置、自动驾驶控制装置、车辆、驾驶辅助***以及程序
US20100250045A1 (en) Vehicle operation diagnosis device, vehicle operation diagnosis method, and computer program
KR20190045511A (ko) 차량학습에 기반한 자율주행 중 사고 회피 시스템 및 방법
CN111002984A (zh) 一种自动驾驶方法、装置、车辆及自动驾驶设备
CN107533805A (zh) 自动驾驶辅助***、自动驾驶辅助方法以及计算机程序
CN113287074A (zh) 使用语音交互增加自主运载工具安全性和灵活性的方法和***
JP3973008B2 (ja) 安全走行支援装置、その方法及び記録媒体
US20220343762A1 (en) Quantitative driving evaluation and vehicle safety restrictions
US20200310448A1 (en) Behavioral path-planning for a vehicle
JP2018049477A (ja) 運転支援装置、センタ装置
CN102150013A (zh) 安全驾驶辅助***及其方法、用于辅助安全驾驶的计算机程序及记录该计算机程序的记录介质以及导航装置
US20200298892A1 (en) Vehicle to vehicle (v2v) communication less truck platooning
JP7114861B2 (ja) 自動運転車両の制御システムおよび制御方法
US11393263B2 (en) Method and device for monitoring operating status of vehicle
KR102572305B1 (ko) 자율주행차량의 튜토리얼 서비스 시스템 및 이를 제공하는 방법
JP7087392B2 (ja) 認知症リスクの判定システム
KR20190000853A (ko) 맞춤형 ui 제공 자율 주행 차량의 주행 정보를 표시하는 방법, 이를 위한 차량용 단말 및 관리자 단말
JP6617602B2 (ja) 漫然運転検出システム及び漫然運転検出方法
US11092962B1 (en) Computer-based reasoning system for operational situation vehicle control
US20240083441A1 (en) Driving evaluation system, learning device, evaluation result output device, method, and program
JP5077103B2 (ja) アドバイス情報提示装置、及びプログラム
US20220057795A1 (en) Drive control device, drive control method, and computer program product
Ge et al. Methodologies for evaluating and optimizing multimodal human-machine-interface of autonomous vehicles

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant