KR20230124839A - 자율주행 관리서버, 운전자 상태 감응형 자율주행자동차 및 자율주행방법 - Google Patents

자율주행 관리서버, 운전자 상태 감응형 자율주행자동차 및 자율주행방법 Download PDF

Info

Publication number
KR20230124839A
KR20230124839A KR1020220069953A KR20220069953A KR20230124839A KR 20230124839 A KR20230124839 A KR 20230124839A KR 1020220069953 A KR1020220069953 A KR 1020220069953A KR 20220069953 A KR20220069953 A KR 20220069953A KR 20230124839 A KR20230124839 A KR 20230124839A
Authority
KR
South Korea
Prior art keywords
driver
driving
autonomous driving
information
feature information
Prior art date
Application number
KR1020220069953A
Other languages
English (en)
Other versions
KR102681761B1 (ko
Inventor
한동석
김정환
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Publication of KR20230124839A publication Critical patent/KR20230124839A/ko
Application granted granted Critical
Publication of KR102681761B1 publication Critical patent/KR102681761B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B60W2050/0054—Cut-off filters, retarders, delaying means, dead zones, threshold values or cut-off frequency
    • B60W2050/0056—Low-pass filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/007—Switching between manual and automatic parameter input, and vice versa
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Technology Law (AREA)
  • Remote Sensing (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 자율주행자동차에 관한 기술로서, 보다 상세하게는 운전자에 대한 신체 또는 정신 건강과 운전능력과 실시간 운전자 감정을 고려하여 자율주행 중 운전자 개입이 가능한지를 판단하고 그 결과에 따라 자율주행자동차와 운전자 간 제어권 전환을 통제하는 자율주행 관리서버, 운전자 상태 감응형 자율주행자동차 및 자율주행방법에 관한 것이다.

Description

자율주행 관리서버, 운전자 상태 감응형 자율주행자동차 및 자율주행방법{Autonomous driving management server, driver's condition-sensitive self-driving car and method for driving autonomously}
본 발명은 자율주행자동차에 관한 기술로서, 보다 상세하게는 운전자에 대한 신체 또는 정신 건강과 운전능력과 실시간 운전자 감정을 고려하여 자율주행 중 운전자 개입이 가능한지를 판단하고 그 결과에 따라 자율주행자동차와 운전자 간 제어권 전환을 통제하는 자율주행 관리서버, 운전자 상태 감응형 자율주행자동차 및 자율주행방법에 관한 것이다.
자율주행자동차는 운전자 또는 승객의 조작 없이 자동차 스스로 운행이 가능한 자동차를 말한다. 2012년 발표된 IEEE의 보고서에 의하면, 2040년에는 전 세계 차량의 약 75%가 자율주행자동차로 전환될 것으로 예상된다. 미국 교통부 산하 도로교통안전국(NHTSA)은 2016년 10월 이전 자율주행자동차를 자동화레벨 4단계로 구분한다.
자동화레벨 1단계는 선택적 능동제어 단계이다. 차선이탈경보장치나 크루즈 컨트롤 기능이 이 단계에 속한다. 자동화레벨 2단계는 테슬라의 오토파일럿처럼 통합적 능동제어 단계로, 운전자들의 시선은 전방을 유지시키지만 운전대와 페달을 이용하지 않아도 된다. 자동화레벨 3단계는 차량이 교통신호와 도로 흐름을 인식해 운전자가 독서 등 다른 활동을 할 수 있고 특정 상황에서만 운전자의 개입이 필요한 제한적 자율주행 단계이다. 최고등급인 4단계는 모든 상황에서 운전자의 개입이 필요 없는 완전자율주행 단계이다.
한국에서는 현대자동차의 수소전지차가 서울특별시에서 평창군까지 서울-평창간 고속국도를 자율주행 기능만 이용해 완주하는데 성공했다. 레벨 3단계 이상의 자율주행자동차가 상용화되면 전체 교통사고의 95%가량을 차지하는 운전자 부주의에 의한 교통사고와 보복운전을 줄일 수 있을 것으로 기대된다.
그런데 소비자는 여전히 수동운전이 가능한 자율주행자동차를 선호할 것이다. 왜냐하면 해일이나 태풍 같은 재난 상황이나 도로가 아닌 곳에서의 운전 등 수동운전의 수요 자체는 언제까지나 있을 것으로 보이기 때문이다. 그러므로 자율주행자동차 상용화 초반에는 만약의 사고에 대비하여 언제든 수동운전을 할 수 있는 자율주행자동차가 널리 이용될 것으로 예상된다.
한편, 한국등록특허번호 제10-2311704호에는 운전자 감성의 종류 및 수준, 운전 능력 간섭 수준, 감정조절 수준, 차량 제어권 조정에 따른 위험도를 평가하여 운전자와 차량간의 상호작용을 제공하는 기술이 개시되어 있다.
그런나 자율주행자동차와 운전자 간의 상호작용은 운전자 상태에 따라 맞춤형으로 더 정교하게 이루어져야 하고, 운전자의 개입을 정당하게 제한하는 기술이 필요하다. 예를 들어, 협심증이나 뇌질환, 당뇨병 같은 신체건강 치료 또는 우울, 불안, 공황장애, 분노조절장애, 수면장애, 알코올 장애와 같은 정신건강 치료중인 운전자는 수동운전이 대단히 위험하다.
신체 및 정신 건강 상의 질병정보를 자율주행 중 운전자 개입을 최소한으로 제한하는 근거로 마련함으로써 운전자의 불만을 최소화하고, 나아가 건강한 사람일지라도 실시간으로 운전자 감정과 같은 운전자의 심신상태정보를 수집 및 분석하여 자율주행 중 수동운전이 가능한지를 판단하는 기술이 필요하다.
한국등록특허번호 제10-2311704호(등록일: 2021년10월05일) 한국등록특허번호 제10-2276951호(등록일: 2021년07월07일) 한국등록특허번호 제10-2091327호(등록일: 2020년03월13일) 한국공개특허번호 제10-2017-0094836호(공개일: 2017년08월22일)
본 발명은 상술한 배경에서 제안된 것으로서, 운전자에 대한 신체 및 정신 건강과 운전능력을 포함하는 종합정보를 기반으로 실시간 운전자 감정과 같은 운전자의 심신상태정보를 추가적으로 분석하여 자율주행 중 운전자 개입이 가능한지를 판단하고 그 결과에 따라 자율주행자동차와 운전자 간 제어권 전환을 통제하는 자율주행 관리서버, 운전자 상태 감응형 자율주행자동차 및 자율주행방법에 관한 것이다.
또한 본 발명은 운전자의 부정적인 감정을 완화시켜 수동운전 시 보복운전이나 자살시도와 같은 비이성적인 행동을 억제시킬 수 있는 자율주행 관리서버, 운전자 상태 감응형 자율주행자동차 및 자율주행방법에 관한 것이다.
상술한 기술적 과제를 달성하기 위해, 본 발명에 따른 자율주행 관리서버는 보험사 서버와 자율주행자동차와 네트워크를 통해 연결되는 자율주행 관리서버로서,
운전자 식별정보와 운전자 신체건강정보와 운전능력 평가정보를 저장하는 저장부와; 상기 저장부에 저장된 운전자 식별정보를 삭제 또는 수정하고 새로운 운전자 식별정보를 입력받아 상기 저장부에 추가하는 개인정보 처리부와;
상기 보험사 서버로부터 운전자의 질병코드를 입력받아 운전자의 신체건강정보를 생성한 후 상기 저장부에 저장하는 건강정보 처리부와;
상기 보험사 서버로부터 입력되는 운전자의 자동차 사고이력과 자동차 운전경력을 이용하여 안전운전점수를 포함하는 운전능력 평가정보를 생성한 후 상기 저장부에 저장하는 주행능력정보 처리부; 및
상기 저장부에 저장된 운전자의 신체건강정보와 안전운전점수를 이용하여 운전자의 자율주행레벨을 산출한 후 상기 저장부에 저장하며, 상기 자율주행자동차와 통신이 연결되면 상기 운전자의 자율주행레벨을 상기 자율주행자동차로 전송하는 자율주행제어 처리부를 포함한다.
또한, 본 발명에 따른 자율주행 관리서버는 온라인 심리상담 서버와 네트워크를 통해 연결되며, 상기 건강정보 처리부는 상기 온라인 심리상담 서버로부터 입력되는 운전자의 심리상태정보를 이용하여 운전자 정신건강정보를 생성한 후 상기 저장부에 저장하고,
상기 자율주행제어 처리부는 상기 저장부에 저장된 운전자의 신체건강정보와 안전운전점수와 운전자 정신건강정보를 이용하여 운전자의 자율주행레벨을 산출하는 것을 특징으로 한다.
본 발명의 다른 양상에 따른 자율주행자동차는 자율주행 관리서버와 네트워크를 통해 연결되는 운전자 상태 감응형 자율주행자동차로서,
마이크; 스피커; 터치센서; 카메라; 통신부; 표시부; 자율주행 프로그램을 저장하는 저장부; 자동차 액츄에이터; 및 제어부를 포함하며,
상기 제어부는:
상기 카메라에서 출력되는 운전자의 얼굴 비디오 프레임에서 복수의 얼굴 랜드마크 좌표점들을 추출하고 상기 복수의 얼굴 랜드마크 좌표점들을 통해 얼굴, 눈, 눈썹, 입의 중심좌표점들을 구한 후 각 얼굴 랜드마크 좌표점과 상기 얼굴, 눈, 눈썹, 입의 중심좌표점 사이의 거리를 측정하는 얼굴이미지 전처리부와;
상기 얼굴이미지 전처리부에서 측정된 거리값들을 입력 데이터로 하여 얼굴 특징정보를 추출하는 얼굴 특징정보 추출부와;
상기 마이크로부터 입력되는 수 초(s) 길이로 된 음성 샘플들을 추출한 후 저대역 통과 필터를 통해 노이즈를 제거하고, 상기 노이즈가 제거된 음성 샘플 사이즈를 미리 설정된 사이즈로 축소시키는 음성샘플 전처리부와;
상기 음성샘플 전처리부에서 입력되는 미리 설정된 사이즈의 음성 샘플들을 입력 데이터로 하여 음성 특징정보를 추출하는 음성 특징정보 추출부와;
상기 얼굴 특징정보 추출부에서 추출한 얼굴 특징정보와 상기 음성 특징정보 추출부에서 추출한 음성 특징정보를 각각 완전연결신경망(fully connected layer)을 통과시킨 후 얼굴 특징정보와 음성 특징정보를 접합시키고, 접합된 얼굴 특징정보와 음성 특징정보를 입력 데이터로 하여 복수의 감정에 대한 각각의 확률값을 추출하는 감정 결과값 추출부와;
상기 감정 결과값 추출부에서 추출된 복수의 감정에 대한 각각의 확률값을 이용하여 운전자의 감정을 판단하는 감정 판단부; 및
상기 운전자의 감정에 대응하는 액츄에이터 제어신호를 상기 액츄에이터로 전송하며, 상기 자율주행 관리서버로부터 운전자의 자율주행레벨을 수신하여 상기 저장부에 저장한 후 자율주행 조건이 만족하는 경우 상기 운전자 자율주행레벨을 기반으로 자율주행 제어명령과 제어신호를 자동차 주행장치로 출력하는 자동차 제어부를 포함한다.
본 발명의 자동차 제어부는 상기 운전자의 감정을 이용하여 상기 운전자 자율주행레벨을 조정하고, 상기 조정된 운전자 자율주행레벨을 기반으로 자율주행 제어명령과 제어신호를 자동차 주행장치로 출력하는 것을 특징으로 한다.
본 발명의 또다른 양상에 따른 자율주행자동차에서 실행되는 자율주행방법은, 자율주행 관리서버로부터 운전자의 자율주행레벨을 수신하는 단계와;
자율주행 조건이 만족하는지 판단하는 단계와;
판단결과 자율주행 조건이 만족되면 상기 운전자 자율주행레벨을 기반으로 자율주행 제어명령과 제어신호를 자동차 주행장치로 출력하여 자율주행하는 단계와; 자율주행 중에 운전자의 감정을 모니터링하고, 운전자 감정에 대응하는 액츄에이터 액션을 제어하는 단계와; 상기 운전자의 감정을 반영하여 운전자 자율주행레벨을 조정하고, 조정된 운전자 자율주행레벨을 기반으로 자율주행 제어명령과 제어신호를 자동차 주행장치로 출력하여 자율주행하는 단계; 및
판단결과 자율주행 조건이 만족되지 않으면 수동운전 중에 운전자의 감정을 모니터링하고, 운전자 감정에 대응하는 액츄에이터 액션을 제어하는 단계를 포함한다.
또한 본 발명에 따르면, 상기 자율주행 또는 수동운전 중에 운전자의 감정을 모니터링하고, 운전자 감정에 대응하는 액츄에이터 액션을 제어하는 단계는,
운전자의 얼굴 비디오 프레임에서 복수의 얼굴 랜드마크 좌표점들을 추출하고 상기 복수의 얼굴 랜드마크 좌표점들을 통해 얼굴, 눈, 눈썹, 입의 중심좌표점들을 구한 후 각 얼굴 랜드마크 좌표점과 상기 얼굴, 눈, 눈썹, 입의 중심좌표점 사이의 거리를 측정하는 단계와;
상기 측정된 거리값들을 입력 데이터로 하여 얼굴 특징정보를 추출하는 단계와;
마이크로부터 입력되는 수 초(s) 길이로 된 음성 샘플들을 추출한 후 저대역 통과 필터를 통해 노이즈를 제거하고, 상기 노이즈가 제거된 음성 샘플 사이즈를 미리 설정된 사이즈로 축소시키는 단계와;
상기 미리 설정된 사이즈로 축소된 음성 샘플들을 입력 데이터로 하여 음성 특징정보를 추출하는 단계와;
상기 추출한 얼굴 특징정보와 음성 특징정보를 각각 완전연결신경망(fully connected layer)을 통과시킨 후 얼굴 특징정보와 음성 특징정보를 접합시키고, 접합된 얼굴 특징정보와 음성 특징정보를 입력 데이터로 하여 복수의 감정에 대한 각각의 확률값을 추출하고, 추출된 복수의 감정에 대한 각각의 확률값을 이용하여 운전자의 감정을 판단하는 단계를 포함하는 것을 특징으로 한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 자율주행 관리서버가 운전자의 신체건강정보와 안전운전점수를 이용하여 운전자의 자율주행레벨을 생성하고, 자율주행자동차가 자율주행 관리서버로부터 입력받은 운전자의 자율주행레벨에 따라 자율주행하며 또한, 자율주행 중 운전자의 감정을 판단하고 그에 따라 운전자의 자율주행레벨을 조정하고 조정된 운전자의 자율주행레벨에 따라 자율주행하도록 구현됨으로써, 자율주행자동차와 운전자 간의 상호작용이 운전자 상태에 따라 맞춤형으로 더 정교하게 이루어질 수 있는 장점이 있다.
또한, 본 발명에 따른 자율주행자동차는 운전자의 감정에 따라 자동차 액츄에이터 에를 들어 창문, 썬루프, 오디오 플레이, 라디오, 냉/난방 공조장치, 핸들 또는 의자 전열기를 구동하도록 구현됨으로써, 운전자의 부정적인 감정을 완화시켜 수동운전 시 보복운전이나 자살시도와 같은 비이성적인 행동을 억제시킬 수 있는 장점이 있다.
도 1 은 본 발명에 따른 자율주행 관리서버를 포함하는 전체 시스템을 설명하기 위한 예시도이다.
도 2 는 본 발명에 따른 자율주행 관리서버의 구성을 설명하기 위한 예시도이다.
도 3 은 본 발명에 따른 자율주행자동차의 구성을 설명하기 위한 예시도이다.
도 4 는 도 3의 자율주행자동차의 제어부 구성을 설명하기 위한 예시도이다.
도 5 는 본 발명에 따른 자율주행자동차의 자율주행방법을 설명하기 위한 예시도이다.
발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 "부", "모듈", "장치", "단말기", "서버" 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
도 1 은 본 발명에 따른 자율주행 관리서버를 포함하는 전체 시스템을 설명하기 위한 예시도이다.
도 1을 참조하면, 본 발명에 따른 자율주행 시스템은 보험사 서버(110)와 국민건강보험공단 서버(120)와 온라인 심리상담 서버(130)와 자율주행 관리서버(200)와 자율주행자동차(300)를 포함하여 구현될 수 있다.
보험사 서버(110)는 보험사간 연계 시스템과 그를 이용한 원스톱 조회 시스템을 포함한다. 이에 따라 누구든지 고객에게 개인정보활용동의를 받아서 보험사 서버(110)를 이용하여 자동차 사고이력, 자동차 운전경력 등을 확인할 수 있다. 본 발명에서 자동차 사고이력, 경력은 운전능력 평가 근거로 활용된다.
보험사 서버(110)는 고객들의 암보험, 건강보험, 실손보험, 또는 운전자보험을 관리하며, 각 고객들의 보험금 지급이력정보도 관리한다. 보험금 지급이력정보는 질병코드, 병원, 치료기간, 및 지급된 보험금을 포함한다. 본 발명에서 보험금 지급이력정보는 운전자 신체건강 평가 근거로 활용된다.
국민건강보험공단은 2년에 한번 직장인 및 지역 건강보험 가입자를 대상으로 건강검진 대상자를 지정하여 건강검진을 받도록 하고 있다. 국민건강보험공단 서버(120)는 건강검진자들의 건강검진내용과 검진에 따른 질환예측보고서를 저장한다. 건강검진내용은 신장, 체중, 허리둘레, 체질량지수, 시력, 청력, 혈압, 요단백, 혈색소, 공복혈당, 총 콜레스테롤, HDL, 중성지방, LDL, 혈청크레아틴, 신사구체여과율, AST. ALT, 감마지피티, 골다공증, 흡연, 음주, 운동량을 포함한다.
질환예측보고서는 뇌졸중 예측정보, 심장질환 예측정보, 골다공증 예측정보, 당뇨병 예측정보, 심뇌혈관 예측정보를 포함한다. 질환예측보고서는 검진 결과를 이용해 인공지능으로 분석한 결과이며, 각 질환에 걸릴 확률과 동일연령 평균 비교정보를 포함한다.
온라인 심리상담 서버(130)는 통신단말(예: 스마트폰)에 탑재된 상담 앱을 통해 획득된 심리상태정보를 입력받을 수 있다. 통신단말(예: 스마트폰)에 탑재된 상담 앱은 피상담자와 상담자가 온라인 채팅방식으로 심리상담을 할 수 있도록 구현된다. 심리상태정보는 예컨대 우울, 불안, 분노조절장애, 수면장애, 알코올 장애를 포함할 수 있다. 본 발명에서 심리상태정보는 운전자 정신건강 평가 근거로 활용된다.
자율주행 관리서버(200)는 보험사 서버(110)와 온라인 심리상담 서버(130)와 자율주행자동차(300)와 네트워크를 통해 연결된다. 네트워크는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미할 수 있다. 예를 들어, 네트워크는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 및 유무선 데이터 통신망 등을 포함한다.
자율주행 관리서버(200)는 운전자의 주민번호와 스마트폰번호와 자동차번호와 인증 프로세서를 이용하여 개인정보활용동의정보를 입력받아 처리한 후, 운전자의 주민번호와 스마트폰번호와 자동차번호를 저장할 수 있다.
자율주행 관리서버(200)는 운전자의 주민번호를 포함하는 조회요청메시지를 보험사 서버(110)로 전송하고, 보험사 서버(110)로부터 운전자의 자동차 사고이력과 자동차 운전경력 또는 질병코드를 포함하는 보험금 지급이력정보를 입력받을 수 있다.
자율주행 관리서버(200)는 운전자의 주민번호를 포함하는 조회요청메시지를 국민건강보험공단 서버(120)로 전송하고, 국민건강보험공단 서버(120)로부터 운전자의 질환예측보고서를 입력받을 수 있다. 질환예측보고서는 뇌졸중 예측정보, 심장질환 예측정보, 골다공증 예측정보, 당뇨병 예측정보, 심뇌혈관 예측정보를 포함한다. 질환예측보고서는 검진 결과를 이용해 인공지능으로 분석한 결과이며, 각 질환에 걸릴 확률과 동일연령 평균 비교정보를 포함한다.
자율주행 관리서버(200)는 운전자의 주민번호를 포함하는 정보요청메시지를 온라인 심리상담 서버(130)로 전송하고, 상기 온라인 심리상담 서버(130)로부터 상담 앱을 통해 획득된 심리상태정보를 입력받을 수 있다. 심리상태정보는 예컨대 우울, 불안, 공황장애, 분노조절장애, 수면장애, 알코올 장애를 포함할 수 있다.
이하, 도 2를 참조하여 자율주행 관리서버(200)의 구성을 자세히 설명하기로 한다.
도 2를 참조하면, 자율주행 관리서버(200)는 저장부(210)와 개인정보 처리부(220)와 건강정보 처리부(230)와 주행능력정보 처리부(240)와 자율주행레벨 처리부(250)를 포함하여 구현될 수 있다.
저장부(210)는 운전자 식별정보와 운전자 신체건강정보와 운전자 정신건강정보와 운전자 안전점수를 포함하는 운전능력 평가정보를 저장할 수 있다. 운전자 식별정보는 이름, 주민번호, 주소, 스마트폰번호, 및 자동차번호를 포함할 수 있다. 운전자 신체건강정보는 병원에서 진단받은 심혈관, 뇌혈관, 당뇨병 등과 같은 질병정보 또는 각 질환에 걸릴 확률과 동일연령 평균 비교정보를 포함한다. 운전자 정신건강정보는 운전자의 심리상태정보에 포함된 총 항목의 합 또는 총 항목의 합에 대한 백분율로서 표현될 수 있다. 운전자 운전능력 평가정보는 운전자의 자동차 사고이력과 자동차 운전경력을 토대로 산출되는 안전운전점수와 분석정보를 포함할 수 있다. 운전자 자율주행레벨정보는 자율주행 중 운전개입이 가능한 정도를 의미한다.
개인정보 처리부(220)는 관리자 조작명령에 따라 저장부(210)에 저장된 운전자 식별정보를 삭제 또는 수정할 수 있다. 개인정보 처리부(220)는 새로운 운전자 식별정보를 입력받아 저장부(210)에 추가로 저장할 수 있다.
건강정보 처리부(230)는 일례로, 운전자의 심리상태정보에 포함된 각 항목에 가중치를 곱한 후 총 항목의 합, 또는 총 항목의 합에 대한 백분율을 산출하여 운전자 정신건강정보를 생성할 수 있다. 예컨대 가중치는 우울: 5, 불안: 4, 강박: 3, 공황장애: 2, 분노조절장애: 2, 수면장애: 2, 알코올 장애: 2로 정의될 수 있다. 상대적으로 가중치가 큰 심리상태정보는 자율주행 중 운전개입이 제한되는 항목으로 결정되는 것이 바람직하다.
건강정보 처리부(230)는 관리자 조작명령에 따라 운전자의 신체건강정보를 입력받아 저장부(210)에 저장할 수 있다. 일례로 관리자는 보험사에서 제공되는 보험금 지급이력정보를 기반으로 운전자의 신체건강정보를 입력할 수 있다. 보험사에서 제공되는 보험금 지급이력정보에는 질병코드, 병원, 치료기간, 및 지급된 보험금을 포함할 수 있다. 다른 예로, 관리자는 국민건강보험공단에서 제공되는 뇌졸중 예측정보, 심장질환 예측정보, 골다공증 예측정보, 당뇨병 예측정보, 및 심뇌혈관 예측정보를 기반으로 운전자의 신체건강정보를 입력할 수 있다.
주행능력정보 처리부(240)는 보험사 서버로부터 입력되는 운전자의 자동차 사고이력과 자동차 운전경력을 이용하여 안전운전점수를 산출하고 분석정보를 생성한 후 상기 안전운전점수와 분석정보를 포함하는 운전능력 평가정보를 저장부(210)에 저장할 수 있다.
자율주행제어 처리부(250)는 저장부(210)에 저장된 운전자의 신체건강정보, 정신건강정보, 또는 안전운전점수 중 적어도 1 이상의 정보를 이용하여 운전자의 자율주행레벨을 산출한다. 일례로, 자율주행제어 처리부(250)는 일정 기간 동안 저장부(210)에 저장된 운전자의 신체건강정보, 정신건강정보, 또는 안전운전점수를 이용하여 자율주행레벨을 다시 산출할 수 있다.
운전자의 자율주행레벨은 자율주행 중 운전개입 제한이 전혀 없는 최상급 레벨인 4단계, 운전개입 시 주행속도 제한이 있는 상급 레벨인 3단계, 운전개입 시 주행속도와 핸들조작 제한이 있는 중급 레벨인 2단계, 자율주행 중 운전개입이 전혀 안되는 하급 레벨인 1단계를 포함할 수 있다.
자율주행제어 처리부(250)는 예를 들어, 자율주행자동차가 주행 시 자율주행 관리서버(200)와 통신연결이 이루어지면, 해당 자율주행자동차로 운전자의 자율주행레벨을 전송한다. 자율주행자동차는 자율주행 관리서버(200)로부터 전송된 운전자의 자율주행레벨에 따라 운전개입 제한을 처리한다.
도 3 은 본 발명에 따른 자율주행자동차의 구성을 설명하기 위한 예시도이고, 도 4 는 도 3의 자율주행자동차의 제어부 구성을 설명하기 위한 예시도이다.
본 발명에 따른 자율주행자동차는 마이크(310)와 스피커(320)와 터치센서(330)와 카메라(340)와 통신부(350)와 표시부(360)와 저장부(370)와 자동차 액츄에이터(380)와 제어부(390)를 포함하여 구현될 수 있다.
마이크(310)는 실내에서 발생하는 오디오, 음성, 소리를 입력받는다. 스피커(320)는 오디오 신호 및 음성신호를 사람이 인식할 수 있는 신호로 변환하여 출력한다. 터치센서(330)는 터치 위치 감지신호를 출력한다. 카메라(340)는 운전자의 안면을 촬영한 후 얼굴 이미지를 출력한다. 통신부(350)는 와이파이, 블루투쓰와 같은 근거리 통신모듈과 3/4/5G 이동통신모듈을 포함할 수 있다. 표시부(360)는 LED, LCD, 또는 OLED 디스플레이모듈로 구현될 수 있다. 저장부(370)는 데이터와 자율주행 프로그램을 저장한다. 자동차 액츄에이터(380)는 제어명령 또는 제어신호에 따라 구동하는 장치를 의미하며 예를들어, 창문, 썬루프, 오디오 플레이, 라디오, 냉/난방 공조장치, 핸들 또는 의자 전열기를 포함할 수 있다.
제어부(390)는 자율주행자동차에 시동이 걸리면, 저장부(370)에 저장된 자율주행 프로그램을 구동한다. 제어부(390)는 자율주행 프로그램에 따라 자율주행자동차를 제어한다. 제어부(390)는 도 4를 참조하면, 얼굴이미지 전처리부(391)와 얼굴 특징정보 추출부(392)와 음성샘플 전처리부(393)와 음성 특징정보 추출부(394)와 감정 결과값 추출부(395)와 감정 판단부(396)와 자동차 제어부(397)를 포함하여 구현될 수 있다.
얼굴이미지 전처리부(391)는 사전에 훈련된 얼굴 랜드마크 감지기(DLIB)를 사용하여 카메라(340)에서 출력되는 운전자의 얼굴 비디오 프레임에서 복수의 얼굴 랜드마크 좌표점들을 추출한다. 얼굴이미지 전처리부(391)는 복수의 얼굴 랜드마크 좌표점들을 통해 얼굴, 눈, 눈썹, 입의 중심좌표점들을 구한다. 얼굴이미지 전처리부(391)는 추출된 각 얼굴 랜드마크 좌표점과 얼굴, 눈, 눈썹, 입의 중심좌표점 사이의 거리를 측정하고, 측정된 거리값들을 출력한다.
얼굴 특징정보 추출부(392)는 얼굴이미지 전처리부(391)에서 측정된 거리값들을 입력 데이터로 하여 얼굴 특징정보를 추출한다. 본 발명에서 실시한 입력 데이터의 사이즈는 952×1이고, 얼굴 특징정보를 추출하는 연산은 합성곱 신경망(convolution neural network)과 맥스풀링(Max-Pooling)과 드롭아웃(Drop-out)과 플랫튼(Flatten)을 사용한다.
음성샘플 전처리부(393)는 마이크(310)로부터 입력되는 수 초(s) 길이로 된 음성 샘플들을 추출한다. 사람의 음성 주파수 범위는 3500㎐ 이하이므로, 음성샘플 전처리부(393)는 저대역 통과 필터를 통해 3500㎐ 이상의 음성 특징들을 제거한다. 음성샘플 전처리부(393)는 음성 샘플 사이즈를 미리 설정된 사이즈로 축소시킨다.
음성 특징정보 추출부(394)는 음성샘플 전처리부(393)에서 입력되는 미리 설정된 사이즈, 예를 들어 1080×70의 음성 샘플들을 입력 데이터로 하여 음성 특징정보를 추출한다. 본 발명에서 음성 특징정보를 추출하는 연산은 합성곱 신경망(convolution neural network)과 맥스풀링(Max-Pooling)과 드롭아웃(Drop-out)과 플랫튼(Flatten)을 사용한다.
감정 결과값 추출부(395)는 얼굴 특징정보 추출부(392)에서 추출한 얼굴 특징정보와 음성 특징정보 추출부(394)에서 추출한 음성 특징정보를 각각 완전연결신경망(fully connected layer)을 통과시킨 후 얼굴 특징정보와 음성 특징정보를 접합(컨케트네이션)시킨다. 감정 결과값 추출부(395)는 접합된 얼굴 특징정보와 음성 특징정보를 입력 데이터로 하여 복수의 감정에 대한 각각의 확률값을 추출한다.
감정 결과값 추출부(395)는 입력층과 은닉층과 출력층과 소프트맥스(softmax) 함수를 포함하여 구현될 수 있다. 복수의 감정은 일례로, 기쁨, 분노, 슬픔, 즐거움, 놀람, 두려움, 및 흥분을 포함할 수 있다. 그러나 본 발명에서 복수의 감정은 이에 한정되지 않으며, 무덤덤함 또는 아쉬움을 포함할 수 있다.
감정 판단부(396)는 감정 결과값 추출부(395)에서 추출된 복수의 감정에 대한 각각의 확률값을 이용하여 운전자의 감정을 판단한다. 일례로, 운전자의 감정은 기쁨, 분노, 슬픔, 즐거움, 놀람, 두려움, 또는 흥분 중 어느 하나일 수 있다. 다른 예로, 운전자의 감정은 수동운전에 부정적, 다소 부정적, 다소 긍적적, 긍정적으로 판정될 수 있다.
자동차 제어부(397)는 자율주행 관리서버와 통신연결이 이루어지면, 자율주행 관리서버로부터 운전자의 자율주행레벨을 수신하여 저장한다. 자동차 제어부(397)는 자율주행 조건이 만족하는 경우 운전자 자율주행레벨을 기반으로 자율주행 제어명령과 제어신호를 자동차 주행장치로 출력한다. 자율주행 조건은 예컨대 자율주행자동차가 전용 고속도로에 진입 여부 또는 자율주행모드 선택 여부이다.
자동차 제어부(397)는 자율주행 중에 운전자 감정을 판단하고, 운전자 감정에 대응하는 액츄에이터 액션을 제어한다. 액츄에이터는 창문, 썬루프, 오디오 플레이, 라디오, 냉/난방 공조장치, 핸들 또는 의자 전열기를 포함한다. 일례로, 운전자 감정에 대응하는 액츄에이터 액션은 표 1과 같다.
구분 운전자 감정 액츄에이터 액션
1 기쁨 라디오 온(ON)
2 분노 냉방 모드 구동
3 슬픔 난방 모드 구동, 핸들 또는 의자 전열기 구동
4 즐거움 썬루프 오픈, 라디오 온(ON)
5 놀람 난방 모드 구동
6 두려움 라디오 온(ON), 핸들 또는 의자 전열기 구동
7 흥분 창문 오픈, 라디오 온(ON)
그러나, 본 발명에 따른 운전자 감정에 대응하는 액츄에이터 액션은 표 1에 한정되지 않으며, 액츄에이터의 종류와 액션은 다양하게 구현될 수 있다.
자동차 제어부(397)는 운전자의 감정을 반영하여 운전자 자율주행레벨을 조정하고, 조정된 운전자 자율주행레벨을 기반으로 자율주행 제어명령과 제어신호를 자동차 주행장치로 출력할 수 있다. 여기서, 운전자의 감정은 수동운전에 부정적, 다소 부정적, 다소 긍적적, 또는 긍정적 중 어느 하나일 수 있다.
운전자의 자율주행레벨은 자율주행 중 운전개입 제한이 전혀 없는 최상급 레벨인 4단계, 운전개입 시 주행속도 제한이 있는 상급 레벨인 3단계, 운전개입 시 주행속도와 핸들조작 제한이 있는 중급 레벨인 2단계, 자율주행 중 운전개입이 전혀 안되는 하급 레벨인 1단계를 포함할 수 있다.
예를 들어, 자동차 제어부(397)는 운전자의 감정이 수동운전에 부정적인 경우 운전자의 자율주행레벨을 1단계 하락시키고, 운전자의 감정이 수동운전에 긍정적인 경우 운전자의 자율주행레벨을 1단계 상승시킬 수 있다.
도 5 는 본 발명에 따른 자율주행자동차의 자율주행방법을 설명하기 위한 예시도이다.
도 5를 참조하면, 단계 S511에서 자율주행자동차는 자율주행 관리서버와 통신연결이 이루어지면, 자율주행 관리서버로부터 운전자의 자율주행레벨을 수신하여 저장한다.
자율주행자동차는 길 안내 프로그램, 예를 들어 네비게이션, 티맵(T-MAP)을 통해 현재 위치정보를 추출할 수 있다. 단계 S512에서 자율주행자동차는 자율주행 조건이 만족하는지 판단한다. 일례로, 자율주행 조건은 자율주행자동차가 전용 고속도로에 진입하였는지 여부 또는 자율주행모드 선택 여부일 수 있다.
단계 S513에서 자율주행자동차는 운전자 자율주행레벨을 기반으로 자율주행 제어명령과 제어신호를 자동차 주행장치로 출력하여 자율주행 한다. 자동차 주행장치는 일례로, 핸들, 액셀, 및 브레이크와 같은 장치일 수 있다.
단계 S514에서 자율주행자동차는 자율주행 중에 전처리된 운전자의 얼굴이미지와 음성샘플들을 이용하여 각각 얼굴 특징정보와 음성 특징정보를 추출하고, 추출한 얼굴 특징정보와 음성 특징정보를 각각 완전연결신경망(fully connected layer)을 통과시킨 후 얼굴 특징정보와 음성 특징정보를 접합(컨케트네이션)시킨다. 자율주행자동차는 접합된 얼굴 특징정보와 음성 특징정보를 입력 데이터로 하여 복수의 감정에 대한 각각의 확률값을 추출하고, 추출된 복수의 감정에 대한 각각의 확률값을 이용하여 운전자의 감정을 판단한다. 일례로, 운전자의 감정은 기쁨, 분노, 슬픔, 즐거움, 놀람, 두려움, 또는 흥분 중 어느 하나일 수 있다. 다른 예로, 운전자의 감정은 수동운전에 부정적, 다소 부정적, 다소 긍적적, 긍정적으로 판정될 수 있다.
운전자의 얼굴이미지를 전처리하는 방법은, 운전자의 얼굴 비디오 프레임에서 복수의 얼굴 랜드마크 좌표점들을 추출하고 상기 복수의 얼굴 랜드마크 좌표점들을 통해 얼굴, 눈, 눈썹, 입의 중심좌표점들을 구한 후 각 얼굴 랜드마크 좌표점과 상기 얼굴, 눈, 눈썹, 입의 중심좌표점 사이의 거리를 측정한다.
운전자의 음성샘플들을 전처리하는 방법은, 마이크로부터 입력되는 수 초(s) 길이로 된 음성 샘플들을 추출한 후 저대역 통과 필터를 통해 노이즈를 제거하고, 상기 노이즈가 제거된 음성 샘플 사이즈를 미리 설정된 사이즈로 축소시킨다.
단계 S515에서 자율주행자동차는 운전자 감정에 대응하는 액츄에이터 액션을 제어한다. 액츄에이터는 창문, 썬루프, 오디오 플레이, 라디오, 냉/난방 공조장치, 핸들 또는 의자 전열기를 포함할 수 있다.
단계 S516에서 자율주행자동차는 운전자의 감정을 반영하여 운전자 자율주행레벨을 조정하고, 조정된 운전자 자율주행레벨을 기반으로 자율주행 제어명령과 제어신호를 자동차 주행장치로 출력할 수 있다. 여기서, 운전자의 감정은 수동운전에 부정적, 다소 부정적, 다소 긍적적, 또는 긍정적 중 어느 하나일 수 있다.
자율주행자동차는 운전자의 감정이 수동운전에 부정적인 경우 운전자의 자율주행레벨을 1단계 하락시키고, 운전자의 감정이 수동운전에 긍정적인 경우 운전자의 자율주행레벨을 1단계 상승시킬 수 있다.
단계 S521에서 자율주행자동차는 수동운전 시에도 운전자의 감정을 모니터링한다. 예를 들어, 자율주행자동차는 전처리된 운전자의 얼굴이미지와 음성샘플들을 이용하여 각각 얼굴 특징정보와 음성 특징정보를 추출하고, 추출한 얼굴 특징정보와 음성 특징정보를 각각 완전연결신경망(fully connected layer)을 통과시킨 후 얼굴 특징정보와 음성 특징정보를 접합(컨케트네이션)시킨다. 자율주행자동차는 접합된 얼굴 특징정보와 음성 특징정보를 입력 데이터로 하여 복수의 감정에 대한 각각의 확률값을 추출하고, 추출된 복수의 감정에 대한 각각의 확률값을 이용하여 운전자의 감정을 판단한다. 일례로, 운전자의 감정은 기쁨, 분노, 슬픔, 즐거움, 놀람, 두려움, 또는 흥분 중 어느 하나일 수 있다. 다른 예로, 운전자의 감정은 수동운전에 부정적, 다소 부정적, 다소 긍적적, 긍정적으로 판정될 수 있다.
단계 S522에서 자율주행자동차는 운전자 감정에 대응하는 액츄에이터 액션을 제어한다. 액츄에이터는 창문, 썬루프, 오디오 플레이, 라디오, 냉/난방 공조장치, 핸들 또는 의자 전열기를 포함할 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (6)

  1. 보험사 서버와 자율주행자동차와 네트워크를 통해 연결되는 자율주행 관리서버로서,
    운전자 식별정보와 운전자 신체건강정보와 운전능력 평가정보를 저장하는 저장부;
    상기 저장부에 저장된 운전자 식별정보를 삭제 또는 수정하고 새로운 운전자 식별정보를 입력받아 상기 저장부에 추가하는 개인정보 처리부;
    상기 보험사 서버로부터 운전자의 질병코드를 입력받아 운전자의 신체건강정보를 생성한 후 상기 저장부에 저장하는 건강정보 처리부;
    상기 보험사 서버로부터 입력되는 운전자의 자동차 사고이력과 자동차 운전경력을 이용하여 안전운전점수를 포함하는 운전능력 평가정보를 생성한 후 상기 저장부에 저장하는 주행능력정보 처리부; 및
    상기 저장부에 저장된 운전자의 신체건강정보와 안전운전점수를 이용하여 운전자의 자율주행레벨을 산출한 후 상기 저장부에 저장하며, 상기 자율주행자동차와 통신이 연결되면 상기 운전자의 자율주행레벨을 상기 자율주행자동차로 전송하는 자율주행제어 처리부를 포함하는,
    자율주행 관리서버.
  2. 청구항 1 에 있어서,
    상기 자율주행 관리서버는 온라인 심리상담 서버와 네트워크를 통해 연결되며,
    상기 건강정보 처리부는 상기 온라인 심리상담 서버로부터 입력되는 운전자의 심리상태정보를 이용하여 운전자 정신건강정보를 생성한 후 상기 저장부에 저장하고,
    상기 자율주행제어 처리부는 상기 저장부에 저장된 운전자의 신체건강정보와 안전운전점수와 운전자 정신건강정보를 이용하여 운전자의 자율주행레벨을 산출하는 것을 특징으로 하는,
    자율주행 관리서버.
  3. 청구항 1 에 기재된 자율주행 관리서버와 네트워크를 통해 연결되는 운전자 상태 감응형 자율주행자동차로서,
    마이크; 스피커; 터치센서; 카메라; 통신부; 표시부; 자율주행 프로그램을 저장하는 저장부; 자동차 액츄에이터; 및 제어부를 포함하며,
    상기 제어부는:
    상기 카메라에서 출력되는 운전자의 얼굴 비디오 프레임에서 복수의 얼굴 랜드마크 좌표점들을 추출하고 상기 복수의 얼굴 랜드마크 좌표점들을 통해 얼굴, 눈, 눈썹, 입의 중심좌표점들을 구한 후 각 얼굴 랜드마크 좌표점과 상기 얼굴, 눈, 눈썹, 입의 중심좌표점 사이의 거리를 측정하는 얼굴이미지 전처리부;
    상기 얼굴이미지 전처리부에서 측정된 거리값들을 입력 데이터로 하여 얼굴 특징정보를 추출하는 얼굴 특징정보 추출부;
    상기 마이크로부터 입력되는 수 초(s) 길이로 된 음성 샘플들을 추출한 후 저대역 통과 필터를 통해 노이즈를 제거하고, 상기 노이즈가 제거된 음성 샘플 사이즈를 미리 설정된 사이즈로 축소시키는 음성샘플 전처리부;
    상기 음성샘플 전처리부에서 입력되는 미리 설정된 사이즈의 음성 샘플들을 입력 데이터로 하여 음성 특징정보를 추출하는 음성 특징정보 추출부;
    상기 얼굴 특징정보 추출부에서 추출한 얼굴 특징정보와 상기 음성 특징정보 추출부에서 추출한 음성 특징정보를 각각 완전연결신경망(fully connected layer)을 통과시킨 후 얼굴 특징정보와 음성 특징정보를 접합시키고, 접합된 얼굴 특징정보와 음성 특징정보를 입력 데이터로 하여 복수의 감정에 대한 각각의 확률값을 추출하는 감정 결과값 추출부;
    상기 감정 결과값 추출부에서 추출된 복수의 감정에 대한 각각의 확률값을 이용하여 운전자의 감정을 판단하는 감정 판단부; 및
    상기 운전자의 감정에 대응하는 액츄에이터 제어신호를 상기 액츄에이터로 전송하며, 상기 자율주행 관리서버로부터 운전자의 자율주행레벨을 수신하여 상기 저장부에 저장한 후 자율주행 조건이 만족하는 경우 상기 운전자 자율주행레벨을 기반으로 자율주행 제어명령과 제어신호를 자동차 주행장치로 출력하는 자동차 제어부를 포함하는,
    운전자 상태 감응형 자율주행자동차.
  4. 청구항 3 에 있어서,
    상기 자동차 제어부는 상기 운전자의 감정을 이용하여 상기 운전자 자율주행레벨을 조정하고, 상기 조정된 운전자 자율주행레벨을 기반으로 자율주행 제어명령과 제어신호를 자동차 주행장치로 출력하는 것을 특징으로 하는,
    운전자 상태 감응형 자율주행자동차.
  5. 자율주행 관리서버와 네트워크를 통해 연결되는 자율주행자동차에서 실행되는 자율주행방법으로서,
    상기 자율주행 관리서버로부터 운전자의 자율주행레벨을 수신하는 단계;
    자율주행 조건이 만족하는지 판단하는 단계;
    판단결과 자율주행 조건이 만족되면 상기 운전자 자율주행레벨을 기반으로 자율주행 제어명령과 제어신호를 자동차 주행장치로 출력하여 자율주행하는 단계;
    자율주행 중에 운전자의 감정을 모니터링하고, 운전자 감정에 대응하는 액츄에이터 액션을 제어하는 단계;
    상기 운전자의 감정을 반영하여 운전자 자율주행레벨을 조정하고, 조정된 운전자 자율주행레벨을 기반으로 자율주행 제어명령과 제어신호를 자동차 주행장치로 출력하여 자율주행하는 단계; 및
    판단결과 자율주행 조건이 만족되지 않으면 수동운전 중에 운전자의 감정을 모니터링하고, 운전자 감정에 대응하는 액츄에이터 액션을 제어하는 단계를 포함하는,
    자율주행자동차에서 실행되는 자율주행방법.
  6. 청구항 5 에 있어서,
    상기 자율주행 또는 수동운전 중에 운전자의 감정을 모니터링하고, 운전자 감정에 대응하는 액츄에이터 액션을 제어하는 단계는,
    운전자의 얼굴 비디오 프레임에서 복수의 얼굴 랜드마크 좌표점들을 추출하고 상기 복수의 얼굴 랜드마크 좌표점들을 통해 얼굴, 눈, 눈썹, 입의 중심좌표점들을 구한 후 각 얼굴 랜드마크 좌표점과 상기 얼굴, 눈, 눈썹, 입의 중심좌표점 사이의 거리를 측정하는 단계;
    상기 측정된 거리값들을 입력 데이터로 하여 얼굴 특징정보를 추출하는 단계;
    마이크로부터 입력되는 수 초(s) 길이로 된 음성 샘플들을 추출한 후 저대역 통과 필터를 통해 노이즈를 제거하고, 상기 노이즈가 제거된 음성 샘플 사이즈를 미리 설정된 사이즈로 축소시키는 단계;
    상기 미리 설정된 사이즈로 축소된 음성 샘플들을 입력 데이터로 하여 음성 특징정보를 추출하는 단계; 및
    상기 추출한 얼굴 특징정보와 음성 특징정보를 각각 완전연결신경망(fully connected layer)을 통과시킨 후 얼굴 특징정보와 음성 특징정보를 접합시키고, 접합된 얼굴 특징정보와 음성 특징정보를 입력 데이터로 하여 복수의 감정에 대한 각각의 확률값을 추출하고, 추출된 복수의 감정에 대한 각각의 확률값을 이용하여 운전자의 감정을 판단하는 단계를 포함하는 것을 특징으로 하는,
    자율주행자동차에서 실행되는 자율주행방법.
KR1020220069953A 2022-02-18 2022-06-09 자율주행 관리서버, 운전자 상태 감응형 자율주행자동차 및 자율주행방법 KR102681761B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220021283 2022-02-18
KR1020220021283 2022-02-18

Publications (2)

Publication Number Publication Date
KR20230124839A true KR20230124839A (ko) 2023-08-28
KR102681761B1 KR102681761B1 (ko) 2024-07-08

Family

ID=

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170094836A (ko) 2016-02-12 2017-08-22 한국전자통신연구원 운전자의 감정상태 인식 장치 및 방법
KR102091327B1 (ko) 2018-06-20 2020-03-19 이우용 자율주행 자동차의 자율주행 시스템
KR102276951B1 (ko) 2019-09-19 2021-07-13 주식회사 세미콘네트웍스 목소리 및 얼굴 안면 감정값의 산출 방법 및 이를 이용한 인공지능 스피커의 출력 방법
KR102311704B1 (ko) 2017-11-29 2021-10-13 한국전자통신연구원 운전자 감정에 따른 운전자와 차량간의 상호작용 제공 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170094836A (ko) 2016-02-12 2017-08-22 한국전자통신연구원 운전자의 감정상태 인식 장치 및 방법
KR102311704B1 (ko) 2017-11-29 2021-10-13 한국전자통신연구원 운전자 감정에 따른 운전자와 차량간의 상호작용 제공 장치 및 그 방법
KR102091327B1 (ko) 2018-06-20 2020-03-19 이우용 자율주행 자동차의 자율주행 시스템
KR102276951B1 (ko) 2019-09-19 2021-07-13 주식회사 세미콘네트웍스 목소리 및 얼굴 안면 감정값의 산출 방법 및 이를 이용한 인공지능 스피커의 출력 방법

Similar Documents

Publication Publication Date Title
US10173667B2 (en) Occupant based vehicle control
CN106618524B (zh) 丧失驾驶能力的检测和预防
US10160457B1 (en) Vehicle occupant monitoring using infrared imaging
EP3675121B1 (en) Computer-implemented interaction with a user
US10229461B2 (en) Continuous identity monitoring for classifying driving data for driving performance analysis
US10150351B2 (en) Machine learning for olfactory mood alteration
CN107521485A (zh) 基于车辆制动的驾驶行为分析
US20140207535A1 (en) Method and system for remote control of motor vehicles
CN107554528B (zh) 驾乘人员的疲劳等级检测方法及装置、存储介质、终端
CN110143202A (zh) 一种危险驾驶识别与预警方法及***
JP7156268B2 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP7256086B2 (ja) 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体
EP3789250B1 (de) Managementsystem und verfahren zur identifizierung und zum bio-monitoring in fahrzeugen
WO2018147838A1 (en) Machine learning for olfactory mood alteration
KR20200086785A (ko) 졸음 운전 예방 및 차량 내 안전 유지 방법, 시스템
JP2019131096A (ja) 車両制御支援システムおよび車両制御支援装置
CN113901979A (zh) 一种驾驶趋势预测方法及***
Teng et al. Using EEG to recognize emergency situations for brain-controlled vehicles
CN113771859A (zh) 智能行车干预方法、装置、设备及计算机可读存储介质
KR102681761B1 (ko) 자율주행 관리서버, 운전자 상태 감응형 자율주행자동차 및 자율주행방법
KR20230124839A (ko) 자율주행 관리서버, 운전자 상태 감응형 자율주행자동차 및 자율주행방법
JP7068156B2 (ja) 情報処理装置及びプログラム
Lashkov et al. Dangerous state detection in vehicle cabin based on audiovisual analysis with smartphone sensors
WO2019114018A1 (zh) 一种基于智能眼镜的酒驾预警方法及智能眼镜
US20240051390A1 (en) Detecting sobriety and fatigue impairment of the rider using face and voice recognition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal