KR102137213B1

KR102137213B1 - 자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치

Info

Publication number: KR102137213B1
Application number: KR1020150160725A
Authority: KR
Inventors: 이동화; 김창현; 심은수; 최기환; 최현진
Original assignee: 삼성전자 주식회사
Priority date: 2015-11-16
Filing date: 2015-11-16
Publication date: 2020-08-13
Also published as: US10034630B2; KR20170057084A; US20170135621A1; US10791979B2; US20180325442A1

Abstract

자율 주행을 위한 모델 학습 장치가 개시된다. 자율 주행 모델 학습 장치는 차량이 주행 중인 상황에서 운전자의 정보를 수집하는 운전자 정보 수집부와, 차량에 장착된 센서로부터 차량의 주행 중에 생성되는 센서 정보를 수집하는 센서 정보 수집부 및 운전자 정보 및 센서 정보를 기초로 자율 주행 모델을 학습시키는 모델 학습부를 포함할 수 있다.

Description

자율 주행을 위한 모델 학습 장치 및 방법과 자율 주행 장치{APPARATUS AND METHOD FOR TRANING MODEL FOR AUTONOMOUS DRIVING, AUTONOMOUS DRIVING APPARATUS}

실 주행 환경 데이터를 반영한 자율 주행 모델 학습 및 그 자율 주행 모델을 이용한 자율 주행 기술과 관련된다.

일반적인 자율 주행 차량은 차량에 부착된 다양한 센서들을 통해 주변 환경의 인식 및 판단을 통해 자율 주행을 한다. 이러한, 자율 주행 차량은 주행 인식을 위해 탑재되어 있는 카메라, Lidar(light detection and ranging), Radar 등의 다양한 센서들을 이용하여 주변 환경의 개별 물체를 인식한다. 또한, 이와 같이 인식된 개별 물체를 학습시키기 위하여 수작업으로 물체의 실측 자료(Ground Truth) 레이블링(labeling) 작업을 수행한다.

하지만, 차량에 탑재된 센서들의 인식 범위는 제한적이며 신뢰성 문제 또한 존재하므로 차량에 탑재된 센서에만 의존한 자율 주행 기술에는 한계가 존재한다. 또한, 실제 도로의 주행 환경은 매우 복잡하여 모든 주변 상황에 대한 자율 주행 규칙(rule)을 정의하는데 어려움이 존재한다.

자율 주행을 위해 실 주행 환경 데이터를 반영한 자율 주행 모델 학습 장치 및 방법과, 그 자율 주행 모델을 이용한 자율 주행 장치를 제시한다.

일 양상에 따르면, 자율 주행 모델 학습 장치는 차량이 주행 중인 상황에서 운전자의 정보를 수집하는 운전자 정보 수집부, 그 차량에 장착된 센서로부터 차량의 주행 중에 생성되는 센서 정보를 수집하는 센서 정보 수집부 및, 수집된 운전자 정보 및 센서 정보를 기초로 자율 주행 모델을 학습시키는 모델 학습부를 포함할 수 있다.

이때, 차량이 주행중인 상황은 도로에서의 실 주행 상황 및, 가상 주행 상황 중의 적어도 하나를 포함할 수 있다.

이때, 운전자의 정보는 운전자 상태 정보, 운전자 행동 정보 및 운전 패턴 정보 중의 하나 이상을 포함할 수 있다.

이때, 운전자 상태 정보는 운전자의 시선 방향, 심박수, 심전도, 뇌파 및 핸들을 쥐고 있는 악력 정보 중의 하나 이상을 포함할 수 있고, 운전자 행동 정보는 차량에 탑재된 음향 장치, 공조 장치, 미러 장치 및 네비게이션 조작 정보 중의 하나 이상을 포함할 수 있으며, 운전 패턴 정보는 핸들 조향 조작 정보, 가속(accelerating) 페달 조작 정보, 경적(Horn) 조작 정보, 방향 지시등 조작 정보, 비상버튼 조작 정보 및 브레이크 페달 조작 정보 중의 하나 이상을 포함할 수 있다.

모델 학습부는 운전자의 시선 방향 정보를 기초로 주행 상황에서의 주의할 영역에 관하여 자율 주행 모델을 학습시키고, 운전 패턴 정보를 기초로 주행 상황에서의 위험 상황 및 위험도 중의 적어도 하나에 관하여 자율 주행 모델을 학습시킬 수 있다.

또한, 자율 주행 모델 학습 장치는 출발지 및 목적지 정보를 포함하는 네비게이션 설정 정보를 수집하는 네비게이션 정보 수집부를 더 포함할 수 있다.

모델 학습부는 수집된 네비게이션 설정 정보를 더 기초로 하여, 출발지에서 목적지까지의 통합적인 주행 상황에 관하여 자율 주행 모델을 학습시킬 수 있다.

이때, 센서 정보는 주변 영상 정보, 주변 음성 정보, 현재 위치 정보, Lidar(light detection and ranging) 센서 정보, Radar 센서 정보, 차량 속도 정보 및 가속도 정보 중의 하나 이상을 포함할 수 있다.

이때, 자율 주행 모델은 공간(spatial) 및 시간(temporal) 정보의 학습이 가능한 심층 신경망(Deep Neural Network)을 기반으로 할 수 있다.

일 양상에 따르면, 자율 주행 모델 학습 방법은 차량이 주행 중인 상황에서 운전자의 정보를 수집하는 단계, 차량에 장착된 센서로부터 차량의 주행 중에 생성되는 센서 정보를 수집하는 단계 및, 수집된 운전자 정보 및 센서 정보를 기초로 자율 주행 모델을 학습시키는 단계를 포함할 수 있다.

또한, 운전자 상태 정보는 운전자의 시선 방향, 심박수, 심전도, 뇌파 및 핸들을 쥐고 있는 악력 정보 중의 하나 이상을 포함할 수 있고, 운전자 행동 정보는 차량에 탑재된 음향 장치, 공조 장치, 미러 장치 및 네비게이션 조작 정보 중의 하나 이상을 포함할 수 있으며, 운전 패턴 정보는 핸들 조향 조작 정보, 가속(accelerating) 페달 조작 정보, 경적(Horn) 조작 정보, 방향 지시등 조작 정보, 비상버튼 조작 정보 및 브레이크 페달 조작 정보 중의 하나 이상을 포함할 수 있다.

모델을 학습시키는 단계는 운전자의 시선 방향 정보를 기초로 주행 상황에서의 주의할 영역에 관하여 자율 주행 모델을 학습시키고, 운전 패턴 정보를 기초로 주행 상황에서의 위험 상황 및 위험도 중의 적어도 하나에 관하여 자율 주행 모델을 학습시킬 수 있다.

또한, 자율 주행 모델 학습 방법은 출발지 및 목적지 정보를 포함하는 네비게이션 설정 정보를 수집하는 단계를 더 포함할 수 있다.

모델을 학습시키는 단계는 네비게이션 설정 정보를 더 기초로 하여, 출발지에서 목적지까지의 통합적인 주행 상황에 관하여 자율 주행 모델을 학습시킬 수 있다.

일 양상에 따르면, 자율 주행 장치는 운전자로부터 차량의 자율 주행에 관한 명령을 수신하는 명령 수신부, 자율 주행에 관한 명령이 수신되면, 차량의 주행 중에 운전자 정보, 센서 정보 및 네비게이션 설정 정보 중의 적어도 하나를 포함하는 차량의 주행 정보를 수집하는 주행 정보 수집부 및 수집된 주행 정보를 기초로, 차량에 탑재되어 있는 자율 주행 모델의 학습 또는 차량의 자율 주행을 제어하는 명령 처리부를 포함할 수 있다.

명령 처리부는 운전자 정보 및 네비게이션 설정 정보 중의 적어도 하나를 기초로, 자율 주행 모델이 운전자 및 현재 주행 상황에 적합한지 판단하는 모델 판단부, 판단 결과 적합하지 않으면, 수집된 주행 정보를 기초로 자율 주행 모델을 재학습시키는 모델 학습부 및 판단 결과 적합하면, 수집된 주행 정보 및 자율 주행 모델을 이용하여 차량의 행동을 자동으로 제어하는 주행 제어부를 포함할 수 있다.

모델 판단부는 운전자 정보를 기초로, 자율 주행 모델이 운전자에 대해 학습이 되었는지 확인하고, 확인 결과 운전자에 대하여 학습이 되지 않은 경우 적합하지 않은 것으로 판단할 수 있다.

모델 판단부는 네비게이션 설정 정보를 기초로, 출발지에서 목적지까지의 주행 경로에 대하여 학습이 되었는지 확인하고, 확인 결과 학습이 되지 않은 경우 적합하지 않은 것으로 판단할 수 있다.

실 주행 환경 데이터를 반영하여 자율 주행 모델을 학습시키고, 그 자율 주행 모델을 이용함으로써 운전자의 운전 패턴을 반영한 자율 주행을 할 수 있다.

도 1은 일 실시예에 따른 자율 주행 모델 학습 장치의 블록도이다.
도 2는 다른 실시예에 따른 자율 주행 모델 학습 장치의 블록도이다.
도 3은 자율 주행 모델의 학습을 위한 학습 데이터의 획득을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 자율 주행 모델의 학습 방법의 흐름도이다.
도 5는 다른 실시예에 따른 자율 주행 모델의 학습 방법의 흐름도이다.
도 6은 일 실시예에 따른 자율 주행 장치의 블록도이다.
도 7은 도 6의 명령 처리부(630)의 상세 블록도이다.
도 8은 일 실시예에 따른 자율 주행 방법의 흐름도이다.
도 9는 도 8의 명령 처리 단계(830)의 상세 흐름도이다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 자율 주행을 위한 모델 학습 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명한다. 일 실시예들에 따른 자율 주행 모델 학습 장치는 운전자의 습관이나 행동 정보 등의 다양한 주행 상황 정보를 이용하여 차량의 자율 주행을 위한 상황 인식 및 행동 결정 모델(이하, '자율 주행 모델'이라 함)을 학습시키는 장치를 의미한다. 예를 들어, 자율 주행 모델은 신경망(Neural Network)을 기반으로 할 수 있으나 이에 제한되는 것은 아니다.

또한, 자율 주행 모델 학습 장치는 자율 주행 모델의 학습을 위해 주행중인 차량 내에 탑재될 수 있다. 또는 자율 주행 모델의 학습을 위한 정보를 수집하는 차량내에 탑재되지 않고 차량과 네트워크로 연결된 별도의 하드웨어 장치에 구현될 수 있으며, 그 차량으로부터 수집되는 정보를 수신하여 자율 주행 모델을 학습시키는 것도 가능하다.

도 1은 일 실시예에 따른 자율 주행 모델 학습 장치의 블록도이다.

도 1을 참조하면, 자율 주행 모델 학습 장치(100)는 운전자 정보 수집부(110), 센서 정보 수집부(120) 및 모델 학습부(130)를 포함할 수 있다.

운전자 정보 수집부(110)는 자율 주행 모델의 학습을 위해 차량이 주행 중인 상황에서 운전자와 관련된 다양한 정보를 학습 데이터로서 수집할 수 있다. 여기서, 차량이 주행 중인 상황이라 함은 운전자가 실제 도로에서 차량을 운행하는 상황뿐만 아니라 실제 도로 상황과 비슷하게 설정된 가상의 상황에서 운전자가 차량을 가상으로 운행하는 상황을 포함할 수 있다. 또한, 차량의 주행 상황은 차량에 탑승하는 시점부터 도로 주행을 완료하여 차량에서 하차하는 시점까지를 의미할 수 있다.

일 예로, 운전자 정보는 운전자가 차량을 운행하는 도중에 부딪히는 주변의 도로 상황에 따라 운전자가 반응하는 운전 패턴에 관한 운전 패턴 정보를 포함할 수 있다. 예컨대, 운전 패턴 정보는 도로의 굽은 정도, 돌발 상황 발생, 요철 구간, 횡단 보도, 신호 변경, 지정체 상황 등의 다양한 도로 상황에 따라 운전자가 조작하는 핸들 조향 조작 정보, 가속 페달 조작 정보, 경적 조작 정보, 방향 지시등 조작 정보, 비상 버튼 조작 정보 및 브레이크 페달 조작 정보 등 차량의 주행과 관련된 정보 등을 포함할 수 있다.

다른 예로, 운전자 정보는 주변의 도로 상황과는 무관하게 운전자가 운행 중에 습관적 또는 단발적으로 행동하는 운전자 행동 정보를 포함할 수 있다. 예컨대, 운전자 행동 정보는 오디오 등의 음향 장치, 에어콘 등의 공조 장치, 사이드 미러, 룸 미러 등의 미러 장치 조작 정보, 네비게이션 조작 정보 등을 포함할 수 있다.

또 다른 예로, 운전자 정보는 차량을 운전하고 있는 운전자가 다양한 주변 상황이나 자신이 취하는 특정 행동들에 따라 나타나는 운전자 상태 정보를 포함할 수 있다. 예컨대, 운전자 상태 정보는 운전자의 시선 방향, 심박수, 심전도, 뇌파 및 핸들을 쥐고 있는 손의 악력 정보 등의 운전자 상태 정보를 포함할 수 있다.

센서 정보 수집부(120)는 차량에 탑재되어 있는 다양한 센서로부터 차량의 주행과 관련된 다양한 정보 예컨대, 카메라 모듈, 블랙박스, 거리 측정 센서, Lidar(light detection and ranging) 센서, Radar 센서, 속도 센서 및 가속도 센서 등을 통해, 도로 상황에 관한 영상 정보, Lidar 센서 정보, Radar 센서 정보, 속도 정보 및 가속도 정보 등을 수집할 수 있다.

모델 학습부(130)는 자율 주행 모델의 학습을 위한 운전자 정보, 센서 정보 등이 수집되면, 수집된 운전자 정보 및 센서 정보를 통합적으로 고려하여 자율 주행 모델을 학습시킬 수 있다. 이때, 모델 학습부(130)는 이와 같이 수집된 다양한 정보들을 둘 이상 조합하여 학습 데이터를 생성하고, 생성된 학습 데이터를 이용하여 자율 주행 모델을 학습시킬 수 있다.

일 예로, 모델 학습부(130)는 주행 상황에서 운전자가 주의해야 할 영역에 관하여 자율 주행 모델을 학습시키기 위해, 운전 상태 정보 중의 시선 방향 정보를 학습데이터로 이용할 수 있으며, 이때, 센서 정보 중의 주변 영상 정보 등을 함께 고려하여 운전자가 주시하고 있는 시선 방향의 영상을 분석함으로써 주의할 영역에 관한 학습 데이터를 생성할 수 있다.

다른 예로, 모델 학습부(130)는 운전 패턴 정보 및/또는 운전자 상태 정보 등을 가공하여, 주행 상황에서의 위험 상황 및 위험도 등에 대한 학습 데이터를 생성하고, 생성된 학습 데이터를 이용하여 자율 주행 모델을 학습시킬 수 있다. 예컨대, 운전자가 도로 주행 중 돌발 상황, 굽은 도로, 갑작스런 신호 변경, 급정지 상황과 같은 다양한 상황에서 그 운전자가 핸들을 어느 정도 악력으로 쥐고 있는지, 비상 깜박이 버튼을 눌렀는지, 심박수는 어느 정도 되는지, 브레이크 페달을 누르는 강도 등을 분석하여 위험 상황이나 위험도 등과 관련된 학습 데이터를 생성할 수 있다. 이때, 센서 정보, 예컨대 주변 영상 정보를 분석하여 현재 도로가 굽은 도로인지, 신호등이 변경되었는지 등의 다양한 상황을 판단할 수 있다.

다만, 이는 예시에 불과하므로 여기에 국한되지 않으며, 실제 도로 주행 상황에서 수집되는 다양한 정보들의 가공을 통하여, 차량의 자율 주행을 위하여 필요한 다양한 상황이나 제어해야 할 차량의 행동 등과 관련된 다양한 경우를 학습시킬 수 있는 학습데이터의 생성이 가능하다.

도 2는 다른 실시예에 따른 자율 주행 모델 학습 장치의 블록도이다.

도 2를 참조하면, 자율 주행 모델 학습 장치(200)는 운전자 정보 수집부(210), 센서 정보 수집부(220), 모델 학습부(230) 및 네비게이션 정보 수집부(240)를 포함할 수 있다. 운전자 정보 수집부(210), 센서 정보 수집부(220) 및 모델 학습부(230)에 대해서는 도 1을 참조하여 자세히 설명하였다.

도시된 바와 같이, 자율 주행 모델 학습 장치(200)는 네비게이션 설정 정보, 예컨대 출발지, 경유지 및 목적지 정보 등을 수집하는 네비게이션 정보 수집부(240)를 더 포함할 수 있다.

모델 학습부(240)는 네비게이션 정보 수집부(240)에 의해 수집된 네비게이션 설정 정보가 수집되면, 운전자 정보 수집부(210)에 의해 수집된 다양한 운전자 정보와, 센서 정보 수집부(220)에 의해 수집된 센서 정보를 함께 통합적으로 고려하여 현재 출발지에서부터 경유지를 거쳐 목적지까지의 경로상의 도로 주행에 관하여 통합적으로 자율 주행 모델을 학습시킬 수 있다.

이때, 모델 학습부(240)는 출발지, 경유지 및 목적지 등에 따른 도로 주행 경로별로 자율 주행 모델을 학습시켜, 도로 주행 경로별로 자율 주행 모델을 구축하는 것이 가능하다.

도 3은 자율 주행 모델의 학습을 위한 학습 데이터의 획득을 설명하기 위한 도면으로서, 앞에서 자세히 설명한 바와 같이, 일 실시예들에 따른 자율 주행 모델의 학습을 위해, 카메라, Lidar, Radar 등의 센서 정보 외에도, 시선 방향, 뇌파, 심전도, 핸들 조향 정보, 악력 정보, 방향 지시등 조작 정보 등의 다양한 운전자 정보, 네비게이션 설정 정보 등이 수집될 수 있다.

일반적인 운전자들에 대하여 공통적으로 적용이 가능한 자율 주행 모델을 학습시키기 위해서, 도 3과 같은 학습 데이터를 수집하는데 있어 다양한 특성(예:성별, 연령, 성격 등)을 가진 복수의 운전자들이 참여할 수 있다. 또한, 복수의 운전자들에 대하여 사전에 다양한 주행 환경이 설정되어, 각각 자신의 주행 환경에 따라 학습 데이터를 수집하도록 할 수 있다. 이를 위해, 자율 주행 모델 학습 장치(100, 200)는 운전자별로 서로 다르게 설정되는 주행 경로, 도로(예: 고속도로, 지방도, 산길, 비포장 도로 등), 평균 준수 속도 등과 같은 정보나, 특정 위치나 특정 시간 경과 후에 전화 통화나 오디오 조작 등과 같이 미리 설정된 정보를 관리할 수 있다.

도 4는 일 실시예에 따른 자율 주행 모델의 학습 방법의 흐름도이다. 도 4는 도 1의 자율 주행 모델 학습 장치(100)에 의해 수행되는 학습 방법의 일 실시예이다.

도 4를 참조하면 먼저, 자율 주행 모델 학습 장치(100)는 차량이 주행 중인 상황에서 운전자와 관련된 다양한 운전자 정보를 수집할 수 있다(410). 이때, 운전자 정보는 전술한 바와 같이, 다양한 도로 상황에 따라 운전자가 반응하는 핸들 조향 조작 정보, 가속 페달 조작 정보, 경적 조작 정보, 방향 지시등 조작 정보, 비상 버튼 조작 정보 및 브레이크 페달 조작 정보 등의 운전 패턴 정보를 포함할 수 있다. 또한, 운전자 정보는 운전자가 운행 중에 습관적 또는 단발적으로 행동하는 음향 장치나, 공조 장치, 전화 통화 등의 운전자 행동 정보를 포함할 수 있다. 또한, 운전자 정보는 차량의 운전 중 시선이나 심박수, 심전도, 뇌파 및 핸들을 쥐고 있는 악력 등의 운전자 상태 정보를 포함할 수 있다.

또한, 자율 주행 모델 학습 장치(100)는 차량에 탑재되어 있는 다양한 센서로부터 차량의 주행과 관련된 다양한 센서 정보를 수집할 수 있다(420). 단계(410)과 단계(420)에서는 차량의 주행 중에 실시간으로 정보들이 수집되므로 시간의 선후가 반드시 존재하는 것은 아니다.

그 다음, 자율 주행 모델 학습 장치(100)는 운전자 정보 및 센서 정보가 수집되면, 수집된 운전자 정보 및 센서 정보를 통합적으로 고려하여 자율 주행 모델을 학습시킬 수 있다(430). 이때, 자율 주행 모델 학습 장치(100)는 수집된 다양한 정보들을 서로 조합하여 다양한 자율 주행 상황에 부합하는 학습 데이터를 생성하여 정확한 자율 주행이 가능하도록 자율 주행 모델을 학습시킬 수 있다.

예를 들어, 자율 주행 모델 학습 장치(100)는 주행 상황에서 운전자가 주의해야 할 영역에 관하여 자율 주행 모델을 학습시키기 위해 시선 방향 정보와 센서 정보 등을 가공하여 학습데이터를 생성할 수 있다. 또한, 자율 주행 모델 학습 장치(100)는 운전 패턴 정보 및/또는 운전자 상태 정보 등을 가공하여, 주행 상황에서의 위험 상황 및 위험도 등에 대한 학습 데이터를 생성할 수 있다.

도 5는 다른 실시예에 따른 자율 주행 모델의 학습 방법의 흐름도이다. 도 5는 도 2의 실시예에 따른 자율 주행 모델 학습 장치(200)에 의해 수행되는 일 실시예일 수 있다.

도 5를 참조하면, 먼저 자율 주행 모델 학습 장치(200)는 차량의 네비게이션에 설정된 정보를 수집할 수 있다(510). 이때, 네비게이션 설정 정보는 차량이 주행할 경로에 관한 정보, 예컨대 출발지, 경유지 및 목적지 등의 정보를 포함할 수 있다.

그 다음, 차량이 주행을 시작하면 차량의 주행 중의 다양한 주행 상황에 따라 반응하는 운전자와 관련된 운전자 정보를 수집할 수 있다(520).

또한, 차량이 주행을 시작하면 차량의 주행 중에 차량에 탑재된 센서로부터 생성되는 각종 센서 정보를 수집할 수 있다(530). 이때, 단계(520)와 단계(530)는 차량의 주행 중에 실시간으로 수행되는 단계로서 반드시 어느 하나의 선후 관계가 존재하는 것은 아니다.

그 다음, 수집된 정보를 통합적으로 고려하여 자율 주행 모델을 학습시킬 수 있다(540).

본 실시예에 따르면, 네비게이션 설정 정보를 수집하여, 차량의 주행 경로를 반영한 통합적인 학습이 가능하고, 또한, 다양한 주행 경로별로 자율 주행 모델의 학습 및 구축이 가능하다.

도 6은 일 실시예에 따른 자율 주행 장치의 블록도이다. 일 실시예에 따른 자율 주행 장치(600)는 차량 내에 탑재되어 차량의 자율 주행 지원하는 장치로서, 전술한 실시예들에 따른 자율 주행 모델 학습 기능을 포함할 수 있다.

도 6에 도시된 바와 같이, 자율 주행 장치(600)는 명령 수신부(610), 주행 정보 수집부(620) 및 명령 처리부(630)를 포함할 수 있다.

명령 수신부(610)는 운전자로부터 자율 주행 장치(600)가 수행 가능한 다양한 자율 주행에 관한 명령을 수신할 수 있다. 예를 들어, 자율 주행에 관한 명령은 자율 주행 모드 또는 수동 주행 모드로 전환 또는, 자율 주행 모델의 학습 모드로의 전환이나 종료 명령 등을 포함할 수 있다.

주행 정보 수집부(620)는 운전자로부터 자율 주행에 관한 명령이 수신되면, 명령 처리부(620)가 그 명령에 기초한 동작을 수행할 수 있도록, 차량의 주행 정보를 수집할 수 있다. 이때, 차량의 주행 정보는 차량이 주행하고 있는 상황에서 발생하는 다양한 정보들로서, 운전자가 자율 주행에 관한 명령을 입력한 시점부터 운전자와 관련된 운전자 정보, 차량에 탑재된 각종 센서로부터 생성되는 센서 정보 및, 주행 경로와 관련된 네비게이션 설정 정보를 포함할 수 있다. 보다 상세한 예들은 앞에서 자세히 설명하였으므로 이하 생략하기로 한다.

명령 처리부(630)는 주행 정보 수집부(620)에 의해 수집된 주행 정보를 기초로 수신된 자율 주행에 관한 명령을 처리한다. 즉, 명령 처리부(630)는 운전자로부터 명령이 수신되면 그 명령을 해석하고, 수집된 주행 정보를 통합적으로 고려하여 수신된 명령에 상응하는 동작을 수행할 수 있다. 이하, 도 7을 참조하여 명령 처리부(630)의 구성을 보다 상세하게 설명한다.

도 7은 도 6의 명령 처리부(630)의 상세 블록도이다.

도 7을 참조하면, 명령 처리부(630)는 모델 판단부(631), 모델 학습부(632) 및 주행 제어부(633)를 포함할 수 있다.

모델 판단부(631)는 운전자로부터 수신된 명령을 해석하고, 해석 결과를 기초로 처리할 동작을 결정할 수 있다. 예를 들어, 모델 판단부(631)는 운전자로부터 수신된 자율 주행에 관한 명령이 차량의 주행 모드를 자율 주행 모드로 전환하는 명령인 경우, 자율 주행 모드로 전환하기에 앞서 차량 내에 탑재되어 있는 자율 주행 모델이 적합한지 여부를 판단할 수 있다. 또한, 판단 결과 적합하면 수신된 명령을 자율 주행으로 처리하는 것으로 결정하고, 적합하지 않으면 자율 주행 모델을 다시 학습하는 것으로 결정할 수 있다.

일 예로, 모델 판단부(631)는 주행 정보 수집부(620)에 의해 수집된 주행 정보 중의 운전자 정보를 통해, 자율 주행 모델이 현재 운전자에 대하여 미리 학습이 되었는지 확인하고, 확인 결과 현재 운전자에 대하여 학습이 되지 않은 경우 그 자율 주행 모델이 현재 운전자에 대하여 적합하지 않은 것으로 판단할 수 있다.

다른 예로, 모델 판단부(631)는 주행 정보 수집부(620)에 의해 수집된 주행 정보 중의 네비게이션 설정 정보를 참조하여, 자율 주행 모델이 현재 주행 경로에대하여 미리 학습이 되었는지 확인하고, 확인 결과 현재 주행 경로에 대하여 학습이 되지 않은 경우 그 자율 주행 모델이 현재 주행 상황에 적합하지 않은 것으로 판단할 수 있다.

모델 판단부(631)는 판단 결과 자율 주행 모델이 적합하지 않아 재학습이 필요하다고 판단한 경우, 재학습을 수행할지, 그럼에도 자율 주행을 수행할지를 운전자에게 질의할 수 있으며, 그 질의에 대한 운전자의 응답을 기초로 처리할 동작을 결정할 수 있다.

한편, 운전자가 차량을 처음 구입한 경우 또는 새로운 주행 경로를 운행하고자 하는 경우 자신에 맞는 모델을 구축하기 위해 학습 모드로 동작하도록 명령을 입력할 수 있다. 이때, 모델 판단부(631)는 운전자로부터 수신된 명령이 자율 주행 모델의 학습 명령인 경우 자율 주행 모델이 현재 운전자나 주행 경로에 적합한지 판단하는 과정을 생략할 수 있다. 하지만, 이에 국한되지 않으며, 필요에 따라 모델 판단부(631)는 운전자가 학습 명령을 입력한 경우에도 현재 자율 주행 모델이 최근에 학습이 이루어졌는지 확인하고, 최근에 학습이 이루어진 경우에는 다시 학습을 할 필요가 없는 것으로 판단할 수 있다. 이 경우 모델 판단부(631)는 운전자에게 추가 학습이 필요하지 않다는 정보를 제공하거나, 운전자에게 다시 학습을 할 것인지를 질의할 수 있다.

모델 학습부(632)는 모델 판단부(631)가 자율 주행 모델의 학습이 필요하다고 판단하면, 주행 정보 수집부(620)에 의해 수집된 운전자 정보, 센서 정보 및 네비게이션 설정 정보를 통합적으로 고려하여 학습데이터를 생성하고, 생성된 학습데이터를 이용하여 자율 주행 모델을 학습시킬 수 있다. 이때, 모델 학습부(632)는 전술한 자율 주행 모델 학습 기술을 적용하여, 자율 주행 모델을 학습시킬 수 있다.

모델 학습부(632)는 충분한 주행 정보를 이용하여 학습이 이루어질 수 있도록, 운전자로부터 명령이 입력된 시점부터 일정 시간이 경과한 후에 자율 주행 모델을 학습시킬 수 있다. 이때, 학습을 수행할 일정 시간은 자율 주행 장치(600)가 차량에 탑재되는 시점에 제작자에 의해 미리 설정될 수 있다.

주행 제어부(633)는 모델 판단부(632)가 운전자의 명령을 자율 주행을 수행하는 것으로 결정하면, 차량의 주행 모드를 운전자가 조작하는 수동 모드에서 자율 주행 모드로 전환하고 주행 정보 수집부(620)에 의해 수집된 주행 정보 및 자율 주행 모드를 이용하여 차량의 행동을 자동으로 제어할 수 있다.

주행 제어부(631)가 네비게이션 설정 정보와 실시간으로 수집되는 센서 정보를 자율 주행 모델에 입력하여, 현재 주행 상황에 상응하는 운전자의 습관이나 운전 패턴에 상응하는 동작을 수행하도록 차량의 행동을 자동으로 제어할 수 있다.

이와 같이 개시된 실시예에 따르면, 운전자의 습관이나 운전 패턴 등을 고려하여 자율 주행 모델이 학습되기 때문에 차량이 자율 주행 모드로 동작하는 경우에도 그 운전자가 직접 운전하는 상황과 비슷하게 차량의 행동을 제어할 수 있다.

도 8은 일 실시예에 따른 자율 주행 방법의 흐름도이다.

도 8을 참조하면, 자율 주행 장치(600)는 운전자가 차량을 운전하는 도중에 자율 주행에 관한 명령을 입력하면, 운전자의 명령을 수신한다(810). 이때, 자율 주행에 관한 명령은 자율 주행 모드 또는 수동 주행 모드로 전환 또는, 자율 주행 모델의 학습 모드로의 전환이나 종료 명령 등을 포함할 수 있다.

그 다음, 운전자로부터 자율 주행에 관한 명령이 수신되면, 수신된 명령을 처리하는데 기초가 되는 주행 정보를 수집할 수 있다(820). 여기서, 차량의 주행 정보는 차량이 주행하고 있는 상황에서 발생하는 다양한 정보들로서, 운전자가 자율 주행에 관한 명령을 입력한 시점부터 운전자와 관련된 운전자 정보, 차량에 탑재된 각종 센서로부터 생성되는 센서 정보 및, 네비게이션 설정 정보를 포함할 수 있다.

그 다음, 수신된 주행 정보를 이용하여 운전자가 요청한 명령을 처리할 수 있다(830).

도 9는 도 8의 명령 처리 단계(830)의 상세 흐름도로서, 도 8 및 도 9를 참조하여 단계(830)를 보다 상세하게 설명한다.

먼저, 자율 주행 장치(600)는 단계(810)에서 운전자로부터 자율 주행에 관한 명령이 수신되면, 수신된 명령을 해석하여 차량의 주행을 자동으로 제어하는 자율 주행 모드로 처리할지, 자율 주행을 위해 탑재되어 있는 자율 주행 모델을 다시 학습시키는 학습 모드로 처리할지, 즉 현재 차량에 적용되어 있는 자율 주행 모델이 적합한지를 판단할 수 있다(831).

예를 들어, 자율 주행 장치(600)는 운전자로부터 수신된 자율 주행에 관한 명령이 학습 모드로 운행하는 것인 경우 바로 학습 모드로 처리하는 것으로 결정할 수 있다. 이때, 자율 주행 장치(600)는 현재 자율 주행 모델이 최근에 학습이 된 경우 학습을 수행할지를 운전자에게 질의할 수 있으며, 질의에 대한 운전자의 응답을 기초로 학습 여부를 판단할 수 있다.

또는, 자율 주행에 관한 명령이 차량을 자율 주행 모드로 운행하는 것인 경우, 자율 주행 장치(600)는 자율 주행 모드로 동작하기에 앞서 운전자 정보나 네비게이션 설정 정보 등을 기초로 현재 적용할 자율 주행 모델이 적합한지 판단할 수 있다. 일 예로, 운전자가 새로운 차량을 구입한 경우 또는, 현재 차량의 소유주가 변경되어 운전자가 바뀐 경우 등과 같이 현재 차량에 적용되어 있는 자율 주행 모델이 운전자에 대하여 학습이 미리 되어 있지 않으면 적합하지 않은 것으로 판단할 수 있다. 다른 예로, 현재 자율 주행 모델이 새로운 주행 경로에 대하여 학습이 되어 있지 않은 경우 적합하지 않은 것으로 판단할 수 있다. 이와 같이 판단 결과 현재의 자율 주행 모델이 적합하지 않으면 학습 모드로 처리하는 것으로 결정할 수 있으며, 이때, 운전자에게 먼저 학습 모드로 동작할 것임을 안내하고 운전자의 응답을 기초로 최종적으로 처리할 동작을 결정할 수 있다.

그 다음, 자율 주행 장치(600)는 단계(831)에서 판단한 결과 현재 적용된 자율 주행 모델이 적합하지 않은 경우, 수집된 주행 정보를 이용하여 자율 주행 모델을 학습시킬 수 있다(832). 이때, 전술한 자율 주행 모델 학습 기술을 이용할 수 있으며, 충분한 주행 정보를 이용하여 학습이 이루어질 수 있도록, 일정 시간 동안 주행 정보가 수집된 후에 자율 주행 모델을 학습시킬 수 있다.

그 다음, 자율 주행 모델의 학습이 완료되면 이후 주행에 대하여 자율 주행 모드로 동작할지를 결정할 수 있다(833). 이때, 자율 주행 장치(600)는 운전자에게 학습이 완료되었음을 안내하고, 계속해서 차량의 주행을 자동으로 제어할지를 질의하거나 미리 설정되어 있는 규칙에 따라 자율 주행 모드로 동작할지를 결정할 수 있다.

그 다음, 단계(831)에서 자율 주행 모델이 적합한 것으로 판단한 경우이거나, 단계(833)에서 이후 주행에 대하여 자율 주행 모드로 동작하는 것으로 결정이 되면, 단계(820)에서 실시간으로 수집되는 주행 정보 및 자율 주행 모드를 이용하여 차량의 동작으로 자동으로 제어한다(834).

한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 개시된 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100, 200: 자율 주행 모델 학습 장치
110, 210: 운전자 정보 수집부
120, 220: 센서 정보 수집부
130, 230: 모델 학습부
240: 네비게이션 정보 수집부
600: 자율 주행 장치
610: 명령 수신부
620: 주행 정보 수집부
630: 명령 처리부
631: 모델 판단부
632: 모델 학습부
633: 주행 제어부

Claims

차량이 주행중인 상황(주행 상황)에서 운전자 정보를 수집하는 운전자 정보 수집부;
상기 차량에 장착된 센서로부터 상기 차량의 주행 중에 생성되는 센서 정보를 수집하는 센서 정보 수집부;
상기 운전자 정보 및 센서 정보를 기초로 자율 주행 모델을 학습시키는 모델 학습부; 및
상기 운전자 정보를 기초로 상기 자율 주행 모델이 상기 운전자 및 현재 주행 상황에 적합한지를 판단하고, 네비게이션 설정 정보를 기초로 상기 자율 주행 모델이 현재 주행 경로에 대하여 미리 학습되었는지 판단하도록 구성된 명령 처리부를 포함하고,
상기 명령 처리부는
자율 주행 명령에 응답한 자율 주행 모드에서, 상기 자율 주행 모델이 상기 운전자 또는 상기 주행 상황 중 적어도 하나에 대해 미리 학습되었는지 확인하고, 확인 결과에 따라 상기 주행 상황에 대한 상기 자율 주행 모델의 적합 여부를 판단하고, 부적합 판단 결과에도 상기 운전자에게 재학습 여부를 질의하도록 구성된 자율 주행 모델 학습 장치.
제1항에 있어서,
상기 차량 주행 상황은 도로에서의 실 주행 상황 및, 가상 주행 상황 중의 적어도 하나를 포함하는 자율 주행 모델 학습 장치.
제1항에 있어서,
상기 운전자의 정보는 운전자 상태 정보, 운전자 행동 정보 및 운전 패턴 정보 중의 하나 이상을 포함하는 자율 주행 모델 학습 장치.
제3항에 있어서,
상기 운전자 상태 정보는 운전자의 시선 방향, 심박수, 심전도, 뇌파 및 핸들을 쥐고 있는 악력 정보 중의 하나 이상을 포함하고,
상기 운전자 행동 정보는 차량에 탑재된 음향 장치, 공조 장치, 미러 장치 및 네비게이션 조작 정보 중의 하나 이상을 포함하고,
상기 운전 패턴 정보는 핸들 조향 조작 정보, 가속(accelerating) 페달 조작 정보, 경적(Horn) 조작 정보, 방향 지시등 조작 정보, 비상버튼 조작 정보 및 브레이크 페달 조작 정보 중의 하나 이상을 포함하는 자율 주행 모델 학습 장치.
제4항에 있어서,
상기 모델 학습부는
상기 운전자의 시선 방향 정보를 기초로 상기 주행 상황에서의 주의할 영역에 관하여 상기 자율 주행 모델을 학습시키고,
상기 운전 패턴 정보를 기초로 주행 상황에서의 위험 상황 및 위험도 중의 적어도 하나에 관하여 상기 자율 주행 모델을 학습시키는 자율 주행 모델 학습 장치.
제1항에 있어서,
출발지 및 목적지 정보를 포함하는 상기 네비게이션 설정 정보를 수집하는 네비게이션 정보 수집부를 더 포함하는 자율 주행 모델 학습 장치.
제6항에 있어서,
상기 모델 학습부는
상기 네비게이션 설정 정보를 더 기초로 하여, 출발지에서 목적지까지의 통합적인 주행 상황에 관하여 상기 자율 주행 모델을 학습시키는 자율 주행 모델 학습 장치.
제1항에 있어서,
상기 센서 정보는 주변 영상 정보, 주변 음성 정보, 현재 위치 정보, Lidar(light detection and ranging) 센서 정보, Radar 센서 정보, 차량 속도 정보 및 가속도 정보 중의 하나 이상을 포함하는 자율 주행 모델 학습 장치.
제1항에 있어서,
상기 자율 주행 모델은 공간(spatial) 및 시간(temporal) 정보의 학습이 가능한 심층 신경망(Deep Neural Network)을 기반으로 하는 자율 주행 모델 학습 장치.
차량이 주행 중인 상황(주행 상황)에서 운전자의 정보를 수집하는 단계;
상기 차량에 장착된 센서로부터 상기 차량의 주행 중에 생성되는 센서 정보를 수집하는 단계;
상기 운전자 정보 및 센서 정보를 기초로 자율 주행 모델을 학습시키는 단계; 및
학습된 자율 주행 모델의 적절성을 판단하는 단계를 포함하고,
상기 적절성을 판단하는 단계는,
자율 주행 명령에 응답한 자율 주행 모드에서, 상기 자율 주행 모델이 상기 운전자 또는 상기 주행 상황 중 적어도 하나에 대해 미리 학습되었는지 확인하는 단계;
확인 결과에 따라 상기 주행 상황에 대한 상기 자율 주행 모델의 적합 여부를 판단하는 단계; 및
부적합 판단 결과에도 상기 운전자에게 재학습 여부를 질의하는 단계를 포함하는 자율 주행 모델 학습 방법.
제10항에 있어서,
상기 운전자의 정보는 운전자 상태 정보, 운전자 행동 정보 및 운전 패턴 정보 중의 하나 이상을 포함하는 자율 주행 모델 학습 방법.
제11항에 있어서,
상기 운전자 상태 정보는 운전자의 시선 방향, 심박수, 심전도, 뇌파 및 핸들을 쥐고 있는 악력 정보 중의 하나 이상을 포함하고,
상기 운전자 행동 정보는 차량에 탑재된 음향 장치, 공조 장치, 미러 장치 및 네비게이션 조작 정보 중의 하나 이상을 포함하고,
상기 운전 패턴 정보는 핸들 조향 조작 정보, 가속(accelerating) 페달 조작 정보, 경적(Horn) 조작 정보, 방향 지시등 조작 정보, 비상버튼 조작 정보 및 브레이크 페달 조작 정보 중의 하나 이상을 포함하는 자율 주행 모델 학습 방법.
제12항에 있어서,
상기 모델을 학습시키는 단계는
상기 운전자의 시선 방향 정보를 기초로 주행 상황에서의 주의할 영역에 관하여 상기 자율 주행 모델을 학습시키고,
상기 운전 패턴 정보를 기초로 주행 상황에서의 위험 상황 및 위험도 중의 적어도 하나에 관하여 상기 자율 주행 모델을 학습시키는 자율 주행 모델 학습 방법.
제10항에 있어서,
출발지 및 목적지 정보를 포함하는 네비게이션 설정 정보를 수집하는 단계를 더 포함하는 자율 주행 모델 학습 방법.
제14항에 있어서,
상기 모델을 학습시키는 단계는
상기 네비게이션 설정 정보를 더 기초로 하여, 출발지에서 목적지까지의 통합적인 주행 상황에 관하여 상기 자율 주행 모델을 학습시키는 자율 주행 모델 학습 방법.
제10항에 있어서,
상기 센서 정보는 주변 영상 정보, 주변 음성 정보, 현재 위치 정보, Lidar(light detection and ranging) 센서 정보, Radar 센서 정보, 차량 속도 정보 및 가속도 정보 중의 하나 이상을 포함하는 자율 주행 모델 학습 방법.
운전자로부터 차량의 자율 주행에 관한 명령을 수신하는 명령 수신부;
상기 자율 주행에 관한 명령이 수신되면, 상기 차량의 주행 중에 운전자 정보, 센서 정보 및 네비게이션 설정 정보를 포함하는 차량의 주행 정보를 수집하는 주행 정보 수집부; 및
상기 수집된 주행 정보를 기초로, 상기 차량에 탑재되어 있는 자율 주행 모델의 학습 또는 상기 차량의 자율 주행을 제어하는 명령 처리부를 포함하고,
상기 명령 처리부는
상기 자율 주행 명령에 응답한 자율 주행 모드에서, 상기 자율 주행 모델이 상기 운전자 또는 주행 상황 중 적어도 하나에 대해 미리 학습되었는지 확인하고, 확인 결과에 따라 상기 운전자 정보를 기초로 상기 자율 주행 모델이 상기 운전자 및 현재 주행 상황에 적합한지를 판단하고, 상기 네비게이션 설정 정보를 기초로 상기 자율 주행 모델이 현재 주행 경로에 대하여 적합한지 판단하고, 부적합 판단 결과에도 상기 운전자에게 재학습 여부를 질의하도록 구성된 자율 주행 장치.
제17항에 있어서,
상기 명령 처리부는
상기 판단 결과 적합하지 않으면, 상기 수집된 주행 정보를 기초로 상기 자율 주행 모델을 재학습시키는 모델 학습부; 및
상기 판단 결과 적합하면, 상기 수집된 주행 정보 및 상기 자율 주행 모델을 이용하여 상기 차량의 행동을 자동으로 제어하는 주행 제어부를 더 포함하는 자율 주행 장치.
제18항에 있어서,
모델 판단부는
상기 운전자 정보를 기초로, 상기 자율 주행 모델이 상기 운전자에 대해 학습이 되었는지 확인하고, 확인 결과 상기 운전자에 대하여 학습이 되지 않은 경우 적합하지 않은 것으로 판단하는 자율 주행 장치.
제18항에 있어서,
모델 판단부는
네비게이션 설정 정보에 더 기초하여, 출발지에서 목적지까지의 상기 주행 경로에 대하여 학습이 되었는지 확인하고, 확인 결과 학습이 되지 않은 경우 적합하지 않은 것으로 판단하는 자율 주행 장치.