KR20160136916A

KR20160136916A - 차량 제어 장치 및 그 방법

Info

Publication number: KR20160136916A
Application number: KR1020150071149A
Authority: KR
Inventors: 김상기; 윤희주
Original assignee: 엘지전자 주식회사
Priority date: 2015-05-21
Filing date: 2015-05-21
Publication date: 2016-11-30

Abstract

본 명세서는 차량 제어 장치 및 그 방법에 관한 것이다. 본 발명에 따른 차량 제어 장치는, 차량 운전자의 상태정보 및 상기 차량과 관련된 상태정보 중 적어도 하나를 감지하는 감지부 및 상기 감지된 적어도 하나의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 산출되는 예측정보를 산출하는 제어부를 포함한다.

Description

차량 제어 장치 및 그 방법{APPARATUS FOR CONTROLLING OF VEHICLE AND METHOD THEREOF}

본 명세서는 차량 제어 장치 및 그 방법에 관한 것이다.

기존의 DSM(driver state monitoring) 시스템, ADAS(Advanced Driving Assist System) 등은 차량을 기준으로 하는 정보를 감지한다. 이에 따라, 차량의 입장에서 취득된 정보인 차량이 바라본 외부 교통 상황이나 운전자 상태 등의 정보를 활용하게 된다. 이러한 정보는 운전자의 입장에서는 간접적인 정보이기 때문에, 실제 운전자의 상태를 판단하는데 있어서 한계가 존재하게 된다.

즉, 정확한 운전자 상태의 모니터링을 위해, 운전자 외부의 관찰 이외에 운전자가 직접 보고 듣고 느끼고 있는 1인칭 시점의 외부 자극에 대한 측정이 요구되어 진다.

본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 한다. 또 다른 목적은, 운전자 중심의 정보를 제공하는 차량 제어 장치 및 그 방법을 제공하는 데 그 목적이 있다.

본 명세서에 개시된 실시 예에 따른 차량 제어 장치는, 차량 운전자의 상태정보 및 상기 차량과 관련된 상태정보 중 적어도 하나를 감지하는 감지부 및 상기 감지된 적어도 하나의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 산출되는 예측정보를 산출하는 제어부를 포함한다.

실시 예에 있어서, 상기 감지부는, 상기 차량 운전자의 상태정보를 감지하는 DSM(driver state monitoring) 시스템 및 상기 차량과 관련된 상태정보를 감지하는 ADAS(Advanced Driving Assist System) 중 적어도 하나를 포함할 수 있다.

또 다른 실시 예에 있어서, 상기 제어부는, 영상입력장치로 입력되는 입력영상과 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부영상을 산출할 수 있다.

이때, 상기 차량 운전자의 상태정보는, 상기 차량 운전자의 얼굴 위치, 눈의 위치, 시선, 얼굴 위치 변화, 눈의 위치 변화 중 적어도 하나를 포함할 수 있다.

또 다른 실시 예에 있어서, 상기 제어부는, 음향입력장치로 입력되는 입력음향과 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부음향을 산출할 수 있다.

이때, 상기 차량 운전자의 상태정보는, 상기 차량 운전자의 얼굴 위치, 귀의 위치, 얼굴 위치 변화, 귀의 위치 변화 중 적어도 하나를 포함할 수 있다.

이에 따라, 상기 제어부는, 상기 입력음향으로부터 추정되는 음원의 위치와 상기 차량 운전자의 상태정보 중 적어도 하나에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부음향을 산출할 수 있다.

또 다른 실시 예에 있어서, 상기 제어부는, 상기 차량의 운행과 관련된 상태정보와 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부충격을 산출할 수 있다.

이때, 상기 차량의 운행과 관련된 상태정보는, 상기 차량의 속도, GPS 정보, 가속도 중 적어도 하나를 포함하며, 상기 차량 운전자의 상태정보는, 상기 차량 운전자 머리의 위치 변화를 포함할 수 있다.

이에 따라, 상기 제어부는, 상기 차량의 운행과 관련된 상태정보에 대응되는 상기 차량 운전자 머리의 위치 변화에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부충격을 산출할 수 있다.

본 명세서에 개시된 실시 예에 따른 차량 제어 방법은, (a) 감지부에 의해 차량 운전자의 상태정보 및 상기 차량과 관련된 상태정보 중 적어도 하나를 감지하는 단계 및 (b) 상기 감지된 적어도 하나의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 산출되는 예측정보를 산출하는 단계를 포함한다.

또 다른 실시 예에 있어서, 상기 (b) 단계는, 영상입력장치로 입력되는 입력영상과 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부영상을 산출하는 단계를 포함할 수 있다.

또 다른 실시 예에 있어서, 상기 (b) 단계는, 음향입력장치로 입력되는 입력음향과 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부음향을 산출하는 단계를 포함할 수 있다.

이에 따라, 상기 (b) 단계는, 상기 입력음향으로부터 추정되는 음원의 위치와 상기 차량 운전자의 상태정보 중 적어도 하나에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부음향을 산출하는 단계를 포함할 수 있다.

또 다른 실시 예에 있어서, 상기 (b) 단계는, 상기 차량의 운행과 관련된 상태정보와 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부충격을 산출하는 단계를 포함할 수 있다.

이에 따라, 상기 (b) 단계는, 상기 차량의 운행과 관련된 상태정보에 대응되는 상기 차량 운전자 머리의 위치 변화에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부충격을 산출하는 단계를 포함할 수 있다.

본 발명에 따른 차량 제어 장치 및 그 방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시 예들 중 적어도 하나에 의하면, 운전자가 직접 보고 듣고 느끼는 운전자 중심의 정보를 산출할 수 있다.

그 결과, 차량 중심으로 산출되는 기존의 정보를 운전자 중심으로 해석하여, 실제 운전자의 상태 정보를 명확하게 파악할 수 있게 된다.

본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.

도 1은 본 발명의 실시 예를 설명하기 위한 차량을 나타낸 개략도이다.
도 2는 본 발명의 실시 예를 설명하기 위한 차량의 구성을 나타낸 도이다.
도 3은 본 발명의 실시 예를 설명하기 위한 텔레매틱스 단말기의 구성을 나타낸 블록도 이다.
도 4는 본 발명과 관련된 차량 제어 장치의 구성을 나타낸 블록도이다.
도 5는 본 발명에 따른 차량 제어 장치에 의한 데이터 흐름의 실시 예를 보여주는 개념도이다.
도 6은 본 발명과 관련된 차량 제어 방법을 보여주는 흐름도이다.
도 7은 운전자에게 제공되는 것으로 예측되는 외부영상이 산출되는 실시 예를 보여주는 개념도이다.
도 8은 운전자에게 제공되는 것으로 예측되는 외부음향이 산출되는 실시 예를 보여주는 개념도이다.
도 9는 운전자에게 제공되는 것으로 예측되는 외부충격이 산출되는 실시 예를 보여주는 개념도이다.
도 10은 예측정보를 가상현실에 적용하여 운전자의 운전 능력을 향상시킬 수 있는 실시 예를 보여주는 개념도이다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다수의 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 본 발명의 실시 예를 설명하기 위한 차량(예를 들면, 전기 자동차)을 나타낸 개략도이다.

본 발명의 실시 예는 일반 자동차(예를 들면, 가솔린 자동차, 경우 자동차, 가스 자동차 등)뿐만 아니라 순수 전기 자동차, 하이브리드 전기 자동차 등에도 적용될 수 있다. 상기 하이브리드 자동차(HEV; Hybrid Electric Vehicles)는 필요 전력을 공급받기 위해 다수개의 배터리 셀로 구성된 배터리 팩을 탑재한다. 상기 배터리 팩에 포함되어 있는 다수개의 배터리 셀은 안전성과 수명 향상, 그리고 고출력을 얻기 위해 각 배터리 셀의 전압을 균일하게 해줄 필요가 있다.

도 2는 본 발명의 실시 예를 설명하기 위한 차량(예를 들면, 하이브리드 전기 자동차)의 구성을 나타낸 도이다.

도 2에 도시된 바와 같이, 본 발명의 실시 예를 설명하기 위한 차량(100)은, 동력원으로서 엔진(101)과 모터/발전기 유닛(motor/generator unit: 이하, "M/G 유닛"이라 약칭함)(102)을 포함한다. 동력원에 의하여 구동되는 구동륜(driven wheel)은 전륜구동 차량(front-wheel drive vehicle)에서는 전륜(front-wheel), 그리고 후륜구동 차량(rear-wheel drive vehicle)에서는 후륜(rear-wheel)이다. 다만, 이하에서는 전륜구동 차량에 관하여 설명한다. 후륜구동 차량에 관한 실시 예는 전륜구동 차량에 관한 이하의 설명으로부터 자명하다.

상기 M/B 유닛(102)은 구동상태에 따라 모터로 또는 발전기로 선택적으로 기능하는 장치로서, 당업자에게 자명하다. 따라서, 이하의 설명에서는 이해의 편의상 M/G 유닛(102)을 모터 혹은 발전기와 같은 명칭으로 사용할 수 있으나, 모두 동일한 구성요소를 지칭하는 것이다. 상기 전기자동차의 엔진(101)과 모터(102)는 직렬로 변속기(transmission)에 연결된다.

상기 M/G 유닛(102)은 모터 제어 유닛(motor control unit: MCU(103)의 제어에 따라 인버터(inverter)(104)의 신호에 의해 구동된다.

상기 인버터(104)는 MCU(103)의 제어에 의하여, 배터리(105)에 저장된 전기에너지를 이용하여 상기 M/G 유닛(102)을 동력원으로서 구동하고, 상기 M/G 유닛(102)을 발전기로 구동하는 경우에 M/G 유닛(102)에서 발전된 전기에너지를 배터리(105)에 충전한다.

상기 엔진(101)과 M/G 유닛(102)의 동력은 클러치(106)를 통해 변속기(T/M)(107)로 전달되며, 최종 감속 기어(final drive gear, F/R)(108)를 통해 전륜(109)으로 전달된다. 후륜(110)은 엔진(101)과 M/G 유닛(102)에 의해 구동되지 않는 비구동륜이다.

상기 전륜(109)과 후륜(110) 각각에는 각 바퀴의 회전속도를 저감시키기 위한 휠 브레이크 장치(wheel brake apparatus)(111)가 개재된다. 그리고 각 휠 브레이크 장치(111)를 구동할 수 있도록, 브레이크 페달(112) 및 브레이크 페달(112)의 조작에 따라 생성된 유압을 기초로 각 휠 브레이크 장치(111)를 유압 제동하는 유압제어 시스템(hydraulic control system)(113)을 포함한다. 상기 전기 자동차는 상기 유압제어 시스템(113)을 제어하고 유압제어 시스템(113)으로부터 브레이크 제어 상태를 수신하는 브레이크 제어 유닛(brake control unit: BCU)(114)을 포함한다.

상기 BCU(114)는 운전자의 브레이크 페달(112) 조작 시에, 유압제어 시스템(113)에서 발생되는 유압을 검출한다. 상기 BCU(114)는 이를 기초로 구동륜(예를 들면, 전륜(109))에 인가될 제동력과 이 중 유압에 의해 제동될 유압 제동력 및 회생제동에 의해 제동될 회생제동력을 산출한다. 이에 따라 상기 BCU(114)는 산출된 유압제동력을 유압제어 시스템(113)의 제어를 통해 전륜(109)의 휠 브레이크 장치(111)에 공급한다.

상기 전기자동차는 BCU(114) 및 MCU(103)와 통신(communication)하여 이들을 제어함으로써 최대 속도 제한방법을 수행하는 전기자동차를 구현하는 전기자동차 전자 제어 유닛(hybrid electric vehicle electronic control unit: HEV-ECU)(115)을 포함한다.

상기 BCU(114)에서 산출된 회생제동력은 상기 HEV-ECU(115)로 전달되고, 이에 따라 HEV-ECU(115)는 수신한 회생제동력을 기초로 MCU(103)를 제어한다. 따라서 MCU(103)는 HEV-ECU(115)로부터 지정된 회생제동력이 구현되도록 M/G 유닛(102)을 발전기로서 구동한다. 이때, 상기 M/G 유닛(102)에 의해 발전된 전기에너지는 배터리(105)에 저장된다.

상기 전기 자동차는 차량 속도를 검출하는 차속 검출기(116)를 더 구성한다.

상기 HEV-ECU(115)는 차속 검출기(116)에서 검출된 차량 속도를 BCU(114) 및 MCU(103)의 제어를 위한 데이터로 활용한다.

또한, 상기 전기 자동차는 상기 배터리(105)의 전압을 검출하는 배터리 전압 검출부(117)를 포함한다. 상기 배터리 전압 검출부(117)는 배터리(105)의 현재 전압을 검출하고, 검출된 현재전압과 미리 설정된 기준 전압의 편차에 따라 상기 HEV-ECU(115)가 전기자동차의 최대속도를 제한할 수 있도록 결과 데이터를 제공한다.

이하에서는, 본 발명의 실시 예를 설명하기 위한 텔레매틱스 단말기(200)의 구성을 도 3을 참조하여 설명한다.

도 3은 본 발명의 실시 예를 설명하기 위한 텔레매틱스 단말기(200)의 구성을 나타낸 블록도 이다.

도 3에 도시한 바와 같이, 텔레매틱스 단말기(200)는 텔레매틱스 단말기(200)를 전체적으로 제어하는 제어부(예를 들면, 중앙 처리 장치, CPU)(212)와, 각종 정보를 저장하는 메모리(213)와, 각종 키 신호를 제어하는 키 제어부(211)와, LCD(liquid crystal display)를 제어하는 LCD 제어부(214)를 내장한 메인 보드(210)로 구성된다.

상기 메모리(213)는 길 안내 정보를 디지털 지도상에 표시하기 위한 지도 정보(지도 데이터)를 저장한다. 또한, 상기 메모리(213)는 차량이 현재 주행하는 도로 상황에 따른 교통 정보를 입력할 수 있도록 하는 교통 정보 수집 제어 알고리즘 및 상기 알고리즘의 제어를 위한 정보를 저장한다.

상기 메인 보드는 고유의 기기번호가 부여되어 차량에 내장된 이동 통신 단말기인 CDMA(code division multiple access) 모듈(206), 차량의 위치 안내, 출발지부터 목적지까지의 주행 경로 추적 등을 위한 GPS(Global Positioning System) 신호를 수신하거나 사용자에 의해서 수집된 교통정보를 GPS 신호로 송신하는 GPS 모듈(207), CD(compact disk)에 기록된 신호를 재생하기 위한 CD 데크(CD Deck)(208), 자이로 센서(gyro sensor)(209) 등으로 구성된다. 상기 CDMA 모듈(206), GPS 모듈(207)은 안테나(204, 205)를 통해서 신호를 송신/수신한다.

또한, 방송 수신 모듈(222)은 상기 메인 보드에 연결되고, 안테나(223)를 통해서 방송 신호를 수신한다. 상기 메인보드에는 인터페이스 보드(203)를 통해서 상기 LCD 제어부(214)의 제어를 받는 표시부(LCD)(201)와, 키 제어부(211)의 제어를 받는 프론트 보드(202)와 차량의 내부 및/또는 외부를 촬영하는 카메라(227)가 연결된다. 상기 표시부(201)는, 각종 비디오 신호, 문자 신호를 표시하고, 상기 프론트 보드(202)는 각종 키 신호 입력을 위한 버튼을 구비하고, 사용자 선택이 이루어진 버튼에 해당하는 키 신호를 메인 보드에 제공한다. 또한, 상기 표시부(201)는 도 2의 근접 센서 및 터치 센서(터치 스크린)을 포함한다.

상기 프론트 보드(202)는 교통정보를 직접 입력하기 위한 메뉴 키를 구비하며, 상기 메뉴 키는 키 제어부(211)의 제어를 받도록 구성될 수 있다.

상기 오디오 보드(217)는 상기 메인 보드와 연결되고, 각종 오디오 신호를 처리한다. 상기 오디오 보드(217)는 오디오 보드(217)의 제어를 위한 마이크로컴퓨터(219), 라디오 신호를 수신하는 튜너(218), 상기 마이크로컴퓨터(219)에 전원을 공급하는 전원부(216), 각종 음성 신호를 처리하는 신호 처리부(215)로 구성된다.

또한, 상기 오디오 보드(217)는 라디오 신호를 수신하기 위한 라디오 안테나(220)와, CD(Compact disc)의 오디오 신호를 재생하기 위한 CD 데크(221)로 구성된다. 상기 오디오 보드(217)는 상기 오디오 보드(217)에서 신호 처리된 음성 신호를 출력하기 위한 음성 출력부(예를 들면, 앰프)(226)를 더 구성할 수도 있다.

상기 음성 출력부(앰프)(226)는 차량 인터페이스(224)에 연결된다. 즉, 상기 오디오 보드(217)와 메인 보드는 상기 차량 인터페이스(224)에 연결된다. 상기 차량 인터페이스(224)는 음성 신호를 입력하는 핸즈프리(225a), 탑승자 안전을 위한 에어백(225b), 차량의 속도를 검출하기 위한 속도 센서(225c) 등이 연결될 수도 있다. 상기 속도 센서(225c)는 차량 속도를 산출하고, 그 산출된 차량 속도 정보를 상기 중앙 처리 장치(212)에 제공한다.

상기 텔레매틱스 단말기(200)에 적용된 내비게이션 세션(299)은, 지도 데이터 및 차량 현재 위치 정보를 근거로 길 안내 정보를 발생하고, 그 발생된 길 안내 정보를 사용자에게 통지한다.

상기 표시부(201)는 근접 센서를 통해 표시창 내에서 근접 터치를 감지한다. 예를 들면, 상기 표시부(201)는 포인터(예를 들면, 손가락 또는 스타일러스 팬(stylus pen))가 근접 터치될 때 그 근접 터치의 위치를 검출하고, 그 검출된 위치에 대응하는 위치 정보를 상기 제어부(212)에 출력한다.

음성 인식 장치(또는 음성 인식 모듈)(298)는 사용자에 의해 발성된 음성을 인식하고, 그 인식된 음성 신호에 따라 해당 기능을 수행한다.

상기 텔레매틱스 단말기(200)에 적용된 내비게이션 세션(session)(299)은, 지도 데이터 상에 주행 경로를 표시하고, 상기 이동 통신 단말기(100)의 위치가 상기 주행 경로에 포함된 사각지대로부터 미리 설정된 거리 이내일 때 무선 통신(예를 들면,근거리 무선 통신망)을 통해 주변 차량에 장착된 단말기(예를 들면, 차량 내비게이션 장치) 및/또는 주변 보행자가 휴대하고 있는 이동 통신 단말기와 자동으로 무선 네트워크를 형성함으로써 상기 주변 차량에 장착된 단말기로부터 그 주변 차량의 위치 정보를 수신하고, 주변 보행자가 휴대하고 있는 이동 통신 단말기로부터 상기 주변 보행자의 위치 정보를 수신한다.

본 발명의 실시 예에 따른 차량 제어 장치 및 그 방법은, 텔레매틱스 단말기(200)(또는 HUD(Head Up Display)) 및 차량 계기판(Cluster)에 적용될 수 있다. 예를 들면, 시각정보를 출력할 수 있는 영상표시장치로 구현될 수도 있고, 차량 제어 장치로 차량 내부에 존재할 수도 있다.

도 4는 본 발명과 관련된 차량 제어 장치의 구성을 나타낸 블록도이다.

도 4를 참조하면, 본 발명에 따른 차량 제어 장치(400)는 감지부(410), 제어부(420) 및 출력부(430)를 포함할 수 있다.

감지부(410)는 차량 운전자의 상태정보 및 상기 차량과 관련된 상태정보 중 적어도 하나를 감지한다.

구체적으로, 차량 운전자의 상태정보는 운전자의 신체 상태나 심리 상태와 관련된 정보를 의미한다. 예를 들면, 운전자의 얼굴 위치, 눈의 위치, 귀의 위치, 머리 위치, 시선, 얼굴 위치 변화, 눈의 위치 변화, 귀의 위치 변화, 머리 위치 변화, 양손 또는 양발 중 적어도 하나의 위치, 자세, 움직임, 포즈, 심박수, 체온, 눈 깜빡임 정도, 눈꺼풀이 눈을 가리고 있는 정도 등을 포함할 수 있다.

차량과 관련된 상태정보는 차량 운행이나 차량 내부 환경과 관련된 상태정보를 의미한다. 예를 들면, 차량의 속도, GPS 정보, 가속도, 온도, 압력 등을 포함할 수 있다.

이러한 정보들을 감지하기 위해, 감지부(410)는 DSM(driver state monitoring) 시스템, ADAS(Advanced Driving Assist System), 카메라, 어레이 마이크, 가속도 센서, 자이로 센서, 압력 센서, IR 온도 센서, 적외선 센서 등을 포함할 수 있다.

실시 예로서, 감지부(410)는 이러한 센서들 중 일부를 포함할 수 있으며, 외부의 센서로부터 감지된 정보를 수신할 수 있다.

제어부(420)는 상기 감지된 적어도 하나의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 산출되는 예측정보를 산출한다.

구체적으로, 예측정보는 운전자의 입장에서 해석되는 운전자의 상태정보를 의미한다. 예를 들면, 운전자가 실제 보거나 느끼는 것으로 추정되는 시각, 청각, 촉각, 압력, 가속 등의 정보를 의미한다.

즉, 본 발명에 따른 차량 제어 장치(400)에 의하면, 센서에 의해 감지되는 운전자의 상태정보와 차량과 관련된 상태정보에 근거하여, 운전자의 입장에서 해석되는(운전자가 실제 보거나 느끼는 것으로 추정되는) 상태정보(예측정보)를 산출할 수 있다.

출력부(430)는 예측정보를 시각적으로 화면에 출력할 수 있다. 예를 들면, 영상표시장치(430)는 운전자가 바라보는 것으로 예측되는 영상을 출력할 수 있다. 또한, 예측정보를 진동이나 음향출력의 방식으로 출력할 수 있다.

본 발명에 따른 차량 제어 장치(400)는 다음과 같은 실시 예를 포함할 수 있다.

실시 예에 있어서, 상기 감지부(410)는, 상기 차량 운전자의 상태정보를 감지하는 DSM(driver state monitoring) 시스템 및 상기 차량과 관련된 상태정보를 감지하는 ADAS(Advanced Driving Assist System) 중 적어도 하나를 포함할 수 있다.

또 다른 실시 예에 있어서, 상기 제어부(420)는, 영상입력장치로 입력되는 입력영상과 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부영상을 산출할 수 있다.

또 다른 실시 예에 있어서, 상기 제어부(420)는, 음향입력장치로 입력되는 입력음향과 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부음향을 산출할 수 있다.

이에 따라, 상기 제어부(420)는, 상기 입력음향으로부터 추정되는 음원의 위치와 상기 차량 운전자의 상태정보 중 적어도 하나에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부음향을 산출할 수 있다.

또 다른 실시 예에 있어서, 상기 제어부(420)는, 상기 차량의 운행과 관련된 상태정보와 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부충격을 산출할 수 있다.

이에 따라, 상기 제어부(420)는, 상기 차량의 운행과 관련된 상태정보에 대응되는 상기 차량 운전자 머리의 위치 변화에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부충격을 산출할 수 있다.

도 5는 본 발명에 따른 차량 제어 장치에 의한 데이터 흐름의 실시 예를 보여주는 개념도이다.

도 5를 참조하면, DSM(driver state monitoring) 센서, ADAS(Advanced Driving Assist System) 센서에 의해 감지된 차량 운전자의 상태정보와 차량과 관련된 상태정보는 제어부(420)에 전달될 수 있다.

또한, 이러한 상태정보는 CAN(Controller Area Network)-데이터로 제어부(420)에 전달될 수 있다.

구체적으로, CAN(Controller Area Network)-데이터 버스는 주로 차량 안전시스템, 편의사양 시스템의 ECU들 간의 데이터 전송, 정보/통신 시스템 및 엔터테인먼트 시스템의 제어 등에 사용된다. ECU(Electronic Control Unit)는 자동차의 엔진, 자동 변속기, ABS 등의 상태를 컴퓨터로 제어하는 전자제어장치이다. 여기서, ABS(Anti-lock Brake System)는 자동차가 급제동할 때, 바퀴가 잠기는 현상을 방지하기 위해 개발된 특수 브레이크를 의미한다.

그 밖에도, 카메라, 어레이 마이크, 가속도 센서, 자이로 센서, 압력 센서, IR 온도 센서, 적외선 센서 등에 의해 감지된 차량 운전자의 상태정보와 차량과 관련된 상태정보가 제어부(420)에 전달될 수 있다.

이에 따라, 제어부(420)는 전달된 차량 운전자의 상태정보와 차량과 관련된 상태정보에 근거하여, 운전자의 입장에서 해석되는(운전자가 실제 보거나 느끼는 것으로 추정되는) 상태정보(예측정보)를 산출할 수 있다.

본 발명에 따른 차량 제어 장치(400)는 운전자의 시선, 위치, 움직임, 포즈, 심박수, 체온, 차량조작이나 움직임 등에 근거하여, 운전자 1인칭 시점의 시각, 청각, 촉각, 압력, 가속 등의 정보(예측정보)를 산출할 수 있다.

또한, 이와 같이 산출된 예측정보는 운전자의 행동분석, 신체 상태 분석, 심리상태 분석 등 다양한 분야에 활용될 수 있다. 그 결과, 정확한 운전자 모니터링과 운전 습관 분석이 가능해진다.

실시 예로서, ADAS(Advanced Driving Assist System)에 의해 감지된 차량 외부의 영상(view), 카메라에 의해 촬영된 차량 내부의 영상, DSM(driver state monitoring) 시스템에 의해 감지된 운전자의 시선에 근거하여, 운전자 1인칭 시점의 영상(view)이 산출될 수 있다.

또 다른 실시 예로서, 어레이 마이크에 의해 감지된 음향으로부터 음원을 분리하고, DSM(driver state monitoring) 시스템에 의해 감지된 운전자의 자세에 근거하여, 운전자 1인칭 시점의 음향이 산출될 수 있다.

또 다른 실시 예로서, 본 발명에 따른 차량 제어 장치(400)의 감지부(410)는 선택적으로 다양한 종류의 감지 센서를 포함할 수 있다. 또한, 제어부(420)는 산출된 예측정보를 활용할 수 있는 프로그램을 실행할 수 있다.

도 6은 본 발명과 관련된 차량 제어 방법을 보여주는 흐름도이다.

도 6을 참조하면, 우선, 감지부(410)에 의해 차량 운전자의 상태정보 및 상기 차량과 관련된 상태정보 중 적어도 하나를 감지하는 단계(S610)가 진행된다.

이어서, 상기 감지된 적어도 하나의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 산출되는 예측정보를 산출하는 단계(S620)가 진행된다.

또 다른 실시 예에 있어서, 상기 S620단계는, 영상입력장치로 입력되는 입력영상과 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부영상을 산출하는 단계를 포함할 수 있다.

또 다른 실시 예에 있어서, 상기 S620단계는, 음향입력장치로 입력되는 입력음향과 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부음향을 산출하는 단계를 포함할 수 있다.

이에 따라, 상기 S620단계는, 상기 입력음향으로부터 추정되는 음원의 위치와 상기 차량 운전자의 상태정보 중 적어도 하나에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부음향을 산출하는 단계를 포함할 수 있다.

또 다른 실시 예에 있어서, 상기 S620단계는, 상기 차량의 운행과 관련된 상태정보와 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부충격을 산출하는 단계를 포함할 수 있다.

이에 따라, 상기 S620단계는, 상기 차량의 운행과 관련된 상태정보에 대응되는 상기 차량 운전자 머리의 위치 변화에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부충격을 산출하는 단계를 포함할 수 있다.

한편, 상기 제어부(420)는, 영상입력장치로 입력되는 입력영상과 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부영상을 산출할 수 있다.

도 7은 운전자에게 제공되는 것으로 예측되는 외부영상이 산출되는 실시 예를 보여주는 개념도이다.

도 7을 참조하면, 입체 촬영기기(stereoscopic camera, stereo camera), 거리 센서(depth sensor)와 RGB camera에 의해 차량 외부 전경의 촬영 영상을 획득할 수 있다.(710)

그리고, DSM(driver state monitoring) 시스템에 의해 차량 운전자의 모니터링 정보를 획득할 수 있다.(720)

이어서, 이와 같이 획득한 정보에 근거하여,(730) 운전자가 바라보고 있는 것으로 예측되는 차량 외부 전경 영상(운전자 기준의 Ego-centric view)을 생성할 수 있다.(740)

구체적으로, 차량 외부 전경의 3차원 재구성 영상(3D Reconstruction)과 운전자 안구 위치의 3차원 영상, 운전자의 시선 등의 정보에 근거하여,(730) 운전자 기준의 Ego-centric view를 생성할 수 있다.

한편, 상기 제어부(420)는, 음향입력장치로 입력되는 입력음향과 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부음향을 산출할 수 있다.

도 8은 운전자에게 제공되는 것으로 예측되는 외부음향이 산출되는 실시 예를 보여주는 개념도이다.

도 8을 참조하면, DSM(driver state monitoring) 시스템에 의해 차량 운전자의 모니터링 정보를 획득할 수 있다.(810) 또한, 추가적인 센서들, 예를 들면, 어레이 마이크에 의해 음향정보를 획득할 수 있다.(820)

이어서, 이와 같이 획득한 정보에 근거하여,(840) 운전자가 듣고 있는 것으로 예측되는 음향(운전자 기준의 Ego-centric Hearing)을 생성할 수 있다.(850)

구체적으로, 운전자 귀의 위치를 추적한 정보, 음원 분리 및 3차원 음원의 위치를 추정한 정보, 기 설정되어 있는 차량 음향 모델에 근거하여,(840) 운전자 기준의 Ego-centric Hearing을 생성할 수 있다.(850)

한편, 상기 제어부(420)는, 상기 차량의 운행과 관련된 상태정보와 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부충격을 산출할 수 있다.

도 9는 운전자에게 제공되는 것으로 예측되는 외부충격이 산출되는 실시 예를 보여주는 개념도이다.

도 9를 참조하면, DSM(driver state monitoring) 시스템에 의해 차량 운전자의 모니터링 정보를 획득할 수 있다.(910) 또한, CAN(Controller Area Network) 시스템에 의해 차량 속도와 GPS 정보를 획득하고,(920) 추가적인 센서들, 예를 들면, 가속도 센서나 자이로 센서에 의해 속도정보를 획득할 수 있다.(930)

이어서, 이와 같이 획득한 정보에 근거하여,(940) 운전자가 느끼는 것으로 예측되는 외부충격(운전자 기준의 Ego-centric Acceleration)을 생성할 수 있다.(950)

구체적으로, 운전자 머리의 3차원 위치 추적 정보, 차량의 종/횡/수직/회전 방향의 가속도 정보, 차량을 기준으로 하는 운전자 머리의 종/횡/수직/회전 방향의 가속도 정보에 근거하여,(940) 운전자 기준의 Ego-centric Acceleration을 생성할 수 있다.(950)

한편, 앞서 설명한 것과 같이, 제어부(420)는 산출된 예측정보를 활용할 수 있는 프로그램을 실행할 수 있다.

도 10은 예측정보를 가상현실에 적용하여 운전자의 운전 능력을 향상시킬 수 있는 실시 예를 보여주는 개념도이다.

도 10을 참조하면, 본 발명에 따른 차량 제어 장치(400)에 의해, 숙련된 운전자에 의한 '운전자 중심의 운전기록'이 산출될 수 있다.(1010) 예를 들면, 숙련된 운전자가 운전할 때, 보고 듣고 느끼게 되는 기록 등이 '운전자 중심의 운전기록'에 포함될 수 있다.

이어서, 상기 산출된 운전기록을 가상현실 시스템에 적용하여, 다른 운전자들이 가상 체험을 경험할 수 있다.(1020) 실시 예로서, 본 발명에 따른 차량 제어 장치(400)는 가상현실 시스템(application)을 포함할 수 있다.

그 결과, 운전자는 숙련된 운전습관과 외부 환경에 반응하는 방식 등을 학습할 수 있게 된다.(1030)

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

차량 운전자의 상태정보 및 상기 차량과 관련된 상태정보 중 적어도 하나를 감지하는 감지부; 및
상기 감지된 적어도 하나의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 산출되는 예측정보를 산출하는 제어부;를 포함하는 것을 특징으로 하는 차량 제어 장치.
제 1항에 있어서,
상기 감지부는,
상기 차량 운전자의 상태정보를 감지하는 DSM(driver state monitoring) 시스템 및 상기 차량과 관련된 상태정보를 감지하는 ADAS(Advanced Driving Assist System) 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 제어 장치.
제 1항에 있어서,
상기 제어부는,
영상입력장치로 입력되는 입력영상과 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부영상을 산출하는 것을 특징으로 하는 차량 제어 장치.
제 3항에 있어서,
상기 차량 운전자의 상태정보는,
상기 차량 운전자의 얼굴 위치, 눈의 위치, 시선, 얼굴 위치 변화, 눈의 위치 변화 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 제어 장치.
제 1항에 있어서,
상기 제어부는,
음향입력장치로 입력되는 입력음향과 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부음향을 산출하는 것을 특징으로 하는 차량 제어 장치.
제 5항에 있어서,
상기 차량 운전자의 상태정보는,
상기 차량 운전자의 얼굴 위치, 귀의 위치, 얼굴 위치 변화, 귀의 위치 변화 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 제어 장치.
제 6항에 있어서,
상기 제어부는,
상기 입력음향으로부터 추정되는 음원의 위치와 상기 차량 운전자의 상태정보 중 적어도 하나에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부음향을 산출하는 것을 특징으로 하는 차량 제어 장치.
제 1항에 있어서,
상기 제어부는,
상기 차량의 운행과 관련된 상태정보와 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부충격을 산출하는 것을 특징으로 하는 차량 제어 장치.
제 8항에 있어서,
상기 차량의 운행과 관련된 상태정보는, 상기 차량의 속도, GPS 정보, 가속도 중 적어도 하나를 포함하며,
상기 차량 운전자의 상태정보는, 상기 차량 운전자 머리의 위치 변화를 포함하는 것을 특징으로 하는 차량 제어 장치.
제 9항에 있어서,
상기 제어부는,
상기 차량의 운행과 관련된 상태정보에 대응되는 상기 차량 운전자 머리의 위치 변화에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부충격을 산출하는 것을 특징으로 하는 차량 제어 장치.
(a) 감지부에 의해 차량 운전자의 상태정보 및 상기 차량과 관련된 상태정보 중 적어도 하나를 감지하는 단계; 및
(b) 상기 감지된 적어도 하나의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 산출되는 예측정보를 산출하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
제 11항에 있어서,
상기 감지부는,
상기 차량 운전자의 상태정보를 감지하는 DSM(driver state monitoring) 시스템 및 상기 차량과 관련된 상태정보를 감지하는 ADAS(Advanced Driving Assist System) 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 제어 방법.
제 11항에 있어서,
상기 (b) 단계는,
영상입력장치로 입력되는 입력영상과 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부영상을 산출하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
제 13항에 있어서,
상기 차량 운전자의 상태정보는,
상기 차량 운전자의 얼굴 위치, 눈의 위치, 시선, 얼굴 위치 변화, 눈의 위치 변화 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 제어 방법.
제 11항에 있어서,
상기 (b) 단계는,
음향입력장치로 입력되는 입력음향과 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부음향을 산출하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
제 15항에 있어서,
상기 차량 운전자의 상태정보는,
상기 차량 운전자의 얼굴 위치, 귀의 위치, 얼굴 위치 변화, 귀의 위치 변화 중 적어도 하나를 포함하는 것을 특징으로 하는 차량 제어 방법.
제 16항에 있어서,
상기 (b) 단계는,
상기 입력음향으로부터 추정되는 음원의 위치와 상기 차량 운전자의 상태정보 중 적어도 하나에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부음향을 산출하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
제 11항에 있어서,
상기 (b) 단계는,
상기 차량의 운행과 관련된 상태정보와 상기 차량 운전자의 상태정보에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부충격을 산출하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.
제 18항에 있어서,
상기 차량의 운행과 관련된 상태정보는, 상기 차량의 속도, GPS 정보, 가속도 중 적어도 하나를 포함하며,
상기 차량 운전자의 상태정보는, 상기 차량 운전자 머리의 위치 변화를 포함하는 것을 특징으로 하는 차량 제어 방법.
제 19항에 있어서,
상기 (b) 단계는,
상기 차량의 운행과 관련된 상태정보에 대응되는 상기 차량 운전자 머리의 위치 변화에 근거하여, 상기 차량 운전자에게 제공되는 것으로 예측되는 외부충격을 산출하는 단계;를 포함하는 것을 특징으로 하는 차량 제어 방법.