KR20220042261A - 자율주행차량의 원격제어 시스템 및 그 제어 방법 - Google Patents

자율주행차량의 원격제어 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR20220042261A
KR20220042261A KR1020200124899A KR20200124899A KR20220042261A KR 20220042261 A KR20220042261 A KR 20220042261A KR 1020200124899 A KR1020200124899 A KR 1020200124899A KR 20200124899 A KR20200124899 A KR 20200124899A KR 20220042261 A KR20220042261 A KR 20220042261A
Authority
KR
South Korea
Prior art keywords
autonomous vehicle
route
vehicle
unit
remote control
Prior art date
Application number
KR1020200124899A
Other languages
English (en)
Other versions
KR102407544B1 (ko
Inventor
박찬호
윤혁진
김대현
조봉관
Original Assignee
한국철도기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국철도기술연구원 filed Critical 한국철도기술연구원
Priority to KR1020200124899A priority Critical patent/KR102407544B1/ko
Publication of KR20220042261A publication Critical patent/KR20220042261A/ko
Application granted granted Critical
Publication of KR102407544B1 publication Critical patent/KR102407544B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/082—Selecting or switching between different modes of propelling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18158—Approaching intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18166—Overtaking, changing lanes

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 자율주행차량의 원격제어 시스템 및 그 제어 방법에 관한 것이다. 본 발명의 일 양상인 자율주행차량; 및 상기 자율주행차량과 네트워크를 형성하여 통신하는 제어장치;를 포함하는 시스템에 있어서, 상기 제어장치는, 상기 자율주행차량이 촬영한 복수의 이미지를 전달 받고, 상기 전달받은 복수의 이미지를 정합하여 3인칭 시점의 이미지로 변환하는 변환부; 상기 자율주행차량의 운행 경로 설정을 위해 필요한 제 1 노드 및 상기 운행 경로 설정의 레퍼런스(reference)로 활용되는 제 2 노드를 포함하는 경로 정보를, 상기 3인칭 시점의 이미지 상에 오버레이(overlay)하여 표시하는 시각부; 상기 자율주행차량의 운행 경로와 관련된 계산 작업을 수행하는 계산부; 상기 자율주행차량의 운행을 원격으로 제어하기 위한 조정부; 및 상기 자율주행차량, 변환부, 시각부, 계산부 및 조정부 중 적어도 하나를 통해 획득된 정보를 기초로 상기 자율주행차량의 새로운 목표 경로를 설정하는 로직부; 를 포함하고, 상기 자율주행차량와 관련된 미리 지정된 이벤트가 발생되는 경우, 상기 자율주행차량의 운행과 관련된 권한이 상기 제어장치로 이양될 수 있다.

Description

자율주행차량의 원격제어 시스템 및 그 제어 방법 {self-driving vehicle remote control system and control method}
본 발명은 자율주행차량의 원격제어 시스템 및 그 제어 방법에 관한 것이다. 구체적으로 본 발명은, 차량의 이미지를 정합하여 3인칭 시점으로 변환하고, 3차원 이미지 상에 설정된 차량 경로와 보조경로 및 차량의 예상 궤적 등을 오퍼레이터에 표현하며, 차량의 궤적, 유한시간 내 경로, 탈출 경로를 계산하고, 안전거리축소, 횡방향 경로 시프트, 속도 감속, 주요 노드 변경, 경로 재설정, 속도고정 및 해제, 수동/반자동 모드변경으로 구성된 인터페이스 장비로부터 오퍼레이터의 의도(경로)를 판단함으로써, 자율주행차량을 원격으로 제어하는 시스템 및 방법에 관한 것이다.
자율주행 대중교통 차량은 무인운전 혹은 자동운전으로 운행하고 있기 때문에 스마트 관제(SCC)와 유선망과 V2X 무선망을 통해 실시간 차량상태 정보를 SCC(Smart Control Center)로 전송하고, 제어정보를 차량으로 전송하고 있다.
현재, 자율 주행 서비스를 상용화하기 위하여 자율 주행 시스템의 안전 문제를 보완하고자 원격지에서의 자율 주행 제어가 고려되고 있다.
그러나 원격지에서의 제어는 여러 한계점을 가지고 있다. 먼저, 5G 서비스의 시작으로 대량의 실시간 데이터 통신이 가능해졌지만 네트워크의 범위 안에서 사용량이 많은 순간에 전송속도가 느려지거나 중단될 위험이 있어 자율 주행 시스템과 같이 안전과 직결된 시스템에서의 적용에는 실시간성 보장이라는 문제가 있다.
또한, 원격지로 전송된 영상 이미지는 불량한 해상도 또는 광학 왜곡에 의해 실제 차량에서 운전하는 것과 달리 가시성이 제한된다.
또한, 원격지의 오퍼레이터는 차량의 움직임을 시각적인 정보로만 얻게 됨으로 스티어링 휠이나 가감속 페달 조작의 정확도가 떨어지게 된다.
나아가 원격지의 오퍼레이터에게 제어권이 이양되는 순간은 일반적으로 자율 주행이 불가능한 불완전한 상황이므로 제어권을 이양 받은 사람은 상황인지를 빠른 시간 안에 해야 하지만 위의 이유들로 차량의 운전자보다 더 큰 인지 부하를 겪게 된다.
또한, 원격지의 오퍼레이터 역시 실제 차량의 운전자와 같이 장시간 운전에서 집중력 저하의 문제가 발생할 수 있다.
이러한 문제를 해결하기 위해서 자율 주행 자동차의 원격제어는 원격지의 오퍼레이터의 인지 부하를 최소화하고 부족한 감각으로 인한 부정확한 제어 결과를 최소화할 수 있는 방법이 요구되고 있는 실정이다.
대한민국 특허청 등록번호 10-1634451 호 대한민국 특허청 등록번호 10-1002182 호
본 발명은 자율주행차량의 원격제어 시스템 및 그 제어 방법을 사용자에게 제공함으로써, 전술한 문제점들을 해소하고자 한다.
구체적으로 본 발명은, 차량의 이미지를 정합하여 3인칭 시점으로 변환하고, 3차원 이미지 상에 설정된 차량 경로와 보조경로 및 차량의 예상 궤적 등을 오퍼레이터에 표현하며, 차량의 궤적, 유한시간 내 경로, 탈출 경로를 계산하고, 안전거리축소, 횡방향 경로 시프트, 속도 감속, 주요 노드 변경, 경로 재설정, 속도고정 및 해제, 수동/반자동 모드변경으로 구성된 인터페이스 장비로부터 오퍼레이터의 의도(경로)를 판단함으로써, 자율주행차량을 원격으로 제어하는 시스템 및 방법을 본 명세서에서 제안하고자 한다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 달성하기 위한 본 발명의 일 양상인 자율주행차량; 및 상기 자율주행차량과 네트워크를 형성하여 통신하는 제어장치;를 포함하는 시스템에 있어서, 상기 제어장치는, 상기 자율주행차량이 촬영한 복수의 이미지를 전달 받고, 상기 전달받은 복수의 이미지를 정합하여 3인칭 시점의 이미지로 변환하는 변환부; 상기 자율주행차량의 운행 경로 설정을 위해 필요한 제 1 노드 및 상기 운행 경로 설정의 레퍼런스(reference)로 활용되는 제 2 노드를 포함하는 경로 정보를, 상기 3인칭 시점의 이미지 상에 오버레이(overlay)하여 표시하는 시각부; 상기 자율주행차량의 운행 경로와 관련된 계산 작업을 수행하는 계산부; 상기 자율주행차량의 운행을 원격으로 제어하기 위한 조정부; 및 상기 자율주행차량, 변환부, 시각부, 계산부 및 조정부 중 적어도 하나를 통해 획득된 정보를 기초로 상기 자율주행차량의 새로운 목표 경로를 설정하는 로직부; 를 포함하고, 상기 자율주행차량와 관련된 미리 지정된 이벤트가 발생되는 경우, 상기 자율주행차량의 운행과 관련된 권한이 상기 제어장치로 이양될 수 있다.
또한, 상기 복수의 이미지는 상기 자율주행차량에 구비된 복수의 카메라 및 라이다 장치를 기초로 획득될 수 있다.
또한, 상기 자율주행차량은 대중교통 차량이고, 상기 제 1 노드는 상기 대중교통의 노선 데이터와 관련될 수 있다.
또한, 상기 시각부는, 상기 경로 정보가 상기 3인칭 시점의 이미지 상에 표시된 상태에서, 상기 자율주행차량으로부터 수신한 상기 자율주행차량 주변 차량의 움직임과 관련된 정보를 추가적으로 표시할 수 있다.
또한, 상기 시각부는, 상기 경로 정보가 상기 3인칭 시점의 이미지 상에 표시된 상태에서, 상기 자율주행차량의 현재 경로 및 이동 궤적 정보를 상기 3인칭 시점의 이미지 상에 추가적으로 표시할 수 있다.
또한, 상기 계산부는, 상기 자율주행차량의 이동 궤적 정보, 미리 지정된 기간 내 상기 자율주행차량의 이동 경로 정보 및 상기 운행 경로로부터 탈출하기 위한 정보 중 적어도 하나와 관련된 계산 작업을 수행할 수 있다.
또한, 상기 조정부는, 상기 자율주행차량과 관련된 안전거리축소, 횡방향 경로 시프트, 속도 감속, 속도 가속, 상기 운행 경로 상의 노드 변경, 경로 재설정, 속도고정 및 해제, 수동/반자동 변경 중 적어도 하나의 기능을 원격으로 제어할 수 있다.
또한, 상기 제 1 노드는, 교차로를 만나는 도로의 끝점을 의미하고, 상기 제 1 노드는, 각 차선별로 각각 지정될 수 있다.
또한, 상기 횡방향 경로 시프트 기능이 적용되는 경우, 상기 시각부는, 상기 3인칭 시점의 이미지 상에 상기 자율주행차량의 현재 경로로부터 좌우로 시프트된 가상의 경로를 추가적으로 표시하고, 상기 좌우로 시프트된 가상의 경로는 상기 3인칭 시점의 이미지 상에 미리 표시된 경로 정보와 다른 색상으로 표시될 수 있다.
또한, 상기 속도 감속 및 속도 가속 기능은, 상기 자율주행차량의 차선 변경이 필요한 경우에 사용될 수 있다.
또한, 상기 상기 운행 경로 상의 노드 변경 기능은, 상기 경로 정보를 추종하기 위한 상황 및 차선변경 상황에 사용될 수 있다.
또한, 상기 경로 재설정 기능은, 상기 자율주행차량이 상기 경로 정보로부터 벗어난 경우, 상기 경로 정보 상의 복수의 제 1 노드 중 상기 자율주행차량의 현재 위치와 가장 가까운 제 1 노드까지의 경로를 재설정하는 경우에 사용될 수 있다.
또한, 상기 속도고정 기능은, 상기 자율주행차량의 속도를 일정 수치 이하로 줄인 이후 상기 줄어든 속도를 고정하기 위해 사용되고, 상기 속도고정 기능이 설정된 상태에서, 상기 속도 감속 기능을 활성화되나 상기 속도 가속 기능 비활성화되고, 상기 해제 기능은, 상기 속도고정을 해제하는 경우에 사용될 수 있다.
또한, 상기 수동/반자동 변경 기능은, 상기 자율주행차량의 반자동 주행이 불가능한 경우, 상기 자율주행차량을 원격 제어를 통한 수동으로 이동시키기 위해 이용될 수 있다.
또한, 상기 자율주행차량의 상기 경로 정보 상기 장애물이 존재하는 경우, 상기 계산부는, 상기 자율주행차량이 상기 장애물을 회피하도록 탈출 경로 관련 계산을 수행하고, 상기 탈출 경로에 따라 상기 자율주행차량은 운행되며, 상기 경로 정보 상의 최종 목적지로 동일하게 상기 자율주행차량이 운행될 수 있다.
또한, 상기 조종부를 통해, 상기 자율주행차량의 안전거리가 설정가능하고, 상기 안전거리는, 상기 자율주행차량의 속도에 따라 가감되는 변화 거리 및 최소 탈출 유효궤적이 요구하는 거리 중 더 큰 값으로 설정될 수 있다.
한편, 상기의 기술적 과제를 달성하기 위한 본 발명의 다른 일 양상인 자율주행차량; 및 상기 자율주행차량과 네트워크를 형성하여 통신하는 제어장치;를 포함하는 시스템의 제어방법에 있어서, 상기 제어장치의 변환부가 상기 자율주행차량이 촬영한 복수의 이미지를 전달 받고, 상기 전달받은 복수의 이미지를 정합하여 3인칭 시점의 이미지로 변환하는 제 1 단계; 상기 제어장치의 시각부가 상기 자율주행차량의 운행 경로 설정을 위해 필요한 제 1 노드 및 상기 운행 경로 설정의 레퍼런스(reference)로 활용되는 제 2 노드를 포함하는 경로 정보를, 상기 3인칭 시점의 이미지 상에 오버레이(overlay)하여 표시하는 제 2 단계; 상기 제어장치의 계산부가 상기 자율주행차량의 운행 경로와 관련된 계산 작업을 수행하는 제 3 단계; 상기 제어장치의 조정부가 상기 자율주행차량의 운행을 원격으로 제어하는 제 4 단계; 및 상기 제어장치의 로직부가, 상기 자율주행차량, 변환부, 시각부, 계산부 및 조정부 중 적어도 하나를 통해 획득된 정보를 기초로 상기 자율주행차량의 새로운 목표 경로를 설정하는 제 5 단계;를 포함하고, 상기 자율주행차량와 관련된 미리 지정된 이벤트가 발생되는 경우, 상기 자율주행차량의 운행과 관련된 권한이 상기 제어장치로 이양될 수 있다.
또한, 상기 자율주행차량은 대중교통 차량이고, 상기 제 1 노드는 상기 대중교통의 노선 데이터와 관련될 수 있다.
또한, 상기 제 2단계에서는, 상기 경로 정보가 상기 3인칭 시점의 이미지 상에 표시된 상태에서, 상기 자율주행차량으로부터 수신한 상기 자율주행차량 주변 차량의 움직임과 관련된 정보를 추가적으로 표시할 수 있다.
또한, 상기 제 2 단계에서는, 상기 경로 정보가 상기 3인칭 시점의 이미지 상에 표시된 상태에서, 상기 자율주행차량의 현재 경로 및 이동 궤적 정보를 상기 3인칭 시점의 이미지 상에 추가적으로 표시할 수 있다.
또한, 상기 제 3 단계에서, 상기 계산부는, 상기 자율주행차량의 이동 궤적 정보, 미리 지정된 기간 내 상기 자율주행차량의 이동 경로 정보 및 상기 운행 경로로부터 탈출하기 위한 정보 중 적어도 하나와 관련된 계산 작업을 수행할 수 있다.
또한, 상기 제 4 단계에서, 상기 조정부는, 상기 자율주행차량과 관련된 안전거리축소, 횡방향 경로 시프트, 속도 감속, 속도 가속, 상기 운행 경로 상의 노드 변경, 경로 재설정, 속도고정 및 해제, 수동/반자동 변경 중 적어도 하나의 기능을 원격으로 제어할 수 있다.
또한, 상기 제 1 노드는, 교차로를 만나는 도로의 끝점을 의미하고, 상기 제 1 노드는, 각 차선별로 각각 지정될 수 있다.
또한, 상기 제 5 단계에서는, 상기 자율주행차량의 상기 경로 정보 상기 장애물이 존재하는 경우, 상기 계산부는, 상기 자율주행차량이 상기 장애물을 회피하도록 탈출 경로 관련 계산을 수행하고, 상기 탈출 경로에 따라 상기 자율주행차량은 운행되며, 상기 경로 정보 상의 최종 목적지로 동일하게 상기 자율주행차량이 운행될 수 있다.
또한, 상기 제 4 단계에서, 상기 조종부를 통해, 상기 자율주행차량의 안전거리가 설정가능하고, 상기 안전거리는, 상기 자율주행차량의 속도에 따라 가감되는 변화 거리 및 최소 탈출 유효궤적이 요구하는 거리 중 더 큰 값으로 설정될 수 있다.
본 발명은 자율주행차량의 원격제어 시스템 및 그 제어 방법을 사용자에게 제공할 수 있다.
구체적으로 본 발명은, 차량의 이미지를 정합하여 3인칭 시점으로 변환하고, 3차원 이미지 상에 설정된 차량 경로와 보조경로 및 차량의 예상 궤적 등을 오퍼레이터에 표현하며, 차량의 궤적, 유한시간 내 경로, 탈출 경로를 계산하고, 안전거리축소, 횡방향 경로 시프트, 속도 감속, 주요 노드 변경, 경로 재설정, 속도고정 및 해제, 수동/반자동 모드변경으로 구성된 인터페이스 장비로부터 오퍼레이터의 의도(경로)를 판단함으로써, 자율주행차량을 원격으로 제어하는 시스템 및 방법을 사용자에게 제공할 수 있다.
또한, 본 발명에 따르면, 3인칭 시점에서 제어를 수행함으로 오퍼레이터의 인지부하를 최소화 할 수 있다.
또한, 본 발명에 따른 오퍼레이터는 주행의 의도를 전달하고 실제 제어는 가능한 범위에서 차량이 수행함으로 오퍼레이터의 조작 실수가 사고로 이어지지 않도록 할 수 있다.
또한, 본 발명에 따르면, 대부분의 도심지 주행 상황에서 오퍼레이터는 자율주행 시스템을 활용하여 제어를 수행함으로 피로도를 최소화도 가능하다.
또한, 본 발명에 따르면, 자율주행차량의 콕핏을 원격지에 그대로 옮길필요가 없음으로 더 작은 공간과 비용절감이 가능할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 종래의 원격 제어방법을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 자율주행차량 원격제어 시스템에 대한 블록구성도의 일례를 도시한 것이다.
도 3은 본 발명에 따른 자율주행차량 원격제어 시스템과 관련된 블록구성도의 일례를 도시한 것이다.
도 4는 본 발명에 따른 스마트 관제의 구성을 설명하기 위한 블록구성도의 일례를 도시한 것이다.
도 5는 본 발명이 제안하는 조종부의 일례를 도시한 것이다.
도 6은 본 발명에 따라 표시되는 차량 궤적의 일례를 도시한 것이다.
도 7은 본 발명에 따른 주요노드 변경 시나리오의 일례를 도시한 것이다.
도 8 및 도 9는 본 발명에 따른 차선변경 시점 변경 시나리오의 일례를 도시한 것이다.
도 10은 본 발명에 따른 골목길 불법 주정차 시나리오의 일례를 도시한 것이다.
도 11은 본 발명에 따라 공간이 충분한 경우에 횡방향 경로 시프트 시나리오의 일례를 도시한 것이다.
도 12는 본 발명에 따라 공간이 부족한 경우에 횡방향 경로 시프트 시나리오의 일례를 도시한 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 의도는 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다.
본 발명을 설명함에 있어서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지 않을 수 있다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다. 반면에, 어떤 구성요소가 다른 구성요소에 직접 연결되어 있다거나 직접 접속되어 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 명세서에서, 포함하다 또는 구비하다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석될 수 있으며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않을 수 있다.
종래기술의 문제점 및 본 발명의 목적
자율주행차량은 운전자가 핸들과 가속페달, 브레이크 등을 조작하지 않아도 정밀한 지도, 위성항법시스템(GPS) 등 차량의 각종 센서로 상황을 파악해 스스로 목적지까지 찾아가는 차량을 말한다.
자율주행 시장은 2020년부터 본격적인 성장세에 진입할 것으로 전망되고 있다.
시장조사업체 네비건트리서치에 따르면 세계 자율주행차 시장은 2020년 전체 자동차 시장의 2%인 2000억달러를 차지한 뒤 2035년까지 1조2000억달러에 달할 것으로 추정된다.
자율주행 자동차가 실현되기 위해선 여러 가지의 기술이 필요할 수 있는데, 차간 거리를 자동으로 유지해 주는 HDA 기술, 차선이탈 경보 시스템(LDWS), 차선유지 지원 시스템(LKAS), 후측방 경보 시스템(BSD), 어드밴스트 스마트 크루즈 컨트롤(ASCC), 자동 긴급제동 시스템(AEB) 등이 필요하다.
자율주행 대중교통 차량은 무인운전 혹은 자동운전으로 운행하고 있기 때문에 스마트 관제(SCC)와 유선망과 V2X 무선망을 통해 실시간 차량상태 정보를 SCC(Smart Control Center)로 전송하고, 제어정보를 차량으로 전송하고 있다.
현재, 자율 주행 서비스를 상용화하기 위하여 자율 주행 시스템의 안전 문제를 보완하고자 원격지에서의 자율 주행 제어가 고려되고 있다.
도 1은 종래의 원격 제어방법을 설명하기 위한 도면이다.
도 1의 (a) 및 (b)에 도시된 것과 같이, 자율주행자동차의 일반적인 원격지 제어 방법은 아래와 같이 실제 차량에 부착된 카메라로부터 영상을 취득 이를 원격지에서 보고 차량과 동일하게 구성된 제어 인터페이스를 통해 제어를 수행하는 것이다.
실시간성 보장이라는 문제를 해결하기 위해서 복수의 개별 셀룰러 네트워크를 이용하는 방법으로 안전성 문제를 해결하는 방법 등이 고려되고 있다.
또한, 실제 운전석과 동일한 시야각을 제공하기 위해서 돔 형태의 스크린을 사용하거나 HMD 형태의 VR을 사용하는 방법도 제시되고 있다.
그러나 원격지에서의 제어는 여러 한계점을 가지고 있다. 먼저, 5G 서비스의 시작으로 대량의 실시간 데이터 통신이 가능해졌지만 네트워크의 범위 안에서 사용량이 많은 순간에 전송속도가 느려지거나 중단될 위험이 있어 자율 주행 시스템과 같이 안전과 직결된 시스템에서의 적용에는 실시간성 보장이라는 문제가 있다.
또한, 원격지로 전송된 영상 이미지는 불량한 해상도 또는 광학 왜곡에 의해 실제 차량에서 운전하는 것과 달리 가시성이 제한된다.
또한, 원격지의 오퍼레이터는 차량의 움직임을 시각적인 정보로만 얻게 됨으로 스티어링 휠이나 가감속 페달 조작의 정확도가 떨어지게 된다.
나아가 원격지의 오퍼레이터에게 제어권이 이양되는 순간은 일반적으로 자율 주행이 불가능한 불완전한 상황이므로 제어권을 이양 받은 사람은 상황인지를 빠른 시간 안에 해야 하지만 위의 이유들로 차량의 운전자보다 더 큰 인지 부하를 겪게 된다.
또한, 원격지의 오퍼레이터 역시 실제 차량의 운전자와 같이 장시간 운전에서 집중력 저하의 문제가 발생할 수 있다.
즉, LTE 기반의 비디오 영상 지연은 100ms 미만으로 양호한 수준이나 오퍼레이터가 실시간 제어를 하는데 이질감을 느끼지 않을 수준은 아니라는 문제점이 있다.
또한, 기존의 동 형태의 오퍼레이터 장비는 지나치게 큰 공간을 요구함과 동시에 배치된 복수의 디스플레이에 이미지를 전송해야 함으로 더욱 큰 지연시간이 발생될 가능성이 높다는 문제점이 있다.
또한, 원격지에 실제 운전석을 구성하는 것은 실제 운전자의 감각을 완전히 모사할 수 없는 현 상황에서는 그에 따른 오퍼레이터의 잘못된 조작을 야기할 수 있다는 한계가 있다는 문제점이 존재한다.
따라서 본 발명에서는, 자율주행차량의 원격제어 시스템 및 그 제어 방법을 사용자에게 제공함으로써, 전술한 문제점들을 해소하고자 한다.
구체적으로 본 발명은, 차량의 이미지를 정합하여 3인칭 시점으로 변환하고, 3차원 이미지 상에 설정된 차량 경로와 보조경로 및 차량의 예상 궤적 등을 오퍼레이터에 표현하며, 차량의 궤적, 유한시간 내 경로, 탈출 경로를 계산하고, 안전거리축소, 횡방향 경로 시프트, 속도 감속, 주요 노드 변경, 경로 재설정, 속도고정 및 해제, 수동/반자동 모드변경으로 구성된 인터페이스 장비로부터 오퍼레이터의 의도(경로)를 판단함으로써, 자율주행차량을 원격으로 제어하는 시스템 및 방법을 본 명세서에서 제안하고자 한다.
본 발명의 구체적인 설명에 앞서, 본 발명에 적용되는 자율주행차량 제어 시스템에 대해 도면을 참조하여 설명한다.
자율주행차량 제어 시스템
도 2는 본 발명에 따른 자율주행차량 제어 시스템에 대한 블록구성도의 일례를 도시한 것이다.
도 2를 참조하면, 본 발명에 따른 자율주행차량 제어 시스템(10)은 스마트 관제(SCC, Smart Control Center, 200), 기지국(노변 기지국, Road Side Equipment, RSE, 300) 및 자율주행차량(100)을 포함할 수 있다.
여기서 스마트 관제(200)는 기지국(300)과 통신하거나 자율주행차량(100)과 다이렉트로 통신할 수 있다.
일반적으로 기지국(300)은 복수로 구비될 수 있고, 각 기지국(300)이 통신할 수 있는 커버리지에 따라 복수의 셀 중 각각의 셀 영역을 각 기지국(300)이 담당하여 해당 셀 영역으로 진입하는 자율주행차량(100)과 통신하는 것이 가능하다.
이때, 각 기지국(300)에 진입한 자율주행차량(100)으로부터 수신한 정보를 복수의 기지국(300)이 스마트 관제(200)로 송부할 수 있고, 스마트 관제(200)는 복수의 기지국(300)으로부터 수신한 정보를 이용하여 자율주행차량(100)의 상태 등을 판단하고, 해당 상황에 맞는 조치를 전달할 수 있게 된다.
스마트 관제(SCC, Smart Control Center, 200)와 기지국(노변 기지국, Road Side Equipment, RSE, 300)간에는 유선 통신, 무선 통신 및 유무선 혼합통신을 통해 데이터를 교환할 수 있다.
기지국(노변 기지국, Road Side Equipment, RSE, 300)과 자율주행차량(100) 간에는 근거리 통신 또는 원거리 통신을 통해 데이터를 교환할 수 있다.
대표적으로 근거리 통신은 ANT, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등의 기술을 포함할 수 있다.
또한, 원거리 통신은 V2X(Vehicle to Everything)통신환경의 WAVE(Wireless Access in Vehicular Environments), LTE(Long Term Evolution), WAVE+LTE(하이브리드 타입), CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access)을 포함할 수 있다.
한편, 도 3은 본 발명에 따른 자율주행차량 제어 시스템과 관련된 블록구성도의 일례를 도시한 것이다.
도 3에서의 구성은 도 2와 같고, 본 발명에 따른 자율주행차량(100)의 구체적인 구성에 대해 설명한다.
도 3을 참조하면, 자율주행차량(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다.
단, 도 3에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 스마트 관제가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 스마트 관제와 기지국(300) 및 자율주행차량(100), 무선 통신 시스템 사이 또는 기기와 기기가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 주행안전 신호, 주행안전 관련 정보, 방송 신호 및 방송 관련 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 주행안전 신호, 주행안전 관련 정보, 방송 신호 및 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 주행안전 신호, 주행안전 관련 정보, 방송 신호 및 방송 관련 정보를 제공받아 스마트 관제에 송신하는 서버를 의미할 수 있다.
상기 주행안전 신호는, 주행예정노선의 도로사고 신호, 도로파손 신호, 지장물 신호를 포함할 뿐만 아니라, 네비게이션 주행경로상에 주행안전 신호가 결합한 형태의 주행안전 신호도 포함할 수 있다.
상기 주행안전 관련 정보는, 도로 공사 구간, 도로 혼잡 구간, 실시간 재난 방송 또는 주행안전 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 주행안전 관련 정보는, 이동통신망을 통하여도 제공될 수 있다.
상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 주행안전 또는 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 기기, 서버 중 적어도 하나와 무선 신호를 송수신한다.
문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 스마트 관제에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, 와이파이(Wireless Fidelity, Wi-Fi) 등이 이용될 수 있다.
위치정보 모듈(115)은 스마트 관제의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
도 3을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자가 스마트 관제의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센싱부(140)는 스마트 관제의 개폐 상태, 스마트 관제의 위치, 사용자 접촉 유무, 스마트 관제의 방위, 스마트 관제의 가속/감속 등과 같이 스마트 관제의 현 상태를 감지하여 스마트 관제의 동작을 제어하기 위한 센싱 신호를 발생시킨다.
센싱부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다.
한편, 상기 센싱부(140)는 근접 센서(141)를 포함할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 햅틱 모듈(154) 및 프로젝터 모듈(155) 등이 포함될 수 있다.
디스플레이부(151)는 스마트 관제에서 처리되는 정보를 표시(출력)한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 스마트 관제 바디의 디스플레이부(151)가 차지하는 영역을 통해 스마트 관제 바디의 후방에 위치한 사물을 볼 수 있다.
스마트 관제의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. 예를 들어, 스마트 관제에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
상기 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 스마트 관제의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
또한, 본 발명에 따른 센싱부(140)는, 가시광 이미지 센서(142), 라이다 센서(143), 비가시광 이미지 센서(144) 및 레이다 센서(145)를 포함할 수 있다.
먼저, 이미지 센서(image sensor)는, 피사체 정보를 검지하여 전기적인 영상신호로 변환하는 장치로서, 촬상관과 고체이미지센서로 크게 나눌 수 있으며 전자에는 비디콘, 플럼비콘 등이 있고, 후자에는 금속산화물반도체(MOS), 전하결합소자(CCD) 등이 있다.
한편, 인간의 눈으로 볼 수 있는 가시광을 이용하는 가시광 이미지 센서(142)와 인간의 눈으로는 볼 수 없는 자외선 영역 등의 불가시상을 가시상으로 변환하는 비가시광 이미지 센서(144)가 본 발명에는 적용될 수 있다.
또한, 라이다(LIDAR) 센서(143)는, 레이저를 목표물에 비춰 사물과의 거리 및 다양한 물성을 감지할 수 있는 기술이다. 주변 사물, 지형지물 등을 감지하고 이를 3D 영상으로 모델링할 수 있다. 스스로 운행하는 자율주행차가 현실화되면서 자율주행차의 눈 역할을 해줄 기술로 라이다(LIDAR) 센서(143)가 주목 받고 있다.
또한, 레이다(Radar) 센서(145)는, 강력한 전자기파를 발사하여 그 전자기파가 대상 물체에서 반사되여 돌아오는 반향파를 수신하여 물체를 식별하거나 물체의 위치, 움직이는 속도 등을 탐지하는 장치이다.
한편, 음향 출력 모듈(152)은 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 스마트 관제에서 수행되는 기능과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(153)는 스마트 관제의 이벤트 발생을 알리기 위한 신호를 출력한다.
알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다.
상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어 가능하다.
예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 스마트 관제의 구성 태양에 따라 2개 이상이 구비될 수 있다.
프로젝터 모듈(155)은, 스마트 관제를 이용하여 이미지 프로젝트(project) 기능을 수행하기 위한 구성요소로서, 제어부(180)의 제어 신호에 따라 디스플레이부(151)상에 디스플레이되는 영상과 동일하거나 적어도 일부가 다른 영상을 외부 스크린 또는 벽에 디스플레이할 수 있다.
구체적으로, 프로젝터 모듈(155)은, 영상을 외부로 출력하기 위한 빛(일 예로서, 레이저 광)을 발생시키는 광원(미도시), 광원에 의해 발생한 빛을 이용하여 외부로 출력할 영상을 생성하기 위한 영상 생성 수단 (미도시), 및 영상을 일정 초점 거리에서 외부로 확대 출력하기 위한 렌즈(미도시)를 포함할 수 있다. 또한, 프로젝터 모듈(155)은, 렌즈 또는 모듈 전체를 기계적으로 움직여 영상 투사 방향을 조절할 수 있는 장치(미도시)를 포함할 수 있다.
프로젝터 모듈(155)은 디스플레이 수단의 소자 종류에 따라 CRT(Cathode Ray Tube) 모듈, LCD(Liquid Crystal Display) 모듈 및 DLP(Digital Light Processing) 모듈 등으로 나뉠 수 있다. 특히, DLP 모듈은, 광원에서 발생한 빛이 DMD(Digital Micromirror Device) 칩에 반사됨으로써 생성된 영상을 확대 투사하는 방식으로 프로젝터 모듈(151)의 소형화에 유리할 수 있다.
바람직하게, 프로젝터 모듈(155)은, 스마트 관제의 측면, 정면 또는 배면에 길이 방향으로 구비될 수 있다. 물론, 프로젝터 모듈(155)은, 필요에 따라 스마트 관제의 어느 위치에라도 구비될 수 있음은 당연하다.
메모리부(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 메시지, 오디오, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리부(160)에는 상기 데이터들 각각에 대한 사용 빈도도 함께 저장될 수 있다. 또한, 상기 메모리부(160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 스마트 관제는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 스마트 관제에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 스마트 관제 내부의 각 구성 요소에 전달하거나, 스마트 관제 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
식별 모듈은 스마트 관제의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 스마트 관제와 연결될 수 있다.
상기 인터페이스부는 스마트 관제가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 스마트 관제에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동기기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동기기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(controller, 180)는 통상적으로 스마트 관제의 전반적인 동작을 제어한다.
상기 제어부(180)는 스마트 관제가 제어하는 영역에서 운행하는 각 자율주행차량들의 상태정보를 실시간으로 모니터링하고 발생되는 이벤트에 대한 제어정보를 수행할 수 있다.
상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
스마트 관제 시스템
도 4는 본 발명에 따른 스마트 관제의 구성을 설명하기 위한 블록구성도의 일례를 도시한 것이다.
도 4를 참조하면, 본 발명에 따른 스마트 관제 시스템(200)은, 변환부(210), 시각부(220), 계산부(230), 관리 인터페이스부(240), 로직부(250) 및 조종부(260)을 포함할 수 있다.
먼저, 본 발명에 따른 변환부(210)는, 자율주행차량(100)의 이미지를 정합하여 3인칭 시점으로 변화해주는 기능을 제공한다.
본 발명에 적용되는 변환부(210)는 차량에 부착된 복수의 카메라와 라이다 장치 등을 이용하여 이미지를 정합 차량을 3인칭 시점으로 변화시켜줄 수 있다.
또한, 본 발명에 따른 시각부(220)는, 차량의 경로를 일반 노드와 주요 노드로 구분된 경로데이터를 기초로, 3차원 이미지 상에 설정된 차량 경로(주경로)와 시프트 등으로 표현되는 경로(보조경로), 그리고 차량의 예상 궤적 등을 오퍼레이터에 표현해주는 시각화 기능을 제공한다.
여기서, 경로데이터는 대중교통의 노선데이터를 포함하는 것으로 노선을 지키기 위해 지나야 하는 주요 노드들(교차로와 연결된)과 reference 경로인 일반 노드들로 구분될 수 있다.
또한, 시각부(220)는, 3인칭 시점의 화면에 오퍼레이터의 인지부하 경감을 위해 주변차량의 움직임을 시각적으로 표현할 수 있다.
또한, 시각부(220)는, 3인칭 시점의 화면에 오퍼레이터의 인지부하 경감을 위해 차량의 경로, 궤적 등을 시각적으로 표현할 수 있다.
또한, 계산부(230)는, 자율주행차량의 궤적, 유한시간 내 경로, 주경로로 탈출 경로를 계산해주는 기능을 제공한다.
본 발명에 따른 계산부(230)는, 주경로로 차량을 탈출시키기 위한 안전거리를 포함한 차량의 전반적 경로를 계산할 수 있다.
또한, 관리 인터페이스부(240)는, 안전거리축소, 횡방향 경로 시프트, 속도 감속, 주요 노드 변경, 경로 재설정, 속도고정 및 해제, 수동/반자동 모드변경으로 구성된다.
상기 인터페이스부(240)는 제시된 방법을 수행하기 위해서 필요한 명령을 오퍼레이터가 사용할 수 있도록 구성된 장비로, 조종부(260) 관련 새로운 형태의 조종간이나 기존의 조이스틱 구조의 형태 등을 포함할 수 있다.
또한, 로직부(250)는, 인터페이스부(240)로부터 오퍼레이터의 의도(경로)를 판단하는 기능을 제공한다.
여기서, 로직부(250)는 인터페이스 장비로부터 입력받은 내용을 토대로 차량의 새로운 목표 경로를 생성할 수 있다.
또한, 조종부(260)는, 상기 차량을 3인칭 시점으로 만들어주는 알고리즘과 화면상에 표현되는 예상경로를 기반으로, 예상경로를 컨트롤 하는 기능을 제공한다.
본 명세서에서, 조종부(260)는, 조종간으로 호칭될 수도 있다.
조종간(260)은 이미 설정된 경로의 주요 노드 변경과, 횡방향 제어, 경로 재설정 등의 기능을 포함한다.
여기서 주요 노드란 교차로를 만나는 도로의 끝점을 의미하며 각 차선별로 개별 지정되어 있다. 이러한 노드는 목적지를 향하기 위해서 반드시 지나야 하는 점으로 다음의 정류장에 도달하기 위해 다음 교차로에서 우측 끝 차선을 이용해야 한다면 우측 끝차선의 끝점에 위치한 노드를 경로의 주요 노드라 한다.
본 발명에 따른 조종간(260)은, 완전 수동모드로 넘어가기 전까지 설정된 경로를 보조하는 역할을 수행하게 된다.
도 5는 본 발명이 제안하는 조종부의 일례를 도시한 것이다.
도 5를 참조하면, 조종간(260)의 오퍼레이터는 이미 설정된 경로를 3인칭 시점의 도로위에 오버레이하여 볼 수 있으며 이 경로를 원격지의 제어장치로 수정함으로써 차량을 직접적으로 제어하지 않고 원하는 방향으로 유도할 수 있다.
또한, 조종간(260)의 횡방향 경로 시프트는 현재 경로로부터 좌우로 시프트된 가상의 경로를 생성하며 차량에 즉각적으로 반영된다.
또한, 조종간(260)의 횡방향 경로 시프트는 일시적인 경로로써 3인칭 시점에 오버레이 된 기존 경로와 다른 색으로써 화면에 표시되며 조종간의 탄성으로 조종간이 중립 상태가 되면 차량은 기존 경로로 돌아오게 된다.
또한, 조종간(260)의 횡방향 경로 시프트는 불법주정차 차량이나 장애물의 일시적 회피나 예상 경로보다 이른 시점에서의 차선 변경 등에 사용될 수 있다.
또한, 도 5에서, 안전거리/속도 조절의 경우, 기본적으로 -Y 방향은 감속/안전거리 증가를 의미하며 +Y 방향은 강제 가속 및 안전거리 최소화를 의미한다.
이러한 안전거리/속도 조절은 복잡한 도로상황에서 차선변경이 필요한 경우에 사용될 수 있다.
또한, 주요 노드 변경은 대중교통에 기 설정된 노선의 경로를 추종하기 위한 주요 노드를 시프트 하거나 차선변경의 시점을 변경하는데 있다.
주요 노드 변경은 차량에 노드 변경을 통한 경로 재설정임으로 차량에 즉각적인 반영이 안될 수 있으며 오버레이된 경로가 변경되도록 한다.
경로 재설정의 경우 현재 차량이 경로를 벗어난 경우에 현재 위치로부터 주요 노드까지 경로를 재설정한다.
또한, 속도고정/해제 의 경우 차량의 속도를 줄인 후 이를 고정하는 버튼이며 이렇게 고정된 속도는 조종간을 중립상태로 두어도 속도가 복구되지 않는다. 다만 이러한 경우에도 속도를 줄이는 방향으로의 제어는 가능하다.
또한, 수동, 반자동 모드변경의 경우 반자동 주행이 불가능한 경우에 차량을 긴급히 이동시키기 위한 완전 수동모드로의 변경을 의미한다.
상기 기능들을 구분하는 인터페이스라면 조종간(260)에 제약은 없을 수 있다.
또한, 조종간(260)의 제어기는 충돌을 방지하기 위한 제어를 우선으로 하며 오퍼레이터가 보는 경로는 제어결과가 추종하고자 하는 reference 값이지 실제 경로를 의미하지 않는다.
또한, 반 자율주행 제어기는 언제든지 주 경로로 돌아갈 수 있는 최소의 안전거리를 확보하여 주행할 수 있다.
또한, 필요한 경우 안전거리를 조종간으로 강제 조절할 수 있는데, 이 경우 주 경로로 돌아가기 위해서 추가적인 조작이 필요할 수 있다.
한편, 도 6은 본 발명에 따라 표시되는 차량 궤적의 일례를 도시한 것이다.
도 6을 참조하면, 조종간(260)의 제어기는 경로를 정밀하게 추종 가능하여야 하며 제어결과로 차량의 예상 궤적을 오퍼레이터에게 제공한다.
제공되는 궤적은 가까운 일정 거리와, 제안된 경로를 현재 추종할 수 없는 경우 추종이 시작되는 지점의 일정 거리에서 표현된다.
이러한 궤적은 원하는 목표경로를 추종하지 못할 수 있다는 본 시스템의 한계로 인하여 발생할 수 있는 문제를 오퍼레이터가 확인할 수 있도록 지원할 수 있다.
또한, 제어기는 종방향으로 안전거리를 유지하며 안전거리는 속도에 따라 가감되는 거리와 최소의 탈출 유효궤적이 요구하는 거리 중 더 큰 값을 안전거리로 지정할 수 있다.
또한, 탈출 유효궤적은 현재 목표경로에 장애물이 존재하는 경우 계산되며 동일한 경로 내에서 주경로로 차량을 탈출 시킬 수 있는 전방의 안전거리를 계산할 수 있다.
실시예 1 - 주요노드 변경 시나리오
도 7은 본 발명에 따른 주요노드 변경 시나리오의 일례를 도시한 것이다.
도 7을 참조하면, 수동조작으로 경로변경 제어가 가능하다.
즉, 도 7에 도시된 것과 같이, 주요 노드에 정차된 차량들이 있어 진입이 불가능한 경우, 주요 노드를 변경하여 주행이 가능하다.
실시예 2 - 차선변경 시점 변경 시나리오
도 8 및 도 9는 본 발명에 따른 차선변경 시점 변경 시나리오의 일례를 도시한 것이다.
도 8 및 도 9에 도시된 것과 같이, 기존의 경로에서 차선변경이 어려울 것으로 예상되면 강제로 차선을 시프트 하여 차선변경을 일찍 수행할 수 있다.
즉, 새롭게 생성된 노란색 차선을 최대한 추종하여 목표 차선에 근접한 후 경로 재설정 버튼으로 현재 위치에서부터 주요 노드까지의 경로를 재설정할 수 있다.
실시예 3 - 골목길 불법 주정차 시나리오
도 10은 본 발명에 따른 골목길 불법 주정차 시나리오의 일례를 도시한 것이다.
도 10에 도시된 것과 같이 복잡한 골목길의 상황에서 횡방향 경로 시프트를 이용하여 양보 시나리오를 수행할 수 있다.
이 경우에 횡방향 경로 시프트로 경로를 생성하는 경우, 도 10의 (c)와 같이 시프트된 경로에 장애물이 있는 경우 제어기는 제어를 수행하지 않는다.
또한, 도 10의 (a)와 같이 충돌이 일어나지 않으며 목표 경로를 추종할 수 있는 경우에만 제어기가 횡방향 이동을 시작하며 이때 강제로 속도를 줄여 모델기반의 제어기가 더 가깝게 경로를 추종하도록 할 수 있다.
실시예 4 - 공간이 충분한 경우에 횡방향 경로 시프트 시나리오
도 11은 본 발명에 따라 공간이 충분한 경우에 횡방향 경로 시프트 시나리오의 일례를 도시한 것이다.
공간에 따른 횡방향 경로 시프트 제어 결과는 공간이 충분한 경우와 충분하지 않은 경우로 나눠진다.
공간이 충분한 경우, 도 11에 도시된 것과 같이 제어기는 탈출경로를 계산하여 차량이 비어있는 공간에 들어갈 수 있도록 제어한다.
도 11의 (b) 에서 차량(100)은 전방의 탈출에 필요한 경로만큼을 안전거리로 남겨두고 움직이지 않는다. 이 상황에서 시프트된 경로를 풀어주면 차량은 주경로로 복귀한다.
실시예 5- 공간이 부족한 경우에 횡방향 경로 시프트 시나리오
도 12는 본 발명에 따라 공간이 부족한 경우에 횡방향 경로 시프트 시나리오의 일례를 도시한 것이다.
공간이 부족함으로 탈출경로를 포함하면 그림 12의 (b)와 같이 최종 경로를 추종하지 못할 수 있다.
마주 오는 차량을 피해 가능한 차량을 붙여야 하는 경우 오퍼레이터는, 도 12의 (d) 상황에서 -y축으로 속도를 줄이고 속도 고정 버튼으로 속도를 고정하고 횡방향으로 경로를 시프트 한 후 +y축으로 레버를 조작하여 안전거리를 줄임으로써 최대한 차량을 목표경로에 붙일 수 있다.
또한, 도 12의 (e) 의 경우는 더 이상 반자동 제어가 불가능하다.
반자동 제어가 불가능한 경우에는 완전 수동모드로 진입하여 제어가 가능하며 조종간의 z가 steering angle에 대응되어 제어되며 y 방향은 전진과 후진, x는 4륜 스티어가 가능한 경우에 동위상 제어값을 할당받는다.
완전 수동제어의 경우에도 속도 제어에서는 충돌이 예상되는 경우 차량이 움직이지 않도록 설정된다.
즉, 자율주행차량(100)의 이미지를 정합하여 3인칭 시점으로 변화해주는 기능을 제공하는 변환부(210) 및 차량의 경로를 일반 노드와 주요 노드로 구분된 경로데이터를 기초로, 3차원 이미지 상에 설정된 차량 경로(주경로)와 시프트 등으로 표현되는 경로(보조경로), 그리고 차량의 예상 궤적 등을 오퍼레이터에 표현해주는 시각화 기능을 제공하는 시각부(220)를 활용할 수 있다.
또한, 자율주행차량의 궤적, 유한시간 내 경로, 주경로로 탈출 경로를 계산해주는 기능을 제공하는 계산부(230) 및 안전거리축소, 횡방향 경로 시프트, 속도 감속, 주요 노드 변경, 경로 재설정, 속도고정 및 해제, 수동/반자동 모드변경으로 구성된 관리 인터페이스부(240)를 이용할 수 있다.
또한, 인터페이스부(240)로부터 오퍼레이터의 의도(경로)를 판단하는 기능을 제공하는 로직부(250)와 상기 차량을 3인칭 시점으로 만들어주는 알고리즘과 화면상에 표현되는 예상경로를 기반으로, 예상경로를 컨트롤 하는 기능을 제공하는 조종부(260)를 활용할 수 있다.
이러한 구성 및 시나리오를 통해, 3인칭 시점에서 제어를 수행함으로 오퍼레이터의 인지부하를 최소화 할 수 있고, 오퍼레이터는 주행의 의도를 전달하고 실제 제어는 가능한 범위에서 차량이 수행함으로 오퍼레이터의 조작 실수가 사고로 이어지지 않도록 할 수 있다.
결국, 대부분의 도심지 주행 상황에서 오퍼레이터는 자율주행 시스템을 활용하여 제어를 수행함으로 피로도를 최소화하는 것이 가능하고, 자율차의 콕핏을 원격지에 그대로 옮길 필요가 없으므로 더 작은 공간과 비용절감이 가능하게 된다.
본 발명에 따른 효과
본 발명은 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법에 관한 것으로, 가시광 이미지 센서에 의한 인지기술을 기반으로 라이다, 레이다, 비가시광 이미지센서 등의 학습용 데이터를 생성하는 자율주행차량 제어 시스템 및 그 제어 방법을 사용자에게 제공할 수 있다.
구체적으로 본 발명에서는, 이종 센서 간 인지 영역을 매칭하고, 상위 인지 센서의 인지 결과를 기초로 위치 및 클래스를 도출하고, 하위 인지 센서의 위치 표기 방식을 상위 인지 센서 방식으로 변환하고, 상위 인지 센서로부터 도출된 위치 및 클래스를 이용하여 하위인지센서 로(raw) 데이어 방식으로 변환하며, 이를 이용하여 하위 인지 센서용 학습데이터를 생성한 후, 하나의 이미지에서 모든 인지 대상에 대해 반복함으로써 생성된 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법을 사용자에게 제공할 수 있다.
본 발명에 따르면, 하나의 이미지에서 사물의 위치(박스형태 또는 픽셀단위로 표시) 및 클래스를 별도의 파일이나 포맷으로 표시하여야 하고, 학습에는 많은 이미지 데이터가 필요하므로, 학습용 데이터 생성에는 많은 시간과 비용이 필요하다는 문제점을 해소할 수 있다.
본 발명에 따르면, 종래의 학습데이터 생성을 위해 매 이미지의 인지대상에 직접 레이블링 작업을 해줌으로 인해, 많은 시간과 비용이 필요하다는 문제점을 해소할 수 있다.
결국, 본 발명에서는, 학습용 데이터의 생성에는 많은 시간과 비용이 필요하고, 작업자에 따라 데이터의 품질에 영향을 미치는 등 많은 문제점들을 해결할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
한편, 상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims (25)

  1. 자율주행차량; 및 상기 자율주행차량과 네트워크를 형성하여 통신하는 제어장치;를 포함하는 시스템에 있어서,
    상기 제어장치는,
    상기 자율주행차량이 촬영한 복수의 이미지를 전달 받고, 상기 전달받은 복수의 이미지를 정합하여 3인칭 시점의 이미지로 변환하는 변환부;
    상기 자율주행차량의 운행 경로 설정을 위해 필요한 제 1 노드 및 상기 운행 경로 설정의 레퍼런스(reference)로 활용되는 제 2 노드를 포함하는 경로 정보를, 상기 3인칭 시점의 이미지 상에 오버레이(overlay)하여 표시하는 시각부;
    상기 자율주행차량의 운행 경로와 관련된 계산 작업을 수행하는 계산부;
    상기 자율주행차량의 운행을 원격으로 제어하기 위한 조정부; 및
    상기 자율주행차량, 변환부, 시각부, 계산부 및 조정부 중 적어도 하나를 통해 획득된 정보를 기초로 상기 자율주행차량의 새로운 목표 경로를 설정하는 로직부; 를 포함하고,
    상기 자율주행차량와 관련된 미리 지정된 이벤트가 발생되는 경우, 상기 자율주행차량의 운행과 관련된 권한이 상기 제어장치로 이양되는 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  2. 제 1항에 있어서,
    상기 복수의 이미지는 상기 자율주행차량에 구비된 복수의 카메라 및 라이다 장치를 기초로 획득되는 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  3. 제 1항에 있어서,
    상기 자율주행차량은 대중교통 차량이고,
    상기 제 1 노드는 상기 대중교통의 노선 데이터와 관련된 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  4. 제 1항에 있어서,
    상기 시각부는,
    상기 경로 정보가 상기 3인칭 시점의 이미지 상에 표시된 상태에서, 상기 자율주행차량으로부터 수신한 상기 자율주행차량 주변 차량의 움직임과 관련된 정보를 추가적으로 표시하는 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  5. 제 1항에 있어서,
    상기 시각부는,
    상기 경로 정보가 상기 3인칭 시점의 이미지 상에 표시된 상태에서, 상기 자율주행차량의 현재 경로 및 이동 궤적 정보를 상기 3인칭 시점의 이미지 상에 추가적으로 표시하는 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  6. 제 1항에 있어서,
    상기 계산부는, 상기 자율주행차량의 이동 궤적 정보, 미리 지정된 기간 내 상기 자율주행차량의 이동 경로 정보 및 상기 운행 경로로부터 탈출하기 위한 정보 중 적어도 하나와 관련된 계산 작업을 수행하는 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  7. 제 1항에 있어서,
    상기 조정부는,
    상기 자율주행차량과 관련된 안전거리축소, 횡방향 경로 시프트, 속도 감속, 속도 가속, 상기 운행 경로 상의 노드 변경, 경로 재설정, 속도고정 및 해제, 수동/반자동 변경 중 적어도 하나의 기능을 원격으로 제어하는 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  8. 제 1항에 있어서,
    상기 제 1 노드는, 교차로를 만나는 도로의 끝점을 의미하고,
    상기 제 1 노드는, 각 차선별로 각각 지정된 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  9. 제 7항에 있어서,
    상기 횡방향 경로 시프트 기능이 적용되는 경우,
    상기 시각부는, 상기 3인칭 시점의 이미지 상에 상기 자율주행차량의 현재 경로로부터 좌우로 시프트된 가상의 경로를 추가적으로 표시하고,
    상기 좌우로 시프트된 가상의 경로는 상기 3인칭 시점의 이미지 상에 미리 표시된 경로 정보와 다른 색상으로 표시되는 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  10. 제 7항에 있어서,
    상기 속도 감속 및 속도 가속 기능은, 상기 자율주행차량의 차선 변경이 필요한 경우에 사용되는 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  11. 제 7항에 있어서,
    상기 상기 운행 경로 상의 노드 변경 기능은,
    상기 경로 정보를 추종하기 위한 상황 및 차선변경 상황에 사용되는 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  12. 제 7항에 있어서,
    상기 경로 재설정 기능은,
    상기 자율주행차량이 상기 경로 정보로부터 벗어난 경우, 상기 경로 정보 상의 복수의 제 1 노드 중 상기 자율주행차량의 현재 위치와 가장 가까운 제 1 노드까지의 경로를 재설정하는 경우에 사용되는 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  13. 제 7항에 있어서,
    상기 속도고정 기능은,
    상기 자율주행차량의 속도를 일정 수치 이하로 줄인 이후 상기 줄어든 속도를 고정하기 위해 사용되고,
    상기 속도고정 기능이 설정된 상태에서, 상기 속도 감속 기능을 활성화되나 상기 속도 가속 기능 비활성화되고,
    상기 해제 기능은, 상기 속도고정을 해제하는 경우에 사용되는 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  14. 제 7항에 있어서,
    상기 수동/반자동 변경 기능은,
    상기 자율주행차량의 반자동 주행이 불가능한 경우, 상기 자율주행차량을 원격 제어를 통한 수동으로 이동시키기 위해 이용되는 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  15. 제 1항에 있어서,
    상기 자율주행차량의 상기 경로 정보 상기 장애물이 존재하는 경우,
    상기 계산부는, 상기 자율주행차량이 상기 장애물을 회피하도록 탈출 경로 관련 계산을 수행하고,
    상기 탈출 경로에 따라 상기 자율주행차량은 운행되며,
    상기 경로 정보 상의 최종 목적지로 동일하게 상기 자율주행차량이 운행되는 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  16. 제 1항에 있어서,
    상기 조종부를 통해, 상기 자율주행차량의 안전거리가 설정가능하고,
    상기 안전거리는, 상기 자율주행차량의 속도에 따라 가감되는 변화 거리 및 최소 탈출 유효궤적이 요구하는 거리 중 더 큰 값으로 설정되는 것을 특징으로 하는 자율주행차량의 원격제어 시스템.
  17. 자율주행차량; 및 상기 자율주행차량과 네트워크를 형성하여 통신하는 제어장치;를 포함하는 시스템의 제어방법에 있어서,
    상기 제어장치의 변환부가 상기 자율주행차량이 촬영한 복수의 이미지를 전달 받고, 상기 전달받은 복수의 이미지를 정합하여 3인칭 시점의 이미지로 변환하는 제 1 단계;
    상기 제어장치의 시각부가 상기 자율주행차량의 운행 경로 설정을 위해 필요한 제 1 노드 및 상기 운행 경로 설정의 레퍼런스(reference)로 활용되는 제 2 노드를 포함하는 경로 정보를, 상기 3인칭 시점의 이미지 상에 오버레이(overlay)하여 표시하는 제 2 단계;
    상기 제어장치의 계산부가 상기 자율주행차량의 운행 경로와 관련된 계산 작업을 수행하는 제 3 단계;
    상기 제어장치의 조정부가 상기 자율주행차량의 운행을 원격으로 제어하는 제 4 단계; 및
    상기 제어장치의 로직부가, 상기 자율주행차량, 변환부, 시각부, 계산부 및 조정부 중 적어도 하나를 통해 획득된 정보를 기초로 상기 자율주행차량의 새로운 목표 경로를 설정하는 제 5 단계;를 포함하고,
    상기 자율주행차량와 관련된 미리 지정된 이벤트가 발생되는 경우, 상기 자율주행차량의 운행과 관련된 권한이 상기 제어장치로 이양되는 것을 특징으로 하는 자율주행차량의 원격제어 방법.
  18. 제 17항에 있어서,
    상기 자율주행차량은 대중교통 차량이고,
    상기 제 1 노드는 상기 대중교통의 노선 데이터와 관련된 것을 특징으로 하는 자율주행차량의 원격제어 방법.
  19. 제 17항에 있어서,
    상기 제 2단계에서는,
    상기 경로 정보가 상기 3인칭 시점의 이미지 상에 표시된 상태에서, 상기 자율주행차량으로부터 수신한 상기 자율주행차량 주변 차량의 움직임과 관련된 정보를 추가적으로 표시하는 것을 특징으로 하는 자율주행차량의 원격제어 방법.
  20. 제 17항에 있어서,
    상기 제 2 단계에서는,
    상기 경로 정보가 상기 3인칭 시점의 이미지 상에 표시된 상태에서, 상기 자율주행차량의 현재 경로 및 이동 궤적 정보를 상기 3인칭 시점의 이미지 상에 추가적으로 표시하는 것을 특징으로 하는 자율주행차량의 원격제어 방법.
  21. 제 17항에 있어서,
    상기 제 3 단계에서, 상기 계산부는,
    상기 자율주행차량의 이동 궤적 정보, 미리 지정된 기간 내 상기 자율주행차량의 이동 경로 정보 및 상기 운행 경로로부터 탈출하기 위한 정보 중 적어도 하나와 관련된 계산 작업을 수행하는 것을 특징으로 하는 자율주행차량의 원격제어 방법.
  22. 제 17항에 있어서,
    상기 제 4 단계에서, 상기 조정부는,
    상기 자율주행차량과 관련된 안전거리축소, 횡방향 경로 시프트, 속도 감속, 속도 가속, 상기 운행 경로 상의 노드 변경, 경로 재설정, 속도고정 및 해제, 수동/반자동 변경 중 적어도 하나의 기능을 원격으로 제어하는 것을 특징으로 하는 자율주행차량의 원격제어 방법.
  23. 제 17항에 있어서,
    상기 제 1 노드는, 교차로를 만나는 도로의 끝점을 의미하고,
    상기 제 1 노드는, 각 차선별로 각각 지정된 것을 특징으로 하는 자율주행차량의 원격제어 방법.
  24. 제 17항에 있어서,
    상기 제 5 단계에서는,
    상기 자율주행차량의 상기 경로 정보 상기 장애물이 존재하는 경우,
    상기 계산부는, 상기 자율주행차량이 상기 장애물을 회피하도록 탈출 경로 관련 계산을 수행하고,
    상기 탈출 경로에 따라 상기 자율주행차량은 운행되며,
    상기 경로 정보 상의 최종 목적지로 동일하게 상기 자율주행차량이 운행되는 것을 특징으로 하는 자율주행차량의 원격제어 방법.
  25. 제 17항에 있어서,
    상기 제 4 단계에서, 상기 조종부를 통해, 상기 자율주행차량의 안전거리가 설정가능하고,
    상기 안전거리는, 상기 자율주행차량의 속도에 따라 가감되는 변화 거리 및 최소 탈출 유효궤적이 요구하는 거리 중 더 큰 값으로 설정되는 것을 특징으로 하는 자율주행차량의 원격제어 방법
KR1020200124899A 2020-09-25 2020-09-25 자율주행차량의 원격제어 시스템 및 그 제어 방법 KR102407544B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200124899A KR102407544B1 (ko) 2020-09-25 2020-09-25 자율주행차량의 원격제어 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200124899A KR102407544B1 (ko) 2020-09-25 2020-09-25 자율주행차량의 원격제어 시스템 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20220042261A true KR20220042261A (ko) 2022-04-05
KR102407544B1 KR102407544B1 (ko) 2022-06-15

Family

ID=81181965

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200124899A KR102407544B1 (ko) 2020-09-25 2020-09-25 자율주행차량의 원격제어 시스템 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR102407544B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115903626A (zh) * 2022-12-27 2023-04-04 霍州煤电集团亿能电气股份有限公司 一种齿轨车智能网联控制***
KR102525469B1 (ko) * 2022-08-31 2023-04-26 주식회사 라이드플럭스 자율주행 차량의 원격 제어 방법, 장치 및 컴퓨터프로그램

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010134499A (ja) * 2008-12-02 2010-06-17 Mitsubishi Electric Corp 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム
KR101002182B1 (ko) 2008-11-20 2010-12-21 재단법인대구경북과학기술원 네트워크 기반의 사고 기록 분산 방법, 장치, 차량 및 관제서버
KR101634451B1 (ko) 2014-10-23 2016-06-28 주식회사 만도 선행 차량의 상태 정보 처리 방법 및 장치
KR20170040620A (ko) * 2015-10-05 2017-04-13 한국전자통신연구원 차량의 자율 주행 보조 장치 및 방법
KR101747375B1 (ko) * 2016-09-12 2017-06-15 아이피랩 주식회사 차량 원격제어 장치 및 방법, 원격 운전 시스템
KR20190004567A (ko) * 2017-07-04 2019-01-14 주식회사 만도 차량의 자율주행 시스템 및 방법
KR20190063667A (ko) * 2017-11-30 2019-06-10 엘지전자 주식회사 자율주행 차량 및 그 제어 방법
JP2019185293A (ja) * 2018-04-06 2019-10-24 日産自動車株式会社 車両遠隔制御方法及び車両遠隔制御装置
JP2019191982A (ja) * 2018-04-26 2019-10-31 株式会社Ｓｏｋｅｎ 車両遠隔操作支援システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002182B1 (ko) 2008-11-20 2010-12-21 재단법인대구경북과학기술원 네트워크 기반의 사고 기록 분산 방법, 장치, 차량 및 관제서버
JP2010134499A (ja) * 2008-12-02 2010-06-17 Mitsubishi Electric Corp 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム
KR101634451B1 (ko) 2014-10-23 2016-06-28 주식회사 만도 선행 차량의 상태 정보 처리 방법 및 장치
KR20170040620A (ko) * 2015-10-05 2017-04-13 한국전자통신연구원 차량의 자율 주행 보조 장치 및 방법
KR101747375B1 (ko) * 2016-09-12 2017-06-15 아이피랩 주식회사 차량 원격제어 장치 및 방법, 원격 운전 시스템
KR20190004567A (ko) * 2017-07-04 2019-01-14 주식회사 만도 차량의 자율주행 시스템 및 방법
KR20190063667A (ko) * 2017-11-30 2019-06-10 엘지전자 주식회사 자율주행 차량 및 그 제어 방법
JP2019185293A (ja) * 2018-04-06 2019-10-24 日産自動車株式会社 車両遠隔制御方法及び車両遠隔制御装置
JP2019191982A (ja) * 2018-04-26 2019-10-31 株式会社Ｓｏｋｅｎ 車両遠隔操作支援システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102525469B1 (ko) * 2022-08-31 2023-04-26 주식회사 라이드플럭스 자율주행 차량의 원격 제어 방법, 장치 및 컴퓨터프로그램
CN115903626A (zh) * 2022-12-27 2023-04-04 霍州煤电集团亿能电气股份有限公司 一种齿轨车智能网联控制***

Also Published As

Publication number Publication date
KR102407544B1 (ko) 2022-06-15

Similar Documents

Publication Publication Date Title
CN109032124B (zh) 车辆控制***、车辆控制方法及存储介质
CN109116839B (zh) 车辆控制***、车辆控制方法及存储介质
US11702067B2 (en) Multi-model switching on a collision mitigation system
CN110709271B (zh) 车辆控制***、车辆控制方法及存储介质
CN110709304B (zh) 车辆控制***、车辆控制方法及存储介质
CN108973682B (zh) 车辆控制***、车辆控制方法及存储介质
CN108973993B (zh) 车辆控制***、车辆控制方法及存储介质
CN110730740B (zh) 车辆控制***、车辆控制方法及存储介质
CN110709272B (zh) 车辆控制***、车辆控制方法及存储介质
CN108973988B (zh) 车辆控制***、车辆控制方法及存储介质
JP2019006280A (ja) 車両制御システム、車両制御方法、および車両制御プログラム
CN110678371A (zh) 车辆控制***、车辆控制方法及车辆控制程序
CN111923921B (zh) 驾驶辅助方法和***
JP6827378B2 (ja) 車両制御システム、車両制御方法、およびプログラム
US11548443B2 (en) Display system, display method, and program for indicating a peripheral situation of a vehicle
CN108973989B (zh) 车辆控制***、车辆控制方法及存储介质
CN107428252B (zh) 用于在自主驾驶模式期间操作机动车辆的通信装置的方法，通信装置以及机动车辆
CN110603166A (zh) 车辆控制***、车辆控制方法及车辆控制程序
KR102407544B1 (ko) 자율주행차량의 원격제어 시스템 및 그 제어 방법
JP6840035B2 (ja) 車両制御システム
JP2018203012A (ja) 車両制御システム、車両制御方法、およびプログラム
KR102348294B1 (ko) 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법
KR102355252B1 (ko) 자율주행차량 제어 시스템 및 그 제어 방법
US20220009511A1 (en) Control device and control method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant