KR20230139950A - Autonomous driving control method based on tele-operated driving information and apparatus and system therefor - Google Patents

Autonomous driving control method based on tele-operated driving information and apparatus and system therefor Download PDF

Info

Publication number
KR20230139950A
KR20230139950A KR1020220038172A KR20220038172A KR20230139950A KR 20230139950 A KR20230139950 A KR 20230139950A KR 1020220038172 A KR1020220038172 A KR 1020220038172A KR 20220038172 A KR20220038172 A KR 20220038172A KR 20230139950 A KR20230139950 A KR 20230139950A
Authority
KR
South Korea
Prior art keywords
remote
information
vehicle
driving
remote driving
Prior art date
Application number
KR1020220038172A
Other languages
Korean (ko)
Inventor
김성민
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020220038172A priority Critical patent/KR20230139950A/en
Priority to PCT/KR2023/001156 priority patent/WO2023158126A1/en
Publication of KR20230139950A publication Critical patent/KR20230139950A/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템에 관한 것으로서, 일 측면에 따른 네트워크를 통해 원격 제어 센터 및 공유 서버와 연동되는 차량에서의 원격 제어 정보 기반 자율 주행 제어 방법은 자율 주행 모드에서 전방 도로 구간에 대한 자율 주행이 가능한지 여부를 판단하는 단계와 상기 판단 결과, 상기 자율 주행이 가능하지 않은 것에 기반하여 원격 주행 모드로 전환하는 단계와 원격 주행 카메라에 의해 촬영된 영상을 상기 원격 제어 센터로 전송하는 단계와 상기 영상에 상응하는 원격 주행 제어 신호를 수신하는 단계와 상기 원격 주행 제어 신호에 기반하여 상기 차량의 동작을 제어하는 단계를 포함하되, 상기 영상 및 상기 원격 주행 제어 신호에 기반하여 생성된 원격 주행 정보가 타차량에 공유되는 것을 특징으로 한다.. The present invention relates to an autonomous driving control method based on remote driving information and an apparatus and system therefor. According to one aspect, an autonomous driving control method based on remote control information in a vehicle linked to a remote control center and a shared server through a network includes: Steps of determining whether autonomous driving is possible for the road section ahead in autonomous driving mode, switching to remote driving mode based on the determination that autonomous driving is not possible, and video captured by a remote driving camera Transmitting to the remote control center, receiving a remote driving control signal corresponding to the image, and controlling the operation of the vehicle based on the remote driving control signal, wherein the image and the remote driving control are controlled. It is characterized by remote driving information generated based on signals being shared with other vehicles.

Description

원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템{AUTONOMOUS DRIVING CONTROL METHOD BASED ON TELE-OPERATED DRIVING INFORMATION AND APPARATUS AND SYSTEM THEREFOR}Autonomous driving control method based on remote driving information and devices and systems therefor {AUTONOMOUS DRIVING CONTROL METHOD BASED ON TELE-OPERATED DRIVING INFORMATION AND APPARATUS AND SYSTEM THEREFOR}

본 발명은 자율 주행 차량 제어에 관한 것으로서, 상세하게 원격 제어가 가능한 자율 주행 차량을 원격 제어 센터에 의해 사전 공유된 원격 주행 정보에 기반하여 제어하는 것이 가능한 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템에 관한 것이다. The present invention relates to autonomous vehicle control, and in detail, an autonomous driving control method based on remote driving information that allows controlling an autonomous vehicle capable of remote control in detail based on remote driving information pre-shared by a remote control center, and the same. It relates to devices and systems for

자율 주행 차량이란 운전자 또는 승객의 조작없이 차량 스스로 운행이 가능한 차량을 말한다. 또한, 통신 기술이 발전함에 따라 고속으로 대용량의 데이터 전송이 가능해지면서, 무선 통신 시스템에 의해 더 다양한 서비스를 제공할 수 있게 된다. An autonomous vehicle is a vehicle that can operate on its own without driver or passenger intervention. Additionally, as communication technology develops, high-speed and large-capacity data transmission becomes possible, making it possible to provide more diverse services through wireless communication systems.

현재 자율 주행 차량은 기술적으로도 아직 폭우나 폭설, 짙은 안개가 있는 환경이나 돌발 상황에서 문제 없이 주행할 수 있는 수준이 아니다. 구글이 네바다주에서 무인 자동차로 면허를 받았을 때 검사관은 여러 가지 기상 상황이나 비포장 도로 같은 환경에 적응하지 못하는 문제점을 지적한 바 있다.Currently, autonomous vehicles are not yet technically at a level where they can drive without problems in environments with heavy rain, heavy snow, dense fog, or unexpected situations. When Google received a driverless car license in Nevada, inspectors pointed out problems with the car's inability to adapt to various weather conditions and unpaved roads.

이러한 자율 주행 차량의 문제점을 보완하기 위해, 원격지 에서 자율 주행 차량의 주행 지점에 대한 정보, 자율 주행 차량의 위치 정보, 자율 주행 차량에 의해 수집된 각종 센싱 정보 등을 기초로 자율 주행 차량을 원격으로 상시 감시하고 조작하는 것이 가능한 원격 제어 자율 주행 제어 시스템, 즉 원격 주행(teleoperated driving)에 대한 연구가 활발히 진행되고 있다. 다양한 교통 수단이나 서비스가 보급 및 확대됨에 따라 자율 주행 차량의 원격 제어는 매우 중요한 교통의 요소가 될 전망이다.In order to compensate for these problems of self-driving vehicles, autonomous vehicles can be remotely operated based on information about the driving point of the self-driving vehicle, location information of the self-driving vehicle, and various sensing information collected by the self-driving vehicle. Research is being actively conducted on teleoperated driving, a remote-controlled autonomous driving control system that can be monitored and manipulated at all times. As various transportation methods and services spread and expand, remote control of autonomous vehicles is expected to become a very important transportation element.

하지만, 모든 자율 주행 차량에 대한 원격 제어를 수행하는 것은 원격지 서버의 부하를 급격히 증가시킬 수 있을 뿐만 아니라 그에 따른 제어 지연으로 인한 사고 위험을 야기시킬 수 있는 문제점이 있다. However, performing remote control for all self-driving vehicles has the problem of not only rapidly increasing the load on remote servers, but also causing the risk of accidents due to resulting control delays.

한국 특허공개 제10-2015-0115069호(2015.10.14)에는 차량과 통신 연동된 제어 플랫폼에서 대리 운전 기사가 차량을 원격으로 운전하여 차량 주행을 제어하는 원격 차량 제어 장치 및 원격 운전 시스템이 개시되어 있다.Korean Patent Publication No. 10-2015-0115069 (October 14, 2015) discloses a remote vehicle control device and remote driving system in which a substitute driver remotely drives a vehicle and controls vehicle driving on a control platform linked to the vehicle. there is.

한국 공개특허 제10-2020-0055596호(2020.05.21)에는 차량 단말 장치가 복수의 카메라로부터 복수의 입력 영상들을 획득하고 이를 네트워크를 통해 원격 제어 장치에 전송하면, 원격 제어 장치가 수신된 영상을 기초로 패킹 영상을 구성하는 기술이 개시되어 있다.Korean Patent Publication No. 10-2020-0055596 (2020.05.21) states that when a vehicle terminal device acquires a plurality of input images from a plurality of cameras and transmits them to a remote control device through a network, the remote control device A technology for constructing a packing image based on this technology has been disclosed.

한국 공개특허 제10-2018-012625(2018.11.27)에는 무인차량에 탑재된 다양한 센서들로부터 생성된 환경 정보 지도 및 영상 정보를 기반으로 원격 통제 장치가 무인 차량이 추종할 경로점 및 가감속 명령을 생성하는 기술이 개시되어 있다.In Korean Patent Publication No. 10-2018-012625 (2018.11.27), a remote control device provides path points and acceleration/deceleration commands for an unmanned vehicle to follow based on environmental information maps and image information generated from various sensors mounted on an unmanned vehicle. A technology for generating is disclosed.

본 개시의 목적은 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.The purpose of the present disclosure is to provide an autonomous driving control method based on remote driving information and a device and system therefor.

본 개시의 다른 목적은 자율 주행 차량으로부터 수집된 센싱 데이터에 기반하여 원격지 센터가 자율 주행이 불가한 도로 구간에 대한 원격 주행 정보를 생성하고, 생성된 원격 주행 정보를 클라우드 또는 로컬 엣지(Local Edge)에 공유함으로써 해당 도로 구간을 통과하는 다른 자율 주행 차량이 공유된 원격 주행 정보를 참조하여 자차를 제어하는 것이 가능한 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.Another purpose of the present disclosure is to generate remote driving information for road sections where autonomous driving is not possible at a remote center based on sensing data collected from autonomous vehicles, and to transmit the generated remote driving information to the cloud or local edge. To provide an autonomous driving control method based on remote driving information that allows other autonomous vehicles passing through the relevant road section to control their own vehicle by referring to the shared remote driving information, and devices and systems therefor.

본 개시의 또 다른 목적은 특정 도록 구간에 상응하여 생성된 원격 주행 정보를 클라우드 또는 로컬 엣지를 통해 해당 도로 구간을 통과하는 자율 주행 차량들에 공유함으로써, 자율 주행 차량의 원격 제어 시 원격지 센터의 부하를 최소화시키고 보다 안전하고 원활한 자율 주행을 가능하게 하는 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템을 제공하는 것이다.Another purpose of the present disclosure is to share remote driving information generated corresponding to a specific road section to autonomous vehicles passing through the corresponding road section through the cloud or local edge, thereby reducing the load on the remote center when remotely controlling the autonomous vehicle. The aim is to provide an autonomous driving control method based on remote driving information and devices and systems therefor that minimize and enable safer and smoother autonomous driving.

본 개시의 또 다른 목적은 사전 공유된 원격 주행 궤적 경로를 자차의 정밀 측위 정보 및 경로 생성 로직과 비교함으로써, 자율 주행 및 원격 주행 중 어느 하나를 적응적으로 결정함으로써, 보다 안전하게 차량을 제어하는 것이 가능한 자율 주행 차량을 제공하는 것이다.Another purpose of the present disclosure is to control the vehicle more safely by adaptively determining either autonomous driving or remote driving by comparing the pre-shared remote driving trajectory path with the own vehicle's precise positioning information and path creation logic. The goal is to provide autonomous vehicles where possible.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below.

일 측면에 따른 네트워크를 통해 원격 제어 센터 및 공유 서버와 연동되는 차량에서의 원격 제어 정보 기반 자율 주행 제어 방법은 자율 주행 모드에서 전방 도로 구간에 대한 자율 주행이 가능한지 여부를 판단하는 단계와 상기 판단 결과, 상기 자율 주행이 가능하지 않은 것에 기반하여 원격 주행 모드로 전환하는 단계와 원격 주행 카메라에 의해 촬영된 영상을 상기 원격 제어 센터로 전송하는 단계와 상기 영상에 상응하는 원격 주행 제어 신호를 수신하는 단계와 상기 원격 주행 제어 신호에 기반하여 상기 차량의 동작을 제어하는 단계를 포함하되, 상기 영상 및 상기 원격 주행 제어 신호에 기반하여 생성된 원격 주행 정보가 타차량에 공유되는 것을 특징으로 한다.According to one aspect, an autonomous driving control method based on remote control information in a vehicle linked to a remote control center and a shared server through a network includes the steps of determining whether autonomous driving on the road section ahead is possible in autonomous driving mode and the result of the determination. , switching to a remote driving mode based on the fact that autonomous driving is not possible, transmitting an image captured by a remote driving camera to the remote control center, and receiving a remote driving control signal corresponding to the image. and controlling the operation of the vehicle based on the remote driving control signal, wherein the remote driving information generated based on the image and the remote driving control signal is shared with other vehicles.

실시 예로, 상기 방법은 상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 내부 저장소에 존재하는지 여부를 판단하는 단계를 더 포함하되, 상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 상기 내부 저장소에 존재하지 않는 것에 기반하여 상기 원격 주행 모드로 전환될 수 있다.In an embodiment, the method further includes determining whether remote driving information pre-stored corresponding to the road section ahead exists in the internal storage, wherein the remote driving information pre-stored corresponding to the road section ahead exists in the internal storage. It may be switched to the remote driving mode based on what is not present in the remote driving mode.

실시 예로, 상기 방법은 고정밀 지도 정보와 구비된 센서로부터 수집된 센싱 정보에 기반하여 상기 전방 도로 구간에 상응하는 정밀 측위 정보 및 경로 생성 정보를 생성하는 단계와 상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 존재하는 것에 기반하여 상기 정밀 측위 정보와 상기 경로 생성 정보를 각각 상기 원격 주행 정보와 비교하는 단계와 상기 비교 결과에 따라 상기 원격 주행 정보를 이용하여 상기 자율 주행 모드 유지가 가능한지 여부를 판단하는 단계를 더 포함할 수 있다.In an embodiment, the method includes generating precise positioning information and route creation information corresponding to the road section ahead based on high-precision map information and sensing information collected from a provided sensor, and generating a pre-stored remote location corresponding to the road section ahead. Comparing the precise positioning information and the route creation information with the remote driving information based on the presence of driving information, and determining whether the autonomous driving mode can be maintained using the remote driving information according to the comparison result. Additional steps may be included.

실시 예로, 상기 원격 주행 정보를 이용하여 상기 자율 주행 모드가 가능하지 않은 것에 기반하여 상기 원격 주행 모드로 전환될 수 있다.In an embodiment, the remote driving mode may be switched to the remote driving mode based on the fact that the autonomous driving mode is not possible using the remote driving information.

실시 예로, 상기 방법은 상기 원격 주행 모드로 전환된 것에 기반하여 상기 전방 도로 구간에 대한 자율 주행이 불가함을 알리는 소정 경고 알람 메시지를 차량간 통신을 통해 후행 차량으로 전송하는 단계를 더 포함할 수 있다. In an embodiment, the method may further include transmitting a predetermined warning alarm message notifying that autonomous driving on the road section ahead is impossible based on the switch to the remote driving mode to a following vehicle through vehicle-to-vehicle communication. there is.

실시 예로, 상기 경고 알람 메시지의 전송에 따라, 상기 공유된 상기 원격 주행 정보가 상기 후행 차량에 의해 획득되되, 상기 획득된 원격 주행 정보를 이용하여 상기 후행 차량의 자율 주행 모드가 유지될 수 있다. In an embodiment, upon transmission of the warning alarm message, the shared remote driving information may be acquired by the following vehicle, and the autonomous driving mode of the following vehicle may be maintained using the acquired remote driving information.

실시 예로, 상기 원격 주행 정보는 상기 전방 도로 구간에 상응하는 웨이포인트(Waypoint) 어레이(Array) 정보, 루트(route) 정보 및 트랙(track) 정보 중 적어도 하나를 포함할 수 있다. In an embodiment, the remote driving information may include at least one of waypoint array information, route information, and track information corresponding to the road section ahead.

실시 예로, 상기 원격 주행 정보는 상기 원격 제어 센터에 의해 생성된 후 상기 공유 서버에 등록되어 상기 타차량에 공유될 수 있다.In an embodiment, the remote driving information may be generated by the remote control center and then registered in the shared server and shared with the other vehicle.

다른 측면에 따른 네트워크를 통해 차량 및 공유 서버와 연동되는 원격 제어 센터에서의 원격 제어 정보 기반 자율 주행 제어 방법은 상기 차량의 원격 주행 카메라에 의해 촬영된 전방 도로 구간에 대한 영상을 수신하는 단계와 상기 수신된 영상을 화면에 출력하는 단계와 상기 출력된 화면에 상응하여 생성된 원격 주행 제어 신호를 상기 차량으로 전송하는 단계와 상기 수신된 영상 및 상기 원격 주행 제어 신호에 기반하여 원격 주행 정보를 생성하는 단계와 상기 생성된 원격 주행 정보를 상기 공유 서버에 등록하는 단계를 포함할 수 있다.According to another aspect, an autonomous driving control method based on remote control information in a remote control center linked to a vehicle and a shared server through a network includes the steps of receiving an image of the road section ahead captured by a remote driving camera of the vehicle, Outputting a received image on a screen, transmitting a remote driving control signal generated corresponding to the output screen to the vehicle, and generating remote driving information based on the received image and the remote driving control signal. It may include the step of registering the generated remote driving information on the shared server.

실시 예로, 상기 공유 서버에 등록된 상기 원격 주행 정보는 타차량에 실시간 또는 주기적으로 공유될 수 있다.In an embodiment, the remote driving information registered in the shared server may be shared with other vehicles in real time or periodically.

실시 예로, 상기 타차량은 자율 주행 모드로 상기 전방 도로 구간을 따라 상기 차량에 후행하는 차량을 포함할 수 있다.In an embodiment, the other vehicle may include a vehicle following the vehicle along the road section ahead in autonomous driving mode.

실시 예로, 상기 공유 서버는 클라우드 서버, 로컬 엣지(Local Edge) 서버 및 사설 서버 중 적어도 하나를 포함할 수 있다. In an embodiment, the shared server may include at least one of a cloud server, a local edge server, and a private server.

실시 예로, 상기 원격 주행 정보는 상기 전방 도로 구간에 상응하는 웨이포인트(Waypoint) 정보, 루트(route) 정보 및 트랙(track) 정보 중 적어도 하나를 포함할 수 있다.In an embodiment, the remote driving information may include at least one of waypoint information, route information, and track information corresponding to the road section ahead.

실시 예로, 상기 차량은 자율 주행 모드로 주행 중 상기 전방 도로 구간에 대한 자율 주행이 불가한 것에 기반하여 상기 원격 주행 카메라에 의해 촬영된 압축 영상을 상기 원격 제어 센터로 전송하고, 상기 원격 제어 센터가 상기 압축 영상을 압축 해제 후 상기 화면에 출력할 수 있다.In an embodiment, the vehicle transmits compressed video captured by the remote driving camera to the remote control center based on the fact that autonomous driving on the road section ahead is not possible while driving in autonomous driving mode, and the remote control center The compressed video can be decompressed and displayed on the screen.

또 다른 측면에 따른 네트워크를 통해 원격 제어 센터 및 공유 서버와 연동되는 차량은 자율 주행 모드로 주행 중 전방 도로 구간에 대한 자율 주행이 가능한지 여부를 판단하는 자율 주행 판단부와 상기 판단 결과, 상기 자율 주행이 가능하지 않은 것에 기반하여 원격 주행 모드로 전환하여 상기 원격 제어 센서와 통신을 연결하고 원격 주행 카메라에 의해 촬영된 영상을 상기 원격 제어 센터로 전송하는 원격 주행 연결부와 상기 영상에 상응하여 상기 원격 제어 센터로부터 수신된 원격 주행 제어 신호에 기반하여 상기 차량의 동작을 제어하기 위한 제어 명령을 생성하는 제어 명령 생성부와 상기 영상 및 상기 원격 주행 제어 신호에 기반하여 생성된 원격 주행 정보가 저장되는 원격 주행 정보 저장소를 포함하고, 상기 원격 제어 정보는 타차량에 공유될 수 있다.According to another aspect, a vehicle that is linked to a remote control center and a shared server through a network includes an autonomous driving judgment unit that determines whether autonomous driving is possible for the road section ahead while driving in autonomous driving mode, and the result of the determination, the autonomous driving Based on this not being possible, the remote driving connection unit switches to the remote driving mode to establish communication with the remote control sensor and transmits the image captured by the remote driving camera to the remote control center, and the remote control corresponding to the image. A control command generator that generates a control command for controlling the operation of the vehicle based on a remote driving control signal received from the center, and a remote driving information unit that stores remote driving information generated based on the image and the remote driving control signal. It includes an information storage, and the remote control information can be shared with other vehicles.

실시 예로, 상기 자율 주행 판단부가 상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 상기 원격 주행 정보 저장소에 존재하는지 여부를 판단하고, 상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 상기 내부 저장소에 존재하지 않는 것에 기반하여 상기 원격 주행 모드로의 전환을 결정할 수 있다.In an embodiment, the autonomous driving determination unit determines whether remote driving information previously stored corresponding to the road section ahead exists in the remote driving information storage, and the remote driving information previously stored corresponding to the road section ahead is stored in the internal storage. Switching to the remote driving mode may be determined based on what is not present in .

실시 예로, 상기 차량은 고정밀 지도 정보와 구비된 센서로부터 수집된 센싱 정보에 기반하여 상기 전방 도로 구간에 상응하는 정밀 측위 정보를 생성하는 고정밀 측위부와 상기 고정밀 지도 정보 및 상기 센싱 정보에 기반하여 상기 전방 도로 구간에 상응하는 경로를 생성하는 경로 생성부를 더 포함하되, 상기 자율 주행 판단부가 상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 존재하는 것에 기반하여 상기 정밀 측위 정보와 상기 생성된 경로 정보를 각각 상기 원격 주행 정보와 비교하고, 상기 비교 결과에 따라 상기 원격 주행 정보를 이용하여 상기 자율 주행 모드를 유지하는 것이 가능한지 판단할 수 있다. In an embodiment, the vehicle includes a high-precision positioning unit that generates precise positioning information corresponding to the road section ahead based on high-precision map information and sensing information collected from a provided sensor, and a high-precision positioning unit that generates precise positioning information corresponding to the road section ahead based on the high-precision map information and the sensing information. It further includes a route creation unit that generates a route corresponding to the road section ahead, wherein the autonomous driving determination unit provides the precise positioning information and the generated route information based on the presence of pre-stored remote driving information corresponding to the road section ahead. are compared with the remote driving information, and according to the comparison result, it can be determined whether it is possible to maintain the autonomous driving mode using the remote driving information.

실시 예로, 상기 원격 주행 정보를 이용하여 상기 자율 주행 모드가 가능하지 않은 것에 기반하여 상기 원격 주행 모드로 전환될 수 있다.In an embodiment, the remote driving mode may be switched to the remote driving mode based on the fact that the autonomous driving mode is not possible using the remote driving information.

실시 예로, 상기 차량은 상기 원격 주행 모드로 전환된 것에 기반하여 상기 전방 도로 구간에 대한 자율 주행이 불가함을 알리는 소정 경고 알람 메시지를 차량간 통신을 통해 후행 차량으로 전송하는 V2X(Vehicle to Everything) 통신부를 더 포함할 수 있다.In an embodiment, the vehicle uses V2X (Vehicle to Everything), which transmits a predetermined warning alarm message notifying that autonomous driving on the road section ahead is impossible based on the switch to the remote driving mode to a following vehicle through vehicle-to-vehicle communication. It may further include a communication unit.

실시 예로, 상기 경고 알람 메시지의 전송에 따라, 상기 공유된 상기 원격 주행 정보가 상기 후행 차량에 의해 획득되고, 상기 획득된 원격 주행 정보를 이용하여 상기 후행 차량의 자율 주행 모드가 유지될 수 있다. In an embodiment, according to transmission of the warning alarm message, the shared remote driving information may be acquired by the following vehicle, and the autonomous driving mode of the following vehicle may be maintained using the acquired remote driving information.

실시 예로, 상기 원격 주행 정보는 상기 전방 도로 구간에 상응하는 웨이포인트(Waypoint) 어레이(Array) 정보, 루트(route) 정보 및 트랙(track) 정보 중 적어도 하나를 포함할 수 있다. In an embodiment, the remote driving information may include at least one of waypoint array information, route information, and track information corresponding to the road section ahead.

실시 예로, 상기 원격 주행 정보는 상기 원격 주행 센터에 의해 생성된 후 상기 공유 서버에 등록되어 상기 타차량에 공유될 수 있다.In an embodiment, the remote driving information may be generated by the remote driving center and then registered in the shared server and shared with the other vehicle.

또 다른 측면에 따른 네트워크를 통해 차량 및 공유 서버와 연동되는 원격 제어 센터는 상기 차량의 원격 주행 카메라에 의해 촬영된 전방 도로 구간에 대한 압축된 영상을 수신하는 통신 장치와 상기 수신된 영상을 복호하여 모니터링 화면에 출력하는 복호기와 원격지 운전자의 조작에 따라 상기 화면에 출력된 영상에 상응하는 원격 주행 제어 신호를 생성하는 원격지 운전 장치와 상기 원격 주행 제어 신호를 상기 통신 장치를 통해 상기 차량으로 전송하는 주제어기를 포함하고, 상기 수신된 영상 및 상기 원격 주행 제어 신호를 기반으로 원격 주행 정보가 생성되어 상기 공유 서버에 등록될 수 있다.According to another aspect, a remote control center linked to a vehicle and a shared server through a network includes a communication device that receives compressed images of the road section ahead captured by the vehicle's remote driving camera and decodes the received images. A decoder that outputs to the monitoring screen, a remote driving device that generates a remote driving control signal corresponding to the image output on the screen according to the operation of the remote driver, and a main control that transmits the remote driving control signal to the vehicle through the communication device. and remote driving information may be generated based on the received image and the remote driving control signal and registered in the shared server.

실시 예로, 상기 공유 서버에 등록된 상기 원격 주행 정보가 자율 주행 모드로 상기 전방 도로 구간을 따라 상기 차량에 후행하는 타차량에 공유되어 상기 타차량의 자율 주행 모드가 유지될 수 있다.In an embodiment, the remote driving information registered in the shared server may be shared in autonomous driving mode with other vehicles following the vehicle along the road section ahead, so that the autonomous driving mode of the other vehicles may be maintained.

또 다른 측면에 따른 원격 주행 시스템은 자율 주행 모드로 주행 중 전방 도로 구간에서 자율 주행이 불가한 것에 기반하여 원격 주행 모드로 전환하여 구비된 원격 주행 카메라를 통해 영상을 촬영하는 차량과 상기 촬영된 영상에 상응하는 원격 주행 제어 신호를 생성하여 상기 차량에 전송하고, 상기 영상 및 상기 원격 주행 제어 신호에 기반하여 상기 전방 도로 구간에 상응하는 원격 주행 정보를 생성하는 원격 제어 센터와 상기 원격 주행 정보가 상기 원격 제어 센터에 의해 등록되어 유지되는 공유 서버를 포함하고, 상기 원격 주행 정보가 자율 주행 모드로 상기 전방 도로 구간을 따라 상기 차량에 후행하는 타차량에 공유되어 상기 타차량의 자율 주행 모드가 유지될 수 있다.A remote driving system according to another aspect includes a vehicle that switches to remote driving mode based on the fact that autonomous driving is not possible in the road section ahead while driving in autonomous driving mode, and takes images through a remote driving camera provided, and the captured video. A remote control center that generates a corresponding remote driving control signal and transmits it to the vehicle, and generates remote driving information corresponding to the road section ahead based on the image and the remote driving control signal, and the remote driving information It includes a shared server registered and maintained by a remote control center, wherein the remote driving information is shared with other vehicles following the vehicle along the road section ahead in autonomous driving mode, so that the autonomous driving mode of the other vehicles is maintained. You can.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below. You will be able to.

다양한 실시 예들은 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템을 제공할 수 있는 장점이 있다.Various embodiments have the advantage of providing an autonomous driving control method based on remote driving information and devices and systems therefor.

또한, 다양한 실시 예들은 자율 주행 차량으로부터 수집된 센싱 데이터에 기반하여 원격지 센터가 자율 주행이 불가한 도로 구간에 대한 원격 주행 정보를 생성하고, 생성된 원격 주행 정보를 클라우드 또는 로컬 엣지(Local Edge)에 공유함으로써 해당 도로 구간을 통과하는 다른 자율 주행 차량이 공유된 원격 주행 정보를 참조하여 자차를 제어하는 것이 가능한 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.Additionally, in various embodiments, a remote center generates remote driving information for road sections where autonomous driving is not possible based on sensing data collected from autonomous vehicles, and transmits the generated remote driving information to the cloud or local edge. There is an advantage in providing an autonomous driving control method based on remote driving information and devices and systems therefor, which enable other autonomous vehicles passing through the relevant road section to control their own vehicles by referring to the shared remote driving information.

또한, 다양한 실시 예들은 특정 도로 구간에 상응하여 생성된 원격 주행 정보를 클라우드 또는 로컬 엣지를 통해 해당 도로 구간을 통과하는 자율 주행 차량들에 공유함으로써, 자율 주행 차량의 원격 제어 시 원격지 센터의 부하를 최소화시키고 보다 안전하고 원활한 자율 주행을 가능하게 하는 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템을 제공하는 장점이 있다.In addition, various embodiments share remote driving information generated corresponding to a specific road section to autonomous vehicles passing through the corresponding road section through the cloud or local edge, thereby reducing the load on the remote center when remotely controlling the autonomous vehicle. It has the advantage of providing an autonomous driving control method based on remote driving information and devices and systems for the same, which minimize and enable safer and smoother autonomous driving.

또한, 다양한 실시 예들은 사전 공유된 원격 주행 궤적 경로를 자차의 정밀 측위 정보 및 경로 생성 로직과 비교함으로써, 자율 주행 및 원격 주행 중 어느 하나를 적응적으로 결정함으로써, 보다 안전하게 차량을 제어하는 것이 가능한 자율 주행 차량을 제공하는 장점이 있다.In addition, various embodiments make it possible to control the vehicle more safely by adaptively determining either autonomous driving or remote driving by comparing the pre-shared remote driving trajectory path with the own vehicle's precise positioning information and path creation logic. There are advantages to providing autonomous vehicles.

또한, 다양한 실시 예들은 선행 차량의 원격 주행 정보를 공유 공간에 저장함으로써, 후행 차량이 원격 주행 모드로의 전환 없이 원격 주행 정보를 이용하여 자율 주행을 유지할 수 있는 장점이 있다.Additionally, various embodiments have the advantage of storing the remote driving information of the preceding vehicle in a shared space, allowing the following vehicle to maintain autonomous driving using the remote driving information without switching to the remote driving mode.

또한, 다양한 실시 예들에 따른 자율 주행 제어 방법은 자율 주행이 불가한 전방 도로 구간을 통과하는 후행 차량은 자율 주행 능력에 구애 받지 않고, 원격 제어 센터에 의해 공유된 선행 차량의 원격 주행 정보를 이용하여 원활한 자율 주행을 유지할 수 있는 장점이 있다. In addition, the autonomous driving control method according to various embodiments uses the remote driving information of the preceding vehicle shared by the remote control center without being restricted by the autonomous driving ability of the following vehicle passing through the road section ahead where autonomous driving is not possible. It has the advantage of maintaining smooth autonomous driving.

다양한 실시 예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained from various embodiments are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below. There will be.

본 명세서에 첨부되는 도면은 본 발명에 대한 이해를 제공하기 위한 것으로서 본 발명의 다양한 실시형태들을 나타내고 명세서의 기재와 함께 본 발명의 원리를 설명하기 위한 것이다.
도 1은 본 개시의 일 실시예의 원격 주행 시스템을 설명하는 도면이다.
도 2는 본 개시의 일 실시예에 따른 원격 주행 시스템의 세부 구성을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 원격 제어 차량의 일반적인 동작을 설명하기 위한 도면이다.
도 4는 종래 자율 주행이 가지는 문제점을 설명하기 위한 도면이다.
도 5는 본 개시의 실시 예에 따른 원격 주행 정보 기반 자율 주행 제어가 가능한 원격 주행 시스템 구성도이다.
도 6은 본 개시의 실시 예에 따른 원격 제어 센터의 상세 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 실시 예에 따른 자율 주행 제어기의 상세 동작을 설명하기 위한 도면이다.
도 8은 실시 예에 따른 원격 주행 시스템에서의 원격 주행 정보를 공유 서버에 등록하는 절차를 설명하기 위한 흐름도이다.
도 9는 본 개시의 실시 예에 따른 차량에서의 원격 주행 정보 기반의 자율 주행 제어 방법을 설명하기 위한 순서도이다.
도 10은 본 개시의 실시 예에 따른 차량에서의 원격 주행 정보를 갱신하는 방법을 설명하기 위한 순서도이다.
도 11은 본 개시의 실시 예에 따른 차량간 통신을 통해 원격 주행 정보 기반 자율 주행 제어를 수행하는 방법을 설명하기 위한 흐름도이다.The drawings attached to this specification are intended to provide an understanding of the present invention, show various embodiments of the present invention, and together with the description of the specification, explain the principles of the present invention.
1 is a diagram illustrating a remote driving system according to an embodiment of the present disclosure.
Figure 2 is a diagram for explaining the detailed configuration of a remote driving system according to an embodiment of the present disclosure.
Figure 3 is a diagram for explaining the general operation of a remote control vehicle according to an embodiment of the present disclosure.
Figure 4 is a diagram to explain problems with conventional autonomous driving.
Figure 5 is a configuration diagram of a remote driving system capable of autonomous driving control based on remote driving information according to an embodiment of the present disclosure.
Figure 6 is a diagram for explaining the detailed operation of a remote control center according to an embodiment of the present disclosure.
FIG. 7 is a diagram for explaining the detailed operation of an autonomous driving controller according to an embodiment of the present disclosure.
FIG. 8 is a flowchart illustrating a procedure for registering remote driving information in a shared server in a remote driving system according to an embodiment.
FIG. 9 is a flowchart illustrating a method for controlling autonomous driving based on remote driving information in a vehicle according to an embodiment of the present disclosure.
10 is a flowchart illustrating a method of updating remote driving information in a vehicle according to an embodiment of the present disclosure.
FIG. 11 is a flowchart illustrating a method of performing autonomous driving control based on remote driving information through vehicle-to-vehicle communication according to an embodiment of the present disclosure.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "부" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.Hereinafter, embodiments disclosed in the present specification will be described in detail with reference to the attached drawings. However, identical or similar components will be assigned the same reference numbers regardless of reference numerals, and duplicate descriptions thereof will be omitted. The suffixes “part” and “part” for components used in the following description are given or used interchangeably only for the ease of preparing the specification, and do not have distinct meanings or roles in themselves.

또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Additionally, in describing the embodiments disclosed in this specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in this specification, the detailed descriptions will be omitted. In addition, the attached drawings are only for easy understanding of the embodiments disclosed in this specification, and the technical idea disclosed in this specification is not limited by the attached drawings, and all changes included in the spirit and technical scope of the present invention are not limited. , should be understood to include equivalents or substitutes.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. Terms containing ordinal numbers, such as first, second, etc., may be used to describe various components, but the components are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

이하, 도 1 내지 11을 참조하여 본 개시에 따른 원격 주행 정보에 기반한 자율 주행 제어 방법 및 그를 위한 장치 및 시스템에 대해 상세히 설명하기로 한다.Hereinafter, with reference to FIGS. 1 to 11, an autonomous driving control method based on remote driving information and a device and system therefor according to the present disclosure will be described in detail.

도 1은 본 개시의 일 실시예의 원격 주행 시스템을 설명하는 도면이다. 1 is a diagram illustrating a remote driving system according to an embodiment of the present disclosure.

원격 주행(Tele-operated driving, ToD) 시스템(100)은 자율 주행 기능이 탑재된 차량, 즉, 자율 주행 차량과 원격지 서버가 유/무선 네트워크를 통해 연동되어, 자율 주행 차량의 운행 중 문제 발생 시, 원격지 서버의 원격 제어(tele-operated)를 통해 자율 주행 차량을 직-간접적으로 감시 및 제어하는 기술로서 최근 다방면으로 연구 개발되고 있다. Tele-operated driving (ToD) system 100 is a vehicle equipped with an autonomous driving function, that is, an autonomous vehicle and a remote server are linked through a wired/wireless network, so that when a problem occurs during operation of the autonomous vehicle, , It is a technology that monitors and controls autonomous vehicles directly and indirectly through tele-operated remote servers, and has recently been researched and developed in various fields.

원격 주행 기술은 원격지 센터(120)에서 자율 주행 차량(110)을 원격으로 조작하는 기술로서 원격 주행 시스템(100)은 크게 세가지 구성 요소로 이루어진다. Remote driving technology is a technology that remotely operates an autonomous vehicle 110 from a remote center 120, and the remote driving system 100 largely consists of three components.

도 1을 참조하면, 원격 주행 시스템(100)은 원격 제어가 가능한 자율 주행 차량인 원격 제어 차량(Tele-operated vehicle, ToV, 110), 네트워크(network, 130) 및 원격으로 차량을 제어하는 원격 제어 센터(Tele-operated center, ToC, 120)로 구성될 수 있다. 이때, 원격 제어 차량(110)은 자율 주행이 가능하며, 환경모델(E/M) 부호화가 가능하다. 또한, 네트워크(130)는 5G 통신망이 이용될 수 있으나 이에 한정되지는 않으며, 당업자의 설계에 따라 4G 통신망 또는 6G 통신망 또는 다른 이동 통신망이 이용될 수 있다. 또한, 원격 제어 센터(120)는 환경모델(E/M) 복호화가 가능하며, 디스플레이를 통한 원격 감시 및 차량의 원격 조작이 가능할 수 있다. Referring to FIG. 1, the remote driving system 100 includes a tele-operated vehicle (ToV, 110), which is an autonomous vehicle capable of remote control, a network (network, 130), and a remote control that remotely controls the vehicle. It may be composed of a center (Tele-operated center, ToC, 120). At this time, the remote control vehicle 110 is capable of autonomous driving and environmental model (E/M) encoding is possible. In addition, the network 130 may use a 5G communication network, but is not limited thereto, and a 4G communication network, a 6G communication network, or another mobile communication network may be used depending on the design of a person skilled in the art. Additionally, the remote control center 120 is capable of decoding an environmental model (E/M), and may be capable of remote monitoring and remote operation of a vehicle through a display.

원격 제어 차량(110)은 원격 제어 대상 차량으로서, 자율 주행 기능을 반드시 탑재하고, 각종 자율 주행에 필요한 각종 안전 센서(Safety Sensor)를 구비할 수 있다. 여기서, 안전 센서는 첨단 운전자 보조 장치인 ADAS(Advanced Driver Assistance System)를 구현하기 위한 카메라, 레이다(Radar), 라이다(Lidar), 소나(Sound Navigation And Ranging, SONAR) 센서 등을 포함할 수 있으나, 이에 한정되지는 않는다. The remote control vehicle 110 is a remote control vehicle that must be equipped with an autonomous driving function and may be equipped with various safety sensors necessary for autonomous driving. Here, safety sensors may include cameras, radar, lidar, and sound navigation and ranging (SONAR) sensors to implement ADAS (Advanced Driver Assistance System), an advanced driver assistance device. , but is not limited to this.

카메라는 인간의 눈에 해당되는 차량 센서로서, 렌즈를 통해 시각적으로 주변 사물을 인식하고, 인식된 주변 사물을 통해 주행 상황을 인식하기 위한 용도로 사용될 수 있다. A camera is a vehicle sensor equivalent to the human eye, and can be used to visually recognize surrounding objects through a lens and recognize driving situations through recognized surrounding objects.

카메라는 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 이때 처리된 화상 프레임은 디스플레이에 표시되거나 메모리에 저장될 수 있다. 또한, 자율주행 차량에 설치되는 복수의 카메라는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같은 매트릭스 구조를 이루는 카메라를 통하여 다양한 각도 또는 초점을 갖는 복수의 영상 정보가 입력될 수 있다. 또한, 복수의 카메라는 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록 스테레오 구조로 배치될 수 있다. A camera can process image frames such as still images or moving images obtained by an image sensor. At this time, the processed image frame may be displayed on a display or stored in memory. Additionally, a plurality of cameras installed in an autonomous vehicle may be arranged to form a matrix structure, and a plurality of image information with various angles or focuses may be input through the cameras forming this matrix structure. Additionally, a plurality of cameras may be arranged in a stereo structure to acquire left and right images to implement a three-dimensional image.

본 발명의 일 실시예에서, 카메라는 자율 주행 차량의 운전자 시야 데이터를 센싱할 수 있다. 여기에서, 운전자 시야 데이터는 차량 외부 영상을 포함할 수 있다. In one embodiment of the present invention, a camera can sense driver's field of view data of an autonomous vehicle. Here, the driver's field of view data may include images outside the vehicle.

레이다는 전자기파를 발사하고 반사돼 돌아오는 신호를 기반으로 주변 사물과의 거리, 속도, 방향 등의 정보를 추출할 수 있다. 레이다는 사용 주파수에 따라 단거리부터 중거리, 장거리를 모두 감지할 수 있으며, 긴급자동제동장치, 스마트 크루즈 컨트롤 등에 활용될 수 있다. 자율주행차량에 3대의 레이다 센서를 나란히 설치하면, 전방 180도 시야를 확보할 수 있다. 레이다는 날씨 등에 영향을 받지 않고, 먼 거리에 있는 장애물의 존재를 확인할 수 있기 때문에 현재 운행 중인 차량에도 많이 적용되어 있는 센서이다.Radar emits electromagnetic waves and can extract information such as distance, speed, and direction from surrounding objects based on the reflected signals. Radar can detect short, medium, and long distances depending on the frequency of use, and can be used for emergency automatic braking, smart cruise control, etc. If three radar sensors are installed side by side in an autonomous vehicle, a 180-degree field of view can be secured ahead. Radar is a sensor that is widely applied to vehicles currently in operation because it is not affected by weather, etc. and can confirm the presence of obstacles at a distance.

라이다는 레이저(빛)를 물체와 주고받으며 3차원 지도를 형성하여 사물의 원근감, 형태, 거리, 속도를 인식할 수 있다. 라이다는 주로 905나노미터(nm)의 짧은 파장을 이용해 레이더보다 공간 분해능력이 훨씬 정밀할뿐만 아니라 자체 광원으로 빛이 부족환 환경에서도 성능에 영향을 덜 받는 장점이 있다. 따라서, 라이다는 자율 주행 시스템의 신뢰도를 높이는데 중요한 역할을 수행한다. Lidar can recognize the perspective, shape, distance, and speed of an object by exchanging laser (light) with the object and forming a 3D map. LiDAR mainly uses a short wavelength of 905 nanometers (nm), so not only does it have a much more precise spatial resolution than radar, but it also has the advantage of being less affected by performance even in environments with insufficient light due to its own light source. Therefore, LIDAR plays an important role in increasing the reliability of autonomous driving systems.

소나는 레이더와 용도가 유사하나, 전자파가 아닌 음파 전송 후 객체에 충돌한 후 다시 반사되어 수신되는 시간을 측정하여 전방 또는 후방 객체를 감지하고, 객체까지의 거리를 측정하는 센서이다. 소나는 주로 차량이 후진할 때 후방의 시야 사각지대의 객체를 감지하고, 이를 운전자에게 알리는 용도로 사용되고 있다. 음파는 전자파에 비해 훨씬 느린 속도로 전파되기 때문에 작은 물체도 높은 해상도로 확인할 수 있는 장점이 있다. Sonar has a similar purpose to radar, but it is a sensor that detects front or rear objects and measures the distance to the object by transmitting sound waves rather than electromagnetic waves, then measuring the time they are reflected and received after colliding with the object. Sonar is mainly used to detect objects in the rear blind spot when a vehicle is backing up and to notify the driver of this. Because sound waves propagate at a much slower speed than electromagnetic waves, they have the advantage of being able to identify small objects with high resolution.

원격 제어 차량(110)은 각 센서로부터 수집된 센싱 데이터를 결합 및 융합하는 센서 퓨전 기술 및 AI 기술 등을 적용하여 자율 주행을 위한 최적의 주행 알고리즘을 제공할 수 있다. The remote control vehicle 110 can provide an optimal driving algorithm for autonomous driving by applying sensor fusion technology and AI technology that combine and fuse sensing data collected from each sensor.

원격 제어 차량(110)은 수집된 센싱 데이터를 네트워크(130)를 통해 원격 제어 센터(120)로 전송할 수 있다.The remote control vehicle 110 may transmit the collected sensing data to the remote control center 120 through the network 130.

원격 제어 센터(120)는 수집된 센싱 데이터를 기초로 제어 데이터를 생성하고, 생성된 제어 데이터를 네트워크(130)를 통해 원격 제어 차량(110)에 전송할 수 있다.The remote control center 120 may generate control data based on the collected sensing data and transmit the generated control data to the remote control vehicle 110 through the network 130.

여기에서, 환경모델은 차량의 속도/위치/방향/차량 상태 등을 식별하기 위한 센싱 정보를 제공하는 차량 센서(속도, 위치, 방향, 차량 상태) 및 주변 객체 인식 및 인식된 객체의 이동 궤적을 추정하여 차량의 주행을 제어하는 자율 주행 센서들-예를 들면, 라이다, 레이다, 소나, V2X 통신, 카메라 등-를 이용하여 주변 환경 데이터를 모델링한 것에 대응한다. Here, the environment model includes vehicle sensors (speed, location, direction, vehicle status) that provide sensing information to identify the vehicle's speed/position/direction/vehicle status, and recognition of surrounding objects and movement trajectories of recognized objects. It corresponds to modeling surrounding environmental data using autonomous driving sensors that estimate and control the vehicle's driving - for example, lidar, radar, sonar, V2X communication, cameras, etc.

특히, 원격 주행 시스템(100)을 구현하기 위하여 통신환경 극복을 위한 네트워크 적응(network adaptation) 기술이 반드시 필요하며, 업링크(uplink) 및 다운링크(downlink) 기술, 자율 주행 기술을 포함하며, 이 중 업링크 기술은 영상 및 센서로부터 센싱 데이터 전송과 관련되고, 다운링크 기술은 원격 제어 센터(120)로부터 원격 제어 차량(110)를 제어하기 위한 제어 데이터 생성 및 전송과 관련될 수 있다. In particular, in order to implement the remote driving system 100, network adaptation technology is necessary to overcome the communication environment, and includes uplink and downlink technology and autonomous driving technology. Among them, the uplink technology may be related to the transmission of sensing data from images and sensors, and the downlink technology may be related to the generation and transmission of control data for controlling the remote control vehicle 110 from the remote control center 120.

이하, 업링크 전송에 대하여 설명한다. Hereinafter, uplink transmission will be described.

원격 제어 차량(ToV, 110)은 적어도 두 가지 환경모델을 부호화하여 원격 제어 센터(ToC, 120)로 전송할 수 있다. 이때, 원격 제어 차량(110)은 센싱 데이터를 포함하는 환경모델을 인코더(encoder)를 통해 부호화하여 네트워크(130, 예를 들어, 5G)를 통해 원격 제어 센터(120)으로 전송할 수 있다. 한편, 원격 제어 센터(120)는 수신된 환경모델을 디코더(decoder)를 통해 복호화하여 구비된 디스플레이(display)을 통해 출력할 수 있다. The remote control vehicle (ToV, 110) can encode at least two environment models and transmit them to the remote control center (ToC, 120). At this time, the remote control vehicle 110 may encode an environmental model including sensing data using an encoder and transmit it to the remote control center 120 through the network 130 (eg, 5G). Meanwhile, the remote control center 120 can decode the received environment model using a decoder and output it through a provided display.

이때, 두가지 환경모델은 운전자 시야 데이터 및 차량 센싱 데이터를 포함할 수 있다. 이때, 운전자 시야 데이터는 차량 외부 영상(4채널 또는 2채널)을 압축하여 전송할 수 있고, 차량 센서 데이터는 차량 위치에 대한 센싱 정보 및 차량 운행 상태에 관한 센싱 정보를 포함할 수 있다. 차량 운행 상태에 대한 센싱 정보는 주행 속도에 관한 정보, 제동(브레이크) 제어 정보, 가속(악셀) 제어 정보, 조향 제어 정보, 충격 감지 정보 등을 포함할 수 있으나, 이에 한정되지는 않는다. At this time, the two environment models may include driver's field of view data and vehicle sensing data. At this time, the driver's field of view data may be transmitted by compressing the vehicle's exterior image (4 channels or 2 channels), and the vehicle sensor data may include sensing information about the vehicle location and sensing information about the vehicle driving condition. Sensing information about the vehicle driving state may include, but is not limited to, information about driving speed, braking (brake) control information, acceleration (accel) control information, steering control information, impact detection information, etc.

이를 위하여, 저지연 영상통신 기술, 빠르고 안정적인 네트워크 기술, 저지연 디스플레이 기술 등이 요구된다. 이를 통하여 영상 및 네트워크의 delay 및 latency를 최대한 줄여 데이터의 정확하고 빠른 통신 달성이 가능하다. To this end, low-latency video communication technology, fast and stable network technology, and low-latency display technology are required. Through this, it is possible to achieve accurate and fast data communication by reducing video and network delay and latency as much as possible.

이하, 다운링크 전송에 대하여 설명한다. Below, downlink transmission will be described.

원격 제어 센터(ToC, 120)는 원격 제어 차량(110)의 상태를 파악하여 직/간접적인 제어 신호를 생성하고, 생성된 제어 신호를 원격 제어 차량(110)으로 전송할 수 있다. 여기에서, 직접적인 제어 신호는 차량 구동 장치를 제어하기 위한 제어 데이터를 포함할 수 있다. 이에 따라, 원격 제어 센터(ToC, 120)는 차량 구동 장치를 위한 제어 데이터를 생성하여 전송할 수 있다. 또한, 간접적인 제어 신호는 운전자 가이드 데이터를 포함할 수 있다. 이에 따라, 원격 제어 센터(120)는 운전자 가이드 데이터를 생성하여 원격 제어 차량(110)에게 전송할 수 있다. The remote control center (ToC) 120 can determine the status of the remote control vehicle 110, generate direct/indirect control signals, and transmit the generated control signals to the remote control vehicle 110. Here, the direct control signal may include control data for controlling the vehicle driving device. Accordingly, the remote control center (ToC, 120) can generate and transmit control data for the vehicle driving device. Additionally, indirect control signals may include driver guidance data. Accordingly, the remote control center 120 can generate driver guide data and transmit it to the remote control vehicle 110.

이를 위하여, 전송된 환경모델 이해를 통한 차량 상태 및 제어 형태 추론 기술 등이 요구되며, 환경모델 이해를 통한 정확한 차량 제어 형태 정의가 중요하게 된다. For this purpose, vehicle state and control type inference technology is required through understanding the transmitted environmental model, and defining accurate vehicle control type through understanding the environmental model becomes important.

실시 예에 따른 원격 제어 센터(120)는 원격 제어 차량(110)으로부터 수집된 환경 모델을 기초로 특정 도로 구간-예를 들면, 전방 자율 주행이 불가한 도로 구간-에 대한 원격 주행 궤적 경로(또는 웨이포인트(Way Point) 및/또는 루트(Route) 및/또는 트랙(Track))를 산출하고, 산출된 원격 주행 궤적 경로를 외부 클라우드 서버 또는 로컬 엣지(Local Edge) 서버 또는 프라이빗 서버에 등록 및 저장할 수 있다. 이때, 등록된 원격 주행 궤적 경로는 해당 도로 구간을 통과하는 다른 자율 주행 차량에 공유될 수 있으며, 다른 자율 주행 차량은 획득된 원격 주행 궤적 경로에 기반하여 해당 도로 구간에서의 차량 제어를 수행할 수 있다. The remote control center 120 according to the embodiment provides a remote driving trajectory path (or Way Point and/or Route and/or Track) can be calculated, and the calculated remote driving trajectory path can be registered and stored on an external cloud server, local edge server, or private server. You can. At this time, the registered remote driving trajectory path can be shared with other autonomous vehicles passing through the corresponding road section, and other autonomous vehicles can perform vehicle control in the corresponding road section based on the acquired remote driving trajectory path. there is.

일 예로, 원격 주행 궤적 경로에 대한 정보(또는 간단히 원격 주행 정보)는 웨이포인트, 루트 및 트랙 중 적어도 하나로 구성될 수 있다. 여기서, 웨이포인트는 경유지 및 관심지점(Point of Interest) 또는 지도상에 명명된 특정 개체를 의미할 수 있다. 루트는 목적지로 이어지는 일련의 턴포인트(turn point)를 나타내는 웨이포인트들의 순차적 목록을 의미할 수 있다. 트랙은 경로(path)를 묘사하는 트랙포인트들의 순차적 목록을 의미할 수 있다. As an example, information about a remote driving trajectory path (or simply remote driving information) may consist of at least one of a waypoint, a route, and a track. Here, a waypoint may mean a waypoint, a point of interest, or a specific object named on the map. A route may refer to a sequential list of waypoints representing a series of turn points leading to a destination. A track may refer to a sequential list of trackpoints depicting a path.

도 2는 본 개시의 일 실시예에 따른 원격 주행 시스템의 세부 구성을 설명하기 위한 도면이다. 이하, 도 1에서 상술한 설명과 중복되는 부분은 생략하도록 한다. Figure 2 is a diagram for explaining the detailed configuration of a remote driving system according to an embodiment of the present disclosure. Hereinafter, parts that overlap with the description described above in FIG. 1 will be omitted.

도 2를 참조하면, 원격 주행 시스템(200)은 원격 제어 차량(210), 데이터 부호화부(211), 제 1 네트워크 적응부(212), 원격 제어 센터(220), 데이터 복호화부(221), 제 2 네트워크 적응부(222) 및 네트워크(230)를 포함할 수 있다. 다만, 여기에서, 원격 주행 시스템(200)이 상술한 구성을 모두 포함한다는 의미는 물리적으로 포함한다는 의미가 아닌 원격 주행 시스템(200) 내에서 서로 연결되어 동작 가능함을 의미한다. Referring to FIG. 2, the remote driving system 200 includes a remote control vehicle 210, a data encoding unit 211, a first network adaptation unit 212, a remote control center 220, a data decoding unit 221, It may include a second network adaptation unit 222 and a network 230. However, here, the fact that the remote driving system 200 includes all of the above-described components does not mean that they are physically included, but rather means that they can be connected and operated within the remote driving system 200.

원격 제어 차량(210)은 데이터 부호화부(211)를 통하여 센싱된 데이터를 압축 및/또는 부호화하고 원격 제어 센터(220)로 전송할 수 있다. 이때, 제 1 네트워크 적응부는 네트워크(230)의 상태를 모니터링하면서 시스템 파라미터를 조절할 수 있다. The remote control vehicle 210 may compress and/or encode the sensed data through the data encoder 211 and transmit it to the remote control center 220. At this time, the first network adaptation unit may monitor the status of the network 230 and adjust system parameters.

또한, 원격 제어 센터(220)는 데이터 복호화부(221)를 통하여 원격 제어 차량(210)이 전송한 센싱 데이터를 수신하고 복호화 및/또는 압축 해제할 수 있다. Additionally, the remote control center 220 may receive, decode, and/or decompress the sensing data transmitted by the remote control vehicle 210 through the data decoding unit 221.

이때, 제 1 네트워크 적응부(212)은 원격 제어 차량(210)의 로직을 수행할 수 있고, 제 2 네트워크 적응 부(222)는 원격 제어 센터(220)의 로직을 수행할 수 있다. At this time, the first network adaptation unit 212 may perform the logic of the remote control vehicle 210, and the second network adaptation unit 222 may perform the logic of the remote control center 220.

도 3은 본 개시의 일 실시 예에 따른 원격 제어 차량의 일반적인 동작을 설명하기 위한 도면이다.Figure 3 is a diagram for explaining the general operation of a remote control vehicle according to an embodiment of the present disclosure.

도 3을 참조하면, 원격 제어 차량은 크게 정보 제공 주체(301), 처리 및 판단 주체(302), 동작 주체(303)를 포함하여 구성될 수 있다.Referring to FIG. 3, a remote control vehicle may largely include an information providing entity 301, a processing and judgment entity 302, and an operating entity 303.

정보 제공 주체(301)는 처리 및 판단 주체(302)로 고정밀 지도 정보 및 각종 센싱 정보를 제공할 수 있다.The information provider 301 can provide high-precision map information and various sensing information to the processing and judgment entity 302.

도 3에 도시된 바와 같이, 정보 제공 주체(301)는 고정밀 지도 저장소, 안전 센서(Safety Sensor) 및 차량 센서(Vehicle Sensor)를 포함할 수 있다.As shown in FIG. 3, the information provider 301 may include a high-precision map storage, a safety sensor, and a vehicle sensor.

고정밀 지도(또는 HD 지도)는 차선, 교차로, 공사 구간, 도로 표지판 등 도로나 교차로의 표면에 대한 세부적인 정보를 포함하고 있다. 고정밀 지도는 단순히 자율 주행 차량의 위치를 파악하기 위한 용도 이외에도 차량 운행에 필요한 경로를 결정하기 위한 다양한 정보를 제공할 수 있다.High-definition maps (or HD maps) contain detailed information about the surface of a road or intersection, including lanes, intersections, construction zones, and road signs. High-precision maps are not only used to determine the location of an autonomous vehicle, but can also provide a variety of information to determine the route required for vehicle operation.

일 예로, 안전 센서는 카메라, 소나 센서, 라이다, 레이다 등을 포함하고, 차량 센서는 휠 센서, 관성 센서(Inertial Measurement Unit, IMU),위성항법시스템(Global Navigation Satellite System, GNSS) 등을 포함할 수 있다.For example, safety sensors include cameras, sonar sensors, lidar, radar, etc., and vehicle sensors include wheel sensors, inertial sensors (Inertial Measurement Unit, IMU), and global navigation satellite systems (GNSS). can do.

GNSS와 IMU는 차량의 위치를 측정하고, 관성 정보 및 지리적 위치에 대한 측정 값을 200Hz 이상의 빠른 주기로 처리 및 판단 주체(302)에 제공할 수 있다. GPS의 느린 주기와 높은 정확도, IMU의 빠른 주기와 큰 누적 오차의 장/단점들을 잘 융합하도록　칼만 필터가 사용될 수 있다.GNSS and IMU can measure the vehicle's location and provide inertial information and measured values of geographic location to the processing and decision subject 302 at a fast cycle of 200 Hz or more. The Kalman filter can be used to well combine the advantages and disadvantages of the slow cycle and high accuracy of GPS and the fast cycle and large cumulative error of IMU.

라이다는 지도 매핑, 로컬라이제이션, 장애물 회피 등에 사용될 수 있으며, 레이저 빛의 ToF(Time of Flight)를 측정해 거리를 측정하고 단색 3D 맵을 생성할 수 있다. 라이다는 정확도가 높기 때문에 HD맵을 생성하고 이동중인 차량 위치를 로컬라이제이션(추정)한 뒤, 전방의 장애물을 감지하는 작업에 주로 사용될 수 있다.LiDAR can be used for map mapping, localization, and obstacle avoidance, and can measure distance and create a monochromatic 3D map by measuring the Time of Flight (ToF) of laser light. Because LiDAR has high accuracy, it can be mainly used to create HD maps, localize (estimate) the location of a moving vehicle, and detect obstacles ahead.

카메라는 차로, 신호등, 보행자 감지 등과 같이, 객체 인지 및 추적 작업에 활용될 수 있다. 일 예로, 안전성을 높이기 위해 1080p 카메라가 8개 이상 사용될 수 있다. 카메라 센싱 정보를 기초로 처리 및 판단 주체(302)는 전방, 후방, 좌/우 측장의 객체를 감지 및 인지하여 추적할 수 있다.Cameras can be used for object recognition and tracking tasks, such as lane, traffic light, and pedestrian detection. For example, more than eight 1080p cameras may be used to increase safety. Based on camera sensing information, the processing and decision subject 302 can detect, recognize, and track objects in the front, rear, and left/right directions.

레이더와 소나는 장애물 회피를 위한 최후의 수단으로 사용될 수 있다. 레이더와 소나의 센싱 정보는 차량 이동 경로 선상에서 가장 가까이 있는 대상까지의 거리와 속도 정보를 제공할 수 있다. Radar and sonar can be used as a last resort for obstacle avoidance. Sensing information from radar and sonar can provide distance and speed information to the nearest target along the vehicle's movement path.

처리 및 판단 주체(302)는 자율 주행 제어기에 해당될 수 있다.The processing and decision subject 302 may correspond to an autonomous driving controller.

자율 주행 제어기는 고정밀 측위부, 경로 생성부, V2X(Vehicle to Everything) 통신부, 자율 주행 판단부, 센서 퓨전부, 제어명령생성부 및 원격 주행 연결부를 포함하여 구성될 수 있다.The autonomous driving controller may be comprised of a high-precision positioning unit, a route creation unit, a V2X (Vehicle to Everything) communication unit, an autonomous driving determination unit, a sensor fusion unit, a control command generation unit, and a remote driving connection unit.

고정밀 측위부는 센싱 정보를 기초로 차량의 위치 및 자세를 측정 및/또는 추정할 수 있다.The high-precision positioning unit can measure and/or estimate the position and attitude of the vehicle based on sensing information.

경로 생성부는 센싱 정보를 기초로 차량의 주행 경로를 생성할 수 있다.The path generator may generate a vehicle's driving path based on sensing information.

V2X 통신부는 V2X 통신 기능을 제공할 수 있다. V2X 통신은 유/무선 통신을 통해 다른 차량, 보행자, 인프라가 구축된 사물 등과 정보를 교환하는 통신 기술을 의미한다. V2X는 V2V(vehicle-to-vehicle), V2I(vehicle-to-infrastructure), V2N(vehicle-to- network) 및 V2P(vehicle-to-pedestrian)와 같은 4 가지 유형으로 구분될 수 있다. V2X 통신은 PC5 인터페이스 및/또는 Uu 인터페이스를 통해 제공될 수 있다.The V2X communication unit can provide V2X communication functions. V2X communication refers to a communication technology that exchanges information with other vehicles, pedestrians, objects with built infrastructure, etc. through wired/wireless communication. V2X can be divided into four types: vehicle-to-vehicle (V2V), vehicle-to-infrastructure (V2I), vehicle-to-network (V2N), and vehicle-to-pedestrian (V2P). V2X communication may be provided through the PC5 interface and/or the Uu interface.

자율 주행 판단부는 운전자의 자율 주행 요청에 따라 자율 주행이 가능한 경우, 자율 주행 모드로 진입하도록 제어할 수 있다. The autonomous driving determination unit may control the vehicle to enter autonomous driving mode when autonomous driving is possible according to the driver's autonomous driving request.

센서퓨전부는 각 센서로부터 수집된 센싱 정보가 가지는 장점 및 특성들을 융합하여 차량 근거리 주변의 정보들을 HD-MAP상에 표현할 수 있다.The sensor fusion unit can express information around the vehicle's immediate vicinity on HD-MAP by fusing the strengths and characteristics of the sensing information collected from each sensor.

센서 퓨전을 통해 고정밀 측위부는 차선 단위 고정밀 측위가 가능하고, 경로 생성부는 차량의 지근 거리 경로를 생성할 수 있다. Through sensor fusion, the high-precision positioning unit is capable of high-precision positioning on a lane-by-lane basis, and the path creation unit can generate a short-distance path for the vehicle.

제어명령생성부는 V2X 통신을 통해 근거리 상황 정보를 획득할 수 있으며, 상술한 고정밀 측위 결과 및 경로 생성 결과, 그리고 V2X 통신을 통해 획득된 근거리 상황 정보를 종합적으로 고려하여 객체 인지 및 객체의 위치를 추적하고, 이를 기반으로 동작 주체(303)를 위한 제어 명령을 생성할 수 있다.The control command generator can acquire short-range situation information through V2X communication, and recognizes objects and tracks the location of objects by comprehensively considering the above-mentioned high-precision positioning results, path creation results, and short-range situation information acquired through V2X communication. And, based on this, a control command for the operating subject 303 can be generated.

원격 주행 연결부(또는 ToD 연결부)는 자율 주행 중 최근 법제화되고 있는 원격 주행으로의 전환 기능을 수행할 수 있다.The remote driving connection (or ToD connection) can perform the function of switching from autonomous driving to remote driving, which has recently been legislated.

원격 주행 연결부는 자율 주행 중 전방 도로 구간의 자율 주행이 불가하거나, 또는 원격 제어 센터의 제어권 전환 요청이 수신되거나, 또는 운전자로부터 원격 주행이 요청된 경우 자율 주행 모드를 원격 주행 모드로 전환시킬 수 있다.The remote driving connection unit can switch the autonomous driving mode to the remote driving mode when autonomous driving on the road section ahead is not possible during autonomous driving, when a request to switch control is received from the remote control center, or when remote driving is requested from the driver. .

동작 주체(303)는 엔진 ECU(Electronic Control Unit), 제동 ECU, 조향 ECU, 변속 ECU 등을 포함할 수 있다. 동작 주체(303)는 처리 및 판단 주체(302)로부터 수신되는 제어 명령에 따라 동작할 수 있다.The operating entity 303 may include an engine ECU (Electronic Control Unit), a braking ECU, a steering ECU, and a transmission ECU. The operating subject 303 may operate according to control commands received from the processing and judging subject 302.

도 4는 종래 자율 주행이 가지는 문제점을 설명하기 위한 도면이다.Figure 4 is a diagram to explain problems with conventional autonomous driving.

모든 자율 주행 차량은 스스로의 정보를 이용하여, 자율 주행 가능성과 가능하지 않음을 판단하고 자율 주행이 가능할 때 자율 주행을 수행한다.All autonomous vehicles use their own information to determine whether autonomous driving is possible or not, and perform autonomous driving when autonomous driving is possible.

모든 자율 주행 기술들은 이러한 정보를 이용하여 주변 상황을 얼마나 정확하게 판단하느냐가 중요한 요소이며, 이를 위해 좀더 정확한 센서, 좀더 정확한 알고리즘, 좀더 정확한 제어 방법이 요구되고 있다. For all autonomous driving technologies, an important factor is how accurately the surrounding situation can be determined using this information, and for this, more accurate sensors, more accurate algorithms, and more accurate control methods are required.

하지만, 현재 자율 주행 기술은 아직 인식할 수 없는 객체가 존재하며, 이에 따라 인식하지 못한 객체로 인한 충돌 사고가 빈번히 발생되고 있다.However, there are still objects that cannot be recognized by current autonomous driving technology, and as a result, collision accidents due to unrecognized objects frequently occur.

센서 정보를 기초로 감지 및 인식된 객체 정보와 지도상의 객체 정보가 상이한 복잡한 트래픽지역-예를 들면, 차선이 막힌 공사 구간-에서는 기존의 주행 규칙 -예를 들면, 실선을 넘어갈 수 없거나, 도로 밖으로는 차량이 진입할 수 없음-를 따를 경우, 더 이상 자율 주행이 불가할 수 있다.In complex traffic areas where object information detected and recognized based on sensor information and object information on the map are different - for example, construction areas with blocked lanes - existing driving rules - for example, not crossing solid lines or going off the road If the vehicle cannot enter, autonomous driving may no longer be possible.

이와 같은 자율 주행의 문제점을 극복하기 위해, 최근 원격 주행(Teleoperated Drivingm, ToD) 기술이 법제화되고 있으며, 이 기술은 자율 주행 차량이 자율 주행이 불가한 경우, 원격지에서 원격으로 차량을 제어하는 기술이다To overcome these self-driving problems, Teleoperated Driving (ToD) technology has recently been legislated. This technology is a technology that remotely controls a vehicle from a remote location when the self-driving vehicle is unable to drive autonomously.

즉, 현재 자율 주행 기술들은, “자율 주행 센서들이 검출한 정보를 기반으로 자율 주행을 하거나, 상술한 바와 같이, 특수한 경우 중앙선을 넘는 등의 법규 위반을 할 수 없다거나, 주변 정보가 갱신되기 전까지는 그 지역의 자율 주행이 불가능하다거나, 차량이 갖는 자율 주행 능력(level.1 ~ level.5)을 벗어나는 자율 주행을 수행할 수 없다-예를 들면, lv.2 자율 주행 차량은 상기와 같은 경우 차선을 바꾸어 가면서 자율 주행을 수행할 수 없음)"는 점이 단점으로 작용한다.In other words, current autonomous driving technologies “cannot drive autonomously based on information detected by autonomous driving sensors, or, as described above, cannot violate laws such as crossing the center line in special cases, or until surrounding information is updated.” autonomous driving in that area is not possible, or autonomous driving beyond the vehicle's autonomous driving capabilities (level.1 to level.5) cannot be performed - for example, a lv.2 autonomous vehicle is as described above. The disadvantage is that autonomous driving cannot be performed while changing lanes.

따라서 이러한 지역에서는 자율 주행 차량은 원격 제어 센터로 ToD 로의 전환을 요청하고, 원격지에서는 사람이 주행 상황을 모니터링하면서 차량을 원격으로 제어함으로써 자율 주행의 상술한 단점을 극복할 수 있다.Therefore, in these areas, the self-driving vehicle requests a remote control center to switch to ToD, and a person remotely controls the vehicle while monitoring the driving situation, thereby overcoming the above-described shortcomings of autonomous driving.

하지만, 상기와 같은 특정한 지역에서는 해당 지역을 통과하는 모든 차량이 ToD로의 전환을 요청하게 되고, 이에 따라 원격지에서는 순차적으로 해당 지역을 통과하는 모든 차량을 직접 제어해야 하므로, 원격 제어 센터의 부하가 증가할 뿐만 아니라, 현실적으로 이를 대응하기 위해서는 많은 인력이 소요되는 문제점이 있다.However, in a specific area as mentioned above, all vehicles passing through the area request to switch to ToD, and as a result, remote locations must directly control all vehicles passing through the area sequentially, increasing the load on the remote control center. In addition, there is a problem that it takes a lot of manpower to realistically respond to this.

본 발명은 이와 같은 자율 주행 차량의 능력과 ToD 시스템의 장점을 이용하여 원활한 자율 주행을 가능하게 하는 방법을 제안한다.The present invention proposes a method to enable smooth autonomous driving by utilizing the capabilities of autonomous vehicles and the advantages of the ToD system.

도 4를 참조하면, 우회전 후 공사장 콘(Cone) 존재하므로 해당 구간을 통과하는 자율 주행 차량들은 해당 도로 구간에서 자율 주행을 수행할 수 없다. 이 경우, 1번 차량은 원격 제어 센터로 ToD 를 요청하여 원격지에서 원격 제어를 통해 해당 도로 구간을 통과할 수 있다.Referring to FIG. 4, since there is a construction cone after turning right, autonomous vehicles passing through that section cannot perform autonomous driving on that road section. In this case, vehicle 1 can request a ToD from the remote control center and pass through the relevant road section through remote control from a remote location.

하지만, 1번 차량을 뒤따르는 2/3/4 번 차량 모두 ToD가 필요한 상황이며, 이와 같은 경우 ToD를 위한 원격지의 과부하로 심각한 교통 체증을 야기시킬 수 있다. However, vehicles 2, 3, and 4 following vehicle 1 all require ToD, and in this case, overloading remote locations for ToD may cause serious traffic congestion.

반대편 차선의 경우, 도로가 아닌 곳을 통과해야 하므로 차량들은 해당 구간을 자율 주행을 통해 스스로 통과할 수 없으며, ToD 요청 시 원격 제어 센터의 과부하로 인해 원활한 주행이 불가능할 수 있다.In the case of the opposite lane, vehicles cannot pass through the section on their own through autonomous driving because they must pass through a place that is not a road, and smooth driving may not be possible due to overload of the remote control center when ToD is requested.

도 5는 본 개시의 실시 예에 따른 원격 주행 정보 기반 자율 주행 제어가 가능한 원격 주행 시스템 구성도이다.Figure 5 is a configuration diagram of a remote driving system capable of autonomous driving control based on remote driving information according to an embodiment of the present disclosure.

도 5를 참조하면, 원격 주행 시스템(500)은 크게 원격 제어 차량(ToV, 510), 원격 제어 센터(ToC, 520), 공유 서버(530) 및 네트워크(540)을 포함하여 구성될 수 있다.Referring to FIG. 5 , the remote driving system 500 may largely include a remote control vehicle (ToV, 510), a remote control center (ToC, 520), a shared server 530, and a network 540.

원격 제어 차량(510)은 지도저장소(511), 센서(512), 차량 ECU(513), 자율 주행 제어기(514), ToD 정보 저장소(515), ToD 카메라(516) 및 ToD 연결 장치(517)을 포함하여 구성될 수 있다.The remote control vehicle 510 includes a map storage 511, sensors 512, vehicle ECU 513, autonomous driving controller 514, ToD information storage 515, ToD camera 516, and ToD connection device 517. It may be configured to include.

지도저장소(511)는 자율 주행에 필요한 고정밀 지도를 유지하고, 해당 고정밀 지도에 대한 정보를 자율 주행 제어기(514)에 제공하기 위해 사용될 수 있다.The map storage 511 can be used to maintain high-precision maps required for autonomous driving and to provide information about the high-precision maps to the autonomous driving controller 514.

센서(512)는 ADAS를 위한 안전 센서들로부터의 각종 센싱 정보 및 차량 센서들로부터의 각종 센싱 정보를 자율 주행 제어기(514)에 제공할 수 있다.The sensor 512 can provide various sensing information from safety sensors for ADAS and various sensing information from vehicle sensors to the autonomous driving controller 514.

차량 ECU(513)는 자율 주행 제어기(514)의 제어 명령에 따라 해당 ECU를 제어할 수 있다.The vehicle ECU 513 can control the corresponding ECU according to the control command of the autonomous driving controller 514.

센서(512) 및 차량 ECU(513)에 대한 구체적인 설명은 상술한 도면들의 설명으로 대체한다.The detailed description of the sensor 512 and the vehicle ECU 513 is replaced with the description of the above-mentioned drawings.

ToD 정보 저장소(515)는 공유 서버(530)로부터 획득한 원격 주행 정보가 유지될 수 있다. 일 예로, ToD 정보 저장소(515)에 유지되는 원격 주행 정보는 공유 서버(530)에 원격 주행 정보와 동기화되어 유지될 수 있다. 실시 예로, 공유 서버(530)는 원격 주행 정보의 버전이 변경된 경우, 변경된 버전 정보를 원격 제어 차량(510)에 제공할 수 있으며, 원격 제어 차량(510)은 ToD 정보 저장소(515)에 저장된 원격 주행 정보의 버전과 공유 서버(530)에 저장된 원격 주행 정보의 버전이 상이한 경우, 공유 서버(530)로부터 최신 원격 주행 정보를 네트워크(540)를 통해 다운로드하여 동기화시킬 수 있다. 일 예로, 원격 주행 정보는 해당 도로 구간에 상응하는 웨이포인트(Waypoint) 어레이(Array) 정보, 루트 정보 및 트랙 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되지는 않는다.The ToD information storage 515 may maintain remote driving information obtained from the shared server 530. As an example, remote driving information maintained in the ToD information storage 515 may be maintained in synchronization with remote driving information in the shared server 530. In an embodiment, when the version of the remote driving information is changed, the shared server 530 may provide the changed version information to the remote control vehicle 510, and the remote control vehicle 510 may provide the remote control vehicle 510 with the remote driving information stored in the ToD information storage 515. If the version of the driving information and the version of the remote driving information stored in the shared server 530 are different, the latest remote driving information can be downloaded from the shared server 530 through the network 540 and synchronized. As an example, remote driving information may include at least one of waypoint array information, route information, and track information corresponding to the corresponding road section, but is not limited thereto.

자율 주행 제어기(514)는 전방 도로 구간에 대한 자율 주행이 가능한지 여부를 판단할 수 있다. 만약, 전장 도로 구간에 대한 자율 주행이 불가한 경우, ToD 정보 저장소(515)에 저장된 원격 주행 정보를 이용하여 자율 주행을 유지할 수 있는지 여부를 판단할 수 있다. 원격 주행 정보를 통해 자율 주행 유지가 가능한 경우, 자율 주행 제어기(514)는 원격 주행 정보를 활용하여 자율 주행을 유지하고, 자율 주행 유지가 불가한 경우, ToD 연결 장치(517)로 원격 주행을 요청할 수 있다.The autonomous driving controller 514 can determine whether autonomous driving is possible for the road section ahead. If autonomous driving is not possible for a battlefield road section, it can be determined whether autonomous driving can be maintained using remote driving information stored in the ToD information storage 515. If autonomous driving can be maintained through remote driving information, the autonomous driving controller 514 maintains autonomous driving using the remote driving information, and if autonomous driving is not maintained, remote driving is requested to the ToD connection device 517. You can.

이상의 설명에서는 자율 주행 제어기(514)가 원격 주행 정보를 처리하는 것으로 설명되어 있으나, 이는 하나의 실시 예에 불과하며, 원격 주행 정보는 원격 제어 차량(510)에 구비된 다른 프로세서를 통해 처리된 후 자율 주행 제어기(514)에 제공될 수도 있다.In the above description, the autonomous driving controller 514 is described as processing remote driving information, but this is only one embodiment, and the remote driving information is processed through another processor provided in the remote control vehicle 510 and then It may also be provided to the autonomous driving controller 514.

ToD 연결 장치(517)는 자율 주행 제어기(514)로부터 원격 주행이 요청된 경우, 네트워크(540)를 통해 원격 제어 센터(520)에 접속하여 원격 주행 제어를 요청할 수 있다. ToD 연결 장치(517)와 원격 제어 센터(520)는 원격 주행을 위해 네트워크(540)상의 통신 세션(또는 통신 채널)을 설정할 수 있다.When remote driving is requested from the autonomous driving controller 514, the ToD connection device 517 may access the remote control center 520 through the network 540 and request remote driving control. The ToD connection device 517 and the remote control center 520 may establish a communication session (or communication channel) on the network 540 for remote driving.

이 후, ToD 연결 장치(517)는 ToD 카메라(516)를 통해 촬영된 영상을 처리하여 설정된 통신 세션을 통해 원격 제어 센터(520)로 전송할 수 있다. 일 예로, ToD 카메라(516)를 통해 촬영된 영상-즉, 원격 주행 영상 또는 ToD 영상-은 소정 압축 알고리즘으로 압축된 후 부호화되어 전송될 수 있다.Afterwards, the ToD connection device 517 can process the image captured through the ToD camera 516 and transmit it to the remote control center 520 through an established communication session. As an example, an image captured through the ToD camera 516 - that is, a remote driving image or a ToD image - may be compressed using a predetermined compression algorithm and then encoded and transmitted.

ToD 연결 장치(517)는 설정된 통신 세션을 통해 수신된 원격 주행 제어 신호를 자율 주행 제어기(514)에 전달할 수 있다. 자율 주행 제어기(514)는 수신된 원격 주행 제어 신호에 상응하는 제어 명령을 생성하여 차량 ECU(513)의 동작을 제어할 수 있다.The ToD connection device 517 may transmit a remote driving control signal received through an established communication session to the autonomous driving controller 514. The autonomous driving controller 514 may control the operation of the vehicle ECU 513 by generating control commands corresponding to the received remote driving control signals.

원격 제어 센터(520)는 ToC 제어기(521), 디스플레이(522) 및 원격지 운전 장치(523)를 포함하여 구성될 수 있다.The remote control center 520 may be configured to include a ToC controller 521, a display 522, and a remote operation device 523.

ToC 제어기(521)는 통신 수단-예를 들면, 이더넷 통신 모듈, 광통신 모듈 등-이 구비되어 네트워크(540)를 통해 원격 제어 차량(510)과 통신 세션을 설정한 후 각종 정보를 교환할 수 있다. ToC 제어기(521)는 설정된 통신 세션을 통해 수신되는 ToD 영상을 복호 후 압축 해제하여 디스플레이(522)에 출력할 수 있다.The ToC controller 521 is equipped with communication means - for example, an Ethernet communication module, an optical communication module, etc. - and can exchange various information after establishing a communication session with the remote control vehicle 510 through the network 540. . The ToC controller 521 can decode and decompress the ToD image received through the established communication session and output it to the display 522.

원격지 운전자는 디스플레이(522)상에 출력된 영상을 모니터링하면서 원격지 운전 장치(523)를 제어할 수 있다.The remote driver can control the remote driving device 523 while monitoring the image output on the display 522.

원격지 운전 장치(523)에 의해 발생된 제어 신호-즉, 원격 주행 제어 신호-는 ToC 제어기(521)를 통해 원격 제어 차량(510)으로 전송될 수 있다.A control signal generated by the remote driving device 523 - that is, a remote driving control signal - may be transmitted to the remote control vehicle 510 through the ToC controller 521.

ToC 제어기(521)는 ToD 영상 및 해당 ToD 영상에 상응하는 원격 주행 제어 신호에 기반하여 원격 주행 정보를 생성하고, 생성된 원격 주행 정보를 공유 서버(530)에 등록할 수 있다. 여기서, 원격 주행 정보는 정보 생성 일시에 관한 정보, 해당 도로 구간의 위치 정보, 인식된 객체 정보, 맵 정보, 웨이포인트(Waypoint) 정보, 루트 정보 및 트랙 정보를 포함하여 구성될 수 있으나, 이에 한정되지는 않으며, 그보다 많거나 적은 정보로 구성될 수 있다.The ToC controller 521 may generate remote driving information based on the ToD image and the remote driving control signal corresponding to the ToD image, and register the generated remote driving information in the sharing server 530. Here, the remote driving information may include, but is limited to, information on the date and time of information creation, location information of the relevant road section, recognized object information, map information, waypoint information, route information, and track information. It is not possible and may consist of more or less information than that.

도 6은 본 개시의 실시 예에 따른 원격 제어 센터의 상세 동작을 설명하기 위한 도면이다.Figure 6 is a diagram for explaining the detailed operation of a remote control center according to an embodiment of the present disclosure.

도 6을 참조하면, 원격 제어 센터(600)는 통신장치(610), 복호기(620), 객체검출기(630), 정밀 측위 예측기(640), 주제어기(650), 모니터링 장치(660) 및 원격지 운전 장치(670) 중 적어도 하나를 포함하여 구성될 수 있다.Referring to FIG. 6, the remote control center 600 includes a communication device 610, a decoder 620, an object detector 630, a precision positioning predictor 640, a main controller 650, a monitoring device 660, and a remote location. It may be configured to include at least one of the driving devices 670.

복호기(620)는 통신장치(610)를 통해 수신된 ToD 영상 신호를 복호 후 압축해제한 후 ToD 영상 정보를 모니터링 장치(660) 및 객체 검출기(630)에 제공할 수 있다. 이때, ToD 영상은 모니터링 장치(660)의 디스플레이 화면에 출력될 수 있다.The decoder 620 may decode and decompress the ToD video signal received through the communication device 610 and then provide the ToD video information to the monitoring device 660 and the object detector 630. At this time, the ToD image may be output on the display screen of the monitoring device 660.

원격지 운전자는 디스플레이 화면에 표시되는 영상을 모니터링하면서 원격지 운전 장치(670)를 이용하여 원격지 운전을 수행할 수 있다. 여기서, 원격지 운전 장치(670)는 조향 핸들, 악셀 패달, 브레이크 패달 등의 기본적인 주행 제어 수단뿐만 아니라 램프 및 와이퍼 등 각종 차량 기능을 제어할 수 있는 수단이 구비될 수 있다.A remote driver can perform remote driving using the remote driving device 670 while monitoring images displayed on the display screen. Here, the remote driving device 670 may be equipped with not only basic driving control means such as a steering wheel, accelerator pedal, and brake pedal, but also means for controlling various vehicle functions such as lamps and wipers.

객체 검출기(630)는 ToD 영상 정보에 기반하여 객체를 검출 및 인식하고, 인식된 객체의 이동 궤적을 추적할 수 있다. 실시 예에 따른 객체 검출기(630)는 차량의 현재 위치에 상응하는 객체 인식 정보-예를 들면, 인식된 객체가 매핑된 맵정보- 및 인식된 객체의 이동 궤적에 관한 정보를 통신 장치(610) 및 네트워크(695)를 통해 공유 서버(690)에 등록할 수 있다. The object detector 630 can detect and recognize an object based on ToD image information and track the movement trajectory of the recognized object. The object detector 630 according to the embodiment provides object recognition information corresponding to the current location of the vehicle - for example, map information to which the recognized object is mapped - and information about the movement trajectory of the recognized object to the communication device 610. and can be registered in the shared server 690 through the network 695.

정밀 측위 예측기(640)는 원격지 운전 장치(670)를 통해 발생된 제어 신호-예를 들면, 조향각, 브레이크 강도, 엑셀 강도, 속도 등-를 기반으로 해당 차량의 현재 위치-또는 전방 도로 구간-에 상응하는 원격 주행 궤적 경로에 관한 정보를 생성할 수 있다.The precise positioning predictor 640 determines the current location of the vehicle - or the road section ahead - based on control signals generated through the remote driving device 670 - for example, steering angle, brake strength, accelerator strength, speed, etc. Information about the corresponding remote driving trajectory path can be generated.

여기서, 원격 주행 궤적 경로에 관한 정보는 웨이포인트(Waypoint) 어레이(Array) 정보, 루트 정보 및 트랙 정보 중 적어도 하나를 포함할 수 있다. Here, information about the remote driving trajectory path may include at least one of waypoint array information, route information, and track information.

실시 예로, 보다 정밀한 예측 경로를 생성하기 위해 정밀 측위 예측기(640)는 객체 검출기(630)에 인식된 객체 정보 및 해당 객체의 이동 궤적에 관한 정보를 수신하고, 객체 검출기(630)로부터 수신된 정보 및 원격지 운전 장치(670)로부터 수신된 원격 주행 제어 신호에 기반하여 차량의 현재 위치-또는 현재 차량이 주행 중인 도로 구간-에 상응하는 원격 주행 궤적 경로에 관한 정보를 생성할 수도 있다.In an embodiment, in order to generate a more precise prediction path, the precision positioning predictor 640 receives information about the object recognized by the object detector 630 and information about the movement trajectory of the object, and receives the information received from the object detector 630. And based on the remote driving control signal received from the remote driving device 670, information about the remote driving trajectory path corresponding to the current location of the vehicle - or the road section on which the vehicle is currently driving - may be generated.

정밀 측위 예측기(640)는 차량의 현재 위치에 상응하여 생성된 원격 주행 궤적 경로에 관한 정보를 통신 장치(610) 및 네트워크(695)를 통해 공유 서버(690)에 등록할 수 있다.The precision positioning predictor 640 may register information about the remote driving trajectory path generated corresponding to the current location of the vehicle to the shared server 690 through the communication device 610 and the network 695.

주제어기(650)는 원격지 운전 장치(670)로부터 발생되는 원격 주행 제어 신호를 통신 장치(610) 및 네트워크(695)를 통해 원격 제어 차량(680)에 전송할 수 있다.The main controller 650 may transmit a remote driving control signal generated from the remote driving device 670 to the remote control vehicle 680 through the communication device 610 and the network 695.

이상에서 설명한 바와 같이, 본 개시에 따른 원격 제어 센터(600)는 자율 주행 불가로 인해 생성된 원격 주행 정보를 공유 서버(690)에 실시간 공유함으로써, 해당 도로 구간을 뒤따르거나 주행하는 다른 자율 주행 차량들이 공유된 원격 주행 정보를 이용하여 자율 주행을 유지할 수 있는 장점이 있다.As described above, the remote control center 600 according to the present disclosure shares remote driving information generated due to the inability of autonomous driving to the sharing server 690 in real time, so that other autonomous driving following or driving on the corresponding road section There is an advantage in that vehicles can maintain autonomous driving using shared remote driving information.

즉, 본 개시에 따르면, 선행 차량의 원격 주행 정보를 클라우드 또는 Local Edge 등 공유 공간에 저장함으로써, 후행 차량이 원격 주행 모드로의 전환 없이 자율 주행을 유지할 수 있는 장점이 있다. That is, according to the present disclosure, there is an advantage in that the following vehicle can maintain autonomous driving without switching to the remote driving mode by storing the remote driving information of the preceding vehicle in a shared space such as the cloud or Local Edge.

도 7은 본 개시의 실시 예에 따른 자율 주행 제어기의 상세 동작을 설명하기 위한 도면이다.FIG. 7 is a diagram for explaining the detailed operation of an autonomous driving controller according to an embodiment of the present disclosure.

도 7을 참조하면, 자율 주행 제어기(700)는 원격 주행 정보 저장소(710), 고정밀 측위부(720), 경로 생성부(730), V2X 통신부(740), 자율 주행 판단부(750), 센서 퓨전부(760), 제어 명령 생성부(770) 및 원격 주행 연결부(780)를 포함하여 구성될 수 있다.Referring to FIG. 7, the autonomous driving controller 700 includes a remote driving information storage 710, a high-precision positioning unit 720, a route creation unit 730, a V2X communication unit 740, an autonomous driving determination unit 750, and a sensor. It may be configured to include a fusion unit 760, a control command generation unit 770, and a remote driving connection unit 780.

원격 주행 정보 저장소(710)에 저장된 원격 주행 정보는 고정밀 측위부(720), 경로 생성부(730) 및 자율 주행 판단부(740)에 의해 참조될 수 있다.The remote driving information stored in the remote driving information storage 710 may be referenced by the high-precision positioning unit 720, the route creation unit 730, and the autonomous driving determination unit 740.

상술한 공유 서버(530, 690)에 저장된 원격 주행 정보는 자율 주행이 불가한 도로 구간 별로 관리될 수 있으며, 해당 도로 구간을 주행하는 모든 자율 주행 차량에 공유될 수 있다. 실시 예로, 자율 주행 차량은 자율 주행 시 자신의 현재 주행 경로에 상응하는 원격 주행 정보를 공유 서버(530, 690)와 동기화하여 유지할 수 있다. The remote driving information stored in the above-mentioned shared servers 530 and 690 can be managed for each road section where autonomous driving is not possible and can be shared with all autonomous vehicles driving on the corresponding road section. In an embodiment, an autonomous vehicle may maintain remote driving information corresponding to its current driving path by synchronizing it with the shared servers 530 and 690 when driving autonomously.

고정밀 측위부(720)는 해당 도로 구간에 상응하는 원격 주행 정보와 차량 자체적으로 생성한 정밀 측위 정보를 비교하여 그 차이 값을 계산할 수 있다.The high-precision positioning unit 720 can calculate the difference value by comparing remote driving information corresponding to the road section and precise positioning information generated by the vehicle itself.

경로 생성부(730)는 해당 도로 구간에 상응하는 원격 주행 정보와 차량 자체적으로 생성한 경로 정보를 비교하여 그 차이 값을 계산할 수 있다.The route generator 730 may compare remote driving information corresponding to the road section and route information generated by the vehicle itself and calculate the difference.

일 예로, 자율 주행 판단부(750)는 고정밀 측위부(720)와 경로 생성부(730)에 의해 계산된 차이 값들에 기반하여 자율 주행 유지 여부를 결정할 수 있다.As an example, the autonomous driving determination unit 750 may determine whether to maintain autonomous driving based on the difference values calculated by the high-precision positioning unit 720 and the path creation unit 730.

다른 일 예로, 자율 주행 판단부(750)는 상기 계산된 차이 값들 및 V2X 통신부(740)를 통해 수집된 주변 차량/환경 정보에 기반하여 자율 주행 유지 여부를 결정할 수도 있다. As another example, the autonomous driving determination unit 750 may determine whether to maintain autonomous driving based on the calculated difference values and surrounding vehicle/environment information collected through the V2X communication unit 740.

실시 예에 따른 자율 주행 판단부(750)는 상기 계산된 차이 값들이 각각의 소정 기준치를 초과하는 것에 기반하여 해당 도로 구간에서 자율 주행을 유지할 수 없는 것으로 판단할 수 있다. The autonomous driving determination unit 750 according to the embodiment may determine that autonomous driving cannot be maintained in the corresponding road section based on the calculated difference values exceeding each predetermined standard value.

이 경우, 자율 주행 판단부(750)는 해당 도로 구간에 상응하는 원격 주행 정보가 원격 주행 정보 저장소(710)에 존재하는지 여부를 판단할 수 있다. 판단 결과, 원격 주행 정보가 존재하는 경우, 경로 생성부(730)에 의해 생성된 경로가 아닌 원경 주행 정보에 따른 원격 주행 궤적 경로를 이용하여 자율 주행 수행함으로써, 자율 주행 모드를 유지할 수 있다. In this case, the autonomous driving determination unit 750 may determine whether remote driving information corresponding to the relevant road section exists in the remote driving information storage 710. As a result of the determination, if remote driving information exists, the autonomous driving mode can be maintained by performing autonomous driving using the remote driving trajectory path according to the distant driving information rather than the path generated by the path generator 730.

만약, 해당 도로 구간에 상응하는 원격 주행 정보가 존재하지 않는 경우, 자율 주행 판단부(750)는 공유 서버(530, 690)에 접속하여 해당 도로 구간에 상응하는 원격 주행 정보를 획득할 수도 있다. 이후, 공유 서버(530, 690)으로부터 획득된 원격 주행 정보에 기반하여 다시 계산된 차이 값들과 비교하여 자율 주행 유지가 가능한지 여부를 결정할 수도 있다. If there is no remote driving information corresponding to the corresponding road section, the autonomous driving determination unit 750 may access the shared servers 530 and 690 to obtain remote driving information corresponding to the corresponding road section. Thereafter, it may be determined whether autonomous driving is possible to maintain by comparing the difference values calculated again based on the remote driving information obtained from the shared servers 530 and 690.

반면, 상술한 실시 예를 통해, 자율 주행 유지가 불가한 것으로 최종 판단된 경우, 자율 주행 판단부(750)는 원격 주행 모드로의 전환을 위해 원격 주행 연결부(780)에 원격 주행 연결을 요청할 수 있다. 원격 주행 연결부(780)는 자율 주행 판단부(750)의 요청에 따라 원격 주행 센터(520, 600)로 원격 주행을 요청하여 원격 주행 서비스를 제공받을 수 있다.On the other hand, if it is finally determined through the above-described embodiment that autonomous driving cannot be maintained, the autonomous driving determination unit 750 may request a remote driving connection from the remote driving connection unit 780 to switch to the remote driving mode. there is. The remote driving connection unit 780 may receive a remote driving service by requesting remote driving from the remote driving centers 520 and 600 according to a request from the autonomous driving determination unit 750.

센서퓨전부(760)는 상술한 도면들의 설명으로 대체한다.The sensor fusion unit 760 is replaced by the description of the drawings described above.

제어명령생성부(770)는 최종 결정된 경로에 따라 차량 ECU를 제어하기 위한 제어 명령을 생성할 수 있다. The control command generator 770 may generate a control command for controlling the vehicle ECU according to the final determined path.

도 8은 실시 예에 따른 원격 주행 시스템에서의 원격 주행 정보를 공유 서버에 등록하는 절차를 설명하기 위한 흐름도이다.FIG. 8 is a flowchart illustrating a procedure for registering remote driving information in a shared server in a remote driving system according to an embodiment.

도 8을 참조하면, 원격 제어 차량(801)은 자율 주행 기능이 탑재되어 자율 주행 모드로 동작할 수 있다(S811). Referring to FIG. 8, the remote control vehicle 801 is equipped with an autonomous driving function and can operate in an autonomous driving mode (S811).

원격 제어 차량(801)은 자율 주행 모드로 주행 중 전방 도로 구간의 자율 주행이 가능한지 여부를 판단할 수 있다(S813).The remote control vehicle 801 may determine whether autonomous driving of the road section ahead is possible while driving in autonomous driving mode (S813).

판단 결과, 자율 주행이 가능하면, 자율 주행 모드를 유지하고, 자율 주행이 불가한 경우, 원격 제어 차량(801)은 자율 주행 모드에서 원격 주행 모드로 전환할 수 있다(S815). 원격 주행 모드에 진입한 원격 제어 차량(801)은 네트워크를 통해 원격 제어 센터(802)와 통신이 연결될 수 있다.As a result of the determination, if autonomous driving is possible, the autonomous driving mode is maintained, and if autonomous driving is not possible, the remote control vehicle 801 can switch from the autonomous driving mode to the remote driving mode (S815). The remote control vehicle 801 that has entered the remote driving mode may be connected to the remote control center 802 through a network.

원격 제어 차량(801)은 원격 주행 모드에서 원격 주행 카메라에 의해 촬영된 영상 정보를 원격 제어 센터(802)로 전송할 수 있다(S817).The remote control vehicle 801 may transmit image information captured by the remote driving camera to the remote control center 802 in remote driving mode (S817).

원격 제어 센터(802)는 원격 제어 차량(801)으로부터 수신된 영상 정보와 원격지 운전 장치로부터의 제어 신호에 기반하여 현재 주행 중인 도로 구간(또는 현재 차량의 위치)에 상응하는 원격 주행 정보를 생성할 수 있다(S819).The remote control center 802 generates remote driving information corresponding to the road section currently being driven (or the current location of the vehicle) based on the image information received from the remote control vehicle 801 and the control signal from the remote driving device. (S819).

원격 제어 센터(802)는 생성된 원격 주행 정보를 공유 서버(803)에 등록할 수 있다(S821). 여기서, 등록된 원격 주행 정보는 원격 제어 차량(801)을 뒤따르는 다른 자율 주행 차량에 공유되거나 해당 도로 구간을 경유하는 다른 자율 주행 차량에게 공유되어 활용될 수 있다. The remote control center 802 may register the generated remote driving information in the shared server 803 (S821). Here, the registered remote driving information can be shared with other autonomous vehicles following the remote control vehicle 801 or shared with and utilized by other autonomous vehicles passing through the corresponding road section.

원격 제어 센터(802)는 원격 주행 제어 신호를 원격 제어 차량(801)으로 전송할 수 있다(S823).The remote control center 802 may transmit a remote driving control signal to the remote control vehicle 801 (S823).

원격 제어 차량(801)은 원격 제어 센터(802)로부터 수신된 원격 주행 제어 신호에 따라 차량을 제어할 수 있다(S825).The remote control vehicle 801 can control the vehicle according to the remote driving control signal received from the remote control center 802 (S825).

도 9는 본 개시의 실시 예에 따른 차량에서의 원격 주행 정보 기반의 자율 주행 제어 방법을 설명하기 위한 순서도이다. FIG. 9 is a flowchart illustrating a method for controlling autonomous driving based on remote driving information in a vehicle according to an embodiment of the present disclosure.

본 실시 예에 따른 차량은 자율 주행 모드 및 원격 주행 모드를 모두 지원하는 차량일 수 있다.The vehicle according to this embodiment may be a vehicle that supports both autonomous driving mode and remote driving mode.

도 9를 참조하면, 차량은 자율 주행 모드로 주행할 수 있다(S910).Referring to FIG. 9, the vehicle can drive in autonomous driving mode (S910).

차량은 자율 주행 모드로 동작 중 전방 도로 구간에서 자율 주행이 가능한지 여부를 판단할 수 있다(S920).While operating in autonomous driving mode, the vehicle can determine whether autonomous driving is possible in the road section ahead (S920).

판단 결과, 자율 주행이 가능한 경우, 차량은 자율 주행 모드를 유지하고, 만약, 판단 결과, 자율 주행이 불가한 경우, 차량은 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 원격 주행 정보 저장소에 존재하는지 확인할 수 있다(S930). As a result of the judgment, if autonomous driving is possible, the vehicle maintains the autonomous driving mode. If, as a result of the judgment, autonomous driving is not possible, the vehicle already has remote driving information stored in the remote driving information storage corresponding to the road section ahead. You can check whether it is done (S930).

확인 결과, 전방 도로 구간에 상응하는 원격 주행 정보가 존재하는 경우, 정밀 측위 정보와 경로 생성 정보를 해당 원격 주행 정보와 비교할 수 있다(S940). 일 예로, 상기 940 단계의 비교 단계에서, 차량은 원격 주행 정보와 경로 생성 정보의 경로 차이 값을 계산하고, 원격 주행 정보와 정밀 측위 정보와의 위치 차이 값을 계산할 수 있다. As a result of confirmation, if there is remote driving information corresponding to the road section ahead, the precise positioning information and route creation information can be compared with the corresponding remote driving information (S940). For example, in the comparison step of step 940, the vehicle may calculate a path difference value between remote driving information and route creation information, and calculate a position difference value between remote driving information and precise positioning information.

차량은 상기 940 단계의 비교 결과에 기반하여 차량은 원격 주행 정보를 이용하여 주행이 가능한지 판단할 수 있다(S950). Based on the comparison result of step 940, the vehicle can determine whether driving is possible using remote driving information (S950).

판단 결과, 원격 주행 정보를 이용하여 주행이 가능한 경우, 차량은 원격 주행 정보에 기반하여 자율 주행을 수행함으로써 자율 주행 모드를 유지할 수 있다(S960). 일 예로, 차량은 상기 계산된 위치 차이 값 및 경로 차이 값이 각각 해당 기준치 이내인 경우, 원격 주행 정보가 자율 주행을 위해 사용 가능한 것으로 판단할 수 있다. 반면, 차량은 일 예로, 차량은 상기 계산된 위치 차이 값 및 경로 차이 값이 각각 해당 기준치를 초과하는 경우, 원격 주행 정보가 자율 주행을 위해 사용될 수 없는 것으로 판단할 수 있다.As a result of the determination, if driving is possible using the remote driving information, the vehicle can maintain the autonomous driving mode by performing autonomous driving based on the remote driving information (S960). As an example, the vehicle may determine that remote driving information is available for autonomous driving if the calculated position difference value and path difference value are each within the corresponding standard value. On the other hand, as an example, the vehicle may determine that remote driving information cannot be used for autonomous driving if the calculated position difference value and path difference value each exceed the corresponding standard value.

상기 950 단계의 판단 결과, 원격 주행 정보를 이용하여 주행이 가능하지 않은 경우, 차량은 자율 주행 모드에서 원격 주행 모드로 전환할 수 있다(S970).As a result of the determination in step 950, if driving using the remote driving information is not possible, the vehicle may switch from the autonomous driving mode to the remote driving mode (S970).

또한, 상기 930 단계에서 전방 도로 구간에 상응하여 저장된 원격 주행 정보가 존재하지 않는 경우, 차량은 자율 주행 모드에서 원격 주행 모드로 전환할 수도 있다.Additionally, if there is no remote driving information stored corresponding to the road section ahead in step 930, the vehicle may switch from the autonomous driving mode to the remote driving mode.

도 10은 본 개시의 실시 예에 따른 차량에서의 원격 주행 정보를 갱신하는 방법을 설명하기 위한 순서도이다.10 is a flowchart illustrating a method of updating remote driving information in a vehicle according to an embodiment of the present disclosure.

차량은 자율 주행 모드로 주행 중 원격 주행 정보의 갱신이 필요한지 여부를 판단할 수 있다(S1010 내지 S1020). 일 예로, 차량은 내부 원격 주행 정보 저장소에 유지된 원격 주행 정보의 버전과 공유 서버에 저장된 원격 주행 정보의 버전이 상이한 경우, 원격 주행 정보의 갱신이 필요한 것으로 판단할 수 있다. 일 예로, 공유 서버는 원격 주행 정보의 버전이 변경된 경우, 해당 차량에 새로운 원격 주행 정보 버전 정보가 포함된 원격 주행 정보 갱신 알림 메시지를 전송할 수 있으며, 차량은 알림 메시지에 포함된 버전과 자신이 가지고 있는 원격 주행 정보의 버전을 비교하여 원격 주행 정보의 갱신이 필요한지 판단할 수 있다.The vehicle may determine whether updating remote driving information is necessary while driving in autonomous driving mode (S1010 to S1020). For example, if the version of the remote driving information maintained in the internal remote driving information storage is different from the version of the remote driving information stored in the shared server, the vehicle may determine that the remote driving information needs to be updated. As an example, when the version of remote driving information is changed, the shared server may transmit a remote driving information update notification message containing the new remote driving information version information to the relevant vehicle, and the vehicle may have the version included in the notification message. By comparing the versions of the remote driving information available, it is possible to determine whether the remote driving information needs to be updated.

판단 결과, 원격 주행 정보의 갱신이 필요한 경우, 차량은 공유 서버로부터 최신 버전의 원격 주행 정보를 획득하여 원격 주행 정보 저장소에 저장할 수 있다(S1030). As a result of the determination, if the remote driving information needs to be updated, the vehicle can obtain the latest version of the remote driving information from the shared server and store it in the remote driving information storage (S1030).

실시 예로, 차량은 설정된 주행 경로에 상응하는 원격 주행 정보가 원격 주행 정보 저장소에 존재하지 않는 경우, 공유 서버로 해당 주행 경로에 상응하는 원격 주행 정보를 요청하여 획득할 수도 있다.In an embodiment, if remote driving information corresponding to a set driving path does not exist in the remote driving information storage, the vehicle may request and obtain remote driving information corresponding to the driving path from a shared server.

실시 예로, 후행 차량은 선행 차량으로부터 전방 도로 구간이 자율 주행이 불가함을 알리는 소정 경고 알람 메시지를 수신할 수 있다. 이 경우, 차량은 공유 서버로 전방 도로 구간에 대한 원격 주행 정보를 요청하여 획득할 수 있으며, 획득된 원격 주행 정보에 기초하여 자율 주행이 가능한지 여부를 판단할 수 있다. 판단 결과, 자율 주행이 가능한 경우, 차량은 공유 서버로부터 획득된 원격 주행 정보를 이용하여 자율 주행을 유지할 수 있다.As an example, a following vehicle may receive a predetermined warning alarm message from a preceding vehicle indicating that autonomous driving is not possible in the road section ahead. In this case, the vehicle can request and obtain remote driving information about the road section ahead from the shared server, and determine whether autonomous driving is possible based on the obtained remote driving information. As a result of the determination, if autonomous driving is possible, the vehicle can maintain autonomous driving using remote driving information obtained from the shared server.

다른 실시 예로, 선행 차량은 전방 도로 구간에 대한 원격 주행 정보를 원격 주행 센터로부터 획득할 수도 있다. 이 경우, 선행 차량은 경고 알람 메시지와 함께 전방 도로 구간에 대한 원격 주행 정보를 V2V 통신을 통해 후행 차량에게 전송할 수도 있다. 이 경우, 후행 차량은 별도의 공유 서버 접속 없이도 전방 자율 주행이 불가한 도로 구간에 대한 원격 주행 정보를 획득함으로써, 원격 주행 모드로의 전환 없이 자율 주행을 유지할 수 있다. 또한, 후행 차량은 해당 도로 구간을 주행하는 다른 후행 차량이 존재하는 경우, 원격 주행 정보가 포함된 경고 알람 메시지를 V2V 통신을 통해 다른 후행 차량에 릴레이하여 전달할 수도 있다. In another embodiment, the preceding vehicle may obtain remote driving information about the road section ahead from a remote driving center. In this case, the preceding vehicle may transmit remote driving information about the road section ahead along with a warning alarm message to the following vehicle through V2V communication. In this case, the trailing vehicle can maintain autonomous driving without switching to remote driving mode by obtaining remote driving information for road sections where forward autonomous driving is not possible without a separate shared server connection. Additionally, if there are other following vehicles driving on the corresponding road section, the following vehicle may relay and transmit a warning alarm message containing remote driving information to the other following vehicle through V2V communication.

도 11은 본 개시의 실시 예에 따른 차량간 통신을 통해 원격 주행 정보 기반 자율 주행 제어를 수행하는 방법을 설명하기 위한 흐름도이다.FIG. 11 is a flowchart illustrating a method of performing autonomous driving control based on remote driving information through vehicle-to-vehicle communication according to an embodiment of the present disclosure.

본 실시 예에서, 제2 차량은 제1 차량의 후행 차량으로 제1 차량과 제2 차량은 각각 V2X 통신 수단이 구비되어 차량간 통신을 수행할 수 있다고 가정한다.In this embodiment, it is assumed that the second vehicle is a vehicle following the first vehicle, and that the first vehicle and the second vehicle are each equipped with a V2X communication means and can perform inter-vehicle communication.

도 11을 참조하면, 해당 도로 구간상에서 선행 차량인 제1 차량은 자율 주행 모드로 주행 중 더 이상 전방 도로 구간에서 자율 주행이 불가한 경우, 자율 주행 모드에서 원격 주행 모드로 전환하여 구비된 ToD 카메라를 통해 촬영된 원격 주행 영상을 원격 제어 센터(1103)로 전송함으로써 원격 주행 제어를 수행할 수 있다(S1111 내지 S1113). 여기서, 원격 제어 센터(1103)는 제1 차량(1102)으로부터 수신된 원격 제어 영상을 기반으로 원격 주행 제어 신호를 생성하여 제1 차량(1102)을 원격 제어할 수 있다.Referring to FIG. 11, when the first vehicle, which is the preceding vehicle on the road section, is driving in autonomous driving mode and is no longer able to drive autonomously in the road section ahead, the ToD camera switches from autonomous driving mode to remote driving mode. Remote driving control can be performed by transmitting the remote driving image captured through to the remote control center 1103 (S1111 to S1113). Here, the remote control center 1103 may remotely control the first vehicle 1102 by generating a remote driving control signal based on the remote control image received from the first vehicle 1102.

원격 제어 센터(1103)는 원격 주행 영상 및 원격 주행 제어 신호를 기반으로 생성된 원격 제어 정보를 공유 서버(1104)에 등록할 수 있다(S1115). The remote control center 1103 may register remote control information generated based on the remote driving image and remote driving control signal to the shared server 1104 (S1115).

제1 차량(1102)은 자율 주행 모드에서 원격 제어 모드로 전환 후 전방 도로 구간에서 자율 주행이 불가함을 알리는 소정 경고 알람 메시지를 V2V 통신을 통해 자율 주행 모드로 동작 중인 후행 차량인 제2 차량(S1101)으로 전송할 수 있다(S1117).After switching from the autonomous driving mode to the remote control mode, the first vehicle 1102 sends a predetermined warning alarm message indicating that autonomous driving is not possible in the road section ahead, and the second vehicle (2), which is a following vehicle operating in autonomous driving mode, through V2V communication. S1101) can be transmitted (S1117).

제2 차량(1101)은 전방 도로 구간에서 자율 주행이 불가함을 알리는 경고 알람 메시지가 제1 차량(1102)으로부터 수신된 경우, 전방 도로 구간에 상응하는 원격 주행 정보가 자신의 원격 주행 정보 저장소에 존재하는지 여부를 확인할 수 있다(S1119).When the second vehicle 1101 receives a warning alarm message from the first vehicle 1102 indicating that autonomous driving is not possible in the road section ahead, the remote driving information corresponding to the road section ahead is stored in its remote driving information storage. You can check whether it exists (S1119).

확인 결과, 해당 원격 주행 정보가 존재하지 않는 경우, 제2 차량(1101)은 공유 서버(1104)에 접속하여 전방 도로 구간에 상응하는 원격 주행 정보를 다운로드하여 동기화시킬 수 있다(S1121).As a result of confirmation, if the corresponding remote driving information does not exist, the second vehicle 1101 can access the shared server 1104 to download and synchronize the remote driving information corresponding to the road section ahead (S1121).

상기한 1119 단계의 확인 결과, 해당 원격 주행 정보가 존재하거나 원격 주행 정보의 동기화에 성공한 경우, 제2 차량(1101)은 해당 원격 주행 정보를 이용하여 자율 주행 모드를 유지할 수 있다(S1123). As a result of the confirmation in step 1119 above, if the corresponding remote driving information exists or synchronization of the remote driving information is successful, the second vehicle 1101 can maintain the autonomous driving mode using the corresponding remote driving information (S1123).

상술한 실시 예들의 설명에서 원격 주행 정보는 자율 주행 제어기에 의해 처리될 수 있으나, 이는 하나의 실시 예에 불과하며 자율 주행 차량 제조사의 electrical/electronic (E/E) architectures 설계에 따라 차량 내 원격 주행을 제어하는 제어기 또는 다양한 장치에 의해 처리될 수도 있다. In the description of the above-described embodiments, remote driving information may be processed by the autonomous driving controller, but this is only one embodiment and remote driving within the vehicle is performed according to the electrical/electronic (E/E) architectures design of the autonomous vehicle manufacturer. It may also be processed by a controller or various devices that control.

이상의 실시 예에서 설명된 바와 같이, 본 개시에 따른 원격 주행 시스템은 선행 차량의 원격 주행 제어 시 생성된 원격 주행 정보를 공유 서버를 통해 자율 주행 중인 후행 차량에 실시간 공유함으로써 후행 차량이 원격 제어 모드로 전환하는 것을 미연에 방지할 수 있으며, 이를 통해 원격 제어 센터의 부하를 최소화시킬 수 있는 장점이 있다.As described in the above embodiment, the remote driving system according to the present disclosure shares remote driving information generated during remote driving control of a preceding vehicle in real time to a following vehicle that is driving autonomously through a sharing server, so that the following vehicle is in remote control mode. Switching can be prevented in advance, which has the advantage of minimizing the load on the remote control center.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. The above-described present invention can be implemented as computer-readable code on a program-recorded medium. Computer-readable media includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable media include HDD (Hard Disk Drive), SSD (Solid State Disk), SDD (Silicon Disk Drive), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. It also includes those implemented in the form of carrier waves (e.g., transmission via the Internet).

이상 본 발명의 실시예에 따른 단말기, 클라우드 서버, 클라우드 AR 플랫폼의 영상 송수신 시스템 및 방법을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시 형태들을 조합, 치환하여 적시되지 않은 실시 형태를 실시할 수 있으나, 이 역시 본 발명의 권리범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.The video transmission and reception system and method of the terminal, cloud server, and cloud AR platform according to the embodiment of the present invention have been described above as specific embodiments, but this is only an example and the present invention is not limited thereto, and the basic idea disclosed herein It should be interpreted as having the widest scope in accordance with . A person skilled in the art may combine and substitute the disclosed embodiments to implement embodiments not specified, but this also does not deviate from the scope of the present invention. In addition, a person skilled in the art can easily change or modify the embodiments disclosed based on the present specification, and it is clear that such changes or modifications also fall within the scope of the present invention.

Claims (25)

네트워크를 통해 원격 제어 센터 및 공유 서버와 연동되는 차량에서의 원격 제어 정보 기반 자율 주행 제어 방법에 있어서,
자율 주행 모드에서 전방 도로 구간에 대한 자율 주행이 가능한지 여부를 판단하는 단계;
상기 판단 결과, 상기 자율 주행이 가능하지 않은 것에 기반하여 원격 주행 모드로 전환하는 단계;
원격 주행 카메라에 의해 촬영된 영상을 상기 원격 제어 센터로 전송하는 단계;
상기 영상에 상응하는 원격 주행 제어 신호를 수신하는 단계; 및
상기 원격 주행 제어 신호에 기반하여 상기 차량의 동작을 제어하는 단계
를 포함하되, 상기 영상 및 상기 원격 주행 제어 신호에 기반하여 생성된 원격 주행 정보가 타차량에 공유되는 것을 특징으로 하는, 방법. In a remote control information-based autonomous driving control method in a vehicle linked to a remote control center and a shared server through a network,
Determining whether autonomous driving is possible for the road section ahead in autonomous driving mode;
Converting to a remote driving mode based on the determination that autonomous driving is not possible;
transmitting an image captured by a remote driving camera to the remote control center;
Receiving a remote driving control signal corresponding to the image; and
Controlling the operation of the vehicle based on the remote driving control signal
A method including, wherein remote driving information generated based on the image and the remote driving control signal is shared with other vehicles. 제1항에 있어서,
상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 내부 저장소에 존재하는지 여부를 판단하는 단계를 더 포함하되,
상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 상기 내부 저장소에 존재하지 않는 것에 기반하여 상기 원격 주행 모드로 전환되는 것을 특징으로 하는, 방법.According to paragraph 1,
It further includes determining whether pre-stored remote driving information corresponding to the road section ahead exists in the internal storage,
Characterized in that switching to the remote driving mode based on the fact that remote driving information previously stored corresponding to the road section ahead does not exist in the internal storage. 제1항에 있어서,
고정밀 지도 정보와 구비된 센서로부터 수집된 센싱 정보에 기반하여 상기 전방 도로 구간에 상응하는 정밀 측위 정보 및 경로 생성 정보를 생성하는 단계;
상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 존재하는 것에 기반하여 상기 정밀 측위 정보와 상기 경로 생성 정보를 각각 상기 원격 주행 정보와 비교하는 단계; 및
상기 비교 결과에 따라 상기 원격 주행 정보를 이용하여 상기 자율 주행 모드 유지가 가능한지 여부를 판단하는 단계
를 포함하는, 방법. According to paragraph 1,
Generating precise positioning information and route creation information corresponding to the road section ahead based on high-precision map information and sensing information collected from a provided sensor;
Comparing the precise positioning information and the route creation information with the remote driving information based on the presence of remote driving information previously stored corresponding to the road section ahead; and
Determining whether the autonomous driving mode can be maintained using the remote driving information according to the comparison result
Method, including. 제3항에 있어서,
상기 원격 주행 정보를 이용하여 상기 자율 주행 모드 유지가 가능하지 않은 것에 기반하여 원격 주행 모드로 전환되는 것을 특징으로 하는, 방법.According to paragraph 3,
Characterized in that switching to the remote driving mode based on the fact that the autonomous driving mode is not possible to maintain using the remote driving information. 제1항에 있어서,
상기 원격 주행 모드로 전환된 것에 기반하여 상기 전방 도로 구간에 대한 자율 주행이 불가함을 알리는 소정 경고 알람 메시지를 차량간 통신을 통해 후행 차량으로 전송하는 단계를 더 포함하는, 방법. According to paragraph 1,
The method further includes transmitting a predetermined warning alarm message notifying that autonomous driving on the road section ahead is impossible based on the switch to the remote driving mode to a following vehicle through vehicle-to-vehicle communication. 제5항에 있어서,
상기 경고 알람 메시지의 전송에 따라, 상기 공유된 상기 원격 주행 정보가 상기 후행 차량에 의해 획득되되, 상기 획득된 원격 주행 정보에 기반하여 상기 후행 차량의 자율 주행 모드가 유지되는 것을 특징으로 하는, 방법. According to clause 5,
In accordance with the transmission of the warning alarm message, the shared remote driving information is acquired by the following vehicle, and the autonomous driving mode of the following vehicle is maintained based on the acquired remote driving information. . 제 6 항에 있어서,
상기 원격 주행 정보는 상기 전방 도로 구간에 상응하는 웨이포인트(Waypoint) 어레이(Array) 정보, 루트(route) 정보 및 트랙(track) 정보 중 적어도 하나를 포함하는, 방법. According to claim 6,
The remote driving information includes at least one of waypoint array information, route information, and track information corresponding to the road section ahead. 제 1 항에 있어서,
상기 원격 주행 정보는 상기 원격 제어 센터에 의해 생성된 후 상기 공유 서버에 등록되어 공유되는 것을 특징으로 하는, 방법.According to claim 1,
The method, characterized in that the remote driving information is generated by the remote control center and then registered and shared on the shared server. 네트워크를 통해 차량 및 공유 서버와 연동되는 원격 제어 센터에서의 원격 제어 정보 기반 자율 주행 제어 방법에 있어서,
상기 차량의 원격 주행 카메라에 의해 촬영된 전방 도로 구간에 대한 영상을 수신하는 단계;
상기 수신된 영상을 화면에 출력하는 단계; 및
상기 출력된 화면에 상응하여 생성된 원격 주행 제어 신호를 상기 차량으로 전송하는 단계;
상기 수신된 영상 및 상기 원격 주행 제어 신호에 기반하여 원격 주행 정보를 생성하는 단계; 및
상기 생성된 원격 주행 정보를 상기 공유 서버에 등록하는 단계
를 포함하는, 방법.In an autonomous driving control method based on remote control information at a remote control center linked to a vehicle and a shared server through a network,
Receiving an image of the road section ahead captured by a remote driving camera of the vehicle;
Outputting the received video on a screen; and
transmitting a remote driving control signal generated corresponding to the output screen to the vehicle;
generating remote driving information based on the received image and the remote driving control signal; and
Registering the generated remote driving information on the shared server
Method, including. 제9항에 있어서,
상기 공유 서버에 등록된 상기 원격 주행 정보는 타차량에 실시간 또는 주기적으로 공유되는 것을 특징으로 하는, 방법.According to clause 9,
The method, characterized in that the remote driving information registered in the shared server is shared in real time or periodically with other vehicles. 제10항에 있어서,
상기 타차량은 자율 주행 모드로 상기 전방 도로 구간을 따라 상기 차량에 후행하는 차량을 포함하는, 방법.According to clause 10,
The method, wherein the other vehicle includes a vehicle following the vehicle along the front road section in an autonomous driving mode. 제9항에 있어서,
상기 공유 서버는 클라우드 서버, 로컬 엣지(Local Edge) 서버 및 사설 서버 중 적어도 하나를 포함하는, 방법. According to clause 9,
The method wherein the shared server includes at least one of a cloud server, a local edge server, and a private server. 제9항에 있어서,
상기 원격 주행 정보는 상기 전방 도로 구간에 상응하는 웨이포인트(Waypoint) 정보, 루트(route) 정보 및 트랙(track) 정보 중 적어도 하나를 포함하는, 방법. According to clause 9,
The remote driving information includes at least one of waypoint information, route information, and track information corresponding to the road section ahead. 제9항에 있어서,
상기 차량은 자율 주행 모드로 주행 중 상기 전방 도로 구간에 대한 자율 주행이 불가한 것에 기반하여 상기 원격 주행 카메라에 의해 촬영된 압축 영상을 상기 원격 제어 센터로 전송하고, 상기 원격 제어 센터가 상기 압축 영상을 압축 해제 후 상기 화면에 출력하는, 방법.According to clause 9,
The vehicle transmits compressed video captured by the remote driving camera to the remote control center based on the inability of autonomous driving on the road section ahead while driving in autonomous driving mode, and the remote control center transmits the compressed video to the remote control center. How to decompress it and then output it to the screen. 네트워크를 통해 원격 제어 센터 및 공유 서버와 연동되는 차량에 있어서,
자율 주행 모드로 주행 중 전방 도로 구간에 대한 자율 주행이 가능한지 여부를 판단하는 자율 주행 판단부;
상기 판단 결과, 상기 자율 주행이 가능하지 않은 것에 기반하여 원격 주행 모드로 전환하여 상기 원격 제어 센서와 통신을 연결하고 원격 주행 카메라에 의해 촬영된 영상을 상기 원격 제어 센터로 전송하는 원격 주행 연결부;
상기 영상에 상응하여 상기 원격 제어 센터로부터 수신된 원격 주행 제어 신호에 기반하여 상기 차량의 동작을 제어하기 위한 제어 명령을 생성하는 제어 명령 생성부; 및
상기 영상 및 상기 원격 주행 제어 신호에 기반하여 생성된 원격 주행 정보가 저장되는 원격 주행 정보 저장소
를 포함하고, 상기 원격 제어 정보는 타차량에 공유되는 것을 특징으로 하는, 차량. In a vehicle that is linked to a remote control center and a shared server through a network,
an autonomous driving determination unit that determines whether autonomous driving is possible for the road section ahead while driving in autonomous driving mode;
As a result of the determination, a remote driving connection unit switches to a remote driving mode based on the fact that autonomous driving is not possible, establishes communication with the remote control sensor, and transmits an image captured by the remote driving camera to the remote control center;
a control command generator that generates a control command for controlling the operation of the vehicle based on a remote driving control signal received from the remote control center in correspondence with the image; and
A remote driving information storage that stores remote driving information generated based on the image and the remote driving control signal.
A vehicle including, wherein the remote control information is shared with other vehicles. 제15항에 있어서,
상기 자율 주행 판단부가 상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 상기 원격 주행 정보 저장소에 존재하는지 여부를 판단하고, 상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 상기 내부 저장소에 존재하지 않는 것에 기반하여 상기 원격 주행 모드로의 전환을 결정하는 것을 특징으로 하는, 차량.According to clause 15,
The autonomous driving determination unit determines whether remote driving information previously stored corresponding to the road section ahead exists in the remote driving information storage, and whether remote driving information previously stored corresponding to the road section ahead exists in the internal storage. Characterized in that determining the transition to the remote driving mode based on the vehicle. 제15항에 있어서,
고정밀 지도 정보와 구비된 센서로부터 수집된 센싱 정보에 기반하여 상기 전방 도로 구간에 상응하는 정밀 측위 정보를 생성하는 고정밀 측위부; 및
상기 고정밀 지도 정보 및 상기 센싱 정보에 기반하여 상기 전방 도로 구간에 상응하는 경로를 생성하는 경로 생성부
를 더 포함하되,
상기 자율 주행 판단부가 상기 전방 도로 구간에 상응하여 기 저장된 원격 주행 정보가 존재하는 것에 기반하여 상기 정밀 측위 정보와 상기 생성된 경로 정보를 각각 상기 원격 주행 정보와 비교하고, 상기 비교 결과에 따라 상기 원격 주행 정보를 이용하여 상기 자율 주행 모드를 유지하는 것이 가능한지 판단하는 것을 특징으로 하는, 차량. According to clause 15,
A high-precision positioning unit that generates precise positioning information corresponding to the road section ahead based on high-precision map information and sensing information collected from a provided sensor; and
A route generator that generates a route corresponding to the road section ahead based on the high-precision map information and the sensing information.
Including more,
The autonomous driving determination unit compares the precise positioning information and the generated route information with the remote driving information, respectively, based on the presence of remote driving information previously stored corresponding to the road section ahead, and the remote driving information according to the comparison result. A vehicle characterized in that it determines whether it is possible to maintain the autonomous driving mode using driving information. 제17항에 있어서,
상기 원격 주행 정보를 이용하여 상기 자율 주행 모드 유지가 가능하지 않은 것에 기반하여 상기 원격 주행 모드로 전환되는 것을 특징으로 하는, 차량.According to clause 17,
Characterized in that the vehicle switches to the remote driving mode based on the fact that it is not possible to maintain the autonomous driving mode using the remote driving information. 제15항에 있어서,
상기 원격 주행 모드로 전환된 것에 기반하여 상기 전방 도로 구간에 대한 자율 주행이 불가함을 알리는 소정 경고 알람 메시지를 차량간 통신을 통해 후행 차량으로 전송하는 V2X(Vehicle to Everything) 통신부를 더 포함하는, 차량. According to clause 15,
Based on the switch to the remote driving mode, it further includes a V2X (Vehicle to Everything) communication unit that transmits a predetermined warning alarm message indicating that autonomous driving on the road section ahead is impossible to the following vehicle through vehicle-to-vehicle communication, vehicle. 제18항에 있어서,
상기 경고 알람 메시지의 전송에 따라, 상기 공유된 상기 원격 주행 정보가 상기 후행 차량에 의해 획득되고, 상기 획득된 원격 주행 정보에 기반하여 상기 후행 차량의 자율 주행 모드가 유지되는 것을 특징으로 하는, 차량. According to clause 18,
In accordance with the transmission of the warning alarm message, the shared remote driving information is acquired by the following vehicle, and the autonomous driving mode of the following vehicle is maintained based on the acquired remote driving information. . 제15항에 있어서,
상기 원격 주행 정보는 상기 전방 도로 구간에 상응하는 웨이포인트(Waypoint) 어레이(Array) 정보, 루트(route) 정보 및 트랙(track) 정보 중 적어도 하나를 포함하는, 차량. According to clause 15,
The remote driving information includes at least one of waypoint array information, route information, and track information corresponding to the road section ahead. 제15항에 있어서,
상기 원격 주행 정보는 상기 원격 제어 센터에 의해 생성된 후 상기 공유 서버에 등록되어 상기 타차량에 공유되는 것을 특징으로 하는, 차량.According to clause 15,
The remote driving information is generated by the remote control center and then registered in the shared server to be shared with the other vehicle. 네트워크를 통해 차량 및 공유 서버와 연동되는 원격 제어 센터에 있어서,
상기 차량의 원격 주행 카메라에 의해 촬영된 전방 도로 구간에 대한 압축된 영상을 수신하는 통신 장치;
상기 수신된 영상을 복호하여 모니터링 화면에 출력하는 복호기; 및
원격지 운전자의 조작에 따라 상기 화면에 출력된 영상에 상응하는 원격 주행 제어 신호를 생성하는 원격지 운전 장치; 및
상기 원격 주행 제어 신호를 상기 통신 장치를 통해 상기 차량으로 전송하는 주제어기
를 포함하고, 상기 수신된 영상 및 상기 원격 주행 제어 신호를 기반으로 원격 주행 정보가 생성되어 상기 공유 서버에 등록되는 것을 특징으로 하는, 원격 제어 센터.In the remote control center linked to vehicles and shared servers through a network,
a communication device that receives compressed images of the road section ahead captured by the vehicle's remote driving camera;
a decoder that decodes the received video and outputs it on a monitoring screen; and
a remote driving device that generates a remote driving control signal corresponding to the image displayed on the screen according to the remote driver's operation; and
A main controller that transmits the remote driving control signal to the vehicle through the communication device
A remote control center comprising: remote driving information is generated based on the received image and the remote driving control signal and registered in the shared server. 제23항에 있어서,
상기 공유 서버에 등록된 상기 원격 주행 정보가 자율 주행 모드로 상기 전방 도로 구간을 따라 상기 차량에 후행하는 타차량에 공유되어 상기 타차량의 자율 주행 모드가 유지되는 것을 특징으로 하는, 원격 제어 센터.According to clause 23,
A remote control center, characterized in that the remote driving information registered in the shared server is shared with other vehicles following the vehicle along the road section ahead in autonomous driving mode, so that the autonomous driving mode of the other vehicles is maintained. 자율 주행 모드로 주행 중 전방 도로 구간에서 자율 주행이 불가한 것에 기반하여 원격 주행 모드로 전환하여 구비된 원격 주행 카메라를 통해 영상을 촬영하는 차량;
상기 촬영된 영상에 상응하는 원격 주행 제어 신호를 생성하여 상기 차량에 전송하고, 상기 영상 및 상기 원격 주행 제어 신호에 기반하여 상기 전방 도로 구간에 상응하는 원격 주행 정보를 생성하는 원격 제어 센터; 및
상기 원격 주행 정보가 상기 원격 제어 센터에 의해 등록되어 유지되는 공유 서버
를 포함하고, 상기 원격 주행 정보가 자율 주행 모드로 상기 전방 도로 구간을 따라 상기 차량에 후행하는 타차량에 공유되어 상기 타차량의 자율 주행 모드가 유지되는 것을 특징으로 하는, 원격 주행 시스템.A vehicle that switches to remote driving mode and captures images through a remote driving camera based on the fact that autonomous driving is not possible in the road section ahead while driving in autonomous driving mode;
a remote control center that generates a remote driving control signal corresponding to the captured image and transmits it to the vehicle, and generates remote driving information corresponding to the road section ahead based on the image and the remote driving control signal; and
A shared server where the remote driving information is registered and maintained by the remote control center
A remote driving system comprising: the remote driving information is shared with other vehicles following the vehicle along the road section ahead in an autonomous driving mode to maintain the autonomous driving mode of the other vehicles.
KR1020220038172A 2022-02-16 2022-03-28 Autonomous driving control method based on tele-operated driving information and apparatus and system therefor KR20230139950A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220038172A KR20230139950A (en) 2022-03-28 2022-03-28 Autonomous driving control method based on tele-operated driving information and apparatus and system therefor
PCT/KR2023/001156 WO2023158126A1 (en) 2022-02-16 2023-01-26 Remote driving support system and method using same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220038172A KR20230139950A (en) 2022-03-28 2022-03-28 Autonomous driving control method based on tele-operated driving information and apparatus and system therefor

Publications (1)

Publication Number Publication Date
KR20230139950A true KR20230139950A (en) 2023-10-06

Family

ID=88296508

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220038172A KR20230139950A (en) 2022-02-16 2022-03-28 Autonomous driving control method based on tele-operated driving information and apparatus and system therefor

Country Status (1)

Country Link
KR (1) KR20230139950A (en)

Similar Documents

Publication Publication Date Title
US10618519B2 (en) Systems and methods for autonomous vehicle lane change control
JPWO2019181284A1 (en) Information processing equipment, mobile devices, and methods, and programs
CN114667460A (en) System and method for improving vehicle operation using movable sensors
JP7205695B2 (en) driving support system
CN115079687A (en) System, method, and storage medium for autonomous vehicles
CN112486163A (en) Autonomous vehicle operation based on availability of navigation information
CN116670609A (en) System for predicting future state of autonomous vehicle
US20230085010A1 (en) Automated moving platform
KR20230139950A (en) Autonomous driving control method based on tele-operated driving information and apparatus and system therefor
WO2021085048A1 (en) Information processing device, information processing system, and information processing method
CN115808921A (en) Method and system for a vehicle
KR20240003364A (en) Method for monitoring network status for teleoperated driving and apparatus and system therefor
KR20230156190A (en) Method of providing operational design domain for autonomous driving and apparatus and system therefor
KR20240019928A (en) Method for predicting and determining abnormal state of autonomous driving vehicle and apparatus and system therefor
US20240123996A1 (en) Methods and systems for traffic light labelling via motion inference
US20240123975A1 (en) Guided generation of trajectories for remote vehicle assistance
US20230382427A1 (en) Motion prediction in an autonomous vehicle using fused synthetic and camera images
KR20240003765A (en) Method for validating control signal of autonomous driving vehicle in teleoperated driving state and apparatus and system therefor
KR20230152901A (en) Method for recognizing and preventing accident in tele-operated driving system and apparatus and system therefor
US11887338B2 (en) Maintaining calibration of an IBIS camera
US20240131984A1 (en) Turn signal assignment for complex maneuvers
US20230373529A1 (en) Safety filter for machine learning planners
KR20230173769A (en) Method for validating control signal of teleoperated control center in teleoperated driving state and apparatus and system therefor
US11940559B2 (en) Light detection and range (LIDAR) device with component stacking for coaxial readout without splitter mirror for autonomous driving vehicles
US20240126254A1 (en) Path selection for remote vehicle assistance

Legal Events

Date Code Title Description
E902 Notification of reason for refusal