KR20230081116A - Remote autonomous driving test apparatus, method, and computer-readable recording medium storing the same - Google Patents
Remote autonomous driving test apparatus, method, and computer-readable recording medium storing the same Download PDFInfo
- Publication number
- KR20230081116A KR20230081116A KR1020210168876A KR20210168876A KR20230081116A KR 20230081116 A KR20230081116 A KR 20230081116A KR 1020210168876 A KR1020210168876 A KR 1020210168876A KR 20210168876 A KR20210168876 A KR 20210168876A KR 20230081116 A KR20230081116 A KR 20230081116A
- Authority
- KR
- South Korea
- Prior art keywords
- autonomous driving
- vehicle
- test
- operating code
- virtual image
- Prior art date
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 147
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012544 monitoring process Methods 0.000 claims abstract description 65
- 230000008569 process Effects 0.000 claims description 16
- 238000004088 simulation Methods 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000010998 test method Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 40
- 238000005516 engineering process Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000012827 research and development Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M17/00—Testing of vehicles
- G01M17/007—Wheeled or endless-tracked vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 원격 자율주행 시험 장치, 방법 및 이를 저장한 컴퓨터 읽기 가능한 기록매체에 관한 것으로, 상기 장치는 사용자 단말로부터 자율주행 운영코드를 수신하고 자율주행 시험 신호를 기초로 실험 차량의 자율주행 지시를 제공하는 웹 인터페이스부, 상기 자율주행 운영코드를 기초로 원격 자율주행 시험 예약시간을 할당하는 사용자 관리 서버부, 상기 자율주행 운영코드를 사전에 검증하여 상기 자율주행 운영코드를 수정하고 자율주행 실행을 위한 실행코드로 구성된 가상 이미지를 생성하며 상기 실험 차량에 상기 가상 이미지를 전송하고 상기 자율주행 시험 신호를 생성하는 가상 이미지 관리 서버부, 및 상기 자율주행 지시가 제공되면 상기 실험 차량의 현재 위치를 기초로 영상 센서를 통해 상기 실험 차량의 주행 환경을 모니터링하여 주행환경 모니터링 영상을 생성하는 주행 환경 모니터링부를 포함한다.The present invention relates to a remote autonomous driving test apparatus, method, and a computer readable recording medium storing the same, wherein the apparatus receives an autonomous driving operating code from a user terminal and issues autonomous driving instructions for an experimental vehicle based on an autonomous driving test signal. A web interface unit that provides, a user management server unit that allocates remote autonomous driving test reservation time based on the autonomous driving operating code, verifies the autonomous driving operating code in advance, modifies the autonomous driving operating code, and executes autonomous driving. A virtual image management server unit generating a virtual image composed of execution code for the test vehicle, transmitting the virtual image to the test vehicle and generating the autonomous driving test signal, and based on the current location of the test vehicle when the autonomous driving instruction is provided. and a driving environment monitoring unit configured to generate a driving environment monitoring image by monitoring the driving environment of the experimental vehicle through a raw image sensor.
Description
본 발명은 원격 자율주행 시험 기술에 관한 것으로, 보다 상세하게는, 웹 인터페이스를 통해 사용자가 원격으로 자율주행 운영코드를 수정하고 실험 차량을 시험해볼 수 있도록 환경을 제공하는 원격 자율주행 시험 장치, 방법 및 이를 저장한 컴퓨터 읽기 가능한 기록매체에 관한 것이다.The present invention relates to a remote autonomous driving test technology, and more particularly, to a remote autonomous driving test apparatus and method for providing an environment for a user to remotely modify an autonomous driving operating code and test an experimental vehicle through a web interface. and a computer-readable recording medium storing the same.
4차 산업혁명 시대에 접어들며, 다양한 분야에서 '자율주행기술'을 도입하기 위해 연구하는 중이다. 자율주행 기술이란 일반적인 주행상황에서 목적지까지의 경로상 부분 자동화 또는 완전 자율주행이 가능한 시스템을 의미한다. 이러한 자율주행 기술이 탑재된 차량을 '자율주행차' 라고 부르고 있다. 차량의 자율주행은 카메라와 레이더, 초음파 등의 센서를 통해 상황을 인식하고, 전자제어 시스템(ECU) 등에서 그 상황에 대한 정보를 판단한 후 가감속, 조향, 제동 등으로 차량을 적절하게 제어함으로써 이뤄진다.Entering the era of the 4th industrial revolution, we are researching to introduce 'autonomous driving technology' in various fields. Autonomous driving technology refers to a system capable of partially or fully autonomous driving on a route from a normal driving situation to a destination. Vehicles equipped with such self-driving technology are called 'autonomous vehicles'. Autonomous driving of a vehicle is achieved by recognizing a situation through sensors such as cameras, radars, and ultrasonic waves, determining information about the situation in an electronic control system (ECU), and then controlling the vehicle appropriately through acceleration, deceleration, steering, and braking. .
자율주행차량 외에도 자율주행기술은 생활 편의를 위한 다양한 곳에서 적용되고 있다. 예를 들면, 실내 환경에서 보관함에 음식을 담아 장애물을 피해 서빙이 가능한 음식 배달 로봇이나 고객을 따라다니며 상품 위치를 안내하는 스마트카드 등이 있다.In addition to self-driving vehicles, self-driving technology is being applied in various places for convenience in life. For example, there is a food delivery robot that can serve food in an indoor environment by avoiding obstacles, or a smart card that guides a customer to the location of a product.
자율주행 연구를 위해서는 고가의 센서와 장비들이 필요하기 때문에 자율주행 기술을 연구 개발할 수 있는 환경이 매우 제한적이다. 현재 자율주행은 비용의 문제로 연구자가 아닌 일반인이 접할 수 있는 기회가 없다. 또한, 청소년 혹은 초보자 수준의 개발자들은 자율주행에 사용되는 개발도구의 사용에 있어 어려움을 겪을 수 있다.Because autonomous driving research requires expensive sensors and equipment, the environment for research and development of autonomous driving technology is very limited. Currently, self-driving technology has no opportunity for non-researchers to access it due to cost issues. In addition, youth or beginner level developers may experience difficulties in using development tools used for autonomous driving.
따라서 모든 사람들이 자율주행을 경험하고 자율주행 연구 개발에 참여할 수 있는 환경 제공이 요구되었다.Therefore, it was required to provide an environment where everyone can experience autonomous driving and participate in autonomous driving research and development.
본 발명의 일 실시예는 웹 인터페이스를 통해 사용자가 원격으로 자율주행 운영코드를 수정하고 실험차량을 시험해볼 수 있도록 환경을 제공하는 원격 자율주행 시험 장치, 방법 및 이를 저장한 컴퓨터 읽기 가능한 기록매체를 제공하고자 한다.An embodiment of the present invention provides a remote autonomous driving test apparatus and method for providing an environment for a user to remotely modify an autonomous driving operating code and test an experimental vehicle through a web interface, and a computer readable recording medium storing the same. want to provide
본 발명의 일 실시예는 모든 사람들이 자율주행을 경험할 수 있는 오픈소스 원격 자율주행 환경을 제공하여 저비용으로 더 많은 사람들이 자율주행 연구 개발에 참여할 수 있게 하는 원격 자율주행 시험 장치, 방법 및 이를 저장한 컴퓨터 읽기 가능한 기록매체를 제공하고자 한다.An embodiment of the present invention provides an open source remote autonomous driving environment where everyone can experience autonomous driving, thereby enabling more people to participate in autonomous driving research and development at low cost, a remote autonomous driving test apparatus, method, and storage thereof. It is intended to provide a computer-readable recording medium.
본 발명의 일 실시예는 자율주행을 추상화한 간단한 기본 코드를 제공하여 코딩을 처음 접하는 초보자들도 간단한 코딩을 통해 자율주행을 경험할 수 있는 환경을 제공하고 숙련자들에게는 직접 소스를 수정하고 빌드(build)할 수 있는 커스터마이징 기능을 제공하고, 자율주행 실행을 위한 실행코드로 구성된 가상 이미지를 통해 사용자별 독립 개발 환경을 제공할 수 있는 원격 자율주행 시험 장치, 방법 및 이를 저장한 컴퓨터 읽기 가능한 기록매체를 제공하고자 한다.An embodiment of the present invention provides an environment in which even beginners who are new to coding can experience autonomous driving through simple coding by providing simple basic codes abstracting autonomous driving, and for experienced users to directly modify the source and build (build). ), and a remote autonomous driving test device and method capable of providing an independent development environment for each user through a virtual image composed of executable codes for autonomous driving execution, and a computer-readable recording medium storing them want to provide
실시예들 중에서, 원격 자율주행 시험 장치는 사용자 단말로부터 자율주행 운영코드를 수신하고 자율주행 시험 신호를 기초로 실험 차량의 자율주행 지시를 제공하는 웹 인터페이스부, 상기 자율주행 운영코드를 기초로 원격 자율주행 시험 예약시간을 할당하는 사용자 관리 서버부, 상기 자율주행 운영코드를 사전에 검증하여 상기 자율주행 운영코드를 수정하고 자율주행 실행을 위한 실행코드로 구성된 가상 이미지를 생성하며 상기 실험 차량에 상기 가상 이미지를 전송하고 상기 자율주행 시험 신호를 생성하는 가상 이미지 관리 서버부, 및 상기 자율주행 지시가 제공되면 상기 실험 차량의 현재 위치를 기초로 영상 센서를 통해 상기 실험 차량의 주행 환경을 모니터링하여 주행환경 모니터링 영상을 생성하는 주행 환경 모니터링부를 포함한다.Among the embodiments, the remote autonomous driving test apparatus includes a web interface unit that receives an autonomous driving operating code from a user terminal and provides autonomous driving instructions for an experimental vehicle based on the autonomous driving test signal, and a remote autonomous driving operating code based on the autonomous driving operating code. A user management server unit that allocates a reservation time for an autonomous driving test, verifies the autonomous driving operating code in advance, modifies the autonomous driving operating code, creates a virtual image composed of executable codes for autonomous driving execution, A virtual image management server unit that transmits virtual images and generates the autonomous driving test signal, and when the autonomous driving instruction is provided, the driving environment of the experimental vehicle is monitored through an image sensor based on the current location of the experimental vehicle to drive A driving environment monitoring unit generating an environment monitoring image is included.
상기 웹 인터페이스부는 상기 실험 차량으로부터 차량상태정보를 수신하고 상기 주행환경 모니터링 영상과 함께 상기 사용자 단말에 제공할 수 있다.The web interface unit may receive vehicle condition information from the test vehicle and provide the driving environment monitoring image to the user terminal.
상기 웹 인터페이스부는 상기 차량상태정보의 이상유무 또는 기준치 이상의 변동유무를 검출하여 상기 사용자 단말에게 상기 자율주행 운영코드의 수청 필요성을 알릴 수 있다.The web interface unit may detect whether or not there is an abnormality in the vehicle condition information or whether there is a change above a reference value, and notify the user terminal of the need to receive the autonomous driving operation code.
상기 가상 이미지 관리 서버부는 상기 검증의 과정에서 상기 자율주행 운영코드의 오류가 검출된 경우에는 상기 사용자 단말에 코드 에디터를 제공하여 상기 수정을 처리할 수 있다.The virtual image management server unit may process the modification by providing a code editor to the user terminal when an error in the autonomous driving operating code is detected in the verification process.
상기 가상 이미지 관리 서버부는 상기 원격 자율주행 시험 예약시간 전까지 가상 머신으로 구현된 가상 차량에 상기 수정된 자율주행 운영코드를 업로드하여 상기 가상 차량의 시뮬레이션을 수행할 수 있다.The virtual image management server unit may perform a simulation of the virtual vehicle by uploading the modified autonomous driving operating code to a virtual vehicle implemented as a virtual machine before the reservation time for the remote autonomous driving test.
상기 가상 이미지 관리 서버부는 상기 가상 차량의 시뮬레이션 결과가 차량 주행과 연관된 특정 치명적 오류 기준을 통과한 경우에는 상기 수정된 자율주행 운영코드를 상기 가상 이미지로 변환하여 상기 실험 차량에 제공할 수 있다.The virtual image management server may convert the modified autonomous driving operating code into the virtual image and provide the modified autonomous driving operating code to the test vehicle when the simulation result of the virtual vehicle passes a specific fatal error criterion related to vehicle driving.
상기 주행 환경 모니터링부는 상기 실험 차량에 있는 GPS (Global Positioning System) 위치를 주기적으로 수신하여 상기 현재 위치를 추정하고 상기 현재 위치를 기준으로 특정 반경 내에 있는 주변 CCTV 카메라를 동작시켜 상기 실험 차량을 촬영할 수 있다.The driving environment monitoring unit periodically receives a global positioning system (GPS) position of the test vehicle to estimate the current location, and operates a nearby CCTV camera within a specific radius based on the current location to photograph the test vehicle. there is.
상기 주행 환경 모니터링부는 상기 주변 CCTV 카메라의 PTZ(Pan-Tilt-Zoom)를 상기 실험 차량의 현재 위치 방향으로 집중하여 상기 실험 차량의 움직임 및 충돌 여부를 모니터링할 수 있다.The driving environment monitoring unit may monitor movement of the test vehicle and collision by concentrating PTZ (Pan-Tilt-Zoom) of the surrounding CCTV camera toward the current location of the test vehicle.
상기 주행 환경 모니터링부는 상기 실험 차량의 움직임에 이상이 검출되거나 또는 상기 실험 차량의 충돌이 검출된 경우에는 상기 가상 이미지 관리 서버부가 상기 사용자 단말에 상기 가상 이미지에 대한 디버깅 윈도우를 제공하여 상기 자율주행 운영코드를 수정하도록 할 수 있다.When an abnormality in the motion of the test vehicle or a collision of the test vehicle is detected by the driving environment monitoring unit, the virtual image management server provides a debugging window for the virtual image to the user terminal to operate the autonomous driving. You can edit the code.
실시예들 중에서, 원격 자율주행 시험 방법은 사용자 단말로부터 자율주행 운영코드를 수신하고 자율주행 시험 신호를 기초로 실험 차량의 자율주행 지시를 제공하는 웹 인터페이스 단계, 상기 자율주행 운영코드를 기초로 원격 자율주행 시험 예약시간을 할당하는 사용자 관리 서버 단계, 상기 자율주행 운영코드를 사전에 검증하여 상기 자율주행 운영코드를 수정하고 자율주행 실행을 위한 실행코드로 구성된 가상 이미지를 생성하며 상기 실험 차량에 상기 가상 이미지를 전송하고 상기 자율주행 시험 신호를 생성하는 가상 이미지 관리 서버 단계, 및 상기 자율주행 지시가 제공되면 상기 실험 차량의 현재 위치를 기초로 영상 센서를 통해 상기 실험 차량의 주행 환경을 모니터링하여 주행환경 모니터링 영상을 생성하는 주행 환경 모니터링 단계를 포함한다.Among the embodiments, a remote autonomous driving test method includes a web interface step of receiving an autonomous driving operating code from a user terminal and providing autonomous driving instructions for an experimental vehicle based on the autonomous driving test signal; A user management server step for allocating a reservation time for an autonomous driving test, verifying the autonomous driving operating code in advance, modifying the autonomous driving operating code, generating a virtual image composed of executable codes for autonomous driving execution, A virtual image management server step of transmitting a virtual image and generating the autonomous driving test signal, and when the autonomous driving instruction is provided, the driving environment of the experimental vehicle is monitored through an image sensor based on the current position of the experimental vehicle to drive and a driving environment monitoring step of generating an environment monitoring image.
실시예들 중에서, 원격 자율주행 시험 방법을 저장한 컴퓨터 읽기 가능한 기록매체는 사용자 단말로부터 자율주행 운영코드를 수신하고 자율주행 시험 신호를 기초로 실험 차량의 자율주행 지시를 제공하는 웹 인터페이스 단계, 상기 자율주행 운영코드를 기초로 원격 자율주행 시험 예약시간을 할당하는 사용자 관리 서버 단계, 상기 자율주행 운영코드를 사전에 검증하여 상기 자율주행 운영코드를 수정하고 자율주행 실행을 위한 실행코드로 구성된 가상 이미지를 생성하며 상기 실험 차량에 상기 가상 이미지를 전송하고 상기 자율주행 시험 신호를 생성하는 가상 이미지 관리 서버 단계, 및 상기 자율주행 지시가 제공되면 상기 실험 차량의 현재 위치를 기초로 영상 센서를 통해 상기 실험 차량의 주행 환경을 모니터링하여 주행환경 모니터링 영상을 생성하는 주행 환경 모니터링 단계를 포함한다.In embodiments, a computer readable recording medium storing a remote autonomous driving test method includes a web interface step of receiving an autonomous driving operating code from a user terminal and providing autonomous driving instructions for an experimental vehicle based on an autonomous driving test signal; A user management server step that allocates remote autonomous driving test reservation time based on the autonomous driving operating code, verifies the autonomous driving operating code in advance, modifies the autonomous driving operating code, and virtual image composed of executable code for autonomous driving execution. A virtual image management server step of generating a virtual image and transmitting the virtual image to the test vehicle and generating the self-driving test signal, and when the self-driving instruction is provided, the experiment is performed through an image sensor based on the current location of the test vehicle. A driving environment monitoring step of monitoring the driving environment of the vehicle and generating a driving environment monitoring image.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technology may have the following effects. However, it does not mean that a specific embodiment must include all of the following effects or only the following effects, so it should not be understood that the scope of rights of the disclosed technology is limited thereby.
본 발명에 따른 원격 자율주행 시험 장치, 방법 및 이를 저장한 컴퓨터 읽기 가능한 기록매체는 웹 인터페이스를 통해 사용자가 원격으로 자율주행 운영코드를 수정하고 실험차량을 시험해볼 수 있도록 환경을 제공할 수 있다.The remote self-driving test apparatus and method according to the present invention and the computer readable recording medium storing the same can provide an environment in which a user can remotely modify an autonomous driving operating code and test an experimental vehicle through a web interface.
본 발명에 따른 원격 자율주행 시험 장치, 방법 및 이를 저장한 컴퓨터 읽기 가능한 기록매체는 모든 사람들이 자율주행을 경험할 수 있는 오픈소스 원격 자율주행 환경을 제공하여 저비용으로 더 많은 사람들이 자율주행 연구 개발에 참여할 수 있다.The remote autonomous driving test device and method according to the present invention, and the computer readable recording medium storing them provide an open source remote autonomous driving environment in which everyone can experience autonomous driving, allowing more people to research and develop autonomous driving at a low cost. can participate
본 발명에 따른 원격 자율주행 시험 장치, 방법 및 이를 저장한 컴퓨터 읽기 가능한 기록매체는 자율주행을 추상화한 간단한 기본 코드를 제공하여 코딩을 처음 접하는 초보자들도 간단한 코딩을 통해 자율주행을 경험할 수 있는 환경을 제공하고 숙련자들에게는 직접 소스를 수정하고 빌드(build)할 수 있는 커스터마이징 기능을 제공하고, 자율주행 실행을 위한 실행코드로 구성된 가상 이미지를 통해 사용자별 독립 개발 환경을 제공할 수 있다.The remote autonomous driving test apparatus and method according to the present invention, and the computer readable recording medium storing them provide simple basic codes abstracting autonomous driving, so that even beginners who are new to coding can experience autonomous driving through simple coding. It provides a customizing function to directly modify and build the source for experienced users, and provides an independent development environment for each user through a virtual image composed of executable code for autonomous driving.
도 1은 본 발명에 따른 원격 자율주행 시험 시스템을 설명하는 도면이다.
도 2는 도 1의 자율주행 시험 장치의 시스템 구성을 설명하는 도면이다.
도 3은 도 1의 자율주행 시험 장치의 기능적 구성을 설명하는 도면이다.
도 4는 본 발명에 따른 원격 자율주행 시험 과정을 설명하는 순서도이다.
도 5는 본 발명에 따른 원격 자율주행 시스템의 동작을 설명하는 도면이다.1 is a diagram illustrating a remote autonomous driving test system according to the present invention.
FIG. 2 is a diagram explaining the system configuration of the autonomous driving test apparatus of FIG. 1 .
FIG. 3 is a diagram explaining the functional configuration of the autonomous driving test apparatus of FIG. 1 .
4 is a flowchart illustrating a remote self-driving test process according to the present invention.
5 is a diagram explaining the operation of the remote autonomous driving system according to the present invention.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Since the description of the present invention is only an embodiment for structural or functional description, the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, since the embodiment can be changed in various ways and can have various forms, it should be understood that the scope of the present invention includes equivalents capable of realizing the technical idea. In addition, since the object or effect presented in the present invention does not mean that a specific embodiment should include all of them or only such effects, the scope of the present invention should not be construed as being limited thereto.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of terms described in this application should be understood as follows.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as "first" and "second" are used to distinguish one component from another, and the scope of rights should not be limited by these terms. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.It should be understood that when an element is referred to as being “connected” to another element, it may be directly connected to the other element, but other elements may exist in the middle. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that no intervening elements exist. Meanwhile, other expressions describing the relationship between components, such as “between” and “immediately between” or “adjacent to” and “directly adjacent to” should be interpreted similarly.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Expressions in the singular number should be understood to include plural expressions unless the context clearly dictates otherwise, and terms such as “comprise” or “having” refer to an embodied feature, number, step, operation, component, part, or these. It should be understood that it is intended to indicate that a combination exists, and does not preclude the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification code (eg, a, b, c, etc.) is used for convenience of explanation, and the identification code does not describe the order of each step, and each step clearly follows a specific order in context. Unless otherwise specified, it may occur in a different order than specified. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can be implemented as computer readable code on a computer readable recording medium, and the computer readable recording medium includes all types of recording devices storing data that can be read by a computer system. . Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. In addition, the computer-readable recording medium may be distributed to computer systems connected through a network, so that computer-readable codes may be stored and executed in a distributed manner.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs, unless defined otherwise. Terms defined in commonly used dictionaries should be interpreted as consistent with meanings in the context of the related art, and cannot be interpreted as having ideal or excessively formal meanings unless explicitly defined in the present application.
도 1은 본 발명에 따른 원격 자율주행 시험 시스템을 설명하는 도면이다.1 is a diagram illustrating a remote autonomous driving test system according to the present invention.
도 1을 참조하면, 원격 자율주행 시험 시스템(100)은 사용자 단말(110), 실험 차량(130), 자율주행 시험 장치(150) 및 데이터베이스(170)를 포함할 수 있다.Referring to FIG. 1 , the remote autonomous
사용자 단말(110)은 원격 자율주행 시험을 이용하는 사용자에 의해 운용되는 컴퓨팅 장치에 해당할 수 있다. 사용자 단말(110)은 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(110)은 자율주행 시험 장치(150)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(110)들은 자율주행 시험 장치(150)와 원격 자율주행 시험 예약시간에 따라 순서대로 연결될 수 있다. 또한, 사용자 단말(110)은 원격 자율주행 시험 시스템(100)에 접속하여 관련 서비스를 이용할 수 있는 전용 프로그램 또는 어플리케이션을 설치하여 실행할 수 있다.The
실험 차량(130)은 자율주행 기능을 포함하여 구현될 수 있고, 이 경우 자율주행을 위한 다양한 센서들을 포함할 수 있다. 예를 들어, 실험 차량(130)은 가속 페달 센서, 브레이크 페달 센서, 휠 가속도 센서, 차체 가속도 센서, 차체 진동 센서, GPS(Global Positioning System) 센서 및 조향각 센서 등을 포함할 수 있다. 실험 차량(130)은 자율주행 시험 장치(150)와 네트워크를 통해 연결될 수 있다.The
일 실시예에서, 실험 차량(130)은 엔진에 의해 생산된 동력을 이용하여 승객이나 화물을 운반하는 교통수단으로서 대표적인 예로서 자동차에 해당할 수 있다. 또한, 실험 차량(130)은 자동차에 한정되지 않고, 선박 및 비행기 등 동력을 이용하여 움직일 수 있는 다양한 운송 수단을 포함하는 개념으로 이해될 수 있다. In one embodiment, the
자율주행 시험 장치(150)는 원격 자율주행 시험을 위한 온라인 상의 공간을 제공하고 사용자와 실험 차량 사이의 연결을 중개할 수 있는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 자율주행 시험 장치(150)는 사용자 단말(110)과 유선 네트워크 또는 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 사용자 단말(110)과 데이터를 송·수신할 수 있다. 또한, 자율주행 시험 장치(150)는 실험 차량(130)과 무선 네트워크로 연결될 수 있고, 네트워크를 통해 실험 차량(130)과 데이터를 송·수신할 수 있다. 또한, 자율주행 시험 장치(150)는 필요에 따라 추가 기능을 제공하기 위하여 외부 시스템(미도시)과 연동하여 동작할 수 있다. 외부 시스템은 자율주행 시험 장치(150)와 원격 자율주행 시험을 제공하는 과정에서 추가적인 기능을 제공하기 위한 컴퓨팅 장치 또는 서버에 해당할 수 있다. 예를 들어, 외부 시스템은 결제 시스템, 인증 시스템 및 인공지능 시스템 등을 포함할 수 있다. The autonomous
데이터베이스(170)는 자율주행 시험 장치(150)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 데이터베이스(170)는 원격 자율주행 시험에 필요한 데이터를 저장할 수 있고, 실험 차량의 차량상태 결정을 위한 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 자율주행 시험 장치(150)가 실험 차량의 주행 환경을 모니터링하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.The
도 2는 도 1의 자율주행 시험 장치의 시스템 구성을 설명하는 도면이다.FIG. 2 is a diagram explaining the system configuration of the autonomous driving test apparatus of FIG. 1 .
도 2를 참조하면, 자율주행 시험 장치(150)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함하여 구현될 수 있다.Referring to FIG. 2 , the autonomous
프로세서(210)는 자율주행 시험 장치(150)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 자율주행 시험 장치(150)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 자율주행 시험 장치(150)의 CPU(Central Processing Unit)로 구현될 수 있다.The
메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 자율주행 시험 장치(150)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.The
사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 자율주행 시험 장치(150)는 독립적인 서버로서 수행될 수 있다.The user input/output unit 250 may include an environment for receiving user input and an environment for outputting specific information to the user. For example, the user input/output unit 250 may include an input device including an adapter such as a touch pad, a touch screen, an on-screen keyboard, or a pointing device, and an output device including an adapter such as a monitor or touch screen. In one embodiment, the user input/output unit 250 may correspond to a computing device connected through remote access, and in such a case, the autonomous
네트워크 입출력부(270)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.The network input/
도 3은 도 1의 자율주행 시험 장치의 기능적 구성을 설명하는 도면이다.FIG. 3 is a diagram explaining the functional configuration of the autonomous driving test apparatus of FIG. 1 .
도 3을 참조하면, 자율주행 시험 장치(150)는 웹 인터페이스부(310), 사용자 관리 서버부(330), 가상 이미지 관리 서버부(350), 주행 환경 모니터링부(370) 및 제어부(390)를 포함할 수 있다.Referring to FIG. 3 , the autonomous
웹 인터페이스부(310)는 사용자 단말(110)로부터 자율주행 운영코드를 수신하고 자율주행 시험 신호를 기초로 실험 차량(130)의 자율주행 지시를 제공할 수 있다. 사용자는 자율주행 운영코드를 프로그래밍할 수 있고, 이때 웹 인터페이스부(310)는 자율주행을 처음 접하는 사용자라도 자율주행 알고리즘을 개발할 수 있도록 오픈소스 소프트웨어 플랫폼을 제공할 수 있다. 예를 들면, 센서로부터 수집된 센싱 정보를 2D/3D 그래픽으로 시각화하는 뷰어, GUI 기반의 제어프로그램을 직접 설계할 수 있는 툴, 직접 프로그래밍까지 가능한 3차원 시뮬레이터 등이 제공될 수 있다. 일 실시예에서, 웹 인터페이스부(310)는 사용자 단말(110)로부터 수신한 자율주행 운영코드를 실행하여 실험 차량(130)을 작동시켜 자율주행 시험을 할 수 있다. 실험 차량(130)은 자율주행 시험 과정에서 차량상태정보를 웹 인터페이스부(310)로 전송할 수 있다. The
웹 인터페이스부(310)는 실험 차량(130)으로부터 차량상태정보를 수신하고 주행환경 모니터링 영상과 함께 사용자 단말(110)에 제공할 수 있다. 여기에서, 차량상태정보는 차량의 위치 및 자세정보, 차량 내부정보, 외부환경정보 등이 포함될 수 있다. 차량의 위치 및 자세정보는 실험 차량(130)에 있는 GPS/INS에서 획득한 경도, 위도, 요 각속도(Yaw rate), 횡 가속도 등으로 얻을 수 있으며, 차량 내부정보는 차속과 롤(Roll), 피치앵글(Pitch angle)을 포함할 수 있고, 외부환경정보는 비전(Vision)과 레이더(Radar)의 융합에 의해 획득된 앞차 및 옆차 간 거리 등으로부터 얻을 수 있다. 사용자는 실험 차량(130)의 현재 상태와 주행 환경을 웹 인터페이스부(310)를 통해 직접 확인하면서 실행의 여부를 결정할 수 있고, 웹 인터페이스부(310)에서 제공되는 주행환경 모니터링 정보를 통해 자신이 개발한 자율주행 운영코드를 검증할 수 있다. 일 실시예에서, 웹 인터페이스부(310)는 차량상태정보의 이상유무 또는 기준치 이상의 변동유무를 검출하여 사용자 단말(110)에게 자율주행 운영코드의 수정 필요성을 알릴 수 있다.The
사용자 관리 서버(330)는 자율주행 운영코드를 기초로 원격 자율주행 시험 예약시간을 할당할 수 있다. 사용자는 사용자 단말(110)을 통해 웹 인터페이스부(310)에 접속하여 자신이 사용하고자 하는 시간을 예약할 수 있다. 사용자가 웹 인터페이스부(310)를 통해 입력한 예약 정보는 사용자 관리 서버(330)에 등록될 수 있다. 일 실시예에서, 사용자 관리 서버(330)는 웹 인터페이스부(310)에 접속된 사용자 단말(110)에 대해 예약 가능 시간을 제공하여 사용자로 하여금 희망하는 시간을 예약하도록 할 수 있다. 여기에서, 사용자 관리 서버(330)는 복수의 사용자 단말(110)들로부터 수신되는 자율주행 운영코드 각각에 대해 예약시간을 할당하여 자율주행 시험이 겹치지 않도록 관리할 수 있다. 사용자 관리 서버(330)는 원격 자율주행 시험 예약정보를 가상 이미지 관리 서버부(350)에 전달하여 예약한 시간에 해당 사용자의 가상 이미지가 실험 차량(130)에 전달될 수 있게 한다.The
이미지 관리 서버부(350)는 자율주행 운영코드를 사전에 검증하여 자율주행 운영코드를 수정하고 자율주행 실행을 위한 실행코드로 구성된 가상 이미지를 생성하며 실험 차량(130)에 가상 이미지를 전송하고 자율주행 시험 신호를 생성할 수 있다. 이미지 관리 서버부(350)는 검증의 과정에서 자율주행 운영코드의 오류가 검출된 경우에는 사용자 단말(110)에 코드 에디터를 제공하여 수정을 처리할 수 있다. 즉, 사용자는 코드 에디터에서 자율주행 운영 코드 중 오류가 검출된 코드를 수정할 수 있다.The image
이미지 관리 서버부(350)는 원격 자율주행 시험 예약시간 전까지 가상 머신으로 구현된 가상 차량에 수정된 자율주행 운영코드를 업로드하여 가상 차량의 시뮬레이션을 수행할 수 있다. 즉, 원격 자율주행 시험 장치(150)는 예약시간에 실험 차량(130)의 자율주행 시험을 실행하기 전에 이미지 관리 서버부(350)를 통해 가상 차량으로 시뮬레이션을 수행할 수 있다. 이미지 관리 서버부(350)는 가상 차량의 시뮬레이션 결과가 차량 주행과 연관된 특정 치명적 오류 기준을 통과한 경우에는 수정된 자율주행 운영코드를 가상 이미지로 변환하여 실험 차량(130)에 제공할 수 있다. 예를 들면, 커브 길을 주행하는 자율 주행 차량의 전방 센서가 다른 차선의 차를 잘못 인식하거나 커브로 인해 전방 차량을 인지하지 못해 충돌이 발생하는 경우, 주변 물체를 인지하지 못할 경우, 젖은 노면에서 주행할 경우 물속의 타이어 궤적을 차선으로 잘못 인식하여 잘못된 차선 변경을 수행하는 경우 등을 치명적 오류 기준으로 정할 수 있다. 실험 차량(130)은 이미지 관리 서버부(350)로부터 전달받은 가상 이미지를 통해 자율주행 실행을 할 수 있다. The image
주행 환경 모니터링부(370)는 자율주행 지시가 제공되면 실험 차량(130)의 현재 위치를 기초로 영상 센서를 통해 실험 차량(130)의 주행 환경을 모니터링하여 주행환경 모니터링 영상을 생성할 수 있다. 주행 환경 모니터링부(370)는 웹 인터페이스부(310)로부터 자율주행 지시가 제공될 수 있다.When an autonomous driving instruction is provided, the driving
주행 환경 모니터링부(370)는 실험 차량(130)에 있는 GPS(Global Positioning System) 위치를 주기적으로 수신하여 현재 위치를 추정할 수 있다. 주행 환경 모니터링부(370)는 추정된 실험 차량(130)의 현재 위치를 기준으로 특정 반경 내에 있는 주변 CCTV 카메라를 동작시켜 실험 차량(130)을 촬영할 수 있다. 주행 환경 모니터링부(370)는 주변 CCTV 카메라의 PTZ(Pan-Tilt-Zoom)를 실험 차량(130)의 현재 위치 방향으로 집중하여 실험 차량(130)의 움직임 및 충돌 여부를 모니터링할 수 있다. 일 실시예에서, 주행 환경 모니터링부(370)는 실험 차량(130)의 주변 CCTV 카메라의 동작을 원격 제어하여 실험 차량(130)이 움직이는 방향으로 촬영할 수 있고 전방 차량이나 주변 물체와의 충돌 상황을 확대 촬영할 수 있다.The driving
일 실시예에서, CCTV 카메라는 어안렌즈가 장착될 수 있고 어안렌즈를 통해 사방의 영상을 촬영할 수 있다. 어안렌즈 카메라는 360도 방향을 고화질의 영상으로 촬영할 수 있다. 어안렌즈 카메라가 촬영한 영상데이터는 어안렌즈 특성상 360도를 감지 가능하나 영상이 곡률에 의해 왜곡되어 있기 때문에, 주행 환경 모니터링부(370)는 어안렌즈 카메라에서 촬영된 곡면영상을 평면영상으로 복원한 후 화질 개선(Image Enhancement)을 통해 보정 처리를 수행할 수 있다. 주행 환경 모니터링부(370)는 어안렌즈 카메라를 통해 실험 환경 전체를 모니터링한 정보와 차량을 중점적으로 모니터링한 정보 두가지를 웹 인터페이스부(310)에 전달할 수 있다. 이때, 웹 인터페이스부(310)는 사용자 단말(110)에 실험 환경 전체를 모니터링한 정보를 기본적으로 제공할 수 있으며 사용자 선택에 따라 차량을 중점적으로 모니터링한 정보를 사용자 단말(110)에 제공할 수 있다.In one embodiment, the CCTV camera may be equipped with a fish-eye lens and may capture images in all directions through the fish-eye lens. A fish-eye lens camera can capture 360-degree high-definition images. Image data captured by the fisheye lens camera can detect 360 degrees due to the nature of the fisheye lens, but since the image is distorted by curvature, the driving
주행 환경 모니터링부(370)는 실험 차량(130)의 움직임에 이상이 검출되거나 또는 실험 차량(130)의 충돌이 검출된 경우에는 가상 이미지 관리 서버부(350)가 사용자 단말(110)에 가상 이미지에 대한 디버깅 윈도우를 제공하여 자율주행 운영코드를 수정하도록 할 수 있다. 일 실시예에서, 주행 환경 모니터링부(370)는 딥러닝을 기반으로 주행환경 모니터링 영상에서 객체 인식을 통해 실험 차량(130)을 인식할 수 있고 행동모델을 통해 실험 차량(130)의 움직임을 탐지하여 해당 실험 환경에 특정되는 정상 움직임과 유사도 비교하여 이상 움직임을 검출할 수 있다. 또한, 주행 환경 모니터링부(370)는 주행환경 모니터링 영상 내에 있는 다중 객체들을 탐지하여 실험 차량(130)과 주변 물체 간 충돌 상황을 검출할 수 있다.The driving
제어부(390)는 자율주행 시험 장치(150)의 전체적인 동작을 제어하고, 웹 인터페이스부(310), 사용자 관리 서버부(330), 가상 이미지 관리 서버부(350) 및 주행 환경 모니터링부(370) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.The
도 4는 본 발명에 따른 원격 자율주행 시험 과정을 설명하는 순서도이다.4 is a flowchart illustrating a remote self-driving test process according to the present invention.
도 4를 참조하면, 자율주행 시험 장치(150)는 웹 인터페이스부(310)를 통해 사용자 단말(110)로부터 자율주행 운영코드를 수신하고 자율주행 시험 신호를 기초로 실험 차량(130)의 자율주행 지시를 제공할 수 있다(단계 S410). 일 실시예에서, 웹 인터페이스부(310)는 실험 차량(130)으로부터 차량상태정보를 수신하고 주행환경 모니터링 영상과 함께 사용자 단말(110)에 제공할 수 있다. 웹 인터페이스부(310)는 실험 차량(130)의 차량상태정보의 이상유무 또는 기준치 이상의 변동유무를 검출하여 사용자 단말(110)에게 자율주행 운영코드의 수정 필요성을 알릴 수 있다.Referring to FIG. 4 , the autonomous
또한, 자율주행 시험 장치(150)는 사용자 관리 서버부(330)를 통해 자율주행 운영코드를 기초로 원격 자율주행 시험 예약시간을 할당할 수 있다(단계 S430). 또한, 자율주행 시험 장치(150)는 가상 이미지 관리 서버부(350)를 통해 자율주행 운영코드를 사전에 검증하여 자율주행 운영코드를 수정하고 자율주행 실행을 위한 실행코드로 구성된 가상 이미지를 생성하며 실험 차량(130)에 가상 이미지를 전송하고 자율주행 시험 신호를 생성할 수 있다(단계 S450). 일 실시예에서, 가상 이미지 관리 서버부(350)는 검증의 과정에서 자율주행 운영코드의 오류가 검출된 경우에는 사용자 단말(110)에 코드 에디터를 제공하여 수정을 처리할 수 있다. 가상 이미지 관리 서버부(350)는 원격 자율주행 시험 예약시간 전까지 가상 머신으로 구현된 가상 차량에 수정된 자율주행 운영코드를 업로드하여 가상 차량의 시뮬레이션을 수행하고, 가상 차량의 시뮬레이션 결과가 차량 주행과 연관된 특정 치명적 오류 기준을 통과한 경우에는 수정된 자율주행 운영코드를 가상 이미지로 변환하여 실험 차량(130)에 제공할 수 있다.In addition, the autonomous
또한, 자율주행 시험 장치(150)는 주행 환경 모니터링부(370)를 통해 자율주행 지시가 제공되면 실험 차량(130)의 현재 위치를 기초로 영상 센서를 통해 실험 차량(130)의 주행 환경을 모니터링하여 주행환경 모니터링 영상을 생성할 수 있다(단계 S470). 일 실시예에서, 주행 환경 모니터링부(370)는 실험 차량(130)에 있는 GPS(Global Positioning System) 위치를 주기적으로 수신하여 현재 위치를 추정하고 현재 위치를 기준으로 특정 반경 내에 있는 주변 CCTV 카메라를 동작시켜 실험 차량(130)을 촬영할 수 있다. 주행 환경 모니터링부(370)는 주변 CCTV 카메라의 PTZ(Pan-Tilt-Zoom)를 실험 차량(130)의 현재 위치 방향으로 집중하여 실험 차량(130)의 움직임 및 충돌 여부를 모니터링하고, 실험 차량(130)의 움직임에 이상이 검출되거나 또는 실험 차량(130)의 충돌이 검출된 경우에는 가상 이미지 관리 서버부(350)가 사용자 단말(110)에 가상 이미지에 대한 디버깅 윈도우를 제공하여 자율주행 운영코드를 수정하도록 할 수 있다.In addition, the autonomous
도 5는 본 발명에 따른 원격 자율주행 시험 시스템의 동작을 설명하는 도면이다.5 is a diagram explaining the operation of the remote autonomous driving test system according to the present invention.
도 5를 참조하면, 사용자는 사용자 단말(110)을 통해 웹 인터페이스부(310)에 접속하여 원격 자율주행 시험을 예약할 수 있다(①). 원격 자율주행 시험 시스템(100)은 웹 인터페이스부(310)를 통해 사용자에게 독립된 작업공간에서 자율주행 소프트웨어를 수정하고 테스트할 수 있는 환경을 제공할 수 있다. 사용자가 웹 인터페이스부(310)를 통해 입력한 예약 정보는 사용자 관리 서버부(330)에 등록되어 사용자의 원격 자율주행 시험 예약시간을 관리할 수 있다(②). 원격 자율주행 시험 예약 과정에서 사용자가 입력한 자율주행 운영코드는 예약시간 전까지 가상 이미지 관리 서버부(350)에서 사전 검증을 수행하여 자율주행 운영코드의 오류를 수정할 수 있도록 한다. 사용자는 웹 인터페이스부(310)를 통해 제공되는 코드 에디터에서 자율주행 운영코드를 수정할 수 있고, 코드 수정 정보는 가상 이미지 관리 서버부(350)에 업로드될 수 있다(③). 사용자 관리 서버부(330)는 가상 이미지 관리 서버부(350)에 예약된 시간정보를 전달하고(④), 가상 이미지 관리 서버부(350)는 해당 사용자의 예약시간에 맞춰 수정된 자율주행 운영코드 정보를 반영한 가상 이미지를 빌드하고 수정 내용이 반영된 가상 이미지를 실험 차량에 전송할 수 있다(⑤). 웹 인터페이스부(310)는 예약된 시간에 사용자에 의한 실행명령에 따라 실험 차량(130)에 자율주행 지시를 제공하여 자율주행 시험을 실행할 수 있다(⑥). 실험 차량(130)은 가상 이미지의 실행코드에 따라 자율주행을 실행할 수 있다. 시험 과정에서 실험 차량(130)은 차량상태정보를 웹 인터페이스부(310)에 제공할 수 있고 주행 환경 모니터링부(370)는 실험 차량(130)의 주행 환경을 모니터링하여 주행환경 모니터링 영상을 생성하여 웹 인터페이스부(310)에 제공할 수 있다(⑦). 주행 환경 모니터링부(370)는 웹 인터페이스부(310)에 실험 차량(130)의 주행 환경 전체를 모니터링한 정보와 실험 차량(130)을 중점적으로 모니터링한 정보를 제공할 수 있다. 웹 인터페이스부(310)는 사용자 단말(110)에 실험 차량(130)의 차량 상태 정보 및 주행 환경 모니터링 정보를 제공하여 사용자가 실험 차량(130)의 현재 상태와 주행 환경을 직접 확인하면서 자신이 개발한 자율주행 운행코드를 검증할 수 있다(⑧). 웹 인터페이스부(310)는 기본적으로 사용자에게 실험 차량(130)의 주행 환경 전체를 모니터링한 정보를 제공하며, 실험 차량(130)을 중점적으로 모니터링한 정보를 선택할 수 있는 기능을 제공할 수 있다. 사용자는 실험 차량(130) 및 실험 환경을 선택적으로 확인하면서 자율주행 운행코드를 정확하게 검증하고 수정할 수 있다.Referring to FIG. 5 , the user may reserve a remote autonomous driving test by accessing the
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. You will understand that it can be done.
100: 원격 자율주행 시험 시스템
110: 사용자 단말 130: 실험 차량
150: 자율주행 시험 장치 170: 데이터베이스
210: 프로세서 230: 메모리
250: 사용자 입출력부 270: 네트워크 입출력부
310: 웹 인터페이스부 330: 사용자 관리 서버부
350: 가상 이미지 관리 서버부 370: 주행 환경 모니터링부
390: 제어부100: remote autonomous driving test system
110: user terminal 130: experimental vehicle
150: autonomous driving test device 170: database
210: processor 230: memory
250: user input/output unit 270: network input/output unit
310: web interface unit 330: user management server unit
350: virtual image management server unit 370: driving environment monitoring unit
390: control unit
Claims (11)
상기 자율주행 운영코드를 기초로 원격 자율주행 시험 예약시간을 할당하는 사용자 관리 서버부;
상기 자율주행 운영코드를 사전에 검증하여 상기 자율주행 운영코드를 수정하고 자율주행 실행을 위한 실행코드로 구성된 가상 이미지를 생성하며 상기 실험 차량에 상기 가상 이미지를 전송하고 상기 자율주행 시험 신호를 생성하는 가상 이미지 관리 서버부; 및
상기 자율주행 지시가 제공되면 상기 실험 차량의 현재 위치를 기초로 영상 센서를 통해 상기 실험 차량의 주행 환경을 모니터링하여 주행환경 모니터링 영상을 생성하는 주행 환경 모니터링부를 포함하는 원격 자율주행 시험 장치.
a web interface unit receiving an autonomous driving operating code from a user terminal and providing autonomous driving instructions for an experimental vehicle based on an autonomous driving test signal;
a user management server unit that allocates a remote autonomous driving test reservation time based on the autonomous driving operating code;
Verifying the autonomous driving operating code in advance, modifying the autonomous driving operating code, generating a virtual image composed of executable codes for autonomous driving execution, transmitting the virtual image to the test vehicle, and generating the autonomous driving test signal a virtual image management server unit; and
A remote autonomous driving test apparatus including a driving environment monitoring unit configured to generate a driving environment monitoring image by monitoring the driving environment of the experimental vehicle through an image sensor based on the current location of the experimental vehicle when the autonomous driving instruction is provided.
상기 실험 차량으로부터 차량상태정보를 수신하고 상기 주행환경 모니터링 영상과 함께 상기 사용자 단말에 제공하는 것을 특징으로 하는 원격 자율주행 시험 장치.
The method of claim 1, wherein the web interface unit
The remote autonomous driving test apparatus, characterized in that for receiving vehicle condition information from the test vehicle and providing it to the user terminal together with the driving environment monitoring image.
상기 차량상태정보의 이상유무 또는 기준치 이상의 변동유무를 검출하여 상기 사용자 단말에게 상기 자율주행 운영코드의 수청 필요성을 알리는 것을 특징으로 하는 원격 자율주행 시험 장치.
The method of claim 2, wherein the web interface unit
The remote autonomous driving test apparatus, characterized in that for notifying the user terminal of the need to receive the autonomous driving operating code by detecting whether or not there is an abnormality in the vehicle condition information or whether there is a change above a reference value.
상기 검증의 과정에서 상기 자율주행 운영코드의 오류가 검출된 경우에는 상기 사용자 단말에 코드 에디터를 제공하여 상기 수정을 처리하는 것을 특징으로 하는 원격 자율주행 시험 장치.
The method of claim 1, wherein the virtual image management server unit
When an error in the autonomous driving operating code is detected in the verification process, the remote autonomous driving test apparatus, characterized in that for processing the modification by providing a code editor to the user terminal.
상기 원격 자율주행 시험 예약시간 전까지 가상 머신으로 구현된 가상 차량에 상기 수정된 자율주행 운영코드를 업로드하여 상기 가상 차량의 시뮬레이션을 수행하는 것을 특징으로 하는 원격 자율주행 시험 장치.
The method of claim 4, wherein the virtual image management server unit
The remote autonomous driving test apparatus, characterized in that performing the simulation of the virtual vehicle by uploading the modified autonomous driving operating code to a virtual vehicle implemented as a virtual machine before the remote autonomous driving test reservation time.
상기 가상 차량의 시뮬레이션 결과가 차량 주행과 연관된 특정 치명적 오류 기준을 통과한 경우에는 상기 수정된 자율주행 운영코드를 상기 가상 이미지로 변환하여 상기 실험 차량에 제공하는 것을 특징으로 하는 원격 자율주행 시험 장치.
The method of claim 5, wherein the virtual image management server unit
When the simulation result of the virtual vehicle passes a specific fatal error criterion related to vehicle driving, the modified autonomous driving operating code is converted into the virtual image and provided to the test vehicle.
상기 실험 차량에 있는 GPS (Global Positioning System) 위치를 주기적으로 수신하여 상기 현재 위치를 추정하고 상기 현재 위치를 기준으로 특정 반경 내에 있는 주변 CCTV 카메라를 동작시켜 상기 실험 차량을 촬영하는 것을 특징으로 하는 원격 자율주행 시험 장치.
The method of claim 1, wherein the driving environment monitoring unit
Remote, characterized in that for periodically receiving the GPS (Global Positioning System) location of the test vehicle to estimate the current location and to operate a nearby CCTV camera within a specific radius based on the current location to photograph the test vehicle Autonomous driving test device.
상기 주변 CCTV 카메라의 PTZ(Pan-Tilt-Zoom)를 상기 실험 차량의 현재 위치 방향으로 집중하여 상기 실험 차량의 움직임 및 충돌 여부를 모니터링하는 것을 특징으로 하는 원격 자율주행 시험 장치.
The method of claim 7, wherein the driving environment monitoring unit
Remote autonomous driving test apparatus, characterized in that for monitoring the movement and collision of the test vehicle by concentrating the PTZ (Pan-Tilt-Zoom) of the surrounding CCTV camera in the direction of the current position of the test vehicle.
상기 실험 차량의 움직임에 이상이 검출되거나 또는 상기 실험 차량의 충돌이 검출된 경우에는 상기 가상 이미지 관리 서버부가 상기 사용자 단말에 상기 가상 이미지에 대한 디버깅 윈도우를 제공하여 상기 자율주행 운영코드를 수정하도록 하는 것을 특징으로 하는 원격 자율주행 시험 장치.
The method of claim 8, wherein the driving environment monitoring unit
When an abnormality is detected in the movement of the test vehicle or a collision of the test vehicle is detected, the virtual image management server provides a debugging window for the virtual image to the user terminal to modify the autonomous driving operating code. Remote autonomous driving test apparatus, characterized in that.
상기 자율주행 운영코드를 기초로 원격 자율주행 시험 예약시간을 할당하는 사용자 관리 서버 단계;
상기 자율주행 운영코드를 사전에 검증하여 상기 자율주행 운영코드를 수정하고 자율주행 실행을 위한 실행코드로 구성된 가상 이미지를 생성하며 상기 실험 차량에 상기 가상 이미지를 전송하고 상기 자율주행 시험 신호를 생성하는 가상 이미지 관리 서버 단계; 및
상기 자율주행 지시가 제공되면 상기 실험 차량의 현재 위치를 기초로 영상 센서를 통해 상기 실험 차량의 주행 환경을 모니터링하여 주행환경 모니터링 영상을 생성하는 주행 환경 모니터링 단계를 포함하는 원격 자율주행 시험 방법.
A web interface step of receiving an autonomous driving operating code from a user terminal and providing autonomous driving instructions for an experimental vehicle based on an autonomous driving test signal;
A user management server step of allocating a remote autonomous driving test reservation time based on the autonomous driving operating code;
Verifying the autonomous driving operating code in advance, modifying the autonomous driving operating code, generating a virtual image composed of executable codes for autonomous driving execution, transmitting the virtual image to the test vehicle, and generating the autonomous driving test signal a virtual image management server step; and
A remote autonomous driving test method comprising a driving environment monitoring step of generating a driving environment monitoring image by monitoring the driving environment of the experimental vehicle through an image sensor based on the current position of the experimental vehicle when the autonomous driving instruction is provided.
상기 자율주행 운영코드를 기초로 원격 자율주행 시험 예약시간을 할당하는 사용자 관리 서버 단계;
상기 자율주행 운영코드를 사전에 검증하여 상기 자율주행 운영코드를 수정하고 자율주행 실행을 위한 실행코드로 구성된 가상 이미지를 생성하며 상기 실험 차량에 상기 가상 이미지를 전송하고 상기 자율주행 시험 신호를 생성하는 가상 이미지 관리 서버 단계; 및
상기 자율주행 지시가 제공되면 상기 실험 차량의 현재 위치를 기초로 영상 센서를 통해 상기 실험 차량의 주행 환경을 모니터링하여 주행환경 모니터링 영상을 생성하는 주행 환경 모니터링 단계를 포함하는 원격 자율주행 시험 방법을 저장한 컴퓨터 읽기 가능한 기록매체.
A web interface step of receiving an autonomous driving operating code from a user terminal and providing autonomous driving instructions for an experimental vehicle based on an autonomous driving test signal;
A user management server step of allocating a remote autonomous driving test reservation time based on the autonomous driving operating code;
Verifying the autonomous driving operating code in advance, modifying the autonomous driving operating code, generating a virtual image composed of executable codes for autonomous driving execution, transmitting the virtual image to the test vehicle, and generating the autonomous driving test signal a virtual image management server step; and
Storing a remote autonomous driving test method including a driving environment monitoring step of generating a driving environment monitoring image by monitoring the driving environment of the experimental vehicle through an image sensor based on the current location of the experimental vehicle when the autonomous driving instruction is provided. A computer-readable recording medium.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210168876A KR102634664B1 (en) | 2021-11-30 | 2021-11-30 | Remote autonomous driving test apparatus, method, and computer-readable recording medium storing the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210168876A KR102634664B1 (en) | 2021-11-30 | 2021-11-30 | Remote autonomous driving test apparatus, method, and computer-readable recording medium storing the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230081116A true KR20230081116A (en) | 2023-06-07 |
| KR102634664B1 KR102634664B1 (en) | 2024-02-07 |
Family
ID=86761780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210168876A KR102634664B1 (en) | 2021-11-30 | 2021-11-30 | Remote autonomous driving test apparatus, method, and computer-readable recording medium storing the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102634664B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101938064B1 (en) * | 2017-05-17 | 2019-01-11 | 현대오토에버 주식회사 | Autonomous Driving Test System |
| KR101996230B1 (en) * | 2018-02-26 | 2019-07-04 | (주)에스더블유엠 | Method and apparatus for providing test information for simulation of autonomous vehicle |
| KR20190096867A (en) * | 2019-07-31 | 2019-08-20 | 엘지전자 주식회사 | Apparatus and method for invitation using autonomous vehicle |
| KR102033509B1 (en) * | 2019-01-22 | 2019-10-17 | (주)바이콕 | Taas-based virtual autonomous driving transportation apparatus and method |
| KR102122795B1 (en) | 2018-12-19 | 2020-06-15 | 주식회사 에스더블유엠 | Method to test the algorithm of autonomous vehicle |
-
2021
- 2021-11-30 KR KR1020210168876A patent/KR102634664B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101938064B1 (en) * | 2017-05-17 | 2019-01-11 | 현대오토에버 주식회사 | Autonomous Driving Test System |
| KR101996230B1 (en) * | 2018-02-26 | 2019-07-04 | (주)에스더블유엠 | Method and apparatus for providing test information for simulation of autonomous vehicle |
| KR102122795B1 (en) | 2018-12-19 | 2020-06-15 | 주식회사 에스더블유엠 | Method to test the algorithm of autonomous vehicle |
| KR102033509B1 (en) * | 2019-01-22 | 2019-10-17 | (주)바이콕 | Taas-based virtual autonomous driving transportation apparatus and method |
| KR20190096867A (en) * | 2019-07-31 | 2019-08-20 | 엘지전자 주식회사 | Apparatus and method for invitation using autonomous vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102634664B1 (en) | 2024-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11625036B2 (en) | User interface for presenting decisions | |
| Holstein et al. | Ethical and social aspects of self-driving cars | |
| US20190310654A1 (en) | Analysis of scenarios for controlling vehicle operations | |
| US11994615B2 (en) | Compensating for a sensor deficiency in a heterogeneous sensor array | |
| AU2019251365A1 (en) | Dynamically controlling sensor behavior | |
| WO2019047596A1 (en) | Method and device for switching driving modes | |
| US11256251B2 (en) | Enabling remote control of a vehicle | |
| CN113561963B (en) | Parking method and device and vehicle | |
| US11242050B2 (en) | Reinforcement learning with scene decomposition for navigating complex environments | |
| CN113537445B (en) | Track prediction method, device, equipment and storage medium | |
| US11577756B2 (en) | Detecting out-of-model scenarios for an autonomous vehicle | |
| JP2020095481A (en) | Control device of vehicle and automatic driving system | |
| KR101802858B1 (en) | Integrated data processing system and method for vehicle | |
| US11904853B2 (en) | Apparatus for preventing vehicle collision and method thereof | |
| US20230237210A1 (en) | 3d multi-object simulation | |
| US20210037217A1 (en) | Vehicle display device, vehicle control system, vehicle control method, and storage medium | |
| US11360870B2 (en) | Functional safety compliant self-testing | |
| JP2022172444A (en) | Method and assist device for assisting traveling operation of motor vehicle, and motor vehicle | |
| KR102634664B1 (en) | Remote autonomous driving test apparatus, method, and computer-readable recording medium storing the same | |
| US20230150547A1 (en) | Motion prediction | |
| CN109144070A (en) | Mobile device assists automatic Pilot method, automobile and storage medium | |
| US20240160203A1 (en) | Orchestrating vehicles and remote operating clients | |
| WO2023063199A1 (en) | Information processing device, information processing method, and program | |
| US20240161028A1 (en) | Orchestrating vehicles and remote operating clients | |
| Huang et al. | iCOIL: Scenario Aware Autonomous Parking Via Integrated Constrained Optimization and Imitation Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |