KR20140144919A - Simulation system for autonomous vehicle for applying obstacle information in virtual reality - Google Patents
Simulation system for autonomous vehicle for applying obstacle information in virtual reality Download PDFInfo
- Publication number
- KR20140144919A KR20140144919A KR20130067123A KR20130067123A KR20140144919A KR 20140144919 A KR20140144919 A KR 20140144919A KR 20130067123 A KR20130067123 A KR 20130067123A KR 20130067123 A KR20130067123 A KR 20130067123A KR 20140144919 A KR20140144919 A KR 20140144919A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- simulator
- virtual
- obstacle
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
Description
본 발명은 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템에 관한 것으로, 보다 상세하게는, 3차원 가상현실 내에서 가상의 무인 자동차(로봇)의 자율 주행 알고리즘을 검증하기 위해 자율 주행 시 변동되는 장애물 정보를 적용하여 시뮬레이션을 수행함으로써 가상의 무인 자동차에 대한 자율 주행의 신뢰도를 향상시킬 수 있는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템에 관한 것이다.
[0001] The present invention relates to an autonomous driving simulation system for an unmanned vehicle that reflects varying obstacle information in a virtual reality, and more particularly, to an autonomous driving simulation system for an autonomous vehicle, The present invention relates to an autonomous driving simulation system for an unmanned vehicle that reflects obstacle information that varies in a virtual reality that can improve the reliability of the autonomous driving of a virtual unmanned vehicle by performing simulation by applying the obstacle information that changes during driving.
최근 들어, 무인 자율 주행시스템과 관련하여, 특히 로봇이나 자동차 분야에서의 자율 주행과 관련한 많은 연구가 이루어지고 있다.In recent years, much research has been conducted in relation to the autonomous navigation system, especially regarding autonomous navigation in robots and automobiles.
일반적으로 자율 주행시스템은 도로맵 정보를 바탕으로 GPS 위치정보 및 각종 센서에서 취득한 신호를 이용하여 도로상의 시작점부터 종료점까지 자동차의 주행을 자동으로 제어하면서 이동시킬 수 있다.In general, the autonomous navigation system can automatically move and control the driving of the vehicle from the start point to the end point on the road using the GPS position information and the signals acquired from various sensors based on the road map information.
특히, 자율 주행시스템은 고속으로 움직이는 이동체(자동차 또는 로봇)의 주행환경을 실시간으로 인식 및 판단하기 위해, 스캐닝 장치, 카메라, 레이더 등과 같은 센서 장비들을 포함할 수 있다.
In particular, the autonomous navigation system may include sensor devices such as a scanning device, a camera, a radar, and the like in order to recognize and determine the traveling environment of a moving object (automobile or robot) moving at high speed in real time.
자율 주행을 수행할 수 있는 시스템과 관련한 발명으로, 예를 들어, 등록특허 제10-1209062호에는 영상인식 정보를 이용한 GPS 보정 시스템 및 방법에 관한 기술이 개시되고 있다.
For example, Japanese Patent Application No. 10-1209062 discloses a GPS correction system and method using image recognition information.
그러나, 종래 기술에서는 자동차에 각종 주행 장치 및 알고리즘이 탑재된 시스템들을 장착하여 자율 주행 시험을 수행할 수 있으나, 대부분 자동차 탑재되는 장비들이 고가의 장비이고, 특히 실제 도로에서 주행 시험을 실시해야 하기 때문에 공간적 제약으로 인한 효과적인 자율 주행 성능을 이룰 수 없다는 문제점이 있다.
However, in the prior art, it is possible to carry out the autonomous driving test by mounting various traveling devices and algorithms mounted on the vehicle, but most of the equipments mounted on the automobile are expensive equipments, There is a problem in that an effective autonomous driving performance due to the spatial restriction can not be achieved.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 공간적 제약이 없는 3차원 영상을 통한 가상현실 내에서 변동될 수 있는 장애물 정보를 적용하여 가상의 무인 자동차의 자율 주행시험을 수행함으로써 무인 자동차에 대한 자율 주행의 신뢰도를 향상시킬 수 있는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템을 제공하는데 그 목적이 있다.
SUMMARY OF THE INVENTION The present invention is conceived to solve the problems described above, and it is an object of the present invention to provide an autonomous vehicle test of a virtual unmanned vehicle by applying obstacle information that can be varied in a virtual reality through a three- The present invention provides an autonomous running simulation system for an unmanned vehicle that reflects varying obstacle information in a virtual reality that can improve the reliability of the autonomous running of the vehicle.
그러나 본 발명의 목적은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
However, the object of the present invention is not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
상기 목적을 달성하기 위하여, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 랜덤으로 적용되는 장애물 정보를 포함하는 가상현실 환경의 3차원 영상 내에서 모델링된 가상의 자동차를 자율 주행시키고, 자율 주행 중인 가상의 자동차에 대한 상태정보 및 주행정보를 취득하는 시뮬레이터부와, 상기 시뮬레이터부에서 취득한 상태정보 및 주행정보를 수신하여 OPRoS(Open Platform for Robotic Service) 타입의 데이터로 변환하여 출력하는 시뮬레이터 컴포넌트부 및 상기 시뮬레이터 컴포넌트부에서 출력되는 OPRoS 타입의 출력 데이터를 수신하여 GUI(Graphical User Interface)로 디스플레이하는 시뮬레이터 모니터링부를 포함하는 것을 특징으로 한다.
In order to achieve the above object, an autonomous driving simulation system of an unmanned vehicle, which reflects obstacle information that varies in a virtual reality according to the present invention, includes: A simulator section for autonomously running an automobile of the vehicle, and acquiring state information and running information for an autonomous running virtual automobile; and a control section for receiving the state information and the running information acquired from the simulator section to generate an open platform for robotic service And a simulator monitoring unit for receiving the output data of the OPRoS type outputted from the simulator component unit and displaying the received output data in a GUI (Graphical User Interface).
또한, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 상기 시뮬레이터부가, 도로정보, 차선정보, 교통정보 및 주변정보를 포함하는 가상현실 환경이 모델링된 적어도 하나 이상의 3차원 영상을 제공하고, 모델링된 3차원 영상을 통해 자율 주행 시뮬레이션을 구동하는 시뮬레이터 구동부와, 출발점 정보 및 도착점 정보를 입력받고, 자율 주행을 위한 주행 경로를 설정하는 주행 경로 설정부와, 설정된 주행 경로 내에 적어도 하나 이상의 장애물 정보를 랜덤으로 적용하는 장애물 컨버터부와, 상기 주행경로 설정부에 의해 설정된 주행 경로를 따라 모델링된 가상의 자동차를 자율 주행시키고, 자율 주행되는 가상의 자동차에 대한 상태정보 및 주행정보를 취득하는 시뮬레이터 서버를 포함하고, 상기 주행경로 설정부는 도로정보, 차선정보, 교통정보 및 장애물 정보에 근거하여 설정된 주행 경로를 변경가능한 것을 특징으로 한다.
Further, the autonomous driving simulation system of an unmanned vehicle, which reflects the obstacle information changed in the virtual reality according to the present invention, is characterized in that the simulator includes at least one simulator modeling a virtual reality environment including road information, lane information, traffic information, A driving route setting unit for receiving starting point information and destination information and setting a traveling route for autonomous traveling; and a traveling route setting unit for setting a traveling route for autonomous traveling, An obstacle converter unit for randomly applying at least one or more obstacle information in a traveling route; an autonomous mobile vehicle modeled along a traveling route set by the traveling route setting unit, And a simulator server for acquiring travel information And further characterized in that the traveling path portion can set, change the traveling route is set on the basis of the road information, lane information, traffic information and the obstacle information.
또한, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 상기 장애물 컨부터부에서 적용되는 장애물 정보는 상기 시뮬레이터 모니터링부에 제공되는 것을 특징으로 한다.
In the autonomous driving simulation system of an unmanned automobile in which the obstacle information changed in the virtual reality according to the present invention is reflected, the obstacle information applied from the obstacle cone is provided to the simulator monitoring unit.
또한, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 상기 장애물 컨버터에서 생성되는 장애물 정보는 정적 고정 장애물, 동적 고정 장애물, 동적 장애물, 복합 장애물 및 돌발 장애물을 포함하는 것을 특징으로 한다.
In the autonomous driving simulation system of an unmanned automobile, the obstacle information generated by the obstacle converter includes static fixed obstacle, dynamic fixed obstacle, dynamic obstacle, mixed obstacle, and obstacle obstacle .
또한, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 상기 주행경로 설정부에서 설정되는 주행 경로가 A* 알고리즘(A Star Algorithm)을 이용한 전역 경로 및 지역 경로를 포함하는 것을 특징으로 한다.
Further, the autonomous driving simulation system of the unmanned vehicle, which reflects the obstacle information changed in the virtual reality according to the present invention, is characterized in that the traveling path set by the traveling path setting unit is a global path and a local path using the A * And a control unit.
또한, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 상기 시뮬레이터 서버가, 모델링된 3차원 영상 내에서 자율 주행하도록 가상의 카메라, GPS 센서, Gyro 센서 및 LRF(Laser Range Finder) 센서가 탑재되는 가상의 자동차를 제어하는 시뮬레이터 로봇부와, 상기 가상의 카메라에서 촬영되는 가상의 카메라 영상정보를 Raw RGB 이미지 데이터로 취득하는 시뮬레이터 카메라부와, 상기 가상의 GPS 센서로부터 센싱된 자율 주행 중인 가상의 자동차에 대한 위치 정보를 취득하는 시뮬레이터 GPS부와, 상기 가상의 Gyro 센서로부터 센싱된 자율 주행 중인 가상의 자동차에 대한 Gyro 데이터를 취득하는 시뮬레이터 Gyro부 및 상기 가상의 LRF 센서에서 3차원 영상을 스캐닝하여 지형 및 장애물 정보를 취득하는 시뮬레이터 LRF부를 포함하는 것을 특징으로 한다.
Further, the autonomous driving simulation system of the unmanned vehicle reflecting the obstacle information changing in the virtual reality according to the present invention is characterized in that the simulator server includes a virtual camera, a GPS sensor, a Gyro sensor, and an LRF A simulator camera unit for acquiring virtual camera image information photographed by the virtual camera as Raw RGB image data, a virtual camera unit for acquiring virtual camera image information photographed by the virtual camera, A simulator Gyro unit for acquiring Gyro data for a virtual automobile under autonomous driving sensed by the virtual Gyro sensor, When the sensor acquires the terrain and obstacle information by scanning the three-dimensional image Concentrator is characterized in that it comprises parts of LRF.
또한, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 상기 시뮬레이터 서버와 통신을 수행하는 상기 시뮬레이터 컴포넌트부가, 상기 시뮬레이터 로봇부로부터 자율 주행 중인 가상의 자동차에 대한 현재 조향각, 왼쪽 바퀴 속도, 오른쪽 바퀴 속도, 이동속도, 이동위치, 헤딩, 방향 지시등 상태를 포함하는 상태정보를 수신하여 OPRoS 타입으로 변환하여 출력하고, 가상의 자동차를 제어하는 속도값 명령, 조향값 명령, 방향 지시등 명령, 헤드라이트 온/오프 명령을 포함하는 제어정보를 상기 시뮬레이터부로 전송하는 로봇 컴포넌트와, 상기 시뮬레이터 카메라부에서 가상의 카메라 영상정보를 수신하고, 설정된 파라메타를 이용하여 OPRoS 타입으로 변환된 Raw RGB 테이터를 출력하는 카메라 컴포넌트와, 상기 시뮬레이터 GPS에서 위치 정보인 가상의 GPS 좌표 정보를 수신하여 실제 GPS 좌표 정보로 변환하고, 설정된 파라메타를 이용하여 OPRoS 타입의 출력 데이터 출력하는 GPS 컴포넌트와, 상기 시뮬레이터 Gyro에서 3차원 영상 공간의 roll, pitch, yaw 값을 포함하는 Gyro 데이터를 수신하고, 설정된 파라메타를 이용하여 OPRoS 타입으로 변환하여 출력하는 Gyro 컴포넌트 및 상기 LRF 모듈에서 수신된 LRF 데이터를 설정된 파라메타를 이용하여 지형 및 장애물과의 거리값 데이터를 생성하고, OPRoS 타입으로 변환하여 출력하는 LRF 컴포넌트를 포함하는 것을 특징으로 한다.
Further, the autonomous driving simulation system of an unmanned vehicle that reflects the obstacle information changed in the virtual reality according to the present invention is characterized in that the simulator component unit, which performs communication with the simulator server, A steering angle, a left wheel speed, a right wheel speed, a moving speed, a moving position, a heading, and a turn indicator state, converts the received state information into an OPRoS type, outputs a speed value command for controlling a virtual vehicle, A robot component for transmitting control information including a command, a direction indicator light command, and a headlight on / off command to the simulator unit; and a controller for receiving virtual camera image information from the simulator camera unit and converting the virtual camera image information into an OPRoS type Camera com that outputs the raw RGB data A GPS component that receives virtual GPS coordinate information, which is positional information, from the simulator GPS, converts the received GPS coordinate information into actual GPS coordinate information, and outputs output data of the OPRoS type using the set parameters; A Gyro component that receives the Gyro data including the roll, pitch, and yaw values of the LRF module and converts it into an OPRoS type using the set parameters and outputs the LRF data received from the LRF module to the terrain and the obstacle And an LRF component for generating distance value data, converting the distance value data to an OPRoS type, and outputting the converted data.
아울러, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템은, 상기 GPS 모듈에서 수신하는 가상의 GPS 좌표 정보는 3차원 영상 공간의 좌표(x, y) 및 높이(z) 값으로 이루지는 것을 특징으로 한다.
In the autonomous driving simulation system for an unmanned automobile, the virtual GPS coordinate information received by the GPS module includes coordinate (x, y) and height (x, y) of the 3D image space z). < / RTI >
본 발명의 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템에 따르면, 공간적 제약이 없는 3차원 영상을 통한 가상현실 내에서 실시간으로 변동될 수 있는 장애물 정보를 적용하여 가상의 무인 자동차의 자율 주행시험을 수행함으로써 무인 자동차에 대한 자율 주행의 신뢰도를 향상시킬 수 있는 효과가 있다.
According to the autonomous driving simulation system of an unmanned automobile that reflects the obstacle information that varies in the virtual reality of the present invention, the obstacle information that can be changed in real time in the virtual reality through the three- It is possible to improve the reliability of the autonomous running of the unmanned vehicle by performing the autonomous running test.
도 1은, 본 발명에 따른 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템의 구성을 나타내는 블럭도이다.
도 2 내지 도 4는, 본 발명에 따른 시뮬레이터 구동부에서 제공되는 가상현실 환경이 모델링된 3차원 영상정보 화면을 예시적으로 나타내는 예시도이다.
도 5는, 본 발명에 따른 주행 경로 설정부에서 자율 주행을 위해 설정된 주행 경로 화면을 예시적으로 나타내는 예시도이다.
도 6은, 본 발명에 따른 장애물 컨버터부에서 생성되는 장애물 정보가 3차원 영상 내에 적용되는 화면을 예시적으로 나타내는 예시도이다.
도 7은, 본 발명에 따른 자율 주행 시뮬레이션 시스템에 구비되는 시뮬레이터 서버의 구성을 나타내는 블럭도이다.
도 8은, 본 발명에 따른 시뮬레이터 컴포넌트부의 구성을 나타내는 블럭도이다.
도 9는, 모델링된 가상의 자동차에 장착되는 가상의 카메라에서 촬영되는 영상을 예시적으로 나타내는 예시도이다.
도 10의 (a) 및 (b)는, 가상의 자동차에 장착되는 가상의 LRF 센서에서 스캐닝되어 획득되는 지형 및 장애물 정보의 화면을 예시적으로 나타내는 예시도이다.
도 11은, 본 발명에 따른 시뮬레이터 모니터링부에서 디스플레이되는 자율 주행 중인 가상의 자동차에 대한 상태정보 및 주행정보를 예시적으로 나타내는 예시도이다.
도 12는, 실제 자율 주행 데이터와 본 발명에 따른 시뮬레이션 시스템을 통한 자율 주행 데이터를 비교한 도면이다.1 is a block diagram showing a configuration of an autonomous running simulation system of an unmanned vehicle in which the obstacle information changed in the virtual reality according to the present invention is reflected.
FIGS. 2 to 4 are exemplary views illustrating a three-dimensional image information screen modeled by a virtual reality environment provided by the simulator driving unit according to the present invention.
FIG. 5 is an exemplary diagram illustrating an example of a traveling route screen set for autonomous travel in the travel route setting unit according to the present invention. FIG.
FIG. 6 is an exemplary diagram illustrating a screen in which the obstacle information generated in the obstacle converter unit according to the present invention is applied in a three-dimensional image.
7 is a block diagram showing a configuration of a simulator server provided in the autonomous driving simulation system according to the present invention.
8 is a block diagram showing a configuration of a simulator component unit according to the present invention.
FIG. 9 is an exemplary diagram illustrating an image taken by a virtual camera mounted on a modeled virtual car. FIG.
Figs. 10A and 10B are exemplary diagrams showing screens of terrain and obstacle information obtained by scanning in a virtual LRF sensor mounted on a virtual car. Fig.
FIG. 11 is an exemplary diagram illustrating status information and running information of a virtual automobile under autonomous driving displayed by the simulator monitoring unit according to the present invention.
12 is a diagram comparing autonomous running data with actual autonomous running data through the simulation system according to the present invention.
이하, 본 발명의 바람직한 실시 예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a detailed description of preferred embodiments of the present invention will be given with reference to the accompanying drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
Embodiments in accordance with the concepts of the present invention can make various changes and have various forms, so that specific embodiments are illustrated in the drawings and described in detail in this specification or application. It is to be understood, however, that it is not intended to limit the embodiments according to the concepts of the present invention to the particular forms of disclosure, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ",or" having ", or the like, specify that there is a stated feature, number, step, operation, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.
도 1은 본 발명에 따른 가상현실을 이용한 무인 자동차의 자율 주행 시뮬레이션 시스템의 구성을 나타내는 블럭도이다.1 is a block diagram showing a configuration of an autonomous driving simulation system for an unmanned vehicle using a virtual reality according to the present invention.
도 1에 나타낸 바와 같이, 본 발명의 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템(1)은 시뮬레이터부(10), 시뮬레이터 컴포넌트부(20) 및 시뮬레이터 모니터링부(30)를 포함할 수 있다.
1, an autonomous
시뮬레이터부(10)는, 랜덤으로 적용되는 장애물 정보를 포함하는 가상현실 환경의 3차원 영상 내에서 모델링된 가상의 자동차를 자율 주행시키고, 자율 주행 중인 가상의 자동차에 대한 상태정보 및 주행정보를 취득하는 것으로, 시뮬레이터 구동부(110), 주행 경로 설정부(120), 장애물 컨버터부(130) 및 시뮬레이터 서버(140)를 포함할 수 있다.
The
시뮬레이터 구동부(110)는 도로정보, 차선정보, 교통정보 및 주변정보를 포함하는 가상현실 환경이 모델링된 적어도 하나 이상의 3차원 영상을 제공하고, 모델링된 3차원 영상을 통해 자율 주행 시뮬레이션을 구동시킬 수 있다.The
이때, 모델링되는 3차원 영상에는 가상의 GPS(Global Positioning System) 좌표정보가 포함되는데, 이 가상의 GPS 좌표정보는 위도 및 경도 등의 실제 GPS 좌표값이 3차원 영상 공간과 매칭되는 좌표(x, y) 및 높이(z)값으로 변환될 수 있다.In this case, the virtual three-dimensional image includes a virtual GPS (Global Positioning System) coordinate information. The virtual GPS coordinate information includes coordinates (x, y) in which actual GPS coordinate values such as latitude and longitude are matched with the three- y) and height (z) values.
또한, 3차원 영상은 실제환경을 측정하기 위해, Map-building을 이용하여 2차원 지도를 생성하고, 2차원 지도와 위성 지도를 이용하여 도 2 내지 도 4에 나타낸 바와 같이, CAD 모델을 통한 가상환경으로 모델링될 수 있다.
In addition, in order to measure the actual environment of the three-dimensional image, a two-dimensional map is generated using Map-building, and a two-dimensional map and a satellite map are used, Environment. ≪ / RTI >
특히, 영상정보 저장모듈(110)에 저장되는 3차원 영상정보는, 위도 및 경도 등의 실제 GPS 좌표값을 x, y, z의 좌표로 정의될 수 있는 가상의 GPS 좌표정보로 입력되어 모델링될 수 있다.
In particular, the three-dimensional image information stored in the image
주행 경로 설정부(120)는 입력되는 출발점 정보 및 도착점 정보에 대해, 예를 들어, A* 알고리즘(A Star Algorithm)을 이용하여 가상의 자동차가 자율 주행할 수 있는 주행 경로가 도 5에 나타낸 바와 같이 설정될 수 있다.The traveling
또한, A* 알고리즘을 이용하여 설정되는 주행 경로는, 전역 경로와 지역 경로를 포함하여 설정될 수 있으며, 특히, 주행 경로 설정부(120)에서는 도로정보, 차선정보, 교통정보 및 장애물 정보에 근거하여 설정된 주행 경로를 변경할 수 있다.
In addition, the traveling route set using the A * algorithm can be set to include the global route and the local route. In particular, the traveling
장애물 컨버터부(130)는 주행 경로 설정부(120)를 통해 설정된 주행 경로 내에 정적 고정 장애물, 동적 고정 장애물, 동적 장애물, 복합 장애물 및 돌발 장애물을 포함하는 다수의 장애물 정보를 생성하여 적용할 수 있다.The
예를 들어, 도 6의 (a) 내지 (c)에 나타낸 바와 같이, 버스, 트럭, 승용차, 보행자, 콘, 배럴, 펜스, 타이어, 바위 등 다양한 장애물을 랜덤 또는 사용자 선택에 의해 3차원 영상 내에 적용시킬 수 있다.For example, various obstacles such as a bus, a truck, a passenger car, a pedestrian, a cone, a barrel, a fence, a tire, a rock, and the like may be randomly or user- Can be applied.
따라서, 다양한 장애물 정보를 통해 자율 주행 중인 가상의 자동차에 대한 충돌회피 또는 충돌 시 발생되는 다양한 현상을 시뮬레이션할 수 있다.
Therefore, it is possible to simulate collision avoidance or various phenomena occurring in collision with a virtual automobile under autonomous traveling through various obstacle information.
시뮬레이터 서버(140)는 주행경로 설정부(120)에 의해 설정된 주행 경로를 따라 모델링된 가상의 자동차를 자율 주행시키고, 자율 주행되는 가상의 자동차에 대한 상태정보 및 주행정보를 취득하는 것으로, 도 7에 나타낸 바와 같이, 시뮬레이터 로봇부(141), 시뮬레이터 카메라부(142), 시뮬레이터 GPS부(143), 시뮬레이터 Gyro부(144) 및 시뮬레이터 LRF(Laser Range Finder)부(145)를 포함할 수 있다.
The
시뮬레이터 로봇부(141)는 시뮬레이터부(10)에서 제공되는 3차원 영상 내에서 자율 주행하도록 가상의 자동차를 모델링한다. 이때, 모델링되는 가상의 자동차에는 가상의 카메라, 가상의 GPS 센서, 가상의 Gyro 센서 및 지형과 장애물을 인식하여 거리정보를 제공할 수 있는 가상의 LRF 센서가 탑재된다.The
가상의 GPS 센서에서는 가상의 자동차에 대한 절대 위치 정보를 제공할 수 있다. 위치 정보는 3차원 영상 내에서 기준 좌표(x, y)와 높이(z)값으로 구성되고, bias와 covariance를 설정하여 위치 정보의 정확성을 반영할 수 있다.A virtual GPS sensor can provide absolute position information for a virtual car. The position information is composed of reference coordinates (x, y) and height (z) values in the three-dimensional image, and the accuracy of the position information can be reflected by setting bias and covariance.
또한, Gyro 센서는 가상의 자동차에 대한 각속도 정보를 제공하는 것으로, 이 각속도 정보는 roll, pitch, yaw 정보로 구성되고, GPS 센서와 동일하게 bias와 covariance를 설정할 수 있다.
In addition, the gyro sensor provides angular velocity information about a virtual automobile. The angular velocity information includes roll, pitch, and yaw information, and it is possible to set bias and covariance in the same manner as the GPS sensor.
또한, 시뮬레이터 로봇부(141)에서는 자율 주행을 수행하는 가상의 자동차에 대한 제어정보를 제공하고, 3차원 영상 내에서 자율 주행 중인 가상의 자동차에 대한 상태정보 및 주행정보를 획득할 수 있다.
In addition, the
시뮬레이터 카메라부(142)에서는 가상의 자동차에 탑재된 가상의 카메라를 제어하고, 도 8에 나타낸 바와 같이, 가상의 카메라에서 촬영되는 가상의 카메라 영상정보, 예를 들어, 카메라 센서에서 센싱된 320*240, 24bit 해상도의 Raw RGB 이미지 데이터를 수신할 수 있다.
The
시뮬레이터 GPS부(143)는 가상의 GPS 센서로부터 센싱된 자율 주행 중인 가상의 자동차에 대한 GPS 데이터, 즉 위치 정보를 수신할 수 있다.
The
시뮬레이터 Gyro부(144)은 가상의 Gyro 센서로부터 센싱된 자율 주행 중인 가상의 자동차에 대한 Gyro 데이터로서 roll, pitch, yaw값을 수신하고, 시뮬레이터 LRF부(145)에서는 도 9의 (a) 및 (b)에 나타낸 바와 같이, 3차원 영상 내에서 스캐닝되어 획득되는 지형 및 장애물 정보로서 LRF 데이터를 획득할 수 있다.
The
도 10은 본 발명에 따른 시뮬레이터 컴포넌트부의 구성을 나타내는 블럭도이다. 도면을 참조하면, 시뮬레이터 컴포넌트부(20)는 로봇 컴포넌트(210), 카메라 컴포넌트(220), GPS 컴포넌트(230), Gyro 컴포넌트(240) 및 LRF 컴포넌트(250)을 포함할 수 있다.
10 is a block diagram showing a configuration of a simulator component unit according to the present invention. The
로봇 컴포넌트(210)는 시뮬레이터 로봇부(141)에서 가상의 자동차에 대한 상태정보(속도, 조향, 헤딩, 이동 거리 등)를 수신하고, 설정된 파라메타, 예를 들어, 속도값 명령, 조향값 명령, 방향 지시등 명령, 헤드라이트 온/오프 명령 등의 가상의 자동차에 대한 제어정보를 시뮬레이터 로봇부(141)로 전송하여 가상의 자동차를 제어할 수 있다.
The
카메라 컴포넌트(220)에서는 시뮬레이터 카메라부(142)를 통해 획득한 가상의 카메라 영상정보를 수신하고, 다음의 표 1에 나타낸 설정된 파라메타를 이용하여, 320*240, 24bit 해상도의 Raw RGB 데이터로서 로봇서버 타입인 OPRoS 타입으로 변환하여 출력할 수 있다.The
[표 1][Table 1]
GPS 컴포넌트(230)는 시뮬레이터 GPS부(143)에서 획득된 3차원 영상에 해당되는 GPS 데이터를 로깅된 실제 GPS 데이터로 변환하고, 표 2에 나타낸 설정된 파라메타를 이용하여 로봇서버 타입인 OPRoS 타입으로 변환하여 출력할 수 있다.The
출력정보에는 시간, 위도, 경도, 수신상태, 위성수, 수평오차, 고도, GPS 주행 속도 등의 정보를 포함할 수 있다.The output information may include information such as time, latitude, longitude, reception status, number of satellites, horizontal error, altitude, and GPS running speed.
[표 2][Table 2]
Gyro 컴포넌트(240)는 시뮬레이터 Gyro부(144)에서 수신된 가상의 자동차에 대한 Gyro 데이터를 표 3에 나타낸, 설정된 파라메타를 이용하여 로봇서버 타입인 OPRoS 타입으로 변환하여 출력할 수 있다.The
[표 3][Table 3]
Gyro 컴포넌트(240)을 통해 출력되는 출력정보에는 X축을 기준으로 한 회전 각도(Radian), Y축을 기준으로 한 회전 각도, Z축을 기준으로 한 회전 각도 등을 포함할 수 있다.
The output information output through the
또한, LRF 컴포넌트(250)에서는시뮬레이터 LRF부(145)에서 수신된 LRF 데이터를, 표 4에 나타낸 설정된 파라메타를 이용하여 거리값(x, y) 데이터를 생성하고, 로봇서버 타입인 OPRoS 타입으로 변환하여 출력할 수 있다.The
[표 4][Table 4]
LRF 컴포넌트(250)에서 출력되는 출력정보는 LRF 데이터를 스캔 각도(Scan Angle)인 180도와 각도분해능(Angular Resolution)인 0.5도를 이용하여 계산된 좌표값(x, y, 단위는 m)을 포함할 수 있다.
The output information output from the
도 11은 본 발명에 따른 시뮬레이터 모니터링부에서 디스플레이되는 자율 주행 중인 가상의 자동차에 대한 상태정보 및 주행정보를 예시적으로 나타내는 예시도이다.FIG. 11 is an exemplary diagram illustrating status information and driving information of a virtual automobile under autonomous driving displayed by the simulator monitoring unit according to the present invention.
본 발명의 시뮬레이터 모니터링부(30)에서는 도 11에 나타낸 바와 같이, 시뮬레이터 컴포넌트부(20)의 각 요소 컴포넌트 모듈에 출력되는 OPRoS 타입의 데이터를 수신하여 자율 주행 중인 가상의 자동차에 대한 상태정보 및 주행정보 등을 GUI(Graphical User Interface) 타입으로 디스플레이할 수 있다.
11, the
도 12는 실제 자율 주행 데이터와 본 발명에 따른 시뮬레이션 시스템을 통한 자율 주행 데이터를 비교한 도면으로, 흰색 점선은 실제 자율 주행 자동차의 데이터를 나타내고, 붉은색 실선은 본 발명에 따른 시뮬레이션 시스템을 이용한 데이터를 나타낸다.FIG. 12 is a diagram comparing actual autonomous travel data with autonomous travel data through a simulation system according to the present invention, wherein a white dotted line indicates data of an actual autonomous vehicle, and a solid red line indicates data using a simulation system according to the present invention .
도면에 나타낸 바와 같이, 실제 자율 주행 자동차의 데이터와 시뮬레이션 시스템을 이용한 데이터가 유사한 궤적을 가지는 것을 확인할 수 있다.
As shown in the figure, it can be seen that the data of the actual autonomous vehicle and the data using the simulation system have a similar trajectory.
상술한 바와 같이, 본 발명에 따르면 3차원 영상을 통한 가상현실 내에서 가상의 무인 자동차의 자율 주행시험을 수행함으로써 공간적 제약없이 저비용으로 자율 주행의 신뢰도를 향상시킬 수 있는 특징이 있다.
As described above, according to the present invention, an autonomous running test of a virtual unmanned vehicle in a virtual reality through a three-dimensional image is performed, thereby improving the reliability of the autonomous running at a low cost without any space limitation.
또한, 본 발명의 실시예에서는 로봇서버 타입의 데이터로서 OPRoS 기반의 데이터를 적용하였으나, 기타 다른 형태로도 변경가능하다.
Also, in the embodiment of the present invention, OPRoS-based data is applied as data of the robot server type, but it can be changed to other forms.
상기 본 발명의 내용은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. will be. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
1 : 자율 주행 시뮬레이션 시스템 10 : 시뮬레이터부
20 : 시뮬레이터 컴포넌트 30 : 시뮬레이터 모니터링부
110 : 시뮬레이터 구동부 120 : 주행 경로 설정부
130 : 장애물 컨버터부 140 : 시뮬레이터 서버1: autonomous driving simulation system 10: simulator part
20: simulator component 30: simulator monitoring unit
110: simulator driving unit 120: traveling route setting unit
130: an obstacle converter section 140: a simulator server
Claims (9)
상기 시뮬레이터부에서 취득한 상태정보 및 주행정보를 수신하여 로봇서버 타입의 데이터로 변환하여 출력하는 시뮬레이터 컴포넌트부; 및
상기 시뮬레이터 컴포넌트부에서 출력되는 OPRoS 타입의 출력 데이터를 수신하여 GUI(Graphical User Interface)로 디스플레이하는 시뮬레이터 모니터링부;를 포함하는 것을 특징으로 하는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템.
A simulator for autonomously driving a virtual automobile modeled in a three-dimensional image of a virtual reality environment including randomly applied obstacle information, and acquiring state information and running information for an autonomous virtual automobile;
A simulator component unit for receiving the state information and the travel information acquired by the simulator unit, converting the received state information and the travel information into data of robot server type, and outputting the data; And
And a simulator monitoring unit for receiving the output data of the OPRoS type outputted from the simulator component unit and displaying the output data in a graphical user interface (GUI). [7] The autonomous driving simulation of an unmanned vehicle, system.
상기 시뮬레이터부는,
도로정보, 차선정보, 교통정보 및 주변정보를 포함하는 가상현실 환경이 모델링된 적어도 하나 이상의 3차원 영상을 제공하고, 모델링된 3차원 영상을 통해 자율 주행 시뮬레이션을 구동하는 시뮬레이터 구동부;
출발점 정보 및 도착점 정보를 입력받고, 자율 주행을 위한 주행 경로를 설정하는 주행 경로 설정부;
적어도 하나 이상의 장애물 정보를 생성하여 설정된 주행 경로 내에 랜덤으로 적용하는 장애물 컨버터부;
상기 주행경로 설정부에 의해 설정된 주행 경로를 따라 모델링된 가상의 자동차를 자율 주행시키고, 자율 주행되는 가상의 자동차에 대한 상태정보 및 주행정보를 취득하는 시뮬레이터 서버;를 포함하고,
상기 주행경로 설정부는 도로정보, 차선정보, 교통정보 및 장애물 정보에 근거하여 설정된 주행 경로를 변경가능한 것을 특징으로 하는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템.
The method according to claim 1,
The simulator unit,
A simulator driver for providing at least one three-dimensional image modeled by a virtual reality environment including road information, lane information, traffic information, and surrounding information, and driving an autonomous driving simulation through a modeled three-dimensional image;
A traveling route setting unit for receiving starting point information and destination information and setting a traveling route for autonomous traveling;
An obstacle converter unit for generating at least one obstacle information and randomly applying the at least one obstacle information within the set travel route;
And a simulator server for autonomously running a virtual automobile modeled along a traveling path set by the traveling path setting unit and acquiring state information and running information for an autonomous virtual automobile,
Wherein the traveling path setting unit is configured to change the traveling path set based on the road information, the lane information, the traffic information, and the obstacle information, and the obstacle information is changed in the virtual reality.
상기 장애물 컨부터부에서 적용되는 장애물 정보는 상기 시뮬레이터 모니터링부에 제공되는 것을 특징으로 하는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템.
3. The method of claim 2,
And the obstacle information to be applied to the obstacle cone from the obstacle cone is provided to the simulator monitoring unit.
상기 장애물 컨버터에서 생성되는 장애물 정보는 정적 고정 장애물, 동적 고정 장애물, 동적 장애물, 복합 장애물 및 돌발 장애물을 포함하는 것을 특징으로 하는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템.
3. The method of claim 2,
Wherein the obstacle information generated by the obstacle converter includes a static fixed obstacle, a dynamic fixed obstacle, a dynamic obstacle, a complex obstacle, and an obstacle obstacle.
상기 주행경로 설정부에서 설정되는 주행 경로는 A* 알고리즘(A Star Algorithm)을 이용한 전역 경로 및 지역 경로를 포함하는 것을 특징으로 하는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템.
3. The method of claim 2,
Wherein the traveling path set by the traveling path setting unit includes a global path and a local path using an A * algorithm (A Star Algorithm).
상기 시뮬레이터 서버는,
모델링된 3차원 영상 내에서 자율 주행하도록 가상의 카메라, GPS 센서, Gyro 센서 및 LRF(Laser Range Finder) 센서가 탑재되는 가상의 자동차를 제어하는 시뮬레이터 로봇부;
상기 가상의 카메라에서 촬영되는 가상의 카메라 영상정보를 Raw RGB 이미지 데이터로 취득하는 시뮬레이터 카메라부;
상기 가상의 GPS 센서로부터 센싱된 자율 주행 중인 가상의 자동차에 대한 위치 정보를 취득하는 시뮬레이터 GPS부;
상기 가상의 Gyro 센서로부터 센싱된 자율 주행 중인 가상의 자동차에 대한 Gyro 데이터를 취득하는 시뮬레이터 Gyro부; 및
상기 가상의 LRF 센서에서 3차원 영상을 스캐닝하여 지형 및 장애물 정보를 취득하는 시뮬레이터 LRF부;를 포함하는 것을 특징으로 하는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템.
The method according to claim 1,
The simulator server includes:
A simulator robot unit for controlling a virtual automobile on which a virtual camera, a GPS sensor, a Gyro sensor, and an LRF (Laser Range Finder) sensor are mounted to autonomously run in a modeled three-dimensional image;
A simulator camera unit for acquiring virtual camera image information photographed by the virtual camera as Raw RGB image data;
A simulator GPS unit for acquiring positional information about a hypothetical automobile under autonomous driving sensed by the virtual GPS sensor;
A simulator Gyro unit for acquiring Gyro data for a hypothetical automobile under autonomous traveling sensed from the virtual Gyro sensor; And
And a simulator LRF unit that scans the 3D image in the virtual LRF sensor to acquire the terrain and the obstacle information. The autonomous driving simulation system of the unmanned vehicle, which reflects the obstacle information changed in the virtual reality.
상기 시뮬레이션 컴포넌트에서 출력되는 로봇서버 타입의 데이터는 OPRoS(Open Platform for Robotic Service) 타입의 데이터인 것을 특징으로 하는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템.
The method according to claim 1,
Wherein the robot server type data output from the simulation component is OPRoS (Open Platform for Robotic Service) type data.
상기 시뮬레이터 서버와 통신을 수행하는 상기 시뮬레이터 컴포넌트부는,
상기 시뮬레이터 로봇부로부터 자율 주행 중인 가상의 자동차에 대한 현재 조향각, 왼쪽 바퀴 속도, 오른쪽 바퀴 속도, 이동속도, 이동위치, 헤딩, 방향 지시등 상태를 포함하는 상태정보를 수신하여 로봇서버 타입으로 변환하여 출력하고, 가상의 자동차를 제어하는 속도값 명령, 조향값 명령, 방향 지시등 명령, 헤드라이트 온/오프 명령을 포함하는 제어정보를 상기 시뮬레이터부로 전송하는 로봇 컴포넌트;
상기 시뮬레이터 카메라부에서 가상의 카메라 영상정보를 수신하고, 설정된 파라메타를 이용하여 로봇서버 타입으로 변환된 Raw RGB 테이터를 출력하는 카메라 컴포넌트;
상기 시뮬레이터 GPS에서 위치 정보인 가상의 GPS 좌표 정보를 수신하여 실제 GPS 좌표 정보로 변환하고, 설정된 파라메타를 이용하여 OPRoS 타입의 출력 데이터 출력하는 GPS 컴포넌트;
상기 시뮬레이터 Gyro에서 3차원 영상 공간의 roll, pitch, yaw 값을 포함하는 Gyro 데이터를 수신하고, 설정된 파라메타를 이용하여 로봇서버 타입으로 변환하여 출력하는 Gyro 컴포넌트; 및
상기 LRF 모듈에서 수신된 LRF 데이터를 설정된 파라메타를 이용하여 지형 및 장애물과의 거리값 데이터를 생성하고, 로봇서버 타입으로 변환하여 출력하는 LRF 컴포넌트;를 포함하는 것을 특징으로 하는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템.
The method according to claim 6,
Wherein the simulator component unit, which performs communication with the simulator server,
The state information including the current steering angle, the left wheel speed, the right wheel speed, the moving speed, the moving position, the heading, and the turn indicator state of the virtual automobile under autonomous driving is received from the simulator robot unit, A robot component for transmitting control information including a speed value command for controlling a virtual car, a steering value command, a turn signal command, and a headlight on / off command to the simulator;
A camera component for receiving virtual camera image information from the simulator camera unit and outputting Raw RGB data converted into a robot server type using a set parameter;
A GPS component that receives virtual GPS coordinate information, which is position information, from the simulator GPS, converts the virtual GPS coordinate information into actual GPS coordinate information, and outputs output data of the OPRoS type using the set parameters;
A Gyro component that receives Gyro data including roll, pitch, and yaw values of a 3D image space in the simulator Gyro, converts the Gyro data into a robot server type using the set parameters, and outputs the converted data; And
And an LRF component for generating LRF data received from the LRF module by using the set parameters and converting the distance value data to terrain and obstacle into a robot server type and outputting the converted distance data. Autonomous Driving Simulation System of Unmanned Vehicle with Information.
상기 GPS 모듈에서 수신하는 가상의 GPS 좌표 정보는 3차원 영상 공간의 좌표(x, y) 및 높이(z) 값으로 이루지는 것을 특징으로 하는 가상현실에서 변동되는 장애물 정보를 반영한 무인 자동차의 자율 주행 시뮬레이션 시스템.9. The method of claim 8,
Wherein the virtual GPS coordinate information received by the GPS module is composed of coordinates (x, y) and height (z) values of a three-dimensional image space. Simulation system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130067123A KR101515496B1 (en) | 2013-06-12 | 2013-06-12 | Simulation system for autonomous vehicle for applying obstacle information in virtual reality |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130067123A KR101515496B1 (en) | 2013-06-12 | 2013-06-12 | Simulation system for autonomous vehicle for applying obstacle information in virtual reality |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140144919A true KR20140144919A (en) | 2014-12-22 |
KR101515496B1 KR101515496B1 (en) | 2015-05-04 |
Family
ID=52674959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130067123A KR101515496B1 (en) | 2013-06-12 | 2013-06-12 | Simulation system for autonomous vehicle for applying obstacle information in virtual reality |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101515496B1 (en) |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017018844A1 (en) * | 2015-07-30 | 2017-02-02 | 삼성전자 주식회사 | Autonomous vehicle and operation method of same |
JP2017105453A (en) * | 2015-12-08 | 2017-06-15 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | Method for validating drive assistance function of motor vehicle |
GB2547745A (en) * | 2015-12-18 | 2017-08-30 | Ford Global Tech Llc | Virtual sensor data generation for wheel stop detection |
KR20170132515A (en) * | 2016-05-24 | 2017-12-04 | (주)이노시뮬레이션 | Apparatus and method for simulating car |
KR20180023754A (en) * | 2016-08-27 | 2018-03-07 | 유홍준 | Autonomous Vehicle Education System and Method for Learning Safety-based Algorithms |
GB2554148A (en) * | 2016-07-07 | 2018-03-28 | Ford Global Tech Llc | Virtual sensor data generation for bollard receiver detection |
CN109448482A (en) * | 2018-10-23 | 2019-03-08 | 扬州大学 | A kind of automatic Pilot experience platform based on virtual reality |
US10246097B1 (en) | 2014-11-13 | 2019-04-02 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operator identification |
KR101984762B1 (en) * | 2018-10-31 | 2019-06-03 | 주식회사 모라이 | Autonomous vehicle simulator using network platform |
CN110619780A (en) * | 2019-11-06 | 2019-12-27 | 北京千种幻影科技有限公司 | VR simulation driving training device |
KR20200011315A (en) * | 2018-07-24 | 2020-02-03 | 인하대학교 산학협력단 | Augmented reality based autonomous driving simulation method and system |
KR102122795B1 (en) * | 2018-12-19 | 2020-06-15 | 주식회사 에스더블유엠 | Method to test the algorithm of autonomous vehicle |
KR102139172B1 (en) * | 2020-01-06 | 2020-07-29 | 주식회사 모라이 | Autonomous vehicle simulation method in virtual environment |
KR20200094593A (en) * | 2019-01-30 | 2020-08-07 | 한국자동차연구원 | Failure safety test evaluation system and the method for autonomous vehicle |
KR102139513B1 (en) * | 2019-11-28 | 2020-08-12 | 국민대학교산학협력단 | Autonomous driving control apparatus and method based on ai vehicle in the loop simulation |
CN111815745A (en) * | 2020-06-16 | 2020-10-23 | 当家移动绿色互联网技术集团有限公司 | Driving condition display method and device, storage medium and electronic equipment |
WO2020220248A1 (en) * | 2019-04-30 | 2020-11-05 | 深圳市大疆创新科技有限公司 | Autonomous driving vehicle simulation test method and system, storage medium, and vehicle |
CN112396911A (en) * | 2020-08-07 | 2021-02-23 | 北京智扬北方国际教育科技有限公司 | Real teaching aid of instructing of automatic obstacle avoidance parking of unmanned vehicle |
CN112466181A (en) * | 2020-12-03 | 2021-03-09 | 郑州捷安高科股份有限公司 | Evaluation method, device and medium based on simulation driving simulation system |
CN112612261A (en) * | 2020-12-21 | 2021-04-06 | 广州小鹏自动驾驶科技有限公司 | Simulation test system and method for assisting lane change |
CN112925297A (en) * | 2021-01-29 | 2021-06-08 | 北京百度网讯科技有限公司 | Automatic driving algorithm verification method, device, equipment, storage medium and product |
CN113051765A (en) * | 2021-03-31 | 2021-06-29 | 中国科学院合肥物质科学研究院 | Intelligent driving vehicle road on-loop test method based on virtual scene change |
KR20220049103A (en) | 2020-10-13 | 2022-04-21 | 한국클라우드컴퓨팅연구조합 | V2x communication-based driving simulation provision method, driving guide and advertisement content provision method using the same |
WO2022124477A1 (en) * | 2020-12-07 | 2022-06-16 | 삼성전자주식회사 | Electronic device and control method therefor |
CN114701519A (en) * | 2022-04-12 | 2022-07-05 | 东莞理工学院 | Virtual driver technology based on artificial intelligence |
CN114815701A (en) * | 2022-05-07 | 2022-07-29 | 上海锰玛工业智能科技有限公司 | Non-line-of-sight remote control driving system |
KR20230146965A (en) | 2022-04-12 | 2023-10-20 | 경기대학교 산학협력단 | Test case evaluating system and method of autonomous driving |
WO2024035066A1 (en) * | 2022-08-11 | 2024-02-15 | 한국교통안전공단 | Blockage performance evaluation apparatus |
WO2024128539A1 (en) * | 2022-12-15 | 2024-06-20 | 주식회사 모라이 | Three-dimensional virtual environment information display method and system for autonomous driving simulation |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210133871A1 (en) | 2014-05-20 | 2021-05-06 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operation feature usage recommendations |
US10599155B1 (en) | 2014-05-20 | 2020-03-24 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operation feature monitoring and evaluation of effectiveness |
US9972054B1 (en) | 2014-05-20 | 2018-05-15 | State Farm Mutual Automobile Insurance Company | Accident fault determination for autonomous vehicles |
US10373259B1 (en) | 2014-05-20 | 2019-08-06 | State Farm Mutual Automobile Insurance Company | Fully autonomous vehicle insurance pricing |
US11669090B2 (en) | 2014-05-20 | 2023-06-06 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operation feature monitoring and evaluation of effectiveness |
US9786154B1 (en) | 2014-07-21 | 2017-10-10 | State Farm Mutual Automobile Insurance Company | Methods of facilitating emergency assistance |
US11107365B1 (en) | 2015-08-28 | 2021-08-31 | State Farm Mutual Automobile Insurance Company | Vehicular driver evaluation |
US20210295439A1 (en) | 2016-01-22 | 2021-09-23 | State Farm Mutual Automobile Insurance Company | Component malfunction impact assessment |
US10324463B1 (en) | 2016-01-22 | 2019-06-18 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operation adjustment based upon route |
US11441916B1 (en) | 2016-01-22 | 2022-09-13 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle trip routing |
US11242051B1 (en) | 2016-01-22 | 2022-02-08 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle action communications |
US10134278B1 (en) | 2016-01-22 | 2018-11-20 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle application |
US11719545B2 (en) | 2016-01-22 | 2023-08-08 | Hyundai Motor Company | Autonomous vehicle component damage and salvage assessment |
US10395332B1 (en) | 2016-01-22 | 2019-08-27 | State Farm Mutual Automobile Insurance Company | Coordinated autonomous vehicle automatic area scanning |
KR20210040613A (en) | 2019-10-04 | 2021-04-14 | 삼성전자주식회사 | Electronic apparatus and controlling method thereof |
KR102504941B1 (en) | 2020-04-29 | 2023-03-03 | 한국국토정보공사 | Object address based delivery method and apparatus using autonomous driving robot |
KR102517818B1 (en) | 2020-05-11 | 2023-04-04 | 광주과학기술원 | Mixed reality based experience simulator |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100376152B1 (en) | 2000-03-27 | 2003-03-15 | 이승종 | Simulation method for estimating a performance of automatic transmission automobile |
-
2013
- 2013-06-12 KR KR1020130067123A patent/KR101515496B1/en active IP Right Grant
Cited By (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11645064B2 (en) | 2014-11-13 | 2023-05-09 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle accident and emergency response |
US10831204B1 (en) | 2014-11-13 | 2020-11-10 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle automatic parking |
US11726763B2 (en) | 2014-11-13 | 2023-08-15 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle automatic parking |
US11740885B1 (en) | 2014-11-13 | 2023-08-29 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle software version assessment |
US10940866B1 (en) | 2014-11-13 | 2021-03-09 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operating status assessment |
US11748085B2 (en) | 2014-11-13 | 2023-09-05 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operator identification |
US11500377B1 (en) | 2014-11-13 | 2022-11-15 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle control assessment and selection |
US10246097B1 (en) | 2014-11-13 | 2019-04-02 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operator identification |
US11532187B1 (en) | 2014-11-13 | 2022-12-20 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operating status assessment |
US11247670B1 (en) | 2014-11-13 | 2022-02-15 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle control assessment and selection |
US11494175B2 (en) | 2014-11-13 | 2022-11-08 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operating status assessment |
US11175660B1 (en) | 2014-11-13 | 2021-11-16 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle control assessment and selection |
US11173918B1 (en) | 2014-11-13 | 2021-11-16 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle control assessment and selection |
US11127290B1 (en) | 2014-11-13 | 2021-09-21 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle infrastructure communication device |
US11014567B1 (en) | 2014-11-13 | 2021-05-25 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operator identification |
US10943303B1 (en) | 2014-11-13 | 2021-03-09 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle operating style and mode monitoring |
US11977874B2 (en) | 2014-11-13 | 2024-05-07 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle control assessment and selection |
US10824144B1 (en) | 2014-11-13 | 2020-11-03 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle control assessment and selection |
US10821971B1 (en) | 2014-11-13 | 2020-11-03 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle automatic parking |
US10824415B1 (en) | 2014-11-13 | 2020-11-03 | State Farm Automobile Insurance Company | Autonomous vehicle software version assessment |
US11720968B1 (en) | 2014-11-13 | 2023-08-08 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle insurance based upon usage |
US10831191B1 (en) | 2014-11-13 | 2020-11-10 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle accident and emergency response |
US11954482B2 (en) | 2014-11-13 | 2024-04-09 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle control assessment and selection |
US10915965B1 (en) | 2014-11-13 | 2021-02-09 | State Farm Mutual Automobile Insurance Company | Autonomous vehicle insurance based upon usage |
WO2017018844A1 (en) * | 2015-07-30 | 2017-02-02 | 삼성전자 주식회사 | Autonomous vehicle and operation method of same |
JP2017105453A (en) * | 2015-12-08 | 2017-06-15 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh | Method for validating drive assistance function of motor vehicle |
GB2547745A (en) * | 2015-12-18 | 2017-08-30 | Ford Global Tech Llc | Virtual sensor data generation for wheel stop detection |
KR20170132515A (en) * | 2016-05-24 | 2017-12-04 | (주)이노시뮬레이션 | Apparatus and method for simulating car |
GB2554148A (en) * | 2016-07-07 | 2018-03-28 | Ford Global Tech Llc | Virtual sensor data generation for bollard receiver detection |
KR20180023754A (en) * | 2016-08-27 | 2018-03-07 | 유홍준 | Autonomous Vehicle Education System and Method for Learning Safety-based Algorithms |
KR20200011315A (en) * | 2018-07-24 | 2020-02-03 | 인하대학교 산학협력단 | Augmented reality based autonomous driving simulation method and system |
CN109448482A (en) * | 2018-10-23 | 2019-03-08 | 扬州大学 | A kind of automatic Pilot experience platform based on virtual reality |
CN113287073A (en) * | 2018-10-31 | 2021-08-20 | 茂莱株式会社 | Automatic driving automobile simulator using network platform |
CN113287073B (en) * | 2018-10-31 | 2024-06-07 | 茂莱株式会社 | Automatic driving automobile simulator using network platform |
WO2020091421A1 (en) * | 2018-10-31 | 2020-05-07 | 주식회사 모라이 | Autonomous driving vehicle simulator to which network platform is applied |
KR101984762B1 (en) * | 2018-10-31 | 2019-06-03 | 주식회사 모라이 | Autonomous vehicle simulator using network platform |
KR102122795B1 (en) * | 2018-12-19 | 2020-06-15 | 주식회사 에스더블유엠 | Method to test the algorithm of autonomous vehicle |
KR20200094593A (en) * | 2019-01-30 | 2020-08-07 | 한국자동차연구원 | Failure safety test evaluation system and the method for autonomous vehicle |
WO2020220248A1 (en) * | 2019-04-30 | 2020-11-05 | 深圳市大疆创新科技有限公司 | Autonomous driving vehicle simulation test method and system, storage medium, and vehicle |
CN110619780A (en) * | 2019-11-06 | 2019-12-27 | 北京千种幻影科技有限公司 | VR simulation driving training device |
KR102139513B1 (en) * | 2019-11-28 | 2020-08-12 | 국민대학교산학협력단 | Autonomous driving control apparatus and method based on ai vehicle in the loop simulation |
KR102139172B1 (en) * | 2020-01-06 | 2020-07-29 | 주식회사 모라이 | Autonomous vehicle simulation method in virtual environment |
US11514212B2 (en) | 2020-01-06 | 2022-11-29 | Morai | Method of simulating autonomous vehicle in virtual environment |
WO2021141206A1 (en) * | 2020-01-06 | 2021-07-15 | 주식회사 모라이 | Autonomous driving vehicle simulation method in virtual environment |
CN111815745B (en) * | 2020-06-16 | 2024-01-12 | 万物镜像(北京)计算机***有限公司 | Driving condition display method and device, storage medium and electronic equipment |
CN111815745A (en) * | 2020-06-16 | 2020-10-23 | 当家移动绿色互联网技术集团有限公司 | Driving condition display method and device, storage medium and electronic equipment |
CN112396911B (en) * | 2020-08-07 | 2024-05-28 | 北京智扬北方国际教育科技有限公司 | Unmanned driving automobile automatic obstacle avoidance parking training teaching aid |
CN112396911A (en) * | 2020-08-07 | 2021-02-23 | 北京智扬北方国际教育科技有限公司 | Real teaching aid of instructing of automatic obstacle avoidance parking of unmanned vehicle |
KR20220049103A (en) | 2020-10-13 | 2022-04-21 | 한국클라우드컴퓨팅연구조합 | V2x communication-based driving simulation provision method, driving guide and advertisement content provision method using the same |
CN112466181A (en) * | 2020-12-03 | 2021-03-09 | 郑州捷安高科股份有限公司 | Evaluation method, device and medium based on simulation driving simulation system |
WO2022124477A1 (en) * | 2020-12-07 | 2022-06-16 | 삼성전자주식회사 | Electronic device and control method therefor |
CN112612261A (en) * | 2020-12-21 | 2021-04-06 | 广州小鹏自动驾驶科技有限公司 | Simulation test system and method for assisting lane change |
CN112925297B (en) * | 2021-01-29 | 2022-08-16 | 北京百度网讯科技有限公司 | Automatic driving algorithm verification method, device, equipment, storage medium and product |
CN112925297A (en) * | 2021-01-29 | 2021-06-08 | 北京百度网讯科技有限公司 | Automatic driving algorithm verification method, device, equipment, storage medium and product |
CN113051765B (en) * | 2021-03-31 | 2024-01-05 | 中国科学院合肥物质科学研究院 | Intelligent driving vehicle road ring-in testing method based on virtual scene transformation |
CN113051765A (en) * | 2021-03-31 | 2021-06-29 | 中国科学院合肥物质科学研究院 | Intelligent driving vehicle road on-loop test method based on virtual scene change |
CN114701519B (en) * | 2022-04-12 | 2024-05-17 | 东莞理工学院 | Automatic driving control system |
CN114701519A (en) * | 2022-04-12 | 2022-07-05 | 东莞理工学院 | Virtual driver technology based on artificial intelligence |
KR20230146965A (en) | 2022-04-12 | 2023-10-20 | 경기대학교 산학협력단 | Test case evaluating system and method of autonomous driving |
CN114815701A (en) * | 2022-05-07 | 2022-07-29 | 上海锰玛工业智能科技有限公司 | Non-line-of-sight remote control driving system |
WO2024035066A1 (en) * | 2022-08-11 | 2024-02-15 | 한국교통안전공단 | Blockage performance evaluation apparatus |
WO2024128539A1 (en) * | 2022-12-15 | 2024-06-20 | 주식회사 모라이 | Three-dimensional virtual environment information display method and system for autonomous driving simulation |
Also Published As
Publication number | Publication date |
---|---|
KR101515496B1 (en) | 2015-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101515496B1 (en) | Simulation system for autonomous vehicle for applying obstacle information in virtual reality | |
JP7073315B2 (en) | Vehicles, vehicle positioning systems, and vehicle positioning methods | |
CN109725634B (en) | 3D LIDAR system using dichroic mirrors for autonomous vehicles | |
KR20140144921A (en) | Simulation system for autonomous vehicle using virtual reality | |
US10769793B2 (en) | Method for pitch angle calibration based on 2D bounding box and its 3D distance for autonomous driving vehicles (ADVs) | |
JP7351293B2 (en) | Signal processing device, signal processing method, program, and mobile object | |
KR101622028B1 (en) | Apparatus and Method for controlling Vehicle using Vehicle Communication | |
JP7182895B2 (en) | Information processing device, program, and information processing method | |
US10860868B2 (en) | Lane post-processing in an autonomous driving vehicle | |
WO2020116195A1 (en) | Information processing device, information processing method, program, mobile body control device, and mobile body | |
US11514790B2 (en) | Collaborative perception for autonomous vehicles | |
US11796335B2 (en) | Method of and system for controlling operation of self-driving car | |
US11352010B2 (en) | Obstacle perception calibration system for autonomous driving vehicles | |
US11812197B2 (en) | Information processing device, information processing method, and moving body | |
CN111860198B (en) | Methods, apparatuses, and systems for processing point cloud data for autonomous driving vehicle ADV, and computer readable media | |
CN111837136A (en) | Autonomous navigation based on local sensing and associated systems and methods | |
US11754415B2 (en) | Sensor localization from external source data | |
US11851083B2 (en) | Methods and system for constructing data representation for use in assisting autonomous vehicles navigate intersections | |
US20220242440A1 (en) | Methods and system for generating a lane-level map for an area of interest for navigation of an autonomous vehicle | |
WO2022024602A1 (en) | Information processing device, information processing method and program | |
KR102175943B1 (en) | Platform and Automotive platform for education of unmanned vehicle | |
CN116569070A (en) | Method and system for analyzing dynamic LiDAR point cloud data | |
WO2019176278A1 (en) | Information processing device, information processing method, program, and mobile body | |
Yaakub et al. | A Review on Autonomous Driving Systems | |
WO2022059489A1 (en) | Information processing device, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20180406 Year of fee payment: 4 |