KR101647061B1

KR101647061B1 - Path Generation Method and apparatus for Unmanned Autonomous Vehicle

Info

Publication number: KR101647061B1
Application number: KR1020140039341A
Authority: KR
Inventors: 양지훈; 김문종; 박운상; 박수용
Original assignee: 서강대학교산학협력단
Priority date: 2014-04-02
Filing date: 2014-04-02
Publication date: 2016-08-10
Also published as: KR20150115069A

Abstract

본 발명에 따르는 무인자율주행 차량의 경로 생성방법은, 전체 주행경로에 대응되는 노드들에 대한 정보인 전역경로정보를 생성하는 단계; 상기 노드들 중 어느 하나인 현재노드와 다음 하나인 목적지노드 사이의 중간지점을 구하고, 상기 중간지점을 잡음세기값에 따라 가변하면서 주행경로들을 생성하고, 그 주행경로들 중 중앙선과의 이격거리가 가장 짧은 주행경로를 검출하고, 그 중앙선과의 이격거리가 가장 짧은 주행경로를 생성할 때에 사용된 가변된 중간지점과 상기 현재노드와 목적지노드의 위치정보를 토대로 지역경로정보인 최적주행경로를 생성하는 단계;를 구비하며, 미리 정해둔 시간단계마다 차량의 실제주행정보와 도로정보를 토대로 차량과 중앙선 사이의 이격거리를 검출하고, 상기 이격거리에 따라 상기 잡음세기값을 가변함을 특징으로 한다. A method for generating a path of an unmanned autonomous vehicle according to the present invention includes: generating global path information that is information on nodes corresponding to an entire traveling path; A middle point between the current node and the next one of the nodes is obtained and the intermediate point is varied according to the noise intensity value to generate the traveling paths, A shortest travel route is detected and an optimal travel route is generated based on the variable intermediate point used when generating the travel route having the shortest distance from the center line and the location information of the current node and the destination node And detecting a distance between the vehicle and the center line on the basis of the actual driving information and the road information of the vehicle for each predetermined time step, and varying the noise intensity value according to the spacing distance .

Description

무인자율주행 차량의 주행경로 생성방법 및 장치{Path Generation Method and apparatus for Unmanned Autonomous Vehicle} BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for generating a traveling route of an autonomous vehicle,

본 발명은 무인자율주행 차량의 제어기술에 관한 것으로, 더욱 상세하게는 차량의 지역경로 생성시에 시작노드와 종료노드 사이의 중간지점을 생성하여 주행경로를 생성하고, 그 주행경로를 실제로 주행하였을 때의 차량과 중앙선 사이의 이격거리를 토대로 상기 중간지점의 학습범위를 가변하여, 상기 주행경로가 중앙선에 근접되도록 상기 중간지점을 학습시키는 무인자율주행 차량의 주행경로 생성방법 및 장치에 관한 것이다.
More particularly, the present invention relates to a control technique of an unmanned self-propelled vehicle, and more particularly, to a control technique of an unmanned self-propelled vehicle that generates an intermediate point between a start node and a finish node at the time of generating a local route of the vehicle, To a traveling path generating method and apparatus for an unmanned autonomous driving vehicle in which the learning range of the intermediate point is varied based on a distance between the vehicle and the center line at the time when the vehicle travels along the center line.

최근 무인자율주행 차량에 대한 사람들의 관심이 늘어나고 있다. 특히 2007년 방위고등연구계획국(DARPA)에서 주최한 무인자율주행 대회와 2010년 구글에서 무인자율주행 차량을 발표한 이후에 관심이 더 증가되고 있다. 상기 무인자율주행 차량은 인간의 수고를 덜어주는 동시에 위험으로부터 안전하게 보호해주는 기능을 하므로, 무인자율주행 차량에 대한 연구는 사회적 건강이나 경제적 측면으로 볼 때에도 매우 가치있는 분야라 할 수 있다. 특히 자동차 수요증가에 따른 교통혼잡을 해소함과 아울러 사람이나 다른 차량 등의 장애물을 안전하게 회피하기 위해, 무인자율주행 차량의 경로를 빠르고 효율적으로 생성하는 기술에 대한 관심이 높아지고 있다. Recently, people's interest in unmanned autonomous vehicles is increasing. Especially since the launch of the unmanned autonomous driving competition hosted by the Defense Advanced Research Projects Agency (DARPA) in 2007 and the unmanned autonomous driving vehicle in Google in 2010, interest is increasing. Since the unmanned autonomous vehicle has the function of protecting the human effort and protecting it safely from the danger, the research on the unmanned autonomous vehicle is very valuable in terms of social health and economics. In particular, there is a growing interest in techniques for quickly and efficiently generating routes for autonomous vehicles in order to relieve traffic congestion caused by increased demand for automobiles and to avoid obstacles such as people and other vehicles.

종래에는 무인자율주행 차량의 경로 생성시에 카메라를 통해 들어오는 이미지 정보를 이용하였으나, 이는 차량의 위치나 주행해야할 경로를 정밀하게 측정하기가 어려웠다. Conventionally, the image information coming through the camera is used when generating the route of the autonomous vehicle. However, it is difficult to precisely measure the position of the vehicle or the route to travel.

그러나 근래에는 DGPS(Differential Global Positioning System)나 칼만 필터 알고리즘 등을 통해 차량의 위치를 정확하게 측정하여 경로를 생성하는 기술들이 개발되고 있다. In recent years, however, techniques have been developed for accurately generating a path by measuring the position of a vehicle through a DGPS (Differential Global Positioning System) or a Kalman filter algorithm.

상기 무인자율주행 차량의 주행경로는 크게 전역경로와 지역경로 두 가지로 나눌 수 있다. 상기 전역경로는 차량이 출발지로부터 목적지까지 도착하기 위해서 지나가야 할 지점들이고, 상기 지역경로는 상기 전역경로로부터 얻어진 지점들 사이를 주행하기 위한 경로이다. The traveling path of the unmanned autonomous vehicle can be broadly divided into a global route and a regional route. The global route is a point at which the vehicle must pass in order to reach the destination from the departure point, and the local route is a route for traveling between points obtained from the global route.

상기 전역경로와 상기 지역경로를 생성하기 위한 이론들로는 다익스트라 알고리즘(Dijkstra`s Algorithm), 해버사인 공식(Haversine Formula), 비 스플라인 곡선(B Spline Curve), 강화 학습(Reinforcement Learning), 인공 신경망(Artificial Neural Network) 등이 있으며, 이러한 기법들은 이미 공지된 기술이므로 그 상세한 설명은 생략한다.
Dijkstra`s Algorithm, Haversine Formula, B Spline Curve, Reinforcement Learning, Artificial Neural Network, and the like are examples of theories for generating the global path and the local path. Artificial Neural Network). These techniques are well known in the art and will not be described in detail.

한국특허공개 제2013-0091907호Korean Patent Publication No. 2013-0091907 한국 특허공개 제2013-0065126호Korean Patent Publication No. 2013-0065126 미국 특허공개 제2010-0076640호U.S. Patent Application Publication No. 2010-0076640

본 발명은 차량의 지역경로 생성시에 시작노드와 종료노드 사이의 중간지점을 생성하여 주행경로를 생성하고, 그 주행경로를 실제로 주행하였을 때의 차량과 중앙선 사이의 이격거리를 토대로 상기 중간지점의 학습범위를 가변하여, 상기 주행경로가 중앙선에 근접되도록 상기 중간지점을 학습시켜, 주행경로를 최적화시킬 수 있는 무인자율주행 차량의 주행경로 생성방법 및 장치를 제공하는 것을 그 목적으로 한다. The present invention relates to a vehicle control apparatus for a vehicle, which generates an intermediate point between a start node and an end node at the time of generating a local route of the vehicle to generate a travel route and, based on the distance between the vehicle and the center line, And it is an object of the present invention to provide a traveling route generating method and apparatus of an unmanned autonomous vehicle capable of varying the learning range and learning the intermediate point so that the traveling route approaches the center line, thereby optimizing the traveling route.

또한 본 발명의 다른 목적은 주행경로에 따른 차량제어정보에 포함된 조향각 제어정보를 미리 정해둔 시간단계마다 주행경로에 따른 주행각도와 차량의 실제주행정보에 따른 주행각도가 작아지도록 상기 차량의 조향각을 학습시켜 실제 주행과 주행경로가 부합되게 하는 강화학습을 이용한 무인자율주행 차량의 경로 생성방법 및 장치를 제공하는 것이다.
It is another object of the present invention to provide a steering angle control apparatus and a steering angle control method for controlling a steering angle of a vehicle so that a traveling angle of the vehicle along a traveling path and a traveling angle of the vehicle according to actual traveling information of the vehicle are reduced, And to provide a method and an apparatus for generating a path of an unmanned autonomous vehicle using reinforcement learning in which an actual running and a running path are matched.

상기한 목적을 달성하기 위한 본 발명에 따르는 무인자율주행 차량의 경로 생성방법은, 전체 주행경로에 대응되는 노드들에 대한 정보인 전역경로정보를 생성하는 단계; 상기 노드들 중 어느 하나인 현재노드와 다음 하나인 목적지노드 사이의 중간지점을 구하고, 상기 중간지점을 잡음세기값에 따라 가변하면서 주행경로들을 생성하고, 그 주행경로들 중 중앙선과의 이격거리가 가장 짧은 주행경로를 검출하고, 그 중앙선과의 이격거리가 가장 짧은 주행경로를 생성할 때에 사용된 가변된 중간지점과 상기 현재노드와 목적지노드의 위치정보를 토대로 지역경로정보인 최적주행경로를 생성하는 단계;를 구비하며, 미리 정해둔 시간단계마다 차량의 실제주행정보와 도로정보를 토대로 차량과 중앙선 사이의 이격거리를 검출하고, 상기 이격거리에 따라 상기 잡음세기값을 가변함을 특징으로 한다.
According to another aspect of the present invention, there is provided a method of generating a route for an autonomous vehicle, the method comprising: generating global route information that is information on nodes corresponding to the entire travel route; A middle point between the current node and the next one of the nodes is obtained and the intermediate point is varied according to the noise intensity value to generate the traveling paths, A shortest travel route is detected and an optimal travel route is generated based on the variable intermediate point used when generating the travel route having the shortest distance from the center line and the location information of the current node and the destination node And detecting a distance between the vehicle and the center line on the basis of the actual driving information and the road information of the vehicle for each predetermined time step, and varying the noise intensity value according to the spacing distance .

상기한 본 발명은 차량의 지역경로 생성시에 시작노드와 종료노드 사이의 중간지점을 생성하여 주행경로를 생성하고, 그 주행경로를 실제로 주행하였을 때의 차량과 중앙선 사이의 이격거리를 토대로 상기 중간지점의 학습범위를 가변하여, 상기 주행경로가 중앙선에 근접되도록 상기 중간지점을 학습시켜, 주행경로를 최적화시킬 수 있는 효과를 야기한다. In the present invention, a middle point between the start node and the end node is generated at the time of generating a local route of the vehicle to generate a traveling route, and based on the distance between the vehicle and the center line when the traveling route is actually traveled, It is possible to vary the learning range of the point and to learn the intermediate point so that the traveling route approaches the center line, thereby optimizing the traveling route.

또한 본 발명은 주행경로에 따른 차량제어정보에 포함된 조향각 제어정보를 미리 정해둔 시간단계마다 주행경로에 따른 주행각도와 차량의 실제주행정보에 따른 주행각도가 작아지도록 상기 차량의 조향각을 학습시켜 실제 주행과 주행경로가 부합되게 할 수 있는 효과를 야기한다.
Further, according to the present invention, the steering angle of the vehicle is learned so that the traveling angle according to the traveling route and the traveling angle according to the actual traveling information of the vehicle are decreased for each time step in which the steering angle control information included in the vehicle control information according to the traveling route is predetermined Thereby causing an effect that the actual travel and the travel route can be matched.

도 1은 본 발명의 바람직한 실시예에 따른 무인자율주행 차량의 경로 생성장치의 개략적인 구성도.
도 2는 도 1의 지역경로 생성부(104)의 상세 구성도.
도 3은 도 2의

검출을 위한 절차도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a schematic configuration diagram of an apparatus for route generation of an unmanned autonomous vehicle according to a preferred embodiment of the present invention; FIG.
2 is a detailed configuration diagram of the local path generating unit 104 of FIG.
Fig. 3 is a cross-

Procedure for detection.

본 발명은 차량의 지역경로 생성시에 시작노드와 종료노드 사이의 중간지점을 생성하여 주행경로를 생성하고, 그 주행경로를 실제로 주행하였을 때의 차량과 중앙선 사이의 이격거리를 토대로 상기 중간지점의 학습범위를 가변하여, 상기 주행경로가 중앙선에 근접되도록 상기 중간지점을 학습시켜, 주행경로를 최적화시킬 수 있다. The present invention relates to a vehicle control apparatus for a vehicle, which generates an intermediate point between a start node and an end node at the time of generating a local route of the vehicle to generate a travel route and, based on the distance between the vehicle and the center line, It is possible to vary the learning range and to learn the intermediate point so that the traveling route approaches the center line to optimize the traveling route.

또한 본 발명은 주행경로에 따른 차량제어정보에 포함된 조향각 제어정보를 미리 정해둔 시간단계마다 주행경로에 따른 주행각도와 차량의 실제주행정보에 따른 주행각도가 작아지도록 상기 차량의 조향각을 학습시켜 실제 주행과 주행경로가 부합되게 할 수 있다.
Further, according to the present invention, the steering angle of the vehicle is learned so that the traveling angle according to the traveling route and the traveling angle according to the actual traveling information of the vehicle are decreased for each time step in which the steering angle control information included in the vehicle control information according to the traveling route is predetermined The actual traveling and the traveling route can be matched.

<무인자율주행 차량의 주행경로 생성장치의 구성><Configuration of Travel Path Generator for Unmanned Self-Driving Vehicle>

상기한 본 발명의 바람직한 실시예에 따른 무인자율주행 차량의 주행경로 생성장치의 구성을 도 1을 참조하여 설명한다. A configuration of a traveling route generating apparatus for an unmanned autonomous vehicle according to a preferred embodiment of the present invention will be described with reference to FIG.

상기 무인자율주행 차량의 주행경로 생성장치는 제어모듈(100)과 GPS 모듈(108)과 메모리부(110)와 바퀴각도 센서모듈(112)과 차량머리의 방위각 센서모듈(114)과 속도 센서모듈(116)을 구비한다. The traveling route generating device of the unmanned autonomous vehicle includes a control module 100, a GPS module 108, a memory unit 110, a wheel angle sensor module 112, an azimuth sensor module 114 of a vehicle head, (116).

상기 제어모듈(100)은 본 발명의 바람직한 실시예에 따른 무인자율주행 차량의 주행경로 생성을 수행하며, 이를 위해 전역경로 생성부(102)와 지역경로 생성부(104)와 목표지점 도달 검출부(106)를 포함한다.The control module 100 performs the traveling path generation of the unmanned autonomous vehicle according to the preferred embodiment of the present invention and includes a global path generation unit 102, a local path generation unit 104, a target point arrival detection unit 106).

상기 전역경로 생성부(102)는 다익스트라 알고리즘을 사용하여 전역경로정보를 생성하여 지역경로 생성부(104)로 제공한다. 상기 전역경로정보는 차량이 출발지로부터 목적지까지 도착하기 위해 지나가야 할 목표지점들인 노드들에 대한 위치정보이다. The global path generation unit 102 generates global path information by using a dextral algorithm and provides the global path information to the local path generation unit 104. The global route information is location information on the nodes that are target points to which the vehicle must pass in order to reach the destination from the source.

상기 목표지점 도달 검출부(106)는 LBO(Lateral Boundary Offset) 방법을 토대로 차량이 어느 한 노드에 도달하였는지 여부를 검출하여 지역경로 생성부(104)로 제공한다. 상기 LBO(Lateral Boundary Offset) 방법은 도달하려는 노드의 좌표를 기준으로 일정범위를 정하고, 그 범위내에 도달하면 차량이 목표지점에 도달한 것으로 판단하는 것이다. The target point arrival detection unit 106 detects whether a vehicle has reached a node based on a LBO (Lateral Boundary Offset) method and provides the detection result to the local path generation unit 104. The LBO (Lateral Boundary Offset) method determines a certain range based on the coordinates of the node to be reached, and determines that the vehicle has reached the target point when it reaches the range.

상기 지역경로 생성부(104)는 주행초기시 및 목표지점 도달 검출시마다 현재 노드에서 다음 노드까지의 주행경로를 생성하고, 그 주행경로를 주행하기 위한 차량 제어정보를 생성하여 차량제어장치로 제공한다. 상기 차량 제어정보는 조향각 제어정보 등을 포함할 수 있다.The local path generating unit 104 generates a traveling route from the present node to the next node at the time of starting the driving and detecting the arrival of the target point, and generates and transmits the vehicle control information for driving the traveling route to the vehicle control device . The vehicle control information may include steering angle control information and the like.

상기 GPS 모듈(108)은 차량의 현재위치정보를 생성하여 상기 제어모듈(100)에 제공한다. 상기 차량의 현재위치정보는 제어모듈(100)에 의해 누적되어 차량의 실제주행경로를 파악할 수 있게 한다.The GPS module 108 generates current position information of the vehicle and provides it to the control module 100. The current location information of the vehicle is accumulated by the control module 100 so that the actual traveling route of the vehicle can be grasped.

상기 메모리부(112)는 상기 제어모듈(100)의 처리 프로그램을 포함하는 다양한 정보를 저장한다. 특히 상기 메모리부(112)는 차량이 주행하는 도로에 대한 도로정보를 구비하며, 이를 통해 도로의 중앙선과 차량이 어느 정도 이격되었는지를 파악할 수 있게 한다.The memory unit 112 stores various information including a processing program of the control module 100. [ Particularly, the memory unit 112 has road information for the road on which the vehicle travels, and it is possible to grasp the distance between the center line of the road and the vehicle.

상기 바퀴각도 센서모듈(110)은 바퀴의 각도를 센싱하고, 이에 대한 바퀴각도 센싱정보를 상기 제어모듈(100)로 제공한다. The wheel angle sensor module 110 senses the angle of the wheel and provides the wheel angle sensing information to the control module 100.

상기 차량머리의 방위각 센서모듈(110)은 자이로 센서로서 차량머리의 방위각을 센싱하고, 이에 대한 방위각 센싱정보를 상기 제어모듈(100)로 제공한다. 상기 방위각 센싱정보는 제어모듈(100)에 의한 조향각 산출시에 이용된다.The azimuth sensor module 110 of the vehicle head senses the azimuth angle of the head of the vehicle as a gyro sensor and provides the azimuth sensing information to the control module 100. The azimuth sensing information is used when the control module 100 calculates the steering angle.

상기 속도 센서모듈(110)은 상기 차량의 속도를 센싱하고, 이에 대한 속도정보를 상기 제어모듈(100)로 제공한다. 상기 속도 센싱정보는 제어모듈(100)에 의한 주행경로 분해시에 이용된다.
The speed sensor module 110 senses the speed of the vehicle and provides the speed information to the control module 100. The speed sensing information is used when the control module 100 disassembles the traveling path.

<지역경로 생성부(104)의 상세 구성><Detailed Configuration of Local Path Generation Unit 104>

상기한 본 발명의 바람직한 실시예에 따른 지역경로 생성부(104)의 구성을 도 2를 참조하여 좀더 설명한다. The configuration of the local path generation unit 104 according to the preferred embodiment of the present invention will be described in more detail with reference to FIG.

상기 지역경로 생성부(104)는

지점 생성부(200)와 경로예측을 통한 강화학습부(208)와 최적주행경로 생성부(218)와 차량제어정보 생성부(224)와 학습 데이터 생성부(228)로 구성된다. The local path generation unit 104

An optimal driving route generating unit 218, a vehicle control information generating unit 224, and a learning data generating unit 228. The training generating unit 228 includes a point generating unit 200, an enhanced learning unit 208,

상기

지점 생성부(200)는 차량의 초기상태정보

와 목적지상태정보

를 입력받는다. 여기서, 상기 초기상태정보

는 전역경로정보에 포함된 노드들 중 어느 두 노드 중 하나에 도달한 차량의 현재상태에 대한 정보이고, 상기 목적지상태정보

는 상기 두 노드 중 다른 하나에서의 차량의 상태에 대한 정보이다. remind

The point generating unit 200 generates an initial state information

And destination status information

. Here, the initial state information

Is information on the current state of the vehicle which has reached one of the two nodes included in the global route information, and the destination state information

Is information on the state of the vehicle at the other of the two nodes.

상기

지점 생성부(200)는 상기 차량의 초기상태정보

와 목적지상태정보

를 입력받으면, 초기상태정보

에 포함된 위치정보와 목적지상태정보

에 포함된 위치정보의 중간지점인

지점을 검출한다. 여기서, 상기

지점은 장애물을 회피하거나 커브구간 등을 매끄럽게 주행하는 경로를 생성하기 위해 선정되는 중간지점이다. 상기

지점 생성부(200)는

지점을 검출하기 위해 시작점과 도착점의 중간점을 찾고, 그 중간점으로부터 도로의 곡률반경의 비율과 장애물의 길이 등을 고려하여 적절한

지점을 찾는다. 여기서, 도로의 곡률반경 및 장애물에 대한 정보는 미리 저장될 수 있다.remind

The point generating unit 200 generates an initial state information

And destination status information

The initial status information < RTI ID = 0.0 >

Location information and destination status information included in

Which is the middle point of the location information included in the

Point. Here,

The point is a midpoint selected to avoid obstacles or to create a smooth running path of the curve section. remind

The point generating unit 200

In order to detect a point, we need to find the midpoint between the starting point and the end point, and from the midpoint, the ratio of the radius of curvature of the road and the length of the obstacle,

Find a spot. Here, the curvature radius of the road and information on the obstacle can be stored in advance.

이후 상기

지점 생성부(200)는 상기

지점에 대한 정보를 경로 예측을 통한 강화학습부(202)로 제공하고, 상기 경로 예측을 통한 강화학습부(202)로부터 강화학습된

지점에 대한 정보가 제공되면, 그 강화학습된

지점과 초기상태정보

에 포함된 위치정보와 목적지상태정보

에 포함된 위치정보를 이용하여 주행경로를 생성하고, 그 주행경로와 장애물의 위치가 겹치는지를 확인하고, 상기 주행경로와 장애물의 위치가 겹치지 않으면 상기 강화학습된

지점에 대한 정보 및 상기 초기상태정보

와 목적지상태정보

를 최적주행경로 생성부(218)에 제공한다. Then,

The point generating unit 200 generates the point

Information on a point is provided to the reinforcement learning unit 202 through path prediction, and reinforcement learning is performed from the reinforcement learning unit 202 through the path prediction

Once the information about the branch is provided,

Branch and initial state information

Location information and destination status information included in

And if the position of the obstacle is not overlapped with the position of the obstacle, it is checked whether the obstacle is overlapped with the traveling path.

Information about a point and the initial state information

And destination status information

To the optimum traveling path generating unit 218. [

상기 경로 예측을 통한 강화학습부(208)는 상기

지점 생성부(200)가 생성한

지점이 최적의 지점이 아닐 수 있다는 전제하에, 상기

지점을 잡음세기값에 따라 변경하면서 가치함수를 반복실행하여 보상값이 제일 높게 나오는 변경된

지점을 찾고, 그 때의

지점에 대한 정보를 강화학습된

지점에 대한 정보로서 상기

지점 생성부(200)로 제공한다. 상기 경로 예측을 통한 강화학습부(208)는 학습 데이터 생성부(228)가 노트 포인트들 각각에 대응되는 타임 스텝마다 제공하는 차량과 중앙선 사이의 이격거리를 토대로 상기 잡음세기값을 가변한다. The reinforcement learning unit 208, through the path prediction,

The point generator 200 generates a point

On the assumption that the point is not the optimum point,

The point is changed according to the noise intensity value, and the value function is repeatedly executed,

Looking for a spot, then

Learned to reinforce information about the branch

As the information on the point,

To the point generating unit 200. The reinforcement learning unit 208 through the path prediction varies the noise intensity value based on the distance between the vehicle and the center line provided by the learning data generation unit 228 at each time step corresponding to each of the note points.

상기 최적주행경로 생성부(218)는 상기

지점 생성부(200)로부터 상기 강화학습된

지점에 대한 정보 및 상기 초기상태정보

와 목적지상태정보

를 제공받아 최적주행경로를 생성하고, 그 최적주행경로를 다수로 분해하고, 각 분해점인 노트 포인트(knot point)에 대응되는 타임 스텝에서의 주행상태를 정의하고, 그 주행상태에 대한 정보를 차량제어정보 생성부(224)에 제공한다. 특히 상기 최적주행경로 생성부(218)는 차량의 현재시각에 대응되는 현재상태정보

와 다음 노트 포인트의 타임 스텝의 상태정보

를 차량제어정보 생성부(224)로 제공한다. The optimum traveling route generating unit 218 generates

From the point generating unit 200,

Information about a point and the initial state information

And destination status information

To define an optimum traveling route, to disassemble the optimum traveling route, to define a traveling state at a time step corresponding to a knot point as a decomposition point, and to obtain information on the traveling state And provides it to the vehicle control information generation unit 224. [ Particularly, the optimum traveling route generating unit 218 generates the current traveling route information

And the state information of the time step of the next note point

To the vehicle-control-information generating unit 224.

상기 차량제어정보 생성부(224)는 현재상태정보

와 다음 노트 포인트 상태정보

를 입력받아, 차량이 최적주행경로를 따라갈 수 있도록 상기 노트 포인트들 각각에 대응되는 타임스텝마다 차량의 조향각 제어정보

를 생성하고, 이를 출력한다. 특히 상기 차량제어정보 생성부(224)는 노트 포인트들 각각에 대응되는 타임 스텝마다 학습 데이터 생성부(228)로부터 최적주행경로의 주행각도와 실제주행경로의 주행각도의 차이값을 제공받아, 그 차이값이 작아지도록 인공지능망 학습을 수행한다.The vehicle-control-information generating unit 224 generates a vehicle-

And next note point status information

For each time step corresponding to each of the note points so that the vehicle can follow the optimum traveling path,

And outputs it. In particular, the vehicle control information generation unit 224 receives the difference between the travel angle of the optimum travel route and the travel angle of the actual travel route from the learning data generation unit 228 at each time step corresponding to each of the note points, The artificial intelligence network learning is performed so that the difference value becomes small.

상기 학습 데이터 생성부(228)는 노트 포인트들 각각에 대응되는 타임 스텝마다 중앙선과 차량 사이의 이격거리를 검출하여 상기 경로 예측을 통한 강화학습부(208)로 제공하고, 최적주행경로와 실제주행경로의 주행각도의 차이를 검출하여 상기 차량제어정보 생성부(224)에 제공한다.
The learning data generation unit 228 detects a distance between the center line and the vehicle at each time step corresponding to each of the note points and provides the detected distance to the reinforcement learning unit 208 through the path prediction. And provides the vehicle control information to the vehicle control information generation unit 224. [0157]

상기한 바와 같은 지역경로 생성부(104)의 주행 및 학습은 전역경로에서 생성한 모든 주행경로에 대해 이루어지며, 이러한 과정을 여러번 반복할 때에 최적의 주행경로가 획득될 수 있다.
The traveling and learning of the local route generating unit 104 as described above is performed for all the traveling routes generated in the global route, and an optimal traveling route can be obtained when this process is repeated many times.

이제 상기한 지역경로 생성부(104)의 각부에 대해 좀더 상세히 설명한다. Now, each part of the local path generation unit 104 will be described in more detail.

<

지점 생성부(200)><

Point generating unit 200>

이러한

지점 생성부(200)의 동작 설명에 앞서 본 발명에서 사용되는 상태정보를 정의한다. Such

Prior to the description of the operation of the point generator 200, state information used in the present invention is defined.

무인자율주행 차량의 주행경로를 생성하기 위한 문제 중 하나는 차량이 스스로 자신의 위치를 파악하고 정보를 얻어내어 경로를 생성해야 한다는 것이다. 더욱이 인간이 보는 3인칭 시점이 아니기 때문에 GPS를 통한 위치 추정과 이차원 평면으로 투영시킨 지도상에서 경로를 생성해야 한다. 이에따라 본 발명은 차량의 기본적인 상태를 다음과 같이 정의한다.One of the problems to create the traveling route of the unmanned autonomous vehicle is that the vehicle must know its own position and obtain information to create a route. Furthermore, since it is not the third person view that humans see, it is necessary to generate a path on a map projected onto a two-dimensional plane by GPS estimation. Accordingly, the present invention defines the basic state of a vehicle as follows.

상기 수학식 1은 차량의 상태를 나타내는 요소들로, 상기

는 각각 GPS를 기반으로 한 위도값과 경도값이고, 상기

는 북쪽을 기준으로 시계방향으로 계산한 차량머리의 방위각(단위:도)이고, 상기

는 현재 차량의 바퀴각도이다. 그리고 상기

는 차량의 속도를 나타낸다.
Equation (1) is the elements representing the state of the vehicle,

Are respectively a latitude value and a hardness value based on GPS,

Is an azimuth angle (unit: degree) of the head of the vehicle calculated in the clockwise direction with respect to the north,

Is the wheel angle of the current vehicle. And

Represents the speed of the vehicle.

본 발명에 따라 주행경로를 생성하기 위해서는 초기 차량의 상태에 대한 초기상태정보와 목적지에 도달한 차량의 상태에 대한 목적지상태정보가 요구되며, 이에 초기상태정보는

로, 목적지상태정보는

로 표현한다. 이는 지역경로를 생성하기 위한 값으로 사용된다.
In order to generate the traveling route according to the present invention, the initial state information on the initial vehicle state and the destination state information on the state of the vehicle arriving at the destination are required,

, The destination state information is

. It is used as a value to generate the local path.

상기

지점 생성부(200)는 크게 장애물 검지 기능부(202)와

지점 검출기능부(204)와 강화학습된

지점 확인 기능부(206)로 구성된다. remind

The point generating unit 200 mainly includes an obstacle detecting function unit 202,

The point detection function unit 204 and the reinforcement-

And a point confirmation function unit 206. [

상기 장애물 검지 기능부(202)는 랜덤 장애물 생성을 이행한다. 여기서, 본 발명은 비전 정보가 없는 상황에서 주행하는 경로에 장애물이 있을 시에 이를 회피하는 지역경로를 생성하는 것을 목표로, 이동하려는 노드 사이에 장애물이 있다면 차량과의 거리와는 상관없이 검지(detection)된다고 가정하고 있다. 또한 랜덤 장애물 생성은 장애물의 넓이를 고정시켜 놓은 상태에서 차량이 주행해야하는 경로의 중간 지점에서 좌 또는 우로 랜덤하게 쉬프트(shift)시켜놓은 곳에 장애물 정보를 만들어 놓는 것으로, 이렇게 장애물 정보를 생성해 놓으면 차량이 주행경로를 생성할 때 장애물이 경로로부터 떨어진 길이만큼 고려햐여 경로를 생성한다. The obstacle detecting function unit 202 performs random obstacle generation. The present invention aims at creating a local route avoiding an obstacle in a traveling route in the absence of vision information and, if there is an obstacle between the nodes to be moved, detection). In addition, random obstacle generation is performed by randomly shifting the obstacle to the left or right at a midway point of the route that the vehicle must travel in a state in which the width of the obstacle is fixed. When the obstacle information is generated, When generating this traveling route, the obstacle generates a route considering the distance from the route.

그리고 상기

지점 검출 기능부(204)는 상기 초기상태정보

와 목적지상태정보

를 토대로 초기위치와 목적지 사이의 중간 지점인

지점을 검출하며, 이는 도 3에 도시한 절차에 따라 이루어진다. And

The point detection function unit 204 detects the initial state information

And destination status information

Which is an intermediate point between the initial position and the destination

Point, which is performed according to the procedure shown in Fig.

상기 도 3을 참조하면, 상기

지점 검출 기능부(204)는 초기상태정보

의 위치정보에 따른 시작점과 목적지상태정보

의 위치정보에 따른 도착점의 중앙점

을 검출한다(300단계). 여기서 중앙점

을 찾는 이유는 중앙점

을 기준으로 한 경로가 가장 완만한 곡선을 가지기 때문이다. Referring to FIG. 3,

The point detection function unit 204 detects the initial state information

The starting point and the destination state information according to the position information

The center point of the destination according to the location information of

(Step 300). Here,

The reason for finding

Is the most gentle curve.

이후 상기

지점 검출 기능부(204)는 차량의 주행방향을 검출한다(302단계). 이와 같이 차량의 주행방향을 검출하는 것은 장애물을 회피할 수 있는 경로가 왼쪽과 오른쪽 두 방향이 있다면, 주행하던 차선의 진행방향에 맞추어 주행하도록 경로를 설정할 때에 사용할 수 있게 하기 위함이다. Then,

The point detection function unit 204 detects the running direction of the vehicle (step 302). Detecting the running direction of the vehicle as described above allows the vehicle to be used when setting the path so as to run in accordance with the traveling direction of the lane in which the vehicle is traveling, if the path that can avoid the obstacle is left and right.

이후 상기

지점 검출 기능부(204)는 시작점과 도착점 사이의 거리

및 각도

를 검출한다(304,306단계). Then,

The point detection function unit 204 detects the distance between the start point and the end point

And angle

(Steps 304 and 306).

그리고 상기

지점 검출 기능부(204)는 메모리부(110)에 저장된 도로정보를 토대로 실제 도로에서 커브가 시작되는 구간에서 끝나는 구간까지의 직선 거리와 그 직선거리의 중점과 직교하는 커브 구간의 거리의 비율인 곡률반경의 비율

를 구한다(308단계). 상기 커브구간의 각도는 최대 90도까지 고려하여 직선주행부터 90도까지의 각도를 각도의 차이만큼 계산된 곡률반경의 비율

에 곱하여 계산한다.And

The point detection function unit 204 detects a straight line distance from an actual road to an ending point of a curve on the basis of road information stored in the memory unit 110 and a ratio of a distance of a curve section orthogonal to the center point of the straight line distance Ratio of radius of curvature

(Step 308). The angle of the curve section is considered up to 90 degrees and the angle from the straight running to the 90 degree is calculated as the ratio of the radius of curvature calculated by the difference of angles

.

여기서, 상기 곡률반경의 비율

에 대해 좀 더 설명한다. 상기 곡률반경의 비율

는 이동해야 하는 두 노드가 있고, 두 노드 사이의 실제 주행경로가 곡선의 모양을 가지고 있을 때 이를 Rad라 하고 이를 이용해 구한다. 즉, 곡률반경의 비율을 구하기 위해서는, 먼저 두 노드 사이를 직선으로 연결한 선분의 길이 x와, 선분 x의 중점인 지점에서 직교한 선분이 Rad에 도달하는 거리 y를 가지고 y/x를 계산하여 0 ~ 1사이의 값을 갖는 곡률반경의 비율을 산출한다. 이는 처음 k1 지점을 선정하기 위해 이동해야 하는 두 노드 사이의 곡선 경로가 어느 정도 굽었는지를 산출하기 위함이다. Here, the ratio of the radius of curvature

Will be described in more detail. The ratio of the radius of curvature

There are two nodes that need to be moved, and when the actual traveling path between two nodes has the shape of a curve, it is called Rad and it is obtained using this. In other words, to calculate the ratio of the radius of curvature, first calculate y / x with the length x of the straight line connecting the two nodes and the distance y at which the orthogonal line reaches Rad at the midpoint of the line x The ratio of the radius of curvature having a value between 0 and 1 is calculated. This is to calculate how much the curved path between the two nodes that need to travel to select the first point k1 is bent.

상기

지점 검출 기능부(204)는 상기 시작점과 도착점 사이의 거리

및 각도

과 곡률반경의 비율

를 토대로

지점을 검출하며, 이는 수학식 2에 따른다(310단계).remind

And angle

And the ratio of the radius of curvature

Based on

Point, which is in accordance with equation (2) (step 310).

상기

지점 검출 기능부(204)는 상기

지점에 대한 정보를 경로 예측을 통한 강화학습부(208)로 제공한다.
remind

The point detection function unit 204 detects

And provides information on the point to the reinforcement learning unit 208 through path prediction.

상기 경로 예측을 통한 강화학습부(208)는 강화학습된

지점에 대한 정보를 상기 강화학습된

지점 확인 기능부(206)로 반환한다. The reinforcement learning unit 208 through the path prediction performs a reinforcement learning

The information about the point is learned

And returns it to the branch confirmation function unit 206. [

상기 강화학습된

지점 확인 기능부(206)는 상기 강화학습된

지점과 초기상태정보

에 포함된 위치정보와 목적지상태정보

지점에 대한 정보 및 상기 초기상태정보

와 목적지상태정보

를 최적주행경로 생성부(218)에 제공한다. The reinforcement learned

The point-of-presence checking function 206 may include a point-

Branch and initial state information

Location information and destination status information included in

Information about a point and the initial state information

And destination status information

To the optimum traveling path generating unit 218. [

또한 상기 강화학습된

지점 확인 기능부(206)는 상기 강화학습된

지점을 토대로 생성된 주행경로와 장애물의 위치가 겹치는지 여부에 대한 정보(T/F)를 경로 예측을 통한 강화학습부(208)로 제공하며, 그 정보(T/F)를 토대로 상기 경로 예측을 통한 강화학습부(208)는 상기 강화학습된

지점을 토대로 생성된 주행경로가 장애물의 위치가 겹쳐지지 않을때까지 새로운

지점에 대한 정보를 상기 강화학습된

지점 확인 기능부(206)로 제공한다. Also,

The point-of-presence checking function 206 may include a point-

(T / F) as to whether or not the position of the obstacle is overlapped with the traveling path generated based on the point, to the reinforcement learning unit 208 through the path prediction. Based on the information (T / F) The reinforcement learning unit 208 via the learning unit 208 may perform the reinforcement learning

The traveling path generated based on the point is updated until the position of the obstacle does not overlap

The information about the point is learned

And provides it to the branch office confirmation function unit 206.

이러한 본 발명은 시뮬레이션을 위한 장애물 생성시에는 주행경로와 장애물이 겹치는 것을 전제로 하고 장애물을 생성하고, 이를 회피하기 위해 k1 지점을 찾는 것을 목표로 하고 있으며, k1지점이 장애물을 벗어나면서 주행거리를 단축시키는 최적의 경로가 아님을 가정하고 있기 때문에 가치함수반복(value function iteration)을 통하여 최적의 k1 지점을 찾아 나아가는 것을 목표로 한다. 상기 가치함수반복(value function iteration)을 통해 얻어진 k1 지점으로 생성한 주행경로와 장애물이 겹칠 때에는 그 경로를 채택하지 않고 다른 k1 지점을 선택하여 주행경로를 생성하여 경로가 장애물과 겹치지 않는지 여부를 파악하게 된다. 기본적으로 k1지점이 거리와 곡률반경에 의해 계산된 지점이기 때문에 가치함수반복(value function iteration)을 전 범위에 걸쳐 k1지점을 찾게 되면 주행경로가 장애물과 겹치지 않는 경로는 반드시 존재하게 된다.
The present invention aims at finding a point k1 in order to avoid obstacles and generating obstacles on the premise that obstacles overlap when a obstacle for simulation is generated. When the obstacle is removed from the obstacle, It is assumed that it is not the optimal path to shorten the value. Therefore, we aim to find the optimal point k1 through the value function iteration. When the obstacle is overlapped with the driving route generated from the k1 point obtained through the value function iteration, the driving route is selected by selecting the other k1 point without adopting the route, and it is determined whether or not the route overlaps with the obstacle . Basically, since the point k1 is a point calculated by the distance and the radius of curvature, if a point k1 is found over the entire range of the value function iteration, there is always a path that the traveling path does not overlap with the obstacle.

<경로 예측을 통한 강화학습부(208)>&Lt; Reinforcement learning unit 208 through path prediction >

상기 경로 예측을 통한 강화학습부(208)는 크게 잡음세기값 설정부(210)와

지점 변경 기능부(212)와 가치함수 반복 기능부(214)와 강화학습된

지점 선정부(216)로 나눌 수 있다. The reinforcement learning unit 208 through the path prediction includes a noise intensity value setting unit 210,

The point-change function unit 212, the value function repetition function 214,

And a branch selection section 216.

상기 잡음세기값 설정부(210)는 초기에는 초기 잡음 세기값을 출력하며 주행중에는 매 노트 포인트(knot point)에 대응되는 시간단계마다 학습 데이터 생성부(228)가 제공하는 차량과 중앙선 사이의 이격거리에 따라 보상값 및 잡음세기값을 산출하여 출력한다. 상기 잡음 세기값은

지점을 기준으로 얼마만큼 떨어진 곳에 변경된

지점을 생성할 것인지를 결정하는 값이다.The noise intensity value setting unit 210 initially outputs an initial noise intensity value. During the running, the noise intensity value setting unit 210 sets the distance between the vehicle and the center line provided by the learning data generation unit 228 at each time step corresponding to each knot point And outputs a compensation value and a noise intensity value according to the distance. The noise intensity value

How far away from the point

It is a value that determines whether to create a point.

상기 보상값은 수학식 3에 따라 산출된다. The compensation value is calculated according to Equation (3).

상기 수학식 3에서

는 보상값이며,

는 도로의 중앙선과 차량 사이의 이격거리이며,

는 도로의 폭이다. In Equation (3)

Is a compensation value,

Is the distance between the center line of the road and the vehicle,

Is the width of the road.

상기 잡음 세기값은 수학식 4에 따라 산출된다. The noise intensity value is calculated according to Equation (4).

상기 수학식 4에서

는 잡음 세기값이고,

는 시간단계이고,

는 중앙선과 차량 사이의 이격거리이고,

는 최적주행경로의 분해값이다.
In Equation (4)

Is a noise intensity value,

Is a time step,

Is the distance between the center line and the vehicle,

Is the decomposition value of the optimal travel route.

상기한 바와 같이 잡음 세기값이 결정되면, 이는

지점 변경 기능부(212)로 제공된다. Once the noise intensity value is determined as described above,

And is provided to the branch change function unit 212.

상기

지점 변경 기능부(212)는

지점 생성부(200)가 제공한

지점을 상기 보상값과 잡음세기값에 따라 변경하면서 새로운

지점들을 생성하기 위한 잡음의 거리를 산출하고, 상기

지점을 상기 잡음의 거리내에서 변경하여 출력한다. remind

The point-change function unit 212

The point generation unit 200

A point is changed according to the compensation value and the noise intensity value,

Calculates the distance of the noise for generating the points,

The point is changed within the distance of the noise and output.

상기 잡음의 거리는 수학식 5에 따라 산출한다. The distance of the noise is calculated according to Equation (5).

상기 수학식 5에서,

은 잡음의 거리이고,

는 보상값이고,

는 잡음 세기값이다. In Equation (5)

Is the distance of the noise,

Is a compensation value,

Is the noise intensity value.

상기

지점 변경 기능부(212)가 출력하는 상기 잡음의 거리내에서 변경된

지점들은 가치함수반복 기능부(214)로 입력된다. remind

The point-change function unit 212 outputs the changed

The points are input to the value function repetition function 214.

상기 가치함수반복 기능부(214)는 변경된

지점들을 기준으로 주행경로를 생성하여 먼거리 보상값(Long Reward)을 산출한다. 좀 더 설명하면, 상기

지점을 변경하여 비 스플라인 곡선을 사용하여 주행경로를 생성하여, 시간단계 t 동안에 중앙선으로부터 이격된 거리를 검출하고, 그 거리를 보상값으로 환산하여 합을 구하여 먼거리 보상값을 산출할 수 있다. The value function repetition function 214 is a function

And generates a travel distance based on the points to calculate a long distance compensation value (Long Reward). More specifically,

The traveling distance is generated by using the non-spline curve by changing the point, the distance from the center line is detected during the time step t, and the distance compensation value is calculated by converting the distance to the compensation value to obtain the sum.

상기 먼거리 보상값 산출식은 수학식 6과 같다. The distance compensation value calculation formula is shown in Equation (6).

상기 수학식 6에서

은 먼거리의 보상값이고,

는 시간단계 t동안에 주행경로와 중앙선이 이격된 거리이다. In Equation (6)

Is the compensation value of the long distance,

Is the distance between the travel route and the center line during time step t.

상기 수학식 6에 따른 얻어진 먼거리 보상값

은 가치함수반복을 통해 반복 계산되어 강화학습된

지점 선정부(216)로 제공된다. 특히 상기 가치함수반복 기능부(214)는 북쪽을 기준으로 시계 방향으로 10도씩 돌아가며 36회 계산하며, 이는 전 방향(360도)을 고려하기 위한 것이다.The obtained distance compensation value according to Equation (6)

Is repeatedly computed through iteration of the value function,

And is provided to the point selection section 216. In particular, the value function repetition function unit 214 calculates 36 times in a clockwise direction with respect to the north as 10 degrees, which is for considering the forward direction (360 degrees).

상기 강화학습된

지점 선정부(216)는 상기 가치함수반복 기능부(214)가 출력하는 먼거리 보상값들은 제공받아, 가장 큰 먼거리 보상값을 검출하며, 이는 수학식 7에 따른다. The reinforcement learned

The point selection unit 216 receives the long distance compensation values output by the value function repetition function unit 214 and detects the largest distance compensation value according to Equation (7).

상기 수학식 7에서

는 먼거리 보상값이고,

내지

은 가치함수반복 기능부(214)가 출력하는 먼거리 보상값들이다. In Equation (7)

Is a long distance compensation value,

To

Are the distance compensation values output by the value function repetition function 214. [

상기 강화학습된

지점 선정부(216)는 가장 큰 먼거리 보상값을 검출하면, 그 먼거리 보상값에 해당하는

지점을 강화학습된

지점으로서

지점 생성부(200)로 반환한다.
The reinforcement learned

When the point selection section 216 detects the largest distance compensation value,

Learned to strengthen the branch

As a branch

And returns it to the point generating unit 200.

<최적주행경로 생성부(218)><Optimum Traveling Path Generation Unit 218>

상기 최적주행경로 생성부(218)는 최적주행경로 생성 기능부(220)와 최적주행경로 분해 및 노트 포인트 상태 정의 기능부(222)로 구성된다.The optimum traveling path generating unit 218 includes an optimal traveling path generating function unit 220 and an optimum traveling path disassembling and note point state defining function unit 222.

상기 최적주행경로 생성 기능부(220)는 상기 경로 생성부(200)로부터 초기상태정보

와 목적지상태정보

와 강화학습된

지점에 대한 정보를 입력받아 비 스플라인 곡선을 이용하여 최적주행경로를 생성하여 최적주행경로 분해 및 노트 포인트 상태정의 기능부(222)로 제공한다. The optimum traveling path generating function unit 220 receives the initial state information from the path generating unit 200,

And destination status information

And strengthened learned

Spline curve to generate an optimal traveling path and provide it to the optimum traveling path decomposition and note point state definition function unit 222. [

상기 최적주행경로 분해 및 노트 포인트 상태정의 기능부(222)는 최적주행경로 생성 기능부(220)에 의해 생성된 최적주행경로를 다수로 분해한다. The optimum travel path decomposition and note point state definition function unit 222 decomposes the optimal travel path generated by the optimal travel path creation function unit 220 into a plurality of optimal travel paths.

상기 최적주행경로의 분해값은 수학식 8에 따른다. The decomposition value of the optimal traveling path is given by the following equation (8).

상기 수학식 8에서

는 최적주행경로의 분해값이고,

는 비 스플라인 곡선을 이용하여 최적주행경로를 실제로 생성하기 전에 시작점과 도착점, 그리고

지점 사이의 거리의 합인 주행거리이고, 상기

는 차량의 속도이다. 여기서, 상기 차량의 속도는 미리 정해진다. In Equation (8)

Is the decomposition value of the optimum traveling path,

Uses the non-spline curve to determine the starting and ending points before actually creating the optimal travel path, and

A distance between the points,

Is the speed of the vehicle. Here, the speed of the vehicle is predetermined.

참고로, 상기

거리는 주행경로의 분해 값을 결정하기 위한 요소로서, 실제 주행경로를 생성하는 데에는 영향을 주지 않는다. 또한 실제 비스플라인 함수를 통해 생성한 경로를 주행할 때 실질적으로 조향각을 결정하는 부분은 인공신경망에서 학습하기 때문에

의 거리가 주행 경로와 조향각을 결정하는데 영향을 주지 않는다.
For reference,

The distance is an element for determining the decomposition value of the traveling path, and does not affect the generation of the actual traveling path. Also, since the part that actually determines the steering angle when traveling on the route generated by the actual non-spline function is learned in the artificial neural network

Does not affect the determination of the steering path and the steering angle.

상기 최적주행경로 분해 및 노트 포인트 상태정의 기능부(222)는 상기 분해값에 대응되게 최적주행경로를 다수로 분해하며, 그 분해지점을 노트 포인트라 한다. 상기 최적주행경로 분해 및 노트 포인트 상태정의 기능부(222)는 상기 노트 포인트에 대응되는 시간단계를 결정하고, 그 시간단계에 대응되는 상태정보들을 생성하여 차량제어정보 생성부(224)에 제공한다. 특히 상기 최적주행경로 분해 및 노트 포인트 상태정의 기능부(222)는 현재시각에 대응되는 시간단계의 현재상태정보

와 다음 시간단계의 노트 포인트 상태정보

를 차량제어정보 생성부(224)에 제공한다. 여기서, 상기 t는 시간단계를 일컫는다.
The optimal travel path decomposition and note point state definition function unit 222 decomposes a plurality of optimal travel paths in correspondence with the decomposition values, and the decomposition point is referred to as a note point. The optimal travel path decomposition and note point state definition function unit 222 determines a time step corresponding to the note point, generates state information corresponding to the time step, and provides the state information to the vehicle control information generation unit 224 . In particular, the optimum traveling path disassembly and note point state definition function unit 222 determines the current state information of the time step corresponding to the current time

And the note point status information of the next time step

To the vehicle-control-information generating unit 224. Here, t denotes a time step.

<차량제어정보 생성부(224)><Vehicle Control Information Generation Unit 224>

상기 차량제어정보 생성부(224)는 조향각 제어정보 생성기능부(226)를 구비한다. The vehicle control information generation section 224 includes a steering angle control information generation function section 226. [

상기 조향각 제어정보 생성기능부(226)는 상기 최적주행경로 생성부(218)로부터 현재시각에 대응되는 시간단계의 현재상태정보

와 다음 시간단계의 노트 포인트 상태정보

를 제공받아, 현재시각에 대응되는 시간단계의 상태에서 다음 시간단계의 상태까지의 조향각의 차이값을 산출하며, 그 조향각 차이값의 산출은 수학식 9에 따른다. The steering angle control information generating function unit 226 receives the current state information of the time step corresponding to the current time from the optimum traveling path generating unit 218

And the note point status information of the next time step

And calculates the difference value of the steering angle from the state of the time step corresponding to the current time to the state of the next time step, and the calculation of the steering angle difference value is according to the equation (9).

상기 수학식 9에서

는 현재시각에 대응되는 시간단계의 상태에서 다음 시간단계의 상태까지의 조향각의 차이값이고,

는 다음 시간단계의 상태에서의 차량머리에 대한 방위각이고,

는 현재 시간단계의 상태에서의 차량머리의 방위각이다.In Equation (9)

Is the difference value of the steering angle from the state of the time step corresponding to the current time to the state of the next time step,

Is the azimuth angle with respect to the head of the vehicle in the state of the next time step,

Is the azimuth angle of the head of the vehicle in the state of the current time step.

상기 수학식 8에 따르면, 상기 차량제어정보 생성부(226)는 다음 시간단계의 상태에서의 차량머리에 대한 방위각에서 현재 시간단계의 상태에서의 차량머리의 방위각을 감산하여 조향각 차이값을 생성하며, 이는 조향각의 차이가 시계방향으로 발생할 때에는 양수의 값이 산출되고, 반시계방향으로 발생할 때에는 음수의 값이 산출되게 한다. According to Equation (8), the vehicle control information generation unit 226 generates a steering angle difference value by subtracting the azimuth angle of the head of the vehicle in the state of the current time step from the azimuth with respect to the head of the vehicle in the next time step state , Which is a positive value when the difference in the steering angle occurs clockwise, and a negative value when it occurs in the counterclockwise direction.

상기 차량제어정보 생성부(226)는 상기 조향각 차이값이 산출되면, 이를 인공신경망 처리하여 실제 제어를 위한 조향각 제어정보를 생성한다. When the steering angle difference value is calculated, the vehicle control information generation unit 226 processes the artificial neural network to generate steering angle control information for actual control.

상기 인공 신경망에 입력되는 입력값과 출력값은 표 1과 같이 정의된다. The input values and the output values input to the artificial neural network are defined as shown in Table 1.

상기 인공 신경망의 입력값과 출력값은 -40~+40도로 정해지며, 이는 차량의 최대 조향각에 대응된다. 상기 인공 신경망은 학습이 이루어지지 않았을 때에는 입력값과 출력값이 각각 매칭되며, 출력값과 그 출력값을 토대로 조향한 차량의 상태를 피드백받아 웨이트 값을 변경시키면서 출력값과 예상 출력값의 차이를 줄여나간다. 상기 차이를 줄여나가는 방법으로는 역전파 알고리즘이 사용될 수 있다.The input value and the output value of the artificial neural network are set to -40 to +40 degrees, which corresponds to the maximum steering angle of the vehicle. The input and output values are matched when the learning is not performed. The artificial neural network reduces the difference between the output value and the predicted output value while changing the weight value by feeding back the state of the steered vehicle based on the output value and the output value. As a method of reducing the difference, a back propagation algorithm can be used.

참고로, 본 발명에서는 차량이 이동할 수 있는 최적의 경로를 생성하는 것을 목표로 하고 있기 때문에 차량의 속도는 제어하지 않는다. 그러나 차량의 속도를 제어하게 되면 실제 속도에 따른 바퀴의 마찰, 구심력 등을 고려해야 하며, 본 발명의 시뮬레이션에서는 5 m/sec로 속도를 고정하였다.
For reference, in the present invention, the speed of the vehicle is not controlled because it is aimed at generating an optimal path through which the vehicle can move. However, if the speed of the vehicle is controlled, the friction of the wheel and the centrifugal force according to the actual speed should be considered. In the simulation of the present invention, the speed is fixed at 5 m / sec.

<학습 데이터 생성부(228)><Training Data Generation Unit 228>

상기 학습 데이터 생성부(228)는 학습 데이터 생성 기능부(230)를 구비한다. The learning data generation unit 228 includes a learning data generation function unit 230.

상기 학습 데이터 생성 기능부(230)는 상기 다음 시간단계(t+1)에서 차량과 중앙선 사이의 이격거리에 대한 보상값을 생성하여 상기 보상값을 상기 경로 예측을 통한 강화학습부(208)에 제공하고, 상기 현재 시간단계(t)에서 다음 시간단계(t+1) 사이의 최적 주행경로와 실제 주행경로의 주행각도의 차이를 검출하여 상기 차량제어정보 생성부(224)로 제공한다. 이러한 학습 데이터는 센서의 오차, 계산 지연시간, 외부 환경의 요인 등으로 생긴 오차의 값을 줄여나가기 위한 것이다. The learning data generation function unit 230 generates a compensation value for a distance between the vehicle and the center line in the next time step (t + 1) and outputs the compensation value to the reinforcement learning unit 208 through the path prediction And provides the vehicle control information generator 224 with the difference between the travel angles of the optimum travel route and the actual travel route between the current time step t and the next time step t + 1. This learning data is intended to reduce the error caused by sensor error, calculation delay time, and external environment factors.

그리고 상기 최적주행경로의 주행각도와 실제 주행경로의 주행각도는 실제 차량이 이동했을 때의 상태정보(차량의 머리 방향, 위도 및 경도 좌표, 차량의 속도 등)를 시뮬레이션 주행하여 획득한다.
The traveling angle of the optimum traveling route and the traveling angle of the actual traveling route are obtained by simulating the state information (head direction, latitude and longitude coordinates of the vehicle, speed of the vehicle, etc.) of the actual vehicle when traveling.

상기한 본 발명에 따르는 경로 예측을 통한 강화학습부(208)에서의 강화학습에 대해 좀더 상세히 설명한다. The reinforcement learning in the reinforcement learning unit 208 through the path prediction according to the present invention will be described in more detail.

상기 강화학습을 통해 얻어지는 것은 잡음세기값이며, 이는 수학식 3에 따라 학습된다. What is obtained through the reinforcement learning is the noise intensity value, which is learned according to Equation (3).

상기 수학식 3은 실제 주행을 하고 얻어진 차량과 중앙선 사이의 이격거리의 합을 총 주행시간으로 나눈 것으로, 이는 중앙선과 차량 사이의 이격거리가 클수록 잡음세기값이 커지고 중앙선과 차량 사이의 이격거리가 작을수록 잡음세기값이 작아진다. 예를들어 설명하면, 실제 주행시 중앙선과 차량 사이의 이격거리의 합이 0m에 근접하면 최적상태의 주행이 이루어졌다고 판단하여 잡음세기를 0에 가깝게 정하고, 중앙선과 차량 사이의 이격거리의 합이 커지면 차량과 중앙선 사이의 거리를 좁히기 위해 경로 생성부(200)가 처음 생성한

지점을 멀리 떨어진 위치까지 변경해가면서 예측 주행 경로를 생성하여 가능한 중앙선과 가까이 위치하게 하는

지점을 찾는다.
Equation (3) is obtained by dividing the sum of the distances between the vehicle and the center line obtained by actual driving and dividing the total driving time by the total distance. The larger the distance between the center line and the vehicle, the greater the noise intensity value. The smaller the value, the smaller the noise intensity value. For example, when the sum of the distance between the center line and the vehicle is close to 0 m, it is determined that the vehicle has traveled in the optimum state, and the noise intensity is set to be close to zero. When the sum of the distance between the center line and the vehicle In order to narrow the distance between the vehicle and the center line,

By changing the point to a remote location, you can create a predicted travel path and position it as close as possible to the center line

Find a spot.

그리고 상기한 본 발명에 따르는 차량제어정보 생성부(224)의 인공 신경망에서의 학습에 대해 좀더 상세히 설명한다. The learning in the artificial neural network of the vehicle control information generation unit 224 according to the present invention will be described in more detail.

인공 신경망의 출력값을 통해 차량이 실제로 제어해야 하는 조향각의 정보를 얻어 낼 수 있었다. 하지만 상기 조향각이 초기 설정시에 최적화되지 않았을 수도 있으며, 최적화가 된 조향각이라 할지라도 실제 환경에서 차량 제어의 문제나 제어하기 위한 전달 시간, 타이어와 지면의 상태, 지면의 높낮음 등의 변수에 따라 최적주행경로를 정확하게 추종할 수 없을 수도 있다. 이에따라 본 발명은 차량제어정보 생성부(224)가 생성한 조향각 제어정보에 따라 실제 주행하고, 그 실제 주행시에 최적주행경로와 얼마나 차이가 있는지를 검출하여 상기 조향각을 수정한다.
Through the output value of the artificial neural network, the information of the steering angle that the vehicle should actually control was obtained. However, the steering angle may not be optimized at the initial setting, and even if the steering angle is optimized, the steering angle may be optimized according to variables such as the vehicle control problem in the actual environment, the transmission time for control, the condition of the tire and ground, It may not be possible to accurately follow the traveling route. Accordingly, the present invention operates in accordance with the steering angle control information generated by the vehicle control information generation section 224, and detects how much the actual traveling route differs from the optimum traveling route during the actual traveling to correct the steering angle.

본 발명에 따르는 조향각은 -40 ~ +40도까지 도의 단위로 나누어져 있으므로, 상기 차량제어정보 생성부(224)는 출력값으로 얻은 조향각에 학습할 각도를 더해서 상기 조향각을 학습시킨다.Since the steering angle according to the present invention is divided into units ranging from -40 to +40 degrees, the vehicle control information generation unit 224 adds the learning angle to the steering angle obtained as the output value to learn the steering angle.

상기 수학식 10에서

는 학습된 차량의 조향각이고,

는 실제 차량이 주행하고 난 후의 차량의 각도이고,

는 현재 학습되어있는 차량의 조향각이고,

는 시간 t시점에서 차량이 조작해야 하는 조향각이다.
In Equation (10)

Is the steered angle of the learned vehicle,

Is the angle of the vehicle after the actual vehicle has traveled,

Is the steering angle of the currently learned vehicle,

Is the steering angle at which the vehicle must operate at time t.

이와같이 본 발명은 매 시간단계마다 주행경로의 차량의 주행각도와 실제 주행시의 차량의 주행각도를 토대로 차량의 조향각을 학습함으로서, 주행경로에 대응되게 차량이 주행할 수 있도록 한다.
Thus, according to the present invention, the vehicle steer angle is learned on the basis of the running angle of the vehicle in the traveling path and the running angle of the vehicle in the actual traveling at every time step so that the vehicle can run in correspondence with the traveling path.

100 : 제어모듈
102 : 전역경로 생성부
104 : 지역경로 생성부
106 : 목표지점 도달 검출부
108 : GPS 모듈
110 : 메모리부
112 : 바퀴각도 센서모듈
114 : 차량머리의 방위각 센서모듈
116 : 속도 센서모듈100: control module
102: Global path generation unit
104: Local path generating unit
106: Target point arrival detector
108: GPS module
110: memory unit
112: Wheel angle sensor module
114: azimuth sensor module of vehicle head
116: Speed sensor module

Claims

무인자율주행 차량의 경로 생성방법에 있어서,
전체 주행경로에 대응되는 노드들에 대한 정보인 전역경로정보를 생성하는 단계; 및
상기 노드들 중 어느 하나인 시작점과 다음 하나인 도착점 사이의 중간지점을 구하고,
도로의 중앙선과 차량사이의 이격거리와 도로의 폭에 따라 보상값을 수학식 11에 따라 산출하고,
상기 이격거리와 최적주행경로의 분해값에 따라 잡음세기값을 수학식 12에 따라 산출하고,
상기 보상값과 상기 잡음세기값에 따라 잡음거리를 수학식 13에 따라 산출하고,
상기 잡음거리내에서 상기 중간지점에 대한 변경된 중간지점들을 생성하고,
상기 변경된 중간지점들 각각에 대해 비스플라인 곡선을 사용하여 주행경로를 생성하고, 생성한 주행경로와 중앙선 사이의 이격거리의 합을 수학식 14에 따라 구하여 먼거리 보상값을 산출하고,
상기 변경된 중간지점들의 먼거리 보상값들 중 가장 큰 먼거리 보상값에 해당하는 변경된 중간지점을 강화학습된 중간지점으로 결정하고,
그 강화학습된 중간지점과 상기 시작점과 도착점의 위치정보를 토대로 비스플라인 곡선을 이용하여 상기 시작점과 도착점 사이의 지역경로인 최적주행경로를 생성하는 단계;를 구비함을 특징으로 하는 무인주행차량의 경로생성방법.
수학식 11

상기 수학식 11에서

는 보상값이며,

는 도로의 중앙선과 차량 사이의 이격거리이며,

는 도로의 폭임.
수학식 12

상기 수학식 12에서

는 잡음 세기값이고,

는 시간단계이고,

는 중앙선과 차량 사이의 이격거리이고,

는 최적주행경로의 분해값임.
수학식 13

상기 수학식 13에서,

은 잡음의 거리이고,

는 보상값이고,

는 잡음 세기값임.
수학식 14

상기 수학식 14에서

은 먼거리의 보상값이고,

는 시간단계 t동안에 주행경로와 중앙선이 이격된 거리임.
A method of generating a path of an unmanned self-propelled vehicle,
Generating global route information that is information on nodes corresponding to the entire travel route; And
Obtaining an intermediate point between a start point of one of the nodes and a next one of the nodes,
The compensation value is calculated according to Equation (11) according to the distance between the center line of the road and the vehicle and the width of the road,
Calculating a noise intensity value according to the separation distance and the decomposition value of the optimal traveling path according to Equation (12)
Calculating a noise distance according to Equation (13) according to the compensation value and the noise intensity value,
Creating modified intermediate points for the midpoint within the noise distance,
Spline curve for each of the changed intermediate points, and calculates a distance compensation value by obtaining the sum of the distance between the generated traveling path and the center line according to Equation (14)
Determining a modified intermediate point corresponding to the largest distance compensation value among the long distance compensation values of the changed intermediate points as the intermediate point strengthened and learned,
And generating an optimal travel route which is a local route between the start point and the arrival point using the non-spline curve based on the reinforced learned intermediate point and the position information of the start point and the arrival point. Path creation method.
Equation 11

In Equation (11)

Is a compensation value,

Is the distance between the center line of the road and the vehicle,

Is a road bump.
Equation 12

In Equation (12)

Is a noise intensity value,

Is a time step,

Is the distance between the center line and the vehicle,

Is the decomposition value of the optimal travel route.
Equation 13

In the above equation (13)

Is the distance of the noise,

Is a compensation value,

Is the noise intensity value.
Equation 14

In Equation (14)

Is the compensation value of the long distance,

Is the distance between the travel path and the center line during time step t.

제1항에 있어서,
상기 최적주행경로를 다수로 분해하고, 그 분해지점들인 노트 포인트들에서의 주행상태를 정의하는 단계;
상기 주행상태에 대응되게 차량의 조향각을 제어하는 조향각 제어정보를 생성하는 단계;
를 더 구비함을 특징으로 하는 무인주행차량의 경로생성방법.
The method according to claim 1,
Decomposing the optimal travel route into a plurality of routes, and defining a traveling state at note points that are decomposition points thereof;
Generating steering angle control information for controlling a steering angle of the vehicle corresponding to the running state;
Wherein the step of generating the path of the unmanned traveling vehicle further comprises the steps of:

제2항에 있어서,
상기 차량의 조향각 제어정보는,
미리 정해둔 시간단계마다 최적주행경로에 따른 주행각도와 차량의 실제주행정보에 따른 주행각도의 차이가 작아지도록 학습됨을 특징으로 하는 무인주행차량의 경로 생성방법.
3. The method of claim 2,
The steering angle control information of the vehicle includes:
Wherein the difference between the running angle according to the optimum traveling path and the running angle according to the actual running information of the vehicle is learned for each predetermined time step.

무인자율주행 차량의 경로생성장치에 있어서,
전체 주행경로에 대응되는 노드들에 대한 정보인 전역경로정보를 생성하는 전역경로정보 생성부; 및
상기 노드들 중 어느 하나인 시작점과 다음 하나인 도착점 사이의 중간지점을 구하고,
도로의 중앙선과 차량사이의 이격거리와 도로의 폭에 따라 보상값을 수학식 15에 따라 산출하고,
상기 이격거리와 최적주행경로의 분해값에 따라 잡음세기값을 수학식 16에 따라 산출하고,
상기 보상값과 상기 잡음세기값에 따라 잡음거리를 수학식 17에 따라 산출하고,
상기 잡음거리내에서 상기 중간지점에 대한 변경된 중간지점들을 생성하고,
상기 변경된 중간지점들 각각에 대해 비스플라인 곡선을 사용하여 주행경로를 생성하고, 생성한 주행경로와 중앙선 사이의 이격거리의 합을 수학식 18에 따라 구하여 먼거리 보상값을 산출하고,
상기 변경된 중간지점들의 먼거리 보상값들 중 가장 큰 먼거리 보상값에 해당하는 변경된 중간지점을 강화학습된 중간지점으로 결정하고,
상기 강화학습된 중간지점과 상기 시작점과 도착점의 위치정보를 토대로 비스플라인 곡선을 이용하여 상기 시작점과 도착점 사이의 지역경로인 최적지역경로를 생성하는 지역경로정보 생성부;를 구비함을 특징으로 하는 무인주행차량의 경로생성장치.
수학식 15

상기 수학식 15에서

는 보상값이며,

는 도로의 중앙선과 차량 사이의 이격거리이며,

는 도로의 폭임.
수학식 16

상기 수학식 16에서

는 잡음 세기값이고,

는 시간단계이고,

는 중앙선과 차량 사이의 이격거리이고,

는 최적주행경로의 분해값임.
수학식 17

상기 수학식 17에서,

은 잡음의 거리이고,

는 보상값이고,

는 잡음 세기값임.
수학식 18

상기 수학식 18에서

은 먼거리의 보상값이고,

는 시간단계 t동안에 주행경로와 중앙선이 이격된 거리임.
1. A route generating apparatus for an autonomous navigation vehicle, comprising:
A global route information generation unit for generating global route information which is information on nodes corresponding to the entire traveling route; And
Obtaining an intermediate point between a start point of one of the nodes and a next one of the nodes,
The compensation value is calculated according to the equation (15) according to the distance between the center line of the road and the vehicle and the width of the road,
The noise intensity value is calculated according to the equation (16) according to the separation distance and the decomposition value of the optimal traveling path,
Calculating a noise distance according to Equation (17) according to the compensation value and the noise intensity value,
Creating modified intermediate points for the midpoint within the noise distance,
Spline curve for each of the modified intermediate points, and calculates a distance compensation value by obtaining a sum of a distance between the generated traveling path and the center line according to Equation (18)
Determining a modified intermediate point corresponding to the largest distance compensation value among the long distance compensation values of the changed intermediate points as the intermediate point strengthened and learned,
And a local route information generator for generating an optimal local route, which is a local route between the start point and the arrival point, using the non-spline curve based on the reinforcement learned intermediate point and the position information of the start point and the arrival point An apparatus for generating a path of an unmanned traveling vehicle.
Equation 15

In Equation (15)

Is a compensation value,

Is the distance between the center line of the road and the vehicle,

Is a road bump.
Equation 16

In Equation (16)

Is a noise intensity value,

Is a time step,

Is the distance between the center line and the vehicle,

Is the decomposition value of the optimal travel route.
Equation 17

In Equation 17,

Is the distance of the noise,

Is a compensation value,

Is the noise intensity value.
Equation 18

In Equation (18)

Is the compensation value of the long distance,

제4항에 있어서,
상기 지역경로정보 생성부가,
상기 최적지역경로를 다수로 분해하고, 그 분해지점들인 노트 포인트들에서의 주행상태를 정의하고,
상기 주행상태에 대응되게 차량의 조향각을 제어하는 조향각 제어정보를 생성함을 특징으로 하는 무인주행차량의 경로생성장치.
5. The method of claim 4,
The local path information generator,
Disassembles the optimum region path into a plurality of regions, defines a running state at note points which are decomposition points thereof,
And generates steering angle control information for controlling the steering angle of the vehicle in accordance with the running state of the vehicle.

제5항에 있어서,
상기 지역경로정보 생성부가, 미리 정해둔 시간단계마다 최적주행경로에 따른 주행각도와 차량의 실제주행정보에 따른 주행각도의 차이를 검출하고, 그 차이가 작아지도록 상기 차량의 조향각을 학습함을 특징으로 하는 무인주행차량의 경로 생성장치. 6. The method of claim 5,
The local route information generation unit detects the difference between the travel angles according to the optimum travel route and the travel angles according to the actual travel information of the vehicle for each predetermined time step and learns the steer angle of the vehicle so that the difference becomes smaller Wherein the route generating unit generates a route for the unmanned traveling vehicle.