KR102300836B1

KR102300836B1 - Automatic Driving control apparatus, vehicle having the same and method for controlling the same

Info

Publication number: KR102300836B1
Application number: KR1020170116449A
Authority: KR
Inventors: 이종혁
Original assignee: 현대자동차주식회사; 기아 주식회사
Priority date: 2017-09-12
Filing date: 2017-09-12
Publication date: 2021-09-13
Also published as: KR20190029192A

Abstract

본 발명의 자율 주행 제어 장치는 입력부를 통해 자율 주행 모드 및 목적지가 입력되면 통신부에 수신된 현재 위치와 목적지에 기초하여 경로를 탐색하고, 탐색된 경로에 기초하여 길 안내 정보를 출력하고, 수신된 현재 위치에 기초하여 현재 위치가 고속도로인지 판단하고, 현재 위치가 고속도로이면 자율 주행을 수행하고, 자율 주행 중 통신부를 통해 현재 위치가 미수신되면 도로의 영상에서 표지판을 인식하고, 영상 내 인식된 표지판의 위치에 기초하여 자 차로의 위치가 고속도로의 본선인지, 분기선인지를 인식하고, 저장부에 저장된 경로 내 표지판들의 표기 정보 및 표지판의 설치 위치를 확인하고, 영상 내 표지판의 표기 정보를 인식하고, 경로 내 표지판들의 표기 정보, 설치 위치 및 인식된 영상 내 표지판의 표기 정보를 비교하여 현재 위치를 예측하고, 예측된 현재 위치에 기초하여 본선 주행 또는 분기선 주행의 수행 여부를 판단하고, 인식된 자 차로의 위치 및 본선, 분기선 주행 여부에 기초하여 자율 주행의 유지 또는 해제를 제어한다.When an autonomous driving mode and a destination are input through the input unit, the autonomous driving control device of the present invention searches for a route based on the current location and destination received from the communication unit, outputs road guidance information based on the searched route, and outputs the received Determines whether the current location is a highway based on the current location, performs autonomous driving if the current location is a highway, and recognizes a sign from the image of the road if the current location is not received through the communication unit during autonomous driving Recognizes whether the location of the own lane is the main line or a branch line of the expressway based on the location, checks the marking information of the signs in the route stored in the storage and the installation location of the signs, recognizes the marking information of the signs in the image, and the route The current location is predicted by comparing the marking information of my signs, the installation location, and the marking information of the signs in the recognized image, and based on the predicted current location, it is determined whether main-line driving or branch-line driving is performed, and It controls the maintenance or release of autonomous driving based on the location and whether the main line or branch line is driven.

Description

자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법 {Automatic Driving control apparatus, vehicle having the same and method for controlling the same} An autonomous driving control apparatus, a vehicle having the same, and a control method thereof

본 발명은 현재 위치를 인식하기 위한 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법에 관한 것이다.The present invention relates to an autonomous driving control device for recognizing a current location, a vehicle having the same, and a control method therefor.

차량은 차륜을 구동시켜 도로를 주행하는 기계로, 차량에는 탑승자 보호, 운행 보조 및 승차감의 향상을 위한 다양한 장치들이 탑재되어 있다.A vehicle is a machine that drives on a road by driving wheels, and the vehicle is equipped with various devices for protecting occupants, assisting driving, and improving riding comfort.

또한 차량은 기본적인 주행 기능 외에도 오디오 기능, 비디오 기능, 내비게이션 기능, 공조 제어, 시트 제어, 조명 제어 등의 사용자 편의를 위한 부가적인 기능을 더 수행한다.In addition to the basic driving function, the vehicle performs additional functions for user convenience such as audio function, video function, navigation function, air conditioning control, seat control, and lighting control.

이러한 차량에는 내비게이션 기능, 오디오 기능 및 비디오 기능이 통합된 AVN 장치가 마련될 수 있다. Such a vehicle may be provided with an AVN device in which a navigation function, an audio function and a video function are integrated.

또한 차량은 오디오 기능, 비디오 기능, 내비게이션 기능, 지도 기능, 전화 기능, 라디오 기능, 방송 기능, 문자 메시지 서비스 기능, 인터넷 기능이 가능한 단말기와 통신을 수행한다.In addition, the vehicle communicates with terminals capable of audio functions, video functions, navigation functions, map functions, phone functions, radio functions, broadcasting functions, text message service functions, and Internet functions.

여기서 내비게이션 기능을 수행하는 내비게이션 모드는 다수의 위성위치확인시스템(Global Positioning System: 이하 "GPS"라 함)을 통해 위성들로부터 위치 정보를 각각 제공받아 현재 차량의 위치를 계산하고, 계산된 위치를 지도에 맵 매칭(Map Matching)시켜 표시하고, 사용자로부터 목적지를 입력받아 미리 설정된 경로탐색 알고리즘에 따라 계산된 현재 위치부터 목적지까지의 경로탐색을 수행하고, 탐색된 경로를 지도에 매칭시켜 표시하고, 경로를 따라 사용자를 목적지까지 안내하는 기능이다.Here, the navigation mode performing the navigation function receives location information from each of the satellites through a plurality of global positioning systems (hereinafter referred to as "GPS"), calculates the current vehicle location, and displays the calculated location. Map matching and display on the map, receiving input from the user, performing route search from the current location to the destination calculated according to a preset route search algorithm, matching the searched route to the map, It is a function that guides the user to the destination along the route.

차량은 내비게이션 기능을 이용하여 자율 주행을 수행한다.The vehicle performs autonomous driving using a navigation function.

차량은 내비게이션 모드 또는 자율 주행 모드 수행 시 GPS 신호의 수신 불가로 자신의 위치를 정확하게 인식하지 못하는 문제점이 있다.There is a problem in that the vehicle cannot accurately recognize its own location due to inability to receive a GPS signal when performing a navigation mode or an autonomous driving mode.

일 측면은 도로 영상 내 표지판의 위치 정보를 이용하여 주행 차로를 인식하고 인식된 주행 차로에 기초하여 이동 정보를 안내하는 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법을 제공한다.One aspect provides an autonomous driving control apparatus for recognizing a driving lane using location information of a sign in a road image and guiding movement information based on the recognized driving lane, a vehicle having the same, and a control method thereof.

다른 측면은 표지판의 기재 정보, 도로의 차로의 곡률 및 차선의 타입 중 적어도 하나에 기초하여 주행 차로를 재인식하는 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법을 제공한다.Another aspect provides an autonomous driving control apparatus for re-recognizing a driving lane based on at least one of description information of a sign, a curvature of a lane of a road, and a type of lane, a vehicle having the same, and a control method thereof.

일 측면에 따른 자율 주행 제어 장치는 도로의 영상, 장애물의 검출 정보 및 현재 위치를 수신하는 통신부; 및 수신된 현재 위치가 고속도로이면 자율 주행 모드를 수행하고, 자율 주행 모드의 수행 중 현재 위치가 수신되지 않으면 도로의 영상에서 표지판을 인식하고 영상 내의 표지판의 위치에 기초하여 자율 주행 모드의 유지 및 해제를 제어하는 제어부를 포함한다.According to one aspect, an autonomous driving control apparatus includes: a communication unit configured to receive an image of a road, detection information of an obstacle, and a current location; and if the received current position is a highway, the autonomous driving mode is performed, and if the current position is not received while the autonomous driving mode is being performed, the sign is recognized from the image of the road, and the autonomous driving mode is maintained and released based on the position of the sign in the image It includes a control unit to control the.

자율 주행 제어 장치의 제어부는, 도로의 영상에서 소실점을 획득하고 획득된 소실점의 위치를 기준으로 영상 내 표지판의 위치가 우측이면 자 차로가 본선이라고 인식하고 영상 내 표지판의 위치가 좌측이면 자 차로가 분기선이라고 인식하는 것을 포함한다.The control unit of the autonomous driving control device acquires a vanishing point from the image of the road, and if the position of the sign in the image is on the right based on the position of the obtained vanishing point, recognizes that the own lane is the main line, and if the position of the sign in the image is on the left, the own lane is This includes recognizing it as a branching line.

자율 주행 제어 장치는 지도 정보, 지도 내 도로의 명칭, 위치, 종류, 노선 번호를 저장하고, 도로의 표지판의 설치 위치 및 표지판의 표기 정보를 저장하는 저장부를 더 포함하고, 제어부는 내비게이션 모드와 연동하고, 저장부에 저장된 정보에 기초하여 목적지까지의 경로 내 표지판들의 표기 정보 및 표지판의 설치 위치를 확인하고, 영상 내 표지판의 표기 정보를 인식하고, 경로 내 표지판들의 표기 정보, 설치 위치 및 인식된 표지판의 표기 정보를 비교하여 현재 위치를 예측하고, 예측된 현재 위치에 기초하여 본선 주행 또는 분기선 주행의 수행 여부를 판단한다.The autonomous driving control device further includes a storage unit that stores map information, a name, location, type, and route number of a road in the map, and stores an installation location of a road sign and notation information of the sign, and the controller interlocks with the navigation mode And, based on the information stored in the storage unit, check the marking information and the installation location of the signs in the route to the destination, recognize the marking information of the signs in the image, and the marking information of the signs in the route, the installation location and the recognized The current position is predicted by comparing the marking information of the sign, and based on the predicted current position, it is determined whether the main line driving or the branch line driving is performed.

자율 주행 제어 장치의 제어부는, 분기선 주행을 수행해야 한다고 판단되면 자율 주행 모드를 해제하고, 본선 주행을 수행해야 한다고 판단되면 자율 주행 모드를 유지시키는 것을 포함한다.The control unit of the autonomous driving control apparatus includes releasing the autonomous driving mode when it is determined that branch line driving should be performed, and maintaining the autonomous driving mode when it is determined that main driving is required.

자율 주행 제어 장치의 제어부는, 자 차로가 본선이라고 인식되면 분기선 주행 여부를 판단하고, 분기선 주행을 수행해야 한다고 인식되면 자율 주행 모드를 해제하는 것을 포함한다.The control unit of the autonomous driving control device includes determining whether to travel on a branch line when the own lane is recognized as the main line, and releasing the autonomous driving mode when it is recognized that branch line driving should be performed.

자율 주행 제어 장치의 제어부는, 자 차로가 분기선이라고 판단되면 본선 주행 여부를 판단하고, 본선 주행을 수행해야 한다고 판단되면 주행 방향을 제어하여 본선으로 이동되도록 한다.When it is determined that the own lane is a branch line, the control unit of the autonomous driving control device determines whether to travel on the main line, and when it is determined that the main line must be performed, controls the driving direction to move to the main line.

자율 주행 제어 장치는 제어부는, 영상 내 표지판의 표기 정보 중 도로의 노선 번호를 인식하고 인식된 노선 번호와 경로 내 노선 번호를 비교하여 자 차로가 본선인지 분기선인지 판단하는 것을 포함한다.The autonomous driving control apparatus includes, in the control unit, recognizing a route number of a road among marking information of a sign in an image, and comparing the recognized route number with the route number in the route to determine whether the own lane is a main line or a branch line.

자율 주행 제어 장치의 제어부는, 획득된 소실점에 기초하여 X, Y축을 생성하고, 획득된 소실점, X축과 Y축, 도로의 영상의 픽셀에 기초하여 표지판의 꼭지점의 좌표값을 생성하고, 생성된 좌표값에 기초하여 영상 내 표지판의 위치를 인식하는 것을 더 포함한다.The control unit of the autonomous driving control device generates X and Y axes based on the obtained vanishing point, and generates coordinate values of the vertices of the sign based on the obtained vanishing points, X and Y axes, and pixels of the image of the road. It further includes recognizing the position of the sign in the image based on the coordinate value.

자율 주행 제어 장치는 자율 주행 모드의 수행 정보를 표시하고, 자율 주행 모드의 해제 시 자율 주행 모드의 해제 정보를 표시하는 표시부를 더 포함한다.The autonomous driving control apparatus further includes a display unit that displays performance information of the autonomous driving mode and displays information on releasing the autonomous driving mode when the autonomous driving mode is released.

자율 주행 제어 장치는 도로의 영상을 획득하는 영상 획득부; 및 도로의 장애물과의 거리를 검출하는 거리 검출부를 더 포함하는 자율 주행 제어 장치.The autonomous driving control device includes: an image acquisition unit configured to acquire an image of a road; and a distance detector configured to detect a distance to an obstacle on the road.

자율 주행 제어 장치의 제어부는,영상 내 표지판들 중 자 차량과 가장 근접한 표지판을 확인하고 확인된 표지판의 표기 정보 중 도로의 노선 번호를 인식하고 영상 내 인식된 노선 번호의 위치에 기초하여 자 차로가 본선인지, 분기선인지 인식하는 것을 포함한다.The control unit of the autonomous driving control device checks the sign closest to the own vehicle among the signs in the image, recognizes the route number of the road among the marked information of the identified sign, and determines the own lane based on the position of the recognized route number in the image This includes recognizing whether it is a main line or a branch line.

자율 주행 제어 장치의 제어부는, 영상 내 도로의 차선을 인식하고 인식된 차선에 기초하여 자 차로의 곡률을 판단하고 판단된 곡률에 기초하여 자 차로가 고속도로의 본선인지 분기선인지를 인식하는 것을 포함한다.The control unit of the autonomous driving control device includes recognizing a lane of a road in the image, determining a curvature of the own lane based on the recognized lane, and recognizing whether the own lane is a main line or a branch line of a highway based on the determined curvature. .

자율 주행 제어 장치의 제어부는, 영상 내 도로의 차선을 인식하고 인식된 차선의 타입을 확인하고 확인된 차선의 타입에 기초하여 자 차로가 고속도로의 본선인지 분기선인지를 인식하는 것을 포함한다.The control unit of the autonomous driving control device includes recognizing a lane of a road in an image, confirming a recognized lane type, and recognizing whether the own lane is a main line or a branch line of a highway based on the identified lane type.

다른 측면에 따른 차량은 현재 위치를 수신하는 통신부; 도로의 영상을 획득하는 영상 획득부; 도로를 주행하는 타 차량과의 거리를 검출하는 거리 검출부; 수신된 현재 위치에 기초하여 현재 위치가 고속도로인지 판단하고, 현재 위치가 고속도로이면 도로의 영상에서 차선을 인식하고, 목적지까지의 경로, 수신된 현재 위치, 인식된 차선 및 타 차량과의 거리에 기초하여 자율 주행을 제어하고, 자율 주행 중 현재 위치가 미수신되면 도로의 영상에서 표지판을 인식하고, 영상 내 인식된 표지판의 위치에 기초하여 자율 주행 유지 및 자율 주행의 해제를 제어하는 자율 주행 제어 장치를 포함한다.A vehicle according to another aspect includes a communication unit for receiving a current location; an image acquisition unit for acquiring an image of the road; a distance detection unit detecting a distance to another vehicle traveling on a road; It is determined whether the current location is a highway based on the received current location, and if the current location is a highway, a lane is recognized from the image of the road, and based on the route to the destination, the received current location, the recognized lane, and the distance to other vehicles an autonomous driving control device that controls autonomous driving, recognizes signs in the image of the road when the current position is not received during autonomous driving, and controls maintenance of autonomous driving and release of autonomous driving based on the position of the recognized sign in the image. include

차량의 자율 주행 제어 장치는, 도로의 영상에서 소실점을 획득하고 획득된 소실점의 위치를 기준으로 영상 내 표지판의 위치가 우측이면 자 차로가 본선이라고 인식하고 영상 내 표지판의 위치가 좌측이면 자 차로가 분기선이라고 인식하는 것을 포함한다.The autonomous driving control device of the vehicle acquires a vanishing point from the image of the road, and if the position of the sign in the image is on the right based on the position of the obtained vanishing point, recognizes that the own lane is the main line, and if the position of the sign in the image is on the left, the own lane is This includes recognizing it as a branching line.

차량의 자율 주행 제어 장치는, 경로 내 표지판들의 표기 정보 및 표지판의 설치 위치를 확인하고, 영상 내 표지판의 표기 정보를 인식하고, 경로 내 표지판들의 표기 정보, 설치 위치 및 인식된 영상 내 표지판의 표기 정보를 비교하여 현재 위치를 예측하고, 예측된 현재 위치에 기초하여 본선 주행 또는 분기선 주행의 수행 여부를 판단하는 것을 포함한다.The autonomous driving control device of the vehicle confirms the marking information of the signs in the route and the installation position of the sign, recognizes the marking information of the sign in the image, and the marking information of the signs in the route, the installation location, and the recognition of the sign in the recognized image and predicting a current position by comparing the information, and determining whether to perform main line driving or branch line driving based on the predicted current position.

차량의 자율 주행 제어 장치는, 자 차로가 본선이라고 인식되면 분기선 주행 여부를 판단하고, 분기선 주행을 수행해야 한다고 판단되면 자율 주행 모드를 해제하고 자율 주행 모드의 해제 정보를 표시하도록 표시부를 제어하는 것을 포함한다.The autonomous driving control device of the vehicle controls the display unit to determine whether to travel on a branch line when the own lane is recognized as the main line, and to release the autonomous driving mode and display information on canceling the autonomous driving mode when it is determined that branch line driving should be performed. include

차량의 자율 주행 제어 장치는, 자 차로가 분기선이라고 인식되면 본선 주행 여부를 판단하고, 본선 주행을 수행해야 한다고 판단되면 주행 방향을 제어하여 본선으로 이동되도록 하는 것을 포함한다.The autonomous driving control apparatus of the vehicle includes determining whether to travel on the main line when the own lane is recognized as a branch line, and controlling the driving direction to move to the main line when it is determined that the main line must be performed.

차량의 자율 주행 제어 장치는, 영상 내 표지판의 표기 정보 중 도로의 노선 번호를 인식하고, 영상 내 차선을 인식하고 인식된 차선의 타입을 확인하고, 인식된 차선에 기초하여 자 차로의 곡률을 판단하고, 인식된 도로의 노선 번호, 차선의 타입 및 자 차로의 곡률 중 적어도 하나에 기초하여 자 차로가 본선인지 분기선인지 재인식하는 것을 포함한다.The autonomous driving control device of the vehicle recognizes the route number of the road among the marking information of the sign in the image, recognizes the lane in the image, identifies the recognized lane type, and determines the curvature of the own lane based on the recognized lane and re-recognizing whether the own lane is a main line or a branch line based on at least one of the recognized route number of the road, the type of lane, and the curvature of the own lane.

또 다른 측면에 따른 차량의 제어 방법은 입력부를 통해 자율 주행 모드 및 목적지가 입력되면 통신부에 수신된 현재 위치와 목적지에 기초하여 경로를 탐색하고, 탐색된 경로에 기초하여 길 안내 정보를 출력하고, 수신된 현재 위치에 기초하여 현재 위치가 고속도로인지 판단하고, 현재 위치가 고속도로이면 자율 주행을 수행하고, 자율 주행 중 통신부를 통해 현재 위치가 미수신되면 도로의 영상에서 표지판을 인식하고, 영상 내 인식된 표지판의 위치에 기초하여 자 차로의 위치가 고속도로의 본선인지, 분기선인지를 인식하고, 저장부에 저장된 경로 내 표지판들의 표기 정보 및 표지판의 설치 위치를 확인하고, 영상 내 표지판의 표기 정보를 인식하고, 경로 내 표지판들의 표기 정보, 설치 위치 및 인식된 영상 내 표지판의 표기 정보를 비교하여 현재 위치를 예측하고, 예측된 현재 위치에 기초하여 본선 주행 또는 분기선 주행의 수행 여부를 판단하고, 인식된 자 차로의 위치 및 본선, 분기선 주행 여부에 기초하여 자율 주행의 유지 또는 해제를 제어한다.In a vehicle control method according to another aspect, when an autonomous driving mode and a destination are input through an input unit, a route is searched based on the current location and destination received in the communication unit, and route guidance information is output based on the searched route, Determines whether the current location is a highway based on the received current location, performs autonomous driving if the current location is a highway, and recognizes a sign from the image of the road if the current location is not received through the communication unit during autonomous driving Based on the location of the sign, it recognizes whether the location of the own lane is the main line or the branch line of the highway, checks the marking information of the signs in the route stored in the storage and the installation location of the signs, recognizes the marking information of the signs in the image, and , predicts the current location by comparing the marking information of the signs in the route, the installation location, and the marking information of the signs in the recognized image, and determines whether to perform main line driving or branch line driving based on the predicted current position, and the recognized person The maintenance or release of autonomous driving is controlled based on the location of the lane and whether the vehicle is traveling on the main line or branch line.

자율 주행의 유지 또는 해제를 제어하는 것은, 자 차로가 본선이라고 인식되면 분기선 주행 여부를 판단하고, 분기선 주행을 수행해야 한다고 판단되면 자율 주행 모드를 해제하며, 자율 주행 모드의 해제 정보를 표시부에 표시하고, 자 차로가 분기선이라고 인식되면 본선 주행 여부를 판단하고, 본선 주행을 수행해야 한다고 판단되면 주행 방향을 제어하여 본선으로 이동되도록 하고 자율 주행을 유지시키는 것을 포함한다.To control the maintenance or release of autonomous driving, when the own lane is recognized as the main line, it is determined whether to run the branch line, and when it is determined that the branch line driving must be performed, the autonomous driving mode is released, and information on the release of the autonomous driving mode is displayed on the display unit. And, when the own lane is recognized as a branch line, it is determined whether the main line is driven, and when it is determined that the main line must be performed, the driving direction is controlled to move to the main line and autonomous driving is maintained.

차량의 제어 방법은 영상 내 표지판의 위치 인식이 불가하면 영상 내 표지판의 표기 정보 중 도로의 노선 번호를 인식하고, 인식된 노선 번호에 기초하여 자차로의 위치를 인식하는 것을 더 포함한다.The control method of the vehicle further includes recognizing a route number of a road among marking information of a sign in the image when the location of the sign in the image cannot be recognized, and recognizing the location of the own vehicle based on the recognized route number.

차량의 제어 방법은 영상 내 차선을 인식하고, 인식된 차선의 타입을 확인하고, 인식된 차선에 기초하여 자 차로의 곡률을 판단하고, 차선의 타입 및 자 차로의 곡률 중 적어도 하나에 기초하여 자 차로가 본선인지 분기선인지 재인식하는 것을 더 포함한다.The control method of the vehicle recognizes a lane in the image, confirms the recognized lane type, determines the curvature of the own lane based on the recognized lane, and determines the self lane based on at least one of the lane type and the curvature of the own lane. It further includes recognizing whether the lane is a main line or a branch line.

본 발명은 고속도로를 자율 주행할 때GPS 신호의 수신이 양호하지 못해도 도로 영상 내 표지판의 위치를 인식하여 주행 차로를 인식함으로써 고속도로에서의 주행 차로를 정확하게 인식할 수 있다.The present invention can accurately recognize a driving lane on a highway by recognizing a driving lane by recognizing a position of a sign in a road image even if GPS signal reception is not good when autonomously driving on a highway.

즉 본 발명은 고속도로를 자율 주행할 때 주행 차로가 본선인지, IC/JC의 분기선인지 정확하게 인식할 수 있고, IC/JC를 진입해야 할 때 IC/JC 진입 여부를 정확하게 판단할 수 있으며, 이로 인해 고속도로에서의 자율 주행의 사용성을 증대시킬 수 있고, 이에 따라 고속도로에서 안정적으로 자율 주행할 수 있다.That is, the present invention can accurately recognize whether the driving lane is the main line or the branch line of the IC/JC when autonomously driving on a highway, and can accurately determine whether to enter the IC/JC when entering the IC/JC. It is possible to increase the usability of autonomous driving on highways, and accordingly, it is possible to stably autonomously drive on highways.

또한 본 발명은 고속도로 지원 기능(HDA:Highway Driving Assist)을 이용한 자율 주행 모드를 해제해야 하는 시점을 정확하게 판단할 수 있고 이로 인해 자율 주행의 오작동 상황을 개선할 수 있다.In addition, the present invention can accurately determine when to release the autonomous driving mode using a highway driving assist (HDA) function, thereby improving the malfunctioning situation of autonomous driving.

또한 본 발명은 주행 차로 인식 시 표지판의 표기 정보인 도로의 노선 번호, 차선 타입 및 차로의 곡률 정보에 기초하여 주행 차로를 재인식할 수 있고, 이로 인해 자율 주행 모드 및 내비게이션 모드의 성능을 향상시킬 수 있다.In addition, the present invention can re-recognize the driving lane based on the route number, lane type, and curvature information of the road, which are the notation information of the sign when the driving lane is recognized, thereby improving the performance of the autonomous driving mode and the navigation mode. have.

이와 같이 본 발명은 내비게이션 모드 및 자율 주행 모드를 수행하는 차량 또는 단말기의 품질 및 상품성을 향상시킬 수 있고 나아가 사용자의 만족도를 높일 수 있으며 제품의 경쟁력을 확보할 수 있다.As described above, the present invention can improve the quality and marketability of a vehicle or terminal performing a navigation mode and an autonomous driving mode, further increase user satisfaction, and secure product competitiveness.

도 1은 실시 예에 따른 자율 주행 제어 장치가 마련된 차량의 외관 예시도이다.
도 2는 실시 예에 따른 자율 주행 제어 장치가 마련된 차량의 내부 예시도이다.
도 3은 실시 예에 따른 자율 주행 제어 장치가 마련된 차량의 제어 구성도이다.
도 4는 실시 예에 따른 자율 주행 제어 장치가 마련된 차량의 제어 순서도이다.
도 5는 실시 예에 따른 차량에서 획득된 영상 내 표지판의 위치 인식 예시도이다.
도 6a, 6b는 실시 예에 따른 차량의 본선 위치 및 분기선 위치에서 획득된 영상의 예시도이다.
도 7은 실시 예에 따른 차량에서 획득된 영상 내 표지판의 표기 정보의 예시도이다.
도 8은 실시 예에 따른 차량이 본선 위치일 때 도로의 예시도이다.
도 9는 실시 예에 따른 차량이 분기선 위치일 때 도로의 예시도이다.
도 10은 다른 실시 예에 따른 단말기의 제어 구성도이다.1 is an exemplary external view of a vehicle provided with an autonomous driving control apparatus according to an embodiment.
2 is an exemplary internal view of a vehicle in which an autonomous driving control apparatus according to an embodiment is provided.
3 is a control configuration diagram of a vehicle provided with an autonomous driving control apparatus according to an embodiment.
4 is a control flowchart of a vehicle provided with an autonomous driving control apparatus according to an embodiment.
5 is an exemplary diagram for recognizing a location of a sign in an image obtained from a vehicle according to an embodiment.
6A and 6B are exemplary views of images acquired at a location of a main line and a location of a branch line of a vehicle according to an embodiment.
7 is an exemplary diagram of marking information of a sign in an image obtained from a vehicle according to an embodiment.
8 is an exemplary view of a road when a vehicle is in a main line position according to an embodiment.
9 is an exemplary view of a road when the vehicle is at a branch line position according to an embodiment.
10 is a control configuration diagram of a terminal according to another embodiment.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있다.Like reference numerals refer to like elements throughout the specification. This specification does not describe all elements of the embodiments, and general content in the technical field to which the present invention pertains or content that overlaps between embodiments is omitted. The term 'unit' used in the specification may be implemented in software or hardware.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.Throughout the specification, when a part is "connected" with another part, it includes not only direct connection but also indirect connection, and indirect connection includes connection through a wireless communication network. do.

또한 어떤 부분이 어떤 구성요소를"포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.The singular expression includes the plural expression unless the context clearly dictates otherwise.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다. In each step, the identification code is used for convenience of description, and the identification code does not describe the order of each step, and each step may be performed differently from the specified order unless the specific order is clearly stated in the context. have.

이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.Hereinafter, the working principle and embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 실시 예에 따른 자율 주행 제어 장치가 마련된 차량의 외관 예시도이고 도 2는 실시 예에 따른 자율 주행 제어 장치가 마련된 차량의 내부 예시도이다.1 is an external view of a vehicle provided with an autonomous driving control apparatus according to an embodiment, and FIG. 2 is an internal exemplary view of a vehicle provided with an autonomous driving control apparatus according to an embodiment.

차량(1)은 내장과 외장을 갖는 차체(Body)와, 차체를 제외한 나머지 부분으로 주행에 필요한 기계 장치가 설치되는 차대(Chassis)를 포함한다.The vehicle 1 includes a body having an interior and an exterior, and a chassis in which mechanical devices necessary for driving are installed as the remaining parts except for the vehicle body.

도 1 에 도시된 바와 같이 차체의 외장(110)은 프론트 패널(111), 본네트(112), 루프 패널(113), 리어 패널(114), 트렁크(115), 전후좌우 도어(116), 전후좌우 도어(116)에 개폐 가능하게 마련된 윈도우 글래스(117)를 포함한다. As shown in FIG. 1 , the exterior 110 of the vehicle body includes a front panel 111 , a bonnet 112 , a roof panel 113 , a rear panel 114 , a trunk 115 , front and rear left and right doors 116 , front and rear. The left and right doors 116 include window glasses 117 , which can be opened and closed.

그리고 차체의 외장은 프론트 패널, 본네트, 루프 패널, 리어 패널, 트렁크, 전후좌우 도어의 윈도우 글래스 사이의 경계에 마련된 필러(118)와, 운전자에게 차량(1) 후방의 시야를 제공하는 사이드 미러(119)를 더 포함한다.In addition, the exterior of the vehicle body includes a pillar 118 provided at the boundary between the front panel, bonnet, roof panel, rear panel, trunk, and window glass of the front, rear, left and right doors, and a side mirror ( 119) are further included.

도 2에 도시된 바와 같이, 차체의 내장(120)은 탑승자가 앉는 시트(121)와, 대시 보드(122)와, 대시 보드 상에 배치되고 타코미터, 속도계, 냉각수 온도계, 연료계, 방향전환 지시등, 상향등 표시등, 경고등, 안전벨트 경고등, 주행 거리계, 주행 기록계, 자동변속 선택레버 표시등, 도어 열림 경고등, 엔진 오일 경고등, 연료부족 경고등이 배치된 계기판(즉 클러스터, 123)과, 공기조화기의 송풍구와 조절판이 배치되고 오디오 기기가 배치된 센터 페시아(124)를 포함한다.As shown in FIG. 2 , the interior 120 of the vehicle body includes a seat 121 on which an occupant sits, a dashboard 122, and a dashboard disposed on the dashboard and includes a tachometer, speedometer, coolant thermometer, fuel gauge, and direction change indicator. , high beam indicator, warning lamp, seat belt warning lamp, odometer, odometer, automatic shift selector indicator, door open warning lamp, engine oil warning lamp, low fuel warning lamp (i.e. cluster, 123) and air conditioner It includes a center fascia 124 in which the air outlet and the control panel are disposed and an audio device is disposed.

클러스터(123)은 차량의 주행 정보 및 고장 정보를 표시하는 표시부(123a)를 더 포함할 수 있다. 여기서 주행 정보는 연비 정보, 주행 가능 거리 정보, 총 주행 거리 정보, 주행 모드를 포함할 수 있고, 고장 정보는 타이어 공기압 이상 정보 등을 포함할 수 있다.The cluster 123 may further include a display unit 123a for displaying driving information and failure information of the vehicle. Here, the driving information may include fuel efficiency information, drivable distance information, total mileage information, and a driving mode, and the failure information may include information about tire pressure abnormalities, and the like.

센터 페시아(124)에는 오디오 기기, 공기 조화기 및 히터를 제어하기 위한 헤드유닛(125)과, 멀티단자(126) 등이 설치될 수 있다.A head unit 125 for controlling an audio device, an air conditioner, and a heater, a multi-terminal 126, and the like may be installed in the center fascia 124 .

여기서 멀티단자(126)는 헤드 유닛(125)과 인접한 위치에 배치될 수 있고, USB 포트, AUX단자를 포함하고, SD슬롯을 더 포함할 수 있다.Here, the multi-terminal 126 may be disposed at a position adjacent to the head unit 125 , and may include a USB port and an AUX terminal, and may further include an SD slot.

멀티단자(126)는 USB 포트를 통해 사용자용 단말기와 통신을 수행하는 것도 가능하다. 여기서 사용자용 단말기는 이동 및 통신이 가능한 디바이스로, 스마트 폰, 노트북, 태블릿 및 웨어러블 디바이스 등을 포함할 수 있다.The multi-terminal 126 may also communicate with a user terminal through a USB port. Here, the user terminal is a device capable of moving and communicating, and may include a smart phone, a laptop computer, a tablet, a wearable device, and the like.

차량(1)은 각종 기능의 동작 명령을 입력받기 위한 입력부(127)를 더 포함할 수 있다.The vehicle 1 may further include an input unit 127 for receiving operation commands for various functions.

입력부(127)는 헤드 유닛(125) 및 센터페시아(124)에 마련될 수 있고, 각종 기능의 동작 온 오프 버튼, 각종 기능의 설정값을 변경하기 위한 버튼 등과 같은 적어도 하나의 물리적인 버튼을 포함한다. The input unit 127 may be provided in the head unit 125 and the center fascia 124, and includes at least one physical button such as an operation on/off button for various functions, a button for changing setting values of various functions, and the like. do.

입력부(127)는 차량용 단말기(130)의 표시부에 일체로 마련된 터치 패널을 포함할 수 있다. 이러한 입력부(127)는 단말기(130)의 표시부에 표시된 버튼의 위치 정보를 입력받는다. The input unit 127 may include a touch panel provided integrally with the display unit of the vehicle terminal 130 . The input unit 127 receives location information of a button displayed on the display unit of the terminal 130 .

입력부(127)는 차량용 단말기(130)의 표시부에 표시된 커서의 이동 명령 및 선택 명령 등을 입력하기 위한 조그 다이얼 또는 터치 패드를 더 포함하는 것도 가능하다. The input unit 127 may further include a jog dial or a touch pad for inputting a cursor movement command and a selection command displayed on the display unit of the vehicle terminal 130 .

여기서 조그 다이얼 또는 터치 패드는 센터페시아 등에 마련될 수 있다.Here, the jog dial or the touch pad may be provided on the center fascia or the like.

차량(1)은 헤드 유닛에 마련되고, 차량에서 수행 중인 기능에 대한 정보 및 사용자에 의해 입력된 정보를 표시하는 표시부(128)를 더 포함할 수 있다.The vehicle 1 may further include a display unit 128 that is provided in the head unit and displays information about a function being performed in the vehicle and information input by a user.

표시부(128)는 플라즈마 디스플레이 패널(Plasma Display Penal), 액정 디스플레이(Liquid Crystal Display: LCD) 패널, 전기 발광(Electro Luminescence: EL) 패널, 전기영동 디스플레이(Electrophoretic Display: EPD) 패널, 전기변색 디스플레이(Electrochromic Display: ECD) 패널, 발광 다이오드(Light Emitting Diode: LED) 패널 또는 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 등으로 마련될 수 있으나, 이에 한정되지는 않는다.The display unit 128 is a plasma display panel (Plasma Display Penal), a liquid crystal display (LCD) panel, an electroluminescence (EL) panel, an electrophoretic display (EPD) panel, an electrochromic display ( It may be provided as an Electrochromic Display (ECD) panel, a Light Emitting Diode (LED) panel, or an Organic Light Emitting Diode (OLED) panel, but is not limited thereto.

차량은 오디오 기능, 비디오 기능, DMB 기능, 라디오 기능, 내비게이션 모드 및 자율 주행 모드에 대한 정보를 입력받고, 수행 중인 정보를 표시하는 차량용 단말기(130)를 더 포함할 수 있다. The vehicle may further include a vehicle terminal 130 that receives information on an audio function, a video function, a DMB function, a radio function, a navigation mode, and an autonomous driving mode, and displays information being performed.

차량용 단말기(130)는 자율 주행 모드 시 전후좌우 방향의 영상을 표시하는 것도 가능하고, 내비게이션 모드와 연동하여 지도 정도 및 길 안내 정보를 표시하는 것도 가능하다.In the autonomous driving mode, the vehicle terminal 130 may display images in the forward, backward, left, and right directions, and it is also possible to display the degree of a map and road guidance information in conjunction with the navigation mode.

이러한 차량용 단말기(130)는 대시 보드 상에 거치식으로 설치될 수도 있고 센터 페시아 상에 매립식으로 설치될 수도 있다.The vehicle terminal 130 may be mounted on the dashboard or embedded on the center fascia.

단말기(130)의 표시부는 수행 중인 기능에 대한 정보 및 사용자에 의해 입력된 정보를 표시하는 것도 가능하다.The display unit of the terminal 130 may display information on a function being performed and information input by the user.

차량(1)은 센터페시아(124)에 마련되고 조작 위치를 입력받는 변속 레버와, 변속 레버의 주변 또는 헤드 유닛(125)에 위치하고 전자식 주차 브레이크 장치(미도시)의 동작 명령을 입력받는 주차 버튼(EPB 버튼)을 더 포함한다.The vehicle 1 includes a shift lever provided on the center fascia 124 and receiving an operation position input, and a parking button located in the vicinity of the shift lever or in the head unit 125 and receiving an operation command of an electronic parking brake device (not shown). (EPB button) is further included.

차량(1)은 주행 방향을 조절하기 위한 조향 장치의 스티어링 휠(141)과, 사용자의 제동 의지에 따라 사용자에 의해 가압되는 브레이크 페달(142)과, 사용자의 가속 의지에 따라 사용자에 의해 가압되는 엑셀러레이터 페달(143)을 포함할 수 있다(도 2 참조).The vehicle 1 includes a steering wheel 141 of a steering device for adjusting the driving direction, a brake pedal 142 pressed by the user according to the user's will to brake, and a brake pedal 142 pressed by the user according to the user's will to accelerate. It may include an accelerator pedal 143 (see FIG. 2 ).

스티어링 휠(141)은 차량(1)의 주행 방향을 조절하기 위한 장치로, 운전자에 의해 파지되는 림 및 차량(1)의 조향 장치와 연결되고 림과 조향을 위한 회전축의 허브를 연결하는 스포크를 포함할 수 있다. The steering wheel 141 is a device for adjusting the driving direction of the vehicle 1, and is connected to a rim gripped by the driver and the steering device of the vehicle 1, and a spoke connecting the rim and the hub of the rotating shaft for steering. may include

아울러 스포크에는 차량(1) 내의 각종 장치, 일례로 오디오 기기 등을 제어하고, 자율 주행 모드 시 주행 속도를 설정하기 위한 조작 장치(미도시)가 마련될 수 있다.In addition, a manipulation device (not shown) for controlling various devices in the vehicle 1 , for example, an audio device, and setting a driving speed in the autonomous driving mode may be provided on the spoke.

차량은 동력 장치, 차량의 주행 방향을 변경하는 조향 장치, 차량의 제동력을 발생시키는 제동 장치, 차량의 댐핑을 조절하는 현가 장치, 변속 장치, 연료 장치를 더 포함한다. 여기서 동력 장치는 동력을 발생시키는 동력 발생 장치와, 발생된 동력을 차륜에 전달하는 동력 전달 장치를 포함할 수 있다.The vehicle further includes a power device, a steering device for changing a traveling direction of the vehicle, a braking device for generating a braking force of the vehicle, a suspension device for adjusting damping of the vehicle, a transmission device, and a fuel device. Here, the power device may include a power generating device for generating power and a power transmitting device for transmitting the generated power to the wheel.

도 3은 실시 예에 따른 자율 주행 제어 장치가 마련된 차량의 제어 구성도로, 차량(1)은 단말기(130), 영상 획득부(150), 검출부(160), 자율 주행 제어 장치(170)를 포함한다. 3 is a control diagram of a vehicle provided with an autonomous driving control device according to an embodiment, wherein the vehicle 1 includes a terminal 130 , an image acquisition unit 150 , a detection unit 160 , and an autonomous driving control device 170 . do.

단말기(130)는 오디오 기능, 비디오 기능, DMB 기능, 라디오 기능, 내비게이션 모드 및 자율 주행 모드에 대한 정보를 입력받고, 수행 중인 기능이나 모드에 대한 동작 정보를 표시한다.The terminal 130 receives information on an audio function, a video function, a DMB function, a radio function, a navigation mode, and an autonomous driving mode, and displays operation information on a function or mode being performed.

본 실시 예의 자율 주행 모드는 차량의 위치가 고속도로일 때에만 자동으로 주행하도록 하는 고속도로 지원 기능(HDA:Highway Driving Assist)을 가진 자율 주행 모드를 포함한다.The autonomous driving mode of the present embodiment includes an autonomous driving mode having a highway driving assist (HDA) that automatically drives the vehicle only when the vehicle is located on a highway.

단말기(130)는 자율 주행 모드이면 자율 주행 모드와 내비게이션 모드의 동작 정보 및 동작 명령을 수신하고, 자율 주행 모드와 내비게이션 모드의 동작 정보를 표시한다.In the autonomous driving mode, the terminal 130 receives operation information and operation commands of the autonomous driving mode and the navigation mode, and displays the operation information of the autonomous driving mode and the navigation mode.

즉 단말기(130)는 주행 모드가 자율 주행 모드이면 전후좌우 방향의 영상을 표시하는 것도 가능하고, 내비게이션 모드와 연동하여 지도 정도 및 길 안내 정보를 표시하는 것도 가능하다.That is, when the driving mode is the autonomous driving mode, the terminal 130 may display images in the forward, backward, left, and right directions, and it is also possible to display the map level and route guidance information in conjunction with the navigation mode.

이러한 단말기(130)는 입력부(131)와 표시부(132)를 포함할 수 있다. 이러한 단말기(130)의 입력부는 터치패널일 수 있고, 표시부는 디스플레이 패널일 수 있다.The terminal 130 may include an input unit 131 and a display unit 132 . The input unit of the terminal 130 may be a touch panel, and the display unit may be a display panel.

단말기(130)는 터치 패널과 디스플레이 패널이 일체화된 터치 스크린으로 마련될 수 있다.The terminal 130 may be provided as a touch screen in which a touch panel and a display panel are integrated.

아울러 단말기(130)는 표시부인 디스플레이 패널만을 포함하는 것도 가능하고, 이때 입력부(127)를 통해 동작 정보 및 동작 명령을 입력받는 것도 가능하다.In addition, the terminal 130 may include only a display panel that is a display unit, and in this case, it is also possible to receive operation information and an operation command through the input unit 127 .

단말기의 입력부(131)는 자율 주행 모드를 수신한다. 아울러 단말기의 입력부(131)는 운전자의 조작 정보에 기초하여 주행하는 수동 주행 모드를 수신하는 것도 가능하다. The input unit 131 of the terminal receives the autonomous driving mode. In addition, the input unit 131 of the terminal may receive a manual driving mode for driving based on the driver's manipulation information.

단말기의 입력부(131)는 내비게이션 모드 및 목적지를 입력받는 것도 가능하다.The input unit 131 of the terminal may also receive a navigation mode and a destination.

단말기의 표시부(132)는 지도 정보를 표시하고, 경로가 매칭된 지도 정보와 길 안내 정보를 표시하는 것도 가능하다.The display unit 132 of the terminal displays map information, and it is also possible to display map information and route guidance information in which a route is matched.

단말기의 표시부(132)는 인식된 표지판의 정보를 표시하는 것도 가능하고, 영상 획득부를 통해 획득된 도로의 영상을 표시하는 것도 가능하다.The display unit 132 of the terminal may display information on the recognized sign, and it is also possible to display an image of the road acquired through the image acquisition unit.

단말기의 표시부(132)는 자율 주행 모드 수행에 대한 HDA 수행 및 자율 주행 모드의 해제에 대한 HAD 해제의 정보를 표시하는 것도 가능하다.The display unit 132 of the terminal may also display information on performing HDA for performing the autonomous driving mode and releasing HAD for releasing the autonomous driving mode.

단말기(130)는 내비게이션 모드 및 자율 주행 모드를 수행하기 위한 제어부(172)를 포함할 수 있다.The terminal 130 may include a controller 172 for performing a navigation mode and an autonomous driving mode.

아울러, 단말기(130)는 내비게이션 모드 및 자율 주행 모드를 수행하기 위한 제어부(172)와 통신을 수행하고, 통신을 통해 수신된 제어부(172)의 제어 명령에 기초하여 표시 동작을 수행하는 것도 가능하다.In addition, the terminal 130 communicates with the control unit 172 for performing the navigation mode and the autonomous driving mode, and it is also possible to perform a display operation based on a control command of the control unit 172 received through communication. .

영상 획득부(150)는 도로의 영상을 획득하고, 획득된 영상을 제어부(172)에 전송한다. 여기서 도로의 영상은 자 차량의 주행 방향을 기준으로 전진 방향의 도로의 영상일 수 있다. The image acquisition unit 150 acquires an image of the road and transmits the acquired image to the controller 172 . Here, the image of the road may be an image of the road in a forward direction based on the driving direction of the own vehicle.

영상 획득부(150)는 카메라로, CCD 또는 CMOS 이미지 센서를 포함할 수 있다.The image acquisition unit 150 is a camera and may include a CCD or CMOS image sensor.

영상 획득부(150)는 전면의 윈도우 글래스에 마련되되 차량 내부의 윈도 글래스에 마련될 수도 있고, 차량 내부의 룸 미러에 마련될 수도 있으며, 루프 패널(113)의 마련되되 외부로 노출되도록 마련될 수도 있다(도 1 참조). The image acquisition unit 150 may be provided on the front window glass, may be provided on the window glass inside the vehicle, may be provided on the vehicle interior rearview mirror, and may be provided on the roof panel 113 to be exposed to the outside. Also (see FIG. 1).

검출부(160)는 자율 주행을 위한 도로 정보와, 자 차량의 위치 인식을 위한 주행 정보를 검출한다.The detection unit 160 detects road information for autonomous driving and driving information for recognizing the location of the own vehicle.

도로 정보는 도로에 주행 중인 타 차량 및 주정차된 타 차량의 위치와, 그 외 가로수 등과 같은 장애물들의 위치를 포함한다. 여기서 위치는 거리와 방향을 포함할 수 있다. The road information includes positions of other vehicles traveling on the road and other vehicles parked and stopped, and positions of other obstacles such as roadside trees. Here, location may include distance and direction.

차량의 주행 정보는 차량의 주행 거리, 주행 속도, 주행 방향에 대한 정보를 포함할 수 있다.The driving information of the vehicle may include information on the driving distance, driving speed, and driving direction of the vehicle.

검출부(160)는 주변의 타 차량 및 장애물과의 거리를 검출하는 복수 개의 거리 검출부(161)를 포함한다. 이러한 복수 개의 거리 검출부(161)는 차량의 외장의 전후좌우에 각각 마련될 수 있다(도 1 참조).The detection unit 160 includes a plurality of distance detection units 161 that detect a distance to other nearby vehicles and obstacles. The plurality of distance detectors 161 may be provided on the front, rear, left, and right sides of the exterior of the vehicle, respectively (refer to FIG. 1 ).

이러한 거리 검출부(161)는 라이더 센서를 포함한다.The distance detection unit 161 includes a lidar sensor.

라이다(LiDAR: Light Detection And Ranging)센서는 레이저 레이다(Laser Radar) 원리를 이용한 비접촉식 거리 검출 센서이다.LiDAR (Light Detection And Ranging) sensor is a non-contact distance detection sensor using the principle of laser radar.

라이다 센서는 레이저를 송신하는 송신부와, 센서 범위 내에 존재하는 물체의 표면에 반사되어 돌아오는 레이저를 수신하는 수신부를 포함할 수 있다.The lidar sensor may include a transmitter that transmits a laser, and a receiver that receives the laser reflected back from the surface of an object existing within the sensor range.

여기서 레이저는 단일레이저 펄스일 수 있다.Here, the laser may be a single laser pulse.

거리 검출부(161)는 초음파 센서 또는 레이더 센서를 포함할 수도 있다.The distance detector 161 may include an ultrasonic sensor or a radar sensor.

초음파 센서는 초음파를 일정시간 발생시킨 뒤 물체에 반사되어 돌아오는 신호를 검출한다.The ultrasonic sensor generates ultrasonic waves for a certain period of time and then detects a signal that is reflected back from an object.

초음파 센서는 근거리 범위 내에서 보행자 등의 장애물의 유무를 판별하는데 사용될 수 있다.The ultrasonic sensor may be used to determine the presence or absence of an obstacle such as a pedestrian within a short range.

레이더(Radar) 센서는 발신 및 수신을 같은 장소에서 행할 때, 전파의 방사에 의하여 생긴 반사파를 이용하여 물체의 위치를 탐지하는 장치이다.A radar sensor is a device that detects the position of an object by using a reflected wave generated by the radiation of radio waves when transmission and reception are performed in the same place.

이러한 레이더 센서는 송신한 전파와 수신되는 전파가 겹쳐서 구별이 곤란하게 되는 것을 방지하기 위하여 도플러 효과를 이용하거나 송신전파의 주파수를 시간에 따라 변경하거나 송신전파로 펄스파를 출력하기도 한다.Such a radar sensor uses the Doppler effect, changes the frequency of a transmitted wave over time, or outputs a pulse wave as a transmitted wave in order to prevent the transmitted radio wave from overlapping with the received radio wave and thus difficult to distinguish.

참고로, 라이다 센서는 레이더(RaDAR: Radio Detecting And Ranging) 센서에 비해 횡방향에 대한 감지 정확도가 높기 때문에 전방에 통로가 존재하는지 판단하는 과정의 정확도를 높일 수 있다.For reference, the lidar sensor has a higher detection accuracy in the lateral direction than the RaDAR (Radio Detecting And Ranging) sensor, so it is possible to increase the accuracy of the process of determining whether a passage exists in the front.

검출부(160)는 차량의 조향각을 검출하기 위한 스티어링 휠의 각속도를 검출하는 각속도 검출부(162)와, 자 차량의 주행 속도를 검출하는 속도 검출부(163)와, 차량의 요 모멘트를 검출하는 요레이트 검출부(164)와, 차량의 가속도를 검출하는 가속도 검출부(165) 중 적어도 하나를 더 포함하는 것도 가능하다.The detector 160 includes an angular velocity detector 162 that detects an angular velocity of a steering wheel for detecting a steering angle of the vehicle, a speed detector 163 that detects a traveling speed of the own vehicle, and a yaw rate that detects a yaw moment of the vehicle. It is also possible to further include at least one of the detection unit 164 and the acceleration detection unit 165 that detects the acceleration of the vehicle.

여기서 자 차량의 주행 속도는 차체의 속도일 수 있다.Here, the traveling speed of the own vehicle may be the speed of the vehicle body.

속도 검출부(163)는 전후좌우의 차륜에 마련된 휠 속도 센서 또는 차량의 가속도를 검출하는 가속도 센서일 수 있다.The speed detector 163 may be a wheel speed sensor provided on front, rear, left, and right wheels or an acceleration sensor for detecting the acceleration of the vehicle.

차량은 외부 조도를 검출하는 조도 검출부(166)를 더 포함하는 것도 가능하다.The vehicle may further include an illuminance detector 166 for detecting external illuminance.

자율 주행 제어 장치(170)는 입력부의 입력 정보, 영상 획득부(150)의 영상, 검출부(160)의 검출 정보에 기초하여 차량의 자율 주행을 제어한다.The autonomous driving control apparatus 170 controls autonomous driving of the vehicle based on input information of the input unit, the image of the image acquisition unit 150 , and detection information of the detection unit 160 .

이러한 자율 주행 제어 장치(170)는 차량의 현재 위치가 고속도로일 때 자율 주행을 수행하고, 고속도로에서 다른 도로로 이동해야 할 때 자율 주행 모드를 해제한다. The autonomous driving control device 170 performs autonomous driving when the current location of the vehicle is on a highway, and releases the autonomous driving mode when it needs to move from the highway to another road.

자율 주행 제어 장치(170)는 통신부(171), 제어부(172), 저장부(173) 및 구동부(174)를 포함한다.The autonomous driving control device 170 includes a communication unit 171 , a control unit 172 , a storage unit 173 , and a driving unit 174 .

통신부(171)는 영상 획득부(150), 검출부(160), 제어부(172)에 연결되어 있고, 영상 획득부(150)에서 획득된 영상 정보와, 검출부(160)에서 검출된 검출정보를 제어부(172)에 전송한다. The communication unit 171 is connected to the image acquisition unit 150 , the detection unit 160 , and the control unit 172 , and controls the image information acquired by the image acquisition unit 150 and the detection information detected by the detection unit 160 . Send to (172).

통신부(171)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.The communication unit 171 may include one or more components that enable communication with an external device, and may include, for example, at least one of a short-range communication module, a wired communication module, and a wireless communication module.

근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 지그비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.The short-distance communication module transmits signals using a wireless communication network in a short distance such as a Bluetooth module, an infrared communication module, an RFID (Radio Frequency Identification) communication module, a WLAN (Wireless Local Access Network) communication module, an NFC communication module, and a Zigbee communication module. It may include various short-distance communication modules for transmitting and receiving.

유선 통신 모듈은 캔(Controller Area Network; CAN) 통신 모듈, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다. The wired communication module includes a variety of wired communication modules such as a Controller Area Network (CAN) communication module, a Local Area Network (LAN) module, a Wide Area Network (WAN) module, or a Value Added Network (VAN) module. In addition to communication module, various cable communication such as USB (Universal Serial Bus), HDMI (High Definition Multimedia Interface), DVI (Digital Visual Interface), RS-232 (recommended standard232), power line communication, or POTS (plain old telephone service) It can contain modules.

무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.In addition to the Wi-Fi module and the Wireless broadband module, the wireless communication module includes a global system for mobile communication (GSM), a code division multiple access (CDMA), a wideband code division multiple access (WCDMA), and a universal mobile telecommunications system (UMTS). ), Time Division Multiple Access (TDMA), Long Term Evolution (LTE), etc. may include a wireless communication module supporting various wireless communication methods.

통신부(171)는 복수 개의 위성과 통신을 수행하는 GPS(Global Positioning System) 수신기(171a)를 더 포함할 수 있다. The communication unit 171 may further include a Global Positioning System (GPS) receiver 171a that communicates with a plurality of satellites.

제어부(172)는 단말기의 입력부(131)를 통해 선택된 내비게이션 모드의 선택 신호가 수신되면 GPS 수신기(171a)에 수신된 현재 위치를 확인하고, 단말기의 입력부(131)를 통해 선택된 목적지를 확인하며 현재 위치에서 목적지까지의 경로를 탐색하고 탐색된 경로를 표시한다.When the selection signal of the navigation mode selected through the input unit 131 of the terminal is received, the control unit 172 checks the current location received by the GPS receiver 171a, checks the destination selected through the input unit 131 of the terminal, and currently Navigates a route from a location to a destination and displays the searched route.

제어부(172)는 단말기의 입력부(131)를 통해 선택된 자율 주행 모드의 선택 신호가 수신되면 영상 획득부(150), 검출부(160) 및 통신부(171)의 동작을 활성화시키고, 내비게이션 모드와 연동을 수행한다.When the selection signal of the autonomous driving mode selected through the input unit 131 of the terminal is received, the control unit 172 activates the operations of the image acquisition unit 150, the detection unit 160, and the communication unit 171, and interworks with the navigation mode. carry out

즉 제어부(172)는 내비게이션 모드에 기초하여 고속도로에 진입한 것으로 판단되면 고속도로 지원 기능(HDA:Highway Driving Assist)을 이용하여 자율 주행 모드를 수행한다.That is, when it is determined that the controller 172 has entered the highway based on the navigation mode, the controller 172 performs the autonomous driving mode by using a highway driving assist (HDA).

제어부(172)는 자율 주행 모드의 수행 시 영상 획득부를 통해 획득된 자 차량의 전후좌우 방향의 영상을 표시하도록 하는 것도 가능하고, 내비게이션 모드와 연동하여 경로가 매칭된 지도 정도 및 길 안내 정보를 표시하도록 하는 것도 가능하다.When the autonomous driving mode is performed, the control unit 172 may display images of the front, rear, left, right, and left directions of the own vehicle acquired through the image acquisition unit, and display the map degree and route guidance information in which the route is matched in conjunction with the navigation mode It is also possible to make

아울러 차량은 센터페시아에 마련된 버튼, 터치 패드, 조그 다이얼 등을 통해 내비게이션 모드를 선택받고, 목적지를 입력받는 것도 가능하고 자율 주행 모드를 선택받는 것도 가능하다.In addition, the vehicle can receive a navigation mode selection through a button, a touch pad, a jog dial, etc. provided on the center fascia, and it is possible to receive an input of a destination, and it is also possible to receive a selection of an autonomous driving mode.

제어부(172)는 내비게이션 정보 중 경로와 GPS 수신기(171a)에 수신된 현재 위치를 확인하고, 현재 위치가 고속도로라고 판단되면 조향 장치, 제동 장치 및 동력 장치를 제어하여 자율 주행이 수행되도록 한다.The controller 172 checks the route among the navigation information and the current location received by the GPS receiver 171a, and when it is determined that the current location is a highway, controls the steering device, the braking device, and the power device to perform autonomous driving.

여기서 내비게이션 정보는 지도 정보를 포함하고 지도 내 도로의 명칭, 도로의 종류, 도로의 노선 번호를 더 포함하며, 표지판에 표기된 표기 정보 및 표지판이 설치된 설치 위치를 더 포함한다.Here, the navigation information includes map information, and further includes the name of a road in the map, the type of road, and the route number of the road, and further includes information marked on the sign and an installation location where the sign is installed.

표지판의 표기 정보는, 방향, 지명, 도로의 노선 번호, 예고거리 등을 포함할 수 있다.The marking information of the sign may include a direction, a place name, a route number of a road, a notice distance, and the like.

제어부(172)는 고속도로에 진입하였다고 판단되면 클러스터의 표시부(123a)를 통해 HDA(Highway Driving Assist) 수행에 대한 정보가 표시되도록 제어하고, 고속도로의 분기선에 진입하였다고 판단되면 HDA(Highway Driving Assist) 해제에 대한 정보가 표시되도록 한다.When it is determined that the control unit 172 enters the highway, the control unit 172 controls to display information on the performance of Highway Driving Assist (HDA) through the display unit 123a of the cluster. information about it is displayed.

제어부(172)는 헤드 유닛에 마련된 표시부(128) 또는 단말기의 표시부(132)를 통해 HDA(Highway Driving Assist) 수행 및 HDA(Highway Driving Assist) 해제에 대한 정보를 텍스트로 표시하도록 하는 것도 가능하다.It is also possible for the controller 172 to display information about performing Highway Driving Assist (HDA) and canceling Highway Driving Assist (HDA) in text through the display unit 128 provided in the head unit or the display unit 132 of the terminal.

즉 제어부(172)는 차량 내 표시부를 통해 자율 주행 모드의 수행 및 해제 정보를 표시할 수 있다.That is, the controller 172 may display information on execution and release of the autonomous driving mode through the display unit in the vehicle.

제어부(172)는 자율 주행 모드 수행 시 GPS 수신기(171a)의 신호 수신 상태를 확인하고, GPS 수신기(171a)의 신호 수신 상태가 정상 상태라고 판단되면 영상 획득부(150)의 영상과 검출부(160)의 검출 정보에 기초하여 제동 장치, 동력 장치 및 조향 장치를 제어함으로써 차량의 주행 및 조향이 자동으로 수행되도록 한다.The control unit 172 checks the signal reception state of the GPS receiver 171a when performing the autonomous driving mode, and when it is determined that the signal reception state of the GPS receiver 171a is in a normal state, the image of the image acquisition unit 150 and the detection unit 160 ), by controlling the braking device, the power unit, and the steering system based on the detection information of the vehicle, so that the driving and steering of the vehicle are performed automatically.

여기서 GPS 수신기(171a)의 신호 수신 상태는 위치 신호의 수신 여부 및 수신 강도를 포함할 수 있다.Here, the signal reception state of the GPS receiver 171a may include whether a location signal is received and reception strength.

좀 더 구체적으로, 제어부(172)는 자율 주행 모드 수행 시에 미리 설정된 주행 속도로 주행하도록 제어하거나, 사용자에 의해 입력된 주행 속도로 주행하도록 제어할 수 있다.More specifically, the controller 172 may control to drive at a preset driving speed when performing the autonomous driving mode, or control to drive at a driving speed input by the user.

제어부(172)는 검출부의 검출 정보 중 장애물과의 거리 정보에 기초하여 자 차로의 좌측 방향과 우측 방향의 차로를 주행하는 타 차량의 위치를 확인하고, 확인된 타 차량의 위치에 대응하는 타 차량의 거리를 확인한다. 아울러 제어부(172)는 확인된 타 차량의 거리에 기초하여 자 차량의 속도를 조절한다.The control unit 172 checks the position of another vehicle traveling in the left and right lanes of the own lane based on the distance information from the obstacle among the detection information of the detection unit, and the other vehicle corresponding to the confirmed position of the other vehicle. check the distance of In addition, the control unit 172 adjusts the speed of the own vehicle based on the identified distance of the other vehicle.

제어부(172)는 자율 주행 모드 수행 중 도로의 영상 정보가 수신되면 영상 처리를 수행하여 도로의 차선을 인식하고, 인식된 차선의 위치 정보에 기초하여 자 차량이 주행하는 차로를 인식한다.When the image information of the road is received while the autonomous driving mode is being performed, the controller 172 performs image processing to recognize a lane of the road, and recognizes a lane in which the own vehicle drives based on the recognized position information of the lane.

제어부(172)는 자율 주행 모드 수행 중 타 차량과의 거리, 현재 위치, 인식된 차선, 인식된 차로 및 탐색된 경로에 기초하여 차로가 유지 또는 변경되도록 차량의 주행 방향(즉 조향)을 제어한다.The controller 172 controls the driving direction (ie, steering) of the vehicle so that the lane is maintained or changed based on the distance to another vehicle, the current location, the recognized lane, the recognized lane, and the searched route while performing the autonomous driving mode. .

제어부(172)는 자율 주행 모드 수행 중 GPS 수신기(171a)에 수신된 현재 위치와 탐색된 경로에 기초하여 인터체인지나 분기점으로 이동해야 한다고 판단되면 자율 주행 모드의 해제 정보가 표시부에 표시되도록 제어한다.When the controller 172 determines that it is necessary to move to an interchange or a junction based on the current location received by the GPS receiver 171a and the searched route while performing the autonomous driving mode, the controller 172 controls so that information about releasing the autonomous driving mode is displayed on the display unit.

제어부(172)는 자율 주행 모드가 해제되었을 때 제동 장치와 동력 장치만을 제어하여 차량의 속도가 자동으로 조절되도록 하고, 운전자에 의해 조작된 스티어링 휠의 조향 정보에 기초하여 조향 장치를 제어함으로써 차량의 주행 방향이 조절되도록 한다.When the autonomous driving mode is released, the controller 172 controls only the braking device and the power device to automatically adjust the speed of the vehicle, and controls the steering device based on the steering information of the steering wheel operated by the driver. Allow the direction of travel to be adjusted.

아울러 제어부(172)는 자율 주행 모드가 해제되었을 때 운전자에 의해 조작된 브레이크 페달의 조작 정보, 엑셀러레이터 페달의 조작 정보에 기초하여 동력장치와 제동 장치를 제어함으로써 차량의 속도가 조절되도록 하고, 운전자에 의해 조작된 스티어링 휠의 조향 정보에 기초하여 조향 장치를 제어함으로써 차량의 주행 방향이 조절되도록 하는 것도 가능하다.In addition, when the autonomous driving mode is released, the controller 172 controls the power unit and the braking device based on the operation information of the brake pedal operated by the driver and the operation information of the accelerator pedal so that the speed of the vehicle is adjusted, and the speed of the vehicle is adjusted to the driver. It is also possible to adjust the driving direction of the vehicle by controlling the steering device based on the steering information of the steering wheel operated by the driver.

제어부(172)는 자율 주행 모드 수행 시 GPS 수신기의 신호 수신 상태가 이상 상태라고 판단되면 영상 획득부(150)를 통해 획득된 도로의 영상의 영상 처리를 수행하고 영상 내 표지판을 인식하고 영상 내에서 인식된 표지판의 위치를 확인하고 확인된 표지판의 위치에 기초하여 자 차량의 차로가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단한다.When it is determined that the signal reception state of the GPS receiver is abnormal when the autonomous driving mode is performed, the controller 172 performs image processing of the image of the road acquired through the image acquisition unit 150, recognizes a sign in the image, and The position of the recognized sign is checked, and based on the position of the identified sign, it is determined whether the vehicle's lane is the main line on the expressway or the junction of the interchange (IC) or the junction (JC).

여기서 분기선은, 인터체인지(IC, 나들목)나 분기점(JC)으로 진출하기 위한 선으로, 본선에서 분기된 선일 수 있다.Here, the branch line is a line for advancing to an interchange (IC, IC) or a branch point (JC), and may be a line branched from the main line.

좀 더 구체적으로, 제어부(172)는 획득된 영상 내의 소실점을 획득하고 획득된 소실점을 기준으로 인식된 표지판의 위치가 좌측인지 우측인지를 확인하고 표지판의 위치가 좌측이면 자 차량의 위치를 분기선으로 인식하고, 표지판의 위치가 우측이면 자 차량의 위치를 본선으로 인식한다.More specifically, the control unit 172 acquires a vanishing point in the acquired image, checks whether the position of the recognized sign is left or right based on the acquired vanishing point, and if the position of the sign is left, the position of the own vehicle as a branch line If the position of the sign is on the right, the position of the own vehicle is recognized as the main line.

여기서 영상 내의 소실점은 카메라의 소실점일 수 있다.Here, the vanishing point in the image may be the vanishing point of the camera.

제어부(172)는 획득된 영상 내의 표지판의 위치와 탐색된 경로의 표지판의 위치에 기초하여 자 차량의 위치가 분기선인지 본선인지 인식하는 것도 가능하다.The controller 172 may also recognize whether the location of the own vehicle is a branch line or a main line based on the location of the sign in the acquired image and the location of the sign in the searched route.

제어부(172)는 인식된 표지판의 표기 정보와 탐색된 경로의 표지판의 표기 정보를 비교하여 분기선으로 이동해야 하는지를 판단한다.The control unit 172 compares the marked information of the recognized sign with the mark information of the sign of the searched path to determine whether to move to the branch line.

좀 더 구체적으로 제어부(172)는 탐색된 경로의 표지판의 표기 정보 중 인식된 표지판의 표기 정보와 대응하는 경로의 표지판의 표기 정보를 확인하고 확인된 경로의 표지판의 설치 위치를 확인하고 확인된 표지판의 설치 위치에 기초하여 자 차량의 현재 위치를 예측하고 예측된 자 차량의 현재 위치에 기초하여 자 차량의 차로를 본선으로 유지해야 하는지, 분기선으로 이동해야 하는지를 판단한다.In more detail, the control unit 172 confirms the marked information of the recognized sign among the sign information of the searched path and the marked information of the sign of the corresponding path, confirms the installation position of the sign of the confirmed path, and confirms the identified sign Predicts the current position of the own vehicle based on the installation location of

제어부(172)는 탐색된 경로의 표지판의 표기 정보 중 인식된 표지판의 표기 정보와 대응하는 경로의 표지판의 표기 정보를 확인하고 확인된 경로의 표지판의 표기 정보에 기초하여 자 차량의 현재 위치를 예측하고 예측된 자 차량의 현재 위치에 기초하여 자 차량의 차로를 본선으로 유지해야 하는지, 분기선으로 이동해야 하는지를 판단하는 것도 가능하다.The control unit 172 checks the marking information of the recognized sign among the marking information of the sign of the searched route and the marking information of the sign of the corresponding route, and predicts the current location of the own vehicle based on the marked information of the sign of the identified route And it is also possible to determine whether to keep the lane of the own vehicle on the main line or to move to the branch line based on the predicted current position of the own vehicle.

즉 제어부(172)는 탐색된 경로 내의 표지판의 표기 정보와 영상 획득부(150)에 의해 인식된 표지판의 표기 정보를 비교하여 자 차량의 차로를 본선 또는 분기선으로 이동하도록 제어한다.That is, the control unit 172 compares the marking information of the sign in the searched path with the marking information of the sign recognized by the image acquisition unit 150 to control the vehicle's lane to move to the main line or a branch line.

제어부(172)는 본선으로 주행해야 한다고 판단되면 자율 주행 모드를 유지시키고, 분기선으로 주행해야 한다고 판단되면 차량 내 표시부를 통해 자율 주행 모드의 해제 정보를 표시하도록 제어함으로써 분기선으로 이동하도록 하고, 분기선에서 운전자가 수동으로 운전할 수 있도록 한다.The control unit 172 maintains the autonomous driving mode when it is determined that the vehicle should be driven to the main line, and when it is determined that the vehicle should be driven to the branch line, controls to display information on the release of the autonomous driving mode through the in-vehicle display unit so that the vehicle moves to the branch line, and at the branch line Allow the driver to drive manually.

제어부(172)는 차량이 본선에 위치한 상태에서 분기선으로 이동해야 할 때 차량이 분기선으로 자율 주행을 통해 이동하도록 하고, 분기선으로 이동이 완료된 후에는 운전자가 운전하도록 하는 것도 가능하다.When the vehicle needs to move to the branch line in a state where the vehicle is located on the main line, the controller 172 may allow the vehicle to move through autonomous driving to the branch line, and allow the driver to drive the vehicle after the movement to the branch line is completed.

제어부(172)는 차량이 본선에 위치한 상태에서 분기선으로 이동해야 때 운전자가 분기선으로 이동하도록 안내 정보를 출력하는 것도 가능하다.The control unit 172 may output guide information so that the driver moves to the branch line when the vehicle needs to move to the branch line in a state where the vehicle is located on the main line.

여기서 안내 정보는 차량에 마련된 표시부 또는 차량에 마련된 스피커(미도시)를 통해 출력할 수 있다.Here, the guide information may be output through a display unit provided in the vehicle or a speaker (not shown) provided in the vehicle.

제어부(172)는 자율 주행 모드 수행 시 GPS 수신기(171a)의 신호 수신 상태가 이상 상태라고 판단되면 영상 획득부(150)를 통해 획득된 도로의 영상의 영상 처리를 수행하고 영상 내 표지판들 중 자 차량과 가장 가까운 표지판을 확인하고, 확인된 표지판의 표기 정보 중 도로의 노선 번호를 인식하고 인식된 노선 번호와 탐색된 경로 내 표지판의 노선 번호에 기초하여 자 차량의 차로가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단하는 것도 가능하다.When it is determined that the signal reception state of the GPS receiver 171a is abnormal when the autonomous driving mode is performed, the controller 172 performs image processing of the image of the road acquired through the image acquisition unit 150, and performs image processing of the image among the signs in the image. Check the sign closest to the vehicle, recognize the route number of the road among the marked information of the identified sign, and change whether the vehicle's lane is the main line on the expressway based on the recognized route number and the route number of the sign in the searched route It is also possible to determine whether it is a branch line of the IC) or the branch point (JC).

아울러 제어부(172)는 조도 검출부(166)에서 검출된 조도가 기준 조도 미만이면 표지판에 표기된 도로의 노선 번호에 기초하여 자 차량의 차로를 인식하는 것도 가능하다.In addition, if the illuminance detected by the illuminance detector 166 is less than the reference illuminance, the controller 172 may also recognize the lane of the own vehicle based on the route number of the road indicated on the sign.

즉 제어부(172)는 영상 내 표지판의 바탕 색상 인식과 글씨 색상 인식을 통해 표지판인지 인식하고, 이때 검출된 조도가 기준 조도 미만이면 표지판의 꼭지점 인식을 생략하고 영상 내 표지판의 노선 번호를 인식하여 자 차량의 차로를 인식한다.That is, the control unit 172 recognizes whether the sign is a sign through the recognition of the background color and the color of the text in the image, and if the detected illuminance is less than the reference illuminance, omit the vertex recognition of the sign and recognize the route number of the sign in the image. Recognize the vehicle's lane.

아울러 제어부(172)는 영상 내 표지판의 바탕 색상 인식과 글씨 색상 인식을 통해 표지판인지 인식하고, 표지판이라고 인식되면 표지판의 꼭지점을 인식하고 이때 표지판의 꼭지점이 미인식되면 영상 내 표지판의 노선 번호를 인식하여 자 차량의 차로를 인식하는 것도 가능하다.In addition, the control unit 172 recognizes whether the sign is a sign through recognition of the background color and color of the text in the image, and when recognized as a sign, recognizes the vertex of the sign. Thus, it is possible to recognize the lane of the own vehicle.

제어부(172)는 영상 내 소실점의 위치와 영상 내 표지판의 노선 번호의 위치에 기초하여 자 차량의 차로를 인식하는 것도 가능하다.The control unit 172 may also recognize the lane of the own vehicle based on the position of the vanishing point in the image and the position of the route number of the sign in the image.

제어부(172)는 자율 주행 모드 수행 시 GPS 수신기의 신호 수신 상태가 이상 상태라고 판단되면 영상 획득부(150)를 통해 획득된 도로의 영상의 내 표지판들 중 자 차량과 가장 가까운 표지판을 확인하고, 확인된 표지판의 표기 정보 중 지명을 인식하고 인식된 지명과 탐색된 경로 내 표지판의 지명에 기초하여 자 차량의 차로가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단하는 것도 가능하다.When the control unit 172 determines that the signal reception state of the GPS receiver is abnormal when performing the autonomous driving mode, the control unit 172 checks the sign closest to the own vehicle among the signs of the image of the road acquired through the image acquisition unit 150, It is also possible to recognize the place name among the identified sign information and to determine whether the vehicle's lane is the main line on the highway or the junction of the interchange (IC) or the junction (JC) based on the recognized place name and the place name of the sign in the searched route. possible.

제어부(172)는 영상 내 표지판의 위치 정보에 기초하여 자 차로가 본선인지 분기선인지 인식하고, 차로의 곡률 및 차선의 타입 중 적어도 하나에 기초하여 자 차로의 위치를 보정한다.The controller 172 recognizes whether the own lane is a main line or a branch line based on the location information of the sign in the image, and corrects the position of the own lane based on at least one of the curvature of the lane and the type of the lane.

좀 더 구체적으로, 제어부(172)는 자율 주행 모드 수행 시 GPS 수신기(171a)의 신호 수신 상태가 이상 상태라고 판단되면 영상 획득부(150)를 통해 획득된 영상에서 도로의 차선을 인식하고, 인식된 차선에 기초하여 자 차로를 인식하고 인식된 자 차로의 곡률을 판단하고, 판단된 자 차로의 곡률에 기초하여 자 차량의 위치가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단하는 것도 가능하다.More specifically, when it is determined that the signal reception state of the GPS receiver 171a is abnormal when performing the autonomous driving mode, the controller 172 recognizes and recognizes a lane of the road from the image acquired through the image acquisition unit 150 . Based on the established lane, the own lane is recognized, the curvature of the recognized own lane is determined, and based on the determined curvature of the own lane, whether the location of the own vehicle is the main line on the expressway, the branch line of the interchange (IC) or the junction (JC) It is also possible to judge

즉, 제어부(172)는 자 차로의 곡률이 기준 곡률 이상이면 본선이라고 판단하고, 자 차로의 곡률이 기준 곡률 미만이면 분기선이라고 판단한다.That is, if the curvature of the own road is equal to or greater than the reference curvature, the controller 172 determines that it is a main line, and if the curvature of the own road is less than the reference curvature, it determines that it is a branch line.

또한 제어부(172)는 자 차로와, 자 차로의 좌우 차로들 중 곡률이 가장 큰 차로를 본선으로 판단하고, 곡률이 작은 차로를 분기선이라고 판단하는 것도 가능하다.Also, the control unit 172 may determine a lane having the largest curvature among the left and right lanes of the own lane and the own lane as the main line, and may determine the lane having the smallest curvature as a branch line.

제어부(172)는 인식된 표지판의 표기 정보에 기초하여 탐색된 경로 내 자 차량의 위치를 예측하고 탐색된 경로 내 현재 위치에 대응하는 도로의 본선과 분기선의 곡률을 각각 확인하고, 영상 내 자 차로의 곡률을 판단하고, 영상 인식에 의한 자 차로의 곡률과 탐색된 경로 내 본선과 분기선의 곡률에 기초하여 자 차량의 차로가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단하는 것도 가능하다.The control unit 172 predicts the location of the own vehicle in the searched route based on the notation information of the recognized sign, and confirms the curvature of the main line and the branch line of the road corresponding to the current location in the searched route, respectively, and the own lane in the image The curvature of the vehicle is determined based on the curvature of the own lane by image recognition and the curvature of the main line and the branch line in the searched route. It is also possible to

아울러 제어부(172)는 속도 검출부(163) 또는 가속도 검출부(165) 의해 검출된 속도 정보에 기초하여 신호 수신 상태가 이상 상태인 시점부터 이동한 차량의 주행 거리를 예측하고, 확인된 위치, 주행 거리 및 탐색된 경로에 기초하여 현재 위치를 예측하고 탐색된 경로 내 도로 중 예측된 현재 위치의 도로의 곡률을 확인하는 것도 가능하다.In addition, the control unit 172 predicts the mileage of the vehicle that has moved from the point in time when the signal reception state is abnormal based on the speed information detected by the speed detector 163 or the acceleration detector 165, and the confirmed position and mileage And it is also possible to predict the current location based on the searched route and to check the curvature of the predicted current location of the roads in the searched route.

제어부(172)는 GPS 수신기의 신호 수신 상태가 정상 상태일 때 마지막으로 수신된 위치를 확인하고, 각속도 검출부(162)에서 검출된 각속도에 기초하여 조향각을 판단하고 판단된 조향각에 기초하여 자 차로의 곡률을 예측하는 것도 가능하다.The control unit 172 checks the last received position when the signal reception state of the GPS receiver is in a normal state, determines the steering angle based on the angular velocity detected by the angular velocity detector 162, and determines the steering angle based on the determined steering angle. It is also possible to predict the curvature.

제어부(172)는 속도 검출부(163)에서 검출된 전후좌우 차륜의 휠 속도를 확인하고 확인된 전후좌우 휠 속도의 차이에 기초하여 차량의 조향각을 판단하고 판단된 조향각에 기초하여 자 차로의 곡률을 예측하는 것도 가능하다.The control unit 172 checks the wheel speed of the front, rear, left, and right wheels detected by the speed detecting unit 163, determines the steering angle of the vehicle based on the confirmed difference in front, rear, left, right, and right wheel speeds, and determines the curvature of the own lane based on the determined steering angle It is also possible to predict.

제어부(172)는 요 레이트 검출부(164)에서 검출된 요 레이트에 기초하여 차량의 요 모멘트를 판단하고 판단된 요 모멘트에 기초하여 자 차로의 곡률을 판단하는 것도 가능하다.The controller 172 may determine the yaw moment of the vehicle based on the yaw rate detected by the yaw rate detector 164 and determine the curvature of the own lane based on the determined yaw moment.

제어부(172)는 가속도 검출부(165)에서 검출된 가속도 정보에 기초하여 자 차로의 곡률을 예측하는 것도 가능하다.The control unit 172 may predict the curvature of the own road based on the acceleration information detected by the acceleration detection unit 165 .

제어부(172)는 자율 주행 모드 수행 시 GPS 수신기(171a)의 신호 수신 상태가 이상 상태라고 판단되면 영상 획득부(150)를 통해 획득된 영상 내 도로의 차선을 인식하고, 인식된 차선에 기초하여 자 차로를 인식하고 인식된 자 차로의 양 측의 차선의 타입이 점선인지 실선인지 인식하고 인식된 차선의 타입에 기초하여 자 차량의 차로가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단하는 것도 가능하다.When it is determined that the signal reception state of the GPS receiver 171a is abnormal when the autonomous driving mode is performed, the controller 172 recognizes a lane of the road in the image acquired through the image acquisition unit 150, and based on the recognized lane Recognizes own lane and recognizes whether the type of lanes on both sides of the recognized lane is a dotted line or a solid line, and based on the recognized lane type, whether the lane of the own vehicle is a main line on the expressway, an interchange (IC) or a junction (JC) It is also possible to determine whether it is a branch line.

즉 제어부(172)는 자 차로의 좌측 차선이 점선이거나, 자 차로의 우측 차선이 점선과 실선의 복선이면 자 차로의 위치가 본선이라 판단한다. That is, if the left lane of the own lane is a dotted line or the right lane of the own lane is a double line of a dotted line and a solid line, the controller 172 determines that the position of the own lane is the main line.

제어부(172)는 자 차로의 좌측 차선이 점선이고 우측 차선이 실선이면 자 차로의 위치가 본선이라 판단하고, 좌측 차선이 점선이고 우측 차선이 점선과 실선의 복선이면 자 차로의 위치가 본선이라 판단하는 것도 가능하다.If the left lane of the own lane is a dotted line and the right lane is a solid line, the control unit 172 determines that the position of the own lane is the main line, and if the left lane is a dotted line and the right lane is a double line of the dotted line and the solid line, the position of the own lane is the main line It is also possible to

제어부(172)는 자 차로의 우측 차선이 점선과 실선의 복선이면 자 차로의 위치가 본선이라 판단하는 것도 가능하다.If the right lane of the own lane is a double line of a dotted line and a solid line, the controller 172 may determine that the position of the own lane is the main line.

제어부(172)는 자 차로의 양쪽 차선이 실선이거나, 자 차로의 좌측 차선이 점선과 실선의 복선이면 자 차로의 위치가 분기선이라 판단한다.If both lanes of the own lane are solid lines or the left lane of the own lane is a double line of a dotted line and a solid line, the controller 172 determines that the position of the own lane is a branch line.

제어부(172)는 자율 주행 모드 수행 시 GPS 수신기의 신호 수신 상태가 이상 상태라고 판단되면 영상 획득부(150)를 통해 획득된 자 차로의 양쪽 차선을 인식하고, 인식된 차선과 탐색된 경로 내 예측된 현재 위치의 도로의 차선 정보에 기초하여 자 차량의 위치가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단하는 것도 가능하다.When it is determined that the signal reception state of the GPS receiver is abnormal when the autonomous driving mode is performed, the controller 172 recognizes both lanes of the own lane acquired through the image acquisition unit 150, and predicts the recognized lane and the searched route. It is also possible to determine whether the location of the own vehicle is a main line on a highway or a branch line of an interchange (IC) or a junction (JC) based on the lane information of the road at the current location.

아울러 제어부(172)는 스티어링 휠의 조향 정보에 기초하여 조향 장치의 제어 명령을 생성하고, 브레이크 페달의 가압 정보에 기초하여 제동 장치의 제어 명령을 생성하며, 엑셀러레이터 페달의 가압 정보에 기초하여 동력 장치의 제어 명령을 생성하고, 생성된 제어 명령을 각각의 장치에 전달한다.In addition, the controller 172 generates a control command for the steering device based on the steering information of the steering wheel, generates a control command for the braking device based on the pressing information of the brake pedal, and the power unit based on the pressing information of the accelerator pedal. generates a control command of , and transmits the generated control command to each device.

이러한 제어부(172)는 CPU 또는 MCU일 수 있고, 프로세서일 수 있다.The control unit 172 may be a CPU or an MCU, and may be a processor.

제어부(172)는 차량 내 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리(미도시), 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.The controller 172 includes a memory (not shown) that stores data about an algorithm for controlling the operation of components in the vehicle or a program that reproduces the algorithm, and a processor (not shown) that performs the above-described operation using the data stored in the memory. not shown) may be implemented. In this case, the memory and the processor may be implemented as separate chips. Alternatively, the memory and the processor may be implemented as a single chip.

아울러 저장부(173)는 지도 정보, 지도 내 도로 명칭, 도로 종류, 도로의 노선 번호를 저장하고, 도로의 표지판의 설치 위치와 표지판의 표기 정보를 저장한다.In addition, the storage unit 173 stores map information, a road name in the map, a road type, and a route number of a road, and stores an installation location of a road sign and notation information of the road sign.

저장부(173)는 지도 내 차로의 곡률 정보 및 차선의 타입 등의 도로 정보를 더 저장한다.The storage unit 173 further stores road information such as curvature information of lanes in the map and types of lanes.

저장부(173)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부는 제어부와 관련하여 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다. The storage unit 173 is a non-volatile memory device or RAM such as a cache, read only memory (ROM), programmable ROM (PROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), and flash memory. It may be implemented as at least one of a volatile memory device such as (Random Access Memory), a hard disk drive (HDD), or a storage medium such as a CD-ROM, but is not limited thereto. The storage unit may be a memory implemented as a chip separate from the processor described above with respect to the control unit, or may be implemented as a single chip with the processor.

구동부(174)는 제어부(172)의 제어 명령에 기초하여 제동 장치, 동력 장치 및 조향 장치 중 적어도 하나를 동작시킨다.The driving unit 174 operates at least one of a braking device, a power device, and a steering device based on a control command of the controller 172 .

도 1에 도시된 차량의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.At least one component may be added or deleted according to the performance of the components of the vehicle illustrated in FIG. 1 . In addition, it will be readily understood by those skilled in the art that the mutual positions of the components may be changed corresponding to the performance or structure of the system.

한편, 도 3 에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다. Meanwhile, each component illustrated in FIG. 3 means a hardware component such as software and/or a Field Programmable Gate Array (FPGA) and an Application Specific Integrated Circuit (ASIC).

도 4는 실시 예에 따른 차량의 제어 방법의 순서도로, 도 5 내지 도 9를 참조하여 설명한다.4 is a flowchart of a method for controlling a vehicle according to an embodiment, which will be described with reference to FIGS. 5 to 9 .

차량은 센터페시아에 마련된 입력부(127) 또는 단말기의 입력부(131)를 통해 자율 주행 모드가 선택(201)되면 내비게이션 모드와 연동을 수행한다.When the autonomous driving mode is selected (201) through the input unit 127 provided in the center fascia or the input unit 131 of the terminal, the vehicle interworks with the navigation mode.

차량은 GPS 수신기(171a)에 수신된 현재 위치를 확인(202)하고, 센터페시아에 마련된 입력부(127) 또는 단말기의 입력부(131)를 통해 입력된 목적지를 확인하며 현재 위치에서 목적지까지의 경로를 탐색하고 탐색된 경로를 지도에 매칭시켜 단말기의 표시부(132)를 통해 표시한다.The vehicle checks the current location received by the GPS receiver 171a (202), checks the destination input through the input unit 127 provided in the center fascia or the input unit 131 of the terminal, and determines the route from the current location to the destination The searched path is matched to the map and displayed through the display unit 132 of the terminal.

차량은 지도 정보와 확인된 현재 위치에 기초하여 고속도로에 진입하였는지 판단(203)하고, 고속도로에 진입하였다고 판단되면 클러스터의 표시부(123a), 헤드 유닛에 마련된 표시부(128) 또는 단말기의 표시부(132)를 통해 HDA(Highway Driving Assist) 수행에 대한 정보를 표시하고 고속도로 지원 기능(HDA:Highway Driving Assist)을 이용하여 자율 주행 모드를 수행(204)한다.The vehicle determines (203) whether the vehicle has entered the expressway based on the map information and the confirmed current location, and when it is determined that the vehicle has entered the expressway, the display unit 123a of the cluster, the display unit 128 provided in the head unit, or the display unit 132 of the terminal Information on the performance of Highway Driving Assist (HDA) is displayed through the , and the autonomous driving mode is performed using a Highway Driving Assist (HDA) ( 204 ).

차량은 자율 주행 모드 수행 중 GPS 수신기의 신호 수신 상태가 정상 상태인지 이상 상태인지를 판단한다.The vehicle determines whether the signal reception state of the GPS receiver is in a normal state or an abnormal state while performing the autonomous driving mode.

즉 차량은 GPS 수신기(171a)를 통해 현재 위치에 대한 신호가 정상적으로 수신되는지를 판단(205)한다.That is, the vehicle determines whether a signal for the current location is normally received through the GPS receiver 171a ( 205 ).

여기서 위치 신호가 정상적으로 수신되었는지 판단하는 것은, GPS 수신기(171a)의 신호 수신 여부 및 신호 강도에 기초하여 위치 신호가 정상적으로 수신되었는지를 판단하는 것을 포함한다.Here, determining whether the position signal is normally received includes determining whether the position signal is normally received based on whether the GPS receiver 171a has received the signal and signal strength.

차량은 GPS 수신기에 위치 신호가 정상으로 수신되었다고 판단되면 GPS 수신기에 수신된 현재 위치를 확인하고 확인된 현재 위치와 탐색된 경로에 기초하여 자율 주행을 제어한다.When it is determined that the location signal is normally received by the GPS receiver, the vehicle checks the current location received by the GPS receiver and controls autonomous driving based on the confirmed current location and the searched route.

좀 더 구체적으로, 차량은 자율 주행 모드 수행 중 미리 설정된 주행 속도로 주행하도록 제어하거나, 사용자에 의해 입력된 주행 속도로 주행하도록 제어할 수 있다.More specifically, the vehicle may be controlled to drive at a preset driving speed while performing the autonomous driving mode, or may be controlled to travel at a driving speed input by a user.

차량은 자율 주행 모드 수행 중 영상 획득부에서 획득된 도로의 영상이 수신되면 영상 처리를 수행하여 도로의 차선을 인식하고, 인식된 차선에 기초하여 자 차로로 주행하고, 거리 검출부(161)에서 검출된 장애물과의 거리 정보에 기초하여 자 차로의 전후좌우 방향의 타 차량의 위치를 확인하고, 확인된 타 차량의 위치에 대응하는 타 차량의 거리를 확인하며 확인된 타 차량의 거리에 기초하여 자 차량의 속도를 조절하면서 자율 주행을 수행한다.When the image of the road acquired by the image acquisition unit is received during the autonomous driving mode, the vehicle performs image processing to recognize a lane of the road, drives to the own lane based on the recognized lane, and detects it by the distance detection unit 161 Based on the distance information from the detected obstacle, the position of the other vehicle in the front, rear, left, right, and left directions of the own lane is checked, and the distance of the other vehicle corresponding to the confirmed position of the other vehicle is checked. It performs autonomous driving while controlling the speed of the vehicle.

차량은 자율 주행 모드 수행 중 타 차량과의 거리, 확인된 현재 위치, 인식된 차선, 인식된 차로 및 탐색된 경로에 기초하여 자 차로를 유지 또는 변경하면서 자율 주행을 수행한다.The vehicle performs autonomous driving while maintaining or changing its own lane based on the distance from another vehicle, the identified current location, the recognized lane, the recognized lane, and the searched route while performing the autonomous driving mode.

차량은 자율 주행 모드의 수행 중 자 차량의 전후좌우 방향의 영상을 단말기의 표시부에 표시하는 것도 가능하고, 경로가 매칭된 지도 정도 및 길 안내 정보를 표시부에 표시하는 것도 가능하다.The vehicle may display images in the front, rear, left and right directions of the own vehicle on the display unit of the terminal while the autonomous driving mode is being performed, and it is also possible to display the map degree and route guidance information with matching routes on the display unit.

그리고 차량은 자율 주행 모드 수행 중 현재 위치를 확인(206)하고 확인된 현재 위치와 탐색된 경로에 기초하여 분기선으로 이동해야 하는지 판단(215)하고 분기선으로 이동해야 한다고 판단되면 자율 주행 모드를 해제하고 자율 주행 모드의 해제 정보를 표시부에 표시(216)한다.Then, the vehicle checks the current location (206) while performing the autonomous driving mode, determines whether to move to the branch line based on the checked current location and the searched route (215), and releases the autonomous driving mode when it is determined that the vehicle needs to move to the branch line, The autonomous driving mode cancellation information is displayed on the display unit (216).

차량은 자율 주행 모드가 해제되었을 때 제동 장치와 동력 장치만을 제어하여 주행 속도를 자동으로 조절하고, 운전자에 의해 조작된 스티어링 휠(141)의 조향 정보에 기초하여 조향 장치를 제어함으로써 차량의 주행 방향을 조절한다.When the autonomous driving mode is released, the vehicle automatically adjusts the driving speed by controlling only the braking device and the power device, and controls the steering device based on the steering information of the steering wheel 141 operated by the driver to control the driving direction of the vehicle. adjust the

아울러 차량은 자율 주행 모드가 해제되었을 때 운전자에 의해 조작된 브레이크 페달(142)의 조작 정보, 엑셀러레이터 페달(143)의 조작 정보에 기초하여 동력장치와 제동 장치를 제어함으로써 주행 속도를 조절하고, 운전자에 의해 조작된 스티어링 휠(141)의 조향 정보에 기초하여 조향 장치를 제어함으로써 차량의 주행 방향을 변경하는 것도 가능하다.In addition, when the autonomous driving mode is released, the vehicle adjusts the driving speed by controlling the power unit and the braking device based on the operation information of the brake pedal 142 and the operation information of the accelerator pedal 143 operated by the driver, and the driver It is also possible to change the driving direction of the vehicle by controlling the steering device based on the steering information of the steering wheel 141 operated by .

차량은 자율 주행 모드 수행 중 GPS 수신기(171a)에 위치 신호가 정상적으로 수신되지 않는다고 판단(즉, 이상 상태로 판단)되면 영상 획득부(150)를 통해 획득된 도로의 영상의 영상 처리를 수행하고 영상 내 표지판을 인식(207)한다.When the vehicle determines that the location signal is not normally received by the GPS receiver 171a (ie, it is determined to be in an abnormal state) while performing the autonomous driving mode, the vehicle performs image processing of the image of the road acquired through the image acquisition unit 150 and performs image processing. Recognize (207) my sign.

여기서 표지판을 인식하는 것은, 표지판의 바탕 색상(녹색)과 표지판의 글씨 색상(흰색)을 인식함으로써 영상 내 도로의 시설물 중 표지판을 인식하는 것을 포함한다.Recognizing the sign here includes recognizing the sign among the facilities on the road in the image by recognizing the background color of the sign (green) and the text color (white) of the sign.

차량은 영상 내 표지판의 위치를 확인(208)하고 확인된 표지판의 위치에 기초하여 자 차량의 위치가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단한다.The vehicle confirms the position of the sign in the image (208) and determines whether the position of the own vehicle is the main line on the highway or the junction of the interchange (IC) or the junction (JC) based on the identified position of the sign.

도 5에 도시된 바와 같이, 차량은 획득된 영상(Im) 내의 소실점(P)을 획득하고 획득된 소실점(P)을 기준으로 가로를 X축, 세로를 Y축으로 설정하고, 소실점의 좌표를 (0, 0)으로 설정하며, 획득된 소실점(P)을 기준으로 인식된 표지판의 위치가 좌측인지 우측인지를 확인하고, 표지판의 위치가 우측이면 자 차량의 차로를 본선으로 인식하며 표지판의 위치가 좌측이면 자 차량의 차로를 분기선으로 인식한다.5, the vehicle acquires the vanishing point P in the acquired image Im, and sets the horizontal X axis and the vertical Y axis based on the obtained vanishing point P, and the coordinates of the vanishing point Set to (0, 0), check whether the position of the recognized sign is left or right based on the acquired vanishing point (P), and if the position of the sign is right, the lane of the own vehicle is recognized as the main line If is on the left, the vehicle's lane is recognized as a branch line.

아울러 차량은 복수 개의 표지판의 꼭지점을 인식하고 설정된 X축, Y축과 소실점을 기준으로 복수 개의 표지판의 꼭지점의 좌표값을 생성하고, 생성된 좌표값들 중 적어도 하나의 좌표값을 선택하고 선택된 좌표값 중 X축 값에 기초하여 자 차량의 차로를 인식하는 것도 가능하다.In addition, the vehicle recognizes the vertices of the plurality of signs, generates coordinate values of the vertices of the plurality of signs based on the set X-axis, Y-axis, and the vanishing point, selects at least one coordinate value from among the generated coordinate values, and selects the selected coordinates It is also possible to recognize the lane of the own vehicle based on the X-axis value among the values.

X축, Y축의 좌표값은 소실점의 픽셀에서 표지판의 꼭지점까지의 영상의 픽셀 개수에 기초하여 설정될 수 있다. Coordinate values of the X-axis and Y-axis may be set based on the number of pixels in the image from the pixel of the vanishing point to the vertex of the sign.

아울러 차량은 생성된 좌표값들에 기초하여 자 차량과 가장 가까운 표지판을 확인하고 확인된 가장 가까운 표지판을 선택하고, 선택된 표지판의 꼭지점에 대한 좌표를 확인하되, 선택된 표지판의 네 꼭지점 (X1, Y1), (X1, Y2), (X2, Y1), (X2, Y2) 중 어느 하나의 꼭지점의 X값으로부터 표지판의 위치를 확인하는 것도 가능하다.In addition, the vehicle checks the nearest sign to the own vehicle based on the generated coordinate values, selects the identified closest sign, and checks the coordinates for the vertices of the selected sign, but the four vertices (X1, Y1) of the selected sign , (X1, Y2), (X2, Y1), (X2, Y2) It is also possible to check the position of the sign from the X value of any one of the vertices.

즉 차량은 X값이 음수인지 양수인지에 따라 표지판의 위치가 좌측인지 우측인지 알 수 있다.That is, the vehicle can know whether the position of the sign is left or right according to whether the X value is negative or positive.

도 6a에 도시된 바와 같이, 영상 내 소실점(P)을 획득하고, 영상 내의 표지판들 중 차량과 가장 가까운 표지판(2a)을 선택하고 선택된 표지판(2a)의 X축 좌표 값들이 소실점을 기준으로 양의 방향에 위치하면(즉 양수이면), 영상 내 표지판의 위치가 우측에 있다고 판단하고, 자 차량의 차로를 본선으로 인식한다.As shown in FIG. 6A , a vanishing point P is obtained in the image, a sign 2a closest to the vehicle is selected from among the signs in the image, and the X-axis coordinate values of the selected sign 2a are positive based on the vanishing point. If it is located in the direction of (that is, if it is a positive number), it is determined that the position of the sign in the image is on the right side, and the lane of the own vehicle is recognized as the main line.

도 6b에 도시된 바와 같이, 영상 내 소실점(P)을 획득하고, 영상 내의 표지판들 중 차량과 가장 가까운 표지판(2b)을 선택하고 선택된 표지판(2b)의 X축 좌표 값들이 소실점을 기준으로 음의 방향에 위치하면(즉 음수이면), 영상 내 표지판(2b)의 위치가 좌측에 있다고 판단하고, 자 차량의 차로를 분기선으로 인식한다.As shown in Fig. 6b, the vanishing point P is obtained in the image, the sign 2b closest to the vehicle is selected among the signs in the image, and the X-axis coordinate values of the selected sign 2b are negative based on the vanishing point. If it is located in the direction of (that is, if it is a negative number), it is determined that the position of the sign 2b in the image is on the left, and the lane of the own vehicle is recognized as a branch line.

차량은 영상 내 표지판들 중 자 차량과 가장 가까운 표지판을 확인하고, 확인된 표지판의 표기 정보 중 도로의 노선 번호를 인식하고 인식된 노선 번호와 탐색된 경로 내 표지판의 노선 번호에 기초하여 자 차량의 위치가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 판단하는 것도 가능하다.The vehicle checks the nearest sign to the own vehicle among the signs in the image, recognizes the route number of the road among the marked information of the identified sign, and based on the recognized route number and the route number of the sign in the searched route, It is also possible to determine whether the location is a main line on a highway or a junction of an interchange (IC) or a junction (JC).

도 7에 도시된 바와 같이, 차량은 가장 가까운 표지판이 좌측 표지판(2a)이라고 판단되면 좌측 표지판(2a)에 표기된 표기 정보인 도로의 노선 번호(A1)를 확인하고, 확인된 노선 번호와 탐색된 경로 내 표지판의 노선 번호를 비교하여 확인된 노선 번호와 탐색된 경로 내 표지판의 노선 번호가 동일하면 차량의 위치가 본선이라고 인식한다.As shown in FIG. 7 , when it is determined that the closest sign is the left sign 2a, the vehicle checks the route number A1 of the road, which is the marked information displayed on the left sign 2a, and the identified route number and the searched route number. By comparing the route number of the sign in the route, if the confirmed route number and the route number of the sign in the searched route are the same, the location of the vehicle is recognized as the main line.

도 7에 도시된 바와 같이, 차량은 가장 가까운 표지판이 우측 표지판(2b)이라고 판단되면 우측 표지판(2a)에 표기된 표기 정보인 도로의 노선 번호(A2)를 확인하고, 확인된 노선 번호와 탐색된 경로 내 표지판의 노선 번호를 비교하여 확인된 노선 번호와 탐색된 경로 내 표지판의 노선 번호가 동일하면 차량의 위치가 분기선이라고 인식한다.As shown in FIG. 7 , when the vehicle determines that the nearest sign is the right sign 2b, the vehicle checks the route number A2 of the road, which is the notation information marked on the right sign 2a, and checks the identified route number and the searched route number. By comparing the route number of the sign in the route, if the confirmed route number and the route number of the sign in the searched route are the same, the location of the vehicle is recognized as a branch line.

아울러 차량은 조도 검출부(166)에 의해 검출된 조도가 기준 조도보다 낮으면 표지판에 표기된 도로의 노선 번호에 기초하여 자 차량의 위치를 인식하는 것도 가능하다.In addition, when the illuminance detected by the illuminance detection unit 166 is lower than the reference illuminance, the vehicle may recognize the location of the own vehicle based on the route number of the road marked on the sign.

차량은 차로의 곡률 및 차선의 타입 중 적어도 하나에 기초하여 자 차로의 위치를 재인식(211)한다.The vehicle re-recognizes ( 211 ) the location of the own lane based on at least one of the curvature of the lane and the type of the lane.

여기서 차로의 곡률 및 차선의 타입 중 적어도 하나에 기초하여 자 차로의 위치를 인식하는 것을 추측항법이라고 한다.Here, recognizing the position of the own lane based on at least one of the curvature of the lane and the type of the lane is called dead reckoning.

즉 차량은 추측항법을 이용하여 자 차로의 위치를 재인식함으로써 자 차로의 인식 정확도를 향상시킬 수 있다.That is, the vehicle can improve the recognition accuracy of the own lane by re-recognizing the location of the own lane using dead reckoning.

좀 더 구체적으로, 차량은 영상 획득부(150)를 통해 획득된 도로의 차선을 인식하고, 인식된 차선에 기초하여 자 차로를 인식하며 인식된 자 차로의 곡률을 획득하고, 획득된 곡률에 기초하여 본선인지 분기선인지를 인식한다.More specifically, the vehicle recognizes the lane of the road acquired through the image acquisition unit 150 , recognizes the own lane based on the recognized lane, acquires the recognized curvature of the own lane, and based on the acquired curvature It recognizes whether it is a main line or a branch line.

도 8 및 도 9에 도시된 바와 같이, 차량은 획득된 자 차로의 곡률(c1)과 기준 곡률을 비교하며 자 차로의 곡률이 기준 곡률 이상이면 자 차로를 본선(R1)이라고 인식하고, 자 차로의 곡률(c2)이 기준 곡률 미만이면 자 차로를 분기선(R2)이라고 인식한다.As shown in FIGS. 8 and 9 , the vehicle compares the obtained curvature c1 of the own lane with the reference curvature, and if the curvature of the own lane is equal to or greater than the reference curvature, the vehicle recognizes the own lane as the main line R1, and the own lane If the curvature c2 of is less than the reference curvature, the own lane is recognized as the branch line R2.

또한 차량은 주행 중인 자 차로, 자 차로의 좌측 차로, 자 차로의 우측 차로의 곡률을 각각 획득하고 획득된 차로의 곡률들 중 곡률이 가장 큰 차로를 본선으로 인식하고, 곡률이 작은 차로를 분기선이라고 인식하는 것도 가능하다.In addition, the vehicle acquires the curvatures of the own lane, the left lane of the own lane, and the right lane of the own lane, respectively, and recognizes the lane with the largest curvature among the obtained curvatures as the main road, and the lane with the smallest curvature is called a branch line. It is also possible to recognize

또한 차량은 영상을 통해 인식된 표지판의 표기 정보, 탐색된 경로 내 표지판의 표기 정보 및 표지판의 설치 위치에 기초하여 자 차량의 위치를 예측하고 탐색된 경로 내 현재 위치에 대응하는 도로의 본선과 분기선의 곡률을 각각 확인하고, 영상 내 자 차로의 곡률을 판단하고, 영상 인식에 의한 자 차로의 곡률과 탐색된 경로 내 본선과 분기선의 곡률에 기초하여 자 차량의 위치가 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 인식하는 것도 가능하다.In addition, the vehicle predicts the location of the own vehicle based on the marking information of the sign recognized through the image, the marking information of the sign in the searched route, and the installation location of the sign, and the main line and branch line of the road corresponding to the current location in the searched route Check the curvature of each, determine the curvature of the own lane in the image, and change the location of the own vehicle on the highway based on the curvature of the own lane by image recognition and the curvature of the main and branch lines in the searched route (IC) It is also possible to recognize whether it is a branch line of ) or a branch point (JC).

아울러 차량은 신호 수신 상태가 이상 상태이면 마지막으로 수신된 차량의 위치를 확인하고, 신호 수신 상태가 이상 상태인 시점부터 속도 검출부(163) 또는 가속도 검출부(165) 의해 검출된 검출 정보를 확인하고 확인된 검출 정보에 기초하여 차량의 주행 속도를 획득하고 획득된 주행 속도에 기초하여 차량의 주행 거리를 예측하고, 마지막으로 확인된 차량의 위치, GPS 수신기가 이상 상태인 시점부터 주행한 주행 거리 및 탐색된 경로에 기초하여 차량의 현재 위치를 예측하고 탐색된 경로 내 예측된 현재 위치의 도로의 곡률을 확인하는 것도 가능하다.In addition, the vehicle checks the location of the last received vehicle when the signal reception state is abnormal, and checks and confirms the detection information detected by the speed detection unit 163 or the acceleration detection unit 165 from the time when the signal reception state is abnormal. Acquires the driving speed of the vehicle based on the detected detection information, predicts the driving distance of the vehicle based on the acquired driving speed, and searches for the location of the last checked vehicle, the driving distance from the time when the GPS receiver is in an abnormal state, and search It is also possible to predict the current position of the vehicle based on the obtained path and to check the curvature of the road at the predicted current position in the searched path.

또한 차량은 각속도 검출부에서 검출된 각속도에 기초하여 조향각을 판단하고 판단된 조향각에 기초하여 자 차로의 곡률을 획득하는 것도 가능하다.In addition, the vehicle may determine a steering angle based on the angular velocity detected by the angular velocity detector and acquire the curvature of the own lane based on the determined steering angle.

또한 차량은 전후좌우 차륜의 휠 속도를 확인하고 확인된 전후좌우 휠 속도의 차이에 기초하여 차량의 조향각을 판단하고 판단된 조향각에 기초하여 자 차로의 곡률을 획득하는 것도 가능하다.In addition, the vehicle may check the wheel speed of the front, rear, left and right wheels, determine the steering angle of the vehicle based on the confirmed difference in front, rear, left, and right wheel speeds, and obtain the curvature of the own lane based on the determined steering angle.

또한 차량은 가속도 검출부에서 검출된 가속도 정보에 기초하여 자 차로의 곡률을 획득하는 것도 가능하고, 요 레이트 검출부에서 검출된 요 레이트에 기초하여 차량의 요 모멘트를 판단하고 판단된 요 모멘트에 기초하여 자 차로의 곡률을 획득하는 것도 가능하다.In addition, the vehicle may acquire the curvature of the own lane based on the acceleration information detected by the acceleration detecting unit, and determining the yaw moment of the vehicle based on the yaw rate detected by the yaw rate detecting unit, and based on the determined yaw moment It is also possible to obtain the curvature of the lane.

차량은 영상 획득부(150)를 통해 획득된 영상 내 도로의 차선을 인식하고, 인식된 차선에 기초하여 자 차로를 인식하고 인식된 자 차로의 양 측의 차선의 타입이 점선인지, 실선인지, 복선인지를 인식하고 인식된 차선의 타입에 기초하여 자 차량의 위치를 고속도로 상의 본선인지 인터체인지(IC)나 분기점(JC)의 분기선인지를 인식하는 것도 가능하다.The vehicle recognizes the lane of the road in the image acquired through the image acquisition unit 150, recognizes the own lane based on the recognized lane, and whether the type of lanes on both sides of the recognized own lane is a dotted line or a solid line, It is also possible to recognize whether it is a double track and recognize whether the location of the own vehicle is a main line on a highway or a branch line of an interchange (IC) or a junction (JC) based on the recognized lane type.

도 8에 도시된 바와 같이, 차량은 자 차로의 좌측 차선(L11)이 점선이고, 자 차로의 우측 차선이 점선과 실선의 복선(L12)이면 자 차로의 위치를 본선(R1)으로 인식한다.As shown in FIG. 8 , if the left lane L11 of the own lane is a dotted line and the right lane of the own lane is a double line L12 of dotted and solid lines, the vehicle recognizes the location of the own lane as the main line R1.

차량은 자 차로의 좌측 차선이 점선이고 우측 차선이 실선이면 자 차로의 위치가 본선이라 판단하는 것도 가능하고, 좌측 차선이 점선이면 자 차로의 위치가 본선이라 판단하는 것도 가능하다.If the left lane of the vehicle is a dotted line and the right lane is a solid line, the vehicle may determine that the position of the own lane is the main line, and if the left lane is a dotted line, it is possible to determine that the position of the own lane is the main line.

도 9에 도시된 바와 같이 차량은 자 차로의 좌측 차선이 실선과 점선의 복선(L21)이고, 자 차로의 우측 차선이 실선(L22)이면 자 차로를 분기선(R2)으로 인식한다.As shown in FIG. 9 , when the left lane of the own lane is a double line L21 of solid and dotted lines, and the right lane of the own lane is a solid line L22, the vehicle recognizes the own lane as a branch line R2.

차량은 자 차로의 우측 차선이 점선과 실선의 복선이면 자 차로의 위치를 본선으로 인식하는 것도 가능하다.The vehicle may also recognize the location of the own lane as the main line if the right lane of the own lane is a double line of dotted and solid lines.

차량은 자 차로의 양쪽 차선이 실선이면 자 차로의 위치를 본선으로 인식하는 것도 가능하다.The vehicle can also recognize the location of the own lane as the main line if both lanes of the own lane are solid lines.

이와 같이 차량은 자 차로의 곡률과 자 차로의 양측 차선의 타입 중 적어도 하나에 기초하여 인식된 차량의 위치를 재인식할 수 있다.In this way, the vehicle may re-recognize the recognized position of the vehicle based on at least one of the curvature of the own lane and the type of both lanes of the own lane.

차량은 자 차량의 위치가 본선인지 판단(212)하고 자 차량의 위치가 분기선이라고 판단되면 본선으로 이동해야 하는지 판단(213)하며, 본선으로 이동해야 한다고 판단되면 조향 장치를 제어하여 주행 방향을 변경(214)함으로써 본선으로 이동한다.The vehicle determines whether the location of the own vehicle is on the main line (212), and if it is determined that the location of the own vehicle is a branch line, determines whether to move to the main line (213), and if it is determined that the location of the own vehicle is on the main line, controls the steering device to change the driving direction (214) by moving to the main line.

여기서 본선으로 이동해야지 하는지 판단하는 것은, 탐색된 경로 정보 내의 표지판의 표기 정보와 인식된 표지판의 표기 정보를 비교하여 본선으로 이동해야 하는지를 판단하는 것을 포함한다.Here, the determining whether to move to the main line includes determining whether to move to the main line by comparing the marked information of the sign in the searched route information with the marked information of the recognized sign.

즉, 차량은 인식된 표지판의 표기 정보로부터 차량의 현재 위치를 예측하고 예측된 차량의 현재 위치와 탐색된 경로에 기초하여, 고속도로를 계속적으로 주행해야 하는지를 판단한다.That is, the vehicle predicts the current location of the vehicle from the recognized sign information and determines whether to continue driving on the highway based on the predicted current location of the vehicle and the searched route.

이러한 차량은 탐색된 경로의 표지판의 표기 정보 중 인식된 표지판의 표기 정보와 대응하는 경로의 표지판의 표기 정보를 확인하고 확인된 경로의 표지판의 설치 위치를 확인하고 확인된 표지판의 설치 위치에 기초하여 차량의 현재 위치를 예측할 수 있다.Such a vehicle confirms the marked information of the recognized sign among the sign information of the searched route and the sign information of the corresponding route, confirms the installation position of the sign of the identified route, and based on the confirmed installation location of the sign It is possible to predict the current location of the vehicle.

차량은 자 차량의 차로가 본선이라고 판단되면 분기선으로 이동해야 하는지 판단(215)하며, 분기선으로 이동해야 한다고 판단되면 자율 주행 모드를 해제하고 자율 주행 모드의 해제 정보를 표시부에 표시(216)한다.When it is determined that the lane of the own vehicle is the main line, the vehicle determines whether to move to the branch line (215), and when it is determined that the vehicle should move to the branch line, releases the autonomous driving mode and displays information on releasing the autonomous driving mode on the display unit (216).

이를 통해 운전자가 수동으로 운전할 수 있도록 한다.This allows the driver to drive manually.

여기서 분기선으로 이동해야지 하는지 판단하는 것은, 탐색된 경로 정보 내의 표지판의 표기 정보와 인식된 표지판의 표기 정보를 비교하여 분기선으로 이동해야 하는지를 판단하는 것을 포함한다.Here, determining whether to move to the branch line includes determining whether to move to the branch line by comparing the marked information of the sign in the searched path information with the marked information of the recognized sign.

즉, 차량은 인식된 표지판의 표기 정보로부터 차량의 현재 위치를 예측하고 예측된 차량의 현재 위치와 탐색된 경로에 기초하여, 고속도로에서 인터체인지나 분기점으로 빠져 나가야 하는지를 판단한다.That is, the vehicle predicts the current location of the vehicle from the recognized sign information, and determines whether to get out of the interchange or the junction on the highway based on the predicted current location of the vehicle and the searched route.

도 10은 다른 실시 예에 따른 차량과 통신하는 단말기의 제어 구성도이다.10 is a control configuration diagram of a terminal communicating with a vehicle according to another embodiment.

단말기(3)는 차량에 배치될 수 있고, 차량과 통신을 수행할 수 있다.The terminal 3 may be disposed in a vehicle and may communicate with the vehicle.

이러한 단말기(3)는 네트워크를 통해 차량에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다.Such a terminal 3 may be implemented as a computer or a portable terminal that can be connected to a vehicle through a network.

여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.Here, the computer includes, for example, a web browser-equipped laptop, desktop, laptop, tablet PC, slate PC, and the like, and the portable terminal has, for example, portability and mobility. As a covered wireless communication device, Personal Communication System (PCS), Global System for Mobile communications (GSM), Personal Digital Cellular (PDC), Personal Handyphone System (PHS), Personal Digital Assistant (PDA), International Mobile Telecommunication (IMT) -2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), WiBro (Wireless Broadband Internet) terminal, smart phone, etc. all kinds of handheld based wireless communication devices and wearable devices such as watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-mounted-devices (HMDs).

단말기(3)는 입력부(310), 표시부(320), 영상 획득부(330), 통신부(340), 제어부(350) 및 저장부(360)를 포함한다.The terminal 3 includes an input unit 310 , a display unit 320 , an image acquisition unit 330 , a communication unit 340 , a control unit 350 , and a storage unit 360 .

입력부(310)는 내비게이션 모드 및 목적지를 입력받는다.The input unit 310 receives a navigation mode and a destination.

표시부(320)는 내비게이션 모드 수행에 대응하는 동작 정보를 표시한다.The display unit 320 displays operation information corresponding to the execution of the navigation mode.

즉 표시부(320)는 경로가 매칭된 지도 정보를 표시하고, 길 안내 정보를 표시한다.That is, the display unit 320 displays map information in which a route is matched, and displays route guidance information.

통신부(340)는 차량(1)과 통신을 수행하고, 차량(1)에서 획득된 도로의 영상을 수신할 수 있다.The communication unit 340 may communicate with the vehicle 1 and receive an image of a road obtained from the vehicle 1 .

이러한 통신부(340)는 무선 또는 유선 통신일 수 있다.The communication unit 340 may be wireless or wired communication.

아울러 단말기(3)는 영상 획득부(330)를 더 포함할 수 있고, 이 영상 획득부(330)는 도로의 영상을 직접 획득하는 것도 가능하다.In addition, the terminal 3 may further include an image acquisition unit 330 , and the image acquisition unit 330 may directly acquire an image of the road.

제어부(350)는 내비게이션 모드가 선택되고 목적지가 입력되면 GPS 수신기에서 수신된 현재 위치와 목적지까지의 경로를 탐색하고 탐색된 경로가 매칭된 지도 정보의 표시를 제어한다.When a navigation mode is selected and a destination is input, the controller 350 searches for a current location received from the GPS receiver and a route to the destination, and controls display of map information in which the searched route is matched.

제어부(350)는 GPS 수신기가 이상 상태일 때 차량(1)으로부터 도로의 영상 정보를 수신하고 수신된 영상 내 표지판을 인식하고, 저장부(360)에 저장된 표지판의 표기 정보들 중 영상 인식된 표지판의 표기 정보와 대응하는 표지판의 설치 위치를 획득하고, 획득된 표지판의 설치 위치에 기초하여 차량의 현재 위치를 예측하고 예측된 현재 위치에 기초하여 내비게이션 모드를 수행할 수 있다.The controller 350 receives image information of the road from the vehicle 1 when the GPS receiver is in an abnormal state, recognizes a sign in the received image, and recognizes an image of the sign information stored in the storage unit 360 . It is possible to obtain the marking information and the installation position of the corresponding sign, predict the current position of the vehicle based on the obtained installation position of the sign, and perform the navigation mode based on the predicted current position.

아울러, 제어부(350)는 단말기의 영상 획득부(330)에서 획득된 영상에 기초하여 표지판의 표기 정보를 인식하는 것도 가능하다.In addition, the control unit 350 may also recognize the marking information of the sign based on the image acquired by the image acquisition unit 330 of the terminal.

또한 제어부(350)는 차량으로부터 표지판의 표기 정보를 수신하고 수신된 표기 정보에 기초하여 차량의 위치를 인식하는 것도 가능하다.In addition, the control unit 350 may receive the marking information of the sign from the vehicle and recognize the location of the vehicle based on the received marking information.

저장부(360)는 지도 정보를 저장하고, 도로의 명칭, 노선 번호, 표지판의 설치 위치와 표기 정보를 저장한다.The storage unit 360 stores map information, and stores road names, route numbers, installation locations of signs, and marking information.

아울러 저장부(360)는 내비게이션 모드 수행을 위한 앱을 저장할 수 있다.In addition, the storage unit 360 may store an app for performing the navigation mode.

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.Meanwhile, the disclosed embodiments may be implemented in the form of a recording medium storing instructions executable by a computer. Instructions may be stored in the form of program code, and when executed by a processor, may generate program modules to perform the operations of the disclosed embodiments. The recording medium may be implemented as a computer-readable recording medium.

컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. The computer-readable recording medium includes any type of recording medium in which instructions readable by the computer are stored. For example, there may be a read only memory (ROM), a random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, and the like.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다.본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.The disclosed embodiments have been described with reference to the accompanying drawings as described above. Those of ordinary skill in the art to which the present invention pertains, without changing the technical spirit or essential features of the present invention, have different forms from the disclosed embodiments. It will be understood that the present invention may be practiced with The disclosed embodiments are illustrative and should not be construed as limiting.

1: 차량 170: 자율 주행 제어 장치
3: 단말기1: vehicle 170: autonomous driving control unit
3: terminal

Claims

도로의 영상, 장애물의 검출 정보 및 현재 위치를 수신하는 통신부; 및
상기 수신된 현재 위치가 고속도로이면 자율 주행 모드를 수행하고, 상기 자율 주행 모드의 수행 중 상기 통신부를 통해 현재 위치가 수신되지 않으면 상기 도로의 영상에서 차선을 인식하고 상기 인식된 차선의 정보에 기초하여 본선과 분기선이 존재하는지 판단하고, 상기 인식된 차선의 정보에 본선과 분기선이 존재한다고 판단되면 목적지까지의 경로 정보에 기초하여 본선 및 분기선 중 주행해야 할 차로를 판단하고 상기 주행해야 할 차로가 분기선이라고 판단되면 상기 자율 주행 모드를 해제하고, 상기 주행해야 할 차로가 본선이라고 판단되면 상기 자율 주행 모드를 유지시키는 제어부를 포함하고,
상기 제어부는, 상기 도로의 영상에서 소실점을 획득하고 상기 획득된 소실점의 위치를 기준으로 상기 도로의 영상 내 표지판의 위치가 우측이면 자 차로가 본선이라고 인식하고 상기 도로의 영상 내 표지판의 위치가 좌측이면 자 차로가 분기선이라고 인식하고, 상기 인식된 자 차로와 상기 주행해야 할 차로를 비교하여 차로 변경을 제어하는 자율 주행 제어 장치.a communication unit for receiving an image of a road, detection information of an obstacle, and a current location; and
If the received current location is a highway, an autonomous driving mode is performed, and if the current location is not received through the communication unit during execution of the autonomous driving mode, a lane is recognized from the image of the road and based on the recognized lane information It is determined whether the main line and the branch line exist, and if it is determined that the main line and the branch line exist in the recognized lane information, the lane to be driven is determined among the main line and the branch line based on the route information to the destination, and the lane to be driven is the branch line and a control unit for releasing the autonomous driving mode when it is determined to be, and maintaining the autonomous driving mode when it is determined that the lane to be driven is the main line,
The control unit acquires a vanishing point from the image of the road, and if the position of the sign in the image of the road is right based on the obtained position of the vanishing point, recognizes that the own lane is the main line, and the position of the sign in the image of the road is the left An autonomous driving control device for recognizing that the rear side own lane is a branch line, and controlling the lane change by comparing the recognized own lane with the lane to be driven.

삭제delete

제 1항에 있어서,
지도 정보, 지도 내 도로의 명칭, 위치, 종류, 노선 번호를 저장하고, 도로의 표지판의 설치 위치 및 표지판의 표기 정보를 저장하는 저장부를 더 포함하고,
상기 제어부는, 내비게이션 모드와 연동하고, 상기 저장부에 저장된 정보에 기초하여 목적지까지의 경로 정보 내 표지판들의 표기 정보 및 표지판의 설치 위치를 확인하고, 상기 도로의 영상 내 표지판의 표기 정보를 인식하고, 상기 경로 정보 내 표지판들의 표기 정보, 설치 위치 및 상기 인식된 도로의 영상 내 표지판의 표기 정보를 비교하여 현재 위치를 예측하고, 상기 예측된 현재 위치에 기초하여 차로 변경 여부를 판단하는 자율 주행 제어 장치.The method of claim 1,
Further comprising a storage unit for storing map information, the name, location, type, and route number of the road in the map, and for storing the installation location of the road sign and notation information of the sign,
The control unit interlocks with the navigation mode, checks the marking information of the signs and the installation location of the signs in the route information to the destination based on the information stored in the storage unit, recognizes the marking information of the signs in the image of the road, and , Autonomous driving control for predicting the current location by comparing the marking information of the signs in the route information, the installation location, and the marking information of the signs in the image of the recognized road, and determining whether to change the lane based on the predicted current location Device.

삭제delete

제 1 항에 있어서, 상기 제어부는,
상기 자 차로가 본선이라고 인식되면 상기 주행해야 할 차로가 분기선인지를 판단하고, 상기 주행해야 할 차로가 분기선이라고 판단되면 상기 자율 주행 모드를 해제하는 것을 포함하는 자율 주행 제어 장치.According to claim 1, wherein the control unit,
and determining whether the lane to be driven is a branch line when the own lane is recognized as the main line, and canceling the autonomous driving mode when it is determined that the lane to be driven is a branch line.

제 1항에 있어서, 상기 제어부는,
상기 자 차로가 분기선이라고 판단되면 상기 주행해야 할 차로가 본선인지를 판단하고, 상기 주행해야 할 차로가 본선이라고 판단되면 상기 차로 변경을 제어하여 본선으로 이동되도록 하는 자율 주행 제어 장치.According to claim 1, wherein the control unit,
When it is determined that the own lane is a branch line, it is determined whether the lane to be driven is a main line, and when it is determined that the lane to be driven is a main line, the autonomous driving control apparatus controls the lane change to move to the main line.

제 1 항에 있어서, 상기 제어부는,
상기 도로의 영상 내 표지판의 표기 정보 중 도로의 노선 번호를 인식하고 상기 인식된 노선 번호와 상기 경로 정보 내 노선 번호를 비교하여 상기 자 차로가 본선인지, 분기선인지를 판단하는 것을 포함하는 자율 주행 제어 장치.According to claim 1, wherein the control unit,
Autonomous driving control comprising recognizing a route number of a road among marking information of a sign in the image of the road and determining whether the own lane is a main line or a branch line by comparing the recognized route number with a route number in the route information Device.

제 1 항에 있어서, 상기 제어부는,
상기 획득된 소실점에 기초하여 X, Y축을 생성하고, 상기 획득된 소실점, X축과 Y축, 상기 도로의 영상의 픽셀에 기초하여 상기 표지판의 꼭지점의 좌표값을 생성하고, 상기 생성된 좌표값에 기초하여 상기 도로의 영상 내 표지판의 위치를 인식하는 것을 포함하는 자율 주행 제어 장치.According to claim 1, wherein the control unit,
X and Y axes are generated based on the obtained vanishing point, and coordinate values of the vertices of the sign are generated based on the obtained vanishing point, X and Y axes, and pixels of the image of the road, and the generated coordinate values and recognizing a position of a sign in the image of the road based on the

제 1 항에 있어서,
상기 자율 주행 모드의 수행 정보를 표시하고, 상기 자율 주행 모드의 해제 시 상기 자율 주행 모드의 해제 정보를 표시하는 표시부를 더 포함하는 자율 주행 제어 장치.The method of claim 1,
The autonomous driving control apparatus further comprising a display unit for displaying information on performing the autonomous driving mode and displaying information about releasing the autonomous driving mode when the autonomous driving mode is released.

제 1항에 있어서,
상기 도로의 영상을 획득하는 영상 획득부; 및
상기 도로의 장애물과의 거리를 검출하는 거리 검출부를 더 포함하는 자율 주행 제어 장치.The method of claim 1,
an image acquisition unit for acquiring an image of the road; and
The autonomous driving control apparatus further comprising a distance detection unit for detecting a distance to the obstacle of the road.

제 1 항에 있어서, 상기 제어부는,
상기 도로의 영상 내 표지판들 중 자 차량과 가장 근접한 표지판을 확인하고 상기 확인된 표지판의 표기 정보 중 도로의 노선 번호를 인식하고 상기 도로의 영상 내 인식된 노선 번호의 위치에 기초하여 상기 자 차로가 본선인지, 분기선인지를 인식하는 것을 포함하는 자율 주행 제어 장치.According to claim 1, wherein the control unit,
Check the sign closest to the own vehicle among the signs in the image of the road, recognize the route number of the road among the marked information of the identified sign, and based on the location of the recognized route number in the image of the road, the own lane is An autonomous driving control device comprising recognizing whether it is a main line or a branch line.

제 1 항에 있어서, 상기 제어부는,
상기 인식된 차선에 기초하여 상기 자 차로의 곡률을 판단하고 상기 판단된 곡률에 기초하여 상기 자 차로가 고속도로의 본선인지, 분기선인지를 인식하는 것을 포함하는 자율 주행 제어 장치.According to claim 1, wherein the control unit,
and determining a curvature of the own lane based on the recognized lane and recognizing whether the own lane is a main line or a branch line of a highway based on the determined curvature.

제 1 항에 있어서, 상기 제어부는,
상기 인식된 차선의 타입을 확인하고 상기 확인된 차선의 타입에 기초하여 상기 자 차로가 고속도로의 본선인지, 분기선인지를 인식하는 것을 포함하는 자율 주행 제어 장치.According to claim 1, wherein the control unit,
and identifying the recognized lane type and recognizing whether the own lane is a main line or a branch line of a highway based on the identified lane type.

현재 위치를 수신하는 통신부;
도로의 영상을 획득하는 영상 획득부;
상기 도로를 주행하는 타 차량과의 거리를 검출하는 거리 검출부;
상기 수신된 현재 위치에 기초하여 현재 위치가 고속도로인지 판단하고, 현재 위치가 고속도로이면 상기 도로의 영상에서 차선을 인식하고, 목적지까지의 경로 정보, 상기 수신된 현재 위치 정보, 상기 인식된 차선 정보 및 상기 타 차량과의 거리 정보에 기초하여 자율 주행 모드의 수행을 제어하고, 상기 자율 주행 모드의 수행 중 상기 현재 위치가 미수신되면 상기 인식된 차선 정보에 기초하여 본선과 분기선이 존재하는지 판단하고, 상기 인식된 차선 정보에 본선과 분기선이 존재한다고 판단되면 상기 경로 정보에 기초하여 본선 및 분기선 중 주행해야 할 차로를 판단하고 상기 주행해야 할 차로가 분기선이라고 판단되면 상기 자율 주행 모드를 해제하고, 상기 주행해야 할 차로가 본선이라고 판단되면 상기 자율 주행 모드를 유지시키는 자율 주행 제어 장치를 포함하고,
상기 자율 주행 제어 장치는, 상기 도로의 영상에서 소실점을 획득하고 상기 획득된 소실점의 위치를 기준으로 상기 도로의 영상 내 표지판의 위치가 우측이면 자 차로가 본선이라고 인식하고 상기 도로의 영상 내 표지판의 위치가 좌측이면 자 차로가 분기선이라고 인식하고, 상기 인식된 자 차로와 상기 주행해야 할 차로를 비교하여 차로 변경을 제어하는 것을 포함하는 차량.Communication unit for receiving the current location;
an image acquisition unit for acquiring an image of the road;
a distance detection unit detecting a distance to another vehicle traveling on the road;
It is determined whether the current location is a highway based on the received current location, and if the current location is a highway, a lane is recognized from the image of the road, and route information to a destination, the received current location information, the recognized lane information, and Control the execution of the autonomous driving mode based on the distance information from the other vehicle, and if the current location is not received during the execution of the autonomous driving mode, it is determined whether a main line and a branch line exist based on the recognized lane information, and the If it is determined that the main line and the branch line exist in the recognized lane information, a lane to be driven is determined among the main line and the branch line based on the route information, and if it is determined that the lane to be driven is a branch line, the autonomous driving mode is released, and the driving and an autonomous driving control device that maintains the autonomous driving mode when it is determined that the lane to be taken is the main road,
The autonomous driving control device acquires a vanishing point from the image of the road, and if the position of the sign in the image of the road is the right side based on the obtained position of the vanishing point, recognizes that the own lane is the main line, and A vehicle comprising: recognizing that the own lane is a branch line when the position is on the left, and controlling the lane change by comparing the recognized own lane with the lane to be driven.

삭제delete

제 14항에 있어서, 상기 자율 주행 제어 장치는,
상기 경로 정보 내 표지판들의 표기 정보 및 표지판의 설치 위치를 확인하고, 상기 도로의 영상 내 표지판의 표기 정보를 인식하고, 상기 경로 정보 내 표지판들의 표기 정보, 설치 위치 및 상기 인식된 도로의 영상 내 표지판의 표기 정보를 비교하여 현재 위치를 예측하고, 상기 예측된 현재 위치에 기초하여 차로 변경 여부를 판단하는 것을 포함하는 차량.15. The method of claim 14, wherein the autonomous driving control device,
Check the marking information of the signs in the route information and the installation location of the sign, recognizing the marking information of the sign in the image of the road, the marking information of the signs in the route information, the installation location, and the sign in the recognized image of the road A vehicle comprising: predicting a current location by comparing marking information of , and determining whether to change a lane based on the predicted current location.

제 14 항에 있어서, 상기 자율 주행 제어 장치는,
상기 인식된 자 차로가 본선이라고 인식되면 상기 주행해야 할 차로가 분기선인지를 판단하고, 상기 주행해야 할 차로가 분기선이라고 판단되면 상기 자율 주행 모드를 해제하고 상기 자율 주행 모드의 해제 정보를 표시하도록 표시부를 제어하는 것을 포함하는 차량.15. The method of claim 14, wherein the autonomous driving control device,
When the recognized own lane is recognized as the main line, it is determined whether the lane to be driven is a branch line, and when it is determined that the lane to be driven is a branch line, the autonomous driving mode is canceled and the autonomous driving mode release information is displayed. A vehicle comprising controlling the

제 14항에 있어서, 상기 자율 주행 제어 장치는,
상기 인식된 자 차로가 분기선이라고 인식되면 상기 주행해야 할 차로가 본선인지를 판단하고, 상기 주행해야 할 차로가 본선이라고 판단되면 상기 차로 변경을 제어하여 본선으로 이동되도록 하는 것을 포함하는 차량.15. The method of claim 14, wherein the autonomous driving control device,
and determining whether the lane to be driven is the main line when the recognized own lane is recognized as a branch line, and controlling the lane change to move to the main line when it is determined that the lane to be driven is the main line.

제 14 항에 있어서, 상기 자율 주행 제어 장치는,
상기 도로의 영상 내 표지판의 표기 정보 중 도로의 노선 번호를 인식하고, 상기 도로의 영상 내 차선을 인식하고 상기 인식된 차선의 타입을 확인하고, 상기 인식된 차선에 기초하여 자 차로의 곡률을 판단하고, 상기 인식된 도로의 노선 번호, 상기 차선의 타입 및 상기 자 차로의 곡률 중 적어도 하나에 기초하여 상기 자 차로가 본선인지, 분기선인지를 재인식하는 것을 포함하는 차량.15. The method of claim 14, wherein the autonomous driving control device,
Recognize the route number of the road among the marking information of the sign in the image of the road, recognize the lane in the image of the road, check the type of the recognized lane, and determine the curvature of the own lane based on the recognized lane and re-recognizing whether the own lane is a main line or a branch line based on at least one of a route number of the recognized road, a type of the lane, and a curvature of the own lane.

입력부를 통해 자율 주행 모드 및 목적지가 입력되면 통신부에 수신된 현재 위치와 목적지에 기초하여 경로를 탐색하고,
상기 탐색된 경로에 대한 경로 정보에 기초하여 길 안내 정보를 출력하고,
상기 수신된 현재 위치에 기초하여 현재 위치가 고속도로인지 판단하고,
상기 현재 위치가 고속도로이면 자율 주행 모드의 수행을 제어하고,
상기 자율 주행 모드의 수행 중 상기 통신부를 통해 현재 위치가 미수신되면 도로의 영상에서 표지판을 인식하고,
상기 도로의 영상에서 소실점을 획득하고,
상기 획득된 소실점의 위치를 기준으로 상기 인식된 표지판의 위치가 우측이면 자 차로가 본선이라고 인식하고 상기 인식된 표지판의 위치가 좌측이면 자 차로가 분기선이라고 인식하고,
저장부에 저장된 상기 경로 내 표지판들의 표기 정보 및 표지판의 설치 위치를 확인하고,
상기 도로의 영상 내 표지판의 표기 정보를 인식하고,
상기 경로 정보 내 표지판들의 표기 정보, 설치 위치 및 상기 인식된 영상 내 표지판의 표기 정보를 비교하여 현재 위치를 예측하고,
상기 예측된 현재 위치에 기초하여 본선 주행 및 분기선 중 주행해야 할 차로를 판단하고,
상기 주행해야 할 차로가 분기선이라고 판단되면 상기 자율 주행 모드를 해제하고,
상기 주행해야 할 차로가 본선이라고 판단되면 상기 자율 주행 모드를 유지시키고,
상기 인식된 자 차로와 상기 주행해야 할 차로를 비교하여 차로 변경을 제어하는 차량의 제어 방법.When the autonomous driving mode and destination are input through the input unit, a route is searched based on the current location and destination received from the communication unit,
Outputs road guidance information based on the route information for the searched route,
Determining whether the current location is a highway based on the received current location,
If the current location is a highway, control the execution of the autonomous driving mode,
When the current location is not received through the communication unit during the execution of the autonomous driving mode, the sign is recognized from the image of the road,
Obtaining a vanishing point from the image of the road,
Based on the position of the obtained vanishing point, if the position of the recognized sign is on the right side, the own lane is recognized as the main line, and if the position of the recognized sign is on the left side, the own lane is recognized as the branch line,
Check the marking information of the signs in the route stored in the storage unit and the installation location of the signs,
Recognize the marking information of the sign in the image of the road,
Predict the current location by comparing the marking information of the signs in the route information, the installation location, and the marking information of the signs in the recognized image,
Based on the predicted current location, determining the lane to be driven among the main line driving and the branch line,
When it is determined that the lane to be driven is a branch line, the autonomous driving mode is released,
If it is determined that the lane to be driven is the main line, the autonomous driving mode is maintained,
A control method of a vehicle for controlling a lane change by comparing the recognized own lane with the lane to be driven.

제 20 항에 있어서,
상기 자 차로가 분기선이라고 인식되면 상기 주행해야 할 차로가 본선인지를 판단하고, 상기 주행해야 할 차로가 본선이라고 판단되면 주행 방향을 제어하여 상기 본선으로 이동되도록 하고 자율 주행 모드를 유지시키는 것을 포함하는 차량의 제어 방법.21. The method of claim 20,
When the own lane is recognized as a branch line, it is determined whether the lane to be driven is the main line, and when it is determined that the lane to be driven is the main line, the driving direction is controlled to move to the main line and the autonomous driving mode is maintained. How to control the vehicle.

제 20 항에 있어서,
상기 도로의 영상 내 표지판의 위치 인식이 불가하면 상기 도로의 영상 내 표지판의 표기 정보 중 도로의 노선 번호를 인식하고,
상기 인식된 노선 번호에 기초하여 자 차로의 위치를 인식하는 것을 더 포함하는 차량의 제어 방법. 21. The method of claim 20,
If it is impossible to recognize the location of the sign in the image of the road, recognize the route number of the road among the marking information of the sign in the image of the road,
The method of controlling a vehicle further comprising recognizing a location of the own lane based on the recognized route number.

제 20 항에 있어서,
상기 도로의 영상 내 차선을 인식하고,
상기 인식된 차선의 타입을 확인하고,
상기 인식된 차선에 기초하여 자 차로의 곡률을 판단하고,
상기 차선의 타입 및 상기 자 차로의 곡률 중 적어도 하나에 기초하여 상기 자 차로가 본선인지, 분기선인지를 재인식하는 것을 더 포함하는 차량의 제어 방법.21. The method of claim 20,
Recognizing a lane in the image of the road,
Check the type of the recognized lane,
determining the curvature of the own lane based on the recognized lane,
and recognizing whether the own lane is a main line or a branch line based on at least one of a type of the lane and a curvature of the own lane.