KR20180063524A

KR20180063524A - Method and Apparatus for Detecting Risk of Forward Vehicle Using Virtual Lane

Info

Publication number: KR20180063524A
Application number: KR1020160163347A
Authority: KR
Inventors: 황진규; 정호철; 최진하
Original assignee: 현대자동차주식회사
Priority date: 2016-12-02
Filing date: 2016-12-02
Publication date: 2018-06-12

Abstract

The present invention relates to a method and an apparatus for detecting a risk of a vehicle ahead. According to an embodiment of the present invention, the apparatus mounted in a vehicle for detecting a risk of a vehicle ahead includes: a camera for photographing a forward image; a road area detecting unit for detecting a road area based on the forward image; a virtual lane generating unit for generating a virtual lane for the detected road area; an object detecting unit for identifying a forward driving vehicle which is an object for risk determination based on the forward image to determine a driving characteristic vector of the identified forward driving vehicle; a risk determining unit for determining a risk of the forward driving vehicle based on the driving characteristic vector; and an output unit for outputting a predetermined notification message according to the result of the risk determination. Therefore, according to the present invention, the risk of the vehicle ahead is effectively detected and notified when the lane cannot be identified.

Description

가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치{Method and Apparatus for Detecting Risk of Forward Vehicle Using Virtual Lane}TECHNICAL FIELD [0001] The present invention relates to a method and apparatus for detecting a vehicle risk in a forward vehicle using a virtual lane,

본 발명은 차량 위험 감지 시스템에 관한 것으로서, 상세하게, 차선 검출이 어려운 상황에서 가상 차선을 생성하고, 이에 기반하여 전방 차량의 위험도를 판별하는 것이 가능한 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치에 관한 것이다.The present invention relates to a vehicular risk detection system and, more particularly, to a vehicular risk detection method and apparatus using a virtual lane capable of generating a virtual lane in a situation where it is difficult to detect a lane, .

자동차 등의 차량에는, 이동 수단으로서의 기능을 넘어서 사용자로 하여금 보다 안정적이면서도 편안한 주행 상태를 제공할 수 있도록 하는 각종 편의 수단으로서의 기능이 요구되고 있다. BACKGROUND ART A vehicle such as an automobile is required to have a function as various convenience means for enabling a user to provide a more stable and comfortable running state beyond a function as a moving means.

최근에는, 주행 안전을 위한 다양한 운전자 주행 안전 보조 시스템이 차량에 탑재되고 있는 실정이다.In recent years, a variety of driving safety assistance systems for driving safety have been installed in vehicles.

주행중인 도로상에서는 자차 운전자의 부주의뿐만 아니라 다른 차량 운전자의 부주의한 운전에 기인한 위험 상황이 발생될 수 있으며, 그에 따라, 대형 사고가 발생될 수 있다.There may be a dangerous situation caused by carelessness of the driver of the other vehicle as well as careless driving of the driver of the other vehicle on the road during driving, thereby causing a serious accident.

따라서, 타 차량 운전자의 부주의 운전 상태를 판별하여 위험 대상인 차량을 미리 감지하고, 이를 자차 운전자에 통보함으로써, 사고 발생 위험성을 감소시킬 수 있다.Therefore, it is possible to reduce the risk of an accident by detecting the inadvertent driving state of the driver of another vehicle, detecting the vehicle in danger in advance, and informing the driver of the driver of the risk.

종래 차량에 탑재된 주의 운전 보조 시스템은 카메라 촬영된 영상 내 식별 가능한 차선을 기준으로 자기 차량의 횡 위치변화량, 비의도적 차선 침범 등을 판단하여 운전자의 피로도 및 부주의 상태를 판단하였다.Conventional driving assist system mounted on the vehicle judged the driver's fatigue and carelessness by judging the lateral position change of the own vehicle and the intruding lane inclination based on the identifiable lane in the captured image of the camera.

하지만, 종래의 주의 운전 보조 시스템은 자차에 대한 위험도만 감지할뿐 타다른 차량에 의한 위험도를 측정할 수 없었다.However, the conventional driving assist system only detects the risk to the vehicle and can not measure the risk by the other vehicle.

또한, 종래의 주의 운전 보조 시스템은 카메라 촬영된 영상으로부터 차선 식별이 가능한 경우에만, 정상 동작하는 문제점이 있었다. In addition, the prior art driving assist system has a problem in that it operates normally only when it is possible to identify the lane from the camera photographed image.

예를 들면, 야간 우천 상황에서 자동차 전조등에 의한 도로 반사 또는 도로 노후화로 인한 차선 소실 등의 경우에는 종래의 주의 운전 보조 시스템을 적용하는데 한계가 있었다.For example, in the case of nighttime rainfall, there is a limitation in applying the conventional driving assistance system to the case of road reflection caused by a vehicle headlight or disappearance of a lane due to aging of the road.

따라서, 차선 검출이 어려운 상황에서도 타 차량 운전자의 부주의 운전 상태를 판별하는 것이 가능한 주의 운전 보조 시스템의 도입이 요구되는 실정이다.Therefore, it is required to introduce a driver assistance system which can discriminate an inadvertent driving state of a driver of another vehicle even in a situation where lane detection is difficult.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위해 고안된 것으로, 본 발명의 목적은 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치를 제공하는 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and apparatus for detecting a vehicle risk ahead using a virtual lane.

본 발명의 다른 목적은 차선 검출이 어려운 환경에서 쓰리디 스테레오 카메라로부터 취득한 깊이 정보 및 칼라 영상 정보를 이용하여 가상 차선을 생성하고, 가상 차선에 기반하여 타 차량 운전자의 부주의 및운전 상태를 판별하는 것이 가능한 전방 차량 위험도 감지 방법 및 장치를 제공하는 것이다.Another object of the present invention is to create a virtual lane using depth information and color image information acquired from a three-dimensional stereo camera in an environment where lane detection is difficult, and to determine the carelessness and driving state of the other vehicle driver based on the virtual lane And to provide a method and an apparatus for detecting a possible front vehicle risk.

본 발명의 또 다른 목적은 3D 정보를 활용함으로써 전방 차량 운행 패턴 및 차량 속도 변화 등의 정밀한 데이터를 획득하고, 이에 기반하여 타 차량 운전자의 부주의 운전 상태를 판별하는 것이 가능한 전방 차량 위험도 감지 방법 및 장치를 제공하는 것이다.Another object of the present invention is to provide a front vehicle risk detection method and device capable of obtaining precise data such as a front vehicle driving pattern and a vehicle speed change by utilizing 3D information, .

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention, unless further departing from the spirit and scope of the invention as defined by the appended claims. It will be possible.

본 발명은 전방 차량 위험도 감지 방법 및 장치를 제공한다.The present invention provides a front vehicle risk detection method and apparatus.

본 발명의 일 실시예에 따른 차량에 장착되는 전방 차량 위험 감지 장치는 전방 영상을 촬영하는 카메라와 상기 전방 영상에 기반하여 도로 영역을 검출하는 도로 영역 검출부와 상기 검출된 도로 영역에 대한 가상 차선을 생성하는 가상 차선 생성부와 상기 전방 영상에 기반하여 위험도 판별 대상인 전방 주행 차량을 식별하고, 식별된 상기 전방 주행 차량의 운전 특징 벡터를 결정하는 물체 검출부와 상기 운전 특징 벡터에 기반하여 상기 전방 주행 차량의 위험도를 판단하는 위험도 판단부와 상기 위험도 판단 결과에 따라 소정 알림 메시지를 출력하는 출력부를 포함할 수 있다.A front vehicle risk sensing apparatus mounted on a vehicle according to an embodiment of the present invention includes a camera for capturing a forward image, a road area detection unit for detecting a road area based on the forward image, and a virtual lane for the detected road area An object detecting unit for identifying a driving lane of a forward driving vehicle, a virtual lane generating unit for generating a driving lane, a forward lane generating unit for generating a forward lane, And an output unit outputting a predetermined notification message according to a result of the risk determination.

본 발명의 다른 일 실시예에 따른 전방 차량의 위험을 감지하는 방법은 전방 영상을 촬영하는 단계와 상기 전방 영상에 기반하여 도로 영역을 검출하는 단계와 상기 검출된 도로 영역에 대한 가상 차선을 생성하는 단계와 상기 전방 영상에 기반하여 위험도 판별 대상인 전방 주행 차량을 식별하는 단계와 식별된 상기 전방 주행 차량의 운전 특징 벡터를 결정하는 단계와 상기 운전 특징 벡터에 기반하여 상기 전방 주행 차량의 위험도를 판단하는 단계와 상기 위험도 판단 결과에 따라 소정 알림 메시지를 출력하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of detecting a danger of a forward vehicle, comprising: capturing a forward image; detecting a road area based on the forward image; and generating a virtual lane for the detected road area Identifying a forward driving vehicle as a subject of risk determination based on the forward image and a driving characteristic vector of the forward driving vehicle identified and determining a risk of the forward driving vehicle based on the driving characteristic vector And outputting a predetermined notification message according to the risk determination result.

본 발명의 또 다른 일 실시예는 상기한 전방 차량 위험도 감지 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다. According to another embodiment of the present invention, there is provided a computer-readable recording medium having recorded thereon a program for executing the above-described forward vehicle risk detection method.

상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, And can be understood and understood.

본 발명에 따른 방법 및 장치에 대한 효과에 대해 설명하면 다음과 같다.Effects of the method and apparatus according to the present invention will be described as follows.

본 발명은 가상 차선을 이용한 전방 차량 위험도 감지 방법 및 장치를 제공하는 장점이 있다.The present invention is advantageous in providing a method and apparatus for detecting a vehicle risk ahead using a virtual lane.

또한, 본 발명은 차선 검출이 어려운 환경에서 스테레오 카메라로부터 취득한 깊이 정보 및 칼라 영상 정보를 이용하여 가상 차선을 생성하고, 가상 차선에 기반하여 타 차량 운전자의 부주의 운전 상태를 판별하는 것이 가능한 전방 차량 위험도 감지 방법 및 장치를 제공하는 장점이 있다.The present invention also provides a method of generating a virtual lane by using depth information and color image information acquired from a stereo camera in an environment where lane detection is difficult, There is an advantage in providing a sensing method and apparatus.

또한, 본 발명은 자기 차량 주변의 다른 차량에 대한 위험도를 추정함으로써 위험 상황 발생을 사전 예측하고 이를 통보함으로써, 사고 발생을 미연에 방지하기 위한주의 운전 보조 시스템에 적용될 수 있는 전방 차량 위험도 감지 방법 및 장치를 제공하는 장점이 있다.The present invention also relates to a front vehicle risk detection method applicable to a driving assist system for preventing an accident from occurring by predicting and reporting the occurrence of a dangerous situation by estimating the risk to other vehicles around the subject vehicle, There is an advantage of providing a device.

본 발명에서 얻을 수 있는 장점 및 효과는 이상에서 언급한 장점 및 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Advantages and effects of the present invention are not limited to the advantages and effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description. It can be understood.

이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
도 1은 본 발명의 일 실시예에 따른 전방 차량 위험 감지 장치의 구조를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 전방 차량 위험 감지 절차를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 전방 주행 차량의 위험도 판단 절차를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 운전 특징 벡터 생성 시 고려되는 부주의 및 위험 운전 패턴을 설명하기 위한 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are included to provide a further understanding of the invention and are incorporated in and constitute a part of this specification, illustrate embodiments of the invention and, together with the description, serve to explain the principles of the invention. It is to be understood, however, that the technical features of the present invention are not limited to the specific drawings, and the features disclosed in the drawings may be combined with each other to constitute a new embodiment.
FIG. 1 is a block diagram illustrating a structure of a front vehicle risk sensing apparatus according to an embodiment of the present invention. Referring to FIG.
2 is a diagram for explaining a front vehicle risk detection procedure according to an embodiment of the present invention.
3 is a view for explaining a risk judgment procedure of a forward running vehicle according to an embodiment of the present invention.
FIG. 4 is a diagram for explaining a careless and dangerous operation pattern considered when generating an operation feature vector according to an embodiment of the present invention.

이하, 본 발명의 실시예들이 적용되는 장치 및 다양한 방법들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an apparatus and various methods to which embodiments of the present invention are applied will be described in detail with reference to the drawings. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. The codes and code segments constituting the computer program may be easily deduced by those skilled in the art. Such a computer program can be stored in a computer-readable storage medium, readable and executed by a computer, thereby realizing an embodiment of the present invention. As the storage medium of the computer program, a magnetic recording medium, an optical recording medium, or the like can be included.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.It is also to be understood that the terms such as " comprises, "" comprising," or "having ", as used herein, mean that a component can be implanted unless specifically stated to the contrary. But should be construed as including other elements. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성 요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In describing the components of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. When a component is described as being "connected", "coupled", or "connected" to another component, the component may be directly connected to or connected to the other component, It should be understood that an element may be "connected," "coupled," or "connected."

도 1은 본 발명의 일 실시예에 따른 전방 차량 위험 감지 장치의 구조를 설명하기 위한 블록도이다.FIG. 1 is a block diagram illustrating a structure of a front vehicle risk sensing apparatus according to an embodiment of the present invention. Referring to FIG.

도 1을 참조하면, 전방 차량 위험 감지 장치(100)는 카메라(10), 도로 영역 검출부(20), 가상 차선 생성부(30), 물체 검출부(40) 및 위험도판단부(50) 및 출력부(60)를 포함하여 구성될 수 있다. 1, the front vehicle risk sensing apparatus 100 includes a camera 10, a road area detection unit 20, a virtual lane generation unit 30, an object detection unit 40, a risk determination unit 50, (60).

카메라(10)는 주행 중 촬영된 영상을 도로 영역 검출부(20)에 전달할 수 있다. 일 예로, 카메라(10)는 쓰리디 스테레오 카메라(3D Stereo Camera)일 수 있으나, 이에 한정되지는 않는다.The camera 10 can transmit the photographed image to the road area detection unit 20 during driving. For example, the camera 10 may be, but is not limited to, a 3D stereo camera.

도로 영역 검출부(20)는 카메라(10)로부터 수신된 입체 영상에 기반하여 도로 영역을 추출할 수 있다. 여기서, 카메라(10)로부터 수신되는 영상은 두개의 카메라에 의해 촬영된 두개의 칼라 영상과 2개의 칼라 영상을 통해 생성된 하나의 깊이 영상(Disparity Image or Depth Image)을 포함할 수 있다.The road area detection unit 20 can extract a road area based on the stereoscopic image received from the camera 10. [ Here, the image received from the camera 10 may include two color images captured by two cameras and one depth image (Disparity Image or Depth Image) generated through two color images.

도로 영역 검출부(20)는 수신된 영상에 대한 로드 프로파일(Load Profile) 분석을 위해 깊이 영상에 대응되는 브이 변이 지도(V-Disparity Map)를 생성할 수 있다.The road region detection unit 20 may generate a V-Disparity Map corresponding to the depth image for a load profile analysis of the received image.

도로 영역 검출부(20)는 브이 변이 지도(V-Disparity Map)에 기반하여 도로면-즉, 소실선(Vanishing Line)-을 포함하는 기준 자유 공간(Reference Free Space) 영상을 생성할 수 있다. 후술할 도 2의 203 단계(S203)를 참조하면, 소실선은 지평선을 지시할 수 있다. The road area detection unit 20 may generate a reference free space image including a road surface, i.e., a vanishing line, based on a V-Disparity Map. Referring to step 203 (S203) of FIG. 2 to be described later, the disappearance line can indicate the horizon line.

도로 영역 검출부(20)는 깊이 영상과 기준 자유 공간 영상을 비교하여 도로 경계선을 식별하고, 식별된 도로 경계선에 기반하여 도로 영역을 확정할 수 있다.The road area detection unit 20 can identify the road boundary by comparing the depth image with the reference free space image, and determine the road area based on the identified road boundary.

가상 차선 생성부(30)는 칼라 영상과 깊이 영상을 이용하여 가상 차선의 기준이 되는 가이드 라인(Guide Line)을 생성할 수 있다.The virtual lane generator 30 can generate a guide line that is a reference of a virtual lane by using the color image and the depth image.

가상 차선 생성부(30)는 깊이 영상에서 수직 물체를 검출할 수 있다. 일 예로, 가상 차선 생성부(30)는 깊이 영상에서 식별된 도로면의 픽셀 값과 나머지 영역의 픽셀 값의 차이값에 기반하여 도로면으로부터 소정 기준치 이상의 높이를 가진 픽셀들을 카메라로부터의 거리 별로 추출할 수 있다. 일 예로, 높이 기준치는 60Cm일 수 있으나, 이에 한정되지는 않는다.The virtual lane generator 30 can detect a vertical object in the depth image. For example, the virtual lane generator 30 extracts pixels having a height greater than a predetermined reference value from the road surface by distance from the camera, based on the difference between the pixel value of the road surface identified in the depth image and the pixel value of the remaining area can do. For example, the height reference value may be 60 cm, but is not limited thereto.

가상 차선 생성부(30)는 추출된 픽셀들의 거리 유사도를 기반으로 스틱(Stick)을 생성할 수 있다.The virtual lane generator 30 may generate a stick based on the distance similarity of extracted pixels.

여기서, 거리 유사도는 추출된 픽셀에 대응되는 위치의 물체와 도로면 경계의 직선상에 있는 픽셀들의 총 개수 대비 추출된 픽셀의 위치 기준으로 일정 거리 이내에 위치한 픽셀들의 개수 비율로 계산될 수 있다.Here, the distance similarity may be calculated as the ratio of the number of pixels located within a certain distance to the position of the extracted pixel relative to the total number of pixels on the straight line between the object at the position corresponding to the extracted pixel and the road surface boundary.

가상 차선 생성부(30)는 카메라로부터의 이격 거리에 기반하여 생성된 스틱들을 그룹핑하고-즉, 클러스터링을 수행하고-, 그룹핑 결과에 따라 도로면에 수직으로 배치된 물체를 식별할 수 있다. 일 예로, 도로면에 수직으로 배치된 물체는 전방 차량뿐만 아니라 사람, 가이드 레일, 분리벽, 방음벽 등을 포함할 수 있다.The virtual lane generator 30 can group the sticks generated based on the distance from the camera, i.e., perform clustering, and identify an object placed vertically on the road surface according to the grouping result. As an example, an object disposed perpendicular to the road surface may include a person, a guide rail, a separating wall, an acoustic wall, and the like as well as a front vehicle.

가상 차선 생성부(30)는 깊이 영상에서 식별된 수직 물체 중 연속 수직 물체를 확정하고, 확정된 연속 수직 물체를 이용하여 가이드 라인을 생성할 수 있다. 여기서, 연속 수직 물체는 검출된 수직 물체들 중 움직임이 없고 해당 수직 물체 내 스틱들의 깊이 변화가 연속적인 특징을 가질 수 있다. The virtual lane generator 30 can determine a continuous vertical object among the vertical objects identified in the depth image and generate a guide line using the determined continuous vertical object. Here, the continuous vertical object has no motion among the detected vertical objects, and the depth change of the sticks in the vertical object may have a continuous feature.

물체 검출부(40)는 칼라 영상에 대한 학습-예를 들면, 패턴 인식 학습일 수 있으나, 이에 한정되지는 않음-을 통해 다른 차량-즉, 전방 주행 차량-을 식별할 수 있다. 또한, 물체 검출부(40)는 연속된 칼라 영상에 대한 학습을 통해 식별된 전방 주행 차량의 이동 경로 라인을 확정할 수도 있다.The object detection unit 40 can identify the other vehicle, that is, the forward driving vehicle, through learning about the color image, for example, but not limited to, pattern recognition learning. Further, the object detecting unit 40 may determine the movement path line of the identified forward driving vehicle through learning of the continuous color image.

가상 차선 생성부(30)는 상기 물체 검출부(40)에 의해 확정된 전방 주행 차량의 이동 경로 라인과 연속 수직 물체와 도로면 사이에 형성되는 경계 라인에 기반하여 가이드 라인을 생성할 수도 있다.The virtual lane generator 30 may generate a guide line based on the movement path line of the forward driving vehicle determined by the object detection unit 40 and the boundary line formed between the continuous vertical object and the road surface.

또한, 가상 차선 생성부(30)는 이동 경로 라인의 기울기와 연속 수직 물체와 도로면 사이에 형성되는 경계 라인의 기울기를 비교하여 기 생성된 가이드 라인을 보정함으로써, 최종 가이드 라인을 생성할 수도 있다.The virtual lane generator 30 may generate a final guide line by comparing the slope of the movement path line with the slope of the boundary line formed between the continuous vertical object and the road surface to correct the generated guide line .

가상 차선 생성부(30)는 가이드 라인 또는 최종 가이드 라인을 기준으로 소정 도로 폭만큼 이격된 가상 차선 라인을 생성할 수 있다. 여기서, 가상 차선 라인은 도로폭에 따라 복수개가 생성될 수 있음을 주의해야 한다.The virtual lane generator 30 may generate a virtual lane line spaced a predetermined distance from the guide line or the final guide line. Here, it should be noted that a plurality of virtual lane lines may be generated depending on the road width.

여기서, 가이드 라인 및 가상 차선 라인은 칼라 영상 및(또는) 깊이 영상에 표시될 수 있다.Here, the guideline and the virtual lane line may be displayed on the color image and / or the depth image.

가상 차선 생성부(30)는 칼라 화면 또는(및) 깊이 화면에 대해 좌표계 변환을 수행하여 탑뷰(Top View) 화면을 생성한 후, 생성된 탑뷰 화면에 가이드 라인 및 가상 차선 라인을 표시할 수도 있다. The virtual lane generator 30 may generate a top view screen by performing a coordinate system conversion on a color screen or a () depth screen, and then display a guide line and a virtual lane line on the generated top view screen .

위험도 판단부(50)는 칼라 영상 또는(및) 깊이 영상을 통해 식별된 전방 주행 차량의 위험도를 판단할 수 있다.The risk judging unit 50 can judge the risk of the forward driving vehicle identified through the color image or (and) depth image.

위험도 판단부(50)는 식별된 전방 주행 차량 별 생성된 운전 특징 벡터에 기반하여 해당 전방 주행 차량의 위험도를 산출할 수 있다. 여기서, 운전 특징 벡터는 횡위치 변화량에 관한 정보, 차선 침범 비율에 관한 정보, 조향각 변화에 관한 정보, 가속도 변화에 관한 정보, 차간 거리에 관한 정보 등에 기반하여 획득될 수 있다.The risk judgment unit 50 may calculate the risk of the corresponding forward driving vehicle based on the generated driving characteristic vector for each identified forward driving vehicle. Here, the operation feature vector may be obtained based on information on the lateral position change amount, information on the lane involvement ratio, information on the steering angle change, information on the acceleration change, information on the headway distance, and the like.

위험도 판단부(50)는 산출된 위험도가 소정 기준치 이상인 경우, 해당 전방 주행 차량을 위험 차량으로 확정할 수 있다.If the calculated risk is equal to or greater than a predetermined reference value, the risk judging unit 50 can determine the corresponding forward driving vehicle as a dangerous vehicle.

위험도 판단부(50)는 위험 차량으로 확정된 차량이 식별 가능하도록 표시된 칼라 화면을 구성하여 출력부(60)에 전달할 수 있다. 물론, 위험도 판단부(50)는 안전 운행 차량과 위험 차량이 식별 가능하도록 칼라 화면을 구성할 수도 있다.The risk determination unit 50 may configure the color screen so that the vehicle identified as the dangerous vehicle can be identified and transmit it to the output unit 60. Of course, the risk judging unit 50 may form a color screen so that the safe driving vehicle and the dangerous vehicle can be discriminated.

출력부(60)는 구비된 디스플레이(62)를 통해 수신된 칼라 화면을 출력할 수 있다. 여기서, 디스플레이(62)는 전면 유리에 표시되는 홀로그램, 클러스터 화면, 네비게이션 화면 등을 포함할 수 있으나, 이에 한정되지는 않는다.The output unit 60 may output the color image received through the display 62 provided. Here, the display 62 may include, but is not limited to, a hologram displayed on a front glass, a cluster screen, a navigation screen, and the like.

다른 일 예로, 위험도 판단부(50)는 위험 차량이 확정된 경우, 전방에 위험 차량이 존재함을 지시하는 소정 제어 신호 또는 경고 알람을 출력부(60)에 전송할 수 있다. 이 경우, 출력부(60)는 구비된 알람부(60)를 통해 제어 신호에 상응하는 알람 메시지를 출력하거나 수신된 경고 알람을 출력할 수 있다. 일 예로, 알람부(60)는 스피커, 비퍼, 진동기, LED 조명 등을 포함할 수 있으나, 이에 한정되지는 않는다.In another example, when the dangerous vehicle is determined, the risk judgment unit 50 may transmit to the output unit 60 a predetermined control signal or a warning alarm indicating that the dangerous vehicle is present ahead. In this case, the output unit 60 may output an alarm message corresponding to the control signal through the alarm unit 60 or output the received alarm alarm. For example, the alarm unit 60 may include, but is not limited to, a speaker, a beeper, a vibrator, an LED illumination, and the like.

일 예로, 전방 주행 차량 중 특정 차량이 위험 차량으로 판별 시, 해당 차량과의 사고 위험을 줄이기 위해 감속을 통해 해당 차량과의 차간 거리를 늘리도록 안내할 수 있다. 다른 일 예로, 주변 도로 상황에 따라 위험 차량 감지 시 경적을 울리거나 안전한 차선으로 이동하도록 지시하는 안내 또는 경고 메시지가 출력될 수도 있다.For example, when a specific vehicle among the forward driving vehicles is determined to be a dangerous vehicle, the vehicle may be guided to increase the inter-vehicle distance through the deceleration to reduce the risk of accident with the vehicle. As another example, a warning or warning message may be output to indicate that the vehicle should be sounded or moved to a safe lane when a dangerous vehicle is detected depending on the surrounding road conditions.

도 2는 본 발명의 일 실시예에 따른 전방 차량 위험 감지 절차를 설명하기 위한 도면이다.2 is a diagram for explaining a front vehicle risk detection procedure according to an embodiment of the present invention.

도 2를 참조하면, 본 발명에 따른 전방 차량 위험 감지 장치는 구비된 쓰리디 스테레오 카메라로부터 깊이 영상(Disparity Image)을 획득할 수 있다(S201). Referring to FIG. 2, a front vehicle risk sensing apparatus according to the present invention can acquire a depth image (Disparity Image) from a three-dimensional stereo camera provided therein (S201).

전방 차량 위험 감지 장치는 획득된 깊이 영상을 이용하여 로드 프로파일(Road Profile) 분석을 위한 브이 변이 지도(V-disparity map)을 생성할 수 있다(S202). 이때, 전방 차량 위험 감지 장치는 브이 변이 지도에서 선형 패턴을 검출하여 도로 영역에 대한 로드 프로파일을 계산할 수 있다.The front vehicle risk sensing apparatus may generate a V-disparity map for road profile analysis using the obtained depth image (S202). At this time, the front vehicle risk sensing device can detect the linear pattern on the V-side displacement map and calculate the load profile for the road area.

전방 차량 위험 감지 장치는 로드 프로파일을 기반으로 도로 레벨 기준인 기준 자유 공간 영상을 생성할 수 있다(S203).The front vehicle risk sensing apparatus can generate a reference free space image based on the road profile based on the road profile (S203).

전방 차량 위험 감지 장치는 깊이 영상과 기준 자유 공간 영상을 비교하여 도로 경계선을 식별하고, 식별된 도로 경계선에 기반하여 도로 영역을 확정할 수 있다(S204). 전방 차량 위험 감지 장치는 깊이 영상에서 식별된 도로면의 픽셀 값과 나머지 영역의 픽셀 값의 차이값에 기반하여 도로면으로부터 소정 기준치 이상의 높이를 가진 픽셀들을 카메라로부터의 거리 별로 추출할 수 있다. 일 예로, 높이 기준치는 60Cm일 수 있으나, 이에 한정되지는 않는다.The front vehicle risk sensing device can identify the road boundary by comparing the depth image with the reference free space image, and determine the road area based on the identified road boundary (S204). The front vehicle risk sensing apparatus can extract pixels having a height higher than a predetermined reference value from the road surface by distance from the camera based on the difference between the pixel value of the road surface identified in the depth image and the pixel value of the remaining area. For example, the height reference value may be 60 cm, but is not limited thereto.

전방 차량 위험 감지 장치는 추출된 픽셀들의 거리 유사도를 기반으로 스틱(Stick)을 생성할 수 있다(205).The front vehicle risk sensing device may generate a stick based on the distance similarity of the extracted pixels (205).

전방 차량 위험 감지 장치는 카메라로부터의 이격 거리에 기반하여 생성된 스틱들을 그룹핑하고-즉, 클러스터링을 수행하고-, 그룹핑 결과에 따라 도로면에 수직으로 배치된 물체-즉, 수직 물체(220)-를 식별할 수 있다(206). 일 예로, 도로면에 수직으로 배치된 물체는 전방 차량뿐만 아니라 사람, 가이드 레일, 분리벽, 방음벽 등을 포함할 수 있다.The front vehicle risk sensing device groups the sticks generated based on the distance from the camera, i.e., performs clustering, and then, based on the grouping result, the object vertically disposed on the road surface, i.e., the vertical object 220, (206). As an example, an object disposed perpendicular to the road surface may include a person, a guide rail, a separating wall, an acoustic wall, and the like as well as a front vehicle.

전방 차량 위험 감지 장치는 깊이 영상에서 식별된 수직 물체 중 연속 수직 물체(230)를 확정하고, 확정된 연속 수직 물체를 이용하여 가이드 라인(240)을 생성할 수 있다(S207). 여기서, 연속 수직 물체는 검출된 수직 물체들 중 움직임이 없고 해당 수직 물체 내 깊이 변화가 연속적인 특징을 가질 수 있다. 일 예로, 전방 차량 위험 감지 장치는 전방 주행 차량의 이동 경로 라인과 연속 수직 물체와 도로면 사이에 형성되는 경계 라인에 기반하여 가이드 라인을 생성할 수도 있다. 다른 일 예로, 전방 차량 위험 감지 장치는 이동 경로 라인의 기울기와 연속 수직 물체와 도로면 사이에 형성되는 경계 라인의 기울기를 비교하여 기 생성된 가이드 라인을 보정함으로써, 최종 가이드 라인을 생성할 수도 있다.The forward vehicle risk sensing apparatus can determine the continuous vertical object 230 among the vertical objects identified in the depth image and generate the guide line 240 using the determined continuous vertical object (S207). Here, the continuous vertical object has no motion among the detected vertical objects, and the depth variation in the vertical object may have a continuous feature. For example, the front vehicle risk sensing device may generate a guideline based on a boundary line formed between the traveling path line of the front-running vehicle and the continuous vertical object and the road surface. In another example, the front vehicle risk sensing device may generate a final guideline by correcting the generated guideline by comparing the slope of the movement path line and the slope of the boundary line formed between the continuous vertical object and the road surface .

전방 차량 위험 감지 장치는 가이드 라인(240)을 기준으로 소정 도로 폭 만큼 이격된 가상 차선 라인(250)을 생성할 수 있다(S208). 여기서, 가상 차선 라인은 도로폭에 따라 복수개가 생성될 수 있음을 주의해야 한다.The front vehicle danger sensing apparatus may generate a virtual lane line 250 spaced by a predetermined road width based on the guideline 240 (S208). Here, it should be noted that a plurality of virtual lane lines may be generated depending on the road width.

여기서, 가이드 라인(240) 및 가상 차선 라인(350)은 칼라 영상 및(또는) 깊이 영상에 표시될 수 있다.Here, the guideline 240 and the virtual lane line 350 may be displayed on the color image and / or the depth image.

다른 일 예로, 전방 차량 위험 감지 장치는 칼라 화면 또는(및) 깊이 화면에 대해 좌표계 변환을 수행하여 탑뷰(Top View) 화면을 생성한 후, 생성된 탑뷰 화면에 가이드 라인(240) 및 가상 차선 라인(250)을 생성하여 표시할 수도 있다.In another example, the front vehicle risk sensing device performs coordinate system conversion on the color screen and / or the depth screen to generate a top view screen, and then displays the guideline 240 and the virtual lane line (250) may be generated and displayed.

전방 차량 위험 감지 장치는 칼라 영상에 대한 학습-예를 들면, 패턴 인식 학습일 수 있으나, 이에 한정되지는 않음-을 통해 다른 차량-즉, 위험도 분석 대상인 전방 주행 차량-을 식별할 수 있다(S209). 또한, 전방 차량 위험 감지 장치는 연속된 칼라 영상에 대한 학습을 통해 식별된 전방 주행 차량의 이동 경로 라인을 확정할 수도 있다. The front vehicle risk sensing device can identify the other vehicle, that is, the forward driving vehicle, which is the subject of the risk analysis, through learning about the color image, for example, but not limited to, pattern recognition learning (S209 ). In addition, the front vehicle risk sensing apparatus may determine the movement path line of the identified forward driving vehicle through learning about the continuous color image.

전방 차량 위험 감지 장치는 칼라 영상 또는(및) 깊이 영상을 통해 식별된 전방 주행 차량의 위험도를 판단하고, 판단 결과를 칼라 영상에 표시할 수 있다(S210).The front vehicle risk sensing apparatus may determine the risk of the forward driving vehicle identified through the color image or (and) depth image, and display the determination result on the color image (S210).

전방 차량 위험 감지 장치는 식별된 전방 주행 차량 별 생성된 운전 특징 벡터에 기반하여 해당 전방 주행 차량의 위험도를 산출할 수 있다. 여기서, 운전 특징 벡터는 횡위치 변화량에 관한 정보, 차선 침범 비율에 관한 정보, 조향각 변화에 관한 정보, 가속도 변화에 관한 정보, 차간 거리에 관한 정보 등에 기반하여 획득될 수 있다.The front vehicle risk sensing device can calculate the risk of the corresponding forward driving vehicle based on the generated driving characteristic vector for each identified forward driving vehicle. Here, the operation feature vector may be obtained based on information on the lateral position change amount, information on the lane involvement ratio, information on the steering angle change, information on the acceleration change, information on the headway distance, and the like.

도 3은 본 발명의 일 실시예에 따른 전방 주행 차량의 위험도 판단 절차를 설명하기 위한 도면이다.3 is a view for explaining a risk judgment procedure of a forward running vehicle according to an embodiment of the present invention.

도 3을 참조하면, 전방 차량 위험 감지 장치는 카메라 촬영된 영상의 패턴 분석을 통해 위험도 판별 대상 차량을 식별할 수 있다(S310).Referring to FIG. 3, the front vehicle risk sensing device can identify the risk-assessed vehicle through pattern analysis of the camera photographed image (S310).

전방 차량 위험 감지 장치는 칼라 화면 또는(및) 깊이 화면에 대해 좌표계 변환을 수행하여 탑뷰(Top View) 화면을 생성한 후, 생성된 탑뷰 화면에 가이드 라인(240) 및 가상 차선 라인(250)을 생성하여 표시한 후, 위험도 판별 대상 차량의 이동 경로 및 이동 패턴을 산출할 수 있다(S320).The front vehicle risk sensing apparatus performs a coordinate system conversion on the color screen and / or the depth screen to generate a top view screen, and then displays a guide line 240 and a virtual lane line 250 on the generated top view screen And displays the movement path and movement pattern of the vehicle to be subjected to the risk determination (S320).

전방 차량 위험 감지 장치는 산출된 이동 경로 및 이동 패턴에 따른 운전 특징 벡터를 추출할 수 있다(S330).The front vehicle risk sensing apparatus can extract a driving characteristic vector according to the calculated movement path and movement pattern (S330).

전방 차량 위험 감지 장치는 사전 학습된 판별기에 추출된 운전 특징 벡터를 입력하여 해당 차량의 위험도를 판별할 수 있다(S340).The front vehicle risk sensing device may determine the risk of the corresponding vehicle by inputting the extracted driving characteristic vector to the pre-learned discriminator (S340).

전방 차량 위험 감지 장치는 위험도 판별 결과를 카메라 촬영된 칼라 영상에 표시할 수 있다(S350).The front vehicle risk detection device can display the risk determination result on the color image captured by the camera (S350).

도 4는 본 발명의 일 실시예에 따른 운전 특징 벡터 생성 시 고려되는 부주의 및 위험 운전 패턴을 설명하기 위한 도면이다. FIG. 4 is a diagram for explaining a careless and dangerous operation pattern considered when generating an operation feature vector according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 운전 특징 벡터 생성 시 고려되는 주요한 부주의 및 위험 운전 패턴은 차선 추종 불량, 비의도적 차선 침범, 조향각 변화, 옆 차선 차량 근접 주행 등을 포함할 수 있으나, 이에 한정되지는 않으며, 급가속, 급정차, 방향 지시등 조작 불량 등도 포함될 수 있다.As shown in FIG. 4, the major carelessness and dangerous driving patterns considered in the generation of the driving feature vector may include a lane-following failure, an unintentional lane involvement, a change in steering angle, a proximity lane vehicle running, , And may include rapid acceleration, rapid stop, defective turn signal, and the like.

본 발명의 일 실시예에 따른 전방 차량 위험 감지 장치에는 부주의 및 위험 운전에 관련된 패턴 정보와 정상 운전에 대한 패턴 정보가 데이터베이스로 구축되어 유지될 수 있으며, 추출된 운전 특징 벡터를 이용하여 판별기 학습이 수행될 수 있다.In the front vehicle risk sensing apparatus according to an embodiment of the present invention, pattern information related to carelessness and dangerous operation and pattern information on normal operation can be constructed and maintained in a database, and discriminator learning Can be performed.

따라서, 주행 시 학습된 정보에 기반하여 데이터베이스가 갱신되므로 판별기의 판별 능력은 진화될 수도 있다. Therefore, since the database is updated on the basis of the information learned during driving, the discriminator capability of the discriminator may evolve.

본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. It will be apparent to those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof.

따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.Accordingly, the above description should not be construed in a limiting sense in all respects and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.

Claims

차량에 장착되는 전방 차량 위험 감지 장치에 있어서,
전방 영상을 촬영하는 카메라;
상기 전방 영상에 기반하여 도로 영역을 검출하는 도로 영역 검출부;
상기 검출된 도로 영역에 대한 가상 차선을 생성하는 가상 차선 생성부;
상기 전방 영상에 기반하여 위험도 판별 대상인 전방 주행 차량을 식별하고, 식별된 상기 전방 주행 차량의 운전 특징 벡터를 결정하는 물체 검출부;
상기 운전 특징 벡터에 기반하여 상기 전방 주행 차량의 위험도를 판단하는 위험도 판단부; 및
상기 위험도 판단 결과에 따라 소정 알림 메시지를 출력하는 출력부
를 포함하는, 전방 차량 위험 감지 장치A front vehicle risk sensing device mounted on a vehicle,
A camera for photographing a forward image;
A road area detecting unit detecting a road area based on the forward image;
A virtual lane generator for generating a virtual lane for the detected road area;
An object detecting unit that identifies a forward driving vehicle that is a risk determination object based on the forward image and determines an operation feature vector of the identified forward driving vehicle;
A risk judging unit for judging a risk of the forward driving vehicle based on the driving characteristic vector; And
An output unit for outputting a predetermined notification message according to the result of the risk determination,
A front vehicle risk sensing device

제1항에 있어서,
상기 카메라는 두개의 카메라가 구비된 쓰리디 스테레오 카메라이고, 상기 전방 영상은 상기 두개의 카메라 각각에 의해 촬영된 두개의 칼라 영상과 상기 두개의 칼라 영상에 기반하여 생성된 깊이 영상을 포함하는, 전방 차량 위험 감지 장치.The method according to claim 1,
Wherein the camera is a three-dimensional stereo camera having two cameras, the front image includes two color images captured by the two cameras, and a depth image generated based on the two color images, Vehicle Hazard Sensor.

제2항에 있어서,
상기 도로 영역 검출부가 로드 프로파일 분석을 위해 상기 깊이 영상에 대응되는 브이 변이 지도(V-Disparity Map)를 생성하고, 상기 브이 변이 지도에 기반하여 소실선을 포함하는 기준 자유 공간 영상을 생성하고, 상기 기준 자유 공간 영상과 상기 깊이 영상을 비교하여 도로 경계선을 확정하는, 전방 차량 위험 감지 장치. 3. The method of claim 2,
Wherein the road region detection unit generates a V-Disparity Map corresponding to the depth image for load profile analysis, generates a reference free space image including a vanishing line based on the V variation map, And compares the reference free space image with the depth image to determine a road boundary.

제3항에 있어서,
상기 가상 차선 생성부가 상기 칼라 영상과 상기 깊이 영상을 이용하여 상기 가상 차선의 기준이 되는 가이드 라인을 생성하는, 전방 차량 위험 감지 장치.The method of claim 3,
Wherein the virtual lane generator uses the color image and the depth image to generate a guide line serving as a reference of the virtual lane.

제4항에 있어서,
상기 물체 감지부가 상기 전방 주행 차량의 이동 경로 라인을 확정하고, 상기 가상 차선 생성부가 상기 이동 경로 라인을 더 이용하여 상기 가이드 라인을 생성하는, 전방 차량 위험 감지 장치. 5. The method of claim 4,
Wherein the object detection section confirms the movement path line of the forward running vehicle and the virtual lane generation section further uses the movement path line to generate the guide line.

제4항에 있어서,
상기 가상 차선 생성부가 상기 깊이 영상에 기반하여 수직 물체를 검출하고, 상기 검출된 수직 물체 중 확정된 연속 수직 물체를 기준으로 상기 가이드 라인을 생성하는, 전방 차량 위험 감지 장치.5. The method of claim 4,
Wherein the virtual lane generator detects a vertical object based on the depth image and generates the guide line based on the determined vertical object among the detected vertical objects.

제6항에 있어서,
상기 가상 차선 생성부가 상기 도로 경계선 내의 픽셀 값과 나머지 영역의 픽셀 값의 차이값에 기반하여 도로면으로부터 소정 기준치 이상의 높이를 가진 픽셀들을 카메라로부터의 이격 거리 별로 추출하고, 상기 추출된 픽셀들의 거리 유사도를 기반으로 스틱(Stick)을 생성하고, 상기 카메라로부터의 이격 거리에 기반하여 상기 스틱들을 그룹핑하여 상기 수직 물체를 검출하는, 전방 차량 위험 감지 장치. The method according to claim 6,
The virtual lane generator extracts pixels having a height equal to or higher than a predetermined reference value from the road surface by a distance from the camera on the basis of the difference value between the pixel value in the road boundary line and the pixel value in the remaining area, And the vertical object is detected by grouping the sticks based on a distance from the camera.

제6항에 있어서,
상기 연속 수직 물체는 상기 검출된 수직 물체 중 움직임이 없고, 해당 수직 물체 내 스틱들의 깊이 변화가 연속적인 물체인, 전방 차량 위험 감지 장치.The method according to claim 6,
Wherein the continuous vertical object has no motion among the detected vertical objects and the depth variation of the sticks in the vertical object is a continuous object.

제6항에 있어서,
상기 가상 차선 생성부가 가이드 라인을 기준으로 소정 도로 폭만큼 이격되게 상기 가상 차선을 생성하는, 전방 차량 위험 감지 장치. The method according to claim 6,
Wherein the virtual lane generator generates the virtual lane so that the virtual lane generator is spaced apart from the guideline by a predetermined road width.

제1항에 있어서,
상기 운전 특징 벡터는 횡위치 변화량에 관한 정보, 차선 침범 비율에 관한 정보, 조향각 변화에 관한 정보, 가속도 변화에 관한 정보, 차간 거리에 관한 정보 중 적어도 하나의 정보에 기반하여 결정되는, 전방 차량 위험 감지 장치.The method according to claim 1,
Wherein the operation feature vector is determined based on at least one of information on a lateral position change amount, information on a lane occupancy ratio, information on a steering angle change, information on acceleration change, and information on a headway distance, Sensing device.

전방 차량의 위험을 감지하는 방법에 있어서,
전방 영상을 촬영하는 단계;
상기 전방 영상에 기반하여 도로 영역을 검출하는 단계;
상기 검출된 도로 영역에 대한 가상 차선을 생성하는 단계;
상기 전방 영상에 기반하여 위험도 판별 대상인 전방 주행 차량을 식별하는 단계;
식별된 상기 전방 주행 차량의 운전 특징 벡터를 결정하는 단계;
상기 운전 특징 벡터에 기반하여 상기 전방 주행 차량의 위험도를 판단하는 단계; 및
상기 위험도 판단 결과에 따라 소정 알림 메시지를 출력하는 단계
를 포함하는, 전방 차량 위험 감지 방법.CLAIMS 1. A method for detecting a danger of a forward vehicle,
Capturing a forward image;
Detecting a road area based on the forward image;
Generating a virtual lane for the detected road area;
Identifying a forward driving vehicle that is a risk determination object based on the forward image;
Determining a driving feature vector of the identified forward driving vehicle;
Determining a risk of the forward driving vehicle based on the driving characteristic vector; And
And outputting a predetermined notification message according to the result of the risk determination
Wherein the vehicle is a vehicle.

제11항에 있어서,
상기 카메라는 두개의 카메라가 구비된 쓰리디 스테레오 카메라이고, 상기 전방 영상은 상기 두개의 카메라 각각에 의해 촬영된 두개의 칼라 영상과 상기 두개의 칼라 영상에 기반하여 생성된 깊이 영상을 포함하는, 전방 차량 위험 감지 방법.12. The method of claim 11,
Wherein the camera is a three-dimensional stereo camera having two cameras, the front image includes two color images captured by the two cameras, and a depth image generated based on the two color images, Vehicle risk detection method.

제12항에 있어서,
상기 검출된 도로 영역에 대한 가상 차선을 생성하는 단계는
로드 프로파일 분석을 위해 상기 깊이 영상에 대응되는 브이 변이 지도(V-Disparity Map)를 생성하는 단계;
상기 브이 변이 지도에 기반하여 소실선을 포함하는 기준 자유 공간 영상을 생성하는 단계; 및
상기 기준 자유 공간 영상과 상기 깊이 영상을 비교하여 도로 경계선을 확정하는 단계
를 포함하는, 전방 차량 위험 감지 방법. 13. The method of claim 12,
The step of generating a virtual lane for the detected road area
Generating a V-Disparity Map corresponding to the depth image for load profile analysis;
Generating a reference free space image including a vanishing line based on the V variation map; And
Determining a road boundary by comparing the reference free space image with the depth image
Wherein the vehicle is a vehicle.

제13항에 있어서,
상기 검출된 도로 영역에 대한 가상 차선을 생성하는 단계는
상기 칼라 영상과 상기 깊이 영상을 이용하여 상기 가상 차선의 기준이 되는 가이드 라인을 생성하는 단계를 더 포함하는, 전방 차량 위험 감지 방법.14. The method of claim 13,
The step of generating a virtual lane for the detected road area
Further comprising the step of generating a guideline on which the virtual lane is based using the color image and the depth image.

제14항에 있어서,
상기 가이드 라인은 상기 전방 주행 차량의 이동 경로 라인을 확정되면, 상기 이동 경로 라인을 더 이용하여 생성되는, 전방 차량 위험 감지 방법. 15. The method of claim 14,
Wherein the guideline is generated by further using the movement route line when the movement route line of the forward driving vehicle is determined.

제14항에 있어서,
상기 검출된 도로 영역에 대한 가상 차선을 생성하는 단계는
상기 깊이 영상에 기반하여 수직 물체를 검출하는 단계를 더 포함하고, 상기 검출된 수직 물체 중 확정된 연속 수직 물체를 기준으로 상기 가이드 라인이 생성되는, 전방 차량 위험 감지 방법.15. The method of claim 14,
The step of generating a virtual lane for the detected road area
Further comprising detecting a vertical object based on the depth image, wherein the guideline is generated based on the determined vertical object of the detected vertical object.

제16항에 있어서,
상기 검출된 도로 영역에 대한 가상 차선을 생성하는 단계는
상기 도로 경계선 내의 픽셀 값과 나머지 영역의 픽셀 값의 차이값에 기반하여 도로면으로부터 소정 기준치 이상의 높이를 가진 픽셀들을 카메라로부터의 이격 거리 별로 추출하는 단계; 및
상기 추출된 픽셀들의 거리 유사도를 기반으로 스틱(Stick)을 생성하고, 상기 카메라로부터의 이격 거리에 기반하여 상기 스틱들을 그룹핑하여 상기 수직 물체를 검출하는 단계
를 더 포함하는, 전방 차량 위험 감지 방법. 17. The method of claim 16,
The step of generating a virtual lane for the detected road area
Extracting pixels having a height greater than a predetermined reference value from a road surface based on a difference value between pixel values in the road boundary line and pixel values in the remaining area, by a distance from the camera; And
Generating a stick based on the distance similarity degree of the extracted pixels, and detecting the vertical object by grouping the sticks based on a distance from the camera
Further comprising the steps of:

제16항에 있어서,
상기 연속 수직 물체는 상기 검출된 수직 물체 중 움직임이 없고, 해당 수직 물체 내 스틱들의 깊이 변화가 연속적인 물체인, 전방 차량 위험 감지 방법.17. The method of claim 16,
Wherein the continuous vertical object has no motion among the detected vertical objects and the depth variation of the sticks in the vertical object is a continuous object.

제11항에 있어서,
상기 운전 특징 벡터는 횡위치 변화량에 관한 정보, 차선 침범 비율에 관한 정보, 조향각 변화에 관한 정보, 가속도 변화에 관한 정보, 차간 거리에 관한 정보 중 적어도 하나의 정보에 기반하여 결정되는, 전방 차량 위험 감지 방법.12. The method of claim 11,
Wherein the operation feature vector is determined based on at least one of information on a lateral position change amount, information on a lane occupancy ratio, information on a steering angle change, information on acceleration change, and information on a headway distance, Detection method.

제11항 내지 제19항 중 어느 한 항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium on which a program for executing the method according to any one of claims 11 to 19 is recorded.