KR102515683B1 - Method for driver assistance based on black box image and apparatus for performing the method - Google Patents

Method for driver assistance based on black box image and apparatus for performing the method Download PDF

Info

Publication number
KR102515683B1
KR102515683B1 KR1020220135686A KR20220135686A KR102515683B1 KR 102515683 B1 KR102515683 B1 KR 102515683B1 KR 1020220135686 A KR1020220135686 A KR 1020220135686A KR 20220135686 A KR20220135686 A KR 20220135686A KR 102515683 B1 KR102515683 B1 KR 102515683B1
Authority
KR
South Korea
Prior art keywords
object distance
lane
vanishing point
distance
image
Prior art date
Application number
KR1020220135686A
Other languages
Korean (ko)
Inventor
유재형
Original Assignee
주식회사 엠티오메가
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠티오메가 filed Critical 주식회사 엠티오메가
Priority to KR1020220135686A priority Critical patent/KR102515683B1/en
Application granted granted Critical
Publication of KR102515683B1 publication Critical patent/KR102515683B1/en
Priority to JP2023149547A priority patent/JP2024061627A/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)

Abstract

The present invention relates to a method for assisting a driver based on a black box image, and a device for performing the same. The method for assisting a driver based on a black box image can comprise: a step of enabling the driver assistance device to detect a lane; and a step of enabling the driver assistance device to estimate an object distance based on the lane.

Description

블랙박스 영상을 기반으로 한 운전자 보조 방법 및 이러한 방법을 수행하는 장치{Method for driver assistance based on black box image and apparatus for performing the method}Method for driver assistance based on black box image and apparatus for performing the method}

본 발명은 블랙박스 영상을 기반으로 한 운전자 보조 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 보다 상세하게는 블랙박스와 같은 제한적인 리소스를 사용하는 환경에서 빠르고 가볍게 차선을 검출하는 모델을 제공하기 위한 블랙박스 영상을 기반으로 한 운전자 보조 방법 및 이러한 방법을 수행하는 장치에 관한 것이다.The present invention relates to a driver assistance method based on a black box image and an apparatus for performing the method. More specifically, it relates to a driver assistance method based on a black box image for providing a model for quickly and lightly detecting a lane in an environment using limited resources such as a black box, and an apparatus performing the method.

최근 센서 기술, 인공지능 및 컴퓨터 기술의 급속한 발전에 따라 자동 긴급 제동 시스템(Autonomous Emergency Braking System), 전방 충돌 경고 시스템(Forward Collision Warning System) 및 차선 이탈 경고 시스템(Lane Departure Warning System)과 같은 능동형 운전자 보조 시스템이 고급 승용차에서 부터 경차까지 장착되어 출시되고 있는 추세이다. 특히, 운전자가 의도하지 않게 차선을 넘어갈 경우, 운전자에게 경고를 주어 사고를 예방하는 시스템인 차선이탈경고시스템은 경차에도 시스템이 탑재될 만큼 대중화가 되어 있는 시스템이다In recent years, with the rapid development of sensor technology, artificial intelligence and computer technology, active driver technologies such as Autonomous Emergency Braking System, Forward Collision Warning System and Lane Departure Warning System have been developed. Auxiliary systems are being installed in luxury cars as well as compact cars. In particular, the lane departure warning system, which is a system that prevents accidents by giving a warning to the driver when the driver unintentionally crosses the lane, is a system that has become so popular that the system is installed in compact cars.

능동형 운전자 보조 시스템을 제공하기 위해 Radar, Lidar, UltraSonic 및 비전 센서들을 활용하고 있으며, 특히 전방 차량, 보행자 및 교통 표지판을 인식 및 분류하거나 차선을 검출하기 위해서는 비전 센서가 반드시 필요하다.Radar, Lidar, UltraSonic and vision sensors are used to provide active driver assistance systems. In particular, vision sensors are essential for recognizing and classifying vehicles, pedestrians and traffic signs in front or detecting lanes.

차량 자체의 능동형 운전자 보조 시스템에 대한 연구는 활발하게 진행되고 있으나 블랙박스와 같은 장치 상에서 위와 같은 능동형 운전자 보조 시스템에 대한 연구는 아직 미흡하다. 블랙박스에서도 사고에 대한 알람이라거나, 사고 발생이 예상되는 경우, 미리 판단하여 촬영을 하기 위해 이러한 능동형 운전자 보조 시스템의 적용이 필요하다.Research on the active driver assistance system of the vehicle itself is being actively conducted, but research on the above active driver assistance system on a device such as a black box is still insufficient. Even in the black box, it is necessary to apply such an active driver assistance system in order to determine and take pictures in advance when an alarm for an accident or when an accident is expected to occur.

현재 블랙박스는 리소스의 한계로 인해 차량 자체의 능동형 운전자 보조 시스템과 동일하게 구현하기 어렵다. 따라서, 블랙박스 상에서 능동형 운전자 보조 시스템의 역할을 구현하기 위한 연구가 필요하다.Currently, it is difficult to implement the same black box as the active driver assistance system in the vehicle itself due to resource limitations. Therefore, research is needed to implement the role of an active driver assistance system on a black box.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.The object of the present invention is to solve all of the above problems.

또한, 본 발명은, 블랙박스와 같은 리소스가 한정적인 장치를 운전자 보조 장치로서 구현하여 차선 검출을 통해 운전자 보조 서비스를 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a driver assistance service through lane detection by implementing a resource-limited device such as a black box as a driver assistance device.

또한, 본 발명은, 블랙 박스 상에서 차선 검출, 객체 거리 추정, 차선 이탈 판단, 끼어들기 판단을 수행하여 추가적인 운전 보조 및 블랙 박스의 상황별 녹화 성능을 높이는 것을 목적으로 한다.In addition, an object of the present invention is to perform lane detection, object distance estimation, lane departure determination, and cut-in determination on a black box to enhance additional driving assistance and black box recording performance for each situation.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.Representative configurations of the present invention for achieving the above object are as follows.

본 발명의 일 실시예에 따르면, 블랙박스 영상을 기반으로 한 운전자 보조 방법은 운전자 보조 장치가 차선을 검출하는 단계와 상기 운전자 보조 장치가 상기 차선을 기반으로 객체 거리를 추정하는 단계를 포함할 수 있다.According to an embodiment of the present invention, a driver assistance method based on a black box image may include detecting a lane by a driver assistance device and estimating an object distance based on the lane by the driver assistance device. there is.

한편, 블랙박스 영상을 기반으로 한 운전자 보조 방법은 상기 운전자 보조 장치가 차선 이탈을 판단하는 단계와 상기 운전자 보조 장치가 끼어들기를 판단하는 단계를 포함할 수 있다.Meanwhile, a driver assistance method based on a black box image may include determining lane departure by the driver assistance device and determining cut-in by the driver assistance device.

또한, 상기 객체 거리는 객체 거리 추정 테이블을 기반으로 결정될 수 있다.Also, the object distance may be determined based on an object distance estimation table.

본 발명의 다른 실시예에 따르면, 블랙박스 영상을 기반으로 한 운전자 보조하는 운전자 보조 장치는 차선을 검출하고, 상기 차선을 기반으로 객체 거리를 추정하도록 구현될 수 있다.According to another embodiment of the present invention, a driver assistance device assisting a driver based on a black box image may be implemented to detect a lane and estimate an object distance based on the lane.

한편, 상기 운전자 보조 장치는 차선 이탈을 판단하고, 끼어들기를 판단하도록 구현될 수 있다.Meanwhile, the driver assistance device may be implemented to determine lane departure and cut-in.

또한, 상기 객체 거리는 객체 거리 추정 테이블을 기반으로 결정될 수 있다.Also, the object distance may be determined based on an object distance estimation table.

본 발명에 의하면, 블랙박스와 같은 리소스가 한정적인 장치를 운전자 보조 장치로서 구현하여 차선 검출을 통해 운전자 보조 서비스가 제공될 수 있다.According to the present invention, a resource-limited device such as a black box may be implemented as a driver assistance device to provide a driver assistance service through lane detection.

또한, 본 발명에 의하면, 블랙 박스 상에서 차선 검출, 객체 거리 추정, 차선 이탈 판단, 끼어들기 판단을 통해 추가적인 운전 보조가 가능하고, 블랙 박스의 상황별 녹화 성능이 향상될 수 있다.In addition, according to the present invention, additional driving assistance is possible through lane detection, object distance estimation, lane departure determination, and cut-in determination on the black box, and recording performance of the black box for each situation can be improved.

도 1은 본 발명의 실시예에 따른 운전자 보조 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 차선 검출부의 동작을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 객체 거리 추정부를 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 객체 거리 추정부를 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 객체 거리 추정 테이블을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 차선 이탈 방법 탐지 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 끼어들기 탐지 방법을 나타낸 개념도이다.
1 is a conceptual diagram illustrating a driver assistance device according to an embodiment of the present invention.
2 is a conceptual diagram illustrating an operation of a lane detection unit according to an embodiment of the present invention.
3 is a conceptual diagram illustrating an object distance estimation unit according to an embodiment of the present invention.
4 is a conceptual diagram illustrating an object distance estimation unit according to an embodiment of the present invention.
5 is a conceptual diagram illustrating an object distance estimation table according to an embodiment of the present invention.
6 is a conceptual diagram illustrating a lane departure detection method according to an embodiment of the present invention.
7 is a conceptual diagram illustrating an intrusion detection method according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The detailed description of the present invention which follows refers to the accompanying drawings which illustrate, by way of illustration, specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable any person skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different from each other but are not necessarily mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented from one embodiment to another without departing from the spirit and scope of the present invention. It should also be understood that the location or arrangement of individual components within each embodiment may be changed without departing from the spirit and scope of the present invention. Therefore, the detailed description to be described later is not performed in a limiting sense, and the scope of the present invention should be taken as encompassing the scope claimed by the claims and all scopes equivalent thereto. Like reference numbers in the drawings indicate the same or similar elements throughout the various aspects.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those skilled in the art to easily practice the present invention.

이하, 본 발명의 실시예에 따른 운전자 보조 장치는 블랙박스뿐만 아니라, 차선 검출을 기반으로 운전자를 보조하는 다양한 장치를 포함하는 의미로 해석될 수 있다.Hereinafter, a driver assistance device according to an embodiment of the present invention may be interpreted as including various devices assisting a driver based on lane detection as well as a black box.

도 1은 본 발명의 실시예에 따른 운전자 보조 장치를 나타낸 개념도이다. 1 is a conceptual diagram illustrating a driver assistance device according to an embodiment of the present invention.

도 1에서는 운전자의 운전을 보조하기 위한 운전자 보조 장치가 개시된다. 1 discloses a driver assistance device for assisting a driver's driving.

도 1을 참조하면, 운전자 보조 장치는 차선 검출부(110), 객체 거리 추정부(120), 차선 이탈 판단부(130), 끼어들기 판단부(140) 및 프로세서(150)를 포함할 수 있다.Referring to FIG. 1 , the driver assistance device may include a lane detection unit 110, an object distance estimation unit 120, a lane departure determination unit 130, a cut-in determination unit 140, and a processor 150.

차선 검출부(110)는 차선 검출을 위해 구현될 수 있다. 예를 들어, 차선 검출부(110)는 YOLO와 같은 가벼운 인공지능모델을 기반으로 차선 검출을 수행할 수 있다. 차선 검출부(110)는 영상 내의 전체 차선에 대한 검출을 수행하지 않고, 차량이 현재 운행되고 있는 차선 중 차량과 근접한 임계 영역 내의 차선(이하, 근접 영역 운행 차선)에 대한 검출만을 수행할 수 있다.The lane detection unit 110 may be implemented for lane detection. For example, the lane detection unit 110 may perform lane detection based on a light artificial intelligence model such as YOLO. The lane detector 110 may not detect all lanes in the image, but may only detect lanes in a critical area close to the vehicle (hereinafter, adjacent area operating lanes) among lanes in which the vehicle is currently operating.

객체 거리 추정부(120)는 객체 거리를 판단하기 위해 구현될 수 있다. 객체 거리 추청부(120)는 근접 영역 운행 차선을 기반으로 차선 너비, 소실점을 결정하고, 결정된 차선 너비 및 소실점을 기반으로 물체 거리를 추정할 수 있다. 차선 너비 및 소실점에 따라 객체 거리를 추정할 수 있는 객체 거리 추정 테이블을 기반으로 영상 내에 위치한 객체의 위치를 추정할 수 있다. 객체 거리 추정 테이블은 차선 너비 및 소실점의 위치에 따라 영상 내의 위치별 추정 거리에 대한 정보를 포함할 수 있다.The object distance estimator 120 may be implemented to determine the object distance. The object distance estimation unit 120 may determine a lane width and a vanishing point based on a driving lane in the proximity area, and estimate an object distance based on the determined lane width and vanishing point. A position of an object located in an image may be estimated based on an object distance estimation table capable of estimating an object distance according to a lane width and a vanishing point. The object distance estimation table may include information on estimated distances for each location in an image according to the width of a lane and the location of a vanishing point.

차선 이탈 판단부(130)는 근접 영역 운행 차선과 영상의 중심에 대한 정보를 기반으로 차선 이탈 여부를 판단할 수 있다. 근접 영역 운행 차선을 기반으로 차선 너비가 결정되고, 차선의 중심이 결정될 수 있다. 만약 영상의 중심이 차선의 중심을 기준으로 특정 범위를 벋어날 경우, 차선 이탈 판단부(130)는 차량이 차선을 이탈하는 것으로 판단할 수 있다.The lane departure determining unit 130 may determine lane departure based on information about the driving lane in the proximity area and the center of the image. The width of the lane may be determined based on the driving lane in the proximity area, and the center of the lane may be determined. If the center of the image deviates from the specific range based on the center of the lane, the lane departure determination unit 130 may determine that the vehicle departs from the lane.

끼어들기 판단부(140)는 다른 차량 끼어들기에 대한 판단과 본인 차량 끼어들기에 대한 판단을 수행할 수 있다. 다른 차량 끼어들기에 대한 판단은 객체 거리 추정부(120)의 객체 거리 추정을 기반으로 임계 거리 내에서 차량이 운행 차선으로 들어오는지 여부를 기반으로 수행될 수 있다. 본인 차량 끼어들기에 대한 판단은 차선 이탈 판단부(130)의 차선 이탈과 객체 거리 추정부의 물체 거리 추정을 기반으로 차선을 이탈하고, 임계 거리 내에 다른 차량이 존재하는지 여부를 기반으로 수행될 수 있다.The cut-in determining unit 140 may determine cutting-in of another vehicle and cutting-in of the own vehicle. Determination of another vehicle cutting in may be performed based on whether a vehicle enters the driving lane within a critical distance based on the object distance estimation by the object distance estimating unit 120 . Determination of cutting-in of the own vehicle may be performed based on lane departure of the lane departure determining unit 130 and object distance estimation of the object distance estimator and based on whether another vehicle exists within the threshold distance. .

프로세서(150)는 차선 검출부(110), 객체 거리 추정부(120), 차선 이탈 판단부(130), 끼어들기 판단부(140)의 동작을 제어할 수 있다. The processor 150 may control operations of the lane detection unit 110 , the object distance estimation unit 120 , the lane departure determination unit 130 , and the cut-in determination unit 140 .

도 2는 본 발명의 실시예에 따른 차선 검출부의 동작을 나타낸 개념도이다.2 is a conceptual diagram illustrating an operation of a lane detection unit according to an embodiment of the present invention.

도 2에서는 차선 검출부의 차선 검출 동작이 개시된다. In FIG. 2 , the lane detection operation of the lane detection unit is started.

도 2를 참조하면, 차선 검출부는 전체 이미지 영역에서 차선에 대한 검출을 수행하되 차량을 기준으로 임계 거리 내에 위치한 근접 영역 운행 차선을 검출할 수 있다.Referring to FIG. 2 , the lane detection unit may perform lane detection in the entire image area and detect a driving lane in a proximity area located within a threshold distance based on the vehicle.

블랙박스와 같은 가용 리소스가 많지 않은 운전자 보조 장치에서 YOLO를 기반으로 차선 클래스를 구성하여 근접 영역 운행 차선만이 검출될 수 있다.In a driver assistance device that does not have many available resources, such as a black box, a lane class is configured based on YOLO, so that only a driving lane in a nearby area can be detected.

도 3은 본 발명의 실시예에 따른 객체 거리 추정부를 나타낸 개념도이다. 3 is a conceptual diagram illustrating an object distance estimation unit according to an embodiment of the present invention.

도 3에서는 객체 거리 추정부가 차선 너비 및 소실점을 결정하는 방법이 개시된다.3 discloses a method for determining a lane width and a vanishing point by an object distance estimator.

도 3을 참조하면, 근접 영역 운행 차선에서 추출된 차선 검출 정보를 기반으로 차선의 너비(300)가 획득되고, 차선을 연결하여 소실점(350)이 결정될 수 있다. Referring to FIG. 3 , a lane width 300 may be obtained based on lane detection information extracted from a driving lane in a proximity area, and a vanishing point 350 may be determined by connecting the lanes.

차선의 너비(a)(300)는 이미지 상의 차량 이미지의 하단점(310)과 차선이 만나는 지점을 연결하여 획득될 수 있다.The width (a) 300 of the lane may be obtained by connecting a lower end point 310 of the vehicle image on the image and a point where the lane meets.

소실점(350)은 차선을 연결하여 결정될 수 있다. 영상 상의 근접 영역 운행 차선을 직선으로 연결시에 만나는 지점이 소실점(350)일 수 있다. 소실점 높이는 전체 이미지 길이에서 차량 이미지 하단점(310)의 높이(c)와 차량 이미지 하단점(310)과 소실점(350) 사이의 길이(b)를 뺀 값으로 결정될 수 있다.The vanishing point 350 may be determined by connecting lanes. The vanishing point 350 may be a point at which the driving lanes in the vicinity of the image are connected in a straight line. The height of the vanishing point may be determined as a value obtained by subtracting the height (c) of the lower end point 310 of the vehicle image and the length (b) between the lower end point 310 and the vanishing point 350 from the total image length.

또는 소실점(350)은 차선 너비(300)에 대한 정보 및 차량 이미지의 하단점(310)에 대한 정보만을 기반으로 추정될 수도 있다. 차선 너비(300)와 차량 이미지의 하단점(310)에 대한 정보만을 기반으로 소실점을 추정할 수 있는 소실점 매핑 테이블이 존재하고, 소실점 매핑 테이블을 기반으로 소실점(350)이 결정될 수도 있다.Alternatively, the vanishing point 350 may be estimated based only on information on the lane width 300 and information on the bottom point 310 of the vehicle image. A vanishing point mapping table capable of estimating a vanishing point based only on the information on the lane width 300 and the bottom point 310 of the vehicle image exists, and the vanishing point 350 may be determined based on the vanishing point mapping table.

도 4는 본 발명의 실시예에 따른 객체 거리 추정부를 나타낸 개념도이다. 4 is a conceptual diagram illustrating an object distance estimation unit according to an embodiment of the present invention.

도 4에서는 객체 거리 추정부가 객체 거리 추정 테이블을 기반으로 객체 거리를 추정하는 방법이 개시된다.4 discloses a method in which an object distance estimator estimates an object distance based on an object distance estimation table.

도 4를 참조하면, 객체 거리 추정 테이블(450)은 차선 너비(400) 및 소실점(410)을 기반으로 영상 내에 특정 위치에 위치한 객체에 대한 거리를 추정하기 위한 테이블이다.Referring to FIG. 4 , an object distance estimation table 450 is a table for estimating a distance to an object located at a specific location in an image based on a lane width 400 and a vanishing point 410 .

객체 거리 추정 테이블(450)은 차선 너비(400) 및 소실점(410)에 대한 정보를 기반으로 영상 상에 위치한 객체까지의 거리를 추정하는 테이블로서 서로 다른 중심을 가지는 서로 다른 원을 기준으로 생성될 수 있다. The object distance estimation table 450 is a table for estimating the distance to an object located on the image based on information about the lane width 400 and the vanishing point 410, and will be created based on different circles having different centers. can

도 5는 본 발명의 실시예에 따른 객체 거리 추정 테이블을 나타낸 개념도이다.5 is a conceptual diagram illustrating an object distance estimation table according to an embodiment of the present invention.

도 5에서는 객체 거리 추정 테이블을 생성하는 방법이 개시된다. 5 discloses a method of generating an object distance estimation table.

도 5를 참조하면, 객체 거리 추정 테이블은 제1 타입 객체 거리 추정 테이블(510), 제2 타입 객체 거리 추정 테이블(520)로 생성되어 선택적으로 활용될 수 있다.Referring to FIG. 5 , the object distance estimation table is generated as a first type object distance estimation table 510 and a second type object distance estimation table 520 and may be selectively used.

제1 타입 객체 거리 추정 테이블(510)은 이미지 상 좌표를 기준으로 객체 거리를 결정하기 위한 테이블이고, 제2 타입 객체 거리 추정 테이블(520)은 이미지 상 분할된 공간을 기반으로 객체 거리를 결정하기 위한 테이블이다.The first type object distance estimation table 510 is a table for determining object distances based on coordinates on an image, and the second type object distance estimation table 520 is a table for determining object distances based on divided spaces on an image. This is a table for

(1) 제1 타입 객체 거리 추정 테이블(510)(1) First type object distance estimation table 510

제1 타입 객체 거리 추정 테이블(510)은 동심원 기반의 좌표를 기반으로 거리에 대한 추정이 이루어질 수 있다. 이미지 상에서 소실점(560)의 위치 소실점(560)의 높이에 따라 거리별로 서로 다른 지름을 가지는 동심원이 배치될 수 있다. 이때 동심원의 지름은 상대적으로 차량에 가까울수록 상대적으로 커질 수 있다. 배치되는 동심원은 차량에서 멀어질수록 조밀해질 수 있고, 동심원의 밀도는 소실점에 따라 결정될 수 있다. 객체까지의 거리는 동심원과 동심원의 각 위치별 좌표를 기준으로 결정될 수 있다. In the first type object distance estimation table 510 , distance estimation may be performed based on concentric circle-based coordinates. Depending on the position of the vanishing point 560 on the image and the height of the vanishing point 560, concentric circles having different diameters may be arranged for each distance. In this case, the diameter of the concentric circles may be relatively large as it is relatively close to the vehicle. The arranged concentric circles may become denser as the distance from the vehicle increases, and the density of the concentric circles may be determined according to a vanishing point. The distance to the object may be determined based on the concentric circle and the coordinates of each position of the concentric circle.

(2) 제2 타입 객체 거리 추정 테이블(520)(2) second type object distance estimation table 520

차선 너비 및 소실점이 결정된 경우, 제2 타입 객체 거리 추정 테이블(520)은 이미지 상에서 소실점을 기반으로 공간을 분할하여 객체의 거리를 추정하도록 생성될 수 있다. 거리를 결정하기 위해 사용되는 공간은 거리 결정 공간(570)이라는 용어로 표현될 수 있다.When the lane width and the vanishing point are determined, the second type object distance estimation table 520 may be generated to estimate the distance of the object by dividing the space on the image based on the vanishing point. A space used to determine a distance may be expressed in terms of a distance determination space 570 .

상대적으로 가까운 거리의 경우, 상대적으로 넓은 면적의 거리 결정 공간(570)이 동일한 거리로 추정되고, 상대적으로 먼 거리의 경우, 상대적으로 좁은 면적의 거리 결정 공간이 동일한 거리로 추정될 수 있다. 거리 결정 공간(570)의 면적은 소실점(560)을 기준으로 결정될 수 있다.In the case of a relatively short distance, a relatively large area of the distance determining space 570 may be estimated as the same distance, and in the case of a relatively long distance, a relatively small area of the distance determining space may be estimated as the same distance. The area of the distance determining space 570 may be determined based on the vanishing point 560 .

또한, 차량 이미지 하단점의 중심과 차량 진행 방향을 기반으로 결정된 중심선(550)에서 가까울수록 상대적으로 넓은 면적의 거리 결정 공간(570)이 동일한 거리로 추정되고, 상대적으로 먼 거리의 경우, 상대적으로 좁은 면적의 거리 결정 공간(570)이 동일한 거리로 추정될 수 있다.In addition, the distance determination space 570 of a relatively large area is estimated as the same distance as it is closer to the center line 550 determined based on the vehicle traveling direction and the center of the lower end of the vehicle image, and in the case of a relatively long distance, a relatively A small area of the distance determination space 570 can be estimated with the same distance.

이러한 점을 기초로 이미지는 서로 다른 면적의 거리 결정 공간(570)으로 분할될 수 있고, 서로 다른 면적에 대응되는 거리 결정 공간에 거리에 대한 정보가 매칭되는 방식으로 제2 타입 객체 거리 추정 테이블(520)이 생성될 수 있다.Based on this point, the image may be divided into distance determination spaces 570 of different areas, and the second type object distance estimation table ( 520) can be created.

본 발명의 실시예에 따르면, 제1 타입 객체 거리 추정 테이블(510)과 제2 타입 객체 거리 추정 테이블(520)은 선택적으로 사용되거나 혼합되어 사용될 수 있다. According to an embodiment of the present invention, the first type object distance estimation table 510 and the second type object distance estimation table 520 may be selectively used or mixed.

예를 들어, 차량을 기준으로 근거리에서는 객체가 상대적으로 크기 때문에 제2 타입 객체 거리 추정 테이블(520)을 기반으로 거리가 추정되고, 차량을 기준으로 원거리에서는 객체가 상대적으로 작기 때문에 제1 타입 객체 거리 추정 테이블(510)을 기반으로 거리가 추정될 수 있다. 제1 타입 객체 거리 추정 테이블(510)과 제2 타입 객체 거리 추정 테이블(520)이 사용되는 범위는 소실점(560)의 높이를 기준으로 결정될 수 있다.For example, the distance is estimated based on the second-type object distance estimation table 520 because the object is relatively large at a short distance from the vehicle, and the first-type object is relatively small at a long distance from the vehicle. A distance may be estimated based on the distance estimation table 510 . The range in which the first type object distance estimation table 510 and the second type object distance estimation table 520 are used may be determined based on the height of the vanishing point 560 .

또 다른 예로, 이미지 상의 객체의 밀도를 기반으로 객체가 임계 밀도 이상으로 상대적으로 많은 경우, 제2 타입 객체 거리 추정 테이블(520)이 사용되고, 객체가 임계 밀도 미만으로 상대적으로 적은 경우, 제1 타입 객체 거리 추정 테이블(510)이 사용될 수 있다. 객체의 밀도가 높은 경우, 제1 타입 객체 추정 테이블(510)이 사용된다면, 앞의 객체의 간섭으로 인해 후방의 객체에 대한 거리 추정이 어려울 수 있다. 따라서, 공간을 기반으로 한 대략적인 거리 측정을 위해 , 제2 타입 객체 거리 추정 테이블(520)이 사용될 수 있다.As another example, based on the density of objects on the image, when the number of objects is relatively greater than the critical density, the second type object distance estimation table 520 is used, and when the number of objects is relatively less than the critical density, the first type object distance estimation table 520 is used. An object distance estimation table 510 may be used. When the density of objects is high, if the first type object estimation table 510 is used, it may be difficult to estimate a distance to a rear object due to interference of a front object. Therefore, for approximate spatial distance measurement, the second type object distance estimation table 520 may be used.

도 6은 본 발명의 실시예에 따른 차선 이탈 방법 탐지 방법을 나타낸 개념도이다.6 is a conceptual diagram illustrating a lane departure detection method according to an embodiment of the present invention.

도 6에서는 차선 이탈 판단부에서 차선 이탈 여부를 판단하기 위한 방법이 개시된다.6 discloses a method for determining lane departure in a lane departure determining unit.

도 6을 참조하면, 차선 이탈 판단부는 근접 영역 운행 차선과 영상의 중심에 대한 정보를 기반으로 차선 이탈 여부를 판단할 수 있다. 전술한 바와 같이 근접 영역 운행 차선을 기반으로 차선 너비가 결정되고, 차선 중심이 결정될 수 있다. 만약 영상 중심(610)이 차선 중심(620)을 기준으로 설정된 이탈 범위(630)를 벋어날 경우, 차선 이탈 판단부는 차량이 차선을 이탈하는 것으로 판단할 수 있다.Referring to FIG. 6 , the lane departure determining unit may determine lane departure based on information about a driving lane in a nearby area and the center of an image. As described above, the lane width and the center of the lane may be determined based on the driving lanes in the proximity area. If the center of the image 610 deviates from the departure range 630 set based on the center of the lane 620, the lane departure determining unit may determine that the vehicle departs from the lane.

차량의 경우, 차선을 변경하기 위해서 차선을 변경할 수도 있고, 이러한 경우는 정상적인 차선 변경으로 판단하여 차선 이탈로 판단하지 않을 수 있다.In the case of a vehicle, a lane may be changed in order to change a lane, and in this case, it may be determined as a normal lane change and may not be determined as a lane departure.

차선의 중심이 이탈 범위(630)를 벋어나고 임계 시간 내에 우측 차선이 좌측 차선을 인식되거나, 좌측 차선이 우측 차선으로 인식되면서 영상 중심(610)이 차선 중심(620)을 기준으로 이탈 범위(630) 내에 존재하는 경우, 차선 이탈 판단부는 정상적인 차선의 변경으로 판단하여 차선 이탈로 판단하지 않을 수 있다.When the center of the lane deviated from the departure range 630 and the right lane is recognized as the left lane or the left lane is recognized as the right lane within the critical time, the image center 610 is the departure range 630 based on the lane center 620 ), the lane departure determination unit may not determine lane departure as a normal lane change.

차선 이탈부는 영상 중심(610)이 차선 중심(620)을 기준으로 이탈 범위(630)를 벋어나고 임계 시간이 지나도 영상 중심(610)이 차선 중심(620)을 기준으로 이탈 범위(630)를 벋어나 있는 경우, 차선 이탈 판단부는 차선 이탈로 판단할 수 있다.In the lane departure unit, the center of the image 610 exceeds the departure range 630 based on the center of the lane 620, and the image center 610 exceeds the departure range 630 based on the center of the lane 620 even after a threshold time elapses. If present, the lane departure determination unit may determine lane departure.

도 7은 본 발명의 실시예에 따른 끼어들기 탐지 방법을 나타낸 개념도이다.7 is a conceptual diagram illustrating an intrusion detection method according to an embodiment of the present invention.

도 7에서는 끼어들기 판단부에서 끼어들기르 판단하기 위한 방법이 개시된다.7 discloses a method for determining interruption in an interruption determining unit.

도 7을 참조하면, 끼어들기 판단부는 다른 차량 끼어들기에 대한 판단과 본인 차량 끼어들기에 대한 판단을 수행할 수 있다. 다른 차량 끼어들기에 대한 판단은 객체 거리 추정부의 객체 거리 추정을 기반으로 임계 거리 내에서 차량이 운행 차선으로 들어오는지 여부를 기반으로 수행될 수 있다.Referring to FIG. 7 , the cutting-in determining unit may determine cutting-in of another vehicle and cutting-in of the own vehicle. Determination of another vehicle cut-in may be performed based on whether a vehicle enters the driving lane within a threshold distance based on the object distance estimation of the object distance estimator.

본인 차량 끼어들기에 대한 판단은 차선 이탈 판단부의 차선 이탈과 객체 거리 추정부의 물체 거리 추정을 기반으로 차선을 이탈하고, 임계 거리 내에 다른 차량이 존재하는지 여부를 기반으로 수행될 수 있다.Determination of cutting-in of the principal vehicle may be performed based on the lane departure of the lane departure determining unit and the object distance estimation of the object distance estimating unit, and whether another vehicle exists within the threshold distance.

(1) 다른 차량 끼어들기 판단(1) Determination of another vehicle cutting in

다른 차량의 끼어들기 판단을 위해서 전술한 객체 거리 추정 테이블을 기반으로 임계 거리 내에서 임계 시간 구간 내에 인식되는 경우이다. 즉, 객체 거리 테이블을 기반으로 객체에 대한 거리 인식시 제1 임계 거리 내에서 제1 임계 시간 구간 내에 객체가 인식되는 경우, 다른 차량의 끼어들기로 판단할 수 있다.This is a case where it is recognized within a threshold time interval within a threshold distance based on the above-described object distance estimation table in order to determine another vehicle's cut-in. That is, when recognizing a distance to an object based on the object distance table, if an object is recognized within a first threshold distance and within a first threshold time interval, it may be determined that another vehicle cuts in.

본 발명의 실시예에 따르면, 임계 거리는 제2 타입 객체 거리 추정 테이블을 기반으로 특정 거리 결정 공간 내에 위치하는 경우이다. 제1 임계 거리는 끼어들기로 판단할 특정 거리 결정 공간에 대한 선택을 통해 적응적으로 결정될 수 있다.According to an embodiment of the present invention, the threshold distance is located within a specific distance determination space based on the second type object distance estimation table. The first threshold distance may be adaptively determined through selection of a specific distance determination space to be judged to be cut-in.

(2) 본인 차량 끼어들기 판단(2) Determination of cutting in your vehicle

본인 차량 끼어들기에 대한 판단은 차선 이탈 판단부의 차선 이탈과 객체 거리 추정부의 물체 거리 추정을 기반으로 차선의 이탈 이후, 제2 임계 거리 내에 다른 차량이 존재하는지 여부를 기반으로 수행될 수 있다.Determination of whether the vehicle cuts in may be performed based on whether there is another vehicle within the second threshold distance after lane departure based on the lane departure determination unit and the object distance estimation unit object distance estimation unit.

마찬가지로 본 발명의 실시예에 따르면, 제2 임계 거리는 제2 타입 객체 거리 추정 테이블을 기반으로 특정 거리 결정 공간 내에 위치하는 경우이다. 제2 임계 거리는 끼어들기로 판단할 특정 거리 결정 공간에 대한 선택을 통해 적응적으로 결정될 수 있다.Similarly, according to an embodiment of the present invention, the second threshold distance is located within a specific distance determination space based on the second type object distance estimation table. The second threshold distance may be adaptively determined through selection of a specific distance determination space to be judged to be cut-in.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes generated by a compiler. A hardware device may be modified with one or more software modules to perform processing according to the present invention and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.Although the present invention has been described above with specific details such as specific components and limited embodiments and drawings, these are only provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments, and the present invention Those with ordinary knowledge in the technical field to which the invention belongs may seek various modifications and changes from these descriptions.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments and should not be determined, and all scopes equivalent to or equivalently changed from the claims as well as the claims described below are within the scope of the spirit of the present invention. will be said to belong to

Claims (6)

블랙박스 영상을 기반으로 한 운전자 보조 방법은,
운전자 보조 장치가 근접 영역 운행 차선을 검출하는 단계;
상기 운전자 보조 장치가 상기 근접 영역 운행 차선을 기반으로 객체 거리를 추정하는 단계;
상기 운전자 보조 장치가 차선 이탈을 판단하는 단계; 및
상기 운전자 보조 장치가 끼어들기를 판단하는 단계를 포함하고,
상기 근접 영역 운행 차선은 차량이 현재 운행되고 있는 차선 중 상기 차량과 근접한 임계 영역 내의 차선이고,
상기 객체 거리는 객체 거리 추정 테이블을 기반으로 결정되고,
상기 객체 거리 추정 테이블은 차선 너비 및 소실점의 위치에 따라 영상 내의 위치별 추정 거리에 대한 정보를 포함하고,
상기 차선 너비는 이미지 상의 차량 이미지 하단점과 상기 근접 영역 운행 차선이 만나는 지점을 연결하여 획득되고,
상기 소실점은 상기 근접 영역 운행 차선을 직선으로 연결시에 만나는 지점인 것을 특징으로 하는 운전자 보조 방법.
The driver assistance method based on the black box image,
detecting, by a driver assistance device, a driving lane in a nearby area;
estimating, by the driver assistance device, an object distance based on the driving lane in the proximity area;
determining lane departure by the driver assistance device; and
Determining that the driver assistance device cuts in;
The proximity area operation lane is a lane in a critical area adjacent to the vehicle among lanes in which the vehicle is currently running;
The object distance is determined based on an object distance estimation table,
The object distance estimation table includes information on estimated distances for each position in an image according to a lane width and a vanishing point position,
The lane width is obtained by connecting a lower end point of the vehicle image on the image and a point where the driving lane in the proximity area meets,
Wherein the vanishing point is a point at which the driving lanes in the proximity area meet when a straight line is connected.
제1항에 있어서,
상기 객체 거리 추정 테이블은 제1 타입 객체 거리 추정 테이블 또는 제2 타입 객체 거리 추정 테이블을 포함하고,
상기 제1 타입 객체 거리 추정 테이블은 상기 소실점의 위치, 상기 소실점의 높이에 따라 거리별로 서로 다른 지름을 가지는 동심원이 배치되어 생성된 동심원 기반의 좌표를 사용하여 상기 객체 거리에 대한 추정을 위한 테이블이고,
상기 소실점의 높이는 전체 이미지 길이에서 상기 차량 이미지 하단점의 높이와 상기 차량 이미지 하단점과 상기 소실점 사이의 길이를 뺀 값으로 결정되고,
상기 제2 타입 객체 거리 추정 테이블은 이미지 상에서 소실점을 기반으로 공간을 분할하여 생성된 거리 결정 공간을 기반으로 상기 객체 거리를 추정하도록 생성된 테이블인 것을 특징으로 하는 운전자 보조 방법.
According to claim 1,
The object distance estimation table includes a first type object distance estimation table or a second type object distance estimation table,
The first type object distance estimation table is a table for estimating the object distance using coordinates based on concentric circles generated by arranging concentric circles having different diameters for each distance according to the position of the vanishing point and the height of the vanishing point, and ,
The height of the vanishing point is determined by subtracting the height of the lower end of the vehicle image and the length between the lower end of the vehicle image and the vanishing point from the total image length;
The second type object distance estimation table is a table generated to estimate the object distance based on a distance determination space generated by dividing a space based on a vanishing point on an image.
제2항에 있어서,
상기 제1 타입 객체 거리 추정 테이블을 기반으로 상기 객체 거리를 결정하기 위해 동심원의 지름은 상대적으로 상기 차량에 가까울수록 상대적으로 커지고, 배치되는 동심원은 상기 차량에서 멀어질수록 조밀해지고, 동심원의 밀도는 소실점에 따라 결정되고,
상기 제2 타입 객체 거리 추정 테이블을 기반으로 상기 객체 거리를 결정하기 위해 상대적으로 가까운 거리의 경우, 상대적으로 넓은 면적의 거리 결정 공간이 동일한 거리로 추정되고, 상대적으로 먼 거리의 경우, 상대적으로 좁은 면적의 거리 결정 공간이 동일한 거리로 추정되고, 상기 거리 결정 공간의 면적은 상기 소실점을 기준으로 결정되는 것을 특징으로 하는 운전자 보조 방법.
According to claim 2,
In order to determine the object distance based on the first type object distance estimation table, the diameter of the concentric circles becomes relatively larger as they are relatively closer to the vehicle, and the concentric circles to be arranged become denser as they are further from the vehicle, and the density of the concentric circles is determined by the vanishing point,
In order to determine the object distance based on the second type object distance estimation table, in the case of a relatively short distance, a distance determination space of a relatively large area is estimated as the same distance, and in the case of a relatively long distance, a relatively narrow A driver assistance method, characterized in that a distance determination space of an area is estimated as the same distance, and an area of the distance determination space is determined based on the vanishing point.
블랙박스 영상을 기반으로 한 운전자 보조하는 운전자 보조 장치는,
근접 영역 운행 차선을 검출하고,
상기 근접 영역 운행 차선을 기반으로 객체 거리를 추정하고,
차선 이탈을 판단하고,
끼어들기를 판단하도록 구현되되,
상기 근접 영역 운행 차선은 차량이 현재 운행되고 있는 차선 중 상기 차량과 근접한 임계 영역 내의 차선이고,
상기 객체 거리는 객체 거리 추정 테이블을 기반으로 결정되고,
상기 객체 거리 추정 테이블은 차선 너비 및 소실점의 위치에 따라 영상 내의 위치별 추정 거리에 대한 정보를 포함하고,
상기 차선 너비는 이미지 상의 차량 이미지 하단점과 상기 근접 영역 운행 차선이 만나는 지점을 연결하여 획득되고,
상기 소실점은 상기 근접 영역 운행 차선을 직선으로 연결시에 만나는 지점인 것을 특징으로 하는 운전자 보조 장치.
A driver assistance device that assists a driver based on a black box image,
Detecting a driving lane in the proximity area,
Estimating an object distance based on the proximity area driving lane;
Assess lane departure,
It is implemented to determine interruption,
The proximity area driving lane is a lane in a critical area proximate to the vehicle among lanes in which the vehicle is currently driving;
The object distance is determined based on an object distance estimation table,
The object distance estimation table includes information on estimated distances for each location in an image according to a lane width and a vanishing point location,
The lane width is obtained by connecting a lower end point of the vehicle image on the image and a point where the driving lane in the proximity area meets,
The vanishing point is a point at which the driving lanes in the proximity area meet when a straight line is connected.
제4항에 있어서,
상기 객체 거리 추정 테이블은 제1 타입 객체 거리 추정 테이블 또는 제2 타입 객체 거리 추정 테이블을 포함하고,
상기 제1 타입 객체 거리 추정 테이블은 상기 소실점의 위치, 상기 소실점의 높이에 따라 거리별로 서로 다른 지름을 가지는 동심원이 배치되어 생성된 동심원 기반의 좌표를 사용하여 상기 객체 거리에 대한 추정을 위한 테이블이고,
상기 소실점의 높이는 전체 이미지 길이에서 상기 차량 이미지 하단점의 높이와 상기 차량 이미지 하단점과 상기 소실점 사이의 길이를 뺀 값으로 결정되고,
상기 제2 타입 객체 거리 추정 테이블은 이미지 상에서 소실점을 기반으로 공간을 분할하여 생성된 거리 결정 공간을 기반으로 상기 객체 거리를 추정하도록 생성된 테이블인 것을 특징으로 하는 운전자 보조 장치.
According to claim 4,
The object distance estimation table includes a first type object distance estimation table or a second type object distance estimation table,
The first type object distance estimation table is a table for estimating the object distance using coordinates based on concentric circles generated by arranging concentric circles having different diameters for each distance according to the position of the vanishing point and the height of the vanishing point, and ,
The height of the vanishing point is determined by subtracting the height of the lower end of the vehicle image and the length between the lower end of the vehicle image and the vanishing point from the total image length;
The second type object distance estimation table is a table generated to estimate the object distance based on a distance determination space generated by dividing a space based on a vanishing point on an image.
제5항에 있어서,
상기 제1 타입 객체 거리 추정 테이블을 기반으로 상기 객체 거리를 결정하기 위해 동심원의 지름은 상대적으로 상기 차량에 가까울수록 상대적으로 커지고, 배치되는 동심원은 상기 차량에서 멀어질수록 조밀해지고, 동심원의 밀도는 소실점에 따라 결정되고,
상기 제2 타입 객체 거리 추정 테이블을 기반으로 상기 객체 거리를 결정하기 위해 상대적으로 가까운 거리의 경우, 상대적으로 넓은 면적의 거리 결정 공간이 동일한 거리로 추정되고, 상대적으로 먼 거리의 경우, 상대적으로 좁은 면적의 거리 결정 공간이 동일한 거리로 추정되고, 상기 거리 결정 공간의 면적은 상기 소실점을 기준으로 결정되는 것을 특징으로 하는 운전자 보조 장치.
According to claim 5,
In order to determine the object distance based on the first type object distance estimation table, the diameter of the concentric circles becomes relatively larger as they are relatively closer to the vehicle, and the concentric circles to be arranged become denser as they are further from the vehicle, and the density of the concentric circles is determined by the vanishing point,
In order to determine the object distance based on the second type object distance estimation table, in the case of a relatively short distance, a distance determination space of a relatively large area is estimated as the same distance, and in the case of a relatively long distance, a relatively narrow A driver assistance device according to claim 1 , wherein a distance determination space of an area is estimated as the same distance, and an area of the distance determination space is determined based on the vanishing point.
KR1020220135686A 2022-10-20 2022-10-20 Method for driver assistance based on black box image and apparatus for performing the method KR102515683B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220135686A KR102515683B1 (en) 2022-10-20 2022-10-20 Method for driver assistance based on black box image and apparatus for performing the method
JP2023149547A JP2024061627A (en) 2022-10-20 2023-09-14 Driver assistance methods based on drive recorder footage and devices for carrying out these methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220135686A KR102515683B1 (en) 2022-10-20 2022-10-20 Method for driver assistance based on black box image and apparatus for performing the method

Publications (1)

Publication Number Publication Date
KR102515683B1 true KR102515683B1 (en) 2023-03-31

Family

ID=86005653

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220135686A KR102515683B1 (en) 2022-10-20 2022-10-20 Method for driver assistance based on black box image and apparatus for performing the method

Country Status (2)

Country Link
JP (1) JP2024061627A (en)
KR (1) KR102515683B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007030696A (en) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd Method for determining intention of driver to change lane and lane deviation prevention device
JP2021167121A (en) * 2020-04-09 2021-10-21 株式会社Soken Vehicle control device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007030696A (en) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd Method for determining intention of driver to change lane and lane deviation prevention device
JP2021167121A (en) * 2020-04-09 2021-10-21 株式会社Soken Vehicle control device

Also Published As

Publication number Publication date
JP2024061627A (en) 2024-05-07

Similar Documents

Publication Publication Date Title
KR102659054B1 (en) Apparatus and method for controlling running of vehicle
KR102382587B1 (en) Detection and response of sirens
US10255812B2 (en) Method and apparatus for preventing collision between objects
US20200180636A1 (en) Apparatus and method for controlling running of vehicle
US20210276589A1 (en) Method, apparatus, device and computer storage medium for vehicle control
US9937905B2 (en) Side collision avoidance system and method for vehicle
JP5938569B2 (en) Advanced driver support system considering azimuth information and operation method thereof
US20190039613A1 (en) Apparatus and method for changing route of vehicle based on emergency vehicle
CN106985780B (en) Vehicle safety auxiliary system
US10134282B2 (en) On-vehicle tracking control apparatus
JP2021526681A (en) Rider support system and method
KR20190100407A (en) Use of wheel orientation to determine future career
US20190035280A1 (en) Lane change support method and apparatus
US20180137760A1 (en) Monitoring-target-region setting device and monitoring-target-region setting method
JP2004531424A (en) Sensing device for cars
JP7081423B2 (en) Information processing system
CN111796286B (en) Brake grade evaluation method and device, vehicle and storage medium
US9478137B1 (en) Detecting and communicating lane splitting maneuver
JP7362733B2 (en) Automated crowdsourcing of road environment information
KR20170119842A (en) Apparatus and method for controlling autonomous driving vehicle
KR20200040559A (en) Apparatus and method for predicting concurrent lane change vehicle and vehicle including the same
KR102408746B1 (en) Collision risk reduction apparatus and method
KR102279754B1 (en) Method, apparatus, server, and computer program for preventing crash accident
KR102515683B1 (en) Method for driver assistance based on black box image and apparatus for performing the method
WO2019127076A1 (en) Automated driving vehicle control by collision risk map

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant