KR20170133756A - System and Method for Recognizing Cut-in Vehicle on the basis of Monocular Image - Google Patents

System and Method for Recognizing Cut-in Vehicle on the basis of Monocular Image Download PDF

Info

Publication number
KR20170133756A
KR20170133756A KR1020160064950A KR20160064950A KR20170133756A KR 20170133756 A KR20170133756 A KR 20170133756A KR 1020160064950 A KR1020160064950 A KR 1020160064950A KR 20160064950 A KR20160064950 A KR 20160064950A KR 20170133756 A KR20170133756 A KR 20170133756A
Authority
KR
South Korea
Prior art keywords
vehicle
image
motion
lane
ipm
Prior art date
Application number
KR1020160064950A
Other languages
Korean (ko)
Other versions
KR102485318B1 (en
Inventor
윤성원
나용천
이재홍
권구도
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160064950A priority Critical patent/KR102485318B1/en
Publication of KR20170133756A publication Critical patent/KR20170133756A/en
Application granted granted Critical
Publication of KR102485318B1 publication Critical patent/KR102485318B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06K9/00825—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/0057—
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention provides a system and a method for recognizing overtaking and cutting-in vehicles based on a single eye image, which can recognize overtaking and cutting-in vehicles by using a movement component of a single eye image. According to an embodiment of the present invention, the system for recognizing overtaking and cutting-in vehicles comprises: an inverse perspective mapping (IPM) image generation part converting the single eye image captured by front or side cameras of the vehicle into an IPM image; a movement detection part detecting the movement component in a continuous frame of the IPM image; and a collision determination part calculating a longitudinal direction speed and a transverse direction speed from a movement vector of each movement component, and determining the possibility of collision with an object cutting in a driving lane of the vehicle based on either or both the calculated longitudinal direction speed and the transverse direction.

Description

단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법{System and Method for Recognizing Cut-in Vehicle on the basis of Monocular Image}Technical Field [0001] The present invention relates to a monocular image-based overtaking and merging vehicle recognition system and method,

본 발명은 추월 및 합류 차량 검출 기술에 관한 것으로서, 더 구체적으로는 단안 영상을 이용하여 추월 및 합류 차량을 인식할 수 있는 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법에 관한 것이다.More particularly, the present invention relates to a monocular image based overtaking and confluence vehicle recognition system and method capable of recognizing overtaking and confluence vehicles by using a monocular image.

종래의 차량 검출 방법은 차량의 특징점을 추출한 후 기계학습을 기반으로 차량 형태를 검출하는 방식이었다. 그런데, 차량의 전측방이나 전후방에 위치한 차량은 그 모습이 다 보이지 않아 전술한 방식으로 검출되기는 어려웠다.The conventional vehicle detection method is a method of detecting the vehicle type based on the machine learning after extracting the characteristic points of the vehicle. However, since the vehicle located at the front side of the vehicle or at the front and rear of the vehicle is not visible, it is difficult to detect the vehicle in the above-described manner.

한편, 이를 보안할 수 있는 종래의 레이더 기반 차량 검출 방법은 센서의 특성상 측면에서 자차 방향으로 합류하는 합류 차량의 후면 또는 후측면이 노출된 L자 형태의 구조가 파악될 시점에 이르러서야 합류 차량을 인식 가능하였다.Meanwhile, a conventional radar-based vehicle detection method capable of securing it is a method of detecting an L-shaped structure in which a rear surface or a rear surface of a confluence vehicle joining in the direction of the vehicle is exposed in terms of characteristics of the sensor, It was recognizable.

이에, 종래의 레이더 기반 차량 검출 방법은 합류 차량이 끼어들기 이전 시점 또는 끼어드는 순간인 합류 차량의 후면이 보이기 전 시점에는 합류 차량을 인식할 수 없었다.Therefore, the conventional radar-based vehicle detection method can not recognize the confluent vehicle at a time before the confluence vehicle is interrupted or before the rear face of the confluence vehicle, which is the moment of intervention, is visible.

또한, 종래의 차선 인식 기반의 끼어들기 검출 방법은 차선이 미인식된 경우에는 끼어들기를 예측할 수 없었고, 정체 등의 상황과 같이 저속주행 상황에서는 차선 자체를 인식하기 어려운 문제가 있었다.In addition, the conventional lane-recognition-based interrupt detection method can not predict interruption when a lane is not recognized, and it is difficult to recognize a lane itself in a low-speed driving situation such as congestion.

본 발명은 전술한 바와 같은 기술적 배경에서 안출된 것으로서, 단안 영상의 움직임 성분을 이용하여 추월 및 합류 차량을 인식할 수 있는 단안 영상 기반 추월 및 합류 차량 인식 시스템 및 방법을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a monocular image-based overtaking and confluence vehicle recognition system and method capable of recognizing overtaking and confluence vehicles by using motion components of a monocular image.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

본 발명의 일면에 따른 추월 및 합류(Cut-in) 차량 인식 시스템은, 차량 전방 또는 측방 카메라에 의해 촬영된 단안 영상을 IPM(Inverse Perspective Mapping) 영상으로 변환하는 IPM 영상 생성부; 상기 IMP 영상의 연속 프레임에서 움직임 성분을 검출하는 움직임 검출부; 및 각 움직임 성분의 움직임 벡터에서 종방향 속도와 횡방향 속도를 계산하고, 계산된 상기 종방향 속도와 횡방향 속도 중 적어도 하나를 기반으로 차량의 주행차선으로 끼어드는 대상물체와의 충돌 가능성을 판정하는 충돌 판정부를 포함하는 것을 특징으로 한다.An overtaking and cut-in vehicle recognition system according to an aspect of the present invention includes an IPM image generation unit for converting a monocular image photographed by a vehicle front or side camera into an IPM (Inverse Perspective Mapping) image; A motion detector for detecting motion components in successive frames of the IMP video; And calculating a longitudinal velocity and a lateral velocity in a motion vector of each motion component and determining a possibility of collision with a target object interfering with the driving lane of the vehicle based on at least one of the calculated longitudinal velocity and lateral velocity And a collision judging unit for judging whether or not the collision has occurred.

본 발명의 다른 면에 따른 적어도 하나의 프로세서에 의한 추월 및 합류 차량 인식 방법은, 차량 전방 또는 측방 카메라에 의해 촬영된 단안 영상을 IPM(Inverse Perspective Mapping) 영상으로 변환하는 단계; 상기 IMP 영상의 연속 프레임에서 움직임 성분을 검출하는 단계; 각 움직임 성분의 움직임 벡터에서 종방향 속도와 횡방향 속도를 계산하는 단계; 및 계산된 상기 종방향 속도와 횡방향 속도 중 적어도 하나를 기반으로 차량의 주행차선으로 끼어드는 대상물체와의 충돌 가능성을 판정하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for recognizing an overtaking and joining vehicle by at least one processor, comprising: converting a monocular image photographed by a vehicle front or a side camera into an IPM (Inverse Perspective Mapping) image; Detecting a motion component in successive frames of the IMP image; Calculating longitudinal and lateral velocities in a motion vector of each motion component; And determining the possibility of collision with the object to be interposed in the driving lane of the vehicle based on at least one of the computed longitudinal velocity and lateral velocity.

본 발명에 따르면, 영상의 움직임 성분을 이용하여 자차의 주행차선으로 진입 시도하는 차량을 검출할 수 있다.According to the present invention, it is possible to detect a vehicle that attempts to enter a driving lane of a vehicle using motion components of an image.

도 1은 본 발명의 실시예에 따른 추월 및 합류 차량 인식 시스템을 도시한 구성도.
도 2는 본 발명의 실시예에 따른 IPM 영상 및 보정 영상을 도시한 사진.
도 3은 본 발명의 실시예에 따른 움직임 벡터 및 종/횡방향 속도를 설명하기 위한 도면.
도 4는 본 발명의 실시예에 따른 추월 및 합류 차량 인식 방법을 도시한 흐름도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a configuration diagram showing an overtaking and confluence vehicle recognition system according to an embodiment of the present invention; FIG.
2 is a photograph showing an IPM image and a correction image according to an embodiment of the present invention.
3 is a diagram for explaining motion vectors and longitudinal / transverse velocities according to an embodiment of the present invention.
4 is a flowchart illustrating a method of recognizing overtaking and confluence vehicles according to an embodiment of the present invention.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, advantages and features of the present invention and methods of achieving them will be apparent from the following detailed description of embodiments thereof taken in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. As used herein, the terms " comprises, " and / or "comprising" refer to the presence or absence of one or more other components, steps, operations, and / Or additions.

이제 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 추월 및 합류 차량 인식 시스템을 도시한 구성도이고, 도 2는 본 발명의 실시예에 따른 IPM 영상 및 보정 영상을 도시한 사진이며, 도 3은 본 발명의 실시예에 따른 움직임 벡터 및 종/횡방향 속도를 설명하기 위한 도면이다.Embodiments of the present invention will now be described in detail with reference to the accompanying drawings. FIG. 1 is a configuration diagram showing an overtaking and confluence vehicle recognition system according to an embodiment of the present invention. FIG. 2 is a photograph showing an IPM image and a corrected image according to an embodiment of the present invention. Fig. 8 is a diagram for explaining motion vectors and longitudinal / transverse velocities according to an embodiment. Fig.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 추월 및 합류 차량 인식 시스템(10)은 제1 영상 획득부(111), 제1 움직임 검출부(121), 유효성 판정부(130), 제2 영상 획득부(112), IPM 영상 생성부(140), 차선 인식부(150), 회전 보정부(160), 제2 움직임 검출부(122), 차선기반 충돌판정부(170), 움직임기반 충돌판정부(180) 및 경보부(190)를 포함한다.1, the overtaking and confluence vehicle recognition system 10 according to the embodiment of the present invention includes a first image acquiring unit 111, a first motion detecting unit 121, a validity determining unit 130, 2, the lane recognition unit 150, the rotation correction unit 160, the second motion detection unit 122, the lane-based collision determination unit 170, the motion-based collision detection unit 140, A determination section 180 and an alarm section 190.

제1 영상 획득부(111)는 본 발명에 따른 추월 및 합류 차량 인식 시스템(10)이 장착된 차량의 전방 영상을 획득한다. 이때, 제1 영상 획득부(111)는 차량 전방 등에 장착되어 차량 전방을 촬영하는 단안 카메라일 수 있으며, 해당 단안 카메라로부터 영상을 획득하는 수신수단일 수도 있다. 본 명세서에서는 제1 영상 획득부(111)가 단안 카메라인 경우를 예로 들어 설명한다.The first image acquiring unit 111 acquires the forward image of the vehicle equipped with the overtaking and confluence vehicle recognition system 10 according to the present invention. In this case, the first image obtaining unit 111 may be a monocular camera mounted on a vehicle front or the like and photographing the front of the vehicle, or may be a receiving means for obtaining images from the monocular camera. In the present specification, the case where the first image obtaining unit 111 is a monocular camera will be described as an example.

제1 움직임 검출부(121)는 제1 영상 획득부(111)에 의해 획득된 영상의 연속 프레임에서 움직임 성분을 검출한다.The first motion detecting unit 121 detects a motion component in a continuous frame of the image acquired by the first image acquiring unit 111.

이때, 제1 움직임 검출부(121)는 영상 프레임의 일부 영역 예컨대, 관심영역(ROI; Region Of Interest)만을 추출하고, 관심영역 내에서 광학 플로우를 산출하거나, 두 인접 영상 간의 차이를 통해 움직임 성분을 검출할 수 있다. 예컨대, 관심영역은 차량의 좌측방 영역 또는 우측방 영역일 수 있다.At this time, the first motion detecting unit 121 extracts only a part of the image frame, for example, a region of interest (ROI), calculates an optical flow in the ROI, Can be detected. For example, the area of interest may be the left room area or the right room area of the vehicle.

이에 따라, 본 발명에서는 움직임 성분을 고속으로 계산할 수 있다. 이하의 명세서에서는 제1 움직임 검출부(121)가 관심영역에 대해서만 움직임 성분을 검출하는 경우를 예로 들어 설명한다.Accordingly, the motion component can be calculated at high speed in the present invention. In the following description, the case where the first motion detector 121 detects a motion component only in a region of interest will be described as an example.

유효성 판정부(130)는 검출된 관심영역의 움직임 성분을 입력 받으면, 해당 움직임 성분이 유효한 움직임 성분인지를 확인한다. 여기서, 유효한 움직임 성분은 자차와 가깝거나, 추월 또는 합류 시도중인 차량임이 유력한 움직임 성분일 수 있다.Upon receiving the detected motion component of the ROI, the validity determination unit 130 determines whether the corresponding motion component is a valid motion component. Here, the effective motion component may be a motional component that is close to the vehicle, or is a vehicle that is trying to overtake or merge.

이때, 유효성 판정부(130)는 관심영역에서 기설정된 일정면적 내 움직임 성분의 개수로 유효성 움직임 성분 여부를 판정할 수 있다. 더 상세하게는, 유효성 판정부(130)는 움직임 성분이 일정면적 내 기설정된 임계개수 이상 존재하면, 유효 움직임인 것으로 판정할 수 있다.At this time, the validity determination unit 130 may determine whether the valid motion component is a predetermined number of motion components within a predetermined area in the region of interest. More specifically, the validity determination unit 130 can determine that the motion is valid if the motion component is present in a predetermined area within a predetermined threshold number or more.

부가적으로, 유효성 판정부(130)는 움직임 성분이 존재하는 영역 또는 관심차선(좌측방, 우측방) 내 주기적인 컬러 변화를 인식하면, 움직임 성분이 유효 움직임인 것으로 판정할 수 있다. 참조로, 차량의 사이드 미러 또는 방향지시등은 등화 시에 주기적으로 점등 및 점멸되는 특징이 있으므로, 본 발명에서는 이러한 특징을 이용하여 유효 움직임을 판정할 수 있다. Additionally, the validity determination unit 130 can determine that the motion component is a valid motion when recognizing the periodic color change in the area where the motion component exists or in the interest lanes (the left room and the right room). For reference, since the side mirrors or the turn signal lamps of the vehicle are periodically turned on and blinking at the time of equalization, the present invention can determine the effective motion using this feature.

유효성 판정부(130)는 검출된 움직임 성분이 유효한 움직임인 것으로 판정하면, 경보부(190)를 통해 주변 차량 접근을 1차 경보할 수 있다.If the validity determination unit 130 determines that the detected motion component is a valid motion, it can first alarm the access to the nearby vehicle through the alarm unit 190.

제2 영상 획득부(112)는 본 발명에 따른 추월 및 합류 차량 인식 시스템(10)이 장착된 차량의 전방 영상, 좌측방 또는 우측방 영상을 획득한다. The second image acquiring unit 112 acquires a forward image, a left-side room, or a right-side image of a vehicle equipped with the overtaking and confluence vehicle recognition system 10 according to the present invention.

이때, 제2 영상 획득부(112)는 차량 전방, 좌측방 또는 우측방에 장착되어 차량 전방, 좌측방 또는 우측방을 촬영하는 단안 카메라일 수 있으며, 해당 단안 카메라로부터 영상을 획득하는 수신수단일 수도 있다. 본 명세서에서는 제2 영상 획득부(112)가 단안 카메라인 경우를 예로 들어 설명한다.Here, the second image acquiring unit 112 may be a monocular camera that is mounted in the front, left, or right side of the vehicle and photographs the front, left, or right side of the vehicle, and may be a receiving means It is possible. In this specification, the case where the second image acquiring unit 112 is a monocular camera will be described as an example.

이러한, 제2 영상 획득부(112)가 제1 영상 획득부(111)와 동일한 방향의 영상을 획득하는 경우에 제2 영상 획득부(112)는 제1 영상 획득부(111)로 통합될 수 있다.When the second image acquiring unit 112 acquires an image in the same direction as the first image acquiring unit 111, the second image acquiring unit 112 may be integrated into the first image acquiring unit 111 have.

IPM 영상 생성부(140)는 제1 영상 획득부(111)로부터의 전방 영상 또는 제2 영상 획득부(112)로부터의 전방, 우측방 또는 좌측방 영상을 각기 IPM(Inverse Perspective Mapping) 영상으로 변환한다. 여기서, IPM 영상 생성부(140)는 1차로 움직임 정보가 검출되는 관심영역이 아닌 영상 프레임의 전체 영역을 대상으로 하여 IPM 영상을 생성할 수 있다.The IPM image generating unit 140 converts a forward image from the first image obtaining unit 111 or a forward image, a right image, or a left image from the second image obtaining unit 112 into an IPM (Inverse Perspective Mapping) do. Here, the IPM image generating unit 140 may generate an IPM image based on an entire region of an image frame, which is not a region of interest in which motion information is primarily detected.

이때, IPM 영상 생성부(140)는 카메라의 내부(Intrinsic) 파라미터와 외부(extrinsic) 파라미터를 바탕으로 IPM 변환을 수행한 결과, 탑뷰(TOP-View) 영상인 IPM 영상을 생성할 수 있다.At this time, the IPM image generating unit 140 may generate an IPM image, which is a top-view image, as a result of performing IPM conversion based on an intrinsic parameter and an extrinsic parameter of the camera.

차선 인식부(150)는 IPM 영상 상의 직선의 성분을 이용하여 IPM 영상으로부터 차선을 인식한다. 참고로, 자차와 측방 차량은 차선을 변경하지 않는 경우에도 매 순간 정확히 평형을 이루는 것이 아니라, 미세하게 가까워지거나 멀어지는 것을 반복한다. 그런데 이러한 경우마다 접근경보가 발생하면, 운전자의 운전에 오히려 방해될 수 있으므로, 본 발명에서는 충돌이 우려되는 상황을 좀 더 확실히 판단하기 위해 차선 인식을 수행한다.The lane recognition unit 150 recognizes the lane from the IPM image using the component of the straight line on the IPM image. For reference, even if the vehicle does not change the lane, the vehicle and the side vehicle do not exactly equilibrate each moment but repeat the approach of getting closer or farther away. However, in such a case, when an approach alarm occurs, it may interfere with the operation of the driver. Therefore, in the present invention, the lane recognition is performed to more reliably determine a situation in which a collision is likely to occur.

회전 보정부(160)는 IPM 영상 생성에 사용된 영상을 제공하는 제1 또는 제2 영상 획득부(111, 112)의 중심(도 2의 붉은색 점)을 회전중심으로 하여 차량의 주행방향과 IPM 영상으로부터 인식된 차선과 평행하도록 IPM 영상을 회전시켜 보정 영상을 생성한다.The rotation correcting unit 160 corrects the rotation direction of the vehicle based on the center of rotation (the red dot in FIG. 2) of the first or second image acquiring unit 111 or 112 providing the image used for IPM image generation, The IPM image is rotated so as to be parallel to the lane recognized from the IPM image to generate a corrected image.

예를 들면, IPM 영상 상의 차선은 도 2의 왼쪽 사진과 같이, 차량의 진행방향과 소정각도(θ)만큼 좌측으로 기울어져 있을 수 있다. For example, the lane on the IPM image may be tilted to the left by a predetermined angle? With respect to the traveling direction of the vehicle, as shown in the left photograph of FIG.

이 경우, 회전 보정부(160)는 IPM 영상을 우측으로 소정각도(θ)만큼 회전시키는 보정을 수행하여 도 2의 오른쪽 사진과 같은 보정 영상을 생성한다.In this case, the rotation correction unit 160 performs correction to rotate the IPM image to the right by a predetermined angle? To generate a correction image as shown in the right photograph of FIG.

이때, 회전 보정부(160)는 원 영상(x, y)의 각 화소를 하기의 수학식 1에 의해 산출된 위치(x', y')로 이동 배치함에 따라 회전 보정을 수행하여 보정 영상(도 2의 오른쪽 사진)을 출력할 수 있다.At this time, the rotation correction unit 160 performs rotation correction by moving each pixel of the original image (x, y) to the position (x ', y') calculated by the following equation (1) 2) can be output.

Figure pat00001
Figure pat00001

그런데, 도로 곡률, 경사 또는 운전행동 등으로 차량이 주행중인 자차의 주행차선에 순간적으로 평행을 이루지 못하는 경우 등에는 차선 인식부(150)가 차선을 인식하지 못할 수 있다. 이러한 경우에, 회전 보정부(160)는 이전에 인식된 차선과 차량의 조향정보를 기반으로 차선 위치를 판단할 수 있다. 이때, 차선 인식 기술은 종래 기술로부터 도출 가능한 구성이므로, 더 세부적인 설명은 생략하기로 한다.However, the lane recognition unit 150 may not recognize the lane in a case where the vehicle is not parallel to the driving lane of the driving vehicle due to the curvature of road, inclination, driving behavior, or the like. In this case, the rotation correction unit 160 can determine the lane position based on the previously recognized lane and the steering information of the vehicle. At this time, since the lane recognition technology can be derived from the conventional technology, a detailed description will be omitted.

예를 들어, 회전 보정부(160)는 차선 및 차량 폭 중 적어도 하나를 기반으로 차선을 표현하는 직선의 x 값인 n1, n2을 결정할 수 있다(도 2의 오른쪽 사진 참조).For example, the rotation correction unit 160 can determine n 1 , n 2 , which is the x value of the straight line expressing the lane based on at least one of the lane and vehicle width (see the right picture of FIG. 2).

다시 도 1로 돌아가서, 제2 움직임 검출부(122)는 보정 영상의 연속 프레임에서 움직임 성분을 검출한다. 이때, 제2 움직임 검출부(122)는 제1 움직임 검출부(121)에 의해 산출된 유효 움직임 성분을 보정 영상 위에 투영시켜 추가적인 움직임 정보로 이용할 수도 있다.Referring back to FIG. 1, the second motion detector 122 detects motion components in successive frames of the corrected image. At this time, the second motion detecting unit 122 may project the valid motion component calculated by the first motion detecting unit 121 on the corrected image to use as additional motion information.

이러한, 제2 움직임 검출부(122)는 제1 움직임 검출부(121)와 동일 구성요소일 수도 있다.The second motion detection unit 122 may be the same component as the first motion detection unit 121.

차선기반 충돌판정부(170)는 제2 움직임 검출부(122)에 의해 검출된 움직임 성분을 이용하여 자차의 주행차선 내로 추월 및 합류하려는 차량이 존재하는지를 확인한다.The lane-based collision determining unit 170 determines whether there is a vehicle that will overtake and merge into the driving lane of the vehicle using the motion component detected by the second motion detecting unit 122. [

차선기반 충돌판정부(170)는 검출된 움직임 성분에 따른 움직임 벡터 중에서 차량 좌측방에 존재하는 움직임 벡터의 x좌표가 보정 영상으로부터 인식된 차량의 주행차선의 좌측 차선의 x좌표보다 큰 좌측방 차량이 끼어들기 상황인지를 확인한다. 또한, 차선기반 충돌판정부(170)는 검출된 움직임 성분 중에서 차량 우측방에 존재하는 움직임 벡터의 x좌표가 보정 영상으로부터 인식된 차량의 주행차선의 우측 차선의 x좌표보다 작은 우측방 차량의 끼어들기 상황이 발생하는지를 확인한다.The lane-based collision determining unit 170 determines that the x-coordinate of the motion vector existing in the left-hand side of the vehicle is greater than the x-coordinate of the left lane of the vehicle's driving lane recognized from the corrected image, Confirm whether or not this is an interruption situation. The lane-based collision determining unit 170 determines that the x-coordinate of the motion vector existing in the right-hand side of the vehicle among the detected motion components is smaller than the x-coordinate of the right lane of the driving lane of the vehicle recognized from the corrected image, Check whether the lifting situation occurs.

좌측방 차량 또는 우측방 차량의 끼어들기 상황임을 확인하면, 차선기반 충돌판정부(170)는 경보부(190)를 통해 차량 접근을 2차 경보 한다.Based collision determining unit 170 alerts the vehicle approaching through the alarm unit 190. When the collision determination unit 170 determines that the collision of the left vehicle or the right vehicle is interrupted,

움직임기반 충돌판정부(180)는 각 움직임 벡터에서 종방향 속도와 횡방향 속도를 계산하고, 종방향 속도와 횡방향 속도 중 적어도 하나를 기반으로 자차의 주행차선으로 끼어드는 대상물체와의 충돌 가능성을 판정한다.Based on at least one of the longitudinal velocity and the lateral velocity, the motion-based collision determining unit 180 calculates the longitudinal velocity and the lateral velocity at each motion vector, and determines the possibility of collision with the object to be interrupted by the driving lane of the car .

구체적으로, 도 3을 참조하면, 움직임기반 충돌판정부(180)는 제2 움직임 검출부(122)에서 검출된 움직임 벡터

Figure pat00002
를 x, y 성분으로 분해하고, 하기의 수학식 2를 이용하여 종방향 속도 Vy와 횡방향 속도 Vx를 계산한다.Referring to FIG. 3, the motion-based collision determining unit 180 determines a motion vector
Figure pat00002
Is decomposed into x and y components, and the longitudinal velocity Vy and the lateral velocity Vx are calculated using the following equation (2).

Figure pat00003
Figure pat00003

Figure pat00004
Figure pat00004

만약, 횡방향 속도가 기설정된 기준속도 이상이면, 움직임기반 충돌판정부(180)는 경보 출력 및 차량 감속 제어 중 적어도 하나를 지시한다. 구체적으로, 횡방향 속도 Vx가 기설정된 기준속도(Vth) 이상이면, 자차가 지나가기 전에 측방 차량이 자차로에 진입하여 충돌이 예상되므로, 3차 경보 및 긴급 감속 제어 중 적어도 하나를 지시할 수 있다.If the lateral velocity is greater than or equal to the predetermined reference velocity, the motion-based collision determination unit 180 indicates at least one of the alarm output and the vehicle deceleration control. Specifically, if the lateral speed Vx is equal to or greater than the predetermined reference speed Vth, the side vehicle enters the self-vehicle before the vehicle passes, and a collision is expected. Therefore, at least one of the third alarm and the emergency deceleration control have.

이때, 기준속도는 자차 속도와 측방 차량의 종방향 속도를 TTC(Time to Correlation)에 기반해 고려하여 측방 차량이 자차에 부딪힐지 여부를 판단할 수 있는 기준치로서, 실험적으로 결정될 수 있다.In this case, the reference speed can be experimentally determined as a reference value that can determine whether the side vehicle hits the vehicle by considering the vehicle speed and the longitudinal speed of the side vehicle based on TTC (Time to Correlation).

감속 제어를 수행하는 경우, 움직임기반 충돌판정부(180)는 종방향 속도 Vy를 기반으로 감속 제어를 위한 감속 양을 결정할 수 있다. 예를 들어, 움직임기반 충돌판정부(180)는 차량 속도가 종방향 속도 이하가 되도록 감속 양을 결정할 수 있다.When performing the deceleration control, the motion-based collision determination unit 180 can determine the amount of deceleration for deceleration control based on the longitudinal speed Vy. For example, the motion-based collision determination unit 180 may determine the amount of deceleration such that the vehicle speed is less than the longitudinal speed.

또는, 횡방향 속도가 기설정된 기준속도 미만이면, 움직임기반 충돌판정부(180)는 2차 경보의 출력 여부에 따라 별도의 제어 지시를 하지 않거나, 충돌 방지를 위한 제어를 지시한다Alternatively, if the lateral velocity is less than the predetermined reference velocity, the motion-based collision determining unit 180 does not issue a separate control instruction according to whether the secondary alarm is output or instructs the control to prevent collision

구체적으로, 횡방향 속도가 기설정된 기준속도 미만이면, 움직임기반 충돌판정부(180)는 차선기반 충돌판정부(170)에 의해 2차 경보가 지시되었는지를 확인한다.Specifically, if the lateral velocity is less than the predetermined reference velocity, the motion-based collision determination unit 180 confirms whether the second-order alarm is indicated by the lane-based collision determination unit 170. [

확인결과, 2차 경고가 지시되었으면, 움직임기반 충돌판정부(180)는 차량 감속 제어, 경보 제어 및 차선 변경 제어 중 적어도 하나를 지시한다. 더 상세하게는, 횡방향 속도가 기설정된 기준속도 미만이면서, 이전에 2차 경고가 지시된 경우는 측방 차량이 이미 자차의 주행차선으로 진입했지만, 자차 전방으로 천천히 진입하여 자차와의 충돌이 예상되는 경우이다. 이에, 움직임기반 충돌판정부(180)는 자차에 대한 완만한 감속 제어 또는 진입하는 측방 차량의 반대쪽 차선으로 차선 변경을 지시하면서 경보부(190)를 통한 3차 경고를 지시할 수 있다.If it is determined that the secondary warning has been issued, the motion-based collision determination unit 180 indicates at least one of the vehicle deceleration control, the alarm control, and the lane-changing control. More specifically, when the lateral speed is less than the predetermined reference speed and the secondary warning is instructed before, the side vehicle has already entered the driving lane of the vehicle, but the vehicle slowly enters the front side of the vehicle, . Accordingly, the motion-based collision determining unit 180 can instruct the third warning through the alarm unit 190 by instructing the slow deceleration control for the vehicle or the lane change to the opposite lane of the entering side vehicle.

반면, 2차 경고가 지시되지 않았으면, 움직임기반 충돌판정부(180)는 별다른 제어(감속, 경보 및 차선 변경)를 수행하지 않을 수 있다.On the other hand, if the secondary warning is not instructed, the motion-based collision determination unit 180 may not perform any other control (deceleration, alarm, and lane change).

경보부(190)는 스피커, 부저 등의 소리를 출력하는 구성요소로서, 유효성 판정부, 차선기반 충돌판정부(170) 및 움직임기반 충돌판정부(180) 중 적어도 하나의 지시에 따라 운전자에게 소리로 위험을 경보한다. 또는, 경보부(190)는 화면(Display)이나, 햅틱(Haptic)일 수도 있다.The alarm unit 190 is a component for outputting sounds of a speaker, a buzzer, etc. and outputs sound to the driver in accordance with instructions from at least one of the validity determination unit, the lane-based collision determination unit 170, Warn of danger. Alternatively, the alarm unit 190 may be a display or a haptic.

이와 같이, 본 발명의 실시예는 측방 차량이 자차의 차선으로 진입시도하기 전에 추월 및 합류 차량을 감지할 수 있어, 끼어들기로 인한 사고 발생률을 현저하게 낮출 수 있다.As described above, the embodiment of the present invention can detect overtaking and confluence vehicles before the side vehicle attempts to enter the lane of the vehicle, thereby significantly reducing the incidence of accidents due to interruption.

또한, 본 발명의 실시예는 추월 및 합류 차량을 감지하면, 경보는 물론, 감속 제어나 차선 변경 제어 등의 적극적인 제어를 수행할 수 있도록 지원하여 운전자의 주의 부족 시에도 사고를 방지할 수 있다.In addition, when the overtaking and confluence vehicles are sensed, the embodiment of the present invention can actively control not only the alarm but also the deceleration control and the lane change control, thereby preventing the accident even when the driver's attention is lacking.

그뿐만 아니라, 본 발명의 실시예는 단안 영상을 이용하여 끼어들기 시도하는 차량을 감지할 수 있어, 스테레오 카메라, 라이더(Lidar) 또는 레이더(Radar) 등의 추가 센서 설치 등에 소요되는 비용과 노력을 절감할 수 있다.In addition, the embodiment of the present invention can detect a vehicle attempting to intercept using a monocular image, and it is possible to reduce the cost and effort required for installation of additional sensors such as a stereo camera, a lidar or a radar Can be saved.

이하, 도 4를 참조하여 본 발명의 실시예에 따른 추월 및 합류 차량 인식 방법에 대하여 설명한다. Hereinafter, a method of recognizing overtaking and confluence vehicles according to an embodiment of the present invention will be described with reference to FIG.

도 4를 참조하면, 제1 영상 획득부(111)는 차량 전방을 촬영하여 영상 프레임을 생성한다(S400).Referring to FIG. 4, the first image obtaining unit 111 photographs the front of the vehicle and generates an image frame (S400).

제1 움직임 검출부(121)는 제1 영상 획득부(111)로부터의 연속 영상 프레임을 입력받아, 움직임 성분을 검출한다(S410). 이때, 제1 움직임 검출부(121)는 각 영상 프레임에서 관심영역(예컨대, 좌측방 또는 우측방)을 지정하여 해당 관심영역에 대해서만 움직임 성분을 검출할 수 있다.The first motion detecting unit 121 receives the continuous image frame from the first image obtaining unit 111 and detects a motion component (S410). At this time, the first motion detecting unit 121 can detect a motion component only for a region of interest by designating a region of interest (e.g., a left room or a right room) in each image frame.

유효성 판정부(130)는 관심영역 내 유효한 움직임이 존재하는지를 확인한다(S420).The validity determination unit 130 determines whether there is a valid motion in the region of interest (S420).

이때, 유효성 판정부(130)는 관심영역 내 주기적인 색 변화가 발생하는지를 인지할 수 있다. 또는, 유효성 판정부(130)는 관심영역 내 일정수 이상의 움직임이 있으면 유효 움직인 것으로 판단할 수 있다.At this time, the validity determination unit 130 may recognize whether periodic color change occurs in the region of interest. Alternatively, the validity determination unit 130 may determine that there is more than a predetermined number of movements in the region of interest to be effective.

여기서, 유효성 판정부(130)는 관심영역 내 유효한 움직임을 감지하면, 경보부(190)를 통해 주변 차량 접근을 1차 경보할 수 있다(S510).Here, when the validity determining unit 130 senses valid motion in the area of interest, the approaching vehicle can be firstly alarmed through the alarm unit 190 (S510).

이후, 제2 영상 획득부(112)는 차량 전방 또는 차량 좌 또는 우 측방을 촬영하여 좌 측방 또는 우 측방 영상 프레임을 생성한다(S430).Thereafter, the second image acquiring unit 112 generates a left side or right side image frame by photographing the front side of the vehicle or the left or right side of the vehicle (S430).

이때, 제2 영상 획득부(112)가 제1 영상 획득부(111)와 마찬가지로 차량 전방을 촬영하는 경우, 제2 영상 획득부(112)는 제1 영상 획득부(111)로 대체될 수 있다.The second image acquiring unit 112 may be replaced with the first image acquiring unit 111 when the second image acquiring unit 112 photographs the front of the vehicle as in the first image acquiring unit 111 .

IPM 영상 생성부(140)는 제2 영상 획득부(112)에 의해 생성된 각 영상 프레임에 대한 IPM 영상으로 변환한다(S440).The IPM image generating unit 140 converts the IPM image into an IPM image for each image frame generated by the second image obtaining unit 112 (S440).

이어서, 회전 보정부(160)는 일 차선의 중심을 기준으로 IPM 영상을 회전시켜, 보정 영상 상에 차선이 그 수직축과 평행하도록 보정 영상을 생성한다(S450). Then, the rotation correction unit 160 rotates the IPM image based on the center of the single lane, and generates a corrected image so that the lane on the corrected image is parallel to the vertical axis (S450).

제2 움직임 검출부(122)는 보정 영상의 연속 프레임으로부터 움직임 성분을 검출한다(S460). 이때, 제2 움직임 검출부(122)는 제1 움직임 검출부(121)에 의해 검출된 유효 움직임을 보정 영상 위로 투영시켜 추가적인 움직임 정보로 사용할 수도 있다.The second motion detector 122 detects a motion component from a continuous frame of the corrected image (S460). At this time, the second motion detecting unit 122 may project the valid motion detected by the first motion detecting unit 121 onto the corrected image to use as additional motion information.

차선기반 충돌판정부(170)는 2차로 추출된 움직임 성분에서 자차의 좌측 차선 및 자차의 우측 차선 중 적어도 하나의 방향으로 자차의 주행차선에의 진입 시도가 있는지를 확인한다(S470).The lane-based collision determining unit 170 determines whether there is an attempt to enter the driving lane of the car in the direction of at least one of the left lane of the car and the right lane of the car in the second-extracted motion component (S470).

자차의 주행차선에의 진입 시도의 존재 여부에 상관없이, 움직임기반 충돌판정부(180)는 전체 움직임 성분의 움직임 벡터를 검출하고, 각 움직임 벡터의 횡/종방향 속도를 계산한다(S480).The motion-based collision determining unit 180 detects the motion vector of the entire motion component and calculates the lateral / longitudinal velocity of each motion vector (S480), irrespective of whether there is an entry attempt of the vehicle in the driving lane.

이어서, 움직임기반 충돌판정부(180)는 계산된 횡방향 속도가 기설정된 기준속도 이상인지를 확인한다(S490).Subsequently, the motion-based collision determining unit 180 determines whether the calculated lateral velocity is equal to or greater than a preset reference velocity (S490).

계산된 횡방향 속도가 기준속도 이상이면, 움직임기반 충돌판정부(180)는 감속 제어를 수행한다(S500). 이때, 움직임기반 충돌판정부(180)는 경보부(190)에 3차 경고를 지시할 수 있다(S510).If the calculated lateral speed is equal to or greater than the reference speed, the motion-based collision determining unit 180 performs deceleration control (S500). At this time, the motion-based collision determining unit 180 may instruct the warning unit 190 to issue a third warning (S510).

반면, 계산된 횡방향 속도가 기준속도 미만이면, 움직임기반 충돌판정부(180)는 자차의 주행차선에의 진입 시도가 있었는지 여부에 따라 감속 제어를 수행하거나, 별다른 제어를 수행하지 않을 수 있다.On the other hand, if the calculated lateral velocity is less than the reference velocity, the motion-based collision determination unit 180 may perform deceleration control or not perform any control depending on whether an attempt has been made to enter the driving lane of the vehicle .

구체적으로, 자차의 주행차선에의 진입 시도가 있었으면서 횡방향 속도가 기준속도 미만이면, 차선기반 충돌판정부(170)는 경보부(190)를 통해 차량 접근을 경고한다(S510).Specifically, if there is an attempt to enter the driving lane of the vehicle and the lateral speed is less than the reference speed, the lane-based collision determining unit 170 warns the vehicle approach via the warning unit 190 (S510).

또한, 자차의 주행차선에의 진입 시도가 없으면서, 횡방향 속도가 기준속도 미만이면, 차선기반 충돌판정부(170)는 별다른 제어를 지시하지 않는다.Further, when there is no attempt to enter the driving lane of the vehicle, the lane-based collision determining unit 170 does not specify any control if the lateral speed is less than the reference speed.

이와 같이, 본 발명의 실시예는 측방 차량이 자차의 차선으로 진입시도하기 전에 추월 및 합류 차량을 감지할 수 있어, 끼어들기로 인한 사고 발생률을 현저하게 낮출 수 있다.As described above, the embodiment of the present invention can detect overtaking and confluence vehicles before the side vehicle attempts to enter the lane of the vehicle, thereby significantly reducing the incidence of accidents due to interruption.

또한, 본 발명의 실시예는 추월 및 합류 차량을 감지하면, 경보는 물론, 감속 제어나 차선 변경 제어 등의 적극적인 제어를 수행할 수 있도록 지원하여 운전자의 주의 부족 시에도 사고를 방지할 수 있다.In addition, when the overtaking and confluence vehicles are sensed, the embodiment of the present invention can actively control not only the alarm but also the deceleration control and the lane change control, thereby preventing the accident even when the driver's attention is lacking.

그뿐만 아니라, 본 발명의 실시예는 단안 영상을 이용하여 끼어들기 시도하는 차량을 감지할 수 있어, 스테레오 카메라, 라이더(Lidar) 또는 레이더(Radar) 등의 추가 센서 설치 등에 소요되는 비용과 노력을 절감할 수 있다.In addition, the embodiment of the present invention can detect a vehicle attempting to intercept using a monocular image, and it is possible to reduce the cost and effort required for installation of additional sensors such as a stereo camera, a lidar or a radar Can be saved.

이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.While the present invention has been described in detail with reference to the accompanying drawings, it is to be understood that the invention is not limited to the above-described embodiments. Those skilled in the art will appreciate that various modifications, Of course, this is possible. Accordingly, the scope of protection of the present invention should not be limited to the above-described embodiments, but should be determined by the description of the following claims.

10: 추월 및 합류 차량 인식 시스템
111, 112: 제1 및 제2 영상 획득부 121, 122: 제1 및 제2 움직임 검출부
130: 유효성 판정부 140: IPM 영상 생성부
150: 차선 인식부 160: 회전 보정부
170: 차선기반 충돌판정부 180: 움직임기반 충돌판정부
190: 경보부10: Overtaking and joining vehicle recognition system
111, 112: first and second image acquiring units 121, 122: first and second motion detecting units
130: validity judgment unit 140: IPM image generation unit
150: lane recognition section 160:
170: lane-based collision judgment unit 180: motion-based collision judgment unit
190: Alarm Department

Claims (15)

차량 전방 또는 측방 카메라에 의해 촬영된 단안 영상을 IPM(Inverse Perspective Mapping) 영상으로 변환하는 IPM 영상 생성부;
상기 IMP 영상의 연속 프레임에서 움직임 성분을 검출하는 움직임 검출부;
각 움직임 성분의 움직임 벡터에서 종방향 속도와 횡방향 속도를 계산하고, 계산된 상기 종방향 속도와 횡방향 속도 중 적어도 하나를 기반으로 차량의 주행차선으로 끼어드는 대상물체와의 충돌 가능성을 판정하는 충돌 판정부
를 포함하는 추월 및 합류(Cut-in) 차량 인식 시스템.An IPM image generating unit for converting a monocular image photographed by a front or side camera of a vehicle into an IPM (Inverse Perspective Mapping) image;
A motion detector for detecting motion components in successive frames of the IMP video;
Calculating a longitudinal velocity and a lateral velocity in a motion vector of each motion component and determining a possibility of collision with an object to be interfered with the vehicle's driving lane based on at least one of the calculated longitudinal velocity and lateral velocity Collision judgment section
And a cut-in vehicle recognition system. 제1항에서,
상기 단안 영상의 연속 프레임에서 움직임 성분을 검출하는 타 움직임 검출부; 및
상기 단안 영상으로부터 검출된 움직임 성분에서 유효한 움직임이 있으면, 경보부를 통해 경보하는 유효성 판정부
를 더 포함하는 추월 및 합류 차량 인식 시스템.The method of claim 1,
An other motion detector for detecting a motion component in a continuous frame of the monocular image; And
When there is a valid motion in the motion component detected from the monocular image,
Further comprising: an overtaking and confluence vehicle recognition system. 제2항에서, 상기 유효성 판정부는,
상기 단안 영상으로부터 검출된 움직임 성분이 기설정된 일정면적 내 임계개수 이상의 움직임이 존재하는 경우; 및
상기 단안 영상으로부터 검출된 움직임 성분이 존재하는 영역에서 주기적인 색 변화를 인지한 경우 중 적어도 하나의 경우에 상기 유효한 움직임이 있는 것으로 판정하는 것인 추월 및 합류 차량 인식 시스템.3. The information processing apparatus according to claim 2,
When a motion component detected from the monocular image has a motion exceeding a threshold number within a preset predetermined area; And
Wherein the determination unit determines that the valid motion exists in at least one of cases in which a periodic color change is recognized in an area where a motion component detected from the monocular image exists. 제1항에서,
상기 전방 또는 측방 카메의 중심을 회전중심으로 하여 상기 차량의 진행방향과 상기 IPM 영상으로부터 인식된 차선과 평행하도록 상기 IPM 영상을 회전시키는 회전 보정부
를 더 포함하는 추월 및 합류 차량 인식 시스템.The method of claim 1,
The IPM image is rotated so as to be parallel to the traveling direction of the vehicle and the lane recognized from the IPM image with the center of the front or side camera as a rotation center,
Further comprising: an overtaking and confluence vehicle recognition system. 제1항에서,
각 움직임 벡터 중에서 상기 차량의 좌측방에 존재하는 움직임 벡터의 x좌표가 상기 IPM 영상으로부터 인식된 상기 차량의 주행차선의 좌측 차선의 x좌표보다 크거나, 상기 차량의 우측방에 존재하는 움직임 벡터의 x좌표가 상기 IPM 영상으로부터 인식된 상기 차량의 주행차선의 우측 차선의 x좌표보다 작은 끼어들기 상황이 발생하는지를 확인하고, 상기 끼어들기 상황이 발생하면 경보부를 통해 경보하는 타 충돌 판정부
를 더 포함하는 추월 및 합류 차량 인식 시스템.The method of claim 1,
The x coordinate of the motion vector existing in the left room of the vehicle in each of the motion vectors is larger than the x coordinate of the left lane of the driving lane of the vehicle recognized from the IPM image or the x coordinate of the motion vector existing in the right room of the vehicle coordinate of the x-coordinate is smaller than the x-coordinate of the right lane of the driving lane of the vehicle recognized from the IPM image, and if the interrupting condition occurs,
Further comprising: an overtaking and confluence vehicle recognition system. 제5항에서, 상기 충돌 판정부는,
상기 횡방향 속도가 기설정된 기준속도 미만이면, 상기 차선기반 충돌 판정부에 의해 상기 끼어들기 상황이 판정되었는지를 확인하고, 상기 끼어들기 상황이 판정되지 않았으면, 감속 및 경보 제어를 수행하지 않는 것인 추월 및 합류 차량 인식 시스템.The apparatus as claimed in claim 5,
Based on the lane-based collision determination unit, whether the interruption situation has been determined if the lateral speed is less than the preset reference speed, and not performing the deceleration and alarm control if the interruption situation is not determined Passing and joining vehicle recognition system. 제5항에서, 상기 충돌 판정부는,
상기 횡방향 속도가 기설정된 기준속도 미만이면, 상기 차선기반 충돌 판정부에 의해 상기 끼어들기 상황이 판정되었는지를 확인하고, 상기 끼어들기 상황이 판정되었으면, 차량 감속 제어, 경보 제어 및 차선 변경 제어 중 적어도 하나를 지시하는 것인 추월 및 합류 차량 인식 시스템.The apparatus as claimed in claim 5,
Based on the lane-based collision determination unit, whether or not the interruption situation is determined if the lateral speed is less than a preset reference speed, and if the interruption situation is determined, Wherein the at least one of the at least one of the at least one of the at least two of the plurality of at least one of the at least two of the at least one of the at least two vehicles. 제1항에서, 상기 충돌 판정부는,
상기 횡방향 속도가 기설정된 기준속도 이상이면, 경보 출력 및 차량 감속 제어 중 적어도 하나를 지시하는 것인 추월 및 합류 차량 인식 시스템.The apparatus of claim 1,
And if the lateral speed is equal to or greater than a predetermined reference speed, instructs at least one of an alarm output and a vehicle deceleration control. 적어도 하나의 프로세서에 의한 추월 및 합류 차량 인식 방법으로서,
차량 전방 또는 측방 카메라에 의해 촬영된 단안 영상을 IPM(Inverse Perspective Mapping) 영상으로 변환하는 단계;
상기 IMP 영상의 연속 프레임에서 움직임 성분을 검출하는 단계;
각 움직임 성분의 움직임 벡터에서 종방향 속도와 횡방향 속도를 계산하는 단계;
계산된 상기 종방향 속도와 횡방향 속도 중 적어도 하나를 기반으로 차량의 주행차선으로 끼어드는 대상물체와의 충돌 가능성을 판정하는 단계
를 포함하는 추월 및 합류(Cut-in) 차량 인식 방법.A method for overtaking and joining vehicles by at least one processor,
Converting a monocular image photographed by a vehicle front or side camera into an IPM (Inverse Perspective Mapping) image;
Detecting a motion component in successive frames of the IMP image;
Calculating longitudinal and lateral velocities in a motion vector of each motion component;
Determining a possibility of collision with an object to be pushed into the driving lane of the vehicle based on at least one of the computed longitudinal velocity and the lateral velocity
And a cut-in vehicle recognition method. 제9항에서,
상기 단안 영상의 연속 프레임에서 움직임 성분을 검출하는 단계; 및
상기 단안 영상으로부터 검출된 움직임 성분에서 유효한 움직임이 있으면, 경보부를 통해 경보하는 단계
를 더 포함하는 추월 및 합류 차량 인식 방법.The method of claim 9,
Detecting a motion component in a continuous frame of the monocular image; And
If there is a valid motion in the motion component detected from the monocular image,
Further comprising the steps of: 제10항에서, 상기 경보하는 단계는,
상기 단안 영상으로부터 검출된 움직임 성분이 기설정된 일정면적 내 임계개수 이상의 움직임이 존재하는지를 확인하는 단계;
상기 단안 영상으로부터 검출된 움직임 성분이 존재하는 영역에서 주기적인 색 변화가 발생하는지를 확인하는 단계; 및
상기 임계개수 이상의 움직임이 존재하거나, 상기 주기적인 색 변화가 발생하면, 상기 경보하는 단계를 포함하는 것인 추월 및 합류 차량 인식 방법11. The method of claim 10,
Checking whether motion components detected from the monocular image have a motion exceeding a threshold number within a predetermined constant area;
Checking whether a periodic color change occurs in an area where a motion component detected from the monocular image exists; And
Wherein the alarming step includes an alarming step when there is a motion of the threshold number or more or when the periodic color change occurs 제9항에서,
상기 전방 또는 측방 카메라의 중심을 회전중심으로 하여 상기 차량의 진행방향이 상기 IPM 영상으로부터 인식된 차선과 평행하도록 상기 IPM 영상을 회전시켜 보정 영상을 생성하는 단계;
상기 보정 영상에서 생성된 각 움직임 벡터 중에서 상기 차량의 좌측방에 존재하는 움직임 벡터의 x좌표가 상기 IPM 영상으로부터 인식된 상기 차량의 주행차선의 좌측 차선의 x좌표보다 크거나, 상기 차량의 우측방에 존재하는 움직임 벡터의 x좌표가 상기 IPM 영상으로부터 인식된 상기 차량의 주행차선의 우측 차선의 x좌표보다 작은 끼어들기 상황이 발생하는지를 확인하는 단계; 및
상기 끼어들기 상황이 발생하면 경보부를 통해 경보하는 단계
를 더 포함하는 추월 및 합류 차량 인식 방법.The method of claim 9,
Generating a corrected image by rotating the IPM image such that a traveling direction of the vehicle is parallel to a lane recognized from the IPM image with the center of the front or side camera as a rotation center;
The x coordinate of the motion vector existing in the left room of the vehicle is larger than the x coordinate of the left lane of the driving lane of the vehicle recognized from the IPM image among the respective motion vectors generated in the corrected image, Determining whether an intervention situation occurs in which the x-coordinate of the motion vector present in the IPM image is smaller than the x-coordinate of the right lane of the driving lane of the vehicle recognized from the IPM image; And
If the interruption situation occurs, alarming through the alarm unit
Further comprising the steps of: 제12항에서, 상기 판정하는 단계는,
상기 횡방향 속도가 기설정된 기준속도 미만이면, 상기 차선기반 충돌 판정부에 의해 상기 끼어들기 상황이 판정되었는지를 확인하는 단계; 및
상기 끼어들기 상황이 판정되지 않았으면, 감속 및 경보 제어를 수행하지 않는 단계를 포함하는 것인 추월 및 합류 차량 인식 방법.13. The method of claim 12,
If the lateral velocity is less than a predetermined reference velocity, confirming whether the intervention situation has been determined by the lane-based collision determination unit; And
And not performing deceleration and alarm control if the interruption condition is not determined. 제12항에서, 상기 판정하는 단계는,
상기 횡방향 속도가 기설정된 기준속도 미만이면, 상기 차선기반 충돌 판정부에 의해 상기 끼어들기 상황이 판정되었는지를 확인하는 단계; 및
상기 끼어들기 상황이 판정되었으면, 차량 감속 제어, 경보 제어 및 차선 변경 제어 중 적어도 하나를 지시하는 단계를 포함하는 것인 추월 및 합류 차량 인식 방법.13. The method of claim 12,
If the lateral velocity is less than a predetermined reference velocity, confirming whether the intervention situation has been determined by the lane-based collision determination unit; And
And indicating at least one of a vehicle deceleration control, an alarm control, and a lane change control if the interruption situation is determined. 제9항에서, 상기 판정하는 단계는,
상기 횡방향 속도가 기설정된 기준속도 이상이면, 경보 출력 및 차량 감속 제어 중 적어도 하나를 지시하는 단계
를 포함하는 것인 추월 및 합류 차량 인식 방법.10. The method of claim 9,
Indicating at least one of an alarm output and a vehicle deceleration control if the lateral speed is equal to or greater than a predetermined reference speed
Wherein the overtaking and merging vehicle recognition method comprises:
KR1020160064950A 2016-05-26 2016-05-26 System and Method for Recognizing Cut-in Vehicle on the basis of Monocular Image KR102485318B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160064950A KR102485318B1 (en) 2016-05-26 2016-05-26 System and Method for Recognizing Cut-in Vehicle on the basis of Monocular Image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160064950A KR102485318B1 (en) 2016-05-26 2016-05-26 System and Method for Recognizing Cut-in Vehicle on the basis of Monocular Image

Publications (2)

Publication Number Publication Date
KR20170133756A true KR20170133756A (en) 2017-12-06
KR102485318B1 KR102485318B1 (en) 2023-01-05

Family

ID=60922512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160064950A KR102485318B1 (en) 2016-05-26 2016-05-26 System and Method for Recognizing Cut-in Vehicle on the basis of Monocular Image

Country Status (1)

Country Link
KR (1) KR102485318B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210070691A (en) * 2019-12-05 2021-06-15 주식회사 만도 Vehicle body control apparatus and method
WO2023273108A1 (en) * 2021-06-30 2023-01-05 深圳市优必选科技股份有限公司 Monocular distance measurement method and apparatus, and intelligent apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100032005A (en) * 2008-09-17 2010-03-25 현대자동차주식회사 A system for offering a front/side image with a lane expression
JP2011113340A (en) * 2009-11-27 2011-06-09 Daihatsu Motor Co Ltd Obstacle recognition device
JP2015035055A (en) * 2013-08-08 2015-02-19 日産自動車株式会社 Mobile object approach determination device and mobile object approach determination method
JP2015090499A (en) * 2013-11-05 2015-05-11 日産自動車株式会社 Object detecting device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100032005A (en) * 2008-09-17 2010-03-25 현대자동차주식회사 A system for offering a front/side image with a lane expression
JP2011113340A (en) * 2009-11-27 2011-06-09 Daihatsu Motor Co Ltd Obstacle recognition device
JP2015035055A (en) * 2013-08-08 2015-02-19 日産自動車株式会社 Mobile object approach determination device and mobile object approach determination method
JP2015090499A (en) * 2013-11-05 2015-05-11 日産自動車株式会社 Object detecting device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210070691A (en) * 2019-12-05 2021-06-15 주식회사 만도 Vehicle body control apparatus and method
WO2023273108A1 (en) * 2021-06-30 2023-01-05 深圳市优必选科技股份有限公司 Monocular distance measurement method and apparatus, and intelligent apparatus

Also Published As

Publication number Publication date
KR102485318B1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
EP3807128B1 (en) A rider assistance system and method
JP5345350B2 (en) Vehicle driving support device
JP6611353B2 (en) Image processing device, external recognition device
JP6424263B2 (en) Apparatus and method for moving object collision warning of large vehicle
KR101362324B1 (en) System and Method for Lane Departure Warning
US9704404B2 (en) Lane detection apparatus and operating method for the same
JP4517393B2 (en) Driving assistance device
US10618467B2 (en) Stereo image generating method using mono cameras in vehicle and providing method for omnidirectional image including distance information in vehicle
GB2538572A (en) Safety system for a vehicle to detect and warn of a potential collision
KR20110067359A (en) Method and apparatus for collision avoidance of vehicle
KR101687073B1 (en) Apparatus for esimating tunnel height and method thereof
KR20180065527A (en) Vehicle side-rear warning device and method using the same
CN107004250B (en) Image generation device and image generation method
JP2005309797A (en) Warning device for pedestrian
KR20190012607A (en) Apparatus for warning rear collision of vehicle and control method thereof
KR20190012851A (en) Apparatus and method for preventing vehicle collision
JP4193740B2 (en) Nose view monitor device
US9365195B2 (en) Monitoring method of vehicle and automatic braking apparatus
WO2016092925A1 (en) Approaching vehicle detection device
CN113826154A (en) Driving support system, driving support method, and program
KR20160131196A (en) Device for detecting an obstacle
KR102485318B1 (en) System and Method for Recognizing Cut-in Vehicle on the basis of Monocular Image
KR20140092451A (en) Lane departure warning apparatus and method
JP2005309660A (en) Device supporting vehicle in turning right or left
JP3226699B2 (en) Perimeter monitoring device for vehicles

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant