KR102318586B1 - 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법 - Google Patents

영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법 Download PDF

Info

Publication number
KR102318586B1
KR102318586B1 KR1020210012038A KR20210012038A KR102318586B1 KR 102318586 B1 KR102318586 B1 KR 102318586B1 KR 1020210012038 A KR1020210012038 A KR 1020210012038A KR 20210012038 A KR20210012038 A KR 20210012038A KR 102318586 B1 KR102318586 B1 KR 102318586B1
Authority
KR
South Korea
Prior art keywords
straight line
equation
separation zone
image
separator
Prior art date
Application number
KR1020210012038A
Other languages
English (en)
Inventor
이은수
Original Assignee
주식회사 카비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카비 filed Critical 주식회사 카비
Application granted granted Critical
Publication of KR102318586B1 publication Critical patent/KR102318586B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G06K9/00798—
    • G06K9/00805—
    • G06K9/4633—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)

Abstract

본 발명은, 주행차량의 카메라를 통해 분리대와 도로 바닥면이 포함된 도로전방 영상을 획득하는 단계(S110), 영상으로부터 에지를 검출하여 허프공간을 생성하는 단계(S120), 허프공간으로부터 분리대 상부 직선을 인식하는 단계(S130), 분리대 상부 직선과 차선정보를 이용하여 분리대 ROI를 생성하는 단계(S140), 라벨링 기법을 통해 분리대 ROI 내부에서 객체를 검출하는 단계(S150), 특정조건을 만족하는 객체들의 추적점 집합을 결정하는 단계(S160), 추적점 집합으로부터 높이를 가지는 분리대 측면의 제1추적점과, 바닥면에 있는 제2추적점 사이에, 허프공간으로부터 분리대 하부 직선이 존재하는지 판단하는 단계(S170), 분리대 하부 직선의 검출 여부에 따라 분리대 하부 직선을 결정하거나 추정하는 단계(S180), 및 결정되거나 추정된 분리대 하부 직선과 차량의 주행경로 직선의 교점을 검출하여 추돌예상위치 및 추돌예상시간을 예측하는 단계(S190)를 포함하여서, 콘크리트 분리대의 하부 직선을 인식하여 분리대 추돌가능성을 예측하여 추돌사고를 예방하도록 할 수 있는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법을 개시한다.

Description

영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법{METHOD OF DETECTING MEDIAN STRIP AND PREDICTING COLLISION RISK THROUGH ANALYSIS OF IMAGES}
본 발명은 주행차량의 전방 카메라로부터 획득된 영상에서 콘크리트 분리대를 인식하고 분리대와의 추돌 가능성을 예측할 수 있는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법에 관한 것이다.
최근, 추돌예방의 자율주행기술의 일환으로, 도로전방영상을 이용하여 전방차량과 차선과 분리대를 인식하는 방법에 대한 연구들이 진행되고 있다.
특히, 분리대 인식과 관련된 연구에서 가장 핵심적인 것은 분리대 하부(하단) 직선, 즉 분리대와 도로 표면의 경계부분의 하부 직선을 인식하는 것이다.
예컨대, 주행차량이 분리대와 추돌할 예상 위치가 하부 직선과 주행차량의 예상이동경로의 교점이므로, 하부 직선을 높은 정확도로 결정하거나 추정할 수 있어야 한다.
이를 위해, 가드레일 분리대의 경우에는 가드레일 분리대의 수직 에지 성분과 분리대 하부 직선을 모두 검출하여 교점의 이동속도를 계산하는 방법이 제안되었고, 콘크리트 분리대의 경우에는 도로와 평행한 직선들 주변에서 패치의 이동 벡터를 계산하는 방법 등이 제안되었다.
이와 같이, 분리대의 하부 직선을 영상으로부터 검출할 수 있다는 가정하에 수행되었으나, 특히 콘크리트 분리대의 경우에는, 분리대와 바닥면의 색상이 유사하여 바닥면의 도로와 구분할 수 있는 에지를 검출할 수 없어서 분리대의 하부 직선을 구할 수 없는 경우가 많다.
이에, 종래에는 콘크리트 분리대 인식이 거의 불가능하여 차량의 분리대와의 추돌가능성을 정확하게 예측할 수 없는 문제점이 있다.
한국 등록특허공보 제10-1342124호 (영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법, 2013.12.19) 한국 등록특허공보 제10-1455835호 (영상을 이용한 차선인식 및 추적시스템, 이를 이용한 차선인식 및 추적방법, 2014.11.04)
본 발명의 사상이 이루고자 하는 기술적 과제는, 주행차량의 전방 카메라로부터 획득된 영상에서 콘크리트 분리대를 인식하고 분리대와의 추돌 가능성을 예측할 수 있는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법을 제공하는 데 있다.
전술한 목적을 달성하고자, 본 발명은, 주행차량의 카메라를 통해 분리대와 도로 바닥면이 포함된 도로전방 영상을 획득하는 단계; 상기 영상으로부터 에지를 검출하여 허프공간을 생성하는 단계; 상기 허프공간으로부터 분리대 상부 직선을 인식하는 단계; 상기 분리대 상부 직선과 차선정보를 이용하여 분리대 ROI를 생성하는 단계; 라벨링 기법을 통해 상기 분리대 ROI 내부에서 객체를 검출하는 단계; 특정조건을 만족하는 상기 객체들의 추적점 집합을 결정하는 단계; 상기 추적점 집합으로부터 높이를 가지는 분리대 측면의 제1추적점과, 바닥면에 있는 제2추적점 사이에, 상기 허프공간으로부터 분리대 하부 직선이 존재하는지 판단하는 단계; 상기 분리대 하부 직선의 검출 여부에 따라 상기 분리대 하부 직선을 결정하거나 추정하는 단계; 및 결정되거나 추정된 상기 분리대 하부 직선과 차량의 주행경로 직선의 교점을 검출하여 추돌예상위치 및 추돌예상시간을 예측하는 단계;를 포함하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법을 제공한다.
여기서, 상기 영상의 에지영상을 허프변환하여 직선성분을 검출하여 허프공간을 생성할 수 있다.
또한, 상기 허프공간의 복수의 직선들 중, 차선을 제외하고, 최상단에 존재하는 직선을 상기 분리대 상부 직선으로 인식할 수 있다.
또한, 상기 분리대 상부 직선과 좌측 차선의 영상 좌표 정보를 이용하여 상기 분리대 ROI를 생성할 수 있다.
또한, 상기 라벨링 기법을 수행하여, 상기 분리대 ROI 내부에 존재하는 에지로부터 8-연결성을 갖는 객체들로 상호 분리하여 상기 객체를 검출할 수 있다.
또한, 상기 추적점 집합을 결정하는 단계는, 상기 객체들의 시계열상의 객체 좌표값을 N개의 프레임에 대해 FIFO 구조의 메모리에 저장하여 객체 집합으로 유지하는 단계와, k번째 프레임과 (k-1)번째 프레임에 해당하는, 추적중인 상기 객체의 위치에 해당하는 월드 좌표계에서의 각 측방향 거리의 차분이 최소값이라는 제1조건과, 월드 좌표계에서 객체의 높이가 0인 경우 주행차량의 속력과 상기 객체의 속력이 동일하고, 객체의 높이가 0보다 큰 경우 주행차량의 속력보다 상기 객체의 속력이 크다는 제2조건을 만족하는, 상기 객체의 집합을 상기 추적점 집합으로 결정하는 단계로 구성될 수 있다.
또한, 상기 N개의 프레임에 대해 다음의 [수학식 1] 및 [수학식 2]에 의해 객체 히스토리 집합 H를 정의하고,
[수학식 1]
Figure 112021011289064-pat00001
[수학식 2]
Figure 112021011289064-pat00002
여기서, s(f)는 영상 프레임 번호 f에서의 객체 좌표값들의 집합이며, (xi, yi)는 객체의 영상 좌표값이며, (Xi, Yi)는 객체의 높이를 0으로 가정한 월드 좌표값이고, 상기 히스토리 집합 H는 (k-N)번째 프레임으로부터 k번째 프레임에서의 객체들의 좌표값 집합이며,
상기 제1조건은 다음의 [수학식 3]에 의해 정의되고,
[수학식 3]
Figure 112021011289064-pat00003
여기서, DX는 f번째 프레임의 i번째 객체의 월드 좌표값 X와 (f-1)번째 프레임의 i번째 객체의 월드 좌표값 X 사이의 거리이고,
상기 제2조건은 다음의 [수학식 4]에 의해 정의되되,
[수학식 4]
Figure 112021011289064-pat00004
여기서, Z는 월드 좌표계에서의 상기 객체의 높이이며, VSV는 상기 주행차량의 속력이고, Vobj는 상기 객체의 속력이다.
또한, 상기 객체의 속력은 다음의 [수학식 5] 및 [수학식 6]에 의해 산출되고,
[수학식 5]
Figure 112021011289064-pat00005
[수학식 6]
Figure 112021011289064-pat00006
여기서, D는 f번째 프레임의 월드 좌표값과 (f-1)번째 프레임의 월드 좌표값의 유클리디언 거리이고, Vobj는 프레임당 이동거리이고,
다음의 [수학식 7]에 의해 정의되는 표준편차 σ가 특정 임계값보다 작은 경우 다음의 [수학식 8]에 의해 정의되는 상기 추적점 집합 T로 결정하되,
[수학식 7]
Figure 112021011289064-pat00007
[수학식 8]
Figure 112021011289064-pat00008
여기서, Vδ는 Vobj와 VSV의 차분이며, σ는 n의 프레임 집합에서 Vδ의 표준편차이고, μ는 Vδ의 평균값이고, t(i)는 영상 좌표값(xf, yf)과 월드 좌표값(Xf, Yf, 0)으로 이루어진 i번째 추적점 집합이고, T는 전체 추적점 집합일 수 있다.
또한, 상기 추적점 집합의 추적점은, 다음의 [수학식 9]에 의해 상기 객체의 영상 좌표값을 월드 좌표값으로 변환하며,
[수학식 9]
Figure 112021011289064-pat00009
여기서,
Figure 112021011289064-pat00010
는 월드 좌표계이며,
Figure 112021011289064-pat00011
는 영상 좌표계이며,
Figure 112021011289064-pat00012
는 카메라 좌표계이며, P는 투사변환행렬이며, C는 영상 평면 원점의 변위이며, R은 회전 변환이며, G는 카메라의 이동변환행렬이고,
m개의 프레임에 대해 다음의 [수학식 10]에 의해 상기 추적점 집합의 추적점의 평균속력이 상기 주행차량의 평균속력보다 크면, 높이가 있는 추적점 집합을 분리대 측면의 객체로 인식하되,
[수학식 10]
Figure 112021011289064-pat00013
일 수 있다.
상기 과정을 통해 추적점 집합은 높이를 가지는 분리대 측면의 제1추적점 집합과 바닥면에 있는 제2추적점 집합으로 결정된다.
또한, 상기 제1추적점과 상기 제2추적점 사이에, 상기 허프공간 상에서 직선이 존재하면 상기 직선을 상기 분리대 하부 직선으로 결정하고, 직선이 존재하지 않는다면 상기 분리대 하부 직선을 추정할 수 있다.
또한, 분리대 측면의 상기 객체의 제1추적점, 또는 상기 바닥면의 상기 제2추적점의 월드 좌표값으로부터 상기 분리대 하부 직선을 추정할 수 있다.
또한, 상기 제1추적점 집합과 상기 제2추적점 집합이 동시에 존재하는지 판단하여 동시에 존재하면, 다음의 [수학식 11]에 의해 상기 분리대 하부 직선의 방정식을 산출하고,
[수학식 11]
Figure 112021011289064-pat00014
여기서, Xdw는 상기 분리대 하부 직선의 측방향 좌표이며, X1은 상기 제1추적점의 측방향 좌표값이고, X2는 상기 제2추적점의 측방향 좌표값이며,
상기 제1추적점 집합만이 존재하면, 다음의 [수학식 12] 내지 [수학식 14]에 의해 상기 분리대 하부 직선의 좌표를 수정하여 상기 분리대 하부 직선을 추정하되,
[수학식 12]
Figure 112021011289064-pat00015
여기서, Xδ는 차선에 대한 상기 분리대 하부 직선의 측방향 차분값이며, XL은 좌측 차선의 측방향 월드 좌표값이며, Xf-1 dw는 이전 프레임의 상기 분리대 하부 직선의 측방향 좌표값이고,
[수학식 13]
Figure 112021011289064-pat00016
여기서, 상기 [수학식 13]은 Xδ의 평균 데이터를 산출하기 위한 이동평균필터이며,
Figure 112021011289064-pat00017
은 이동평균필터를 통과한 Xδ의 평균 데이터이며,
Figure 112021011289064-pat00018
은 전단계에서 얻은 Xδ의 평균 데이터이고, 상기 [수학식 12]에 의해 산출된 Xδ를 상기 [수학식 13]에 적용하여 수정하고,
[수학식 14]
Figure 112021011289064-pat00019
여기서, Xf dw는 현재 프레임의 상기 분리대 하부 직선의 측방향 좌표값이고,
Xf-1 dw이 X1보다 작지 않다면 상기 분리대 하부 직선의 좌표를 유지하여 상기 분리대 하부 직선을 추정하고,
상기 제2추적점 집합만이 존재하면, 상기 [수학식 13]과 상기 [수학식 14] 및 다음 [수학식 15]에 의해 상기 분리대 하부 직선의 좌표를 수정하여 상기 분리대 하부 직선을 추정하되,
[수학식 15]
Figure 112021011289064-pat00020
여기서, 상기 [수학식 15]에 의해 산출된 Xδ를 상기 [수학식 13] 및 상기 [수학식 14]에 적용하여 현재 프레임의 상기 분리대 하부 직선의 측방향 좌표값을 수정하고, Xf-1 dw이 X2보다 작지 않다면 상기 분리대 하부 직선의 좌표를 유지하여 상기 분리대 하부 직선을 추정할 수 있다.
또한, 상기 추돌예상위치는, 상기 분리대 하부 직선과 상기 주행차량의 예상경로직선의 교점으로 결정되고, 상기 추돌예상시간은 다음의 [수학식 16]에 의해 정의되며,
[수학식 16]
Figure 112021011289064-pat00021
여기서, TTC는 추돌예상시간이며, di는 분리대 추돌예상거리이고, VSV는 상기 주행차량의 속력이다.
또한, 상기 예상경로직선은, 상기 주행차량의 넓이의 1/2인 X좌표 및 0m인 Y좌표인 근거리 월드 좌표값과, 상기 주행차량의 넓이의 1/2인 X좌표 및 1000m인 Y좌표인 원거리 월드 좌표값을 통과하는 직선일 수 있다.
또한, 상기 추돌예상위치 및 상기 추돌예상시간의 분리대추돌 경고정보를 제공하는 단계를 더 포함할 수 있다.
또한, 상기 분리대추돌 경고정보는 내비게이션의 영상과 음향, 조향장치의 진동 또는 차량스피커의 음향을 통해 경고하거나, 상기 분리대추돌 경고정보에 따라, 차선이탈방지시스템과 연동하여 상기 조향장치를 자율조정하여 차선을 유지하도록 할 수 있다.
또한, 강우시, 강설시 또는 연무시에 따른 반복적인 노이즈 패턴을 상기 도로전방 영상으로부터 제거하여 에지를 검출하도록 할 수 있다.
본 발명에 의하면, 분리대와 바닥면의 색상이 유사하여 분리대 하부 직선을 인식할 수 없는 콘크리트 분리대가 설치된 도로에서도 객체의 움직임과 높이를 인식하여 분리대 하부 직선의 위치를 추정하도록 하고, 추돌예상거리와 추돌예상시간을 산출하여 경고정보를 통해 추돌사고를 예방하도록 할 수 있는 효과가 있다.
도 1a 및 도 1b는 본 발명의 실시예에 의한 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법의 개략적인 순서도를 각각 도시한 것이다.
도 2a는 도 1a의 도로전방 영상 획득 단계를 예시한 것이다.
도 2b는 도 2a의 에지 검출 단계를 예시한 것이다.
도 3은 도 2b의 에지에 대한 허프공간 생성 단계를 예시한 것이다.
도 4는 도 1a의 분리대 ROI 생성 단계를 예시한 것이다.
도 5a는 도 4의 분리대 ROI 내부의 에지 영상을 예시한 것이다.
도 5b는 도 5a에서 임계값 이상인 좌표들을 표시한 에지 좌표 집합 영상을 예시한 것이다.
도 5c는 도 5b에서 라벨링 방법을 수행하여 추적 가능한 객체들을 검출한 결과 영상을 예시한 것이다.
도 5d는 도 5b의 특정 객체 영역을 확대한 것으로, 라벨링 방법을 설명하기 위한 영상을 예시한 것이다.
도 5e는 라벨링 방법을 수행하기 위한 라벨링 창의 구조를 보여 주는 영상을 예시한 것이다.
도 6a는 도 5b 및 도 5c의 객체에 대한 경계박스를 예시한 것이다.
도 6b는 N개 프레임의 객체 좌표값의 오버랩 영상을 예시한 것이다.
도 6c는 추적점 집합을 예시한 것이다.
도 7은 분리대 하부 직선을 예시한 것이다.
도 8a 및 도 8b는 추돌예상위치와 추돌예상시간을 예시한 것이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명의 실시예에 의한 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법은, 주행차량의 카메라를 통해 분리대와 도로 바닥면이 포함된 도로전방 영상을 획득하는 단계(S110), 영상으로부터 에지를 검출하여 허프공간을 생성하는 단계(S120), 허프공간으로부터 분리대 상부 직선을 인식하는 단계(S130), 분리대 상부 직선과 차선정보를 이용하여 분리대 ROI를 생성하는 단계(S140), 라벨링 기법을 통해 분리대 ROI 내부에서 객체를 검출하는 단계(S150), 특정조건을 만족하는 객체들의 추적점 집합을 결정하는 단계(S160), 추적점 집합으로부터 높이를 가지는 분리대 측면의 제1추적점과, 바닥면에 있는 제2추적점 사이에, 허프공간으로부터 분리대 하부 직선이 존재하는지 판단하는 단계(S170), 분리대 하부 직선의 검출 여부에 따라 분리대 하부 직선을 결정하거나 추정하는 단계(S180), 및 결정되거나 추정된 분리대 하부 직선과 차량의 주행경로 직선의 교점을 검출하여 추돌예상위치 및 추돌예상시간을 예측하는 단계(S190)를 포함하여서, 콘크리트 분리대의 하부 직선을 인식하여 분리대 추돌가능성을 예측하여 추돌사고를 예방하도록 하는 것을 요지로 한다.
이하, 도 1a 내지 도 8b를 참조하여, 전술한 단계의 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법을 구체적으로 상술하면 다음과 같다.
선행하여, 도로전방 영상 획득 단계(S110)에서는, 주행차량의 전방 카메라를 통해 분리대와 도로 바닥면이 포함된 도로전방 영상을 획득한다.
여기서, 도 2a를 참고하면, 전방 카메라를 통해 획득된 영상은 콘크리트 분리벽 측면 하부와 1차선 차선 외곽의 바닥면의 색상이 유사하여 분리대의 하부 경계, 즉 분리대 하부 직선이 육안으로 쉽게 식별되지 않는데, 이하에서는, 분리대 주변영역의 객체들의 움직임을 이용하여, 분리대 하부 직선을 결정하거나 추정하는 방법을 제시하고자 한다.
한편, 날씨 변수를 최소화하고자, 강우시, 강설시 또는 연무시에 따른 반복적인 노이즈 패턴을 도로전방 영상으로부터 제거하여 후속 단계에서 에지를 보다 쉽게 검출하도록 할 수도 있다.
후속하여, 허프공간 생성 단계(S120)에서는, 영상으로부터 에지를 검출하여 허프공간(hough area)을 생성한다.
예컨대, 도 2b에서와 같이 영상으로부터 수평성분 에지를 구하고, 도 3에서와 같이 허프변환하여 수평성분 에지에 대한 허프공간을 생성한다.
즉, 영상의 에지영상을 허프변환하여 직선성분을 검출하여 허프공간을 생성하는데, 참고로, 허프변환은 한점을 통과하는 모든 직선을 허프공간상에서 사인곡선으로 변환하는데, 에지를 구성하는 모든 화소(pixel)의 xy축 에 대한 밝기값의 그레디언트(gradient)를 구하고 이 값을 이용하여 에지의 각 점에 대해 로컬(local) 각도를 얻고, 화소의 원점으로부터의 거리(D)와 각도(θ) 정보를 사용하여 허프변환을 수행한다.
후속하여, 분리대 상부 직선 인식 단계(S130)에서는, 허프공간으로부터 분리대 상부 직선을 인식한다.
여기서, 허프공간의 복수의 직선들 중, 차선을 제외하고, 최상단에 존재하는 직선을 분리대 상부 직선으로 인식할 수 있다.
즉, 도 3에 도시된 바와 같이, 허프공간상에서 다수의 사인곡선이 겹치는 점이 직선일 확률이 높아 실제 에지를 지나는 직선일 가능성이 높다는 전제하에, 도 4에 도시된 바와 같이, 다수의 직선들 중 차선의 영역을 제외하고, 최상단에 존재하는 직선을 분리대 상부 직선으로 결정하여 인식한다.
후속하여, 분리대 ROI 생성 단계(S140)에서는, 분리대 상부 직선과 차선정보를 이용하여 분리대 ROI(Region Of Interest)를 생성하여 분리대 주변의 객체들을 검출한다.
여기서, 분리대 상부 직선과 좌측 차선의 영상 좌표 정보를 이용하여 분리대 ROI를 생성할 수 있다.
예컨대, 도 4에 도시된 바와 같이, 앞서 인식된 분리대 상부 직선(A)과, 주행차량의 LDWS(Lane Departure Warning System;차로이탈 경고시스템)에서 검출한 좌측 차선(C)의 직선으로 표현된 영상 좌표 정보를 이용하여 분리대 ROI의 하부 경계선(B)을 이용하여 분리대 ROI를 생성한다.
후속하여, 객체 검출 단계(S150)에서는, 라벨링(labeling) 기법을 통해 분리대 ROI 내부에서 객체를 검출한다.
여기서, 라벨링 기법을 수행하여, 분리대 ROI 내부에 존재하는 에지로부터 8-연결성을 갖는 객체들로 상호 분리하여 객체를 검출할 수 있다.
보다 구체적으로는, 객체 검출 단계(S150)에서는, 도 5a의 에지 영상에서 검출된 에지들에서 추적을 위한 객체의 집합으로 만드는 라벨링(labeling) 작업을 수행한다. 우선, 도 5a의 에지 영상에서 임계값 이상인 좌표들을 구하며, 이것을 에지 좌표 집합이라 부른다. 도 5b는 에지 좌표 집합을 영상으로 예시한 것이다. 이 에지 좌표 집합 영상에서 서로 연결된 에지들끼리 모아 주는 군집화(clustering) 작업을 수행한다. 이때, 각 에지 군집(cluster)들에 대해 서로 구분 가능한 식별 번호를 부여한다. 본 발명의 실시예에서는 군집화와 번호 부여 작업을 합쳐서 라벨링(labeling) 작업라고 부른다. 도 5d는 도 5b의 에지 영역의 부분을 확대해서 예시한 것이다. 여기서, 사각형들은 영상의 화소(pixel)을 의미한다. 에지 화소는 검정색 사각형으로 표현되며, 배경 화소는 흰색 사각형으로 에지가 없는 배경(background)을 의미한다. 여기서, 연결된 에지 화소들을 주변 배경과 구분하여 연결하고, 화소 좌표들의 집합으로 만드는 과정을 수행한다. 도 5d에서 라벨링 창(labeling window)은 3x3의 크기이며, 분리대 ROI 내부의 영상을 탐색(scan)하면서, 에지 화소를 찾는 역할을 수행한다. 도 5e는 라벨링 창의 구조를 보여 준다. P0은 라벨링 창의 중심 화소이며, P0에 에지 화소가 존재할 때, P0의 주변 화소 8개에 대해 에지 화소가 존재하는지 검색을 수행한다. 영상처리 분야에서, 이처럼 중심 화소에 인접한 8개의 화소가 존재하는지 검사하는 것을 8-연결성(8-connectivity)이라고 부른다. 예를 들면, P0의 좌표가 (x,y)일 때, 주변 화소의 좌표는 수학식 23과 같이 표현할 수 있다.
Figure 112021011289064-pat00022
중심 좌표 P0의 주변 좌표(P1 ~ P8)를 검색하여, 에지 화소를 찾아 객체 집합에 포함시킨다. 상기 라벨링 과정을 통해, 만들어진 객체 집합은 수학식 24와 같이 표현할 수 있다.
Figure 112021011289064-pat00023
여기서, B는 라벨링 과정에서 구한 전체 객체 집합을 의미하며, 객체의 개수는 n개이다. A(k)는 k번째의 객체의 좌표값들(xi,yi)의 집합을 의미하며, 좌표값들의 개수는 m개이며, 객체의 크기와 동일한 의미로 사용한다. 이후, 객체 추적을 위해 사용할 객체들만 선택하는 작업을 수행한다. 작은 크기의 객체는 잡음일 가능성이 크며, 너무 큰 객체는 추적이 불가능한 의미없는 데이터일 수 있다. 따라서, 수학식 25과 같은 조건식으로 중간 크기의 객체들을 선택한다.
Figure 112021011289064-pat00024
여기서, m은 수학식 24와 동일하며, 객체의 크기를 의미한다. θ1는 작은 크기의 객체를 제거하기 위한 임계값이며, θ2는 큰 객체를 제거하기 위한 임계값이다. 수학식 25을 통해, 추적 가능한 객체 집합이 생성된다. 도 5c는 도 5b를 입력으로 전술한 라벨링 과정을 수행하여 객체 집합을 얻은 결과를 보여주는 예시이다. 또한, 각 객체들의 번호가 부여 되어 있는 것을 보여 준다.
후속하여, 추적점 집합 결정 단계(S160)에서는, 특정조건을 만족하는 객체들의 추적점 집합을 결정한다.
여기서, 유의미한 객체 추적을 수행하려면, 연속적인 시간의 영상들(sequential images)에서 무의미한 객체들을 제거하기 위해 추적점의 속력과 주행차량의 속력이 동일하다는 조건을 전제로 하여야 한다.
구체적으로, 추적점 집합을 결정하는 단계는, 모든 영상에 검출될 수 있는 객체들의 시계열상의 객체 좌표값을 최신 N개의 프레임에 대해 FIFO(First In First Out) 구조의 메모리에 저장하여 객체 집합으로 유지하는 단계(S161)와, k번째 프레임과 (k-1)번째 프레임에 해당하는, 추적중인 객체의 위치에 해당하는 월드 좌표계에서의 각 측방향 거리의 차분이 최소값이라는 제1조건과, 월드 좌표계에서 객체의 높이가 0인 경우 주행차량의 속력과 객체의 속력이 동일하고, 객체의 높이가 0보다 큰 경우 주행차량의 속력보다 객체의 속력이 크다는 제2조건을 만족하는, 객체의 집합을 추적점 집합으로 결정하는 단계(S162)로 구성될 수 있다.
참고로, 객체 좌표값은 도 6a에서 객체를 감싸는 경계박스(bounding box)의 좌측 하단 좌표값을 의미하며, 좌측 하단 좌표값이 객체의 위치를 대표하는 객체 좌표값을 의미하고, 도 6b에서는 N개의 프레임에서 검출된 모든 객체 좌표값들이 현재 단일 프레임 상에 오버랩하여 표시되어 있다.
한편, 추적점 집합 결정 과정을 보다 구체적으로 상술하면 다음과 같다.
우선, N개의 프레임에 대해 다음의 [수학식 1] 및 [수학식 2]에 의해 객체 히스토리 집합 H를 정의한다.
Figure 112021011289064-pat00025
Figure 112021011289064-pat00026
여기서, s(f)는 영상 프레임 번호 f에서의 객체 좌표값들의 집합이며, (xi, yi)는 객체의 영상 좌표값이며, (Xi, Yi)는 객체의 높이를 0으로 가정한 월드 좌표값이고, 히스토리 집합 H는 (k-N)번째 프레임으로부터 k번째 프레임에서의, 즉 현재 프레임으로부터 N번째 프레임 이전의 객체들의 좌표값 집합이다.
다음, 히스토리 집합 H를 구성하는 각 객체들간에 대한 시간에 대한 연결성을 부여하여 추적점을 검출하기 위해 앞선 제1조건을 이용하는데, 제1조건은 다음의 [수학식 3]에 의해 정의되고,
Figure 112021011289064-pat00027
여기서, DX는 f번째 프레임의 i번째 객체의 월드 좌표값 X와 (f-1)번째 프레임의 i번째 객체의 월드 좌표값 X 사이의 거리이다.
즉, 제1조건은 '추적중인 객체의 월드 좌표계에서 현재 프레임의 측방향 거리(Xf)와 이전 프레임의 측방향 거리(Xf-1)의 차분이 최소값이다'라는 가정이다.
제2조건은 다음의 [수학식 4]에 의해 정의되되,
Figure 112021011289064-pat00028
여기서, Z는 월드 좌표계에서의 객체의 높이이며, VSV는 주행차량의 속력이고, Vobj는 객체의 속력이다.
즉, 추적중인 객체는 자체 속력을 가지고 있지 않으므로, 높이 여부에 따라, 객체의 속력은 주행차량의 속력과 동일하거나 높을 수 있다.
한편, 객체의 속력은 다음의 [수학식 5] 및 [수학식 6]에 의해 산출되고,
Figure 112021011289064-pat00029
Figure 112021011289064-pat00030
여기서, D는 f번째 프레임의 월드 좌표값과 (f-1)번째 프레임의 월드 좌표값의 유클리디언 거리(Euclidean Distance)이고, Vobj는 프레임당 이동거리이다.
또한, 추적점 집합으로 결정되려면, 객체의 속력과 주행차량의 속력의 차분이 프레임에 따라 일정한 값을 가져야 하는데, 다음의 [수학식 7]에 의해 정의되는 표준편차 σ가 특정 임계값보다 작은 경우 다음의 [수학식 8]에 의해 정의되는 추적점 집합 T로 결정하되,
Figure 112021011289064-pat00031
Figure 112021011289064-pat00032
여기서, Vδ는 Vobj와 VSV의 차분이며, σ는 n의 프레임 집합에서 Vδ의 표준편차이고, μ는 Vδ의 평균값이고, t(i)는 영상 좌표값(xf, yf)과 월드 좌표값(Xf, Yf, 0)으로 이루어진 i번째 추적점 집합이고, T는 전체 추적점 집합이다.
이에, 추적점 집합(t(i))의 원소는 영상 좌표값과 월드 좌표값으로 이루어지고, 추적점 집합의 개수는 n개이다.
분리대 하부 경계인 분리대 하부 직선의 위치를 결정하거나 추정하기 위해서, 추적점의 높이가 0보다 큰 추적점 집합의 월드 좌표값의 높이를 구하고, 투사변환(perspective transformation) 모델에서 영상 좌표값을 월드 좌표값으로 변환하기 위해서 월드 좌표값(X,Y,Z) 중 1개의 좌표값을 가정하는데, 본 실시예에서는 측방향 거리의 좌표값(X)를 가정한다.
이에, 영상 좌표값(x,y)과 월드 좌표값 중 측방향 거리 X를 입력하여 월드 좌표값의 Y(전방거리) 및 높이(Z)를 구할 수 있고, 추적점들은, 다음의 [수학식 9]에 의해 객체의 영상 좌표값을 월드 좌표값으로 변환하며,
Figure 112021011289064-pat00033
여기서,
Figure 112021011289064-pat00034
는 월드 좌표계이며,
Figure 112021011289064-pat00035
는 영상 좌표계이며,
Figure 112021011289064-pat00036
는 카메라 좌표계이며, P는 투사변환행렬이며, C는 영상 평면 원점의 변위이며, R은 회전 변환이며, G는 카메라의 이동변환행렬이다.
또한, m개의 프레임에 대해 다음의 [수학식 10]에 의해 추적점 집합의 추적점의 평균속력이 주행차량의 평균속력보다 크면, 높이가 있는 추적점 집합을 분리대 측면의 객체로 인식하되,
Figure 112021011289064-pat00037
즉, 주행차량의 속력 평균값보다 추적점 속력들의 평균값이 크다면 높이를 갖는 추적점 집합이므로 분리대 측면의 객체로 인식할 수 있다.
상기 과정을 통해 추적점 집합은 높이를 가지는 분리대 측면의 제1추적점 집합과 바닥면에 있는 제2추적점 집합으로 결정된다. 도 6c에는, 8개의 추적점을 갖는 분리대 측면의 추적점 집합(T1)과 8개의 추적점을 갖는 분리대 바닥면의 추적점 집합(T2)이 예시되어 있다.
한편, 앞서 언급한 바와 같이, [수학식 9]를 통해 구한 월드 좌표값(X,Y,Z)으로부터, 높이가 있는 추적점 2개의 프레임 사이에서의 추적점 속력은 다음의 [수학식 17] 및 [수학식 18]에 의해 프레임당 이동거리로 정의되고,
Figure 112021011289064-pat00038
Figure 112021011289064-pat00039
여기서, (Xi(f), Yi(f), Zi(f))는 현재 프레임인 f번째 프레임의 추적점의 월드 좌표값이며, (Xi(f-1), Yi(f-1), Zi(f-1))는 이전 프레임인 (f-1)번째 프레임의 추적점의 월드 좌표값이며, X는 측방향 거리이며, Y는 전방거리이고, Z는 높이이다.
여기서, 높이를 갖는 추적점의 월드 좌표값을 정확하게 구하는 과정은 현재 추적점의 이동속력을 주행차량의 이동속력과 동일하게 만드는 과정으로 다음과 같다.
다음의 [수학식 19]에 의한 조건을 만족하여야 하는데,
Figure 112021011289064-pat00040
여기서, ∇f는 속력 편차(gradient)이고, 추적점의 이동속력과 주행차량의 이동속력이 동일하여야 한다는 조건이다.
한편, 높이를 갖는 추적점의 Z를 0으로 가정한 초기 추적점의 이동속력 V0는 주행차량의 이동속력 VSV보다 항상 큰 값을 가지므로, 다음의 [수학식 20]에서와 같이 초기 속력 편차 ∇f0는 0보다 크다.
Figure 112021011289064-pat00041
또한, 분리대 주변에는 높이가 0인 객체들인, 차선 또는 차선과 분리대 사이의 객체들이 월드 좌표계의 X축에 대해 인접하므로, 분리대 측면에 존재하는 높이를 갖는 객체의 정확한 월드 좌표값들은 측방향 거리 X를 변수로 정할 때 예측하기 쉽다.
실제 프로그래밍 상에서, 다음의 [수학식 21]의 조건을 갖는 반복문을 통해서, 측방향 좌표값 X값을 단계적으로 상수 δx만큼씩 변경시키면, Vobj는 감소하여 앞선 [수학식 19]의 조건에 근접할 것이고,
Figure 112021011289064-pat00042
여기서, Xold는 이전 단계의 측방향 좌표값이며, 초기값은 바닥면 객체들 중 측방향으로 분리대에 가장 가까운 값을 사용하고, δx는 X를 변경하기 위한 변위이며, Xnew는 변경된 신규 측방향 좌표값이고, ε은 허용 임계값이고, 앞선 [수학식 19]의 값이 ε보다 작을 때 반복을 종료하고, 최종 Xnew가 객체의 측방향 거리이다.
후속하여, 분리대 하부 직선 존재여부 판단 단계(S170)에서는, 추적점 집합으로부터 높이를 가지는 분리대 측면의 제1추적점과, 바닥면에 있는 제2추적점 사이에, 허프공간으로부터 분리대 하부 직선이 존재하는지 판단한다.
후속하여, 분리대 하부 직선의 검출 여부에 따라, 분리대 하부 직선을 결정하는 단계(S180A) 또는 추정하는 단계(S180B)로 각각 분기한다.
여기서, 제1추적점과 제2추적점 사이에 허프공간 상에서 직선이 존재하면 직선을 분리대 하부 직선으로 결정하고, 직선이 존재하지 않는다면 분리대 하부 직선을 추정하는데, 분리대 측면의 객체의 제1추적점 또는 바닥면의 제2추적점의 월드 좌표값으로부터 분리대 하부 직선을 추정할 수 있다.
도 1b를 참조하여, 분리대 하부 직선을 추정하는 과정을 구체적으로 상술하면 다음과 같다.
첫째, 제1추적점 집합(T1)과 제2추적점 집합(T2)이 동시에 존재하는지 판단하여(S181) 동시에 존재하면, 앞선 추적점 집합 결정 단계(S160)에서 구한 분리대 측면의 객체와 바닥면의 객체의 월드 좌표값 사이에 분리대 하부 직선이 존재하므로, 다음의 [수학식 11]에 의해 X1과 X2의 중간값을 통과하는 분리대 하부 직선의 방정식을 산출하되(S182),
Figure 112021011289064-pat00043
여기서, Xdw는 분리대 하부 직선의 측방향 좌표이며, X1은 분리대 측면의 추적점의 측방향 좌표값이고, X2는 바닥면의 추적점의 측방향 좌표값이다.
예컨대, X1이 -1.987m이고 X2가 -1.664m이면, 근거리 월드 좌표값을 X = -1.8255m, Y = 0, Z = 0으로 설정하여 근거리 영상 좌표값을 얻고, LDWS에서 얻은 소실점을 원거리 영상 좌표값으로 사용하여, 도 7에 도시된 바와 같이, 근거리 영상 좌표값과 원거리 영상 좌표값을 지나는 직선(L)이 분리대 하부 직선으로 추정할 수 있다.
한편, 현재 프레임의 분리대 하부 직선 측방향 좌표값은 다음의 [수학식 22]와 [수학식 13]과 [수학식 14]에 의해 정의되고,
Figure 112021011289064-pat00044
여기서, Xδ는 차선에 대한 분리대 하부 직선의 측방향 차분값이고, XL은 LDWS로부터 제공된 좌측 차선의 측방향 월드 좌표값이며, Xδ의 평균 데이터는 다음의 [수학식 13]에 의해 정의된 이동평균필터(moving average filter)를 사용하고,
Figure 112021011289064-pat00045
여기서,
Figure 112021011289064-pat00046
은 이동평균필터를 통과한 Xδ의 평균 데이터이고,
Figure 112021011289064-pat00047
은 전단계에서 얻은 Xδ의 평균 데이터이고, n은 평균을 구하기 위한 시간축의 데이터들의 개수이고, k는 현재 프레임이며, (k-1)은 이전 프레임이고, 이동평균필터의 결과값
Figure 112021011289064-pat00048
가 적용된 분리대 하부 직선의 측방향 좌표값은 다음의 [수학식 14]와 같이 구해지고,
Figure 112021011289064-pat00049
여기서, Xf dw는 현재 프레임의 분리대 하부 직선의 측방향 좌표값이다.
둘째, 분리대 하부 직선이 보이지 않는 상태로 긴 시간을 주행하는 경우에 분리대 하부 직선을 추정하는 방법은 다음과 같다.
분리대 측면의 추적점 집합인 제1추적점 집합(T1)만이 존재하면(S183), [수학식 12] 내지 [수학식 14]에 의해 분리대 하부 직선의 좌표를 수정하여 분리대 하부 직선을 추정하되,
Figure 112021011289064-pat00050
여기서, Xδ는 차선에 대한 분리대 하부 직선의 측방향 차분값이며, XL은 좌측 차선의 측방향 월드 좌표값이며, Xf-1 dw는 이전 프레임의 분리대 하부 직선의 측방향 좌표값이고,
[수학식 12]에 의해 산출된 Xδ를 [수학식 13]에 적용하여 수정하고, Xf-1 dw이 X1보다 작지 않다면 분리대 하부 직선의 좌표를 유지하여 분리대 하부 직선을 추정한다(S184).
즉, 제1추적점 집합(T1)의 좌표값 X1과 분리대 하부 직선의 측방향 좌표값 Xf-1 dw의 비교에 의해 현재 프레임의 Xf dw을 결정할 수 있다.
한편, 분리대 바닥면의 제2추적점 집합(T2)만이 존재하면(S185), [수학식 13]과 [수학식 14] 및 다음 [수학식 15]에 의해 분리대 하부 직선의 좌표를 수정하여 분리대 하부 직선을 추정하되,
Figure 112021011289064-pat00051
여기서, [수학식 15]에 의해 산출된 Xδ를 [수학식 13] 및 [수학식 14]에 적용하여 현재 프레임의 분리대 하부 직선의 측방향 좌표값을 수정하고, Xf-1 dw이 X2보다 작지 않다면 분리대 하부 직선의 좌표를 유지하여 분리대 하부 직선을 추정할 수 있다(S186).
즉, 제2추적점 집합(T2)의 좌표값 X2와 분리대 하부 직선의 측방향 좌표값 Xf-1 dw의 비교에 의해 현재 프레임의 Xf dw을 결정할 수 있다.
후속하여, 추돌 예측 단계(S190)에서는, 앞서 결정되거나 추정된 분리대 하부 직선과 차량의 주행경로 직선의 교점을 검출하여서, 추돌예상위치 및 추돌예상시간을 예측한다.
여기서, 추돌예상위치는, 분리대 하부 직선과 주행차량의 예상경로직선의 교점으로 결정되고, 추돌예상시간은 다음의 [수학식 16]에 의해 정의되며,
Figure 112021011289064-pat00052
여기서, TTC(Time To Collision)는 추돌예상시간이며, di는 분리대 추돌예상거리이고, VSV는 주행차량의 속력이다.
또한, 예상경로직선은 주행차량의 핸들조작이 이루어지지 않는다는 전제하에 주행차량의 중심에서 좌측 측면까지의 길이와 2개의 월드 좌표값을 통해 구할 수 있다.
즉, 예상경로직선은 주행차량의 넓이의 1/2인 X좌표 및 전방거리 0m인 Y좌표인 근거리 월드 좌표값과, 주행차량의 넓이의 1/2인 X좌표 및 전방거리 1000m인 Y좌표인 원거리 월드 좌표값을 통과하는 직선일 수 있다.
예컨대, 도 8a에 도시된 바와 같이, E는 주행차량의 예상경로직선이며, BL은 인식된 분리대 하부 직선이며, 십자선으로 표시된 2개의 직선의 교점은 추돌예상위치이고, 추돌예상거리(di)는 교점의 월드 좌표값에서의 전방거리 Y값일 수 있다.
예를 들면, 도 8a를 참고하면, 분리대에 대한 추돌예상거리가 77m이고, 주행차량의 속도가 100km/h이면, TTC는 2.8sec이고, 도 8b를 참고하면, 핸들을 조작하지 않고 분리대에 근접한 경우, 추돌예상거리는 10m이고, 주행차량의 속도가 100km/h이면, TTC는 0.4sec이다.
최종적으로, 경고정보 제공 단계(S200)에서는, 앞선 산출된 추돌예상위치 및 추돌예상시간의 분리대추돌 경고정보를 제공하되, 분리대추돌 경고정보는 내비게이션의 영상과 음향, 조향장치의 진동 또는 차량스피커의 음향을 통해 경고하거나, 분리대추돌 경고정보에 따라, 차선이탈방지시스템과 연동하여 조향장치를 자율조정하여 차선을 유지하도록 할 수 있다.
따라서, 전술한 바와 같은 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법의 구성에 의해서, 분리대와 바닥면의 색상이 유사하여 분리대 하부 직선을 인식할 수 없는 콘크리트 분리대가 설치된 도로에서도 객체의 움직임과 높이를 인식하여 분리대 하부 직선의 위치를 추정하도록 하고, 추돌예상거리와 추돌예상시간을 산출하여 경고정보를 통해 추돌사고를 예방하도록 할 수 있다.
이상, 본 발명을 도면에 도시된 실시예를 참조하여 설명하였다. 그러나, 본 발명은 이에 한정되지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명과 균등한 범위에 속하는 다양한 변형예 또는 다른 실시예가 가능하다. 따라서, 본 발명의 진정한 보호범위는 이어지는 특허청구범위에 의해 정해져야 할 것이다.
S110 : 도로전방 영상 획득 단계
S120 : 허프공간 생성 단계
S130 : 분리대 상부 직선 인식 단계
S140: 분리대 ROI 생성 단계
S150 : 객체 검출 단계
S160 : 추적점 집합 결정 단계
S170 : 분리대 하부 직선 존재여부 판단 단계
S180A : 분리대 하부 직선 결정 단계
S180B : 분리대 하부 직선 추정 단계
S190 : 추돌 예측 단계
S200 : 경고정보 제공 단계

Claims (17)

  1. 주행차량의 카메라를 통해 분리대와 도로 바닥면이 포함된 도로전방 영상을 획득하는 단계;
    상기 영상으로부터 에지를 검출하여 허프공간을 생성하는 단계;
    상기 허프공간으로부터 분리대 상부 직선을 인식하는 단계;
    상기 분리대 상부 직선과 차선정보를 이용하여 분리대 ROI를 생성하는 단계;
    라벨링 기법을 통해 상기 분리대 ROI 내부에서 객체를 검출하는 단계;
    특정조건을 만족하는 상기 객체들의 추적점 집합을 결정하는 단계;
    상기 추적점 집합으로부터 높이를 가지는 분리대 측면의 제1추적점과, 바닥면에 있는 제2추적점 사이에, 상기 허프공간으로부터 분리대 하부 직선이 존재하는지 판단하는 단계;
    상기 분리대 하부 직선의 검출 여부에 따라 상기 분리대 하부 직선을 결정하거나 추정하는 단계; 및
    결정되거나 추정된 상기 분리대 하부 직선과 차량의 주행경로 직선의 교점을 검출하여 추돌예상위치 및 추돌예상시간을 예측하는 단계;를 포함하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  2. 제 1 항에 있어서,
    상기 영상의 에지영상을 허프변환하여 직선성분을 검출하여 허프공간을 생성하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  3. 제 1 항에 있어서,
    상기 허프공간의 복수의 직선들 중, 차선을 제외하고, 최상단에 존재하는 직선을 상기 분리대 상부 직선으로 인식하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  4. 제 1 항에 있어서,
    상기 분리대 상부 직선과 좌측 차선의 영상 좌표 정보를 이용하여 상기 분리대 ROI를 생성하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  5. 제 1 항에 있어서,
    상기 라벨링 기법을 수행하여, 상기 분리대 ROI 내부에 존재하는 에지로부터 8-연결성을 갖는 객체들로 상호 분리하여 상기 객체를 검출하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  6. 제 1 항에 있어서,
    상기 추적점 집합을 결정하는 단계는,
    상기 객체들의 시계열상의 객체 좌표값을 N개의 프레임에 대해 FIFO 구조의 메모리에 저장하여 객체 집합으로 유지하는 단계와,
    k번째 프레임과 (k-1)번째 프레임에 해당하는, 추적중인 상기 객체의 위치에 해당하는 월드 좌표계에서의 각 측방향 거리의 차분이 최소값이라는 제1조건과, 월드 좌표계에서 상기 객체의 높이가 0인 경우 상기 주행차량의 속력과 상기 객체의 속력이 동일하고, 상기 객체의 높이가 0보다 큰 경우 상기 주행차량의 속력보다 상기 객체의 속력이 크다는 제2조건을 만족하는, 상기 객체의 집합을 상기 추적점 집합으로 결정하는 단계로 구성되는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  7. 제 6 항에 있어서,
    상기 N개의 프레임에 대해 다음의 [수학식 1] 및 [수학식 2]에 의해 객체 히스토리 집합 H를 정의하고,
    [수학식 1]
    Figure 112021011289064-pat00053

    [수학식 2]
    Figure 112021011289064-pat00054

    여기서, s(f)는 영상 프레임 번호 f에서의 객체 좌표값들의 집합이며, (xi, yi)는 객체의 영상 좌표값이며, (Xi, Yi)는 객체의 높이를 0으로 가정한 월드 좌표값이고, 상기 히스토리 집합 H는 (k-N)번째 프레임으로부터 k번째 프레임에서의 객체들의 좌표값 집합이며,
    상기 제1조건은 다음의 [수학식 3]에 의해 정의되고,
    [수학식 3]
    Figure 112021011289064-pat00055

    여기서, DX는 f번째 프레임의 i번째 객체의 월드 좌표값 X와 (f-1)번째 프레임의 i번째 객체의 월드 좌표값 X 사이의 거리이고,
    상기 제2조건은 다음의 [수학식 4]에 의해 정의되되,
    [수학식 4]
    Figure 112021011289064-pat00056

    여기서, Z는 월드 좌표계에서의 상기 객체의 높이이며, VSV는 상기 주행차량의 속력이고, Vobj는 상기 객체의 속력인 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  8. 제 7 항에 있어서,
    상기 객체의 속력은 다음의 [수학식 5] 및 [수학식 6]에 의해 산출되고,
    [수학식 5]
    Figure 112021011289064-pat00057

    [수학식 6]
    Figure 112021011289064-pat00058

    여기서, D는 f번째 프레임의 월드 좌표값과 (f-1)번째 프레임의 월드 좌표값의 유클리디언 거리이고, Vobj는 프레임당 이동거리이고,
    다음의 [수학식 7]에 의해 정의되는 표준편차 σ가 특정 임계값보다 작은 경우 다음의 [수학식 8]에 의해 정의되는 상기 추적점 집합 T로 결정하되,
    [수학식 7]
    Figure 112021011289064-pat00059

    [수학식 8]
    Figure 112021011289064-pat00060

    여기서, Vδ는 Vobj와 VSV의 차분이며, σ는 n의 프레임 집합에서 Vδ의 표준편차이고, μ는 Vδ의 평균값이고, t(i)는 영상 좌표값(xf, yf)과 월드 좌표값(Xf, Yf, 0)으로 이루어진 i번째 추적점 집합이고, T는 전체 추적점 집합인 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  9. 제 1 항에 있어서,
    상기 추적점 집합의 추적점은,
    다음의 [수학식 9]에 의해 상기 객체의 영상 좌표값을 월드 좌표값으로 변환하며,
    [수학식 9]
    Figure 112021011289064-pat00061

    여기서,
    Figure 112021011289064-pat00062
    는 월드 좌표계이며,
    Figure 112021011289064-pat00063
    는 영상 좌표계이며,
    Figure 112021011289064-pat00064
    는 카메라 좌표계이며, P는 투사변환행렬이며, C는 영상 평면 원점의 변위이며, R은 회전 변환이며, G는 카메라의 이동변환행렬이고,
    m개의 프레임에 대해 다음의 [수학식 10]에 의해 상기 추적점 집합의 추적점의 평균속력이 상기 주행차량의 평균속력보다 크면, 높이가 있는 추적점 집합을 분리대 측면의 객체로 인식하되,
    [수학식 10]
    Figure 112021011289064-pat00065

    인 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  10. 제 1 항에 있어서,
    상기 제1추적점과 상기 제2추적점 사이에, 상기 허프공간 상에서 직선이 존재하면 상기 직선을 상기 분리대 하부 직선으로 결정하고, 직선이 존재하지 않는다면 상기 분리대 하부 직선을 추정하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  11. 제 10 항에 있어서,
    상기 분리대 측면의 상기 객체의 제1추적점, 또는 상기 바닥면의 상기 제2추적점의 월드 좌표값으로부터 상기 분리대 하부 직선을 추정하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  12. 제 11 항에 있어서,
    상기 제1추적점 집합과 상기 제2추적점 집합이 동시에 존재하는지 판단하여 동시에 존재하면, 다음의 [수학식 11]에 의해 상기 분리대 하부 직선의 방정식을 산출하고,
    [수학식 11]
    Figure 112021011289064-pat00066

    여기서, Xdw는 상기 분리대 하부 직선의 측방향 좌표이며, X1은 상기 제1추적점의 측방향 좌표값이고, X2는 상기 제2추적점의 측방향 좌표값이며,
    상기 제1추적점 집합만이 존재하면, 다음의 [수학식 12] 내지 [수학식 14]에 의해 상기 분리대 하부 직선의 좌표를 수정하여 상기 분리대 하부 직선을 추정하되,
    [수학식 12]
    Figure 112021011289064-pat00067

    여기서, Xδ는 차선에 대한 상기 분리대 하부 직선의 측방향 차분값이며, XL은 좌측 차선의 측방향 월드 좌표값이며, Xf-1 dw는 이전 프레임의 상기 분리대 하부 직선의 측방향 좌표값이고,
    [수학식 13]
    Figure 112021011289064-pat00068

    여기서, 상기 [수학식 13]은 Xδ의 평균 데이터를 산출하기 위한 이동평균필터이며,
    Figure 112021011289064-pat00069
    은 이동평균필터를 통과한 Xδ의 평균 데이터이며,
    Figure 112021011289064-pat00070
    은 전단계에서 얻은 Xδ의 평균 데이터이고, 상기 [수학식 12]에 의해 산출된 Xδ를 상기 [수학식 13]에 적용하여 수정하고,
    [수학식 14]
    Figure 112021011289064-pat00071

    여기서, Xf dw는 현재 프레임의 상기 분리대 하부 직선의 측방향 좌표값이고,
    Xf-1 dw이 X1보다 작지 않다면 상기 분리대 하부 직선의 좌표를 유지하여 상기 분리대 하부 직선을 추정하고,
    상기 제2추적점 집합만이 존재하면, 상기 [수학식 13]과 상기 [수학식 14] 및 다음 [수학식 15]에 의해 상기 분리대 하부 직선의 좌표를 수정하여 상기 분리대 하부 직선을 추정하되,
    [수학식 15]
    Figure 112021011289064-pat00072

    여기서, 상기 [수학식 15]에 의해 산출된 Xδ를 상기 [수학식 13] 및 상기 [수학식 14]에 적용하여 현재 프레임의 상기 분리대 하부 직선의 측방향 좌표값을 수정하고, Xf-1 dw이 X2보다 작지 않다면 상기 분리대 하부 직선의 좌표를 유지하여 상기 분리대 하부 직선을 추정하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  13. 제 1 항에 있어서,
    상기 추돌예상위치는, 상기 분리대 하부 직선과 상기 주행차량의 예상경로직선의 교점으로 결정되고,
    상기 추돌예상시간은 다음의 [수학식 16]에 의해 정의되며,
    [수학식 16]
    Figure 112021011289064-pat00073

    여기서, TTC는 추돌예상시간이며, di는 분리대 추돌예상거리이고, VSV는 상기 주행차량의 속력인 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  14. 제 13 항에 있어서,
    상기 예상경로직선은, 상기 주행차량의 넓이의 1/2인 X좌표 및 0m인 Y좌표인 근거리 월드 좌표값과, 상기 주행차량의 넓이의 1/2인 X좌표 및 1000m인 Y좌표인 원거리 월드 좌표값을 통과하는 직선인 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  15. 제 1 항에 있어서,
    상기 추돌예상위치 및 상기 추돌예상시간의 분리대추돌 경고정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  16. 제 15 항에 있어서,
    상기 분리대추돌 경고정보는 내비게이션의 영상과 음향, 조향장치의 진동 또는 차량스피커의 음향을 통해 경고하거나,
    상기 분리대추돌 경고정보에 따라, 차선이탈방지시스템과 연동하여 상기 조향장치를 자율조정하여 차선을 유지하도록 하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
  17. 제 1 항에 있어서,
    강우시, 강설시 또는 연무시에 따른 반복적인 노이즈 패턴을 상기 도로전방 영상으로부터 제거하여 에지를 검출하도록 하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
KR1020210012038A 2020-08-26 2021-01-28 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법 KR102318586B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200107791 2020-08-26
KR1020200107791 2020-08-26

Publications (1)

Publication Number Publication Date
KR102318586B1 true KR102318586B1 (ko) 2021-10-28

Family

ID=78232466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210012038A KR102318586B1 (ko) 2020-08-26 2021-01-28 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법

Country Status (2)

Country Link
US (1) US11634124B2 (ko)
KR (1) KR102318586B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102433544B1 (ko) 2022-01-14 2022-08-18 주식회사 카비 순차 영상 분석을 통한 차량경로 복원 시스템 및 이를 이용한 차량경로 복원 방법
KR102501889B1 (ko) 2022-08-01 2023-02-21 주식회사 카비 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법
KR102633425B1 (ko) 2023-08-14 2024-02-07 주식회사 카비 교통사고 현장 재구성 리포트를 만드는 장치
KR102633427B1 (ko) 2023-08-14 2024-02-07 주식회사 카비 교통사고 현장 재구성 리포트를 만드는 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455908B (zh) * 2023-12-22 2024-04-09 山东济矿鲁能煤电股份有限公司阳城煤矿 一种皮带机跑偏视觉检测方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020476A (ja) * 2008-07-09 2010-01-28 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
KR101342124B1 (ko) 2013-10-18 2013-12-19 주식회사 지티 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법
JP2014002608A (ja) * 2012-06-19 2014-01-09 Toyota Motor Corp 路側物検出装置
KR20140030753A (ko) * 2012-09-03 2014-03-12 현대모비스 주식회사 차선 이탈 경보 장치 및 방법
KR101455835B1 (ko) 2014-06-16 2014-11-04 주식회사 지티 영상을 이용한 차선인식 및 추적시스템, 이를 이용한 차선인식 및 추적방법
KR20180082089A (ko) * 2017-01-10 2018-07-18 (주)베라시스 영상 기반 색상정보를 이용한 초지 경계 검출 방법
JP2019212154A (ja) * 2018-06-07 2019-12-12 株式会社Ｓｏｋｅｎ 道路境界検出装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6895126B2 (en) * 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
DE602006019156D1 (de) * 2005-12-27 2011-02-03 Honda Motor Co Ltd Fahrzeug und Lenksteuerungsvorrichtung für ein Fahrzeug
US9280711B2 (en) * 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
TWI417207B (zh) * 2010-12-28 2013-12-01 Automotive Res & Testing Ct Image - based obstacle detection reversing warning system and method
CN107729856B (zh) * 2017-10-26 2019-08-23 海信集团有限公司 一种障碍物检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010020476A (ja) * 2008-07-09 2010-01-28 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP2014002608A (ja) * 2012-06-19 2014-01-09 Toyota Motor Corp 路側物検出装置
KR20140030753A (ko) * 2012-09-03 2014-03-12 현대모비스 주식회사 차선 이탈 경보 장치 및 방법
KR101342124B1 (ko) 2013-10-18 2013-12-19 주식회사 지티 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법
KR101455835B1 (ko) 2014-06-16 2014-11-04 주식회사 지티 영상을 이용한 차선인식 및 추적시스템, 이를 이용한 차선인식 및 추적방법
KR20180082089A (ko) * 2017-01-10 2018-07-18 (주)베라시스 영상 기반 색상정보를 이용한 초지 경계 검출 방법
JP2019212154A (ja) * 2018-06-07 2019-12-12 株式会社Ｓｏｋｅｎ 道路境界検出装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102433544B1 (ko) 2022-01-14 2022-08-18 주식회사 카비 순차 영상 분석을 통한 차량경로 복원 시스템 및 이를 이용한 차량경로 복원 방법
KR102501889B1 (ko) 2022-08-01 2023-02-21 주식회사 카비 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법
KR102633425B1 (ko) 2023-08-14 2024-02-07 주식회사 카비 교통사고 현장 재구성 리포트를 만드는 장치
KR102633427B1 (ko) 2023-08-14 2024-02-07 주식회사 카비 교통사고 현장 재구성 리포트를 만드는 방법

Also Published As

Publication number Publication date
US11634124B2 (en) 2023-04-25
US20220063608A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
KR102318586B1 (ko) 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법
US6466684B1 (en) Environment monitoring system
JP3169483B2 (ja) 道路環境認識装置
US6445809B1 (en) Environment monitoring system
US8750567B2 (en) Road structure detection and tracking
JP3357749B2 (ja) 車両の走行路画像処理装置
US8670592B2 (en) Clear path detection using segmentation-based method
US9245188B2 (en) Lane detection system and method
KR100886605B1 (ko) 표시선 검출기
US6845172B2 (en) Road lane marker recognition
Foucher et al. Detection and recognition of urban road markings using images
EP3410416B1 (en) Image processing device, imaging device, mobile entity apparatus control system, image processing method, and program
Daigavane et al. Road lane detection with improved canny edges using ant colony optimization
CN110287779A (zh) 车道线的检测方法、装置及设备
US20090192686A1 (en) Method and Driver Assistance System for Sensor-Based Drive-Off Control of a Motor Vehicle
KR102031503B1 (ko) 다중 객체 검출 시스템 및 방법
JP5868586B2 (ja) ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置
CN103366179B (zh) 畅通路径检测中的俯视图分类
JP5894201B2 (ja) 境界線認識装置
JPH06337938A (ja) 画像処理装置及び距離測定装置
JP2008168811A (ja) 車線認識装置、車両、車線認識方法、及び車線認識プログラム
JP2002334330A (ja) 車両認識装置
Yoneda et al. Simultaneous state recognition for multiple traffic signals on urban road
JP2012150595A (ja) 一時停止線検出装置及びプログラム
Solder et al. Object detection in real-time

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant