KR102318586B1 - 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법 - Google Patents
영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법 Download PDFInfo
- Publication number
- KR102318586B1 KR102318586B1 KR1020210012038A KR20210012038A KR102318586B1 KR 102318586 B1 KR102318586 B1 KR 102318586B1 KR 1020210012038 A KR1020210012038 A KR 1020210012038A KR 20210012038 A KR20210012038 A KR 20210012038A KR 102318586 B1 KR102318586 B1 KR 102318586B1
- Authority
- KR
- South Korea
- Prior art keywords
- straight line
- equation
- separation zone
- image
- separator
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000000926 separation method Methods 0.000 claims abstract description 109
- 238000010191 image analysis Methods 0.000 claims abstract description 21
- 238000002372 labelling Methods 0.000 claims abstract description 19
- 230000009466 transformation Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000002265 prevention Effects 0.000 claims description 4
- 230000003252 repetitive effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
-
- G06K9/00798—
-
- G06K9/00805—
-
- G06K9/4633—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/801—Lateral distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
Abstract
본 발명은, 주행차량의 카메라를 통해 분리대와 도로 바닥면이 포함된 도로전방 영상을 획득하는 단계(S110), 영상으로부터 에지를 검출하여 허프공간을 생성하는 단계(S120), 허프공간으로부터 분리대 상부 직선을 인식하는 단계(S130), 분리대 상부 직선과 차선정보를 이용하여 분리대 ROI를 생성하는 단계(S140), 라벨링 기법을 통해 분리대 ROI 내부에서 객체를 검출하는 단계(S150), 특정조건을 만족하는 객체들의 추적점 집합을 결정하는 단계(S160), 추적점 집합으로부터 높이를 가지는 분리대 측면의 제1추적점과, 바닥면에 있는 제2추적점 사이에, 허프공간으로부터 분리대 하부 직선이 존재하는지 판단하는 단계(S170), 분리대 하부 직선의 검출 여부에 따라 분리대 하부 직선을 결정하거나 추정하는 단계(S180), 및 결정되거나 추정된 분리대 하부 직선과 차량의 주행경로 직선의 교점을 검출하여 추돌예상위치 및 추돌예상시간을 예측하는 단계(S190)를 포함하여서, 콘크리트 분리대의 하부 직선을 인식하여 분리대 추돌가능성을 예측하여 추돌사고를 예방하도록 할 수 있는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법을 개시한다.
Description
본 발명은 주행차량의 전방 카메라로부터 획득된 영상에서 콘크리트 분리대를 인식하고 분리대와의 추돌 가능성을 예측할 수 있는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법에 관한 것이다.
최근, 추돌예방의 자율주행기술의 일환으로, 도로전방영상을 이용하여 전방차량과 차선과 분리대를 인식하는 방법에 대한 연구들이 진행되고 있다.
특히, 분리대 인식과 관련된 연구에서 가장 핵심적인 것은 분리대 하부(하단) 직선, 즉 분리대와 도로 표면의 경계부분의 하부 직선을 인식하는 것이다.
예컨대, 주행차량이 분리대와 추돌할 예상 위치가 하부 직선과 주행차량의 예상이동경로의 교점이므로, 하부 직선을 높은 정확도로 결정하거나 추정할 수 있어야 한다.
이를 위해, 가드레일 분리대의 경우에는 가드레일 분리대의 수직 에지 성분과 분리대 하부 직선을 모두 검출하여 교점의 이동속도를 계산하는 방법이 제안되었고, 콘크리트 분리대의 경우에는 도로와 평행한 직선들 주변에서 패치의 이동 벡터를 계산하는 방법 등이 제안되었다.
이와 같이, 분리대의 하부 직선을 영상으로부터 검출할 수 있다는 가정하에 수행되었으나, 특히 콘크리트 분리대의 경우에는, 분리대와 바닥면의 색상이 유사하여 바닥면의 도로와 구분할 수 있는 에지를 검출할 수 없어서 분리대의 하부 직선을 구할 수 없는 경우가 많다.
이에, 종래에는 콘크리트 분리대 인식이 거의 불가능하여 차량의 분리대와의 추돌가능성을 정확하게 예측할 수 없는 문제점이 있다.
본 발명의 사상이 이루고자 하는 기술적 과제는, 주행차량의 전방 카메라로부터 획득된 영상에서 콘크리트 분리대를 인식하고 분리대와의 추돌 가능성을 예측할 수 있는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법을 제공하는 데 있다.
전술한 목적을 달성하고자, 본 발명은, 주행차량의 카메라를 통해 분리대와 도로 바닥면이 포함된 도로전방 영상을 획득하는 단계; 상기 영상으로부터 에지를 검출하여 허프공간을 생성하는 단계; 상기 허프공간으로부터 분리대 상부 직선을 인식하는 단계; 상기 분리대 상부 직선과 차선정보를 이용하여 분리대 ROI를 생성하는 단계; 라벨링 기법을 통해 상기 분리대 ROI 내부에서 객체를 검출하는 단계; 특정조건을 만족하는 상기 객체들의 추적점 집합을 결정하는 단계; 상기 추적점 집합으로부터 높이를 가지는 분리대 측면의 제1추적점과, 바닥면에 있는 제2추적점 사이에, 상기 허프공간으로부터 분리대 하부 직선이 존재하는지 판단하는 단계; 상기 분리대 하부 직선의 검출 여부에 따라 상기 분리대 하부 직선을 결정하거나 추정하는 단계; 및 결정되거나 추정된 상기 분리대 하부 직선과 차량의 주행경로 직선의 교점을 검출하여 추돌예상위치 및 추돌예상시간을 예측하는 단계;를 포함하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법을 제공한다.
여기서, 상기 영상의 에지영상을 허프변환하여 직선성분을 검출하여 허프공간을 생성할 수 있다.
또한, 상기 허프공간의 복수의 직선들 중, 차선을 제외하고, 최상단에 존재하는 직선을 상기 분리대 상부 직선으로 인식할 수 있다.
또한, 상기 분리대 상부 직선과 좌측 차선의 영상 좌표 정보를 이용하여 상기 분리대 ROI를 생성할 수 있다.
또한, 상기 라벨링 기법을 수행하여, 상기 분리대 ROI 내부에 존재하는 에지로부터 8-연결성을 갖는 객체들로 상호 분리하여 상기 객체를 검출할 수 있다.
또한, 상기 추적점 집합을 결정하는 단계는, 상기 객체들의 시계열상의 객체 좌표값을 N개의 프레임에 대해 FIFO 구조의 메모리에 저장하여 객체 집합으로 유지하는 단계와, k번째 프레임과 (k-1)번째 프레임에 해당하는, 추적중인 상기 객체의 위치에 해당하는 월드 좌표계에서의 각 측방향 거리의 차분이 최소값이라는 제1조건과, 월드 좌표계에서 객체의 높이가 0인 경우 주행차량의 속력과 상기 객체의 속력이 동일하고, 객체의 높이가 0보다 큰 경우 주행차량의 속력보다 상기 객체의 속력이 크다는 제2조건을 만족하는, 상기 객체의 집합을 상기 추적점 집합으로 결정하는 단계로 구성될 수 있다.
또한, 상기 N개의 프레임에 대해 다음의 [수학식 1] 및 [수학식 2]에 의해 객체 히스토리 집합 H를 정의하고,
[수학식 1]
[수학식 2]
여기서, s(f)는 영상 프레임 번호 f에서의 객체 좌표값들의 집합이며, (xi, yi)는 객체의 영상 좌표값이며, (Xi, Yi)는 객체의 높이를 0으로 가정한 월드 좌표값이고, 상기 히스토리 집합 H는 (k-N)번째 프레임으로부터 k번째 프레임에서의 객체들의 좌표값 집합이며,
상기 제1조건은 다음의 [수학식 3]에 의해 정의되고,
[수학식 3]
여기서, DX는 f번째 프레임의 i번째 객체의 월드 좌표값 X와 (f-1)번째 프레임의 i번째 객체의 월드 좌표값 X 사이의 거리이고,
상기 제2조건은 다음의 [수학식 4]에 의해 정의되되,
[수학식 4]
여기서, Z는 월드 좌표계에서의 상기 객체의 높이이며, VSV는 상기 주행차량의 속력이고, Vobj는 상기 객체의 속력이다.
또한, 상기 객체의 속력은 다음의 [수학식 5] 및 [수학식 6]에 의해 산출되고,
[수학식 5]
[수학식 6]
여기서, D는 f번째 프레임의 월드 좌표값과 (f-1)번째 프레임의 월드 좌표값의 유클리디언 거리이고, Vobj는 프레임당 이동거리이고,
다음의 [수학식 7]에 의해 정의되는 표준편차 σ가 특정 임계값보다 작은 경우 다음의 [수학식 8]에 의해 정의되는 상기 추적점 집합 T로 결정하되,
[수학식 7]
[수학식 8]
여기서, Vδ는 Vobj와 VSV의 차분이며, σ는 n의 프레임 집합에서 Vδ의 표준편차이고, μ는 Vδ의 평균값이고, t(i)는 영상 좌표값(xf, yf)과 월드 좌표값(Xf, Yf, 0)으로 이루어진 i번째 추적점 집합이고, T는 전체 추적점 집합일 수 있다.
또한, 상기 추적점 집합의 추적점은, 다음의 [수학식 9]에 의해 상기 객체의 영상 좌표값을 월드 좌표값으로 변환하며,
[수학식 9]
여기서, 는 월드 좌표계이며, 는 영상 좌표계이며, 는 카메라 좌표계이며, P는 투사변환행렬이며, C는 영상 평면 원점의 변위이며, R은 회전 변환이며, G는 카메라의 이동변환행렬이고,
m개의 프레임에 대해 다음의 [수학식 10]에 의해 상기 추적점 집합의 추적점의 평균속력이 상기 주행차량의 평균속력보다 크면, 높이가 있는 추적점 집합을 분리대 측면의 객체로 인식하되,
[수학식 10]
일 수 있다.
상기 과정을 통해 추적점 집합은 높이를 가지는 분리대 측면의 제1추적점 집합과 바닥면에 있는 제2추적점 집합으로 결정된다.
또한, 상기 제1추적점과 상기 제2추적점 사이에, 상기 허프공간 상에서 직선이 존재하면 상기 직선을 상기 분리대 하부 직선으로 결정하고, 직선이 존재하지 않는다면 상기 분리대 하부 직선을 추정할 수 있다.
또한, 분리대 측면의 상기 객체의 제1추적점, 또는 상기 바닥면의 상기 제2추적점의 월드 좌표값으로부터 상기 분리대 하부 직선을 추정할 수 있다.
또한, 상기 제1추적점 집합과 상기 제2추적점 집합이 동시에 존재하는지 판단하여 동시에 존재하면, 다음의 [수학식 11]에 의해 상기 분리대 하부 직선의 방정식을 산출하고,
[수학식 11]
여기서, Xdw는 상기 분리대 하부 직선의 측방향 좌표이며, X1은 상기 제1추적점의 측방향 좌표값이고, X2는 상기 제2추적점의 측방향 좌표값이며,
상기 제1추적점 집합만이 존재하면, 다음의 [수학식 12] 내지 [수학식 14]에 의해 상기 분리대 하부 직선의 좌표를 수정하여 상기 분리대 하부 직선을 추정하되,
[수학식 12]
여기서, Xδ는 차선에 대한 상기 분리대 하부 직선의 측방향 차분값이며, XL은 좌측 차선의 측방향 월드 좌표값이며, Xf-1 dw는 이전 프레임의 상기 분리대 하부 직선의 측방향 좌표값이고,
[수학식 13]
여기서, 상기 [수학식 13]은 Xδ의 평균 데이터를 산출하기 위한 이동평균필터이며, 은 이동평균필터를 통과한 Xδ의 평균 데이터이며, 은 전단계에서 얻은 Xδ의 평균 데이터이고, 상기 [수학식 12]에 의해 산출된 Xδ를 상기 [수학식 13]에 적용하여 수정하고,
[수학식 14]
여기서, Xf dw는 현재 프레임의 상기 분리대 하부 직선의 측방향 좌표값이고,
Xf-1 dw이 X1보다 작지 않다면 상기 분리대 하부 직선의 좌표를 유지하여 상기 분리대 하부 직선을 추정하고,
상기 제2추적점 집합만이 존재하면, 상기 [수학식 13]과 상기 [수학식 14] 및 다음 [수학식 15]에 의해 상기 분리대 하부 직선의 좌표를 수정하여 상기 분리대 하부 직선을 추정하되,
[수학식 15]
여기서, 상기 [수학식 15]에 의해 산출된 Xδ를 상기 [수학식 13] 및 상기 [수학식 14]에 적용하여 현재 프레임의 상기 분리대 하부 직선의 측방향 좌표값을 수정하고, Xf-1 dw이 X2보다 작지 않다면 상기 분리대 하부 직선의 좌표를 유지하여 상기 분리대 하부 직선을 추정할 수 있다.
또한, 상기 추돌예상위치는, 상기 분리대 하부 직선과 상기 주행차량의 예상경로직선의 교점으로 결정되고, 상기 추돌예상시간은 다음의 [수학식 16]에 의해 정의되며,
[수학식 16]
여기서, TTC는 추돌예상시간이며, di는 분리대 추돌예상거리이고, VSV는 상기 주행차량의 속력이다.
또한, 상기 예상경로직선은, 상기 주행차량의 넓이의 1/2인 X좌표 및 0m인 Y좌표인 근거리 월드 좌표값과, 상기 주행차량의 넓이의 1/2인 X좌표 및 1000m인 Y좌표인 원거리 월드 좌표값을 통과하는 직선일 수 있다.
또한, 상기 추돌예상위치 및 상기 추돌예상시간의 분리대추돌 경고정보를 제공하는 단계를 더 포함할 수 있다.
또한, 상기 분리대추돌 경고정보는 내비게이션의 영상과 음향, 조향장치의 진동 또는 차량스피커의 음향을 통해 경고하거나, 상기 분리대추돌 경고정보에 따라, 차선이탈방지시스템과 연동하여 상기 조향장치를 자율조정하여 차선을 유지하도록 할 수 있다.
또한, 강우시, 강설시 또는 연무시에 따른 반복적인 노이즈 패턴을 상기 도로전방 영상으로부터 제거하여 에지를 검출하도록 할 수 있다.
본 발명에 의하면, 분리대와 바닥면의 색상이 유사하여 분리대 하부 직선을 인식할 수 없는 콘크리트 분리대가 설치된 도로에서도 객체의 움직임과 높이를 인식하여 분리대 하부 직선의 위치를 추정하도록 하고, 추돌예상거리와 추돌예상시간을 산출하여 경고정보를 통해 추돌사고를 예방하도록 할 수 있는 효과가 있다.
도 1a 및 도 1b는 본 발명의 실시예에 의한 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법의 개략적인 순서도를 각각 도시한 것이다.
도 2a는 도 1a의 도로전방 영상 획득 단계를 예시한 것이다.
도 2b는 도 2a의 에지 검출 단계를 예시한 것이다.
도 3은 도 2b의 에지에 대한 허프공간 생성 단계를 예시한 것이다.
도 4는 도 1a의 분리대 ROI 생성 단계를 예시한 것이다.
도 5a는 도 4의 분리대 ROI 내부의 에지 영상을 예시한 것이다.
도 5b는 도 5a에서 임계값 이상인 좌표들을 표시한 에지 좌표 집합 영상을 예시한 것이다.
도 5c는 도 5b에서 라벨링 방법을 수행하여 추적 가능한 객체들을 검출한 결과 영상을 예시한 것이다.
도 5d는 도 5b의 특정 객체 영역을 확대한 것으로, 라벨링 방법을 설명하기 위한 영상을 예시한 것이다.
도 5e는 라벨링 방법을 수행하기 위한 라벨링 창의 구조를 보여 주는 영상을 예시한 것이다.
도 6a는 도 5b 및 도 5c의 객체에 대한 경계박스를 예시한 것이다.
도 6b는 N개 프레임의 객체 좌표값의 오버랩 영상을 예시한 것이다.
도 6c는 추적점 집합을 예시한 것이다.
도 7은 분리대 하부 직선을 예시한 것이다.
도 8a 및 도 8b는 추돌예상위치와 추돌예상시간을 예시한 것이다.
도 2a는 도 1a의 도로전방 영상 획득 단계를 예시한 것이다.
도 2b는 도 2a의 에지 검출 단계를 예시한 것이다.
도 3은 도 2b의 에지에 대한 허프공간 생성 단계를 예시한 것이다.
도 4는 도 1a의 분리대 ROI 생성 단계를 예시한 것이다.
도 5a는 도 4의 분리대 ROI 내부의 에지 영상을 예시한 것이다.
도 5b는 도 5a에서 임계값 이상인 좌표들을 표시한 에지 좌표 집합 영상을 예시한 것이다.
도 5c는 도 5b에서 라벨링 방법을 수행하여 추적 가능한 객체들을 검출한 결과 영상을 예시한 것이다.
도 5d는 도 5b의 특정 객체 영역을 확대한 것으로, 라벨링 방법을 설명하기 위한 영상을 예시한 것이다.
도 5e는 라벨링 방법을 수행하기 위한 라벨링 창의 구조를 보여 주는 영상을 예시한 것이다.
도 6a는 도 5b 및 도 5c의 객체에 대한 경계박스를 예시한 것이다.
도 6b는 N개 프레임의 객체 좌표값의 오버랩 영상을 예시한 것이다.
도 6c는 추적점 집합을 예시한 것이다.
도 7은 분리대 하부 직선을 예시한 것이다.
도 8a 및 도 8b는 추돌예상위치와 추돌예상시간을 예시한 것이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 발명의 실시예에 의한 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법은, 주행차량의 카메라를 통해 분리대와 도로 바닥면이 포함된 도로전방 영상을 획득하는 단계(S110), 영상으로부터 에지를 검출하여 허프공간을 생성하는 단계(S120), 허프공간으로부터 분리대 상부 직선을 인식하는 단계(S130), 분리대 상부 직선과 차선정보를 이용하여 분리대 ROI를 생성하는 단계(S140), 라벨링 기법을 통해 분리대 ROI 내부에서 객체를 검출하는 단계(S150), 특정조건을 만족하는 객체들의 추적점 집합을 결정하는 단계(S160), 추적점 집합으로부터 높이를 가지는 분리대 측면의 제1추적점과, 바닥면에 있는 제2추적점 사이에, 허프공간으로부터 분리대 하부 직선이 존재하는지 판단하는 단계(S170), 분리대 하부 직선의 검출 여부에 따라 분리대 하부 직선을 결정하거나 추정하는 단계(S180), 및 결정되거나 추정된 분리대 하부 직선과 차량의 주행경로 직선의 교점을 검출하여 추돌예상위치 및 추돌예상시간을 예측하는 단계(S190)를 포함하여서, 콘크리트 분리대의 하부 직선을 인식하여 분리대 추돌가능성을 예측하여 추돌사고를 예방하도록 하는 것을 요지로 한다.
이하, 도 1a 내지 도 8b를 참조하여, 전술한 단계의 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법을 구체적으로 상술하면 다음과 같다.
선행하여, 도로전방 영상 획득 단계(S110)에서는, 주행차량의 전방 카메라를 통해 분리대와 도로 바닥면이 포함된 도로전방 영상을 획득한다.
여기서, 도 2a를 참고하면, 전방 카메라를 통해 획득된 영상은 콘크리트 분리벽 측면 하부와 1차선 차선 외곽의 바닥면의 색상이 유사하여 분리대의 하부 경계, 즉 분리대 하부 직선이 육안으로 쉽게 식별되지 않는데, 이하에서는, 분리대 주변영역의 객체들의 움직임을 이용하여, 분리대 하부 직선을 결정하거나 추정하는 방법을 제시하고자 한다.
한편, 날씨 변수를 최소화하고자, 강우시, 강설시 또는 연무시에 따른 반복적인 노이즈 패턴을 도로전방 영상으로부터 제거하여 후속 단계에서 에지를 보다 쉽게 검출하도록 할 수도 있다.
후속하여, 허프공간 생성 단계(S120)에서는, 영상으로부터 에지를 검출하여 허프공간(hough area)을 생성한다.
예컨대, 도 2b에서와 같이 영상으로부터 수평성분 에지를 구하고, 도 3에서와 같이 허프변환하여 수평성분 에지에 대한 허프공간을 생성한다.
즉, 영상의 에지영상을 허프변환하여 직선성분을 검출하여 허프공간을 생성하는데, 참고로, 허프변환은 한점을 통과하는 모든 직선을 허프공간상에서 사인곡선으로 변환하는데, 에지를 구성하는 모든 화소(pixel)의 xy축 에 대한 밝기값의 그레디언트(gradient)를 구하고 이 값을 이용하여 에지의 각 점에 대해 로컬(local) 각도를 얻고, 화소의 원점으로부터의 거리(D)와 각도(θ) 정보를 사용하여 허프변환을 수행한다.
후속하여, 분리대 상부 직선 인식 단계(S130)에서는, 허프공간으로부터 분리대 상부 직선을 인식한다.
여기서, 허프공간의 복수의 직선들 중, 차선을 제외하고, 최상단에 존재하는 직선을 분리대 상부 직선으로 인식할 수 있다.
즉, 도 3에 도시된 바와 같이, 허프공간상에서 다수의 사인곡선이 겹치는 점이 직선일 확률이 높아 실제 에지를 지나는 직선일 가능성이 높다는 전제하에, 도 4에 도시된 바와 같이, 다수의 직선들 중 차선의 영역을 제외하고, 최상단에 존재하는 직선을 분리대 상부 직선으로 결정하여 인식한다.
후속하여, 분리대 ROI 생성 단계(S140)에서는, 분리대 상부 직선과 차선정보를 이용하여 분리대 ROI(Region Of Interest)를 생성하여 분리대 주변의 객체들을 검출한다.
여기서, 분리대 상부 직선과 좌측 차선의 영상 좌표 정보를 이용하여 분리대 ROI를 생성할 수 있다.
예컨대, 도 4에 도시된 바와 같이, 앞서 인식된 분리대 상부 직선(A)과, 주행차량의 LDWS(Lane Departure Warning System;차로이탈 경고시스템)에서 검출한 좌측 차선(C)의 직선으로 표현된 영상 좌표 정보를 이용하여 분리대 ROI의 하부 경계선(B)을 이용하여 분리대 ROI를 생성한다.
후속하여, 객체 검출 단계(S150)에서는, 라벨링(labeling) 기법을 통해 분리대 ROI 내부에서 객체를 검출한다.
여기서, 라벨링 기법을 수행하여, 분리대 ROI 내부에 존재하는 에지로부터 8-연결성을 갖는 객체들로 상호 분리하여 객체를 검출할 수 있다.
보다 구체적으로는, 객체 검출 단계(S150)에서는, 도 5a의 에지 영상에서 검출된 에지들에서 추적을 위한 객체의 집합으로 만드는 라벨링(labeling) 작업을 수행한다. 우선, 도 5a의 에지 영상에서 임계값 이상인 좌표들을 구하며, 이것을 에지 좌표 집합이라 부른다. 도 5b는 에지 좌표 집합을 영상으로 예시한 것이다. 이 에지 좌표 집합 영상에서 서로 연결된 에지들끼리 모아 주는 군집화(clustering) 작업을 수행한다. 이때, 각 에지 군집(cluster)들에 대해 서로 구분 가능한 식별 번호를 부여한다. 본 발명의 실시예에서는 군집화와 번호 부여 작업을 합쳐서 라벨링(labeling) 작업라고 부른다. 도 5d는 도 5b의 에지 영역의 부분을 확대해서 예시한 것이다. 여기서, 사각형들은 영상의 화소(pixel)을 의미한다. 에지 화소는 검정색 사각형으로 표현되며, 배경 화소는 흰색 사각형으로 에지가 없는 배경(background)을 의미한다. 여기서, 연결된 에지 화소들을 주변 배경과 구분하여 연결하고, 화소 좌표들의 집합으로 만드는 과정을 수행한다. 도 5d에서 라벨링 창(labeling window)은 3x3의 크기이며, 분리대 ROI 내부의 영상을 탐색(scan)하면서, 에지 화소를 찾는 역할을 수행한다. 도 5e는 라벨링 창의 구조를 보여 준다. P0은 라벨링 창의 중심 화소이며, P0에 에지 화소가 존재할 때, P0의 주변 화소 8개에 대해 에지 화소가 존재하는지 검색을 수행한다. 영상처리 분야에서, 이처럼 중심 화소에 인접한 8개의 화소가 존재하는지 검사하는 것을 8-연결성(8-connectivity)이라고 부른다. 예를 들면, P0의 좌표가 (x,y)일 때, 주변 화소의 좌표는 수학식 23과 같이 표현할 수 있다.
중심 좌표 P0의 주변 좌표(P1 ~ P8)를 검색하여, 에지 화소를 찾아 객체 집합에 포함시킨다. 상기 라벨링 과정을 통해, 만들어진 객체 집합은 수학식 24와 같이 표현할 수 있다.
여기서, B는 라벨링 과정에서 구한 전체 객체 집합을 의미하며, 객체의 개수는 n개이다. A(k)는 k번째의 객체의 좌표값들(xi,yi)의 집합을 의미하며, 좌표값들의 개수는 m개이며, 객체의 크기와 동일한 의미로 사용한다. 이후, 객체 추적을 위해 사용할 객체들만 선택하는 작업을 수행한다. 작은 크기의 객체는 잡음일 가능성이 크며, 너무 큰 객체는 추적이 불가능한 의미없는 데이터일 수 있다. 따라서, 수학식 25과 같은 조건식으로 중간 크기의 객체들을 선택한다.
여기서, m은 수학식 24와 동일하며, 객체의 크기를 의미한다. θ1는 작은 크기의 객체를 제거하기 위한 임계값이며, θ2는 큰 객체를 제거하기 위한 임계값이다. 수학식 25을 통해, 추적 가능한 객체 집합이 생성된다. 도 5c는 도 5b를 입력으로 전술한 라벨링 과정을 수행하여 객체 집합을 얻은 결과를 보여주는 예시이다. 또한, 각 객체들의 번호가 부여 되어 있는 것을 보여 준다.
후속하여, 추적점 집합 결정 단계(S160)에서는, 특정조건을 만족하는 객체들의 추적점 집합을 결정한다.
여기서, 유의미한 객체 추적을 수행하려면, 연속적인 시간의 영상들(sequential images)에서 무의미한 객체들을 제거하기 위해 추적점의 속력과 주행차량의 속력이 동일하다는 조건을 전제로 하여야 한다.
구체적으로, 추적점 집합을 결정하는 단계는, 모든 영상에 검출될 수 있는 객체들의 시계열상의 객체 좌표값을 최신 N개의 프레임에 대해 FIFO(First In First Out) 구조의 메모리에 저장하여 객체 집합으로 유지하는 단계(S161)와, k번째 프레임과 (k-1)번째 프레임에 해당하는, 추적중인 객체의 위치에 해당하는 월드 좌표계에서의 각 측방향 거리의 차분이 최소값이라는 제1조건과, 월드 좌표계에서 객체의 높이가 0인 경우 주행차량의 속력과 객체의 속력이 동일하고, 객체의 높이가 0보다 큰 경우 주행차량의 속력보다 객체의 속력이 크다는 제2조건을 만족하는, 객체의 집합을 추적점 집합으로 결정하는 단계(S162)로 구성될 수 있다.
참고로, 객체 좌표값은 도 6a에서 객체를 감싸는 경계박스(bounding box)의 좌측 하단 좌표값을 의미하며, 좌측 하단 좌표값이 객체의 위치를 대표하는 객체 좌표값을 의미하고, 도 6b에서는 N개의 프레임에서 검출된 모든 객체 좌표값들이 현재 단일 프레임 상에 오버랩하여 표시되어 있다.
한편, 추적점 집합 결정 과정을 보다 구체적으로 상술하면 다음과 같다.
우선, N개의 프레임에 대해 다음의 [수학식 1] 및 [수학식 2]에 의해 객체 히스토리 집합 H를 정의한다.
여기서, s(f)는 영상 프레임 번호 f에서의 객체 좌표값들의 집합이며, (xi, yi)는 객체의 영상 좌표값이며, (Xi, Yi)는 객체의 높이를 0으로 가정한 월드 좌표값이고, 히스토리 집합 H는 (k-N)번째 프레임으로부터 k번째 프레임에서의, 즉 현재 프레임으로부터 N번째 프레임 이전의 객체들의 좌표값 집합이다.
다음, 히스토리 집합 H를 구성하는 각 객체들간에 대한 시간에 대한 연결성을 부여하여 추적점을 검출하기 위해 앞선 제1조건을 이용하는데, 제1조건은 다음의 [수학식 3]에 의해 정의되고,
여기서, DX는 f번째 프레임의 i번째 객체의 월드 좌표값 X와 (f-1)번째 프레임의 i번째 객체의 월드 좌표값 X 사이의 거리이다.
즉, 제1조건은 '추적중인 객체의 월드 좌표계에서 현재 프레임의 측방향 거리(Xf)와 이전 프레임의 측방향 거리(Xf-1)의 차분이 최소값이다'라는 가정이다.
제2조건은 다음의 [수학식 4]에 의해 정의되되,
여기서, Z는 월드 좌표계에서의 객체의 높이이며, VSV는 주행차량의 속력이고, Vobj는 객체의 속력이다.
즉, 추적중인 객체는 자체 속력을 가지고 있지 않으므로, 높이 여부에 따라, 객체의 속력은 주행차량의 속력과 동일하거나 높을 수 있다.
한편, 객체의 속력은 다음의 [수학식 5] 및 [수학식 6]에 의해 산출되고,
여기서, D는 f번째 프레임의 월드 좌표값과 (f-1)번째 프레임의 월드 좌표값의 유클리디언 거리(Euclidean Distance)이고, Vobj는 프레임당 이동거리이다.
또한, 추적점 집합으로 결정되려면, 객체의 속력과 주행차량의 속력의 차분이 프레임에 따라 일정한 값을 가져야 하는데, 다음의 [수학식 7]에 의해 정의되는 표준편차 σ가 특정 임계값보다 작은 경우 다음의 [수학식 8]에 의해 정의되는 추적점 집합 T로 결정하되,
여기서, Vδ는 Vobj와 VSV의 차분이며, σ는 n의 프레임 집합에서 Vδ의 표준편차이고, μ는 Vδ의 평균값이고, t(i)는 영상 좌표값(xf, yf)과 월드 좌표값(Xf, Yf, 0)으로 이루어진 i번째 추적점 집합이고, T는 전체 추적점 집합이다.
이에, 추적점 집합(t(i))의 원소는 영상 좌표값과 월드 좌표값으로 이루어지고, 추적점 집합의 개수는 n개이다.
분리대 하부 경계인 분리대 하부 직선의 위치를 결정하거나 추정하기 위해서, 추적점의 높이가 0보다 큰 추적점 집합의 월드 좌표값의 높이를 구하고, 투사변환(perspective transformation) 모델에서 영상 좌표값을 월드 좌표값으로 변환하기 위해서 월드 좌표값(X,Y,Z) 중 1개의 좌표값을 가정하는데, 본 실시예에서는 측방향 거리의 좌표값(X)를 가정한다.
이에, 영상 좌표값(x,y)과 월드 좌표값 중 측방향 거리 X를 입력하여 월드 좌표값의 Y(전방거리) 및 높이(Z)를 구할 수 있고, 추적점들은, 다음의 [수학식 9]에 의해 객체의 영상 좌표값을 월드 좌표값으로 변환하며,
여기서, 는 월드 좌표계이며, 는 영상 좌표계이며, 는 카메라 좌표계이며, P는 투사변환행렬이며, C는 영상 평면 원점의 변위이며, R은 회전 변환이며, G는 카메라의 이동변환행렬이다.
또한, m개의 프레임에 대해 다음의 [수학식 10]에 의해 추적점 집합의 추적점의 평균속력이 주행차량의 평균속력보다 크면, 높이가 있는 추적점 집합을 분리대 측면의 객체로 인식하되,
즉, 주행차량의 속력 평균값보다 추적점 속력들의 평균값이 크다면 높이를 갖는 추적점 집합이므로 분리대 측면의 객체로 인식할 수 있다.
상기 과정을 통해 추적점 집합은 높이를 가지는 분리대 측면의 제1추적점 집합과 바닥면에 있는 제2추적점 집합으로 결정된다. 도 6c에는, 8개의 추적점을 갖는 분리대 측면의 추적점 집합(T1)과 8개의 추적점을 갖는 분리대 바닥면의 추적점 집합(T2)이 예시되어 있다.
한편, 앞서 언급한 바와 같이, [수학식 9]를 통해 구한 월드 좌표값(X,Y,Z)으로부터, 높이가 있는 추적점 2개의 프레임 사이에서의 추적점 속력은 다음의 [수학식 17] 및 [수학식 18]에 의해 프레임당 이동거리로 정의되고,
여기서, (Xi(f), Yi(f), Zi(f))는 현재 프레임인 f번째 프레임의 추적점의 월드 좌표값이며, (Xi(f-1), Yi(f-1), Zi(f-1))는 이전 프레임인 (f-1)번째 프레임의 추적점의 월드 좌표값이며, X는 측방향 거리이며, Y는 전방거리이고, Z는 높이이다.
여기서, 높이를 갖는 추적점의 월드 좌표값을 정확하게 구하는 과정은 현재 추적점의 이동속력을 주행차량의 이동속력과 동일하게 만드는 과정으로 다음과 같다.
다음의 [수학식 19]에 의한 조건을 만족하여야 하는데,
여기서, ∇f는 속력 편차(gradient)이고, 추적점의 이동속력과 주행차량의 이동속력이 동일하여야 한다는 조건이다.
한편, 높이를 갖는 추적점의 Z를 0으로 가정한 초기 추적점의 이동속력 V0는 주행차량의 이동속력 VSV보다 항상 큰 값을 가지므로, 다음의 [수학식 20]에서와 같이 초기 속력 편차 ∇f0는 0보다 크다.
또한, 분리대 주변에는 높이가 0인 객체들인, 차선 또는 차선과 분리대 사이의 객체들이 월드 좌표계의 X축에 대해 인접하므로, 분리대 측면에 존재하는 높이를 갖는 객체의 정확한 월드 좌표값들은 측방향 거리 X를 변수로 정할 때 예측하기 쉽다.
실제 프로그래밍 상에서, 다음의 [수학식 21]의 조건을 갖는 반복문을 통해서, 측방향 좌표값 X값을 단계적으로 상수 δx만큼씩 변경시키면, Vobj는 감소하여 앞선 [수학식 19]의 조건에 근접할 것이고,
여기서, Xold는 이전 단계의 측방향 좌표값이며, 초기값은 바닥면 객체들 중 측방향으로 분리대에 가장 가까운 값을 사용하고, δx는 X를 변경하기 위한 변위이며, Xnew는 변경된 신규 측방향 좌표값이고, ε은 허용 임계값이고, 앞선 [수학식 19]의 값이 ε보다 작을 때 반복을 종료하고, 최종 Xnew가 객체의 측방향 거리이다.
후속하여, 분리대 하부 직선 존재여부 판단 단계(S170)에서는, 추적점 집합으로부터 높이를 가지는 분리대 측면의 제1추적점과, 바닥면에 있는 제2추적점 사이에, 허프공간으로부터 분리대 하부 직선이 존재하는지 판단한다.
후속하여, 분리대 하부 직선의 검출 여부에 따라, 분리대 하부 직선을 결정하는 단계(S180A) 또는 추정하는 단계(S180B)로 각각 분기한다.
여기서, 제1추적점과 제2추적점 사이에 허프공간 상에서 직선이 존재하면 직선을 분리대 하부 직선으로 결정하고, 직선이 존재하지 않는다면 분리대 하부 직선을 추정하는데, 분리대 측면의 객체의 제1추적점 또는 바닥면의 제2추적점의 월드 좌표값으로부터 분리대 하부 직선을 추정할 수 있다.
도 1b를 참조하여, 분리대 하부 직선을 추정하는 과정을 구체적으로 상술하면 다음과 같다.
첫째, 제1추적점 집합(T1)과 제2추적점 집합(T2)이 동시에 존재하는지 판단하여(S181) 동시에 존재하면, 앞선 추적점 집합 결정 단계(S160)에서 구한 분리대 측면의 객체와 바닥면의 객체의 월드 좌표값 사이에 분리대 하부 직선이 존재하므로, 다음의 [수학식 11]에 의해 X1과 X2의 중간값을 통과하는 분리대 하부 직선의 방정식을 산출하되(S182),
여기서, Xdw는 분리대 하부 직선의 측방향 좌표이며, X1은 분리대 측면의 추적점의 측방향 좌표값이고, X2는 바닥면의 추적점의 측방향 좌표값이다.
예컨대, X1이 -1.987m이고 X2가 -1.664m이면, 근거리 월드 좌표값을 X = -1.8255m, Y = 0, Z = 0으로 설정하여 근거리 영상 좌표값을 얻고, LDWS에서 얻은 소실점을 원거리 영상 좌표값으로 사용하여, 도 7에 도시된 바와 같이, 근거리 영상 좌표값과 원거리 영상 좌표값을 지나는 직선(L)이 분리대 하부 직선으로 추정할 수 있다.
한편, 현재 프레임의 분리대 하부 직선 측방향 좌표값은 다음의 [수학식 22]와 [수학식 13]과 [수학식 14]에 의해 정의되고,
여기서, Xδ는 차선에 대한 분리대 하부 직선의 측방향 차분값이고, XL은 LDWS로부터 제공된 좌측 차선의 측방향 월드 좌표값이며, Xδ의 평균 데이터는 다음의 [수학식 13]에 의해 정의된 이동평균필터(moving average filter)를 사용하고,
여기서, 은 이동평균필터를 통과한 Xδ의 평균 데이터이고, 은 전단계에서 얻은 Xδ의 평균 데이터이고, n은 평균을 구하기 위한 시간축의 데이터들의 개수이고, k는 현재 프레임이며, (k-1)은 이전 프레임이고, 이동평균필터의 결과값 가 적용된 분리대 하부 직선의 측방향 좌표값은 다음의 [수학식 14]와 같이 구해지고,
여기서, Xf dw는 현재 프레임의 분리대 하부 직선의 측방향 좌표값이다.
둘째, 분리대 하부 직선이 보이지 않는 상태로 긴 시간을 주행하는 경우에 분리대 하부 직선을 추정하는 방법은 다음과 같다.
분리대 측면의 추적점 집합인 제1추적점 집합(T1)만이 존재하면(S183), [수학식 12] 내지 [수학식 14]에 의해 분리대 하부 직선의 좌표를 수정하여 분리대 하부 직선을 추정하되,
여기서, Xδ는 차선에 대한 분리대 하부 직선의 측방향 차분값이며, XL은 좌측 차선의 측방향 월드 좌표값이며, Xf-1 dw는 이전 프레임의 분리대 하부 직선의 측방향 좌표값이고,
[수학식 12]에 의해 산출된 Xδ를 [수학식 13]에 적용하여 수정하고, Xf-1 dw이 X1보다 작지 않다면 분리대 하부 직선의 좌표를 유지하여 분리대 하부 직선을 추정한다(S184).
즉, 제1추적점 집합(T1)의 좌표값 X1과 분리대 하부 직선의 측방향 좌표값 Xf-1 dw의 비교에 의해 현재 프레임의 Xf dw을 결정할 수 있다.
한편, 분리대 바닥면의 제2추적점 집합(T2)만이 존재하면(S185), [수학식 13]과 [수학식 14] 및 다음 [수학식 15]에 의해 분리대 하부 직선의 좌표를 수정하여 분리대 하부 직선을 추정하되,
여기서, [수학식 15]에 의해 산출된 Xδ를 [수학식 13] 및 [수학식 14]에 적용하여 현재 프레임의 분리대 하부 직선의 측방향 좌표값을 수정하고, Xf-1 dw이 X2보다 작지 않다면 분리대 하부 직선의 좌표를 유지하여 분리대 하부 직선을 추정할 수 있다(S186).
즉, 제2추적점 집합(T2)의 좌표값 X2와 분리대 하부 직선의 측방향 좌표값 Xf-1 dw의 비교에 의해 현재 프레임의 Xf dw을 결정할 수 있다.
후속하여, 추돌 예측 단계(S190)에서는, 앞서 결정되거나 추정된 분리대 하부 직선과 차량의 주행경로 직선의 교점을 검출하여서, 추돌예상위치 및 추돌예상시간을 예측한다.
여기서, 추돌예상위치는, 분리대 하부 직선과 주행차량의 예상경로직선의 교점으로 결정되고, 추돌예상시간은 다음의 [수학식 16]에 의해 정의되며,
여기서, TTC(Time To Collision)는 추돌예상시간이며, di는 분리대 추돌예상거리이고, VSV는 주행차량의 속력이다.
또한, 예상경로직선은 주행차량의 핸들조작이 이루어지지 않는다는 전제하에 주행차량의 중심에서 좌측 측면까지의 길이와 2개의 월드 좌표값을 통해 구할 수 있다.
즉, 예상경로직선은 주행차량의 넓이의 1/2인 X좌표 및 전방거리 0m인 Y좌표인 근거리 월드 좌표값과, 주행차량의 넓이의 1/2인 X좌표 및 전방거리 1000m인 Y좌표인 원거리 월드 좌표값을 통과하는 직선일 수 있다.
예컨대, 도 8a에 도시된 바와 같이, E는 주행차량의 예상경로직선이며, BL은 인식된 분리대 하부 직선이며, 십자선으로 표시된 2개의 직선의 교점은 추돌예상위치이고, 추돌예상거리(di)는 교점의 월드 좌표값에서의 전방거리 Y값일 수 있다.
예를 들면, 도 8a를 참고하면, 분리대에 대한 추돌예상거리가 77m이고, 주행차량의 속도가 100km/h이면, TTC는 2.8sec이고, 도 8b를 참고하면, 핸들을 조작하지 않고 분리대에 근접한 경우, 추돌예상거리는 10m이고, 주행차량의 속도가 100km/h이면, TTC는 0.4sec이다.
최종적으로, 경고정보 제공 단계(S200)에서는, 앞선 산출된 추돌예상위치 및 추돌예상시간의 분리대추돌 경고정보를 제공하되, 분리대추돌 경고정보는 내비게이션의 영상과 음향, 조향장치의 진동 또는 차량스피커의 음향을 통해 경고하거나, 분리대추돌 경고정보에 따라, 차선이탈방지시스템과 연동하여 조향장치를 자율조정하여 차선을 유지하도록 할 수 있다.
따라서, 전술한 바와 같은 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법의 구성에 의해서, 분리대와 바닥면의 색상이 유사하여 분리대 하부 직선을 인식할 수 없는 콘크리트 분리대가 설치된 도로에서도 객체의 움직임과 높이를 인식하여 분리대 하부 직선의 위치를 추정하도록 하고, 추돌예상거리와 추돌예상시간을 산출하여 경고정보를 통해 추돌사고를 예방하도록 할 수 있다.
이상, 본 발명을 도면에 도시된 실시예를 참조하여 설명하였다. 그러나, 본 발명은 이에 한정되지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명과 균등한 범위에 속하는 다양한 변형예 또는 다른 실시예가 가능하다. 따라서, 본 발명의 진정한 보호범위는 이어지는 특허청구범위에 의해 정해져야 할 것이다.
S110 : 도로전방 영상 획득 단계
S120 : 허프공간 생성 단계
S130 : 분리대 상부 직선 인식 단계
S140: 분리대 ROI 생성 단계
S150 : 객체 검출 단계
S160 : 추적점 집합 결정 단계
S170 : 분리대 하부 직선 존재여부 판단 단계
S180A : 분리대 하부 직선 결정 단계
S180B : 분리대 하부 직선 추정 단계
S190 : 추돌 예측 단계
S200 : 경고정보 제공 단계
S120 : 허프공간 생성 단계
S130 : 분리대 상부 직선 인식 단계
S140: 분리대 ROI 생성 단계
S150 : 객체 검출 단계
S160 : 추적점 집합 결정 단계
S170 : 분리대 하부 직선 존재여부 판단 단계
S180A : 분리대 하부 직선 결정 단계
S180B : 분리대 하부 직선 추정 단계
S190 : 추돌 예측 단계
S200 : 경고정보 제공 단계
Claims (17)
- 주행차량의 카메라를 통해 분리대와 도로 바닥면이 포함된 도로전방 영상을 획득하는 단계;
상기 영상으로부터 에지를 검출하여 허프공간을 생성하는 단계;
상기 허프공간으로부터 분리대 상부 직선을 인식하는 단계;
상기 분리대 상부 직선과 차선정보를 이용하여 분리대 ROI를 생성하는 단계;
라벨링 기법을 통해 상기 분리대 ROI 내부에서 객체를 검출하는 단계;
특정조건을 만족하는 상기 객체들의 추적점 집합을 결정하는 단계;
상기 추적점 집합으로부터 높이를 가지는 분리대 측면의 제1추적점과, 바닥면에 있는 제2추적점 사이에, 상기 허프공간으로부터 분리대 하부 직선이 존재하는지 판단하는 단계;
상기 분리대 하부 직선의 검출 여부에 따라 상기 분리대 하부 직선을 결정하거나 추정하는 단계; 및
결정되거나 추정된 상기 분리대 하부 직선과 차량의 주행경로 직선의 교점을 검출하여 추돌예상위치 및 추돌예상시간을 예측하는 단계;를 포함하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법. - 제 1 항에 있어서,
상기 영상의 에지영상을 허프변환하여 직선성분을 검출하여 허프공간을 생성하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법. - 제 1 항에 있어서,
상기 허프공간의 복수의 직선들 중, 차선을 제외하고, 최상단에 존재하는 직선을 상기 분리대 상부 직선으로 인식하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법. - 제 1 항에 있어서,
상기 분리대 상부 직선과 좌측 차선의 영상 좌표 정보를 이용하여 상기 분리대 ROI를 생성하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법. - 제 1 항에 있어서,
상기 라벨링 기법을 수행하여, 상기 분리대 ROI 내부에 존재하는 에지로부터 8-연결성을 갖는 객체들로 상호 분리하여 상기 객체를 검출하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법. - 제 1 항에 있어서,
상기 추적점 집합을 결정하는 단계는,
상기 객체들의 시계열상의 객체 좌표값을 N개의 프레임에 대해 FIFO 구조의 메모리에 저장하여 객체 집합으로 유지하는 단계와,
k번째 프레임과 (k-1)번째 프레임에 해당하는, 추적중인 상기 객체의 위치에 해당하는 월드 좌표계에서의 각 측방향 거리의 차분이 최소값이라는 제1조건과, 월드 좌표계에서 상기 객체의 높이가 0인 경우 상기 주행차량의 속력과 상기 객체의 속력이 동일하고, 상기 객체의 높이가 0보다 큰 경우 상기 주행차량의 속력보다 상기 객체의 속력이 크다는 제2조건을 만족하는, 상기 객체의 집합을 상기 추적점 집합으로 결정하는 단계로 구성되는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법. - 제 6 항에 있어서,
상기 N개의 프레임에 대해 다음의 [수학식 1] 및 [수학식 2]에 의해 객체 히스토리 집합 H를 정의하고,
[수학식 1]
[수학식 2]
여기서, s(f)는 영상 프레임 번호 f에서의 객체 좌표값들의 집합이며, (xi, yi)는 객체의 영상 좌표값이며, (Xi, Yi)는 객체의 높이를 0으로 가정한 월드 좌표값이고, 상기 히스토리 집합 H는 (k-N)번째 프레임으로부터 k번째 프레임에서의 객체들의 좌표값 집합이며,
상기 제1조건은 다음의 [수학식 3]에 의해 정의되고,
[수학식 3]
여기서, DX는 f번째 프레임의 i번째 객체의 월드 좌표값 X와 (f-1)번째 프레임의 i번째 객체의 월드 좌표값 X 사이의 거리이고,
상기 제2조건은 다음의 [수학식 4]에 의해 정의되되,
[수학식 4]
여기서, Z는 월드 좌표계에서의 상기 객체의 높이이며, VSV는 상기 주행차량의 속력이고, Vobj는 상기 객체의 속력인 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법. - 제 7 항에 있어서,
상기 객체의 속력은 다음의 [수학식 5] 및 [수학식 6]에 의해 산출되고,
[수학식 5]
[수학식 6]
여기서, D는 f번째 프레임의 월드 좌표값과 (f-1)번째 프레임의 월드 좌표값의 유클리디언 거리이고, Vobj는 프레임당 이동거리이고,
다음의 [수학식 7]에 의해 정의되는 표준편차 σ가 특정 임계값보다 작은 경우 다음의 [수학식 8]에 의해 정의되는 상기 추적점 집합 T로 결정하되,
[수학식 7]
[수학식 8]
여기서, Vδ는 Vobj와 VSV의 차분이며, σ는 n의 프레임 집합에서 Vδ의 표준편차이고, μ는 Vδ의 평균값이고, t(i)는 영상 좌표값(xf, yf)과 월드 좌표값(Xf, Yf, 0)으로 이루어진 i번째 추적점 집합이고, T는 전체 추적점 집합인 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법. - 제 1 항에 있어서,
상기 추적점 집합의 추적점은,
다음의 [수학식 9]에 의해 상기 객체의 영상 좌표값을 월드 좌표값으로 변환하며,
[수학식 9]
여기서, 는 월드 좌표계이며, 는 영상 좌표계이며, 는 카메라 좌표계이며, P는 투사변환행렬이며, C는 영상 평면 원점의 변위이며, R은 회전 변환이며, G는 카메라의 이동변환행렬이고,
m개의 프레임에 대해 다음의 [수학식 10]에 의해 상기 추적점 집합의 추적점의 평균속력이 상기 주행차량의 평균속력보다 크면, 높이가 있는 추적점 집합을 분리대 측면의 객체로 인식하되,
[수학식 10]
인 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법. - 제 1 항에 있어서,
상기 제1추적점과 상기 제2추적점 사이에, 상기 허프공간 상에서 직선이 존재하면 상기 직선을 상기 분리대 하부 직선으로 결정하고, 직선이 존재하지 않는다면 상기 분리대 하부 직선을 추정하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법. - 제 10 항에 있어서,
상기 분리대 측면의 상기 객체의 제1추적점, 또는 상기 바닥면의 상기 제2추적점의 월드 좌표값으로부터 상기 분리대 하부 직선을 추정하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법. - 제 11 항에 있어서,
상기 제1추적점 집합과 상기 제2추적점 집합이 동시에 존재하는지 판단하여 동시에 존재하면, 다음의 [수학식 11]에 의해 상기 분리대 하부 직선의 방정식을 산출하고,
[수학식 11]
여기서, Xdw는 상기 분리대 하부 직선의 측방향 좌표이며, X1은 상기 제1추적점의 측방향 좌표값이고, X2는 상기 제2추적점의 측방향 좌표값이며,
상기 제1추적점 집합만이 존재하면, 다음의 [수학식 12] 내지 [수학식 14]에 의해 상기 분리대 하부 직선의 좌표를 수정하여 상기 분리대 하부 직선을 추정하되,
[수학식 12]
여기서, Xδ는 차선에 대한 상기 분리대 하부 직선의 측방향 차분값이며, XL은 좌측 차선의 측방향 월드 좌표값이며, Xf-1 dw는 이전 프레임의 상기 분리대 하부 직선의 측방향 좌표값이고,
[수학식 13]
여기서, 상기 [수학식 13]은 Xδ의 평균 데이터를 산출하기 위한 이동평균필터이며, 은 이동평균필터를 통과한 Xδ의 평균 데이터이며, 은 전단계에서 얻은 Xδ의 평균 데이터이고, 상기 [수학식 12]에 의해 산출된 Xδ를 상기 [수학식 13]에 적용하여 수정하고,
[수학식 14]
여기서, Xf dw는 현재 프레임의 상기 분리대 하부 직선의 측방향 좌표값이고,
Xf-1 dw이 X1보다 작지 않다면 상기 분리대 하부 직선의 좌표를 유지하여 상기 분리대 하부 직선을 추정하고,
상기 제2추적점 집합만이 존재하면, 상기 [수학식 13]과 상기 [수학식 14] 및 다음 [수학식 15]에 의해 상기 분리대 하부 직선의 좌표를 수정하여 상기 분리대 하부 직선을 추정하되,
[수학식 15]
여기서, 상기 [수학식 15]에 의해 산출된 Xδ를 상기 [수학식 13] 및 상기 [수학식 14]에 적용하여 현재 프레임의 상기 분리대 하부 직선의 측방향 좌표값을 수정하고, Xf-1 dw이 X2보다 작지 않다면 상기 분리대 하부 직선의 좌표를 유지하여 상기 분리대 하부 직선을 추정하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법. - 제 13 항에 있어서,
상기 예상경로직선은, 상기 주행차량의 넓이의 1/2인 X좌표 및 0m인 Y좌표인 근거리 월드 좌표값과, 상기 주행차량의 넓이의 1/2인 X좌표 및 1000m인 Y좌표인 원거리 월드 좌표값을 통과하는 직선인 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법. - 제 1 항에 있어서,
상기 추돌예상위치 및 상기 추돌예상시간의 분리대추돌 경고정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법. - 제 15 항에 있어서,
상기 분리대추돌 경고정보는 내비게이션의 영상과 음향, 조향장치의 진동 또는 차량스피커의 음향을 통해 경고하거나,
상기 분리대추돌 경고정보에 따라, 차선이탈방지시스템과 연동하여 상기 조향장치를 자율조정하여 차선을 유지하도록 하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법. - 제 1 항에 있어서,
강우시, 강설시 또는 연무시에 따른 반복적인 노이즈 패턴을 상기 도로전방 영상으로부터 제거하여 에지를 검출하도록 하는 것을 특징으로 하는, 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20200107791 | 2020-08-26 | ||
KR1020200107791 | 2020-08-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102318586B1 true KR102318586B1 (ko) | 2021-10-28 |
Family
ID=78232466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210012038A KR102318586B1 (ko) | 2020-08-26 | 2021-01-28 | 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11634124B2 (ko) |
KR (1) | KR102318586B1 (ko) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102433544B1 (ko) | 2022-01-14 | 2022-08-18 | 주식회사 카비 | 순차 영상 분석을 통한 차량경로 복원 시스템 및 이를 이용한 차량경로 복원 방법 |
KR102501889B1 (ko) | 2022-08-01 | 2023-02-21 | 주식회사 카비 | 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법 |
KR102633425B1 (ko) | 2023-08-14 | 2024-02-07 | 주식회사 카비 | 교통사고 현장 재구성 리포트를 만드는 장치 |
KR102633427B1 (ko) | 2023-08-14 | 2024-02-07 | 주식회사 카비 | 교통사고 현장 재구성 리포트를 만드는 방법 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455908B (zh) * | 2023-12-22 | 2024-04-09 | 山东济矿鲁能煤电股份有限公司阳城煤矿 | 一种皮带机跑偏视觉检测方法及*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010020476A (ja) * | 2008-07-09 | 2010-01-28 | Nissan Motor Co Ltd | 物体検出装置及び物体検出方法 |
KR101342124B1 (ko) | 2013-10-18 | 2013-12-19 | 주식회사 지티 | 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법 |
JP2014002608A (ja) * | 2012-06-19 | 2014-01-09 | Toyota Motor Corp | 路側物検出装置 |
KR20140030753A (ko) * | 2012-09-03 | 2014-03-12 | 현대모비스 주식회사 | 차선 이탈 경보 장치 및 방법 |
KR101455835B1 (ko) | 2014-06-16 | 2014-11-04 | 주식회사 지티 | 영상을 이용한 차선인식 및 추적시스템, 이를 이용한 차선인식 및 추적방법 |
KR20180082089A (ko) * | 2017-01-10 | 2018-07-18 | (주)베라시스 | 영상 기반 색상정보를 이용한 초지 경계 검출 방법 |
JP2019212154A (ja) * | 2018-06-07 | 2019-12-12 | 株式会社Soken | 道路境界検出装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6895126B2 (en) * | 2000-10-06 | 2005-05-17 | Enrico Di Bernardo | System and method for creating, storing, and utilizing composite images of a geographic location |
DE602006019156D1 (de) * | 2005-12-27 | 2011-02-03 | Honda Motor Co Ltd | Fahrzeug und Lenksteuerungsvorrichtung für ein Fahrzeug |
US9280711B2 (en) * | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
TWI417207B (zh) * | 2010-12-28 | 2013-12-01 | Automotive Res & Testing Ct | Image - based obstacle detection reversing warning system and method |
CN107729856B (zh) * | 2017-10-26 | 2019-08-23 | 海信集团有限公司 | 一种障碍物检测方法及装置 |
-
2020
- 2020-09-23 US US17/029,071 patent/US11634124B2/en active Active
-
2021
- 2021-01-28 KR KR1020210012038A patent/KR102318586B1/ko active IP Right Grant
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010020476A (ja) * | 2008-07-09 | 2010-01-28 | Nissan Motor Co Ltd | 物体検出装置及び物体検出方法 |
JP2014002608A (ja) * | 2012-06-19 | 2014-01-09 | Toyota Motor Corp | 路側物検出装置 |
KR20140030753A (ko) * | 2012-09-03 | 2014-03-12 | 현대모비스 주식회사 | 차선 이탈 경보 장치 및 방법 |
KR101342124B1 (ko) | 2013-10-18 | 2013-12-19 | 주식회사 지티 | 영상을 이용한 전방 차량 인식 및 추적 시스템 및 이를 이용한 차량 인식 및 추적 방법 |
KR101455835B1 (ko) | 2014-06-16 | 2014-11-04 | 주식회사 지티 | 영상을 이용한 차선인식 및 추적시스템, 이를 이용한 차선인식 및 추적방법 |
KR20180082089A (ko) * | 2017-01-10 | 2018-07-18 | (주)베라시스 | 영상 기반 색상정보를 이용한 초지 경계 검출 방법 |
JP2019212154A (ja) * | 2018-06-07 | 2019-12-12 | 株式会社Soken | 道路境界検出装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102433544B1 (ko) | 2022-01-14 | 2022-08-18 | 주식회사 카비 | 순차 영상 분석을 통한 차량경로 복원 시스템 및 이를 이용한 차량경로 복원 방법 |
KR102501889B1 (ko) | 2022-08-01 | 2023-02-21 | 주식회사 카비 | 기하학적 모델링 방법에 의한 교차로 인식 및 복원 시스템 및 이를 이용한 교차로 인식 및 복원 방법 |
KR102633425B1 (ko) | 2023-08-14 | 2024-02-07 | 주식회사 카비 | 교통사고 현장 재구성 리포트를 만드는 장치 |
KR102633427B1 (ko) | 2023-08-14 | 2024-02-07 | 주식회사 카비 | 교통사고 현장 재구성 리포트를 만드는 방법 |
Also Published As
Publication number | Publication date |
---|---|
US11634124B2 (en) | 2023-04-25 |
US20220063608A1 (en) | 2022-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102318586B1 (ko) | 영상 분석을 통한 분리대 인식 및 추돌위험 예측 방법 | |
US6466684B1 (en) | Environment monitoring system | |
JP3169483B2 (ja) | 道路環境認識装置 | |
US6445809B1 (en) | Environment monitoring system | |
US8750567B2 (en) | Road structure detection and tracking | |
JP3357749B2 (ja) | 車両の走行路画像処理装置 | |
US8670592B2 (en) | Clear path detection using segmentation-based method | |
US9245188B2 (en) | Lane detection system and method | |
KR100886605B1 (ko) | 표시선 검출기 | |
US6845172B2 (en) | Road lane marker recognition | |
Foucher et al. | Detection and recognition of urban road markings using images | |
EP3410416B1 (en) | Image processing device, imaging device, mobile entity apparatus control system, image processing method, and program | |
Daigavane et al. | Road lane detection with improved canny edges using ant colony optimization | |
CN110287779A (zh) | 车道线的检测方法、装置及设备 | |
US20090192686A1 (en) | Method and Driver Assistance System for Sensor-Based Drive-Off Control of a Motor Vehicle | |
KR102031503B1 (ko) | 다중 객체 검출 시스템 및 방법 | |
JP5868586B2 (ja) | ビデオ画像に基づく道路特性分析、車線検出、および車線逸脱防止方法および装置 | |
CN103366179B (zh) | 畅通路径检测中的俯视图分类 | |
JP5894201B2 (ja) | 境界線認識装置 | |
JPH06337938A (ja) | 画像処理装置及び距離測定装置 | |
JP2008168811A (ja) | 車線認識装置、車両、車線認識方法、及び車線認識プログラム | |
JP2002334330A (ja) | 車両認識装置 | |
Yoneda et al. | Simultaneous state recognition for multiple traffic signals on urban road | |
JP2012150595A (ja) | 一時停止線検出装置及びプログラム | |
Solder et al. | Object detection in real-time |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |