KR20140076418A - 연석 검출 시스템 및 그 방법 - Google Patents

연석 검출 시스템 및 그 방법 Download PDF

Info

Publication number
KR20140076418A
KR20140076418A KR1020120144899A KR20120144899A KR20140076418A KR 20140076418 A KR20140076418 A KR 20140076418A KR 1020120144899 A KR1020120144899 A KR 1020120144899A KR 20120144899 A KR20120144899 A KR 20120144899A KR 20140076418 A KR20140076418 A KR 20140076418A
Authority
KR
South Korea
Prior art keywords
curb
unit
vehicle
image data
lines
Prior art date
Application number
KR1020120144899A
Other languages
English (en)
Other versions
KR101428281B1 (ko
Inventor
김재광
민경무
이강훈
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020120144899A priority Critical patent/KR101428281B1/ko
Publication of KR20140076418A publication Critical patent/KR20140076418A/ko
Application granted granted Critical
Publication of KR101428281B1 publication Critical patent/KR101428281B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 연석 검출 시스템은, 차량 전방에 대한 3차원 정보(X, Y, Z)를 가지는 2차원 영상 데이터를 획득하는 영상 획득부; 상기 2차원 영상 데이터의 3차원 정보(X, Y, Z)를 이용하여 각 화소를 YZ 플랜(plane)으로 투영하는 영상 변환부; 상기 YZ 플랜 내 투영된 데이터를 바탕으로 선을 검출하는 선 검출부; 상기 선 검출부에 의해 검출된 선 사이의 거리를 산출하여 연석을 검출하는 데이터 분석부; 및 상기 검출된 연석을 상기 3차원 영상 데이터에 표시하여 출력하는 디스플레이부를 포함한다.

Description

연석 검출 시스템 및 그 방법{System for detecting road-kerb of veichle and method thereof}
본 발명은 연석 검출 시스템 및 그 방법에 관한 것으로서, 특히 도로 연석을 정확히 검출하여 차량 전방 영상 데이터 화면에 연석을 표시하도록 하는 기술에 관한 것이다.
도로에 형성되어 있는 연석은 차도와 인도의 경계석을 말한다. 이러한 연석은 차량의 주행 방향과 도로의 폭차량 전방 구조를 파악하는데 매우 중요한 표식이 되고, 연석의 위치를 검출하여 차량의 위험 운전 여부파악 및 운전자의 주의 환기를 제공할 수 있다.
이러한 연석의 위치 및 높이를 검출하기 위해 종래에는 카메라를 이용하여 검출하였다. 그러나, 종래의 카메라를 이용한 연석 형태 인식 시스템은 도 1a와 같이 에지 정보를 이용하나 이런 경우 차선과 연석이 라인 형태 특징이 비슷하여 차선과 연석의 구별이 어렵다. 또한, 종래의 카메라를 이용한 연석 형태 시스템은 빛의 조도 및 날씨 등 주변환경에 성능이 크게 좌우되는 단점이 있다. 즉, 종래의 연석 인식 시스템은 주간에 날씨가 좋고 적당한 습도를 유지하는 상황에서만 높은 성능을 기대할 수 있고 도 1b 및 도 1c에 도시된 바와 같이 야간이거나 비 또는 눈이 내리는 경우 원하는 성능을 기대할 수 없는 문제점이 있다.
특히 이처럼 영상처리에 기반하여 연석을 검출할 경우 유사한 색 정보와 직선성분 때문에 연석과 차선의 구분이 어려운 경우가 많이 존재한다. 이외에 거리 센서를 이용하여 연석을 검출하는 방법이 있으나, 거리 센서를 이용할 경우에는 운전 차량의 주변에 존재하는 연석만을 찾을 수 있거나 정보의 부족으로 높은 성능의 검출 결과를 기대하기 어렵다는 단점이 있다.
본 발명에서는 카메라를 이용하여 연석의 깊이 정보를 정확히 검출함으로써 운전자의 안전주행에 도움을 줄 수 있도록 하고자 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 연석 검출 시스템은, 차량 전방에 대한 3차원 정보(X, Y, Z)를 가지는 2차원 영상 데이터를 획득하는 영상 획득부; 상기 2차원 영상 데이터의 3차원 정보(X, Y, Z)를 이용하여 각 화소를 YZ 플랜(plane)으로 투영하는 영상 변환부; 상기 YZ 플랜 내 투영된 데이터를 바탕으로 선을 검출하는 선 검출부; 상기 선 검출부에 의해 검출된 선 사이의 거리를 산출하여 연석을 검출하는 데이터 분석부; 및 상기 검출된 연석을 상기 3차원 영상 데이터에 표시하여 출력하는 디스플레이부를 포함한다.
또한, 상기 영상 획득부는, ToF(Time of Flight) 카메라를 구비하는 것을 특징으로 한다.
또한, 상기 영상 획득부는, 차량 전방의 장애물에 대해 적외선을 방사하는 발광부; 및 상기 발광부에서 방사된 적외선을 수광하고 상기 적외선이 방사후 돌아오는데 걸린 시간 및 위상차를 분석하여 상기 장애물과의 거리를 산출하는 수광부를 포함하는 것을 특징으로 한다.
또한, 상기 발광부는 차량 전면 라디에이터 그릴 내 또는 차량 전면 헤드램프 내에 장착하고, 상기 수광부는 차량 전면 윈드쉴드 내부에 장착하는 것을 특징으로 한다.
본 발명에 따른 연석 검출 방법은 차량 전방의 3차원 정보를 포함하는 2차원 영상 데이터를 획득하는 과정; 상기 2차원 영상 데이터의 3차원 정보를 이용하여 각 화소를 YZ 플랜(plane)으로 투영하는 과정; 상기 YZ 플랜 내 투영된 데이터를 바탕으로 선을 검출하는 과정; 상기 검출된 선 사이의 거리를 산출하는 과정; 및 상기 선 사이의 거리가 일정 범위 내에 존재하면 상기 선 중 하나가 연석인 것으로 판단하는 과정을 포함하는 것을 특징으로 한다.
또한, 상기 YZ 플랜으로 투영하는 과정은, 상기 3차원 영상데이터의 3차원 정보(x, y, z)를 이용하여 각 화소를 YZ 플랜으로 투영하여, YZ 플랜의 장애물 및 평면을 점들로 구성되는 선 형태로 표시하는 것을 특징으로 한다.
또한, 상기 선 사이의 거리를 산출하는 과정은, 선이 1개이면 연석이 없는 도로로 판단하고, 선이 2개 이상인 경우 선 사이의 Y 방향 높이를 산출하는 것을 특징으로 한다.
또한, 상기 연석을 차량 전방의 2차원 영상데이터에 표시하여 화면에 출력하는 과정을 더 포함하는 것을 특징으로 한다.
또한, 상기 3차원 정보를 포함하는 2차원 영상 데이터를 획득하는 과정은, 상기 차량 전방을 촬영하여 2차원 정보(X, Y)를 획득하는 과정; 및 적외선을 상기 차량 전방의 장애물로 방사한 후, 되돌아오는 적외선을 수광하는 시간 및 위상차를 이용하여 상기 장애물과의 거리를 산출하여 깊이정보(Y)를 획득하는 과정을 포함하는 것을 특징으로 한다.
본 기술은 충돌 위험 장애물인 연석에 대한 위치정보를 정확히 파악함으로써 안전운전을 수행할 수 있도록 하는 효과를 제공한다.
도 1a는 일반적인 연석을 도시하는 도면,
도 1b 및 도 1c는 연석이 불명확하지 않은 경우를 나타내는 예시도,
도 2는 본 발명에 따른 연석 검출 시스템의 구성도,
도 3은 도 2의 영상 획득부의 예시도,
도 4는 도 2의 영상 획득부를 차량에 탑재한 예시도,
도 5는 도 2의 영상 획득부에 의해 영상을 획득하는 예시도,
도 6은 본 발명에 따른 연석 검출 방법을 나타내는 순서도,
도 7a 및 도 7c는 본 발명의 실시예에 따른 영상데이터를 YZ 플랜으로 투영하는 과정을 설명하기 위한 도면,
도 8a 및 도 8b는 도 6의 영상데이터로부터 선을 검출하는 과정을 설명하기 위한 도면,
도 9a 내지 도 9e는 본 발명에 따른 연석을 표시한 영상 데이터의 예시도이다.
이하 본 발명이 속하는 기술분야에서 통상의 지식을 가진자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부도면을 참조하여 설명하기로 한다.
후술한 본 발명은 도로의 연석의 위치를 정확히 검출하여 화면에 표시해주는 기술로서, 이러한 기술적 원리는 안전주행과 관련된 충돌 예방 시스템, 사용자 편의 시스템, 안전운전 시스템 등을 구비하는 차량에 적용될 수 있다.
이하, 도 2 내지 도 9e를 참조하여, 본 발명의 실시예를 구체적으로 설명하기로 한다.
도 2는 본 발명에 따른 연석 검출 시스템의 구성도이다.
본 발명에 다른 연석 검출 시스템은 영상 획득부(100), 연석 검출부(200) 및 디스플레이부(300)를 구비한다.
영상 획득부(100)는 차량 전방의 2차원 영상데이터(x y 평면)를 획득하되, 발광부에서 방사한 적외선과 반사되어 수광부로 돌아오는 적외선 사이의 위상차 및 시간을 계산하여 깊이 정보(z)를 산출함으로써, 3차원 영상정보(x, y, z)를 가지는 2차원 영상 데이터를 획득한다. 이를 위해, 영상 획득부(100)는 ToF(Time of Flight) 카메라로 구현하는데, ToF 카메라는 적외선을 고속의 펄스로 스위칭하여 적외선이 반사되어 돌아오는 시간을 특수한 이미지센서로 측정하여 3차원 깊이(Depth) 영상을 만드는 장치이다.
이러한 ToF 카메라는 도 3에 도시된 바와 같이 발광부(Illumination unit;110, 120)와 수광부(130)를 구비한다. 발광부(110, 120)는 100MHz 이상의 속도로 빛을 방사하기 때문에 LED 와 레이저 다이오드(Laser diode)로 구현될 수 있다. 수광부(140)는 적외선을 수광하는 수광렌즈(131)와 이미지 센서(Image sensor;132)를 구비한다. 수광렌즈(131)는 반사되는 빛을 모아서 이미지 센서(132)에 전달하게 되며, 렌즈 밴드 패스 필터(Optical band pass filter)를 구비하여 특정 파장대(발광부에서 송출한 대역)의 적외선만을 통과시키게 되고, 외부 태양광과 같은 외란을 차단하게 된다. 이미지 센서(132)는 각각의 픽셀이 발광된 적외선이 물체에 부딪혀서 돌아오는 시간 및 위상차를 측정하게 된다.
이러한 ToF 카메라는 도 4에 도시된 바와 같이, 발광부(110, 120)와 수광부(130)로 나누어져 차량에 장착될 수 있다. 이때, 발광부(110, 120)는 차량 전면 라디에이터 그릴 내 또는 차량 전면 헤드램프 내에 장착되고, 수광부(130)는 차량 전면 윈드쉴드 내부에 장착된다.
차량의 발광부(110, 120)가 적외선을 방사하면, 방사된 적외선이 전방의 입체적인 물체(장애물)에 부딪힌 후 다시 차량으로 돌아오게 되는데, 차량의 수광부(130)의 수광렌즈(131)가 되돌아온 적외선을 수광하게 된다. 이에, 흡수된 적외선은 이미지 센서(132)로 전달되고 이미지 센서(132)는 방출된 적외선 신호와 반사되어 돌아온 적외선 신호 파장을 분석하여 위상차를 계산하고 계산된 위상차를 근거로 물체와의 거리를 판단하여, 깊이 지도(Depth map)를 생성하게 된다.
연석 검출부(200)는 데이터 저장부(210), 영상 변환부(220), 선 검출부(230), 및 데이터 분석부(240)를 포함한다.
데이터 저장부(210)는 영상 획득부(100)가 획득한 3차원 영상정보를 가지는 2차원 영상데이터를 저장한다. 이때, 3차원 영상정보를 가지는 2차원 영상데이터는 도 7a와 같이 2차원 영상데이터 내에 3차원 좌표를 저장한 데이터를 의미한다.
영상 변환부(220)는 3차원 영상 데이터의 3차원 정보(X, Y, Z)를 이용하여 각 화소를 YZ 플랜(plane) 뷰로 변환한다. 이때, 영상 변환부(220)는 도 7b와 같이 영상 획득부(100)가 획득한 영상데이터의 각 화소의 3차원 정보(영상 내 위치(x, y성분), 깊이정보(z성분))를 이용하여 각 화소를 YZ 플랜으로 투영시킨다. 이에, YZ 플랜으로 투영된 화면이 도 8b와 같이 표현된다. 즉, 도 8a와 같이 실제 영상의 YZ 평면에는 장애물(A, B, C), 인도(D), 차도(E)는 YZ플랜으로 화소를 투영시키면 도 8b와 같이 장애물(A, B, C)이 수직선 형태로 나열되는 점들로 나타나고, 인도(D), 차도(E)는 수평선 형태로 나열되는 점들로 표시된다. 또한, 영상 변환부(220)는 데이터 분석부(240)에서 검출된 연석을 데이터 저장부(210)에 저장한 2차원 영상 데이터에 표시하여 디스플레이부(300)로 출력한다.
선 검출부(230)는 도 8b와 같이 YZ 플랜 내 투영된 데이터를 바탕으로 수평방향의 선(D, E)을 검출한다. 즉, 인도가 도시된 평면과 차도가 표시된 평면이 선의 형태로 검출된다.
데이터 분석부(240)는 선 검출부(230)에 의해 검출된 선(D, E 사이의 거리(R)를 산출한다. 이때, 데이터 분석부(240)는 검출된 선이 1개인 경우 하나의 평면이므로 차도만 있어 연석이 없는 것으로 판단한다. 또한, 데이터 분석부(240)는 선 사이의 거리(R)가 일정 범위(교통 법규 등에 의해 정해진 범위)에 속하는 경우 연석으로 판단한다.
디스플레이부(300)는 연석을 표시한 전방의 영상 데이터를 디스플레이하며, 텔레매틱스 유닛, AVN(Audio, Video, Navigation) 등의 멀티미디어 단말, 클러스터(cluster) 등으로 구현될 수 있다.
이와 같이, 본 발명에서는 ToF 카메라를 이용하여 얻은 차량 전방의 3차원 정보를 포함하는 2차원 영상 데이터를 분석하여 연석의 후보군을 검출하고, 후보군들의 연석 여부를 파악하여 운전자에게 연석의 위치를 알려주거나 차량의 연석 접근시 경고를 알리는 기능을 수행할 수 있다. 이로 인해 운전자가 전방상황을 정확히 파악하기 어려운 상황에서도 연석을 정확하게 검출하여 안전운전에 크게 도움을 줄 수 있다.
이하, 도 6을 참조하여, 본 발명에 따른 연석 검출 방법을 구체적으로 설명하기로 한다.
먼저, 영상 획득부(100)는 영상 획득부(100)를 통해 도 7a와 같이 전방의 3차원 정보(X, Y, Z)를 포함한 2차원 영상데이터를 획득하고(S101), 영상 변환부(220)는 도 7b와 같이 획득한 영상데이터의 각 화소의 3차원 정보(영상 내 위치(x, y성분), 깊이 정보(z성분))를 이용하여 각 화소를 YZ 플랜(plane)으로 투영함으로써 원래의 영상 데이터를 YZ 플랜으로 변환한다(S102).
도 7c를 이용하여, YZ 플랜으로 투영하는 기술을 구체적으로 설명하면 아래와 같다. 먼저, 영상 획득부(100)는 세계좌표(world coordinate)의 X, Y 축을 두 개의 축으로 하는 2차원 영상데이터에, 이미지 센서(12)로부터의 거리를 한 개의 축(Z축)으로 하는 3차원 정보를 적용하여 3차원 평면을 정의한다. 즉, 2차원 영상좌표를 3차원 세계좌표로 백프로젝션(back-projection) 시킨다. 이때, 2차원 영상좌표 (u, v)는 일반적인 상황에서 백프로젝션(back-projection)시 센서 중심과 (u, v)를 지나는 직선으로 투영되는데, 거리 정보(Z)를 알면 직선 위의 한 점 (x, y, z)으로 투영이 가능하며, 이는 아래 수학식 1과 같이 표현될 수 있다.
Figure pat00001
여기서, K는 ToF 카메라의 내부변수행렬(intrinsic matrix)를 의미한다.
아래의 수학식 2는 3차원 좌표 (x, y, z)를 2차원 좌표 (y, z)로 투영하기 위한 3 x 4 매트릭스를 나타낸다. 이때, (x, y, z, 1)과 (y, z, 1)은 연산을 위한 동차표기법(homogeneous notation)이다.
Figure pat00002
그 후, 선 검출부(230)는 도 8b와 같이 YZ 플랜뷰로 변환된 영상 데이터로부터 선(D, E)을 검출한다(S103). 도 8a의 장애물 A, B, C가 도 8b에 표시되고 인도 및 차도의 평면이 수평방향으로 두 개의 선(D, E)이 검출된 것을 알 수 있다.
이어서, 데이터 분석부(230)는 검출된 선의 개수를 판단하여(S104), 선이 1개이면 도로가 하나의 평면으로 구성되어 있음을 의미하는 것으로 연석이 존재하지 않음을 의미하고, 선이 2개 이상이면 연석이 존재하는 것으로 판단한다.
이에, 선이 2개 이상인 경우, 데이터 분석부(230)는 선 사이의 거리(도 8b의 R) 즉 평면 사이의 Y 방향 높이(R)를 산출한다(S105).
그 후, 데이터 분석부(230)는 선 사이의 거리가 일정 범위 내에 존재하는 지를 판단한다(S106). 여기서, 일정 범위는 7cm(rmin) < 검출된 연석의 높이(rij) < 30cm(rmzx) 로 설정한다. 즉, 도시계획도로의 계획 및 설계 기준(1988)에 의거하여 연석의 높이를 구획도로에서는 10cm 이하, 주간선도로에서는 20~25cm 로 규정하고 있고, 도로안전시설 설치편람(1989) 에 의거 연석의 높이를 방호책이 설치된 도로를 제외한 대부분의 도로에 20~25cm 로 설치할 것을 규정하고 있어, 본 발명에서는 연석의 높이를 7cm보다 크고 30cm보다 작은 범위로 설정하고 있으나, 이 범위는 언제든지 변경될 수 있다.
상기 과정 S106의 판단 결과, 검출된 연석의 높이가 미리 정한 범위 내에 존재하는 경우, 영상 변환부(220)는 데이터 저장부(210)에 저장되어 있는 초기 영상 데이터로 변환시킨 후 검출된 연석의 위치 정보에 따라 도 9a 내지 도 9e와 같이 변환된 영상데이터에 연석을 표시하여 디스플레이부(300)에 디스플레이한다(S107).
한편, 상기 과정 S106의 판단 결과, 검출된 연석의 높이가 미리 정한 범위를 벗어나는 경우, 데이터 분석부(230)는 모든 선 사이의 거리를 파악하였는지를 판단하여(S108), 모든 선 사이의 거리를 파악하지 않은 경우에는 과정 S105로 되돌아가서 남아 있는 선 사이의 거리를 다시 산출하고 모든 선 사이의 거리를 파악한 경우에는 초기 단계(S101)로 돌아간다.
이와 같이, 본 발명은 ToF 센서 하나만으로 충돌 위험 장애물인 연석에 대한 위치정보를 정확히 파악할 수 있도록 할 뿐만 아니라, 연석 접근 시 경고 또는 연석을 회피 주행할 수 있도록 제어하는 시스템 등에 적용할 수 있다.
또한, 본 발명은 3차원 정보를 이용한 뷰 변환이 자유로우며, 3차원 정보를 통해 전방 상황을 파악할 수 있어 안전운행을 할 수 있도록 한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 영상 획득부 200 : 연석검출부
210 : 데이터 저장부 220 : 영상 변환부
230 : 선 검출부 240 : 데이터 분석부
300 : 디스플레이부

Claims (9)

  1. 차량 전방에 대한 3차원 정보(X, Y, Z)를 가지는 2차원 영상 데이터를 획득하는 영상 획득부;
    상기 2차원 영상 데이터의 3차원 정보(X, Y, Z)를 이용하여 각 화소를 YZ 플랜(plane)으로 투영하는 영상 변환부;
    상기 YZ 플랜 내 투영된 데이터를 바탕으로 선을 검출하는 선 검출부;
    상기 선 검출부에 의해 검출된 선 사이의 거리를 산출하여 연석을 검출하는 데이터 분석부; 및
    상기 검출된 연석을 상기 3차원 영상 데이터에 표시하여 출력하는 디스플레이부
    를 포함하는 연석 검출 시스템.
  2. 청구항 1에 있어서,
    상기 영상 획득부는,
    ToF(Time of Flight) 카메라를 구비하는 것을 특징으로 하는 연석 검출 시스템.
  3. 청구항 2에 있어서,
    상기 영상 획득부는,
    차량 전방의 장애물에 대해 적외선을 방사하는 발광부; 및
    상기 발광부에서 방사된 적외선을 수광하고 상기 적외선이 방사후 돌아오는데 걸린 시간 및 위상차를 분석하여 상기 장애물과의 거리를 산출하는 수광부
    를 포함하는 것을 특징으로 하는 연석 검출 시스템.
  4. 청구항 3에 있어서,
    상기 발광부는 차량 전면 라디에이터 그릴 내 또는 차량 전면 헤드램프 내에 장착하고, 상기 수광부는 차량 전면 윈드쉴드 내부에 장착하는 것을 특징으로 하는 연석 검출 시스템.
  5. 차량 전방의 3차원 정보를 포함하는 2차원 영상 데이터를 획득하는 과정;
    상기 2차원 영상 데이터의 3차원 정보를 이용하여 각 화소를 YZ 플랜(plane)으로 투영하는 과정;
    상기 YZ 플랜 내 투영된 데이터를 바탕으로 선을 검출하는 과정;
    상기 검출된 선 사이의 거리를 산출하는 과정; 및
    상기 선 사이의 거리가 일정 범위 내에 존재하면 상기 선 중 하나가 연석인 것으로 판단하는 과정
    을 포함하는 것을 특징으로 하는 연석 검출 방법.
  6. 청구항 5에 있어서,
    상기 YZ 플랜으로 투영하는 과정은,
    상기 3차원 영상데이터의 3차원 정보(x, y, z)를 이용하여 각 화소를 YZ 플랜으로 투영하여, YZ 플랜의 장애물 및 평면을 점들로 구성되는 선 형태로 표시하는 것을 특징으로 하는 연석 검출 방법.
  7. 청구항 5에 있어서,
    상기 선 사이의 거리를 산출하는 과정은,
    선이 1개이면 연석이 없는 도로로 판단하고, 선이 2개 이상인 경우 선 사이의 Y 방향 높이를 산출하는 것을 특징으로 하는 연석 검출 방법.
  8. 청구항 5에 있어서,
    상기 연석을 차량 전방의 2차원 영상데이터에 표시하여 화면에 출력하는 과정을 더 포함하는 것을 특징으로 하는 연석 검출 방법.
  9. 청구항 5에 있어서,
    상기 3차원 정보를 포함하는 2차원 영상 데이터를 획득하는 과정은,
    상기 차량 전방을 촬영하여 2차원 정보(X, Y)를 획득하는 과정; 및
    적외선을 상기 차량 전방의 장애물로 방사한 후, 되돌아오는 적외선을 수광하는 시간 및 위상차를 이용하여 상기 장애물과의 거리를 산출하여 깊이정보(Y)를 획득하는 과정
    을 포함하는 것을 특징으로 하는 연석 검출 방법.






KR1020120144899A 2012-12-12 2012-12-12 연석 검출 시스템 및 그 방법 KR101428281B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120144899A KR101428281B1 (ko) 2012-12-12 2012-12-12 연석 검출 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120144899A KR101428281B1 (ko) 2012-12-12 2012-12-12 연석 검출 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140076418A true KR20140076418A (ko) 2014-06-20
KR101428281B1 KR101428281B1 (ko) 2014-08-07

Family

ID=51128756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120144899A KR101428281B1 (ko) 2012-12-12 2012-12-12 연석 검출 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101428281B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057357A1 (ja) * 2022-09-12 2024-03-21 日本電気株式会社 運転支援装置、運転支援方法及び記録媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019203774A (ja) * 2018-05-23 2019-11-28 酒井重工業株式会社 建設車両の障害物検知装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09139936A (ja) * 1995-11-16 1997-05-27 Nissan Motor Co Ltd 車両用カメラ
JP2009049943A (ja) * 2007-08-22 2009-03-05 Alpine Electronics Inc 距離画像によるトップビュー表示装置
KR20110087112A (ko) * 2010-01-25 2011-08-02 현대모비스 주식회사 Ｔｏｆ 원리를 이용한 3ｄ 영상 표시 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024057357A1 (ja) * 2022-09-12 2024-03-21 日本電気株式会社 運転支援装置、運転支援方法及び記録媒体

Also Published As

Publication number Publication date
KR101428281B1 (ko) 2014-08-07

Similar Documents

Publication Publication Date Title
US11609329B2 (en) Camera-gated lidar system
US10222477B2 (en) Optical budget apportionment in LIDAR
KR102142361B1 (ko) 차량 온보드 센서들을 사용하여 날씨 상태들을 검출하는 방법들 및 시스템들
US20190005726A1 (en) Display system, information presentation system, method for controlling display system, computer-readable recording medium, and mobile body
CN103455144B (zh) 车载人机交互***及方法
EP2820632B1 (en) System and method for multipurpose traffic detection and characterization
US6911642B2 (en) Object presence detection method and device
KR20220134754A (ko) 이미징 시스템들을 위한 차선 검출 및 추적 기법들
US20140156178A1 (en) Road marker recognition device and method
JP2006184276A (ja) 視覚検知による全天候障害物衝突防止装置とその方法
JP2007257338A (ja) 潜在危険度推定装置
CN112365741B (zh) 一种基于多车道车距检测的安全预警方法及***
EP2821958A1 (en) Three-dimensional object detection device
CN112119282A (zh) 信息处理装置、移动装置、方法和程序
WO2019008716A1 (ja) 可視外計測装置および可視外計測方法
WO2019112514A1 (en) Rain filtering techniques for autonomous vehicle
KR101428281B1 (ko) 연석 검출 시스템 및 그 방법
US20220381913A1 (en) Distance measurement sensor, signal processing method, and distance measurement module
CN112562061A (zh) 一种基于激光雷达图像的驾驶视觉增强的***及方法
KR20110139381A (ko) 차량 검출 방법
JP7083768B2 (ja) 認識装置、車両制御装置、認識方法、およびプログラム
WO2022269995A1 (ja) 測距装置および方法、並びにプログラム
EP4379424A1 (en) Multipath object identification for navigation
Nedevschi et al. On-board stereo sensor for intersection driving assistance architecture and specification
CN218567613U (zh) 利用冗余光束扫描的激光雷达传感器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180730

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190729

Year of fee payment: 6