KR20180081966A - 차량 인식을 통한 영상 교정 방법 - Google Patents

Abstract

본 발명은 차량 인식을 통한 영상 교정 방법에 관한 것으로, a) 주변 차량의 영상 이미지를 획득하는 단계와, b) 상기 영상 이미지에서 차량의 차종을 확인하고, 차종에 부합하는 차량의 폭을 구하는 단계와, c) 상기 차량의 폭을 이용하여 카메라로부터 주변 차량까지의 거리를 산출하는 단계와, d) 상기 c) 단계에서 검출된 주변 차량까지의 거리와, 상기 카메라의 설치 위치, 초점 거리 및 상기 영상 이미지에서 주변 차량의 바닥부에 해당하는 픽셀의 좌표를 이용하여 소실점을 산출하는 단계를 포함한다.

Description

차량 인식을 통한 영상 교정 방법{Image correction method by vehicle recognition}

본 발명은 차량 인식을 통한 영상 교정 방법에 관한 것으로, 구체적으로는 차량의 전방 카메라를 통해 촬영되는 영상의 교정에 필요한 연산을 줄일 수 있는 차량 인식을 통한 영상 교정 방법에 관한 것이다.

최근 자동차 운행의 안전을 보장하기 위하여 차선을 감지하여 운행중 자동차가 차선을 이탈하는 경우 운전자에게 경고하는 차선 이탈 경고 시스템이 적용되고 있고, 주차시 주변 상황을 운전자에게 시각적으로 보여주어 안전한 주차가 가능하도록 하는 주차 보조 시스템 등이 적용되고 있다.

이러한 자동차 운행 안전을 돕는 시스템들은 주변의 영상을 촬영하는 영상 인식 장치가 기본적으로 탑재되어 있어야 구현이 가능하며, 주변의 영상을 촬영하고 이를 교정하는 다양한 방법들이 제안되고 있다.

자동차에 탑재된 카메라를 통해 촬영된 영상을 보정할 필요성은 자동차의 주행 중에는 진동이나 도로의 높낮이 변화, 도로의 곡선 구간 등에 의해 촬영된 영상을 통해 도로의 상황 등을 정확하게 판단하기 위한 것이다.

예를 들어 평지의 직선 도로의 차선과 언덕길 직선 도로의 차선은 그 소실점에 차이가 있으며, 자동차에 탑재된 카메라를 통해 촬영된 영상에서도 소실점 차이가 발생한다. 이때 촬영된 영상이 평지인지 언덕길인지 판단하지 못한다면 정확한 정보를 운전자에게 제공할 수 없기 때문에 영상의 교정이 요구된다.

종래에는 자동차의 다양한 주행 상황에 따라 촬영된 영상들을 테스트하고, 그 결과를 저장하여, 현재 주행 상황에서 촬영된 영상을 기존 영상에서 얻어진 데이터를 이용하여 판단하는 방법을 사용하고 있다.

등록특허 10-1268473호(기준 소실점 자동 보정 방법 및 그를 이용한 영상 인식 장치, 2013년 5월 22일 등록)에는 카메라의 설치 각도 편차 또는 차량의 하중 분포 변화를 이용하여 소실점을 자동 보정하는 방법이 기재되어 있다.

좀 더 구체적으로 차량의 양측 차선을 인식하고, 인식된 차선의 사이 폭이 소정 구간 이내인지 판단하고, 이러한 판단 결과가 조건에 만족할 때, 도로가 직선 구간인지 양측 차선이 수평선과 이루는 각도의 차를 판단하여 소실점을 연산하고, 이 소실점 연산을 반복한 후 평균값을 이용하여 기준 소실점을 구하는 것을 특징으로 한다.

그러나 이와 같은 종래의 방법은 반드시 차선이 있는 도로에서만 적용될 수 있으며, 차선이 훼손되거나 없는 경우에는 적용할 수 없는 문제점이 있었다.

또한 직선 구간을 기준으로 소실점을 판단하기 때문에 곡선 구간이 반복적으로 진행되는 구간에서는 적용될 수 없는 등 도로의 조건에 따라 기준 소실점의 연산 여부가 결정되는 문제점이 있었다.

또한 차량은 주행시 제동이나 가속에 의해 피치 모션(Pitch Motion)이 발생할 수밖에 없으며, 차량에 고정 설치된 카메라도 상하로 흔들리게 된다. 카메라의 상하 흔들림은 촬영된 영상도 상하로 흔들림을 의미하며, 영상처리시 상정하는 ROI(Region Of Interest)를 결정하는데 문제가 발생하게 된다.

이러한 문제를 해결하기 위해서는 더 넓은 영역에 대한 연산 처리가 수행되어야 하기 때문에 연산량이 증가하고, 연산량의 증가에 따라 응답성이 감소하는 등의 성능 저하가 발생하게 되는 문제점이 있었다.

본 발명의 바람직한 실시예에 따른 전방 차량 인식을 통한 영상 교정 방법은 전술한 문제점을 해결하기 위하여 다음과 같은 해결과제를 발명의 목적으로 한다.

먼저, 차선이 훼손되거나 존재하지 않는 경우에도 자동차에 탑재된 카메라를 통해 촬영된 영상을 교정할 수 있는 전방 차량 인식을 통한 영상 교정 방법을 제공하는데 있다.

또한 전방의 차량을 검출하여 차량의 종류를 판별하고, 거리를 검출하여 소실점을 연산하여, 주행중 피치 모션이 발생하는 경우에도 정확한 소실점을 연산할 수 있으며, 연산량을 줄일 수 있는 전방 차량 인식을 통한 영상 교정 방법을 제공하는데 있다.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 과제를 해결하기 위한 본 발명 전방 차량 인식을 통한 영상 교정 방법은, a) 주변 차량의 영상 이미지를 획득하는 단계와, b) 상기 영상 이미지에서 차량의 차종을 확인하고, 차종에 부합하는 차량의 폭을 구하는 단계와, c) 상기 차량의 폭을 이용하여 카메라로부터 주변 차량까지의 거리를 산출하는 단계와, d) 상기 c) 단계에서 검출된 주변 차량까지의 거리와, 상기 카메라의 설치 위치, 초점 거리 및 상기 영상 이미지에서 주변 차량의 바닥부에 해당하는 픽셀의 좌표를 이용하여 소실점을 산출하는 단계를 포함할 수 있다.

상기 b) 단계는, 차량의 종횡비를 판별하여 차종을 구하고, 구해진 차종의 차종별 폭 데이터로부터 차량의 폭을 구할 수 있다.

상기 c) 단계는, 아래의 수학식1을 통해 주변 차량까지의 거리를 산출할 수 있다.

[수학식1]

(수학식1에서 D는 카메라와 주변 차량까지의 거리, W는 차량의 폭, w는 상기 이미지에서 차량의 폭에 해당하는 픽셀좌표, f는 카메라의 초점거리)

상기 d) 단계는, 아래의 수학식2를 통해 소실점을 산출할 수 있다.

[수학식2]

(수학식2에서 D는 카메라와 주변 차량까지의 거리, f는 카메라의 초점거리, h는 카메라의 설치 높이, v는 영상 이미지에서 주변 차량의 바닥부가 촬영된 픽셀 위치, v0는 소실점 좌표)

본 발명 전방 차량 인식을 통한 영상 교정 방법은, 차선이 아닌 전방의 차량을 기준으로 촬영된 영상을 교정하여 차선이 없거나 훼손된 경우에도 정확한 영상 교정이 가능한 효과가 있다.

또한 본 발명 전방 차량 인식을 통한 영상 교정 방법은, 주행 중에 피치 모션이 발생하는 경우에도 전방의 주행 차량의 인식과 거리를 이용하여 정확한 소실점의 연산이 가능하도록 함으로써, 연산량을 줄여 성능을 개선할 수 있는 효과가 있다.

도 1은 본 발명의 바람직한 실시예에 따른 전방 차량 인식을 통한 영상 교정 방법의 순서도이다.
도 2에는 차종에 따른 다양한 종횡비의 예시 사진이다.
도 3과 도 4는 각각 차량의 거리 산출 방법을 설명하기 위한 설명도로서, 도 3은 측면, 도 4는 평면 상의 예를 나타낸다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 본 발명의 바람직한 실시예에 따른 전방 차량 인식을 통한 영상 교정 방법의 순서도이다.

도 1을 참조하면 본 발명의 바람직한 실시예에 따른 전방 차량 인식을 통한 영상 교정 방법은, 전방의 주행 차량의 이미지를 검출하는 단계(S10)와, 상기 전방 주행 차량의 이미지로부터 차종을 판단하고, 차종에 따른 차폭을 검출하는 단계(S20)와, 차폭을 이용하여 전방의 차량과의 거리를 산출하는 단계(S30)와, 상기 전방 차량까지의 거리와 카메라의 설치 높이를 이용하여 소실점을 연산하는 단계(S40)를 포함하여 구성된다.

이하, 상기와 같이 구성되는 본 발명의 바람직한 실시예에 따른 전방 차량 인식을 통한 영상 교정 방법의 구성과 작용에 대하여 보다 상세히 설명한다. 이하에서는 전방 차량 인식을 통해 영상을 교정하는 방법에 대해 설명하며, 이를 수행할 수 있는 장치는 카메라, 연산장치, 저장장치 등 영상을 촬영하고 그 촬영된 영상을 본 발명에서 제안하는 방법에 따라 처리할 수 있는 보편화된 장치를 사용할 수 있다.

먼저, S10단계에서는 자동차에 탑재된 카메라를 이용하여 전방의 차량을 촬영하여 전방 차량 이미지를 획득한다. 본 발명에서는 전방 차량을 촬영하는 예를 도시하고 설명하지만, 후방의 차량에 대해서도 동일한 방법을 적용할 수 있다.

이는 자동차에 탑재된 전방카메라 또는 후방카메라를 선택적으로 사용하여 본 발명을 적용할 수 있음을 뜻한다.

그 다음, S20단계에서는 이러한 특징을 이용하여 차종을 판단한다.

상기 S10단계에서 카메라를 통해 획득되는 차량의 영상은 카메라와 차량의 거리에 따라 그 크기가 변화되지만 폭과 높이의 비는 변화되지 않는다.

도 2에는 차종에 따른 다양한 종횡비의 예시 사진이다.

도 2를 참조하면 획득된 차량의 영상에 종횡비 1:1의 가상의 프레임을 적용하면 승용차는 폭에 비해 높이가 낮은 특징이 있고, SUV 차량의 경우는 승용차에 비하여 종횡비 1:1에 더 가깝고, 승합차량 및 소형 화물차의 경우에는 거의 1:1의 종횡비를 갖는 것을 알 수 있다.

대형 화물차나 버스 등은 폭에 비하여 높이가 더 높은 특징이 있다.

이와 같은 차량의 이미지 특징을 이용하여 차종을 판단하며, 차종의 판단은 차폭을 확인할 수 있게 된다.

차랑의 폭은 차종에 따라서 최소 1.6m에서 최대 2.5m의 범위에 있을 수 있으며, 앞서 설명한 차량 이미지의 특징을 이용하여 차종을 확인하고, 확인된 차종에 따라 저장부에 저장된 차폭 정보를 호출하여, 현재 촬영된 영상의 차량 폭을 검출할 수 있게 된다.

또한 본 발명은 상기 카메라를 통해 촬영된 영상에서 차량의 이미지가 있는지의 여부를 확인하고, 그 차량의 차종을 판단하기 위한 방법으로 분류 학습법을 적용할 수 있다. 차량의 폭을 기준으로 하여 차량의 형태를 특징으로 하여 영상에서 차량이 있는지의 여부를 확인하고, 차량이 있는 영상들을 모아 다분류 분류학습법을 사용하여 학습시켜, 충분한 차량 데이터를 확보할 수 있다.

그 다음, S30단계에서 차량의 제어장치(MCU)는 상기 얻어진 차종에 따른 차폭을 이용하여 카메라와 전방(또는 후방) 차량까지의 거리를 산출한다.

도 3과 도 4는 각각 차량의 거리 산출 방법을 설명하기 위한 설명도로서, 도 3은 측면, 도 4는 평면 상의 예를 나타낸다.

도 3에서 D는 전방 차량(1)까지의 거리이고, h는 카메라의 설치 높이이며, v는 차량의 밑면(지면과 접하는)이 나타난 영상 상의 좌표, v0은 소실점의 좌표이며, f는 초점 길이(Focal Length)를 나타낸다.

또한 도 4에서 w는 차량의 폭(W)이 영상 상에서 표시되는 픽셀수로 정의할 수 있다.

상기 도 4를 참고하면 차량의 폭(W)과 이를 촬영한 이미지에서 폭(W)이 차지하는 픽셀수(w)는 아래의 수학식1에 의해 정의된다.

상기 초점 거리(f)는 카메라 고유의 특성으로 상수이며, 차량의 폭(W)은 상기 S20단계에서 차종의 판단에 의해 얻어진 값이며, 영상 이미지에서 폭(W)이 차지하는 픽셀수(w)는 상기 촬영된 이미지에서 검출할 수 있는 값이므로 현재 주행중인 차량의 카메라로부터 전방의 차량까지의 거리를 구할 수 있게 된다.

그 다음, S40단계에서는 상기 S30단계에서 구한 다른 차량까지의 거리와 카메라의 설치 높이 및 이미지에서 차량의 바닥면이 촬영된 좌표를 이용하여 소실점을 연산할 수 있다.

아래의 수학식2는 다른 차량까지의 거리(D), 카메라의 설치 높이(h), 초점거리(f)를 이용하여, 상기 도 3에서 카메라 설치위치를 기준으로 하는 두 삼각형의 관계를 이용하여 소실점(v0)을 구할 수 있음을 보여준다.

위의 수학식2에서 소실점(v0)의 좌표는 차량의 운행시 진동 등에 의해 피치 모션이 발생하게 되면 그 위치가 이동하게 되지만, 본 발명에서는 다른 차량의 폭을 이용하여 다른 차량까지의 거리를 산출하고, 차량의 바닥면의 좌표, 카메라의 설치 높이를 이용하여 산출하기 때문에 피치 모션의 발생과 무관하게 정확한 소실점(v0)을 산출할 수 있게 된다.

본 명세서에서 설명되는 실시예와 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 예시적으로 설명하는 것에 불과하다. 따라서 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이므로, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것이 아님은 자명하다. 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당해 기술분야에 있어서의 통상의 지식을 가진 자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

1:전방 차량

Claims (4)

1. a) 주변 차량의 영상 이미지를 획득하는 단계;
   b) 상기 영상 이미지에서 차량의 차종을 확인하고, 차종에 부합하는 차량의 폭을 구하는 단계;
   c) 상기 차량의 폭을 이용하여 카메라로부터 주변 차량까지의 거리를 산출하는 단계; 및
   d) 상기 c) 단계에서 검출된 주변 차량까지의 거리와, 상기 카메라의 설치 위치, 초점 거리 및 상기 영상 이미지에서 주변 차량의 바닥부에 해당하는 픽셀의 좌표를 이용하여 소실점을 산출하는 단계를 포함하는 것을 특징으로 하는 차량 인식을 통한 영상 교정 방법.
2. 제1항에 있어서,
   상기 b) 단계는,
   차량의 종횡비를 판별하여 차종을 구하고, 구해진 차종의 차종별 폭 데이터로부터 차량의 폭을 구하는 것을 특징으로 하는 차량 인식을 통한 영상 교정 방법.
3. 제1항에 있어서,
   상기 c) 단계는,
   아래의 수학식1을 통해 주변 차량까지의 거리를 산출하는 것을 특징으로 하는 차량 인식을 통한 영상 교정 방법.
   [수학식1]
   

   

   
   수학식1에서 D는 카메라와 주변 차량까지의 거리, W는 차량의 폭, w는 상기 이미지에서 차량의 폭에 해당하는 픽셀좌표, f는 카메라의 초점거리
4. 제1항에 있어서,
   상기 d) 단계는,
   아래의 수학식2를 통해 소실점을 산출하는 것을 특징으로 하는 차량 인식을 통한 영상 교정 방법.
   [수학식2]
   

   

   
   수학식2에서 D는 카메라와 주변 차량까지의 거리, f는 카메라의 초점거리, h는 카메라의 설치 높이, v는 영상 이미지에서 주변 차량의 바닥부가 촬영된 픽셀 위치, v0는 소실점 좌표

Images