KR101459782B1 - 차량용 카메라의 야간 영상 개선 시스템 - Google Patents

Abstract

본 문서는 차량용 카메라의 야간 영상에 대해 픽셀간 화소값 차이를 통해 잡음 영역을 판단하고, 잡음이 아닌 영역에만 영상개선 알고리즘을 적용하여 어두운 영역에서 영상의 세부정보를 향상시키는 차량용 카메라의 야간 영상 개선 방법을 제공한다. 이러한 차량용 카메라의 야간 영상 개선 방법에 따르면 어두운 영역에서 카메라의 물체 식별 능력을 향상시키는 효과가 있다.

야간 영상, 레티넥스, 잡음영역

Description

차량용 카메라의 야간 영상 개선 시스템{A SYSTEM FOR ENHANCING A NIGHT TIME IMAGE FOR A VEHICLE CAMERA}

본 문서는 차량용 카메라에 대한 것으로 보다 구체적으로 차량용 카메라의 야간 영상을 개선하는 방법에 관한 것이다.

최근의 자동차 기술에는 운행 중의 안전을 위하여 좌ㆍ우측을 비롯한 전ㆍ후방부에 소형카메라를 설치하여 운전석 계기판의 디스플레이를 통해 좌ㆍ우측 및 전ㆍ후방을 영상으로 확인할 수 있는 시스템이 적용되기 시작하였다.

자동차에서 카메라의 활용이 본격화됨에 따라 출력되는 영상의 화질이 소비자들의 차량용 카메라 구입에 중요한 척도가 되고 있다. 현재 차량용 카메라의 경우, 데이터 압축 기술, 전력 소모량, 내장 메모리의 제한과 같은 회로적인 문제와 광학 줌의 어려움, 저대역 광학 필터의 사용, 낮은 수준의 색 재현성, 해상도의 제약과 같은 카메라 모듈의 문제 등으로 전용 디지털 카메라에 비하여 영상 재현성능이 매우 낮은 수준이다.

특히, 야간 영상에 대하여 물체의 인식이 쉽지 않으며, 잡음 등의 영향으로 인하여 화질은 더욱 떨어지게 된다. 따라서, 차량의 운행 시 운전자의 안전성 확보 를 위해 야간 영상에 대한 개선 알고리즘은 필수적이다.

본 문서는 차량용 카메라의 야간 영상에 대한 개선 방법으로 어두운 영역에서 카메라의 물체 식별 능력을 향상시키는 것을 목적으로 한다.

상술한 과제를 해결하기 위한 일 수단으로서의 차량용 카메라의 야간 영상 개선 시스템은 야간 영상의 RGB 값을 밝기값으로 변환하는 밝기값 변환부와 상기 밝기값으로 표현되는 상기 야간 영상에서 픽셀과 상기 픽셀의 주변 픽셀과의 화소값을 비교하여 잡음 영역과 비잡음 영역을 판단하는 잡음영역 판단부를 포함한다.

그리고, 상기 차량용 카메라의 야간 영상 개선 시스템은, 상기 잡음영역 판단부를 통해 비잡음 영역으로 판단된 영역에 포함되는 픽셀에 대해서만 영상개선 알고리즘을 적용하여 상기 야간 영상을 처리하는 영상처리부를 포함한다.

상기 잡음영역 판단부에서는, 상기 픽셀에 대해 잡음 식별 마스크를 적용하여 상기 픽셀의 잡음 여부를 판단할 수 있다.

상기 잡음영역 판단부에서는, 상기 잡음 식별 마스크의 중앙 픽셀과 주변 픽셀의 화소값을 비교하여 계산되는 다수의 차이값들 중 적어도 하나가 기 설정된 임계값을 초과하는 경우 상기 중앙 픽셀은 잡음 영역에 해당하는 것으로 결정할 수 있다.

상기 잡음영역 판단부에서는, 상기 다수의 차이값들을 크기 순서로 정렬하여 3번째 또는 4번째에 해당하는 차이값이 상기 기 설정된 임계값을 초과하는 경우 상 기 중앙 픽셀은 잡음 영역에 해당하는 것으로 결정할 수 있다.

상기 야간 영상의 잡음 영역은, 초기값을 사용하여 영상 처리할 수 있다.

상기 영상개선 알고리즘으로는, 레티넥스 알고리즘이 적용될 수 있다.

본 발명에 따르면, 차량용 카메라의 야간 영상에 대한 개선 방법으로 어두운 영역에서 레티넥스 알고리즘을 적용하여 영상의 세부정보를 향상시킴으로써 야간 운행 시 안전성을 확보할 수 있는 효과가 있다.

또한, 잡음영역과 비잡음영역을 구분하여 영상개선 알고리즘을 적용함으로써 잡음영역에 대한 영상개선 알고리즘을 피할 수 있어 영상 개선 효과가 증대되는 효과가 있다.

또한, 잡음 식별 마스크를 이용하여 간단한 알고리즘으로 잡음 영역을 판단하여 이용할 수 있는 효과가 있다.

이하 도면을 참조하여 차량용 카메라의 야간 영상에 대한 개선 방법에 대한 본 발명의 실시예들을 보다 구체적으로 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따라 차량용 카메라의 야간 영상 개선 시스템에 대한 블록 다이어그램을 나타낸다.

본 실시예에 따른 차량용 카메라의 야간 영상 개선 시스템은 차량의 카메라로부터 영상이 입력되는 영상입력부(10), 영상입력부(10)로부터 영상 특히, 야간 영상의 RGB 값을 밝기값으로 변환하여 밝기값으로 표현되는 영상을 생성하는 밝기 값 변환부(20)를 포함한다. 아래 수학식 1은 본 발명의 일 실시예에 따라 밝기값 변환부(20)에 입력된 야간 영상의 RGB 값을 밝기값으로 변환하는 방법의 일례를 나타낸다.

수학식 1에서 Y는 밝기값을 나타낸다. 그리고, 수학식 1에 나타나듯 RGB 값 중에서 G값이 밝기에 가장 많은 영향을 미치기 때문에 G값에 가장 많은 가중치를 주도록 함이 바람직하다. 수학식 1의 구체적인 수치는 얼마든지 변경가능하고 수학식 1에 제시된 바에 한정되지 아니함은 당연할 것이다.

그리고, 본 실시예에 따른 차량용 카메라의 야간 영상 개선 시스템은 밝기값변환부(20)에서 생성되는 밝기값으로 표현되는 영상을 이용하여 잡음영역을 판단하는 잡음영역 판단부(30)를 포함한다.

본 실시예에 따른 잡음영역 판단부(30)에서는 밝기값으로 표현되는 영상의 각 픽셀의 화소값을 주변 픽셀의 화소값과 비교하여 그 차이값이 기 설정된 임계치를 초과하는 경우에는 해당 픽셀이 잡음 영역에 해당하는 것으로 판단한다. 이는 영상에서 특정 픽셀이 주변 픽셀과 화소값의 차이가 큰 경우에는 그 픽셀은 잡음인 것으로 판단될 확률이 높기 때문이다.

그리고, 본 실시예에 따른 차량용 카메라의 야간 영상 개선 시스템은 잡음영역 판단부(30)에서 잡음영역으로 판단된 영역과 비잡음 영역으로 판단된 영역을 구 분하여 각 영역에 대해 서로 다른 영상처리 알고리즘을 적용하여 영상을 처리하는 영상처리부(40)를 포함한다.

즉, 본 실시예에 따른 영상처리부(40)에서는, 잡음영역으로 판단된 영역에 대해서는 일반적인 영상처리를 수행하고, 비잡음 영역으로 판단된 영역에 대해서만 영상개선 알고리즘을 적용하여 영상을 처리한다.

또한, 본 실시예에 따른 차량용 카메라의 야간 영상 개선 시스템은 영상처리부(40)에서 처리된 영상을 획득하여 이를 출력하는 영상출력부(50)를 더 포함하여 이루어진다.

도 2는 본 발명의 일 실시예에 따라 잡음영역 판단부에서 변환된 밝기값으로 표현되는 영상에 적용하는 잡음 식별 마스크의 예를 나타낸다.

야간 영상, 즉 어두운 영상일 때 차량용 카메라 영상에는 잡음이 심하게 나타난다. 따라서, 본 실시예에 따르면 밝기값 변환부(20)에서는 영상의 RGB 값을 밝기값으로 변환하고, 이 밝기값을 기초로 생성된 야간 영상에 잡음 식별 마스크를 이용하여 잡음 영역을 판단한다.

그리고, 본 실시예에 따른 잡음영역 판단부(30)에서는, 잡음 식별 마스크를 해당 영상에 적용하여 잡음 영역과 비잡음 영역을 판단할 수 있다. 잡음 식별 마스크는 영상의 일정 픽셀 영역을 지정하는 것으로 특정 픽셀과 그 특정 픽셀의 주변 픽셀을 정의하는데 사용된다.

본 실시예에 따르면, 밝기값으로 표현되는 영상의 각 픽셀에 대해 잡음 식별 마스크를 적용하되, 각 픽셀이 잡음 식별 마스크의 중앙 픽셀이 되도록 적용한다. 여기서 밝기값은, 앞서 수학식 1을 통해 설명한 방법으로 획득할 수 있다. 그리고, 잡음 식별 마스크의 중앙 픽셀과 주변 픽셀의 화소값을 비교하여 잡음 포함되는 픽셀을 결정한다.

도 2에는 3×3 잡음 식별 마스크가 도시된다. 이에 따르면 중앙 픽셀에 대해 8개의 주변 픽셀이 정의된다. 본 실시예에 따르면, 중앙 픽셀의 화소값과, 8개의 주변 픽셀의 화소값을 비교하여 계산되는 8개의 차이값들 중 적어도 하나가 기 설정된 임계치를 초과하는지 여부를 판단하여 그 중앙 픽셀이 잡음 영역에 해당하는지 비잡음 영역에 해당하는지 결정할 수 있다.

도 2에 도시되는 잡음 식별 마스크에서 ｘ_ｉ，ｊ는 현재 (ｉ，ｊ) 위치에 해당하는 픽셀에 대한 화소값을 나타내며, ｗ0, ｗ1, ｗ2, ｗ3, ｗ4, ｗ5, ｗ6, ｗ7은 (ｉ，ｊ) 위치에 해당하는 픽셀의 주변 픽셀에 대한 화소값을 나타낸다.

즉, ｘ_ｉ，ｊ과 ｗ0, ｗ1, ｗ2, ｗ3, ｗ4, ｗ5, ｗ6, ｗ7를 순차적으로 비교하여 각 주변 픽셀에 대한 차이값을 계산한다. 그리고, 그 차이값들과 기 설정된 임계치를 비교하여 (ｉ，ｊ) 위치에 해당하는 픽셀이 잡음 영역에 해당하는지 비잡음 영역에 해당하는지 판단할 수 있다.

특히, 각 주변 픽셀과의 비교 결과 생성되는 차이값을 모두 기 설정된 임계치와 비교할 수 있지만, 다수의 차이값들 중에서 일부에 대해서만 기 설정된 임계치와 비교할 수도 있다.

도 3은 본 발명의 일 실시예에 따라 잡음 식별 마스크을 이용하여 잡음 영역 을 판단하는 방법을 나타낸다.

예를 들어, 도 3에 도시된 바와 같이 단계 S30에서 각 주변 픽셀과의 비교 결과 생성되는 다수의 차이값들을 크기 순서대로 오름차순 또는 내림차순으로 정렬한 후 단계 S32 및 단계 S33에서 4번째 크기의 차이값만 기 설정된 임계치와 비교할 수 있다. 이때 단계 S31에서와 같이 정렬된 차이값들에 대해 순차적으로 번호를 지정하여 이용할 수도 있다.

그리고, 단계 S32과 같이 4번째 차이값이 기 설정된 임계치를 초과하는 경우에는 단계 S34에서 해당 픽셀이 잡음 영역인 것으로 판단하고, 단계 S33과 같이 그렇지 않은 경우에는 단계 S35에서 해당 픽셀이 비잡음 영역인 것으로 판단한다.

여기서, 몇 번째 크기에 해당하는 차이값을 기 설정된 임계치와 비교할지 여부는 상술한 4번째에 한정되지 아니하고 얼마든지 다양하게 예를 들어, 3번째, 5번째 등으로 결정될 수 있음은 당연하다.

도 4는 본 발명의 일 실시예에 따라 비잡음 영역과 잡음 영역을 구분하여 영상개선 알고리즘을 적용하는 방법을 나타낸다.

도 3에서의 잡음 영역 판단 결과를 이용하여 잡음 영역이 아닌 비잡음 영역은 영상개선 알고리즘을 적용하며, 잡음 영역은 영상개선 알고리즘을 적용하지 않고 초기값을 그대로 사용하여 영상 처리를 수행한다. 그 이유는 잡음 영역에 영상개선 알고리즘을 적용하면 잡음까지 개선되어 화질 개선 성능을 낮추게 될 것이기 때문이다.

여기서, 영상개선 알고리즘으로는 영상의 반사성분만을 이용해서 영상을 보 정하는 레티넥스 알고리즘을 이용할 수 있다. 여기서, 레티넥스 알고리즘에 따르면, 반사성분을 구하기 전에 조도성분을 구하게 되는데, 조도성분은 천천히 변한다는 가정하에서 저역 성분이라고 보고 저역통과필터 (LPS: low pass filter)를 통해서 구할 수 있다. 그리고, 조도 * 반사 성분으로 표현되는 표현 모델에서 양변에 로그를 취해줌으로써 조도성분을 분리한다. 이렇게 해서 원 영상의 로그신호와 조도 로그신호의 차분을 구하면 반사성분을 추출할 수 있게 된다. 그러면 이렇게 추출된 반사성분을 이용하여 영상을 보정할 수 있다.

따라서, 본 발명에서는 단계 S100에서 입력된 영상에 즉, 차량용 카메라의 야간 영상에 대하여 잡음 식별 마스크를 이용해 잡음 영역을 파악하고, 단계 S110에서 잡음영역의 경우에는 단계 S120으로 진행하여 초기값을 사용하여 영상처리가 이루어지고, 단계 S130에서 비잡음 영역인 경우에는 단계 S140으로 진행하여 레티넥스 알고리즘을 적용하는 영상처리가 이루어진다. 그리고, 단계 S150에서 각각 처리된 잡음영역과 비잡음영역에 대한 영상이 결합되어 영상이 출력된다. 즉, 본 실시예에 따르면, 잡음이 아닌 영역에만 레티넥스 알고리즘을 적용하여 영상의 세부내용을 향상시킴으로써 야간 운행 시 운전자의 안전성을 확보할 수 있을 것이다.

도 5는 본 발명의 일 실시예에 따른 야간 영상 개선 방법을 적용한 결과의 예를 보여준다.

도 5의 (a) 및 도 5의 (b)에서 좌측은 야간 영상 개선 알고리즘을 적용하기 전의 영상이며, 우측은 적용 후의 영상을 나타낸다. 좌측의 영상은 어두워 사물을 정확히 판단하기가 매우 힘든 반면, 우측의 영상은 영상 내의 사물이 어느 정도 식 별가능한 상태로 나타난다. 도 5를 통해 확인할 수 있듯이, 잡음영역과 비잡음영역을 구분하여 영상개선 알고리즘을 적용함으로써 매우 높은 성능의 영상 개선이 이루어지는 것을 확인할 수 있을 것이다.

상기에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명은 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따라 차량용 카메라의 야간 영상 개선에 대한 블록 다이어그램을 나타낸다.

도 2는 본 발명의 일 실시예에 따라 잡음영역 판단부에서 변환된 밝기값으로 표현되는 영상에 적용하는 잡음 식별 마스크의 예를 나타낸다.

도 3은 본 발명의 일 실시예에 따라 잡음 식별 마스크을 이용하여 잡음 영역을 판단하는 방법을 나타낸다.

도 4는 본 발명의 일 실시예에 따라 비잡음영역과 잡음 영역을 구분하여 레티넥스 알고리즘을 적용하는 방법을 나타낸다.

도 5는 본 발명의 일 실시예에 따른 야간 영상 개선 방법을 적용한 결과의 예를 보여준다.

<도면의 주요부분에 대한 부호의 설명>

10: 영상입력부 20: 밝기값 변환부

30: 잡음영역 판단부 40: 영상처리부

50: 영상출력부

Claims (6)

1. 야간 영상의 RGB 값을 밝기값으로 변환하는 밝기값 변환부;

   상기 밝기값으로 표현되는 상기 야간 영상에서 픽셀과 상기 픽셀의 주변 픽셀과의 화소값을 비교하여 잡음 영역과 비잡음 영역을 판단하는 잡음영역 판단부; 및

   상기 야간 영상에 영상개선 알고리즘을 적용하되, 상기 야간 영상의 비잡음 영역에 대해서만 상기 영상개선 알고리즘을 적용하여 상기 야간 영상을 처리하는 영상처리부

   를 포함하는, 차량용 카메라의 야간 영상 개선 시스템.
2. 청구항 1에 있어서,

   상기 잡음영역 판단부에서는, 상기 픽셀에 대해 중앙 픽셀과 상기 주변 픽셀을 정의하는 잡음 식별 마스크를 적용하여, 상기 중앙 픽셀과 주변 픽셀의 화소값을 비교함에 따라 상기 픽셀의 잡음 여부를 판단하는 것을 특징으로 하는, 차량용 카메라의 야간 영상 개선 시스템.
3. 청구항 2에 있어서,

   상기 잡음영역 판단부에서는, 상기 잡음 식별 마스크의 중앙 픽셀과 주변 픽셀의 화소값을 비교하여 계산되는 다수의 차이값들 중 적어도 하나가 기 설정된 임계값을 초과하는 경우 상기 중앙 픽셀은 잡음 영역에 해당하는 것으로 결정하는 것을 특징으로 하는, 차량용 카메라의 야간 영상 개선 시스템.
4. 청구항 3에 있어서,

   상기 잡음영역 판단부에서는, 상기 다수의 차이값들을 크기 순서로 정렬하여 3번째 또는 4번째에 해당하는 차이값이 상기 기 설정된 임계값을 초과하는 경우 상기 중앙 픽셀은 잡음 영역에 해당하는 것으로 결정하는 것을 특징으로 하는, 차량용 카메라의 야간 영상 개선 시스템.
5. 청구항 1에 있어서,

   상기 영상 처리부는,

   상기 야간 영상의 잡음 영역에 대해서는 상기 영상 개선 알고리즘을 적용하지 않고 상기 야간 영상을 처리하는 것을 특징으로 하는, 차량용 카메라의 야간 영상 개선 시스템.
6. 청구항 1에 있어서,

   상기 영상개선 알고리즘은, 레티넥스 알고리즘인 것을 특징으로 하는, 차량용 카메라의 야간 영상 개선 시스템.

Images