KR20180001869A - Avm 시스템의 영상 개선 장치 및 그 방법 - Google Patents

Abstract

본 발명은 AVM 시스템의 영상 개선 장치 및 그 제어방법에 관한 것으로, 보다 상세하게는 AVM(Around View Monitoring) 시스템의 각각의 카메라 영역에서 획득된 영상 정보의 밝기 및 색상을 보정함으로써 합성된 AVM 합성 영상의 부자연스러움을 저감하는 발명에 관한 것이다.
본 발명의 일 실시예에 따르면 제1채널 영상을 촬영하는 카메라, 제2채널 영상을 촬영하는 카메라, 제3채널 영상을 촬영하는 카메라 및 제4채널 영상을 촬영하는 카메라; 상기 제1채널 내지 제4채널의 영상정보를 획득하는 영상정보 획득부; 상기 제1채널 내지 제4채널 중 어느 하나의 채널을 선택하는 채널 선택부; 선택된 채널에서 보정영역을 설정하는 제1보정영역 설정부; 선택된 채널과 인접하는 채널에서 보정영역을 설정하는 제2보정영역 설정부; 상기 제1보정영역 설정부와 상기 제2보정영역 설정부에서 설정된 보정영역의 영상정보에서, 파라메터를 추출하는 파라메터 추출부; 추출된 파라메터를 보정하는 파라메터 보정부; 및 보정된 파라메터를 반영하여 보정된 AVM 합성 영상을 출력하는 영상 출력부;를 포함하되, 상기 파라메터 보정부는 상기 제1보정영역과 제2보정영역에서 추출된 파라메터의 평균값을 연산하고 이를 선택된 채널의 파라메터에 적용함으로써 AVM 합성 영상을 개선하는 것을 특징으로 하는 AVM 시스템의 영상 개선 장치.

Description

AVM 시스템의 영상 개선 장치 및 그 방법{Image Improving Apparatus for AVM System and Improving Method thereof}

본 발명은 AVM 시스템의 영상 개선 장치 및 그 방법에 관한 것으로서, AVM(Around View Monitoring) 시스템의 각각의 카메라 영역에서 획득된 영상 정보의 밝기 및 색상을 보정함으로써 합성된 AVM 영상의 부자연스러움을 저감하는 발명에 관한 것이다.

차량과 관련한 카메라 영상 모니터링 기술로서 블랙박스 및 후방카메라 기술 등이 개발되었다. 상기 블랙박스 및 후방카메라는 차량을 전, 후, 좌, 우 방향으로 구분할 때 주로 일 방향의 영상만 취득하고 이를 활용하므로 확장성이 떨어지는 문제가 있고, 이러한 단점을 보완하기 위해 최근에는 AVM(All Around View Monitoring) 시스템을 탑재한 차량이 출시되고 있다. AVM 시스템은 차량을 중심으로 360도 주변의 사물을 감지하는 기능이 탑재된 시스템을 말한다.

일반적으로 AVM 시스템은 차량의 앞뒤, 좌우 사이드미러 하단에 모두 4개의 카메라를 장착하여 차량밖 전,후,좌,우 사방을 실내의 센터페시아에 위치한 디스플레이부를 통해 볼 수 있도록 하는 시스템이다. 카메라를 통해 획득된 영상은 합성되어, 마치 차량을 하늘에서 내려다보는 것처럼 차량 주변 360의 모습을 하나의 모니터에서 확인할 수 있다. 이로 인해 운전자는 직관적으로 보여지는 탑뷰(Top View) 영상을 통해 차량주변 환경과 장애물 정보, 출동위험 경고, 주차지원 등 안전한 운전환경을 제공받게 된다. 차량 조작에 따른 실시간 주차 궤적을 화면에 보여주기 때문에 운전자는 화면만 보고도 주차를 할 수 있어 편리하다.

그런데 종래의 AVM 시스템은 복수의 영상 정보를 합성하여 한 화면에 출력하기 때문에, 각각의 영역에서 카메라에서 획득되는 영상 정보의 밝기 및 색상의 차이에 따라 부자연스러운 AVM 합성 영상이 출력되는 문제가 있다.

본 발명은 복수의 영상 정보를 합성함에 따라 발생하는 밝기 및 색상의 차이에 따른 부자연스러운 AVM 합성 영상을 자연스럽게 개선하는 장치 및 그 장치의 동작 제어방법을 제공함에 목적이 있다.

상기한 과제를 해결하기 위한 본 발명의 일 실시예에 따르면, 제1채널 영상을 촬영하는 카메라, 제2채널 영상을 촬영하는 카메라, 제3채널 영상을 촬영하는 카메라 및 제4채널 영상을 촬영하는 카메라; 상기 제1채널 내지 제4채널의 영상정보를 획득하는 영상정보 획득부; 상기 제1채널 내지 제4채널 중 어느 하나의 채널을 선택하는 채널 선택부; 선택된 채널에서 보정영역을 설정하는 제1보정영역 설정부; 선택된 채널과 인접하는 채널에서 보정영역을 설정하는 제2보정영역 설정부; 상기 제1보정영역 설정부와 상기 제2보정영역 설정부에서 설정된 보정영역의 영상정보에서, 파라메터를 추출하는 파라메터 추출부; 추출된 파라메터를 보정하는 파라메터 보정부; 및 보정된 파라메터를 반영하여 보정된 AVM 합성 영상을 출력하는 영상 출력부;를 포함하되, 상기 파라메터 보정부는 제1보정영역과 제2보정영역에서 추출된 파라메터의 평균값을 연산하고 이를 선택된 채널의 파라메터에 적용함으로써 AVM 합성 영상을 개선하는 것을 특징으로 하는 AVM 시스템의 영상 개선 장치를 제공한다.

여기서, 상기 파라메터 추출부에서 추출되는 파라메터는, 보정영역의 밝기에 대한 제1 파라메터와, 보정영역의 색상에 대한 제2 파라메터를 포함할 수 있다.

그리고 상기 제1보정영역 설정부와 제2보정영역 설정부가 설정하는 보정영역은 당해 채널 영상의 하부영역인 것을 특징으로 할 수 있으며,

나아가 상기 제2보정영역 설정부가 설정하는 보정영역은, 상기 제1보정영역 설정부가 설정한 보정영역에 인접한 영역인 것을 특징으로 할 수 있다.

아울러 상기 제2보정영역 설정부가 설정하는 보정영역은, 시간, 외부환경, 운행모드 또는 사용자 정의에 따라 가변 가능할 수 있다.

한편, 일 실시예에 따르면 상기 파라메터 보정부는,

상기 제1보정영역 설정부가 설정한 보정영역에서 추출된 파라메터에 가중치를 부여할 수 있다.

본 발명의 다른 실시예에 따르면, (a) 차량에 설치된 복수 개의 카메라로부터 제1채널 내지 제4채널의 영상정보를 획득하는 영상정보획득단계; (b) 상기 제1 채널 내지 제4채널 중 어느 하나의 채널을 선택하는 채널선택단계; (c) 선택된 채널에서 보정영역을 설정하는 제1보정영역설정단계; (d) 선택된 채널과 인접하는 채널에서 보정영역을 설정하는 제2보정영역설정단계; (e) 설정된 보정영역에서 파라메터를 추출하는 파라메터추출단계; (f) 추출된 파라메터를 보정하는 파라메터보정단계; (g) 보정된 파라메터를 반영하여 보정된 AVM 합성 영상을 출력하는 영상출력단계를 포함하되, 상기 파라메터보정단계는 (f-1) 상기 상기 제1보정영역과 제2보정영역에서 추출된 파라메터의 평균값을 연산하는 연산단계와 (f-2) 파라메터의 평균값을 선택된 채널에 적용하는 입력단계를 포함하는 것을 특징으로 하는 AVM 시스템의 영상 개선 방법을 제공한다.

상기 (e) 파라메터추출단계에서 추출되는 파라메터는, 보정영역의 밝기에 대한 제1 파라메터와, 보정영역의 색상에 대한 제2 파라메터를 포함할 수 있다.

그리고 상기 (c) 제1보정영역설정단계와 (d) 제2보정영역설정단계에서 설정하는 보정영역은 당해 채널 영상의 하부영역인 것을 특징으로 할 수 있으며,

상기 (d) 제2보정영역설정단계에서 설정하는 보정영역은, 상기 (c) 제1보정영역설정단계에서 설정한 보정영역에 인접한 영역인 것을 특징으로 할 수 있다.

아울러, 상기 (d) 제2보정영역설정단계에 있어서, 상기 제2보정영역의 범위는 시간, 날씨에 따른 외부환경, 운행모드 또는 사용자 정의에 따라 가변 가능한 것을 특징으로 할 수 있다.

또한, 상기 (e) 파라메터추출단계 이후에, 상기 (c) 제1보정영역설정단계에서 설정된 보정영역으로부터 추출된 파라메터에 가중치를 부여하는 가중치부여단계를 더 포함할 수 있다.

이상에서 살펴본 본 발명의 과제해결 수단에 따르면, AVM 시스템을 통해 출력되는 영상에서, 영상의 합성에 따라 발생하는 경계면 부근의 이질감을 저감할 수 있다.

본 발명에서는 비단 AVM 경계면의 부자연스러움뿐만 아니라 AVM 화면 전체의 부자연스러움을 해소할 수 있고,

보정에 대한 파라메터로서 밝기와 색상에 대한 파라메터를 동시에 추출하고 보정의 대상으로 적용하는 바, 출력되는 영상의 질을 현저히 향상시킬 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 AVM 시스템에 대한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 AVM 시스템의 영상 개선 장치를 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 ISP를 나타내는 블록도이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따른 보정 영역 설정 방법을 나타내는 개념도이다.
도 7은 본 발명의 일 실시예에 따른 AVM 시스템의 영상 개선 방법을 나타내는 블록도이다.
도 8은 본 발명의 다른 실시예에 따른 AVM 시스템의 영상 개선 방법을 나타내는 블록도이다.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 'AVM 시스템의 영상 개선 장치 및 방법'을 상세하게 설명한다. 설명하는 실시 예들은 본 발명의 기술 사상을 당업자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.

한편, 이하에서 표현되는 각 구성부(예컨대, 영상정보 획득부 등)는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다.

또한, 각 구성부는 순전히 하드웨어 또는 소프트웨어의 구성만으로 구현될 수도 있지만, 동일 기능을 수행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합으로 구현될 수도 있다. 또한, 하나의 하드웨어 또는 소프트웨어에 의해 둘 이상의 구성부들이 함께 구현될 수도 있다.

또한, 어떤 구성요소들을 '포함'한다는 표현은, '개방형'의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.

나아가 어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 한다.

또한 '제1, 제2' 등과 같은 표현은 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다.

도 1은 본 발명의 일 실시예에 따른 AVM 시스템에 대한 개략도이다. 도 2는 본 발명의 일 실시예에 따른 AVM 시스템의 영상 개선 장치를 나타내는 블록도이다. 도 3은 본 발명의 일 실시예에 따른 ISP를 나타내는 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 AVM 시스템은 제1채널(CH100), 제2채널(CH200), 제3채널(CH300), 제4채널(CH400)의 영상을 합성하여 차량을 하늘에서 바라보는 탑뷰(Top View)와 같은 영상으로 출력 가능하다.

본 발명의 일 실시예에 따른 AVM 시스템은 '발명의 배경이 되는 기술'에서 전술한 바와 같이, 차량 외부 영상을 담는 카메라가 장착되고 차량 내부의 디스플레이장치를 통해 주행시 또는 주차시 운전자에게 보이지 않는 사각지대까지 보여주는 기능을 수행하는 장치로서 AVM과 AVM을 보조하는 부품을 포함하는 시스템을 의미할 수 있다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 AVM 시스템의 영상 개선 장치는 제1채널(CH100) 영상을 촬영하는 카메라(100), 제2채널(CH200) 영상을 촬영하는 카메라(200), 제3채널(CH300) 영상을 촬영하는 카메라(300) 및 제4채널(CH400) 영상을 촬영하는 카메라(400); 상기 제1채널(CH100) 내지 제4채널(CH400)의 영상정보를 획득하는 영상정보 획득부(10); 상기 제1채널(CH100) 내지 제4채널(CH400) 중 어느 하나의 채널을 선택하는 채널 선택부(20); 선택된 채널에서 보정영역을 설정하는 제1보정영역 설정부(31); 선택된 채널과 인접하는 채널에서 보정영역을 설정하는 제2보정영역 설정부(32); 상기 제1보정영역 설정부(31)와 상기 제2보정영역 설정부(32)에서 설정된 보정영역의 영상정보에서, 파라메터를 추출하는 파라메터 추출부(40); 추출된 파라메터를 보정하는 파라메터 보정부(50); 및 보정된 파라메터를 반영하여 보정된 AVM 합성 영상을 출력하는 영상 출력부(60);를 포함할 수 있다.

그리고 여기서 상기 파라메터 보정부(50)는 상기 제1보정영역과 제2보정영역에서 추출된 파라메터의 평균값을 연산하고 이를 선택된 채널의 파라메터에 적용함으로써 AVM 합성 영상을 개선하는 것을 특징으로 할 수 있다.

AVM 시스템에는 카메라가 필수적으로 장착되는데, 이 카메라는 적어도 하나 이상 장착될 수 있으며, 바람직하게는 적어도 4개 이상 설치되어 차량 주위 영상을 360도 둘레를 따라 카메라에 담을 수 있다.

본 발명의 카메라는 통상의 CCD/CMOS 카메라가 해당될 수 있으며, 도 2를 비롯한 상기한 실시예에서는 각 채널별 카메라가 1개가 구비되는 것을 개시하고 있으나, 반드시 이에 한정되는 것은 아니다.

여기서 제1채널(CH100)은 차량의 전방영역을, 제2채널(CH200)은 차량의 우측방영역을, 제3채널(CH300)은 차량의 후방영역을, 제4채널(CH400)은 챠량의 좌측방영역을 의미할 수 있다.

영상정보 획득부(10)는 상기한 제1채널(CH100) 내지 제4채널(CH400)의 영상정보를 획득하는 구성요소이며, 채널 선택부(20)는 상기한 제1채널(CH100) 내지 제4채널(CH400)의 채널 중에서 어느 하나의 채널을 선택하는 것으로서, 보정영역 설정의 전단계이다.

후술하겠지만, 본 발명의 핵심적 기술요소는 타겟이 되는 채널을 선택하고, 타겟이 되는 채널과 함께 타겟이 되는 채널의 양옆 채널에 대한 영상 파라메터 값을 보정한 후, 이 보정값을 타겟 카메라에 적용하여 AVM 합성 영상의 부자연스러움을 개선하는 것이다. 타겟이 되는 채널을 기준으로 양옆 채널이 선택되기 때문에 채널 선택부(20)의 선택 동작은 중요하다.

보정영역 설정부(30)는 제1보정영역 설정부(31)와 제2보정영역 설정부(32)를 포함한다. 제1보정영역 설정부(31)는 채널 선택부(20)가 선택한 채널(타겟이 되는 채널)에서 보정영역을 설정하는 구성이고, 제2보정영역 설정부(32)는 선택한 채널 양 옆의 채널에서 보정영역을 설정하는 구성요소이다.

파라메터 추출부(40)는 상기 제1보정영역 설정부(31)와 상기 제2보정영역 설정부(32)에서 설정된 보정영역의 영상정보에서 파라메터를 추출한다. 즉, 채널 선택부(20)에 의해 선택된 채널에서만 파라메터를 추출하는 것이 아니라, 선택된 채널 양 옆의 채널에서도 파라메터를 추출하여 영상을 보정한다.

전술한 것처럼 파라메터 보정부(50)는 추출된 파라메터의 평균값을 연산하고 이를 선택된 채널(타겟 채널)의 파라메터에 적용하므로써 AVM 합성 영상을 개선하는 것이다.

본 발명의 또 다른 주요 기술적 특징은 파라메터 추출부(40)에서 추출되는 파라메터로서, 보정영역의 밝기(Brightness)에 대한 제1파라메터와, 보정영역의 색상(Color)에 대한 제2파라메터를 포함한다는 것이다. 더욱 구체적으로 제1파라메터는 색의 3요소에서의 명도(또는 휘도)에 대한 파라메터를 의미할 수 있다. 제2파라메터는 영상을 RGB 및/또는 YUV 방식으로 수신하여 얻게 되는 색상정보를 의미할 수 있다. 참고로 RGB와 YUV는 상호 변환가능하다.

밝기에 대한 파라메터인 제1파라메터를 가지고도 AVM 합성 영상에서의 부자연스러움은 어느정도 해소할 수 있다. 다만, 본 발명에서는 색상에 대한 파라메터인 제2파라메터를 함께 추출하여 보정함으로써 더욱 자연스러운 AVM 합성 영상을 확보할 수 있게 된다. 예컨대, 차량의 주차 시에 AVM 합성 화면에는 주차 공간 바닥면의 노란색 또는 파란색 주차라인이 출력된다. 제1파라메터만을 이용할 때 합성된 영상에서 밝기에 대한 이질감은 해소될 수 있으나, 색상에 대한 이질감은 해소하지 못한다. 반대로, 제2파라메터만을 이용할 때 합성된 영상에서 색상에 대한 이질감은 해소될 수 있으나, 밝기에 대한 이질감은 해소하지 못한다. 이러한 문제를 해결하기 위해 본 발명에서는 적어도 2가지 이상의 파라메터를 이용하여 카메라로부터 획득되는 영상정보를 보정한다. 특히, 최소 2가지의 파라메터로서 밝기와 색상에 대한 파라메터를 추출하는 것이 사용자 인식의 용이성 측면에서 바람직하다.

본 발명의 이해를 돕기 위해 도 3을 참조하여 ISP(Image Signal Prossesor)의 원리에 대해 간단히 설명하기로 한다.

본 발명의 카메라에는 CCD 또는 CMOS Image Sensor(CIS)와 같은 촬상소자가 구비될 수 있는데, 여기에는 Color Filter가 포함되어 있어 영상이 가지고 있는 R,G,B 정보는 보통 8Bit Bayer RGB Data 형태로 입력된다. 최초 RGB의 조합에 의해 8Bit로 입력된 Raw Data는 하나의 픽셀에 더 많은 수의 Data를 갖도록, 예컨대 24Bit 또는 30Bit 등의 Data를 갖도록 보간(Interpolation)된다.

여기서 data는 칼라 필터(Color Filter)의 왜곡 등으로 인해 정확한 파장대의 성분으로 추출되지 못하는데, 이러한 왜곡성분을 포함한 값을 추출해 이것의 역 계수 값으로 오리지널의 Data를 가지도록 색보정(Color Correction)한다.

아울러 CRT나 모니터 등의 디스플레이 장치는 고유의 왜곡 값을 가지는데, 이러한 디스플레이장치의 왜곡 값을 미리 보정해 주기 위한 처리 방법으로서 감마보정(Gamma Correction) 동작을 한다.

다음으로, 색공간 변환(Color Space Conversion)을 하는데 이는 RGB Scale의 Data를 YCbCr Scale로 변환하는 것을 말한다. RGB영상데이터는 휘도와 컬러 성분을 모두 갖고 있기 때문에 휘도만을, 혹은 컬러만을 제어하기가 어렵다. 따라서, 휘도를 조정하고자 할 때는 Y 데이터를 제어하고 Color를 조정하고자 할 때는 CbCr 데이터를 제어하도록 YCbCR Scale로 변환한다. 참고로 YCbCr Scale의 Format은 4:2:0, 4:2:2, 4:4:4 등으로 다양하게 선택될 수 있다.

히스토그램 이퀄라이제이션(Histogram Equalization)이란 CMOS Image Sensor 에서 출력된 영상신호를 각 Value 별로 히스토그램(Histogram)을 만든 다음 최대값(Max value)이 적을 때 MAX 값을 255 에 맞추어 균등하게 스트레칭(Stretching)하는 것을 말한다. 이로써, CMOS Image Sensor의 경우 저조도 특성이 CCD에 비해 좋지 않은 특성을 보상할 수 있다.

자동노출(AE, Auto Exposure)은 원하는 target 영상 data level(밝기)이 나올 때까지 자동으로 노출시간을 조정해 주는 것으로서, 일반적인 카메라는 항상 조리개가 열려 있어 항상 빛이 입력되는 상황이며 이에 따라 사진을 찍으면 미리 입력된 빛을 리셋(reset) 한 후 다시 적절한 Integration Time을 주어 빛을 모은 후 영상을 출력하게 되는 것이다. 빛을 너무 많이 주면 포화(saturation)되어 화면이 하얗게 나오게 되며 너무 조금 빛을 주면 어둡게 나오게 된다. 이러한 현상을 방지하기 위해 카메라의 자동 조리개 역할을 하는 것이 자동노출 기능이다.

자동화이트밸런스(AWB, Auto White Balance)는 Auto Exposure 와 더불어 가장 중요하게 처리해야 하는 부분으로서. Blue 계열의 Color 와 Red 계열의 Color 를 적절히 조화시켜 전체의 Color를 조화 있게 만드는 알고리즘이다. 사물에서 반사되는 영상은 색온도(Color temperature)에 따라 스펙트럼(spectrum)이 시프트(shift)된다. 사람의 눈은 색온도에 대해 자동화이트밸런스를 진행하여 흰색을 흰색으로 인식하지만 사진 혹은 영상에서는 흰색으로 보이지 않게 되는데 이러한 이유로 화이트밸런스 기능을 작동한다. 기본적으로 Cb, Cr 값을 체크하여 시프트 된 값 만큼 제어하여 원래의 값으로 환원될 수 있도록 한다.

윤곽선 보강(Edge Enhancement)기술은 렌즈가 표현할 수 있는 분해능의 제한적인 성능을 보상하기 위해, 윤곽선 부분을 더욱 선명하게 처리하는 기술을 말한다.

기본적으로 AVM 시스템에서 사용되는 카메라는 제1채널 내지 제4채널의 ISP가 각각 다르게 설정될 수 있다. 이유는 카메라마다 센서에 입력되는 밝기가 달라 그에 따른 영상의 감도가 달리 조절되기 때문이다. 예컨대, 도 1을 다시 참조하면 도 1에서 오른쪽(CH200 부근)은 해가 있는 방향이고, 왼쪽(CH400 부근)은 그림자가 형성되는 방향으로서, ISP에 따르면 왼쪽 카메라는 밝기를 상대적으로 높이도록 자동 설정되고, 오른쪽은 밝기를 상대적으로 낮추도록(어둡도록) 설정할 수 있다.

도 3은 상기와 같은 ISP(Image Signal Prossessor)에 대한 블록도(500)를 나타낸다. 본 발명에서는 ISP 동작에서 AE(512, Auto Exprosure)와 AWB(513, Auto White Balance)에 초점을 맞추어 AVM 시스템의 영상을 보정한다. AE는 밝기에 대한 파라메터인 제1파라메터와 연관되어 있고, AWB는 색상에 대한 파라메터인 제2파레메터와 연관되어 있다.

다음으로, 도 4 내지 도 6을 참조로 본 발명의 일 실시예에 따른 영상 보정영역 설정의 개념을 설명하기로 한다.

도 4는 각 채널의 하부영역을 보정영역으로 설정하는 개념을 나타내는 도면이고, 도 5는 제1보정영역과 제2보정영역을 설정하는 개념을 나타내는 도면이다. 도 6은 본 발명의 일 실시예에 따른 것으로서 차량의 전방영역을 타겟 채널로 선택한 것을 나타낸 도면이다.

본 발명의 일 실시예에 따른 AVM 시스템의 영상 개선 장치는 도 4에 도시된 바와 같이 상기 제1보정영역 설정부(31)와 제2보정영역 설정부(32)가 설정하는 보정영역이 당해 채널 영상의 하부영역인 것을 특징으로 할 수 있다. AVM에서 카메라는 일반적으로 하향 설치되어 사용자용 디스플레이 화면에는 주로 차량 주위의 바닥면(노면)이 출력된다. 따라서, 파라메터 보정을 위한 보정영역을 채널의 하부영역으로 제한함으로써, 보다 정확한 보정값 적용이 가능하게 된다. 도면에는 보정영역으로 설정되는 하부영역의 형태가 장방형인 것으로 도시되어 있으나 반드시 이에 한정되는 것은 아니며, 경우에 따라서는 볼록하게 또는 오목한 보정영역을 설정하거나, 곡선 형태의 보정영역을 갖도록 설정할 수 있다. 그리고 보정영역으로 설정되는 면적또한 한정되는 것은 아니며, 기술적 사상이 동일한 범위 내에서 설정에 따라 변경가능함을 유의해야 한다.

한편, 일 채널의 하부영역을 다시 나누어 제2보정영역(CH121 또는 CH122)을 설정할 수 있다. 도 5는 차량의 전방영역을 일 예시로 한 도면인데, 차량의 전방영역이 카메라를 통해 영상정보가 입력되어 바닥면과 지평선(H, Horizontal)과 주차라인이 화면에 출력된다. 보정영역이 되는 하부영역을 통해, 도 5에 도시된 바와 같이 주차라인을 포함하는 바닥면의 영상 정보를 획득할 수 있다.

본 발명의 일 실시예에 따르면 제2보정영역 설정부(32)가 설정하는 보정영역은, 상기 제1보정영역 설정부가 설정한 보정영역에 인접한 영역인 것을 특징으로 할 수 있는데, 이러한 제2보정영역의 설정방법에 대해서는 도 6을 함께 참조하여 상세히 설명한다.

도 6에 도시된 바와 같이 채널 선택부(20)에서 전방영역 제1채널(CH100)을 타겟 채널로 선택한다면, 제1보정영역 설정부(31)는 제1채널(CH100)의 하부영역을 보정영역으로 설정한다. 제1채널(CH100)이 타겟 채널로 선택되면, 제1채널(CH100)의 좌/우 채널인 제4채널(CH400)과 제2채널(CH200)이 인접하는 채널이 되는데, 제2보정영역 설정부(32)는 제4채널(CH400)와 제2채널(CH200)에서 보정영역을 설정한다. 제2보정영역 설정부(32)는 먼저 제4채널(CH400)과 제2채널(CH200)의 하부영역을 설정하고, 나아가 제4채널(CH400)의 하부영역 중 우측하방영역(CH422)을 보정영역으로 설정한다. 그리고 제2채널(CH200)의 하부영역 중 좌측하방영역(CH221)을 보정영역으로 설정한다. 상기한 실시예에서는, 전방영역(차량의 정면)의 영상 보정 시에 전방영역의 파라메터뿐만 아니라 좌/우 인접영역의 영상에 대한 파라메터를 함께 추출하여 보정함으로써 AVM 합성 영상을 자연스럽게 출력할 수 있게 된다.

마찬가지 원리로 채널 선택부(20)에서 우측방영역 제2채널(CH200)을 타겟 채널로 선택한다면, 제1보정영역 설정부(31)는 제2채널(CH200)의 하부영역을 보정영역으로 설정한다. 제2채널(CH200)이 타겟 채널로 선택되면, 제2채널(CH200)의 좌/우 채널인 제1채널(CH100)과 제3채널(CH300)이 인접하는 채널이 되는데, 제2보정영역 설정부(32)는 제1채널(CH100)와 제3채널(CH300)에서 보정영역을 설정한다. 제2보정영역 설정부(32)는 먼저 제1채널(CH100)과 제3채널(CH300)의 하부영역을 설정하고, 나아가 제1채널(CH100)의 하부영역 중 우측하방영역(CH122)을 보정영역으로 설정한다. 그리고 제3채널(CH300)의 하부영역 중 좌측하방영역(CH321)을 보정영역으로 설정한다.

상기와 같은 실시예들은 채널 선택부(20)가 후방영역 제3채널(CH300)을 타겟으로 하였을 경우, 또는 좌측방영역 제4채널(CH400)을 타겟으로 하였을 경우에 유추 적용될 수 있다.

도 6을 다시 참조하면 타겟 채널에서는 하부영역을 100% 반영하고, 타겟 채널의 인접하는 영역에서는 하부영역을 50%만 반영할 수 있다. 이때, 타겟 채널에 인접하는 영역의 보정영역 설정(제2보정영역 설정부가 설정하는 보정영역)의 경우 반드시 50%에 한정되는 것은 아니며, 차량 주변의 환경 자동적으로 또는 사용자의 직접 조작에 따라 0 초과 100% 미만의 범위에서 파라메터를 추출하도록 설정될 수도 있다. 타겟 채널의 좌/우 채널에 형성되는 보정영역(제2보정영역)은 타겟 채널을 기준으로 상호 대칭적으로 설정될 수 있다. 참고로 본 보정영역의 설정에 있어서 언급되는 %는 획득되는 영상정보를 화면으로 출력하였을 때, 화면상에서 차지하는 면적을 의미할 수 있다.

상기 제2보정영역 설정부(32)가 설정하는 보정영역은, 차량의 운행 시간, 날씨에 따른 외부환경, 운행모드 또는 사용자 정의에 따라 가변 가능하다. 예컨대, 차량이 주변이 어두컴컴한 저녁 또는 밤시간인 경우는 보정영역을 50% 보다 크게 넓힐 수 있고 햇볕에 의해 주변이 밝은 낮시간인 경우는 보정영역을 50% 보다 작게 줄일 수 있다. 비가 오는 경우, 눈이 내리는 경우, 맑은 날씨의 경우에 따라 각각 보정영역이 달리 조정될 수 있으며, 주행모드 또는 주차모드인지 여부에 따라서도 보정영역이 달리 조정될 수 있다.

보정영역(파라메터가 추출되는 영역)을 설정하는 방법에 있어서 특정한 경계선을 긋고 그 안에서 파라메터를 추출하는 과정을 거친다면 그 연산과정이 복잡해지지만, 본 발명에서처럼 타겟이 되는 채널을 선택한 후에, 간단히 비율조정을 통해 보정영역(파라메터가 추출되는 영역)을 조절하면 연산이 간편함과 동시에 보정되는 값에 대하여 충분히 신뢰할만한 결과값이 도출될 수 있다.

파라메터 추출부(40)는 상기와 같은 실시예에 따라 설정된 보정영역에서 파라메터를 추출하는데, 구체적인 추출방법은 통상의 ISP를 이용할 수 있다.

추출된 파라메터는 파라메터 보정부(50)를 통해 보정된다. 보정방법은 타겟 채널의 보정영역에서 추출된 파라메터와 타겟채널의 인접한 채널의 보정영역에서 추출된 파라메터를 합하여 평균값을 도출한다. 도출된(연산된) 평균값은 제1보정영역과 제2보정영역을 동일 비율로 놓고 보아 평균값을 도출하는 것이 아니라, 기본적으로 파라메터의 합산에 있어서 보정영역의 면적에 따라 그 구성비율이 정해지고, 구성비율에 따라 파라메터를

먼저, 각 채널에서 화면에 출력되는 면적은 동일하다는 것과, 각 채널의 상부영역(CH110, CH210, CH310, CH410)과 각 채널의 하부영역(CH120, CH220, CH320, CH420)이 동일한 면적비로 구분된다고 전제로 한 상태에서 하나의 실시예를 설명한다. 도 6을 참조하면, 제1채널(CH100)이 타겟 채널이 되었을 때, 제1채널(CH100)의 하부영역(CH120)은 제1보정영역이 되고, 이에 따라 제4채널(CH400)의 우측하방영역(CH422)과 제2채널(CH200)의 좌측하방영역(CH221)은 제2보정영역이 된다. 여기서 제1채널(CH100)의 하부영역과 제4채널의 우측하방영역(CH422)와 제2채널의 좌측하방영역(CH221)의 면적비는 2:1:1이 되는데, 보정영역의 면적에 따라 파라메터 보정할 때의 비율이 정해지는 경우, 이에 따른 각 보정영역의 파라메터가 차지하는 비율(%로 표현)은 순서대로 50%:25%:25%이 된다.

예컨대, 타겟 채널이 제1채널(CH100)일 때, 제1채널(CH100)의 하부영역(제1보정영역)의 밝기에 대한 파라메터가 140nit으로 추출되고, 제4채널의 우측하방영역(CH422)의 밝기에 대한 파라메터가 80nit으로 추출되며, 제2채널(CH200)의 좌측하방영역(CH221)의 밝기에 대한 파라메터가 220nit으로 추출된다면, 파라메터 보정부(50)는 140*0.5+80*0.25+220*0.25의 연산을 수행하여 평균값으로서 145nit을 얻게 되고, 이를 타겟 채널인 제1채널(CH100)에 적용하여 밝기에 대한 파라메터를 기존의 140nit에서 145nit로 보정한다. 이는 타겟 채널(CH100) 뿐만아니라 주변채널(CH200, CH400)의 밝기에 대한 영향이 반영된 결과이다.

타겟 채널이 제2채널(CH200)일 때, 제2채널(CH100)의 하부영역(제1보정영역)의 밝기에 대한 파라메터가 210nit(제2채널의 하부영역 전체에 대한 밝기이므로 전술한 실시예의 제2채널 좌측하방영역(CH221)의 밝기와 다른 결과값으로 추출될 수 있다.)으로 추출되고, 제1채널의 우측하방영역(CH122)의 밝기에 대한 파라메터가 150nit으로 추출되며, 제3채널(CH300)의 좌측하방영역(CH321)의 밝기에 대한 파라메터가 75nit으로 추출된다면, 파라메터 보정부(50)는 210*0.5+150*0.25+75*0.25의 연산을 수행하여 평균값으로서 161.25nit을 얻게 된다. 이를 타겟 채널인 제2채널(CH200)에 적용하여 밝기에 대한 파라메터를 기존의 210nit에서 161.25nit로 보정한다.

차량의 제3채널(CH300)과 제4채널(CH400)을 타겟 채널로 하여 상기와 같은 과정을 반복한다면 각 채널의 밝기는 종전에 비해 보다 유사한 값으로 수렴하게 된다. 이러한 과정을 복수 회 반복하면 거의 동일한 밝기의 영상으로 보정되므로 AVM 합성 영상에서의 밝기에 따른 부자연스러움은 상당부분 해소될 수 있다.

위와 같은 파라메터 보정부(50)를 통한 연산과정은 색상에 대한 파라메터에도 동일한 원리로서 적용될 수 있음은 물론이다.

나아가, 본 발명의 일 실시예에 따르면 상기 파라메터 보정부(50)는, 상기 제1보정영역 설정부(31)가 설정한 보정영역에서 추출된 파라메터에 가중치를 부여하는 것을 특징으로 할 수 있다. 이 경우에는 보정영역의 면적에 따라 파라메터 보정할 때의 비율이 정해지지는 않는다. 예컨대, 제1보정영역과 제2보정영역 2개의 면적비가 나란히 2:1:1의 비율을 이룬다고 할지라도, 가중치에 따라 각 보정영역의 파라메터가 차지하는 비율은 예컨대 80%:10%:10%로 조절될 수도 있다.

아울러, 각 채널별 파라메터 가중치를 달리 설정할 수 있다. 제1채널(CH100)에만 가중치를 둘 수도 있고, 제1채널(CH100)과 제2채널(CH200)에만 가중치를 둘 수도 있으며, 제3채널(CH300)을 제외한 나머지 채널에만 가중치를 부여하는 것도 가능하다. 이를 통해 사용자가 주시하는 방향의 영상정보를 중심으로 AVM 시스템의 영상의 밝기를 능동적으로 조절할 수 있게끔 한다. 예를 들어 차량을 중심으로 해가 전방영역에 떠있는 상황에서, 다른 채널의 파라메터에 가중치를 부여하지 않은 상태에서 전방영역을 지시하는 제1채널(CH100)에 가중치를 부여하는 경우 전체 AVM 합성 영상은 더 밝아질 것이며, 후방영역을 지시하는 제3채널(CH300)에 가중치를 부여하는 경우 전체 AVM 합성 영상은 더 어두워 질 것이다.

마지막으로, 본 발명의 일 실시예에 따르면 상기 타겟을 선택하는 채널 선택부(20)가 제1채널(CH100) 내지 제4채널(CH400)을 적절히 조합하거나 모두 선택함으로써, AVM 시스템으로부터 출력되는 영상 전체를 개선할 수도 있다.

상기한 본 발명의 핵심 내용을 정리하면 타겟 채널을 선택하고, 이를 기준으로 보정영역을 설정하며, 보정영역에서 파라메터를 추출 및 보정하여 AVM 합성 영상을 개선한다. 여기서 파라메터는 밝기에 대한 파라메터와 색상에 대한 파라메터를 그 대상으로 할 수 있다.

이에 따른 효과로는 AVM 시스템을 통해 출력되는 영상에서, 영상의 합성에 따라 발생하는 경계면 부근의 이질감을 저감할 수 있고, 본 발명에서는 비단 AVM 경계면의 부자연스러움뿐만 아니라 AVM 화면 전체의 부자연스러움을 해소할 수 있으며, 보정에 대한 파라메터로서 밝기와 색상에 대한 파라메터를 동시에 추출하고 보정의 대상으로 적용하는바 출력되는 영상의 질을 현저히 향상시킬 수 있는 장점이 있다.

다음으로, 도 7 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 AVM 시스템의 영상 개선 방법에 대하여 설명한다. 여기에서는 가급적 상기 AVM 시스템의 영상 개선 장치와 중복되는 내용은 생략하기로 한다.

도 7은 본 발명의 일 실시예에 따른 AVM 시스템의 영상 개선 방법을 나타내는 블록도이다. 도 8은 본 발명의 다른 실시예에 따른 AVM 시스템의 영상 개선 방법을 나타내는 블록도이다.

도 7을 참조하면, 본 발명의 일 실시예에 따른 AVM 시스템의 영상 개선 방법은 (a) 차량에 설치된 복수 개의 카메라로부터 제1채널 내지 제4채널의 영상정보를 획득하는 영상정보획득단계(S710); (b) 상기 제1채널 내지 제4채널 중 어느 하나의 채널을 선택하는 채널선택단계(S720); (c) 선택된 채널에서 보정영역을 설정하는 제1보정영역설정단계(S730); (d) 선택된 채널과 인접하는 채널에서 보정영역을 설정하는 제2보정영역설정단계(S740); (e) 설정된 보정영역에서 파라메터를 추출하는 파라메터추출단계(S750); (f) 추출된 파라메터를 보정하는 파라메터보정단계(S760); (g) 보정된 파라메터를 반영하여 보정된 AVM 합성 영상을 출력하는 영상출력단계(S770)를 포함하되, 상기 파라메터보정단계는 (f-1) 상기 제1보정영역과 제2보정영역에서 추출된 파라메터의 평균값을 연산하는 연산단계와 (f-2) 파라메터의 평균값을 선택된 채널에 적용하는 입력단계를 포함할 수 있다.

그리고 상기 (c) 제1보정영역설정단계와 (d) 제2보정영역설정단계에서 설정하는 보정영역은 당해 채널 영상의 하부영역인 것을 특징으로 할 수 있으며,

상기 (d) 제2보정영역설정단계에서 설정하는 보정영역은, 상기 (c) 제1보정영역설정단계에서 설정한 보정영역에 인접한 영역인 것을 특징으로 할 수 있다.

아울러, 상기 (d) 제2보정영역설정단계에 있어서, 상기 제2보정영대상영역의 범위는 시간, 날씨에 따른 외부환경, 운행모드 또는 사용자 정의에 따라 가변 가능한 것을 특징으로 할 수 있다.

또한, 도 8을 참조하면, 상기 (e) 파라메터추출단계 이후에, 상기 (c) 제1보정영역설정단계에서 설정된 보정영역으로부터 추출된 파라메터에 가중치를 부여하는 가중치부여단계를 더 포함할 수 있다.

상기와 같은 과정은 영상을 출력하는 과정에서 계속적으로 실시될 수 있으며, 화면에 출력되는 소정의 프레임마다 1회씩 실시될 수 있다.

본 발명의 AVM 시스템 영상 개선 방법을 이용하면, 카메라에서 획득되는 영상정보를 즉시 보정한 이후 AVM 합성 영상으로 출력하게 되므로, 종래 널리 공지된 대다수의 AVM 관련 기술에서 개시하고 있는 "영상을 합성하고, 합성된 영상에서 추출 인자를 추출하여 보정하는 것"과 달리 "파라메터 보정 이후, 보정된 파라메터가 적용된 영상을 합성하기 때문에" 연산 과정을 획기적으로 줄일 수 있다.

아울러, 상기 (e) 파라메터추출단계에서 추출되는 파라메터는, 보정영역의 밝기에 대한 제1 파라메터와, 보정영역의 색상에 대한 제2 파라메터를 포함할 수 있기 때문에 종래 기술에 비해 더욱 정확하고 선명한 AVM 합성 영상을 제공할 수 있다.

각 단계를 설명하는 데 필요한 구성은 위 자동개폐 시스템에서 살펴본 것에서 유추할 수 있으므로 중복되는 설명은 생략하기로 한다.

위 각 단계가 참조부호의 순서대로 진행되는 것이 바람직하나 반드시 이에 한정되지 않음을 유의해야 한다. 예컨대, 제1보정 대상영역 설정단계(S730)와 제2보정 대상영역 설정단계(S740)가 대략 동시에 이루어 질 수 있다.

이상의 본 발명의 상세한 설명에서는 그에 따른 특별한 실시 예에 대해서만 기술하였다. 하지만, 본 발명은 상세한 설명에서 언급되는 특별한 형태로 한정되는 것이 아닌 것으로 이해되어야 하며, 오히려 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.

1: 차량
10: 영상정보 획득부
20: 채널 선택부
30: 보정영역 설정부
31: 제1보정영역 설정부
32: 제2보정영역 설정부
40: 파라메터 추출부
50: 파라메터 보정부
60: 영상 출력부
100, 200, 300, 400: 카메라
500 : ISP
510 : 본 발명 이미지 프로세스
CH100, CH200, CH300, CH400: 제1채널, 제2채널, 제3채널, 제4채널

Claims (12)

1. 제1채널 영상을 촬영하는 카메라, 제2채널 영상을 촬영하는 카메라, 제3채널 영상을 촬영하는 카메라 및 제4채널 영상을 촬영하는 카메라;
   상기 제1채널 내지 제4채널의 영상정보를 획득하는 영상정보 획득부;
   상기 제1채널 내지 제4채널 중 어느 하나의 채널을 선택하는 채널 선택부;
   선택된 채널에서 보정영역을 설정하는 제1보정영역 설정부;
   선택된 채널과 인접하는 채널에서 보정영역을 설정하는 제2보정영역 설정부;
   상기 제1보정영역 설정부와 상기 제2보정영역 설정부에서 설정된 보정영역의 영상정보에서, 파라메터를 추출하는 파라메터 추출부;
   추출된 파라메터를 보정하는 파라메터 보정부; 및
   보정된 파라메터를 반영하여 보정된 AVM 합성 영상을 출력하는 영상 출력부;를 포함하되,
   상기 파라메터 보정부는 상기 제1보정영역과 제2보정영역에서 추출된 파라메터의 평균값을 연산하고 이를 선택된 채널의 파라메터에 적용함으로써 AVM 합성 영상을 개선하는 것을 특징으로 하는 AVM 시스템의 영상 개선 장치.
   
2. 제1항에 있어서,
   상기 파라메터 추출부에서 추출되는 파라메터는,
   보정영역의 밝기에 대한 제1 파라메터와, 보정영역의 색상에 대한 제2 파라메터를 포함하는 것을 특징으로 하는 AVM 시스템의 영상 개선 장치.
   
3. 제1항에 있어서,
   상기 제1보정영역 설정부와 제2보정영역 설정부가 설정하는 보정영역은 당해 채널 영상의 하부영역인 것을 특징으로 하는 AVM 시스템의 영상 개선 장치.
   
4. 제3항에 있어서,
   상기 제2보정영역 설정부가 설정하는 보정영역은,
   상기 제1보정영역 설정부가 설정한 보정영역에 인접한 영역인 것을 특징으로 하는 AVM 시스템의 영상 개선 장치.
   
5. 제4항에 있어서,
   상기 제2보정영역 설정부가 설정하는 보정영역은,
   시간, 날씨에 따른 외부환경, 운행모드 또는 사용자 정의에 따라 가변 가능한 것을 특징으로 하는 AVM 경계면의 영상 개선 장치.
   
6. 제1항에 있어서,
   상기 파라메터 보정부는,
   상기 제1보정영역 설정부가 설정한 보정영역에서 추출된 파라메터에 가중치를 부여하는 것을 특징으로 하는 AVM 경계면의 영상 개선 장치.
   
7. (a) 차량에 설치된 복수 개의 카메라로부터 제1채널 내지 제4채널의 영상정보를 획득하는 영상정보획득단계;
   (b) 상기 제1채널 내지 제4채널 중 어느 하나의 채널을 선택하는 채널선택단계;
   (c) 선택된 채널에서 보정영역을 설정하는 제1보정영역설정단계;
   (d) 선택된 채널과 인접하는 채널에서 보정영역을 설정하는 제2보정영역설정단계;
   (e) 설정된 보정영역에서 파라메터를 추출하는 파라메터추출단계;
   (f) 추출된 파라메터를 보정하는 파라메터보정단계;
   (g) 보정된 파라메터를 반영하여 보정된 AVM 합성 영상을 출력하는 영상출력단계를 포함하되,
   상기 (f) 파라메터보정단계는
   (f-1) 상기 제1보정영역과 제2보정영역에서 추출된 파라메터의 평균값을 연산하는 연산단계와
   (f-2) 파라메터의 평균값을 선택된 채널에 적용하는 입력단계를 포함하는 것을 특징으로 하는 AVM 시스템의 영상 개선 방법.
   
8. 제7항에 있어서,
   상기 (e) 파라메터추출단계에서 추출되는 파라메터는,
   보정영역의 밝기에 대한 제1 파라메터와, 보정영역의 색상에 대한 제2 파라메터를 포함하는 것을 특징으로 하는 AVM 시스템의 영상 개선 방법.
   
9. 제7항에 있어서,
   상기 (c) 제1보정영역설정단계와 (d) 제2보정영역설정단계에서 설정하는 보정영역은 당해 채널 영상의 하부영역인 것을 특징으로 하는 AVM 시스템의 영상 개선 방법.
   
10. 제9항에 있어서,
    상기 (d) 제2보정영역설정단계에서 설정하는 보정영역은,
    상기 (c) 제1보정영역설정단계에서 설정한 보정영역에 인접한 영역인 것을 특징으로 하는 AVM 시스템의 영상 개선 방법.
    
11. 제7항에 있어서,
    상기 (d) 제2보정영역설정단계에 있어서,
    상기 제2보정영역의 범위는 시간, 날씨에 따른 외부환경, 운행모드 또는 사용자 정의에 따라 가변 가능한 것을 특징으로 하는 AVM 경계면의 영상 개선 방법.
    
12. 제7항에 있어서,
    상기 (e) 파라메터추출단계 이후에,
    상기 (c) 제1보정영역설정단계에서 설정된 보정영역으로부터 추출된 파라메터에 가중치를 부여하는 가중치부여단계를 더 포함하는 것을 특징으로 하는 AVM 경계면의 영상 개선 방법.
    
    
    

Images