KR100966288B1

KR100966288B1 - 주변 영상 생성 방법 및 장치

Info

Publication number: KR100966288B1
Application number: KR1020090000734A
Authority: KR
Inventors: 한영인; 송영기; 백원인
Original assignee: 주식회사 이미지넥스트
Priority date: 2009-01-06
Filing date: 2009-01-06
Publication date: 2010-06-28
Also published as: WO2010079912A1; US20110285848A1; JP2012514558A; JP5684144B2; CN102271966A; CN102271966B; US8928753B2

Abstract

본 발명은 주변 영상 생성 방법 및 장치에 관한 것이다. 본 발명에 따른 차량 주변 영상 생성 방법은, 차량의 전방, 후방, 좌측 및 우측에 설치된 카메라를 통해 촬상된 영상을 카메라에 연결되는 각각의 채널을 통해 입력 받는 단계, 촬상 영상을 탑 뷰 형태로 보정 처리하여 복수의 보정 영상을 생성하는 단계, 각 채널 별 영역 정보와 각 영역을 구성하는 픽셀들에 대한 가중치 정보를 포함하는 마스크 영상을 이용하여 복수의 보정 영상을 오버레이 처리하여 차량의 주변 영상을 생성하는 단계, 그리고 주변 영상을 디스플레이하는 단계를 포함한다. 본 발명에 따르면, 차량 주변의 사각 지대를 없애고 복수의 카메라에 의해 촬상되는 중복 영역을 자연스럽게 보이도록 보정 처리함으로써, 운전자가 차량 주변의 상황을 정확하게 인식할 있다. 따라서, 운전자는 사이드 미러나 백미러를 보지 않고도 편리하게 주차를 할 수 있으며, 안전하게 전진 또는 후진 주행을 할 수 있다.

오버레이, 마스크 영상, 룩업 테이블, 주변 영상

Description

주변 영상 생성 방법 및 장치{AROUND IMAGE GENERATING METHOD AND APPARATUS}

본 발명은 주변 영상 생성 방법 및 장치에 관한 것으로, 더욱 상세하게는 차량의 전방, 후방, 좌측 및 우측에 설치된 카메라를 통해 촬상된 영상들을 합성하여 차량의 주변 영상을 생성하는 방법 및 장치에 관한 것이다.

일반적으로 자동차의 주변 환경을 촬상하여 모니터링 시켜주는 시스템이 자동차에 보편적으로 설치되어 있지 않아, 운전자는 단지 자신의 육안을 통해 전방을 확인하거나, 사이드 미러 또는 백 미러를 통해 후방을 확인하고 자동차를 전진 또는 후진하도록 하여왔다.

그러나 자동차의 구조에 따라서는 운전석에 앉아 전후방의 주변 환경을 쉽게 확인할 수 있는 것이 있는가 하면, 육안 또는 각 미러를 통해 확인할 수 없는 사각 지대가 존재하기 마련이다. 특히 대형 자동차의 경우 사이드 미러나 백 미러 만으로는 확인할 수 없는 부위가 많아 자동차를 출발시키기에 앞서 필히 자동차의 주변을 돌아 보면서 육안으로 장애물이 존재하는지 여부를 확인해야만 접촉 사고와 같은 교통 안전 사고 및 인사 사고의 발생을 방지할 수 있다.

또한, 자동차를 주차하고자 하는 운전자의 경우, 좌우측과 후방을 한 눈에 확인을 할 수 없으므로, 운전이 미숙한 초보 운전자는 주변에 주차되어 있는 자동차 또는 주차 기둥과 접촉 사고의 위험성이 있다. 그리고, 자동차의 전방에 위치한 장애물이라도 자동차의 앞 유리와 문 사이에 위치하는 프레임에 의해 장애물이 가려질 수 있으며, 자동차의 전방 또는 후방에서 앉아서 놀고 있는 유아들을 발견하지 못하는 경우에는 인명 사고로 이어질 수도 있다.

따라서 최근에는 자동차의 전후방부, 좌우측면부에 각각 부착된 카메라를 통하여 주변 환경을 촬상하고, 촬상된 화면을 조합하여 운전석에 구비된 네비게이터 화면에 표시하는 장치가 개발되고 있다.

그러나 종래 기술에 따르면 차량의 전후방 영상과 좌우측 영상을 단순히 조합하여 표시함으로써, 영상간에 겹치는 중복 영역에 대한 영상 처리가 자연스럽게 수행되지 못하여 차량 주변에 위치하는 사각 지대를 제대로 제거하지 못하는 문제점이 있다. 예를 들면, 전방 영상과 우측 영상에 의해 모두 촬상되는 중복 영역이 절취되어 표현되거나 일부분이 생략된 상태로 표시되어 운전자로 하여금 현재 차량의 주변 상황을 정확하게 인식하기 어렵게 하는 경우도 있다.

따라서 본 발명이 이루고자 하는 기술적 과제는 차량 주변의 사각 지대를 없애고 차량 주변의 상황을 운전자가 정확하게 인식할 있도록 하는 차량 주변 영상 생성 방법 및 장치에 관한 것이다.

이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따른 차량 주변 영상 생성 방법은, 차량의 전방, 후방, 좌측 및 우측에 설치된 카메라를 통해 촬상된 영상을 상기 카메라에 연결되는 각각의 채널을 통해 입력받는 단계, 상기 촬상 영상을 탑 뷰 형태로 보정 처리하여 복수의 보정 영상을 생성하는 단계, 그리고 상기 각 채널별 영역 정보와 각 영역을 구성하는 픽셀들에 대한 가중치 정보를 포함하는 마스크 영상을 이용하여 상기 복수의 보정 영상을 오버레이 처리하여 상기 차량의 주변 영상을 생성하는 단계, 상기 주변 영상을 디스플레이하는 단계를 포함한다.

복수의 보정 영상을 생성하는 단계는, 상기 카메라의 렌즈 왜곡에 따른 촬상 영상의 왜곡을 보정하는 단계, 상기 촬상 영상의 시점을 탑 뷰 형태로 변환하는 단계, 그리고 상기 탑 뷰 형태로 변환된 촬상 영상을 회전 또는 이동 또는 스케일 변환을 시키는 단계를 포함할 수 있다.

복수의 보정 영상을 생성하는 단계는, 상기 카메라의 렌즈 왜곡에 따른 촬상 영상의 왜곡을 보정하는 단계, 그리고 상기 촬영 영상을 직사각형의 탑뷰 형태로 투영 변환시키는 단계를 포함할 수 있다.

룩 업 테이블을 이용하여 상기 복수의 보정 영상을 생성할 수 있다.

상기 복수의 보정 영상들 사이에 중복되는 영역에 대하여 아래의 수학식을 이용하여 오버레이 처리할 수 있다.

I'(t+1) = αI₁(t) + (1-α)I₂(t), 0≤α≤1

I₁(t)과 I₂(t)는 각각 두 채널을 통해 입력되는 중복 영역에 대한 영상 정보를 나타내며, α는 중복 영역에 포함되는 픽셀들에 대한 가중치를 나타내며, I'(t+1)는 오버레이 처리된 영상 정보를 나타낸다.

상기 마스크 영상은 상기 중복 영역에 포함되는 픽셀들에 대하여 그라디언트 가중치(Gradient weight)를 가지도록 설정할 수 있다.

상기 전방에 설치된 카메라를 통해 4개의 지시자에 대한 평균 밝기 값을 계산하고, 상기 평균 밝기 값을 상기 주변 영상에 적용하는 단계를 더 포함할 수 있다.

본 발명의 다른 실시예에 따른 차량 주변 영상 생성 장치는, 차량의 전방, 후방, 좌측 및 우측에 설치된 카메라를 통해 촬상된 영상을 상기 카메라에 연결되는 각각의 채널을 통해 입력받는 영상 입력부, 상기 촬상 영상을 탑 뷰 형태로 보정 처리하여 복수의 보정 영상을 생성하는 영상 처리부, 상기 각 채널별 영역 정보와 각 영역을 구성하는 픽셀들에 대한 가중치 정보를 포함하는 마스크 영상을 이용하여 상기 복수의 보정 영상을 오버레이 처리하여 상기 차량의 주변 영상을 생성하는 영상 합성부, 그리고 상기 주변 영상을 디스플레이하는 표시부를 포함한다.

상기 복수의 보정 영상들 사이에 중복되는 영역에 대하여 아래의 수학식을 이용하여 오버레이 처리하는 제어부를 더 포함할 수 있다.

I'(t+1) = αI₁(t) + (1-α)I₂(t), 0≤α≤1

상기 차량의 주행 상태 정보를 수신하여 상기 제어부로 전달하는 통신부를 더 포함하며, 상기 제어부는 상기 차량의 주행 상태에 따라 상기 주변 영상의 표시 여부를 결정한다.

본 발명의 다른 실시예에 따른 차량 주변 영상 생성 시스템은, 차량의 전방, 후방, 좌측 및 우측에 설치되어 촬상된 영상을 각각의 채널을 통해 출력하는 복수의 카메라, 입력된 상기 촬상 영상을 탑 뷰 형태로 보정 처리하여 복수의 보정 영상을 생성하고, 상기 각 채널별 영역 정보와 각 영역을 구성하는 픽셀들에 대한 가중치 정보를 포함하는 마스크 영상을 이용하여 상기 복수의 보정 영상을 오버레이 처리하여 상기 차량의 주변 영상을 생성하는 영상 생성 장치, 그리고 상기 주변 영상을 디스플레이하는 표시 장치를 포함한다.

이와 같이 본 발명에 의하면, 차량 주변의 사각 지대를 없애고 복수의 카메라에 의해 촬상되는 중복 영역을 자연스럽게 보이도록 보정 처리함으로써, 운전자가 차량 주변의 상황을 정확하게 인식할 있다. 따라서, 운전자는 사이드 미러나 백미러를 보지 않고도 편리하게 주차를 할 수 있으며, 안전하게 전진 또는 후진 주행을 할 수 있다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1a 내지 도 1d는 본 발명의 실시예에 따른 차량에 설치된 카메라를 설명하기 위한 도면이다. 본 발명의 실시예에 따른 주변 영상 생성 시스템은 차량에 설치된 3차원 공간상의 4대의 카메라(110, 120, 130, 140)를 통해 촬상된 영상을 보정 처리함으로써, 차량의 360°주변을 운전자가 확인할 수 있도록 하는 시인성을 확보하기 위한 시스템이다. 도 1a에서 보는 바와 같이 차량의 전방, 후방, 좌측, 우측에는 각각 카메라(110, 120, 130, 140)가 설치되어 있으며, 차량의 사각 지대를 최소화하기 위해 카메라는 최소한 180°이상의 광각이 필요하다. 또한 차량 주변 영상의 품질을 향상하기 위해서는 두 카메라의 중복되는 시야각의 영역이 최소한 1000×1000㎟ 을 유지되도록 카메라의 설치 높이를 설정하도록 한다. 카메라의 설치 높이가 높을수록 양호한 영상 품질을 확보할 수 있다. 이와 같이 각 카메라가 차량의 사각 지대를 해소할 수 있는 위치의 선정과 합성된 주변 영상의 화질 저하를 최소화할 수 있는 설치 위치와 시야각 설정이 중요하다.

도 1b 내지 도 1d를 통하여 차량(도 1a내지 도 1d에서는 세단형 자동차를 예를 듦)에 4대의 카메라가 설치되는 위치를 더욱 상세하게 설명한다. 도 1b에서 보는 바와 같이, 전방 카메라(110)는 차량의 본 넷 중심에 설치되고, 좌측 카메라(130)와 우측 카메라(140)는 각각 차량의 양 사이드 미러의 가장 자리 또는 아래 쪽에 위치하도록 설치된다. 또한 도 1c에서 보는 바와 같이 후방 카메라(120)는 후방 범퍼 위쪽의 중앙에 설치된다. 여기서, 전방 카메라(110)와 후방 카메라(120)는 지면 방향의 수직선을 기준으로 170°이상이 촬상될 수 있도록 설치한다.

그리고, 도 1d에 도시한 바와 같이 전방 카메라(110)의 높이와 후방 카메라(120)의 높이는 동일하게 유지하는 것이 바람직하며, 마찬가지로 좌측 카메라(130)와 우측 카메라(140)의 높이도 동일하게 유지하는 것이 바람직하다. 왜냐하면 카메라의 높이와 각도(PAN/TILT)에 의해 출력되는 영상의 스케일 및 화질이 다르기 때문에 주변 영상 합성시 중복 영역에서 차선 폭의 넓이가 동일하게 표현되지 않고 주변 사물의 크기가 이질적으로 나타나는 현상을 최소화시키기 위해서다. 또한 좌측 카메라(130)와 우측 카메라(140)는 지면 방향의 수직선을 기준으로 170°이상이 촬상될 수 있도록 설치한다. 여기서, 각 카메라의 설치 위치는 차종에 따라서 다르며 차량의 디자인에 의해 제약이 발생할 수도 있다.

일반적으로 광각 카메라는 렌즈 주변부의 광량이 부족하여 화질의 저하가 발생하고, 렌즈의 중심부보다 주변부에 왜곡이 많이 발생한다. 또한 카메라를 통해 촬상된 영상을 시점 변환할 때 주변부의 영상은 화질이 심하게 저하된다. 따라서, 카메라 렌즈의 중심부 영역에 형성된 영상을 사용하기 위하여 전방 카메라(110)와 후방 카메라(120)의 광축이 지평선과 평행하고, 좌측 카메라(130)와 우측 카메라(140)는 지면과 수직이 되도록 설치한다.

또한 도 1b 및 도 1d에 도시한 바와 같이 차량의 전후방 및 좌우측면으로부 터 약 1.5m 떨어진 범위까지 촬상될 수 있도록 카메라(110, 120, 130, 140)의 높이를 설정하고, 이때 카메라는 지면에 대한 수직축으로부터 약 30° 내지 60°정도까지 촬상할 수 있도록 한다.

도 2는 본 발명의 실시예에 따른 주변 영상 생성 시스템의 구성을 나타낸 도면이다.

도 2에서 보는 바와 같이 주변 영상 생성 시스템은 복수의 카메라(110, 120, 130, 140), 영상 생성 장치(200) 및 표시 장치(300)를 포함할 수 있다.

복수의 카메라(110, 120, 130, 140)는 각각 차량의 전후방, 좌우측에 설치되며 광각 렌즈 또는 어안 렌즈와 같이 화각이 큰 렌즈를 구비할 수 있으며 핀 홀 카메라를 포함한다. 카메라(110, 120, 130, 140)는 170°이상의 넓은 화각을 가지는 렌즈를 통해 3차원의 피사체를 2차원의 영상(D1, D2, D3, D4)으로 촬상하며, 촬상된 영상은 각각 4개의 채널(ch1, ch2, ch3, ch4)을 통해 영상 생성 장치(200)로 전달된다.

영상 생성 장치(200)는 영상 입력부(210), 영상 처리부(230), 영상 합성부(250), 제어부(270) 및 통신부(290)를 포함한다.

영상 입력부(210)는 복수의 카메라(110, 120, 130, 140)를 통해 촬영된 영상(D1, D2, D3, D4)을 각각의 채널(ch1, ch2, ch3, ch4)을 통해 수신한다.

영상 처리부(230)는 영상 입력부(210)로부터 수신된 촬상 영상(D1, D2, D3, D4)을 룩 업 테이블(Look up Table)을 통해 영상 처리하여, 각각의 촬상 영상(D1, D2, D3, D4)으로부터 보정 영상(E1, E2, E3, E4)를 생성 출력하도록 한다. 여기 서, 룩업 테이블은 왜곡 보정 알고리즘, 아핀(Affine) 변환 알고리즘, 시점 변환 알고리즘을 적용하여 생성될 수 있다.

영상 합성부(250)는 영상 처리부(230)를 통해 보정된 보정 영상(E1, E2, E3, E4)을 수신하고, 수신된 보정 영상(E1, E2, E3, E4)을 겹치는 오버레이(overlay) 방식으로 합성 처리한다. 여기서, 영상 합성부(250)는 마스크 영상을 이용하여 오버레이 합성 처리를 하는데, 마스크 영상은 각 채널(ch1, ch2, ch3, ch4)별 영역 정보와 보정 영상을 구성하는 픽셀들에 대한 가중치(weight) 정보를 가진다.

제어부(270)는 보정 영상(E1, E2, E3, E4)들 사이에 중복되는 영역에 포함되는 픽셀들의 가중치를 조절하여 중복 영역이 자연스럽게 표시되도록 한다.

이와 같이 영상 합성부(250)는 4개의 보정 영상(E1, E2, E3, E4)을 오버레이 방식으로 합성 처리하여 차량의 주변 360°를 한눈에 볼 수 있는 주변 영상을 생성한다.

통신부(290)는 CAN 통신 또는 LIN 통신을 통하여 차량의 기어, 핸들, 속도계, 구동 장치 등으로부터 현재의 주행 상태 신호를 수신한다. 통신부(290)는 수신된 신호를 제어부(270)에 전달하고, 제어부(270)는 주행 상태에 따라서 표시 장치(300)에 표시되는 주변 영상을 결정하도록 한다. 예를 들어, 제어부(270)는 교통 사고 예방을 위하여 차량이 일정 속도 이상으로 주행 중인 경우에는 주변 영상이 표시되지 않도록 한다.

표시 장치(300)는 영상 합성부(250)로부터 생성된 주변 영상을 디스플레이할 수 있는 장치로서, 자동차 내에 설치된 디스플레이나 네비게이션을 통해 구현될 수 있으며, 영상 생성 장치(200)내에 포함될 수도 있다.

이하에서는 도 3을 통하여 영상 생성 장치(200)가 자동차의 주변 영상을 생성하는 방법에 대하여 설명한다. 도 3은 본 발명의 실시예에 따른 주변 영상 생성 방법을 나타낸 순서도이다.

먼저 영상 생성 장치(200)는 카메라(110, 120, 130, 140)를 통해 촬영된 영상(D1, D2, D3, D4)을 4개의 채널(ch1, ch2, ch3, ch4)을 통하여 각각 수신한다(S310). 도 1a 내지 도 1d를 통해 설명한 바와 같이, 카메라(110, 120, 130, 140)의 설치 위치 및 높이에 따라서 촬상 영상(D1, D2, D3, D4)의 구도는 달라지게 된다.

다음으로 영상 생성 장치(200)는 수신된 촬상 영상(D1, D2, D3, D4)을 룩 업 테이블을 통해 보정 처리하여(S320), 오버레이 처리에 적합한 보정 영상(E1, E2, E3, E4)을 생성한다. 룩 업 테이블은 왜곡 보정 알고리즘, 아핀(Affine) 변환 알고리즘, 시점 변환 알고리즘을 적용한 것으로 이하에서는 각각의 알고리즘에 대해 설명한다.

먼저 왜곡 보정 알고리즘은 카메라 렌즈에 의해 발생하는 기하학적 왜곡을 보정하기 위한 알고리즘이다. 실제 광각 렌즈 또는 어안 렌즈는 완전한 구 형태가 아니고 초점 거리가 짧으므로 렌즈의 기하학적 왜곡, 예를 들면 방사상 왜곡이나 접선 방향 왜곡이 발생할 수 있다. 이와 같은 렌즈의 왜곡에 의하여, 촬영된 영상 중에서 직선은 곡선으로 변형되어 나타날 수 있다. 즉, 렌즈의 왜곡을 나타내는 왜곡 상수(k)가 0보다 작은 핀쿠션 왜곡(pincushion distortion)이 발생하거나 렌 즈 왜곡 상수(k)가 0보다 큰 배럴 왜곡(barrel distortion)이 발생할 수 있다.

따라서, 왜곡 보정 알고리즘을 통하여 렌즈의 기하학적 왜곡 영상을 보정할 수 있다. 여기서, 왜곡 보정 알고리즘은 보정 파라미터와 왜곡 상수에 관한 함수로 나타낼 수 있다. 보정 파라미터는 카메라에 장착된 렌즈의 초점 거리와 광학 중심 좌표를 포함할 수 있고, 왜곡 상수는 방사상 왜곡 상수와 접선 방향 왜곡 상수를 포함할 수 있다.

본 발명의 실시예에 따르면 아래의 수학식 1과 같은 왜곡 보정 알고리즘을 적용할 수 있다.

u = f_x * {x'*(1+ k₁*r² + k₂*r⁴) + 2p₁*x'*y' + p₂(r² + 2x'²)} + c_x

v = f_y * {y'*(1+ k₁*r² + k₂*r⁴) + p₁(r² + 2y'²) + 2p₂*x'*y'} + c_y

여기서, x', y'는 영상 평면상의 보정 지표 이미지의 좌표를 의미하고, u, v는 3차원 공간 좌표가 투영된 렌즈 평면상의 좌표를 의미하며, f_x와 f_y는 렌즈의 초점 거리를 의미하고, c_x와 c_y 는 렌즈의 광학 중심점 좌표를 의미한다. k₁ 과 k₂ 는 방사상 왜곡 상수를 의미하고, p₁ 과 p₂ 는 접선 방향 왜곡 상수를 의미하며, r² = x'² + y'²를 의미한다. 여기서 보정 지표 이미지는 격자 모양으로 구성될 수 있으며, 렌즈의 기하학적 왜곡을 보정하기 위하여 사용되는 이미지이다.

아핀 변환은 2차원 공간이 1차식으로 나타내어지는 점 대응을 의미하며, 회전(R), 이동(T), 스케일(S) 변환을 거친다. 일반적으로 아핀 변환은 다음의 수학식 2와 같이 나타낼 수 있다.

W = A × D + B

여기서, W는 아핀 연산되어 출력되는 2차원 컬러 영상 데이터, A는 2차원 컬러 영상 데이터의 선형 확대 및 축소, 회전 등을 구현하기 위한 제1 변환 계수, D는 입력되는 프레임 단위의 2차원 컬러 영상 데이터, B는 입력되는 2차원 컬러 영상 데이터(D)의 선형 이동을 구현하기 위한 제2 변환 계수를 각각 나타낸다.

시점 변환 알고리즘은 4개 채널을 통해 입력되는 촬상 영상(D1, D2, D3, D4)을 탑 뷰 시점으로 변환하도록 한다. 즉, 입력 영상(D1, D2, D3, D4)을 위에서 내려다 보이는 영상으로 시점 변환하도록 한다.

한편, 본 발명의 실시예에 따르면 아핀 변환과 시점 변환 알고리즘을 대체하여 하나의 투영 변환 알고리즘을 통하여 보정 처리를 수행할 수도 있다. 도 4는 본 발명의 실시예에 따른 투영 변환 알고리즘을 설명하기 위한 예시도이다.

도 4와 같이 왜곡 보정 알고리즘을 통해서 생성된 점 (x, y)는 투영 변환 알고리즘 H를 통하여 (x', y')로 변환된다. 투영 변환 알고리즘 H는 다음의 수학식 3과 같이 3 X 3의 행렬로 이루어져 있다.

수학식 3에 왜곡 보정 알고리즘을 통해서 생성된 점(x, y)과 투영 변환을 통해 생성하고자 하는 점(x', y')를 각각 대입하여 수학식 3에 나타낸 투영 변환 알고리즘 H를 도출해낼 수 있다. 즉, 도 4에서 예시한 것처럼 (x, y)에는 각각 (0,0), (1,0), (2,1), (0,1)을 대입하고, (x', y')에는 각각 (0,0), (1,0), (1,1), (0,1)을 대입하여 연산 처리함으로써 투영 변환 알고리즘 H를 획득할 수 있다. 이와 같이 투영 변환을 통하여 카메라가 기울어짐에 따라 발생하는 왜곡을 보정하고, 삐뚤어진 영상을 도 4와 같은 직사각형 형태로 변환시킬 수 있다.

본 발명의 실시예와 같이 룩 업 테이블을 이용하면 입력 영상(D1, D2, D3, D4)에 대한 변환 처리 시간을 줄일 수 있다는 장점이 있으나, 룩 업 테이블을 이용하지 않고 입력 영상(D1, D2, D3, D4)에 대하여 왜곡 보정, 아핀 변환 및 시점 변환을 시키거나 왜곡 보정 및 투영 변환을 각각 수행하여 변환 처리할 수도 있다. 또한 본 발명의 실시예에 따르면 룩 업 테이블의 설정에 따라 출력되는 보정 영상(E1, E2, E3, E4)을 다양한 형태로 변경할 수 있다.

그리고 영상 생성 장치(200)는 마스크 영상에 저장된 채널(ch1, ch2, ch3, ch4)별 영역 정보와 픽셀들에 대한 가중치(weight) 정보를 이용하여 보정 영상(E1, E2, E3, E4)에 대하여 오버레이 처리를 수행한다(S330). 여기서 영상 생성 장치(200)는 복수의 보정 영상들 사이에 중복되는 영역에 대해서도 마스크 영상을 이용하여 오버레이 처리를 수행하여 최종적인 차량의 주변 영상을 생성한다(S340).

도 5는 본 발명의 실시예에 따른 마스크 영상을 설명하기 위한 도면이다.

본 발명의 실시예에 따르면 4개의 보정 영상(E1, E2, E3, E4)을 하나의 영상으로 오버레이 합성하기 위하여 마스크 영상을 이용한다.

마스크 영상은 각 채널(ch1, ch2, ch3, ch4)별의 영역 정보와 각각의 영역에 대응되는 픽셀 값의 정보를 가지며, 도 5와 같이 9개의 영역으로 나뉜다. 도 5에서 보는 바와 같이 마스크 영상은 채널(ch1)을 통해 입력되는 전방 카메라(110)로 촬상된 영상은 1, 2, 3 영역에 오버레이 되도록 설정하고, 채널(ch2)을 통해 입력되는 후방 카메라(120)로 촬상된 영상은 7, 8, 9 영역에 오버레이 되도록 설정한다. 또한 마스크 영상은 채널(ch3)을 통해 입력되는 좌측 카메라(130)로 촬상된 영상은 1, 4, 7 영역에 오버레이 되도록 설정하고, 채널(ch4)을 통해 입력되는 우측 카메라(140)로 촬상된 영상은 3, 6, 9 영역에 오버레이 되도록 설정한다. 여기서 제1, 3, 7, 9 영역은 복수의 카메라에 의해 중복 촬영된 중복 영역이다. 즉, 제1 영역은 전방 카메라(110)와 좌측 카메라(130)에 의해 중복되어 촬영된 중복 영역이고, 제3 영역은 전방 카메라(110)와 우측 카메라(140)에 의해 중복되어 촬영된 중복 영역이다. 또한, 제7 영역은 후방 카메라(120)와 좌측 카메라(130)에 의해 중복되어 촬영된 중복 영역이고, 제9 영역은 후방 카메라(120)와 우측 카메라(140)에 의해 중복되어 촬영된 중복 영역이다.

제어부(270)는 중복 촬영되지 않은 영역인 제2, 4, 6, 8 영역에 대응되는 영상을 데스티네이션(destination) 영상에 해당하는 주변 영상의 동일한 영역에 이동시킨다. 그리고, 제어부(270)는 복수의 카메라로 중복 촬영된 중복 영역인 제1, 3, 7, 9 영역에 대하여 마스크 영상을 이용한 오버레이 처리를 한다.

마스크 영상은 색상의 구분을 위하여 제2, 4, 6, 8 영역 각각에 대해 색상의 변화가 없는 단색으로 표시되도록 한다. 또한, 차량의 구별을 위하여 차량에 해당하는 5영역은 R, G, B 픽셀 값이 조절가능 하도록 설정한다.

그리고, 마스크 영상은 제1, 3, 7, 9 영역에 포함되는 각각의 픽셀이 1에서 254 사이의 범위의 R 픽셀 값을 갖도록 설정한다. 특히 마스크 영상은 자연스러운 색 매칭을 위하여 도 5와 같이 제1, 3, 7, 9 영역에 포함되는 각 픽셀의 R 픽셀 값을 1에서 254 사이에서 그라디언트 가중치(Gradient weight) 값으로 설정되도록 한다. 제1 영역을 예를 들면, 제2 영역에 접하는 부분의 픽셀의 R 픽셀 값을 1로 설정하고, 제4 영역에 가까운 곳에 위치한 픽셀일수록 R 픽셀 값을 증가시켜, 제4 영역에 접하는 부분의 픽셀의 R 픽셀 값은 254가 되도록 설정한다.

마찬가지로, 도 5에 도시한 바와 같이 제3 영역에서는, 제2 영역에 접하는 부분의 픽셀의 R 픽셀 값을 1로 설정하고, 제6 영역에 접하는 부분의 픽셀의 R 픽셀 값은 254가 되도록 설정한다. 또한, 제7 영역에서는, 제8 영역에 접하는 부분의 픽셀의 R 픽셀 값을 1로 설정하고, 제4 영역에 접하는 부분의 픽셀의 R 픽셀 값은 254가 되도록 설정한다. 그리고, 제9 영역에서는, 제8 영역에 접하는 부분의 픽셀의 R 픽셀 값을 1로 설정하고, 제6 영역에 접하는 부분의 픽셀의 R 픽셀 값은 254가 되도록 설정한다.

여기서 이웃하는 채널간 영상의 중복되는 영역인 제1, 3, 7, 9 영역은 각 카메라의 밝기 또는 명도 차이에 의하여 이질적으로 구분되어 보이므로, 제어부(270)는 제1, 3, 7, 9 영역에 포함되는 각 픽셀에 대하여 다음의 수학식 4를 적용하여 오버레이(overay) 연산을 수행할 수 있다.

I'(t+1) = αI₁(t) + (1-α)I₂(t), 0≤α≤1

수학식 4에서 I₁(t)과 I₂(t)는 각각 두 채널을 통해 입력되는 중복 영역에 대한 영상 정보를 나타내며, α는 중복 영역에 포함되는 픽셀들에 대한 가중치를 나타내며, I'(t+1)는 오버레이 처리된 영상 정보를 나타낸다.

특히, I₁(t)는 전방에 설치된 카메라(110) 또는 후방에 설치된 카메라(120)로 촬상되어 ch1 채널 또는 ch2 채널을 통해 입력되는 중복 영역에 대한 영상 정보를 나타내며, I₂(t)는 좌측에 설치된 카메라(130) 또는 우측에 설치된 카메라(140)로 촬상되어 ch3 채널 또는 ch4 채널을 통해 입력되는 중복 영역에 대한 영상 정보를 나타낸다.

또한, α는 중복 영역에 포함되는 R 픽셀에 대한 가중치로서, 예를 들면 제1 영역과 제2 영역이 접하는 부분의 경우에는 α는 0에 가까운 값(1/255)이 되며, 제1 영역과 제4 영역이 접하는 부분의 경우에는 α는 1에 가까운 값(254/255)이 된다.

이하에서는 도 6 내지 도 8을 이용하여 제어부(270)가 마스크 영상을 이용하여 중복 영역에 대해 오버레이 처리하는 과정을 더욱 상세하게 설명한다.

도 6은 2대의 카메라가 동일한 물체를 촬상하는 경우 중복 영역이 발생하는 원인을 설명하기 위한 도면이다.

도 6에 도시한 바와 같이, 2대의 카메라(카메라 1, 카메라 2)가 동일한 물체를 촬상하는 경우, 2대의 카메라가 지향하는 시차로 인하여 물체의 형상은 영상 합성 경계 영역에서 사라지거나 중복되어 나타나게 된다. 이와 같은 중복 영역은 차량의 사각 지대 영역으로서 차량 주변의 네 모서리 지역에서 나타난다. 따라서, 운전자로 하여금 차량 주변의 상황을 잘 인지해 시인성을 향상시키기 위하여, 본 발명의 실시예에서는 마스크 영상을 통한 오버레이 처리를 적용한다.

도 7은 본 발명의 실시예에 따른 마스크 영상의 중복 영역에 포함되는 픽셀들에 대한 가중치 정보를 나타낸 도면이며, 도 8은 도 7에 대응하여 오버레이 처리가 된 영상을 나타낸 도면이다. 제어부(270)는 도 7에 도시된 (a) 내지 (d)와 같이 중복 영역에 포함되는 픽셀들에 대한 가중치를 변화시킴에 따라 도 8에 도시된 (a) 내지 (d)와 같은 오버레이 처리 결과를 나타낼 수 있다.

먼저 도 7과 도 8에 도시된 (a)의 경우는 영상 합성 경계를 기점으로 두 카메라의 영상이 완전히 독립적으로 분리된 것을 나타낸다. 즉, 카메라 1과 카메라 2를 통해 촬상된 중복 영역에 대하여 도 7의 (a)로 예시한 가중치 정보를 수학식 4에 적용하면 도 8의 (a)와 같은 오버레이 처리된 영상을 생성할 수 있다.

그리고 도 7과 도 8에 도시된 (b)의 경우는 인접하는 각 픽셀들 사이의 가중 치를 선형적으로 설정하는 alpha blend 방법을 통해 2개의 영상을 오버레이 처리한 것이다. (b)의 경우는 인접하는 각 픽셀들 사이의 가중치를 선형적으로 설정함으로써 가장 자연스러운 영상이 되도록 할 수 있다. (a) 내지 (d)에 나타낸 중복 처리 방법 중에서 (b)의 경우가 도 5에서 설명한 그라디언트 가중치(Gradient weight) 설정 방법에 가장 유사하며, 가장 자연스러운 영상이 되도록 할 수 있다.

또한, 도 7과 도 8에 도시된 (c)의 경우는 구간을 분할하여 odd 열은 카메라 1에 의해 촬상된 영상이 출력되고, even 열은 카메라 2에 의해 촬상된 영상이 출력되도록 하여 오버레이 처리한 것이다. 도 7과 도 8에 도시된 (d)의 경우는 (c)에서 행 분할을 추가하여 odd 열은 카메라 1에 의해 촬상된 영상이 출력되고, even 열은 카메라 2에 의해 촬상된 영상이 출력되도록 하여 오버레이 처리한 것이다.

이와 같이 영상 생성 장치(200)는 보정 영상(E1, E2, E3, E4)들 사이에 발생한 중복 영역에 대하여 마스크 영상을 통해 오버레이 처리함으로써, 중복 영역이 자연스럽게 표시된 주변 영상을 생성할 수 있다.

도 9는 본 발명의 실시예에 따른 중복 영역이 오버레이 처리된 주변 영상을 도시한 예시도이다.

도 9에 도시된 바와 같이, 영상 생성 장치(200)는 카메라(110, 120, 130, 140)를 통해 촬영된 영상(D1, D2, D3, D4)을 4개의 채널(ch1, ch2, ch3, ch4)을 통하여 각각 수신한 뒤, 마스크 영상을 이용하여 중복 영역에 대하여 오버레이 처리를 수행함으로써, 중복 영역이 자연스럽게 표시되어 합성된 주변 영상(E)을 생성할 수 있다.

한편, 카메라(110, 120, 130, 140)를 통해 촬영된 영상(D1, D2, D3, D4)의 밝기가 각각 다를 수 있으므로, 본 발명의 실시예에 따른 영상 생성 장치(200)는 차량의 전방에 설치된 카메라(110)로 촬상된 영상(D1)에 4개의 지시자를 두고 4개의 지시자에 대한 밝기의 평균값을 계산한다. 그리고 영상 생성 장치(200)는 히스토그램 이퀄라이저를 통하여 4개의 영상(D1, D2, D3, D4)에 평균 밝기 값을 적용하여 합성된 주변 영상(E)이 최대한 동일한 밝기를 갖도록 한다.

도 10a는 본 발명의 실시예에 따른 표시 장치의 화면 구성을 나타낸 도면이며, 도 10b는 도 10a에 따른 표시 장치에 표시되는 화면을 나타내는 예시도이다.

도 10a 및 도 10b에서 보는 바와 같이 A 화면에는 차량이 주행하는 경우 전방 카메라 영상(D1)이 출력되고, 주차하는 경우에는 후방 카메라 영상(D2)이 표시된다. 여기서 제어부(270)는 차량의 CAN 통신에 의해 기어 박스의 후진 기어 on/off 신호를 감지하여 A 화면을 자동으로 전환되도록 한다. 그리고 운전자는 버턴 1 또는 버턴 2를 직접 터치하여 전방 카메라 영상(D1)과 후방 카메라 영상(D2)을 선택적으로 전환할 수 있다. 여기서, 운전자는 조그 다이얼을 이용해서도 영상을 전환할 수도 있다.

또한 A 화면을 통해 주차시의 후방 카메라 영상(D2)이 표시되는 경우 차량의 조향 각도 신호를 통신부(290)에 의해 수신한 제어부(270)는 주차 가이드 라인과 예상 궤적을 A 화면에 표시함으로써, 운전자로 하여금 주차의 편의성을 제공할 수 있다.

그리고 도 10a 및 도 10b에서 보는 바와 같이 B 화면에는 영상 생성 장 치(200)에 의해 합성된 주변 영상(E)이 표시된다. 여기서 제어부(270)는 통신부(290)로부터 신호를 수신하여 주행중에는 좌측 카메라 영상(D3) 또는 우측 카메라 영상(D4)이 표시되도록 할 수 있다. 또한 운전자의 안전성을 고려하여 제어부(270)는 차량의 주행 속도가 예를 들어 20km 이상이면 A 화면 및 B 화면을 꺼짐 상태로 전환할 수도 있다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

도 1a 내지 도 1d는 본 발명의 실시예에 따른 차량에 설치된 카메라를 설명하기 위한 도면이다.

도 3은 본 발명의 실시예에 따른 주변 영상 생성 방법을 나타낸 순서도이다.

도 4는 본 발명의 실시예에 따른 투영 변환 알고리즘을 설명하기 위한 예시도이다.

도 7은 본 발명의 실시예에 따른 마스크 영상의 중복 영역에 포함되는 픽셀들에 대한 가중치 정보를 나타낸 도면이다.

도 8은 도 7에 대응하여 오버레이 처리가 된 영상을 나타낸 도면이다.

도 10a는 본 발명의 실시예에 따른 표시 장치의 화면 구성을 나타낸 도면이다.

도 10b는 도 10a에 따른 표시 장치에 표시되는 화면을 나타내는 예시도이다.

Claims

삭제
차량의 전방, 후방, 좌측 및 우측에 설치된 카메라를 통해 촬상된 영상을 상기 카메라에 연결되는 각각의 채널을 통해 입력받는 단계,

상기 촬상 영상을 탑 뷰 형태로 보정 처리하여 복수의 보정 영상을 생성하는 단계,

상기 각각의 채널 별 영역 정보와 각 영역을 구성하는 픽셀들에 대한 가중치 정보를 포함하는 마스크 영상을 이용하여 상기 복수의 보정 영상을 오버레이 처리하여 상기 차량의 주변 영상을 생성하는 단계, 그리고

상기 주변 영상을 디스플레이하는 단계를 포함하고,

상기 복수의 보정 영상을 생성하는 단계는,

상기 카메라의 렌즈 왜곡에 따른 촬상 영상의 왜곡을 보정하는 단계,

상기 촬상 영상의 시점을 탑 뷰 형태로 변환하는 단계, 그리고

상기 탑 뷰 형태로 변환된 촬상 영상을 회전 또는 이동 또는 스케일 변환을 시키는 단계를 포함하며, 룩 업 테이블을 이용하여 상기 복수의 보정 영상을 생성하는 것을 특징으로 하는 차량 주변 영상 생성 방법.
차량의 전방, 후방, 좌측 및 우측에 설치된 카메라를 통해 촬상된 영상을 상기 카메라에 연결되는 각각의 채널을 통해 입력받는 단계,

상기 촬상 영상을 탑 뷰 형태로 보정 처리하여 복수의 보정 영상을 생성하는 단계,

상기 각각의 채널 별 영역 정보와 각 영역을 구성하는 픽셀들에 대한 가중치 정보를 포함하는 마스크 영상을 이용하여 상기 복수의 보정 영상을 오버레이 처리하여 상기 차량의 주변 영상을 생성하는 단계, 그리고

상기 주변 영상을 디스플레이하는 단계를 포함하고,

상기 복수의 보정 영상을 생성하는 단계는,

상기 카메라의 렌즈 왜곡에 따른 촬상 영상의 왜곡을 보정하는 단계, 그리고

상기 촬영 영상을 직사각형의 탑 뷰 형태로 투영 변환시키는 단계를 포함하며, 룩 업 테이블을 이용하여 상기 복수의 보정 영상을 생성하는 것을 특징으로 하는 차량 주변 영상 생성 방법.
삭제
차량의 전방, 후방, 좌측 및 우측에 설치된 카메라를 통해 촬상된 영상을 상기 카메라에 연결되는 각각의 채널을 통해 입력받는 단계,

상기 촬상 영상을 탑 뷰 형태로 보정 처리하여 복수의 보정 영상을 생성하는 단계,

상기 각각의 채널 별 영역 정보와 각 영역을 구성하는 픽셀들에 대한 가중치 정보를 포함하는 마스크 영상을 이용하여 상기 복수의 보정 영상을 오버레이 처리하여 상기 차량의 주변 영상을 생성하는 단계, 그리고

상기 주변 영상을 디스플레이하는 단계를 포함하고,

상기 복수의 보정 영상들 사이에 중복되는 영역에 대하여 다음의 수학식 I'(t+1) = αI₁(t) + (1-α)I₂(t), 0≤α≤1 을 이용하여 오버레이 처리하되, I₁(t)과 I₂(t)는 각각 두 채널을 통해 입력되는 중복 영역에 대한 영상 정보를 나타내며, α는 중복 영역에 포함되는 픽셀들에 대한 가중치를 나타내며, I'(t+1)는 오버레이 처리된 영상 정보를 나타내는 것을 특징으로 하는 차량 주변 영상 생성 방법.
제5항에 있어서,

상기 마스크 영상은 상기 중복 영역에 포함되는 픽셀들에 대하여 그라디언트 가중치(Gradient weight)를 가지도록 설정하는 것을 특징으로 하는 차량 주변 영상 생성 방법.
제2항 또는 제3항에 있어서,

상기 전방에 설치된 카메라를 통해 4개의 지시자에 대한 평균 밝기 값을 계산하고, 상기 평균 밝기 값을 상기 주변 영상에 적용하는 단계를 더 포함하는 것을 특징으로 하는 차량 주변 영상 생성 방법.
차량의 전방, 후방, 좌측 및 우측에 설치된 카메라를 통해 촬상된 영상을 상기 카메라에 연결되는 각각의 채널을 통해 입력받는 영상 입력부,

상기 촬상 영상을 탑 뷰 형태로 보정 처리하여 복수의 보정 영상을 생성하는 영상 처리부,

상기 각각의 채널 별 영역 정보와 각 영역을 구성하는 픽셀들에 대한 가중치 정보를 포함하는 마스크 영상을 이용하여 상기 복수의 보정 영상을 오버레이 처리하여 상기 차량의 주변 영상을 생성하는 영상 합성부, 그리고

상기 주변 영상을 디스플레이하는 표시부를 포함하고,

상기 복수의 보정 영상들 사이에 중복되는 영역에 대하여 다음 수학식 I'(t+1) = αI₁(t) + (1-α)I₂(t), 0≤α≤1 을 이용하여 오버레이 처리하는 제어부를 더 포함하되, I₁(t)과 I₂(t)는 각각 두 채널을 통해 입력되는 중복 영역에 대한 영상 정보를 나타내며, α는 중복 영역에 포함되는 픽셀들에 대한 가중치를 나타내며, I'(t+1)는 오버레이 처리된 영상 정보를 나타내는 것을 특징으로 하는 차량 주변 영상 생성 장치.
제8항에 있어서,

상기 영상 처리부는,

상기 카메라의 렌즈 왜곡에 따른 촬상 영상의 왜곡을 보정하고, 상기 촬상 영상의 시점을 탑 뷰 형태로 변환하며, 상기 탑 뷰 형태로 변환된 촬상 영상을 회전 또는 이동 또는 스케일 변환을 시키는 것을 특징으로 하는 차량 주변 영상 생성 장치.
삭제
제8항에 있어서,

상기 마스크 영상은 상기 중복 영역에 포함되는 픽셀들에 대하여 그라디언트 가중치(Gradient weight)를 가지도록 설정하는 것을 특징으로 하는 차량 주변 영상 생성 장치.
제8항에 있어서,

상기 차량의 주행 상태 정보를 수신하여 상기 제어부로 전달하는 통신부를 더 포함하며,

상기 제어부는,

상기 차량의 주행 상태에 따라 상기 주변 영상의 표시 여부를 결정하는 것을 특징으로 하는 차량 주변 영상 생성 장치.
차량의 전방, 후방, 좌측 및 우측에 설치되어 촬상된 영상을 각각의 채널을 통해 출력하는 복수의 카메라,

입력된 상기 촬상 영상을 탑 뷰 형태로 보정 처리하여 복수의 보정 영상을 생성하고, 상기 각각의 채널 별 영역 정보와 각 영역을 구성하는 픽셀들에 대한 가중치 정보를 포함하는 마스크 영상을 이용하여 상기 복수의 보정 영상을 오버레이 처리하여 상기 차량의 주변 영상을 생성하는 영상 생성 장치, 그리고

상기 주변 영상을 디스플레이하는 표시 장치를 포함하고,

상기 복수의 보정 영상들 사이에 중복되는 영역에 대하여 수학식 I'(t+1) = αI₁(t) + (1-α)I₂(t), 0≤α≤1 을 이용하여 오버레이 처리하는 제어부를 더 포함하되, I₁(t)과 I₂(t)는 각각 두 채널을 통해 입력되는 중복 영역에 대한 영상 정보를 나타내며, α는 중복 영역에 포함되는 픽셀들에 대한 가중치를 나타내며, I'(t+1)는 오버레이 처리된 영상 정보를 나타내는 것을 특징으로 하는 것을 특징으로 하는 차량 주변 영상 생성 시스템.