KR101150546B1

KR101150546B1 - 차량의 주변감시장치

Info

Publication number: KR101150546B1
Application number: KR1020097018887A
Authority: KR
Inventors: 츠요시 구보야마; 가즈야 와타나베
Original assignee: 아이신세이끼가부시끼가이샤
Priority date: 2007-07-05
Filing date: 2008-06-12
Publication date: 2012-06-08
Also published as: JP4924896B2; EP2116422A4; CN101636297A; KR20090109583A; EP2116422A1; US20100110189A1; WO2009004907A1; CN101636297B; JP2009012652A; US8675041B2; EP2116422B1

Abstract

차체 가장자리부를 포함한 촬영화상에 대해 실제공간과 동일한 평행감이 되도록 왜곡보정 처리를 실시하여 운전자에게 있어 보기 쉬운 화상을 표시할 수 있는 차량의 주변감시장치를 제공한다. 차량에 설치된 카메라를 통해 촬영된 촬영화상에 차체 가장자리부가 포함되어 있고, 이 촬영화상에 있어서 차체 가장자리부를 따르는 Y축 및 상기 Y축과 직교하는 X축을 설정하고, Y축방향은 대략 고정으로 하면서, X축방향을 상기 X축으로부터의 거리에 의존한 비선형적으로 증가하는 확대율(γ)로 확대 처리하는 왜곡보정 처리를 실시하여 왜곡보정 처리된 촬영화상을 차량 내 모니터에 표시한다.

차체, 가장자리부, 촬영화상, 카메라, 주변감시장치

Description

차량의 주변감시장치{VEHICLE PERIPHERY MONITORING DEVICE}

본 발명은 차량에 설치된 카메라를 통해 촬영된 촬영화상에 소정의 화상처리를 실시하여 차량 실내의 표시장치에 표시하는 차량의 주변감시장치에 관한 것이다.

차량에 설치된 카메라를 통해 촬영된 촬영화상을 차량 실내의 표시장치에 표시할 때 운전자가 보기 쉽도록 소정의 화상처리를 실시하는 기술로서, 예를 들면 특허문헌 1에 기재된 운전지원화상 생성장치가 알려져 있다. 이러한 운전지원화상 생성장치는, 모니터 화면을 2분할하고, 일측에는 사이드 카메라의 촬영 영상으로부터 렌즈 왜곡을 제거하여 직선이 직선으로 표시되도록 보정한 영상을 표시한다. 그리고, 타측에는 마치 사이드 미러의 상공에 설치한 가상 카메라로부터의 영상과 같이 변환한 영상을 각각 표시하는 것이다. 이와 같은 모니터 화면 표시를 수행함으로써 폭에 가까와지는 과정에 있어서 운전자에게 파악하기 쉬운 영상을 제공하고 있다.

또한, 특허문헌 2에는, 하나의 렌즈군으로 차체 주위의 넓은 범위를 촬상하 고, 이 영상을 기초로 운전자에게 정확하고 충분한 정보를 간편하게 제공할 수 있는 감시용 차량 탑재 촬상 시스템이 기재되어 있다. 이러한 감시용 차량 탑재 촬상 시스템 또한 영상 정보의 왜곡을 보정하는 보정수단을 구비하고 있고, 운전자가 즉석에서 원근감이나 대상물의 크기 등을 판단할 수 있도록 이러한 보정수단에 의해 왜곡이 없는 평면적인 영상 정보를 얻고 있다.

[특허문헌 1] 일본 특허공개 제2004-194071호 공보

[특허문헌 2] 일본 특허공개 제2004-159186호 공보

차량에 설치된 광각의 어안 카메라 등을 통해 촬영된 촬영화상을, 그 상태로 차량 내 모니터에 표시하면 왜곡감이 강한 영상이 되어 버리기 때문에, 상술한 바와 같은 왜곡보정 처리가 수행되고 있다. 또, 상기 어느 문헌에 있어서도 그 왜곡보정의 구체적 방법에 대해서는 개시되지 않았다. 그러나, 차량에 설치된 광각의 어안 카메라 등을 통해 촬영된 촬영화상을 왜곡보정하는 경우, 폭에 가까와 질 때 등을 위해 실제공간에 있어서 차체 가장자리부 및 이 차체 가장자리부에 평행인 직선이 가능한 한 그 상태의 평행 관계로 표시되도록 왜곡보정하는 것이 요망된다.

본 발명은 이러한 사정을 감안하여 이루어진 것으로, 그 목적은 차체 가장자리부를 포함한 촬영화상에 대해 실제공간과 동일한 평행감이 되도록 왜곡보정 처리를 실시하여 운전자에게 있어 보기 쉬운 화상을 표시할 수 있는 차량의 주변감시장치를 제공하는 것에 있다.

상기 과제를 해결하기 위해, 본 발명에 따른 차량의 주변감시장치는, 차량에 설치된 카메라를 통해 촬영된 촬영화상에 소정의 화상처리를 실시하여 차량 실내의 표시장치에 표시하는 차량의 주변감시장치로서, 상기 촬영화상에 차체 가장자리부를 포함하도록 상기 카메라가 설치되고, 상기 촬영화상에 있어서 상기 차체 가장자리부를 따르는 제1축 및 상기 제1축과 직교하는 제2축을 설정하는 좌표축 설정부; 및 상기 촬영화상에 대해, 상기 제1축방향은 대략 고정으로 하면서, 상기 제2축방향을 상기 제2축으로부터의 거리에 의존한 비선형적으로 증가하는 확대율로 확대 처리하는 왜곡보정 처리부를 포함하고, 왜곡보정 처리된 상기 촬영화상을 상기 표시장치에 표시하는 것으로 하고 있다.

상기 구성에 의하면, 먼저 촬영화상 중의 차체 가장자리부를 따라 제1축 및 상기 제1축에 직교하는 제2축이 설정되고, 그리고 제1축방향은 대략 고정으로 하면서, 제2축방향은 상기 제2축으로부터의 거리에 의존한 비선형적으로 증가하는 확대율로 확대 처리함으로써 왜곡보정 처리가 수행된다.

예를 들면, 촬영화상 중에 곡률이 비교적 작은 원호형의 차체 가장자리부가 찍혀 있는 경우, 상기 원호형 가장자리부의 내측이면서 동시에 상기 가장자리부를 따라 제1축을 설정한다. 다음으로 상기 원호형 가장자리부의 중앙 부근을 통과하여 제1축에 직교하는 제2축을 설정한다. 이때, 원호형 가장자리부는 그 중앙 부근은 제1축으로부터 가장 멀고, 끝으로 감에 따라 제1축에 근접한 상태, 바꿔말하면 제2축으로부터 멀어짐에 따라 제1축에 근접한 상태에 있다.

따라서, 제2축으로부터 멀어짐에 따라, 즉 제2축으로부터의 거리가 커짐에 따라 증가하는 확대율로 제2축방향으로 확대되면, 원호형 가장자리부는 직선형으로 할 수 있다. 또, 가장자리부가 곡선이므로, 이와 같은 확대율로서는 비선형적인 것이 이용되고 있다.

이러한 왜곡보정 처리에 의해, 차체 가장자리부 등 촬영화상에 있어서 만곡된 직선을 원래의 직선형으로 할 수 있으므로, 실제공간과 동일한 평행감으로 촬영화상을 표시할 수 있다. 이에 따라, 왜곡보정 후의 촬영화상은 운전자에게 있어 보기 쉬운 것이 되어 차량 주변의 상황을 파악하기 쉽게 할 수 있다.

또한, 본 발명에 따른 차량의 주변감시장치의 적합한 실시예의 하나에서는, 상기 좌표축 설정부는 상기 카메라의 촬영 중심을 원점으로 하여 상기 제1축과 제2축을 설정하는 것으로 하고 있다. 이러한 구성에 의하면, 촬영 중심을 원점으로 하고 있으므로, 촬영화상에 있어서의 제1축상의 화상 자체의 왜곡도 적어 보다 효과적인 왜곡보정 처리를 수행할 수 있다.

또, 카메라로서는 사이드 카메라나 후방 카메라 등을 이용할 수 있지만, 본 발명에 따른 차량의 주변감시장치의 적합한 실시예의 하나에서는, 상기 카메라가 사이드 카메라이고, 상기 사이드 카메라는 그 촬영방향이 수직 아래를 향해 설정되어 있다. 이러한 구성에 의하면, 사이드 카메라는 촬영방향(렌즈의 광축방향)이 수직 아래를 향하도록 설정되어 있고, 그 촬영화상에 있어서 상기 광축 중심의 위치인 촬영 중심을 원점으로 하여 제1축과 제2축이 설정된다. 이때 촬영화상에 찍혀 있는 것은 차체의 측부이며, 이 측부를 따라 제1축이 설정된다. 상술한 바와 같이 본 발명의 왜곡보정에 있어서 제1축방향은 대략 고정된 상태이므로, 이 경우에 왜곡보정을 수행해도 차량 전후방향의 정보를 남길 수 있다. 이는 특히 차량 진행 방향의 시야를 확보할 수 있으므로 바람직하다.

또한, 본 발명에 따른 차량의 주변감시장치의 적합한 실시예의 하나에서는, 상기 카메라를 후방 카메라로 하고 있다. 이에 따라 후방의 촬영화상을, 육안으로 보았을 때와 동일한 감각의 화상으로 표시할 수 있기 때문에, 운전자에게 있어 보기 쉬운 화상이 된다.

도 1은 본 실시예에 있어서의 차량의 전체 구성을 나타낸 모식도이다.

도 2는 화상처리 ECU의 기능 블럭도이다.

도 3은 왜곡보정 처리에 있어서의 확대율을 설명하는 도면이다.

도 4는 왜곡보정 처리의 플로우차트이다.

도 5는 사이드 카메라를 통한 촬영화상에 대한 왜곡보정 처리의 일례를 나타낸 도면이다.

도 6은 후방 카메라를 통한 촬영화상에 대한 왜곡보정 처리의 일례를 나타낸 도면이다.

전술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 실시예를 통하여 보다 분명해질 것이다. 이하, 본 발명에 따른 차량의 주변감시장치의 구체적인 실시예를 도면을 기초로 하여 설명한다.

[전체 구성]

도 1에는 본 발명에 따른 차량의 주변감시장치를 탑재한 차량이 모식적으로 나타나 있다. 차량(1)의 조수석측 사이드 미러(11)에는 사이드 카메라(2L)가, 차량(1)의 후방에는 후방 카메라(2R)가 각각 설치된다. 이러한 카메라(2)(사이드 카메라(2L), 후방 카메라(2R)의 총칭임, 이하 동일함)를 통해 촬영된 촬영화상의 정보는 화상처리 ECU(4)에 전달되고, 소정의 화상처리가 이루어진 후에 표시부(3)에 표시된다. 또, 사이드 카메라(2L)는 그 촬영방향(렌즈의 광축방향)이 수직 아래를 향하도록 설치된 광각의 어안 카메라이고, 그 촬영화상에 차체 좌측 가장자리부가 찍히도록 설치되어 있다(도 5의 (a) 참조). 또한, 후방 카메라(2R)는 그 촬영방향이 비스듬히 아래를 향하도록 설치된 광각의 어안 카메라이고, 그 촬영화상에 범퍼가 찍히도록 설치되어 있다(도 6의 (a) 참조).

[화상처리 ECU]

도 2는 차량(1)에 탑재된 화상처리 ECU(4)에 대해 본 발명에 특히 관련된 기능부를 나타낸 기능 블럭도이다. 이러한 기능부는 CPU를 중요 부재로 하여 하드웨어 또는 소프트웨어 또는 그 양자로 구축되어 있다. 카메라(2)를 통해 촬영된 촬영화상(정확하게는 촬영화상데이터이지만, 이하 간단히 촬영화상이라 함)은 화상 입력부(41)에 의해 취득되어 메모리(44)에 전개된다. 메모리(44)에 전개된 촬영화상은 화상 처리부(45)에 의해 확대?축소 처리, 회전 처리나 왜곡보정 처리(왜곡의 보정 처리) 등의 소정의 화상처리가 이루어진다. 그리고, 화상처리가 이루어진 촬 영화상에 대해 표시용 화상데이터 생성부(47)에 의해 표시용 화상데이터가 생성되고, 표시 제어부(42)를 통해 표시부(3)의 차량 내 모니터(3a)에 표시된다. 또, 표시부(3)에는 차량 내 모니터(3a)에 설치된 터치 패널 또는 차량 내 모니터(3a) 근방에 설치된 버튼 등의 형태로 지시 조작부(3b)도 구비되어 있고, 이 지시 조작부(3b)로부터의 정보는 지시 입력부(43)에 의해 취득된다.

이하, 화상 처리부(45)에 의해 이루어지는 화상처리 중, 특히 본 발명과 관련된 왜곡보정 처리에 대해 설명한다. 이 왜곡보정 처리를 수행하기 위해, 화상 처리부(45)에는 좌표축 설정부(45a), 왜곡보정 LUT(46)를 참조하여 왜곡보정을 수행하는 왜곡보정 처리부(45b)가 구비되어 있다.

좌표축 설정부(45a)는 카메라(2)를 통해 촬영된 촬영화상에 대해 그 촬영화상에 찍힌 차체 가장자리부를 따라 제1축을 설정하는 동시에, 상기 제1축과 직교하는 제2축을 설정하는 처리를 수행한다. 예를 들면, 사이드 카메라(2L)를 통한 촬영화상의 경우, 도 5의 (a)에 나타낸 바와 같이 차체 좌측 가장자리부가 만곡되어 있으므로, 상기 만곡된 가장자리부의 내측에 제1축으로서의 Y축을 설정한다. 그리고, 이 Y축에 직교하는 X축을 차체 좌측 가장자리부의 중앙 부근을 통과하도록 설정한다. 마찬가리로 후방 카메라(2R)를 통한 촬영화상의 경우, 도 6의 (a)에 나타낸 바와 같이 범퍼가 만곡되어 있으므로, 상기 만곡된 범퍼의 내측에 제1축으로서의 Y축을 설정한다. 그리고, 이 Y축에 직교하는 X축을 범퍼의 중앙 부근을 통과하도록 설정한다.

또, 본 실시예에 있어서는, 이러한 좌표축의 설정은 촬영 중심(광축 위치)을 원점으로 하고, 촬영화상의 상하방향, 좌우방향이 Y축 또는 X축이 되도록 초기 설정되어 있다. 단, 이러한 원점의 위치나 상하방향?좌우방향에 대한 좌표축의 기울기 등에 대해서는 지시 조작부(3b)에 의해 운전자의 취향에 맞게 변경될 수 있도록 구성되어 있다.

왜곡보정 처리부(45b)는 좌표축이 설정된 촬영화상에 대해 제1축(Y축)방향은 대략 고정으로 하면서, 제2축(X축)방향을 상기 제2축(X축)으로부터의 거리에 의존한 비선형적으로 증가하는 확대율로 확대하는 처리를 수행한다. 이와 같은 확대율을 도 3에 개념적으로 나타낸다. 도 3에서 Y축방향은 고정되어 있고, X축방향에 대해서는 확대율(γ)로 확대된다. 상기 확대율(γ)은 X축으로부터 멀어질수록, 즉 Y의 크기(Y의 절대값)가 커질수록 증가하는 것이고, 도 3에서도 상방향 또는 하방향으로 갈수록 확대율(γ)이 증가하는 것이 나타나 있다. 다시 말해서, Y의 값이 양일 때 그 값이 클수록 또는 Y의 값이 음일 때 그 값이 작을수록 큰 확대율로 X축방향으로 확대되게 된다. 또, 여기서는 X축 양의 방향과 음의 방향을 모두 X축방향으로, 마찬가지로 Y축 양의 방향과 음의 방향을 모두 Y축방향이라고 칭하고 있고, 양의 방향과 음의 방향을 구별할 필요가 없는 경우에는 이와 같이 간단히 X축방향 또는 Y축방향이라고 칭한다.

이와 같은 변환 처리로서는 여러 가지를 생각할 수 있는데, 촬영 중심을 원점으로 하여 좌표축을 설정한 경우의 예로서 이하의 변환식을 들 수 있다.

X'=γ＊X=[1＋a＊{Y/(H/2)}^2]＊X … (1)

Y'=Y … (2)

여기서, (X, Y)는 변환 전의 좌표, (X', Y')는 변환 후의 좌표이고, H는 촬영화상의 상하방향(Y축방향)의 길이, a는 조정계수를 나타낸다. 또한, ＊는 곱셈을, /는 나눗셈을, ^는 거듭제곱을 나타내고 있다. 또, 상기 조정계수(a)는 실험적, 경험적으로 구해지는 것이다. 이와 같은 단순한 식을 이용함으로써 연산 부하를 줄일 수 있고, 또한 촬영화상 전체를 하나의 식으로 변환하므로 화상 전체를 연속적으로 보정할 수 있다.

상기 식 (1) 및 (2)에 의하면, Y축방향은 고정하면서, X축방향은 확대율(γ)로 확대 처리된다. 상기 확대율(γ)은 X축으로부터의 거리, 즉 Y의 크기에 의존한 비선형적으로 증가하는 확대율로 되어 있다. 식 (1)에서 알 수 있듯이, Y축방향은 Y/(H/2)로 정규화되고, 이 정규화된 Y축방향의 값을 2제곱하여 조정계수(a)를 곱하고 1을 더함으로써 확대율(γ)이 정의되어 있다.

또, 이와 같은 변환식으로서는 상기 식 (1), (2)로 한정되지 않고, 거듭제곱을 2 이상의 자연수로 하는 등 다른 형태도 물론 가능하다. 또한, 변환식을 기초로 그때마다 연산하는 것도 가능하지만, 본 실시예에 있어서는 이 변환에 관한 데이터군을 룩업 테이블의 형태로 왜곡보정 LUT(46)에 저장하고 있다. 또한, 원점의 위치나 상하방향?좌우방향에 대한 좌표축의 기울기와 함께 복수의 변환 테이블을 준비해도 좋다.

이와 같이 왜곡보정 처리부(45b)는 좌표축 설정부(45a)에 의해 좌표축이 설정된 촬영화상에 대해 왜곡보정 LUT(46)를 참조하여 상술한 변환 처리를 실시함으로써 왜곡보정을 수행한다. 즉 좌표 위치(X, Y)에 있던 화소가 좌표 위치(X', Y') 로 변환되고, 이와 함께 이러한 변환 처리에 의해 부족한 화소를 보충하는 보간 처리가 이루어진다.

[촬영화상의 표시 처리]

이하, 본 실시예에 있어서의 촬영화상의 표시 처리의 흐름에 대해 도 4를 이용하여 설명한다. 먼저, 화상 입력부(41)에 의해 카메라(2)로부터 촬영화상을 취득하여 메모리(44)에 전개한다(＃01). 이 촬영화상에 대해 필요에 따라 확대?축소 처리나 회전 처리 또는 분할 처리 등의 전처리를 화상 처리부(45)에 의해 수행한다(＃02). 예를 들면, 촬영화상에 차치하는 차체의 비율이 많은 경우에는, 차체 가장자리부와 그 주변의 노면 부분을 포함한 직사각형 영역을 분할 처리에 의해 분할해도 좋다.

다음에는, 이 촬영화상에 대해 좌표축 설정부(45a)에 의해 상술한 Y축, X축의 설정이 수행된다(＃03). 본 실시예에 있어서는 촬영 중심(광축 위치)이 원점이 되도록 초기 설정되어 있지만, 이 원점의 위치나 좌표축의 기울기는 지시 조작부(3b)에 의해 조절할 수 있다. 그리고, 이 좌표축이 설정된 촬영화상에 대해 왜곡보정 처리부(45b)에 의해 왜곡보정 처리가 수행된다(＃04). 이러한 왜곡보정 처리에 있어서 촬영화상 상의 각 좌표를 변환하기 위한 데이터는 왜곡보정 LUT(46)에 저장되어 있고, 왜곡보정 처리부(45b)는 이 왜곡보정 LUT(46)를 참조함으로써 왜곡보정 처리를 수행한다.

그리고, 왜곡보정 처리부(45b)에 의해 왜곡보정 처리된 촬영화상으로부터, 차량 내 모니터(3a)에 표시하기 위한 표시용 촬영화상이 표시용 화상데이터 생성 부(47)에 의해 생성되고(＃05), 표시 제어부(42)를 통해 차량 내 모니터(3a)에 표시된다(＃06).

[왜곡보정 처리된 촬영화상]

도 5 및 도 6에 왜곡보정 처리에 의해 표시되는 촬영화상의 예를 나타낸다. 도 5의 (a)는 사이드 카메라(2L)를 통해 촬영된 왜곡보정 처리 전의 촬영화상이다. 상술한 바와 같이 사이드 카메라(2L)는 광각의 어안 카메라이므로, 차체의 전단부터 후단까지가 촬영화상에 찍혀 있다. 또, 원화상에 대해 분할 처리가 수행되어 있고, 표시할 때 이 분할 처리된 화상의 종횡비(영상비; aspect ratio)와 차량 내 모니터(3a)의 종횡비가 맞지 않을 경우, 도면에 나타낸 바와 같이 차량 내 모니터(3a)의 일부가 배경화상(GB)이 되고 있다. 이러한 종횡비는 화면 배치상 배경화상이 너무 많아지는 것 같으면, 의도적으로 흩트려도 무방하다. 왜곡보정 처리 전에는 차체 좌측 가장자리부(E1)가 좌방향으로 만곡되는 동시에, 차량 좌측 노면상의 라인(L1)이 우방향으로 만곡되어 있다. 또, 실제공간에 있어서는 차체 좌측 가장자리부(E1)와 이 라인(L1)은 대략 평행하고 있다.

그래서, 상술한 왜곡보정 처리를 수행하기 위해, 사이드 카메라(2L)의 촬영 중심(광축 위치)(Ｏ)을 원점으로 하여 차체 좌측 가장자리부(E1)를 따라 촬영화상의 상하방향으로 Y축을 설정하고, 여기에 직교하는 좌우방향으로 X축을 설정한다. 이와 같이 좌표축이 설정된 촬영화상에 대해 왜곡보정 처리가 수행된다. 즉, 촬영화상상의 (X, Y) 위치가, 예를 들면 상기 식 (1) 및 (2)를 이용함으로써 (X', Y') 위치로 변환되어 촬영화상의 X축방향으로의 확대 처리가 수행된다.

상술한 바와 같이 이 식 (1)에 의한 변환 처리는 Y축방향은 고정으로 하면서, X축방향을 Y의 크기(Y의 절대값)에 의존한 비선형적으로 증가하는 확대율(γ)로 확대하는 처리이다. 즉, 도 3에도 나타낸 바와 같이, Y축 양의 방향에서는 Y의 값이 커질수록 큰 확대율(γ)로 X축방향으로 확대되고, Y축 음의 방향에서는 Y의 값이 작아질수록 큰 확대율(γ)로 X축방향으로 확대된다. 도 5의 (a)에 나타낸 바와 같이 왜곡보정 처리 전의 촬영화상에 있어서는 차체 좌측 가장자리부(E1) 및 라인(L1)은 각각 Y축 양의 방향 또는 음의 방향으로 감에 따라 Y축에 근접한 형상을 하고 있으므로, 이러한 왜곡보정 처리를 수행함으로써 도 5의 (b)에 나타낸 바와 같이 차체 좌측 가장자리부(E1)와 라인(L1)을 대략 평행으로 할 수 있다. 또한, 노면 상의 폴(pole)(P1)도 실제공간과 동일하게 라인(L1)에 대해 보다 직각이 되고 있다.

또한, 도 6의 (a)는 후방 카메라(2R)를 통해 촬영된 왜곡보정 처리 전의 촬영화상이다. 왜곡보정 처리 전에는 범퍼(E2)가 상방향으로 만곡되는 동시에, 차량의 후방에 있는 노면상의 라인(L2)이 하방향으로 만곡되어 있다. 또, 실제공간에 있어서는 범퍼(E2)와 상기 라인(L2)은 거의 평행하고 있다.

상기 후방 카메라(2R)의 경우에는 범퍼(E2)가 촬영화상의 좌우방향으로 연장되어 있으므로, Y축을 이 범퍼를 따라 좌우방향으로, X축을 이 Y축과 직교하도록 상하방향으로 설정하고 있다. 또한, 여기서도 원점(Ｏ)은 촬영 중심으로 하고 있다. 그리고, 상기 동일한 왜곡보정 처리를 실시함으로써, 도 6의 (b)에 나타낸 바와 같이 범퍼(E2)와 후방의 라인(L2)을 대략 평행으로 할 수 있다. 또한, 노면 상 의 폴(P2)에 대해서도 실제공간과 동일하게 보다 수직으로 할 수 있다.

이러한 왜곡보정 처리에 의해, 카메라(2)를 통해 촬영된 촬영화상을 육안으로 보았을 때와 동일한 감각의 화상으로서 차량 내 모니터(3a)에 표시할 수 있으므로, 운전자에게 있어 보기 쉬운 영상이 되어 차량 주변의 상황도 파악하기 쉬워진다. 또한, Y축방향에 대해서는 변환을 수행하지 않으므로, 사이드 카메라의 경우에는 차량 진행 방향의 시야를 확보할 수 있는 장점도 갖고 있다.

[다른 실시예]

상술한 실시예에 있어서는 X축 또는 Y축을 촬영화상의 상하방향 또는 좌우방향으로 설정했지만, Y축이 차체 가장자리부를 따르고 있으면, 상하방향 또는 좌우방향으로부터 소정의 각도를 가지고 경사진 형태로 설정해도 좋다. 또한, Y축을 설정하는 차체 가장자리부는 촬영화상에 찍혀 있는 차체 가장자리부 중 평행으로 하고자 하는 부분이며, 많은 경우에 촬영화상 중의 가장 길고 곡률이 작은 차체 가장자리부이다. 또한, 차량 가장자리부를 따라 Y축을 설정하는 방법으로서는, 예를 들면 대상으로 하는 차량 가장자리부의 중앙 부근(중앙 또는 중앙 근방)의 접선과 대략 평행이 되도록 설정하는 것을 들 수 있다.

상술한 실시예에 있어서는 X축과 Y축의 원점이 촬영 중심(광축 위치)이 되도록 설정했지만, 이에 한정되지 않고, 촬영 중심 부근 등 기타 위치에 설정할 수도 있다. 특히 본 발명의 왜곡보정에 있어서의 확대율의 성질상 만곡된 차량 가장자리부의 내측(만곡된 방향의 내측)이면서 동시에 이 차량 가장자리부를 따라 Y축이 설정된다. 그리고, 이 만곡된 차량 가장자리부에 있어서 Y축으로부터 가장 떨어진 위 치 근방을 통과하도록 X축을 설정하도록 하면 적합하다.

상술한 실시예에 있어서는 왜곡보정 처리시에 촬영화상의 전체 화면에 대해 하나의 변환식으로 변환 처리를 실시했지만, 촬영화상을 복수 영역으로 분할하고, 각 영역에 대해 서로 다른 변환식을 이용하여 변환 처리를 수행하고 이를 합성하도록 해도 좋다. 예를 들면, X축 양의 방향과 음의 방향을 서로 다른 확대율로 확대 처리하도록 해도 좋다.

또한, 촬영화상으로부터 차량 가장자리부(윤곽)를 검출하고, 이에 대해 좌표축을 자동적으로 설정하는 형태로 해도 좋다. 즉, 차체 에지 검출부를 설치하고, 상기 차체 에지 검출부는 카메라(2)를 통해 촬영된 촬영화상으로부터 공지된 방법에 의해 에지 검출을 수행하고, 그 에지 화상으로부터 차체 가장자리부에 상당하는 에지를 추출한다. 또, 이 차체 가장자리부의 추출은 차체 에지 검출부에 전달된 카메라의 설치 위치나 촬영방향과 같은 카메라 정보를 기초로 수행할 수 있다. 간단한 예로서 상기 사이드 카메라(2L)를 통한 촬영화상의 경우를 설명하면, 도 5의 (a)에 나타낸 바와 같이 촬영화상의 우측에 차체가 찍히므로, 촬영화상의 우측에 가장 가깝고 상하방향으로 연속된 곡선을 차체 에지로서 추출하면 좋다. 그리고, 이와 같이 해서 추출된 차체 가장자리부를 따라 좌표축이 설정되므로, 사이드 카메라를 설치한 미러의 개폐 동작 등에 의해 촬영화상에 있어서의 차량 가장자리부의 위치가 바뀌었다고 해도 좌표축 설정을 용이하게 수행할 수 있다.

또한, 이 차체 에지 검출부를 설치한 경우에, 이 추출된 차체 가장자리부에 상당하는 에지의 근사곡선을 구하고, 이 근사곡선을 Y축방향으로는 대략 고정으로 하면서, 이 Y축과 대략 평행이 되는 변환식을 산출하여, 이러한 변환식을 기초로 촬영화상에 대한 왜곡보정 처리를 위한 확대율을 도출하는 구성으로 해도 좋다. 이를 위해, 차체 에지 검출부와 함께 확대율 산출부를 설치하고, 이 확대율 산출부에서 차체 에지 근사곡선을 구하는 동시에, 산출된 차체 에지 근사곡선으로부터 이 근사곡선을 Y축에 대해 대략 평행으로 하기 위한 변환식을 산출한다. 그리고 산출된 변환식으로부터 왜곡보정 처리를 위한 확대율을 산출하는 것이다. 이때 산출된 확대율을 이용하여 왜곡보정 처리를 수행하기 위한 왜곡보정 LUT를 생성하기 위한 왜곡보정 LUT 생성부를 구비하도록 해도 좋다. 이러한 구성에 의하면, 상황에 따라 적절한 확대율을 자동적으로 정의할 수 있는 장점을 갖는다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

본 발명은 차량에 설치된 카메라를 통해 촬영된 촬영화상에 소정의 화상처리를 실시하여 차량 실내의 표시장치에 표시하는 차량의 주변감시장치에 이용할 수 있다.

Claims

차량에 설치된 카메라를 통해 촬영된 촬영화상에 소정의 화상처리를 실시하여 차량 실내의 표시장치에 표시하는 차량의 주변감시장치로서,

상기 촬영화상에 차체 가장자리부를 포함하도록 상기 카메라가 설치되고,

상기 촬영화상에 있어서 상기 차체 가장자리부를 따르는 제1축 및 상기 제1축과 직교하는 제2축을 설정하는 좌표축 설정부; 및

상기 제2축으로부터의 거리가 멀수록 왜곡이 증가된 상기 촬영화상에 대해, 상기 제1축방향은 고정으로 하면서, 상기 제2축방향을 상기 제2축으로부터의 거리에 의존한 비선형적으로 증가하는 확대율로 확대 처리하여 보정하는 왜곡보정 처리부를 포함하고,

왜곡보정 처리된 상기 촬영화상을 상기 표시장치에 표시하는

차량의 주변감시장치.
제1항에 있어서,

상기 좌표축 설정부는 상기 카메라의 촬영 중심을 원점으로 하여 상기 제1축과 제2축을 설정하는

차량의 주변감시장치.
제1항 또는 제2항에 있어서,

상기 카메라는 사이드 카메라이고, 상기 사이드 카메라는 그 촬영방향이 수직 아래를 향해 설정되어 있는

차량의 주변감시장치.
제1항 또는 제2항에 있어서,

상기 카메라는 후방 카메라인

차량의 주변감시장치.