KR101389884B1

KR101389884B1 - 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템

Info

Publication number: KR101389884B1
Application number: KR1020130031403A
Authority: KR
Inventors: 치-창 위
Original assignee: 애비소닉 테크놀로지 코포레이션
Priority date: 2012-10-23
Filing date: 2013-03-25
Publication date: 2014-05-27
Also published as: JP2014086076A; US20140112597A1; CN103778617A; US9087256B2; JP5591364B2; CN103778617B; TW201417042A; TWI578271B

Abstract

동적 이미지 처리 방법은, 다수의 제1 이미지를 제공하는 단계; 제1 이미지를 합성해서 제2 이미지를 생성하는 단계; 제2 이미지상의 다수의 교정 포인트를 선택하는 단계; 제1 이미지에 대하여 기하학적 변환을 수행하는 단계; 교정 포인트에 대하여 기하학적 변환을 수행해서 다수의 변환된 교정 포인트를 생성하는 단계; 및 변환된 교정 포인트에 따라 하나 이상의 이미지 특징 경계를 생성하는 단계를 포함한다.

Description

차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템{DYNAMIC IMAGE PROCESSING METHOD AND SYSTEM FOR PROCESSING VEHICULAR IMAGE}

본 발명의 개시된 실시예는 차량 이미지 처리에 관한 것으로서, 구체적으로는 차량 이미지에 교정 포인트를 규정함으로써 차량 이미지를 처리하기 위한 동적 이미지 처리 방법에 관한 것이다.

어라운드 뷰 모니터 시스템(AVMS: around view monitor system)은 운전자가 차량의 주변 상황을 실시간으로 모니터링할 수 있도록 하는, 차량 주변의 어라운드 뷰 모니터(AVM) 이미지 또는 조감도 이미지를 제공한다. AVMS를 구비하는 차량에는 다수의 차량 주변 이미지를 촬상하기 위한 다수의 촬상 장치(예를 들어, 카메라)를 구비할 수 있다. 차량 주변 이미지는 AVM 이미지를 생성하는 이미지 스티칭(image stitching)을 포함하는 이미지 조작에 의해 처리되며, 차량 이미지를 AVM 이미지에 추가해서 차량 이미지를 생성한다. 차량 이미지/AVM 이미지는 일반적으로 톱뷰 이미지(top-view image)(즉, 시야각이 고정됨)이기 때문에, 차량 이미지/AVM 이미지상의 차량 주변 이미지에 대응하는 이미지 스티칭 라인이 고정된다. 운전자를 위해 차량 주변의 장면을 더 컴팩트하게 해서 제공하기 위해, 차량 이미지/AVM 이미지는 상이한 시야각으로 관측되어야 하는데, 이에 따라 이미지 스티칭 라인을 조정해야 한다는 것을 의미한다.

따라서, 상이한 시야각으로 차량 이미지/AVM 이미지를 관측해야 하는 요건에 부합하도록 하기 위해 동적으로 조정가능한 이미지 스티칭 라인을 제공할 수 있는 이미지 처리 방법이 요구된다.

따라서, 본 발명의 목적은, 차량 이미지상에 교정 포인트를 규정함으로써 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 상기 요건에 부합하는 관련된 동적 이미지 처리 시스템을 제공하는 것이다.

본 발명의 실시예에 의하면, 차량 이미지 처리 방법의 예를 개시한다. 차량 이미지 처리 방법은, 다수의 제1 이미지를 제공하는 단계; 제1 이미지를 합성해서 제2 이미지를 생성하는 단계; 제2 이미지상의 다수의 교정 포인트(calibration point)를 선택하는 단계; 제1 이미지에 대하여 기하학적 변환(geometric transformation)을 수행하는 단계; 교정 포인트에 대하여 기하학적 변환을 수행해서 다수의 변환된 교정 포인트를 생성하는 단계; 및 변환된 교정 포인트에 따라 하나 이상의 이미지 특징 경계(image characteristic boundary)를 생성하는 단계를 포함한다.

본 발명의 실시예에 의하면, 동적 이미지 처리 시스템의 예를 개시한다. 동적 이미지 처리 시스템은, 다수의 제1 이미지에 대하여 합성 동작 또는 기하학적 변환을 수행하고, 제2 이미지상의 다수의 교정 포인트를 선택해서 교정 포인트 정보를 생성하기 위한 처리 유닛으로서, 제2 이미지가 제1 이미지에 대하여 합성 동작을 수행한 이후에 생성되는, 처리 유닛; 및 처리 유닛에 연결되어 교정 포인트 정보를 저장하는 기억 유닛을 포함한다. 처리 유닛은, 제1 이미지에 대하여 기하학적 변환을 수행하도록 배치된 경우, 교정 포인트에 대하여 기하학적 변환을 수행하도록 배치되어 다수의 변환된 교정 포인트를 생성하고, 변환된 교정 포인트에 따라 하나 이상의 이미지 특징 경계를 생성한다.

제안된 동적 이미지 처리 방법은, 차량 이미지상의 교정 포인트를 규정하며, 교정 포인트로부터 생성된 이미지 특징 경계가 차량 이미지의 디스플레이 설정에 따라 조정될 수 있다. 따라서, 이미지 특징 경계가 이미지 스티칭 라인/경고 라인/주차 라인으로서 사용되는 경우, 상이한 시야각으로부터 차량 이미지/AVM 이미지를 관측하는 운전자/사용자의 요구에 부합하는 동적 이미지 스티칭 라인/경고 라인/주차 라인이 실현될 수 있다.

본 발명의 이들 및 다른 목적에 대해서는 당업자라면 여러 도면에서 예시하는 이하의 바람직한 실시예의 상세한 설명으로부터 명백할 것이다.

도 1은 본 발명의 실시예에 따른 일반적인 동적 이미지 처리 방법의 예를 나타낸다.
도 2는 본 발명의 실시예에 따른 차량 이미지상에 규정된 이미지 특징 경계의 예를 나타낸다.
도 3은 본 발명의 실시예에 따른, 도 2에 나타낸 차량 이미지상의 다수의 교정 포인트의 선택으로부터 생성되는 이미지 스티칭 라인의 예를 나타낸다.
도 4는 본 발명의 실시예에 따른, 도 3에 나타낸 제1 이미지의 스티칭을 나타낸다.
도 5는 본 발명의 실시예에 따른 기하학적 변환(geometric transformation) 이후의, 도 3에 나타낸 차량 이미지의 변경된 디스플레이의 예를 나타낸다.
도 6은 본 발명의 실시예에 따른, 도 5에 나타낸 제2 이미지의 생성을 나타낸다.
도 7은 본 발명의 다른 실시예에 따른 기하학적 변환 이후의, 도 3에 나타낸 차량 이미지의 변경된 디스플레이의 예를 나타낸다.
도 8은 본 발명의 실시예에 따른, 도 2에 나타낸 차량 이미지상의 다수의 교정 포인트의 선택에 의해 생성되는 경고 라인(warning line)의 예를 나타낸다.
도 9는 본 발명의 실시예에 따른 기하학적 변환 이후의, 도 8에 나타낸 차량 이미지의 변경된 디스플레이의 예를 나타낸다.
도 10은 본 발명의 다른 실시예에 따른 기하학적 변환 이후의, 도 8에 나타낸 차량 이미지의 변경된 디스플레이의 예를 나타낸다.
도 11은 본 발명의 실시예에 따른 동적 이미지 스티칭에 채택된 동적 이미지 처리 방법의 예를 나타내는 플로차트이다.

본 발명의 개념은 차량 이미지/AVM 이미지상에 다수의 교정 포인트(calibration point)를 규정하고, 차량 이미지의 디스플레이가 변경되면(즉, 디스플레이가 줌인되거나, 디스플레이의 시야각이 변경되거나, 다른 디스플레이 설정이 변경되는 경우), 그에 따라 디스플레이상의 교정 포인트의 위치를 조정하는 것이다. 즉, 디스플레이상의 교정 포인트의 위치와 차량 이미지의 현재의 디스플레이 설정(예를 들어, 정상 디스플레이 모드, 줌인 디스플레이 모드, 또는 다른 디스플레이 모드) 사이에는 대응관계가 존재한다. 이 대응관계는 차량 이미지 처리에 관련된 많은 응용을 실현하는 데에 사용될 수 있다.

도 1을 참조하면, 본 발명의 실시예에 따른 일반적인 동적 이미지 처리 방법이 도시되어 있다. 결과가 실질적으로 동일하면, 이 방법의 단계는 도 1에 나타낸 그 순서대로 실행할 필요는 없다. 본 방법을 요약하면 다음과 같다.

단계 110: 개시

단계 120: 다수의 제1 이미지를 제공

단계 130: 제1 이미지를 합성해서 제2 이미지를 생성

단계 140: 제2 이미지상에서 다수의 교정 포인트를 선택

단계 150: 제1 이미지에 대해 기하학적 변환(geometric transformation)을 수행해서 다수의 변환된 제1 이미지를 생성

단계 160: 교정 포인트에 대해 기하학적 변환을 수행해서 다수의 변환된 교정 포인트를 생성

단계 170: 변환된 교정 포인트에 따라 하나 이상의 이미지 특징 경계(image characteristic boundary)를 생성

단계 180: 종료

본 방법을 AVMS에 사용하는 경우, 제1 이미지는 다수의 보정된 이미지/톱뷰 이미지가 될 수 있으며, 제2 이미지는 AVM 이미지가 될 수 있다. 구체적으로, 다수의 서브이미지(예를 들어, 왜곡된 광각 이미지)가 먼저 수신되고나서, 이 서브이미지에 대해 이미지 보정(예를 들어, 광각 왜곡 보정 및 톱뷰 변환)이 수행되어, 보정이 완료된 이미지/톱뷰 이미지가 생성될 수 있다. 보정된 이미지/톱뷰 이미지를 AVM 이미지로서 합성할 수 있다.

단계 140-160에 나타낸 바와 같이, 선택된 교정 포인트 및 제1 이미지는 동일한 기하학적 변환에 의해 처리되고, 이러한 기하학적 변환은 회전 동작, 시프트 동작, 확대 동작, 축소 동작, 경사 동작, 또는 시야각 변경 동작 등이 될 수 있다. 하나 이상의 이미지 특징 경계가 하나 이상의 이미지 스티칭 라인(image stitching line)이 되는 경우, 다른 제2 이미지는 하나 이상의 이미지 스티칭 라인과 변환된 제1 이미지에 따라 생성될 수 있다. 따라서, 이미지 시야각에 따라 위치가 변경되는 동적 이미지 스티칭 라인은 상이한 시야각으로 차량 이미지/AVM 이미지를 관측하는 요건에 부합하도록 구현된다. 또한, 하나 이상의 이미지 특징 경계는 운전의 안전을 강화하기 위한 차량 경고 라인/영역 또는 주차를 돕기 위한 동적 주차 라인으로 사용되거나, 차량 이미지 처리에 관련된 다른 응용에 사용될 수 있다. 동적 이미지 처리 방법이 이미지상에 규정된 교정 포인트와 이미지의 현재의 디스플레이 설정 간의 대응관계에 따라 제공되는 한, 본 발명의 개념에 부합하게 된다. 이하 상세하게 설명한다.

도 2를 참조하면, 본 발명의 실시예에 따라 차량 이미지 IMG_V상에 규정된 이미지 특징 경계의 예를 나타내고 있다. 먼저, 차량(물체 이미지 IMG_OB로 나타냄)에 배치된 4개의 이미지 촬상 장치(C1-C4)가 다수의 서브이미지(즉, 차량의 주변에 대응하는 왜곡된 광각 이미지)를 수신하고, 서브이미지에 대해 이미지 보정(즉, 광각 왜곡 보정 및 톱뷰 변환)이 수행되어, 다수의 제1 이미지(IMG1_C1-IMG1_C4)(즉, 톱뷰 이미지)를 생성할 수 있다. 다음으로, 제1 이미지(IMG1_C1-IMG1_C4)를 제2 이미지(IMG2)(즉, AVM 이미지)로서 합성할 수 있다. 마지막으로, 물체 이미지(IMG_OB)를 제2 이미지(IMG2)에 추가해서 차량 이미지(IMG_V)를 생성할 수 있다.

도 2에 나타낸 바와 같이, 제1 이미지(IMG1_C1-IMG1_C4) 사이에는 다수의 중첩 영역이 존재한다. 중첩 영역에 고스트 이미지(ghost image)나 불연속 부분이 생기지 않도록 하기 위해, 중첩 영역을 정합(stitch)하기 위한 적절한 이미지 스티칭 라인이 필요하다. 제2 이미지(IMG2)의, 2개의 인접한 제1 이미지(IMG1_C2, IMG1_C3) 사이에 형성되는 중첩 영역 상에서 다수의 교정 포인트(CP1, CP2)가 선택될 수 있다. 교정 포인트(CP1, CP2)에 따라 이미지 특징 경계가 생성될 수 있으며, 이에 따라 이미지 스티칭 라인[즉, 교정 포인트(CP1, CP2)를 통과하는 광선]으로 사용될 수 있다. 교정 포인트(CP1, CP2)의 위치(또는 이미지 스티칭 라인의 위치)는 차량의 차량 이미지 시스템에 의해 미리 설정되거나, 사용자/운전자의 요구에 따라 선택될 수 있다.

교정 포인트가 동적 이미지 스티칭 라인으로 사용되는 경우, 교정 포인트는, 중첩 영역에서 선택되는 것 외에도, 미리 정해진 이미지 스티칭 라인을 참조함으로써 선택될 수도 있다. 도 3을 보면, 본 발명의 실시예에 따라, 도 2에 나타낸 차량 이미지(IMG_V)상에 다수의 교정 포인트를 선택하는 것에 의해 생성되는 이미지 스티칭 라인의 예가 도시되어 있다. 먼저, 제1 이미지(IMG1_C1-IMG1_C4)에 대해 미리 정해진 이미지 스티칭 동작이 수행되어, 미리 정해진 이미지 스티칭 라인[예를 들어, 미리 정해진 이미지 스티칭 라인(SL0)]을 생성할 수 있다. 다음으로, 생성된 미리 정해진 이미지 스티칭 라인을 참조하여, 다수의 교정 포인트를 선택해서 원하는 이미지 스티칭 라인을 생성할 수 있다. 이하의 설명은 제1 이미지(IMG1_C1)와 제1 이미지(IMG1_C2)를 사용해서 이미지 스티칭의 일례를 예시한다.

도 4를 보면, 본 발명의 실시예에 따라, 도 3에 나타낸 제1 이미지(IMG1_C1)와 제1 이미지(IMG1_C2)의 스티칭을 나타낸다. 왜곡된 광각 이미지(IMG_F1)는 이미지 촬상 장치(C1)에 의해 촬상된 서브이미지이며, 왜곡된 광각 이미지(IMG_F2)는 이미지 촬상 장치(C2)에 의해 촬상된 서브이미지이다. 왜곡된 광각 이미지(IMG_F1)에 대하여 광학 왜곡 보정 및 톱뷰 변환을 수행함으로써 톱뷰 이미지(IMG_T1)가 생성되며, 왜곡된 광각 이미지(IMG_F2)에 대하여 광학 왜곡 보정 및 톱뷰 변환을 수행함으로써 톱뷰 이미지(IMG_T2)가 생성된다. 제1 이미지(IMG1_C1)는 실제로 톱뷰 이미지(IMG_T1)의 일부이며, 제1 이미지(IMG1_C2)는 실제로 톱뷰 이미지(IMG_T2)의 일부이다.

본 실시예에서, 제1 이미지(IMG1_C1)는 제1 이미지(IMG1_C2)와 중첩 영역(R_OV)에서 중첩한다. 제1 이미지(IMG1_C1)와 제1 이미지(IMG1_C1)를 정합하기 위해, 중첩 영역(R_OV)에 있는 각 픽셀의 픽셀 데이터를 결정해야 한다. 예를 들어, 도 3에서 제2 이미지(IMG2) 내의 픽셀(P)에 대응하는 픽셀 데이터를 결정하기 위해, 픽셀(P)과 왜곡된 광각 이미지(IMG_F1)의 미리 정해진 픽셀(PP1)(즉, 광각 렌즈의 광학 중심에 대응하는 픽셀) 사이의 거리(d1)를, 픽셀(P)와 왜곡된 광각 이미지(IMG_F2)의 미리 정해진 픽셀(PP2)(즉, 광각 렌즈의 광학 중심에 대응하는 픽셀) 사이의 거리(d2)를 비교할 수 있다. 다음으로, 제1 이미지(IMG1_C1)의 픽셀(P)에 대응하는 픽셀 데이터 또는 제1 이미지(IMG1_C2)의 픽셀(P)에 대응하는 픽셀 데이터 중의 하나를 제2 이미지(IMG2)의 픽셀(P)에 대응하는 픽셀 데이터로서 선택할 수 있다. 도 4에 나타낸 바와 같이, 거리(d2)는 거리(d1)보다 짧다. 픽셀이 왜곡된 광각 이미지의 중심에 가까우면, 대응하는 이미지 왜곡이 작아지는 것이 알려져 있다. 따라서, 제1 이미지(IMG1_C2)의 픽셀(P)에 대응하는 픽셀 데이터를, 도 3에 나타낸 제2 이미지(IMG2)의 픽셀(P)에 대응하는 픽셀 데이터로서 선택할 수 있다.

도 3을 다시 참조한다. 중첩 영역(R_OV)의 각 픽셀의 픽셀 데이터를 결정한 후에, 중첩 영역(R_OV)의 각 픽셀의 픽셀 데이터와 제1 이미지(IMG1_C1) 간의 대응관계와, 중첩 영역(R_OV)의 각 픽셀의 픽셀 데이터와 제1 이미지(IMG1_C2) 간의 대응관계를 참조함으로써, 미리 정해진 이미지 스티칭 라인(SL0)이 생성될 수 있다. 구체적으로, 미리 정해진 이미지 스티칭 라인(SL0)[중첩 영역(R_OV) 내에서]의 우측에 위치한 모든 픽셀 데이터는 제1 이미지(IMG1_C1)에 대응하고, 미리 정해진 이미지 스티칭 라인(SL0)[중첩 영역(R_OV) 내에서]의 좌측에 위치한 모든 픽셀 데이터는 제1 이미지(IMG1_C2)에 대응하며, 미리 정해진 이미지 스티칭 라인(SL0)은 픽셀 데이터 경계로서 간주될 수 있다. 즉, 미리 정해진 이미지 스티칭 라인(SL0)은 제1 이미지(IMG1_C1) 및 제1 이미지(IMG1_C2)를 정합하기 위한 이미지 스티칭 라인으로서 사용된다. 이와 다른 구성으로서, 미리 정해진 이미지 스티칭 라인(SL0)이 곡선(반드시 이에 한정되는 것은 아님)이면, 근사 라인[예를 들어, 다른 미리 정해진 이미지 스티칭 라인(SL1)]을 얻기 위해 수치적 계산(예를 들어, 선형 최소 제곱 방식)이 사용될 수 있다. 미리 정해진 이미지 스티칭 라인(SL0/SL1)을 취득하면, 이 미리 정해진 이미지 스티칭 라인(SL0/SL1)을 참조하는 것에 의해 다수의 교정 포인트(CP1, CP2)를 선택해서 원하는 이미지 스티칭 라인을 생성할 수 있다. 또한, 선형 근사법으로부터 얻어진 미리 정해진 이미지 스티칭 라인(SL1)은 팔로업 스티칭(follow-up stitching)을 위한 이미지 스티칭으로서 직접 선택해도 된다.

상기 언급한 이미지 스티칭 라인 생성의 구현예에 기초하여, 다수의 교정 포인트(CP3-CP8) 및 다수의 미리 정해진 이미지 스티칭 라인(SL2-SL4)을 구할 수 있다. 미리 정해진 이미지 스티칭 라인(SL1-SL4)을 직접 참조하는 것에 의해, 나중에 이미지 촬상 장치(C1-C4)에 의해 수신된 다수의 이미지를 합성함으로써 AVM 이미지가 생성될 수 있다. 상기 언급한 이미지 스티칭 라인 생성의 구현은 예시에 불과하며, 본 발명을 한정하기 위한 것으로 해석해서는 안 된다. 예를 들어, 이미지 스티칭 라인은 미리 정해진 이미지 스티칭 라인보다 운전자의 시야 선호에 따라 다수의 교정 포인트를 선택함으로써 생성해도 된다. 또한, 제공되는 이미지 스티칭 라인은 직선에 한정되지 않는다. 즉, 3개 이상의 교정 포인트를 선택해서 구부러진 이미지 스티칭 라인을 생성하는 것도 가능하다.

디스플레이상에 선택된 교정 포인트의 위치가 차량 이미지의 현재의 디스플레이 설정에 대응하기 때문에, 선택된 교정 포인트(또는 이미지 스티칭 라인)의 위치가 그에 따라 조정되는데, 차량 이미지의 디스플레이 설정이 변경될 때에 조정된다. 도 5를 보면, 본 발명의 실시예에 따른 기하학적 변환 이후에, 도 3에 나타낸 차량 이미지(IMG_V)의 변경된 디스플레이의 예를 나타내고 있다. 도 5에 나타낸 차량 이미지(IMG_V')[물체 이미지(IMG_OB')와 제2 이미지(IMG2')를 포함]는 도 3에 나타낸 차량 이미지(IMG_V)[물체 이미지(IMG_OB)와 제2 이미지(IMG2)를 포함]를 시계방향으로 회전시킴으로써 생성된 이미지인 것으로 간주될 수 있다. 도 5에 나타낸 교정 포인트(CP1'-CP8')는 도 3에 나타낸 교정 포인트(CP1-CP8)에 대해 동일한 회전 동작을 수행함으로써 생성된다. 즉, 차량 이미지(IMG_V')의 이미지 객체에 대한 교정 포인트(CP1'-CP8')의 상대 위치는 차량 이미지(IMG_V)의 이미지 객체에 대한 교정 포인트(CP1-CP8)의 상대 위치와 동일하다. 따라서, 이미지 스티칭 라인(SL1'-SL4')[교정 포인트(CP1'-CP8')에 따라 생성된 것]은 이미지 스트칭 라인(SL1-SL4)에 대해 동일한 회전 동작을 수행함으로써 생성된 이미지 스티칭 라인으로 간주될 수 있다.

본 실시예에서, 차량 이미지(IMG_V')는 도 3에 나타낸 차량 이미지(IMG_V)에 대해 직접 회전 동작을 수행하는 것에 의해 생성되지 않는다. 도 3, 5 및 6을 함께 참조한다. 도 6은 본 발명의 실시예에 따라, 도 5에 나타낸 제2 이미지(IMG2')의 생성을 나타낸다. 도 3에 나타낸 제2 이미지(IMG2)는 도 6에 나타낸 톱뷰 이미지(IMG_T1-IMG_T4)에 의해 합성되며, 여기서 제1 이미지(IMG1_C1-IMG1_C4)는 톱뷰 이미지(IMG_T1-IMG_T4)의 일부이다. 도 6에 나타낸 바와 같이, 도 3에 나타낸 차량 이미지(IMG_V)에 대해 회전 동작을 수행하는 것은, 톱뷰 이미지(IMG_T1-IMG_T4)에 대하여 회전 동작을 수행해서 톱뷰 이미지(IMG_T1'-IMG_T4')를 생성하고, 교정 포인트(CP1-CP8)에 대하여 회전 동작을 수행해서 교정 포인트(CP1'-CP8')를 생성할 수 있다는 것을 의미한다. 또한, 도 5의 물체 이미지(IMG_OB')는 도 3의 물체 이미지(IMG_OB)에 대하여 회전 동작을 수행함으로써 생성된다. 다음으로, 제2 이미지(IMG2')는 이미지 스티칭 라인(SL1'-SL4')[교정 포인트(CP1'-CP8')로부터 생성된 것] 및 톱뷰 이미지(IMG_T1'-IMG_T4')의 대응하는 출력 위치에 따라, 톱뷰 이미지(IMG_T1'-IMG_T4')를 합성함으로써 생성될 수 있다. 마지막으로, 도 5에 나타낸 바와 같이, 물체 이미지(IMG_OB')가 제2 이미지(IMG2')에 추가되어 차량 이미지(IMG_V')를 생성한다.

도 5에 나타낸 바와 같이, 사용자는 상기 언급한 회전 동작이 수행된 이후에, 제2 이미지(IMG2')의 디스플레이로부터 더 많은 운전 정보(예를 들어, 앞서가는 차량의 차량 지붕)를 얻을 수 있다. 다른 구성으로서, 이미지 스티칭 라인(SL1'-SL4')을 형성하기 위해 도 6의 이미지 스티칭 라인(SL1-SL4)에 대해 직접 회전 동작을 수행하는 것이 가능하다. 회전 동작 이외에도, 상기 언급한 기하학적 변환은, 확대, 축소, 시프트, 및 다른 관련된 2차원 변환을 포함한다는 것을 알 수 있을 것이다.

톱뷰 이미지를 합성해서 AVM 이미지를 생성하기 전에, 기하학적 변환을 수행한다. 따라서, 제안된 이미지 처리 방법은 차량 이미지 디스플레이를 변경하기 위한 3차원 변환에 채택될 수 있다. 도 7을 참조하면, 본 발명의 다른 실시예에 따른 기하학적 변환 이후에, 도 3에 나타낸 차량 이미지(IMG_V)의 변경된 디스플레이를 나타낸다. 도 7에 나타낸 차량 이미지(IMG_V')는 도 3에 나타낸 차량 이미지(IMG_V)를 기울여서(즉, 시야각을 변경해서) 생성된 이미지인 것으로 간주될 수 있다. 도 7에 나타낸 교정 포인트(CP1'-CP8')는 도 3에 나타낸 교정 포인트(CP1-CP8)에 대해 동일한 경사 동작(tilt operation)을 수행함으로써 생성된다. 당업자라면, 도 5와 관련해서 설명한 부분을 읽어보면, 도 7에 나타낸 차량 이미지(IMG_V')의 생성에 대한 구체적인 동작을 알 수 있을 것이기 때문에, 여기서는 추가의 설명을 생략한다.

제안된 차량 이미지 처리 방법은 또한 운전자에게 앞선 차량으로부터 안전 거리를 유지하라고 경고하는 운전 안전 메커니즘을 제공한다. 도 2를 다시 참조한다. 도 2에서, 운전자의 앞에 차량[차량 객체(OB_V)로 나타냄]이 위치해 있다. 다수의 교정 포인트(CP3, CP4)가 제2 이미지(IMG2)상에서 선택될 수 있다. 이 교정 포인트(CP3, CP4)를 참조함으로써, 차량 객체(OB_V)와 물체 이미지(IMG_OB) 사이에 경고 라인[즉, 엔드포인트(CP3, CP4)를 갖는 라인 세그먼트]으로서 이미지 특징 경계가 생성될 수 있다. 교정 포인트(CP3, CP4)의 위치(또는 경고 라인의 위치)는 차량 이미지 시스템에 의해 미리 설정되거나 사용자/운전자의 요구에 따라 선택될 수 있다.

도 8을 참조하면, 본 발명의 실시예에 따라, 도 2에 나타낸 차량 이미지(IMG_V)상의 다수의 교정 포인트를 선택함으로써 생성되는 경고 라인의 예를 나타낸다. 운전자의 앞에 차량[차량 객체(OB_V)로 나타냄]이 있기 때문에, 이하의 설명에서는 경고 라인 선택의 예를 예시하기 위해, 차량 객체(OB_V)와 물체 이미지(IMG_OB) 사이의 경고 라인을 사용한다.

먼저, 다수의 교정 포인트(CPA, CPB)가 제2 이미지(IMG2)상의 물체 이미지(IMG_OB)의 위치에 따라 선택될 수 있다. 예를 들어, 교정 포인트(CPA, CPB)는 물체 이미지(IMG_OB)의 차량 정면 끝 부분으로부터의 차량의 길이의 3분의 1에 해당하는 거리에 위치될 수 있으며, 이에 따라 경고 라인(WL1)이 생성된다. 다른 구성으로서, 경고 라인(WL1)의 위치는 차량 속도 및 제2 이미지(IMG2)상의 물체 이미지(IMG_OB)의 위치에 따라 조정될 수 있다. 구체적으로, 차량 속도가 증가하면, 경고 라인(WL1)은 물체 이미지(IMG_OB)로부터 더 멀어지는데[즉, 차량 객체(OB_V)에 더 가까워짐], 이것은 고속 주행시의 안전 거리를 확보하기 위해서이다. 차량 객체(OB_V)가 차량 이미지(IMG_V)의 디스플레이상의 경고 라인(WL1)을 지나가면, 차량 이미지 시스템은 운전자에게 경고하기 위한 경고 신호를 생성할 수 있다. 또한, 다수의 교정 포인트(CPC, CPD)는 제2 이미지(IMG2) 상의 물체 이미지(IMG_OB)의 위치 및/또는 물체 이미지(IMG_OB)와 그 주변 물체 간의 거리에 따라 다수의 경고 라인(WL2-WL4)을 생성하도록 선택될 수도 있다. 본 실시예에서, 경고 라인(WL1-WL4)은 경고 영역(WA)을 형성할 수 있다.

상기 설명은 예시에 불과하며, 본 발명을 한정하기 위한 것이 아니다. 예를 들어, 운전자의 요구에 따라 둘 이상의 교정 포인트를 직접 선택함으로써 하나 이상의 경고 라인이 생성될 수 있다. 경고 영역은 미리 경고 라인을 결정하지 않고 교정 포인트를 선택하는 것에 의해 생성될 수도 있다. 또한, 제공된 경고 라인은 직선에 한정되지 않는다. 구부러진 경고 라인을 생성하기 위해 3개 이상의 교정 포인트를 선택하는 것도 가능하다. 즉, 제공되는 경고 라인의 형상은 사용자의 요구에 따라 조정이 가능하다.

차량 이미지의 디스플레이 설정이 변경되는 경우, 이에 따라 디스플레이상의 선택된 교정 포인트(또는 경고 라인)의 위치가 조정된다. 도 9를 참조하면, 본 발명의 실시예에 따른 기하학적 변환 이후에, 도 8에 나타낸 차량 이미지(IMG_V)의 변경된 디스플레이의 예를 나타낸다. 도 9에 나타낸 차량 이미지(IMG_V')[물체 이미지(IMG_OB') 및 제2 이미지(IMG2')를 포함]는 도 8에 나타낸 차량 이미지(IMG_V)를 시계방향으로 회전시킴으로써 생성된 이미지인 것으로 간주될 수 있다. 도 9에 나타낸 교정 포인트(CPA'-CPD')는 도 8에 나타낸 교정 포인트(CPA-CPD)에 대하여 동일한 회전 동작을 수행함으로써 생성된다. 즉, 차량 이미지(IMG_V')의 이미지 객체에 대한 교정 포인트(CPA'-CPD')의 상대 위치는 차량 이미지(IMG_V)의 이미지 객체에 대한 교정 포인트(CPA-CPD)의 상대 위치와 동일하다. 따라서, 경고 라인(WL1'-WL4')[교정 포인트(CPA'-CPD')에 따라 생성된 것]은 경고 라인(WL1-WL4)에 대해 동일한 회전 동작을 수행함으로써 생성된 경고 라인인 것으로 간주될 수 있다. 또한, 경고 영역(WA')[경고 라인(WL1'-WL4')에 따라 생성된 것]은 경고 영역(WA)에 대해 회전 동작을 수행함으로써 생성된 경고 영역인 것으로 간주될 수 있다. 이에 의하면, 디스플레이 설정이 상이한 경우에도, 양호한 주행 안정이 유지될 수 있다. 회전 동작 이외에도, 당업자라면, 상기 언급한 기하학적 변환이 확대, 축소, 시프트 및 그외 관련된 2차원 변환을 포함할 수 있다는 것을 알 수 있을 것이다.

제안된 이미지 처리 방법은, 차량 이미지 디스플레이를 변경하기 위한 3차원 변환에 사용될 수 있다. 도 10을 참조하면, 본 발명의 다른 실시예에 따른 기하학적 변환 이후에, 도 8에 나타낸 차량 이미지(IMG_V)의 변경된 디스플레이의 예를 나타낸다. 도 10에 나타낸 차량 이미지(IMG_V')는 도 8에 나타낸 차량 이미지(IMG_V)를 기울여서(즉, 시야각을 변경해서) 생성된 이미지인 것으로 간주될 수 있다. 도 10에 나타낸 교정 포인트(CPA'-CPD')는 도 8에 나타낸 교정 포인트(CPA-CPD)에 대해 동일한 경사 동작을 수행함으로써 생성된다. 당업자라면, 도 9와 관련해서 설명한 부분을 읽어보면, 도 10에 나타낸 차량 이미지(IMG_V')의 생성에 대한 구체적인 동작을 용이하게 알 수 있을 것이기 때문에, 여기서는 추가의 설명을 생략한다.

간단히 설명하면, 도 3/도 8에 나타낸 차량 이미지(IMG_V)의 디스플레이 설정이 정상적인 디스플레이 모드이면, 도 5/도 9에 나타낸 차량 이미지(IMG_V')의 디스플레이 설정은 회전 모드가 될 수 있으며, 도 7/도 10에 나타낸 차량 이미지(IMG_V')의 디스플레이 모드는 경사 모드가 될 수 있는데, 여기서 교정 포인트의 위치는 차량 이미지(IMG_V)의 현재의 디스플레이 설정에 따라 조정될 수 있다. 즉, 디스플레이 모드에 따라 조정이 가능한, 동적 이미지 스티칭 라인 및 동적 경고 라인이 제공된다. 또한, 본 발명의 개념은 이미지 스트칭 라인 및 경고 라인에 사용하는 것에만 한정되지 않는다. 일례로, 도 2에 나타낸 물체 이미지(IMG_OB)의 2개의 측면에 접선(tangent line)을 생성하도록 적절한 교정 포인트가 선택될 수 있으며, 생성된 접선은 동적으로 도움을 주는 주차 라인으로서 사용될 수 있다. 다른 예로서, 마스크 영역을 생성하도록 적절한 교정 포인트가 선택될 수 있는데, 이 마스크 영역 내의 이미지를 제거하거나 원하는 이미지로 교체하기 위해서이다.

도 11을 참조하면, 본 발명의 실시예에 따른 동적 이미지 스티칭에서 채택하는 동적 이미지 처리 방법의 예를 나타내는 플로차트가 도시되어 있다. 결과가 동일하다면, 도 11에 나타낸 순서 그대로 실행될 필요는 없다. 본 방법을 요약하면 다음과 같다.

단계 1100: 개시

단계 1110: 교정 포인트 정보를 취득

단계 1112: 다수의 왜곡된 광각 이미지를 수신

단계 1114: 차량 이미지를 제공

단계 1120: 다수의 교정 포인트에 대하여 3차원 변환을 수행하여 다수의 이미지 스티칭 라인을 생성

단계 1121: 다수의 서브이미지에 대하여 광각 왜곡 보정 및 톱뷰 변환을 수행하여 다수의 톱뷰 이미지를 생성

단계 1122: 톱뷰 이미지에 대하여 3차원 변환을 수행하여 다수의 변환된 톱뷰 이미지를 생성

단계 1124: 차량 이미지에 대하여 3차원 변환을 수행하여 변환된 차량 이미지를 생성

단계 1130: 이미지 스티칭 라인 및 변환된 톱뷰 이미지의 대응하는 출력 위치에 따라 이미지 합성 동작을 수행하여 AVM 이미지를 생성

단계 1140: 변환된 차량 이미지를 AVM 이미지에 추가해서 차량 이미지를 생성

단계 1150: 종료

이미지 합성 동작을 하기 전에, 교정 포인트가 선택되어 차량 이미지 시스템에 기억된다. 따라서, 단계 1110에서, 교정 포이트 정보는 추가의 이미지 스티칭을 위해 직접 취득될 수 있다. 단계 1120, 1122, 및 1124에서, 교정 포인트, 톱뷰 이미지 및 차량 이미지는 동일한 3차원 변환에 의해 처리된다. 당업자라면, 도 1-7과 관련해서 설명한 부분을 읽어보면, 도 11에 나타낸 각각의 단계의 구체적인 동작을 용이하게 알 수 있을 것이기 때문에, 여기서는 추가의 설명을 생략한다. 여러 응용을 위해 차량 이미지상에 다수의 이미지 특징 경계가 제공될 수 있다. 예를 들어, 차량 이미지상에 동적 이미지 스티칭 라인, 동적 경고 라인 및/또는 동적 주차 라인이 동시에 규정될 수 있다.

요약하면, 제안된 동적 이미지 처리 방법은, 차량 이미지상의 교정 포인트를 규정하며, 교정 포인트로부터 생성된 이미지 특징 경계가 차량 이미지의 디스플레이 설정에 따라 조정될 수 있다. 따라서, 이미지 특징 경계가 이미지 스티칭 라인/경고 라인/주차 라인으로서 사용되는 경우, 상이한 시야각으로부터 차량 이미지/AVM 이미지를 관측하는 운전자/사용자의 요구에 부합하는 동적 이미지 스티칭 라인/경고 라인/주차 라인이 실현될 수 있다.

당업자라면, 본 발명의 개념을 유지하면서 본 장치 및 방법의 많은 변경 및 변경이 가능하다는 것을 용이하게 알 수 있을 것이다. 따라서, 상기 개시는 첨부한 청구범위를 한정하는 것으로 해석해서는 안 된다.

Claims

다수의 제1 이미지를 제공하는 단계;
상기 제1 이미지를 합성해서 제2 이미지를 생성하는 단계;
상기 제2 이미지상의 다수의 교정 포인트(calibration point)를 선택하는 단계;
상기 제1 이미지에 대하여 기하학적 변환(geometric transformation)을 수행하는 단계;
상기 교정 포인트에 대하여 기하학적 변환을 수행해서 다수의 변환된 교정 포인트를 생성하는 단계; 및
상기 변환된 교정 포인트에 따라 하나 이상의 이미지 특징 경계(image characteristic boundary)를 생성하는 단계를 포함하는 동적 이미지 처리 방법.
제1항에 있어서,
상기 하나 이상의 이미지 특징 경계는 하나 이상의 이미지 스티칭 라인(image stitching line)이며,
본 방법은, 상기 하나 이상의 이미지 스티칭 라인에 따라, 상기 기하학적으로 변환된 제1 이미지를 합성하고, 이에 따라 상기 기하학적으로 변환된 제2 이미지를 생성하는 단계를 더 포함하는 동적 이미지 처리 방법.
제2항에 있어서,
상기 제2 이미지는 인접한 제1 이미지들 사이의 하나 이상의 중첩 영역(overlapping region)을 포함하며, 상기 선택된 교정 포인트는 상기 하나 이상의 중첩 영역 내에 위치하는, 동적 이미지 처리 방법.
제1항에 있어서,
상기 하나 이상의 이미지 특징 경계는 하나 이상의 경고 라인(warning line)인 것인, 동적 이미지 처리 방법.
제4항에 있어서,
상기 제2 이미지는 물체 이미지(object image)를 포함하며, 상기 하나 이상의 경고 라인은 상기 제2 이미지의 물체 이미지 주변에 위치하고, 상기 하나 이상의 경고 라인은 임의의 물체가 상기 하나 이상의 경고 라인을 지나가고 상기 물체 이미지에 접근하는지를 판정하는 데에 사용되는, 동적 이미지 처리 방법.
제1항에 있어서,
상기 제1 이미지를 제공하는 단계는,
다수의 서브이미지를 수신하는 단계; 및
상기 서브이미지에 대하여 이미지 보정을 수행하여 상기 제1 이미지를 각각 생성하는 단계를 포함하는, 동적 이미지 처리 방법.
제1항에 있어서,
상기 제1 이미지를 합성해서 제2 이미지를 생성하는 단계는, 인접한 제1 이미지들 사이의 중첩 영역으로부터 이미지 스티칭 라인을 취득하는 단계를 포함하는, 동적 이미지 처리 방법.
제7항에 있어서,
상기 제2 이미지상의 교정 포인트를 선택하는 단계는, 상기 이미지 스티칭 라인상의 교정 포인트를 선택하는 단계를 포함하는, 동적 이미지 처리 방법.
제1항에 있어서,
상기 기하학적 변환은, 회전 동작, 시프트 동작, 확대 동작, 축소 동작, 경사 동작, 또는 시야각 변경 동작을 포함하는, 동적 이미지 처리 방법.
동적 이미지 처리 시스템에 있어서,
다수의 제1 이미지에 대하여 합성 동작 또는 기하학적 변환을 수행하고, 제2 이미지상의 다수의 교정 포인트를 선택해서 교정 포인트 정보를 생성하기 위한 처리 유닛으로서, 상기 제2 이미지가 상기 제1 이미지에 대하여 상기 합성 동작을 수행한 이후에 생성되는, 상기 처리 유닛; 및
상기 처리 유닛에 연결되어 상기 교정 포인트 정보를 저장하는 기억 유닛을 포함하며,
상기 처리 유닛은, 상기 제1 이미지에 대하여 기하학적 변환을 수행하도록 배치된 경우, 상기 교정 포인트에 대하여 기하학적 변환을 수행하도록 배치되어 다수의 변환된 교정 포인트를 생성하고, 상기 변환된 교정 포인트에 따라 하나 이상의 이미지 특징 경계를 생성하는, 동적 이미지 처리 시스템.