KR101488636B1 - 투시변환을 이용한 탑뷰 주차 지원 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 실시간으로 차량의 전·후·좌·우의 영상을 전달받아 필요한 지면을 제외한 영상부분을 잘라내고 투시변환을 통하여 영상의 변환 행렬 값을 계산하고 원근 투영으로 만들어진 각각의 탑뷰(Top-view) 영상을 정합하여 주차를 할 때 자동차 주위의 영상으로 제공하는 투시변환을 이용한 탑뷰 주차 지원 시스템 및 그 방법에 관한 것으로, 운전자가 운전이나 주차를 할 때 운전자의 시야를 충분히 확보할 수 있도록 하고, 이로 인해 주변의 장애물과의 충돌을 피할 수 있을 뿐만 아니라 주차시 편리성 및 안정성을 제공할 수 있도록 하는 효과가 있다.

Description

투시변환을 이용한 탑뷰 주차 지원 시스템 및 그 방법{Top-view parking assistance system using a perspective transformation and method thereof}

본 발명은 투시변환을 이용한 탑뷰 주차 지원 시스템 및 그 방법에 관한 것으로, 특히 실시간으로 차량의 전·후·좌·우의 영상을 전달받아 필요한 지면을 제외한 영상부분을 잘라내고 투시변환을 통하여 영상의 변환 행렬 값을 계산하고 원근 투영으로 만들어진 각각의 탑뷰(Top-view) 영상을 정합하여 주차를 할 때 자동차 주위의 영상으로 제공하는 투시변환을 이용한 탑뷰 주차 지원 시스템 및 그 방법에 관한 것이다.

최근 자동차를 위한 자동화 기술의 발전으로 운전자의 편리성과 안정성을 위한 보조 기술들이 개발되고 있다. 이에 따라 카메라와 센서를 자동차에 설치하여 차량의 주변에 대한 위험을 경고하거나 자동 주차 지원시스템 등의 기술들이 적용되고 있다.

즉, 기존의 주차 지원 시스템에 관한 연구로는 원근투시법, 역 투영 변환, 배럴 왜곡 보정 방법 등이 있다. 원근 투시법은 3차원에서 물체가 위치하는 공간과의 관계를 2차원적 평면으로 묘사하는 방법이고, 역 투영 변환은 원근효과를 제거하는 방법이며 배럴 왜곡 보정은 촬영된 영상에서 왜곡 현상이 일어나는 부분을 보정하는 방법이다.

또한 기존의 탑뷰 시스템은 4방향의 영상이 매끄럽게 정합되지 않아 주차 지원시 오인을 할 수 있다는 문제점이 있다.

한국 등록특허 제 10-1327736 호[발명의 명칭 : ＡＶＭ탑뷰 기반 주차지원 시스템] 한국 등록특허 제 10-1007149 호[발명의 명칭 : 광각 카메라의 교정을 위한 워핑 포인트 추출 방법 및 차량 탑뷰 이미지 획득방법] 한국 등록특허 제 10-0917330 호[발명의 명칭 : 차량의 탑뷰 모니터 시스템 및 방법]

이와 같은 문제점을 해소시키기 위해 본 발명은 실시간으로 차량의 전·후·좌·우의 영상을 전달받아 필요한 지면을 제외한 영상부분을 잘라내고 투시변환을 통하여 영상의 변환 행렬 값을 계산하고 원근 투영으로 만들어진 각각의 탑뷰(Top-view) 영상을 정합하여 주차를 할 때 자동차 주위의 영상으로 제공하는 투시변환을 이용한 탑뷰 주차 지원 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

본 발명의 실시예에 따른 투시변환을 이용한 탑뷰 주차 지원 시스템은 차량의 우측에 설치되며, 차량의 우측을 촬영하여 우측 영상을 제공하는 우측 카메라, 차량의 좌측에 설치되며, 차량의 좌측을 촬영하여 좌측 영상을 제공하는 좌측 카메라, 차량의 전방에 설치되며, 차량의 전방을 촬영하여 전방 영상을 제공하는 전방 카메라, 차량의 후방에 설치되며, 차량의 후방을 촬영하여 후방 영상을 제공하는 후방 카메라 및 좌우측 카메라 및 상기 전후방 카메라로부터 좌우측 영상 및 전후방 영상을 입력받아 원본 영상의 지면에서 필요한 부분까지의 특정 좌표값을 기준으로 영상의 크기를 변환시킨 후 잘라내고, 잘라낸 영상에 원근효과를 제공한 후 잘라낸 영상에서 4개의 기준점을 정하여 영상을 각각 변형시키고, 변형된 좌우측 영상 및 전후방 영상을 정합시켜 출력부를 통해 출력시키는 제어부를 포함할 수 있다.

본 발명과 관련된 실시예로서, 제어부는 좌우측 영상 및 전후방 영상에 대해 각각 4개의 기준점을 이용하여 직사각형 형태의 영상을 사다리꼴 영상으로 변환시킬 수 있다.

본 발명과 관련된 실시예로서, 사다리꼴로 변환된 좌우측 영상 및 전후방 영상은 동일한 크기를 가질 수 있다.

본 발명과 관련된 실시예로서, 제어부는 각 영상의 좌·우 상단과 하단의 점들의 좌표 값을 추출하고 이를 쌍선형보간법에 적용시켜 추출한 좌표 값을 새로운 윈도우의 좌표로 이동시켜 정합한 결과영상을 도출할 수 있다.

본 발명의 실시예에 따른 투시변환을 이용한 탑뷰 주차 지원 방법은 탑뷰 주차 지원 시스템을 통해 제공되는 탑뷰 영상 생성 방법에 있어서, 제어부는 좌우측 카메라 및 상기 전후방 카메라로부터 좌우측 영상 및 전후방 영상을 입력받는 단계, 제어부는 좌우측 카메라 및 전후방 카메라로부터 입력받은 원본 영상의 지면에서 필요한 부분까지의 특정 좌표값을 기준으로 영상의 크기를 변환시킨 후 잘라내는 단계, 제어부는 잘라낸 영상에 원근효과를 제공한 후 잘라낸 영상에서 4개의 기준점을 정하여 영상을 각각 변형시키는 단계 및 제어부는 변형된 좌우측 영상 및 전후방 영상을 정합시켜 출력부를 통해 출력시키는 단계를 포함할 수 있다.

본 발명과 관련된 실시예로서, 제어부는 좌우측 영상 및 전후방 영상에 대해 각각 4개의 기준점을 이용하여 직사각형 형태의 영상을 사다리꼴 영상으로 변환시키는 단계를 더 포함할 수 있다.

본 발명과 관련된 실시예로서, 사다리꼴로 변환된 좌우측 영상 및 전후방 영상은 동일한 크기를 가질 수 있다.

본 발명과 관련된 실시예로서, 제어부는 각 영상의 좌·우 상단과 하단의 점들의 좌표 값을 추출하고 이를 쌍선형보간법에 적용시켜 추출한 좌표 값을 새로운 윈도우의 좌표로 이동시켜 정합한 결과영상을 도출하는 단계를 더 포함할 수 있다.

본 발명은 실시간으로 차량의 전·후·좌·우의 영상을 전달받아 필요한 지면을 제외한 영상부분을 잘라내고 투시변환을 통하여 영상의 변환 행렬 값을 계산하고 원근 투영으로 만들어진 각각의 탑뷰(Top-view) 영상을 정합하여 주차를 할 때 자동차 주위의 영상으로 제공함으로써, 운전자가 운전이나 주차를 할 때 운전자의 시야를 충분히 확보할 수 있도록 하고, 이로 인해 주변의 장애물과의 충돌을 피할 수 있을 뿐만 아니라 주차시 편리성 및 안정성을 제공할 수 있도록 하는 효과가 있다.

도 1은 본 발명에 따른 투시변환을 이용한 탑뷰 주차 지원 시스템의 구성을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 투시변환을 이용한 탑뷰 주차 지원 방법을 설명하기 위한 동작흐름도이다.
도 3은 본 발명에 적용된 관측 원근 투영을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 투시변환을 이용한 좌표값의 변화를 설명하기 위한 도면이다.
도 5는 본 발명에 따른 특정 좌표값을 이용한 영상 자르기 과정을 설명하기 위한 도면이다.
도 6은 본 발명에 따른 투시변환을 이용한 영상변환을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 전방(a), 좌측(b), 우측(c), 후방(d) 영상을 도시한 도면이다.
도 8은 본 발명에 따른 전방(a), 좌측(b), 우측(c), 후방(d) 투시변환영상을 도시한 도면이다.
도 9는 본 발명에 따른 영상정합과정을 거친 결과영상을 도시한 도면이다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 본 발명에 따른 투시변환을 이용한 탑뷰 주차 지원 시스템의 구성을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이 차량의 우측에 설치되며, 차량의 우측을 촬영하여 우측 영상을 제공하는 우측 카메라(110)와, 차량의 좌측에 설치되며, 차량의 좌측을 촬영하여 좌측 영상을 제공하는 좌측 카메라(120)와, 차량의 전방에 설치되며, 차량의 전방을 촬영하여 전방 영상을 제공하는 전방 카메라(130)와, 차량의 후방에 설치되며, 차량의 후방을 촬영하여 후방 영상을 제공하는 후방 카메라(140)와, 좌우측 카메라(110)(120) 및 전후방 카메라(130)(140)로부터 좌우측 영상 및 전후방 영상을 입력받아 원본 영상의 지면에서 필요한 부분까지의 특정 좌표값을 기준으로 영상의 크기를 변환시킨 후 잘라내고, 잘라낸 영상에 원근효과를 제공한 후 잘라낸 영상에서 4개의 기준점을 정하여 영상을 각각 변형시키고, 변형된 좌우측 영상 및 전후방 영상을 정합시켜 출력부(160)를 통해 출력시키는 제어부(150)로 이루어진다.

제어부(150)는 좌우측 영상 및 전후방 영상에 대해 각각 4개의 기준점을 이용하여 직사각형 형태의 영상을 사다리꼴 영상으로 변환시킨다. 여기서, 사다리꼴로 변환된 좌우측 영상 및 전후방 영상은 동일한 크기를 가진다.

제어부(150)는 각 영상의 좌·우 상단과 하단의 점들의 좌표 값을 추출하고 이를 쌍선형보간법에 적용시켜 추출한 좌표 값을 새로운 윈도우의 좌표로 이동시켜 정합한 결과영상을 도출한다.

상기와 같이 구성된 투시변환을 이용한 탑뷰 주차 지원 방법에 대해서 설명하면 다음과 같다.

도 2는 본 발명에 따른 투시변환을 이용한 탑뷰 주차 지원 방법을 설명하기 위한 동작흐름도이다. 도 3은 본 발명에 적용된 관측 원근 투영을 설명하기 위한 도면이다. 도 4는 본 발명에 따른 투시변환을 이용한 좌표값의 변화를 설명하기 위한 도면이다. 도 5는 본 발명에 따른 특정 좌표값을 이용한 영상 자르기 과정을 설명하기 위한 도면이다. 도 6은 본 발명에 따른 투시변환을 이용한 영상변환을 설명하기 위한 도면이다. 도 7은 본 발명에 따른 전방(a), 좌측(b), 우측(c), 후방(d) 영상을 도시한 도면이다. 도 8은 본 발명에 따른 전방(a), 좌측(b), 우측(c), 후방(d) 투시변환영상을 도시한 도면이다. 도 9는 본 발명에 따른 영상정합과정을 거친 결과영상을 도시한 도면이다.

도 2에 도시된 바와 같이 제어부(150)는 좌우측 카메라(110)(120) 및 전후방 카메라(130)(140)로부터 좌우측 영상 및 전후방 영상을 입력(S110)받는다.

본 발명에 적용된 투시변환방식은 3차원 물체를 2차원의 이미지 평면에 투영한다. 도 3은 원근 투영을 나타내며, 점P(x,y,z)와 이미지 평면상의 점P(x,y)의 관계식은 다음 수식과 같다.

z값이 커질수록 투영면과 원점과의 거리가 가까워지고 대상이 작아진다. 이를 이용하여 다음 수식과 같은 좌표계 변환 식을 구할 수 있다.

또한 이 공식을 이용하여 다음 수식 3과 같은 원근 투영행렬을 구할 수 있다. 원근 행렬에 투영행렬을 곱하여서 z의 값을 이미지 평면의 z값인 D로 만든다.

즉 도 4는 투시변환을 나타내는 도면으로 X1(x,y)은 원본영상의 좌측상단의 좌표 값을 나타내고 이를 투시변환을 하였을 때 변환행렬의 값을 계산하여 X2(x,y)로 좌표 값을 변환한다. 투시변환을 통해 모양을 변형할 때 x, y, z의 축 중에 시점이 되는 z축을 중심으로 변형할 수 있으며, 투시의 변환식은 하기와 같다. z축을 중심으로 β만큼 회전하고 x, y, z 방향으로 l, m, n 만큼 평행 이동하였을 때, 투영하는 중심인 z=-vp라 하고 변환 후의 z=0에 투시되도록 한다.

회전과 평행 이동 후에 z=0인 평면인 새로운 윈도우에 영상을 투시하면 하기와 같은 수식과 같은 결과가 도출된다.

제어부(150)은 상술한 바와 같이 투시변환을 하게 된다.

제어부(150)는 좌우측 카메라(110)(120) 및 전후방 카메라(130)(140)로부터 입력받은 원본 영상의 지면에서 필요한 부분까지의 특정 좌표값을 기준으로 영상의 크기를 변환시킨 후 잘라낸다(S120).

잘라내는 방식에 대해서 좀 더 상세히 기술하면 다음과 같다.

T를 변환이라고 하고 t를 배율이라 할 때 점 X1(x,y)을 t값의 변화에 따라 영상의 크기가 변환되어 위치를 이동시킨다. 영상의 크기를 확장시키고 점 X1(x,y)와 X2(x,y)를 기준으로 제거할 영상 평면을 제외한 지면 영상부분의 좌표 값을 추출하여 새로운 윈도우의 기준인 점 P1(x,y)과 P2(x,y)로 영상을 이동한다. 이를 이용하여 영상에서 필요한 부분을 제외한 나머지 영상을 잘라낸다.

두 번째로 잘라낸 영상은 도 5에 도시된 바와 같이 z값을 이용하여 값의 변화를 통해 카메라의 시점에 변화를 주어 원근효과를 가지게 하고 이를 이용하여 탑뷰 영상을 만든다. Ep(x, y, z)을 가장 처음의 카메라의 시점이라고 하였을 때 Ep1(x, y, z)와 Ep2(x, y, z)까지 z값을 변화함으로써 투영면에서의 원점과의 거리가 변화하게 된다. 이를 이용하여 카메라의 각도와 시점의 정확성을 가질 수 있게 한다. 이와 같은 내용은 하기 수식으로 표현할 수 있다.

제어부(150)는 잘라낸 영상을 변형(S140)시키고, 제어부(150)는 변형된 좌우측 영상 및 전후방 영상을 정합(S150)시켜 출력부(160)를 통해 출력(S160)시킨다.

즉, 도 6에 도시된 바와 같이 남은 영상에서 점 P1, P2, P3, P4의 4개의 점을 기준으로 잡고 투시변환을 이용하여 점 P′1, P′2, P′3, P′4로 영상의 직사각형 형태를 사다리꼴의 영상으로 변형한다.

점 P1(x,y,z)를 P′1(x,y,z)로 변환하기 위한 방법은 하기 수식과 같다.

D는 z의 변화량이고 그림 8에서 z값의 변화에 따라 시점이 바뀌기 때문에 위의 수식에서 z값의 변화에 따라 x와 y축의 값이 변화를 준다.

마지막으로 영상정합을 하게 된다. 전·후·좌·우의 각 4방향의 변환된 영상은 같은 크기를 가지는 영상이다. 각 영상의 좌·우 상단과 하단의 점들의 좌표 값을 추출하고 이를 수식 9와 같은 쌍선형보간법을 통하여 추출한 좌표 값을 새로운 윈도우의 좌표로 이동하여 이를 정합한 결과영상을 도출한다.

P는 변환된 영상을 나타낸다. A는 좌측상단, B는 우측 상단, C는 좌측하단, D는 우측하단을 나타낸다.

제어부(150)는 좌우측 영상 및 전후방 영상에 대해 각각 4개의 기준점을 이용하여 직사각형 형태의 영상을 사다리꼴 영상으로 변환시킨다. 이때, 사다리꼴로 변환된 좌우측 영상 및 전후방 영상은 동일한 크기를 가진다.

제어부(150)는 각 영상의 좌·우 상단과 하단의 점들의 좌표 값을 추출하고 이를 쌍선형보간법에 적용시켜 추출한 좌표 값을 새로운 윈도우의 좌표로 이동시켜 정합한 결과영상을 도출한다.

전술한 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 투시변환을 이용한 탑뷰 주차 지원 시스템
110 : 우측 카메라
120 : 좌측 카메라
130 : 전방 카메라
140 : 후방 카메라
150 : 제어부
160 : 출력부

Claims (8)

1. 차량의 우측에 설치되며, 차량의 우측을 촬영하여 우측 영상을 제공하는 우측 카메라;
   차량의 좌측에 설치되며, 차량의 좌측을 촬영하여 좌측 영상을 제공하는 좌측 카메라;
   차량의 전방에 설치되며, 차량의 전방을 촬영하여 전방 영상을 제공하는 전방 카메라;
   차량의 후방에 설치되며, 차량의 후방을 촬영하여 후방 영상을 제공하는 후방 카메라; 및
   상기 좌우측 카메라 및 상기 전후방 카메라로부터 좌우측 영상 및 전후방 영상을 입력받아 원본 영상의 지면에서 필요한 부분까지의 특정 좌표값을 기준으로 영상의 크기를 변환시킨 후 잘라내고, 잘라낸 영상에 원근효과를 제공한 후 잘라낸 영상에서 4개의 기준점을 정하여 영상을 각각 변형시키고, 변형된 좌우측 영상 및 전후방 영상을 정합시켜 출력부를 통해 출력시키는 제어부;
   를 포함하는 투시변환을 이용한 탑뷰 주차 지원 시스템.
   
2. 제 1 항에 있어서,
   상기 제어부는 좌우측 영상 및 전후방 영상에 대해 각각 4개의 기준점을 이용하여 직사각형 형태의 영상을 사다리꼴 영상으로 변환시키는 것을 특징으로 하는 투시변환을 이용한 탑뷰 주차 지원 시스템.
   
3. 제 2 항에 있어서,
   상기 사다리꼴로 변환된 좌우측 영상 및 전후방 영상은 동일한 크기를 가지는 것을 특징으로 하는 투시변환을 이용한 탑뷰 주차 지원 시스템.
   
4. 제 1 항에 있어서,
   상기 제어부는 각 영상의 좌·우 상단과 하단의 점들의 좌표 값을 추출하고 이를 쌍선형보간법에 적용시켜 추출한 좌표 값을 새로운 윈도우의 좌표로 이동시켜 정합한 결과영상을 도출하는 것을 특징으로 하는 투시변환을 이용한 탑뷰 주차 지원 시스템.
   
5. 탑뷰 주차 지원 시스템을 통해 제공되는 탑뷰 영상 생성 방법에 있어서,
   제어부는 좌우측 카메라 및 전후방 카메라로부터 좌우측 영상 및 전후방 영상을 입력받는 단계;
   상기 제어부는 상기 좌우측 카메라 및 전후방 카메라로부터 입력받은 원본 영상의 지면에서 필요한 부분까지의 특정 좌표값을 기준으로 영상의 크기를 변환시킨 후 잘라내는 단계;
   상기 제어부는 잘라낸 영상에 원근효과를 제공한 후 잘라낸 영상에서 4개의 기준점을 정하여 영상을 각각 변형시키는 단계; 및
   상기 제어부는 변형된 좌우측 영상 및 전후방 영상을 정합시켜 출력부를 통해 출력시키는 단계;를 포함하는 투시변환을 이용한 탑뷰 주차 지원 방법.
   
6. 제 5 항에 있어서,
   상기 제어부는 좌우측 영상 및 전후방 영상에 대해 각각 4개의 기준점을 이용하여 직사각형 형태의 영상을 사다리꼴 영상으로 변환시키는 단계를 더 포함하는 것을 특징으로 하는 투시변환을 이용한 탑뷰 주차 지원 방법.
   
7. 제 6 항에 있어서,
   상기 사다리꼴로 변환된 좌우측 영상 및 전후방 영상은 동일한 크기를 가지는 것을 특징으로 하는 투시변환을 이용한 탑뷰 주차 지원 방법.
   
8. 제 5 항에 있어서,
   상기 제어부는 각 영상의 좌·우 상단과 하단의 점들의 좌표 값을 추출하고 이를 쌍선형보간법에 적용시켜 추출한 좌표 값을 새로운 윈도우의 좌표로 이동시켜 정합한 결과영상을 도출하는 단계를 더 포함하는 것을 특징으로 하는 투시변환을 이용한 탑뷰 주차 지원 방법.
   
   

Images