KR101729473B1

KR101729473B1 - 카메라 공차 보정 장치 및 방법

Info

Publication number: KR101729473B1
Application number: KR1020160008876A
Authority: KR
Inventors: 조용석
Original assignee: (주)캠시스
Priority date: 2016-01-25
Filing date: 2016-01-25
Publication date: 2017-04-24

Abstract

본 발명에서는 카메라의 공차 보정 장치 및 방법이 개시된다. 본 발명의 카메라 공차 보정 장치는 차량의 주변을 촬영하는 하나 이상의 카메라; 상기 카메라의 높이 데이타를 센싱하는 높이 센서; 상기 카메라의 높이를 조정하는 높이 조절부; 초기 공차 보정 시의 상기 카메라의 초기 높이 데이타를 저장하는 저장부; 및 상기 높이 센서에서 센싱된 높이 데이타가 상기 초기 높이 데이타와 상이한 경우, 상기 높이 조절부를 제어하여 상기 카메라의 높이를 초기 높이로 조절하는 제어부를 포함할 수 있다. 본 발명에 따르면, 최초 공차 보정시의 룩업 테이블을 변동시키지 않고, 카메라의 높이를 초기 높이로 자동 조절하여, 왜곡된 탑뷰 영상을 원래대로 복구함으로써, 시간적 공간적 제약 없이 빠른 시간안에 공차 보정을 수행할 수 있는 이점이 있다.

Description

카메라 공차 보정 장치 및 방법{APPARATUS AND METHOD FOR COMPENSATING CAMERA}

본 발명의 실시예들은 카메라 공차 보정 장치 및 방법에 관한 것으로서, 더욱 상세하게는 탑뷰 영상의 왜곡을 보정하기 위한 카메라 공차 보정 장치 및 방법에 관한 것이다.

AVM(Around View Monitor) 시스템은 차량의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 자동차의 주변 환경을 탑뷰(Top View) 형태로 화면상에 표시한다. 이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백 미러를 보지 않고도 편리하게 주차할 수 있다.

다수의 카메라에서 촬영되는 영상을 이용하는 AVM 시스템은 차량에 카메라 설치 시 공차를 보정하는 작업이 필수적이다. 차량의 제조사는 AVM 시스템이 장착된 차량에 대하여 탑뷰(Top-View) 화면이 정합성 기준에 맞도록 초기 공차보정 후 차량을 출고한다.

그러나, 차량 출고 후 차량을 일정 기간 운행하면, 타이어의 공기압, 탑승자의 무게, 각종 차량 내의 무게 등에 의해서 카메라 높이가 달라지게 될 수 있다. 도 1은 종래의 카메라의 높이 변화로 인해 탑뷰 영상이 왜곡된 경우의 일례를 도시한 도면이다. 도 1을 참조하면 좌측 카메라의 높이가 변동됨에 따라 탑뷰 영상의 좌측 면의 차선이 어긋나 보이고, 카메라간 사각영역이 확대되어 운전자에게 불편함을 초래하게 된다.

이와 같은 탑뷰 영상에서 발생하는 왜곡을 보정하기 위해, 선행문헌 (한국등록번호 0948886)에는 차량 주변의 패턴을 인식하여 탑뷰 영상의 왜곡을 보정하는 방법을 개시하고 있다. 그러나, 이와 같은 방법은 패턴을 이용하여 공차 보정을 수행하는 전문업체에 차량을 맡겨야 하며, 전문업체에서는 카메라의 높이 변화에 따른 공차 보정 데이터를 재연산하는 데 많은 시간이 소요되는 점에서 차주 입장에서는 공차 보정을 위한 장소 및 시간에 제약이 따르는 문제가 있다.

상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 시간 및 공간상의 제약 없이 탑뷰 영상의 왜곡 보정이 빠르게 수행될 수 있도록 하는 카메라 공차 보정 장치 및 방법을 제안하고자 한다.

본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.

상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 차량의 주변을 촬영하는 하나 이상의 카메라; 상기 카메라의 높이 데이타를 센싱하는 높이 센서; 상기 카메라의 높이를 조정하는 높이 조절부;

초기 공차 보정 시의 상기 카메라의 초기 높이 데이타를 저장하는 저장부; 및 상기 높이 센서에서 센싱된 높이 데이타가 상기 초기 높이 데이타와 상이한 경우, 상기 높이 조절부를 제어하여 상기 카메라의 높이를 초기 높이로 조절하는 제어부를 포함하는 카메라 공차 보정 장치가 제공된다.

상기 차량 시트, 트렁크 등에 각각 장착되어 무게 데이터를 센싱하는 하나 이상의 무게 센서를 더 포함하며, 상기 제어부는 상기 무게 센서들 중 적어도 하나의 무게 센서에서 센싱되는 무게 값의 변동될시 상기 높이 조절부를 제어할 수 있다.

상기 저장부는 초기 공차 보정시의 상기 무게 센서에서 센싱된 초기 무게 데이터를 더 저장하며, 상기 제어부는 상기 무게 센서들 중 초기 설정된 무게가 센싱되는 무게 센서 방향에 설치된 제1 카메라에서 센싱되는 높이 데이터가 초기 높이 데이터보다 작은 경우, 상기 제어부는 상기 제1 카메라에 대응하는 타이어의 공기압 체크 메시지를 생성할 수 있다.

상기 저장부는 상기 초기 공차 보정에 의해 생성된 룩업 테이블 정보를 더 저장하며,

상기 높이 센서에서 센싱되는 카메라들의 높이가 상기 초기 높이 데이터들과 일치하는 경우, 상기 룩업 테이블 정보를 이용하여 상기 카메라들로부터 입력된 원 영상을 하나의 탑뷰 영상으로 변환하는 탑뷰 영상 생성부를 더 포함할 수 있다.

본 발명의 다른 실시예에 따르면, 카메라들의 높이 데이터를 각각 센싱하는 단계; 상기 센싱된 높이 데이터와 저장부에 기 저장된 초기 공차 보정시의 상기 카메라들의 초기 높이 데이터를 비교하는 단계; 및 상기 카메라들 중 상기 센싱된 높이 데이터와 상기 초기 높이 데이터가 상이한 카메라의 높이를 상기 초기 높이 데이터에 대응되는 높이로 조절하는 단계를 포함하는 카메라 공차 보정 방법이 제공된다.

상기 비교하는 단계에서 상기 카메라들의 센싱된 높이 데이터와 상기 카메라들의 초기 높이 데이터가 모두 일치하는 경우, 상기 저장부에 저장된 초기 공차 보정시의 룩업 테이블 정보를 이용하여 상기 카메라들로부터 입력된 원영상을 하나의 탑뷰 영상으로 변환하는 단계를 더 포함할 수 있다.

상기 센싱된 높이 데이터와 상기 초기 높이 데이터가 상이한 제1 카메라에 대응되는 위치의 무게 데이터를 센싱하는 단계; 상기 센싱된 무게 데이터와 상기 제1 카메라의 초기 무게 데이터를 비교하는 단계; 및 상기 센싱된 무게 데이터와 상기 초기 무게 데이터가 동일한 경우, 상기 제1 카메라에 대응되는 위치의 타이어의 공기압 체크 메시지를 생성하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 최초 공차 보정시의 룩업 테이블을 변동시키지 않고, 카메라의 높이를 초기 높이로 자동 조절하여, 왜곡된 탑뷰 영상을 원래대로 복구함으로써, 시간적 공간적 제약 없이 빠른 시간안에 공차 보정을 수행할 수 있는 이점이 있다.

도 1은 종래의 카메라의 높이 변화로 인해 탑뷰 영상이 왜곡된 경우의 일례를 도시한 도면이다.
도 2는 본 발명의 일 실시예예 따른 카메라 공차 보정 장치의 일례를 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 카메라 공차 보정 방법의 일련의 과정을 도시한 순서도이다.
도 4은 본 발명의 다른 실시예에 따른 카메라 공차 보정 방법의 일련의 과정을 도시한 순서도이다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 이하의 설명에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 도면에서 본 발명과 관계없는 부분은 본 발명의 설명을 명확하게 하기 위하여 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.

이하, 첨부된 도면들을 참고하여 본 발명에 대해 설명하도록 한다.

도 2는 본 발명의 일 실시예예 따른 카메라 공차 보정 장치의 일례를 도시한 블록도이다.

도 2를 참조하면, 본 발명의 공차 보정 장치(100)는 카메라(101), 높이 센서(103), 높이 조절부(105), 무게 센서(107), 탑뷰 영상 생성부(109), 저장부(111), 제어부(113)를 포함할 수 있다.

카메라(101)는 차량의 전후좌우에 각각 설치되어 차량 주변의 원 영상을 촬영하여 이를 전기적 신호로 변환한다.

카메라(101)는 어안렌즈(fish eye lens)를 포함하는 광각 카메라로 구현될 수 있다. 광각 카메라는 단순한 광학기구뿐 아니라, 광학 신호를 전기적 신호로 변환하는 이미지 센서 등의 전기적 장치를 포함하는 개념이다. 예컨대, 대상 물체가 차량인 경우 광각 카메라는 차량의 전방/후방/좌측면/우측면에 배치될 수 있으며, 각 카메라는 그 촬영 영역이 인접하는 카메라 사이에서 적어도 일부분 이상 겹치도록 배치될 수 있다.

높이 센서(103)는 카메라(101)와 인접하게 배치되어, 카메라(101)들의 높이 데이터를 센싱한다. 높이 센서(103)는 적외선, 초음파, 광학 센서 등 카메라(101)의 높이를 측정하기 위한 다양한 센서등을 포함할 수 있다.

높이 조절부(105)는 제어부(113)의 제어에 의해 카메라(101)들의 높이를 조절하며, 카메라(101)들에 대응되어 각각 형성될 수 있다. 높이 조절부(105)는 카메라(101)의 높이를 조절할 수 있는 다양한 기계적 수단으로 구현될 수 있다. 일례로, 높이 조절부(105)는 레일 및 레일을 움직이는 구동부를 포함할 수 있으며, 카메라(101)가 레일 상에 설치되며, 구동부에 의해 움직이는 레일에 의해 카메라(101)의 높이가 조절될 수 있을 것이다.

저장부(111)에는 이와 같은 초기 공차 보정시의 카메라들의 초기 높이 데이터 및 탑뷰 영상을 생성하기 위한 룩업 테이블(LUT, Look Up Table)이 저장될 수 있다.

여기서, 룩업 테이블은 복수의 카메라(101)로부터 입력되는 복수의 원영상을 탑뷰 영상으로 변환할 때, 이용되며, 각 원영상의 화소 좌표들과 탑뷰 영상의 화소 자표들 간의 대응관계에 대한 매핑 데이터를 저장하는 수단이다.

종래에는 차량 출고 후, 탑승자의 무게, 타이어의 공기압, 각종 차량등에 설치되는 짐들에 의해 카메라들에 높이 변화가 발생하여 탑뷰 영상에 왜곡이 발생하는 문제가 있었다. 종래에는 이와 같은 문제를 해결하기 위해 왜곡된 탑뷰 영상이 복원 되도록 룩업 테이블을 업데이트하여 공차 보정을 수행하였다. 그러나, 이와 같은 과정은 카메라에 입력되는 영상에 특정 패턴이 포함되어야 하며, 카메라에 수신되는 영상 보정을 통한 추가적인 연산이 필요하다는 점에서 공간적, 시간적 제약이 따르는 문제가 발생한다.

그러나, 본 발명의 제어부(113)는 카메라(101)들 중 높이 센서(103)에서 센싱된 높이 데이터가 초기 높이 데이터와 상이한 카메라가 있는 경우, 높이 조절부(105)를 이용하여 해당 카메라의 높이를 초기 높이로 조절함으로써, 왜곡된 탑뷰 영상을 원래대로 복구한다.

즉, 본 발명은 최초 공차 보정시의 룩업 테이블을 변동시키지 않고, 카메라의 높이를 초기 높이로 자동 조절하여, 왜곡된 탑뷰 영상을 원래대로 복구함으로써, 시간적 공간적 제약 없이 빠른 시간안에 공차 보정을 수행할 수 있는 이점이 있다.

무게 센서(107)는 차량 시트, 트렁크 등에 각각 장착되어 무게 데이터를 센싱한다.

본 발명의 일 실시예에 따르면, 제어부(113)는 무게 센서(107)들 중 적어도 하나의 무게 센서에서 센싱되는 무게 데이터가 변동될 시 높이 조절부(150)를 제어하여 카메라의 높이를 조절할 수 있다.

차량의 주행 중에는 지면의 상황에 따라 높이 센서(103)에서 측정되는 높이 데이터의 변화가 발생할 수 있으므로, 본 발명에서는 차량에 사람이 탑승하거나, 트렁크에 짐이 실림에 따라 무게 센서(107)에서 센싱되는 무게 데이터가 변동될 시에만 카메라의 높이가 조절되도록 할 수 있다. 즉, 정차시에만 공차 보정이 수행되도록 할 수 있다.

본 발명의 일 실시예에 따르면, 저장부(111)에는 초기 공차 보정시의 무게 센서(107)들에서 센싱된 초기 무게 데이터가 더 저장될 수 있다. 이때, 제어부(113)는 상기 무게 센서(107)들 중 초기 무게 데이터가 센싱되는 무게 센서 방향에 설치된 제1 카메라에서 센싱되는 높이 데이터가 초기 높이 데이터보다 작은 경우, 제어부(113)는 상기 제1 카메라에 대응하는 타이어의 공기압 체크 알람 경보를 생성할 수 있다.

즉, 차량의 보조석에 아무도 탑승하지 않아, 보조석에 설치된 무게 센서에 초기 무게 데이터가 센싱됨에도, 보조석 측에 설치된 카메라의 높이가 초기 높이 데이터보다 작은 경우에는, 보조석 측의 타이어의 공기압이 초기 공차 보정시보다 약해졌음을 의미한다. 따라서, 제어부(113)는 카메라(101)의 높이 조절과 함께, 운전자에게 보조석 측의 타이어의 공기압 체크 알람 경보를 제공할 수 있을 것이다.

탑뷰 영상 생성부(109)는 높이 센서(103)에서 센싱되는 카메라(101)들의 높이가 카메라(101)들의 초기 높이 데이터들과 일치 하는 경우, 저장부(111)에 저장된 룩업 테이블 정보를 이용하여 카메라(101)들로부터 입력된 원영상을 하나의 탑뷰 영상으로 변환한다.

카메라(101)의 높이에 변화가 발생하는 경우, 제어부(113)는 카메라의 공차 보정 중이라는 안내 메시지를 사용자에게 제공할 수 있으며, 탑뷰 영상 생성부(109)는 카메라(101)들의 높이가 초기 높이 데이터와 일치하는 경우에만 탑뷰 영상을 생성함으로써, 왜곡된 탑뷰 영상이 사용자에게 노출되는 것을 방지하도록 한다. 왜곡된 탑뷰 영상이 사용자에게 제공되는 경우, 사용자의 운행에 방해가 될 수도 있기 때문이다. 일례로, 주차된 차량을 출차 할 시 왜곡된 탑뷰 영상으로 인해 주변 차량과 충돌이 발생할 수 있는 것을 미연에 방지하도록 한다.

도 3은 본 발명의 일 실시예에 따른 카메라 공차 보정 방법의 일련의 과정을 도시한 순서도이다.

도 3을 참조하면, 우선 카메라들의 높이 데이터를 각각 센싱한다(S100).

이어서, 카메라들의 센싱된 높이 데이터들과, 저장부(111)에 저장된 카메라들의 초기 공차 보정시의 초기 높이 데이터들을 각각 비교한다(S110).

카메라들 중 센싱된 높이 데이터와 초기 높이 데이터가 상이한 카메라가 존재하는 경우, 제어부(113)는 높이 조절부(105)를 제어하여, 해당 카메라의 높이를 초기 높이 데이터에 대응되는 높이로 조절한다(S120).

카메라들의 센싱된 높이 데이터와 초기 높이 데이터들이 모두 일치하는 경우, 탑뷰 영상 생성부(109)는 저장부(111)에 저장된 룩업 테이블 정보를 이용하여 카메라들로부터 입력된 원영상을 하나의 탑뷰 영상으로 변환한다(S130).

도 4은 본 발명의 다른 실시예에 따른 카메라 공차 보정 방법의 일련의 과정을 도시한 순서도이다.

도 4에서 단계 S110 내지 S130은 도 3과 동일하므로, 그 이후의 단계에 대해서만 설명하도록 한다.

단계 S110에서 카메라들 중 센싱된 높이 데이터와 초기 높이 데이터가 상이한 카메라가 존재하는 경우, 해당 카메라에 대응되는 위치의 무게를 센싱한다(S140).

이어서, 센싱된 무게 데이터와 초기 공차 보정시의 해당 카메라에 대응되는 위치의 초기 무게 데이터를 비교한다(S150).

제어부(113)는 센싱된 무게 데이터와 초기 무게 데이터가 동일한 경우, 공해당 카메라에 대응되는 위치의 타이어 공기압 체크 메시지를 생성한다(S160).

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

100: 공차 보정 장치 101: 카메라
103: 높이 센서 105: 높이 조절부
107: 무게 센서 109: 탑뷰 영상 생성부
111: 저장부

Claims

차량의 주변을 촬영하는 하나 이상의 카메라;
상기 카메라의 높이 데이타를 센싱하는 높이 센서;
상기 카메라의 높이를 조정하는 높이 조절부;
상기 카메라들에 대응되는 위치의 차량시트 및 트렁크 중 적어도 하나에 장착되어 무게 데이터를 센성하는 하나 이상의 무게 센서;
초기 공차 보정 시의 상기 카메라의 초기 높이 데이터 및 상기 무게 센서에서 센싱된 초기 무게 데이터를 저장하는 저장부; 및
상기 높이 센서에서 센싱된 높이 데이타가 상기 초기 높이 데이타와 상이한 경우, 상기 높이 조절부를 제어하여 상기 카메라의 높이를 초기 높이로 조절하는 제어부를 포함하되,
상기 제어부는 상기 무게 센서들 중 초기 무게 데이터가 센싱되는 무게 센서에 대응되는 위치의 제1 카메라에서 센싱된 높이 데이터가 초기 높이 데이터보다 작은 경우, 상기 제1 카메라의 위치에 대응되는 타이어의 공기압 체크 알람 경보를 생성하는 카메라 공차 보정 장치.
삭제
삭제
제1항에 있어서,
상기 저장부는 상기 초기 공차 보정에 의해 생성된 룩업 테이블 정보를 더 저장하며,
상기 높이 센서에서 센싱되는 카메라들의 높이가 상기 초기 높이 데이터들과 일치하는 경우, 상기 룩업 테이블 정보를 이용하여 상기 카메라들로부터 입력된 원 영상을 하나의 탑뷰 영상으로 변환하는 탑뷰 영상 생성부를 더 포함하는 것을 특징으로 하는 카메라 공차 보정 장치.
카메라들의 높이 데이터를 각각 센싱하는 단계;
상기 센싱된 높이 데이터와 저장부에 기 저장된 초기 공차 보정시의 상기 카메라들의 초기 높이 데이터를 비교하는 단계;
상기 카메라들 중 상기 센싱된 높이 데이터와 상기 초기 높이 데이터가 상이한 카메라의 높이를 상기 초기 높이 데이터에 대응되는 높이로 조절하는 단계;
상기 센싱된 높이 데이터와 상기 초기 높이 데이터가 상이한 제1 카메라에 대응되는 위치의 무게 데이터를 센싱하는 단계;
상기 센싱된 무게 데이터와 상기 제1 카메라의 초기 무게 데이터를 비교하는 단계; 및
상기 센싱된 무게 데이터와 상기 초기 무게 데이터가 동일한 경우, 상기 제1 카메라에 대응되는 위치의 타이어의 공기압 체크 메시지를 생성하는 단계를 포함하는 카메라 공차 보정 방법.
제5항에 있어서,
상기 비교하는 단계에서 상기 카메라들의 센싱된 높이 데이터와 상기 카메라들의 초기 높이 데이터가 모두 일치하는 경우, 상기 저장부에 저장된 초기 공차 보정시의 룩업 테이블 정보를 이용하여 상기 카메라들로부터 입력된 원영상을 하나의 탑뷰 영상으로 변환하는 단계를 더 포함하는 카메라 공차 보정 방법.
삭제