KR20180083091A

KR20180083091A - Avm 자동 공차 보정 시스템 및 그 방법

Info

Publication number: KR20180083091A
Application number: KR1020170005014A
Authority: KR
Inventors: 이성수
Original assignee: 현대모비스 주식회사
Priority date: 2017-01-12
Filing date: 2017-01-12
Publication date: 2018-07-20
Also published as: KR102466305B1

Abstract

본 발명은 AVM 자동 공차 보정을 수행하는 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 AVM 자동 공차 보정 방법은 레이저 패턴 광원이 지면에 비춰진 영상을 획득하여, 영상에서 패턴 특징점을 검출하는 단계와, 사전에 획득한 특징점 간 거리 정보와 패턴 특징점 간 거리 정보를 이용하여 카메라 자세각을 추정하는 단계 및 추정된 카메라 자세각을 이용하여 AVM 공차 보정을 수행하는 단계를 포함하는 것을 특징으로 한다.

Description

AVM 자동 공차 보정 시스템 및 그 방법{SYSTEM AND METHOD FOR COMPENSATING AVM TOLERANCE}

본 발명은 AVM 자동 공차 보정을 수행하는 시스템 및 그 방법에 관한 것이다.

어라운드 뷰는 4개의 카메라로 자동차의 360도 주변을 모두 촬영하여 하늘에서 내려다보듯 차량 주변을 한 화면에 보여주는 것으로 정의되며, 눈, 비 등 날씨 상황에 의하여 밖이 보이지 않을 때 창문을 열지 않고도 차량 주변을 쉽게 확인할 수 있으며, 블라인드 스팟에 있는 장애물(돌, 기둥)을 확인할 수 있어 사고 위험성을 줄어들게 하는 효과가 있다.

종래 기술에 따르면 실 도로 주행 환경에서 지면 특징점을 이용하여 카메라 자세각을 추정함으로써 AVM 공차를 보정하는 기술이 제안되었는데, 이는 차량 속도, 지면 패턴 형태, 날씨 등 여러 조건에 의해 지면 특징점 검출 성능이 저하되는 문제점이 있었다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 패턴 광원을 조사하여 획득하는 영상 내에서 패턴 특징점을 검출하여, 외부 환경으로부터 강인한 카메라 자세각 추정 및 AVM 자동 공차 보정이 가능한 시스템 및 그 방법을 제공하는 것을 그 목적으로 한다.

본 발명에 따른 AVM 자동 공차 보정 방법은 패턴 광원이 지면에 비춰진 영상을 획득하여, 영상에서 패턴 특징점을 검출하는 단계와, 사전에 획득한 기준 특징점 간 거리 정보와 패턴 특징점 간 거리 정보를 이용하여 카메라 자세각을 추정하는 단계 및 추정된 카메라 자세각을 이용하여 AVM 공차 보정을 수행하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 AVM 자동 공차 보정 시스템 및 그 방법은 레이저 패턴 광원을 이용하여 획득한 영상 내에서 검출한 패턴 특징점 간의 거리를 이용하여 카메라 자세각을 추정하고, AVM 공차를 보정함으로써, 주행 상황에서 외부 환경의 변화에 강인하게 공차 보정 성능을 향상시키는 효과가 있다.

본 발명에 따르면 평평한 지면이 있는 곳에서 용이하게 AVM 자동 공차 보정이 가능하며, AVM 인라인 공차 보정을 대체하는 것이 가능한 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 AVM 자동 공차 보정 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 AVM 자동 공차 보정 방법을 나타내는 순서도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 레이저 패턴 특징점 검출 과정을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 카메라가 임의의 평면에 수직인 상태에서의 패턴 특징점간 기준 거리 측정을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 레이저 패턴 광원의 패턴 특징점 간 거리를 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 카메라 자세각 추정을 위한 연산 과정을 도시하는 개념도이다.
도 8은 본 발명의 실시예에 따른 연속 영상에서의 패턴 특징점의 이동 벡터 방향 검출 및 차량 종축과 카메라 좌표계 간 정렬을 맞추는 과정을 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 AVM 공차 보정의 전후 결과를 나타내는 도면이다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

도 1은 본 발명의 실시예에 따른 AVM 자동 공차 보정 시스템을 나타내는 블록도이고, 도 2는 본 발명의 실시예에 따른 AVM 자동 공차 보정 방법을 나타내는 순서도이다.

패턴 광원부(200)는 레이저 패턴 광원을 조사하는 구성으로서, 카메라(100)와 일체형으로 조립되는 구성이다.

AVM 공차 보정부(300)는 후술하는 과정을 통해, 패턴 광원부(200)가 조사하는 레이저 패턴 광원에 의해 카메라(100)의 영상에서 패턴 특징점을 추출하고, 사전에 획득된 특징점 간 기준 거리(카메라가 평면에 수직인 상태로 획득된 특징점 간 기준 거리) 및 추출된 패턴 특징점 간의 거리를 이용하여 지면 기준 카메라 자세각을 추정하고, 이를 고려하여 AVM 영상 합성을 위한 룩업테이블에 대한 업데이트를 수행한다.

본 발명의 실시예에 따른 AVM 자동 공차 보정 방법은 패턴 광원이 지면에 비춰진 영상을 획득하여, 영상 내에서 패턴 특징점을 검출하는 단계(S100)와, 사전에 획득한 특징점 간 거리 정보와 검출된 패턴 특징점 간 거리 정보를 이용하여 카메라 자세각을 추정하는 단계(S200) 및 추정된 카메라 자세각을 이용하여 AVM 공차 보정을 수행하는 단계(S300)를 포함한다.

S100 단계는 카메라와 일체형으로 형성된 패턴 광원부에 의하여 조사되는 레이저 패턴 광원에 의해 표시되는 특징점을 검출하는 것으로, 패턴 광원에 의해 표시되는 특징점은 이미 알고 있는 특징이기 때문에 카메라 영상에서 용이하게 검출이 가능하다.

본 발명의 실시예에 따른 특징점은 점, 두 선의 교점, 사각형의 중심, 원의 중심 등 다양한 형태로 표현될 수 있으며, 기존의 소형 레이저에 패턴을 생성하는 렌즈를 부착하여, 다양한 패턴 광원을 조사하는 것이 가능하다.

S100 단계에 있어서, 본 발명의 1 실시예에 따른 레이저 패턴 특징점 검출은, 도 3의 (a)에 도시한 바와 같이, 카메라와 일체형으로 구성되는 레이저 패턴 광원의 오프(off) 상태에서 원영상을 획득하고, 레이저 패턴 광원을 온(on) 시켜 도 3의 (b)와 같이 카메라 영상을 획득한다.

이어서, 도 3 (a)의 카메라 영상 및 도 3 (b)의 카메라 영상의 차 영상을 도 3 (c)와 같이 획득하고, 도 3의 (d)와 같이 레이블링(labeling)을 수행한 후, 도 3의 (e)에 도시한 바와 같이 패턴 특징점 별 위치를 계산한다.

S100 단계에 있어서, 본 발명의 2 실시예에 따른 레이저 패턴 특징점 검출은, 도 4의 (a)에 도시한 바와 같이, 카메라와 일체형으로 구성되는 레이저 패턴 광원의 온(on) 상태에서 카메라 영상을 취득하고, 패턴 광원 색상 정보를 이용하여 도 4의 (b)와 같이 패턴 광원을 검출한다. 이어서, 도 4 (c)에 도시한 바와 같이 레이블링 (labeling)을 수행한 후, 도 4 (d)에 도시한 바와 같이 영역 크기를 이용한 노이즈 제거를 수행한 후, 도 4의 (e)에 도시한 바와 같이 패턴 특징점 별 위치를 계산한다.

이 때, 일반적으로 도로는 회색이므로, 회색과 구별되는 패턴 광원 색상이 선택되며, 예컨대 도 3의 (b) 및 도 4의 (a)에 도시한 바와 같이 빨간색의 패턴 광원을 사용한다. 본 발명의 실시예에 따르면, 카메라 영상에서 빨간색과 유사한 영역을 검출하고, 레이블링을 통해 군집화를 수행하여 패턴 특징점 영역에 대한 후보군을 판단한다. 본 발명의 실시예에 따르면 각 레이블의 영역 크기를 계산하여, 임계치 이하인 것은 노이즈로 간주하여 제거하고, 패턴 특징점 별 위치 계산을 수행한다.

도 5는 본 발명의 실시예에 따른 카메라가 임의의 평면으로부터 수직인 상태에서 특징점 간 기준 거리를 측정하는 것을 나타내는 도면이다.

레이저 패턴 광원을 조사하는 패턴 광원부(200)와 카메라(100)가 일체형으로 조립된 상태에서, 도 5에 도시한 바와 같이 카메라(100)의 광축은 평면과 수직인 상태를 이루고, 패턴 광원부(200)는 그 평면에 레이저 패턴 광원을 조사한다.

레이저 패턴 광원에 의해 표시되는 특징점 간 거리는 S200단계에서, 평면(또는 지면) 기준 카메라 자세각을 추정할 때 사용되는 값이다.

본 발명의 실시예에 따르면, 레이저 패턴 광원에 의해 표시되는 특징점(m1, m2, m3)은 적어도 3개이며, 레이저 패턴 광원은 반드시 평면과 수직을 이룰 필요는 없다.

도 6은 본 발명의 실시예에 따른 레이저 패턴 광원의 패턴 특징점 간 거리를 획득하는 것을 나타내는 도면이다.

본 발명의 실시예에 따른 S200 단계는, 원 영상으로부터 렌즈 왜곡 보정 후, 카메라 내부 매개변수 행렬 K와 임의의 카메라 3차원 회전 행렬 R에 의한 영상 회전 변환 수식에 대하여 다음 [수학식 1] 및 [수학식 2]을 이용한다.

도 5에 도시한 바와 같이, 카메라 광축 방향과 수직 관계를 이루는 평면에 레이저 패턴 광원을 조사하여 촬영한 영상으로부터 검출된 패턴 특징점들 간의 거리는 d_ij _{_기준}으로 정의된다.

또한, 도 6에 도시한 바와 같이, 지면에 레이저 패턴 광원을 조사하여 촬영한 영상으로부터 검출된 패턴 특징점들 간의 거리는 d_ij로 정의된다.

도 7은 본 발명의 실시예에 따른 카메라 자세각 추정을 나타내는 개념도로서, S200 단계에서는 전술한 [수학식 2]를 이용하여 3차원 회전 행렬에 의해 영상에서 검출된 패턴 특징점의 위치를 변환할 수 있으며, 아래 [수학식 3]을 만족하는 3차원 회전 행렬을 구한다.

이 때, s는 스케일링 인자이며, 카메라와 레이저 패턴 광원이 투사되는 평면 또는 지면 간의 거리와 관련이 있다.

d_ij _{_기준} 및 d_ij를 구할 때, 카메라와 레이저 패턴 광원이 투사되는 평면 또는 지면 간의 거리가 같다면 스케일링 인자 s는 1이 된다.

아래 [수학식 4] 및 [수학식 5]는 카메라 자세각 Θx, Θy, Θz와 스케일링 인자 s를 구하기 위한 수식으로서, 예컨대 Gauss-Newton 방법 등과 같은 최적화 기법에 따라 그 해를 구할 수 있다.

본 발명의 실시예에 따르면, AVM 시스템을 구축하기 위해 전후좌우 카메라가 장착될 때, 패턴 광원에 의한 특징점을 이용하여 카메라 자세각을 추정하는 것으로, 한 장의 영상만으로는 차량 종축과 카메라 좌표계 간의 정렬을 맞출 수 없다.

따라서, 본 발명의 실시예에 따른 S200 단계는 차량의 직진 상황에서 획득한 2장의 영상을 이용하되, 1장의 영상을 이용하여 패턴 광원에 의한 특징점을 이용한 카메라 자세각을 추정하고, 2장의 영상에 대해 탑-뷰(top-view) 영상으로 변환한다.

탑-뷰영상으로 변환된 영상 내에서 도 8의 (a)와 같이 레이저 패턴 광원에 의한 특징점의 이동벡터 방향을 계산한 후, 이동벡터의 방향이 직진 방향(카메라의 X축 또는 Y축과 평행)이 아닌 경우에는 이를 직진 방향으로 만드는 Z축 회전 각도를 구하고, 탑-뷰 영상 변환 시 도 8의 (b)와 같이 해당 Z축 회전 각도를 반영한다.

본 발명의 실시예에 따른 S300 단계는 추정된 카메라 자세각을 이용하여 AVM 영상 합성의 룩업테이블을 업데이트하는 것으로, 도 9 (a)는 본 발명의 실시예에 따른 AVM 공차 보정 전, 도 9 (b)는 본 발명의 실시예에 따른 AVM 공차 보정 후의 결과를 나타내는 도면이다.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 카메라 200: 패턴 광원부
300: AVM 자동 공차 보정부

Claims

(a) 패턴 광원이 지면에 비춰진 영상을 획득하여, 상기 영상에서 패턴 특징점을 검출하는 단계;
(b) 사전에 획득한 특징점 간 거리 정보와 상기 패턴 특징점 간 거리 정보를 이용하여 카메라 자세각을 추정하는 단계; 및
(c) 상기 추정된 카메라 자세각을 이용하여 AVM 공차 보정을 수행하는 단계
를 포함하는 것을 특징으로 하는 AVM 자동 공차 보정 방법.
제1항에 있어서,
상기 (a) 단계는 카메라와 일체형으로 구성되는 레이저 패턴 광원의 오프 상태에서 획득되는 원영상과, 상기 레이저 패턴 광원의 온 상태에서 획득되는 영상을 획득하고, 차 영상 획득 및 레이블링을 통해 상기 패턴 특징점 별로 위치를 계산하는 것
인 AVM 자동 공차 보정 방법.
제1항에 있어서,
상기 (a) 단계는 상기 레이터 패턴 광원의 온 상태에서 영상을 획득하고, 패턴 광원 색상 정보를 이용하여 패턴 광원을 검출하여, 레이블링 및 영역 크기를 이용한 노이즈 제거를 통해 상기 패턴 특징점 별로 위치를 계산하는 것
인 AVM 자동 공차 보정 방법.
제1항에 있어서,
상기 (b) 단계는 카메라 광축이 평면과 수직인 상태에서 상기 레이저 패턴 광원을 상기 평면에 비추어 획득되는 특징점 간의 거리를 상기 사전에 획득한 특징점 간 거리 정보로 이용하는 것
인 AVM 자동 공차 보정 방법.
제1항에 있어서,
상기 (b) 단계는 카메라 내부 매개 변수 행렬 및 3차원 회전 행렬을 용하여 3축에 대한 상기 카메라 자세각을 추정하는 것
인 AVM 자동 공차 보정 방법.
제1항에 있어서,
상기 (b) 단계는 차량의 직진 상황에서 획득한 복수의 영상을 이용하여 추정된 상기 카메라 자세각과, 탑-뷰 영상으로 변환된 영상 내에서 상기 레이저 패턴 광원에 의한 특징점의 이동벡터 방향을 계산하여, 상기 이동벡터 방향에 대한 회전 각도를 구하여 반영하는 것
인 AVM 자동 공차 보정 방법.
제1항에 있어서,
상기 (c) 단계는 상기 추정된 카메라 자세각을 이용하여 AVM 영상 합성의 룩업테이블을 업데이트하는 것
인 AVM 자동 공차 보정 방법.