KR20130004895A

KR20130004895A - 주행 중인 차량의 롤링각 평가 방법

Info

Publication number: KR20130004895A
Application number: KR1020127016556A
Authority: KR
Inventors: 미하엘 발터
Original assignee: 콘티 테믹 마이크로일렉트로닉 게엠베하
Priority date: 2009-11-25
Filing date: 2010-11-16
Publication date: 2013-01-14
Also published as: JP2013512150A; EP2504209B1; US8824741B2; CN102648115A; EP2504209A1; DE102009055776A1; WO2011063785A1; KR101729912B1; DE112010003422A5; US20120281881A1; CN102648115B

Abstract

본 발명은 주행 중인 차량(7) 내에서 롤링 각을 평가하는 방법에 관한 것으로서, 이 방법은 다음의 단계로 나누어져 있다. 단계 a)에서는 카메라(8)를 사용하여 차량 주변을 순차적으로, 특히 차량 전방의 차도(1)을 촬영한다. 단계 b)에서는 카메라의 사진에서 차도 표면에 있는 어떤 표지(S1-S6)를 최소한 하나 추출하는바, 즉 그 표지를 측정하여 추적한다. 단계 c)에서는 하나 또는 그 이상인 연속적인 카메라 사진의 표지(S1-S6) 중 최소한 한 표지의 변경된 위치로부터 카메라(8)이 롤링 각과 관련하여 어느 방향으로 회전한 상태인가를 측정한다. 단계 d)에서는 롤링 각의 값을 평가한다. 이를 위해 단계 d1)에서처럼 차량의 속도(v)를 고려하고 카메라(8)의 모사 모델을 고려하여 롤링 각을 직접 평가하거나 또는 단계 d2)에서처럼 롤링각이 카메라(8)의 회전을 보정할 때까지 롤링 각을 어떤 수정 각도씩 계속 반복하여 증가시키거나 감소시킨다. 이로부터 평가된 롤링 각이 수정 값 전체로서 산출된다.

Description

주행 중인 차량의 롤링각 평가 방법 {METHOD FOR ESTIMATING THE ROLL ANGLE IN A TRAVELLING VEHICLE}

본 발명은 카메라를 사용하여 주행 중인 차량의 롤링각을 평가하는 방법에 관한 것으로서, 예를 들어 운전자 지원 기능이 장착되어 있는 차량에 사용될 수 있다.

운전자 지원 기능으로는 예컨대 교통 표지판 인식, 자동 라이트 제어, 차량 및 보행자 인식, 나이트-뷰 시스템, 지능형 정속주행장치(ACC), 주차 지원 시스템이나 자동 주차 시스템 및 차선 인식 기능을 들 수 있다.

차선인식시스템에서는 카메라가 차량의 어디에 설치되어 있는가를 정확히 알아야 차선의 폭, 차선 내에 위치한 물체 및 요잉각을 평가할 수 있다. 이러한 시스템은 구체적으로 말하여 카메라의 높이, 롤링각 (또는 롤각), 피치각 및 요잉각을 측정해야 하는 바, 이는 대개의 경우 비싼 테이프 아웃 보정 또는 서비스 보정을 통해 측정되어야 하는 것들이다.

차선인식시스템은 피치각 및 요잉각을 평가할 수 있지만 이는 롤링각을 알고 있는 경우에만 해당되는 바, 왜냐하면 롤링각에 오류가 있으면 이로 인해 피치각 및 요잉각에 오류가 발생하기 때문이다. 롤링각을 롤각이라고 하기도 한다.

하지만 근본적인 문제는 카메라를 차량에 설치한 후 그 위치를 신중하게 보정한 경우에도 한편으로는 롤링각에 약간의 오류가 발생하여 그대로 유지되며, 또 다른 한편으로는 카메라의 설치 위치를 나중에 변경할 때나 또는 예컨대 적재할 때

차량이 한쪽으로 기울어지면 롤링각에 편차가 발생할 수 있다는 점이다.

DE 10 2006 018 978 A1에는 차량 고유의 롤 강성 및 요잉각을 측정하는 장치를 사용하여 동적 롤 각을 측정하는 방법이 제시되어 있다.

본 발명의 과제는 주행하는 차량 내에서 현재의 롤링각을 정확하게 평가하는 방법을 제시하는 것이다.

이 과제는 본 발명의 독립된 특허 청구항에 따른 방법에 의해 해결된다. 본 발명의 하위 청구항은 본 발명을 유용하게 더 발전시킨 사항이다.

이하에서는 주행 중인 차량 내에서 롤링각을 평가하는 방법을 다음의 단계로 나누어 기술하였다. 단계 a)에서는 카메라를 사용하여 차량 주변을 순차적으로, 특

히 차량 전방의 차도를 촬영한다. 단계 b)에서는 카메라의 사진에서 차도 표면에 있는 어떤 표지를 최소한 하나 추출하는바, 즉 그 형태와 위치를 측정하여 추적한다. 여기서 표지란 차도 표면에 있는 어떤 형상물로서, 예컨대 차도에 있는 어떤 표시의 시작 또는 끝을 가리킨다. 단계 c)에서는 하나 또는 그 이상인 연속적인 카메라 사진의 표지 중 최소한 한 표지의 변경된 위치로부터 카메라가 롤링 각과 관련하여 어느 방향으로 회전한 상태인가를 측정한다. 단계 d)에서는 롤링 각의 값을 평가한다. 이를 위해 단계 d1)에서처럼 (자기 차량의) 차량 속도를 고려하고 카메라의 모사 모델을 고려하여 롤링 각을 직접 평가하거나 또는 단계 d2)에서처럼 롤링 각이 카메라의 회전을 보정할 때까지 롤링 각을 어떤 수정 각도씩 계속 반복하여 증가시키거나 감소시킨다. 롤링 각을 반복하여 평가하는 경우, 이 방법을 시작할 때 롤링 각을 0으로 정하여 평가하는 것을 선호한다. 이 방법으로 진행되는 동안 (현재 평가된) 롤링 각은 단계 c)에서 확인된 회전 방향에 따라 하나 또는 그 이상인 연속적 카메라 사진의 표지 중 최소한 한 표지의 변경된 위치에서 추론하여 롤링각이 카메라의 회전을 충분히 보정한다고 판단될 때까지 어떤 수정 각도씩 수정된다. 수정된 롤링각이 각도 해상도에서 더 이상 영(예를 들어 0.1°또는 0.5°보다 작은 편차)과 편차가 나지 않을 경우, 충분히 보정되었다고 판단할 수 있다. 여기에서 절대적으로 평가된 롤링 값이 전체 수정 값으로서 산출되는바, 이때 실행된 수정의 횟수를 지정된 수정 각도와 곱하거나 또는 수정 각도의 값이 여러 가지일 경우 실행된 수정 전체의 합계로서 산출된다.

본 발명의 장점은 롤링 각을 주행하는 차량 내에서 최신의 상태로 정확하게 평가할 수 있다는 점이다. 본 발명에 따른 방법에서는 요잉율을 측정하는 장치가 필요하지 않다. 테스트 중 최대 7도까지의 롤링 각 편차를 이 방법에 의해 평가하여 보정 할 수 있었다.

본 발명의 기본적인 발상은 롤링 각이 0인 경우 카메라가 촬영한, 차도의 표면을 나타내는 영상의 어느 한 행 안에 있는 세계 좌표의 모든 점이 카메라에 대해 동일한 거리를 차량의 세로 방향 투영에서 나타낸다는 것이다. 이러한 발상은 도로가 기본적으로 평평하다는 가정을 전제로 하고 있다. 이는 도로에 대한 "평면 기하학적" 가정과 일치한다. 여기서 세계 좌표란 실제적인 공간의 좌표로 이해되고,

예를 들어 카메라 영상의 행과 열로 재현되는 영상 좌표는 그 반대이다. 카메라의

모사 모델은 실제 세계(세계 좌표)의 점이 어떻게 영상에 모사(영상 좌표)되는가

를 나타낸다. 그 영상 좌표를 알고 있는 점은 카메라의 완전한 모사 모델을 알고 있을 때 세계 좌표의 물점으로 재투영될 수 있다. 정의에 의해 표지가 차도 표면

에 있을 수 있고 또 차도의 표면이 평평하다고 가정하기 때문에 어떤 표지의 위치

를 세계 좌표에서 측정하기 위해서는 단순한 재투영만으로도 충분하다. 본 발명

에서는 특히 차량의 세로 방향에 있는, 차도 표면의 점과 실제 공간의 카메라에

있는 점 사이의 거리 성분에 관심을 가진다.

롤링 각이 영이 아니면 카메라로 촬영한, 차도의 표면을 나타내는 영상의 어느 한 행 안에 있는 세계 좌표의 점은 차량의 세로 방향 투영에서 증가하거나 또는 감소하는 거리를 가지게 된다. 예를 들어, 영상에서 어느 한 행에 있는 차도의 점이 실제 공간에서 좌측에서 우측으로 계속 더 멀어지면 카메라는 그 주시 방향과 관련하여 좌측으로 회전한 상태이다.

상점에 대해 차량의 세로 방향 투영에서 거리를 측정하기 위해 특히 상점의 광학적 흐름으로부터 흐름 벡터의 길이를 분석할 수 있다. 예를 들어 영상에서 어느 한 행에 있는 차도 점의 수직 흐름 벡터 성분이 좌측에서 우측으로 증가하면 카메라는 우측으로 회전한 상태이다.

본 발명에서 선호하는 형태에서는 단계 d1)에서 카메라의 모사 모델을 고려하여 표지와 카메라 사이의 거리를 차량의 세로 방향에서 측정한다. 이를 위해 예컨대 카메라 영상에서 측정한, 조감도로 표시한 표지가 재투영에 의해 재현되고 표지와 카메라 사이의 거리는 차량의 세로 방향에서 이 재현에 의해 측정될 수 있다.

본 발명에서 선호하는 방식에서는, (차량의 세로 방향에서 카메라에 대한) 표지의 측정된 거리와 차량의 속도로부터 시간 Δt 후의 표지의 거리를 예측한다.

본 발명에서 선호하는 방식에서는, 첫 번째 영상을 촬영한 다음 시간 Δt 후 촬영한 연속하는 영상으로부터 카메라와 동일한 표지 사이의 거리가 차량의 세로 방향에서 재투영에 의해 측정된다.

본 발명에서 선호하는 방식에서는, 측정한 거리와 예측된 거리 사이의 편차로부터 카메라의 모사 모델을 고려하여 롤링각이 평가된다. 이때 그 예측에 의해 롤링 각이 0인 어떤 거리가 나오고 어떤 편차가 있으면 롤링각을 직접 측정한다고 가정하는 바, 이러한 직접 측정에서는 카메라가 예측한 거리에 해당하는 어떤 거리

를 측정하였을 것이다.

이때 차량 속도의 값이 확실하지 않으면 롤링 각을 평가할 때 후속 오류가 발생할 수 있다. 그러므로 본 발명에서 선호하는 모델에서는 롤링 각을 측정할 때 차량의 속도에서 측정의 확실성을 우선으로 한다는 의미에서 알려진 오류를 고려하고, 이로 인하여 발생한 롤링 각의 오류를, 특히 칼만-필터를 이용하여, 평가한다.

본 발명에서 선호하는 형태에서는 단계 b)에서 최소한 하나의 첫 번째 표지를 영상의 좌측 반면에서, 그리고 이와 동일한 영상이나 후속하는 영상에서 두 번째 표지를 영상의 두 번째 반면에서 측정하여 추적한다. 또한 차량의 속도를 카메라의 영상이 촬영되는 각 시점에 저장된다. 단계 c)에서 각 표지에 대해 별도로 각 차량의 속도와 모사 모델을 고려하여 현재 평가한 카메라의 롤링 각으로 표지의 거리를 예측한다. 표지의 거리는 후속하는 영상 내에서 각각 측정된다. 첫 번째 표지에 대해 측정한 표지 거리를 이용하여 예측한 표시 거리의 편차를 두 번째 표지의 표지 거리에 대한 편차와 비교하여 카메라(롤링 각)가 어느 방향으로 회전한 상태인가를 측정한다. 롤링 각을 단계 d2)에 따라 반복하여 평가한다. 이러한 형태에는 좌측 및 우측의 표지 편차를 비교함으로써 차량 속도의 오류를 보정할 수 있다는 장점이 있다. 따라서 이 방법은 정확도가 상당히 높다.

본 발명에서 선호하는 모델 형태에서는 단계 b)에서 최소한 하나의 첫 번째 표지를 좌측 영상에서, 그리고 동일하거나 또는 후속 영상의 우측 하단 1/4 분면에서 두 번째 표지를 측정하고 추적한다. 또한 차량의 속도가 카메라의 영상이 촬영되는 각 시점에 저장된다. 단계 c)에서는 각 표지에 대해 영상 내의 수직 표지 위치 변경이 차량의 각 속도에 비례하여 정해진다. 이 비율을 영상의 양 반면에 대해 비교하는 바, 이때 카메라가 그 주시 방향을 기준하여 이 비율이 더 큰 영상의 반면 방향으로 회전한 상태라고 추론한다. 롤링각을 단계 d2)에 따라 반복하여 평가한다. 이 방법에는 차량의 절대 속도에 있는 오류에 거의 영향을 주지 않는다는 장점이 있다.

또한 본 발명의 대상은 카메라와 본 발명에 따른 롤링 각을 측정하는 수단을 사용하여 주행하는 차량 내에서 롤링각을 측정하는 장치이다.

이하에서 모델 예시와 도면을 사용하여 본 발명을 좀 더 자세히 기술하겠다.

도 1은 롤링각 측정을 위한 방법의 흐름도.
도 2는 표지가 있는 차도의 카메라 사진.
도 3은 카메라 사진에 의해 조감도로 재현된 상황의 재현을 도시하는 도면.

도 1의 흐름도는 롤링각을 평가하는 방법의 한 예시이다.

단계 a)에서는 주행하는 차량 내에서 카메라 (8)을 사용하여 차량 주변과 그 전방을 촬영한다. 단계 b)에서는 카메라 사진에서 차도 표면에 있는 최소한 하나의 표지(S1-S6)를 측정하여 그 위치를 영상에서 결정한다. 여기서 표지(S1-S6)란 차도 표면에 있는 어떤 형상물로서, 예컨대 차도에 표시된 어떤 표지의 시작(S2,S4) 또는 끝(S3)을 가리킨다. 연속하는 단계 a)에서 또 다른 영상을 촬영하여, 그 영상에서 표지(S1-S6)의 현재 위치를 영상에서 측정한다. 단계 c)에서는 최소한 한 표지(S1-S6)의 변경된 위치에서 카메라(8)이 회전한 상태인지 여부와 회전한 상태라면 롤링각과 관련하여 어느 방향으로 회전한 상태인가를 측정한다. 카메라(8)이 회전한 상태이면 단계 d)에서 롤링 각을 수정한다. 롤링 각의 평가는 단계 d)의 수정값 합계에서 산출된다.

도 2는 단계 a)에서 촬영된 영상과 같은 차량 주변의 카메라 사진에 대한 한 예시이다. 차량은 차도(1)에서 주행하고 있으며, 이 차도는 좌측(2) 및 우측(3)의 실선 차선으로 한정되어 있다. 차도(1)의 중앙은 중앙 점선으로 표시되어 있다. 차도의 표면에서 많은 표지를 인식할 수 있다. 그 표지(S1-S6)이 그림으로 표시되어 있다. 단계 b)에서는 표지(S1-S6)이 감지된다. 표지(S1)은 좌측 차도의 측면에 추가로 나타낸 표시이다. 표지(S2)와 (S4) 또는 (S3)는 중앙 차선 표시의 시작 또는 끝이다. 표지(S5)는 도로 표면에 발생한 균열이며 표지(S6)은 차도의 우측 실선 (3)에 있는 형상물로서, 예를 들어 오염물질 또는 구멍이다. 보조선(4)와 (5)

는 영상의 수평 또는 수직 중앙을 나타낸다. 영상의 행과 열은 보조선(5)와 (4)에

대해 평행이다. 수평선(6)이 수평으로 뻗어 있지 않다는 사실을 보고 운전자는

이 영상에서 롤링 각이 영이 아닌 상태에서 촬영되었으며 카메라(8)이 좌측으로 회전된 상태라는 것을 알게 된다.

도 3은 카메라 사진에 의해 조감도로 재현된 상황을 나타낸다. 카메라 사진에 의해 조감도(birdview 또는 top-down view)로 재현되어 있고 세계 좌표에 표시와 표지(S1-S6)이 있는 이 영상은 예를 들어 간격이 5cm인 영상 좌표에서 만들어지는바, 이는 현재 평가된 롤링 각을 고려하며 카메라(8)의 모사 모델에서 측정한 재투영에 의해 이루어진다. 차도 표면에 있는 표지(S1-S6)은 이 재현에서 추출된다. 이로부터 세계 좌표에서 있는 차량의 세로축 방향에서 표지(S1-S6)과 카메라(8) 사이의 거리(d)가 결정된다. 표지(S1-S6)의 세계 좌표 내에서의 위치를 차량의 자체 속도 (v)를 고려하여 나중에 예측한다. 이때 나중의 시점 Δt란 이 나중의 Δt에 카메라 (8)로 후속 영상을 촬영하는 시점을 말한다. 즉 이 나중의 시점 Δt는 첫 번째 영상 (도 2)의 촬영 시점 t=0보다 영상 주파수의 역수에 여러 배를 곱한 값만큼 나중(예를 들어, 40ms)이다. 이 나중의 시점 Δt에 촬영한 영상은 본 발명의 도면에 도시되어 있지 않다. 시점 t=0에 세계 좌표에서 카메라 (8)과의 거리가 d_0인 어느 한 표지(S1-S6)에 대한 어떤 시점 Δt에 대한 예측은 예컨대 다음의 등식에서 산출된다:

d_est = d_0 - v.Δt

여기서, v는 시점 t=0에 측정한 차량의 속도이다.

이 표지(S1-S6)의 세계 좌표 내에서의 실제 거리(d_meas)는 나중의 시점 dt에 촬영한 영상의 해당 재현에서 측정된다. 예측한 표지 거리에 대한 측정된 표지 거리의 비율은 다음과 같이 측정된다:

d_meas/d_est.

또 다른 형태의 모델에서는 이러한 방식으로 영상의 좌측 반면(S1-S3)와 우측 반면(S4-S6)에 있는 표지가 좌측 (N_links > N)과 우측 (N_rechts > N) 영상 반면에 대한 각각의 두 연속하는 영상 사이의 표지 거리 변경을 충분한 횟수 N(예를

들어, N=10 또는 N=50)으로 예측하고 측정할 때까지 분석된다. 측정된 표지 거리에 대한 예측 거리의 비율이 영상의 좌측 반면 및 우측 반면에 대해 측정된다

(d_meas_links/d_est 및 d_meas_rechts/d_est). 그 다음 평가된 롤링 각의 값을 다음과 같이 업 데이트할 수 있다:

- d_meas_links/d_est > d_meas_rechts/d_est인 경우, 롤링 각을 어떤 수정 각도만큼 올린다.

- d_meas_links/d_est < d_meas_rechts/d_est인 경우, 롤링 각을 어떤 수정 각도만큼 내린다.

- 그 외의 경우에는 롤링 각을 그대로 유지한다.

수정 각도는 롤링각 평가의 해상도를 결정하는 지정된 상수 값(예를 들어, 0.05 또는 0.1°)일 수 있거나, 또는 수정 각도를(d_meas_links/d_est-d_meas_rechts/d_est)의 값에 비례하는 값이라고 가정할 수 있다. 예측한 표지 거리(d_est)에 대한 측정한 표지 거리(d_meas)의 비율을 계산함으로써 차량의 속도 변경이 끼치는 영향을 고려한다.

1 : 차도
2 : 차도의 좌측 실선 차선
3 : 차도의 우측 실선 차선
4 : 영상의 수평 중심선
5 : 영상의 수직 중심선
6 : 수평선
7 : 차량
8 : 카메라
S1-S6 : 표지 1 - 6
d : 세계 좌표에서 차량의 세로축 방향에서의 표지와 카메라 사이의 거리
v : 차량의 속도

Claims

카메라 (8)을 이용하여 주행 중인 차량 (7) 내에서 롤링각을 평가하는 방
법으로서,
a) 카메라 (8)을 사용하여 차량의 주변을 연속적으로 촬영하는 단계,
b) 카메라의 사진으로부터 차도의 표면에 있는 표지(S1-S6) 중 최소 한 하나를 측정하고 추적하는 단계,
c) 하나 또는 그 이상인 연속적인 카메라 사진의 표지(S1-S6) 중 최소 한 한 표지의 변경된 위치로부터 카메라(8)가 롤링 각과 관련하여 어느 방향으로 회전한 상태인가를 측정하는 단계, 및
d) 롤링각의 값을 1) 차량의 속도 (v)와 카메라 (8)의 모사 모델을 고려하여 직접 평가하거나 또는 2) 평가한 롤링 각이 카메라 (8)의 회전을 충분히 보정할 때까지 어떤 수정 각도씩 반복하여 수정하는 단계를 포함하는,
방법.
제 1 항에 있어서,
단계 d1)에서 카메라(8)의 모사 모델을 고려하여 표지(S1-S6) 중 최소한 한 표지와 카메라(8) 사이의 거리(d)가 차량의 세로 방향에서 측정되는,
방법.
제 2 항에 있어서,
표지(S1-S6)의 측정된 거리(d)와 차량의 속도(v)로부터 표지(S1-S6)의 시간Δt 후 거리(d_est)가 예측되는,
방법.
제 3 항에 있어서,
첫 번째 영상을 촬영한 다음 시간Δt 후 촬영한 연속하는 영상으로부터 카메라(8)과 동일한 표지(S1-S6) 사이의 거리(d_meas)가 차량의 세로 방향에서 재투영에 의해 측정되는,
방법.
제 4 항에 있어서,
측정한 거리(d_meas)와 예측한 거리(d_est)의 편차로부터 카메라(8)의 모사 모델을 고려하여 롤링 각이 평가되는,
방법.
제 1 항에 있어서,
단계 b)에서 첫 번째 표지(S1-S3) 중 최소한 한 표지가 영상의 좌측 반면에서, 그리고 동일한 영상 또는 후속하는 어느 한 영상의 우측 반면에서 두 번째 표지(S4-S6)를 측정하여 추적하는바, 이때 카메라 사진을 촬영하는 각 시점의 차량 속도(v)가 저장되며,
단계 c)에서 각 표지(S1-S6)에 대해 별도로 차량의 각 속도 (v)와 카메라(8)의 모사 모델을 고려하여 표지의 거리를 예측(d_est)하며 후속하는 영상에서 표지의 거리를 측정(d_meas)하고, 현재 평가한 롤링 각을 고려하여 측정한 표지 거리(d_meas)와 예측한 표지 거리(d_est)를 영상의 양 반면에서 비교함으로써 카메라(8)이 어느 방향으로 회전한 상태인가를 측정하고, 롤링 각을 단계 d2)에 따라 반복하여 평가하는,
방법.
제 1 항에 있어서,
단계 b)에서 첫 번째 표지(S1-S3) 중 최소한 한 표지가 영상의 좌측 반면에서, 그리고 동일한 영상 또는 후속하는 어느 한 영상의 우측 1/4 분면에서 두 번째 표지(S4-S6)를 측정하여 추적하는바, 이때 카메라 사진을 촬영하는 각 시점의 차량 속도(v)가 저장되며,
단계 c)에서 표지(S1-S6) 각각에 대해 영상 내의 표지 위치 변경을 차량의 각 속도(v)에 비례하여 정하며 이 비율을 영상의 양 반면에 대해 비교하는바, 이때 카메라(8)은 이 비율의 더 큰 영상의 반면 방향으로 회전한 상태라고 추론하고, 롤링 각을 단계 d2)에 따라 반복하여 평가하는,
방법.
카메라(8)과 제 1 항 내지 제 7 항 중 어느 한 항에 따른 롤링 각을 평가하는 방법이 있는 평가장치를 포함한, 주행 중인 차량(7) 내에서 롤링 각을 평가하기 위한 장치.