KR101891460B1 - 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치 - Google Patents

Abstract

본 발명은 차도 (7) 위에 있는 반사체를 인식하고 평가하기 위한 방법에 관한 것이다. 최소한 하나의 차도 지점 (3)에 대한 최소한 두 개의 디지털 영상을 촬영하는 카메라 (2)를 장착하는 바, 이때 이 영상은 카메라 (2)의 상이한 촬영 각도 (A, B)에서 촬영된다. 그 다음 디지털 영상 처리 알고리즘을 사용하여 최소한 두 개의 디지털 영상에서 최소한 하나의 차도 지점 (3)에 대한 외관의 차이를 평가함으로써 차도 (7)의 난반사와 거울 반사를 감지한다. 개괄적 기법을 사용하여 차도에 있는 반사체를 평가하는 것은 특히 유용하다. 감지된 반사에 따라 차도 상태에 관한 정보를, 특히 차도 (7)이 건조한지, 축축한지 또는 얼었는지를 진술하는 차도 상태에 관한 정보를 조사한다. 또한 본 발명은 상기 방법을 실행하기 위한 장치 (1)과 그러한 장치 (1)을 장착한 차량에 관한 것이다.

Description

차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치{METHOD AND APPARATUS FOR DETECTING AND ASSESSING ROAD REFLECTIONS}

본 발명은 차도 위에 있는 반사체를 인식하고 평가하기 위한 방법에 관한 것이다. 본 발명은 또한 상기 방법을 실행하기 위한 장치와 그러한 장치를 장착한 차량에 관한 것이다.

광학적 영상 촬영 분야에서 이루어진 기술적 발전으로 인해 카메라를 기반으로 한 운전자 지원 시스템을 사용할 수 있게 되었는 바, 이 시스템은 윈드쉴드 뒤에 위치하여 차량 운전자는 자신의 시각적 지각에 따라 차량의 전방을 파악한다. 이때 이 시스템의 기능 범위는 자동 상향등 기능부터 시작하여 속도 제한 표지의 인식 및 표시, 그리고 차선 이탈이나 충돌 위험 시의 경고에까지 이른다.

오늘날 카메라는 순수한 전방 파악에서부터 완전한 360° 어라운드 뷰에 이르기까지 최신형 차량에 장착된 운전자 지원 시스템을 위한 다양한 애플리케이션과 여러 기능에 이용될 수 있다. 이때 디지털 영상 처리장치의 과제는 기본적으로 독립된 기능으로서나 또는 레이더 또는 라이더 센서와 융합하여 대상을 인식하고 분류하여 이를 영상 영역에서 추적하는 것이다. 여기서 의미하는 대상은 대개의 경우 승용차나 화물차, 이륜차 또는 보행자를 가리킨다. 하지만 카메라는 그 외에도 표지판, 차선 표시, 충돌 방벽, 빈 공간 또는 기타 다른 일반적인 대상을 파악한다.

대상의 범주 및 그 객체화의 자동 학습 및 인식은 디지털 영상 처리장치의 가장 중요한 과제 중 하나에 속하며, 이는 현재 가장 발전한 최신 기술이다. 현재 이러한 과제를 거의 인간과 같이 훌륭하게 수행할 수 있는, 상당히 발전한 방법으로 인해 근래에 들어 중심점이 대상의 대체적인 위치 파악에서 정확한 위치 파악으로 이동하였다.
WO 2004/081897 A2는 차량용의 도로표면의 속성 인식장치를 다룬다. 이 도로표면의 속성 인식장치에는 무선 수신기에 입력된 정보를 수신하는 GPS 장치가 장착되어 있다. 또한 도로표면의 속성 인식장치는 차량 운전자가 수신한 입력 정보를 기반으로 하여 지각할 수 있는 어떤 발견을 표시한다.
또한 EP 2 551 794 A2는 차량의 외부 환경을 인식하는 보드 시스템을 보여주는 바, 여기서는 도로 표면의 반사체를 해석한다.
더 나아가 US 2002/191837 A1에서 차량용 장애물 인식 시스템이 알려져 있는 바, 이때 이 장애물 인식 시스템은 두 대의 카메라에서 나온 영상의 유사성을 영상 변환 실행 후 계산한다.
그 외에도 JP 2003 057168 A는 내연차량용 도로표면 인식장치를 보여주는 바, 여기서 이 도로표면 인식장치는 도로 위에 배치된 CCD 카메라에서 획득한 영상 데이터의 공간 주파수 분포를 기반으로 하여 도로 표면의 상태를 구별한다.

현대의 운전자 지원 분야에서는 여러 센서를, 특히 비디오 카메라를 사용하여 차량의 주변을 되도록 정확하고 신뢰할 수 있게 파악하려고 한다. 이러한 주변 정보는 예컨대 관성센서를 통해 수집한 차량의 주행역학적 정보와 함께 현재의 차량 상태와 전반적인 주행 상황을 잘 인식할 수 있도록 한다. 이러한 정보에서 주행 임계 상황이 도출되고, 브레이크 및 스티어링을 통한 주행역학적 개입에 이르기까지 그에 따른 운전자 정보/경고장치가 작동하기 시작한다.

하지만 이용할 수 있는 마찰계수나 차도의 상태를 운전자 지원 시스템을 위해서는 이용할 수 없거나 또는 지정할 수 없기 때문에 경고 및 개입 시점의 해석은 기본적으로 타이어와 차도 사이의 트랙션 잠재력이 높은 마른 차도를 기반으로 하여 이루어진다.

따라서 운전자에 대한 경고나 사고방지 또는 피해경감 시스템에서 시스템측의 개입이 늦게 이루어지므로, 이러한 시스템이 실질적으로 건조한 차도에서만 사고 방지나 인용할 수 있는 피해 경감 효과를 거두게 된다는 문제가 발생한다. 눈이 내리거나 차도가 축축하거나 얼었을 때 미끄럼 방지 능력이 약하다면, 사고를 더 이상 방지할 수 없으며 사고에 의한 피해의 경감 조치도 원하는 효과를 거두지 못한다.

그러므로 본 발명의 과제는 서두에 언급한 방법과 장치를 제공하여, 이를 통해 차도의 상태나 이용할 수 있는 차도의 마찰계수를 진단하여 운전자 경고 및 시스템의 개입이 목적에 적합하게 적절히 이루어져 사고를 방지하는 운전자 지원 시스템의 효과를 높일 수 있도록 하는 것이다.

이러한 과제는 독립된 각 특허 청구 대상에 의해 해결된다. 선호하는 모델 형태는 종속된 청구 대상이다.

청구항 1에 따른 본 발명의 방법은 차도에 있는 최소한 한 점의 반사체를 인식하고 평가하는 역할을 한다. 어떤 프로세스 단계에 따라 최소한 하나의 차도 지점에 대한 최소한 두 개의 디지털 영상을 만드는 카메라를 장착하는 바, 이때 영상 생성은 카메라의 상이한 촬영 각도에서 이루어진다. 그 다음 디지털 영상 처리 알고리즘을 사용하여 최소한 두 개의 디지털 영상에서 최소한 하나의 차도 지점에 대한 외관의 차이를 평가함으로써 차도의 난반사와 거울 반사를 구별한다. 감지된 반사에 따라 차도 상태에 관한 정보를, 특히 차도의 마찰계수를 기술하거나 또는 차도가 건조한지, 축축한지 또는 얼었는지를 진술하는 차도 상태에 관한 정보를 조사한다.

본 발명은 반사체가 일반적으로 세 범주로 나누어지고 화각 또는 카메라 각도가 변할 때 각각 상이한 시각적 효과를 야기한다는 점을 이용한다. 반사는 난반사, 정반사 및 거울 반사로 구별되는 바, 본 발명에서는 마른 차도의 지표가 되는 난반사와 젖은 및/또는 언 차도의 지표인 거울 반사 사이의 차이가 관심이 대상이다. 이러한 방식으로 본 발명에서는 마른 차도와 젖은/언 차도를 구별할 수 있도록 한다.

본 발명에 따른 방법과 본 발명에 따른 장치는 디지털 영상 처리의 알고리즘을 사용하는 바, 그 목적은 차도의 반사체를 감지하여 무엇보다 수분과 얼음을 신뢰할 수 있는 정도로 인식하는 것이다. 본 발명에 따른 방법에서는 단 하나라도, 차도를 나타내는 어떤 차도 지점에 있는 반사체를 인식하고 평가함으로써 현재의 차도 상태에 대한 결론을 내리게 되는 바, 즉 카메라가 두 개의 상이한 각도에서 생성한 차도 지점의 영상에서 디지털 영상 처리 알고리즘을 사용하여 현재의 차도 상태에 대한 어떤 결론을 내릴 수 있도록 하는 어떤 특정한 특정 찾는다.

이 방법은 평가할 수 있는 영상을 생성 또는 촬영할 수 있도록 하는, 조명이 충분한 장면에서 실행하는 것이 좋다. 이 방법의 전제 조건은 최소한 두 개의 영상으로 이루어진 영상 시퀀스에서 카메라 각도의 변화이다. 난반사 반사체(마른 차도의 지표)의 경우 차도 위에 있는 어떤 고정 지점으로의 화각 변화는 어떠한 시각적 효과를 가지지 못하는 바, 왜냐하면 이때는 광선이 모든 방향으로 균일하게 반사되기 때문이다. 카메라 각도가 변해도 외관은 관찰자의 입장에서 볼 때 변하지 않는다. 이와는 달리 거울 반사 반사체(젖은 및/또는 언 차도의 지표)에서는 그 반사체가 산란하여 반사되지 않는 바, 즉 화각이 변할 때 차도에 있는 어떤 고정 지점의 외관이 심하게 변하지 않는다. 카메라 각도가 변하면 차도에 있는 어떤 특정 지점에 있는 반사체의 반사가 변화 후 더 이상 관찰자에게 도달하지 않는다. 이러한 효과를 완전히 활용하기 위해서는 기본적으로 영상에 있는 개별 지점이나 모든 지점 또는 영역을 최소한 두 개의 영상으로 이루어진 시퀀스에서 추적하여 그 외관의 변화를 평가해야 한다.

본 발명에 따른 방법은 차량에서 응용하는 것이 좋다. 이때 카메라를 특히 차량 내부에 장착하여, 선호하는 바로는 윈드쉴드 뒤에 장착하여 차량 운전자의 시각적 지각에 따라 차량의 전방을 파악할 수 있다. 이때 차량의 주행 동작으로 인해 카메라 각도가 상이한 두 개의 영상을 생성할 수 있다.

최소한 두 개의 외관을 디지털 방식으로 직접 촬영하여 이를 디지털 영상 처리의 알고리즘으로 해석할 수 있는 디지털 카메라를 장착하는 것이 좋다 특히 외관을 생성하기 위해 모노 카메라나 스테레오 카메라를 사용할 수 있는 바, 왜냐하면 각 형태에 따라 그 알고리즘에 영상에서 나온 심도 정보도 사용할 수 있기 때문이다. 이와 관련하여, 최소한 하나의 차도 지점에 대한 최소한 두 개의 디지털 영상을 카메라로 촬영하고 이때 스테레오 카메라를 사용하여 상이한 촬영 각도에서 영상을 촬영하도록 고안하는 것이 좋다.

본 발명에 따른 방법이 지니는 특별한 장점은 거울 반사 반사체가 확실하게 그림자(난반사 반사체)와 구별될 수 있도록 한다는 점인 바, 왜냐하면 이 반사체는 영상에서 상이한 이동 거동을 표시하기 때문이다.

또한 차도에 고정된 외관과 관찰자의 상대적 이동으로 인해 차도에서 독립된 외관이 구분됨에 따라 디지털 영상 처리를 기반으로 하여 난반사와 거울 반사가 구별되고 따라서 차도에 있는 그림자와 거울 반사 기간 구조물이 확실히 분리될 수 있도록 고안되어 있다는 장점이 있다.

본 발명에 따른 방법의 유용한 모델 형태에는 차도 상태에 관한 정보를 차량의 운전자 지원 시스템에 전달하고 차도 상태에 관한 정보에 따라 운전자 지원 시스템에 의해 경고 및 개입 시점을 조정하는 추가적인 프로세스 단계가 있다. 따라서 차도 상태에 관한 정보는 사고를 방지하는 운전자 지원 시스템의 정보로 사용되어 운전자 지원 시스템의 경고 및 개입 시점을 아주 효과적으로 조정할 수 있게 된다. 이로써 소위 말하는 고급 운전자 지원 시스템(Advanced Driver Assistance System: ADAS)에 의한 사고 방지 조치의 효과가 현저하게 향상될 수 있다.

또한 차도 상태에 관한 정보가 자동화 시 주행 환경의 중요한 정보로서 사용되며 이 정보가 특히 자율 주행에 적합한 시스템 제어장치에 제공되도록 고안되어 있다는 장점도 있다. 이러한 의미에서 또 다른 유용한 모델 형태에서는 차도 상태에 관한 정보가 자동화된 차량의 기능에 편입되고 주행 상태에 관한 정보에 따라 주행 전략이 조절되고 자동화 장치와 운전자 간에 인계가 이루어지는 시점의 결정이 조절되도록 고안되어 있다.

또 다른 유용한 모델 형태에는 특히 사다리꼴의 형태를 띤 여러 차도 지점에 대해 카메라를 사용하여 여러 각도에서 촬영한 두 개의 디지털 영상을 생성하고, 특히 그 사다리꼴의 형태를 띤 구역을 대체적인 상동에 의해 사각 조감도로 변환하는 프로세스 단계가 추가로 포함되어 있다. 이 모델 형태에서는 차도의 반사체를 감지하기 위해 여러 차도 지점으로 이루어진 구역을 차도를 나타내는 카메라 영상에서 사용한다. 작동 시간 및 정밀도에 대한 각 요건에 따라 이 구역은 구획화된 영역일 수 있다. 하지만 사다리꼴 형태의 구역이 특히 좋은 바, 여기서 이 사다리꼴 형태의 구역은 대체적인 상동에 의해 사각형 조감도(“Bird’s-eye-view”)로 변환된다. 이러한 변환을 이용하여 차도에 반사체가 있는지 여부에 따라 이 구역 내에 있는 여러 외관을 파악하는 데 특히 적합한 특징을 추출할 수 있다.

특히 선호하는 모델 형태에서는 카메라를 차량 내에 장착한다. 첫 번째 영상은 차량의 첫 번째 위치에서 첫 번째 촬영 각도로 생성된다. 차량은 두 번째 위치로 이동한다. 예를 들어 주행하는 바, 이때 이 두 번째 위치는 첫 번째 위치와 다르다. 즉 첫 번째 위치와 두 번째 위치는 서로 일치하지 않는다. 그 다음 최소한 차량의 두 번째 위치에서 최소한 두 번째 영상이 최소한 두 번째 촬영 각도로 생성된다. 그 다음 최소한 두 개의 상이한 촬영 각도에서 촬영한 최소한 두 개의 영상이 각각 하나의 조감도로 변환된다. 그 다음 차량의 주행역학 매개변수를 넣어 계산한 디지털 영상 처리를 수단으로 하여 최소한 두 개의 생성된 조감도를 기록하고 최소한 두 개의 기록된 조감도에서 최소한 하나의 차도 지점에 있는 외관을 비교한다. 이 예시 모델에서는 이 기록이 간단한 병진 및 회전으로 실현될 수 있는 바, 왜냐하면 그 장면이 조감도로 변화되었기 때문이다. 특히 차량 속도, 조향각 등과 같은 각 주행역학 매개변수나 또는 기준 평면 모델 및 주행역학 모델과 같은 모델 전체를 산입하여 보정하거나 그 보정을 지원할 수 있다. 이러한 추가 정보를 사용할 때의 장점은 차도가 균질적이나 강하게 거울 반사를 할 때 특히 잘 드러나는 바, 이러한 차도에서는 순수한 영상 처리를 기반으로 할 때 차량의 이동을 잘못 해석할 수 있기 때문이다.

그 다음 유용하게도 최소한 하나의 차도 지점이나 구역이 지니는 특징을 추출하는 바, 이 특징에 의해 최소한 두 개의 기록된 조감도에서 드러난 외관의 변화를 파악하게 된다. 이러한 추출은 유용하게도 개별 지점이나 구역을 어떤 시퀀스에 편입한 후 이루어지도록 고안되어 있다. 이 추출은 예를 들어 벡터 형태의 분산이나 값 패턴을 통해서와 같이 여러 방식으로 이루어질 수 있다.

특징 벡터는 개별적인 특정으로 이루어져 있으며, 이 벡터는 분류 시스템(분류자)에 의해 최소한 하나의 종류로 분류된다. 이 종류는 “젖은/언”과 “마른/기타”로 나누어지는 것이 좋다. 분류자는 특징 서술자를 인식해야 할 종류를 나타내는 불연속수로 매핑한다.

분류자로서 무작위 결정 포레스트(Random Decision Forest)를 사용하는 것이 좋다. 결정 트리는 계층적으로 배치된 분류자로서, 분류 문제를 반복적으로 분류한다. 루트에서 시작하여 해당 결정을 기반으로 하여 단말 노드에 대한 경로를 추적하는 바, 이 노드에서 최종 분류 결정이 이루어진다. 학습 복잡성으로 인해 내부 노드에 대해 아주 단순한 분류자, 즉 소위 말하는 결정 그루터기(decision stump)를 사용하는 것이 좋은 바, 이 분류자는 입력 공간을 좌표축에 대해 직각으로 분리한다.

결정 포레스트는 트리를 훈련할 때 대개 두 자리에서 무작위로 선택한 요소를 가지고 있는 결정 트리의 집합체이다. 첫째 각 트리는 우연한 선택에 의해 훈련 데이터에 맞게 훈련을 받고, 둘째 각 이진 결정을 위해 허용된 크기의 무작위 선택만 사용된다. 분류 막대 그래프는 단말 노드에 저장되는 바, 이 그래프에 의해 훈련 중 단말 노드에 도달하는 특징 벡터에 대한 최대 가능도(Maximum-Likelihood) 평가가 이루질 수 있다. 분류 막대 드래프는 결정 트리를 통과할 때 어떤 특정한 차도의 상태에 대한 특징 벡터가 해당 단말 노드에 도달하는 빈도를 저장한다. 그 결과 각 종류에 분류 막대 그래프에서 계산한 어떤 확률이 부여된다.

어떤 특징 벡터를 위해 거울 반사 반사체가 있는지 여부를 결정하기 위해 분류 막대 그래프에서 나온, 확률이 가장 높은 종류를 현재의 상태로서 사용하거나 또는 결정 트리에서 나온 정보를 반사가 있는지 여부의 결정에 전달하는 다른 방법을 사용하는 것이 좋다.

이러한 입력 영상당 결정에 최적화를 연결하는 것이 좋다. 이러한 최적화는 시간적 맥락이나 차량이 제공한 다른 정보를 고려할 수 있다. 시간적 맥락은 선행 시간 구간에서 빈도가 가장 높은 종류를 사용하거나 또는 빈도가 가장 높은 종류를 소위 말하는 이력-임계값 방법을 사용하여 결정함으로써 고려된다. 이력-임계값 방법에서는 임계값을 사용하여 차도의 어떤 상태가 다른 상태로 변경하는 것을 조절한다. 이러한 변경은 새 상태에 대한 확률은 충분히 높고 이전 상태에 대한 확률은 그에 비해 낮은 경우에만 이루어진다.

앞에서 기술한, 개별 지점이나 구역에 대한 추출이 이루어지면, 여러 영상의 영상 영역 전체에 대해 특히 변환된 영상 영역, 특징을 계속하여 추출할 수 있다. 이를 위해서는 여러 가지의 계산 방법을 생각할 수 있는 바, 예를 들어 개별 지점의 특징을 가능한 차원 축소 조치와 연결하는 방법(예를 들어 주성분 분석: Principal Component Analysis), 통계적 모멘트를 사용하는 기술하는 방법 또는 막대 그래프를 기반으로 하여 특정한 원형적 값의 발생이나 또는 값 튜플을 포착하는 시각적 단어 군집” 기법(예를 들어, SIFT, HOG, LBP 등)을 생각할 수 있다.

영상을 기록함으로써 특히 방법의 신뢰도를 높일 수 있는 개괄적 기법을 사용하여 기술한 효과를 이용하여 차도에 있는 반사체를 평가하는 것은 특히 유용하다. 이와 동시에 자동차 분야에서 가장 중요한 작동 시간이 단축된다. 이러한 의미에서 본 발명에 따른 방법은 어떤 평균 영상을 획득하기 위해 최소한 두 개의 생성된 영상을, 특히 선호하는 바로는 생성된 조감도를 평균하고 평균 영상의 각 화소와 그에 속하는 칼럼 평균값 사이의 절대 차이 또는 제곱근 차이를 구하도록 구성되어 있다. 이러한 모델 형태는 기본적으로 어떤 구역이 영상 영역 전체를 관통하여 움직인다고 가정한다. 여기서는 어떤 특정한 구역 자체를 고려하는 것이 아니라 그러한 구역이 지나온 경로를 고려한다. 따라서 두 개 이상의 영상을 생성하는 것을 특히 선호한다. 또한 투시도에 직선형 및 연속적 변화가, 특히 차량이 균일하게 직선으로 움직인다고 가정한다. 이러한 가정을 특히 문맥적 지식으로서의 차량 이동 매개변수에 의해 확인할 수 있다. 이러한 전제 조건 아래서 개별 영상을, 특히 변환된 개별 영상을 연속된 영상에서 평균하여 평균 영상을 획득한다. 저장 공간을 최소화하거나 최근 이벤트에 더 많은 가중치를 부여하기 위해 이동 평균도 계산할 수 있다. 그 다음 평균 영상의 각 화소와 그에 속하는 칼럼 평균값 사이에 절대 차이 또는 제곱근 차이를 구한다.

칼럼 평균값을 고려하여 평균 영상의 특징을 추출할 수 있는 바, 이때 막대 그래프를 기반으로 하여 특정한 원형적인 값의 발생이나 또는 값 튜플을 포착하는 “시각적 단어 군집”(Bag-of-Visual-Words) 기법을 응용하는 것이 좋다.

예를 들어 통계적 모멘트에 의해서나 또는 특히 선호하는 형태로는 “Bag-of-Visual-Words” 기법에서 사용하는 로컬 특징(특히 “국부 이진 패턴”(Local Binary Pattern”)에 의해 거울 반사 반사체가 있다고 평가하기 위해 이렇게 생성된 영상을 사용할 수 있다. 이러한 개괄적 기법의 근거는 반사체가 난반사하는 경우 차도 위를 지나는 구역이 직선형으로 이동할 때의 칼럼 평균값에 상당히 근사한 반면, 반사체가 거울 반사를 하는 경우에는 지나는 구역의 외관 변화가 칼럼 평균값과 상당한 차이를 보인다는 가정이다.

이 방법은, 위에서 이미 언급한 바와 같이, 기본적으로 차량이 직선 동작으로 빠져나간다는 가정에 바탕을 두고 있다. 코너링 시 관찰한 영상 구역을 회전 및/또는 절단을 통해 적절히 조절할 수 있으며, 이러한 조절을 통해 그 효과가 코너링 시에도 칼럼별로 영향을 끼치도록 할 수 있다. 말하자면 이러한 기법에서는 외관의 변화를 평가하기 위해 개별 구역을 직접 추적하지 않고 그 구역이 지나온 경로(영상 칼럼)을 분석한다. 이러한 방법의 장점은 기록되지 않는 차량의 동작(피칭/롤링 동작)에 대해 신뢰도가 높다는 점인 바, 이러한 동작은 특히 확실하게 오류 없이 평가할 수 있도록 한다. 또 다른 장점은 필요한 계산 시간으로서, 이 시간은 첫 번째 방법과는 달리 상당히 감소된다. 이때 이 계산은 평균과 몇몇 뺄셈으로 제한된다.

그 외에도 카메라의 매개변수가 외관의 변화를 평가하는 데 개입한다는 장점이 있다. 이렇게 함으로써 방법의 신뢰도가 향상된다. 특히 시퀀스에서 구역의 외관이 변화되도록 하고 (또는 밝기가 변화되도록 하고) 반사체의 감지에 부정적인 영향을 끼칠 수 있는, 항상 변하는 조명 시간을 고려한다.

차도 위의 최소한 한 지점에 있는 반사체를 인식하고 평가하기 위한, 본 발명의 청구항 13에 따른 장치에는 여러 촬영 각도에서 최소한 하나의 차도 지점에 대한 최소한 두 개의 디지털 영상을 촬영하기 위해 설치된 카메라가 있다. 이때 이 장치의 설치 목적은 디지털 영상 처리의 알고리즘을 사용하여 최소한 하나의 차도 지점에 있는 외관의 차이를 평가하고 이를 통해 차도에 있는 난반사 반사체와 거울 반사 반사체를 감지하는 것이다.

본 발명에 따른 장치의 장점과 유용한 모델 모델 형태에 대해서는 반복을 피하기 위해 본 발명에 따른 방법과 관련되어 있는, 이미 언급한 모델을 참조하라고 지시하고 있는 바, 이때 본 발명에 따른 장치에는 그러한 방법을 구현하는 데 필요한 요소가 장착되어 있거나 또는 그 장치를 확장된 방식으로 설치할 수 있다.

끝으로 본 발명의 청구항 14에 따른 차량에는 위에서 언급한, 본 발명에 따른 장치가 장착되어 있다.

아래에서는 도면을 이용하여 본 발명의 예시 모델을 더 상세히 설명하겠다. 도면 설명:
도 1a 및 b 본 발명에 따른 예시 모델을 구현하는 동안 본 발명에 따른 장치에 대한 도시 도면.

도 1a와 1b에 의해 표시된, 본 발명에 따른 장치 1에는 디지털 카메라 2가 장착되어 있는 바, 이 장치는 차도 지점 3에 대한 최소한 두 개의 디지털 영상을 상이한 촬영 각도에서 촬영하기 위해 장착된 장비로서, 이 도면에는 각 카메라 2의 상이한 두 위치 A와 B가 도시되어 있다.

카메라 2는 여기서 도시되지 않은 차량 내부에 배치되어 있으므로, 즉 이 차량의 윈드쉴드 뒤에 장착되어 있으므로 차량 운전자의 시각적 지각에 따라 차량의 전방을 파악할 수 있다. 차량의 주행 동작에 의해 이 카메라는 첫 번째 위치에서 두 번째 위치로 이동한다. 카메라 2가 도 1a와 1b의 각 우측에 도시한 촬영 각도 A를 담당하는 첫 번째 위치에서 차도 지점 3의 첫 번째 영상을 각각 촬영한다. 차량은 도 1a와 1b의 각 좌측에 도시된 촬영 각도 B를 담당하도록 카메라 2의 촬영 각도가 보정되는 두 번째 지점으로 이동하는 바, 이 각도 B에서 차도 지점 (3)의 두 번째 영상을 각각 촬영한다.

도 1a에서는 도시한 바와 같이, 촬영 각도가 A에서 B로 변경될 때 차도 지점 3의 영상이 변하지 않는 바, 왜냐하면 입사한 광선 4가 마른 차도 표면 5에서 모든 방향으로 균일하게 반사되기 때문이다. 이는 건조한 차도 표면의 지표인 난반사에 해당된다. 장치 1은 첫 번째 및 두 번째 영상을 서로 비교한다. 디지털 영상 처리의 알고리즘을 사용하여 장치 1은 첫 번째 및 두 번째 영상이 서로 차이가 없거나 또는 어떤 범위 내에서만 차이가 있다는 것을, 즉 반드시 난반사가 있다는 것을 인식한다. 인식하거나 감지된 난반사를 바탕으로 하여 장치 1은 차도 상태에 관한, 차도 표면 5가 마른 상태라는 것이 포함되어 있는 정보를 조사한다. 이 값은 도면에 도시하지 않은 운전자 지원 시스템에 전달된다.

이와는 달리 도 1b에는 도시한 바와 같이, 촬영 각도가 A에서 B로 변경될 때 차도 지점 3의 영상이 변하는 바, 왜냐하면 입사한 광선 6이 얼거나 젖은 차도 표면 7에서 어떤 일정한 방향으로만 반사되기 때문이다. 이는 젖거나 언 차도 표면의 지표인 거울 반사에 해당된다. 장치 1은 첫 번째 및 두 번째 영상을 서로 비교한다. 디지털 영상 처리의 알고리즘을 사용하여 이 장치는 첫 번째 및 두 번째 영상이 서로 상당히 다르다는 것을, 즉 반드시 거울 반사가 있다는 것을 인식한다. 인식하거나 감지된 거울 반사를 바탕으로 하여 이 장치는 차도 상태에 관한, 차도 표면이 젖거나 언 상태라는 것이 포함되어 있는 정보를 조사한다. 이 값은 도면에 도시되지 않은, 경고 및 개입 시점을 젖거나 언 차도 표면에 맞추어 조절하는 운전자 지원 시스템으로 전달된다.

Claims (14)

1. 차도 (5, 7)의 최소한 한 지점 (3)에 있는 반사체를 인식하고 평가하는 방법으로서, 다음의 프로세스 단계:
   - 카메라 (2)의 장착;
   - 카메라 (2)에 의한 최소한 하나의 차도 지점 (3)에 대한 최소한 두 개의 디지털 영상 촬영, 여기서 이러한 영상을 카메라 (2)의 상이한 촬영 각도 (A, B)에서 촬영한다;
   - 디지털 영상 처리 알고리즘을 사용하여 최소한 두 개의 디지털 영상에서 최소한 하나의 차도 지점 (3)에 대한 외관의 차이를 평가함으로써 차도의 난반사와 거울 반사 (5, 7)를 구별하고
   - 감지된 반사에 따라 차도 상태에 관한 정보 조사
   를 포함하고,
   어떤 평균 영상을 획득하기 위해 최소한 두 개의 촬영한 영상을 평균하고 평균 영상의 각 화소와 그에 속하는 칼럼 평균값 사이의 절대 차이 또는 제곱근 차이를 구하는 것을 특징으로 하는 반사체를 인식하고 평가하는 방법.
2. 제 1 항에 있어서,
   카메라 (2)를 사용하여 최소한 하나의 차도 지점 (3)에 대한 최소한 두 개의 디지털 영상을 촬영하는 바, 이때 스테레오 카메라를 사용하여 상이한 촬영 각도 (A, B)에서 영상을 촬영하는 것을 특징으로 하는 반사체를 인식하고 평가하는 방법.
3. 제 1 항에 있어서,
   - 디지털 영상 처리를 바탕으로 차도에 고정된 외관과 관찰자의 상대적 이동으로 인해 차도에서 독립된 외관을 구분함으로써 난반사와 거울 반사를 구별하고 따라서
   - 차도에 있는 그림자와 거울 반사 기간 구조물이 확실히 분리되는 것을 특징으로 하는 반사체를 인식하고 평가하는 방법.
4. 제 1 항에 있어서,
   - 차도 상태에 관한 정보를 차량의 운전자 지원 시스템에 전달하고
   - 차도 상태에 관한 정보에 따라 운전자 지원 시스템에 의해 경고 및 개입 시점을 조정하는 것을 특징으로 하는 반사체를 인식하고 평가하는 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   - 차도 상태에 관한 정보가 자동화된 차량의 기능에 편입되며
   - 주행 상태에 관한 정보에 따라 주행 전략이 조절되고 자동화 장치와 운전자 간에 인계가 이루어지는 시점이 결정되는 것을 특징으로 하는 반사체를 인식하고 평가하는 방법.
6. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   - 사다리꼴 형태의 구역을 이루는 여러 차도 지점 (3)에 대한 최소한 두 개의 디지털 영상을 카메라 (2)를 사용하여 상이한 각도 (A, B)에서 촬영하며
   - 이 사다리꼴 형태의 구역을 대체적인 상동에 의해 사각 조감도로 변환하는 것을 특징으로 하는 반사체를 인식하고 평가하는 방법.
7. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   - 차량 내에 카메라 (2) 장착;
   - 차량의 첫 번째 위치에서 첫 번째 촬영 각도 (A)로 첫 번째 영상 촬영;
   - 첫 번째 위치와 다른, 두 번째 위치로 차량 이동;
   - 최소한 차량의 두 번째 위치에서 최소한 두 번째 촬영 각도 (B)로 최소한 두 번째 영상 촬영;
   - 최소한 두 개의 상이한 촬영 각도 (A와 B)에서 촬영한 최소한 두 개의 영상이 각각 하나의 조감도로 변환;
   - 차량의 주행역학 매개변수를 넣어 계산한 디지털 영상 처리를 수단으로 하여 최소한 두 개의 생성된 조감도 기록;
   - 최소한 두 개의 기록된 조감도에서 최소한 하나의 차도 지점 (3)에 있는 외관 비교하는 것을 특징으로 하는 반사체를 인식하고 평가하는 방법.
8. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   최소한 하나의 차도 지점 (3)이나 구역이 지니는 특징을 추출하는 바, 이 특징에 의해 최소한 두 개의 기록된 조감도에서 드러난 외관의 변화를 파악하는 것을 특징으로 하는 반사체를 인식하고 평가하는 방법.
9. 제 8 항에 있어서,
   - 추출된 특징에서 특징 벡터를 구성하고
   - 분류자를 사용하여 특징 벡터를 어느 한 종류로 분류하는 것을 특징으로 하는 반사체를 인식하고 평가하는 방법.
10. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    - 최소한 두 개의 생성된 조감도를 수단으로 하여 평균 영상 생성 및
    - 평균 영상의 각 화소와 그에 속하는 칼럼 평균값 사이의 절대 차이 또는 제곱근 차이를 구하는 것을 특징으로 하는 반사체를 인식하고 평가하는 방법.
11. 제 10 항에 있어서,
    칼럼 평균값을 고려하여 평균 영상의 특징을 추출할 수 있는 바, 이때 막대 그래프 (histogram) 에 기초하여 특정한 원형적인 값들 또는 값 튜플을 검출하는 "시각적 단어 군집" (Bag-of-Visual-Words) 기법을 이용하여, 칼럼 평균값을 고려하여 평균 영상의 특징을 추출하는 것을 특징으로 하는 반사체를 인식하고 평가하는 방법.
12. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    카메라의 매개변수가 외관의 변화를 평가하는 데 개입하는 것을 특징으로 하는 반사체를 인식하고 평가하는 방법.
13. 차도 (5, 7) 위의 최소한 한 지점 (3)에 있는 반사체를 인식하고 평가하기 위한 장치 (1)로서, 이 장치에는 여러 촬영 각도 (A, B)에서 최소한 하나의 차도 지점 (3)에 대한 최소한 두 개의 디지털 영상을 촬영하기 위해 설치된 카메라 (2)가 있는 바,
    여기서 장치 (1)을 장착한 목적은
    - 디지털 영상 처리의 알고리즘을 사용하여 최소한 하나의 차도 지점 (3)에 있는 외관의 차이를 평가하고 이를 통해 차도에 있는 난반사 반사체와 거울 반사 반사체를 감지하며
    - 감지된 반사에 따라 차도 상태에 관한 정보를 조사하는 것이고,
    장치 (1)를 장착한 목적은 어떤 평균 영상을 획득하기 위해 최소한 두 개의 촬영한 영상을 평균하고 평균 영상의 각 화소와 그에 속하는 칼럼 평균값 사이의 절대 차이 또는 제곱근 차이를 구하는 것을 특징으로 하는 반사체를 인식하고 평가하기 위한 장치 (1).
14. 제 13 항에 따른 장치 (1) 가 장착된 차량.

Images