KR20040053344A - 영상을 향상시켜서 차량 안전을 개선하기 위한 방법 및 장치 - Google Patents

영상을 향상시켜서 차량 안전을 개선하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20040053344A
KR20040053344A KR10-2004-7007644A KR20047007644A KR20040053344A KR 20040053344 A KR20040053344 A KR 20040053344A KR 20047007644 A KR20047007644 A KR 20047007644A KR 20040053344 A KR20040053344 A KR 20040053344A
Authority
KR
South Korea
Prior art keywords
images
image
control device
pixels
driving scene
Prior art date
Application number
KR10-2004-7007644A
Other languages
English (en)
Inventor
콜메나레즈안토니오
구타스리니바스브이.알.
트라코빅마이로스라브
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040053344A publication Critical patent/KR20040053344A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

차량의 운전자에게 운전 장면을 디스플레이하기 위한 시스템 및 방법이 개시된다. 이 시스템은 시계(field of view)를 갖으며 차량의 진행 방향으로 향하는 적어도 하나의 카메라를 포함한다. 이 카메라는 운전 장면의 영상들을 포함하는데, 이 영상들은 차량의 정면에 시계의 화소들로 이루어진다. 제어 장치는 카메라로부터의 영상들을 수신하며 수신된 영상들을 포함하는 화소들에 솔트 및 페퍼 잡음 필터링을 적용한다. 이러한 필터링은 날씨 조건에 의해서 악화될 때 카메라로부터 수신된 운전 장면의 영상의 질을 개선한다. 디스플레이는 필터링 동작을 적용한 후에 제어 장치로부터 영상들을 수신하며 운전 장면의 영상들을 운전자에게 디스플레이한다.

Description

영상을 향상시켜서 차량 안전을 개선하기 위한 방법 및 장치{Method and system for improving car safety using image-enhancement}
오늘날의 많은 운전은 많은 노력을 요구하는 환경에서 일어난다. 차량들 및 그에 따른 교통 밀도의 증가는 운전자가 운전중에 반응해야 하는 외부 자극의 량을 증가시켰다. 이에 더해서, 오늘날의 운전자는 가끔 더 짧은 시간에 운전 조건을 인지, 처리 및 반응해야 한다. 예를들어, 속도를 내거나 또는 공격적인 운전자들은 변화하는 조건 (예를들면, 도로에 난 구멍, 인근 차량의 갑작스런 차선 변경 등)에 반응하기 위한 시간이 거의 없으며 또한 인근 차량들에게 자신들에 대해서 반응할 시간을 거의 주지 않는다.
매일 그러한 많은 노력을 요구하는 운전 조건들에 마주치는 것에 더해서, 운전자들은 또한 극도로 변화하는 날씨 조건들 하에서 운전해야 한다. 전형적인 예는 기습적인 눈보라인데, 시야가 갑자기 그리고 심하게 방해받을 수 있다. 다른 예들로는 폭우 및 햇볕으로 인한 눈부심으로서, 이 또한 유사하게 시야가 방해받을수 있다. 컴퓨터를 이용한 시야, 패턴 인식, 영상 처리 및 인공 지능(AI)을 포함하는 디지털 신호 처리 기술들에서의 진보에도 불구하고, 환경 조건들이 정상 시야를 방해할 때는 운전자들이 매우 중요한 결정을 내리는데는 거의 도움이 되지 못했다.
캐딜락 드빌(Cadillac DeVille)에서 현재 사용되는 한가지 운전자 보조 시스템인, 군사용 "나이트 비전(Night Vision)"은 야간에 차량의 정면에 있는 물체들을 검출하는데 사용된다. 차량 정면의 사람들, 다른 동물들 및 차량들로부터의 높은 적외선 방출의 형태인 열은 카메라(포커싱 광학)를 이용하여 포착되며 적외선 검출기상에 집속된다. 검출된 적외선 방출 데이터는 프로세싱 전자장치로 전달되어 물체의 단색성 영상을 형성하는데 사용된다. 이 물체의 영상은 운전자의 주변 시야에서 후드의 정면 근방의 헤드-업 디스플레이에 의해서 투사된다. 야간에, 차량 헤드라이트들의 범위를 벗어날 수 있는 물체들은 미리 검출되어 헤드-업 디스플레이를 통해서 투사될 수 있다. 이 시스템은 http://www.gm.com/company/gmability/safety/ crash_avoidance/newfeatures/night_vision.html의 문서 "드빌은 야간 시야의 안전성을 제공할 수 있는 최고의 차가 될 것임"에 더 상세히 기술된다.
드빌의 나이트 비전 시스템은 심한 날씨에는 성능이 떨어지거나 또는 완전히 장애가 일어날 수 있다. 왜냐하면 방출되는 적외선이 눈이나 비에 의해서 차단되거나 또는 흡수될 수 있기 때문이다. 눈보라 속이나 다른 혹독한 날씨 조건에서 그러한 물체들을 검출 및 표시하는데 동작했다 할지라도, 드빌의 나이트 비전 시스템의 다른 결점들 중에서, 디스플레이는 물체(적외선 센서를 통해 검출되도록 충분히 "뜨거워"야 한다)의 열 영상을 제공할 뿐이며, 운전자는 열 영상의 윤곽에 의해서 물체가 무엇인지를 식별하게 된다. 운전자는 물체를 식별하지 못할 수 있다. 예를들어, 백팩을 등에 지고 걷는 사람의 열 윤곽은 운전자에게는 쉽게 구분하기에는 너무 낮설수 있다. 또한 그러한 식별불가능한 물체의 존재는 장애가 될 수 있다. 마지막으로, 운전자에게 실제 환경에서 물체의 상대적인 위치를 판단하는 것은 어려운데, 그 이유는 그 물체의 열 영상이 다른 열 방출 물체들을 참조하지 않고 후드의 정면 모서리 근방에서 디스플레이되기 때문이다.
보행자 및 교통 신호들을 검출하고 잠재적인 위험들(보행자 충돌, 과속 또는 일방통행로에서 잘못된 방향으로 진입)을 검출하는 방법이 1999년, 그리이스 케르키라의, 컴퓨터 시야에 관한 IEEE 국제 회의 의사록, D.M. 가브릴라 및 V.필로민의, "Real-Time Object Detection For Smart Vehicles"에 기술되어 있는데, 이는 본원에 참조되어 포함되어 있다. 템플릿 계층(template hierarchy)은 다양한 물체 형상들을 포착하며, 여러 불연속 변호나 기반 매칭을 이용하여 매칭이 수행되며, 이는 형상 계층 및 변환 파라메터들 상에서 동시의 조악 대 미세 접근(coarse-to-fine apparach)을 이용한다.
이동하는 차량에서 보행자들을 검출하는 방법은 또한 2000년, 아일랜드, 더블린의 컴퓨터 시야에 관한 유럽 회의 의사록에, D.M. 가블릴라의 "이동하는 차량으로부터 보행자 검출"에 기술되어 있으며, 이는 본원에 참조되어 포함되어 있다. 이러한 방법은 전술된 조악 대 미세 접근을 이용하여 템플릿 계층 및매칭(template hierarchy and matching)에서 기초해 있으며, 형상들 및 물체들이 보행자들인지 여부를 확인하기 위한 시도에 방사 기초 함수들(Radia Basis Functions:RBFs)을 이용한다.
그러나, 여기서 참조된 논문들에서, 영상내에서 물체를 식별하는 것은 혹독한 날씨 조건에서는 성능이 떨어진다. 예를들어, 눈보라 속에서, 물체들의 정규 콘트라스트 및 영상내의 특징들은, 내리는 눈에 의한 영상에 대한 전체적인 밝은 층의 부가에 의해서 흐려진다. 내리는 눈의 경우에는, 빛은 여러 방향들로 각각의 내리는 눈보라를 산란시켜서, 장면의 영상을 포착하는 카메라로부터 장면의 요소(또는 데이터)를 불명확하게 한다. 내리는 비를 포함하여 낙하체가 부분적으로는 반투명할지라도, 이는 장면의 영상들을 포착하는 카메라로부터의 장면 요소들을 불명확하게 하는 효과가 있다. 이것은 템플릿 매칭 및 RBF 기술들을 격하시키거나 무력하게 하는 효과를 갖는데, 이는 영상내의 물체들의 경계들에 의해서 제공되는 영상 경사를 검출하는 것에 의존한다.
종래의 기술은 차량이 혹독한 날씨 조건에서 주행할 때, 즉, 운전자의 정상 시야가 날씨 조건에 의해서 경감되거나 흐려질 때 운전자에 대해서 디스플레이되는 운전 장면의 영상들을 개선하도록 동작하는 시스템을 제공하지 못한다. 종래 기술은 어떤 영상 처리, 예를들어, 도로내의 또는 인접한 물체들, 교통 신호들, 교통 표지들, 도로 윤곽들 및 도로 장애물들을 명확하게 투사하기 위해서 운전 장면의 영상들을 개선하는 부가적인 영상 인식 처리들 각각 또는 이들의 조합을 이용하는 것이 불가능하다. 또한 종래 기술은 차량이 혹독한 날씨 조건에서 동작할 때 지능방식으로 운전자에게 지각이 가능한 운전 장면 영상(또는 그 물체들 및 특징들)을 제공하는 것이 불가능하다.
본 발명은 차량에 관한 것으로서, 특히, 여러 영상들을 처리하며 불리한 날씨 조건에서 운전자들에게 개선된 시야를 제공하기 위한 시스템 및 방법에 관한 것이다.
도 1은 본 발명의 일 실시예를 포함하는 차량의 측면도.
도 1a는 도 1의 차량의 상면도.
도 2는 도 1 및 1a 의 실시예의 성분들 및 본 실시예를 기술하는데 사용되는 다른 두드러진 특징들에 대한 대표도.
도 3a는 날씨가 혹독하지 않을 때 도 1 내지 2의 실시예의 카메라에 의해서, 또는 그 대신에, 날씨가 혹독할 때 발명의 영상 처리 기술들을 적용하여 발생되는 대표적인 영상을 도시한 도면.
도 3b는 날씨가 혹독할 때 발명의 영상 처리 기술들을 적용하지 않고 도 1 내지 2의 실시예의 카메라에 의해서 발생되는 대표 영상을 도시한 도면.
도 4a는 필터되는 영상내의 화소 및 필터링에서 사용되는 이웃하는 화소들을 표시한 도면.
도 4b는 도 4a의 화소의 필터링에서 적용되는 단계들을 표시하는 도면.
도 5a는 필터링 후에 도 3b의 영상의 대표적인 히스토그램.
도 5b는 히스토그램 등화의 적용후에 도 3b의 영상의 히스토그램.
따라서 본 발명의 목적은, 운전자에 의해서 보여진 실제 영상이 날씨 조건에 의해서 악화되는 운전 장면의 영상을 개선하여 디스플레이하기 위한 시스템 및 방법을 제공하는 것이다. 이 시스템은 시계(field of view)를 갖으며 차량의 진행 방향으로 마주보는 적어도 하나의 카메라를 포함한다. 이 카메라는 운전 장면의 영상들을 포착하는데, 이 영상들은 차량의 정면에서 시계의 화소들로 이루어진다. 하나의 제어 장치가 카메라로부터의 영상들을 수신하며 이 수신된 영상들을 포함하는 화소들에게 솔트 및 페퍼 잡음(salt and pepper noise) 필터링을 적용한다. 이 필터링은 날씨 조건에 의해서 악화될 때 카메라로부터 수신된 운전 장면의 영상의 질을 개선시킨다. 디스플레이는 필터링 동작을 적용한 후에 제어 장치로부터 영상들을 수신하여 운전자에게 운전 장면의 영상들을 디스플레이한다.
제어 장치는 디스플레이전에 필터된 영상을 포함하는 화소들의 강도들에 히스토그램 등화 동작을 더 적용할 수 있다. 이 히스토그램 등화 동작은 날씨 조건에 의해서 악화될 때 운전 장면의 영상의 질을 더 개선한다. 이 제어 장치는 히스토그램 등화 동작에 이어서 그리고 디스플레이에 앞서서 영상에 영상 인식 처리를 더 적용할 수 있다.
차량의 운전자에게 운전 장면을 디스플레이하는 방법에서, 차량의 전방으로 운전 장면의 영상들이 포착된다. 이러한 영상들은 차량의 정면에서 시계의 화소들로 이루어진다. 솔트 및 페퍼 잡음 필터링이 포착된 영상을 포함하는 화소들에 적용된다. 이러한 필터링은 날씨 조건에 의해서 악화될 때 포착되는 운전 장면의 영상들의 질을 개선한다. 운전 장면의 영상들은 필터링 동작을 적용한 후에 운전자에게 디스플레이된다.
도 1에서는, 차량(10)이 도시되는데 이는 본 발명의 일 실시예를 포함한다. 도시된 바와같이, 카메라(14)는 차랑(10)의 전방을 가리키는 그 광학 축을 갖는 방풍 유리(12)의 상부에 배치된다. 카메라(14)의 광학 축(OA)은 도 1a에 도시된 바와같이, 지면에 대체로 수평이며 운전자 및 승객 위치에 대해서 중심이 잡혀있다. 카메라(14)는 차량(10)의 정면에서 영상들을 포착한다. 카메라(14)의 시계는 바람직하게는 180 도 정도이며, 따라서 카메라는 차량의 정면에서 전체 영상을 실질적으로 포착한다. 그러나, 시계는 180도 이하가 될 수 있다.
도 2를 참조하면, 성분들 및 운전자 P의 상대 위치는 물론이고, 본 발명의 실시예를 지지하는 시스템의 부가적인 성분들이 도시된다. 도 2는 방풍 차폐(windshield:12) 뒤에서, 좌측의 그 상대 위치의 운전자 P 머리의 위치를 도시한다. 카메라(14)는 도 1 및 1a에 대해서 전술된 바와같이, 방풍 차폐(12)의 중심 위치에 배치된다. 이에 더해서, 눈보라(26)로 이루어지는 눈이 도시되는데 이는 적어도 부분적으로는 방풍 차폐(12) 외부의 운전자 P 시야를 흐리게 한다. 눈보라(26)는 부분적으로 도로에 대한 운전자 P 시야 및 정지 표시(28)를 포함하여 다른 교통 물체들 및 특징들(집합적으로, 운전 장면)을 불명확하게 한다. 후에 더 상세히 설명되는, 카메라(14)로부터의 영상들은 제어 장치(20)로 전송된다. 영상을 처리한 후에, 제어 장치(20)는 후에 더 상세히 설명되는, 헤드-업 디스플레이(head-up display:HUD)(24)에 제어 신호를 송신한다.
도 3a를 참조하면, 눈(26)의 효과 없이 적시에 방풍 차폐(12)를 통해서 운전자 P에 의해서 보여진 바와같은 운전 장면이 도시된다. 특히, 교차하는 도로(30,32)의 경계 및 정지 표시(28)가 도시된다. 이러한 도 3a의 장면은 흐리게하는 눈보라(26)가 없이도 카메라(14)로부터 적시에 제어 장치(20)(도 2)에 의해서 수신된 영상들과 실질적으로 같다.
도 3b는 눈보라(26)가 존재할 때 운전자 P에 의해서 보여진 바와같은 (그리고 카메라(14)의 영상들에 의해서 포착된 바와같은) 운전 장면을 도시한다. 일반적으로, 눈은 전 방향으로 개별 조각에 입사되는 빛을 산란시켜서, 영상의 일반적인 "백색화(whitening)"를 가져온다. 이것은 도로 경계들(30,32) 및 정지 표시(28)(도 3b에서는 흐린 외형선으로 표시됨)와 같은, 물체들과 영상의 특징들 사이의 대비를 줄이게 된다. 일반적으로 영상을 밝게하는 것에 더해서, 개별 눈보라(26)(특히 심하게 내리는 중에)는 장면의 영상을 포착하는 운전자 P 및 카메라(14)로부터 장면에서 그들 뒤의 요소들을 물리적으로 흐릿하게 한다. 따라서, 눈보라(26)는 카메라(14)로부터 장면의 영상 데이터를 차단한다.
제어 장치(20)는 도 3b에 도시된 것과 같은, 날씨 조건으로 인해 흐릿해지는 카메라(12)로부터 수신된 영상들을 개선하는 처리 소프트웨어로 프로그램된다. 이 처리 소프트웨어는 먼저 "솔트 및 페퍼" 잡음으로서 영상들내의 눈보라(26)를 처리한다. 솔트 및 페퍼 잡음은 대신에 "데이터 드롭-아웃(data drop-out)" 잡음 또는 "반점(speckle)"으로 일컬어진다. 솔트 및 페퍼 잡음은 때때로 영상 데이터의 오류 전송으로 야기되는데, 이는 영상을 통해서 오염된 화소들을 랜덤하게 생성한다. 오염된 화소들은 최대값(이는 영상내의 눈처럼 보인다)을 갖을 수 있거나, 또는 제로 또는 최대값으로 설정될 수 도 있다(따라서 "솔트 및 페퍼"라는 이름을갖는다). 이러한 영상내의 오염되지 않은 화소들은 그들의 원래 영상 데이터를 보유한다. 그러나, 이들 오염된 호소들은 그들의 원래 값들에 대한 정보를 포함하지 않는다. 솔트 및 페퍼 잡음에 대한 부가적인 설명은 http://www.dai.ed.ac.uk /HIPR2/noise.htm에 나와 있다.
실제로 눈으로 덮혀있는 영상은 본 발명의 방법 및 처리에서는, 솔트 및 페퍼 잡음에 의해서 오염된 화소들을 갖는 영상내의 "눈"으로서 고려되어 오염된 화소들은 최대 값을 취한다. 그러므로 제어 장치(20)는 솔트 및 페퍼 잡음을 제거할 때 지시되는 필터링을 카메라(14)로부터 수신된 것으로서 영상들에 적용한다. 하나의 예시된 실시예에서, 제어 장치(20)는 중간 필터링(median filtering)을 적용하는데, 이는 각각의 화소 값을 로컬 이웃의 화소들의 중간 그레이 값과 교체한다. 중간 필터링은 선형 필터링에서와 같이, 이웃하는 화소들의 값들의 평균 또는 가중된 합을 이용하지 않는다. 대신에, 각각의 처리된 화소에 대해서, 중간 필터는 화소의 그레이 값들 및 주변 화소들의 이웃을 고려한다. 이 화소들은 (상승 또는 하강 그레이 값에 의해서) 그레이 값에 따라서 분류되며 이러한 순서의 중간 화소가 선택된다. 전형적인 경우에, (처리되는 화소를 포함하는) 고려되는 화소들의 수는 홀수이다. 따라서, 선택된 중간 화소에 대해서, 더 높고 더 낮은 그레이 값을 갖는 동일 수의 화소들이 존재한다. 중간 화소의 그레이 값은 처리되는 화소를 교체한다.
도 4a는 필터링되는 영상 어레이의 화소 A에 적용되는 것으로서 중간 필터링의 예이다. 화소 A 및 바로 주변의 화소들은 중간 필터링에서 이웃으로서 사용된다. 따라서, 아홉개의 화소들의 그레이 값들(각각의 화소에 대해서 도 4a에 도시됨)은 고려중인 이 화소 A를 필터링하기 위해서 사용된다. 도 4b에 도시된 바와같이, 아홉개의 화소들의 그레이 값들은 그레이 값에 따라서 분류된다. 도시된 바와같이, 중간 분류 화소는 도 4b의 화소 M인데, 그 이유는 네개의 화소들이 더 높은 그레이 값을 갖으며 네개는 더 낮은 그레이 값을 갖기 때문이다. 따라서 화소 A의 필터링은 20의 그레이 값을 중간 화소의 그레이 값 60과 교체한다.
언급된 바와같이, 전형적인 경우에, 하나의 중간 화소가 존재하는데 이는 처리되는 화소에 대해서 홀수의 화소가 고려되기 때문이다. 짝수의 화소들이 고려되는 식으로 이웃이 선택되면, 분류된 것으로서 두개의 중간 화소들의 평균 그레이 값이 사용될 수 있다. (예를들어, 열개의 화소들이 고려되면, 분류된 것으로서 제 5 및 제 6 화소들의 평균 그레이 값이 사용될 수 있다.)
그러한 중간 필터링은 영상의 세부점들을 유지하는 동안에 하나의 영상으로부터 솔트 및 페퍼 잡음을 제거하는데 효과가 있다. 중간 화소의 그레이 값을 이용하는 것은 이웃하는 화소의 그레이 값의 필터된 화소 값과 같은 필터된 화소 값을 유지하며, 따라서 이웃하는 화소들의 그레이 값들 자체가 평균되면 손실될 수 있는 영상 세부점들을 유지한다.
따라서, 언급된 것과 같이, 솔트 및 페퍼 필터링을 제거하기 위해 필터링의 제 1 예시된 실시예에서, 제어 장치(20)는 카메라(14)로부터 수신된 영상을 포함하는 각각의 화소에 중간 필터링을 적용시킨다. (예를들면, 도 4a에 도시된 바와같이, 여덟개의 바로 인접한 화소들의) 화소들의 이웃하는 것은 전술된 바와같이, 중간 필터링을 수행하기 위한 영상을 포함하는 각각의 화소에 대해서 고려된다. (이 영상의 에지들에 대해서, 존재하는 이웃의 이러한 부분들이 사용될 수 있다.) 중간 필터링은 이 영상으로부터 솔트 및 페퍼 잡음을 감소하거나 제거시켜서, 카메라(14)로부터 수신되는 운전 장면의 영상으로부터 눈보라(26)을 효과적으로 감소시키거나 제거한다.
솔트 및 페퍼 필터링을 제거하기 위한 필터링의 제 2 예시된 실시예에서, 제어 장치(20)는 카메라(14)로부터 수신된 영상을 포함하는 각각의 화소에 "최소의 단치 세그먼트 동화 핵심" ("Smallest Univalue Segment Assimilating Nucleus:SUSAN") 필터링을 적용한다. SUSAN 필터링에 대해서, 핵심으로서 동일하거나 유사한 명도를 갖는 영상의 영역을 묘사하는 것으로서, 처리되는 화소("핵심")을 위해서 마스크가 생성된다. 이 핵심(처리되는 화소)에 대한 영상의 이러한 마스크 영역은 USAN ("단치 세그먼트 동화 핵심") 영역으로서 일컬어진다. SUSAN 필터링은 (핵심을 제외한) USAN내에 놓이는 화소들의 가중된 평균 그레이 값을 계산하고 핵심 값을 평균 값으로 대치함으로서 진행된다. USAN내의 화소들의 그레이 값들을 이용하는 것은 평균할 때 사용되는 화소들이 이 영상의 관련 영역들로부터 나오도록 보장하며, 따라서 솔트 및 페퍼 잡음을 제거하는 동안에 이 영상의 구조를 유지한다. SUSAN 처리 및 필터링의 더 세부점들은 1995년, 영국, Farnborough, Defence Research Agency의 기술 보고서 TR95SMS1c, S.M. Smith 및 J.M.Brady의 "SUSAN-저 레벨 여상 처리에 대한 신규 연구"에 주어지면, 이는 본원에 참조되어 포함된다.
솔트 및 페퍼 잡음(및 영상내의 눈보라(26))을 제거하도록 영상이 필터되면, 필터된 영상은 후술되는 방식으로, 운전자 P에게 디스플레이하기 위해서 HUD(24)에 제어 장치(20)에 의해서 직접 출력될 수 있다. 그러나, 전술된 바와같이, 눈보라(26)은 이 영상내의 특징들과 물체들의 대조를 감소시킬 수 있는 장면의 영상에 일반적인 밝기를 제공할 수 있다. 따라서, 제어 장치(20)는 그 대신에 히스토그램 등화 알고리즘을 필터된 영상들에 적용한다. 히스토그램 등화의 기술들은 종래 기술에 공지되어 있으며 그것에 포함된 정보의 구조를 변경시키지 않고도 영상의 대비를 개선한다. (예를들어, 이들은 때때로 영상 인식 처리에서 전처리 단계로서 사용된다.) 도 3b의 영상에 대해서, 눈보라(26)이 이 영상으로부터 필터된 후에도, 정지 표시(28) 및 도로 경계(30, 32)의 희미한 대비가 이 영상내에 유지될 수 있다. 눈보라(26)을 제거하기 위한 솔트 및 페퍼 필터링 후에 도 3b의 영상의 영상 화소들의 히스토그램이 도 5a에 표시된다. 도시된 바와같이, 더 높은 명도를 갖는 다수의 화소들을 표시하는, 높은 강도 레벨을 갖는 영상내에 다수의 화소들이 존재한다. 히스토그램 등화 동작을 이 영상에 적용한 후에, 히스토그램은 도 5b에 표시된다. 오퍼레이터는 출력 영상내의 또 다른 (출력) 강도에 원래의 영상내의 (입력) 강도의 모든 화소들을 맵핑한다. 따라서 이 강도 밀도 레벨은 히드토그램 등화 오퍼레이터에 의해서 "분산"되어, 이 영상에서 대비를 개선한다. 그러나, 이 영상의 특징들에 지정된 강도들 만이 조정되므로, 이 동작은 이 영상의 구조를 변경시키지 않는다.
입력 영상 A을 출력 영상 B에 맵핑하기 위해서 사용되는 전형적인 히스토그램 등화 변환 함수는 다음과 같다. 즉,
[수학식 1]
여기서 p는 출력 영상 A의 강도 분배를 기술하는 가정된 확률 함수로서, 랜덤한 것으로 가정되며, DA는 고려중인 원래의 영상 A의 특정 강도 레벨이며, DM은 입력 영상에서 강도 레벨들의 최대 수이다. 결국,
[수학식 2]
여기서, FA(DA)는 특정 강도 레벨 DA까지 원래 영상의 누적된 확률 분배(즉, 누적 히스토그램)이다. 따라서, 이러한 히스토그램 동작을 이용하여, 이른바, 그 누적 히스토그램을 이용하여 변환되는 영상을 이용하여, 그 결과는 평평한 출력 히스토그램이다. 이것은 완전히 등화된 출력 영상이다.
특히 디지털 실행에 적당한 대체 히스토그램 등화 동작은 다음의 변환 함수를 이용한다. 즉,
[수학식 3]
여기서, N은 영상 화소들의 수이며, nb는 레벨 k의 강도 (DA) 또는 그 이하인 화소들의 수이다. 강도 레벨 DA(또는 k)를 갖는 입력 영상의 모든 화소들은 강도 레벨 f(DA)로 맵핑된다. 출력 영상이 완전히 등화되지는 않을 때(히스토그램에 홀들이 있거나 또는 사용되지 않은 강도 레벨들이 있을 수 있다), 원래 영상의 화소들의 강도 밀도 레벨들은 출력 영상에 더 균등하게 분산되는데, 특히 입력 영상의 화소 및 강도 등화 레벨의 수가 높을 때 더 균등하게 분산된다. 이미 기술된 바와같이 히스토그램 등화는 2000년, Edinburgh 대학, 인공지는부, 하이퍼미디어 영상 처리 회의 2, R. Fisher 등의 "히스토그램 등화" 공보에 더 상세히 기술되며, www.dai.ed.ac.uk/HIPR2/histeq.him에 공개되어 있으며, 이는 본원에 참조되어 포함되어 있다.
히스토그램 등화가 적용될 때, 제어 장치(20)는 도 3(또는 도 2)의 오퍼레이터를 제어 장치(20)에 의해서 이전에 필터된 카메라(14)로부터 수신된 영상을 포함하는 화소들에 적용한다. 이것은 입력 영상(특별한 강도 DA를 갖음)내의 각각의 화소의 강도를 f(DA)로 주어진 강도에 재할당한다. 제어 장치(20)내에서 생성된 필터 및 등화된 영상에서 대비를 포함하는 영상의 질은 상당히 개선되며 도 3a에 도시된 바와같은, 날씨 조건에 의해서 영향을 받지 않는 영상의 질에 접근한다 (편리를 위해서, 필터링 후의 제어 장치(20) 및 히스토그램 등화내의 영상은 "전처리된 영상(pre-processed image)"이라고 일컬어진다.) 그 경우에, 제어 장치(20)내에서 생성된 전처리된 영상은 HUD(24)를 통해서 방풍 차폐(12)의 영역상에서 직접 표시된다. HUD(24)는 방풍 차폐(12)의 작은 신중한 영역내의 전처리된 영상에 투사하여(예를들면, 방풍 차폐(12)로부터 운전자의 P 정규 주시 점(normal gaze point) 이하로), 날씨 조건에 선명한 운전 장면의 영상을 디스플레이한다.
이에 더해서, 카메라(14)로부터 수신된 입력 영상으로부터 제어 장치(20)에 의해서 생성된 전처리 된 영상은 영상 인식 처리가 제어 장치(20)에 의해서 전처리된 영상에 신뢰성있게 적용될 수 있는 정도로 개선된다. 운전자(인터페이스를 통해)는 제어 장치(20)에 의해서 영상 인식 처리를 개시할 수 있거나, 또는 제어 장치(20)가 그것을 전처리된 영상으로 자동으로 적용할 수도 있다. 제어 장치(20)는 영상 인식 처리를 적용하여 제어 장치(20)내에서 변환된 전처리된 영상을 더 분석한다. 제어 장치(20)는 전처리 된 영상을 분석하여 그 안의 교통 표시들, 인체들, 다른 차량들, 도로의 경계들, 및 도로내의 물체들 또는 결함들을 검출하는 영상 인식 소프트웨어에서 프로그램된다. 전처리된 영상이 카메라(12)로부터 수신된 원래의 영상에 대해서 선명도 및 대비를 개선하였으므로 (이는 전술된 바와같이, 날씨 조건으로 인해서 악화된다), 제어 장치(20)에 의해서 수행되는 영상 인식 처리는 높은 레벨로 영상을 검출 및 인식한다.
영상 인식 소프트웨어는 예를들어, 전술된 ""스마트" 차량들을 위한 실시간 물체 검출"에 기술된 형상 기반 물체 검출을 채용할 수 있다. 다른 물체들 중에서, 제어 장치(20)는, 도 3a 및 3b의 정지 표시와 같이, 전처리된 영상내의 여러 교통 표시들의 형상들을 식별하기 위해서 프로그램된다. 유사하게, 제어 장치(20)는 전처리된 영사내의 교통 신호의 윤곽을 검출하고 신호의 현재 색상 상태(적색, 황색 또는 녹색)를 분석하도록 프로그램된다. 이에 더해서, 도로의 경계들의 영상경사는 ""스마트" 차량들을 위한 실시간 물체 검출"에 기술된 형상 기반 물체 검출 기술로 템플릿 방법을 이용하여 제어 장치(20)에 의해서 전처리된 영상내의 "형상"으로서 검출될 수 있다.
일반적으로, 제어 장치(20)는 전처리된 영상들의 연속을 분석하며(이는 카메라(12)로부터 수신된 영상들을 이용하여 생성되었다) 각각의 그러한 영상내의 교통 표시들, 도로 윤곽 등을 식별한다. 각각의 영상은 이전 영상들과는 독립적으로 분석될 수 있다. 그 경우에, 정지 표시(예를 들어)는 수신된 이전 영상에서 먼저 검출된다 할지라도 수신된 현재 영상에서 독립적으로 식별된다.
전처리된 영상내의 적절한 교통 물체들(교통 표시들 및 신호들) 및 특징들(도로 윤곽과 같은)을 검출한 후에, 제어 장치(20)는 HUD(24)에 대한 영상 출력에서 그러한 특징들을 향상시킨다. 향상은 예를들면, 출력 영상내의 그러한 물체들 및 특징들의 영상 질의 개선을 포함할 수 있다. 예를들어, 정지 표시의 경우에, 전처리된 영상내의 "정지"라는 말은 눈이나 다른 날씨 조건으로 인해 부분적으로 또는 완전히 판독이 어려울 수 있다. 그러나, 정지 표시의 팔각 경계의 전처리된 영상은 영상 인식 처리가 그것을 정지 표시로 식별하도록 하기에 충분히 선명할 수 있다. 그 경우에, 제어 장치(20)는 표시의 영상내의 정확한 위치에서 "정지"라는 말을 디지털로 포함시킴으로서 검출을 위한 HUD(24)로 전달된 영상을 향상시킨다. 이에 더해서, 전처리된 영상이 선명하지 않으면 표시에 적합한 색상이 첨가된다. 향상에는 예를들면, 전처리된 영상내의 제어 장치(20)에 의해서 식별된 물체들 및 특징들의 디지털로 하이라이팅 특징들을 포함한다. 예를들어, 전처리된 영상내의정지 표시를 식별한 후에, 제어 장치(20)는 바로 주변의 영역과 매우 대비되는 색상을 이용하여 정지 표시의 팔각형 경계를 하이라이트할 수 있다. 영상이 HUD(24)에 의해서 검출될 때, 운전자 P는 자연스럽게 그러한 하이라이트된 물체들 및 특징들로 주의를 돌리게 된다.
하나의 물체가 전처리된 영상에서 제어 신호, 교통 표시, 등으로 식별되면, 제어 장치(20)는 그러한 후속되는 영상내에서 새로운 것으로 독립적으로 식별하는 대신에, 연속해서 전처리된 영상들에서 그 움직임을 추적하도록 더 프로그램될 수 있다. 위치를 기반으로 하는 연속되는 영상들 내의 식별된 물체의 이동을 추적하는 것은, 예를들면, 1996년, 10월 14-16일, Vt, Killington의 자동 페이스 및 제스쳐 인식에 대한 제 2 차 국제 회의 의사록, McKenna 및 Gong의 "Tracking Faces"에 기술된 클러스터링 기술에 의존하며, 그 내용은 본원에 참조되어 포함된다. (전술된 논문의 섹션 2는 다중 이동의 트랙킹에 대해서 설명한다.) 영상들 사이의 물체의 이동을 트래킹함으로서, 제어 장치(20)는 HUD(24)에 향상된 특징들을 갖는 영상을 제공하도록 요구되는 량의 처리 시간을 감소시킬 수 있다.
전술된 바와같이, 본 발명의 전술된 실시예의 제어 장치(20)는 보행자들 및 다른 차량들과 같은 전처리된 영상들에서 이동하는 물체들을 검출하고 HUD(24)에 의해서 전달되며 투사되는 그러한 물체들을 향상시키기 위해서 프로그램될 수 있다. 이동중인 보행자들 및 다른 물체들이 검출되어야 할 때 (교통 신호들, 교통 표시들 등과 함께), 제어 장치(20)는 "이동 차량으로부터 보행자 검출"에 기술된 바와같은 식별 기술로 프로그램된다. 전술된 바와같이, 이것은 보행자 검출을 위한 두단계 접근을 포함하는데 이는 제 2 단계와 같은 RBF 분류를 채용한다. 제 2 단계 및 제 2 단계에서 RBF 분류기의 트레이닝을 템플릿 매칭하는 것은 차랑을 포함할 수도 있으며, 따라서 제어 장치(20)는 수신된 영상들내의 보행자들 및 차량들을 식별하도록 프로그램된다. (이러한 프로그래밍은 포커스된 정지 교통 표시들, 신호들, 도로 경계들 등에 대한 템플릿 및 RBF 트레이닝을 포함할 수 있으며, 따라서 제어 장치(20)의 영상 인식 프로세싱의 전체를 제공한다.) 하나의 물체가 제어 장치(20)에 의해서 보행자, 다른 차량 등로 식별되면, 그 이동은 전술된 "트랙킹 페이시스"에 기술된 클러스터링 기술을 이용하여 연속되는 영상들에서 트랙될 수 있다.
전술된 바와 동일한 방식으로, 전처리 영상에서 식별되는 차량 및 보행자는 HUD(24)에 의한 투사를 위해서 제어 장치(20)에 의해서 향상된다. 그러한 향상은 보행자 또는 차량을 운전자 P가 더 식별하기 쉽도록 그 영상의 경계들을 디지털로 조정할 수 있다. 향상은 예를들면, 보행자 또는 차량의 색상을 디지털로 조절하는 것을 포함하여 영상내에서 직접 에워싼 영역과 더 선명하게 대비된다. 향상은 예를들면, 직접 에워싸는 영역과 마크되어 대비되는 색상을 이용하여 또는 경계들을 플래싱함으로서, 이 영상내의 보행자 또는 차량의 경계들을 디지털로 하이라이팅하는 것을 포함할 수 있다. 또한, 향상된 영상이 HUD(24)에 의해서 투사될 때, 운전자 P는 자연스럽게 그러한 하이라이트된 물체들 및 특징들에 주위를 돌린다.
전술된 바와같이, 운전자 P가 제어 장치(20)내의 영상 인식 처리를 개시하는 대신에, 영상 인식 처리는 항상 전처리된 영상에서 수행될 수도 있다. 이것은 운전자가 부가적인 처리를 수행하지 않아도 되게 한다. 그 대신에, 제어 장치(20)는 날씨의 혹독한 특성 및 정도를 표시하는 입력 신호들을 공급하는 차량의 외부 센서들(미도시)과 인터페이스할 수 있다. 외부 센서들로부터 수신된 날씨의 표시에 기초하여, 제어 장치(20)는 전처리된 영상을 생성 및 표시하는 전술된 처리를 채용할 것인지 여부, 또는 전처리된 영상에 영상 인식 처리를 더 채용할지 여부를 결정한다. 예를들면, 원래의 영상의 히스토그램은 원래의 형상내의 선명도 및 콘트라스트의 정도를 결정하기 위해서 제어 장치(20)에 의해서 분석될 수 있다. 예를들어, 다수의 히스토그램의 인접 강도들은 샘플된 강도들 사이의 평균 콘트라스트를 결정하기 위해서 샘플될 수 있거나 또는, 이 영상의 에지의 샘플링의 경사들은 이 영상의 선명도를 결정하기 위해서 고려될 수 있다. 이 선명도 및/또는 대비가 임계량 이하이면, 제어 장치(20)는 날씨 관련 처리의 일부 또는 전부를 개시한다. 동일 히스토그램 분석은 예를들면, 부가적인 영상 인식이 전처리 영상에서 수행될 필요가 있는지 여부, 또는 전처리된 영상이 직접 표시될 수 있는지 여부를 결정하기 위해서 전처리된 영상에서 수행될 수 있다. 날씨 조건이 생성된 전처리된 영상을 필요로 할 정도가 될 때에만 영상 인식 처리를 이용함으로서, 개선된 영상을 처리 및 표시하기 위해서 요구되는 시간이 최소화된다.
본 발명의 예시된 실시예가 첨부된 도면들을 참조하여 설명되었지만, 본 발명은 이러한 실시예에 제한되는 것은 아님을 알 수 있다. 예를들어, 전술된 것에 촛점이 맞추어진 날씨 조건이 눈과 같은 것을 포함하는 눈보라였다 할지라도, 동일 또는 그와 유사한 처리가 비를 포함하는 빗방울에도 적용될 수 있다. 이에 더해서, 전술된 영상 인식 처리는 히스토그램 등화 처리를 필터된 영상에 적용하지 않고도 필터된 영상에 직접 적용될 수 있다. 따라서 본 발명의 범위는 첨부된 청구범위에 의해서 한정되는 것으로 한다.

Claims (16)

  1. 차량(10)의 운전자(P)에게 운전 장면을 디스플레이하기 위한 시스템으로서, (a) 시계(field of view)를 갖고 상기 차량(10)의 전방으로 향하며, 상기 운전 장면의 영상들로서, 상기 차량(10)의 전면에서 상기 시계의 화소들로 이루어지는 상기 영상들을 포착하는 적어도 하나의 카메라(4)와, (b) 상기 카메라(14)로부터 상기 영상들을 수신하고, 상기 수신된 영상들을 포함하는 화소들에 솔트 및 페퍼 잡음(salt and pepper noise) 필터링을 적용하는 제어 장치(20)로서, 상기 필터링은 날씨 조건에 의해서 악화될 때 상기 카메라(14)로부터 수신된 상기 운전 장면의 상기 영상의 질을 개선하는, 상기 제어 장치(20)와, (c) 상기 필터링 동작을 적용한 후에 상기 제어 장치(20)로부터 상기 영상들을 수신하여 상기 운전 장면의 영상들을 상기 운전자(P)에게 디스플레이하는 디스플레이(24)를 포함하는, 운전 장면 디스플레이 시스템.
  2. 제 1 항에 있어서,
    상기 제어 장치(20)에 의해서 적용되는 상기 솔트 및 페퍼 잡음 필터링은 중간 필터(median filter)인, 운전 장면 디스플레이 시스템.
  3. 제 1 항에 있어서,
    상기 제어 장치(20)에 의해서 적용되는 상기 솔트 및 페퍼 잡음 필터링은SUSAN 필터(Smallest Univalue Segment Assimilating Nucleus filter)인, 운전 장면 디스플레이 시스템.
  4. 제 1 항에 있어서,
    상기 제어 장치(20)는 또한, 상기 필터링된 영상들을 포함하는 화소들의 세기들에 히스토그램 등화 동작을 적용하며, 상기 히스토그램 등화 동작은 상기 날씨 조건에 의해서 악화될 때 상기 운전 장면의 상기 영상들의 질을 더 개선하는, 운전 장면 디스플레이 시스템.
  5. 제 4 항에 있어서,
    상기 제어 장치(20)는 또한, 상기 히스토그램 등화 동작에 이어 상기 영상들에 영상 인식 처리를 적용하는, 운전 장면 디스플레이 시스템.
  6. 제 5 항에 있어서,
    상기 제어 장치(20)는 적어도 하나의 소정 형태의 물체들을 식별하기 위해서 상기 영상들에 영상 인식 처리를 적용하는, 운전 장면 디스플레이 시스템.
  7. 제 6 항에 있어서,
    상기 적어도 하나의 소정 형태의 물체들은, 보행자들, 다른 차량들, 교통 표시들(28), 교통 제어들, 및 도로 장애물들의 그룹으로부터 선택된 적어도 하나를포함하는, 운전 장면 디스플레이 시스템.
  8. 제 6 항에 있어서,
    상기 영상들에서 식별된 적어도 하나의 상기 소정 형태의 물체들은 상기 디스플레이(24)에 의해서 디스플레이하기 위해 상기 제어 장치(20)에 의해서 향상되는, 운전 장면 디스플레이 시스템.
  9. 제 6 항에 있어서,
    상기 제어 장치(20)는 또한, 적어도 하나의 소정 형태의 상기 영상들의 특징들을 식별하는, 운전 장면 디스플레이 시스템.
  10. 제 9 항에 있어서,
    상기 영상들에서 식별된 적어도 하나의 상기 소정 형태의 특징들은 상기 디스플레이(24)에 의해서 디스플레이하기 위해 상기 제어 장치(20)에 의해서 향상되는, 운전 장면 디스플레이 시스템.
  11. 제 9 항에 있어서,
    적어도 하나의 상기 소정 형태의 특징들은 도로(30,32)의 경계들을 포함하는, 운전 장면 디스플레이 시스템.
  12. 제 1 항에 있어서,
    상기 디스플레이는 헤드-업 디스플레이(head-up display:HUD)(24)인, 운전 장면 디스플레이 시스템.
  13. 제 1 항에 있어서,
    상기 제어 장치(20)는 또한, 상기 필터링에 이어 상기 영상들에 영상 인식 처리를 적용하는, 운전 장면 디스플레이 시스템.
  14. 차량(10)의 운전자(P)에 운전 장면을 디스플레이하기 위한 방법으로서, (a) 상기 차량(10)의 전방에서 상기 운전 장면의 상기 영상들로서, 상기 차량(10)의 전면에서 시계의 화소들로 이루어지는 상기 영상들을 포착하는 단계와, (b) 상기 포착된 영상들을 포함하는 화소들을 솔트 및 페퍼 잡음 필터링하는 단계로서, 상기 필터링은 날씨 조건에 의해서 악화될 때 상기 포착된 운전 장면의 상기 영상들의 질을 개선하는, 상기 필터링 단계와, (c) 상기 필터링 동작을 적용한 후에 상기 운전 장면의 상기 영상들을 상기 운전자(P)에게 디스플레이하는 단계를 포함하는, 운전 장면 디스플레이 방법.
  15. 제 14 항에 있어서,
    상기 영상들을 포함하는 상기 화소들의 솔트 및 페퍼 잡음 필터링 단계에 이어, 상기 필터링된 화소들에 히스토그램 등화를 적용하는 단계가 뒤따르는, 운전장면 디스플레이 방법.
  16. 제 14 항에 있어서,
    상기 영상들을 포함하는 상기 화소들의 솔트 및 페퍼 잡음 필터링 단계에 이어, 상기 필터링된 화소들에 영상 인식 처리를 적용하는 단계가 뒤따르는, 운전 장면 디스플레이 방법.
KR10-2004-7007644A 2001-11-19 2002-10-29 영상을 향상시켜서 차량 안전을 개선하기 위한 방법 및 장치 KR20040053344A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/988,948 2001-11-19
US09/988,948 US20030095080A1 (en) 2001-11-19 2001-11-19 Method and system for improving car safety using image-enhancement
PCT/IB2002/004554 WO2003044738A2 (en) 2001-11-19 2002-10-29 Method and system for improving car safety using image-enhancement

Publications (1)

Publication Number Publication Date
KR20040053344A true KR20040053344A (ko) 2004-06-23

Family

ID=25534625

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7007644A KR20040053344A (ko) 2001-11-19 2002-10-29 영상을 향상시켜서 차량 안전을 개선하기 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US20030095080A1 (ko)
EP (1) EP1449168A2 (ko)
JP (1) JP2005509984A (ko)
KR (1) KR20040053344A (ko)
CN (1) CN1589456A (ko)
AU (1) AU2002339665A1 (ko)
WO (1) WO2003044738A2 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359562B2 (en) * 2003-03-19 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality videos of illuminated scenes
DE102004033625B4 (de) * 2004-07-12 2008-12-24 Continental Automotive Gmbh Verfahren zur Darstellung des insbesonderen vorderen Sichtfeldes aus einem Kraftfahrzeug
JP4715334B2 (ja) * 2005-06-24 2011-07-06 日産自動車株式会社 車両用画像生成装置および方法
CN100429101C (zh) * 2005-09-09 2008-10-29 中国科学院自动化研究所 汽车行驶安全监控***及监控方法
WO2007053075A2 (en) * 2005-11-04 2007-05-10 Autoliv Development Ab Infrared vision arrangement and image enhancement method
GB2432071A (en) * 2005-11-04 2007-05-09 Autoliv Dev Determining pixel values for an enhanced image dependent on earlier processed pixels but independent of pixels below the pixel in question
US9445014B2 (en) * 2006-08-30 2016-09-13 J. Carl Cooper Selective image and object enhancement to aid viewer enjoyment of program
US7777708B2 (en) * 2006-09-21 2010-08-17 Research In Motion Limited Cross-talk correction for a liquid crystal display
US7873235B2 (en) * 2007-01-29 2011-01-18 Ford Global Technologies, Llc Fog isolation and rejection filter
US8912978B2 (en) * 2009-04-02 2014-12-16 GM Global Technology Operations LLC Dynamic vehicle system information on full windshield head-up display
US20110182473A1 (en) * 2010-01-28 2011-07-28 American Traffic Solutions, Inc. of Kansas System and method for video signal sensing using traffic enforcement cameras
US20120141046A1 (en) * 2010-12-01 2012-06-07 Microsoft Corporation Map with media icons
GB2494414A (en) * 2011-09-06 2013-03-13 Land Rover Uk Ltd Terrain visualisation for vehicle using combined colour camera and time of flight (ToF) camera images for augmented display
US8948449B2 (en) * 2012-02-06 2015-02-03 GM Global Technology Operations LLC Selecting visible regions in nighttime images for performing clear path detection
KR20140006463A (ko) * 2012-07-05 2014-01-16 현대모비스 주식회사 차선 인식 방법 및 장치
DE102012024289A1 (de) * 2012-12-12 2014-06-12 Connaught Electronics Ltd. Verfahren zum Umschalten eines Kamerasystems in einen Unterstützungsmodus, Kamerasystem und Kraftfahrzeug
CN103112397A (zh) * 2013-03-08 2013-05-22 刘仁国 Gps雷达平视显示道路安全预警器
CN103198474A (zh) * 2013-03-10 2013-07-10 中国人民解放军国防科学技术大学 图像宽线随机检测方法
EP3139340B1 (en) * 2015-09-02 2019-08-28 SMR Patents S.à.r.l. System and method for visibility enhancement
KR101914362B1 (ko) * 2017-03-02 2019-01-14 경북대학교 산학협력단 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템 및 그 방법
US10688929B2 (en) * 2017-06-27 2020-06-23 Shanghai XPT Technology Limited Driving assistance system and method of enhancing a driver's vision
TWM557685U (zh) 2017-06-27 2018-04-01 大陸商上海蔚蘭動力科技有限公司 駕駛輔助系統
US10176596B1 (en) * 2017-07-06 2019-01-08 GM Global Technology Operations LLC Calibration verification methods for autonomous vehicle operations
JP6806914B2 (ja) * 2017-09-22 2021-01-06 マクセル株式会社 表示システム及び表示方法
CN108515909B (zh) 2018-04-04 2021-04-20 京东方科技集团股份有限公司 一种汽车抬头显示***及其障碍物提示方法
EP3671533B1 (en) * 2018-12-19 2023-10-11 Audi Ag Vehicle with a camera-display-system and method for operating the vehicle
CN111460865B (zh) * 2019-01-22 2024-03-05 斑马智行网络(香港)有限公司 辅助驾驶方法、辅助驾驶***、计算设备及存储介质
US11893482B2 (en) * 2019-11-14 2024-02-06 Microsoft Technology Licensing, Llc Image restoration for through-display imaging
US20220067887A1 (en) * 2020-08-21 2022-03-03 Pylon Manufacturing Corporation System, method and device for heads up display for a vehicle
CN112606832A (zh) * 2020-12-18 2021-04-06 芜湖雄狮汽车科技有限公司 一种车辆智能辅助视觉***
CN112644479B (zh) * 2021-01-07 2022-05-13 广州小鹏自动驾驶科技有限公司 一种泊车控制方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3862633A (en) * 1974-05-06 1975-01-28 Kenneth C Allison Electrode
US4671614A (en) * 1984-09-14 1987-06-09 Catalano Salvatore B Viewing of objects in low visibility atmospheres
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
JP2881741B2 (ja) * 1988-09-30 1999-04-12 アイシン精機株式会社 画像処理装置
US5535314A (en) * 1991-11-04 1996-07-09 Hughes Aircraft Company Video image processor and method for detecting vehicles
US5701140A (en) * 1993-07-16 1997-12-23 Immersion Human Interface Corp. Method and apparatus for providing a cursor control interface with force feedback
US5414439A (en) * 1994-06-09 1995-05-09 Delco Electronics Corporation Head up display with night vision enhancement
KR100213094B1 (ko) * 1997-02-21 1999-08-02 윤종용 영상 개선장치를 위한 히스토그램 및 cdf 추출방법 및 그 회로
JP3337197B2 (ja) * 1997-04-04 2002-10-21 富士重工業株式会社 車外監視装置
US6160923A (en) * 1997-11-05 2000-12-12 Microsoft Corporation User directed dust and compact anomaly remover from digital images
US6262848B1 (en) * 1999-04-29 2001-07-17 Raytheon Company Head-up display

Also Published As

Publication number Publication date
EP1449168A2 (en) 2004-08-25
WO2003044738A3 (en) 2003-10-23
CN1589456A (zh) 2005-03-02
JP2005509984A (ja) 2005-04-14
US20030095080A1 (en) 2003-05-22
AU2002339665A1 (en) 2003-06-10
WO2003044738A2 (en) 2003-05-30

Similar Documents

Publication Publication Date Title
KR20040053344A (ko) 영상을 향상시켜서 차량 안전을 개선하기 위한 방법 및 장치
JP7332726B2 (ja) ヒートマップを使用したドライバーの注目の検出
CN108460734B (zh) 车辆驾驶员辅助模块进行图像呈现的***和方法
CN107862290B (zh) 车道线检测方法及***
US7492962B2 (en) System or method for enhancing an image
US6727807B2 (en) Driver's aid using image processing
Kurihata et al. Rainy weather recognition from in-vehicle camera images for driver assistance
US9384401B2 (en) Method for fog detection
Mu et al. Lane detection based on object segmentation and piecewise fitting
US7418112B2 (en) Pedestrian detection apparatus
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助***和方法
JP5115792B2 (ja) 画像処理装置および方法、並びに、プログラム
JP2019029940A (ja) 付着物検出装置、および、それを備えた車両システム
TW201716266A (zh) 影像修補系統及其方法
JP2007288657A (ja) 車両用表示装置、車両用表示装置の表示方法
EP2741234B1 (en) Object localization using vertical symmetry
Mandal et al. Real-time automotive night-vision system for drivers to inhibit headlight glare of the oncoming vehicles and enhance road visibility
KR102544640B1 (ko) 차선 감지 및 예측 시스템, 장치 및 방법
Turan A image enhancement method for night-way images
JP2020098389A (ja) 道路標識認識装置及びそのプログラム
Bellotti et al. Developing a near infrared based night vision system
Bhupathi et al. Sharp curve detection of autonomous vehicles using dbscan and augmented sliding window techniques
Andrade et al. A video-based support system for nighttime navigation in semi-structured environments
Mahajan et al. Lane Line Detection for Self Driving Cars
JP3500891B2 (ja) 居眠り状態検出装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid