KR20090109437A - 차량주행중 영상정합 방법 및 그 시스템 - Google Patents

차량주행중 영상정합 방법 및 그 시스템 Download PDF

Info

Publication number
KR20090109437A
KR20090109437A KR1020080034883A KR20080034883A KR20090109437A KR 20090109437 A KR20090109437 A KR 20090109437A KR 1020080034883 A KR1020080034883 A KR 1020080034883A KR 20080034883 A KR20080034883 A KR 20080034883A KR 20090109437 A KR20090109437 A KR 20090109437A
Authority
KR
South Korea
Prior art keywords
image
homography
camera
registration
matching
Prior art date
Application number
KR1020080034883A
Other languages
English (en)
Other versions
KR101093316B1 (ko
Inventor
정순기
박민우
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020080034883A priority Critical patent/KR101093316B1/ko
Publication of KR20090109437A publication Critical patent/KR20090109437A/ko
Application granted granted Critical
Publication of KR101093316B1 publication Critical patent/KR101093316B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량주행중 영상정합 방법 및 그 시스템에 관한 것이다.
본 발명은, 측방카메라로부터 측방영상을 수신하고 후방카메라로부터 후방영상을 수신하는 단계, 상기 후방영상으로부터 왜곡보정 파라미터를 추출하는 단계, 인접영상간 호모그래피를 계산하는 단계, 상기 후방영상의 확장중심을 계산하는 단계, 상기 측방영상과 상기 후방영상에 대하여 차도영상과 배경영상으로 각각 영역분리를 수행하는 영역분리단계 및 상기 차도영상과 상기 배경영상에 상기 왜곡보정 파라미터, 상기 인접영상간 호모그래피 및 상기 FOE를 이용하여 영상정합을 수행하여 정합영상을 만드는 정합단계를 포함하여 영상정합을 하는 영상정합 방법 및 그 시스템을 제공한다.
본 발명에 의하면, 차량의 측방과 후방에 카메라를 설치한 경우에 카메라의 중심이 일치하지 않고 후방과 측방 카메라의 종류가 다를 경우도 제대로 된 정합을 수행하며, 차량에 장착되어 있는 환경과 종류가 다른 다수의 카메라에서 얻어진 영상에 대해서도 영상 정합을 제공하는 효과가 있다.
영상정합, 사각지대, 측/후방

Description

차량주행중 영상정합 방법 및 그 시스템{Method and System for Image Matching While Driving Vehicle}
본 발명은 차량주행중 영상정합 방법 및 그 시스템에 관한 것이다. 더욱 상세하게는, 차량의 측/후방에 복수개의 카메라를 장착하고, 각 카메라로부터의 영상을 보정 후 정합단계를 거쳐서 하나의 영상으로 생성 후 운전자에게 제공함으로써 사각지대를 제거하는 차량주행중 영상정합 방법 및 그 시스템에 관한 것이다.
주행 중 운전자가 볼 수 없는 사각지대는 운전자의 안전을 위협하는 큰 위험요소이다. 차량을 운전하는 운전자는 대체로 전방만을 주시하고 있기 때문에 차량의 후방에는 주의를 기울이기가 어렵다. 이러한 위험요소를 제거하기 위해 차량에는 다양한 사각지대 제거장치가 개발되어 왔다. 사이드미러에서 볼 수 없는 사각지대를 제거하기 위해서 보조거울을 일체화시키거나, 적외선 센서로 후방의 물체를 감지하고 경보를 통해 운전자에게 위험을 알려주는 장치들이 개발되고 실제 차량에 사용되고 있다. 최근에는 차량의 후방의 영상을 운전자의 디스플레이에 출력하여 사각지대를 줄여주는 방법들이 있다.
하지만, 이러한 방법들은 근본적으로 운전자가 가지는 사각지대의 일부만을 제거한다는 단점을 가진다. 이것만으로는 후방에 존재하는 물체가 보이지 않는 경우가 생기며, 실제로 이러한 문제로 인해 매년 많은 운전자가 차선 변경시 후방에서 접근하는 차량의 존재를 인지하지 못해 크고 작은 교통사고로 인명피해를 입고 있다.
사이드 보조 거울의 경우에는 추가적으로 장착되는 볼록 거울을 통해 좌/우측 후방의 왜곡된 영상을 운전자가 보게 된다. 거기에 운전자와 거리가 먼 우측의 경우는 물체의 존재 여부만이 어렴풋이 감지될 뿐이다.
적외선 센서를 이용하여 사각지대의 물체를 감지하는 것은 사각지대에 들어온 물체들을 보여주는 것이 아니라 단지 센서의 영역 안에 물체의 존재 여부를 감별해 줄 뿐이다. 인간의 감각 중 가장 민감한 감각이 시각인 것을 고려해 봤을 때 후방을 보여주는 것이 비해 운전자의 위험물 인지능력은 상당히 떨어진다고 볼 수 있다. 더욱이 다수의 위험물이 존재할 때 운전자는 위험물이 다수인지 하나인지 알 수 없으므로 그로 인한 사고가 발생할 수도 있다.
또한, 후방의 감시 카메라의 경우 후방을 그대로 운전자에게 보여주는 효율적인 사각지대 제거 방법이기는 하지만 그 범위가 후방에 제한되어 있고, 측방의 문제는 해결하지 못한다. 더욱이 이러한 후방 감시 카메라의 경우 광각(Wide Angle)카메라를 장착하기 때문에 이로 인해 영상이 심하게 왜곡되는 문제점을 가진다.
전술한 문제점을 해결하기 위해 본 발명은, 차량의 측/후방에 복수개의 카메라를 장착하고, 각 카메라로부터의 영상을 보정 후 정합단계를 거쳐서 하나의 영상으로 생성 후 운전자에게 제공함으로써 사각지대를 제거하는 데 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 차량주행중 영상정합 방법에 있어서, (a) 측방카메라로부터 측방영상을 수신하고 후방카메라로부터 후방영상을 수신하는 영상수신단계; (b) 상기 후방영상으로부터 왜곡보정 파라미터를 추출하는 단계; (c) 인접영상간 호모그래피를 계산하는 단계; (d) 상기 후방영상의 확장중심(Focus of Expansion: FOE)을 계산하는 단계; (e) 상기 측방영상과 상기 후방영상에 대하여 차도영상과 배경영상으로 각각 영역분리를 수행하는 영역분리단계; 및 (f) 상기 차도영상과 상기 배경영상에 상기 왜곡보정 파라미터, 상기 인접영상간 호모그래피 및 상기 FOE를 이용하여 영상정합을 수행하여 정합영상을 만드는 정합단계를 포함하는 것을 특징으로 하는 영상정합 방법을 제공한다.
또한 전술한 목적을 달성하기 위해 본 발명은, 차량주행중 영상정합 시스템에 있어서, 측방영상을 수신하는 측방카메라; 후방영상을 수신하는 후방카메라; 상기 측방영상 및 상기 후방영상을 수신하는 영상수신부; 상기 후방영상으로부터 왜곡보정 파라미터를 추출하는 보정파라미터추출부; 인접영상간 호모그래피를 계산하는 호모그래피계산부; 상기 후방영상의 확장중심(Focus of Expansion: FOE)을 계산하는 FOE계산부; 상기 측방영상과 상기 후방영상에 대하여 차도영상과 배경영상으로 각각 영역분리를 하는 영역분리부; 및 상기 차도영상과 상기 배경영상에 상기 왜곡보정 파라미터, 상기 인접영상간 호모그래피 및 상기 FOE를 이용하여 영상정합을 수행하여 정합영상을 만드는 영상정합부를 포함하는 것을 특징으로 하는 영상정합 시스템을 제공한다.
본 발명에 의하면, 차량의 측방과 후방에 카메라를 설치한 경우에 카메라의 중심이 일치하지 않고 후방과 측방 카메라의 종류가 다를 경우도 제대로 된 정합을 수행하며, 차량에 장착되어 있는 환경과 종류가 다른 다수의 카메라에서 얻어진 영상에 대해서도 영상 정합을 제공하는 효과가 있다.
또한, 사각지대 제거를 위한 영상정합 방법 및 가시화 방법은 운전자의 안전을 위협하는 차량의 사각지대의 위험물체를 쉽게 인지하여 사고율을 낮추는 예방을 위한 안전장치로서의 효과가 있다. 특히 장착된 카메라에서는 기존의 사이드 미러와 백미러로 볼 수 없었던 넓은 영역의 영상을 획득해주고, 이러한 영상을 정합하여 운전자가 보기 편한 파노라마 등의 형태로 가시화 함으로서 위험물체의 인지능력향상에도 도움을 준다.
또 다른 효과로는 영상정합을 기술 측면에서 보다 나아진 성과를 보여준다. 기존의 영상 정합 방법은 대부분 영상의 투영점(카메라의 센터 위치)가 동일한 영상들만을 정합하는 기술이어서, 차량과 같이 움직이는 물체에 카메라를 장착한 경우, 모션 패럴랙스(Motion Parallax) 현상으로 영상을 정합하는 것이 불가능해지는 것을 해결하는 효과가 있다.
또한, 차량에 장착된 카메라는 카메라의 투영점이 일치되도록 장착하는 것이 불가능한 한계와, 더욱이 후방 카메라의 경우 일반적으로 카메라의 종류가 다르거 나 가시영역이 다른 한계도 극복하여, 기존의 영상 정합을 위한 가정을 모두 위배한 현재의 상황에서 얻어진 영상을 정합하는 효과가 있다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 영상정합 방법을 이용하여 운전자에게 보여주는 화면을 예시한 도면이다.
도 1에 도시하듯이, 사각지대를 효율적으로 제거하기 위해서 차량의 후방에 후방카메라(106)와, 좌우 측방에 좌측카메라(104) 및 우측카메라(102)를 장착할 수 있으며, 이곳에서 들어오는 각 영상(좌측영상, 우측영상, 후방영상)을 정합하여 하나의 파노라마 형태의 정합영상으로 만들어서 운전자에게 제공하는 방법을 제공한다.
따라서, 본 발명은 차량의 후방과 측방에 백미러와 사이드미러를 보조하고 나아가 대체할 수 있도록 3대의 카메라를 차량의 후방과 측방의 사이드미러 위치에 장착할 수 있다. 각 카메라는 측방과 후방의 사각지대를 기존의 사이드미러와 백미러보다 더 많이 제거된 영상을 운전자에게 제공해 준다.
만일, 이렇게 제공받은 영상을 각각 별도로 보여주는 것은 오히려 운전자의 인지 능력을 저하시킨다. 대부분의 차량이 빠르게 주행하는 도로에서 이것은 상당히 위험한 문제이다. 따라서 본 발명에서는 3개의 영상을 하나로 정합한 정합영상을 추출하여 운전자가 보다 빠르고 효율적으로 후방의 사각지대에 존재하는 물체를 인지할 수 있는 가시화 방법을 제공한다.
도 2는 본 발명의 일 실시예에 따른 영상정합 방법을 도시한 흐름도이다.
본 발명의 일 실시예에 따른 영상정합 방법은, 측방카메라로부터 측방영상을 수신하고 후방카메라로부터 후방영상을 수신하는 영상수신단계(S202), 상기 후방영상으로부터 왜곡보정 파라미터를 추출하는 단계(S204), 인접영상간 호모그래피를 계산하는 단계(S206), 상기 후방영상의 확장중심(Focus of Expansion: FOE)을 계산하는 단계(S208), 상기 측방영상과 상기 후방영상에 대하여 차도영상과 배경영상으로 각각 영역분리를 수행하는 영역분리단계(S210), 상기 차도영상과 상기 배경영상에 상기 왜곡보정 파라미터, 상기 인접영상간 호모그래피 및 상기 FOE를 이용하여 영상정합을 수행하여 정합영상을 만드는 정합단계(S212)를 포함한다.
여기서, 정합단계(S212) 이후에, 정합영상에 실린더 매핑을 수행하는 실린더매핑단계(S214)를 추가로 포함할 수 있으며, 실린더매핑단계(S214) 대신에 정합영상에 차량의 정보를 포함시키는 롤파노라마영상 생성단계(S216)를 대신 수행할 수도 있다.
S206단계에서 계산하는 인접영상간 호모그래피는 측방영상과 후방영상간의 측후방 호모그래피 및 후방영상의 앞뒤 프레임간의 전후간 호모그래피일 수 있다. 이때, 측방영상은 좌측영상 및 우측영상으로 구성될 수 있으며, 이 경우 측후방 호모그래피는 좌후간 호모그래피 및 우후간 호모그래피로 구성될 수 있다.
또한, 영역분리단계(S210)에서, 영역분리는 컬러기반 방법을 사용할 수 있다.
측방카메라로부터 측방영상을 수신하고 후방카메라로부터 후방영상을 수신하는 단계(S202)에서는 차량의 우측에 장착된 우측카메라(일반 카메라), 좌측에 장착된 좌측카메라(일반 카메라), 후방에 장착된 후방카메라(광각카메라)로부터 각각 우측영상, 좌측영상, 후방영상을 수신한다.
사각지대 영상정합을 수행하기에 앞서 계산의 효율을 위해서 주행 전에 미리 계산되어야 할 작업으로 왜곡보정파라미터 추출단계(S204), 호모그래피계산단계(S206) 및 FOE계산단계(S208)로 이루어진 보정단계를 수행한다.
우선 후방영상으로부터 왜곡보정 파라미터를 추출하는 단계(S204)에서, 입력 영상 중 후방의 광각카메라로부터 얻어진 영상에 대한 왜곡보정(Calibration) 작업을 수행한다. 한 장의 영상에 대해서 왜곡보정 파라미터를 구해놓으면 이후 영상들은 바로 보정하여 사용할 수 있기 때문에 이 단계에서 영상의 왜곡보정 파라미터를 구하는 작업을 수행한다. 실제 광각카메라의 영상을 보정하는 작업은 복잡한 수식들을 이용하지 않고, 왜곡되는 광각카메라의 렌즈가 구의 표면과 같다고 가정하고 구와 평면과의 관계를 이용하여 간단하고 빠르게 보정작업을 수행한다.
도 3은 왜곡보정파라미터 추출단계(S204)에서 광각카메라의 영상의 왜곡 보정방법을 도시한 도면이다.
렌즈의 표면이 구라고 가정했을 때, 구의 표면에 매핑된 영상이 바로 왜곡된 영상일 것이다. 따라서 왜곡되지 않은 평면상의 (Xu, Yu)와 구면에 매핑된 영상이 동일한 평면으로 투영된 위치 (Xd, Yd) 간의 관계식을 이용하면 왜곡이 보정된 위치 (Xu, Yu)를 구할 수 있다. 도 3을 보면 그 관계식을 [수학식 1] 및 [수학식 2]과 같이 나타낼 수 있다.
Figure 112008026859710-PAT00001
Figure 112008026859710-PAT00002
[수학식 1] 및 [수학식 2]을 이용하여 역매핑(Backward Mapping)으로 보정된 위치의 점들을 미리 계산해 둘 수 있다. 이렇게 계산된 값에 해당하는 위치를 모든 왜곡 영상에 그대로 적용하는 것만으로 왜곡이 보정된 영상을 후술하는 영상정합단계에서 빠르게 얻는 것이 가능해진다.
왜곡보정을 위한 전처리 작업이 끝나고 나면 동일한 위치의 측후방 영상과 전후 프레임들 간의 차도영상을 정합하는 데 사용할 인접영상간 호모그래피를 계산(S206)한다(여기서는 robust RANSAC(Random Sample Consensus) 알고리즘 사용). 인접영상간 호모그래피를 계산하는 단계(S206)에서, 인접영상간 호모그래피는 좌측 영상과 후방영상간의 좌후간 호모그래피, 우측영상과 후방영상간의 우후간 호모그래피, 후방영상의 앞뒤 프레임간의 전후간 호모그래피를 계산한다.
도 4는 호모그래피계산단계(S206)에서 두 영상 사이의 호모그래피가 가지는 의미를 도시한 도면이다.
동일한 위치의 측/후방 영상이란 것은 측방 카메라와 후방 카메라가 일정 시간적인 간격을 두고, 동일한(적어도 유사한) 세계좌표계(World Coordinate) 상에서 촬영한 영상을 말한다. 일반적으로 호모그래피는 한 영상에서 다른 영상으로 가는 3x3의 변환행렬이다.
도 4에 도시하듯이, 호모그래피(Hab)가 계산되면 영상a의 점(Pa)은 영상b의 점(Pb)로 매핑될 수 있다. 일반적으로 호모그래피는 한 영상에서 다른 영상으로 가는 3x3의 변환행렬이다. 따라서 측방의 차도영상과 후방의 차도영상에 대해서, 그리고 후방영상의 전후 프레임간의 호모그래피를 미리 계산해두고 이후의 영상정합 단계에서 이러한 정보를 이용할 수 있다. 이와 같은 방법으로 우후간 호모그래피, 좌후간 호모그래피 및 전후간 호모그래피를 구한다.
호모그래피계산단계(S206) 이후에는, 상기 후방영상의 확장중심(Focus of Expansion: FOE)을 계산하는 단계(S208)를 수행한다. FOE는 카메라의 위치 한 방향으로 트랜슬레이션(Translation)만이 수행될 때 영상 상의 각 모션(Motion)들이 수렴하는 한점을 일컫는다. 차도영상과 배경영상을 분리할 때 FOE를 사용하며, 미리 이 FOE를 전처리단계에서 계산해 둔다. FOE는 서로 다른 프레임의 영상들간의 일치 점을 계산하고 그 일치점으로부터 각 점들의 모션을 구한다. 이렇게 구해진 모션들이 수렴하는 위치가 바로 FOE가 된다.
도 5는 FOE계산단계(S208)에서 계산하는 FOE의 의미와 그 계산 방법을 도시한 도면이다.
S208단계에서 보정 단계의 마지막으로 FOE를 구하는 작업은 다음과 같다. 일반적으로 카메라가 일정한 방향으로 이동하면서 촬영을 하게 되면 촬영된 영상들 간의 광학 흐름은 특정한 점을 기준으로 움직이게 된다. 바로 이러한 이동하는 벡터들이 만나는 점이 바로 FOE가 된다. 도 5a는 영상 면에서 광학흐름과 FOE 간의 관계를 나타낸 것이다.
FOE는 카메라의 이동에 의해 생기는데 여기서는 고정된 카메라가 고속의 속도로 전방으로 이동하는 상황이다. 따라서, 보정 단계에서 FOE를 구해주고, 그렇게 구해진 결과를 주행 중에 사용하도록 한다.
도 5b는 후방영상의 2 프레임 동안 카메라 중심의 이동과 거기에 따라 생기는 FOE의 관계를 나타낸 그림이다.
이제 영상의 차도에서 얻어진 특징점을 이용하여 영상면의 FOE를 구한다. FOE를 구하는 방법에는 다양한 방법들이 존재하지만 크게 3가지로 분류할 수 있다. 첫 번째 방법은 이산적인 방법으로서 매칭되는 점이나 선 등을 이용하여 구하는 방법이 있다. 이 방법은 까다로우며 정확하지는 않지만 간단한 정보를 이용하여 구할 수 있는 장점이 있다. 두 번째 방법은 연속적인 방법으로서 광학흐름(optical flow)을 이용한 방법이 있다. 이 방법은 앞선 방법보다 정확하지만 계산양이 많다. 세 번째는 밝기의 변화를 이용하는 방법이 있는데 이것은 회전이 가미되지 않은 순수한 이동 변환만이 존재하는 영상에 대해서 사용할 수 있다.
우선 최소 8개 이상의 매칭되는 특징점 쌍을 알고 있다고 했을 때, [수학식 3]에 의해서 펀더멘탈 행렬(F)은 이미지 좌표상의 점들 간의 관계를 나타내므로 EIGHT_POINT 알고리즘을 이용하여 펀더멘탈 행렬(Fundamental Matrix)을 계산할 수 있다. 이때, 자동으로 좀 더 정확한 펀더멘탈 행렬을 구하기 위해서 RANSAC을 사용하여 계산할 수 있다. 여기서, x는 차량이 Oc 위치에 있을 때의 X의 2차원 좌표이며, x'은 차량이 Oc' 위치에 있을 때의 X의 2차원 좌표이다.
Figure 112008026859710-PAT00003
이렇게 얻어진 펀더멘탈 행렬(F)을 이용해서 [수학식 4]를 풀어서 에피폴(Epipole) e를 구하면 FOE를 얻을 수 있다.
Figure 112008026859710-PAT00004
S208단계 이후에는, 측방영상과 후방영상에 대하여 차도영상과 배경영상으로 각각 영역분리를 수행하는 영역분리단계(S210)를 수행한다.
영상 정합을 위해서는 영상의 투영점이 일치할 뿐만 아니라 영상의 대부분이 한 평면 위에 존재해야 한다. 하지만 차량에 장착된 카메라로 촬영된 영상은 절반 이상을 차도의 영역이 차지하고 있고, 나머지는 배경부분이 차지하게 된다. 배경과 차도는 동일한 평면에 존재하지 않으므로 일반적인 영상정합방법(예를 들어, 모자이킹(Mosaiking))으로는 정합하는 것이 불가능하다.
따라서, 여기서는 영상을 정합하기 위한 방법으로 배경과 차도를 분리해서 정합한다. 배경영상과 차도영상을 분리하기 위해서 우선 측면영상과 후방영상에서 서로 비슷한 위치의 영상을 사용한다. 즉, 서로 시간대는 다르지만 비슷한 위치에서 촬영된 영상을 사용함으로써 전후 사이의 이동변환을 최소화시키고 그 영상 집합을 이용해서 영역을 나누는 작업을 수행한다. 하나는 차도영역이고 하나는 배경영상 부분이 된다. 이 단계에서는 컬러기반 방법을 사용한다.
컬러기반 방법은 영상 내의 도로와 배경 등에서 휴 값과 새츄레이션 값 등이 차이가 나는 것을 이용하여 차도로 추정되는 부분을 분리하고 그 분리된 영상을 바탕으로 차도영역을 결정한다.
도 6은 영역분리단계(S210)에서 컬러기반 방법으로 검출된 차도영역을 도시한 도면이다. 도 6a의 영상에서 도 6b의 차도영역을 분리한 도면이다.
후방 영상에 대해서 차도와 배경을 분리하는 작업을 수행해서 차도와 배경 영상을 구분했다면, 좌우측 영상과 후방영상간의 호모그래피를 이용하여 후방에서 분리한 차도 영역을 그대로 좌우측 영상에도 적용하는 것이 가능하다. 그러므로 좌우측 영상에 대해서는 별도의 계산 없이 차도영상과 배경영상을 분리하는 것이 가능하다.
도 7은 영역분리단계(S210)에서 후방영상에서 호모그래피를 사용하여 측방영상의 차도영역을 분리한 결과를 도시한 도면이다.
도 7에 도시하듯이 좌후간 호모그래피(HL) 및 우후간 호모그래피(HR)을 이용하여 차도영역을 분리할 수 있다.
영역분리단계(S210) 이후에는, 차도영상과 배경영상에 왜곡보정 파라미터, 인접영상간 호모그래피 및 FOE를 이용하여 영상정합을 하여 정합영상을 만드는 정합단계(S212)를 수행한다.
차도와 배경이 분리된 영상과 보정단계에서 구한 파라미터들을 이용해서 주행 중에 최종 정합을 수행하게 된다. 이 단계에서 앞선 계산을 통해 얻은 동일 시점(비슷한 위치에서의 측/후방 영상)의 측후방영상간의 호모그래피와 전후 프레임간의 호모그래피를 이용하여 동일한 위치가 아니라 동일한 시간에 촬영된 영상의 차도영상을 후방영상 기준으로 정합한다. 이 작업을 거친 뒤에 정합 영상의 좌/우측에 가상의 측면 평면을 세우고 측방의 배경 영상을 그 평면에 매핑(Mapping) 시킨다. 이러한 방법으로 영상들을 정합한다.
도 8은 정합단계(S212)에서 배경영상을 측방에 세운 가상의 평면에 매핑시키는 형태를 도시한 도면이다.
정합단계(S212) 이후에 정합영상의 가시화 방법으로서, 정합영상에 실린더 매핑을 수행하는 실린더매핑단계(S214)를 수행할 수 있다. 여기서 실린더 투영을 수행해서 파노라마 영상을 생성한다.
또 다른 가시화방법으로, 정합영상에 차량의 정보를 포함시키는 롤파노라마영상 생성단계(S216)를 수행할 수 있으며, 운전자에게 차량의 정보와 함께 후방의 정합영상정보가 제공되는 자연스러운 후방 뷰(View)를 별도로 생성하여 제공한다.
도 9는 본 발명의 일 실시예에 따른 영상정합 시스템(900)을 도시한 도면이다.
도 9에 도시하듯이, 본 발명의 일 실시예에 따른 영상정합 시스템(900)은, 측방영상을 수신하는 측방카메라(902), 후방영상을 수신하는 후방카메라(106), 측방영상 및 후방영상을 수신하는 영상수신부(906), 후방영상으로부터 왜곡보정 파라미터를 추출하는 보정파라미터추출부(908), 인접영상간 호모그래피를 계산하는 호모그래피계산부(910), 후방영상의 확장중심(Focus of Expansion: FOE)을 계산하는 FOE계산부(912), 측방영상과 후방영상에 대하여 차도영상과 배경영상으로 각각 영역분리를 수행하는 영역분리부(914), 차도영상과 배경영상에 왜곡보정 파라미터, 인접영상간 호모그래피 및 FOE를 이용하여 영상정합을 수행하여 정합영상을 만드는 영상정합부(916)를 포함한다.
경우에 따라서는 여기에, 정합영상에 실린더 매핑을 수행하는 실린더매핑 또는 정합영상에 차량의 정보를 포함시키는 롤파노라마영상을 생성하는 가시화부(918)를 추가로 포함할 수 있다.
도 9와, 도 1 내지 도 8을 참조하여 영상정합 시스템(900)의 동작을 살펴보면 아래와 같다.
주행중 차량 후방의 사각지대를 제거하기 위해서, 차량의 측면(일반 카메라)과 후방(광각 카메라)에 카메라를 장착한다. 장착된 카메라를 이용하여 주행 중에 촬영된 영상을 이용하여 정합을 수행한다.
도 10은 영상획득을 위해 차량에 카메라를 장착한 모습을 도시한 도면이다.
측방카메라(902)로는 차량의 좌측과 우측에 각각 우측카메라(102)와 좌측카메라(104)가 설치된다. 도 10에 도시하듯이, 좌측카메라(104)는 좌측 사이드미러의 아래쪽에 설치되고, 우측카메라(102)는 우측 사이드미러의 아래쪽에 설치되며(도 10에는 우측 사이드미러쪽은 도시되지 않음), 후방카메라(106)는 차량의 트렁크 윗부분에 설치되나 여기에 한정되지는 않는다.
영상수신부(906)는 측방영상 및 후방영상을 수신하는 영상수신단계(S202)를 수행한다. 먼저 차량의 좌/우측 측방과 후방에 설치된 카메라에서 주행 영상, 즉, 좌측영상, 우측영상 및 후방영상을 촬영하여 입력으로 받는다. 좌/우측의 카메라는 FOV(Field of View)가 30도인 카메라이고 후방 카메라는 FOV가 120도인 광각카메라를 사용하여 촬영한다. 측방카메라와 후방 카메라는 2.8m의 거리를 두고 설치된다. 도 11은 카메라로 촬영된 입력 영상을 도시한 도면이다.
보정파라미터추출부(908)는 후방영상으로부터 왜곡보정 파라미터를 추출하는 단계(S204)를 수행한다.
호모그래피계산부(910)는 인접영상간 호모그래피를 계산하는 단계(S206)를 수행한다. 단계(S206)에서 기술하듯이, 여기서 인접영상간 호모그래피는 측방영상과 후방영상간의 측후방 호모그래피 및 후방영상의 앞뒤 프레임간의 전후간 호모그래피이며, 측후방 호모그래피는 다시 좌후간 호모그래피 및 우후간 호모그래피로 이루어진다.
FOE계산부(912)는 후방영상의 확장중심(Focus of Expansion: FOE)을 계산하는 단계(S208)를 수행한다.
영역분리부(914)는 측방영상과 후방영상에 대하여 차도영상과 배경영상으로 각각 영역분리를 하는 단계(S210)를 수행한다. 여기서, 단계(S210)에서 기술하듯이 영역분리 방법으로 컬러기반 방법을 사용한다. 촬영된 영상을 바탕으로 후방 영상의 왜곡보정작업과 호모그래피 계산이 완료되고 나면, 그 정보를 바탕으로 후방 영상의 차도와 배경을 분리하는 작업이 수행된다. 도 12는 후방카메라(106)에서 분리한 배경과 차도영상의 결과를 예시한 도면이다. 이렇게 구해진 후방영상의 결과를 바탕으로 인접영상간의 호모그래피를 사용하여 측방 영상에서도 차도와 배경영상을 분리해낼 수 있다.
영상정합부(916)는 차도영상과 배경영상에 왜곡보정 파라미터, 인접영상간 호모그래피 및 FOE를 이용하여 영상정합을 수행하여 정합영상을 만드는 정합단계(S212)를 수행한다. 차도와 배경영상이 분리되고 나면 계산된 호모그래피와 분리된 영상을 사용하여 정합을 수행한다. 도 13은 도 11의 영상이 정합된 결과를 도시한 도면이다.
가시화부(918)는 정합영상에 실린더 매핑을 수행하는 실린더매핑 또는 정합영상에 차량의 정보를 포함시키는 롤파노라마영상을 생성하는 단계(S216)를 수행한다.
이렇게 정합된 영상을 좀 더 운전자에게 보기 좋은 영상을 나타내기 위해서 적절한 가시화 방법을 찾을 필요가 있다. 그 첫 번째 해결책으로 사용한 것이 실린 더 매핑을 이용한 파노라마 영상이다. 도 14는 실린더 매핑을 이용하여 만들어진 파노라마 영상이다.
파노라마 영상은 넓은 영역을 쉽게 표현하는 것이 가능하다. 하지만, 차량의 정보 및 다른 운전자가 필요한 정보를 쉽게 표현하지 못하고, 파노라마를 만들기 위해서 왜곡 및 제거된 영상들이 존재한다. 따라서 이러한 문제를 줄이고 정합된 본연의 자연스러운 영상으로 표현하기 위해서 차량의 정보를 포함하는 롤파노라마 영상을 만들 수 있다. 도 15는 최종 생성된 롤파노라마 영상을 도시한 도면이다. 도 15는 차량의 가상 모델을 표현하고 그곳에 차량의 주행 속도 및 다양한 정보를 표시하고 차량 주변의 후방 정보를 운전자에게 제공하기 위한 가시화 화면이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명에 의하면, 차량의 측방과 후방에 카메라를 설치한 경우에 카메라의 중심이 일치하지 않고 후방과 측방 카메라의 종류가 다를 경우도 제대로 된 정합을 수행하며, 차량에 장착되어 있는 환경과 종류가 다른 다수의 카메라에서 얻어진 영 상에 대해서도 영상 정합을 제공하는 효과가 있다.
또한, 사각지대 제거를 위한 영상정합 방법 및 가시화 방법은 운전자의 안전을 위협하는 차량의 사각지대의 위험물체를 쉽게 인지하여 사고율을 낮추는 예방을 위한 안전장치로서의 효과가 있다. 특히 장착된 카메라에서는 기존의 사이드 미러와 백미러로 볼 수 없었던 넓은 영역의 영상을 획득해주고, 이러한 영상을 정합하여 운전자가 보기 편한 파노라마 등의 형태로 가시화 함으로서 위험물체의 인지능력향상에도 도움을 준다.
또 다른 효과로는 영상정합을 기술 측면에서 보다 나아진 성과를 보여준다. 기존의 영상 정합 방법은 대부분 영상의 투영점(카메라의 센터 위치)가 동일한 영상들만을 정합하는 기술이어서, 차량과 같이 움직이는 물체에 카메라를 장착한 경우, 모션 패럴랙스(Motion Parallax) 현상으로 영상을 정합하는 것이 불가능해지는 것을 해결하는 효과가 있다.
또한, 차량에 장착된 카메라는 카메라의 투영점이 일치되도록 장착하는 것이 불가능한 한계와, 더욱이 후방 카메라의 경우 일반적으로 카메라의 종류가 다르거나 가시영역이 다른 한계도 극복하여, 기존의 영상 정합을 위한 가정을 모두 위배한 현재의 상황에서 얻어진 영상을 정합하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상정합 방법을 이용하여 운전자에게 보여주는 화면을 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상정합 방법을 도시한 흐름도이다.
도 3은 왜곡보정파라미터 추출단계(S204)에서 광각카메라의 영상의 왜곡 보정방법을 도시한 도면이다.
도 4는 호모그래피계산단계(S206)에서 두 영상 사이의 호모그래피가 가지는 의미를 도시한 도면이다.
도 5는 FOE계산단계(S208)에서 FOE의 의미와 그 계산 방법을 도시한 도면이다.
도 6은 영역분리단계(S210)에서 컬러기반 방법으로 검출된 차도영역을 도시한 도면이다.
도 7은 영역분리단계(S210)에서 후방영상에서 호모그래피를 사용하여 측방영상의 차도영역을 분리한 결과를 도시한 도면이다.
도 8은 정합단계(S212)에서 배경영상을 측방에 세운 가상의 평면에 매핑시키는 형태를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 영상정합 시스템(900)을 도시한 도면이다.
도 10은 영상획득을 위해 차량에 카메라를 장착한 모습을 도시한 도면이다.
도 11은 카메라로 촬영된 입력 영상을 도시한 도면이다.
도 12는 후방카메라(106)에서 분리한 배경과 차도영상의 결과를 예시한 도면이다.
도 13은 도 11의 영상이 정합된 결과를 도시한 도면이다.
도 14는 실린더 매핑을 이용하여 만들어진 파노라마 영상이다.
도 15는 최종 생성된 롤파노라마 영상을 도시한 도면이다.
< 도면의 주요 부분에 대한 부호의 설명 >
102: 우측카메라 104: 좌측카메라
106: 후방카메라 900: 영상정합시스템
902: 측방카메라 906: 영상수신부
908: 보정파라미터추출부 910: 호모그래피계산부
912: FOE계산부 914: 영역분리부
916: 영상정합부 918: 가시화부

Claims (10)

  1. 차량주행중 영상정합 방법에 있어서,
    (a) 측방카메라로부터 측방영상을 수신하고 후방카메라로부터 후방영상을 수신하는 영상수신단계;
    (b) 상기 후방영상으로부터 왜곡보정 파라미터를 추출하는 단계;
    (c) 인접영상간 호모그래피를 계산하는 단계;
    (d) 상기 후방영상의 확장중심(Focus of Expansion: FOE)을 계산하는 단계;
    (e) 상기 측방영상과 상기 후방영상에 대하여 차도영상과 배경영상으로 각각 영역분리를 수행하는 영역분리단계; 및
    (f) 상기 차도영상과 상기 배경영상에 상기 왜곡보정 파라미터, 상기 인접영상간 호모그래피 및 상기 FOE를 이용하여 영상정합을 수행하여 정합영상을 만드는 정합단계
    를 포함하는 것을 특징으로 하는 영상정합 방법.
  2. 제 1항에 있어서, 상기 인접영상간 호모그래피는,
    상기 측방영상과 상기 후방영상간의 측후방 호모그래피 및 상기 후방영상의 앞뒤 프레임간의 전후간 호모그래피인 것을 특징으로 하는 영상정합 방법.
  3. 제 2항에 있어서, 상기 측방영상은,
    좌측영상 및 우측영상을 포함하고,
    상기 측후방 호모그래피는,
    좌후간 호모그래피 및 우후간 호모그래피를 포함하는 것을 특징으로 하는 영상정합 방법.
  4. 제 1항에 있어서, 상기 단계 (e)에서,
    상기 영역분리는 컬러기반 방법을 사용하는 것을 특징으로 하는 영상정합 방법.
  5. 제 1항에 있어서, 상기 영상정합 방법은,
    상기 단계 (f) 이후에 상기 정합영상에 실린더 매핑을 수행하는 실린더매핑단계 또는 상기 정합영상에 차량의 정보를 포함시키는 롤파노라마영상 생성단계를 추가로 포함하는 것을 특징으로 하는 영상정합 방법.
  6. 차량주행중 영상정합 시스템에 있어서,
    측방영상을 수신하는 측방카메라;
    후방영상을 수신하는 후방카메라;
    상기 측방영상 및 상기 후방영상을 수신하는 영상수신부;
    상기 후방영상으로부터 왜곡보정 파라미터를 추출하는 보정파라미터추출부;
    인접영상간 호모그래피를 계산하는 호모그래피계산부;
    상기 후방영상의 확장중심(Focus of Expansion: FOE)을 계산하는 FOE계산부;
    상기 측방영상과 상기 후방영상에 대하여 차도영상과 배경영상으로 각각 영역분리를 하는 영역분리부; 및
    상기 차도영상과 상기 배경영상에 상기 왜곡보정 파라미터, 상기 인접영상간 호모그래피 및 상기 FOE를 이용하여 영상정합을 수행하여 정합영상을 만드는 영상정합부
    를 포함하는 것을 특징으로 하는 영상정합 시스템.
  7. 제 6항에 있어서, 상기 인접영상간 호모그래피는,
    상기 측방영상과 상기 후방영상간의 측후방 호모그래피 및 상기 후방영상의 앞뒤 프레임간의 전후간 호모그래피인 것을 특징으로 하는 영상정합 시스템.
  8. 제 7항에 있어서, 상기 측방카메라는,
    우측카메라 및 좌측카메라를 포함하고,
    상기 측방영상은,
    좌측영상 및 우측영상을 포함하고,
    상기 측후방 호모그래피는,
    좌후간 호모그래피 및 우후간 호모그래피를 포함하는 것을 특징으로 하는 영상정합 시스템.
  9. 제 6항에 있어서, 상기 영역분리부는,
    상기 영역분리 방법으로 컬러기반 방법을 사용하는 것을 특징으로 하는 영상정합 시스템.
  10. 제 6항에 있어서, 상기 영상정합 시스템은,
    상기 정합영상에 실린더 매핑을 수행하는 실린더매핑 또는 상기 정합영상에 차량의 정보를 포함시키는 롤파노라마영상을 생성하는 가시화부를 추가로 포함하는 것을 특징으로 하는 영상정합 시스템.
KR1020080034883A 2008-04-15 2008-04-15 차량주행중 영상정합 방법 및 그 시스템 KR101093316B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080034883A KR101093316B1 (ko) 2008-04-15 2008-04-15 차량주행중 영상정합 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080034883A KR101093316B1 (ko) 2008-04-15 2008-04-15 차량주행중 영상정합 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20090109437A true KR20090109437A (ko) 2009-10-20
KR101093316B1 KR101093316B1 (ko) 2011-12-14

Family

ID=41552728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080034883A KR101093316B1 (ko) 2008-04-15 2008-04-15 차량주행중 영상정합 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR101093316B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012091476A3 (ko) * 2010-12-30 2012-08-23 주식회사 와이즈오토모티브 사각 지대 표시 장치 및 방법
KR101224090B1 (ko) * 2011-08-04 2013-01-21 엘지전자 주식회사 근접 차량 검출 방법 및 그 장치
KR101295618B1 (ko) * 2011-12-09 2013-08-12 주식회사 와이즈오토모티브 사각 지대 표시 장치 및 방법
KR101378337B1 (ko) * 2012-10-30 2014-03-27 주식회사 이미지넥스트 카메라의 영상 처리 장치 및 방법
KR101398069B1 (ko) * 2013-03-28 2014-05-27 주식회사 이미지넥스트 차량 주변 영상을 위한 호모그래피 추정 방법 및 시스템
US8755624B2 (en) 2011-12-15 2014-06-17 Electronics & Telecommunications Research Institute Image registration device and method thereof
KR101438892B1 (ko) * 2012-07-03 2014-09-05 현대자동차주식회사 차량의 사각지대 표시장치 및 방법
KR20150019857A (ko) * 2013-08-16 2015-02-25 삼성전기주식회사 어라운드 이미지 제공 시스템 및 어라운드 이미지 제공 방법
WO2015056826A1 (ko) * 2013-10-18 2015-04-23 주식회사 이미지넥스트 카메라의 영상 처리 장치 및 방법
KR20170027002A (ko) * 2015-09-01 2017-03-09 삼성전자주식회사 영상 처리 방법 및 장치
WO2019098729A1 (ko) * 2017-11-16 2019-05-23 주식회사 아르비존 차량용 모니터링 방법 및 장치
KR20230021259A (ko) * 2021-08-05 2023-02-14 현대모비스 주식회사 영상정합장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101704201B1 (ko) 2015-05-20 2017-02-15 주식회사 와이즈오토모티브 파노라마 뷰 가변 시스템 및 이의 제어방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100578041B1 (ko) 2004-06-02 2006-05-11 (주)에이직뱅크 교통정보수집과 부가기능을 갖는 네트워크 카메라 장치 및그 교통정보 처리방법
JP2008187566A (ja) 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9418556B2 (en) 2010-12-30 2016-08-16 Wise Automotive Corporation Apparatus and method for displaying a blind spot
WO2012091476A3 (ko) * 2010-12-30 2012-08-23 주식회사 와이즈오토모티브 사각 지대 표시 장치 및 방법
KR101224090B1 (ko) * 2011-08-04 2013-01-21 엘지전자 주식회사 근접 차량 검출 방법 및 그 장치
KR101295618B1 (ko) * 2011-12-09 2013-08-12 주식회사 와이즈오토모티브 사각 지대 표시 장치 및 방법
US8755624B2 (en) 2011-12-15 2014-06-17 Electronics & Telecommunications Research Institute Image registration device and method thereof
KR101438892B1 (ko) * 2012-07-03 2014-09-05 현대자동차주식회사 차량의 사각지대 표시장치 및 방법
KR101378337B1 (ko) * 2012-10-30 2014-03-27 주식회사 이미지넥스트 카메라의 영상 처리 장치 및 방법
KR101398069B1 (ko) * 2013-03-28 2014-05-27 주식회사 이미지넥스트 차량 주변 영상을 위한 호모그래피 추정 방법 및 시스템
KR20150019857A (ko) * 2013-08-16 2015-02-25 삼성전기주식회사 어라운드 이미지 제공 시스템 및 어라운드 이미지 제공 방법
WO2015056826A1 (ko) * 2013-10-18 2015-04-23 주식회사 이미지넥스트 카메라의 영상 처리 장치 및 방법
KR20170027002A (ko) * 2015-09-01 2017-03-09 삼성전자주식회사 영상 처리 방법 및 장치
WO2019098729A1 (ko) * 2017-11-16 2019-05-23 주식회사 아르비존 차량용 모니터링 방법 및 장치
KR20230021259A (ko) * 2021-08-05 2023-02-14 현대모비스 주식회사 영상정합장치 및 방법

Also Published As

Publication number Publication date
KR101093316B1 (ko) 2011-12-14

Similar Documents

Publication Publication Date Title
KR101093316B1 (ko) 차량주행중 영상정합 방법 및 그 시스템
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
KR101359660B1 (ko) 헤드업 디스플레이를 위한 증강현실 시스템
JP6303090B2 (ja) 画像処理装置および画像処理プログラム
JP3764086B2 (ja) 車両用情報提供装置
US11263758B2 (en) Image processing method and apparatus
EP2928178B1 (en) On-board control device
JP2002359838A (ja) 運転支援装置
JP2008102620A (ja) 画像処理装置
US20200391751A1 (en) Road surface detection apparatus, image display apparatus using road surface detection apparatus, obstacle detection apparatus using road surface detection apparatus, road surface detection method, image display method using road surface detection method, and obstacle detection method using road surface detection method
US10733464B2 (en) Method, system and device of obtaining 3D-information of objects
JP2010044561A (ja) 乗物搭載用監視装置
US20160286170A1 (en) Surround view system for a vehicle
JP5539250B2 (ja) 接近物体検知装置及び接近物体検知方法
KR101699014B1 (ko) 스테레오 카메라를 이용한 객체 검출 방법 및 장치
JP5521217B2 (ja) 障害物検出装置、及び障害物検出方法
JP6617610B2 (ja) 車両用表示装置
KR20170016143A (ko) 광계카메라를 이용한 차선 인식 시스템 및 방법
CN107531182B (zh) 车辆用显示装置以及车辆用显示方法
JP4696925B2 (ja) 画像処理装置
KR20150050233A (ko) 차선 검출 장치
JP2011103058A (ja) 誤認識防止装置
JP3226699B2 (ja) 車両用周辺監視装置
JP5245471B2 (ja) 撮像装置、並びに、画像処理装置および方法
EP3896387A1 (en) Image processing device

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140922

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150923

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160927

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170922

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 8