KR101825343B1 - 차량의 후방 뷰 영상 처리 장치 및 시스템 - Google Patents

차량의 후방 뷰 영상 처리 장치 및 시스템 Download PDF

Info

Publication number
KR101825343B1
KR101825343B1 KR1020160166817A KR20160166817A KR101825343B1 KR 101825343 B1 KR101825343 B1 KR 101825343B1 KR 1020160166817 A KR1020160166817 A KR 1020160166817A KR 20160166817 A KR20160166817 A KR 20160166817A KR 101825343 B1 KR101825343 B1 KR 101825343B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
camera
distortion
side mirror
Prior art date
Application number
KR1020160166817A
Other languages
English (en)
Inventor
훈 강
Original Assignee
주식회사 엠씨넥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠씨넥스 filed Critical 주식회사 엠씨넥스
Priority to KR1020160166817A priority Critical patent/KR101825343B1/ko
Application granted granted Critical
Publication of KR101825343B1 publication Critical patent/KR101825343B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 차량의 후방 뷰 영상 처리 장치 및 시스템에 관한 것으로, 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성함으로써 영상 합성시의 왜곡을 개선할 수 있도록 한 것이다.

Description

차량의 후방 뷰 영상 처리 장치 및 시스템{Apparatus and system for processing rear view video of a car}
본 발명은 차량의 후방 뷰 영상 생성 기술에 관련한 것으로, 특히 차량의 후방 뷰 영상 처리 장치 및 시스템에 관한 것이다.
대한민국 공개특허 제10-2013-0006906호(2013.01.18)에서 차량의 전후좌우에 장착된 각 카메라의 영상을 합성했을 때, 합성된 영상의 경계라인에 위화감이 드는 현상을 없앨 수 있도록 한 어라운드 뷰 모니터 시스템의 카메라 간 화질차이 개선 기술을 제안하고 있다.
차량에 장착되는 다수의 카메라 영상들을 합성할 때 합성된 영상의 경계면 뿐만 아니라, 카메라들간의 거리 차이, 높이 차이 및 카메라 기울기에 의해서도 왜곡이 발생하고, 카메라들간의 거리 차이, 높이 차이 및 카메라 기울기에 의한 왜곡을 보정하지 않으면 합성된 영상은 매우 위화감이 들 것이다.
대한민국 공개특허 제10-2013-0006906호(2013.01.18)
본 발명은 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성함으로써 영상 합성시의 왜곡을 개선할 수 있는 차량의 후방 뷰 영상 처리 장치 및 시스템을 제공함을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 차량의 후방 뷰 영상 처리 장치가 왜곡 보정 파라미터들의 설정값들을 저장하는 메모리와; 상기 메모리에 저장된 왜곡 보정 파라미터들의 설정값들을 참조하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성하는 제어부를; 포함하여 이루어지는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 제어부가 상기 메모리에 저장된 왜곡 보정 파라미터들의 설정값들을 독출하는 설정값 독출부와; 상기 설정값 독출부에 의해 독출된 왜곡 보정 파라미터들의 설정값들을 반영하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 보정하는 왜곡 보정부와; 상기 왜곡 보정부에 의해 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰 영상을 생성하는 후방 뷰 영상 생성부를; 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정 파라미터가 차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 거리 차이에 의한 영상 왜곡을 보정하기 위한 거리 왜곡 보정 파라미터를 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부가 거리 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 해상도 크기를 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상 및 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 해상도 크기로 리사이징(Resizing) 또는 디와핑(Dewarping) 하여 카메라 거리 차이에 따른 왜곡을 보정하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정 파라미터가 차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 높이 차이에 의한 영상 왜곡을 보정하기 위한 높이 왜곡 보정 파라미터를 더 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부가 높이 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 y축 방향으로 이동(Moving)시켜 카메라 높이 차이에 따른 왜곡을 보정하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정 파라미터가 차량의 후방 카메라의 기울기에 의한 영상 왜곡을 보정하기 위한 기울기 왜곡 보정 파라미터를 더 포함하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부가 기울기 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 z축 방향으로 회전(Rotating)시켜 후방 카메라의 기울기에 따른 왜곡을 보정하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부가 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 화질 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 화질을 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질 수준으로 조절하는 것을 특징으로 한다.
본 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부가 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 명도 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 명도를 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도 수준으로 조절하는 것을 특징으로 한다.
본 발명의 또 다른 양상에 따르면, 차량의 후방 뷰 영상 처리 시스템이 차량의 좌측 후방 영상을 촬영하는 좌측 사이드 미러 카메라와; 차량의 우측 후방 영상을 촬영하는 우측 사이드 미러 카메라와; 차량의 중앙 후방 영상을 촬영하는 후방 카메라와; 왜곡 보정 파라미터들의 설정값들을 저장하는 메모리와; 상기 메모리에 저장된 왜곡 보정 파라미터들의 설정값들을 참조하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성하는 제어부와; 상기 제어부에 의해 생성된 후방 뷰 영상을 화면 표시하는 디스플레이를; 포함하여 이루어지는 것을 특징으로 한다.
본 발명은 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성함으로써 영상 합성시의 왜곡을 개선할 수 있으므로, 왜곡 없는 후방 뷰 영상을 제공할 수 있는 효과가 있다.
도 1 은 차량의 사이드 미러 카메라와 후방 카메라간의 거리 차이를 예시한 도면이다.
도 2 는 차량의 사이드 미러 카메라와 후방 카메라간의 높이 차이를 예시한 도면이다.
도 3 은 차량의 후방 카메라 기울기를 예시한 도면이다.
도 4 는 본 발명에 따른 차량의 후방 뷰 영상 처리 장치의 일 실시예의 구성을 도시한 블럭도이다.
도 5 는 본 발명에 따른 차량의 후방 뷰 영상 처리 장치의 후방 뷰 영상 처리 과정의 일 예를 도시한 흐름도이다.
도 6 은 본 발명에 따른 차량의 후방 뷰 영상 처리 시스템의 일 실시예의 구성을 도시한 블럭도이다.
도 7 은 본 발명에 따른 차량의 후방 뷰 영상 처리 시스템의 후방 뷰 영상 처리 과정의 일 예를 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명 명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 차량의 사이드 미러 카메라와 후방 카메라간의 거리 차이를 예시한 도면이다. 도 1 에 도시한 바와 같이 차량의 좌/우측 사이드 미러 카메라와 물체의 거리가 S1이고, 차량의 후방 카메라와 물체의 거리가 S2라면, 좌/우측 사이드 미러 카메라와 차량의 후방 카메라간의 거리 차이는 S1-S2가 된다.
그런데, 차량의 좌/우측 사이드 미러 카메라 보다 차량의 후방 카메라가 물체에 더 가까우므로, 좌/우측 사이드 미러 카메라에 의해 촬영된 물체의 크기보다 후방 카메라에 의해 촬영된 물체의 크기가 더 커보인다.
이에 따라, 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성할 때, 좌/우측 사이드 미러 카메라와 차량의 후방 카메라간의 거리 차이에 의한 물체 크기 왜곡을 보정하지 않으면 합성된 영상은 이질감이 들게 된다.
도 2 는 차량의 사이드 미러 카메라와 후방 카메라간의 높이 차이를 예시한 도면이다. 도 2 에 도시한 바와 같이 차량의 좌/우측 사이드 미러 카메라의 지면에 대한 높이가 H1이고, 차량의 후방 카메라의 지면에 대한 높이가 H2라면, 좌/우측 사이드 미러 카메라와 차량의 후방 카메라간의 높이 차이는 H1-H2가 된다.
그런데, 차량의 좌/우측 사이드 미러 카메라 높이와 차량의 후방 카메라 높이 차이가 있다면, 좌/우측 사이드 미러 카메라에 의해 촬영되는 영상내에서의 물체의 좌표들과, 후방 카메라에 의해 촬영되는 영상내에서의 물체의 좌표들은 y축 방향(세로 방향)으로 차이가 발생한다.
이에 따라, 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성할 때, 좌/우측 사이드 미러 카메라와 차량의 후방 카메라간의 높이 차이에 의한 물체의 y축 방향(세로 방향) 불일치 왜곡을 보정하지 않으면 합성된 영상은 이질감이 들게 된다.
도 3 은 차량의 후방 카메라 기울기를 예시한 도면이다. 도 3 에 도시한 바와 같이, 후방 카메라를 후방 감시용 및 후방 주차용으로 동시에 사용할 경우, 후방 카메라는 지면 방향으로 특정 기울기를 가지도록 설치된다.
그런데, 지면 방향으로 특정 기울기를 가지도록 설치되는 차량의 후방 카메라에 의해 촬영되는 영상은 지면과 수평한 방향으로 설치되는 좌/우측 사이드 미러 카메라에 의해 촬영되는 영상에 비해 z축 방향(전면 방향)으로 후방 카메라 기울기 만큼 회전된 영상이 된다.
이에 따라, 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성할 때, 지면 방향으로 특정 기울기를 가지도록 설치되는 차량의 후방 카메라 기울기에 의한 물체의 z축 방향(전면 방향) 회전 왜곡을 보정하지 않으면 합성된 영상은 이질감이 들게 된다.
도 4 는 본 발명에 따른 차량의 후방 뷰 영상 처리 장치의 일 실시예의 구성을 도시한 블럭도이다. 도 4 에 도시한 바와 같이, 이 실시예에 따른 차량의 후방 뷰 영상 처리 장치(100)는 메모리(110)와, 제어부(120)를 포함하여 이루어진다.
상기 메모리(110)는 왜곡 보정 파라미터들의 설정값들을 저장한다. 이 때, 상기 왜곡 보정 파라미터가 거리 왜곡 보정 파라미터, 높이 왜곡 보정 파라미터, 기울기 왜곡 보정 파라미터를 포함할 수 있다.
상기 거리 왜곡 보정 파라미터는 차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 거리 차이에 의한 영상 왜곡을 보정하기 위한 왜곡 보정 파라미터이다.
상기 높이 왜곡 보정 파라미터는 차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 높이 차이에 의한 영상 왜곡을 보정하기 위한 왜곡 보정 파라미터이다.
상기 기울기 왜곡 보정 파라미터는 차량의 후방 카메라의 기울기에 의한 영상 왜곡을 보정하기 위한 왜곡 보정 파라미터이다.
이 때, 차량의 후방 카메라가 차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라 보다 높은 화소수를 가지거나 또는 큰 화각의 렌즈를 사용한 카메라일 수 있다.
한편, 왜곡 보정 파라미터들의 설정값들은 왜곡 보정 파라미터 설정을 위한 프로그램을 통해 설정될 수 있다. 예컨대, 차량의 좌측 사이드 미러 카메라, 차량의 우측 사이드 미러 카메라 및 차량의 후방 카메라의 차량 설치 환경과 동일한 환경으로 차량의 좌측 사이드 미러 카메라, 차량의 우측 사이드 미러 카메라 및 차량의 후방 카메라를 실험실에 설치하고, 이들에 의해 획득되는 프리뷰 영상들을 왜곡 보정 파라미터 설정을 위한 프로그램을 통해 분석하여 왜곡 보정 파라미터들의 설정값들을 결정하여 실제 차량의 후방 뷰 영상 처리 장치(100)의 메모리(110)에 저장함으로써 왜곡 보정 파라미터들의 설정값들을 설정할 수 있다.
예컨대, PC를 통해 왜곡 보정 파라미터 설정을 위한 프로그램을 실행하여 차량의 좌측 사이드 미러 카메라와 차량의 우측 사이드 미러 카메라 및 차량의 후방 카메라 각각의 프리뷰 영상들을 불러와 화면의 서로 다른 영역에 표시하고, 사용자 조작을 통해 차량의 후방 카메라 프리뷰 영상을 리사이징(Resizing) 또는 디와핑(Dewarping), 이동(Moving), 회전(Rotating)시키면, 왜곡 보정 파라미터 설정을 위한 프로그램이 자동으로 왜곡 보정 파라미터들의 설정값들을 변경하여 왜곡 보정 파라미터들의 설정값들을 결정하도록 구현될 수 있다.
상기 제어부(120)는 상기 메모리(110)에 저장된 왜곡 보정 파라미터들의 설정값들을 참조하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성한다.
예컨대, 상기 제어부(120)가 설정값 독출부(121)와, 왜곡 보정부(122)와, 후방 뷰 영상 생성부(123)를 포함할 수 있다. 이 때, 제어부(120)는 프로세서와 같은 하드웨어일 수 있고, 설정값 독출부(121)와, 왜곡 보정부(122)와, 후방 뷰 영상 생성부(123)는 프로세서에 의해 실행되는 소프트웨어 모듈일 수 있다.
상기 설정값 독출부(121)는 상기 메모리(110)에 저장된 왜곡 보정 파라미터들의 설정값들을 독출한다. 설정값 독출부(121)에 의해 메모리(110)로부터 왜곡 보정 파라미터들의 설정값들이 독출되면, 왜곡 보정부(122)가 왜곡 보정 파라미터들의 설정값들 이용해 왜곡 보정을 수행한다.
상기 왜곡 보정부(122)는 상기 설정값 독출부(121)에 의해 독출된 왜곡 보정 파라미터들의 설정값들을 반영하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 보정한다.
예컨대, 상기 왜곡 보정부(122)가 거리 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 해상도 크기를 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상 및 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 해상도 크기로 리사이징(Resizing) 또는 디와핑(Dewarping) 하여 카메라 거리 차이에 따른 왜곡을 보정하도록 구현될 수 있다.
예컨대, 상기 왜곡 보정부(122)가 높이 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 y축 방향(세로 방향)으로 이동(Moving)시켜 카메라 높이 차이에 따른 왜곡을 보정하도록 구현될 수 있다.
예컨대, 상기 왜곡 보정부(122)가 기울기 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 z축 방향(전면 방향)으로 회전(Rotating)시켜 후방 카메라의 기울기에 따른 왜곡을 보정하도록 구현될 수 있다.
상기 후방 뷰 영상 생성부(123)는 상기 왜곡 보정부(122)에 의해 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰 영상을 생성한다. 상기 후방 뷰 영상 생성부(123)에 의해 생성된 후방 뷰 영상은 차량내의 네비게이션 장치 화면 등과 같은 디스플레이를 통해 화면 표시된다.
이와 같이 구현함에 의해 본 발명은 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성함으로써 영상 합성시의 왜곡을 개선할 수 있으므로, 왜곡 없는 후방 뷰 영상을 제공할 수 있다.
한편, 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부(122)가 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 화질 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 화질을 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질 수준으로 조절하도록 구현될 수 있다.
해상도 크기가 리사이징 또는 디와핑 되어 차량의 중앙 후방 영상의 해상도가 변하면, 차량의 중앙 후방 영상의 화질은 변하게 되어, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질과 차이가 나게 되므로, 영상 합성 후 이질감이 발생되는데, 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 화질을 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질 수준으로 조절함으로써 영상 합성 후 이질감 발생을 방지할 수 있다.
한편, 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부(122)가 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 명도 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 명도를 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도 수준으로 조절하도록 구현될 수 있다.
해상도 크기가 리사이징 또는 디와핑 되어 차량의 중앙 후방 영상의 해상도가 변하면, 차량의 중앙 후방 영상의 명도도 변하게 되어, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도와 차이가 나게 되므로, 영상 합성 후 이질감이 발생되는데, 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 명도를 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도 수준으로 조절함으로써 영상 합성 후 이질감 발생을 방지할 수 있다.
이상에서 설명한 바와 같은 본 발명에 따른 차량의 후방 뷰 영상 처리 장치의 후방 뷰 영상 처리 동작을 도 5 를 통해 알아본다. 도 5 는 본 발명에 따른 차량의 후방 뷰 영상 처리 장치의 후방 뷰 영상 처리 과정의 일 예를 도시한 흐름도이다.
먼저, 단계 210에서 차량의 후방 뷰 영상 처리 장치가 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과, 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상과, 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상을 수신한다.
그 다음, 단계 220에서 차량의 후방 뷰 영상 처리 장치가 메모리에 저장된 왜곡 보정 파라미터들의 설정값들을 독출한다. 이 때, 상기 왜곡 보정 파라미터가 거리 왜곡 보정 파라미터, 높이 왜곡 보정 파라미터, 기울기 왜곡 보정 파라미터를 포함할 수 있다.
그 다음, 단계 230에서 차량의 후방 뷰 영상 처리 장치가 메모리로부터 독출된 왜곡 보정 파라미터들의 설정값들을 반영하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 보정한다.
그 다음, 단계 240에서 차량의 후방 뷰 영상 처리 장치가 상기 단계 230에 의해 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰 영상을 생성한다.
이와 같이 구현함에 의해 본 발명은 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성함으로써 영상 합성시의 왜곡을 개선할 수 있으므로, 왜곡 없는 후방 뷰 영상을 제공할 수 있다.
도 6 은 본 발명에 따른 차량의 후방 뷰 영상 처리 시스템의 일 실시예의 구성을 도시한 블럭도이다. 도 6 에 도시한 바와 같이, 이 실시예에 따른 차량의 후방 뷰 영상 처리 시스템(300)은 좌측 사이드 미러 카메라(310)와, 우측 사이드 미러 카메라(320)와, 후방 카메라(330)와, 메모리(340)와, 제어부(350)와, 디스플레이(360)를 포함하여 이루어진다.
상기 좌측 사이드 미러 카메라(310)는 차량의 좌측 사이드 미러 위치에 사이드 미러 대신 설치되어 차량의 좌측 후방 영상을 촬영한다.
상기 우측 사이드 미러 카메라(320)는 차량의 우측 사이드 미러 위치에 사이드 미러 대신 설치되어 차량의 우측 후방 영상을 촬영한다.
상기 후방 카메라(330)는 차량의 후방 중앙 부위에 설치되어 차량의 중앙 후방 영상을 촬영한다.
상기 메모리(340)는 왜곡 보정 파라미터들의 설정값들을 저장한다. 이 때, 상기 왜곡 보정 파라미터가 거리 왜곡 보정 파라미터, 높이 왜곡 보정 파라미터, 기울기 왜곡 보정 파라미터를 포함할 수 있다.
상기 거리 왜곡 보정 파라미터는 차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 거리 차이에 의한 영상 왜곡을 보정하기 위한 왜곡 보정 파라미터이다.
상기 높이 왜곡 보정 파라미터는 차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 높이 차이에 의한 영상 왜곡을 보정하기 위한 왜곡 보정 파라미터이다.
상기 기울기 왜곡 보정 파라미터는 차량의 후방 카메라의 기울기에 의한 영상 왜곡을 보정하기 위한 왜곡 보정 파라미터이다.
이 때, 차량의 후방 카메라(330)가 차량의 좌측 사이드 미러 카메라(310) 및 차량의 우측 사이드 미러 카메라(320) 보다 높은 화소수를 가지거나 또는 큰 화각의 렌즈를 사용한 카메라일 수 있다.
한편, 왜곡 보정 파라미터들의 설정값들은 왜곡 보정 파라미터 설정을 위한 프로그램을 통해 설정될 수 있다. 예컨대, 차량의 좌측 사이드 미러 카메라, 차량의 우측 사이드 미러 카메라 및 차량의 후방 카메라의 차량 설치 환경과 동일한 환경으로 차량의 좌측 사이드 미러 카메라, 차량의 우측 사이드 미러 카메라 및 차량의 후방 카메라를 실험실에 설치하고, 이들에 의해 획득되는 프리뷰 영상들을 왜곡 보정 파라미터 설정을 위한 프로그램을 통해 분석하여 왜곡 보정 파라미터들의 설정값들을 결정하여 실제 차량의 후방 뷰 영상 처리 시스템(300)의 메모리(340)에 저장함으로써 왜곡 보정 파라미터들의 설정값들을 설정할 수 있다.
예컨대, PC를 통해 왜곡 보정 파라미터 설정을 위한 프로그램을 실행하여 차량의 좌측 사이드 미러 카메라와 차량의 우측 사이드 미러 카메라 및 차량의 후방 카메라 각각의 프리뷰 영상들을 불러와 화면의 서로 다른 영역에 표시하고, 사용자 조작을 통해 차량의 후방 카메라 프리뷰 영상을 리사이징(Resizing) 또는 디와핑(Dewarping), 이동(Moving), 회전(Rotating)시키면, 왜곡 보정 파라미터 설정을 위한 프로그램이 자동으로 왜곡 보정 파라미터들의 설정값들을 변경하여 왜곡 보정 파라미터들의 설정값들을 결정하도록 구현될 수 있다.
상기 제어부(350)는 상기 메모리(340)에 저장된 왜곡 보정 파라미터들의 설정값들을 참조하여 차량의 후방 카메라(330)에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라(310)에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라(320)에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성한다.
예컨대, 상기 제어부(350)가 설정값 독출부(351)와, 왜곡 보정부(352)와, 후방 뷰 영상 생성부(353)를 포함할 수 있다. 이 때, 제어부(350)는 프로세서와 같은 하드웨어일 수 있고, 설정값 독출부(351)와, 왜곡 보정부(352)와, 후방 뷰 영상 생성부(353)는 프로세서에 의해 실행되는 소프트웨어 모듈일 수 있다.
상기 설정값 독출부(351)는 상기 메모리(340)에 저장된 왜곡 보정 파라미터들의 설정값들을 독출한다. 설정값 독출부(351)에 의해 메모리(340)로부터 왜곡 보정 파라미터들의 설정값들이 독출되면, 왜곡 보정부(352)가 왜곡 보정 파라미터들의 설정값들 이용해 왜곡 보정을 수행한다.
상기 왜곡 보정부(352)는 상기 설정값 독출부(351)에 의해 독출된 왜곡 보정 파라미터들의 설정값들을 반영하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 보정한다.
예컨대, 상기 왜곡 보정부(352)가 거리 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 해상도 크기를 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상 및 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 해상도 크기로 리사이징(Resizing) 또는 디와핑(Dewarping) 하여 카메라 거리 차이에 따른 왜곡을 보정하도록 구현될 수 있다.
예컨대, 상기 왜곡 보정부(352)가 높이 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 y축 방향(세로 방향)으로 이동(Moving)시켜 카메라 높이 차이에 따른 왜곡을 보정하도록 구현될 수 있다.
예컨대, 상기 왜곡 보정부(352)가 기울기 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 z축 방향(전면 방향)으로 회전(Rotating)시켜 후방 카메라의 기울기에 따른 왜곡을 보정하도록 구현될 수 있다.
상기 후방 뷰 영상 생성부(353)는 상기 왜곡 보정부(352)에 의해 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰 영상을 생성한다.
상기 디스플레이(360)는 상기 후방 뷰 영상 생성부(353)에 의해 생성된 후방 뷰 영상을 화면 표시하는 것으로, 예컨대, 상기 디스플레이(360)가 차량내의 네비게이션 장치 화면일 수 있다.
이와 같이 구현함에 의해 본 발명은 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성함으로써 영상 합성시의 왜곡을 개선할 수 있으므로, 왜곡 없는 후방 뷰 영상을 제공할 수 있다.
한편, 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부(352)가 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 화질 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 화질을 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질 수준으로 조절하도록 구현될 수 있다.
해상도 크기가 리사이징 또는 디와핑 되어 차량의 중앙 후방 영상의 해상도가 변하면, 차량의 중앙 후방 영상의 화질은 변하게 되어, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질과 차이가 나게 되므로, 영상 합성 후 이질감이 발생되는데, 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 화질을 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질 수준으로 조절함으로써 영상 합성 후 이질감 발생을 방지할 수 있다.
한편, 발명의 부가적인 양상에 따르면, 상기 왜곡 보정부(352)가 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 명도 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 명도를 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도 수준으로 조절하도록 구현될 수 있다.
해상도 크기가 리사이징 또는 디와핑 되어 차량의 중앙 후방 영상의 해상도가 변하면, 차량의 중앙 후방 영상의 명도도 변하게 되어, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도와 차이가 나게 되므로, 영상 합성 후 이질감이 발생되는데, 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 명도를 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도 수준으로 조절함으로써 영상 합성 후 이질감 발생을 방지할 수 있다.
이상에서 설명한 바와 같은 본 발명에 따른 차량의 후방 뷰 영상 처리 시스템의 후방 뷰 영상 처리 동작을 도 7 을 통해 알아본다. 도 7 은 본 발명에 따른 차량의 후방 뷰 영상 처리 시스템의 후방 뷰 영상 처리 과정의 일 예를 도시한 흐름도이다.
먼저, 단계 410에서 차량의 후방 뷰 영상 처리 시스템의 차량의 좌측 사이드 미러 카메라와, 차량의 우측 사이드 미러 카메라 및 차량의 후방 카메라에 의해 각각 차량의 좌측 후방 영상과, 차량의 우측 후방 영상과, 차량의 중앙 후방 영상이 촬영된다.
그 다음, 단계 420에서 차량의 후방 뷰 영상 처리 시스템이 메모리에 저장된 왜곡 보정 파라미터들의 설정값들을 독출한다. 이 때, 상기 왜곡 보정 파라미터가 거리 왜곡 보정 파라미터, 높이 왜곡 보정 파라미터, 기울기 왜곡 보정 파라미터를 포함할 수 있다.
그 다음, 단계 430에서 차량의 후방 뷰 영상 처리 시스템이 메모리로부터 독출된 왜곡 보정 파라미터들의 설정값들을 반영하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 보정한다.
그 다음, 단계 440에서 차량의 후방 뷰 영상 처리 시스템이 상기 단계 430에 의해 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰 영상을 생성한다.
그 다음, 단계 450에서 차량의 후방 뷰 영상 처리 시스템이 상기 단계 440에 의해 생성된 후방 뷰 영상을 차량 내부의 네비게이션 장치 화면 등의 디스플레이를 통해 화면 표시한다.
이와 같이 구현함에 의해 본 발명은 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성함으로써 영상 합성시의 왜곡을 개선할 수 있으므로, 왜곡 없는 후방 뷰 영상을 제공할 수 있다.
본 발명은 첨부된 도면에 의해 참조되는 바람직한 실시예를 중심으로 기술되었지만, 이러한 기재로부터 후술하는 특허청구범위에 의해 포괄되는 범위내에서 본 발명의 범주를 벗어남이 없이 다양한 변형이 가능하다는 것은 명백하다.
본 발명은 차량의 후방 뷰 영상 처리 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.
100 : 차량의 후방 뷰 영상 처리 장치
110 : 메모리
120 : 제어부
121 : 설정값 독출부
122 : 왜곡 보정부
123 : 후방 뷰 영상 생성부
300 : 차량의 후방 뷰 영상 처리 시스템
310 : 좌측 사이드 미러 카메라
320 : 우측 사이드 미러 카메라
330 : 후방 카메라
340 : 메모리
350 : 제어부
351 : 설정값 독출부
352 : 왜곡 보정부
353 : 후방 뷰 영상 생성부
360 : 디스플레이

Claims (10)

  1. 차량의 좌측 후방 영상을 촬영하는 좌측 사이드 미러 카메라와;
    차량의 우측 후방 영상을 촬영하는 우측 사이드 미러 카메라와;
    차량의 중앙 후방 영상을 촬영하는 후방 카메라와;
    왜곡 보정 파라미터들의 설정값들을 저장하는 메모리와;
    상기 메모리에 저장된 왜곡 보정 파라미터들의 설정값들을 참조하여, 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 해상도 크기를 리사이징(Resizing) 또는 디와핑(Dewarping)하거나, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들의 이동(Moving) 또는 회전(Rotating)시켜, 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 사이드 미러 카메라에 의해 촬영되는 영상 수준으로 보정하고, 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰(Rear View) 영상을 생성하는 제어부와;
    상기 제어부에 의해 생성된 후방 뷰 영상을 화면 표시하는 디스플레이를;
    포함하여 이루어지는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.
  2. 제 1 항에 있어서,
    상기 제어부가:
    상기 메모리에 저장된 왜곡 보정 파라미터들의 설정값들을 독출하는 설정값 독출부와;
    상기 설정값 독출부에 의해 독출된 왜곡 보정 파라미터들의 설정값들을 반영하여 차량의 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 왜곡을 보정하는 왜곡 보정부와;
    상기 왜곡 보정부에 의해 왜곡 보정된 차량의 중앙 후방 영상을 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상과 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 사이에 연결(Stitching)하여 후방 뷰 영상을 생성하는 후방 뷰 영상 생성부를;
    포함하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.
  3. 제 2 항에 있어서,
    상기 왜곡 보정 파라미터가:
    차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 거리 차이에 의한 영상 왜곡을 보정하기 위한 거리 왜곡 보정 파라미터를 포함하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.
  4. 제 3 항에 있어서,
    상기 왜곡 보정부가:
    거리 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 해상도 크기를 차량의 좌측 사이드 미러 카메라에 의해 촬영되는 차량의 좌측 후방 영상 및 차량의 우측 사이드 미러 카메라에 의해 촬영되는 차량의 우측 후방 영상 해상도 크기로 리사이징(Resizing) 또는 디와핑(Dewarping) 하여 카메라 거리 차이에 따른 왜곡을 보정하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.
  5. 제 4 항에 있어서,
    상기 왜곡 보정 파라미터가:
    차량의 좌측 사이드 미러 카메라 및 차량의 우측 사이드 미러 카메라와 차량의 후방 카메라간의 높이 차이에 의한 영상 왜곡을 보정하기 위한 높이 왜곡 보정 파라미터를 더 포함하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.
  6. 제 5 항에 있어서,
    상기 왜곡 보정부가:
    높이 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 y축 방향으로 이동(Moving)시켜 카메라 높이 차이에 따른 왜곡을 보정하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.
  7. 제 3 항 내지 제 6 항 중의 어느 한 항에 있어서,
    상기 왜곡 보정 파라미터가:
    차량의 후방 카메라의 기울기에 의한 영상 왜곡을 보정하기 위한 기울기 왜곡 보정 파라미터를 더 포함하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.
  8. 제 7 항에 있어서,
    상기 왜곡 보정부가:
    기울기 왜곡 보정 파라미터 설정값에 따라, 후방 카메라에 의해 촬영되는 차량의 중앙 후방 영상의 좌표들을 z축 방향으로 회전(Rotating)시켜 후방 카메라의 기울기에 따른 왜곡을 보정하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.
  9. 제 8 항에 있어서,
    상기 왜곡 보정부가:
    해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 화질 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 화질을 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 화질 수준으로 조절하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.
  10. 제 8 항에 있어서,
    상기 왜곡 보정부가:
    해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상과, 차량의 좌측 후방 영상 및 차량의 우측 후방 영상간의 명도 차이에 의한 이질감을 해소하기 위해 해상도 크기가 리사이징 또는 디와핑 된 차량의 중앙 후방 영상의 명도를 차량의 좌측 후방 영상 및 차량의 우측 후방 영상의 명도 수준으로 조절하는 것을 특징으로 하는 차량의 후방 뷰 영상 처리 시스템.
KR1020160166817A 2016-12-08 2016-12-08 차량의 후방 뷰 영상 처리 장치 및 시스템 KR101825343B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160166817A KR101825343B1 (ko) 2016-12-08 2016-12-08 차량의 후방 뷰 영상 처리 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160166817A KR101825343B1 (ko) 2016-12-08 2016-12-08 차량의 후방 뷰 영상 처리 장치 및 시스템

Publications (1)

Publication Number Publication Date
KR101825343B1 true KR101825343B1 (ko) 2018-02-05

Family

ID=61224697

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160166817A KR101825343B1 (ko) 2016-12-08 2016-12-08 차량의 후방 뷰 영상 처리 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR101825343B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220077837A (ko) * 2020-12-02 2022-06-09 주식회사 텔레칩스 후방 카메라 영상 처리 장치 및 방법
WO2022119205A1 (ko) * 2020-12-02 2022-06-09 주식회사 텔레칩스 후방 카메라 영상 처리 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
박민우 외3, "차량의 사각 지대 제거를 위한 측/후방 카메라 영상 정합 시스템", 정보과학회논문지, 2009.8.*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220077837A (ko) * 2020-12-02 2022-06-09 주식회사 텔레칩스 후방 카메라 영상 처리 장치 및 방법
WO2022119205A1 (ko) * 2020-12-02 2022-06-09 주식회사 텔레칩스 후방 카메라 영상 처리 장치 및 방법
KR102478458B1 (ko) 2020-12-02 2022-12-19 주식회사 텔레칩스 후방 카메라 영상 처리 장치 및 방법

Similar Documents

Publication Publication Date Title
JP4874280B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP5222597B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP6323729B2 (ja) 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法
TWI524306B (zh) 圖像轉換和多視圖輸出系統及方法
TWI578271B (zh) 動態影像處理方法以及動態影像處理系統
JP4975592B2 (ja) 撮像装置
US20090122195A1 (en) System and Method for Combining Image Sequences
JP2011182236A (ja) カメラキャリブレーション装置
KR20130112574A (ko) 확대된 영상의 화질을 개선하기 위한 장치 및 방법
JP2014049848A (ja) 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
CN111316629B (zh) 图像处理装置和方法、成像装置和程序
KR20160013337A (ko) 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
US20040201768A1 (en) Electronic imaging system having a sensor for correcting perspective projection distortion
JP2010183265A (ja) 画像表示装置及びそのカメラ取り付け角度算出方法
JP5178454B2 (ja) 車両周囲監視装置及び車両周囲監視方法
JP2010188765A (ja) 測光領域決定装置および測光領域決定方法
KR101825343B1 (ko) 차량의 후방 뷰 영상 처리 장치 및 시스템
JP4853434B2 (ja) 画像処理装置
JP2007158639A (ja) 車両運転支援装置
WO2019182101A1 (ja) 多眼カメラシステム、多眼撮影用カメラヘッド、画像処理装置、多眼撮影用プログラムおよび多眼撮影方法
JP2009123131A (ja) 撮像装置
JP4977556B2 (ja) 半導体集積回路装置および描画処理表示システム
JP2018137786A (ja) 画像処理装置及びこれを備えた撮像システムならびにキャリブレーション方法
JPWO2011158344A1 (ja) 画像処理方法、プログラム、画像処理装置及び撮像装置
KR20170018644A (ko) Avm 시스템의 카메라 공차 보정 방법 및 장치

Legal Events

Date Code Title Description
GRNT Written decision to grant