KR101596415B1 - 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법 - Google Patents

시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법 Download PDF

Info

Publication number
KR101596415B1
KR101596415B1 KR1020140024285A KR20140024285A KR101596415B1 KR 101596415 B1 KR101596415 B1 KR 101596415B1 KR 1020140024285 A KR1020140024285 A KR 1020140024285A KR 20140024285 A KR20140024285 A KR 20140024285A KR 101596415 B1 KR101596415 B1 KR 101596415B1
Authority
KR
South Korea
Prior art keywords
view
range
lookup table
homography
surrounding
Prior art date
Application number
KR1020140024285A
Other languages
English (en)
Other versions
KR20150102433A (ko
Inventor
장시웅
장종욱
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020140024285A priority Critical patent/KR101596415B1/ko
Publication of KR20150102433A publication Critical patent/KR20150102433A/ko
Application granted granted Critical
Publication of KR101596415B1 publication Critical patent/KR101596415B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 여러 개의 뷰에 해당하는 룩업 테이블을 구성하고 운전자의 선택에 따라 해당하는 룩업 테이블을 사용하여 매핑하는 것에 의해 어라운드뷰의 범위를 조정할 수 있도록 한 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법에 관한 것으로, 어라운드뷰 모니터링 시스템에서 시야 범위를 선택하기 위하여,어라운드뷰 개수 및 범위를 지정하고 가상 그리드셀을 생성하여 호모그래피 변환을 하여 어라운드뷰 개수 및 범위 지정에 따른 다수 개의 룩업 테이블 생성을 하는 룩업 테이블 생성 및 저장부;어라운드뷰 정보를 제공하고 선택된 범위의 어라운드뷰에 해당하는 룩업 테이블을 선택하여 영상 변환을 수행하여 출력하는 어라운드뷰 제공부;를 포함하는 것이다.

Description

시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법{System and Method for Monitoring Around View with Multiple Scopes}
본 발명은 어라운드뷰 시스템에 관한 것으로, 구체적으로 여러 개의 뷰에 해당하는 룩업 테이블을 구성하고 운전자의 선택에 따라 해당하는 룩업 테이블을 사용하여 매핑하는 것에 의해 어라운드뷰의 범위를 조정할 수 있도록 한 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법에 관한 것이다.
최근 출시되는 차량들은 사각지대(blind spot)로 인한 사고를 막고, 운전자 편의를 위해 후방 센서나 후방 카메라와 같은 ECU(Electronic Control Unit)를 장착하고 있다.
그러나 후방 카메라나 센서만으로는 차량 주변을 완벽하게 파악할 수 없다.
이러한 ECU는 운전자의 안전운전에 많은 도움을 주고 있으나, 운전자의 시야에서 벗어난 사각지대는 여전히 존재한다.
이러한 이유로 차량에 여러 대의 카메라를 장착하여 차량 주변상황을 운전자에게 영상으로 제공하는 AVM(Around View Monitoring) 시스템에 대한 연구가 활발히 진행되고 있다.
이와 같은 영상 시스템은 일반적으로 차량의 전, 후, 좌, 우 사방의 주변 상황에 대한 영상을 획득하여 운전자에게 제공함으로써 운전자가 차량의 주변상황을 쉽게 파악할 수 있도록 한다.
그러나 이와 같은 차량의 사방을 모니터링하는 종래 기술의 어라운드뷰 시스템은 차량 주변의 좁고 고정된 부분만을 감시할 수 있는 제한이 있어 주차용으로는 적합하나 차량 주변을 다양하게 모니터링하기에는 부적합하다.
도 1은 그리드 패턴을 이용한 어라운드뷰 생성을 위한 차량의 전후좌우 4개의 영상 구성도이고, 도 2는 종래 기술에 의해 정합된 어라운드뷰 영상 구성도이다.
도 1은 그리드 패턴을 이용한 어라운드뷰를 위한 영상정합 과정에서 영상을 정합하기 전 4개의 카메라로부터 받은 전후좌우의 영상을 왜곡보정과 호모그래피 변환을 통하여 영상정합을 위해 준비된 4개의 영상(101~104)을 나타낸 것이다.
그리고 도 2는 도 1의 전후좌우 4개의 영상을 종래의 방법으로 정합한 어라운드뷰 영상이다.
이와 같이 종래 기술의 방법에서는 그리드 패턴이 위치하고 있는 영역만을 어라운드뷰 영상에 포함시킬 수 있는 문제가 있다.
주차시에는 어라운드뷰의 시야 범위가 좁으면 정밀하게 시야를 모니터링할 수 있으나, 차량의 후진시나 어린이 승하차용으로 사용할 경우에는 뷰의 질이 정밀하지 않아도 시야 범위가 넓은 것이 유리하다.
이와 같이 현재 상용화되어 있는 차량의 전·후·좌·우 사방의 주변을 감시하는 어라운드뷰 시스템은 주로 차량 주변 1.5m정도의 뷰를 고정 크기로 보여주는 형태이다.
따라서, 운전자가 목적에 맞게 어라운드뷰의 범위를 조정할 수 있는 다양한 시야 범위를 제공 방법의 개발이 요구되고 있다.
대한민국 공개특허번호 제10-2013-0064167호 대한민국 공개특허번호 제10-2013-0064168호
본 발명은 이와 같은 종래 기술의 어라운드뷰 시스템의 문제를 해결하기 위한 것으로, 복수 개의 뷰에 해당하는 룩업(look-up) 테이블들을 사용하여 사용자가 원하는 다양한 범위의 차량 주변을 모니터링할 수 있도록 한 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명은 여러 개의 뷰에 해당하는 룩업 테이블을 구성하고 운전자의 선택에 따라 해당하는 룩업 테이블을 사용하여 매핑하는 것에 의해 어라운드뷰의 범위를 조정할 수 있도록 한 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명은 그리드 패턴재료가 위치한 영역은 실제 그리드셀을 이용하고, 그리드 패턴재료가 위치하지 않은 영역은 코너인식을 이용하여 코너점을 검출하고 확장선을 그어 가상 그리드셀을 만든 후, 실제 그리드셀과 가상 그리드셀 각각에 대해 셀 단위의 호모그래피 변환을 수행하여 영상이 정밀하게 정합되도록 한 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명에 따른 시야 범위를 선택하는 어라운드뷰 모니터링 시스템은 어라운드뷰 모니터링 시스템에서 시야 범위를 선택하기 위하여, 어라운드뷰 개수 및 범위를 지정하고 가상 그리드셀을 생성하여 호모그래피 변환을 하여 어라운드뷰 개수 및 범위 지정에 따른 다수 개의 룩업 테이블 생성을 하는 룩업 테이블 생성 및 저장부;제공할 수 있는 어라운드뷰 정보를 제공하고 선택된 범위의 어라운드뷰에 해당하는 룩업 테이블을 선택하여 영상 변환을 수행하여 출력하는 어라운드뷰 제공부;를 포함하는 것을 특징으로 한다.
여기서, 상기 룩업 테이블 생성 및 저장부는, 원하는 어라운드뷰 개수를 지정하는 선택 신호를 입력받아 처리하는 어라운드뷰 개수 지정부와,원하는 어라운드뷰의 전후방 길이(fb_length), 좌우측 길이(lr_length)가 입력되면 어라운드뷰 범위 지정을 처리하는 범위 지정 처리부와,전후방 부분의 그리드 셀의 개수, 좌우측 부분의 그리드 셀의 개수를 계산하는 그리드셀 계산부와,실제 그리드 셀을 이루는 테두리의 상하좌우를 연결하여 계산된 개수만큼의 가상 그리드셀을 생성하는 가상 그리드셀 생성부와,실제 그리드셀과 가상 그리드 셀 모두에 대해 호모그래피 변환을 수행하고, 각 그리드셀의 호모그래피 행렬을 이용하여 전체 호모그래피 행렬을 구성하고 호모그래피 파일을 생성하는 호모그래피 파일 생성부와,호모그래피 파일과 왜곡보정 계수, 원본 이미지 좌표를 계산하여 최종 결과 이미지에 적용될 룩업 테이블을 생성하는 룩업 테이블 생성부를 포함하는 것을 특징으로 한다.
그리고 상기 가상 그리드셀 생성부는, 지정한 어라운드뷰 범위를 서비스하기 위해 필요한 그리드셀의 수에서 실제 지면에 설치된 그리드셀의 수를 빼서 가상 그리드셀의 개수를 결정하는 것을 특징으로 한다.
그리고 상기 룩업 테이블 생성 및 저장부는, 하나의 룩업 테이블 생성이 되면 호모그래피 파일번호, 룩업 테이블의 번호로 사용되는 i값을 하나 증가시키고, 그 값이 서비스하고자하는 어라운드뷰 시야 범위의 종류보다 적으면 어라운드뷰 범위 지정, 그리드셀 계산, 가상 그리드셀 생성 및 호모그래피 파일 생성, 룩업 테이블생성 동작을 반복하는 것을 특징으로 한다.
그리고 상기 어라운드뷰 제공부는, 어라운드뷰 모니터링 시스템이 보유하고 있는 어라운드뷰 범위에 관한 정보를 운전자에게 제공하는 어라운드뷰 정보 제공부와,운전자에 의해 입력되는 어라운드뷰 범위 선택 신호를 처리하는 어라운드뷰 범위 선택부와,운전자가 선택한 어라운드 범위에 해당하는 룩업 테이블의 주소를 구하여 룩업 테이블을 선택하는 룩업 테이블 선택부와,카메라로부터 입력된 영상의 각 픽셀을 선택된 룩업 테이블을 이용하여 변환한 후 디스플레이에 출력하는 영상변환 출력부를 포함하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 시야 범위를 선택하는 어라운드뷰 모니터링 방법은 어라운드뷰 모니터링 시스템에서 시야 범위를 선택하기 위하여 어라운드뷰 개수 및 범위를 지정하는 단계;가상 그리드셀을 생성하여 호모그래피 변환을 하여 어라운드뷰 개수 및 범위 지정에 따른 다수 개의 룩업 테이블 생성을 하는 단계;제공할 수 있는 어라운드뷰 정보를 제공하는 단계;제공된 어라운드뷰 정보를 기준으로 선택된 범위의 어라운드뷰에 해당하는 룩업 테이블을 선택하는 단계;선택된 룩업 테이블을 이용하여 카메라로부터 입력된 영상의 각 픽셀을 변환한 후 디스플레이에 출력하는 단계;를 포함하는 것을 특징으로 한다.
여기서, 룩업 테이블 생성을 하는 단계에서, 하나의 룩업 테이블 생성이 되면 호모그래피 파일번호, 룩업 테이블의 번호로 사용되는 i값을 하나 증가시키고, 그 값이 서비스하고자하는 어라운드뷰 시야 범위의 종류보다 적으면 어라운드뷰 범위 지정, 그리드셀 계산, 가상 그리드셀 생성 및 호모그래피 파일 생성, 룩업 테이블생성 동작을 반복하는 것을 특징으로 한다.
또 다른 목적을 달성하기 위한 본 발명에 따른 시야 범위를 선택하는 어라운드뷰 모니터링 방법은 어라운드뷰 모니터링 시스템에서 시야 범위를 선택하기 위한 룩업 테이블 생성을 위하여,원하는 어라운드뷰 개수를 지정하는 선택 신호를 입력받는 단계;원하는 어라운드뷰의 전후방 길이(fb_length), 좌우측 길이(lr_length)가 입력되면 어라운드뷰 범위를 지정하는 단계;전후방 부분의 그리드 셀의 개수, 좌우측 부분의 그리드 셀의 개수를 계산하는 단계;실제 그리드 셀을 이루는 테두리의 상하좌우를 연결하여 계산된 개수만큼의 가상 그리드셀을 생성하는 단계;실제 그리드셀과 가상 그리드 셀 모두에 대해 호모그래피 변환을 수행하고, 각 그리드셀의 호모그래피 행렬을 이용하여 전체 호모그래피 행렬을 구성하고 호모그래피 파일을 생성하는 단계;호모그래피 파일과 왜곡보정 계수, 원본 이미지 좌표를 계산하여 최종 결과 이미지에 적용될 룩업 테이블을 생성하는 단계;를 포함하는 것을 특징으로 한다.
여기서, 가상 그리드셀을 생성하는 단계에서, 지정한 어라운드뷰 범위를 서비스하기 위해 필요한 그리드셀의 수에서 실제 지면에 설치된 그리드셀의 수를 빼서 가상 그리드셀의 개수를 결정하는 것을 특징으로 한다.
이와 같은 본 발명에 따른 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법은 다음과 같은 효과를 갖는다.
첫째, 복수 개의 뷰에 해당하는 룩업 테이블들을 사용하여 사용자가 원하는 다양한 범위의 차량 주변을 모니터링할 수 있다.
둘째, 운전자의 선택에 따라 해당하는 룩업 테이블을 사용하여 매핑하는 것에 의해 어라운드뷰의 범위를 조정할 수 있다.
셋째, 차량에서 어라운드뷰를 사용하는 목적에 따라 운전자가 어라운드뷰의 범위를 지정하도록 함으로써 어라운드뷰를 사용 목적에 맞게 조정할 수 있어 제품 경쟁력을 높일 수 있다.
넷째, 승합차와 같은 학원 차량에서 어린이가 승하차할 때는 어라운드뷰의 범위를 넓게 하여 안전성을 높일 수 있다.
다섯째, 실제 패턴재료가 포함하는 그리드셀의 수는 최소로 하고, 나머지는 실제 그리드셀을 기반으로 가상의 그리드셀을 확장하여 사용하는 방법을 사용하여 그리드셀을 포함하는 패턴재료의 관리 및 작업이 효율적으로 이루어질 수 있다.
도 1은 그리드 패턴을 이용한 어라운드뷰 생성을 위한 차량의 전후좌우 4개의 영상 구성도
도 2는 종래 기술에 의해 정합된 어라운드뷰 영상 구성도
도 3은 본 발명에 따른 시야 범위를 선택하는 어라운드뷰 모니터링 시스템의 구성도
도 4는 패턴인식을 이용하여 그리드 패턴의 코너를 검출한 영상을 나타낸 구성도
도 5는 검출된 코너를 직선으로 연결하고 그리드 패턴이 없는 영역까지 확장하여 직선으로 연결한 영상 구성도
도 6은 작업자가 지정한 어라운드뷰 범위의 실제 그리드 셀과 가상 그리드 셀이 출력된 형태를 나타낸 구성도
도 7은 작업자가 지정한 어라운드뷰 범위에 실제 그리드셀과 가상 그리드 셀을 이용하여 영상이 정합된 결과를 나타낸 구성도
도 8은 어라운드뷰의 시야 범위를 다양하게 제공하기 위해 작업자가 지정한 개수의 룩업 테이블을 생성하는 과정을 나타낸 플로우 차트
도 9는 운전자가 보고자하는 어라운드뷰의 범위 지정에 따른 어라운드뷰 영상 출력 과정을 나타낸 플로우 차트
이하, 본 발명에 따른 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 3은 본 발명에 따른 시야 범위를 선택하는 어라운드뷰 모니터링 시스템의 구성도이다.
본 발명은 여러 개의 뷰에 해당하는 룩업 테이블을 구성하고 운전자의 선택에 따라 해당하는 룩업 테이블을 사용하여 매핑하는 것에 의해 어라운드뷰의 범위를 조정할 수 있도록 한 것이다.
이와 같은 본 발명은 어라운드뷰 시스템에서 다양한 시야 범위를 제공하는 방법에서 4개의 광각카메라로부터 영상을 입력받아 영상을 보정하고 정합하는 과정은 동일하지만, 영상 정합을 위한 룩업 테이블 생성시 운영자가 어라운드뷰의 시야 범위를 지정할 수 있도록 하여 지정된 범위에 해당하는 룩업 테이블을 만드는 과정이 추가로 필요하다.
본 발명에서는 어라운드뷰를 통해 제공하고자 하는 룩업 테이블의 개수는 작업자가 지정하는 어라운드뷰 범위의 개수와 동일하며 룩업 테이블을 생성하기 위해 그리드셀 크기의 배수에 해당하는 길이로 어라운드뷰의 범위를 지정한다.
이와 같이 어라운드뷰의 범위를 그리드셀의 배수로 지정하는 이유는 영상정합과정에서 룩업 테이블을 생성하기 위하여 호모그래피변환 과정이 필요한데, 영상정합을 정밀하게 수행하기 위해 호모그래피 변환을 그리드셀 단위로 수행하기 때문이다.
예를 들어, 그리드셀의 한변의 길이가 30cm이며, 어라운드뷰의 범위를 1.5m, 3m, 4.5m, 6m의 범위를 보여주고 싶은 경우, 차량 전후좌우의 그리드셀의 개수를 각각 5개, 10개, 15개, 20개를 구성해야 하나, 그리드셀의 개수를 많이 하면 그리드셀을 포함하는 패턴재료의 관리가 어렵고, 작업이 힘들어진다.
따라서, 본 발명에서는 실제 패턴재료가 포함하는 그리드셀의 수는 최소로하고, 나머지는 실제 그리드셀을 기반으로 가상의 그리드셀을 확장하여 사용하는 방법을 사용한다.
이를테면, 패턴재료가 포함하는 한변 길이가 1.5m이고, 사용자가 지정한 어라운드뷰의 범위가 3m인 경우 그리드셀 5개는 패턴재료에 포함된 것을 사용하고, 나머지 5개는 영상처리 방법을 이용하여 패턴 개수를 확장하여 가상의 그리드셀을 만들어 사용한다.
어라운드뷰의 범위를 3m로 보여 주고자 하는 경우, 실제 그리드셀 5개에 가상 그리드셀을 5개 추가하여 생성한 후, 그리드셀 10개에 대한 룩업 테이블을 생성하여 저장한다.
이후 운행 중 사용자가 어라운드뷰의 범위를 3m로 지정하면 해당되는 룩업 테이블을 참조하여 어라운드뷰를 출력한다.
본 발명에 따른 시야 범위를 선택하는 어라운드뷰 모니터링 시스템은 도 3에서와 같이, 어라운드뷰 개수 및 범위를 지정하여 가상 그리드셀을 생성하여 호모그래피 변환 및 룩업 테이블 생성을 하는 룩업 테이블 생성 및 저장부(30)와, 운전자에게 어라운드뷰 정보를 제공하여 선택된 범위의 어라운드뷰에 해당하는 룩업 테이블을 선택하여 영상 변환을 수행하여 출력하는 어라운드뷰 제공부(40)를 포함한다.
여기서, 룩업 테이블 생성 및 저장부(30)는 다수 개의 시야 범위를 다양하게 제공하기 위해 몇 종류의 어라운드뷰 시야 범위를 서비스하기 원하는지 시스템이 작업자의 입력을 받아 처리하는 어라운드뷰 개수 지정부(31)와, 작업자가 서비스할 어라운드뷰의 개수를 입력하면 호모그래피 파일번호 i를 0으로 초기화하고 시스템이 작업자에게 어라운드뷰의 범위 지정을 요청하여 작업자가 서비스하고자하는 어라운드뷰의 전후방 길이(fb_length), 좌우측 길이(lr_length)로 입력하면 어라운드뷰 범위 지정을 처리하는 범위 지정 처리부(32)와, 전후방 길이를 이용하여 전후방 부분의 그리드 셀의 개수를 계산하고, 좌우측 길이를 이용하여 좌우측 부분의 그리드 셀의 개수를 계산하는 그리드셀 계산부(33)와, 가상 그리드셀의 개수를 지정한 어라운드뷰 범위를 서비스하기 위해 필요한 그리드셀의 수에서 실제 지면에 설치된 그리드셀의 수를 빼어 결정하고, 실제 그리드 셀을 이루는 테두리의 상하좌우를 연결하여 계산된 개수만큼의 가상 그리드셀을 생성하는 가상 그리드셀 생성부(34)와, 실제 그리드셀과 가상 그리드 셀 모두에 대해 호모그래피 변환을 수행하고, 각 그리드셀의 호모그래피 행렬을 이용하여 전체 호모그래피 행렬을 구성하고 i번째 호모그래피 파일을 생성하는 호모그래피 파일 생성부(35)와, i번째 호모그래피 파일과 왜곡보정 계수, 원본 이미지 좌표를 계산하여 최종 결과 이미지에 적용될 i번째 룩업 테이블을 생성하는 룩업 테이블 생성부(36)를 포함한다.
여기서, 룩업 테이블 생성 및 저장부(30)는 호모그래피 파일번호, 룩업 테이블의 번호로 사용되는 i값을 하나 증가시키고, 그 값이 서비스하고자하는 어라운드뷰 시야 범위의 종류보다 적으면 어라운드뷰 범위 지정, 그리드셀 계산, 가상 그리드셀 생성 및 호모그래피 파일 생성, 룩업 테이블생성 동작을 반복한다.
그리고 어라운드뷰 제공부(40)는 시스템이 보유하고 있는 어라운드뷰 범위의 종류를 운전자에게 제공하는 어라운드뷰 정보 제공부(41)와, 운전자에 의해 입력되는 어라운드뷰 범위 선택 신호를 처리하는 어라운드뷰 범위 선택부(42)와, 운전자가 선택한 어라운드 범위에 해당하는 룩업 테이블의 주소를 구하여 룩업 테이블을 선택하는 룩업 테이블 선택부(43)와, 카메라로부터 입력된 영상의 각 픽셀을 선택된 룩업 테이블을 이용하여 변환한 후 디스플레이에 출력하는 영상변환 출력부(44)를 포함한다.
이와 같은 본 발명에 따른 시야 범위를 선택하는 어라운드뷰 모니터링 시스템은 어라운드뷰 시스템의 다양한 범위를 제공하기 위하여 다음과 같은 동작을 수행한다.
통상 그리드 패턴을 이용하여 어라운드뷰의 바닥 캘리브레이션을 수행하는 경우에는 그리드 패턴이 보이는 부분만을 어라운드뷰의 범위로 지정한다.
그러나, 그리드 패턴이 위치하지 않은 부분까지 어라운드뷰의 범위로 지정하면 그리드 패턴이 위치하고 있는 영역에 대해서는 호모그래피 변환을 수행할 경우에는 그리드셀 각각에 대해 호모그래피 변환을 수행하여 정밀한 영상 정합 결과를 얻을 수 있으나, 그리드 패턴이 위치한 영역이 아닌 경우에는 전체 영역을 하나의 단위로 호모그래피 변환을 수행하기 때문에 영상정합이 정밀하지 않은 문제가 발생한다.
따라서, 본 발명에서는 그리드 패턴재료가 위치한 영역은 실제 그리드셀을 이용하고, 그리드 패턴이 재료가 위치하지 않은 영역은 코너인식을 이용하여 코너점을 검출하고 확장선을 그어 가상 그리드셀을 만든 후, 실제 그리드셀과 가상 그리드셀 각각에 대해 셀 단위의 호모그래피 변환을 수행하여 영상이 정밀하게 정합되도록 한다.
도 4는 패턴인식을 이용하여 그리드 패턴의 코너를 검출한 영상을 나타낸 구성도이고, 도 5는 검출된 코너를 직선으로 연결하고 그리드 패턴이 없는 영역까지 확장하여 직선으로 연결한 영상 구성도이다.
그리고 도 6은 작업자가 지정한 어라운드뷰 범위의 실제 그리드 셀과 가상 그리드 셀이 출력된 형태를 나타낸 구성도이고, 도 7은 작업자가 지정한 어라운드뷰 범위에 실제 그리드셀과 가상 그리드 셀을 이용하여 영상이 정합된 결과를 나타낸 구성도이다.
그리고 도 6은 도 5를 참조하여 작업자가 어라운드뷰를 지정할 범위를 차량의 전후방의 길이와 좌우측의 길이로 지정하면, 해당 범위 중 그리드셀 패턴이 깔려 있는 부분은 원래의 이미지가 출력되고, 그리드셀 패턴이 없는 부분에는 가상의 그리드셀을 출력하여 작업자가 그리드셀이 확장되어 깔려 있는 것과 같이 동일하게 볼 수 있도록 화면에 출력한 예이다.
도 6에서 내부의 실선(601)은 어라운드뷰를 위한 실제 그리드 셀들을 나타내고, 점선(602)은 가상의 그리드 셀들을 의미한다.
도 7은 도 6의 4개의 영상에 대해 작업자가 지정한 어라운드뷰 범위에 실제 그리드셀과 가상 그리드 셀을 이용하여 영상이 정합된 결과 예시 도면이다.
실선 부분과 같이 종래의 방법으로 정합한 어라운드뷰 영상의 그리드 패턴이 위치하고 있는 영역(701)의 영상을 포함시키는 것은 물론, 점선 부분의 가상의 그리드 셀 부분의 영역(702)도 어라운드뷰 영상에 포함시킬 수 있다.
이와 같은 본 발명에 따른 시야 범위를 선택하는 어라운드뷰 모니터링 시스템에서 어라운드뷰의 시야 범위를 다양하게 제공하기 위해 다수개의 룩업 테이블을 생성하는 과정은 다음과 같다.
도 8은 어라운드뷰의 시야 범위를 다양하게 제공하기 위해 작업자가 지정한 개수의 룩업 테이블을 생성하는 과정을 나타낸 플로우 차트이다.
먼저, 다수 개의 시야 범위를 다양하게 제공하기 위해 몇 종류의 어라운드뷰 시야 범위를 서비스하기 원하는지 어라운드뷰 모니터링 시스템에서 사용자의 입력을 받는다(S801~S802).
이어, 사용자가 서비스할 어라운드뷰의 개수를 입력하면 호모그래피 파일번호 i를 0으로 초기화한다(S803).
이 상태에서 어라운드뷰 모니터링 시스템에서 사용자에게 어라운드뷰의 범위 지정을 요청한다(S804).
그리고 어라운드뷰 모니터링 시스템이 사용자의 어라운드뷰 범위 지정을 기다리는 대기 상태를 유지한다(S805).
이어, 사용자가 서비스하고자하는 어라운드뷰의 전후방 길이(fb_length), 좌우측 길이(lr_length)로 입력하면(S806), 전후방 길이를 이용하여 전후방 부분의 그리드 셀의 개수를 계산하고(S807), 좌우측 길이를 이용하여 좌우측 부분의 그리드 셀의 개수를 계산한다(S808).
그리고 가상 그리드셀의 개수를 지정한 어라운드뷰 범위를 서비스하기 위해 필요한 그리드셀의 수에서 실제 지면에 설치된 그리드셀의 수를 빼어 결정하고, 실제 그리드 셀을 이루는 테두리의 상하좌우를 연결하여 계산된 개수만큼의 가상 그리드셀을 생성한다(S809).
이어, 실제 그리드셀과 가상 그리드 셀 모두에 대해 호모그래피 변환을 수행한다(S810).
실제 그리드셀과 가상 그리드 셀 모두에 대해 호모그래피 변환이 이루어지면, 각 그리드셀의 호모그래피 행렬을 이용하여 전체 호모그래피 행렬을 구성하고 i번째 호모그래피 파일을 생성한다(S811).
i번째 호모그래피 파일과 왜곡보정 계수, 원본 이미지 좌표를 계산하여 최종 결과 이미지에 적용될 i번째 룩업 테이블을 생성한다(S812).
호모그래피 파일번호, 룩업 테이블의 번호로 사용되는 i값을 하나 증가시키고(S813), 그 값이 서비스하고자하는 어라운드뷰 시야 범위의 종류보다 적으면 (S804~S813)의 과정을 반복하고, 그렇지 않으면 종료한다(S814).
어라운드뷰의 범위 지정에 따른 어라운드뷰 영상 출력 과정은 다음과 같다.
도 9는 운전자가 보고자하는 어라운드뷰의 범위 지정에 따른 어라운드뷰 영상 출력 과정을 나타낸 플로우 차트이다.
어라운드뷰 모니터링 시스템이 보유하고 있는 어라운드뷰 범위의 종류를 운전자에게 보여주면(S901~S902), 운전자는 서비스 받고자 하는 어라운드뷰의 범위를 선택한다(S903).
이후 운전자가 선택한 어라운드 범위에 해당하는 룩업 테이블의 주소를 구하고(S904), 카메라로부터 입력된 영상의 각 픽셀을 선택된 룩업 테이블을 이용하여 변환한 후 디스플레이에 출력한다(S905).
이와 같은 본 발명에 따른 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법은 여러 개의 뷰에 해당하는 룩업 테이블을 구성하고 운전자의 선택에 따라 해당하는 룩업 테이블을 사용하여 매핑하는 것에 의해 어라운드뷰의 범위를 조정할 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
31. 어라운드뷰 개수 지정부 32. 범위 지정 처리부
33. 그리드셀 계산부 34. 가상 그리드셀 생성부
35. 호모그래피 파일 생성부 36. 룩업 테이블 생성부
41. 어라운드뷰 정보 제공부 42. 어라운드뷰 범위 선택부
43. 룩업 테이블 선택부 44. 영상변환 출력부

Claims (7)

  1. 어라운드뷰 모니터링 시스템에서 시야 범위를 선택하기 위하여,
    어라운드뷰 개수 및 범위를 지정하고 가상 그리드셀을 생성하여 호모그래피 변환을 하여 어라운드뷰 개수 및 범위 지정에 따른 다수 개의 룩업 테이블 생성을 하는 룩업 테이블 생성 및 저장부;
    제공할 수 있는 어라운드뷰 정보를 제공하고 선택된 범위의 어라운드뷰에 해당하는 룩업 테이블을 선택하여 영상 변환을 수행하여 출력하는 어라운드뷰 제공부;를 포함하고,
    상기 룩업 테이블 생성 및 저장부는, 하나의 룩업 테이블 생성이 되면 호모그래피 파일번호, 룩업 테이블의 번호로 사용되는 i값을 하나 증가시키고, 그 값이 서비스하고자 하는 어라운드뷰 시야 범위의 종류보다 적으면 어라운드뷰 범위 지정, 그리드셀 계산, 가상 그리드셀 생성 및 호모그래피 파일 생성, 룩업 테이블생성 동작을 반복하는 것을 특징으로 하는 시야 범위를 선택하는 어라운드뷰 모니터링 시스템.
  2. 제 1 항에 있어서, 상기 룩업 테이블 생성 및 저장부는,
    원하는 어라운드뷰 개수를 지정하는 선택 신호를 입력받아 처리하는 어라운드뷰 개수 지정부와,
    원하는 어라운드뷰의 전후방 길이(fb_length), 좌우측 길이(lr_length)가 입력되면 어라운드뷰 범위 지정을 처리하는 범위 지정 처리부와,
    전후방 부분의 그리드 셀의 개수, 좌우측 부분의 그리드 셀의 개수를 계산하는 그리드셀 계산부와,
    실제 그리드 셀을 이루는 테두리의 상하좌우를 연결하여 계산된 개수만큼의 가상 그리드셀을 생성하는 가상 그리드셀 생성부와,
    실제 그리드셀과 가상 그리드 셀 모두에 대해 호모그래피 변환을 수행하고, 각 그리드셀의 호모그래피 행렬을 이용하여 전체 호모그래피 행렬을 구성하고 호모그래피 파일을 생성하는 호모그래피 파일 생성부와,
    호모그래피 파일과 왜곡보정 계수, 원본 이미지 좌표를 계산하여 최종 결과 이미지에 적용될 룩업 테이블을 생성하는 룩업 테이블 생성부를 포함하는 것을 특징으로 하는 시야 범위를 선택하는 어라운드뷰 모니터링 시스템.
  3. 삭제
  4. 제 1 항에 있어서, 상기 어라운드뷰 제공부는,
    어라운드뷰 모니터링 시스템이 보유하고 있는 어라운드뷰 범위에 관한 정보를 운전자에게 제공하는 어라운드뷰 정보 제공부와,
    운전자에 의해 입력되는 어라운드뷰 범위 선택 신호를 처리하는 어라운드뷰 범위 선택부와,
    운전자가 선택한 어라운드 범위에 해당하는 룩업 테이블의 주소를 구하여 룩업 테이블을 선택하는 룩업 테이블 선택부와,
    카메라로부터 입력된 영상의 각 픽셀을 선택된 룩업 테이블을 이용하여 변환한 후 디스플레이에 출력하는 영상변환 출력부를 포함하는 것을 특징으로 하는 시야 범위를 선택하는 어라운드뷰 모니터링 시스템.
  5. 어라운드뷰 모니터링 시스템에서 시야 범위를 선택하기 위하여 어라운드뷰 개수 및 범위를 지정하는 단계;
    가상 그리드셀을 생성하여 호모그래피 변환을 하여 어라운드뷰 개수 및 범위 지정에 따른 다수 개의 룩업 테이블 생성을 하고, 하나의 룩업 테이블 생성이 되면 호모그래피 파일번호, 룩업 테이블의 번호로 사용되는 i값을 하나 증가시키고, 그 값이 서비스하고자 하는 어라운드뷰 시야 범위의 종류보다 적으면 어라운드뷰 범위 지정, 그리드셀 계산, 가상 그리드셀 생성 및 호모그래피 파일 생성, 룩업 테이블생성 동작을 반복하는 단계;
    제공할 수 있는 어라운드뷰 정보를 제공하는 단계;
    제공된 어라운드뷰 정보를 기준으로 선택된 범위의 어라운드뷰에 해당하는 룩업 테이블을 선택하는 단계;
    선택된 룩업 테이블을 이용하여 카메라로부터 입력된 영상의 각 픽셀을 변환한 후 디스플레이에 출력하는 단계;를 포함하는 것을 특징으로 하는 시야 범위를 선택하는 어라운드뷰 모니터링 방법.
  6. 삭제
  7. 어라운드뷰 모니터링 시스템에서 시야 범위를 선택하기 위한 룩업 테이블 생성을 위하여,
    원하는 어라운드뷰 개수를 지정하는 선택 신호를 입력받는 단계;
    원하는 어라운드뷰의 전후방 길이(fb_length), 좌우측 길이(lr_length)가 입력되면 어라운드뷰 범위를 지정하는 단계;
    전후방 부분의 그리드 셀의 개수, 좌우측 부분의 그리드 셀의 개수를 계산하는 단계;
    실제 그리드 셀을 이루는 테두리의 상하좌우를 연결하여 계산된 개수만큼의 가상 그리드셀을 생성하는 단계;
    실제 그리드셀과 가상 그리드 셀 모두에 대해 호모그래피 변환을 수행하고, 각 그리드셀의 호모그래피 행렬을 이용하여 전체 호모그래피 행렬을 구성하고 호모그래피 파일을 생성하는 단계;
    호모그래피 파일과 왜곡보정 계수, 원본 이미지 좌표를 계산하여 최종 결과 이미지에 적용될 룩업 테이블을 생성하는 단계;를 포함하는 것을 특징으로 하는 시야 범위를 선택하는 어라운드뷰 모니터링 방법.
KR1020140024285A 2014-02-28 2014-02-28 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법 KR101596415B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140024285A KR101596415B1 (ko) 2014-02-28 2014-02-28 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140024285A KR101596415B1 (ko) 2014-02-28 2014-02-28 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150102433A KR20150102433A (ko) 2015-09-07
KR101596415B1 true KR101596415B1 (ko) 2016-02-22

Family

ID=54243208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140024285A KR101596415B1 (ko) 2014-02-28 2014-02-28 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101596415B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018110839A1 (ko) * 2016-12-16 2018-06-21 삼성전자 주식회사 3차원 이미지에 관한 데이터를 전송하기 위한 방법
EP3557866A4 (en) 2016-12-16 2019-12-04 Samsung Electronics Co., Ltd. METHOD FOR TRANSMITTING DATA RELATED TO A THREE-DIMENSIONAL IMAGE
CN117319809B (zh) * 2023-11-24 2024-03-01 广州劲源科技发展股份有限公司 一种监控视野的智能调节方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101339127B1 (ko) 2011-12-08 2013-12-09 아진산업(주) 출력 지연으로 인한 노이즈를 제거할 수 있는 차량 어라운드 뷰 영상 생성방법
KR101305316B1 (ko) 2011-12-08 2013-09-06 아진산업(주) 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법
KR101905872B1 (ko) * 2012-06-01 2018-10-08 현대모비스 주식회사 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 표시 방법

Also Published As

Publication number Publication date
KR20150102433A (ko) 2015-09-07

Similar Documents

Publication Publication Date Title
US7429998B2 (en) Method and apparatus for monitoring vehicle rear, and signal processor
JP4744823B2 (ja) 周辺監視装置および俯瞰画像表示方法
US8139114B2 (en) Surroundings monitoring apparatus and surroundings monitoring method for reducing distortion caused by camera position displacement
US11628882B2 (en) Cruise-assist image generation device, cruise-assist image generation method, in-vehicle camera and equipment-control assist image generation device
US20170203692A1 (en) Method and device for the distortion-free display of an area surrounding a vehicle
US20170282813A1 (en) Image display control device and image display system
KR102490272B1 (ko) 차량의 주변 영역을 표시하기 위한 방법
US9100554B2 (en) Method for displaying an image on a display device in a vehicle, driver assistance system and vehicle
WO2012096058A1 (ja) 画像生成装置
EP2860691A2 (en) Image processing apparatus, method and program
US20100085170A1 (en) Camera unit with driving corridor display functionality for a vehicle, method for displaying anticipated trajectory of a vehicle, and system for generating driving corridor markers
JP6011624B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN102740056A (zh) 图像显示***
WO2013118705A1 (ja) 運搬車両の周囲監視装置
JP2013110712A (ja) 車両周辺監視用画像生成装置
DE102011010963A1 (de) Dynamische Bereichsanzeige für Kraftfhrzeug-Rückwärtssicht- und -einparksysteme
KR101596415B1 (ko) 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법
WO2013107548A1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
US20190213744A1 (en) Method and Device for Generating a View Around a Vehicle for a Vehicle
CN106104629B (zh) 用于将由摄像机***从不同位置拍摄的单个图像合并成一个共同的图像的方法
US20160288711A1 (en) Distance and direction estimation of a target point from a vehicle using monocular video camera
JP4545503B2 (ja) 画像生成装置およびその方法
JP2008034964A (ja) 画像表示装置
JP2020127171A (ja) 周辺監視装置
JP5310616B2 (ja) 車両周辺表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190207

Year of fee payment: 4