KR102457264B1 - 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법 - Google Patents

어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법 Download PDF

Info

Publication number
KR102457264B1
KR102457264B1 KR1020160053872A KR20160053872A KR102457264B1 KR 102457264 B1 KR102457264 B1 KR 102457264B1 KR 1020160053872 A KR1020160053872 A KR 1020160053872A KR 20160053872 A KR20160053872 A KR 20160053872A KR 102457264 B1 KR102457264 B1 KR 102457264B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
around
satisfied
tolerance correction
Prior art date
Application number
KR1020160053872A
Other languages
English (en)
Other versions
KR102457264B9 (ko
KR20170124232A (ko
Inventor
이성수
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020160053872A priority Critical patent/KR102457264B1/ko
Publication of KR20170124232A publication Critical patent/KR20170124232A/ko
Application granted granted Critical
Publication of KR102457264B1 publication Critical patent/KR102457264B1/ko
Publication of KR102457264B9 publication Critical patent/KR102457264B9/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H04N5/2257—
    • H04N5/23216—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명에 따른 카메라의 자동 공자 보정이 가능한 어라운드 뷰 모니터링 시스템에 있어서, 차량을 중심으로 설치된 전방, 후방, 좌측 및 우측 카메라를 포함하는 영상 촬영부 및 센서부와 데이터를 송수신하는 통신모듈, 상기 카메라의 자동 공차 보정을 위한 프로그램이 저장된 메모리 및 상기 프로그램을 실행시키는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 차량에 포함된 센서부를 통해 센싱된 결과값에 기초하여 공차 보정 조건을 만족하는지 여부를 판단하고, 상기 공차 보정 조건을 만족하는 경우, 상기 전방, 후방, 좌측 및 우측 카메라에 의해 촬영된 각 영상간에 공통되는 특징점을 추출하며, 상기 촬영된 각 영상에서 상기 추출된 특징점을 조정하여 상기 각 영상을 탑 뷰(Top View) 영상으로 변환하고, 상기 변환된 탑 뷰 영상에 기초하여 어라운드 뷰 영상을 생성한다.

Description

어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법{AROUND VIEW MONITORING SYSTEM AND METHOD FOR COMPENSATING CAMERA TOLERANCE THERE OF}
본 발명은 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법에 관한 것이다.
차량의 어라운드 뷰 모니터링 시스템(AVMS, Around View Monitoring System)은 차량에 설치된 4개의 카메라(전방, 후방, 좌측, 우측)로부터 영상을 수신하여 차량 주변을 조감도(Bird’s Eye View) 형태로 보여주는 시스템이다.
이와 같이 다수의 카메라에서 촬영되는 영상을 이용하는 어라운드 뷰 모니터링 시스템은 카메라 조립시 공차를 보정하는 작업이 필수적이다. 이를 위해 차량의 각 제조사들은 어라운드 뷰 모니터링 시스템을 구비하는 차량에 대하여 어라운드 뷰 영상의 정합성을 만족하도록 공차를 보정한 후 차량을 출고한다.
그러나 차량을 출고한 이후, 차량을 지속적으로 이용함에 따라 운행 도중에 발생하는 차량의 진동, 사이드 미러의 폴딩, 차량 문의 개폐 등의 다양한 환경적 요인으로 인하여 출고시에 보정된 공차는 변경되어 영상의 정합성이 낮아지게 되는 문제가 발생하게 된다.
이에 따라, 주행 또는 주차 시 운전자는 왜곡된 어라운드 뷰 영상을 이용해야 되는 불편함을 초래하게 된다.
이를 해소하기 위해서는 변경된 공차를 보정해야 하나, 현재 공차 보정을 위해서는 공차 보정이 가능한 서비스 센터나 사업소 등을 방문하여 수리해야 하는 번거로움이 존재한다.
따라서, 공차가 변경되더라도 이를 보정하여 정합된 어라운드 뷰 영상을 제공할 수 있는 어라운드 뷰 모니터링 시스템이 필요한 실정이다.
이와 관련하여, 한국공개특허공보 제10-2014-0070321호(발명의 명칭: 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량)는 차량에 장착되는 제1 내지 제4 카메라와, 제1 내지 제4 카메라로부터의 각 이미지를 제1 입체 투영면에 투영하여, 어라운드 뷰 이미지를 생성하되, 어라운드 뷰 이미지 중 일부 영역을, 제1 입체 투영면과 다른 제2 입체 투영면에 투영하여, 일부 영역 보정된 어라운드 뷰 이미지를 생성하는 프로세서를 포함함에 따라, 어라운드 뷰 이미지의 왜곡을 저감할 수 있는 기술을 개시하고 있다.
그러나 종래 기술의 경우 주변 장애물이 존재하는 경우나, 경사로 진입, 회전 주행 시 공차 보정 성능이 저하될 수 있는바, 운전자로 하여금 여전히 왜곡된 어라운드 뷰 영상이 제공될 수밖에 없는 문제가 있다.
본 발명의 실시예는 차량에 설치된 센서부의 센싱값에 기초하여 공차 보정 조건을 만족하는지 여부를 판단하고, 공차 보정 조건을 만족하는 경우, 차량에 설치된 4개의 카메라로부터 촬영된 영상을 이용하여 공차가 보정된 어라운드 뷰 영상을 생성하는 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 카메라의 자동 공자 보정이 가능한 어라운드 뷰 모니터링 시스템에 있어서, 차량을 중심으로 설치된 전방, 후방, 좌측 및 우측 카메라를 포함하는 영상 촬영부 및 센서부와 데이터를 송수신하는 통신모듈, 상기 카메라의 자동 공차 보정을 위한 프로그램이 저장된 메모리 및 상기 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 차량에 포함된 센서부를 통해 센싱된 결과값에 기초하여 공차 보정 조건을 만족하는지 여부를 판단하고, 상기 공차 보정 조건을 만족하는 경우, 상기 전방, 후방, 좌측 및 우측 카메라에 의해 촬영된 각 영상간에 공통되는 특징점을 추출하며, 상기 촬영된 각 영상에서 상기 추출된 특징점을 조정하여 상기 각 영상을 탑 뷰(Top View) 영상으로 변환하고, 상기 변환된 탑 뷰 영상에 기초하여 어라운드 뷰 영상을 생성한다.
또한, 본 발명의 제 2 측면에 따른 어라운드 뷰 모니터링 시스템에서의 카메라 자동 공차 보정 방법은 차량에 포함된 센서부를 통해 센싱된 결과값에 기초하여 공차 보정 조건을 만족하는지 여부를 판단하는 단계; 상기 공차 보정 조건을 만족하는 경우, 차량을 중심으로 설치된 전방, 후방, 좌측 및 우측 카메라를 포함하는 영상 촬영부에 의해 촬영된 각 영상간에 공통되는 특징점을 추출하는 단계; 상기 촬영된 각 영상에서 상기 추출된 특징점을 조정하여 상기 각 영상을 탑 뷰(Top View) 영상으로 변환하는 단계 및 상기 변환된 탑 뷰 영상에 기초하여 어라운드 뷰 영상을 생성하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 주행 등의 환경요인에 따라 차량에 설치된 카메라의 각도가 변경되더라도 자동으로 공차 보정 기능을 제공하여, 어라운드 뷰 영상의 왜곡을 최소화할 수 있다.
특히, 센서부에 의해 센싱된 결과값을 이용하여 공차 보정 조건을 만족하는 경우 어라운드 뷰 영상을 생성함으로써, 어라운드 뷰 영상의 정합성을 보다 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템의 블록도이다.
도 2는 카메라에 의해 촬영된 영상으로부터 추출된 특징점을 도시한 예시도이다.
도 3은 공차 보정을 위한 카메라의 좌표계를 설명하기 위한 도면이다.
도 4 및 도 5는 특징점을 조정하여 탑 뷰 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 6은 어라운드 뷰 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 7 및 도 8은 차선 및 정지선을 검출하는 과정을 설명하기 위한 도면이다.
도 9는 어라운드 뷰 영상의 정합성을 판단하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 카메라 자동 공차 보정 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템(100)의 블록도이다.
본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템(100)은 통신모듈(110), 메모리(120) 및 프로세서(130)를 포함한다.
통신모듈(110)은 차량의 영상 촬영부(20) 및 센서부(10)와 데이터를 송수신한다. 이와 같은 통신모듈(110)은 유선 통신모듈 및 무선 통신모듈을 모두 포함할 수 있다. 유선 통신모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.
보다 바람직하게 통신모듈(110)은 CAN(Controller Area Network) 통신을 통하여 데이터를 송수신할 수 있다.
한편, 본 발명의 일 실시예에서의 센서부(10)는 거리 감지 센서(11), 차고 센서(13), 조향각 센서(15) 및 휠 엔코더 센서(17) 중 하나 이상을 포함할 수 있다. 프로세서(130)는 하기에서 설명하는 바와 같이 각 센서들의 센싱값에 기초하여 공차 보정 조건을 만족하는지 여부를 판단할 수 있다.
또한, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템(100)은 차량의 중심으로 설치된 전방, 후방, 좌측 및 우측 카메라(20-1~20-4)에 의해 촬영된 영상을 수신할 수 있다. 차량의 전방, 후방, 좌측 및 우측 카메라(20-1~20-4)는 차량에 설치되어 각각 차량의 전방, 후방, 좌측 및 우측을 촬영한다. 이와 같이 촬영된 영상을 정합하여 프로세서(130)는 최종적으로 어라운드 뷰 영상을 생성하게 된다. 이때, 합성되는 과정에서 높은 정합성을 가지기 위하여 공차를 보정하게 된다.
메모리(120)에는 영상 촬영부(20)의 자동 공차 보정을 위한 프로그램이 저장된다. 이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
또한, 메모리(120)에 저장된 프로그램은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다. 프로세서(130)는 프로그램을 실행시킴에 따라, 먼저 차량에 포함된 센서부(10)를 통해 센싱된 결과값에 기초하여 공차 보정 조건을 만족하는지 여부를 판단한다. 이와 같은 공차 보정 조건의 만족 여부는 거리 감지 센서(11), 차고 센서(13), 조향각 센서(15) 및 휠 엔코더 센서(17) 중 하나 이상에 기초하여 판단될 수 있다.
구체적으로 프로세서(130)는 공차 보정 조건으로, 조향각 센서(15)에 의해 센싱된 결과값에 기초하여 차량이 직진 이동하는지 여부를 판단할 수 있다. 그리고 차량이 직진 이동하는 것으로 판단된 경우, 프로세서(130)는 공차 보정 조건을 만족하는 것으로 판단할 수 있다.
또한, 프로세서(130)는 공차 보정 조건으로, 거리 감지 센서(11)에 의해 센싱된 결과값에 기초하여 차량으로부터 기 설정된 범위 내에 장애물이 존재하는지 여부를 판단할 수 있다. 그리고 장애물이 존재하지 않는 것으로 판단된 경우, 프로세서(130)는 공차 보정 조건을 만족하는 것으로 판단할 수 있다.
또한, 프로세서(130)는 공차 보정 조건으로, 차고 센서(13)에 의해 센싱된 결과값에 기초하여 차량이 경사로에 위치하는지 여부를 판단할 수 있다. 그리고 차량이 경사로에 위치하는 것으로 판단된 경우, 프로세서(130)는 공차 보정 조건을 만족하는 것으로 판단할 수 있다.
또한, 프로세서(130)는 공차 보정 조건으로, 휠 엔코더 센서(17)에 의해 센싱된 결과값에 기초하여 차량의 속도가 기 설정된 속도 이하인지 여부를 판단할 수 있다. 그리고 차량의 속도가 기 설정된 속도 이하인 것으로 판단된 경우, 즉 저속으로 차량이 주행 중인 것으로 판단된 경우, 프로세서(130)는 공차 보정 조건을 만족하는 것으로 판단할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템(100)은 거리 감지 센서(11), 차고 센서(13), 조향각 센서(15) 및 휠 엔코더 센서(17) 중 하나 이상을 포함하는 센서부(10)의 센싱값에 기초하여 공차 보정 조건을 만족하는지 여부를 판단할 수 있다.
이때, 본 발명의 일 실시예는 각각의 센서에 의한 단일 센싱값만을 이용하여 공차 보정 조건을 만족하는지 여부를 판단할 수 있으며, 뿐만 아니라 각 센서들의 상호 조합에 의하여 공차 보정 조건을 만족하는지 여부를 판단할 수도 있다. 예를 들어, 본 발명의 일 실시예는 4개의 센서 중 거리 감지 센서(11), 차고 센서(13) 및 조향각 센서(15)의 3가지 센싱값의 조합에 기초하여 공차 보정 조건을 만족하는지 여부를 판단할 수 있다.
이와 같은 공차 보정 조건이 만족하는 경우, 프로세서(130)는 차량의 중심으로 설치된 전방, 후방, 좌측 및 우측 카메라(20-1~20-4)에 의해 촬영된 각 영상간에 공통되는 특징점을 추출한다. 이러한 특징점들은 도 2에 도시된 예시와 같이 추출될 수 있다.
도 2는 영상 촬영부(20)에 의해 촬영된 영상으로부터 추출된 특징점을 도시한 예시도이다.
프로세서(130)는 전방, 후방, 좌측 및 우측 카메라(20-1~20-4)에 의해 촬영된 각각의 영상 간에 공통되는 특징점을 추출할 수 있다. 이러한 특징점들은 각 영상간에 공통되는 꼭지점 또는 엣지 등일 수 있다.
이와 같은 특징점들을 추출하기 위하여, 프로세서(130)는 옵티컬 플로우(optical flow)를 이용하거나 또는 특징점들 간의 대응관계를 나타내는 호모그라피(homography)를 계산하여 특징점들을 추출할 수 있다.
다시 도 1을 참조하면, 각 영상에서 특징점을 추출하고 난 뒤, 프로세서(130)는 촬영된 각 영상에서 추출된 특징점들을 조정(매칭)하여 공차를 보정함으로써 각 영상을 탑 뷰(Top View) 영상으로 변환한다. 이와 관련된 과정을 도 3 내지 도 5를 참조하여 설명하도록 한다.
도 3은 공차 보정을 위한 영상 촬영부(20)의 좌표계를 설명하기 위한 도면이다.
차량에 설치된 전방, 후방, 좌측 및 우측 카메라(20-1~20-4)를 기준으로 영상 촬영부(20)의 초점은 3차원 평면상에서 원점(0, 0, 0)이 된다. 그리고 각 영상 촬영부(20)의 정면 방향은 z축, 수직 방향은 y축, 좌우 횡방향은 x축이 될 수 있다. 이와 같이 영상 촬영부(20)의 좌표계를 설정하게 되면, 촬영된 영상의 각 객체 및 특징점(M)들을 (x, y, z)의 좌표계로 표현할 수 있게 된다.
한편, 좌표계로 변환하기 위하여, 프로세서(130)는 각 영상 촬영부(20)의 초점 거리, 왜곡 계수 등으로 구성된 내부 파라미터와 기타 설정된 외부 파라미터를 이용할 수 있다. 이러한 좌표계는 센티미터 등의 단위로 이루어진 실제 좌표계일 수 있다. 즉, 영상 촬영부(20)에 의해 촬영된 영상은 픽셀 단위가 기준이 되는바, 프로세서(130)는 공차 보정을 위하여 픽셀 단위를 좌표계로 변환할 수 있다.
이때, 좌표 변환을 위한 변환비 등 필요한 데이터는 미리 룩 업 테이블(LUT, Look Up Table)에 포함되어 메모리(120)에 저장될 수 있다. 이러한 룩 업 테이블은 차량의 출고 과정에서 미리 세팅되게 되며, 본 발명의 일 실시예가 적용됨에 따라 보정된 공차에 의하여 갱신될 수 있다.
도 4 및 도 5는 특징점을 조정하여 탑 뷰 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 3의 좌표계로 특징점(401, 401’, 403, 403’)들을 나타내면, 프로세서(130)는 각 특징점들(401, 401’, 403, 403’)을 조정하여 공차를 보정함으로써 각 영상을 탑 뷰 영상으로 변환할 수 있다. 이때, 탑 뷰 영상으로 변환하기 위해서는 도 4에서 설명하는 바와 같이 기하학적 조건을 만족해야만 한다.
먼저, 도 4를 참조하면 프로세서(130)는 추출된 특징점들(401, 401’, 403, 403’) 중 임의의 특징점인 제 1 특징점(401)과 제 2 특징점(403)을 선택할 수 있다. 그리고 선택된 제 1 및 제 2 특징점(401, 403)에 대하여, 차량의 이전 위치에 대응하는 제 1 및 제 2 특징점(401, 403)간의 거리인 제 1 거리(d2)와, 차량이 이동한 후 현재 위치에 대응하는 제 1 및 제 2 특징점(401’, 403’)간의 거리인 제 2 거리(d2)를 각각 산출하며, 또한 차량의 이전 위치와 현재 위치를 기준으로 제 1 및 제 2 특징점(401, 401’, 403, 403’)의 제 1 및 제 2 이동거리(d3, d4)를 각각 산출한다.
이와 같이 제 1 거리(d2) 및 제 2 거리(d1)와 제 1 이동거리(d3) 및 제 2 이동거리(d4)를 각각 산출하면, 프로세서(130)는 산출된 제 1 거리(d2) 및 제 2 거리(d1)가 동일하고, 제 1 이동거리(d3) 및 제 2 이동거리(d4)가 동일하도록 각 영상을 조정하여 탑 뷰 영상을 생성할 수 있다.
이와 더불어, 프로세서(130)는 현재위치에 대응하는 제 1 거리(d2)와 제 2 거리(d1)의 방향벡터가 서로 동일하고, 제 1 이동거리(d3) 및 제 2 이동거리(d4)의 방향벡터가 서로 동일하도록 각 영상을 조정하여 탑 뷰 영상을 생성할 수 있다.
이에 따라, 프로세서(130)는 전방, 후방, 좌측 및 우측 카메라(20-1~20-4) 중 하나 이상의 카메라가 요잉 또는 피칭되거나 이들의 동작을 조합한 경우를 가정한 가상 카메라에 의해 촬영된 영상이 생성되도록, 해당 영상을 조정하여 탑 뷰 영상을 생성할 수 있다.
이와 같이, 본 발명의 일 실시예는 거리 및 이동거리뿐만 아니라 이에 대응하는 방향벡터까지 동일할 것을 요함으로써, 종래기술에 비하여 보다 정확한 탑 뷰 영상을 생성할 수 있다.
영상 촬영부(20)가 피칭 및 요잉되는 경우에 대응되는 영상은 하기 수학식 1 및 2와 같이 가우스-뉴턴(Gauss-Newton) 방법을 이용하여 조정할 수 있다. 하기 수학식 1의 경우 상기 각 산출된 제 1 거리(d2) 및 제 2 거리(d1)이 동일하고, 제 1 및 제 2 이동거리(d3, d4)가 동일해야 하는바, 0에 근사하는 것이 바람직하다.
[수학식 1]
Figure 112016042013887-pat00001
[수학식 2]
Figure 112016042013887-pat00002
여기에서, Mi,현재는 특징점 i의 현재 좌표, Mi,이전는 특징점 i의 이전 좌표, Mj,현재는 특징점 j의 현재 좌표, Mj,이전는 특징점 j의 이전 좌표를 의미한다.
또한, 도 5에 도시된 바와 같이, 프로세서(130)는 차량의 이동 정보와 특징점(401, 401’, 403, 403’)의 이동 관계를 이용하여 공차를 보정할 수있다.
이를 위해 프로세서(130)는 먼저, 제 1 거리(d2) 및 제 2 거리(d1)에 기초하여 추출된 이동 벡터가 차량의 이동 정보에 기초하여 예측된 이동 방향과 일치되도록 하는 각도를 산출할 수 있다. 그리고 산출된 각도에 기초하여 도 4와 같이, 전방, 후방, 좌측 및 우측 카메라(20-1~20-4) 중 하나 이상의 영상 촬영부(20)가 롤링되는 경우를 가정한 가상 카메라에 의해 촬영된 영상이 생성되도록, 해당 영상을 조정하여 탑 뷰 영상을 생성할 수 있다.
즉, 프로세서(130)는 도 4 및 도 5와 같이 영상 촬영부(20)를 요잉, 피칭 및 롤링 동작 중 하나 이상의 동작이 수행되는 경우를 가정하여 촬영된 영상이 되도록, 각 영상을 조정하여 탑 뷰 영상을 생성할 수 있다.
이때, 각 영상으로부터 탑 뷰 영상은 하기 수학식 3 및 4에 기초하여 생성할 수 있다.
[수학식 3]
Figure 112016042013887-pat00003
[수학식 4]
Figure 112016042013887-pat00004
수학식 3에서, K는 카메라 내부 파라미터(intrinsic parameter) 관련 캘리브레이션(calibration) 행렬이며, 각 카메라(20-1~20-4)별로 구분되어 메모리(120) 상에 미리 저장되어 있을 수 있다. 또한, R은 카메라(20-1~20-4)를 가상으로 회전시키기 위한 회전 행렬로써 수학식 4를 의미한다.
다시 도 1을 참조하면, 공차가 보정된 탑 뷰 영상이 생성되면, 프로세서(130)는 탑 뷰 영상에 기초하여 어라운드 뷰 영상을 생성할 수 있다.
이때, 프로세서(130)는 탑 뷰 영상에 포함된 차선 또는 정지선을 검출하고, 각각의 탑 뷰 영상에 포함된 차선 또는 정지선의 경계가 정합되도록 각각의 탑 뷰 영상을 보정할 수 있다.
이와 같은 과정을 도 6 내지 도 9를 참조하여 설명하도록 한다.
도 6은 어라운드 뷰 영상을 생성하는 과정을 설명하기 위한 도면이다.
프로세서(130)는 전방, 후방, 좌측 및 우측 카메라(20-1~20-4)에 의해 촬영된 영상의 공차를 보정하면, 도 6의 (a)에 도시된 바와 같은 전방 탑 뷰 영상(610), 후방 탑 뷰 영상(620), 좌측 탑 뷰 영상(630) 및 우측 탑 뷰 영상(640)을 생성할 수 있다.
프로세서(130)는 각 탑 뷰 영상(610~640)을 합성하여 어라운드 뷰 영상을 생성함에 있어, 각 영상 간의 정합성을 높이기 위하여 각각의 탑 뷰 영상(610~640)을 보정할 수 있다. 즉, 프로세서(130)는 도 7 및 도 8과 같이 차선 및 정지선을 검출하고 이들의 경계가 정합되도록 보정하여, 보정된 전방, 후방 좌측 및 우측 탑 뷰 영상(615, 625, 635, 645)에 기초하여 최종적으로 도 6의 (b)에 도시된 바와 같은 어라운드 뷰 영상을 생성할 수 있다.
도 7 및 도 8은 차선 및 정지선을 검출하는 과정을 설명하기 위한 도면이다.
먼저, 도 7의 (a)를 참조하면 프로세서(130)는 도 6의 (b)와 같은 어라운드 뷰 영상에 기초하여 주행 차량의 주행 차선을 검출할 수 있다. 이를 위해 프로세서(130)는 어라운드 뷰 영상에서 수직 방향의 차선의 특징점들(710)을 추출할 수 있다. 만약, 횡단보도가 존재하는 경우, 프로세서(130)는 전방 영상에 대응하는 탑 뷰 영상에서 탐색하고자 하는 수평 구간(715)을 선정하고, 선정된 수평 구간을 탐색하여 그래디언트(gradient)가 상대적으로 높은 곳이 검출되면 이를 특징점으로 추출할 수도 있다.
다음으로 도 7의 (b)를 참조하면, 차선 후보군을 검출하기 위해 프로세서(130)는 추출된 특징점(710)에 기초하여 라인 정렬(Line Fitting) 과정을 수행할 수 있다. 라인 정렬 과정은 탑 뷰 영상에서 추출된 특징점(710)들을 기준으로 360도 범위로 탐색하여 선 성분을 추출하고, 추출된 선 성분의 중심을 기준으로 차선 후보군(720)을 선정한다.
다음으로 도 7의 (c)를 참조하면, 프로세서(130)는 차선 후보군(720) 중에서 차량을 기준으로 좌측 및 우측에 위치하는 다수의 후보점을 지나는 선 성분을 주행 차선(730)으로 인식할 수 있다.
또한, 프로세서(130)는 도 8에 도시된 바와 같이 어라운드 뷰 영상에 기초하여 정지선을 검출할 수 있다.
도 8의 (a)를 참조하면, 프로세서(130)는 어라운드 뷰 영상에서 탐색하고자 하는 수직 구간을 선정하고, 어라운드 뷰 영상을 수직 방향(815)으로 탐색하여 그래디언트가 상대적으로 높은 곳을 특징점(810)으로 추출할 수 있다.
다음으로 도 8의 (b)를 참조하면, 프로세서(130)는 정지선 후보군(820)을 검출하기 위하여 추출된 특징점(810)을 기준으로 360도 범위로 탐색하여 선 성분을 추출하고, 추출된 선 성분의 중심을 기준으로 정지선 후보군(820)을 선정할 수 있다.
다음으로 도 8의 (c)를 참조하면, 프로세서(130)는 정지선 후보군(820) 중에서 다수의 후보점을 지나는 선 성분을 정지선(830)으로 인식할 수 있다.
이와 같이 주행 차선(730) 또는 정지선(830)을 인식함에 따라, 프로세서(130)는 어라운드 뷰 영상의 정합성을 높일 수 있다.
도 9는 어라운드 뷰 영상의 정합성을 판단하는 과정을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템(100)은 검출된 차선(730) 및 정지선(830)을 이용하여 정합성 조건에 따라 어라운드 뷰 영상의 정합성을 판단할 수 있다.
먼저 도 9의 (a)를 참조하면, 프로세서(130)는 차량을 기준으로 왼쪽 차선(731)과 오른쪽 차선(733)은 각각 직선이어야 한다는 조건을 이용하여 어라운드 뷰 영상의 정합성을 판단할 수 있다.
또한 도 9의 (b)를 참조하면, 프로세서(130)는 전방, 후방, 좌측 및 우측 영역에서 검출된 차선 후보군(720)을 왼쪽 차선(920)과 오른쪽 차선(930)으로 각각 그룹핑하고, 그룹핑된 차선 후보군들이 서로 직선이 되도록 하는 전방, 후방, 좌측 및 우측 영역에 대해 각각 3×3 행렬을 계산하여 영상을 보정함에 따라 최종적으로 정합된 어라운드 뷰 영상을 생성할 수 있다.
참고로, 본 발명의 실시예에 따른 도 1에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 10을 참조하여, 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템(100)에서의 영상 카메라 자동 공차 보정 방법에 대하여 설명하도록 한다.
도 10은 본 발명의 일 실시예에 따른 영상 카메라 자동 공차 보정 방법의 순서도이다.
본 발명의 일 실시예에 따른 영상 카메라 자동 공차 보정 방법은 먼저, 차량에 포함된 센서부(10)를 통해 센싱된 결과값을 수신하고(S110), 수신된 결과값에 기초하여 공차 보정 조건을 만족하는지 여부를 판단한다(S120).
이때, 공차 보정 조건을 만족하는지 여부를 판단하는 단계는 4개의 센서 각각을 이용하여 판단하거나 이들의 상호 조합에 의하여 판단할 수 있다.
첫째로, 조향각 센서(15)에 센싱된 결과값에 기초하여 차량이 직진 이동하는지 여부를 판단하고, 차량이 직진 이동하는 것으로 판단된 경우, 공차 보정 조건을 만족하는 것으로 판단할 수 있다.
둘째로, 거리 감지 센서(11)에 의해 센싱된 결과값에 기초하여 차량으로부터 기 설정된 범위 내에 장애물이 존재하는지 여부를 판단하고, 장애물이 존재하지 않는 것으로 판단된 경우, 공차 보정 조건을 만족하는 것으로 판단할 수 있다.
셋째로, 차고 센서(13)에 의해 센싱된 결과값에 기초하여 차량이 경사로에 위치하는지 여부를 판단하고, 차량이 경사로에 위치하는 것으로 판단된 경우, 공차 보정 조건을 만족하는 것으로 판단할 수 있다.
마지막으로, 휠 엔코더 센서(17)에 의해 센싱된 결과값에 기초하여 차량의 속도가 기 설정된 속도 이하인지 여부를 판단하고, 차량이 기 설정된 속도 이하인 것으로 판단된 경우, 공차 보정 조건을 만족하는 것으로 판단할 수 있다.
이와 같은 공차 보정 조건을 만족하는 경우, 어라운드 뷰 모니터링 시스템(100)은 차량을 중심으로 설치된 전방, 후방, 좌측 및 우측 카메라(20-1~20-4)에 의해 촬영된 각 영상간에 공통되는 특징점을 추출하고(S130), 촬영된 각 영상에서 추출된 특징점을 조정하여 각 영상을 탑 뷰(Top View) 영상으로 변환한다(S140).
이와 같이 변환된 탑 뷰 영상에 기초하여 어라운드 뷰 영상을 생성한다(S150).
한편, 상술한 설명에서, 단계 S110 내지 S150은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 9에서 이미 기술된 내용은 도 10의 카메라 자동 공차 보정 방법에도 적용될 수 있다.
이와 같은 본 발명의 일 실시예 중 어느 하나에 의하면, 주행 등의 환경요인에 따라 차량에 설치된 카메라의 각도가 변경되더라도 자동으로 공차 보정 기능을 제공하여, 어라운드 뷰 영상의 왜곡을 최소화할 수 있다.
특히, 센서부(10)에 의해 센싱된 결과값을 이용하여 공차 보정 조건을 만족하는 경우 어라운드 뷰 영상을 생성함으로써, 어라운드 뷰 영상의 정합성을 보다 향상시킬 수 있다.
이에 따라, 서비스 센터나 사업소 등을 방문하지 않더라도 주행 중 또는 정차시에 자동으로 공차를 보정해 줌으로써 운전자의 편의성을 극대화시킬 수 있다.
한편, 본 발명의 일 실시예에 따른 카메라 자동 공차 보정 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 센서부 11: 거리 감지 센서
13: 차고 센서 15: 조향각 센서
17: 휠 엔코더 센서 20: 영상 촬영부
100: 어라운드 뷰 모니터링 시스템 110: 통신모듈
120: 메모리 130: 프로세서

Claims (17)

  1. 카메라의 자동 공차 보정이 가능한 어라운드 뷰 모니터링 시스템에 있어서,
    차량을 중심으로 설치된 전방, 후방, 좌측 및 우측 카메라를 포함하는 영상 촬영부 및 센서부와 데이터를 송수신하는 통신모듈,
    상기 카메라의 자동 공차 보정을 위한 프로그램이 저장된 메모리 및
    상기 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 차량에 포함된 센서부를 통해 센싱된 결과값에 기초하여 공차 보정 조건을 만족하는지 여부를 판단하고, 상기 공차 보정 조건을 만족하는 경우, 상기 전방, 후방, 좌측 및 우측 카메라에 의해 촬영된 각 영상간에 공통되는 특징점을 추출하며, 상기 촬영된 각 영상에서 상기 추출된 특징점을 조정하여 상기 각 영상을 탑 뷰(Top View) 영상으로 변환하고, 상기 변환된 탑 뷰 영상에 기초하여 어라운드 뷰 영상을 생성하고,
    상기 프로세서는 상기 변환된 각각의 탑 뷰 영상에 포함된 차선 및 정지선을 검출하고, 상기 각각의 탑 뷰 영상에 포함된 차선 및 정지선의 경계가 정합되도록 상기 각각의 탑 뷰 영상을 보정하되,
    상기 프로세서는 상기 어라운드 뷰 영상에서 탐색 대상 수직 구간을 선정하고, 수직 방향으로 탐색하여 그래디언트에 기초한 특징점을 추출하고, 상기 특징점을 기준으로 선 성분을 추출한 후, 추출된 선 성분의 중심을 기준으로 정지선 후보군을 선정하고, 정지선 후보군 중 다수의 후보점을 지나는 선 성분을 정지선으로 인식하는 것인,
    는 것인 어라운드 뷰 모니터링 시스템.
  2. 제 1 항에 있어서,
    상기 센서부는 거리 감지 센서, 차고 센서, 조향각 센서 및 휠 엔코더 센서 중 하나 이상을 포함하는 것인 어라운드 뷰 모니터링 시스템.
  3. 제 2 항에 있어서,
    상기 프로세서는 상기 조향각 센서에 의해 센싱된 결과값에 기초하여 상기 차량이 직진 이동하는지 여부를 판단하고, 상기 차량이 직진 이동하는 것으로 판단된 경우, 상기 공차 보정 조건을 만족하는 것으로 판단하는 것인 어라운드 뷰 모니터링 시스템.
  4. 제 2 항에 있어서,
    상기 프로세서는 상기 거리 감지 센서에 의해 센싱된 결과값에 기초하여 상기 차량으로부터 기 설정된 범위 내에 장애물이 존재하는지 여부를 판단하고, 상기 장애물이 존재하지 않는 것으로 판단된 경우, 상기 공차 보정 조건을 만족하는 것으로 판단하는 것인 어라운드 뷰 모니터링 시스템.
  5. 제 2 항에 있어서,
    상기 프로세서는 상기 차고 센서에 의해 센싱된 결과값에 기초하여 상기 차량이 경사로에 위치하는지 여부를 판단하고, 상기 차량이 경사로에 위치하는 것으로 판단된 경우, 상기 공차 보정 조건을 만족하는 것으로 판단하는 것인 어라운드 뷰 모니터링 시스템.
  6. 제 2 항에 있어서,
    상기 프로세서는 상기 휠 엔코더 센서에 의해 센싱된 결과값에 기초하여 상기 차량의 속도가 기 설정된 속도 이하인지 여부를 판단하고, 상기 기 설정된 속도 이하인 것으로 판단된 경우, 상기 공차 보정 조건을 만족하는 것으로 판단하는 것인 어라운드 뷰 모니터링 시스템.
  7. 제 1 항에 있어서,
    상기 프로세서는 상기 추출된 특징점들 중 임의의 특징점인 제 1 특징점과 제 2 특징점을 선택하고,
    상기 선택된 제 1 및 제 2 특징점에 대하여, 상기 차량의 이전 위치에 대응하는 제 1 및 제 2 특징점 간의 제 1 거리와, 현재 위치에 대응하는 제 1 및 제 2 특징점 간의 제 2 거리를 각각 산출하고, 상기 차량의 이전 위치와 현재 위치를 기준으로 상기 제 1 및 제 2 특징점의 제 1 및 제 2 이동거리를 각각 산출하며,
    상기 산출된 제 1 거리 및 제 2 거리가 동일하고, 상기 제 1 및 제 2 이동거리가 동일하도록 상기 각 영상을 조정하여 상기 탑 뷰 영상을 생성하는 것인 어라운드 뷰 모니터링 시스템.
  8. 제 7 항에 있어서,
    상기 프로세서는 상기 산출된 제 1 및 제 2 거리에 각각 대응하는 방향벡터가 서로 동일하고, 상기 산출된 제 1 및 제 2 이동거리에 각각 대응하는 방향벡터가 서로 동일하도록 상기 각 영상을 조정하여 상기 탑 뷰 영상을 생성하는 것인 어라운드 뷰 모니터링 시스템.
  9. 제 8 항에 있어서,
    상기 프로세서는 상기 전방, 후방, 좌측 및 우측 카메라 중 하나 이상의 카메라가 요잉 및 피칭 동작 중 하나 이상의 동작이 수행되는 경우에 대응되도록 촬영된 영상으로 조정함에 따라 상기 탑 뷰 영상을 생성하는 것인 어라운드 뷰 모니터링 시스템.
  10. 제 7항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 프로세서는 상기 제 1 및 제 2 거리에 기초하여 추출된 이동 벡터가, 상기 차량의 이동 정보에 기초하여 예측된 이동 방향과 일치되도록 하는 각도를 산출하고, 상기 산출된 각도에 기초하여 상기 전방, 후방, 좌측 및 우측 카메라 중 하나 이상의 카메라가 롤링 동작이 수행되는 경우에 대응되도록 촬영된 영상으로 조정함에 따라 상기 탑 뷰 영상을 생성하는 것인 어라운드 뷰 모니터링 시스템.
  11. 삭제
  12. 어라운드 뷰 모니터링 시스템에서의 카메라 자동 공차 보정 방법에 있어서,
    차량에 포함된 센서부를 통해 센싱된 결과값에 기초하여 공차 보정 조건을 만족하는지 여부를 판단하는 단계;
    상기 공차 보정 조건을 만족하는 경우, 차량을 중심으로 설치된 전방, 후방, 좌측 및 우측 카메라를 포함하는 영상 촬영부에 의해 촬영된 각 영상간에 공통되는 특징점을 추출하는 단계;
    상기 촬영된 각 영상에서 상기 추출된 특징점을 조정하여 상기 각 영상을 탑 뷰(Top View) 영상으로 변환하는 단계 및
    상기 변환된 탑 뷰 영상에 기초하여 어라운드 뷰 영상을 생성하는 단계; 및
    상기 변환된 각각의 탑 뷰 영상에 포함된 차선 및 정지선을 검출하는 단계 및
    상기 각각의 탑 뷰 영상에 포함된 차선 및 정지선의 경계가 정합되도록 상기 각각의 탑 뷰 영상을 보정하는 단계를 포함하고,
    상기 변환된 각각의 탑 뷰 영상에 포함된 차선 및 정지선을 검출하는 단계는,
    상기 어라운드 뷰 영상에서 탐색 대상 수직 구간을 선정하고, 수직 방향으로 탐색하여 그래디언트에 기초한 특징점을 추출하고, 상기 특징점을 기준으로 선 성분을 추출한 후, 추출된 선 성분의 중심을 기준으로 정지선 후보군을 선정하고, 정지선 후보군 중 다수의 후보점을 지나는 선 성분을 정지선으로 인식하는 것인 카메라 자동 공차 보정 방법.
  13. 제 12 항에 있어서,
    상기 센서부는 거리 감지 센서, 차고 센서, 조향각 센서 및 휠 엔코더 센서 중 하나 이상을 포함하는 것인 카메라 자동 공차 보정 방법.
  14. 제 13 항에 있어서,
    상기 공차 보정 조건을 만족하는지 여부를 판단하는 단계는,
    상기 조향각 센서에 센싱된 결과값에 기초하여 상기 차량이 직진 이동하는지 여부를 판단하는 단계 및
    상기 차량이 직진 이동하는 것으로 판단된 경우, 상기 공차 보정 조건을 만족하는 것으로 판단하는 단계를 포함하는 것인 카메라 자동 공차 보정 방법.
  15. 제 13 항에 있어서,
    상기 공차 보정 조건을 만족하는지 여부를 판단하는 단계는,
    상기 거리 감지 센서에 의해 센싱된 결과값에 기초하여 상기 차량으로부터 기 설정된 범위 내에 장애물이 존재하는지 여부를 판단하는 단계 및
    상기 장애물이 존재하지 않는 것으로 판단된 경우, 상기 공차 보정 조건을 만족하는 것으로 판단하는 단계를 포함하는 것인 카메라 자동 공차 보정 방법.
  16. 제 13 항에 있어서,
    상기 공차 보정 조건을 만족하는지 여부를 판단하는 단계는,
    상기 차고 센서에 의해 센싱된 결과값에 기초하여 상기 차량이 경사로에 위치하는지 여부를 판단하는 단계 및
    상기 차량이 경사로에 위치하는 것으로 판단된 경우, 상기 공차 보정 조건을 만족하는 것으로 판단하는 단계를 포함하는 것인 카메라 자동 공차 보정 방법.
  17. 제 13 항에 있어서,
    상기 공차 보정 조건을 만족하는지 여부를 판단하는 단계는,
    상기 휠 엔코더 센서에 의해 센싱된 결과값에 기초하여 상기 차량의 속도가 기 설정된 속도 이하인지 여부를 판단하는 단계 및
    상기 기 설정된 속도 이하인 것으로 판단된 경우, 상기 공차 보정 조건을 만족하는 것으로 판단하는 단계를 포함하는 것인 카메라 자동 공차 보정 방법.
KR1020160053872A 2016-05-02 2016-05-02 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법 KR102457264B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160053872A KR102457264B1 (ko) 2016-05-02 2016-05-02 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160053872A KR102457264B1 (ko) 2016-05-02 2016-05-02 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법

Publications (3)

Publication Number Publication Date
KR20170124232A KR20170124232A (ko) 2017-11-10
KR102457264B1 true KR102457264B1 (ko) 2022-10-20
KR102457264B9 KR102457264B9 (ko) 2023-05-11

Family

ID=60386833

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160053872A KR102457264B1 (ko) 2016-05-02 2016-05-02 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법

Country Status (1)

Country Link
KR (1) KR102457264B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102417902B1 (ko) * 2017-11-29 2022-07-07 현대자동차주식회사 영상 처리 장치 및 그의 영상 압축 방법
KR102035586B1 (ko) * 2018-05-17 2019-10-23 화남전자 주식회사 카메라 영상 이미지로부터 삼각형을 자동으로 찾는 방법 및 그 시스템
KR102089343B1 (ko) * 2018-06-26 2020-03-16 주식회사 수올리나 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법
KR102177878B1 (ko) 2019-03-11 2020-11-12 현대모비스 주식회사 영상 처리 장치 및 방법
KR20210157174A (ko) 2020-06-19 2021-12-28 현대모비스 주식회사 서라운드뷰 공차 보정을 위한 광학 장치 및 영상 제어 방법
KR20220052172A (ko) 2020-10-20 2022-04-27 현대모비스 주식회사 서라운드뷰 모니터링 시스템 및 그 제공 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101406230B1 (ko) * 2012-12-20 2014-06-12 현대오트론 주식회사 차량 기울어짐에 따라 보정된 avm 영상을 생성하는 시스템 및 방법
WO2016052505A1 (ja) * 2014-09-30 2016-04-07 クラリオン株式会社 カメラキャリブレーション装置及びカメラキャリブレーションシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101987634B1 (ko) * 2012-09-10 2019-06-11 현대모비스 주식회사 카메라 공차 보정 방법 및 장치와 이를 이용한 어라운드 뷰 모니터링 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101406230B1 (ko) * 2012-12-20 2014-06-12 현대오트론 주식회사 차량 기울어짐에 따라 보정된 avm 영상을 생성하는 시스템 및 방법
WO2016052505A1 (ja) * 2014-09-30 2016-04-07 クラリオン株式会社 カメラキャリブレーション装置及びカメラキャリブレーションシステム

Also Published As

Publication number Publication date
KR102457264B9 (ko) 2023-05-11
KR20170124232A (ko) 2017-11-10

Similar Documents

Publication Publication Date Title
KR102457264B1 (ko) 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법
CN106981082B (zh) 车载摄像头标定方法、装置及车载设备
KR102022388B1 (ko) 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
US11556744B1 (en) Auto labeler
CN107329490B (zh) 无人机避障方法及无人机
CN106740841B (zh) 基于动态控制的车道线检测方法、装置及车载设备
KR102516326B1 (ko) 이미지 라인들로부터의 카메라 외부 파라미터들 추정
US9087374B2 (en) Automatic airview correction method
JP5898475B2 (ja) 車載カメラシステム及びその較正方法、及びその較正プログラム
JP6273352B2 (ja) 物体検出装置、物体検出方法、および移動ロボット
JP5966747B2 (ja) 車両走行制御装置及びその方法
WO2004106856A1 (ja) ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
KR102543523B1 (ko) 카메라의 오차 보정 시스템 및 방법
US10983515B2 (en) Driving information display device, driving information display method, and method of controlling driving speed of working vehicle
CN104881869A (zh) 一种移动平台上的实时全景跟踪与拼接方法
JP6299517B2 (ja) 信号機認識装置及び信号機認識方法
KR20200000953A (ko) 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법
JP6932058B2 (ja) 移動体の位置推定装置及び位置推定方法
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN107122770A (zh) 多目相机***、智能驾驶***、汽车、方法和存储介质
CN111105695B (zh) 地图制作方法、装置、电子设备及计算机可读存储介质
JP6701057B2 (ja) 認識装置、プログラム
CN113869422B (zh) 多相机目标匹配方法、***、电子设备及可读存储介质
KR20130015984A (ko) 차선 인식 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]