KR101677232B1 - 자동차 카메라 보정 장치 및 방법 - Google Patents

자동차 카메라 보정 장치 및 방법 Download PDF

Info

Publication number
KR101677232B1
KR101677232B1 KR1020150167341A KR20150167341A KR101677232B1 KR 101677232 B1 KR101677232 B1 KR 101677232B1 KR 1020150167341 A KR1020150167341 A KR 1020150167341A KR 20150167341 A KR20150167341 A KR 20150167341A KR 101677232 B1 KR101677232 B1 KR 101677232B1
Authority
KR
South Korea
Prior art keywords
camera
unit
point
vanishing point
angle
Prior art date
Application number
KR1020150167341A
Other languages
English (en)
Inventor
백준기
김대희
박석목
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020150167341A priority Critical patent/KR101677232B1/ko
Application granted granted Critical
Publication of KR101677232B1 publication Critical patent/KR101677232B1/ko

Links

Images

Classifications

    • H04N5/23216—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • H04N5/2257—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 자동차 카메라 보정 장치 및 방법에 관한 것으로, 더욱 상세하게는 특징 점을 추적하여 자동차의 카메라를 자동 보정하는 자동차 카메라 보정 장치 및 방법에 관한 것이다.

Description

자동차 카메라 보정 장치 및 방법{DEVICE AND METHOD FOR CALIBRATING CARMERA ON VEHICLE}
본 발명은 자동차 카메라 보정 장치 및 방법에 관한 것으로, 더욱 상세하게는 특징 점을 추적하여 자동차의 카메라를 자동 보정하는 자동차 카메라 보정 장치 및 방법에 관한 것이다.
최근 자동차 기술의 발전에 따라 운전자의 안전 및 편의성을 고려한 운전자 보조 시스템에 대한 관심과 수요가 증가하고 있다. 운전자 보조 시스템(ADAS; Advanced Driver Assistance Systems)은 주행 중 운전자에게 발생하는 위협을 줄이기 위해 시각적인 보조 역할을 한다. 운전자 보조 시스템은 예를 들면, 차선 검출 시스템, 주변 전망 모니터링 시스템(AVM; Around View Monitoring system), 또는 보행자 검출 및 추적시스템 등일 수 있으며, 주로 자동차 전방, 측면 또는 후방에 설치된 카메라를 기반으로 하는 경우가 많다. 하지만, 자동차에 승객 탑승 또는 화물 적재 등에 의한 하중이 변화하는 경우, 또는 주행 중 진동이 발생하는 경우 자동차에 탑재된 카메라는 상하 또는 좌우로 지향각도가 변경되는 문제점이 있다.
본 발명의 배경기술은 대한민국 등록특허 제10-1268473호 (2013.06.04. 공고, 기준 소실 점 자동 보정 방법 및 그를 이용한 영상 인식 장치)에 개시되어 있다.
본 발명은 특정 패턴이나 차선 정보가 없어도 특징 점을 검출하고 추적하여 빠르고 정확하게 자동차의 카메라를 자동 보정하는 자동차 카메라 보정 장치 및 방법을 제공하는 것이다.
또한, 본 발명은 특징 점을 기반으로 하므로, 차선정보를 기반으로 하였을 경우 발생되는 방사왜곡(radical distortion) 오차, 기준 라인 설정 오차 등의 오차가 생성되지 않는 자동차 카메라 보정 장치 및 방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 자동차 카메라 보정 장치가 개시된다.
본 발명의 일 실시 예에 따른 자동차 카메라 보정 장치는 자동차의 후방 영상을 연속적으로 입력하는 카메라부, 연속적으로 입력된 영상에서 임의의 2개의 특징 점을 추출 및 추적하여 소실 점을 추정하고, 추정된 소실 점과 최초 기준 소실 점을 비교하여 카메라부를 보정하는 제어부를 포함할 수 있다.
여기서, 제어부는 카메라부에서 입력된 영상에서 2개의 임의의 특징 점들을 추출하는 특징 점 검출부, 연속적으로 입력된 영상의 각 프레임에서 추출한 특징 점을 추적하는 특징 점 추적부, 추적된 각 특징 점을 이용하여 생성한 2개의 가상의 직선의 교차점을 추정 소실 점으로 설정하는 소실 점 분석부 및 추정된 소실 점과 최초 기준 소실 점을 비교하고, 카메라 지향 각도의 회전이 있었다고 판단된 경우, 카메라부의 상하 또는 좌우 지향각도의 보정 값을 산출하는 지향각도 보정부를 포함할 수 있다.
여기서, 특징 점 검출부는 해리스 코너 검출 방법을 사용하여 특징 점을 추출할 수 있다.
여기서, 특징 점 추적부는 템플릿 매칭을 기반으로 특징 점을 추적할 수 있다.
여기서, 카메라부는 자동차의 후방 영상을 촬영하여 입력하는 영상 입력부, 카메라의 렌즈가 지향하는 각도를 상하 또는 좌우로 조절하는 지향각도 조절부 및 촬영된 영상을 유선 또는 무선 중 어느 하나를 통하여 전송하는 카메라 통신부를 포함할 수 있다.
본 발명의 일 실시 예에 따른 자동차 카메라 보정 장치는 자동차의 출시 시점에서 설정된 초기 기준 소실 점 정보를 저장하는 저장부를 더 포함할 수 있다.
본 발명의 일 측면에 따르면, 자동차 카메라 보정 방법 및 이를 실행하는 컴퓨터 프로그램이 개시된다.
본 발명의 일 실시 예에 따른 자동차 카메라 보정 방법은 입력된 영상에서 2개의 임의의 특징 점을 추출하는 단계, 연속적으로 입력된 영상의 각 프레임에서 추출한 특징 점을 추적하는 단계, 추적된 각 특징 점을 이용하여 생성한 2개의 가상의 직선의 교차점을 추정 소실 점으로 설정하는 단계 및 추정된 소실 점과 최초 기준 소실 점을 비교하고, 카메라 지향 각도의 회전이 있었다고 판단된 경우, 카메라부의 상하 또는 좌우 지향각도의 보정 값을 산출하는 단계를 포함할 수 있다.
여기서, 가상의 직선은 다음 수식 (1)을 이용하여 계산할 수 있다.
Figure 112015116072209-pat00001
수식 (1)
여기서,
Figure 112015116072209-pat00002
와
Figure 112015116072209-pat00003
는 특징 점
Figure 112015116072209-pat00004
의 좌표를 나타내고,
Figure 112015116072209-pat00005
와
Figure 112015116072209-pat00006
는 최소 자승법에 의해 구해진 직선의 기울기와 y절편임.
여기서, 카메라 지향 각도의 회전은 다음 수식 (3) 내지 수식 (5)를 이용하여 산출할 수 있다.
Figure 112015116072209-pat00007
수식 (3)
여기서, P는 단위 픽셀당 화각, FOV는 화각, W는 영상의 너비, H는 영상의 높이임.
Figure 112015116072209-pat00008
수식 (4),
Figure 112015116072209-pat00009
수식 (5)
여기서,
Figure 112015116072209-pat00010
는 카메라 지향 각도의 팬 차이 값,
Figure 112015116072209-pat00011
는 카메라 지향 각도의 틸트 차이 값,
Figure 112015116072209-pat00012
는 초기 설정 소실 점 좌표 값,
Figure 112015116072209-pat00013
는 추정 소실 점 좌표 값임.
본 발명은 특정 패턴이나 차선 정보가 없어도 특징 점을 검출하고 추적하여 빠르고 정확하게 자동차의 카메라를 자동 보정할 수 있다.
또한, 본 발명은 방사왜곡(radical distortion)에 의해 발생되는 오차, 기준 라인 설정의 오차 등 차선 정보 기반에서 발생되는 오차가 생성되지 않아 카메라의 자동 보정을 통하여 자동차에 첨단 운전자 보조 시스템을 효율적으로 적용할 수 있다.
도 1 내지 도 3은 본 발명의 일 실시 예에 따른 자동차 카메라 보정 장치의 블록구성도들.
도 4는 본 발명의 일 실시 예에 따른 자동차 카메라 보정 방법의 순서도.
도 5 내지 도 7은 본 발명의 일 실시 예에 따른 자동차 카메라 보정 방법을 설명하기 위한 도면들.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다. 또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 일 구성요소가 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. 이하, 본 발명의 실시 예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.
도 1 내지 도 3은 본 발명의 일 실시 예에 따른 자동차 카메라 보정 장치의 블록구성도들이다.
도 1을 참조하면, 자동차 카메라 보정 장치는 카메라부(100), 통신부(200), 제어부(300) 및 저장부(400)를 포함한다.
카메라부(100)는 자동차의 후방에 위치하여 미리 설정된 지향 각도로 자동차의 후방을 촬영한다. 카메라부(100)는 자동차의 움직임에 따라 자동차의 후방을 계속적으로 촬영한다.
도 2를 참조하여 카메라부(100)를 더욱 상세히 설명하면, 카메라부(100)는 영상 입력부(110), 지향각도 조절부(120) 및 카메라 통신부(130)를 포함한다.
영상 입력부(110)는 자동차의 후방의 영상을 촬영하여 입력한다.
지향각도 조절부(120)는 카메라의 렌즈가 지향하는 각도를 상하 또는 좌우로 조절한다.
카메라 통신부(130)는 촬영된 영상을 유선 또는 무선 중 어느 하나를 통하여 후술할 통신부(200)로 전송한다. 또한, 카메라 통신부(130)는 통신부(200)로부터 지향각도 조절신호를 수신한다.
통신부(200)는 유선 또는 무선을 통하여 카메라부(100)로부터 입력된 영상 정보를 수신한다. 통신부(200)는 또한, 제어부(300)에 의해 생성된 카메라 지향 각도 조절 신호를 카메라부(100)로 전송한다.
제어부(300)는 카메라부(100)에서 연속적으로 입력된 영상에서 임의의 2개의 특징 점을 추출 및 추적하여 소실 점을 추정하고, 추정 소실 점과 최초 기준 소실 점을 비교한다. 제어부(300)는 비교결과, 추정 소실 점과 최초 기준 소실 점이 다른 경우, 카메라부(100)에서 카메라의 지향 각도의 회전이 있었다고 판단하고, 카메라 지향 각도 조절 신호를 생성하고 전송하여 카메라를 자동 보정한다.
도 3을 참조하여 제어부(300)를 더욱 상세히 설명하면, 제어부(300)는 특징 점 검출부(310), 특징 점 추적부(320), 소실 점 분석부(330) 및 지향각도 보정부(340)를 포함한다.
특징 점 검출부(310)는 카메라부(100)에서 입력된 영상에서 2개의 임의의 특징 점을 추출한다. 특징 점 검출부(310)는 해리스 코너 검출 방법을 사용하여 특징 점을 추출할 수 있다.
특징 점 추적부(320)는 자동차의 움직임에 따라 촬영된 각 프레임의 영상에서 추출한 특징 점을 계속적으로 추적한다. 특징 점 추적부(320)는 템플릿 매칭을 기반으로 특징 점을 추적할 수 있다.
소실 점 분석부(320)는 추적된 각 특징 점을 이용하여 2개의 가상의 직선을 생성한다. 소실 점 분석부(330)는 생성된 2개의 가상의 직선의 교차점을 추정 소실 점으로 설정한다.
지향각도 보정부(340)는 설정된 추정 소실 점과 최초 자동차의 출시 시점에서 설정된 초기 기준 소실 점을 비교한다. 지향각도 보정부(340)는 비교 결과 추정 소실 점과 초기 기준 소실 점이 다른 경우 카메라 지향 각도의 회전이 있었다고 판단한다. 이후 지향각도 보정부(340)는 카메라부(100)의 상하 또는 좌우 지향 각도의 보정 값을 산출하고, 카메라부(100)의 보정을 위한 카메라 지향각도 조절 신호를 생성한다.
저장부(400)는 카메라부(100)에서 입력된 영상을 저장한다. 저장부(400)는 또한, 자동차의 출시 시점에서 설정된 초기 기준 소실 점 정보를 저장한다. 저장부(400)는 카메라 자동 보정을 위한 프로그램 및 관련 데이터를 저장한다.
본 발명에 따른 자동차 카메라 보정 장치는 특정 패턴이나 차선 정보가 없어도 임의의 특징 점을 이용하여 빠르고 정확하게 자동차의 카메라를 자동 보정할 수 있다. 따라서, 본 발명은 차선 정보 기반에서 발생되는 여러 가지 오차 예를 들면, 카메라의 방사왜곡(radical distortion)으로 인한 직선의 왜곡 또는 차선 중 어느 라인을 기준으로 하는지 등 모호한 기준 라인 설정 등이 발생되지 않아 안정적이고 신뢰성이 높은 카메라의 자동 보정을 통하여 자동차에 첨단 운전자 보조 시스템을 효율적으로 적용할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 자동차 카메라 보정 방법의 순서도이다.
도 4을 참조하면, 자동차 카메라 보정 장치는 단계 S410에서 입력된 영상에서 2개의 임의의 특징 점을 추출한다. 자동차 카메라 보정 장치는 예를 들면, 해리스 코너 검출 방법(Harris corner detector)을 사용하여 특징 점을 추출할 수 있다.
자동차 카메라 보정 장치는 단계 S420에서 자동차의 움직임에 따라 촬영된 각 프레임의 영상에서 추출한 특징 점을 계속적으로 추적한다. 자동차 카메라 보정 장치는 자동차의 움직임에 따라 각 프레임마다 예를 들면, 템플릿 매칭(Template matching) 기반으로 특징 점을 추적할 수 있다.
자동차 카메라 보정 장치는 단계 S430에서 추적된 각 특징 점을 이용하여 2개의 가상의 직선을 생성한다. 자동차 카메라 보정 장치는 추적 결과 얻어진 특징 점들을
Figure 112015116072209-pat00014
로 정의하고, 두 가상의 직선
Figure 112015116072209-pat00015
과
Figure 112015116072209-pat00016
를 다음 수식 (1)과 같이 최소 자승법을 사용하여 계산할 수 있다.
Figure 112015116072209-pat00017
수식 (1)
여기서,
Figure 112015116072209-pat00018
와
Figure 112015116072209-pat00019
는 특징 점
Figure 112015116072209-pat00020
의 좌표를 나타내고,
Figure 112015116072209-pat00021
와
Figure 112015116072209-pat00022
는 최소 자승법에 의해 구해진 직선의 기울기와 y절편임.
자동차 카메라 보정 장치는 단계 S440에서 생성된 2개의 가상의 직선의 교차점을 추정 소실 점으로 설정한다. 자동차 카메라 보정 장치는 생성된 두 직선
Figure 112015116072209-pat00023
과
Figure 112015116072209-pat00024
의 교차점을 수식 (2)와 같이 나타낼 수 있다.
Figure 112015116072209-pat00025
수식 (2)
여기서
Figure 112015116072209-pat00026
는 추정된 소실 점을 나타냄.
자동차 카메라 보정 장치는 단계 S450에서 설정된 추정 소실 점과 최초 자동차의 출시 시점에서 설정된 초기 기준 소실 점을 비교한다.
자동차 카메라 보정 장치는 단계 S460에서 비교 결과 추정 소실 점과 초기 기준 소실 점이 달라 카메라 지향 각도의 회전이 있었는지 판단한다. 여기서, 초기 기준 소실 점
Figure 112015116072209-pat00027
는 자동차 출고 시에 설정된다. 자동차 카메라 보정 장치는 카메라 회전이 발생했을 때의 소실 점을 수식 (2)로부터
Figure 112015116072209-pat00028
를 예측하여
Figure 112015116072209-pat00029
와
Figure 112015116072209-pat00030
의 차이를 분석하여 왜곡 정도를 추정할 수 있다.
자동차 카메라 보정 장치는 단계 S470에서 카메라의 상하 또는 좌우 지향 각도의 보정 값을 산출하고, 보정을 위한 카메라 지향각도 조절 신호를 생성한다.
우선 자동차 카메라 보정 장치는 카메라 규격으로 정의된 화각
Figure 112015116072209-pat00031
와 영상의 너비
Figure 112015116072209-pat00032
와 높이인
Figure 112015116072209-pat00033
를 사용해 단위 픽셀당 화각을 계산할 수 있다.
Figure 112015116072209-pat00034
수식 (3)
이후 자동차 카메라 보정 장치는 카메라 초기상태 대비 회전 발생 시의 카메라 지향 각도의 차이
Figure 112015116072209-pat00035
를 산출한다.
Figure 112015116072209-pat00036
수식 (4)
Figure 112015116072209-pat00037
수식 (5)
여기서,
Figure 112015116072209-pat00038
과
Figure 112015116072209-pat00039
는 각각
Figure 112015116072209-pat00040
와
Figure 112015116072209-pat00041
의 좌표를 의미한다.
자동차 카메라 보정 장치는 카메라 지향 각도의 차이
Figure 112015116072209-pat00042
를 이용하여 카메라의 상하 또는 좌우 지향 각도의 보정 값을 산출할 수 있다.
이후, 자동차 카메라 보정 장치는 보정을 위한 카메라 지향각도 조절 신호를 생성할 수 있다.
도 5 내지 도 7은 본 발명의 일 실시 예에 따른 자동차 카메라 보정 방법을 설명하기 위한 도면들이다.
본 발명에 따른 자동차 카메라 보정 장치는 실험을 위해 FOV가 140°인 광각 카메라를 사용하여 자동차의 후방 영상을 촬영하였다. 자동차 카메라 보정 장치는 초기 기준 소실 점을 팬 0°와 틸트 10°로 설치하여 자동차의 후방 영상을 촬영하고, 또한, 임의로 팬 10°와 20°로 카메라의 지향각도를 회전시켜 왜곡 영상을 촬영하였다.
도 5는 본 발명의 일 실시예에 따른 자동차 카메라 보정 방법의 초기 기준 소실 점(530)의 설정 영상을 나타내며, 도 6은 본 발명의 일 실시예에 따른 자동차 카메라 보정 방법의 초기 기준 소실 점에서 팬 10°회전된 영상을 나타내며, 도 7은 본 발명의 일 실시예에 따른 자동차 카메라 보정 방법의 초기 기준 소실 점에서 팬 20°회전된 영상을 나타낸다.
본 발명에 따른 자동차 카메라 보정 장치는 추정된 소실 점을 사용하여 왜곡 정도를 예측하였고 그 결과는 표 1과 같다. 표 1을 참조하면, 본 발명에 따른 자동차 카메라 보정 장치는 팬, 틸트 왜곡 정도를 정확하고 신뢰성있게 예측할 수 있다.
표 1
입력 영상 카메라 상태 소실 점 좌표 본 발명의 예측 결과
Pan Tilt x Y Pan Tilt
초기 설정 영상 0° 10° 321 123 0° 10°
팬 10°회전된 영상 10° 10° 279 121 8.01° 10.38°
팬 20°회전된 영상 20° 10° 226 122 18.11° 10.19°
본 발명은 자동차 후방의 설치된 카메라의 입력 영상의 소실 점을 사용하여 카메라의 왜곡 정도를 예측하여 보정하는 방법을 제안하였다. 본 발명은 소실 점을 계산하기 위해 입력 영상에서 특징 점 검출 및 추적을 통해 가상의 직선 차선을 생성하여 교차점을 소실 점으로 정의하였고, 계산된 소실 점과 초기 설치된 카메라에서 계산된 소실 점을 사용하여 왜곡 변수를 추정하였다. 본 발명은 기존 패턴 및 차선 검출 기반 기술들보다 간편하기 때문에 빠르고 정확하게 카메라의 왜곡 정도를 보정할 수 있다.
한편, 본 발명의 실시 예에 따른 자동차 카메라 보정 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 여기서, 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 카메라부
200: 통신부
300: 제어부
400: 저장부

Claims (10)

  1. 자동차 카메라 보정 장치에 있어서,
    자동차의 후방 영상을 연속적으로 입력하는 카메라부; 및
    상기 연속적으로 입력된 영상에서 임의의 2개의 특징 점을 추출 및 추적하여 소실 점을 추정하고, 추정된 소실 점과 최초 기준 소실 점을 비교하여 상기 카메라부를 보정하는 제어부를 포함하고,
    상기 제어부는
    상기 카메라부에서 입력된 영상에서 2개의 임의의 특징 점들을 추출하는 특징 점 검출부;
    상기 연속적으로 입력된 영상의 각 프레임에서 추출한 특징 점을 추적하는 특징 점 추적부;
    추적된 각 특징 점을 이용하여 생성한 2개의 가상의 직선의 교차점을 추정 소실 점으로 설정하는 소실 점 분석부; 및
    추정된 소실 점과 최초 기준 소실 점을 비교하고, 카메라 지향 각도의 회전이 있었다고 판단된 경우, 상기 카메라부의 상하 또는 좌우 지향각도의 보정 값을 산출하는 지향각도 보정부를 포함하되,
    상기 가상의 직선은 다음 수식 (1)을 이용하여 계산하는 자동차 카메라 보정 장치.
    Figure 112016094778567-pat00063
    수식 (1)
    여기서,
    Figure 112016094778567-pat00064
    와
    Figure 112016094778567-pat00065
    는 특징 점
    Figure 112016094778567-pat00066
    의 좌표를 나타내고,
    Figure 112016094778567-pat00067
    와
    Figure 112016094778567-pat00068
    는 최소 자승법에 의해 구해진 직선의 기울기와 y절편임.
  2. 삭제
  3. 제1항에 있어서,
    상기 특징 점 검출부는
    해리스 코너 검출 방법을 사용하여 특징 점을 추출하는 자동차 카메라 보정 장치.
  4. 제1항에 있어서,
    상기 특징 점 추적부는
    템플릿 매칭을 기반으로 상기 특징 점을 추적하는 자동차 카메라 보정 장치.
  5. 제1항에 있어서,
    상기 카메라부는
    자동차의 후방 영상을 촬영하여 입력하는 영상 입력부;
    카메라의 렌즈가 지향하는 각도를 상하 또는 좌우로 조절하는 지향각도 조절부; 및
    촬영된 영상을 유선 또는 무선 중 어느 하나를 통하여 전송하는 카메라 통신부를 포함하는 자동차 카메라 보정 장치.
  6. 제1항에 있어서,
    상기 자동차의 출시 시점에서 설정된 초기 기준 소실 점 정보를 저장하는 저장부를 더 포함하는 자동차 카메라 보정 장치.
  7. 자동차 카메라 보정 장치에서 자동차 카메라를 보정하는 방법에 있어서,
    입력된 영상에서 2개의 임의의 특징 점을 추출하는 단계;
    연속적으로 입력된 영상의 각 프레임에서 추출한 특징 점을 추적하는 단계;
    추적된 각 특징 점을 이용하여 생성한 2개의 가상의 직선의 교차점을 추정 소실 점으로 설정하는 단계; 및
    추정된 소실 점과 최초 기준 소실 점을 비교하고, 카메라 지향 각도의 회전이 있었다고 판단된 경우, 상기 카메라의 상하 또는 좌우 지향각도의 보정 값을 산출하는 단계를 포함하되,
    상기 가상의 직선은 다음 수식 (1)을 이용하여 계산하는 자동차 카메라 보정 방법.
    Figure 112016094778567-pat00069
    수식 (1)
    여기서,
    Figure 112016094778567-pat00070
    와
    Figure 112016094778567-pat00071
    는 특징 점
    Figure 112016094778567-pat00072
    의 좌표를 나타내고,
    Figure 112016094778567-pat00073
    와
    Figure 112016094778567-pat00074
    는 최소 자승법에 의해 구해진 직선의 기울기와 y절편임.
  8. 삭제
  9. 자동차 카메라 보정 장치에서 자동차 카메라를 보정하는 방법에 있어서,
    입력된 영상에서 2개의 임의의 특징 점을 추출하는 단계;
    연속적으로 입력된 영상의 각 프레임에서 추출한 특징 점을 추적하는 단계;
    추적된 각 특징 점을 이용하여 생성한 2개의 가상의 직선의 교차점을 추정 소실 점으로 설정하는 단계; 및
    추정된 소실 점과 최초 기준 소실 점을 비교하고, 카메라 지향 각도의 회전이 있었다고 판단된 경우, 상기 카메라의 상하 또는 좌우 지향각도의 보정 값을 산출하는 단계를 포함하되,
    상기 카메라 지향 각도의 회전은 다음 수식 (3) 내지 수식 (5)를 이용하여 산출하는 자동차 카메라 보정 방법.
    Figure 112016094778567-pat00049
    수식 (3)
    여기서, P는 단위 픽셀당 화각, FOV는 화각, W는 영상의 너비, H는 영상의 높이임.
    Figure 112016094778567-pat00050
    수식 (4),
    Figure 112016094778567-pat00051
    수식 (5)
    여기서,
    Figure 112016094778567-pat00052
    는 카메라 지향 각도의 팬 차이 값,
    Figure 112016094778567-pat00053
    는 카메라 지향 각도의 틸트 차이 값,
    Figure 112016094778567-pat00054
    는 초기 설정 소실 점 좌표 값,
    Figure 112016094778567-pat00055
    는 추정 소실 점 좌표 값임.
  10. 제7항 또는 제9항 중 어느 한 항의 자동차 카메라 보정 방법을 실행하는 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.

KR1020150167341A 2015-11-27 2015-11-27 자동차 카메라 보정 장치 및 방법 KR101677232B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150167341A KR101677232B1 (ko) 2015-11-27 2015-11-27 자동차 카메라 보정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150167341A KR101677232B1 (ko) 2015-11-27 2015-11-27 자동차 카메라 보정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101677232B1 true KR101677232B1 (ko) 2016-11-30

Family

ID=57707455

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150167341A KR101677232B1 (ko) 2015-11-27 2015-11-27 자동차 카메라 보정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101677232B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989370B1 (ko) * 2019-02-19 2019-06-14 주식회사 리트빅 차선인식 기반의 svm 다이나믹 오토 캘리브레이션 방법
KR102024834B1 (ko) * 2018-04-23 2019-09-24 주식회사 이알랩 차량에 설치된 카메라의 보정 장치 및 방법
KR20220033875A (ko) 2020-09-10 2022-03-17 현대모비스 주식회사 차량용 광각카메라의 자동 보정 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009150848A (ja) 2007-12-21 2009-07-09 Topcon Corp 画像処理装置
WO2010146695A1 (ja) 2009-06-18 2010-12-23 富士通株式会社 画像処理装置および画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009150848A (ja) 2007-12-21 2009-07-09 Topcon Corp 画像処理装置
WO2010146695A1 (ja) 2009-06-18 2010-12-23 富士通株式会社 画像処理装置および画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102024834B1 (ko) * 2018-04-23 2019-09-24 주식회사 이알랩 차량에 설치된 카메라의 보정 장치 및 방법
KR101989370B1 (ko) * 2019-02-19 2019-06-14 주식회사 리트빅 차선인식 기반의 svm 다이나믹 오토 캘리브레이션 방법
KR20220033875A (ko) 2020-09-10 2022-03-17 현대모비스 주식회사 차량용 광각카메라의 자동 보정 시스템 및 방법

Similar Documents

Publication Publication Date Title
US9986173B2 (en) Surround-view camera system (VPM) online calibration
US10242576B2 (en) Obstacle detection device
US10229588B2 (en) Method and device for obtaining evidences for illegal parking of a vehicle
US20180114067A1 (en) Apparatus and method for extracting objects in view point of moving vehicle
JP4052650B2 (ja) 障害物検出装置、方法及びプログラム
US20180365857A1 (en) Camera angle estimation method for around view monitoring system
KR102457617B1 (ko) 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체
US8611609B2 (en) Lane line estimating apparatus
CN108367714B (zh) 填充由镜子或其他车辆部件遮挡的周围视野区域
CN106447730B (zh) 参数估计方法、装置和电子设备
JP7212486B2 (ja) 位置推定装置
KR101677232B1 (ko) 자동차 카메라 보정 장치 및 방법
US9387804B2 (en) Image distortion compensating apparatus and operating method thereof
WO2004106856A9 (ja) ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム
KR102457264B1 (ko) 어라운드 뷰 모니터링 시스템 및 이의 카메라 자동 공차 보정 방법
KR101808092B1 (ko) 어라운드뷰 모니터링 영상 자동 보정 및 생성 장치 및 방법
KR20170001765A (ko) Avm 시스템의 공차 보정 장치 및 방법
CN111508272A (zh) 提供基于照相机的鲁棒物体距离预测的方法及装置
CN114092551A (zh) 一种基于全景视觉与激光雷达融合slam***的智能车
CN112184827A (zh) 校准多个摄像机的方法及装置
KR102566120B1 (ko) 차량용 서라운드 뷰 영상 평가 장치 및 방법
JP2001060263A (ja) 物体追跡方法及び物体追跡装置
KR101645717B1 (ko) 첨단 운전자 보조 시스템의 적응적 보정 장치 및 방법
JP5261752B2 (ja) ドライブレコーダ
US10643077B2 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 4