KR102022388B1 - 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법 - Google Patents

실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법 Download PDF

Info

Publication number
KR102022388B1
KR102022388B1 KR1020180023423A KR20180023423A KR102022388B1 KR 102022388 B1 KR102022388 B1 KR 102022388B1 KR 1020180023423 A KR1020180023423 A KR 1020180023423A KR 20180023423 A KR20180023423 A KR 20180023423A KR 102022388 B1 KR102022388 B1 KR 102022388B1
Authority
KR
South Korea
Prior art keywords
information
target
target point
distance value
real
Prior art date
Application number
KR1020180023423A
Other languages
English (en)
Other versions
KR20190102665A (ko
Inventor
이윤희
이문성
김성록
Original Assignee
(주)캠시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)캠시스 filed Critical (주)캠시스
Priority to KR1020180023423A priority Critical patent/KR102022388B1/ko
Publication of KR20190102665A publication Critical patent/KR20190102665A/ko
Application granted granted Critical
Publication of KR102022388B1 publication Critical patent/KR102022388B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법이 개시된다. 카메라 공차 보정 시스템은 복수의 촬영부를 포함하는 스테레오 카메라 유닛; 복수의 촬영부에 의해 각각 촬영된 촬영 영상의 중첩 영역에서 미리 지정된 우선 순위 정보를 참조하여 2개의 타겟 물체를 선정하고, 미리 지정된 타겟점 선정 기준 정보를 참조하여 선정된 타겟 물체 각각의 타겟점을 선정하는 타겟점 선정부; 상기 중첩 영역에 상응하는 뎁스맵을 이용하여 영상 좌표값 정보가 산출된 각 타겟점 사이의 추정 거리값을 산출하고, 실세계에서의 각 타겟점의 GPS 좌표 정보를 이용하여 각 타겟점 사이의 실측 거리값을 산출한 후, 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 일치하는지 여부를 검증하는 검증부; 및 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 비일치하는 경우, 하나 이상의 촬영부에 대해 미리 지정된 변환 규칙을 생성하는 변환 규칙 생성부를 포함한다.

Description

실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법{Calibration system and method using real-world object information}
본 발명은 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법에 관한 것이다.
일반적으로, 차량 내부에 탑승한 운전자의 시계는 주로 전방을 향하게 되고, 운전자의 좌우측과 후방 시계는 차체에 의하여 상당부분 가려지기 때문에 매우 한정된 시계를 가진다.
이러한 문제를 해결하기 위하여, 사이드 미러 등의 시계 보조수단이 사용되었으며, 최근에는 차량의 외부를 촬영하여 운전자에게 제공하는 카메라 수단을 이용한 기술들도 차량에 다양하게 적용되고 있는 추세이다.
일 예로, 차량에 복수의 카메라를 장착하여 차량 주변의 360ㅀ전방향의 영상을 보여주는 어라운드 뷰 모니터링(Around View Monitoring, AVM) 시스템이 있다. AVM 시스템은 차량 각 위치에 구비된 카메라들에 의해 촬영된 차량 주변의 영상을 조합하여, 운전자가 하늘에서 차량을 바라보는 듯한 탑뷰(Top View) 이미지 형식의 AVM 영상을 제공함으로써, 사각지대를 해소하고 운전자가 차량 주변 장애물을 쉽게 확인할 수 있는 장점이 있다.
또한 최근에는 협각 카메라 시스템도 추가적으로 구비되어, 운전자가 차량 전방의 원거리 도로 상황까지 효과적으로 인식할 수 있도록 하고 있다.
이와 같이, 차량에 복수의 카메라가 장착되는 경우에는 장착된 카메라들이 유기적으로 작용할 수 있도록 각 카메라의 공차를 보정하는 작업은 필수적이다. 따라서, 복수의 카메라가 장착된 차량은 촬영 영상의 합성 및 이용을 위한 화면 정합성 기준을 충족하기 위한 공차 보정 작업이 차량의 출고 이전에 실시되고 있다.
그러나 차량이 출고된 후 차량에 가해진 충격 등으로 공차가 누적되면 화면 정합성이 낮아질 수 밖에 없다. 이와 같이, 새롭게 발생된 누적 공차의 보정을 위해서는 운전자가 차량을 가지고 서비스 센터나 사업소를 방문하여야 하는 불편함이 있었다.
한국등록특허 제10-0948886호(차량에 설치된 카메라의 공차 보정 장치 및 방법)
Introduction Epipolar Geometry Calibration Methods Further Readings - Stereo Camera Calibration (https://cs.nyu.edu/courses/fall14/ CSCI-GA.2271-001/ 06StereoCamera Calibration.pdf) Stereo vision― Facing the challenges and seeing the opportunities for ADAS applications (http://www.ti.com/lit/wp/spry300/spry300.pdf) Stereo Camera Calibration (Brian O'Kennedy, Stellenbosch University) A Four-step Camera Calibration Procedure with Implicit Image Correction (Janne Heikkilㅴ and Olli Silvㅹn, University of Oulu) B-spline-based road model for 3D lane recognition(IEEE conference on intelligent transportation system October 2010)
본 발명은 실세계 물체 정보를 이용하여 복수의 카메라에 대한 스테레오 정합 품질이 검사되고, 누적 공차로 인해 스테레오 정합 품질이 열악해지면 실시간으로 공차 보정이 실시되도록 함으로써, 공차 보정을 위해 차량을 가지고 서비스 센터나 사업소를 방문할 필요가 없어 사용자 편의가 극대화될 수 있는 카메라 공차 보정 시스템 및 방법을 제공하기 위한 것이다.
본 발명은 차량의 주정차 상태 또는 이동 중에 장착된 복수의 카메라들에 대한 공차 보정이 이루어지기 때문에, 차량의 출고 이전에 각 카메라에 대한 공차 보정이 실시되지 않았거나 차량의 출고 이후에 공차 누적으로 인해 공차 보정이 요구되는 AVM 시스템 등에 범용적으로 활용될 수 있는 카메라 공차 보정 시스템 및 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 복수의 촬영부를 포함하는 스테레오 카메라 유닛; 복수의 촬영부에 의해 각각 촬영된 촬영 영상의 중첩 영역에서 미리 지정된 우선 순위 정보를 참조하여 2개의 타겟 물체를 선정하고, 미리 지정된 타겟점 선정 기준 정보를 참조하여 선정된 타겟 물체 각각의 타겟점을 선정하는 타겟점 선정부; 상기 중첩 영역에 상응하는 뎁스맵(depth map)을 이용하여 영상 좌표값 정보가 산출된 각 타겟점 사이의 추정 거리값(DEst)을 산출하고, 실세계에서의 각 타겟점의 GPS 좌표 정보를 이용하여 각 타겟점 사이의 실측 거리값(DReal)을 산출한 후, 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 일치하는지 여부를 검증하는 검증부; 및 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 비일치하는 경우, 하나 이상의 촬영부에 대해 미리 지정된 변환 규칙을 생성하는 변환 규칙 생성부를 포함하는 실세계 물체 정보를 이용한 카메라 공차 보정 시스템이 제공된다.
고정 물체인 타겟 물체에 대하여, 상기 검증부는 미리 저장된 정밀 지도에서 선정된 타겟 물체의 타겟점에 대한 GPS 좌표 정보를 획득하도록 구성될 수 있다.
상기 고정 물체는 도로 표지판, 신호등, 건물 및 가로수 중 하나 이상을 포함하도록 미리 지정될 수 있다.
이동 물체인 타겟 물체에 대하여, 상기 검증부는 상기 중첩 영역에서 타겟 물체의 속성과 자세를 해석하고, 상기 타겟 물체의 속성에 상응하도록 미리 저장된 제원(諸元) 정보, 상기 타겟점 선정 기준 정보, 수신부를 통해 수신된 상기 타겟 물체의 위치 정보 및 해석된 타겟 물체의 자세 정보를 이용하여, 선정된 타겟 물체의 타겟점에 대한 GPS 좌표 정보를 연산하도록 구성될 수 있다.
상기 이동 물체는 위치 정보를 생성하고 송신하기 위한 GPS 송수신기를 구비하고, 주행 도로의 전방에서 주행하는 이동체일 수 있다.
본 발명의 다른 측면에 따르면, 실세계 물체 정보를 이용하여 카메라 공차를 보정하도록 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은, 스테레오 카메라 유닛에 포함된 복수의 촬영부 각각에서 촬영된 촬영 영상의 중첩 영역에서 미리 지정된 우선 순위 정보를 참조하여 2개의 타겟 물체를 선정하는 단계 (a); 미리 지정된 타겟점 선정 기준 정보를 참조하여 선정된 타겟 물체 각각의 타겟점을 선정하는 단계 (b); 상기 중첩 영역에 상응하는 뎁스맵(depth map)을 이용하여 각 타겟점에 대한 영상 좌표값 정보를 연산하고, 연산된 영상 좌표값 정보를 이용하여 각 타겟점 사이의 추정 거리값(DEst)을 산출하는 단계 (c); 실세계에서의 각 타겟점의 GPS 좌표 정보를 획득하고, 획득된 GPS 좌표 정보를 이용하여 각 타겟점 사이의 실측 거리값(DReal)을 산출하는 단계 (d); 및 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 일치하는지 여부를 판단하고, 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 비일치하면 하나 이상의 촬영부에 대해 미리 지정된 변환 규칙을 생성하는 단계 (e)를 포함하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램이 제공된다.
도로 표지판, 신호등, 건물 및 가로수 중 하나 이상을 포함하는 고정 물체가 타겟 물체로 지정되면, 미리 저장된 정밀 지도에서 선정된 타겟 물체의 타겟점에 대한 GPS 좌표 정보가 획득되도록 설정될 수 있다.
이동 물체가 타겟 물체 중 하나 이상으로 선정된 경우, 상기 단계 (d)는, 미리 지정된 영상 처리 기법을 이용하여 상기 중첩 영역에서 타겟 물체의 속성과 자세를 해석하는 단계; 및 상기 타겟 물체의 속성에 상응하도록 미리 저장된 제원(諸元) 정보, 상기 타겟점 선정 기준 정보, 수신부를 통해 수신된 상기 타겟 물체의 위치 정보 및 해석된 타겟 물체의 자세 정보를 이용하여, 이동 물체인 타겟 물체의 타겟점에 대한 GPS 좌표 정보를 연산하는 단계를 포함할 수 있다.
차량 제어 장치로부터 수신된 차량 상태 정보가 미리 지정된 조건에 의해 비정상 상태인 것으로 판단된 경우 상기 단계 (a) 내지 (e)가 실시되도록 설정될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 실세계 물체 정보를 이용하여 복수의 카메라에 대한 스테레오 정합 품질이 검사되고, 누적 공차로 인해 스테레오 정합 품질이 열악해지면 실시간으로 공차 보정이 실시될 수 있다. 따라서, 공차 보정을 위해 차량을 가지고 서비스 센터나 사업소를 방문할 필요가 없어 사용자 편의가 극대화되는 효과가 있다.
또한, 차량의 주정차 상태 또는 이동 중에 장착된 복수의 카메라들에 대한 공차 보정이 이루어지기 때문에, 차량의 출고 이전에 각 카메라에 대한 공차 보정이 실시되지 않았거나 차량의 출고 이후에 공차 누적으로 인해 공차 보정이 요구되는 AVM 시스템 등에 범용적으로 활용될 수 있는 효과도 있다.
도 1은 종래기술에 따른 공차 보정 방법을 설명하기 위한 도면.
도 2는 본 발명의 일 실시예에 따른 카메라 공차 보정 시스템의 블록 구성도.
도 3은 본 발명의 일 실시예에 따른 실세계 물체 정보를 이용한 카메라 공차 보정 기법을 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 깊이 정보 산출 기법을 설명하기 위한 도면.
도 5는 본 발명의 다른 실시예에 따른 실세계 물체 정보를 이용한 카메라 공차 보정 기법을 설명하기 위한 도면.
도 6은 본 발명의 다른 실시예에 따른 카메라 공차 보정 시스템의 블록 구성도.
도 7은 본 발명의 다른 실시예에 따른 이동 물체의 타겟점 선정 기법을 설명하기 위한 도면.
도 8은 본 발명의 일 실시예에 따른 실세계 물체 정보를 이용한 카메라 공차 보정 방법을 나타낸 순서도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 종래기술에 따른 공차 보정 방법을 설명하기 위한 도면이다.
도 1에 예시된 바와 같이, 전면, 우측면, 좌측면 및 후면의 위치 각각에 카메라(10, 20, 30, 40)가 장착된 차량은 공차 보정을 위해 보정판(50)이 설치된 공간의 미리 지정된 위치에 배치된다.
보정판(50)은 차량의 전방 좌측 모서리, 전방 우측 모서리, 후방 좌측 모서리 및 후방 우측 모서리에 차량의 각 바퀴 축 선상에서 일정 거리 이격되도록 각각 배치된다.
보정판(50)은 특징점의 추출 오류를 방지하기 위해 격자 모양의 무늬로 이루어질 수 있으며, 격자 모양의 무늬는 색상 대비가 강한 색들의 조합으로 이루어질 수 있다.
공차 보정을 위해 각 카메라(10, 20, 30, 40)에서 생성된 촬영 영상에서 보정판(50) 내 특징점의 좌표 정보가 추출되고, 해당 좌표 정보는 각 특징점에 대응되는 표준 좌표 정보와 비교되어 변환 행렬이 산출된다. 이때, 예를 들어 보정 알고리즘, 어파인(Affine) 변환 알고리즘, 호모그래피(Homography) 변환 알고리즘, 시점 변환 알고리즘 등을 적용하여 룩업 테이블도 생성될 수 있다.
이와 같이 생성된 변환 규칙(즉, 변환 행렬 및/또는 룩업 테이블)은 저장부에 저장되어 AVM 영상을 생성하기 위해 이용된다.
그러나 이와 같이 출고 이전에, 또는 서비스 센터 등에서 생성된 변환 규칙은 차량의 운행 과정에서 충격 등으로 인해 카메라 장착 각도의 변동 등 누적 공차가 발생될 수 있고, 이 경우 재차 서비스 센터나 사업소를 방문하여 다시 공차 보정을 실시하여야 하는 불편함이 있다.
도 2는 본 발명의 일 실시예에 따른 카메라 공차 보정 시스템의 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 실세계 물체 정보를 이용한 카메라 공차 보정 기법을 설명하기 위한 도면이며, 도 4는 본 발명의 일 실시예에 따른 스테레오 카메라를 이용한 깊이 정보 산출 기법을 설명하기 위한 도면이다.
도 2를 참조하면, 카메라 공차 보정 시스템은 스테레오 카메라 유닛(210), 정밀지도 DB(215), 공차 보정 유닛(220) 및 규칙 저장부(230)를 포함할 수 있다.
스테레오 카메라 유닛(210)은 입체 영상 및/또는 뎁스맵(depth map)을 생성하기 위한 영상들을 각각 촬영하는 복수의 촬영부를 포함한다.
스테레오 카메라 유닛(210)에 포함되는 복수의 촬영부는 예를 들어 동일한 하우징 내에 미리 지정된 간격으로 이격 배치되어 장착된 카메라 모듈들일 수도 있고, 차량에 장착된 복수의 카메라들 중 스테레오 촬영 기법으로 운용될 수 있도록 선택된 복수의 카메라들일 수도 있다. 일 예로, 차량에 장착된 복수의 카메라들 중 AVM 시스템의 전방 카메라와 차량 전방의 원거리 도로 상황을 촬영하는 협각 카메라가 스테레오 카메라 유닛(210)으로 기능하기 위한 복수의 촬영부에 해당될 수 있다.
정밀지도 DB(215)에는 실세계에서 각 위치에 고정된 상태로 존재하는 미리 지정된 고정 물체(예를 들어, 건물, 도로 표지판, 신호등, 가로수 등) 각각의 식별 정보와 3차원 좌표값 정보를 포함하도록 생성된 정밀 지도가 저장된다.
정밀 지도에는 예를 들어 도로상에 설치된 길안내 표지판인 경우, 길안내 표지판임을 구분하기 위한 식별 정보와, 길안내 표지판의 타겟점(예를 들어, 표지판의 가로세로 중심점)에 대한 3차원 GPS 좌표값 정보 등과 같이 실세계상의 미리 지정된 고정 물체에 상응하는 식별 정보와 타겟점의 3차원 좌표값 정보가 포함될 수 있다. 정밀 지도에는 예를 들어, 길안내 표지판을 측면에서 지지하는 지주를 형성하는 각 위치의 3차원 GPS 좌표값 정보, 표지판의 둘레를 형성하는 각 위치의 3차원 GPS 좌표값 정보 등이 더 포함될 수도 있다.
정밀 지도는 예를 들어 차량에 구비된 디스플레이 장치를 통해 표출될 때 통상의 차량 네비게이션용 지도와 유사한 형태로 표출되도록 미리 설정될 수도 있다.
공차 보정 유닛(220)은 타겟점 선정부(222), 검증부(224) 및 변환규칙 생성부(225)를 포함할 수 있다.
타겟점 선정부(222)는 스테레오 카메라 유닛(210)의 각 촬영부에서 생성한 촬영 영상들의 중첩 영역에 존재하는 물체들 중 적어도 2개를 타겟 물체로 선정하고, 선정된 타겟 물체의 특징점들 중 타겟점을 선정한다.
타겟점 선정부(222)에 의해 선정된 타겟 물체들 중 하나 이상은 도로 표지판이나 건물의 꼭지점 등과 같이 고정 물체일 수도 있고(도 3 참조), 전방에서 주행하는 차량의 후면부 등과 같이 이동 물체일 수도 있다(도 5 참조).
타겟점 선정부(222)가 실세계상의 다양한 물체들 중 어떤 물체를 타겟 물체로 우선하여 선정할 것인지는 우선 순위로 미리 지정될 수 있다.
우선 순위는 예를 들어 도로 표지판, 신호등, 건물, 가로수, 전방 주행 차량인 버스, 전방 주행 차량인 승용차 등의 순서로 미리 규정될 수 있으며, 타겟점 선정부(222)는 중첩 영역에 존재하는 물체들 중 우선 순위가 상대적으로 높게 규정된 물체를 타겟 물체로 선정하게 될 것이다.
이때, 타겟점 선정부(222)는 중첩 영역에 해당되는 영상의 외곽선 검출 등의 영상 처리 기법에 의해 해석된 각 물체의 외형과 미리 저장된 각 물체의 외형 정보를 대비하여 중첩 영역에 존재하는 각 물체를 식별(해당 물체의 식별 정보 인식)하고, 식별된 물체들 중 우선 순위가 상대적으로 높게 규정된 2개의 물체를 타겟 물체로 선정할 수 있다. 영상 내에 존재하는 물체를 정확하게 인식할 수 있도록 기계 학습(machine learning) 기법이 적용될 수 있으며, 예를 들어 신경망(Neural Network), SVM(Support Vector Machine), 아다부스트(AdaBoost), 랜덤 포레스트(Random Forest) 등 중 하나 이상의 알고리즘이 이용될 수 있다.
또한 타겟점 선정부(222)는 선정된 타겟 물체의 형상에서 미리 지정된 위치를 타겟점으로 선정할 수 있다. 정밀 지도에 포함된 각 고정 물체별 타겟점과 상응하도록 예를 들어, 사각형 형상의 이정표인 도로 표지판인 경우에는 도로 표지판의 가로세로 중심점, 원형의 주차금지 표지인 도로 표지판인 경우에는 원점 등과 같이 선정된 타겟 물체의 특정 지점이 타겟점으로 선정되도록 하는 타겟점 선정 기준이 미리 지정될 수 있다. 영상의 외곽선 검출 등으로 해석된 물체의 외형을 토대로 영상 내에서 타겟점에 해당되는 위치를 인식하는 영상 처리 기법 등은 당업자에게 자명한 사항이므로 이에 대한 구체적인 설명은 생략한다.
전술한 처리를 위해, 도 2에 도시되지는 않았으나, 카메라 공차 보정 시스템은 우선 순위 정보, 실세계상에 존재하는 물체들 각각의 외형 정보, 각 물체별 타겟점 선정 기준 정보 등이 저장된 저장부를 더 포함할 수 있다.
검증부(224)는 스테레오 카메라 유닛(210)에서 생성된 복수의 촬영 영상을 이용하여 뎁스맵(depth map)을 생성하고, 뎁스맵을 이용하여 선정된 타겟점들에 대한 3차원 영상 좌표값을 각각 산출한다.
이어서, 검증부(224)는 2개의 타겟점 각각에 대한 3차원 영상 좌표값 정보를 이용하여 2개의 타겟점 사이의 거리(즉, 추정 거리값(DEst))를 산출한다.
또한, 선정된 타겟 물체가 도 3에 예시된 바와 같이 도로 표지판, 건물 등의 고정 물체인 경우, 검증부(224)는 차량에 구비된 GPS 수신기 등을 이용하여 산출된 차량의 현재 위치 좌표값 정보, 앞서 산출된 타겟점들에 대한 식별 정보와 3차원 영상 좌표값 정보, 및 정밀지도 DB에 저장된 정밀 지도 등을 참조하여 정밀지도 DB에 포함된 고정 물체 중 선정된 타겟 물체들을 각각 인식할 수 있다. 여기서, 타겟점의 3차원 영상 좌표값과 차량의 현재 위치간의 상대적인 위치와 식별 정보를 토대로 정밀 지도 내에서 해당 고정 물체가 무엇인지 인식될 수 있음은 당연하다.
검증부(224)는 인식한 해당 타겟 물체에 상응하는 3차원 GPS 좌표값 정보를 정밀 지도에서 검출하고, 검출된 3차원 GPS 좌표값 정보를 이용하여 2개의 타겟점 사이의 거리(즉, 실측 거리값(DReal))를 산출한다.
이어서, 검증부(224)는 스테레오 카메라 유닛(210)에서 촬영된 복수의 영상을 토대로 산출된 2개의 타겟점 사이의 추정 거리값(DEst)과 정밀 지도에서 검출한 3차원 GPS 좌표 정보를 토대로 산출된 동일한 2개의 타겟점 사이의 실측 거리값(DReal)이 오차범위 내에서 일치하는지 여부를 판단한다.
만일 추정 거리값(DEst)과 실측 거리값(DReal)이 오차범위 내에서 일치하는 경우라면 스테레오 카메라 유닛(210)을 구성하는 복수의 촬영부들의 현재 설치 형태는 적정한 상태이며, 공차 보정이 불필요한 상태인 것으로 인정될 수 있을 것이다.
그러나, 추정 거리값(DEst)과 실측 거리값(DReal)이 오차범위 내에서 일치하지 않는다면, 변환규칙 생성부(226)는 변환 규칙 생성 처리를 수행하며, 생성된 변환 규칙은 규칙 저장부(230)에 저장되어 각 촬영부의 촬영 영상을 정합 처리하는 과정 등에서 이용될 수 있다.
변환규칙 생성부(226)는 스테레오 카메라 유닛(210)에서 촬영된 복수의 촬영 영상의 중첩 영역에서 선정된 2개의 타겟점들의 좌표 정보 등을 이용하여 해당 촬영 영상을 촬영한 복수의 촬영부들의 공차 보정을 위한 변환 행렬을 생성한다. 이때, 추정 거리값(DEst)과 실측 거리값(DReal)이 오차범위 내에서 일치할 수 있도록 복수의 촬영부들의 공차 보정을 위한 변환 행렬이 생성될 수 있음은 당연하다.
변환 행렬을 생성하기 위해서는 예를 들어 하기 수학식 1 및 2가 이용될 수 있으며, 변환 행렬의 생성 방식은 이외에도 다양하다. 다만, 하기 수학식 1 및 2 등을 이용하여 복수의 카메라에 대한 공차 보정을 위한 변환 행렬 등 변환 규칙을 생성하는 방법은 당업자에게 널리 알려진 사항이므로 이에 대한 구체적인 설명은 생략한다.
Figure 112018019990348-pat00001
참고로, zc는 행렬식에서 마지막 값을 1로 만들기 위한 스케일 팩터이고, u와 v 는 촬영 영상에서의 좌표를 나타내며, K는 카메라의 초점 거리(focal length) 등 카메라 자체에 의해 결정되는 내부 파라미터(intrinsic parameter)이고, R은 카메라의 각 축 방향으로의 회전 각도인 회전 행렬(rotation matrix)이고, T는 원점에서의 거리인 트랜스레이션 행렬(translation matrix)이며, xw, yw 및 zw는 3차원 공간상의 실세계 좌표를 나타낸다.
Figure 112018019990348-pat00002
참고로, 수학식 2는 도 4에 도시된 바와 같이 스테레오 카메라를 이용한 깊이 정보 산출에 관한 것이다. 수학식 2에서 타겟점 P의 좌표 (X, Y, Z)는 실세계 좌표계에서의 해당 타겟점의 실제 위치를 나타내고, Tx는 베이스라인(baseline)이며, f는 초점 거리(focal length)이고, (xl, yl)과 (xr, yr) 각각은 제1 및 제2 촬영부에서 생성한 촬영 영상에서의 타겟점의 위치를 나타내며, Z'는 타겟점까지의 거리이다.
변환규칙 생성부(226)는 전술한 방식으로 생성된 변환 행렬을 예를 들어 왜곡 보정 알고리즘 등을 이용하여 룩업 테이블로 생성할 수도 있다.
도 5는 본 발명의 다른 실시예에 따른 실세계 물체 정보를 이용한 카메라 공차 보정 기법을 설명하기 위한 도면이고, 도 6은 본 발명의 다른 실시예에 따른 카메라 공차 보정 시스템의 블록 구성도이며, 도 7은 본 발명의 다른 실시예에 따른 이동 물체의 타겟점 선정 기법을 설명하기 위한 도면이다.
앞서 도 2 내지 4를 참조하여, 타겟점 선정부(222)가 선정한 타겟 물체가 정밀 지도 내에서 좌표값 정보 등의 검출될 수 있는 고정 물체인 경우를 중심으로 카메라 공차 보정 처리에 대해 설명하였다.
그러나, 본 발명에 따른 카메라 공차 보정 시스템은 도 5에 예시된 바와 같이, 전방에서 주행하는 버스 등과 같은 이동 물체를 하나 이상의 타겟 물체로 선정하여 카메라 공차 보정을 실시할 수도 있다. 참고로, 도 5에는 하나의 고정 물체인 도로 표지판과 하나의 이동 물체인 버스가 타겟 물체로 선정된 경우가 예시되어 있다.
도 6을 참조하면, 카메라 공차 보정 시스템은 스테레오 카메라 유닛(210), 공차 보정 유닛(220), 규칙 저장부(230) 및 수신부(610)를 포함할 수 있고, 공차 보정 유닛(220)은 타겟점 선정부(222), 검증부(224) 및 변환규칙 생성부(225)를 포함할 수 있다.
앞서 설명한 바와 같이, 타겟점 선정부(222)는 스테레오 카메라 유닛(210)의 각 촬영부에서 생성한 촬영 영상들의 중첩 영역에 존재하는 물체들 중 미리 규정된 우선 순위 정보에 따라 적어도 2개를 타겟 물체로 선정하고, 선정된 타겟 물체의 특징점들 중 타겟점을 선정한다.
이때, 타겟점 선정부(222)는 외곽선 검출 등의 영상 처리 기법을 이용하여 물체의 외형을 검출하고, 미리 저장된 실세계상의 물체들 각각의 외형 정보와 대비하여 해당 물체가 버스 등과 같은 이동 물체임을 인식할 수 있다.
선정된 타겟 물체 중 하나 이상이 이동 물체인 경우, 타겟점 선정부(222)는 외곽선 검출 등으로 검출한 해당 물체의 외형에서 미리 지정된 위치의 타겟점을 선정한다. 이를 위해, 각 이동 물체에 대한 제원(諸元) 정보와 각 물체별 타겟점 선정 기준 정보가 미리 저장부에 저장될 수 있으며, 해당 이동 물체의 검출 정확도를 위해 기계 학습 처리 등이 실시될 수 있다.
예를 들어, 이동 물체가 버스인 경우, 타겟점은 스테레오 카메라 유닛(210)에 의한 촬영 영상을 이용하여 좌표값 정보가 산출될 수 있도록 버스 후면의 특정한 위치로 미리 지정될 수 있다(도 7의 (a) 참조). 이때, 예를 들어 타겟점의 3차원 GPS 좌표값이 연산을 통해 용이하게 산출될 수 있도록 하기 위해, 해당 이동 물체에 장착된 GPS 수신기(710)로부터 이동 물체의 길이 방향으로 수평하게 연장한 선이 이동 물체의 후면과 교차하는 위치로 타겟점의 위치가 특정되도록 타겟점 선정 기준 정보에서 규정될 수 있다(도 7의 (b) 참조). 이때, 버스 등의 차량에서 GPS 수신기(710)의 장착 위치에 대한 정보가 미리 저장되어 이용될 수 있음은 당연하다.
검증부(224)는 전술한 바와 같이 타겟점 선정부(222)에 의해 선정된 2개의 타겟점 사이의 추정 거리값(DEst)과 실측 거리값(DReal)을 대비하여 카메라 공차 보정이 필요한 상태인지 여부를 판단한다.
이때, 스테레오 카메라 유닛(210)에 의한 촬영 영상을 이용하여 추정 거리값을 산출하는 과정은 앞서 설명한 바와 같다.
그러나, 실측 거리값을 산출하기 위해 이동 물체인 타겟 물체에서의 타겟점에 좌표값 정보가 확보되어야 한다.
이를 위해, 앞선 주행 차량인 이동 물체와 카메라 공차 보정 시스템이 구비된 차량 사이에는 차량간 통신 방식 등으로 정보를 송수신할 수 있도록 하는 시스템이 구비되어 있으며, 수신부(610)는 이동 물체인 타겟 물체로부터 GPS 수신기(710)에서 측정된 GPS 좌표값 정보를 수신한다.
그러나, 타겟 물체로부터 수신된 GPS 수신기(710)의 GPS 좌표값 정보와 타겟 물체의 타겟점의 좌표값 정보는 다를 수 있기 때문에, 검증부(224)는 중첩 영역에서 확인된 이동 물체인 타겟 물체의 형상을 참조하여 타겟 물체의 자세를 인식한 후, GPS 수신기(710)의 위치를 나타내는 3차원 GPS 좌표값 정보, 미리 저장된 타겟 물체에 대한 제원 정보, 각 물체별 타겟점 선정 기준 정보 및 인식한 타겟 물체의 자세를 이용하여 타겟 물체에서의 타겟점에 대한 좌표값 정보를 연산한다.
도 7의 (c)에 예시된 바와 같이, 타겟 물체의 자세에 따라 타겟점에 대해 연산된 GPS 좌표값 정보는 변동될 수 있으며, 검증부(224)는 타겟 물체의 형상에서 측면을 나타내는 이미지 형상의 차이를 이용하여 타겟 물체의 자세를 인식할 수 있고, 인식된 자세와 GPS 수신기(710)의 3차원 GPS 좌표값 정보 및 타겟 물체에 대한 제원 정보 등을 이용하여 타겟점의 3차원 GPS 좌표값 정보를 연산할 수 있다.
물론, 타겟 물체의 형상에서 측면 형상이 나타나지 않은 경우(예를 들어, 직진 주행하는 상태)에만 전방 주행하는 차량이 타겟 물체로 선정되도록 한정할 수도 있음은 당연하다.
이외에도, 전방 주행 차량의 자세는 해당 차량이 주행하는 차선의 곡률을 이용하여 산출될 수도 있다(하기 수학식 3 참조). 이는 일반적으로 차량의 주행 경로가 차선의 형태로 제한되기 때문이다.
Figure 112018019990348-pat00003
참고로, 수학식 3에서 X(L)은 길이 L에서 차선의 중심점의 위치, xoffset는 자기 차량(ego vehicle)의 차선과의 거리, Δψ는 요 앵글(yaw angle), c0는 차선의 곡률, c1은 곡률 변화량(클로소이드 파라미터)을 의미하며, 여기서 차선의 폭은 미리 지정된다. 수학식 3에 예시된 바와 같이, 클로소이드 모델을 이용하여 인식된 차선의 곡률값(c0)을 산출하는 방법 등에 대해서는 관련 논문(B-spline-based road model for 3D lane recognition, IEEE conference on intelligent transportation system October 2010)에 상세히 기재되어 있으므로 이에 대한 설명은 생략한다. 물론 이외에도 차량이 주행하는 차선의 곡률을 산출하는 방식은 다양할 수 있다.
이후 검증부(224)는 복수의 타겟점 각각의 3차원 GPS 좌표값 정보를 이용하여 실측 거리값을 산출한 후 추정 거리값(DEst)과 대비하여 카메라 공차 보정이 필요한 상태인지 여부를 판단할 수 있다.
만일 추정 거리값(DEst)과 실측 거리값(DReal)이 오차범위 내에서 일치하지 않는다면, 변환규칙 생성부(226)는 변환 규칙 생성 처리를 수행하게 될 것이다.
이제까지 관련 도면을 참조하여 설명한 각 실시예에서의 카메라 공차 보정 처리는 미리 지정된 주기마다 실시될 수 있다.
또한, 카메라 공차 보정 처리는 공차 보정 유닛(220)이 차량의 공기압 불균형, 하중 변화 등의 차량 상태 정보를 관리하는 차량 제어 장치(ECU)로부터 차량 상태 정보를 제공받고, 차량 상태 정보가 미리 지정된 조건에 따를 때 비정상인 것으로 판단한 경우(예를 들어 공기압 불균형으로 차량이 특정 방향으로 기울어진 상태 등)에 추가적으로 실시되도록 설정될 수도 있다.
도 8은 본 발명의 일 실시예에 따른 실세계 물체 정보를 이용한 카메라 공차 보정 방법을 나타낸 순서도이다.
도 8을 참조하면, 단계 810에서 공차 보정 유닛(220)은 스테레오 카메라 유닛(210)의 제1 및 제2 촬영부에서 생성한 촬영 영상의 중첩 영역에 존재하는 물체들 중 미리 규정된 우선 순위에 따라 2개의 물체를 타겟 물체로 선정하고, 미리 지정된 각 물체별 타겟점 선정 기준 정보를 참조하여 각 타겟 물체에 대한 타겟점을 선정한다. 이때, 선정된 타겟 물체 각각은 고정 물체이거나 이동 물체일 수 있다.
공차 보정 유닛(220)은 단계 815에서 스테레오 카메라 유닛(210)에서 생성한 복수의 촬영 영상을 이용하여 뎁스맵을 생성하고, 뎁스맵을 이용하여 선정된 각 타겟 물체의 타겟점에 대한 3차원 영상 좌표값을 산출하고, 단계 820에서 각 타겟 물체의 타겟점들의 거리인 추정 거리값(DEst)을 산출한다.
또한 공차 보정 유닛(220)은 단계 825에서 미리 저장되거나 통신망을 통해 수신되는 정밀 지도에서 타겟 물체의 타겟점에 대한 3차원 GPS 좌표값을 검출하고, 단계 830에서 각 타겟 물체의 타겟점들의 거리인 실측 거리값(DReal)을 산출한다.
정밀 지도에서 3차원 GPS 좌표값 정보가 검출될 타겟 물체를 특정하기 위해, 단계 815에서 산출된 3차원 영상 좌표값 정보를 더 참조할 수도 있다.
또한 3차원 GPS 좌표값 정보가 정밀 지도에서 검출되지 않는 이동 물체가 타겟 물체 중 하나 이상으로 선정된 경우, 해당 타겟 물체에 구비된 GPS 수신기(710)의 위치 정보를 수신하고, 해당 타겟 물체의 자세를 인식한 후, 수신된 3차원 GPS 좌표값 정보, 미리 저장된 타겟 물체에 대한 제원 정보, 각 물체별 타겟점 선정 기준 정보 및 인식한 타겟 물체의 자세를 이용하여 타겟 물체에서의 타겟점에 대한 좌표값 정보를 연산하여 타겟 물체들 사이의 실측 거리값을 산출할 수도 있다.
단계 835에서 공차 보정 유닛은 단계 820에서 산출된 추정 거리값과 단계 830에서 산출된 실측 거리값이 미리 지정된 오차 범위 내에서 일치하는지 여부를 판단한다.
만일 추정 거리값과 실측 거리값이 미리 지정된 오차 범위 내에서 불일치하는 경우에는 단계 840으로 진행하여 공차 보정 유닛(220)은 변환 규칙을 신규로 생성한 후 규칙 저장부(230)에 저장한다.
전술한 단계 810 내지 840으로 설명되는 카메라 공차 보정 처리는 미리 지정된 주기마다 반복 수행되도록 설정될 수 있고, 또한 차량 상태 정보가 미리 지정된 조건에 의해 비정상 상태로 판단된 경우 수행되도록 설정될 수 있다.
상술한 카메라 공차 보정 방법은 디지털 처리 장치에 내장되거나 설치된 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 디지털 처리 장치가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 디지털 처리 장치에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10, 20, 30, 40 : 카메라 50 : 보정판
210 : 스테레오 카메라 215 : 정밀지도 DB
220 : 공차 보정 유닛 222 : 타겟점 선정부
224 : 검증부 226 : 변환규칙 생성부
230 : 규칙 저장부 610 : 수신부
710 : GPS 수신기

Claims (9)

  1. 복수의 촬영부를 포함하는 스테레오 카메라 유닛;
    복수의 촬영부에 의해 각각 촬영된 촬영 영상의 중첩 영역에서 미리 지정된 우선 순위 정보를 참조하여 2개의 타겟 물체를 선정하고, 미리 지정된 타겟점 선정 기준 정보를 참조하여 선정된 타겟 물체 각각의 타겟점을 선정하는 타겟점 선정부;
    상기 중첩 영역에 상응하는 뎁스맵(depth map)을 이용하여 영상 좌표값 정보가 산출된 각 타겟점 사이의 추정 거리값(DEst)을 산출하고, 실세계에서의 각 타겟점의 GPS 좌표 정보를 이용하여 각 타겟점 사이의 실측 거리값(DReal)을 산출한 후, 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 일치하는지 여부를 검증하는 검증부; 및
    상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 비일치하는 경우, 하나 이상의 촬영부에 대해 미리 지정된 변환 규칙을 생성하는 변환 규칙 생성부를 포함하되,
    이동 물체인 타겟 물체에 대하여, 상기 검증부는 상기 중첩 영역에서 타겟 물체의 속성과 자세를 해석하고, 상기 타겟 물체의 속성에 상응하도록 미리 저장된 제원(諸元) 정보, 상기 타겟점 선정 기준 정보, 수신부를 통해 수신된 상기 타겟 물체의 위치 정보 및 해석된 타겟 물체의 자세 정보를 이용하여, 선정된 타겟 물체의 타겟점에 대한 GPS 좌표 정보를 연산하는 것을 특징으로 하는 실세계 물체 정보를 이용한 카메라 공차 보정 시스템.
  2. 제1항에 있어서,
    고정 물체인 타겟 물체에 대하여, 상기 검증부는 미리 저장된 정밀 지도에서 선정된 타겟 물체의 타겟점에 대한 GPS 좌표 정보를 획득하는 것을 특징으로 하는 실세계 물체 정보를 이용한 카메라 공차 보정 시스템.
  3. 제2항에 있어서,
    상기 고정 물체는 도로 표지판, 신호등, 건물 및 가로수 중 하나 이상을 포함하도록 미리 지정되는 것을 특징으로 하는 실세계 물체 정보를 이용한 카메라 공차 보정 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 이동 물체는 위치 정보를 생성하고 송신하기 위한 GPS 송수신기를 구비하고, 주행 도로의 전방에서 주행하는 이동체인 것을 특징으로 하는 실세계 물체 정보를 이용한 카메라 공차 보정 시스템.
  6. 실세계 물체 정보를 이용하여 카메라 공차를 보정하도록 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은,
    스테레오 카메라 유닛에 포함된 복수의 촬영부 각각에서 촬영된 촬영 영상의 중첩 영역에서 미리 지정된 우선 순위 정보를 참조하여 2개의 타겟 물체를 선정하는 단계 (a);
    미리 지정된 타겟점 선정 기준 정보를 참조하여 선정된 타겟 물체 각각의 타겟점을 선정하는 단계 (b);
    상기 중첩 영역에 상응하는 뎁스맵(depth map)을 이용하여 각 타겟점에 대한 영상 좌표값 정보를 연산하고, 연산된 영상 좌표값 정보를 이용하여 각 타겟점 사이의 추정 거리값(DEst)을 산출하는 단계 (c);
    실세계에서의 각 타겟점의 GPS 좌표 정보를 획득하고, 획득된 GPS 좌표 정보를 이용하여 각 타겟점 사이의 실측 거리값(DReal)을 산출하는 단계 (d); 및
    상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 일치하는지 여부를 판단하고, 상기 추정 거리값과 상기 실측 거리값이 미리 지정된 오차 범위 내에서 비일치하면 하나 이상의 촬영부에 대해 미리 지정된 변환 규칙을 생성하는 단계 (e)를 포함하되,
    이동 물체가 타겟 물체 중 하나 이상으로 선정된 경우, 상기 단계 (d)는,
    미리 지정된 영상 처리 기법을 이용하여 상기 중첩 영역에서 타겟 물체의 속성과 자세를 해석하는 단계; 및
    상기 타겟 물체의 속성에 상응하도록 미리 저장된 제원(諸元) 정보, 상기 타겟점 선정 기준 정보, 수신부를 통해 수신된 상기 타겟 물체의 위치 정보 및 해석된 타겟 물체의 자세 정보를 이용하여, 이동 물체인 타겟 물체의 타겟점에 대한 GPS 좌표 정보를 연산하는 단계를 포함하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.
  7. 제6항에 있어서,
    도로 표지판, 신호등, 건물 및 가로수 중 하나 이상을 포함하는 고정 물체가 타겟 물체로 지정되면, 미리 저장된 정밀 지도에서 선정된 타겟 물체의 타겟점에 대한 GPS 좌표 정보가 획득되는 것을 특징으로 하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.
  8. 삭제
  9. 제6항에 있어서,
    차량 제어 장치로부터 수신된 차량 상태 정보가 미리 지정된 조건에 의해 비정상 상태인 것으로 판단된 경우 상기 단계 (a) 내지 (e)가 실시되는 것을 특징으로 하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.
KR1020180023423A 2018-02-27 2018-02-27 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법 KR102022388B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180023423A KR102022388B1 (ko) 2018-02-27 2018-02-27 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180023423A KR102022388B1 (ko) 2018-02-27 2018-02-27 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190102665A KR20190102665A (ko) 2019-09-04
KR102022388B1 true KR102022388B1 (ko) 2019-09-18

Family

ID=67950509

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180023423A KR102022388B1 (ko) 2018-02-27 2018-02-27 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102022388B1 (ko)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3805700A3 (en) * 2019-09-19 2021-06-23 HERE Global B.V. Method, apparatus, and system for predicting a pose error for a sensor system
KR102383086B1 (ko) 2021-09-10 2022-04-08 제이씨현오토 주식회사 3차원 서라운드뷰 모니터링 카메라 합성을 위한 터치 기반 공차 보정 시스템 및 방법
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US12020476B2 (en) 2022-10-28 2024-06-25 Tesla, Inc. Data synthesis for autonomous control systems

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102332494B1 (ko) 2019-09-11 2021-11-30 한국도로공사 영상과 정밀지도에 기반한 정밀 측위정보와 gnss 측위정보 간의 측위차이에 대한 배포정보 생성 장치 및 방법
CN112558023B (zh) * 2019-09-25 2024-03-26 华为技术有限公司 传感器的标定方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101551215B1 (ko) * 2014-05-28 2015-09-18 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100948886B1 (ko) 2009-06-25 2010-03-24 주식회사 이미지넥스트 차량에 설치된 카메라의 공차 보정 장치 및 방법
KR20110116325A (ko) * 2010-04-19 2011-10-26 삼성전자주식회사 영상 처리 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101551215B1 (ko) * 2014-05-28 2015-09-18 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11983630B2 (en) 2018-09-03 2024-05-14 Tesla, Inc. Neural networks for embedded devices
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11908171B2 (en) 2018-12-04 2024-02-20 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
EP3805700A3 (en) * 2019-09-19 2021-06-23 HERE Global B.V. Method, apparatus, and system for predicting a pose error for a sensor system
KR102383086B1 (ko) 2021-09-10 2022-04-08 제이씨현오토 주식회사 3차원 서라운드뷰 모니터링 카메라 합성을 위한 터치 기반 공차 보정 시스템 및 방법
US12020476B2 (en) 2022-10-28 2024-06-25 Tesla, Inc. Data synthesis for autonomous control systems

Also Published As

Publication number Publication date
KR20190102665A (ko) 2019-09-04

Similar Documents

Publication Publication Date Title
KR102022388B1 (ko) 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
US9311711B2 (en) Image processing apparatus and image processing method
JP5588812B2 (ja) 画像処理装置及びそれを用いた撮像装置
EP3842754A1 (en) System and method of detecting change in object for updating high-definition map
CN108692719B (zh) 物体检测装置
KR100921427B1 (ko) 영상 기반 내비게이션을 위한 가상차선을 생성하는 방법 및그 장치
JP5011049B2 (ja) 画像処理システム
JP4702569B2 (ja) 車両用画像処理装置
EP3086284A1 (en) Camera extrinsic parameters estimation from image lines
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN113034540A (zh) 基于摄像机的自动化精密道路地图生成***及方法
JP2010086268A (ja) 車両用表示体認識装置
JP2021117048A (ja) 変化点検出装置及び地図情報配信システム
KR20200000953A (ko) 어라운드 뷰 모니터링 시스템 및 카메라 공차 보정 방법
JP2004355139A (ja) 車両認識装置
US11580695B2 (en) Method for a sensor-based and memory-based representation of a surroundings, display device and vehicle having the display device
KR102316818B1 (ko) 도로 네트워크를 갱신하는 방법 및 장치
CN110727269A (zh) 车辆控制方法及相关产品
JP6507590B2 (ja) 画像変換装置および画像変換方法
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
CN115235526A (zh) 用于传感器的自动校准的方法和***
JP7405710B2 (ja) 処理装置及び車載カメラ装置
CN113643374A (zh) 基于道路特征的多目相机标定方法、装置、设备和介质
CN113011212A (zh) 图像识别方法、装置及车辆

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant