KR102427463B1 - 자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치 - Google Patents

자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치 Download PDF

Info

Publication number
KR102427463B1
KR102427463B1 KR1020200087991A KR20200087991A KR102427463B1 KR 102427463 B1 KR102427463 B1 KR 102427463B1 KR 1020200087991 A KR1020200087991 A KR 1020200087991A KR 20200087991 A KR20200087991 A KR 20200087991A KR 102427463 B1 KR102427463 B1 KR 102427463B1
Authority
KR
South Korea
Prior art keywords
grid
distance
autonomous driving
road
matching unit
Prior art date
Application number
KR1020200087991A
Other languages
English (en)
Other versions
KR20220009609A (ko
Inventor
김항섭
Original Assignee
주식회사 비젼그리드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비젼그리드 filed Critical 주식회사 비젼그리드
Priority to KR1020200087991A priority Critical patent/KR102427463B1/ko
Priority to US17/022,448 priority patent/US11557126B2/en
Priority to CN202110808525.8A priority patent/CN113945153A/zh
Publication of KR20220009609A publication Critical patent/KR20220009609A/ko
Application granted granted Critical
Publication of KR102427463B1 publication Critical patent/KR102427463B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치가 개시된다. 본 발명의 일측면에 따른 컴퓨팅 장치에서 수행되는 자율주행을 위한 영상추적을 이용한 거리 측정 방법은, 카메라에 의해 촬영되는 도로상에 표시된 격자 정합부를 인식하는 단계; 격자 정합부를 이용하여 도로상에 적용되는 가상 격자를 생성하는 단계; 가상 격자를 이용하여 대상 객체와의 거리를 산출하는 단계를 포함한다.

Description

자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치{Distance measuring method and device using image tracking for autonomous driving}
본 발명은 자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치에 관한 것이다.
차량의 자율주행을 위해서는 거리측정 기술이 중요하다. 즉, 앞차와의 거리뿐 아니라, 옆차와의 거리, 전방 장애물까지의 거리 등 안전한 자율주행을 위해 거리측정은 중요한 이슈이다.
레이더나 레이저로 거리를 측정하는 경우, 차량의 수가 늘어나면 서로 간섭 및 혼선의 가능성이 있다. 또한 도로상에 센서를 설치하는 경우 구축 비용이 증대되는 문제가 있다.
따라서 개별 차량에서 거리를 측정하기 위한 방법으로는 도로를 바둑판처럼 색상을 칠하는 방법이 있으나 이는 비용의 과다 소요를 발생시킨다.
또한 도로에 차선과 별도로 선을 그릴경우에도 비용의 과대 소요를 발생시킨다.
한국공개공보 제10-2019-0048952호
따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 구축비용을 최소화하면서 거리측정의 정확도를 높일 수 있는 자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치를 제공하기 위한 것이다.
본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.
본 발명의 일 측면에 따르면, 컴퓨팅 장치에서 수행되는 자율주행을 위한 영상추적을 이용한 거리 측정 방법에 있어서, 카메라에 의해 촬영되는 도로상에 표시된 격자 정합부를 인식하는 단계; 상기 격자 정합부를 이용하여 도로상에 적용되는 가상 격자를 생성하는 단계; 및 상기 가상 격자를 이용하여 대상 객체와의 거리를 산출하는 단계를 포함하는, 자율주행을 위한 영상추적을 이용한 거리 측정 방법이 제공된다.
여기서, 상기 격자 정합부를 복수개 인식하고, 각 격자 정합부의 화면상 간격에 대한 평균값을 산출하며, 산출된 평균값을 이용하여 상기 가상 격자를 생성한다.
또한, 다른 거리를 갖는 제2 격자 정합부를 추가 인식하고, 상기 가상 격자의 생성에 상기 제2 격자 정합부를 더 이용하는, 자율주행을 위한 영상추적을 이용한 거리 측정 방법.
또한, 상기 가상 격자를 이용한 차량 속도를 산출하고, 차량 자체에서 측정된 속도정보와 비교하는 단계; 및 상기 비교결과에 따라 상기 가상 격자를 보정하는 단계를 더 포함한다.
또한, 구비된 레이저발송모듈에 의해 방사된 레이저격자를 상기 카메라에 의한 촬영영상에서 더 인식하고, 상기 레이저격자와 상기 격자 정합부의 비율값을 저장하는 단계를 더 포함하되, 차후 도로상에 상기 격자 정합부가 존재하지 않거나 인식되지 않는 경우, 상기 레이저격자와 상기 비율값을 이용하여 상기 가상 격자를 생성한다.
본 발명의 다른 측면에 따르면, 자율주행을 위한 영상추적을 이용한 거리 측정 장치로서, 프로세서; 및 상기 프로세서에 연결된 메모리를 포함하되, 상기 메모리는, 카메라에 의해 촬영되는 도로상에 표시된 격자 정합부를 인식하고, 상기 격자 정합부를 이용하여 도로상에 적용되는 가상 격자를 생성하고, 상기 가상 격자를 이용하여 대상 객체와의 거리를 산출하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는, 자율주행을 위한 영상추적을 이용한 거리 측정 장치가 제공된다.
여기서, 상기 메모리는 상기 가상 격자를 이용한 차량 속도를 산출하고, 차량 자체에서 측정된 속도정보와 비교하며, 상기 비교결과에 따라 상기 가상 격자를 보정하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 더 저장한다.
또한, 레이저격자를 도로상에 방사하는 레이저발송모듈을 더 포함하되, 상기 메모리는 상기 레이저격자를 상기 카메라에 의한 촬영영상에서 더 인식하고, 상기 레이저격자와 상기 격자 정합부의 비율값을 저장하며, 차후 도로상에 상기 격자 정합부가 존재하지 않거나 인식되지 않는 경우, 상기 레이저격자와 상기 비율값을 이용하여 상기 가상 격자를 생성하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 더 저장한다.
본 발명에 따르면, 도로 상에는 간단한 표시만을 수행함으로써 차량에서는 카메라에 의한 영상만으로 정확한 거리를 측정할 수 있게 되어, 도로의 차량수와 관계없이 안정된 동작이 가능하며 구축 비용을 절감할 수 있는 효과가 있다.
또한, 본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 실시예에 따른 영상추적을 이용한 거리 측정 장치 기능을 갖는 자율주행시스템의 개략적인 구성을 도시한 블록도.
도 2는 본 발명의 실시예에 따른 격자 정합부를 이용한 거리 측정을 설명하기 위한 도면.
도 3은 본 발명의 실시예에 따른 다양한 격자 정합부를 예시한 도면.
도 4는 본 발명의 실시예에 따른 자율주행을 위한 영상추적을 이용한 거리 측정 과정을 도시한 흐름도.
도 5는 본 발명의 실시예에 따른 차량속도를 이용한 거리 측정을 위한 가상 격자 보정 과정을 도시한 흐름도.
도 6은 본 발명의 실시예에 따른 거리 측정 시스템을 도시한 구성도.
도 7은 본 발명의 실시예에 따른 가상 격자 생성 과정을 도시한 흐름도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 실시예에 따른 영상추적을 이용한 거리 측정 장치 기능을 갖는 자율주행시스템의 개략적인 구성을 도시한 블록도이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 전체시스템은 카메라(10), 거리측정장치(20) 및 자율주행장치(30)을 포함한다.
카메라(10)는 도로 영역을 촬영한다. 카메라(10)는 차량의 전방, 후방, 측면 등 다양한 위치에 설치될 수 있다. 이하에서는 설명의 편의상 카메라(10)는 전방에 설치되어 전방차량과의 거리를 측정하는 경우를 위주로 설명하기로 하되, 물론 이에 한정되는 것은 아니며 뒷차 또는 옆차와의 거리 등을 측정하기 위해 구성될 수 있음은 당연하다.
거리측정장치(20)는 컴퓨팅 장치로서 메모리 및 프로세스를 구비하여, 카메라(10)에 의한 영상을 분석하여 대상 객체(예로 전방 차량)와의 거리를 측정한다. 프로세서는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있으며, 메모리는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다. 이와 같은 메모리에는 프로세서에 의해 실행 가능한 프로그램 명령어들이 저장된다. 즉, 메모리에는 프로세스에 의해 실행되는 프로그램 명령어들이 저장되어, 차후 상세히 설명하겠으나 카메라(10)에 의한 영상을 이용한 거리측정 기능을 수행한다.
자율주행장치(30)는 거리측정장치(20)에 의해 측정된 거리값을 이용하여 자율주행에 이용한다. 본 발명은 거리 측정에 관한 것이므로, 자율주행 기능 자체에 대한 설명은 생략한다. 다만, 본 실시예와 같이 거리측정장치(20)는 반드시 자율주행에만 이용되는 것은 아니며, 차량에서 대상 객체와의 거리를 측정해야 하는 모든 분야에 이용될 수 있다.
거리측정장치(20)에서 영상을 이용한 거리를 측정하는 방식으로서, 도로상에 거리를 인식할 수 있는 표시(이하에서는 격자 정합부라 칭함)를 이용하는 것이다. 이하 도면을 참조하여 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 격자 정합부를 이용한 거리 측정을 설명하기 위한 도면이고, 도 3은 본 발명의 실시예에 따른 다양한 격자 정합부를 예시한 도면이다.
먼저 도 2를 참조하면, 도로에 1미터 등 거리를 알 수 있는 사각형 점과 같은 격자 정합부를 설치 또는 실측하면 투시변형에 의하여 다른 두 지점간 실제 거리를 측정할 수 있다. 이때, 사각 형상의 격자 정합부는 도로의 진행 방향에 평행하게 배치하는 것이 바람직하다. 도로 환경에 따라 화면상에 표시되는 모서리와 도로상에 배치된 격자 정합부의 위치가 일치하지 않을 수 있다.
이때, 작업자는 도 5에 도시된 바와 같이, 화면상에 표시된 모서리를 도로상에 배치된 격자 정합부의 모서리와 일치시키며, 이에 따라 기하학적 변형으로 추출된 격자가 실제 도로 환경에 적합한 가상의 격자로 변환된다. 이는 homogeneous transformation 과정(동차변환 또는 투시변환)으로 정의될 수 있다.
이와 같은 격자 정합부를 도 3과 같이 다양한 위치에 표시되도록 하면, 차량에서는 격자 정합부를 이용하여 대상 객체와의 거리를 측정할 수 있다.
일례로 격자 정합부는 참조번호 310과 같이 사각형상을 갖는 4개의 점으로 형성되거나 참조번호 330과 같이 같은 형상을 가지나 규격을 달리하는 방식, 또는 참조번호 320과 같이 점을 대신한 연속된 선분으로도 표현될 수 있다.
이러한 격자 정합부는 차선, 갓길, 중앙에 표시될 수 있으며, 카메라에 의한 영상으로 인식할 수 있는 모형으로 형성되며 구조물 또는 페인트칠(도료)에 의해 구현된다.
이러한 도로의 격자 정합부를 이용하여 거리를 측정하는 과정에 대해 설명한다.
도 4는 본 발명의 실시예에 따른 자율주행을 위한 영상추적을 이용한 거리 측정 과정을 도시한 흐름도이다.
도 4를 참조하면, 거리측정장치(20)는 카메라에 의해 촬영되는 도로상에 표시된 격자 정합부를 인식하고(S410), 격자 정합부를 이용하여 도로상에 적용되는 가상 격자(도 3의 참조번호 340 참조)를 생성하고(S420), 가상 격자를 이용하여 대상 객체와의 거리를 산출한다(S430).
예를 들어, 카메라의 영상에 격자 정합부와 동일한 격자가 대상객체까지 연결되는 가상의 격자(이하 가상 격자라 칭함)를 만드는 것이다. 그리고 대상객체까지 그 가상 격자의 격자수가 10개인 경우, 격자 정합부의 거리가 1미터라 가정하면 대상객체까지의 거리는 10미터로 측정되는 것이다.
여기서, 상술한 바와 같이 격자 정합부는 복수개 또는 복수의 형태로 형성될 수 있으므로, 거리측정장치(20)는 격자 정합부를 복수개 인식하고, 각 격자 정합부의 화면상 간격에 대한 평균값을 산출하며, 산출된 평균값을 이용하여 가상 격자를 생성할 수 있다. 즉, 복수개의 격자 정합부를 이용하여 정확도를 높이는 것이다.
또한, 다른 거리를 갖는 제2 격자 정합부를 추가 인식하고, 가상 격자의 생성에 제2 격자 정합부를 더 이용한다. 즉, 거리가 다른 두개 이상의 격자 정합부를 같이 이용하여 정확도를 높이는 방식이다.
일례에 따르면 가상 격자에 의해 거리를 인식할 수 있고, 카메라의 촬영영상 프레임의 시간간격을 알 수 있으면, 영상에서 보이는 고정된 특정 객체(예를 도로 표지판, 도로상의 방향표시선 등)를 기준으로 차량의 속도를 측정할 수 있다. 이 속도정보를 이용하여 가상 격자를 보정함으로써 보다 정확한 거리를 측정할 수 있다.
도 5는 본 발명의 실시예에 따른 차량속도를 이용한 거리 측정을 위한 가상 격자 보정 과정을 도시한 흐름도이다.
도 5를 참조하면, 가상 격자 및 카메라(10)에 의한 영상을 분석하여 이용하여 차량의 이동속도를 산출한다(S510).
그리고, 차량 시스템으로부터 속도정보(예를 들어 바퀴의 구름에 의해 측정되는 속도 정보 또는 네비게이션 시스템에 의해 측정되는 속도정보 등)를 취득하여 산출된 이동속도와 비교한다(S520).
비교 결과, 그 차이가 미리 설정된 임계값(예를 들어, 3km/h 등)을 초과하는지 여부를 판단한다(S530). 차이가 크다는 것은 가상 격자를 이용한 속도 측정이 다소 부정확하다는 것을 의미하며, 이는 곧 가상 격자의 거리에 오차가 많다는 것을 의미하는 것을 해석될 수 있다.
따라서, 차이가 임계값 이하인 경우에는 가상 격자를 유지하되(S540), 차이가 임계값을 초과하도록 크다면 차이값을 이용하여 가상 격자를 보정한다(S550).
예를 들어, 산출된 이동속도가 취득된 정보에 의한 속도에 비해 임계값을 초과하도록 빠르다면, 가상 격자의 간격을 다소 늘려 이전과 대비하여 이동속도가 낮게 산출되도록 한다.
도로상에 격자 정합부가 표시되어 있지 않거나, 어두운 밤의 경우 격자 정합부를 인식하기가 어렵다. 이 경우에는 차량 자체에서 도로상에 격자 정합부를 표시하는 방식을 이용할 수 있다.
도 6은 본 발명의 실시예에 따른 거리 측정 시스템을 도시한 구성도이고, 도 7은 본 발명의 실시예에 따른 가상 격자 생성 과정을 도시한 흐름도이다.
도 6을 참조하면, 거리측정장치(20)는 차량 외부로 레이저(격자모양 레이저, 이하 레이저 격자라 칭함)를 방사하는 레이저발송모듈(600)을 더 포함한다. 레이저발송모듈은 도면과 같이 별도의 장치로 구비되거나 또는 거리측정장치(20)의 일부 구성부로서 구현될 수도 있다. 이하에서는 거리측정장치(20)에 레이저발송모듈(600)이 구비되는 형태를 위주로 설명하기로 한다.
도 7을 함께 참조하면, 거리측정장치(20)는 레이저격자를 카메라에 의한 촬영영상에서 더 인식하고, 레이저격자와 격자 정합부의 비율값을 산출하여 저장한다(S710). 차량마다 차체의 높이가 달라 도로에 방사되는 레이저격자의 크기가 달라질 수 있으므로, 레이저격자와 실제 도로상에서 촬영되는 격자 정합부의 크기의 비율을 산출하여 저장하는 것이다.
차후 도로에서 격자 정합부가 인식되는지 여부를 판단하고(S720), 인식되면 격자 정합부를 이용한 가상 격자를 생성한다(S730).
이와 달리, 도로에 격자 정합부가 존재하지 않거나 야간으로 인해 인식되지 않는 경우, 레이저격자를 방사하고, 저장된 비율값과 촬영영상의 레이저격자를 이용하여 가상 격자를 생성한다(S740).
상술한 본 발명에 따른 자율주행을 위한 영상추적을 이용한 거리 측정 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10 : 카메라 20 : 거리측정장치
30 : 자율주행시스템

Claims (10)

  1. 컴퓨팅 장치에서 수행되는 자율주행을 위한 영상추적을 이용한 거리 측정 방법에 있어서,
    카메라에 의해 촬영되는 도로상에 표시된 격자 정합부를 인식하는 단계;
    상기 격자 정합부를 이용하여 도로상에 적용되는 가상 격자를 생성하는 단계; 및
    상기 가상 격자를 이용하여 대상 객체와의 거리를 산출하는 단계를 포함하되,
    상기 가상 격자를 생성하는 단계는, 상기 격자 정합부를 복수개 인식하고, 각 격자 정합부의 화면상 간격에 대한 평균값을 산출하며, 산출된 평균값을 이용하여 상기 가상 격자를 생성하는, 자율주행을 위한 영상추적을 이용한 거리 측정 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    다른 거리를 갖는 제2 격자 정합부를 추가 인식하고, 상기 가상 격자의 생성에 상기 제2 격자 정합부를 더 이용하는, 자율주행을 위한 영상추적을 이용한 거리 측정 방법.
  4. 컴퓨팅 장치에서 수행되는 자율주행을 위한 영상추적을 이용한 거리 측정 방법에 있어서,
    카메라에 의해 촬영되는 도로상에 표시된 격자 정합부를 인식하는 단계;
    상기 격자 정합부를 이용하여 도로상에 적용되는 가상 격자를 생성하는 단계;
    상기 가상 격자를 이용하여 대상 객체와의 거리를 산출하는 단계;
    상기 가상 격자를 이용한 차량 속도를 산출하고, 차량 자체에서 측정된 속도정보와 비교하는 단계; 및
    상기 비교결과에 따라 상기 가상 격자를 보정하는 단계를 포함하는, 자율주행을 위한 영상추적을 이용한 거리 측정 방법.
  5. 청구항 1에 있어서,
    구비된 레이저발송모듈에 의해 방사된 레이저격자를 상기 카메라에 의한 촬영영상에서 더 인식하고, 상기 레이저격자와 상기 격자 정합부의 비율값을 저장하는 단계를 더 포함하되,
    차후 도로상에 상기 격자 정합부가 존재하지 않거나 인식되지 않는 경우, 상기 레이저격자와 상기 비율값을 이용하여 상기 가상 격자를 생성하는, 자율주행을 위한 영상추적을 이용한 거리 측정 방법.
  6. 청구항 1에 따른 방법을 수행하는 컴퓨터 판독 가능한 기록매체에 기록된 프로그램.
  7. 자율주행을 위한 영상추적을 이용한 거리 측정 장치로서,
    프로세서; 및
    상기 프로세서에 연결된 메모리를 포함하되,
    상기 메모리는,
    카메라에 의해 촬영되는 도로상에 표시된 격자 정합부를 인식하고,
    상기 격자 정합부를 이용하여 도로상에 적용되는 가상 격자를 생성하고,
    상기 가상 격자를 이용하여 대상 객체와의 거리를 산출하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하되,
    상기 메모리는 상기 가상 격자를 이용한 차량 속도를 산출하고, 차량 자체에서 측정된 속도정보와 비교하며, 상기 비교결과에 따라 상기 가상 격자를 보정하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 더 저장하는, 자율주행을 위한 영상추적을 이용한 거리 측정 장치.
  8. 삭제
  9. 청구항 7에 있어서,
    레이저격자를 도로상에 방사하는 레이저발송모듈을 더 포함하되,
    상기 메모리는 상기 레이저격자를 상기 카메라에 의한 촬영영상에서 더 인식하고, 상기 레이저격자와 상기 격자 정합부의 비율값을 저장하며, 차후 도로상에 상기 격자 정합부가 존재하지 않거나 인식되지 않는 경우, 상기 레이저격자와 상기 비율값을 이용하여 상기 가상 격자를 생성하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 더 저장하는, 자율주행을 위한 영상추적을 이용한 거리 측정 장치.
  10. 자율주행을 위한 영상추적을 이용한 거리 측정 장치로서,
    프로세서; 및
    상기 프로세서에 연결된 메모리를 포함하되,
    상기 메모리는,
    카메라에 의해 촬영되는 도로상에 표시된 격자 정합부를 인식하고,
    상기 격자 정합부를 이용하여 도로상에 적용되는 가상 격자를 생성하고,
    상기 가상 격자를 이용하여 대상 객체와의 거리를 산출하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하되, 상기 프로그램 명령어들은,
    상기 격자 정합부를 복수개 인식하고, 각 격자 정합부의 화면상 간격에 대한 평균값을 산출하며, 산출된 평균값을 이용하여 상기 가상 격자를 생성하는 자율주행을 위한 영상추적을 이용한 거리 측정 장치.

KR1020200087991A 2020-07-16 2020-07-16 자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치 KR102427463B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200087991A KR102427463B1 (ko) 2020-07-16 2020-07-16 자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치
US17/022,448 US11557126B2 (en) 2020-07-16 2020-09-16 Distance measuring method and device using image tracking for autonomous driving
CN202110808525.8A CN113945153A (zh) 2020-07-16 2021-07-16 用于自动驾驶的利用图像跟踪的距离和位置测定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200087991A KR102427463B1 (ko) 2020-07-16 2020-07-16 자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220009609A KR20220009609A (ko) 2022-01-25
KR102427463B1 true KR102427463B1 (ko) 2022-08-01

Family

ID=79292654

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200087991A KR102427463B1 (ko) 2020-07-16 2020-07-16 자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치

Country Status (2)

Country Link
US (1) US11557126B2 (ko)
KR (1) KR102427463B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7371053B2 (ja) * 2021-03-29 2023-10-30 キヤノン株式会社 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体
CN114897685A (zh) * 2022-04-25 2022-08-12 深圳信路通智能技术有限公司 车辆图片融合方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016035403A (ja) * 2014-08-01 2016-03-17 シャープ株式会社 レーザ測距装置
KR102052833B1 (ko) * 2018-07-17 2019-12-09 김항섭 영상 추적을 이용한 차량 속도 검출 장치 및 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276073B1 (ko) * 2011-01-27 2013-06-18 팅크웨어(주) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
US9677898B2 (en) * 2014-06-17 2017-06-13 Think Ware Corporation Electronic apparatus and control method thereof
KR102441075B1 (ko) 2017-10-31 2022-09-06 현대자동차주식회사 노면표시기반 차량의 위치추정 방법 및 장치
US11537139B2 (en) * 2018-03-15 2022-12-27 Nvidia Corporation Determining drivable free-space for autonomous vehicles
KR102420568B1 (ko) * 2018-04-27 2022-07-13 삼성전자주식회사 차량의 위치를 결정하는 방법 및 이를 위한 차량
US11966838B2 (en) * 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications
DK201970115A1 (en) * 2018-11-08 2020-06-09 Aptiv Technologies Limited DEEP LEARNING FOR OBJECT DETECTION USING PILLARS
AU2019396213A1 (en) * 2018-12-11 2021-05-27 SafeAI, Inc. Techniques for kinematic and dynamic behavior estimation in autonomous vehicles
US10990105B2 (en) * 2018-12-28 2021-04-27 Beijing Voyager Technology Co., Ltd. Vehicle-based virtual stop and yield line detection
US20200208991A1 (en) * 2018-12-28 2020-07-02 Didi Research America, Llc Vehicle-provided virtual stop and yield line clustering
US11170299B2 (en) * 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
US11435751B2 (en) * 2018-12-28 2022-09-06 Beijing Voyager Technology Co., Ltd. Vehicle-based road obstacle identification system
WO2020140049A1 (en) * 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
US10991244B2 (en) * 2018-12-28 2021-04-27 Beijing Voyager Technology Co., Ltd. On-board vehicle stop cause determination system
US20200211370A1 (en) * 2018-12-28 2020-07-02 Didi Research America, Llc Map editing using vehicle-provided data
DE112019006484T5 (de) * 2018-12-28 2021-10-21 Nvidia Corporation Detektion von abständen zu hindernissen in autonomen maschinenanwendungen
US11393097B2 (en) * 2019-01-08 2022-07-19 Qualcomm Incorporated Using light detection and ranging (LIDAR) to train camera and imaging radar deep learning networks
US11801865B2 (en) * 2021-03-31 2023-10-31 Gm Cruise Holdings Llc Object tracking by generating velocity grids
US11485517B1 (en) * 2021-08-20 2022-11-01 Beta Air, Llc System and method for communicating a pre-charging package stream of an electric aircraft

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016035403A (ja) * 2014-08-01 2016-03-17 シャープ株式会社 レーザ測距装置
KR102052833B1 (ko) * 2018-07-17 2019-12-09 김항섭 영상 추적을 이용한 차량 속도 검출 장치 및 방법

Also Published As

Publication number Publication date
US11557126B2 (en) 2023-01-17
US20220019812A1 (en) 2022-01-20
KR20220009609A (ko) 2022-01-25

Similar Documents

Publication Publication Date Title
CN110675307B (zh) 基于vslam的3d稀疏点云到2d栅格图的实现方法
EP3620812A1 (en) Method and device for filtering out non-ground points from point cloud, and storage medium
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
EP3361278A1 (en) Autonomous vehicle localization based on walsh kernel projection technique
US9536306B2 (en) Vehicle vision system
US11625851B2 (en) Geographic object detection apparatus and geographic object detection method
CN109931939A (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
KR102427463B1 (ko) 자율주행을 위한 영상추적을 이용한 거리 측정 방법 및 장치
KR101714233B1 (ko) 도로상의 물체 검출 장치 및 그 방법
CN110969055B (zh) 用于车辆定位的方法、装置、设备和计算机可读存储介质
CN106934347B (zh) 障碍物识别方法及装置、计算机设备及可读介质
EP3825980A1 (en) Method for calculating collision time of object and vehicle, calculation device and vehicle
KR102428765B1 (ko) 터널 조명을 이용한 자율주행 차량 항법 시스템
US20220067973A1 (en) Camera calibration apparatus and operating method
US20230251097A1 (en) Efficient map matching method for autonomous driving and apparatus thereof
KR101995223B1 (ko) 보행자 검출 시스템 및 모듈, 방법, 컴퓨터프로그램
EP4213128A1 (en) Obstacle detection device, obstacle detection system, and obstacle detection method
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
CN109313822B (zh) 基于机器视觉的虚拟墙构建方法及装置、地图构建方法、可移动电子设备
CN109416251B (zh) 基于色块标签的虚拟墙构建方法及装置、地图构建方法、可移动电子设备
CN111238490A (zh) 视觉定位方法、装置以及电子设备
JP6645768B2 (ja) 車種判別装置
CN114631124A (zh) 三维点云分割方法和装置、可移动平台
CN113670275B (zh) 一种针对古建筑物的无人机测绘方法、***及存储介质
KR20220080424A (ko) 자율주행을 위한 영상추적을 이용한 위치측정 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant