WO2020235734A1 - 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법 - Google Patents

모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법 Download PDF

Info

Publication number
WO2020235734A1
WO2020235734A1 PCT/KR2019/006644 KR2019006644W WO2020235734A1 WO 2020235734 A1 WO2020235734 A1 WO 2020235734A1 KR 2019006644 W KR2019006644 W KR 2019006644W WO 2020235734 A1 WO2020235734 A1 WO 2020235734A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
estimating
mono camera
vehicle
lidar
Prior art date
Application number
PCT/KR2019/006644
Other languages
English (en)
French (fr)
Inventor
김재승
임도영
Original Assignee
주식회사 모빌테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌테크 filed Critical 주식회사 모빌테크
Priority to US17/282,950 priority Critical patent/US20210387636A1/en
Publication of WO2020235734A1 publication Critical patent/WO2020235734A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects

Definitions

  • the present invention relates to a method for estimating the distance and location of an autonomous vehicle using a mono camera, and more specifically, it is possible to efficiently obtain information necessary for autonomous driving by using a mono camera and LiDAR. I did it.
  • the present invention is the distance and location of an autonomous vehicle using a mono camera capable of obtaining information with sufficient reliability in real time without using expensive equipment such as a high-precision GPS receiver or stereo camera required for autonomous driving. It relates to the estimation method.
  • the unmanned autonomous vehicle is largely the step of recognizing the surrounding environment (recognition area), the step of planning a driving route from the recognized environment (decision area), and the step of driving along the planned route (control area) It can be composed of.
  • the cognitive domain it is the first base technology to be performed for autonomous driving, and it is possible to accurately perform the next step, the judgment area and the control area, only when the technology in this cognitive area is accurately performed.
  • technologies in the cognitive domain there are technologies for identifying the exact location of the vehicle using GPS, and technologies for obtaining information about the surrounding environment through image information acquired through a camera.
  • the error range of the vehicle's location using GPS in autonomous driving should be at least smaller than the distance of lanes, and the smaller the error range is, the more efficiently it can be used for real-time autonomous driving, but such a high-precision GPS receiver with a small error range Its price is bound to be very expensive.
  • Korean Patent Publication No. 10-1765746 which is a prior art document,'A method and system for estimating the location of an unmanned agricultural tractor using multiple low-cost GPS' (hereinafter referred to as'prior technology 1'). Is, by complementing a plurality of GPS location information based on a geometric structure, it is possible to secure precise location data using a plurality of low-cost GPS.
  • Korean Patent Publication No. 10-2018-0019309 a prior art document
  • 'Stereo Camera-based autonomous driving method and its device' (hereinafter referred to as'prior technology 2' Is to adjust the depth measurement area by adjusting the distance between the two cameras constituting the stereo camera according to the driving condition of the vehicle (mainly, the driving speed).
  • the technique of using a stereo camera also has a problem similar to that of the aforementioned cited invention 1 because the device is not only expensive, but also involves the complexity of the device configuration and data processing.
  • the precision depends on the amount of image-processed data.
  • the amount of data since the amount of data must be reduced for real-time data processing, there is a disadvantage in that the precision is limited.
  • the present invention provides an autonomous driving vehicle using a mono camera that can efficiently acquire information necessary for autonomous driving using a mono camera and a LiDAR. It is an object to provide a distance and location estimation method.
  • the present invention makes it possible to accurately calculate the distance from the ground to a specific location by using the image captured by the mono camera and the information collected by the lidar, the object required for autonomous driving (object for autonomous driving) , Target object) and a vehicle, which can estimate the relative position between the vehicle in real time, and provide a method for estimating the distance and position of an autonomous vehicle using a mono camera.
  • the present invention provides the distance and distance of an autonomous vehicle using a mono camera that can obtain information with sufficient reliability in real time without using expensive equipment such as a high-precision GPS receiver or stereo camera required for autonomous driving. It is an object to provide a method for estimating a location.
  • a method for estimating a distance of an autonomous vehicle using a mono camera includes: an image image acquisition step of obtaining a two-dimensional image image captured by a mono camera; A lidar data acquisition step of obtaining ground data measured by a three-dimensional lidar (LiDAR); A coordinate system matching step of matching a coordinate system of a 2D pixel of the image image and a 3D lidar; And an object distance estimating step of estimating a distance to the object based on a lidar coordinate value matched to a pixel in which the target object is located when the target object is located on the ground of the image image.
  • LiDAR three-dimensional lidar
  • the step of obtaining the image image may include an image capturing process of taking an image by the mono camera; And a lens distortion correction process of correcting distortion by the lens of the mono camera with respect to the captured image.
  • the coordinate system matching step may include a data overlapping process of overlapping the image image and ground data; In the case of a pixel overlapping the ground data, a direct matching process of setting the ground data as a lidar coordinate value of the pixel; And an extended matching process of setting a lidar coordinate value by estimating from the ground data in the case of a pixel that does not overlap with the ground data.
  • the expansion matching process may be set by estimating a coordinate value of a corresponding pixel using a linear interpolation method from adjacent ground data.
  • the method for estimating the position of an autonomous vehicle using a mono camera is a relative position for calculating a relative position with an object for autonomous driving by image processing a two-dimensional image image captured by a mono camera.
  • Calculation step A target object confirmation step of checking the corresponding autonomous driving object on the HD-map with precision for autonomous driving;
  • a vehicle position checking step of confirming the current position of the vehicle by applying a relative position with the object for autonomous driving on the map with the precision for autonomous driving.
  • the step of calculating the relative position may include a two-dimensional image acquisition process of obtaining a two-dimensional image image in a specific direction using a mono camera; An object position calculation process of checking the autonomous driving object included in the 2D image and estimating the direction and distance to the autonomous driving object; And a vehicle position calculation process of estimating the relative position of the vehicle based on the autonomous driving object.
  • the step of calculating the relative position may include a two-dimensional image acquisition process of obtaining a two-dimensional image image in a specific direction using a mono camera; An object position calculation process of checking an object for autonomous driving included in the two-dimensional image and estimating distances to at least three autonomous driving objects; And a vehicle position calculation process of estimating the relative position of the vehicle based on the autonomous driving objects.
  • the ground data measured by the three-dimensional lidar is matched for each pixel of the two-dimensional image, and the corresponding autonomous data is based on the lidar coordinate value of the matched pixel. At least one of the distance and direction to the traveling object may be estimated.
  • a pixel overlapping the ground data sets the ground data as the lidar coordinate value of the pixel, and does not overlap with the ground data.
  • the missing pixel can be estimated from the ground data and set a lidar coordinate value.
  • the object location calculation process may be set by estimating a coordinate value of a corresponding pixel using a linear interpolation method from adjacent ground data.
  • the present invention has the advantage of being able to efficiently acquire information necessary for autonomous driving by using a mono camera and a LiDAR.
  • the present invention makes it possible to accurately calculate the distance from the ground to a specific location by using the image captured by the mono camera and the information collected by the lidar, the object required for autonomous driving (object for autonomous driving) , Target object) and the vehicle have the advantage of being able to estimate the relative position in real time.
  • the object in the image is recognized through image processing and the distance to the object is estimated.
  • the amount of data to be processed increases significantly as the accuracy of the required distance increases. Therefore, there is a limit to processing data in real time.
  • the present invention has the advantage of obtaining information with sufficient reliability in real time without using expensive equipment such as a high-precision GPS receiver or a stereo camera required for autonomous driving.
  • the present invention has the advantage of significantly reducing data processing time compared to an expensive high-definition lidar that receives millions of points per second.
  • the data of the lidar measured while the vehicle is moving is less accurate because an error occurs due to an error according to the relative speed and the shaking of the vehicle, whereas the present invention is a two-dimensional data in a static state (taken image). It has the advantage of high precision because it is a correspondence between images and three-dimensional relative coordinates.
  • the distance calculation using the depth of the stereo camera is limited because the distance can be estimated through pixels that can be distinguished from the surroundings, such as a feature or boundary of an image. Since it is a distance calculation using triangulation, it is unreasonable to indicate an accurate value, whereas in the present invention, since it is a technique for an object located on the ground, there is an advantage that the distance can be calculated within a fairly reliable error range.
  • the present invention estimates the current position of an autonomous vehicle through recognition of semantic information (autonomous driving object, etc.) for autonomous driving without using GPS, and ADAS (Advanced Driver Assistance System, such as calculating the distance between cars), It can be widely used, such as an advanced driver assistance system), and furthermore, it has the advantage of being able to develop a camera capable of performing the same function by developing software with corresponded data.
  • semantic information autonomous driving object, etc.
  • ADAS Advanced Driver Assistance System
  • FIG. 1 is a flowchart showing an embodiment of a method for estimating a distance of an autonomous vehicle using a mono camera according to the present invention.
  • step'S110' of FIG. 1 is a flowchart illustrating a specific embodiment of step'S110' of FIG. 1.
  • step S130 of FIG. 1 is a flowchart illustrating a specific embodiment of step S130 of FIG. 1.
  • 4 to 5 are images illustrating the process of FIG. 1.
  • FIG. 6 is a flowchart illustrating an embodiment of a method for estimating a location of an autonomous vehicle using a mono camera according to the present invention.
  • step'S210' of FIG. 6 is a flowchart showing a specific embodiment of step'S210' of FIG. 6.
  • Examples of the method for estimating the distance and position of an autonomous vehicle using a mono camera according to the present invention can be applied in various ways, and in particular, an autonomous driving system mounted on a vehicle or an image processing device for autonomous driving, an image processing module, and a vehicle It can be used in control devices, autonomous driving modules, and digital map mapping modules.
  • the present invention can be implemented in various systems or devices utilizing a map (HD-map) with precision for autonomous driving.
  • a map HD-map
  • the present invention can be implemented in various systems or devices utilizing a map (HD-map) with precision for autonomous driving.
  • FIG. 1 is a flowchart showing an embodiment of a method for estimating a distance of an autonomous vehicle using a mono camera according to the present invention.
  • a method for estimating the distance of an autonomous vehicle using a mono camera of the present invention includes an image image acquisition step (S110), a lidar data acquisition step (S120), a coordinate system matching step (S130), and an object distance estimation step ( S140).
  • a two-dimensional image (two-dimensional image) captured by a mono camera may be obtained.
  • the two-dimensional image image refers to an image in which the ground is photographed in a certain area below, as shown in Fig. 4A.
  • the entire image image captured in the image processing process is not image-processed and analyzed, but only the lower part of the ground surface is extracted as the target area, so that the amount of data required for image processing can be significantly reduced.
  • lidar data acquisition step S120 ground data measured by a three-dimensional lidar (LiDAR) may be obtained around the vehicle as shown in FIG. 4B.
  • LiDAR three-dimensional lidar
  • the image image and the ground data may be matched as shown in (a) of FIG. 5 while going through the process of matching the coordinate system of the 2D pixel and the 3D lidar of the previously acquired image image. have.
  • the distance to the object is estimated based on the lidar coordinate value matched with the pixel where the target object is located.
  • step'S110' of FIG. 1 is a flowchart illustrating a specific embodiment of step'S110' of FIG. 1.
  • the image image acquisition step S110 may include an image capturing process S111 and a lens distortion correction process S112.
  • Such an image correction process may be performed by the corresponding mono camera itself, and in this case, the load on the computational processing in the process of image processing an image captured by the mono camera may be reduced.
  • the resolution is determined by the number of laser channels, etc., and as described above, if the amount of data acquired by the LiDAR increases, this can cause a significant load on the computational processing, which can cause the data to This can lead to an undesirable situation to deal with.
  • step S130 of FIG. 1 is a flowchart illustrating a specific embodiment of step S130 of FIG. 1.
  • the coordinate system matching step (S130) may include a data overlapping process (S131 ), a direct matching process (S132 ), and an extended matching process (S133 ).
  • the corresponding ground data may be set as the lidar coordinate value of the corresponding pixel (S132).
  • the lidar coordinate value of the corresponding pixel may be set by expanding and estimating from the ground data (S133).
  • the coordinate value of the corresponding pixel may be estimated and set from adjacent ground data using a linear interpolation method.
  • the linear interpolation method refers to a method of linearly calculating a value located between the two points.
  • the current vehicle is displayed on a digital map such as an HD-map with precision for autonomous driving. Let's look at how to find the location.
  • FIG. 6 is a flowchart illustrating an embodiment of a method for estimating a location of an autonomous vehicle using a mono camera according to the present invention.
  • the method for estimating the position of an autonomous vehicle using a mono camera of the present invention includes a relative position calculation step (S210), a target object check step (S220), and a vehicle position check step (S230).
  • a two-dimensional image (two-dimensional image) captured by a mono camera is image-processed to calculate a relative position with an object for autonomous driving (target object).
  • the autonomous driving object and the location of the object may be checked on a map (HD-map) with precision for autonomous driving.
  • the vehicle position checking step (S230) by applying the relative position with the corresponding autonomous driving object on the map with the precision for autonomous driving, the current position of the vehicle on the map may be confirmed with the precision for autonomous driving.
  • step'S210' of FIG. 6 is a flowchart showing a specific embodiment of step'S210' of FIG. 6.
  • the relative position calculation step S210 may include a two-dimensional image acquisition process S211, an object location calculation process S212, and a vehicle location calculation process S213.
  • the relative position calculation step (S210) when a two-dimensional image, which is a two-dimensional image image in a specific direction, is obtained using a mono camera (S211), check the autonomous driving object included in the two-dimensional image, estimate the direction and distance from the vehicle to the autonomous driving object (S212), and determine the relative position of the vehicle based on the autonomous driving object. It can be estimated (S213).
  • the relative position calculation step (S210) when only distance information from the lidar to a specific location can be obtained, or when only distance information excluding direction information is used after obtaining distance information and direction information, in the relative position calculation step (S210), a mono camera is used.
  • a two-dimensional image which is a two-dimensional image image in a specific direction, is obtained by using (S211)
  • the autonomous driving object included in the two-dimensional image is checked, and the distance to at least three autonomous driving objects is estimated (S212). ), it is possible to estimate the relative position of the vehicle based on the autonomous driving objects (S213).
  • the ground data measured by the 3D LiDAR is matched for each pixel of the 2D image, and At least one of a distance and a direction to a corresponding self-driving object may be estimated based on the lidar coordinate value of the pixel matched with the data.
  • a pixel overlapping the ground data sets the ground data to the lidar coordinate value of the pixel, and a pixel that does not overlap the ground data is selected from the ground data. It is possible to set the LIDAR coordinate value by estimation.
  • a coordinate value of the corresponding pixel may be estimated and set from adjacent ground data using a linear interpolation method.
  • the present invention minimizes the computational throughput of data and enables accurate distance and position estimation, thereby providing an optimal method in the field of autonomous driving in which data must be processed in real time.
  • the present invention can obtain information having sufficient reliability in real time without using expensive equipment such as a high-precision GPS receiver or stereo camera required for autonomous driving.
  • the present invention can be used in the field of autonomous driving, object recognition for autonomous driving, location tracking of autonomous vehicles, as well as similar or related fields, and can improve the reliability and competitiveness of products in the field.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법에 관한 것으로, 보다 상세하게는 모노카메라(Mono camera)와 라이다(LiDAR)를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 한 것이다. 특히, 본 발명은 자율주행에서 요구하는 고정밀GPS수신기나 스테레오카메라 등과 같은 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있다. 결과적으로, 본 발명은 GPS를 사용하지 않으면서도, 자율주행을 위한 의미정보 인식, 자율주행 자동차의 위치를 추정, 차간거리계산 등과 같은 ADAS 등에 널리 활용될 수 있으며, 더 나아가 대응된 데이터를 가지고 소프트웨어를 개발하여, 동일한 기능을 수행할 수 있는 카메라를 개발할 수 있다. 따라서, 자율주행 분야, 자율주행용 객체 인식 분야, 자율주행 차량 위치추적 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.

Description

모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
본 발명은 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법에 관한 것으로서, 보다 상세하게는 모노카메라(Mono camera)와 라이다(LiDAR)를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 한 것이다.
특히, 본 발명은 자율주행에서 요구하는 고정밀GPS수신기나 스테레오카메라 등과 같은 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있는 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법에 관한 것이다.
차량의 무인자율화(자율주행차량)는 크게 주위 환경을 인식하는 단계(인지영역)와, 인식된 환경으로부터 주행경로를 계획하는 단계(판단영역), 그리고 계획된 경로를 따라 주행하는 단계(제어영역)로 구성될 수 있다.
특히, 인지영역의 경우 자율주행을 위해 가장 처음 수행되는 기반 기술이며, 이러한 인지영역에서의 기술이 정확히 이루어져야만 다음 단계인 판단영역 및 제어영역에서도 정확한 수행이 가능하게 된다.
인지영역에서의 기술로는, GPS를 이용하여 차량의 정확한 위치를 파악하는 기술과, 카메라를 통해 획득된 영상정보를 통해 주위환경에 대한 정보를 획득하는 기술 등이 있다.
먼저, 자율주행에서 GPS를 이용한 차량의 위치에 대한 오차범위는 최소한 차선의 간격보다 작아야 하며, 오차범위가 작을수록 실시간 자율주행에 효율적으로 사용할 수 있으나, 이와 같이 오차범위가 작은 고정밀의 GPS수신기는 그 가격이 매우 고가일 수밖에 없다.
이를 해결하기 위한 기술 중 하나로, 선행기술문헌인 대한민국 등록특허공보 제10-1765746호 '다중 저가형 GPS를 이용한 농업용 무인 트랙터의 자율주행용 위치 추정방법 및 시스템'(이하 '선행기술1'이라고 한다)은, 기하학적 구조를 기반으로 복수 개의 GPS위치정보를 상호 보완함으로써, 복수 개의 저가형 GPS를 이용하여 정밀한 위치데이터를 확보할 수 있도록 한 것이다.
그러나, 선행기술1에서는 GPS수신기를 복수 개로 운용해야 하므로, 그 개수만큼 가격이 상승할 수 밖에 없음은 당연하다.
또한, 복수 개의 GPS수신기를 연동해야 하므로, 장치의 구성이나 데이터처리 프로세스 들이 복잡해질 수 밖에 없으며, 이러한 복잡성은 기기의 신뢰성을 저하시키는 요인이 될 수 있다.
다음으로, 주위환경에 대한 정보의 획득에 관한 기술로, 선행기술문헌인 대한민국 공개특허공보 제10-2018-0019309호 '스테레오 카메라 기반의 자율 주행 방법 및 그 장치'(이하 '선행기술2'이라고 한다)는, 차량의 주행상태(주로, 주행속도)에 따라 스테레오 카메라를 구성하는 두 카메라의 간격을 조절하여 깊이측정 영역을 조정하도록 한 것이다.
이와 같이 스테레오 카메라를 이용하는 기술 또한, 그 장치가 고가일 뿐만 아니라, 장치의 구성이나 데이터처리의 복잡성을 수반하므로, 앞서 설명한 인용발명1의 문제점과 유사한 문제점을 가지고 있다.
또한, 인용발명2와 같은 기술에서는 영상처리되는 데이터의 양에 따라 정밀도가 좌우되는데, 실시간 데이터 처리를 위해서는 데이터의 양을 감소시킬 수 밖에 없기 때문에, 그 정밀도에서 한계가 발생한다는 단점이 있다.
상기와 같은 문제점을 해결하기 위해서, 본 발명은 모노카메라(Mono camera)와 라이다(LiDAR)를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 할 수 있는 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법을 제공하는데 목적이 있다.
보다 구체적으로, 본 발명은 모노카메라에서 촬영된 영상과 라이다에 의해 수집된 정보를 이용하여, 지면상에서 특정 위치까지의 거리를 정확히 계산할 수 있도록 함으로써, 자율주행에서 요구되는 객체(자율주행용 객체, 대상객체)와 차량 간의 상대적 위치를 실시간으로 추정할 수 있는 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법을 제공하는데 목적이 있다.
특히, 본 발명은 자율주행에서 요구하는 고정밀의 GPS수신기나 스테레오카메라 등과 같은 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있는 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법을 제공하는데 목적이 있다.
상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 모노카메라를 이용한 자율주행 차량의 거리 추정 방법은, 모노카메라(Mono camera)에 의해 촬영된 2차원 영상이미지를 획득하는 영상이미지 획득단계; 3차원 라이다(LiDAR)에 의해 측정된 지면데이터를 획득하는 라이다데이터 획득단계; 상기 영상이미지의 2차원 픽셀과 3차원 라이다의 좌표계를 매칭시키는 좌표계 매칭단계; 및 상기 영상이미지의 지면에 대상객체가 위치한 경우, 대상객체가 위치한 픽셀에 매칭된 라이다좌표값에 의해 해당 객체까지의 거리를 추정하는 객체거리 추정단계;를 포함한다.
또한, 상기 영상이미지 획득단계는, 상기 모노카메라에 의해 영상을 촬영하는 영상촬영과정; 및 촬영된 영상에 대하여, 상기 모노카메라의 렌즈에 의한 왜곡을 보정하는 렌즈왜곡 보정과정;을 포함할 수 있다.
또한, 상기 좌표계 매칭단계는, 상기 영상이미지와 지면데이터를 중첩시키는 데이터 중첩과정; 상기 지면데이터와 중첩되는 픽셀의 경우, 해당 지면데이터를 해당 픽셀의 라이다좌표값으로 설정하는 직접매칭과정; 및 상기 지면데이터와 중첩되지 않는 픽셀의 경우, 상기 지면데이터로부터 추정하여 라이다좌표값을 설정하는 확장매칭과정;을 포함할 수 있다.
또한, 상기 확장매칭과정은, 상기 지면데이터와 중첩되지 않는 픽셀의 경우, 인접한 지면데이터로부터 선형보간법을 이용하여 해당 픽셀의 좌표값을 추정하여 설정할 수 있다.
또한, 본 발명에 따른 모노카메라를 이용한 자율주행 차량의 위치 추정 방법은, 모노카메라(Mono camera)에 의해 촬영된 2차원 영상이미지를 영상처리하여 자율주행용 객체와의 상대적 위치를 산출하는 상대위치 산출단계; 자율주행용 정밀도로지도(HD-map) 상에서, 해당 자율주행용 객체를 확인하는 대상객체 확인단계; 및 상기 자율주행용 정밀도로지도 상에서, 해당 자율주행용 객체와의 상대적 위치를 적용하여 현재 차량의 위치를 확인하는 차량위치 확인단계;를 포함한다.
또한, 상기 상대위치 산출단계는, 모노카메라를 이용하여 특정 방향의 2차원 영상이미지를 획득하는 2차원이미지 획득과정; 상기 2차원이미지에 포함된 자율주행용 객체를 확인하고, 해당 자율주행용 객체까지의 방향 및 거리를 추정하는 객체위치 산출과정; 및 상기 자율주행용 객체를 기준으로 차량의 상대적 위치를 추정하는 차량위치 산출과정;을 포함할 수 있다.
또한, 상기 상대위치 산출단계는, 모노카메라를 이용하여 특정 방향의 2차원 영상이미지를 획득하는 2차원이미지 획득과정; 상기 2차원이미지에 포함된 자율주행용 객체를 확인하고, 적어도 3개의 자율주행용 객체까지의 거리를 추정하는 객체위치 산출과정; 및 상기 자율주행용 객체들을 기준으로 차량의 상대적 위치를 추정하는 차량위치 산출과정;을 포함할 수 있다.
또한, 상기 객체위치 산출과정은, 상기 2차원이미지의 픽셀별로 3차원 라이다(LiDAR)에 의해 측정된 지면데이터를 매칭하고, 상기 지면데이터가 매칭된 픽셀의 라이다좌표값에 기초하여 해당 자율주행용 객체까지의 거리 및 방향 중 적어도 하나를 추정할 수 있다.
또한, 상기 객체위치 산출과정은, 상기 2차원이미지와 지면데이터를 중첩시킨 후, 상기 지면데이터와 중첩되는 픽셀은 해당 지면데이터를 해당 픽셀의 라이다좌표값으로 설정하고, 상기 지면데이터와 중첩되지 않는 픽셀은 상기 지면데이터로부터 추정하여 라이다좌표값을 설정할 수 있다.
또한, 상기 객체위치 산출과정은, 상기 지면데이터와 중첩되지 않는 픽셀의 경우, 인접한 지면데이터로부터 선형보간법을 이용하여 해당 픽셀의 좌표값을 추정하여 설정할 수 있다.
상기와 같은 해결수단에 의해, 본 발명은 모노카메라(Mono camera)와 라이다(LiDAR)를 이용하여 자율주행에 필요한 정보를 효율적으로 획득할 수 있도록 할 수 있는 장점이 있다.
보다 구체적으로, 본 발명은 모노카메라에서 촬영된 영상과 라이다에 의해 수집된 정보를 이용하여, 지면상에서 특정 위치까지의 거리를 정확히 계산할 수 있도록 함으로써, 자율주행에서 요구되는 객체(자율주행용 객체, 대상객체)와 차량 간의 상대적 위치를 실시간으로 추정할 수 있는 장점이 있다.
특히, 단순히 촬영된 영상만을 이용하는 경우, 영상처리를 통해 영상 내의 객체를 인식하고, 해당 객체까지의 거리를 추정하는 하는데, 이때 요구되는 거리의 정확도가 높아질수록 처리해야 할 데이터의 양이 매우 크게 증가하므로, 실시간으로 데이터를 처리하는데 한계가 있다.
이에 반해, 본 발명에서는 촬영된 영상 중 지면의 영역에 대한 정보만을 요구하므로, 영상분석에 필요한 데이터를 최소화할 수 있으며, 실시간 데이터처리가 가능하다는 장점이 있다.
이에, 본 발명은 자율주행에서 요구하는 고정밀GPS수신기나 스테레오카메라 등과 같은 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있는 장점이 있다.
또한, 본 발명은 초당 수백만 개의 포인트가 들어오는 고가의 고정밀라이다에 비해 데이터 처리 시간을 월등히 줄일 수 있는 장점이 있다.
또한, 차량이 움직이면서 측정되는 라이다의 데이터는 상대 속도에 따른 오차와 차량의 흔들림으로 발생하는 오차가 발생하기 때문에 정밀도 역시 떨어지게 되는 반면, 본 발명은 정적인 상태(촬영된 영상)에서의 2차원 이미지와 3차원 상대 좌표를 대응시키는 것이기 때문에 정밀도가 높다는 장점이 있다.
더불어, 스테레오 카메라의 뎁스(Depth)를 이용한 거리 계산은 이미지의 특징점(Feature) 혹은 경계선(Boundary)과 같이 주변과 구분할 수 있는 픽셀을 통해 거리를 추정할 수 있기 때문에 제약이 따른다는 단점과 더불어, 삼각 측량(Triangulation)을 이용한 거리 계산이기 때문에 정확한 값을 나타내기엔 무리가 있는 반면, 본 발명에서는 지면에 위치한 객체에 대한 기술이므로, 상당히 신뢰할만한 오차 범위 내로 거리를 계산할 수 있다는 장점이 있다.
이와 같이, 본 발명은 GPS를 사용하지 않으면서도, 자율주행을 위한 의미정보(자율주행용 객체 등) 인식을 통해 자율주행 자동차의 현재 위치를 추정, 차간 거리 계산과 같은 ADAS(Advanced Driver Assistance System, 첨단 운전자 지원 시스템) 등의 널리 활용될 수 있으며, 더 나아가 대응된 데이터(Corresponded data)를 가지고 소프트웨어를 개발하여 동일한 기능을 수행할 수 있는 카메라를 개발할 수 있는 장점이 있다.
도 1은 본 발명에 의한 모노카메라를 이용한 자율주행 차량의 거리 추정 방법의 일 실시예를 나타내는 흐름도이다.
도 2는 도 1의 단계 'S110'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 3은 도 1의 단계 'S130'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 4 내지 도 5는 도 1의 과정을 설명하는 이미지이다.
도 6은 본 발명에 의한 모노카메라를 이용한 자율주행 차량의 위치 추정 방법의 일 실시예를 나타내는 흐름도이다.
도 7은 도 6의 단계 'S210'의 구체적인 일 실시예를 나타내는 흐름도이다.
본 발명에 따른 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법에 대한 예는 다양하게 적용할 수 있으며, 특히 차량에 탑재되는 자율주행시스템이나 자율주행을 위한 영상처리장치, 영상처리모듈, 차량제어장치, 자율주행모듈, 디지털맵 매핑모듈 등에서 활용될 수 있다.
이에, 본 발명은 자율주행용 정밀도로지도(HD-map)를 활용하는 다양한 시스템이나 장치에서 수행될 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.
도 1은 본 발명에 의한 모노카메라를 이용한 자율주행 차량의 거리 추정 방법의 일 실시예를 나타내는 흐름도이다.
도 1을 참조하면, 본 발명의 모노카메라를 이용한 자율주행 차량의 거리 추정 방법은 영상이미지 획득단계(S110), 라이다데이터 획득단계(S120), 좌표계 매칭단계(S130) 및 객체거리 추정단계(S140)를 포함한다.
먼저, 영상이미지 획득단계(S110)에서는 모노카메라(Mono camera)에 의해 촬영된 2차원 영상이미지(2차원이미지)를 획득할 수 있다.
이때, 2차원 영상이미지(2차원이미지)는 도 4의 (a)와 같이 하부의 일정영역에 지면이 촬영된 이미지를 말한다.
이에, 본 발명에서는 영상처리과정에서 촬영된 영상이미지 전체를 영상처리하여 분석하는 것이 아니라, 하부의 지면부분만을 대상영역으로 추출하므로, 영상처리에 요구되는 데이터량을 대폭적으로 감소시킬 수 있다.
라이다데이터 획득단계(S120)에서는 도 4의 (b)에 나타난 바와 같이 해당 차량을 중심으로 3차원 라이다(LiDAR)에 의해 측정된 지면데이터를 획득할 수 있다.
좌표계 매칭단계(S130)에서는 앞서 획득된 영상이미지의 2차원 픽셀과 3차원 라이다의 좌표계를 매칭시키는 과정을 거치치면서, 도 5의 (a)에 나타난 바와 같이 영상이미지와 지면데이터를 매칭시킬 수 있다.
마지막으로, 객체거리 추정단계(S140)에서 영상이미지의 지면에 대상객체(자율주행용 객체)가 위치한 경우, 대상객체가 위치한 픽셀에 매칭된 라이다좌표값에 의해 해당 객체까지의 거리를 추정한다.
따라서, 획득된 영상이미지를 처리하는 데이터의 양을 최소화하면서도, 지면상에 위치한 대상객체까지의 거리를 신속하고 정확하게 산출할 수 있다.
도 2는 도 1의 단계 'S110'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 2를 참조하면, 영상이미지 획득단계(S110)는 영상촬영과정(S111) 및 렌즈왜곡 보정과정(S112)을 포함할 수 있다.
일반적으로, 렌즈에 의해 촬영된 영상은 렌즈의 중심에서 가장자리로 갈수록 왜곡이 심하게 발생하게 되므로, 라이다와 같이 3차원 정보를 수집하는 기기와 매칭시키기 위해서는 왜곡된 부분을 보정하는 과정을 필요로 한다.
이에, 모노카메라에 의해 특정 방향에 대한 영상을 촬영하게 되면(S111), 촬영된 영상에 대하여, 모노카메라의 렌즈에 의한 왜곡을 보정하는 과정을 거치게 된다(S112).
이러한 영상의 보정과정은 해당 모노카메라 자체에서 수행이 가능할 수 있으며, 이 경우 모노카메라에서 촬영된 영상을 영상처리하는 과정에서의 연산처리에 대한 부하를 감소시킬 수 있다.
한편 라이다의 경우, 레이저채널의 개수 등에 의해 해상도가 결정되는데, 앞서 설명한 바와 같이 라이다에 의해 획득된 데이터의 양이 많아지면 이로 인해 연산처리에 상당한 부하가 발생할 수 있으며, 이는 실시간으로 데이터를 처리하는데 바람직하지 못한 상황을 발생시킬 수 있다.
이하에서는, 이를 해결하는 방법에 대해 살펴보기로 한다.
도 3은 도 1의 단계 'S130'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 3을 참조하면, 좌표계 매칭단계(S130)는 데이터 중첩과정(S131), 직접매칭과정(S132) 및 확장매칭과정(S133)을 포함할 수 있다.
예를 들어, 도 5의 (a)에 나타난 바와 같이 영상이미지와 지면데이터를 중첩시키게 되면(S131), 영상이미지의 픽셀 중에서 지면데이터가 존재하는 픽셀은 정확한 위치를 알 수 있다.
다시 말해, 영상이미지의 픽셀 중 지면데이터와 중첩되는 픽셀의 경우, 해당 지면데이터를 해당 픽셀의 라이다좌표값으로 설정할 수 있다(S132).
그러나, 도 5의 (a)에 나타난 지면데이터 사이의 픽셀들은 라이다에 의해서는 정확한 위치를 알 수 없다.
이에, 본 발명은 영상이미지의 픽셀 중 지면데이터와 중첩되지 않는 픽셀의 경우, 지면데이터로부터 확장하여 추정하는 방법으로 해당 픽셀의 라이다좌표값을 설정할 수 있다(S133).
예를 들어, 확장매칭과정(S133)에서, 지면데이터와 중첩되지 않는 픽셀의 경우, 인접한 지면데이터로부터 선형보간법을 이용하여 해당 픽셀의 좌표값을 추정하여 설정할 수 있다. 여기서, 선형보간법은 두 지점의 값을 알고 있는 경우, 두 지점 사이에 위치한 값을 추정하기 위하여 선형적으로 계산하는 방법을 말한다.
이와 같은 과정을 통해, 도 5의 (b)와 같이 2차원 영상이미지의 지면영역에 대한 모든 픽셀의 라이다좌표값을 알아낼 수 있다.
이하에서는, 앞서 살펴본 바와 같이 라이다좌표값을 이용하여 확인한 대상객체(자율주행용 객체)와의 거리와 방향을 이용하여, 자율주행용 정밀도로지도(HD-map)와 같은 디지털맵 상에서 현재 차량의 위치를 알아내는 방법에 대해 살펴보기로 한다.
도 6은 본 발명에 의한 모노카메라를 이용한 자율주행 차량의 위치 추정 방법의 일 실시예를 나타내는 흐름도이다.
도 6을 참조하면, 본 발명의 모노카메라를 이용한 자율주행 차량의 위치 추정 방법은, 상대위치 산출단계(S210), 대상객체 확인단계(S220) 및 차량위치 확인단계(S230)를 포함한다.
상대위치 산출단계(S210)는 모노카메라(Mono camera)에 의해 촬영된 2차원 영상이미지(2차원이미지)를 영상처리하여 자율주행용 객체(대상객체)와의 상대적 위치를 산출할 수 있다.
대상객체 확인단계(S220)에서는, 자율주행용 정밀도로지도(HD-map) 상에서 해당 자율주행용 객체 및 객체의 위치를 확인할 수 있다.
이후, 차량위치 확인단계(S230)에서는, 자율주행용 정밀도로지도 상에서 해당 자율주행용 객체와의 상대적 위치를 적용함으로써, 자율주행용 정밀도로지도 상에서 현재 차량의 위치를 확인할 수 있다.
이하에서, 보다 구체적으로 살펴보기로 한다.
도 7은 도 6의 단계 'S210'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 7을 참조하면, 상대위치 산출단계(S210)는 2차원이미지 획득과정(S211), 객체위치 산출과정(S212) 및 차량위치 산출과정(S213)을 포함할 수 있다.
예를 들어, 라이다로부터 특정 위치까지의 거리 및 방향정보를 획득할 수 있는 경우, 상대위치 산출단계(S210)에서, 모노카메라를 이용하여 특정 방향의 2차원 영상이미지인 2차원이미지를 획득하면(S211), 2차원이미지에 포함된 자율주행용 객체를 확인하고, 차량으로부터 해당 자율주행용 객체까지의 방향 및 거리를 추정한 후(S212), 자율주행용 객체를 기준으로 차량의 상대적 위치를 추정할 수 있다(S213).
다른 예로, 라이다로부터 특정 위치까지의 거리정보만을 획득할 수 있는 경우 또는 거리정보와 방향정보를 획득한 후 방향정보를 제외한 거리정보만을 이용하는 경우, 상대위치 산출단계(S210)에서, 모노카메라를 이용하여 특정 방향의 2차원 영상이미지인 2차원이미지를 획득하면(S211), 2차원이미지에 포함된 자율주행용 객체를 확인하고, 적어도 3개의 자율주행용 객체까지의 거리를 추정한 후(S212), 상기 자율주행용 객체들을 기준으로 차량의 상대적 위치를 추정할 수 있다(S213).
보다 구체적으로, 객체위치 산출과정(S212)에서, 앞서 도 1 내지 도 5를 참조하여 살펴본 바와 같이, 2차원이미지의 픽셀별로 3차원 라이다(LiDAR)에 의해 측정된 지면데이터를 매칭하고, 지면데이터가 매칭된 픽셀의 라이다좌표값에 기초하여 해당 자율주행용 객체까지의 거리 및 방향 중 적어도 하나를 추정할 수 있다.
그리고, 상기 2차원이미지와 지면데이터를 중첩시킨 후, 상기 지면데이터와 중첩되는 픽셀은 해당 지면데이터를 해당 픽셀의 라이다좌표값으로 설정하고, 상기 지면데이터와 중첩되지 않는 픽셀은 상기 지면데이터로부터 추정하여 라이다좌표값을 설정할 수 있다.
만약, 지면데이터와 중첩되지 않는 픽셀의 경우, 인접한 지면데이터로부터 선형보간법을 이용하여 해당 픽셀의 좌표값을 추정하여 설정할 수 있다.
따라서, 본 발명은 데이터의 연산처리량을 최소화하면서도 정확한 거리 및 위치의 추정이 가능하도록 함으로써, 실시간으로 데이터를 처리해야 하는 자율주행 분야에서 최적의 방법을 제공할 수 있다.
이에, 본 발명은 자율주행에서 요구하는 고정밀의 GPS수신기나 스테레오카메라 등과 같은 고가의 장비를 사용하지 않으면서도, 충분한 신뢰성을 갖는 정보를 실시간으로 획득할 수 있다.
이상에서 본 발명에 의한 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 한다.
본 발명은 자율주행 분야, 자율주행용 객체 인식 분야, 자율주행 차량 위치추적 분야는 물론 이와 유사 내지 연관된 분야에서 이용가능하며, 해당 분야에서의 제품에 대한 신뢰성 및 경쟁력을 향상시킬 수 있다.

Claims (10)

  1. 모노카메라(Mono camera)에 의해 촬영된 2차원 영상이미지를 획득하는 영상이미지 획득단계;
    3차원 라이다(LiDAR)에 의해 측정된 지면데이터를 획득하는 라이다데이터 획득단계;
    상기 영상이미지의 2차원 픽셀과 3차원 라이다의 좌표계를 매칭시키는 좌표계 매칭단계; 및
    상기 영상이미지의 지면에 대상객체가 위치한 경우, 대상객체가 위치한 픽셀에 매칭된 라이다좌표값에 의해 해당 객체까지의 거리를 추정하는 객체거리 추정단계;를 포함하는 모노카메라를 이용한 자율주행 차량의 거리 추정 방법.
  2. 제 1항에 있어서,
    상기 영상이미지 획득단계는,
    상기 모노카메라에 의해 영상을 촬영하는 영상촬영과정; 및
    촬영된 영상에 대하여, 상기 모노카메라의 렌즈에 의한 왜곡을 보정하는 렌즈왜곡 보정과정;을 포함하는 모노카메라를 이용한 자율주행 차량의 거리 추정 방법.
  3. 제 1항에 있어서,
    상기 좌표계 매칭단계는,
    상기 영상이미지와 지면데이터를 중첩시키는 데이터 중첩과정;
    상기 지면데이터와 중첩되는 픽셀의 경우, 해당 지면데이터를 해당 픽셀의 라이다좌표값으로 설정하는 직접매칭과정; 및
    상기 지면데이터와 중첩되지 않는 픽셀의 경우, 상기 지면데이터로부터 추정하여 라이다좌표값을 설정하는 확장매칭과정;을 포함하는 것을 특징으로 하는 모노카메라를 이용한 자율주행 차량의 거리 추정 방법.
  4. 제 3항에 있어서,
    상기 확장매칭과정은,
    상기 지면데이터와 중첩되지 않는 픽셀의 경우, 인접한 지면데이터로부터 선형보간법을 이용하여 해당 픽셀의 좌표값을 추정하여 설정하는 것을 특징으로 하는 모노카메라를 이용한 자율주행 차량의 거리 추정 방법.
  5. 모노카메라(Mono camera)에 의해 촬영된 2차원 영상이미지를 영상처리하여 자율주행용 객체와의 상대적 위치를 산출하는 상대위치 산출단계;
    자율주행용 정밀도로지도(HD-map) 상에서, 해당 자율주행용 객체를 확인하는 대상객체 확인단계; 및
    상기 자율주행용 정밀도로지도 상에서, 해당 자율주행용 객체와의 상대적 위치를 적용하여 현재 차량의 위치를 확인하는 차량위치 확인단계;를 포함하는 모노카메라를 이용한 자율주행 차량의 위치 추정 방법.
  6. 제 5항에 있어서,
    상기 상대위치 산출단계는,
    모노카메라를 이용하여 특정 방향의 2차원 영상이미지를 획득하는 2차원이미지 획득과정;
    상기 2차원이미지에 포함된 자율주행용 객체를 확인하고, 해당 자율주행용 객체까지의 방향 및 거리를 추정하는 객체위치 산출과정; 및
    상기 자율주행용 객체를 기준으로 차량의 상대적 위치를 추정하는 차량위치 산출과정;을 포함하는 것을 특징으로 하는 모노카메라를 이용한 자율주행 차량의 위치 추정 방법.
  7. 제 5항에 있어서,
    상기 상대위치 산출단계는,
    모노카메라를 이용하여 특정 방향의 2차원 영상이미지를 획득하는 2차원이미지 획득과정;
    상기 2차원이미지에 포함된 자율주행용 객체를 확인하고, 적어도 3개의 자율주행용 객체까지의 거리를 추정하는 객체위치 산출과정; 및
    상기 자율주행용 객체들을 기준으로 차량의 상대적 위치를 추정하는 차량위치 산출과정;을 포함하는 것을 특징으로 하는 모노카메라를 이용한 자율주행 차량의 위치 추정 방법.
  8. 제 6항 및 제 7항 중 어느 한 항에 있어서,
    상기 객체위치 산출과정은,
    상기 2차원이미지의 픽셀별로 3차원 라이다(LiDAR)에 의해 측정된 지면데이터를 매칭하고, 상기 지면데이터가 매칭된 픽셀의 라이다좌표값에 기초하여 해당 자율주행용 객체까지의 거리 및 방향 중 적어도 하나를 추정하는 것을 특징으로 하는 모노카메라를 이용한 자율주행 차량의 위치 추정 방법.
  9. 제 8항에 있어서,
    상기 객체위치 산출과정은,
    상기 2차원이미지와 지면데이터를 중첩시킨 후, 상기 지면데이터와 중첩되는 픽셀은 해당 지면데이터를 해당 픽셀의 라이다좌표값으로 설정하고, 상기 지면데이터와 중첩되지 않는 픽셀은 상기 지면데이터로부터 추정하여 라이다좌표값을 설정하는 것을 특징으로 하는 모노카메라를 이용한 자율주행 차량의 위치 추정 방법.
  10. 제 9항에 있어서,
    상기 객체위치 산출과정은,
    상기 지면데이터와 중첩되지 않는 픽셀의 경우, 인접한 지면데이터로부터 선형보간법을 이용하여 해당 픽셀의 좌표값을 추정하여 설정하는 것을 특징으로 하는 모노카메라를 이용한 자율주행 차량의 위치 추정 방법.
PCT/KR2019/006644 2019-05-23 2019-06-03 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법 WO2020235734A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/282,950 US20210387636A1 (en) 2019-05-23 2019-06-03 Method for estimating distance to and location of autonomous vehicle by using mono camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190060481A KR102103944B1 (ko) 2019-05-23 2019-05-23 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
KR10-2019-0060481 2019-05-23

Publications (1)

Publication Number Publication Date
WO2020235734A1 true WO2020235734A1 (ko) 2020-11-26

Family

ID=70472671

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/006644 WO2020235734A1 (ko) 2019-05-23 2019-06-03 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법

Country Status (3)

Country Link
US (1) US20210387636A1 (ko)
KR (1) KR102103944B1 (ko)
WO (1) WO2020235734A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102535115B1 (ko) * 2020-10-26 2023-05-23 씨드로닉스(주) 선박 및 항만 모니터링 장치 및 방법
KR102473165B1 (ko) * 2020-07-30 2022-12-01 한국과학기술연구원 3d 환경 모델을 이용하여 피사체의 실제 크기를 측정 가능한 cctv 관제 시스템
KR102360105B1 (ko) 2020-12-29 2022-02-14 주식회사 포커스비전 영상 블러를 이용한 3차원 영상 생성방법
KR102325124B1 (ko) * 2021-04-27 2021-11-12 주식회사 모빌테크 기계 학습 및 모노 카메라로 물체의 위치 정보를 획득하는 차량
KR102669483B1 (ko) 2021-04-28 2024-05-27 부산대학교 산학협력단 단안 이미지를 이용한 뎁스 맵 생성 장치 및 방법
KR102587292B1 (ko) 2022-07-25 2023-10-12 서울대학교산학협력단 자체움직임 측정을 위한 레이더 센서 배치와 알고리즘

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101420684B1 (ko) * 2008-02-13 2014-07-21 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
KR20150051735A (ko) * 2013-11-05 2015-05-13 현대모비스 주식회사 주차 보조 시스템 및 그 방법
KR20170057684A (ko) * 2015-11-17 2017-05-25 현대오트론 주식회사 전방 카메라를 이용한 주차 지원 방법
KR20180068490A (ko) * 2016-12-14 2018-06-22 현대자동차주식회사 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101765746B1 (ko) 2015-09-25 2017-08-08 서울대학교산학협력단 다중 저가형 gps를 이용한 농업용 무인 트랙터의 자율주행용 위치 추정방법 및 시스템
KR102462502B1 (ko) 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
KR20240005161A (ko) * 2016-12-09 2024-01-11 톰톰 글로벌 콘텐트 비.브이. 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템
US10861176B2 (en) * 2018-11-27 2020-12-08 GM Global Technology Operations LLC Systems and methods for enhanced distance estimation by a mono-camera using radar and motion data
US20230273302A1 (en) * 2022-02-28 2023-08-31 Hl Klemove Corp. Method and apparatus for correcting distance distortion to improve detection accuracy of lidar

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101420684B1 (ko) * 2008-02-13 2014-07-21 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
KR20150051735A (ko) * 2013-11-05 2015-05-13 현대모비스 주식회사 주차 보조 시스템 및 그 방법
KR20170057684A (ko) * 2015-11-17 2017-05-25 현대오트론 주식회사 전방 카메라를 이용한 주차 지원 방법
KR20180068490A (ko) * 2016-12-14 2018-06-22 현대자동차주식회사 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS, DBPIA, 6 February 2020 (2020-02-06), XP055762939, Retrieved from the Internet <URL:https://dbpia.co.kr/journal/articleDetail?nodeId=NODE07204808> *

Also Published As

Publication number Publication date
US20210387636A1 (en) 2021-12-16
KR102103944B1 (ko) 2020-04-23

Similar Documents

Publication Publication Date Title
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2021112462A1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
WO2019225817A1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체
CN108692719B (zh) 物体检测装置
WO2019139243A1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
WO2015105239A1 (ko) 차량 및 차선 위치 검출 시스템 및 방법
KR20200064873A (ko) 객체와 감지 카메라의 거리차를 이용한 속도 검출 방법
WO2015178542A1 (ko) 카메라 파라미터 측정 장치 및 그 방법
WO2021006441A1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
WO2017116134A1 (ko) 레이더 및 영상 융합 차량 단속시스템
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
WO2019147024A1 (ko) 다른 초점 거리를 갖는 두 개의 카메라를 이용한 객체 검출 방법 및 그 장치
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
WO2018101603A1 (ko) 스테레오 카메라를 이용한 도로객체 인식방법 및 장치
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
CN114543819B (zh) 车辆定位方法、装置、电子设备及存储介质
US11527006B2 (en) System and method for dynamic stereoscopic calibration
WO2012148025A1 (ko) 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법
CN112017238A (zh) 一种线状物体的空间位置信息确定方法及装置
WO2013022153A1 (en) Apparatus and method for detecting lane
CN111353453A (zh) 用于车辆的障碍物检测方法和装置
WO2022114455A1 (ko) 노면 영상정보를 이용한 자율주행 차량의 위치신호 보정장치
WO2018101746A2 (ko) 도로면 폐색 영역 복원 장치 및 방법
US11087150B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
JP3348939B2 (ja) 車輌用距離検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19929961

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19929961

Country of ref document: EP

Kind code of ref document: A1