KR20170014916A

KR20170014916A - Method for calculating an object's coordinates in an image using single camera and gps

Info

Publication number: KR20170014916A
Application number: KR1020150108960A
Authority: KR
Inventors: 권기룡; 이석환; 성택영
Original assignee: 부경대학교 산학협력단
Priority date: 2015-07-31
Filing date: 2015-07-31
Publication date: 2017-02-08
Also published as: KR101709317B1

Abstract

The present invention relates to a method for calculating coordinates of an object in an image using a single camera and a GPS, which includes the steps of: recognizing a first object (T1) captured in an image of a single camera installed in a vehicle and estimating an actual distance (D1) between the single camera and the first object (T1) based on a pixel size of the first object (T1); acquiring coordinates (Carlat and Carlong) of the vehicle and a progress direction () of the vehicle with respect to the true north direction (N=0) using a GPS receiver installed in the vehicle; and calculating coordinates (T1lat and T1long) of the first object (T1) based on the actual distance (D1), the coordinates (Carlat and Carlong) of the vehicle and the progress direction () of the vehicle. In the present invention, because coordinates of an object are calculated using a single camera, a location of the object may be simply and economically calculated.

Description

단일 카메라와 ＧＰＳ를 이용한 영상 내 객체의 좌표 산출 방법{METHOD FOR CALCULATING AN OBJECT'S COORDINATES IN AN IMAGE USING SINGLE CAMERA AND GPS}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method of calculating coordinates of an object in an image using a single camera and a GPS,

본 발명은 차량 내 탑재된 단일 카메라 및 GPS 수신기를 이용하여, 단일 카메라의 속성 정보, 영상 내 소실점, 객체의 화소 크기를 이용하여 카메라와 객체 간 거리를 추정한 뒤, GPS를 통해 획득한 차량의 진행 방향 및 차량의 좌표를 이용하여 객체의 좌표를 산출하는 방법에 관한 것이다.The present invention estimates a distance between a camera and an object by using a single camera and a GPS receiver mounted on a vehicle, using property information of a single camera, a vanishing point in the image, and a pixel size of the object, And a method of calculating the coordinates of an object using the direction of travel and the coordinates of the vehicle.

ADAS(Advanced Driver Assistance Systems)와 더불어 자율 주행 자동차의 기술적 구현을 위해서는 전방의 보행자와 차량, 정지선과 신호등, 도로표지 등 차량 주변에 존재하는 객체에 대한 정보 수집이 반드시 필요하다. 수집해야 할 정보들 중 객체의 위치 정보는 차량의 가속/감속 및 충돌 회피 등을 위해 사용되는 중요한 정보이다. 또한, MMS(Moblie Mapping System)을 이용한 도로표지 정보 수집 및 관리 시스템의 경우에도 수집된 도로표지 영상들로부터 위치 정보를 산출하는 것이 요구된다.In addition to Advanced Driver Assistance Systems (ADAS), it is essential to collect information about objects in the vicinity of vehicles such as pedestrians, vehicles, stop lines, traffic lights, and road signs in front of the vehicle in order to implement the autonomous vehicles. Among the information to be collected, the position information of the object is important information used for acceleration / deceleration and collision avoidance of the vehicle. Also, in the case of a road sign information collection and management system using an MMS (Moblie Mapping System), it is required to calculate position information from collected road sign images.

영상 내 임의의 객체에 대한 거리 정보를 산출하기 위해 일반적으로 스테레오 카메라를 이용하는 방식을 따른다. 스테레오 카메라를 이용한 거리 추정 기법에서는 거리 추정에 사용되는 두 대의 카메라를 위한 매우 정교한 교정(Calibration) 과정을 수행해야 하며, 두 개의 시점을 통해 객체를 보기 때문에 멀리 있는 객체의 시차(disparity)는 0에 가깝다. 따라서, 이런 경우에는 객체의 거리 정보를 얻기 어렵다. 또한, 처리해야 할 정보의 양도 단일 카메라에 비해 2배 정도 많아, 계산 복잡도가 높은 단점도 있다.In order to calculate the distance information for an arbitrary object in the image, generally a stereo camera is used. In the distance estimation method using a stereo camera, a very precise calibration process for two cameras used for distance estimation should be performed. Since the object is viewed through two view points, the disparity of the object at a distance is 0 close. Therefore, in this case, it is difficult to obtain the distance information of the object. In addition, the amount of information to be processed is twice as many as that of a single camera, and the computational complexity is high.

스테레오 카메라를 이용한 방식이 가지는 계산 복잡도와 초기 교정(Calibration)의 어려움을 극복하고자 단일 카메라에서 획득한 영상 내 빛의 기하학적 분포를 분석해 객체의 거리 정보를 추정하는 방법이 있다. 초기의 연구 중, 빛의 전체 기하학적 분포를 나타내기 위해 플렌옵틱 함수를 사용한 시스템은 일반적인 렌즈를 사용하고 센서면에 곤충의 겹눈과 같은 집합렌즈 배열(Lenticular Array)을 두었다. 각각의 렌즈는 핀홀 카메라와 같은 역할을 하고, 렌즈로 입사되는 빛의 분포가 감광소자 배열에 감광된다. 집합렌즈 배열을 통과한 영상은 연속적으로 이동하는 시점을 가진다. 이에 따라, 상대적인 영상의 시점 변화를 측정하여 거리 정보를 측정할 수 있다. 또, 단일 렌즈와 단일의 센서만을 사용하여 깊이 정보를 추정하기 위한 기법으로 카메라 조리개의 구조를 바꾸어 센서에 닿는 빛의 경로를 변화시켜 거리 정보를 계산한다. 다른 방법으로는, 하나의 렌즈와 3개의 CCD(Charge-coupled Device)를 이용하여 깊이 정보를 추출하는 다중 초점 카메라가 있다. 또, 두 개의 평면거울을 이용하여 한 대의 카메라로 두 개의 영상을 획득하는 기술과 이중 프리즘(Biprism)을 이용한 단일 렌즈 스테레오 영상 생성 기술도 사용한다. 그러나, 플렌옵틱 함수를 이용한 방법 및 프리즘을 이용한 방법들은 단일 카메라로부터 거리 정보를 추정한다는 장점은 있으나 계산 복잡도 및 기계 장치 구성의 복잡성 면에서는 스테레오 카메라 방식보다 훨씬 높으며 해상도는 절반 정도로 낮다는 단점이 있다. 따라서, 본 발명에서는 단안 카메라가 가지는 해상도, 화각, 초점 거리와 같은 정보와 소실점으로부터 화면 외각으로 멀어지는 영상 내 객체의 상대 거리 추정 관계식을 이용한 좌표 정보 추정 방법을 제안한다. 본 방법은 해상도의 변화 없이 낮은 계산 복잡도로 단안 카메라로부터 획득한 영상 내 객체에 대한 위치 좌표 정보를 산출할 수 있다. In order to overcome the computational complexity and the difficulty of the initial calibration, there is a method of estimating the distance information of the object by analyzing the geometric distribution of light in the image acquired by a single camera. In the initial study, the system using the plane optic function to represent the overall geometric distribution of light used a common lens and placed a lenticular array like the compound eye of the insect on the sensor surface. Each lens functions like a pinhole camera, and the distribution of light incident on the lens is sensitized to the photosensitive element array. An image passed through the set lens array has a point of continuously moving. Accordingly, the distance information can be measured by measuring the change in the viewpoint of the relative image. In addition, a technique for estimating depth information using only a single lens and a single sensor changes the structure of the camera iris to calculate the distance information by changing the path of light reaching the sensor. As another method, there is a multi-focus camera that extracts depth information using one lens and three CCD (Charge-coupled Device). It also uses two plane mirrors to acquire two images with one camera and a single lens stereo image generation technique using a double prism (Biprism). However, the method using the plane optical function and the method using the prism have an advantage of estimating the distance information from a single camera, but the computational complexity and the complexity of the mechanical device configuration are much higher than the stereo camera method and the resolution is about half . Accordingly, the present invention proposes a coordinate information estimation method using information such as a resolution, an angle of view, and a focal distance of a monocular camera and a relative distance estimation relation of an object in an image away from the vanishing point to the screen. The method can calculate position coordinate information for an object in an image acquired from a monocular camera with a low computational complexity without changing the resolution.

본 발명은 종래의 스테레오 비전에 기초한 상대 거리 산출 기법이 가지는 복잡한 계산 방식과, 원거리 객체에 대한 상대 거리 산출의 부정확도를 해결할 수 있는 새로운 영상 내 객체의 좌표 산출 방법을 제공하고자 한다.The present invention provides a method of calculating a coordinate of an object in a new image that can solve the complex calculation method of the conventional stereo vision-based relative distance calculation technique and the inaccuracy of calculating the relative distance to a distant object.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 단일 카메라와 GPS를 이용한 영상 내 객체의 좌표 산출 방법은, 차량에 설치된 단일 카메라의 영상에 포착된 제1 객체(T1)를 인식하고, 상기 제1 객체(T1)의 화소 크기로부터 상기 단일 카메라로부터 상기 제1 객체(T1)까지의 실제 거리(D1)를 추정하는 단계; 차량에 설치된 GPS 수신기를 이용하여 상기 차량의 좌표(Car_lat, Car_long) 및 정북향(N=0°)에 대한 상기 차량의 진행 방향(θ)을 획득하는 단계; 및 상기 실제 거리(D1)와 상기 차량의 좌표(Car_lat, Car_long) 및 상기 차량의 진행 방향(θ)에 기초하여, 상기 제1 객체(T1)의 좌표(T1_lat, T1_long)를 산출하는 단계;를 포함한다. According to an embodiment of the present invention, there is provided a method of calculating coordinates of an object in an image using a single camera and a GPS, the method comprising: recognizing a first object (T1) captured by an image of a single camera installed in a vehicle; Estimating an actual distance (D1) from the single camera to the first object (T1) from a pixel size of one object (T1); Acquiring the traveling direction (?) Of the vehicle with respect to the coordinates (Car _lat , Car _long ) and the forward north direction (N = 0 °) of the vehicle using a GPS receiver installed in the vehicle; (T1 _lat , T1 _long ) of the first object (T1) based on the actual distance (D1), the coordinates of the vehicle (Car _lat , Car _long ) ; &Lt; / RTI >

또한, 상기 제1 객체(T1)의 좌표(T1_lat, T1_long)를 산출하는 단계는, 상기 영상 내에서, 아래의 식 (1)을 이용하여, 가로 픽셀(Pixel_x)의 중앙선으로부터 상기 제1 객체(T1)에 이르는 횡방향 거리(d_x)를 산출하는 단계; The step of calculating the coordinates (T1 _lat , T1 _long ) of the first object (T1) may further comprise the step of calculating, from the center line of the horizontal pixel (Pixel _x ) Calculating a lateral distance (d _x ) to one object (T1);

[dx = Pixel_x(T1) - (Pixel_x/2)] 식 (1)[dx = Pixel _x (T1) - (Pixel _x / 2)

상기 횡방향 거리(d_x), 상기 단일 카메라의 해상도(Pixel_x, Pixel_y) 및 상기 단일 카메라의 화각(α)로부터, 아래 식 (2)를 이용하여, 상기 차량의 진행 방향(θ)과 상기 제1 객체(T1) 사이의 방위각(az)을 산출하는 단계;(2) from the horizontal distance d _x , the resolution (Pixel _x , Pixel _y ) of the single camera, and the angle of view (?) Of the single camera. Calculating an azimuth (az) between the first objects (T1);

[az = {dx/(Pixel_x/2)} × (α/2)] 식 (2)(az = {dx / (Pixel _x / 2)} x (? / 2)

상기 차량의 진행 방향(θ)과 상기 방위각(az)으로부터, 아래 식 (3)을 이용하여, 차량의 중심에 대한 상기 제1 객체(T1)의 위도 거리(d_lat) 및 경도 거리(d_long)를 산출하는 단계; 및The latitude distance d _lat and the longitude distance d _{long of} the first object T1 with respect to the center of the vehicle are calculated from the traveling direction of the vehicle and the azimuth az using the following equation ); And

[d_lat= D1 × cos(θ+az)][ _dlat = D1xcos ([theta] + az)]

[d_long= D1 × sin(θ+az)] 식 (3)(d _long = D1 x sin (? + az)

상기 차량의 좌표(Car_lat, Car_long), 상기 제1 객체(T1)의 위도 거리(d_lat) 및 경도 거리(d_long)로부터, 아래의 식 (4)를 이용하여, 상기 제1 객체(T1)의 좌표(T1_lat, T1_long)를 산출하는 단계;(4) from the coordinates (Car _lat , Car _long ) of the vehicle, the latitude distance (d _lat ) and the longitude distance (d _long ) of the first object (T1) Calculating a coordinate (T1 _lat , T1 _long ) of the _pixel (T1);

[T1_lat= Car_lat + d_lat/(위도 1°길이)] [T1 _lat = Car _lat + d _lat / (latitude 1 ° length)]

[T1_long = Car_long + d_long/(경도 1°길이)] 식 (4)[T1 _long Car _long = _long + d / (hardness of 1 ° in length)] Equation (4)

를 포함할 수 있다.. &Lt; / RTI >

또한, 상기 실제 거리(D1)를 추정하는 단계는, 상기 제1 객체(T1)를 상기 카메라로부터 거리를 일정하게 달리하여 위치 설치한 후, 동일한 카메라를 이용하여 상기 제1 객체(T1)를 각 위치마다 촬상하여 상기 카메라의 영상에 포착된 상기 제1 객체(T1)의 화소 크기를 각 거리 별로 매칭한 데이터를 준비하는 단계; 상기 데이터로부터 상기 카메라의 영상에 포착된 제1 객체(T1)의 화소 크기에 대응하는 거리를 상기 단일 카메라로부터 상기 제1 객체(T1)까지의 실제 거리(D1)로 추정하는 단계;를 포함할 수 있다.The step of estimating the actual distance D1 may include positioning the first object T1 at a constant distance from the camera and then using the same camera to determine the first object T1 Preparing data matching the pixel size of the first object (T1) captured by the image of the camera with each distance by imaging each position; Estimating a distance corresponding to a pixel size of the first object (T1) captured in the camera image from the data to an actual distance (D1) from the single camera to the first object (T1) .

또한, 상기 제1 객체(T1)의 크기와 상이한 크기를 갖는 제2 객체(T2)에 대해서는, 상기 제1 객체(T1)와 상기 제2 객체(T2)의 크기 비율에 기초하여, 상기 제2 객체(T2)의 화소 크기를 추정하고, 상기 데이터를 활용하여, 상기 추정된 제2 객체(T2)의 화소 크기에 대응하는 거리를 상기 단일 카메라로부터 상기 제2 객체(T2)까지의 실제 거리(D2)로 추정할 수 있다.For the second object T2 having a size different from the size of the first object T1, on the basis of the size ratio of the first object T1 and the second object T2, Estimating a pixel size of the object T2 and using the data to calculate a distance corresponding to a pixel size of the estimated second object T2 from an actual distance from the single camera T2 to the second object T2 D2).

본 발명에 따르면, 단일 카메라를 사용하여 객체의 위치 좌표를 산출 가능하기 때문에, 종래의 스테레오 카메라를 이용한 좌표 산출 방식과 비교하여 단순하고 경제적으로 객체의 위치를 산출하는 효과가 있다.According to the present invention, since the positional coordinates of an object can be calculated using a single camera, there is an effect of calculating the position of the object simply and economically as compared with a coordinate calculation method using a conventional stereo camera.

또한, 차량 내 탑재된 단일 카메라와 GPS 수신기를 이용한 자동화된 객체 정보 수집 기술을 GIS(Geographic Information System)와 연동하여, 효과적으로 객체의 좌표를 산출하는 효과가 있다.In addition, an automatic object information collection technique using a single camera mounted on a vehicle and a GPS receiver is interlocked with a GIS (Geographic Information System) to effectively calculate the coordinates of an object.

도 1a 및 도 1b는 단일 카메라(Single Camera)와 스테레오 카메라(Stereo Camera)의 객체 위치 정보 산출 기법을 나타내는 블록도이다.
도 2는 객체의 픽셀 길이(화소 크기)에 따른 카메라와 객체 간 거리의 변화를 나타낸 그래프이다.
도 3은 카메라에 포착된 객체의 위치를 예시한 영상 화면이다.
도 4는 차량과 객체 사이의 방위각을 설명하기 위한 도면이다.
도 5는 차량과 객체 사이의 방위각 및 거리 관계를 설명하기 위한 도면이다.
도 6은 차량과 객체 사이의 거리, 방위각 및 차량 진행 방향의 관계를 설명하기 위한 도면이다.
도 7은 스테레오 카메라 시점에서의 카메라의 외부 매개 변수를 나타낸 도면이다.
도 8은 스테레오 비전의 기하학적 구조를 나타낸 도면이다.1A and 1B are block diagrams illustrating a method of calculating object position information of a single camera and a stereo camera.
2 is a graph showing a change in the distance between the camera and the object according to the pixel length (pixel size) of the object.
3 is an image screen illustrating the position of an object captured by the camera.
4 is a view for explaining the azimuth angle between the vehicle and the object.
5 is a view for explaining an azimuth angle and a distance relation between a vehicle and an object.
6 is a diagram for explaining the relationship between the distance between the vehicle and the object, the azimuth angle, and the vehicle traveling direction.
7 is a diagram showing the external parameters of the camera at the stereo camera view.
8 is a diagram showing the geometrical structure of the stereovision.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 뒤에 설명이 되는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐를 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 뒤에 설명되는 용어들은 본 발명에서의 구조, 역할 및 기능 등을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will be more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unnecessary. The terms described below are defined in consideration of the structure, role and function of the present invention, and may be changed according to the intention of the user, the intention of the operator, or the custom.

그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 오로지 특허청구범위에 기재된 청구항의 범주에 의하여 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. These embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art to which the present invention pertains, It is only defined by the scope of the claims. Therefore, the definition should be based on the contents throughout this specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.

이하에서는 첨부한 도면을 참조하며, 본 발명의 바람직한 실시 예들을 보다 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 일 실시 예에 따르면, 차량에 설치된 단일 카메라의 영상에 포착된 제1 객체(T1)를 인식하고, 상기 제1 객체(T1)의 화소 크기로부터 상기 단일 카메라로부터 상기 제1 객체(T1)까지의 실제 거리(D1)를 추정하는 단계를 포함한다. According to an embodiment of the present invention, a first object (T1) captured by an image of a single camera installed in a vehicle is recognized, and the first object (T1 Of the actual distance D1.

먼저, 이 단계에 앞서, 특정 크기를 갖는 제1 객체를 기준 타겟으로 정하고, 카메라와 이 기준 타겟 사이의 실제 거리 별로 제1 객체를 촬영하여 각각의 화상 크기를 측정하고, 이를 데이터로 저장한다. 즉, 제1 객체(T1)를 카메라로부터 거리를 일정하게 달리하여 위치 설정한 후, 동일한 카메라를 이용하여 제1 객체(T1)를 각 위치마다 촬상하여 카메라의 영상에 포착된 제1 객체(T1)의 화소 크기를 각 거리 별로 매칭한 데이터를 준비한다. 이에 따라, 제1 객체의 거리별 화소 크기에 대한 관계가 도출된다. 도 2는 객체의 픽셀 길이(화소 크기)에 따른 카메라와 객체 간 거리의 변화를 나타낸 그래프이다. 도 2에서는 제1 객체로서 도로 표지를 예로서 설명한다. 도로 표지는 표준 크기가 일반적으로 지름 60cm인 구조물로서, 실제 크기 60cm의 도로 표지를 예컨대, 카메라 전방으로 500cm, 1000cm, 1500cm, 2000cm, 2500cm, 3000cm, 35000cm에 위치를 변경하면서, 각 위치별로 도로 표지의 영상 내 화소 크기를 측정한다. 이에 따라, 화소 크기와 실제 거리 사이의 관계를 도출한다. 이에 더하여, 다른 표준 크기를 갖는 객체에 대해서도 동일한 방식을 수행하여 기록해두어도 좋다. 도 2에서와 같이, 실제 크기 19cm인 도로 표지와 실제 크기 100cm인 도로 표지에 대해서도 위와 동일한 방식을 수행해서 기록해두어도 좋다. 참고로, 본 단계에서의 영상을 통해 추정한 객체의 실제 크기별 화소 크기 관계는, 영상 내 가로, 세로축별 객체(도로 표지) 검출 영역의 크기 변화 평균값을 최소 제곱법을 이용하면 4차 추정 함수로 도출할 수도 있다. 이후, 이러한 데이터로부터 카메라의 영상에 포착된 제1 객체(T1)의 화소 크기에 대응하는 거리를 단일 카메라로부터 제1 객체(T1)까지의 실제 거리(D1)로 추정한다.First, prior to this step, a first object having a specific size is defined as a reference target, a first object is photographed for each actual distance between the camera and the reference target, and the respective image sizes are measured and stored as data. That is, after positioning the first object T 1 with a constant distance from the camera, the first object T 1 is captured at each position using the same camera, and the first object T 1 ) Are prepared for each distance. Accordingly, the relationship of the distance of the first object with respect to the pixel size is derived. 2 is a graph showing a change in the distance between the camera and the object according to the pixel length (pixel size) of the object. In Fig. 2, a road mark will be described as an example of a first object. The road sign is a structure having a standard size of 60 cm in diameter and a road sign having an actual size of 60 cm is changed to a position of 500 cm, 1000 cm, 1500 cm, 2000 cm, 2500 cm, 3000 cm, 35000 cm, And measures the pixel size of the image. Thus, the relationship between the pixel size and the actual distance is derived. In addition to this, objects having different standard sizes may be recorded in the same manner. As shown in FIG. 2, a road mark having an actual size of 19 cm and a road mark having an actual size of 100 cm may be recorded in the same manner as described above. For reference, the pixel-size relationship of the object estimated by the image in this step can be expressed as a fourth-order estimation function using the least squares method for the size change average value of the object (road marking) . Then, the distance corresponding to the pixel size of the first object (T1) captured by the camera image is estimated from the data as the actual distance (D1) from the single camera to the first object (T1).

다음, 차량에 설치된 GPS 수신기를 이용하여, 차량의 좌표(Car_lat, Car_long) 및 정북향(N=0°)에 대한 상기 차량의 진행 방향(θ)을 획득하는 단계를 포함한다. 단일 카메라로부터 획득한 영상은 정지 상태가 아니라 주행 중의 영상이기 때문에, 도로 표지의 좌표 정보 산출을 위해서는 GPS 수신기로부터 차량의 좌표(Car_lat, Car_long) 및 차량의 진행 방향(θ)을 함께 수신할 필요가 있다. 차량의 좌표를 수신하는 GPS 수신기는 차량 내부(또는, 카메라 근처)에 설치되므로, GPS 수신기의 좌표 위치를 카메라의 좌표 위치와 같은 것으로 간주한다.Next, using the GPS receiver installed in the vehicle, obtaining the traveling direction (?) Of the vehicle with respect to the coordinates (Car _lat , Car _long ) and the stationary north direction (N = 0 °) of the vehicle. Since the image obtained from a single camera is not a stationary state but an image during traveling, in order to calculate coordinate information of a road sign, the coordinates (Car _lat , Car _long ) of the vehicle and the traveling direction There is a need. Since the GPS receiver receiving the coordinates of the vehicle is installed inside the vehicle (or near the camera), the coordinate position of the GPS receiver is regarded as the coordinate position of the camera.

다음, 실제 거리(D1)와 차량의 좌표(Car_lat, Car_long) 및 차량의 진행 방향(θ)에 기초하여, 제1 객체(T1)의 좌표(T1_lat, T1_long)를 산출하는 단계를 포함한다. 앞서, 제1 객체의 실제 크기와 화소 크기 사이의 관계를 도출하고, 제1 객체와 카메라 사이의 실제 거리(D1)를 추정한 이후, 실제 거리(D1)에 기초하여 제1 객체의 실제 좌표(T1_lat, T1_long)를 산출한다. 제1 객체의 실제 좌표(T1_lat, T1_long)를 산출하는 단계에 대하여 아래에서 구체적으로 설명한다. Next, the step of calculating the coordinates (T1 _lat , T1 _long ) of the first object T1 based on the actual distance D1, the coordinates of the vehicle (Car _lat , Car _long ) and the traveling direction of the vehicle . After the relationship between the actual size of the first object and the pixel size is derived and the actual distance D1 between the first object and the camera is estimated, the actual coordinates of the first object T1 _lat , T1 _long ). The step of calculating the actual coordinates (T1 _lat , T1 _long ) of the first object will be described in detail below.

본원의 도 3은 단일 카메라에 포착된 객체(T1)의 위치를 예시한 영상 화면이고, 도 4는 차량 중심부와 객체(T1) 사이의 방위각을 설명하기 위한 도면이다. 도 3에서는 카메라 영상은 1280(Pixel_x)×720(Pixel_y) 화소이다. 이 경우, 영상의 가로 픽셀(Pixel_x)의 중앙선은 640px(즉, Pixel_x/2)에 위치하고, 가로 픽셀의 중앙선은 카메라의 시점과 차량의 진행 방향과 일치하므로, 도 3에서 차량의 진행 방향은 0도이다. 3 is a view illustrating the position of an object T1 captured by a single camera, and FIG. 4 is a diagram illustrating an azimuth angle between the center of the vehicle and the object T1. In Fig. 3, the camera image is 1280 (Pixel _x ) x 720 (Pixel _y ) pixels. In this case, the center line of the horizontal pixel (Pixel _x ) of the image is located at 640px (i.e., Pixel _x / 2), and the center line of the horizontal pixel coincides with the viewpoint of the camera and the traveling direction of the vehicle. Is 0 degrees.

본 발명의 일 실시예에 따른 제1 객체의 실제 좌표(T1_lat, T1_long)를 산출하는 단계는, i) 영상 내에서, 가로 픽셀(Pixel_x)의 중앙선으로부터 제1 객체(T1)에 이르는 횡방향 거리(d_x)를 산출하는 단계를 포함한다. 가로 픽셀(Pixel_x)의 중앙선으로부터 도로 표지까지의 횡방향 거리(dx)를 계산하면 식(A)와 같다. The step of calculating the actual coordinates (T1 _lat , T1 _long ) of the first object according to an embodiment of the present invention may include the steps of: (i) calculating, from the center line of the horizontal pixel (Pixel _x ) And calculating the lateral distance d _x . The lateral distance dx from the center line of the pixel _x to the road mark is calculated as shown in equation (A).

dx = Pixel(T1)- (Pixel_x/2) 식(A)dx = Pixel (T1) - (Pixel _x / 2)

다음, ii) 횡방향 거리(d_x), 단일 카메라의 해상도(Pixel_x, Pixel_y) 및 단일 카메라의 화각(α)로부터, 차량의 진행 방향(θ)과 제1 객체(T1) 사이의 방위각(az)을 산출하는 단계를 포함한다. 도 4에 도시된 바와 같이 카메라의 화각은 α이므로, 카메라는 가로 픽셀의 중앙선을 기준으로 좌우측으로 각각 (α/2)도 만큼 촬영한다. 예컨대, 도 4에서 카메라의 화각(α)은 70.42도이므로, 카메라는 가로 픽셀의 중앙선을 기준으로 좌우측으로 각각 35.21도 만큼 촬영한다. 주어진 관계값들을 이용하여 방위각(az)을 추정하면 아래의 식(B)와 같다.And then, ii) the azimuth angle between the lateral distance (d _x), the resolution of the single camera (Pixel _x, Pixel _y) and from the angle of view (α) of a single camera, the direction of movement of the vehicle (θ) to the first object (T1) (az). As shown in FIG. 4, since the angle of view of the camera is?, The camera photographs the left and right sides with respect to the center line of the horizontal pixels by (? / 2) degrees. For example, since the angle of view? Of the camera is 70.42 degrees in FIG. 4, the camera shoots 35.21 degrees to the left and right sides with respect to the center line of the horizontal pixels. Estimating the azimuth (az) using given relationship values is shown in equation (B) below.

az = {dx/(Pixel_x/2)} × (α/2) 식(B)az = {dx / (Pixel _x / 2)} _x /

다음, iii) 차량의 진행 방향(θ)과 방위각(az)으로부터, 차량의 중심에 대한 제1 객체(T1)의 위도 거리(d_lat) 및 경도 거리(d_long)를 산출하는 단계를 포함한다. 제1 객체(T1)의 좌표를 산출하려면, 차량이 어느 방향을 향해 이동하는지에 대한 정보가 필요하다. 이를 감안하여. 국제 표준 내비게이션 시스템에 따라 0°를 기준 방향인 북으로 두고, 카메라와 영상 내 객체 간의 상대적인 방위각(az)에 GPS 수신기로부터 수신한 차량의 이동 방향(θ)을 추가한다. 도 6은 차량과 제1 객체(T1) 사이의 거리 및 방향 관계를 설명하기 위한 도면이다. 도 6을 참조하면, 제1 객체(T1)의 위도 거리(log_lat)와 경도 거리(log_long)는 아래의 (식 C)와 같이 나타낼 수 있다. Next, i) calculating the latitude distance d _lat and the hardness distance d _{long of} the first object T1 with respect to the center of the vehicle, from the direction of the vehicle &thetas; and azimuth az . In order to calculate the coordinates of the first object T1, information as to which direction the vehicle moves toward is required. With this in mind. According to the international standard navigation system, 0 ° is the reference direction north, and the moving direction (θ) of the vehicle received from the GPS receiver is added to the relative azimuth (az) between the camera and the object in the image. 6 is a view for explaining a distance and a directional relationship between the vehicle and the first object T1. Referring to FIG. 6, the log _lat and the log _{long of} the first object T1 can be expressed by the following formula (C).

d_lat= D1 × cos(θ+az)d _lat = D1 x cos ([theta] + az)

d_long= D1 × sin(θ+az) (식 C)d _long = D1 x sin (? + az) (Formula C)

다음, iv) 차량의 좌표(Car_lat, Car_long), 제1 객체(T1)의 위도 거리(d_lat) 및 경도 거리(d_long)로부터, 제1 객체(T1)의 좌표(T1_lat, T1_long)를 산출하는 단계를 포함한다. 먼저, 상기 (식 C)의 값을 위도 및 경도의 단위로 환산하면, 아래의 (식 D)과 같다. 이때, 지역에 따라 위도 1° 또는 경도 1°에 대응하는 실제의 거리가 다르다. 국내의 경우, 경도 1° 길이는 대략 90,127.18m이고, 위도 1° 길이는 대략 111,128,198m이다.Next, iv) the coordinates of the vehicle (Car _lat, Car _long) the first object (T1) latitude distance (d _lat) and longitude distance (d _long) from the first object (T1) coordinates (T1 _lat, T1 of the _long ). First, the value of (C) is converted into units of latitude and longitude, and it is as shown in the following (D). At this time, the actual distance corresponding to latitude 1 ° or hardness 1 ° varies depending on the region. In Korea, the length of 1 ° is approximately 90,127.18m and the length of 1 ° is approximately 111,128,198m.

d_lat/(위도 1°길이)d _lat / (latitude 1 ° length)

d_long/(경도 1°길이) (식 D)d _long / (hardness 1 DEG length) (formula D)

이어서, 차량으로부터 수신한 차량의 위도(Car_lat) 및 경도(Car_long) 좌표로부터, 객체의 좌표(T1_lat, T1_long)는 아래의 (식 E)와 같이 산출된다. Subsequently, the coordinates (T1 _lat , T1 _long ) of the object are calculated from the latitude (Car _lat ) and the longitude (Car _long ) coordinates of the vehicle received from the vehicle, as shown in (E) below.

T1_lat = Car_lat + d_lat/(위도 1°길이) T1_lat = Car_lat + d_lat/ (Latitude 1 ° length)

T1_long = Car_long + d_long/(경도 1°길이) 식 (E)T1 _long Car _long = _long + d / (hardness of 1 ° long) formula (E)

한편, 본 발명의 일 실시예에 따르면, 제1 객체(T1)와 크기가 상이한 다른 객체(제2 객체; T2)에 대해서도, 전술한 바와 동일한 방법을 사용하여 좌표를 산출할 수 있다. 카메라의 영상에 포착된 제1 객체(T1)의 화소 크기를 각 거리 별로 매칭한 데이터를, 제2 객체(T2)에 활용한다. 구체적으로, i) 제1 객체(T1)의 크기와 상이한 크기를 갖는 제2 객체(T2)에 대해서는, 제1 객체(T1)와 제2 객체(T2)의 크기 비율에 기초하여, 제2 객체(T2)의 화소 크기를 추정하고, ii) 제1 객체를 기준으로 미리 준비한 데이터를 활용하여, 추정된 제2 객체(T2)의 화소 크기에 대응하는 거리를 단일 카메라로부터 제2 객체(T2)까지의 실제 거리(D2)로 추정한다.According to an embodiment of the present invention, the coordinates may be calculated using the same method as described above also for another object (second object) T2 having a different size from the first object T1. Data obtained by matching the pixel size of the first object (T1) captured by the image of the camera with each distance is utilized for the second object (T2). Specifically, for a second object T2 having a size different from the size of the first object T1, based on the ratio of the sizes of the first object T1 and the second object T2, Ii) estimating a distance corresponding to a pixel size of the estimated second object T2 from a single camera to a second object T2 by using data prepared in advance based on the first object, The actual distance D2 to the actual distance D2.

이는, 제2 객체의 실제 크기가 제1 객체와 상이하다고 하더라도, 카메라의 영상에 포착되는 제1 객체의 화상 크기에 대한 제2 객체의 크기의 비율 역시, 제1 객체의 실제 크기에 대한 제2 객체의 크기 비율을 따라 변화한다는 점에 착안한 것이다. 예컨대, 도 2를 다시 참조하면, 제1 객체의 실제 크기가 60cm인 경우, 카메라의 영상 속에 화상 크기가 200px로 관측된다면, 그때의 실제 거리(D1)는 카메라 전방 300cm라고 추정할 수 있다. 그런데, 만일, 제2 객체의 실제 크기가 90cm라고 할 때, 제2 객체는 제1 객체에 비하여 실제 크기가 1.5배 크므로, 제2 객체의 각 거리에 따른 화소의 크기는 제1 객체의 1.5배라고 가정하는 것이다. 예컨대, 도 2에서, 제2 객체(T2)는 화소 크기가 200px의 1.5배인 300px인 지점에 있을 때 실제 거기(D2)가 카메라 전방 300cm라고 추정하는 것이다. 이러한 기술적 원리에 따르면, 특정 크기를 갖는 제1 객체(T1)를 기준으로 측정한 카메라 전방 거리와 각 거리에서의 화상 크기 사이의 관계 데이터를 활용하여, 크기가 상이한 다른 객체의 실제 거리까지 추정 가능하다. This is because even if the actual size of the second object is different from the first object, the ratio of the size of the second object to the image size of the first object captured in the image of the camera is also the second size And changes depending on the size ratio of the object. For example, referring back to FIG. 2, if the actual size of the first object is 60 cm, if the image size is 200 px in the image of the camera, the actual distance D1 at that time can be estimated to be 300 cm in front of the camera. If the actual size of the second object is 90 cm, the actual size of the second object is 1.5 times larger than that of the first object, so the size of the pixel along each distance of the second object is 1.5 It is supposed to be a ship. For example, in FIG. 2, the second object T2 is estimated to be 300 cm ahead of the camera when the pixel size is 300px which is 1.5 times the pixel size of 200px. According to this technical principle, by using the relationship data between the camera front distance measured based on the first object (T1) having a specific size and the image size at each distance, it is possible to estimate the actual distance of another object having a different size Do.

한편, 본 발명의 다른 실시예에 따르면, 이동하는 카메라로부터 획득된 동일 객체에 대한 영상들 중, 카메라로부터 가까운 거리에 촬상된 객체에 대하여, 스테레오 카메라를 이용하여 깊이 정보를 추출함으로써 단일 카메라의 실제 위치 추정 값을 보정하는 단계를 더 포함할 수 있다. 이는 단일 카메라를 이용한 카메라와 객체 간 실제 거리(D) 추정에 포함될 수 있는 오차를 보정하기 위한 것이다.According to another embodiment of the present invention, among the images of the same object obtained from the moving camera, depth information is extracted using a stereo camera for an object picked up at a distance from the camera, And correcting the estimated position value. This is for correcting the error that can be included in the actual distance D estimation between the camera and the object using a single camera.

카메라 보정은 두 카메라의 고유 및 비 외부 매개 변수를 얻기 위해 필요하다. 고유 변수는 초점 길이, 주점, 왜곡 계수 및 각 '카메라 행렬'이라 불리는 행렬 구조로 이루어진 각 각의 매개변수의 에러율에 따른 왜곡을 포함한다. 카메라 행렬의 모양은 다음과 같다.Camera calibration is necessary to obtain the intrinsic and non-extrinsic parameters of both cameras. The eigenvalues include distortion due to the error rate of each parameter of the focal length, principal point, distortion coefficient, and matrix structure called each 'camera matrix'. The shape of the camera matrix is as follows.

(식 F)

(Formula F)

이때, f _c ()는 초점거리(Focal length)이고, 픽셀 단위의 초점 거리는 2x1 f _c () 벡터에 저장된다. 그리고, 주점(Principal Point)의 좌표들은 2x1 cc 벡터에 저장되고, 왜곡 계수(Skew Coeff.)는 x와 y 사이의 각도를 의미하며, 스칼라 α_c에 저장된다. 그리고, 이미지 왜곡 계수(Distortions)는 5x1 k _c 벡터에 저장된다. Where f _c () is the focal length, and the focal length in pixels is stored in the 2x1 f _c () vector. The coordinates of the Principal Point are stored in a 2x1 cc vector, and the skew Coeff. Is the angle between x and y , stored in the scalar a _c . Then, the image distortion coefficient (Distortions) is 5x1 k _c Lt; / RTI >

본 발명의 실험에서 사용한 카메라를 통해 획득한 두 카메라의 고유 매개 변수는 아래의 [표 1], [표 2] 및 [도 7]과 같다.The intrinsic parameters of the two cameras obtained through the camera used in the experiment of the present invention are shown in [Table 1], [Table 2] and [Figure 7] below.

구분division left left rightright Focal LengthFocal Length [922.94399 925.50895] ± [2.22386 2.26480 ][922.94399 925.50895] 占 [2.22386 2.26480] [923.80757 924.37776] ± [2.17846 2.21575 ][923.80757 924.37776] 占 [2.17846 2.21575] Principal pointPrincipal point [626.60441 362.77410] ± [ 3.79596 2.78089 ][626.60441 362.77410] 占 [3.79596 2.78089] [635.41989 346.12382] ± [ 3.55655 2.68932 ][635.41989 346.12382] 占 [3.55655 2.68932] SkewSkew [ 0.00000 ] ± [ 0.00000] [0.00000] 占 [0.00000] [0.00000 ] ± [ 0.00000] [0.00000] 占 [0.00000] DistortionDistortion [0.12124 -0.22096 -0.00148 -0.00383 0.00000 ] ± [0.00746 0.02239 0.00109 0.00175 0.00000][0.12124 -0.22096 -0.00148 -0.00383 0.00000] 占 [0.00746 0.02239 0.00109 0.00175 0.00000] [0.11451 -0.16217 -0.00253 -0.00356 0.00000] ± [ 0.00673 0.01472 0.00099 0.00162 0.00000][0.11451 -0.16217 -0.00253 -0.00356 0.00000] 占 [0.00673 0.01472 0.00099 0.00162 0.00000]

구분division left left Rotation vectorRotation vector om =[-0.01248 0.01154 -0.00822]±[0.00240 0.00425 0.00037]om = [- 0.01248 0.01154 -0.00822] 占 [0.00240 0.00425 0.00037] Translation
vectorTranslation
vector T =[198.90281 -3.02223 -0.22351]±[0.46586 0.33514 1.77596]T = [198.90281 -3.02223 -0.22351] 占 [0.46586 0.33514 1.77596]

단일 카메라를 이용한 객체 검출 방법은 단일 카메라로부터 획득된 영상과 기지의 카메라 속성 정보만을 이용하여 카메라와 객체 간 상대 거리를 추정하는 방식이므로, 스테레오 카메라 방식에 비해 계산의 복잡도는 낮은 장점이 있다. 하지만, 단일 카메라를 이용한 상대 거리 추정 방법은, 카메라의 속성 정보로부터 깊이 정보를 추정하는 것이기 때문에, 카메라 교정 또는 조명의 변화에 따라 정확도가 민감하게 반응한다. 따라서, 본 발명의 다른 실시예에서는, 단일 카메라를 이용한 카메라와 객체 간 실제 거리 추정에 포함될 수 있는 오차를 보정하기 위하여, 이동하는 카메라로부터 획득된 동일 객체에 대한 영상들 중 카메라로부터 가까운 거리에 촬상된 객체에 대하여 스테레오 카메라를 이용하여 깊이 정보를 추출함으로써 단일 카메라의 실제 위치 추정 값을 보정한다. 즉, 단일 카메라와 함께 스테레오 카메라를 활용함으로써, 단일 카메라 영상에서 얻을 수 있는 소실점, 기지의 객체의 실제 크기를 이용하여, 객체와 카메라 간 상대 거리를 추정하는 방식에 의해, 전술한 문제점들을 해결할 수 있다.The object detection method using a single camera is a method of estimating the relative distance between the camera and the object using only the image obtained from the single camera and the known camera attribute information, so that the calculation complexity is lower than that of the stereo camera method. However, since the method of estimating the relative distance using a single camera is to estimate the depth information from the property information of the camera, the accuracy is sensitive to the camera calibration or illumination change. Therefore, in another embodiment of the present invention, in order to correct an error that may be included in the actual distance estimation between a camera and an object using a single camera, And extracts the depth information using the stereo camera for the object, thereby correcting the actual position estimation value of the single camera. That is, by using a stereo camera together with a single camera, the above-described problems can be solved by a method of estimating the relative distance between the object and the camera using the vanishing point obtained from the single camera image and the actual size of the known object have.

스테레오 비전은 인간의 여러 시각 기능 중 양안의 시차를 이용하여 공간의 입체를 재구성하는 대뇌에서의 일련의 과정이다. 이와 유사하게 컴퓨터를 이용한 스테레오 비전은 영상에 대하여 서로 다른 위치에서 획득된 디지털 영상을 분석하여 시차 정보를 추정하고, 최종 3D 깊이 정보를 추출하는 과정을 말한다. 도 8은 스테레오 비전의 기하학적 구조를 나타낸 도면이다. 도 8에 도시된 바와 같이, 컴퓨터를 이용한 스테레오 비전에서는 기본적으로 삼각 측량의 원리를 이용하여서 스테레오 영상 간 매칭을 시킨 뒤 영상 내 특정한 지점의 거리를 알아낸다. 도 8에서, P는 3차원 공간상의 객체(객체)이고, C_l, C_r은 각각 좌측 및 우측 카메라의 중심이며, P_l, P_r은 각각 좌, 우 카메라의 영상 평면상에 맺힌 P의 상이다. 그리고, f는 카메라 내부 초점 거리이며, D는 객체와 카메라 사이의 수직 거리이다. 각 꼭지점에 의해 생성되는 삼각형들을 기하학적 관계식을 이용하여 D와 f에 관한 관계식을 구해보면, 아래 (식 G)과 같다.Stereo vision is a series of processes in the cerebrum that reconfigure the three-dimensional space by using the parallax of the binocular among the various visual functions of the human being. Similarly, a computer-based stereo vision is a process of analyzing a digital image obtained at different positions with respect to an image, estimating the parallax information, and extracting the final 3D depth information. 8 is a diagram showing the geometrical structure of the stereovision. As shown in FIG. 8, in a stereo vision using a computer, basically, the principle of triangulation is used to match between stereo images, and the distance of a specific point in the image is found. 8, P is an object on a three-dimensional space, C _l and C _r are the centers of the left and right cameras respectively, P _l and P _r are the _coordinates of P on the image plane of the left and right cameras, It is a prize. F is the focal length of the camera, and D is the vertical distance between the object and the camera. Using the geometric relations of the triangles generated by each vertex, we can obtain the relational expression for D and f as shown in (G) below.

(식 G)

(Formula G)

이때, x_l + x_r의 값을 시차(Disparity)라고 한다. 만약, f가 매우 작아지면, D-f는 D로 근사된다. 이때, f와 D는 이미 알고 있는 값이기 때문에, 시차만 구하면 전술한 오차가 보정된 정확한 거리를 구할 수 있다. At this time, x _l The value of + x _r is called disparity. If f becomes very small, Df is approximated by D. At this time, since f and D are already known values, the correct distance can be obtained by correcting the above-mentioned error by obtaining only the time difference.

이상의 본 발명의 일 실시예에 따르면, 차량 내 탑재된 단일 카메라와 GPS 수신기를 이용한 자동화된 객체 정보 수집 기술과, GIS(Geographic Information System)의 연동을 통해, 효과적으로 객체의 좌표를 산출 가능한 효과가 있다. 또한, 영상 내 도로표지 자동 인식 및 영상 내 도로 표지 영역의 실제 위치 산출 기술, 수집된 정보의 GIS 연동 및 합성 기술들을 개발할 수 있다. 또한, 소실점 및 객체 부가 정보에 의한 위치 정보 산출 기법, 스테레오 카메라 기반 위치 정보 산출 기법을 사용함으로써, 스테레오 카메라와 같은 효과를 보이는 방식과 단일 카메라 영상에서 얻을 수 있는 소실점 및 잘 알고 있는 객체의 실제 크기를 이용해 객체와 카메라간 상대 거리를 추정하고, 2 이상의 카메라를 사용하는 스테레오 카메라 대신 하나의 단안 카메라를 사용함으로서, 경제적 문제도 해결할 수 있다.According to an embodiment of the present invention, there is an effect that the coordinates of an object can be calculated effectively through interlocking of a GIS (Geographic Information System) and an automated object information collection technique using a single camera, a GPS receiver mounted in a vehicle . Also, it is possible to develop automatic recognition of road marking in the image, actual position calculation technique of the road marking area in the image, and GIS interworking and synthesis techniques of the collected information. In addition, by using location information calculation technique based on vanishing point and object side information, and stereo camera based location information calculation technique, it is possible to realize the same effect as that of a stereo camera, , It is possible to estimate the relative distance between the object and the camera and to solve the economic problem by using one monocular camera instead of the stereo camera using two or more cameras.

이상, 본 발명의 실시예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함되는 것으로 이해되어야 한다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It is to be understood that the invention is not limited thereto and that various changes and modifications may be made therein without departing from the scope of the invention.

T1: 제1 객체 T2: 제2 객체
D1: 제1 객체까지의 실제 거리 D2: 제2 객체까지의 실제 거리
θ: 차량의 진행 방향 Car_lat: 차량의 위도 좌표
Car_long: 차량의 경도 좌표 T1_lat: 제1 객체의 위도 좌표
T1_long: 제1 객체의 경도 좌표 Pixel_x: 가로 픽셀
d_x: 가로 픽셀의 중앙선으로부터 객체에 이르는 횡방향 거리
α: 단일 카메라의 화각
az: 차량의 진행 방향과 객체 사이의 방위각
d_lat: 제1 객체의 위도 거리 d_long: 제1 객체의 경도 거리T1: first object T2: second object
D1: actual distance to the first object D2: actual distance to the second object
θ: the direction of travel of the vehicle Car _lat : the latitude coordinate of the vehicle
Car _long : Vehicle Longitude Coordinates T1 _lat : Latitude Coordinate of 1st Object
T1 _long : Longitude coordinate of the first object Pixel _x : Horizontal pixel
d _x : transverse distance from the center line of the horizontal pixel to the object
α: angle of view of a single camera
az: the azimuth between the vehicle's direction and the object
d _lat : Latitude distance of the first object d _long : Longitude distance of the first object

Claims

차량에 설치된 단일 카메라의 영상에 포착된 제1 객체(T1)를 인식하고, 상기 제1 객체(T1)의 화소 크기로부터 상기 단일 카메라로부터 상기 제1 객체(T1)까지의 실제 거리(D1)를 추정하는 단계;
차량에 설치된 GPS 수신기를 이용하여 상기 차량의 좌표(Car_lat, Car_long) 및 정북향(N=0°)에 대한 상기 차량의 진행 방향(θ)을 획득하는 단계; 및
상기 실제 거리(D1)와 상기 차량의 좌표(Car_lat, Car_long) 및 상기 차량의 진행 방향(θ)에 기초하여, 상기 제1 객체(T1)의 좌표(T1_lat, T1_long)를 산출하는 단계;를 포함하는,
단일 카메라와 GPS를 이용한 영상 내 객체의 좌표 산출 방법.(D1) from the single camera to the first object (T1) from the pixel size of the first object (T1) by recognizing a first object (T1) captured by a single camera Estimating;
Acquiring the traveling direction (?) Of the vehicle with respect to the coordinates (Car _lat , Car _long ) and the forward north direction (N = 0 °) of the vehicle using a GPS receiver installed in the vehicle; And
(T1 _lat , T1 _long ) of the first object (T1) based on the actual distance (D1), the coordinates of the vehicle (Car _lat , Car _long ) and the traveling direction Comprising:
A method of calculating the coordinates of an object in a video using a single camera and GPS.

제1항에 있어서,
상기 제1 객체(T1)의 좌표(T1_lat, T1_long)를 산출하는 단계는,
상기 영상 내에서, 아래의 식 (1)을 이용하여, 가로 픽셀(Pixel_x)의 중앙선으로부터 상기 제1 객체(T1)에 이르는 횡방향 거리(d_x)를 산출하는 단계;
[dx = Pixel_x(T1) - (Pixel_x/2)] 식 (1)
상기 횡방향 거리(d_x), 상기 단일 카메라의 해상도(Pixel_x, Pixel_y) 및 상기 단일 카메라의 화각(α)로부터, 아래 식 (2)를 이용하여, 상기 차량의 진행 방향(θ)과 상기 제1 객체(T1) 사이의 방위각(az)을 산출하는 단계;
[az = {dx/(Pixel_x/2)} × (α/2)] 식 (2)
상기 차량의 진행 방향(θ)과 상기 방위각(az)으로부터, 아래 식 (3)을 이용하여, 차량의 중심에 대한 상기 제1 객체(T1)의 위도 거리(d_lat) 및 경도 거리(d_long)를 산출하는 단계; 및
[d_lat= D1 × cos(θ+az)]
[d_long= D1 × sin(θ+az)] 식 (3)
상기 차량의 좌표(Car_lat, Car_long), 상기 제1 객체(T1)의 위도 거리(d_lat) 및 경도 거리(d_long)로부터, 아래의 식 (4)를 이용하여, 상기 제1 객체(T1)의 좌표(T1_lat, T1_long)를 산출하는 단계;
[T1_lat= Car_lat + d_lat/(위도 1°길이)]
[T1_long = Car_long + d_long/(경도 1°길이)] 식 (4)
를 포함하는,
단일 카메라와 GPS를 이용한 영상 내 객체의 좌표 산출 방법.The method according to claim 1,
The step of calculating coordinates (T1 _lat , T1 _long ) of the first object (T1)
Calculating a lateral distance (d _x ) from the center line of the horizontal pixel (Pixel _x ) to the first object (T1) using the following equation (1) in the image;
[dx = Pixel _x (T1) - (Pixel _x / 2)
(2) from the horizontal distance d _x , the resolution (Pixel _x , Pixel _y ) of the single camera, and the angle of view (?) Of the single camera. Calculating an azimuth (az) between the first objects (T1);
(az = {dx / (Pixel _x / 2)} x (? / 2)
The latitude distance d _lat and the longitude distance d _{long of} the first object T1 with respect to the center of the vehicle are calculated from the traveling direction of the vehicle and the azimuth az using the following equation ); And
[ _dlat = D1xcos ([theta] + az)]
(d _long = D1 x sin (? + az)
(4) from the coordinates (Car _lat , Car _long ) of the vehicle, the latitude distance (d _lat ) and the longitude distance (d _long ) of the first object (T1) Calculating a coordinate (T1 _lat , T1 _long ) of the _pixel (T1);
[T1 _lat = Car _lat + d _lat / (latitude 1 ° length)]
[T1 _long Car _long = _long + d / (hardness of 1 ° in length)] Equation (4)
/ RTI >
A method of calculating the coordinates of an object in a video using a single camera and GPS.

제1항에 있어서,
상기 실제 거리(D1)를 추정하는 단계는,
상기 제1 객체(T1)를 상기 카메라로부터 거리를 일정하게 달리하여 위치 설정한 후, 동일한 카메라를 이용하여 상기 제1 객체(T1)를 각 위치마다 촬상하여 상기 카메라의 영상에 포착된 상기 제1 객체(T1)의 화소 크기를 각 거리 별로 매칭한 데이터를 준비하는 단계;
상기 데이터로부터 상기 카메라의 영상에 포착된 제1 객체(T1)의 화소 크기에 대응하는 거리를 상기 단일 카메라로부터 상기 제1 객체(T1)까지의 실제 거리(D1)로 추정하는 단계;를 포함하는,
단일 카메라와 GPS를 이용한 영상 내 객체의 좌표 산출 방법.The method according to claim 1,
The step of estimating the actual distance (D1)
The first object (T1) is positioned with a constant distance from the camera, and then the first object (T1) is imaged for each position using the same camera, and the first object Preparing data in which a pixel size of the object (T1) is matched with each distance;
Estimating a distance corresponding to a pixel size of a first object (T1) captured in the camera image from the data to an actual distance (D1) from the single camera to the first object (T1) ,
A method of calculating the coordinates of an object in a video using a single camera and GPS.

제3항에 있어서,
상기 제1 객체(T1)의 크기와 상이한 크기를 갖는 제2 객체(T2)에 대해서는, 상기 제1 객체(T1)와 상기 제2 객체(T2)의 크기 비율에 기초하여, 상기 제2 객체(T2)의 화소 크기를 추정하고,
상기 데이터를 활용하여, 상기 추정된 제2 객체(T2)의 화소 크기에 대응하는 거리를 상기 단일 카메라로부터 상기 제2 객체(T2)까지의 실제 거리(D2)로 추정하는,
단일 카메라와 GPS를 이용한 영상 내 객체의 좌표 산출 방법.
The method of claim 3,
The second object (T2) having a size different from the size of the first object (T1) is configured to calculate a size of the second object (T2) based on a size ratio of the first object (T1) T2), < / RTI >
Estimating a distance corresponding to a pixel size of the estimated second object (T2) to an actual distance (D2) from the single camera to the second object (T2) using the data;
A method of calculating the coordinates of an object in a video using a single camera and GPS.