KR20180136057A - Camera angle estimation method for around view monitoring system - Google Patents
Camera angle estimation method for around view monitoring system Download PDFInfo
- Publication number
- KR20180136057A KR20180136057A KR1020170074556A KR20170074556A KR20180136057A KR 20180136057 A KR20180136057 A KR 20180136057A KR 1020170074556 A KR1020170074556 A KR 1020170074556A KR 20170074556 A KR20170074556 A KR 20170074556A KR 20180136057 A KR20180136057 A KR 20180136057A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- image
- point
- vanishing
- points
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
본 발명은 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법에 관한 것으로, 보다 상세하게는 차량의 어라운드 뷰 모니터링 시스템에서 어라운드 뷰 영상을 생성하기 위한 카메라 영상을 보정하기 위하여, 상기 카메라가 설치된 차량의 주변에 보정용 패턴이 설치되어 있지 않더라도 상기 카메라에 의해 촬영된 주변 영상으로부터 특징점을 추출하고, 이 특징점을 추적하여 획득한 대응점을 기반으로 카메라의 각도를 추정할 수 있도록 하는 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법에 관한 것이다.The present invention relates to a method for estimating camera angles of an environment monitoring system, and more particularly, to a method for estimating camera angles in a surround-view monitoring system of a vehicle, A camera angle estimation method of an ambient view monitoring system that extracts a feature point from a surrounding image photographed by the camera and estimates the angle of the camera based on the corresponding point obtained by tracking the feature point, .
최근 출시되고 있는 차량들은 운전자의 안전운전에 도움을 주는 첨단 운전자 지원 시스템(ADAS)의 장착이 증가하고 있다.Recently introduced vehicles are increasingly equipped with advanced driver assistance systems (ADAS) that help drivers to drive safely.
이러한 첨단 운전자 지원 시스템(ADAS)의 하나로서 사각지대에 의한 사고 발생 가능성을 감소시키기 위해서 초음파 센서나 후방 카메라를 장착하는 차량이 증가하고 있으며 최근 어라운드 뷰 모니터링(AVM) 시스템을 장착한 차량도 증가하고 있다.As one of these advanced driver assistance systems (ADAS), vehicles equipped with ultrasonic sensors or rear cameras are increasingly used to reduce the possibility of accidents caused by blind spots, and the number of vehicles equipped with an AVM have.
특히 상기 어라운드 뷰 모니터링(AVM) 시스템은 차량을 중심으로 360도 전 방향을 모니터링 할 수 있다는 장점 때문에 더욱 관심이 집중되고 있으나, 시스템의 설치 후 카메라의 보정을 위하여 특정 시설물(예 : 카메라 보정용 격자나 차선 패턴)이 설치된 넓은 공간과 보정 작업을 위한 숙련자가 필요하기 때문에 금전적, 및 시간적 비용이 발생하기 때문에 어라운드 뷰 모니터링(AVM) 시스템의 보급이 제한적인 문제점이 있다.Particularly, the AVM system is more interested because of its advantage that it can monitor all directions 360 degrees around the vehicle. However, since the AVM system is installed in a specific facility (e.g., Lane pattern) and the expertise required for the correction work, so that there is a problem that the availability of the AV system is limited.
본 발명의 배경기술은 대한민국 공개특허 10-2016-0056658호(2016.05.20. 공개, 어라운드 뷰 모니터 시스템 및 그 제어방법)에 개시되어 있다. BACKGROUND ART [0002] The background art of the present invention is disclosed in Korean Patent Laid-Open Publication No. 10-2016-0056658 (published on May 20, 2016, an ambient view monitor system and a control method thereof).
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 차량의 어라운드 뷰 모니터링 시스템에서 어라운드 뷰 영상을 생성하기 위한 카메라 영상을 보정하기 위하여, 상기 카메라가 설치된 차량의 주변에 보정용 패턴이 설치되어 있지 않더라도 상기 카메라에 의해 촬영된 주변 영상으로부터 특징점을 추출하고, 이 특징점을 추적하여 획득한 대응점을 기반으로 카메라의 각도를 추정할 수 있도록 하는 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법을 제공하는데 그 목적이 있다. According to an aspect of the present invention, there is provided an apparatus for monitoring an environment of a vehicle, the system comprising: A camera angle of an averaged view monitoring system for extracting a feature point from a surrounding image photographed by the camera and estimating the angle of the camera based on a corresponding point obtained by tracking the feature point, The purpose of the estimation method is to provide.
본 발명의 일 측면에 따른 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법은, 어라운드 뷰 모니터링 시스템의 제어부가 적어도 셋 이상의 각 카메라 영상에서 특징점들을 균일화하여 추출하는 단계; 상기 제어부가 상기 추출한 특징점들을 추적하여 대응점들을 획득하는 단계; 상기 제어부가 상기 각 카메라 영상에서 획득한 대응점들을 통합하는 단계; 상기 제어부가 상기 통합한 대응점들을 이용하여 소실점과 소실선을 추정하는 단계; 및 상기 추정된 소실점과 소실선에 기초하여 카메라 각도를 추정하는 단계;를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a camera angle estimation method for an ambient view monitoring system, comprising: extracting and equalizing feature points from at least three camera images of a controller of an ambient view monitoring system; The control unit tracks the extracted minutiae to obtain corresponding points; Integrating corresponding points obtained from the camera images by the control unit; Estimating a vanishing point and a vanishing line using the integrated points; And estimating a camera angle based on the estimated vanishing point and vanishing line.
본 발명에 있어서, 상기 특징점은, 상기 카메라 영상에서 주위 배경과 구분되면서 식별이 용이한 지점으로서, 물체의 형태나 크기, 위치가 변해도 쉽게 식별이 가능하고, 또한 카메라의 시점, 조명이 변해도 영상에서 해당 지점을 쉽게 찾아낼 수 있는 지점을 의미하는 것을 특징으로 한다.In the present invention, the feature points are easily distinguished from the surrounding background in the camera image, and can be easily identified even if the shape, size, and position of the object are changed. Also, even if the viewpoint or illumination of the camera changes, And means a point where the point can be easily found.
본 발명에 있어서, 상기 특징점들을 균일화하여 추출하는 단계에서, 상기 제어부는, 특징점들의 균일화를 위하여 카메라 영상을 기 설정된 다수의 영역으로 분할하고, 상기 분할된 각 영역에서 기 정해진 개수의 특징점이 추출되도록 강제하는 것을 특징으로 한다.In the present invention, in the step of uniformizing and extracting the minutiae, the controller divides the camera image into a plurality of predetermined regions for equalizing the minutiae points, and extracts a predetermined number of minutiae from the divided regions .
본 발명에 있어서, 상기 셋 이상의 각 카메라 영상은, 연속 또는 순차 촬영된 영상으로서, 이전에 촬영된 영상에 이어서 시간상 곧바로 촬영된 영상, 또는 기 지정된 프레임 이상의 시간적 차이가 있는 카메라 영상을 포함하는 것을 특징으로 한다.In the present invention, it is preferable that each of the three or more camera images is a continuous or sequentially captured image, which includes an image immediately taken in time following the previously captured image, or a camera image having a time difference of at least a predetermined frame .
본 발명에 있어서, 상기 소실점과 소실선을 추정하기 위하여, 상기 제어부는, 두 대응점들을 각기 길이 방향으로 연장하는 가상의 직선을 그어 상기 가상의 직선들이 교차하는 지점에서 하나의 소실점을 추정하고, 상기 두 대응점들의 양 끝을 각기 연결하는 가상의 직선을 긋고 그 가상의 직선을 연장하여 교차되는 지점에서 다른 하나의 소실점을 추정하여, 상기 얻은 두 소실점을 서로 잇는 소실선을 추정하는 것을 특징으로 한다.In the present invention, in order to estimate the vanishing point and the vanishing line, the control unit estimates one vanishing point at a point where the virtual straight lines intersect a virtual straight line extending in the longitudinal direction of the two corresponding points, A virtual straight line connecting both ends of the two corresponding points is drawn, a virtual straight line is extended to estimate another vanishing point at the intersection, and a vanishing line connecting the two vanishing points obtained is estimated.
본 발명에 있어서, 상기 카메라 각도를 추정하는 단계에서, 상기 제어부는, 실세계 도로면 좌표계를 왜곡 보정된 영상이 표시된 영상 좌표계로 변환하기 위한 회전 행렬(Re)을 카메라 각도로서 추정하는 것을 특징으로 한다.In the present invention, in the step of estimating the camera angle, the controller estimates, as a camera angle, a rotation matrix (R e ) for converting a real world road surface coordinate system into an image coordinate system in which a distorted image is displayed do.
본 발명의 일 측면에 따르면, 본 발명은 차량의 어라운드 뷰 모니터링 시스템에서 어라운드 뷰 영상을 생성하기 위한 카메라 영상을 보정하기 위하여, 상기 카메라가 설치된 차량의 주변에 보정용 패턴이 설치되어 있지 않더라도 상기 카메라에 의해 촬영된 주변 영상으로부터 특징점을 추출하고, 이 특징점을 추적하여 획득한 대응점을 기반으로 카메라의 각도를 추정함으로써, 이로부터 카메라의 영상을 자동으로 보정하여 보다 간편하게 정확한 어라운드 뷰 영상을 생성할 수 있도록 한다.According to an aspect of the present invention, there is provided a method for correcting a camera image for generating an overview image in a vehicle surround view monitoring system, the method comprising: The feature point is extracted from the surrounding image captured by the camera, and the angle of the camera is estimated based on the correspondence point obtained by tracking the feature point. Thus, the camera image is automatically corrected to thereby produce an accurate view image do.
도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템의 개략적인 구성을 보인 예시도.
도 2는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법을 설명하기 위한 흐름도.
도 3은 본 발명의 일 실시예에 따른 특징점 검출 방법에 대비되는 종래의 특징점 검출 방법들 중 하나를 설명하기 위하여 보인 예시도.
도 4는 본 발명의 일 실시예에 따른 특징점 추출 방법을 설명하기 위한 예시도.
도 5는 상기 도 2에 있어서, 연속 영상에서 특징점 추적을 통하여 대응점을 획득하는 방법을 설명하기 위하여 보인 예시도.
도 6은 상기 도 2에 있어서, 연속해서 촬영된 다수의 영상에서 특징점을 추적하여 획득한 대응점들을 통합한 결과를 보인 예시도.
도 7은 상기 도 6에서 설명한 연속 카메라 영상에서 획득한 대응점을 통합하는 방법을 추가적으로 설명하기 위하여 보인 예시도.
도 8은 상기 도 2에 있어서, 획득한 대응점들을 사용하여 소실점과 소실선을 추정하는 방법을 설명하기 위하여 보인 예시도.
도 9는 본 발명의 일 실시예에 관련된 카메라 각도와 소실점과의 관계를 설명하기 위하여 보인 예시도.
도 10은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법을 통해 보정된 영상을 이용하여 생성된 어라운드 뷰 영상을 보인 예시도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is an exemplary schematic diagram of an overview view monitoring system according to an embodiment of the present invention; FIG.
BACKGROUND OF THE INVENTION Field of the Invention [0001]
FIG. 3 is an exemplary diagram for explaining one of the conventional feature point detection methods in comparison with the feature point detection method according to an embodiment of the present invention; FIG.
4 is an exemplary diagram for explaining a minutiae point extraction method according to an embodiment of the present invention.
FIG. 5 is an exemplary diagram for explaining a method of acquiring a corresponding point through a feature point tracking in a continuous image in FIG. 2; FIG.
FIG. 6 is an exemplary view showing a result obtained by integrating corresponding points obtained by tracking feature points in a plurality of consecutively captured images in FIG. 2; FIG.
FIG. 7 is an exemplary diagram for further illustrating a method for integrating corresponding points obtained from the continuous camera image illustrated in FIG. 6; FIG.
FIG. 8 is an exemplary diagram for explaining a method of estimating a vanishing point and a vanishing line using the obtained corresponding points in FIG. 2; FIG.
FIG. 9 is an exemplary view for explaining a relationship between a camera angle and a vanishing point according to an embodiment of the present invention; FIG.
10 is an exemplary view of an overview view image generated using a corrected image through a camera angle estimation method of an surround view monitoring system according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명에 따른 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법의 일 실시예를 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an embodiment of a camera angle estimation method of an ambient view monitoring system according to the present invention will be described with reference to the accompanying drawings.
이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In this process, the thicknesses of the lines and the sizes of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention or custom of the user, the operator. Therefore, definitions of these terms should be made based on the contents throughout this specification.
도 1은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템의 개략적인 구성을 보인 예시도이다.FIG. 1 is an exemplary diagram showing a schematic configuration of an ambient view monitoring system according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 실시예에 따른 어라운드 뷰 모니터링 시스템은, 제어부(110), 및 차량에 설치되는 적어도 하나 이상의 카메라(120, 121, 122), 및 상기 카메라(120, 121, 122)에서 촬영된 영상을 처리하여 어라운드 뷰 영상을 AVN(Audio Video Navigation) 장치(미도시)의 화면에 출력하는 제어부(110)를 포함한다.1, the surround view monitoring system according to the present embodiment includes a
상기 제어부(110)는 상기 카메라(120, 121, 122)가 설치된 각도(또는 카메라 각도)를 추정하여 상기 추정된 카메라 설치 각도(또는 카메라 각도)를 기초로 카메라 영상을 자동으로 보정한다(도 2 참조). The
이에 따라 상기 제어부(110)는 상기 보정된 카메라 영상을 처리하여 어라운드 뷰 영상을 AVN(Audio Video Navigation) 장치(미도시)의 화면에 출력한다.Accordingly, the
이때 상기 카메라 각도가 추정되면 이에 기초하여 상기 카메라 영상을 쉽게 보정할 수 있으므로, 이하 본 실시예에서는 도 2 내지 도 10을 참조하여 상기 카메라 설치 각도(또는 카메라 각도)를 추정하는 방법에 대해서 구체적으로 설명한다. In this case, since the camera image can be easily corrected on the basis of the estimated camera angle, a method for estimating the camera installation angle (or camera angle) will be described in detail with reference to FIG. 2 to FIG. Explain.
도 1에 도시된 바와 같이 상기 어라운드 뷰 모니터링 시스템의 경우, 차량의 전/후/좌/우에 적어도 4개 이상의 카메라 설치될 수 있다.As shown in FIG. 1, in the case of the surround view monitoring system, at least four cameras may be installed on the front / rear / left / right sides of the vehicle.
예컨대 차량의 전, 후, 좌(예 : 좌측 사이드미러), 우(예 : 우측 사이드미러), 내측 전방(예 : 룸미러), 및 내측 후방에 6개의 카메라 설치될 수도 있다.For example, six cameras may be installed on the front, rear, left (e.g., left side mirror), right (e.g., right side mirror), medial front (e.g., room mirror), and medial rear of the vehicle.
도 2는 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법을 설명하기 위한 흐름도이다.2 is a flowchart illustrating a method of estimating a camera angle of an environment monitoring system according to an exemplary embodiment of the present invention.
도 2에 도시된 바와 같이, 상기 제어부(110)는 카메라 영상에서 특징점(예 : 영상을 매칭하는데 있어서, 주위 배경과 구분되면서 식별이 용이한 지점으로서, 물체의 형태나 크기, 위치가 변해도 쉽게 식별이 가능하고, 또한 카메라의 시점, 조명이 변해도 영상에서 해당 지점을 쉽게 찾아낼 수 있는 지점)을 균일화하여 추출한다(S101).As shown in FIG. 2, the
여기서 특징점을 균일화하여 추출한다는 것은 카메라 영상의 전 영역에 고르게 분포된 특징점을 추출한다는 것을 의미한다.Here, the extraction of the feature points uniformly means to extract the feature points evenly distributed over the entire area of the camera image.
또한 상기 제어부(110)는 상기 균일화한 특징점을 추적하여 대응점을 획득하고(S102)(이때 대응점은 특징점을 추적하여 획득한 것이므로 추적된 특징점의 형태에 대응하여 직선 형태일 수 있다), 연속 또는 순차로 촬영된 다수의 영상(예 : 3프레임 이상의 카메라 영상)에서 획득한 대응점을 통합한다(S103).Also, the
또한 상기 제어부(110)는 상기 획득한 대응점들을 사용하여 소실점(Vanishing point)과 소실선(Vanishing line)을 추정하고, 상기 추정된 소실점과 소실선에 기반하여 카메라 각도를 추정한다(S104).In addition, the
또한 상기 제어부(110)는 상기 추정된 각 카메라의 각도를 기초로 각 카메라 영상을 보정한다(S105).In addition, the
상기와 같이 각 카메라 영상을 보정한 후에는 기 설정된 어라운드 뷰 알고리즘에 따라 상기 보정된 각 카메라 영상을 조합하여 어라운드 뷰 영상을 생성한다.After each camera image is corrected as described above, an adjusted view image is generated by combining the corrected camera images according to a predetermined surround view algorithm.
이하 본 실시예에서는 도 3 내지 도 10을 참조하여, 상기 카메라 각도를 추정하는 상기 도 2의 각 단계별 방법에 대해서 보다 구체적으로 설명한다. Hereinafter, the method according to each step of FIG. 2 for estimating the camera angle will be described in more detail with reference to FIGS. 3 to 10. FIG.
도 3은 본 발명의 일 실시예에 따른 특징점 검출 방법에 대비되는 종래의 특징점 검출 방법들 중 하나를 설명하기 위하여 보인 예시도이다.FIG. 3 is an exemplary diagram for explaining one of the conventional feature point detection methods in comparison with the feature point detection method according to an embodiment of the present invention.
상기 도 2에서 특징점을 추출(또는 검출)함에 있어서, 상기 제어부(110)는 카메라 영상에서 특징이 되는 위치(즉, 특징점)를 검출한다. In FIG. 2, the
다만 촬영 환경에 따라 특징점이 고르게 분포되지 않을 수 있으며, 이는 카메라 각도의 추정 오차를 커지게 할 수 있다. 따라서 본 실시예에서는 특징점의 분포를 균일화하는 과정을 함께 수행한다.However, the feature points may not be uniformly distributed depending on the shooting environment, which can increase the estimation error of the camera angle. Therefore, in this embodiment, a process of uniformizing the distribution of the minutiae points is performed.
참고로 상기 특징점을 검출하는 공지된 방법으로는 Harris corner detector, Shi and Tomasi corner detector, FAST, DOG 등의 다양한 방법이 있다. For reference, there are various known methods for detecting the feature points such as a Harris corner detector, a Shi and Tomasi corner detector, a FAST and a DOG.
예컨대 도 3은 상기 특징점을 검출하는 공지된 방법 중, Shi and Tomasi corner detector를 사용하여 특징점을 추출(또는 검출)한 후 균일화하기 전의 특징점 추출 결과를 보인 예시도로서, 약 320개의 특징점(빨간색 점)을 추출한 예를 보여준다. 그런데 도 3에 도시된 바와 같이, 정해진 개수의 특징점을 추출하는 경우, 근거리 도로면이나 원거리 장애물 부근에 특징점들이 몰려서 검출될 가능성이 높다.For example, FIG. 3 is an example of a method of extracting (or detecting) feature points using a Shi and Tomasi corner detector and then extracting feature points before homogenization, which is a known method for detecting the feature points. ) Are extracted. However, as shown in FIG. 3, when a predetermined number of feature points are extracted, there is a high possibility that the feature points are detected in the vicinity of the near road surface or the distant obstacle.
따라서 본 실시예에서는 특징점을 고르게 분포시키기 위해 카메라 영상을 기 설정된 다수의 영역으로 분할하고(도 4의 (a) 참조), 상기 분할된 각 영역에서 기 정해진 개수의 특징점이 추출(또는 검출)되도록 강제한다. 즉, 본 실시예는 카메라 영상에서 특징점을 균일화하여 추출한다.Therefore, in the present embodiment, in order to uniformly distribute the feature points, the camera image is divided into predetermined regions (see FIG. 4A), and the predetermined number of feature points are extracted (or detected) in the divided regions Force. That is, the present embodiment uniformizes and extracts the feature points from the camera image.
도 4는 본 발명의 일 실시예에 따른 특징점 추출 방법을 설명하기 위한 예시도로서, 도 4의 (a)는 카메라 영상을 4x8(pixel)로 균등 분할한 예를 보여주고, 도 4의 (b)는 상기 분할된 각 영역에서 기 정해진 개수(예 : 10개)의 특징점을 추출(또는 검출)한 결과(예 : 320개)를 보여준다. 4 (a) and 4 (b) illustrate an example of a feature point extraction method according to an embodiment of the present invention. FIG. 4 (a) shows an example in which a camera image is divided equally into 4 × 8 pixels, Shows the result (for example, 320) of extracting (or detecting) the predetermined number of feature points (e.g., 10) in each of the divided regions.
이에 따라 도 4의 (b)에 도시된 특징점 추출 결과와 도 3에 도시된 특징점 추출 결과를 비교해 보면 특징점의 분포가 상대적으로 매우 균일해진 것을 확인할 수 있다.Accordingly, when the feature point extraction result shown in FIG. 4B is compared with the feature point extraction result shown in FIG. 3, it can be seen that the distribution of the feature points is relatively uniform.
다시 상기 도 2에 있어서, 상기 균일화한 특징점을 추적하여 대응점을 획득하는 단계(S102)에서 상기 제어부(110)는 대응점을 획득하기 위해 상기 추출한 특징점을 연속 영상(즉, 연속 촬영된 카메라 영상)에서 추적한다(도 5 참조).2, in step S102 of tracking the uniformized feature points and acquiring corresponding points in step S102, the
도 5는 상기 도 2에 있어서, 연속 영상에서 특징점 추적을 통하여 대응점을 획득하는 방법을 설명하기 위하여 보인 예시도로서, 통상적으로 기존에는 두 장(또는 두 프레임)의 영상만을 사용하여 특징점을 매칭하여 대응점을 획득하지만, 본 실시예에서는 특징이 적은 도로면에서 안정적으로 보다 많은 다수의 대응점을 확보하기 위해서 연속 영상(예 : 3 프레임 이상)에서 특징점을 추적하는 방식을 사용한다.FIG. 5 is a diagram for explaining a method of acquiring a corresponding point through a feature point tracking in a continuous image in FIG. 2. In FIG. 5, conventionally, only two images (or two frames) However, in this embodiment, a method of tracking feature points in a continuous image (for example, three or more frames) is used in order to stably obtain a larger number of corresponding points on the road surface with less features.
이때 상기 특징점 추적 시에는 census transform(CT, 한 픽셀에 대한 픽셀 주변영역의 밝기 변화를 중심 픽셀의 밝기와 비교하는 방법), Kanade-Lucas Tomasi(KLT) 등의 공지된 다양한 광학 흐름(optical flow) 추적 방법이 사용될 수 있다. 도 5는 상기 도 4의 (b)에서 검출된 특징점들을 추적하여 대응점을 획득한 결과를 보여준다.At this time, various known optical flows such as a census transform (CT, a method of comparing the brightness of a pixel around a pixel with a brightness of a central pixel) and a Kanade-Lucas Tomasi (KLT) The tracking method can be used. FIG. 5 shows the result of tracking the feature points detected in FIG. 4B and obtaining corresponding points.
도 6은 상기 도 2에 있어서, 연속해서 촬영된 다수의 영상에서 특징점을 추적하여 획득한 대응점들을 통합한 결과를 보인 예시도로서, 카메라 각도 추정의 정확도를 향상시키기 위해서는 가능한 한 다수의 대응점을 획득하여 사용하는 것이 유리하다. 하지만 다수의 대응점을 획득하기 위해서는 다수의 특징점들을 동시에 추출 및 추적해야 하기 때문에 많은 수행 시간이 필요한 문제점이 있다.FIG. 6 is an example of a result obtained by integrating corresponding points obtained by tracking feature points in a plurality of consecutively captured images. In FIG. 6, in order to improve accuracy of camera angle estimation, It is advantageous to use it. However, in order to acquire a plurality of correspondence points, a plurality of feature points must be simultaneously extracted and tracked.
따라서 본 실시예에서는 연속된 카메라 영상을 이용해 각 카메라 영상에서 소수의 특징점을 각기 추출 및 추적하여 각 카메라 영상별로 대응점을 획득한 후 상기 각 카메라 영상에서 획득한 대응점들을 통합하는 방법을 사용한다. Therefore, in the present embodiment, a method is used in which consecutive camera images are used to extract and track a small number of feature points in each camera image to acquire corresponding points for each camera image, and integrate corresponding points obtained from the respective camera images.
예컨대 도 6에 도시된 바와 같이, 연속된 3프레임의 카메라 영상(도 6의 (a),(b),(c))에서 각기 특징점을 추출 및 추적하여 각 카메라 영상별로 대응점을 획득한 후, 상기 각 카메라 영상에서 획득한 대응점들을 통합(도 6의 (d))하는 방법을 사용하게 될 경우, 하나의 카메라 영상에서 대응점(예 : 2,000 ~ 3,000개)을 획득하는 방법에 비해서 연속 촬영된 각 카메라 영상에서 소수의 대응점(예 : 400 ~ 600개)을 획득하여 통합하는 방법이 동일한 결과(예 : 2,000 ~ 3,000개의 대응점 획득)를 얻는데 있어서 시간적으로 더 효과적일 뿐만 아니라, 각 카메라 영상의 일부 영역에만 대응점이 존재하는 경우(도 6의 (a) ~ (c) 참조)에도 대응점의 통합을 통해 카메라 영상 전체에 고르게 분포된 대응점(도 6의 (d) 참조)을 확보할 수 있게 되며, 이를 통해 결과적으로 파라미터(즉, 카메라 각도 추정을 위한 파라미터) 추정의 안정성을 개선할 수 있도록 한다.For example, as shown in FIG. 6, feature points are extracted and tracked in three consecutive camera images (FIGS. 6A, 6B, and 6C) to obtain corresponding points for each camera image, In the case of using the method of integrating corresponding points obtained from the respective camera images (FIG. 6 (d)), compared with a method of acquiring corresponding points (for example, 2,000 to 3,000) in one camera image, The method of acquiring and integrating a small number of corresponding points (for example, 400 to 600) in the camera image is not only more effective in terms of obtaining the same result (for example, acquiring 2,000 to 3,000 corresponding points) (See (a) to (c) of FIG. 6), it is possible to secure a corresponding point (see FIG. 6 (d)) evenly distributed over the entire camera image through integration of corresponding points, As a result, parameters (i.e., Parameter for angle estimate) makes it possible to improve the reliability of estimation.
도 7은 상기 도 6에서 설명한 연속 카메라 영상에서 획득한 대응점을 통합하는 방법을 추가적으로 설명하기 위하여 보인 예시도로서, 도 7의 (a)는 하나의 카메라 영상에서 960개의 특징점을 한꺼번에 추출 및 추적한 결과를 보여주는 예시도이며, 도 7의 (b)는 연속 촬영된 3프레임의 각 카메라 영상에서 각기 320개의 특징점을 추출 및 추적한 후 이를 통합한 결과를 보여주는 예시도이다. FIG. 7 is an exemplary diagram for further illustrating a method of integrating corresponding points obtained from the continuous camera image described with reference to FIG. 6. FIG. 7 (a) illustrates extraction and tracking of 960 feature points in one camera image FIG. 7B is an exemplary diagram showing the result obtained by extracting and tracking 320 feature points from each camera image of three consecutively captured frames, respectively, and integrating them. FIG.
여기서 상기 도 7의 (b)의 결과가 한 번에 사용하는 연산량(즉, 연산을 위한 부하)이 도 7의 (a)에 비해서 더 적을 뿐만 아니라, 카메라 영상 전체에 고르게 분포된 특징점을 확보할 수 있음을 확인할 수 있다. 7 (b) is smaller than that of FIG. 7 (a), and the feature points distributed evenly over the entire camera image are secured .
한편 본 실시예에서 상기 연속 촬영된 영상(또는 연속 영상)은, 이전에 촬영된 영상에 이어서 시간상 곧바로 촬영된 영상을 한정하고자 하는 것은 아니다. 즉, 본 실시예에서 다수의 영상을 사용하는 경우에 그 영상들이 반드시 연속적일 필요가 없으며 특정 프레임 이상 시간적 차이가 있는 카메라 영상을 사용할 수도 있다. 가령, 현재 취득된 대응점과 10분 전에 취득된 대응점을 함께 통합하여 사용할 수도 있음을 의미한다.Meanwhile, in the present embodiment, the consecutively photographed image (or continuous image) is not intended to limit the image photographed immediately in time following the previously photographed image. That is, in the present embodiment, when a plurality of images are used, the images do not necessarily have to be continuous, and a camera image having a temporal difference of a specific frame or more may be used. For example, it means that the currently acquired correspondence point and the correspondence point acquired ten minutes ago can be used together.
도 8은 상기 도 2에 있어서, 획득한 대응점들을 사용하여 소실점(Vanishing point)과 소실선(Vanishing line)을 추정하는 방법을 설명하기 위하여 보인 예시도이다. FIG. 8 is an exemplary diagram for explaining a method of estimating a vanishing point and a vanishing line using the obtained corresponding points in FIG. 2. FIG.
본 실시예에서 상기 제어부(110)는 카메라 영상에서 획득한 대응점들을 사용하여 소실점(Vanishing point)과 소실선(Vanishing line)을 추정하고, 이로부터 지면과 카메라 사이의 회전 행렬(rotation matrix)을 추정한다.In this embodiment, the
참고로 상기 회전 행렬은 2차원 또는 3차원의 공간상에서 한 점을, 원점을 중심으로 하여 반시계 방향으로 원하는 각도만큼 회전시킬 때에 새로운 점의 좌표를 얻기 위한 행렬이다.For reference, the rotation matrix is a matrix for obtaining a coordinate of a new point when rotating a point in a two-dimensional or three-dimensional space by a desired angle counterclockwise about the origin.
가령, 차량이 직진할 경우 획득된 대응점 2개는, 도 8의 (a)에 도시된 바와 같이, 실세계(조감도) 도로면에서 평행하며 동일한 길이가 되어야 한다.For example, two corresponding points obtained when the vehicle travels straight should be parallel and have the same length in the real world (bird's-eye view) road surface as shown in Fig. 8 (a).
그런데 상기 대응점이 카메라 영상으로 촬영되면 시각적 왜곡(perspective distortion)에 의해, 도 8의 (b)에 도시된 바와 같이, 대응점들의 방향 및 길이가 같지 않게 된다. However, when the corresponding point is photographed by the camera image, the direction and length of the corresponding points become unequal due to perspective distortion as shown in FIG. 8 (b).
이때 상기 두 대응점은 실세계에서 평행사변형을 구성하므로, 도 8의 (c)에 도시된 바와 같이, 상기 대응점들을 각기 길이 방향으로 연장하는 가상의 직선을 그어 상기 가상의 직선들이 교차하는 지점에서 하나의 소실점을 얻고, 상기 대응점들의 양 끝을 각기 연결하는 가상의 직선을 긋고 그 가상의 직선을 연장하여 교차되는 지점에서 다른 하나의 소실점을 얻을 수 있으며, 상기 2개의 소실점(vanishing point)을 서로 잇는 소실선(vanishing line)을 얻을 수 있다.Since the two corresponding points constitute a parallelogram in the real world, a virtual straight line extending in the longitudinal direction of the corresponding points is drawn as shown in FIG. 8 (c), and one It is possible to obtain a vanishing point, draw a virtual straight line connecting the opposite ends of the corresponding points, extend the imaginary straight line to obtain another vanishing point at the intersecting point, and connect the vanishing points of the two vanishing points to each other A vanishing line can be obtained.
도 9는 본 발명의 일 실시예에 관련된 카메라 각도와 소실점과의 관계를 설명하기 위하여 보인 예시도이다.9 is an exemplary diagram for explaining a relationship between a camera angle and a vanishing point according to an embodiment of the present invention.
도 9에 도시된 바와 같이 상기 제어부(110)는 실세계 도로면 좌표계를 왜곡 보정된 영상이 표시된 영상 좌표계로 변환하기 위한 회전 행렬(Re)을 카메라 각도로서 추정한다. 즉, 본 실시예에서 추정하고자 하는 카메라 각도는 실세계 도로면 좌표계를 왜곡 보정된 영상이 표시된 영상 좌표계로 변환하기 위한 회전 행렬(Re)을 의미하는 것임에 유의한다.As shown in FIG. 9, the
도 9의 (a)에 도시된 바와 같이 실세계 도로면 좌표계에서 도 9의 (b)에 도시된 바와 같이 왜곡된 영상(실질적으로는 왜곡 보정된 영상으로서, 실제 카메라 영상에서는 직선이 약간 곡선으로 표시되는 경향이 있기 때문에 곡선을 직선이 되게 보정한 영상을 의미한다)이 표시된 영상 좌표계(도 9의 (b) 참조)로의 변환을 의미한다. As shown in Fig. 9 (a), in the real world road surface coordinate system, as shown in Fig. 9 (b), distorted images (substantially distorted images, (Refer to FIG. 9 (b)) in which the curved line is corrected to be a straight line.
따라서 추정의 편의를 위하여, 역 변환(즉, 왜곡 보정된 영상 좌표계를 실세계 도로면 좌표계로의 변환)을 통해서 카메라의 각도(Re)를 추정할 수 있다. 즉, 도 9에서 Re T로 영상을 회전시키면(도 9의 (b)→도 9의 (a)로의 영상 회전), 도 9의 (b)에서 추정된 2개의 소실점(v1과 v2)은 무한 원점(point at infinity)(p1과 p2)으로 변환된다. Therefore, for convenience of estimation, the angle (R e ) of the camera can be estimated through inverse transformation (that is, transformation of the distortion-corrected image coordinate system into a real world road surface coordinate system). 9 (a)), the two vanishing points (v 1 and v 2 ) estimated in FIG. 9 (b) are obtained by rotating the image with R e T in FIG. 9 ) Are transformed into point at infinity (p 1 and p 2 ).
예컨대 상기 도 9에 도시된 변환 동작을 수식으로 표현하면 아래 수학식1과 같다.For example, the conversion operation shown in FIG. 9 can be expressed by the following equation (1).
여기서 상기 K는 카메라 내부변수로 구성된 행렬을 의미하고, v'1과 v'2는 소실점(v1과 v2)에 각기 K-1를 곱해준 결과이며, 상기 K는 사전에 미리 얻을 수 있는 값이다. Where v ' 1 and v' 2 are the results of multiplying the vanishing point (v 1 and v 2 ) by K -1 , respectively, and K is a matrix obtained by pre- Value.
또한 p'1는 영상에서 차량의 직진 방향을 의미하기 때문에 측방 카메라의 경우 [1 0 0]T가 되고, 전/후방카메라의 경우 [0 1 0]T가 된다. Also, p ' 1 means [1 0 0] T for the side camera and [0 1 0] T for the front / rear camera because it means the direction of the vehicle straight ahead in the image.
따라서 측방 카메라의 경우에는 아래의 수학식2와 같이 첫 번째 소실점(v'1)의 좌표가 추정하기를 원하는 카메라의 각도(Re)의 첫 번째 칼럼 벡터(column vector)인 r1이 된다.Therefore, in the case of the side camera, the coordinate of the first vanishing point (v ' 1 ) is r 1, which is the first column vector of the angle (R e ) of the camera to be estimated as shown in Equation 2 below.
한편 p'2의 정확한 위치는 확정할 수 없지만, 이 점은 무한대만큼 떨어진 곳에 위치한 점이기 때문에 [a b 0]T으로 표현될 수 있다. On the other hand, the exact position of p ' 2 can not be determined, but this point can be expressed as [ab 0] T because it is a point located at infinity.
그리고 v'2를 Re T로 변환하면 p'2가 되므로, 아래의 수학식3의 ①을 얻을 수 있다.Then, when v ' 2 is converted to R e T , p' 2 is obtained, so that the following equation (3) can be obtained.
또한 상기 수학식2를 동일한 방식으로 변환하면, 상기 수학식3의 ②를 얻을 수 있다. 마지막으로 상기 수학식3의 두 수식①,②를 합치면, 상기 수학식3의 ③을 얻을 수 있다. If Equation (2) is transformed in the same manner, Equation (3) can be obtained. Finally, by combining the two equations (1) and (2) of Equation (3), Equation (3) of Equation (3) can be obtained.
여기서 상기 수학식3의 ③은, 기하학적으로 r3가 2개의 소실점(v'1과 v'2)을 잇는 직선인 소실선(vanishing line)의 파라미터가 된다는 의미를 갖는다.Wherein in formula 3 ③ it is, have the meaning that the geometrical parameters of r 3 to the two vanishing points (v '1 and v' 2) loss line (line vanishing) of a straight line connecting the.
한편 상기 수학식2에 의해 r1은 v'1이기 때문에 상기 r1은 소실점을 계산하는 아래의 수학식4를 기반으로 계산될 수 있다. 즉, 아래의 수학식4에 의해서 r1을 계산할 수 있다.On the other hand, according to Equation (2), since r 1 is v ' 1 , r 1 can be calculated based on Equation (4) below to calculate the vanishing point. That is, r 1 can be calculated by the following equation (4).
아래 수학식4에서 (xi,yi)와 (x'i,y'i)는 i번째 대응점의 좌표를 의미한다.(X i , y i ) and (x ' i , y' i ) in Equation (4) below represent the coordinates of the i-th corresponding point.
또한 r3는 소실선(vanishing line)의 파라미터를 의미한다. R 3 is the parameter of the vanishing line.
따라서 대응점들의 조합으로부터 다수의 소실점(v2)을 계산하여 이들(다수의 소실점(v2))을 기반으로 직선 추정을 수행하여 r3를 계산할 수 있다. Therefore, it is possible to calculate r 3 by calculating a plurality of vanishing points (v 2 ) from the combination of corresponding points and performing a straight line estimation based on these (vanishing points (v 2 )).
이때, 직선(즉, 소실선, r3)은 반드시 r1(v1)을 지나야 한다는 강제 조건을 사용하게 되면 아래의 수학식5와 같이 r3를 얻을 수 있다. 즉, 아래의 수학식4에 의해서 r3을 계산할 수 있다.At this time, if the constraint condition that the straight line (i.e., the disappearance line, r 3 ) must pass r 1 (v 1 ) is used, r 3 can be obtained as shown in Equation 5 below. That is, r 3 can be calculated by the following equation (4).
상기 수학식5에서 v1 x와 v1 y는 상기 수학식4를 통해 계산된 소실점(v1)의 좌표를 의미하고, (vx 2,i, vy 2,j)는 대응점들의 조합으로 얻어낸 i번째 소실점의 좌표를 의미한다. 상기와 같이 r1과 r3를 계산한 후에는 r1과 r3의 벡터의 외적(cross product)을 통해 r2를 계산하여 최종적으로 추정하기를 원하는 카메라의 각도(Re)를 추정하게 된다.In Equation (5), v 1 x and v 1 y are the coordinates of the vanishing point (v 1 ) calculated through Equation (4), and (v x 2, i , v y 2, j ) And the coordinates of the i-th vanishing point obtained. After calculating r 1 and r 3 as described above, r 2 is calculated through the cross product of the vectors of r 1 and r 3 to estimate the camera angle (R e ) to be finally estimated .
도 10은 본 발명의 일 실시예에 따른 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법을 통해 보정된 영상을 이용하여 생성된 어라운드 뷰 영상을 보인 예시도이다.10 is a diagram illustrating an example of an overview view image generated using a corrected image through a method of estimating a camera angle of the surrounding view monitoring system according to an exemplary embodiment of the present invention.
도 10의 (a)는 실험이 실시된 장소에서 촬영된 카메라 영상이며, 도 10의 (b)는 상기 촬영된 카메라 영상을 기반으로 추정된 어라운드 뷰 모니터링 시스템의 카메라 각도를 기반으로 자동으로 캘리브레이션을 수행하여 생성된 어라운드 뷰 영상이다.10 (a) is a camera image taken at a place where the experiment is performed, and FIG. 10 (b) shows an automatic calibration based on the camera angle of the surrounding view monitoring system estimated based on the taken camera image Which are generated by performing the above-described operations.
이에 도시된 바와 같이 본 실시예는 도 10의 (a)와 같이 차선 및 패턴과 같은 특징이 거의 없는 상황(지면에 차선을 지운 자국과 원거리에 건물만 있는 상황)에서도 카메라의 각도를 자동으로 추정하여 캘리브레이션을 수행하는 것을 확인할 수 있다.As shown in FIG. 10A, the present embodiment automatically estimates the angle of the camera even in a situation where there are few features such as lanes and patterns (a situation where a lane is erased and a building is located at a remote location) And the calibration is performed.
상기와 같이 본 실시예는 카메라에서 촬영된 영상을 기반으로 자동으로 Around View Monitor(AVM) 시스템의 카메라 각도를 추정할 수 있다. 특히, 지면에 격자와 차선과 같은 특별한 무늬(카메라 보정을 위한 특별한 패턴)가 없는 상황에서도 카메라 각도를 추정할 수 있다.As described above, the present embodiment can automatically estimate the camera angle of the Around View Monitor (AVM) system based on the image photographed by the camera. In particular, the camera angle can be estimated even when there is no special pattern (special pattern for camera correction) such as grid and lane on the ground.
따라서 본 실시예는 전문 엔지니어가 아닌 일반 운전자가 임의의 도로에서(어디에서라도) 주행 시 자동으로 카메라의 각도를 추정하기 때문에 AVM 시스템의 편의성이 높아지고, 설치비용이 감소되며, 시스템 동작 환경이나 보정에 대한 제한 조건(공차 보정장과 같은 특별한 설비 등)이 적기 때문에 활용성이 향상되어 해외 수출에 대한 제약이 해소될 수 있는 효과가 있다.Therefore, in this embodiment, since the general driver rather than the professional engineer automatically estimates the angle of the camera when traveling on any road (from anywhere), the convenience of the AVM system is increased, the installation cost is reduced, (Such as special equipment such as tolerance compensation) is limited, so that it is possible to improve the usability and to solve the restriction on the export to overseas.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, I will understand the point. Accordingly, the technical scope of the present invention should be defined by the following claims.
110 : 제어부
120, 121, 122 : 카메라110:
120, 121, 122: camera
Claims (6)
상기 제어부가 상기 추출한 특징점들을 추적하여 대응점들을 획득하는 단계;
상기 제어부가 상기 각 카메라 영상에서 획득한 대응점들을 통합하는 단계;
상기 제어부가 상기 통합한 대응점들을 이용하여 소실점과 소실선을 추정하는 단계; 및
상기 추정된 소실점과 소실선에 기초하여 카메라 각도를 추정하는 단계;를 포함하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법.
The control unit of the surrounding view monitoring system uniforms and extracts feature points from at least three camera images;
The control unit tracks the extracted minutiae to obtain corresponding points;
Integrating corresponding points obtained from the camera images by the control unit;
Estimating a vanishing point and a vanishing line using the integrated points; And
And estimating a camera angle on the basis of the estimated vanishing point and the vanishing line.
상기 카메라 영상에서 주위 배경과 구분되면서 식별이 용이한 지점으로서,
물체의 형태나 크기, 위치가 변해도 쉽게 식별이 가능하고, 또한
카메라의 시점, 조명이 변해도 영상에서 해당 지점을 쉽게 찾아낼 수 있는 지점을 의미하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법.
The image processing apparatus according to claim 1,
As a point which is distinguished from the surrounding background in the camera image and is easy to identify,
It is easily identifiable even if the shape, size and position of an object change,
Means a point at which the corresponding point can be easily found in the image even if the viewpoint and illumination of the camera are changed.
상기 제어부는,
특징점들의 균일화를 위하여 카메라 영상을 기 설정된 다수의 영역으로 분할하고, 상기 분할된 각 영역에서 기 정해진 개수의 특징점이 추출되도록 강제하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법.
The method according to claim 1, wherein in the step of extracting and equalizing the feature points,
Wherein,
And dividing the camera image into a plurality of predetermined regions and forcing the predetermined number of feature points to be extracted in each of the divided regions for uniformizing the feature points.
연속 또는 순차 촬영된 영상으로서,
이전에 촬영된 영상에 이어서 시간상 곧바로 촬영된 영상, 또는
기 지정된 프레임 이상의 시간적 차이가 있는 카메라 영상을 포함하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법.
The image processing method according to claim 1,
As a continuous or sequentially photographed image,
The image immediately taken in time following the previously captured image, or
Wherein the camera image includes a camera image having a temporal difference of a predetermined frame or more.
상기 제어부는,
두 대응점들을 각기 길이 방향으로 연장하는 가상의 직선을 그어 상기 가상의 직선들이 교차하는 지점에서 하나의 소실점을 추정하고, 상기 두 대응점들의 양 끝을 각기 연결하는 가상의 직선을 긋고 그 가상의 직선을 연장하여 교차되는 지점에서 다른 하나의 소실점을 추정하여, 상기 얻은 두 소실점을 서로 잇는 소실선을 추정하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법.
The method according to claim 1, wherein, in order to estimate the vanishing point and the vanishing line,
Wherein,
A virtual straight line extending in the longitudinal direction of each of the two corresponding points is estimated and one vanishing point is estimated at a point where the imaginary straight lines intersect with each other, and a virtual straight line connecting both ends of the two corresponding points is drawn, Estimating another vanishing point at a point where the two vanishing points intersect with each other and estimating a vanishing line connecting the two vanishing points to each other.
상기 제어부는,
실세계 도로면 좌표계를 왜곡 보정된 영상이 표시된 영상 좌표계로 변환하기 위한 회전 행렬(Re)을 카메라 각도로서 추정하는 것을 특징으로 하는 어라운드 뷰 모니터링 시스템의 카메라 각도 추정 방법.
2. The method according to claim 1, wherein in estimating the camera angle,
Wherein,
(R e ) for converting a real world road surface coordinate system into an image coordinate system in which a distorted image is displayed is estimated as a camera angle.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170074556A KR102325690B1 (en) | 2017-06-14 | 2017-06-14 | Camera angle estimation method for around view monitoring system |
| CN201810562496.XA CN109086650B (en) | 2017-06-14 | 2018-06-04 | Calibration method and calibration apparatus |
| CN201810603287.5A CN109089074A (en) | 2017-06-14 | 2018-06-12 | For looking around the camera angle estimation method of monitoring system |
| US16/008,812 US20180365857A1 (en) | 2017-06-14 | 2018-06-14 | Camera angle estimation method for around view monitoring system |
| US16/008,933 US10529091B2 (en) | 2017-06-14 | 2018-06-14 | Calibration method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170074556A KR102325690B1 (en) | 2017-06-14 | 2017-06-14 | Camera angle estimation method for around view monitoring system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180136057A true KR20180136057A (en) | 2018-12-24 |
| KR102325690B1 KR102325690B1 (en) | 2021-11-15 |
Family
ID=65010317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170074556A KR102325690B1 (en) | 2017-06-14 | 2017-06-14 | Camera angle estimation method for around view monitoring system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102325690B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862206A (en) * | 2019-12-31 | 2020-10-30 | 滴图(北京)科技有限公司 | Visual positioning method and device, electronic equipment and readable storage medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012096163A1 (en) * | 2011-01-13 | 2012-07-19 | パナソニック株式会社 | Image processing device, image processing method, and program therefor |
| US20150049193A1 (en) * | 2011-04-25 | 2015-02-19 | Magna International Inc. | Method and system for dynamically calibrating vehicular cameras |
-
2017
- 2017-06-14 KR KR1020170074556A patent/KR102325690B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012096163A1 (en) * | 2011-01-13 | 2012-07-19 | パナソニック株式会社 | Image processing device, image processing method, and program therefor |
| US20150049193A1 (en) * | 2011-04-25 | 2015-02-19 | Magna International Inc. | Method and system for dynamically calibrating vehicular cameras |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862206A (en) * | 2019-12-31 | 2020-10-30 | 滴图(北京)科技有限公司 | Visual positioning method and device, electronic equipment and readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102325690B1 (en) | 2021-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180365857A1 (en) | Camera angle estimation method for around view monitoring system | |
| JP7247173B2 (en) | Image processing method and apparatus | |
| US10652466B2 (en) | Method and device for stabilization of a surround view image | |
| KR101188588B1 (en) | Monocular Motion Stereo-Based Free Parking Space Detection Apparatus and Method | |
| US20150329048A1 (en) | Surround-view camera system (vpm) online calibration | |
| KR102538592B1 (en) | Apparatus for generating top-view image and method thereof | |
| Fraundorfer et al. | A constricted bundle adjustment parameterization for relative scale estimation in visual odometry | |
| WO2010109730A1 (en) | Camera calibrator | |
| WO2012139636A1 (en) | Online vehicle camera calibration based on road surface texture tracking and geometric properties | |
| US20160343136A1 (en) | Data-processing system and method for calibration of a vehicle surround view system | |
| US20090179916A1 (en) | Method and apparatus for calibrating a video display overlay | |
| US9661319B2 (en) | Method and apparatus for automatic calibration in surrounding view systems | |
| US20130070962A1 (en) | Egomotion estimation system and method | |
| US9387804B2 (en) | Image distortion compensating apparatus and operating method thereof | |
| US9892519B2 (en) | Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle | |
| KR102566583B1 (en) | Method and device for stabilization of a surround view image | |
| KR101504335B1 (en) | Device, method and vehicle for providing around view | |
| KR20180136057A (en) | Camera angle estimation method for around view monitoring system | |
| TW201537510A (en) | 3D AVM (Around View Monitoring) image system based on probabilistic approach and acquisition method thereof | |
| US11403770B2 (en) | Road surface area detection device | |
| JP6174884B2 (en) | Outside environment recognition device and outside environment recognition method | |
| US20180060671A1 (en) | Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program | |
| US20160176340A1 (en) | Perspective shifting parking camera system | |
| JP4905812B2 (en) | Camera calibration device | |
| US9519833B2 (en) | Lane detection method and system using photographing unit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |