KR20170133085A - Estimation method and apparatus for information corresponding camera orientation by using image - Google Patents

Estimation method and apparatus for information corresponding camera orientation by using image Download PDF

Info

Publication number
KR20170133085A
KR20170133085A KR1020160064076A KR20160064076A KR20170133085A KR 20170133085 A KR20170133085 A KR 20170133085A KR 1020160064076 A KR1020160064076 A KR 1020160064076A KR 20160064076 A KR20160064076 A KR 20160064076A KR 20170133085 A KR20170133085 A KR 20170133085A
Authority
KR
South Korea
Prior art keywords
camera
vanishing point
line segment
image
information
Prior art date
Application number
KR1020160064076A
Other languages
Korean (ko)
Other versions
KR101847113B1 (en
Inventor
윤국진
이정균
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020160064076A priority Critical patent/KR101847113B1/en
Publication of KR20170133085A publication Critical patent/KR20170133085A/en
Application granted granted Critical
Publication of KR101847113B1 publication Critical patent/KR101847113B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

An estimating apparatus according to the present invention comprises: an image input unit providing an image that varies according to a direction of a camera; a segment detection and tracing unit detecting a new segment and a traced segment from the image; a data management unit extracting data from information inputted from the segment detection and tracing unit; a memory storing information extracted from the data management unit; and a filter unit using present information received from the segment detection and tracing unit and past information from the memory and estimating the direction of the camera by a filtering operation using a filter, wherein a camera state vector indicating the direction of the camera and a vanishing point vector indicating a direction of a vanishing point are included in a state vector used for the filter. The present invention can estimate information on the direction of the camera more accurately.

Description

이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치 및 추정방법{Estimation method and apparatus for information corresponding camera orientation by using image}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an information estimating apparatus and an estimating method relating to a direction of a camera using an image,

본 발명은 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치 및 추정방법에 관한 것이다. 상세하게는, 연속적으로 입력되는 이미지를 이용하여 카메라의 방향, 이미지의 선분, 또는 이미지의 소실점을 추정하는 장치 및 방법에 관한 것이다. The present invention relates to an information estimating apparatus and an estimating method relating to a direction of a camera using an image. More particularly, the present invention relates to an apparatus and method for estimating the direction of a camera, a line segment of an image, or a vanishing point of an image by using an image continuously input.

근래에는 드론, 및 자율주행장치 등과 같이, 자신의 위치와 이동방향을 정교하게 추정하여 스스로 이동이 가능한 이동체가 증가하고 있다. 상기 이동체는 다양한 방법으로 자신이 이동하는 방향과 위치를 알아내도록 하고 있다. 그 일 방법으로, 상기 이동체에 장착되는 카메라를 통하여 취득되는 이미지를 이용하여, 카메라의 방향 및 그 카메라가 사용되는 이동체의 방향을 알아낼 수 있는 장치 및 방법이 소개된 바가 있다. 예를 들어, 비특허문헌 1 및 2에는, 이미지를 취득하여 카메라의 방향을 추정하는 방법이 소개되어 있다. 2. Description of the Related Art In recent years, mobile objects such as drones and autonomous travel devices that can move themselves by accurately estimating their positions and moving directions are increasing. The moving body is configured to determine the direction and position in which the moving body moves in various ways. As a method therefor, an apparatus and a method are disclosed in which the direction of a camera and the direction of a moving object used by the camera can be determined using an image acquired through a camera mounted on the moving object. For example, non-patent documents 1 and 2 disclose a method of acquiring an image and estimating the direction of the camera.

또한, 이동체의 방향은 이미지 해석을 통해서 얻어낼 수 있을 뿐만 아니라, 자이로센서 및 관성센서를 이용해서도 확인할 수 있다. In addition, the direction of the moving object can be obtained not only by image analysis but also by using a gyro sensor and inertial sensor.

그러나 대규모 환경에서 이동체의 방향을 추정할 때, 누적되는 오차로 인해 추정된 이동체의 위치 정확도가 하락한다. 특히, 회전에 대한 누적 오차가, 카메라의 방향을 추정하는데 있어서 오류를 일으키는 큰 요인으로서 작용한다. However, when estimating the direction of a moving object in a large scale environment, the estimated position accuracy of the moving object is reduced due to accumulated errors. In particular, the cumulative error of rotation serves as a large factor in causing errors in estimating the direction of the camera.

1. J.-C. Bazin, C. Demonceaux, P. Vasseur, and I. Kweon. Rotation estimation and vanishing point extraction by omnidirectional vision in urban environment. IJRR, 31(1):63-81,2012.1. J.-C. Bazin, C. Demonceaux, P. Vasseur, and I. Kweon. Rotation estimation and vanishing point extraction by omnidirectional vision in urban environment. IJRR, 31 (1): 63-81,2012. 2. J.-C. Bazin, Y. Seo, C. Demonceaux, P. Vasseur, K. Ikeuchi, I. Kweon, and M. Pollefeys. Globally optimal line clustering and vanishing point estimation in manhattan world. In CVPR, 2012.2. J.-C. Bazin, Y. Seo, C. Demonceaux, P. Vasseur, K. Ikeuchi, I. Kweon, and M. Pollefeys. Globally optimal line clustering and vanishing point estimation in manhattan world. In CVPR, 2012.

본 발명은 상기 배경하에서 제안되는 것으로서, 카메라의 방향을 정확하게 추정하는 장치 및 방법을 제안한다. 특히, 오랜 시간이 경과하더라도 정확하게 카메라의 방향과 관련한 정보를 추정할 수 있는 장치 및 방법을 제안한다. The present invention proposes an apparatus and method for accurately estimating the direction of a camera as proposed under the background. In particular, the present invention proposes an apparatus and method for accurately estimating information related to a camera's orientation even after a long time.

본 발명은 카메라의 방향정보만이 아니라, 이미지의 해석과 함께 도출되는 다양한 정보를 정확하게 추정하여 제공할 수 있는 카메라의 방향과 관련한 정보 추정장치 및 추정방법을 제안한다. The present invention proposes not only the direction information of the camera but also an information estimating apparatus and an estimation method relating to the direction of the camera which can accurately estimate and provide various information derived along with the interpretation of the image.

본 발명에 따른 추정장치에는, 카메라의 방향에 따라서 달라지는 이미지를 제공하는 이미지입력부; 상기 이미지로부터 새로운 선분 및 추적되는 선분을 검출하는 선분검출 및 추적부; 상기 선분검출 및 추적부로부터 입력된 정보로부터 데이터를 추출하는 데이터 관리부; 상기 데이터 관리부로부터 추출되는 정보를 저장하는 메모리; 및 상기 선분검출 및 추적부로부터 받는 현재정보와 상기 메모리로부터의 과거정보를 이용하고, 필터를 이용하는 필터링 작용에 의해서 상기 카메라의 방향을 추정하는 필터부가 포함되고, 상기 필터에 사용되는 상태벡터에는, 상기 카메라의 방향을 나타내는 카메라 상태벡터 및 소실점의 방향을 나타내는 소실점벡터가 함께 포함된다. 본 발명에 따르면 보다 정확한 카메라의 방향정보를 얻을 수 있다. An estimation apparatus according to the present invention includes: an image input unit for providing an image that varies depending on a direction of a camera; A line segment detection and tracking unit for detecting a new line segment and a line segment to be tracked from the image; A data management unit for extracting data from information input from the line segment detection and tracking unit; A memory for storing information extracted from the data management unit; And a filter unit for estimating a direction of the camera by using a filtering function using current information from the segment detection and tracking unit and past information from the memory, A camera state vector indicating the direction of the camera, and a vanishing point vector indicating the direction of the vanishing point. According to the present invention, more accurate direction information of the camera can be obtained.

본 발명에 따른 추정방법에는, 어느 프레임에서 선분과 소실점을 추출하여 초기화하는 것; 상기 어느 프레임의 다음 프레임에서 선분을 추출하여 상태벡터-여기서, 상태벡터에는 카메라의 상태벡터 및 소실점벡터가 포함된다-를 추정하는 것; 및 상기 소실점 및 상기 소실점을 이루는 선분을 갱신하는 것이 포함된다. 본 발명에 따르면 정확한 카메라의 방향정보를 얻을 수 있다. The estimation method according to the present invention includes extracting and initializing a segment and a vanishing point in a frame; Extracting a line segment in a next frame of the frame to estimate a state vector, wherein the state vector includes a camera state vector and a vanishing point vector; And updating the vanishing point and the line segment constituting the vanishing point. According to the present invention, it is possible to obtain accurate camera direction information.

본 발명에 따르면, 재귀적 베이지안 필터(recursive bayesian filter)를 적용하여 계산 복잡도가 낮아져서 실시간으로 정확한 추정이 가능한 효과가 있다. According to the present invention, a recursive bayesian filter is applied to reduce the computational complexity, and accurate estimation can be performed in real time.

본 발명에 따르면, 서로 상관관계가 있는 소실점과 카메라의 방향을 함께 추정함으로써 추정된 카메라 방향의 정확도가 향상되는 효과가 있다. 또한, 소실점과 카메라의 방향이 함께 추정됨으로써, 맨하탄 세계 가정(모든 건물이 수직으로 제공된다는 가정)이 적용되지 않는 다양한 환경에서도 카메라의 방향을 정확하게 추정할 수 있다. According to the present invention, there is an effect that the accuracy of the camera direction estimated by estimating the direction of the camera and the vanishing point correlated with each other is improved. Also, by estimating both the vanishing point and the direction of the camera, the direction of the camera can be accurately estimated even in a variety of environments where the Manhattan world home (assuming that all buildings are provided vertically) is not applied.

본 발명에 따르면, 소정의 시간 단위로 비정상으로 추출되는 카메라 방향과 관련되는 정보를 업데이트 함으로써, 카메라 방향의 정확도를 더욱 향상시킬 수 있다. According to the present invention, the accuracy of the camera direction can be further improved by updating the information related to the camera direction extracted abnormally in a predetermined time unit.

도 1에 선분을 획득하는 이미지의 예시도.
도 2는 실시예에 따른 이미지에 의한 카메라의 방향과 관련한 정보 추정장치를 설명하는 블록도.
도 3은 관측모델을 설명하는 참조도.
도 4는 실시예에 따른 이미지에 의한 카메라의 방향과 관련한 정보 추정방법을 설명하는 흐름도.
도 5는 실시예에 따른 추정장치 및 추정방법의 효과를 설명하는 그래프.Figure 1 is an illustration of an image acquiring a line segment;
2 is a block diagram illustrating an information estimating apparatus relating to a direction of a camera by an image according to an embodiment;
3 is a reference diagram illustrating an observation model;
4 is a flow chart illustrating a method of estimating information relating to the orientation of a camera by an image according to an embodiment.
5 is a graph for explaining the effect of the estimating apparatus and the estimating method according to the embodiment.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나, 본 발명의 사상은 이하의 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다. Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. However, the spirit of the present invention is not limited to the embodiments described below, and those skilled in the art will recognize that other embodiments falling within the scope of the same concept can be easily implemented by adding, changing, deleting, It will be understood that they are also encompassed within the scope of the present invention.

도 2는 실시예에 따른 이미지에 의한 카메라의 방향과 관련한 정보 추정장치를 설명하는 블록도이다. 2 is a block diagram illustrating an information estimating apparatus relating to a direction of a camera by an image according to an embodiment.

도 2를 참조하면, 영상이 입력되는 카메라(1), 상기 카메라(1)로부터 입력되는 영상을 소정 시간 간격의 이미지로 제공하는 이미지입력부(2), 상기 이미지입력부(2)를 통하여 입력되는 프레임 단위의 이미지로부터 선분을 검출하고 시간 단위로 추적하는 선분검출 및 추적부(3), 입력되는 정보를 가공하여 정보를 추출하는 데이터 관리부(4), 데이터 관리부(4)로부터 추출되는 정보 및 추정장치의 동작에 필요한 다양한 정보를 저장하는 메모리(7), 상기 선분검출 및 추적부(3)로 부터의 현재정보 및 상기 메모리(7)로부터의 과거정보를 참조하여 현재 카메라의 방향을 추정하는 필터부(5), 및 시스템의 요구에 따라서 필요한 데이터를 출력하는 출력부(6)가 포함된다. 2, an image input unit 2 that provides an image input from the camera 1 at an interval of a predetermined time, a frame input through the image input unit 2, A line detection and tracking unit 3 for detecting a line segment from an image of a unit and tracking the line segment on a time unit basis, a data management unit 4 for extracting information by processing input information, information extracted from the data management unit 4, A memory 7 for storing various information necessary for the operation of the line segment detection and tracking unit 3, a filter unit 7 for estimating the direction of the current camera with reference to the current information from the line segment detection and tracking unit 3 and the past information from the memory 7, And an output unit 6 for outputting necessary data in accordance with the request of the system.

여기서, 상기 카메라(1)는 이미지가 입력되는 도구로서의 기능을 수행하고, 상기 이미지 정보가 저장장치로부터 별도로 입력되는 경우에, 상기 카메라(1)는 추정장치에서 필요없을 수도 있다. 상기 선분검출 및 추적부(3)는 선분의 검출 및 추적을 위한 별도의 기능 블럭으로서, 선분검출부 및 선분추적부가 서로 구분되어 있을 수도 있다. Here, the camera 1 functions as a tool for inputting an image, and when the image information is inputted separately from the storage device, the camera 1 may not be necessary in the estimation device. The line segment detection and tracking unit 3 may be a separate function block for detecting and tracking line segments, and the line segment detection unit and the line segment tracking unit may be separated from each other.

상기 이미지에 의한 카메라의 방향과 관련한 정보 추정장치의 동작을 간단히 설명한다. The operation of the information estimating apparatus in relation to the direction of the camera by the image will be briefly described.

상기 선분검출 및 추적부(3)는 현재 이미지(k)에서 선분을 추출하고, 추출된 선분을 이전 이미지(k-1)의 선분과 연관시켜 추적한다. 추적된 선분은 필터부(5) 및 데이터 관리부(4)로 전달된다. 상기 선분의 추적에는 선분 정합(line segment matching)의 방법이 적용될 수 있고, 그래디언트 연산자 또는 LBD 기술자가 적용될 수 있다. The segment detection and tracking unit 3 extracts a line segment from the current image k and tracks the extracted line segment in association with a line segment of the previous image k-1. The tracked line segment is transmitted to the filter unit 5 and the data management unit 4. A line segment matching method may be applied to track the line segment, and a gradient operator or LBD descriptor may be applied.

상기 필터부(5)는 상기 선분검출 및 추적부(3)로부터 제공되는 현재정보와, 상기 메모리(7)로부터 제공되는 과거정보를 이용하여, 재귀적 베이지안 필터를 이용하여 필터링을 수행한다. 물론 다른 방법이 사용되는 것을 배제하지는 않지만, 신속한 연산을 통한 실시간 응답을 얻기 위해서는 바람직하게 사용될 수 있다. The filter unit 5 performs filtering using a recursive Bayesian filter using current information provided from the segment detection and tracking unit 3 and past information provided from the memory 7. Of course, it is not excluded that another method is used, but it can be preferably used to obtain a real-time response through a fast operation.

상기 필터부(5)에는, 시스템 모델(실시예에서는 등각속도모델을 이용한다)을 이용하여 카메라 방향을 예측하는 예측부(51)와, 상기 예측부(51)에서 예측된 정보를 상태벡터(카메라방향과 소실점을 함께 가지는 정보이다)와 관측모델(소실점과 소실점을 이루는 선분과의 벡터관계이다)을 이용하여 갱신하는 갱신부(52)가 포함된다.The filter unit 5 is provided with a prediction unit 51 for predicting the camera direction using a system model (in the embodiment, a constant velocity model is used), and a prediction unit 51 for calculating information predicted by the prediction unit 51, Direction and a vanishing point together) and an updating unit 52 for updating the model using an observation model (which is a vector relation between a vanishing point and a line segment forming a vanishing point).

이와 같이 상기 필터부(5)에서는 상기 관측모델에 기반하여 서로 관련도가 높은 카메라 방향과 소실점을 함께 매 프레임마다 갱신하기 때문에, 카메라 방향 및 소실점에 대한 오차를 함께 최소화함으로써 정확한 값을 유지할 수 있다.As described above, the filter unit 5 updates camera directions and vanishing points having high degrees of correlation with each other based on the observation model every frame, so that it is possible to maintain an accurate value by minimizing the errors of the camera direction and the vanishing point .

상기 데이터 관리부(4)는, 상기 선분검출 및 추적부(3)로부터 선분정보를 받고, 상기 필터부(5)로부터 현재 카메라 방향과 관련한 정보를 입력받는다. 상기 데이터 관리부(4)는 입력받은 정보를 가공하여 메모리(7)로 저장한다. The data management unit 4 receives the segment information from the segment detection and tracking unit 3 and receives information about the current camera direction from the filter unit 5. [ The data management unit 4 processes the input information and stores the processed information in the memory 7.

또한, 상기 데이터 관리부(4)는 현재 정보를 출력부(6)를 통하여 출력하여, 이동체의 방향정보로서 활용하거나, 다른 측위장치에 활용되어 정확한 측위정보를 재가공하는데 사용할 수 있다. 이때 상기 출력부(6)에서 출력되는 정보로는 카메라의 방향정보, 소실점정보, 및 선분정보가 포함될 수 있다. The data management unit 4 may output the current information through the output unit 6 and utilize it as direction information of the moving object or may be used in other positioning apparatuses and used for reprocessing accurate positioning information. At this time, the information output from the output unit 6 may include direction information of the camera, vanishing point information, and line segment information.

이하에서는 상기되는 이미지에 의한 카메라의 방향과 관련된 정보 추정장치를 더 상세하게 설명한다. Hereinafter, the information estimating apparatus relating to the direction of the camera according to the image will be described in more detail.

상기 이미지 입력부(2)로부터 입력되는 이미지는 프레임별로 선분검출 및 추적부(3)로 입력된다. 상기 선분검출 및 추적부(3)에서는 입력된 이미지에서 선분을 검출한다. 검출된 선분에 대한 예를 도 1에 제시되는 이미지의 예시를 통하여 확인할 수 있다. The image input from the image input unit 2 is input to the line segment detection and tracking unit 3 for each frame. The line segment detection and tracking unit 3 detects line segments in the input image. An example of the detected line segment can be confirmed through an example of the image shown in FIG.

도 1을 참조하면, 예를 들어 건물 외형이나 창틀 등이 선분(선분은 일정한 길이는 가지는 선으로 볼 수 있다)으로 검출되는 것을 볼 수 있고, 다양한 선분 검출 알고리즘을 이용할 수 있다. 상기 선분검출 및 추적부(3)에서는 상기 메모리(7)로부터 입력되는 이전 프레임의 선분정보를 활용하여 이전 프레임에서부터 계속해서 있는 선분을 추적되는 선분으로 정의할 수 있다. Referring to FIG. 1, it can be seen that a building contour or a window frame is detected as a line segment (a line segment can be seen as a line having a constant length), and various line segment detection algorithms can be used. The line segment detection and tracking unit 3 may define line segments that continue from the previous frame to be tracked by utilizing the line segment information of the previous frame input from the memory 7.

상기 선분검출 및 추적부(3)에서 검출되는 상기 새로운 선분은 새로운 소실점의 검출 및 새로운 선분특징을 분류하거나 추가하는데 사용할 수 있다. 여기서, 선분 검출기로는 예를 들어, LSD 또는 EDLines를 사용할 수 있다. 또한, 선분의 추적에는 그래디언트 연산자 또는 LBD기술자를 사용할 수 있다. 추적된 선분 중에서 이상치를 제거하기 위하여 RANSAC를 이용할 수 있다. The new line segment detected by the line segment detection and tracking unit 3 may be used for detecting a new vanishing point and classifying or adding a new line segment characteristic. Here, for example, LSD or EDLines may be used as the line segment detector. You can also use gradient operators or LBD descriptors to track segments. RANSAC can be used to remove anomalies from tracked segments.

상기 선분검출 및 추적부(3)에서 검출되는 상기 추적되는 선분은, 상기 필터부(5)로 전달되어 카메라 방향 및 소실점을 추정하는데 사용될 수 있다. 또한, 상기 선분검출 및 추적부(3)에서 검출되는 상기 추적되는 선분은 상기 데이터 관리부(4)로 전달되어 선분 특징의 분류 및 추가, 기존 선분 특징의 제거에 사용될 수 있다. The tracked line segment detected by the line segment detection and tracking unit 3 may be transmitted to the filter unit 5 and used to estimate a camera direction and a vanishing point. In addition, the tracked line segment detected by the line segment detection and tracking unit 3 may be transmitted to the data management unit 4 to classify and add line segment features, and to remove existing line segment features.

상기 필터부(5)는, 상기 재귀적 베이지안 필터를 이용하여, 현재 프레임에서 카메라 방향과 소실점을 추정할 수 있다. 상기 필터부(5)는 상기 선분검출 추적부(3)에서 출력되는 상기 추적되는 선분, 상기 메모리(7)에서 출력되는 이전 프레임의 선분 및 카메라 방향과 관련되는 정보를 참조하여 카메라 방향과 소실점을 예측하고, 갱신할 수 있다. The filter unit 5 can estimate the camera direction and vanishing point in the current frame using the recursive Bayesian filter. The filter unit 5 refers to the camera direction and the vanishing point by referring to the tracked line segment output from the line segment tracking unit 3, the line segment of the previous frame output from the memory 7, Predict, and update.

상세하게, 상기 예측부(51)는, 시스템모델을 등각속도모델로 정의하여 카메라 방향 및 소실점을 예측할 수 있다. 상기 갱신부(52)는 관측모델에 기반하여 예측된 카메라 방향 및 소실점을 보정한다. In detail, the prediction unit 51 can predict the camera direction and the vanishing point by defining the system model as a constant velocity model. The updating unit 52 corrects the predicted camera direction and vanishing point based on the observation model.

상기 예측부(51)의 작용을 더 상세하게 설명한다. The operation of the prediction unit 51 will be described in more detail.

상기 예측부(51)의 동작을 위하여, 카메라의 방향을 정의하기 위한 상태벡터와 카메라의 방향을 예측하기 위한 등각속도모델을 정의한다. 상기 상태벡터는 수학식 1로 정의할 수 있다. For the operation of the prediction unit 51, a state vector for defining the direction of the camera and an isochronous velocity model for predicting the direction of the camera are defined. The state vector can be defined by Equation (1).

Figure pat00001
Figure pat00001

상기 수학식 1을 참조하면, 상태벡터(x)에는 카메라의 방향을 나타내는 카메라 상태벡터(xv)와 소실점의 방향을 나타내는 소실점벡터(yi)가 함께 포함된다. 상기 소실점벡터는, 해당 이미지에 포함되는 소실점의 개수만큼 존재할 수 있고(수학식 1에서는 두 개의 소실점 벡터가 포함된다), 어느 소실점벡터는 새로이 들어오고 어느 소실점벡터는 제거될 수 있다. 이와 같이 카메라의 방향을 정의하기 위해서는, 카메라의 방향을 나타내는 카메라 상태벡터와, 소실점의 방향을 정의하는 소실점벡터가 함께 사용된다. 상기 카메라 상태벡터는 상기 소실점벡터에 의해서 보정될 수 있으므로, 카메라 방향의 정확도는 더 높아질 수 있다. 반대의 경우도 마찬가지이다. Referring to Equation (1), the state vector x includes a camera state vector x v indicating the direction of the camera and a vanishing point vector y i indicating the direction of the vanishing point. The vanishing point vector may exist as many as the number of vanishing points included in the image (Equation (1) includes two vanishing point vectors), and any vanishing point vector may be newly entered and any vanishing point vector may be removed. In order to define the direction of the camera, a camera state vector indicating the direction of the camera and a vanishing point vector defining the direction of the vanishing point are used together. Since the camera state vector can be corrected by the vanishing point vector, the accuracy of the camera direction can be higher. The opposite is true.

상기 카메라 상태벡터는 수학식 2와 같이 정의할 수 있다. The camera state vector can be defined as Equation (2).

Figure pat00002
Figure pat00002

여기서, qWC T는 카메라의 방향을 나타내는 쿼터니안(quaternion)벡터이고, ωc는 카메라의 각속도를 나타낸다. Here, q WC T is a quaternion vector indicating the direction of the camera, and ω c is an angular velocity of the camera.

카메라의 방향을 예측하기 위한 시스템모델로서, 실시예에서는 등각속도모델을 정의한다. 등각속도모델은 수학식 3과 같이 정의할 수 있다. As a system model for predicting the direction of the camera, the embodiment defines a constant angular velocity model. The conformal velocity model can be defined as Equation (3).

Figure pat00003
Figure pat00003

여기서, qWC는 카메라 방향을 나타내고, ωc는 각속도를 나타내고, Ω는 각속도의 잡음을 나타내고, 첨자 new는 현재 프레임을 나타내고, 첨자 old는 과거 프레임으로서 직전 프레임을 나타낼 수 있다. Here, q WC denotes a camera direction, ω c denotes an angular velocity, Ω denotes noise of an angular velocity, subscript new denotes a current frame, and subscript old denotes a previous frame as a past frame.

한편, 상기 재귀적 베이지안 필터는, 상기 예측부(51)에서 예측하고, 예측된 값은 관측모델을 이용하여 갱신부(52)에서 갱신하는 작용을 수행할 수 있다. 물론 예측부(51)에서도, 갱신부(52)에서 갱신된 이전 프레임에 대한 값을 사용할 수 있다. Meanwhile, the recursive Bayesian filter can be predicted by the predicting unit 51, and the predicted value can be updated by the updating unit 52 using an observation model. Of course, the prediction unit 51 can also use the value of the previous frame updated by the updating unit 52. [

실시예에서 상기 관측모델은, 상기 선분과 상기 소실점의 직교성(첫째이유: 선분에 의해서 형성되는 대원의 법선벡터와 소실점 방향벡터는 직교한다)과, 회전운동과 소실점의 상관성(둘째이유: 소실점은 카메라의 회전운동에 따라서 움직인다)에 근거하여, i번째 소실점의 방향벡터(di) 및 i번째 소실점에 교차하는 j번째 선분에 대한 법선 벡터(nij)에 의해 형성되는 관측모델 hij을 정의한다. In the embodiment, the observation model is characterized in that the orthogonality of the line segment and the vanishing point (first reason: the normal vector of the line formed by the line segment is orthogonal to the vanishing point direction vector) and the correlation between the rotational motion and the vanishing point (second reason: to define an observation model h ij is formed by a normal vector (n ij) for the j-th line segment intersecting with the i-th vanishing point direction vector (d i) and the i-th vanishing point based on the move in accordance with rotational movement of the camera) do.

상기 관측모델은 수학식 4로 정의할 수 있다. 상기 관측모델은 상기 두 이유(선분과 선분이 이루는 소실점의 직교성, 및 회전운동과 소실점의 상관성)에 의해서 영이 될 수 있다. The observation model can be defined by Equation (4). The observation model can be zero due to the above two reasons (orthogonality of the vanishing point formed by line segments and line segments, and correlation between rotational motion and vanishing point).

Figure pat00004
Figure pat00004

상기 관측모델을 도 3을 참조하여 설명한다. The above observation model will be described with reference to FIG.

도 3을 참조하면, i번째 소실점을 제공하는 j번째 선분(lij)의 법선벡터(nij)는, 카메라의 방향을 RWC(여기서, RWC는 기준좌표로 회귀하는 정도의 각이다)만큼 회전하면 기준좌표계에서 추정법선벡터

Figure pat00005
로 표현할 수 있다. 여기서, 상기 기준좌표는 시스템이 초기화된 때의 위치로 정의할 수 있다. 이에 따르면, 상기 추적되는 선분의 상기 추정법선벡터는 소실점의 방향벡터와 항상 직교하므로 벡터의 내적은 항상 0을 산출하여야 한다. 다시 설명하면, 상기 법선벡터를 RWC만큼 회전시킨 추정법선벡터는, 회전량이 정확하다면, 소실점의 방향벡터와의 내적은 영이 되는 것이다. 만약 영에서 많이 벗어나는 경우에는, 이상 상태를 보이는 것으로서 선분 및 소실점이 잘못된 것이라고 판단하여, 소실점을 이루는 선분에서 해당 선분을 제거할 수 있다. 따라서 프레임별로 강건한 결과를 카메라 방향을 획득할 수 있다. 3, the normal vector (n ij ) of the j-th segment (l ij ) providing the i-th vanishing point is the direction of the camera R WC (where R WC is the angle of returning to the reference coordinates) The estimated normal vector in the reference coordinate system
Figure pat00005
. Here, the reference coordinates may be defined as a position when the system is initialized. According to this, since the estimated normal vector of the tracked line segment is always orthogonal to the direction vector of the vanishing point, the inner product of the vector should always be zero. In other words, if the rotation amount is correct, the inner product of the estimated normal vector obtained by rotating the normal vector by R WC and the direction vector of the vanishing point becomes zero. If it deviates too much from the zero, it is judged that the line segment and the vanishing point are erroneous, and the corresponding line segment is removed from the line segment forming the vanishing point. Therefore, it is possible to acquire the camera direction with robust results for each frame.

따라서, 상기 관측모델을 이용하여 현재 프레임의 카메라 방향을 갱신할 수 있다. 현재 갱신된 카메라 방향은, 다음 프레임의 카메라 방향의 추정에서 다음 프레임의 카메라 방향의 예측을 위하여 사용할 수 있다. Therefore, the camera direction of the current frame can be updated using the observation model. The currently updated camera direction can be used for prediction of the camera direction of the next frame in the estimation of the camera direction of the next frame.

다시 돌아가서, 상기 예측부(51)의 동작을 설명한다. Returning to the description, the operation of the predicting unit 51 will be described.

상기 재귀적 베이지안 필터는 동적 시스템을 연속적으로 추정하는 것으로서, 확률적 모델을 이용한다. 따라서, 상기 등각속도모델(시스템모델)(f)과 상기 관측모델(h)는 수학식 5의 확률적 표현으로 제시할 수 있다. The recursive Bayesian filter continuously estimates the dynamic system and uses a stochastic model. Therefore, the isochronous velocity model (system model) f and the observation model h can be presented as a stochastic representation of Equation 5.

Figure pat00006
Figure pat00006

여기서, p는 확률분포를 나타내고, k는 프레임 단위를 나타내고, v와 w는 각각의 노이즈를 나타내고, f는 등각속도모델을 나타내고, h는 관측모델을 나타낸다. Here, p represents a probability distribution, k represents a frame unit, v and w represent noise, f represents an equilibrium velocity model, and h represents an observation model.

상기 예측부(51)는, k-1시각(다시 말하면, 이전 프레임)의 상기 상태벡터에 대한 사후확률분포와, 시스템모델(실시예에서는 등각속도모델)을 통하여 수학식 6의 방법으로 k시각의 상태벡터에 대한 사전확률분포를 구할 수 있다. 여기서, 상기 사후확률분포와 관련되는 정보는 메모리(7)로부터 전달받을 수 있다. The predictor 51 calculates the posterior probability distribution of the state vector at time k-1 (in other words, the previous frame) and the k-th probability distribution through the system model (in the embodiment, the isochronous velocity model) A pre-probability distribution of the state vector of the state vector can be obtained. Here, the information related to the posterior probability distribution may be transmitted from the memory 7.

Figure pat00007
Figure pat00007

여기서, 우변 적분기호 안의 우측텀은 k-1시각의 상태벡터에 대한 사후확률분포이고, 우변 적분기호 안의 좌측텀은 시스템모델이고, 좌변은 예측부에서 추정되는 k시각의 상태벡터에 대한 사전확률분포이다. Here, the right term in the right side integral symbol is the posterior probability distribution for the state vector at time k-1, the left term in the right side integral symbol is the system model, and the left side is the prior probability for the k- Distribution.

상기 수학식 6에 의해서 예측되는 값을 얻는다. The value predicted by the above Equation (6) is obtained.

이후에, 상기 갱신부(52)에서는 상기 예측부에서 추정된 상기 사전확률분포와 상기 관측모델을 이용하여, 수학식 7을 이용하여 k시각의 상태벡터에 대한 사후확률분포를 구한다. Thereafter, the updating unit 52 obtains a posterior probability distribution with respect to the state vector at k time using Equation (7) using the prior probability distribution estimated by the predicting unit and the observation model.

Figure pat00008
Figure pat00008

여기서, 분모는 정규화상수이고, 우변 분자의 우측텀은 수학식 6에 의해서 구해진 값이고, 우변 분자의 좌측텀은 현재 프레임에서 관측된 정보로서 관측모델을 나타낸다. 상기 수학식 7은, 1부터 k시각까지의 관측값(z1:k)이 주어질 때, k시각의 상태벡터에 대한 사후확률분포를 알아낼 수 있는 것으로 이해할 수도 있다. Here, the denominator is a normalization constant, the right term of the right side molecule is the value obtained by Equation (6), and the left term of the right side molecule represents the observation model as information observed in the current frame. Equation (7) can be understood to be that the posterior probability distribution with respect to the state vector of k time can be obtained when the observation value (z 1: k ) from 1 to k time is given.

상기 수학식 7을 이용하여 사후확률분포를 얻으면, 최소평균자승오차(MMSE: minimum mean square error) 또는 최대사후확률(MAP:maximum a posterior) 등의 방법으로 상태벡터(xk)를 추정할 수 있다. 상기 상태벡터에는 카메라 방향정보 및 소실점 정보가 모두 포함되어 있으므로 현재 프레임(k)에서 카메라 방향 및 소실점을 더 정확하게 갱신할 수 있다. When the posterior probability distribution is obtained using Equation (7), the state vector xk can be estimated by a method such as a minimum mean square error (MMSE) or a maximum posterior (MAP) have. Since both the camera direction information and the vanishing point information are included in the state vector, the camera direction and the vanishing point can be more accurately updated in the current frame (k).

실시예에서 적용한 상기 재귀적 베이지안 필터로는, 확장 칼만 필터(extended kalman filter) 또는 무향 칼만 필터(unscented kalman filter) 또는 파티클 필터(particle filter) 등을 적용할 수도 있다. As the recursive Bayesian filter applied in the embodiment, an extended Kalman filter or an unscented Kalman filter or a particle filter may be applied.

상기 필터부(5)에서 필터링된 정보는, 상기 데이터 관리부(4)로 전달된다. The information filtered by the filter unit 5 is transmitted to the data management unit 4.

상기 데이터 관리부(4)로는, 상기 필터부(5)에서 예측 및 갱신된 카메라 방향정보와 소실점 정보, 및 상기 선분검출 및 추적부(3)에서 획득된 상기 추적되는 선분과 새로운 선분이 전달된다. The camera direction information and vanishing point information predicted and updated by the filter unit 5 and the tracked line segment and the new line segment obtained by the line segment detection and tracking unit 3 are transmitted to the data management unit 4. [

상기 데이터 관리부(4)는 상기 전달된 정보를 이용하여, 상기 새로운 선분의 분류 및 추가, 상기 추적되는 선분의 제거, 새로운 소실점의 검출, 및 기존 소실점의 제거가 수행될 수 있다.The data management unit 4 can classify and add the new line segment, remove the tracked line segment, detect a new vanishing point, and remove the existing vanishing point using the transmitted information.

상세하게 설명하면, 먼저 상기 새로운 선분의 분류 및 추가는, 상기 새로운 선분이 기존 소실점과 교차하는 경우에, 그 새로운 선분을 상기 기존 소실점을 이루는 선분으로 추가하는 것으로 이루어진다. 구체적으로는, 상기 수학식 4에서, 관측모델의 값이 소정의 임계치(실시예에서는 0.02) 미만이고, 카메라가 일정각도(실시예에서는 5도) 회전하는 동안 선분의 추적에 성공하거나, 일정 개수의 프레임(실시예에서는 6개의 프레임) 동안 선분의 추적에 성공하는 경우에, 상기 새로운 선분은 기존의 소실점을 이루는 선분으로 추가될 수 있다. More specifically, classification and addition of the new line segment are performed by adding the new line segment as a line segment constituting the existing vanishing point when the new line segment intersects with the existing vanishing point. Specifically, in Equation (4), when the value of the observation model is less than a predetermined threshold (0.02 in the embodiment) and the camera succeeds in tracking the segment while rotating at a predetermined angle (5 degrees in the embodiment) The new line segment can be added as a line segment constituting the existing vanishing point in the case where the line segment is successfully tracked during the frame (six frames in the embodiment).

여기서, 상기 수학식 4는 관측모델로서, 소실점을 이루는 선분벡터와 소실점의 방향벡터와의 벡터내적은 0이 되므로, 이를 이용하여 새로운 선분이 기존 소실점을 이루는 선분으로 판단할 지의 여부를 결정할 수 있는 인자가 될 수 있다. In Equation (4), the in-vector of the segment vector forming the vanishing point and the direction vector of the vanishing point is 0, so that it is possible to determine whether or not the new line segment is determined as a line segment constituting the existing vanishing point It can be an argument.

다음으로, 상기 추적되는 선분의 제거는, 상기 추적되는 선분이 잘못 추적되었거나, 소실점과의 대응이 잘못된 경우에, 이를 제거하는 것으로 이루어진다. 구체적으로, 상기 추적되는 선분과 상기 추적되는 선분이 이루는 소실점이, 상기 수학식 4에서 제공하는 관측모델의 값이 소정의 임계치(실시예에서는 0.0972) 이상이거나, 선분추적이 실패한 경우에는 당해 추적되는 선분을 제거할 수 있다. Next, the removal of the tracked line segment is accomplished by eliminating the tracked line segment if it is mis-traced or the correspondence with the vanishing point is wrong. Specifically, when the value of the observation model provided by Equation (4) is equal to or greater than a predetermined threshold value (0.0972 in the embodiment) or when the line segment tracking is failed, the vanishing point formed by the tracked line segment and the tracked line segment is tracked Line segments can be removed.

다음으로, 새로운 소실점의 검출은, 상기 새로운 선분에 의해서 소실점이 새로이 검출되는 경우이다. 이때 새로이 검출되는 소실점은 상기 상태벡터에 추가되어 상기 소실점을 이루는 선분의 추적 및 상태벡터의 필터링에 이용될 수 있다. 그러나, 매 프레임 마다 소실점을 검출하는 것은 많은 시간이 소요되므로, 일정 프레임(실시예에서는 30프레임)이 경과하거나, 현재 프레임에서 소실점의 개수가 일정개수(실시예에서는 2개) 이하인 경우에 수행하도록 할 수 있다. Next, the detection of a new vanishing point is a case where a vanishing point is newly detected by the new line segment. At this time, a newly detected vanishing point may be added to the state vector to be used for tracking a line segment forming the vanishing point and filtering the state vector. However, since it takes a long time to detect the vanishing point every frame, it is necessary to perform the detection when a certain frame (30 frames in the embodiment) elapses or when the number of vanishing points in the current frame is equal to or less than a certain number can do.

마지막으로, 기존 소실점의 제거는, 기존 소실점이 그 역할을 하지 못하는 경우에 이를 제거하는 것이다. 구체적으로는, 기존 소실점을 이루는 상기 추적되는 선분이 지나치게 적어서(실시예에서는 1개 이하) 소실점의 존재 의미가 약하거나, 소실점의 방향이 소실점이 검출된 방향과 지나치게 틀어지는 경우(실시예에서는 10도 이상 이동하는 경우)에 수행될 수 있다. Finally, the elimination of the existing vanishing point is to eliminate it if the existing vanishing point does not play a role. More specifically, if the presence of the vanishing point is insignificant or the direction of the vanishing point is excessively different from the direction in which the vanishing point is detected (in the embodiment, 10 degrees In the case of abnormal movement).

상기 데이터 관리부(4)는 상기되는 작업을 수행하여, 획득된 카메라 방향정보, 소실점 정보, 및 선분정보를 메모리(7)에 저장할 수 있다. 물론, 출력부(6)를 통하여 출력하여, 다른 장치에 더 사용되도록 할 수도 있다. 예를 들어, 방향이 틀어진 경우에는 이동체의 자세를 원하는 방향으로 보정하도록 하는 구동장치에 지령을 내릴 수도 있고, 현재 카메라 방향(즉, 이동체의 방향)을 저장할 수도 있다. The data management unit 4 may store the obtained camera direction information, vanishing point information, and line segment information in the memory 7 by performing the operations described above. Of course, it may be output through the output unit 6 to be further used in another apparatus. For example, when the direction is wrong, a command may be given to a driving device for correcting the posture of the moving object in a desired direction, or the current camera direction (i.e., the direction of the moving object) may be stored.

상기되는 과정에 따르면 한차례의 프레임에 대한 처리가 끝난 것으로서, 메모리(7)에 수록되는 정보는 다음 프레임의 정보처리에 사용될 수 있다. According to the process described above, the processing of one frame is completed, and the information stored in the memory 7 can be used for information processing of the next frame.

이하에서는 실시예에 따른 이미지에 의한 카메라의 방향과 관련한 정보 추정방법에 대하여 설명한다. 이하의 방법을 설명함에 있어서는 이미 설명된 추정장치의 설명이 그대로 참조될 수 있고, 예를 들어, 수학적인 처리나 정보의 전달과정은 이하의 방법을 설명함에 있어서 참조로 할 수 있다. Hereinafter, an information estimation method related to the direction of the camera by the image according to the embodiment will be described. In the following description of the method, the description of the estimating device already described can be referred to directly. For example, the process of mathematical processing or transmission of information can be referred to in describing the following method.

도 4는 실시예에 따른 이미지에 의한 카메라의 방향과 관련한 정보 추정방법을 설명하는 흐름도이다. 4 is a flowchart for explaining an information estimation method relating to the direction of the camera by the image according to the embodiment.

도 4를 참조하면, 이동체로부터 영상정보입력(이미지가 일정의 시간 주기로 입력되는 것을 의미할 수 있다)이 시작된다(S1). 첫 이미지인 경우에는 시스템을 초기화한다(S2). 상기 초기화에는 선분 검출, 소실점 검출, 상태벡터초기화, 및 선분특징초기화를 수행한다. Referring to FIG. 4, image information input (meaning that an image is input at a predetermined time period) is started from a moving object (S1). If it is the first image, the system is initialized (S2). In the initialization, segment detection, vanishing point detection, state vector initialization, and segment feature initialization are performed.

상기 초기화에 대하여 상세하게 설명한다. The initialization will be described in detail.

먼저, 선분 검출에는 상기 선분 검출기를 이용하여 선분을 검출하고, 검출된 선분으로부터 상기 소실점을 검출하고, 검출된 소실점과 각 소실점을 제공하는(즉, 소실점에 교차하는) 선분을 분류(그룹)할 수 있다. 검출된 상기 소실점을 이용하여 재귀적 베이지안 필터링에서 사용될 상태벡터를 정의할 수 있다.First, a line segment is detected using the line segment detector to detect a line segment, the line segment is detected from a detected line segment, and a line segment that provides the detected line segment and each vanishing point (that is, intersects the vanishing point) . The state vector to be used in the recursive Bayesian filtering can be defined using the detected vanishing point.

초기화가 수행된 다음에는, 다음 프레임이 입력되고(S1), 상기 시스템모델(실시예에서는 등각속도모델)을 적용하여 카메라 방향을 예측한다(S4). 이후에는 선분 추적을 수행하여 현재 프레임에서의 관측값을 획득한다(S5). 획득되는 관측값에는 상기 추적되는 선분이 포함될 수 있다. 상기 카메라의 방향예측과 관측값의 획득은 서로 순서가 바뀔 수도 있을 것이다.After the initialization is performed, the next frame is inputted (S1), and the camera direction is predicted by applying the system model (conformal velocity model in the embodiment) (S4). Thereafter, line segment tracking is performed to obtain an observation value in the current frame (S5). Observed values obtained may include the tracked line segments. The direction prediction of the camera and the acquisition of the observation value may be changed in order from each other.

상기 관측모델을 이용하여 상태벡터를 갱신한다. 갱신된 상기 상태벡터를 이용함으로써, 카메라의 방향을 현재시점으로서 정확하게 갱신하여 추정하고, 이와 함께 정확한 소실점을 갱신하여 추정할 수 있다(S6). 현재 프레임에서 추정된 상태벡터는 이후의 프레임에 대하여 카메라의 방향을 예측, 및 상기 상태벡터를 갱신하는데 사용될 수 있다. And updates the state vector using the observation model. By using the updated state vector, the direction of the camera can be precisely updated and estimated as the current time, and the accurate vanishing point can be updated and estimated (S6). The state vector estimated in the current frame may be used to predict the direction of the camera for subsequent frames and to update the state vector.

다음에는, 소실점 및 선분을 위한 분류/추가/검출/제거의 작업을 수행할 수 있다(S7). 구체적으로는, 상기 새로운 선분의 분류 및 추가, 상기 추적되는 선분의 제거, 새로운 소실점의 검출, 및 기존 소실점의 제거가 수행될 수 있다. 상기 분류/추가/검출/제거는 추정장치의 설명에서 사용된 방법이 그대로 적용될 수 있다. 이 단계를 통하여 실제 환경에서 나타나는 다양한 이상동작에 대하여 강건하게 동작할 수 있다. 다시 말하면, 어느 소실점 및 그 어느 소실점을 이루는 선분을, 새로운 상태로 갱신함으로써 변화에 더 강건한 결과를 만들어 낼 수 있다.Next, classification / addition / detection / removal operations for a vanishing point and a line segment can be performed (S7). Specifically, classification and addition of the new line segment, removal of the tracked line segment, detection of a new vanishing point, and removal of the existing vanishing point can be performed. The classification / addition / detection / cancellation can be applied directly to the method used in the description of the estimation apparatus. Through this step, it is possible to operate robustly against various abnormal behaviors occurring in a real environment. In other words, by updating a vanishing point and a line segment that forms a vanishing point to a new state, it is possible to produce a more robust result for the change.

이후에는, 계속하여 프레임이 입력되는 지를 판단하여 다음 프레임이 있는 경우에는 이어서 상기되는 과정을 계속하여 수행한다(S8)Thereafter, it is determined whether a frame is inputted continuously, and if there is a next frame, the above-mentioned process is continuously performed (S8)

도 5는 실시예에 따른 추정장치 및 추정방법의 효과를 설명하는 그래프로서, metaio-10 영상을 이용하여 비특허문헌 1(보라색), 비특허문헌 2(녹색), 실시예(빨간색)를 이용하여 카메라 방향을 추정하는 실험을 수행한 결과를 나타낸다. FIG. 5 is a graph for explaining the effect of the estimating apparatus and the estimating method according to the embodiment, using non-patent document 1 (purple), non-patent document 2 (green) and embodiment (red) using metaio-10 image The results are shown in Fig.

도 5를 참조하면, 요(yaw: 수직축을 중심으로 회전하는 것)와 피치(pitch: 카메라의 앞뒤로 지나가는 축을 중심으로 회전하는 것)의 추정치에 있어서는, 실시예의 경우에 훨씬 안정되고 실측값(파란색)과 동일한 결과를 얻는 것을 확인할 수 있었다. 롤(roll: 카메라의 좌우 측면으로 지나가는 축을 중심으로 회전하는 것)추정치에 있어서는, 가장 잘 특정되는 것으로서, 큰 차이를 얻을 수 없었다. Referring to Fig. 5, in the case of the estimates of the yaw (rotation about the vertical axis) and the pitch (rotation about the axis passing through the camera back and forth), it is more stable in the case of the embodiment, ) Was obtained. As for the roll (roll: rotation around the axis passing to the left and right sides of the camera) estimation, it is best specified, and a big difference could not be obtained.

본 발명은 소실점 기반의 방향 추정 방법으로서, 기존 방법 대비 높은 정확도를 제공하고, 환경적 제약(맨하탄 세계 가정)에서 자유로운 특성을 가진다.The present invention is a method of estimating a direction based on a vanishing point, providing high accuracy compared to existing methods, and free from environmental constraints (Manhattan world home).

본 발명은 자율주행차, 드론, 이동 로봇 등의 제어에 사용 가능하며, 또한, 저가의 관성 센서와 같은 다른 종류의 센서가 결합된 이종 센서에 기반하는 방향 추정 시스템을 개발하는데 사용이 가능하다. The present invention can be used to develop an orientation estimation system based on a heterogeneous sensor that can be used for controlling autonomous vehicles, drones, mobile robots, and the like, and also incorporates other types of sensors, such as inexpensive inertial sensors.

3: 선분검출 및 추적부
4: 데이터 관리부
5: 필터부
51: 예측부
52: 갱신부3: Segment detection and tracking unit
4: Data management unit
5:
51:
52:

Claims (10)

카메라의 방향에 따라서 달라지는 이미지를 제공하는 이미지입력부;
상기 이미지로부터 새로운 선분 및 추적되는 선분을 검출하는 선분검출 및 추적부;
상기 선분검출 및 추적부로부터 입력된 정보로부터 데이터를 추출하는 데이터 관리부;
상기 데이터 관리부로부터 추출되는 정보를 저장하는 메모리; 및
상기 선분검출 및 추적부로부터 받는 현재정보와 상기 메모리로부터의 과거정보를 이용하고, 필터를 이용하는 필터링 작용에 의해서 상기 카메라의 방향을 추정하는 필터부가 포함되고,
상기 필터에 사용되는 상태벡터에는, 상기 카메라의 방향을 나타내는 카메라 상태벡터 및 소실점의 방향을 나타내는 소실점벡터가 함께 포함되는, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치. An image input unit for providing an image that varies according to a direction of a camera;
A line segment detection and tracking unit for detecting a new line segment and a line segment to be tracked from the image;
A data management unit for extracting data from information input from the line segment detection and tracking unit;
A memory for storing information extracted from the data management unit; And
And a filter unit for estimating a direction of the camera by using a filtering function using current information from the segment detection and tracking unit and past information from the memory,
Wherein the state vector used in the filter includes a camera state vector indicating a direction of the camera and a vanishing point vector indicating a direction of a vanishing point together. 제 1 항에 있어서,
상기 필터는 재귀적 베이지안 필터인, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치. The method according to claim 1,
Wherein the filter is a recursive Bayesian filter, with respect to the orientation of the camera using the image. 제 2 항에 있어서,
상기 재귀적 베이지안 필터는, 시스템 모델로 등각속도모델을 사용하는, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치. 3. The method of claim 2,
Wherein the recursive Bayesian filter uses an isochronous velocity model as a system model, with respect to the orientation of the camera using the image. 제 2 항에 있어서,
상기 재귀적 베이지안 필터는, 관측모델로는 소실점의 방향벡터와 상기 소실점을 이루는 선분의 법선벡터의 직교성을 이용하는, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치. 3. The method of claim 2,
Wherein the recursive Bayesian filter uses the orthogonality of a direction vector of a vanishing point and a normal vector of a line segment constituting the vanishing point as an observation model. 제 1 항에 있어서,
상기 상태벡터에 포함되는 소실점벡터의 개수는 변하는, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치. The method according to claim 1,
Wherein the number of the vanishing point vectors included in the state vector is changed, in relation to the direction of the camera using the image. 제 1 항에 있어서,
상기 필터는, 확장 칼만 필터(extended kalman filter), 무향 칼만 필터(unscented kalman filter), 또는 파티클 필터(particle filter)인, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치. The method according to claim 1,
Wherein the filter is an extended Kalman filter, an unscented Kalman filter, or a particle filter, wherein the information is related to the orientation of the camera using the image. 제 1 항에 있어서,
상기 데이터 관리부는,
상기 새로운 선분의 분류 및 추가를 수행하는, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치. The method according to claim 1,
The data management unit,
And performs classification and addition of the new segment, in accordance with the direction of the camera using the image. 제 1 항에 있어서,
상기 데이터 관리부는,
상기 추적되는 선분의 제거를 수행하는, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치. The method according to claim 1,
The data management unit,
And performs elimination of the tracked line segment, in relation to the direction of the camera using the image. 제 1 항에 있어서,
상기 데이터 관리부는,
새로운 소실점의 검출 및 기존 소실점의 제거를 수행하는, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정장치. The method according to claim 1,
The data management unit,
An information estimating device relating to a direction of a camera using an image, which performs detection of a new vanishing point and removal of an existing vanishing point. 어느 프레임에서 선분과 소실점을 추출하여 초기화하는 것;
상기 어느 프레임의 다음 프레임에서 선분을 추출하여 상태벡터-여기서, 상태벡터에는 카메라 상태벡터 및 소실점벡터가 포함된다-를 추정하는 것; 및
상기 소실점 및 상기 소실점을 이루는 선분을 갱신하는 것이 포함되는, 이미지를 이용하는 카메라의 방향과 관련한 정보 추정방법. Extracting and initializing segments and vanishing points in a frame;
Extracting a line segment in a next frame of the frame to estimate a state vector, wherein the state vector includes a camera state vector and a vanishing point vector; And
And updating the vanishing point and the line segment that makes up the vanishing point.
KR1020160064076A 2016-05-25 2016-05-25 Estimation method and apparatus for information corresponding camera orientation by using image KR101847113B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160064076A KR101847113B1 (en) 2016-05-25 2016-05-25 Estimation method and apparatus for information corresponding camera orientation by using image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160064076A KR101847113B1 (en) 2016-05-25 2016-05-25 Estimation method and apparatus for information corresponding camera orientation by using image

Publications (2)

Publication Number Publication Date
KR20170133085A true KR20170133085A (en) 2017-12-05
KR101847113B1 KR101847113B1 (en) 2018-05-28

Family

ID=60920808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160064076A KR101847113B1 (en) 2016-05-25 2016-05-25 Estimation method and apparatus for information corresponding camera orientation by using image

Country Status (1)

Country Link
KR (1) KR101847113B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348263B2 (en) 2018-10-23 2022-05-31 Samsung Electronics Co., Ltd. Training method for detecting vanishing point and method and apparatus for detecting vanishing point

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5133783B2 (en) * 2008-05-30 2013-01-30 アルパイン株式会社 In-vehicle device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348263B2 (en) 2018-10-23 2022-05-31 Samsung Electronics Co., Ltd. Training method for detecting vanishing point and method and apparatus for detecting vanishing point

Also Published As

Publication number Publication date
KR101847113B1 (en) 2018-05-28

Similar Documents

Publication Publication Date Title
US10133278B2 (en) Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof
CN106780608B (en) Pose information estimation method and device and movable equipment
CN107833236B (en) Visual positioning system and method combining semantics under dynamic environment
US10399228B2 (en) Apparatus for recognizing position of mobile robot using edge based refinement and method thereof
US10275649B2 (en) Apparatus of recognizing position of mobile robot using direct tracking and method thereof
US10133279B2 (en) Apparatus of updating key frame of mobile robot and method thereof
US10307910B2 (en) Apparatus of recognizing position of mobile robot using search based correlative matching and method thereof
CN110517324B (en) Binocular VIO implementation method based on variational Bayesian adaptive algorithm
CN112734852A (en) Robot mapping method and device and computing equipment
WO2020221307A1 (en) Method and device for tracking moving object
CN112815939B (en) Pose estimation method of mobile robot and computer readable storage medium
Michot et al. Bi-objective bundle adjustment with application to multi-sensor slam
CN111666891B (en) Method and device for estimating movement state of obstacle
CN111145251B (en) Robot and synchronous positioning and mapping method thereof and computer storage device
KR101380628B1 (en) Method and apparatus for object tracking using multiple cameras
Kottas et al. Detecting and dealing with hovering maneuvers in vision-aided inertial navigation systems
JP2015041382A (en) Object tracking method and object tracking device
US11874666B2 (en) Self-location estimation method
JP2017162457A (en) Image analysis system and method
Stachniss et al. Analyzing gaussian proposal distributions for mapping with rao-blackwellized particle filters
CN111623773A (en) Target positioning method and device based on fisheye vision and inertial measurement
CN114485640A (en) Monocular vision inertia synchronous positioning and mapping method and system based on point-line characteristics
Nobre et al. Multi-sensor slam with online self-calibration and change detection
US11080562B1 (en) Key point recognition with uncertainty measurement
Hong et al. Visual inertial odometry using coupled nonlinear optimization

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant