KR20230085499A - 카메라 이동 위치 추정 장치 및 방법 - Google Patents

카메라 이동 위치 추정 장치 및 방법 Download PDF

Info

Publication number
KR20230085499A
KR20230085499A KR1020210173715A KR20210173715A KR20230085499A KR 20230085499 A KR20230085499 A KR 20230085499A KR 1020210173715 A KR1020210173715 A KR 1020210173715A KR 20210173715 A KR20210173715 A KR 20210173715A KR 20230085499 A KR20230085499 A KR 20230085499A
Authority
KR
South Korea
Prior art keywords
camera
axis
point
input image
coordinates
Prior art date
Application number
KR1020210173715A
Other languages
English (en)
Inventor
오종택
Original Assignee
한성대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한성대학교 산학협력단 filed Critical 한성대학교 산학협력단
Priority to KR1020210173715A priority Critical patent/KR20230085499A/ko
Publication of KR20230085499A publication Critical patent/KR20230085499A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 카메라 이동 위치 추정 장치에 관한 것으로서, 상기 카메라 이동 위치 추정 장치는 제1 내지 제3 입력 영상과 제1 내지 제3 입력 영상에 대한 제1 내지 제3 특징점을 저장하고 있는 저장부 및 상기 저장부에 연결되어 있고, 획득된 상기 제1 내지 제3 입력 영상을 입력받아 제3 카메라 위치를 산출하는 위치 산출부를 포함하고, 상기 제1 내지 제3 입력 영상은 각각 상기 물체점에 대응하는 제1 내지 제3 특징점을 구비하고 있고, 상기 위치 산출부는 제1 입력 영상의 제1 특징점과 제2 입력 영상의 제2 특징점을 이용하여 제2 입력 영상의 기본 행렬을 산출하고, 산출된 상기 기본 행렬을 이용하여 제2 카메라 위치의 회전 행렬과 이동 거리를 산출하고, 산출된 상기 회전 행렬과 상기 이동 거리를 이용하여 상기 물체점의 좌표를 산출하고, 상기 제1 입력 영상의 제1 특징점과 제3 입력 영상의 제3 특징점을 이용해 제3 입력 영상의 기본 행렬을 산출하고, 산출된 제3 입력 영상의 기본 행렬을 이용하여 제3 카메라 위치의 회전 행렬과 이동 거리를 산출하고, 제3 입력 영상에 대한 상기 이동 거리를 이용해 제1 카메라 위치를 기준으로 하여 이동하는 카메라의 이동 방향을 판단하고 상기 제3 입력 영상에 대한 상기 회전 행렬을 이용하여 카메라의 회전 각도를 판단한다.

Description

카메라 이동 위치 추정 장치 및 방법{APPARATUS AND METHOD TO ESTIMATE CAMERA POSITION}
본 발명은 카메라 이동 위치 추정 장치 및 방법에 관한 것으로, 보다 상세하게는 휴대용 기기에 장착된 카메라를 통해 획득된 연속된 두 장의 사진, 즉 영상을 이용하여 산출된 기본 행렬을 이용해 카메라의 이동 위치를 추정하는 장치 및 방법에 관한 것이다.
단안 카메라(monocular camera)를 이용하여 카메라의 이동 위치를 추적하는 Visual Odometry 기술과 이를 기반으로 카메라의 영상 평면(image plan)에 맺힌 2차원 영상을 역 투영하여 구성한 3차원 물체의 영상을 만드는 3D Reconstruction 기술은 최근 매우 활발하게 연구되고 있다.
이들 기술은 실내와 같이 위성 항법 장치의 신호를 수신하지 못하는 곳에서 스마트폰(smart phone)과 같은 휴대용 기기에 장착된 카메라의 영상을 이용하여 현재 휴대용 기기의 이동 위치를 추적하는 용도로 활용이 가능하다. 이 경우, 휴대용 기기에 내장된 가속도 센서나 자이로 센서의 데이터와 결합하여 추적된 위치의 정확도를 높이기도 한다.
한편 Virtual Reality(VR) 및 Augmented Reality(AR), Mixed Reality(MR) 서비스에서 배경 화면이나 아바타(avatar) 등의 이미지(image)를 생성할 때 휴대용 기기의 카메라로 입력된 2차원 영상으로 3차원 물체로 구성하여 사용한다면 훨씬 실감 있는 서비스를 제공할 수 있다.
또한, 최근에 매우 활성화되고 있는 메타 버스 서비스 플랫폼(metaverse service platform)의 배경 화면을 구성할 때, 단순히 컴퓨터 그래픽으로 가상적인 화면을 사용하는 것보다는 실제의 3차원 영상을 구성하여 사용하는 것이 훨씬 생동감이 있을 것이다.
특히, 실내에서의 3차원 영상을 재구성하는 기술은 Simultaneous Location and Mapping(SLAM)이라고 불린다.
기존에는 카메라와 라이다(Lidar)를 장착한 고가의 SLAM 장치를 어깨에 메고 실내를 이동하면서 2차원 영상 정보와 3차원 물체에 대한 거리 정보를 동시에 수집하면서, 이동 궤적과 주변의 3차원 영상 구성을 동시에 수행하였다. 이 기술은 실내 자동 로봇 청소기에서도 활용되고 있다.
그러나, SLAM 전용 장비의 경우에는 일반인들이 사용하기 쉽지 않으므로, 일반인들이 사용하는 휴대용 기기의 카메라를 이용한 SLAM 기술을 개발하고, 이를 일반적인 장소에서 개별적으로 3차원 배경 영상을 제작할 수 있다면, 실제적인 메타 버스 서비스 플랫폼을 구축할 수 있으므로 매우 실감나는 메타버스 서비스가 구현될 수 있을 것이다.
SLAM 기술 중에서도 카메라를 이용하는 방식을 Visual SLAM이라고 하는데, 연속적으로 휴대용 기기의 카메라로 입력되는 2차원 영상 데이터의 특징점들을 이용하여, 먼저 카메라의 이동 거리와 방향[카메라의 이동 거리와 방향을 카메라 포즈(camera pose)라고 함]을 추정하고, 다음으로는 이들 2차원 영상 데이터와 추정된 카메라 포즈 정보를 이용하여 카메라가 지향하는 방향으로의 3차원 물체의 영상을 재구성한다.
2차원 영상 데이터를 이용하여 카메라의 포즈를 추정하는 것이 가장 중요하고 오차가 많이 발생하는 부분이다.
한 장의 2차원 영상 데이터만 가지고 해당 영상 데이터를 획득한 카메라의 포즈를 추정하려면, 해당 영상에 해당하는 3차원 물체에 대한 거리 정보가 있어야 한다.
그러나 카메라의 특성상 3차원 물체에 대한 2차원 영상으로의 투영으로 인해 거리 정보는 모두 소실되므로, 현실적으로 카메라와 3차원 물체와의 거리를 측정하면서 3차원 물체 영상을 재구성할 수 없고, 이로 인해, 한 장의 2차원 영상만으로는 카메라의 포즈를 추정할 수 없다.
또한 카메라가 이동하는 궤적을 연속적으로 추정하기 위해서는 연속적으로 촬영된 2차원 영상 데이터가 있어야 한다.
기존의 통상적인 방법을 보면, 2장 또는 3장 이상의 연속적인 2차원 영상 데이터들을 이용하여 카메라의 회전 방향과 이동 거리를 추정한다.
2장의 연속 2차원 영상 데이터에서 특징점들을 각각 추출하고, 각각에서 일치하는 특징점의 쌍을 찾아내어 기초 행렬(Fundamental Matrix) 또는 기본 행렬(Essential Matrix)를 계산하고 이를 이용하여 방향과 이동 거리를 계산한다. 하지만, 이 경우 첫 번째 2차원 영상에 대한 카메라 중심(Camera Center)을 세계 좌표계(World Coordinate)의 원점이라고 할 때, 두 번째 2차원 영상에 대한 카메라 중심의 회전 각도는 정확하게 계산할 수 있으나, 이동 거리를 계산할 수 없다.
또한, 2차원 영상으로 투영을 할 때 거리 정보가 소실되어 절대적인 거리를 알 수 없으며 상대적인 거리도 알 수 없다.
다만 X-Y-Z의 3차원 세계 좌표계에서 첫 번째 카메라 중심에서 두 번째 카메라 중심으로의 이동 방향 벡터만 알 수 있다. 따라서, 연속적으로 입력되는 2차원 영상 데이터들을 이용하여 연속적인 카메라 중심의 이동 좌표를 계산할 수 없는 문제가 있다.
그러므로 기존의 방법에서는 2장의 영상 데이터의 일치되는 특징점들을 역 투영하여 해당되는 3차원 물체의 점을 추정하고, 이들 데이터를 이용하여 대수적으로 Projective-n-Point(PnP) 문제를 풀어서 해결하거나 기하학적으로 Perspective-3-Point 문제를 풀어 문제를 해결하였다.
대한민국 등록특허 제10-0855657호(공고일자: 2008년 09월 08일, 발명의 명칭: 단안 줌 카메라를 이용한 이동로봇의 자기 위치 추정 시스템 및 방법)
본 발명이 해결하려는 과제는 휴대용 기기의 이동 위치를 정확하게 추정하기 위한 것이다.
본 발명의 한 특징에 따른 카메라 이동 위치 추정 장치는 제1 내지 제3 입력 영상과 제1 내지 제3 입력 영상에 대한 제1 내지 제3 특징점을 저장하고 있는 저장부 및 상기 저장부에 연결되어 있고, 획득된 상기 제1 내지 제3 입력 영상을 입력받아 제3 카메라 위치를 산출하는 위치 산출부를 포함하고, 상기 제1 내지 제3 입력 영상은 각각 제1 내지 제3 카메라 위치에서 동일한 물체점을 각각 촬영하여 획득된 영상이고, 상기 위치 산출부는 제1 입력 영상의 제1 특징점 및 상기 제1 특징점과 일치하는 제2 입력 영상의 제2 특징점을 이용하여 제1 및 제2 입력 영상의 기본 행렬을 산출하고, 산출된 상기 기본 행렬을 이용하여 제2 카메라 위치의 회전 행렬과 이동 거리를 산출하고, 산출된 상기 제2 카메라 위치의 상기 회전 행렬과 상기 이동 거리를 이용하여 상기 물체점의 좌표를 산출하고, 상기 제1 입력 영상의 제1 특징점과 상기 제1 특징점과 일치하는 제3 입력 영상의 제3 특징점을 이용해 제1 및 제3 입력 영상의 기본 행렬을 산출하고, 산출된 제1 및 제3 입력 영상의 기본 행렬을 이용하여 제3 카메라 위치의 회전 행렬과 이동 거리를 산출하고, 제3 카메라 위치의 상기 이동 거리를 이용해 제1 카메라 위치를 기준으로 하여 이동하는 카메라의 이동 방향을 판단하고 상기 제3 카메라 위치의 상기 회전 행렬을 이용하여 카메라의 회전 각도를 판단한다.
상기 위치 산출부는 제1 카메라 위치를 기준으로 판단된 이동 방향을 따라서 연장된 직선 축 상에 위치하는 위치점 및 상기 위치점과 제3 특징점을 직선으로 연결할 때 물체점의 좌표와 일치하는 직선이 형성되는 위치점을 탐색하고, 탐색된 상기 위치점을 상기 제3 카메라 위치로 판단할 수 있다.
상기 위치 산출부는 다음의 수학식을 이용하여 상기 제3 카메라 위치의 좌표를 산출할 수 있다.
[수학식]
Figure pat00001
Figure pat00002
Figure pat00003
Figure pat00004
Figure pat00005
Figure pat00006
Figure pat00007
Figure pat00008
Figure pat00009
Figure pat00010
Figure pat00011
Figure pat00012
Figure pat00013
Figure pat00014
Figure pat00015
Figure pat00016
(여기서, M은 물체점이고, XM, YM 및 ZM은 물체점(M)의 좌표로서 각각 X축, Y축 및 Z축 상의 위치이고, XC3, YC3 및 ZC3은 제3 카메라 위치의 좌표로서, 각각 X축, Y축 및 Z축 상의 위치이고, x3은 제3 카메라 위치에서 획득된 제3 입력 영상의 영상면에 위치하는 특징점이고, x3(x31, y31, z31)은 특징점(x3)의 좌표로서, 각각 x축, y축 및 z축 상의 위치이고, x3'(Xx31, Yy31, Z z31)은 x3의 좌표를 원점 좌표계로 변환한 좌표이고, t13은 제1 입력 영상과 제3 입력 영상을 이용해 산출된 기본 행렬에서 얻어진 이동 거리이고, tX, tY 및 tZ는 각각 X축, Y축 및 Z축에서의 이동 거리이며, (
Figure pat00017
) 은 3×3 구조를 갖는 회전 행렬임)
상기 특징에 따른 카메라 이동 위치 추정 장치는 상기 제1 입력 영상에 대한 제1 카메라 위치가 세계 좌표계의 원점이 될 수 있다.
상기 위치 산출부는 다음의 [수학식]을 이용하여 상기 물체점의 좌표를 산출할 수 있다.
[수학식]
Figure pat00018
Figure pat00019
Figure pat00020
(여기서, M은 물체점, Z1은 제1 카메라 위치에서 물체점까지 광축을 따라서 형성된 직선 거리, Z2는 제2 카메라 위치에서 물체점까지 광축을 따라서 형성된 직선 거리, x1은 제1 특징점, x2은 제2 특징점, K는 상수, R은 회전 행렬, t는 이동 거리임)
본 발명의 다른 특징에 따른 카메라 이동 위치 추정 방법은 위치 산출부가 제1 내지 제3 카메라 위치에서 동일한 물체점을 각각 촬영하고 제1 내지 제3 특징점을 각각 구비하고 있는 제1 내지 제3 입력 영상을 입력받는 단계, 상기 위치 산출부는 제1 입력 영상의 제1 특징점 및 상기 제1 특징점과 일치하는 제2 입력 영상의 제2 특징점을 이용하여 제1 및 제2 입력 영상의 기본 행렬을 산출하는 단계, 상기 위치 산출부는 산출된 상기 기본 행렬을 이용하여 제2 카메라 위치의 회전 행렬과 이동 거리를 산출하는 단계, 상기 위치 산출부는 산출된 상기 제2 카메라 위치의 회전 행렬과 상기 이동 거리를 이용하여 상기 물체점의 좌표를 산출하는 단계, 상기 위치 산출부는 상기 제1 입력 영상의 제1 특징점과 상기 제1 특징점과 일치하는 제3 입력 영상의 제3 특징점을 이용해 제1 및 제3 입력 영상의 기본 행렬을 산출하는 단계, 상기 위치 산출부는 산출된 제1 및 제3 입력 영상의 기본 행렬을 이용하여 제3 카메라 위치의 회전 행렬과 이동 거리를 산출하는 단계 및 상기 위치 산출부는 제3 카메라 위치의 상기 이동 거리를 이용해 제1 카메라 위치를 기준으로 하여 이동하는 카메라의 이동 방향을 판단하고 상기 제3 카메라 위치의 상기 회전 행렬을 이용하여 카메라의 회전 각도를 판단하는 단계를 포함한다.
본 발명의 다른 특징에 따른 카메라 이동 위치 추정 방법은 상기 위치 산출부가 제1 카메라 위치를 기준으로 판단된 이동 방향을 따라서 연장된 직선 축 상에 위치하는 위치점 및 상기 위치점과 제3 특징점을 직선으로 연결할 때 물체점의 좌표와 일치하는 직선이 형성되는 위치점을 탐색하는 단계 및 상기 위치 산출부는 탐색된 상기 위치점을 상기 제3 카메라 위치로 판단하는 단계를 더 포함할 수 있다.
본 발명의 다른 특징에 따른 카메라 이동 위치 추정 방법은 상기 위치 산출부가 다음의 수학식을 이용하여 상기 제3 카메라 위치의 좌표를 산출할 수 있다.
[수학식]
Figure pat00021
Figure pat00022
Figure pat00023
Figure pat00024
Figure pat00025
Figure pat00026
Figure pat00027
Figure pat00028
Figure pat00029
Figure pat00030
Figure pat00031
Figure pat00032
Figure pat00033
Figure pat00034
Figure pat00035
Figure pat00036
(여기서, M은 물체점이고, XM, YM 및 ZM은 물체점(M)의 좌표로서 각각 X축, Y축 및 Z축 상의 위치이고, XC3, YC3 및 ZC3은 제3 카메라 위치의 좌표로서, 각각 X축, Y축 및 Z축 상의 위치이고, x3은 제3 카메라 위치에서 획득된 제3 입력 영상의 영상면에 위치하는 특징점이고, x3(x31, y31, z31)은 특징점(x3)의 좌표로서, 각각 x축, y축 및 z축 상의 위치이고, x3'(Xx31, Yy31, Z z31)은 x3의 좌표를 원점 좌표계로 변환한 좌표이고, t13은 제1 입력 영상과 제3 입력 영상을 이용해 산출된 기본 행렬에서 얻어진 이동 거리이고, tX, tY 및 tZ는 각각 X축, Y축 및 Z축에서의 이동 거리이며, (
Figure pat00037
) 은 3×3 구조를 갖는 회전 행렬임)
상기 제1 입력 영상에 대한 제1 카메라 위치가 세계 좌표계의 원점이 될 수 있다.
상기 물체점의 좌표를 산출하는 단계는 다음의 [수학식]을 이용하여 상기 물체저의 좌표를 산출할 수 있다.
[수학식]
Figure pat00038
Figure pat00039
Figure pat00040
(여기서, M은 물체점, Z1은 제1 카메라 위치에서 물체점까지 광축을 따라서형성된 직선 거리, Z2는 제2 카메라 위치에서 물체점까지 광축을 따라서 형성된 직선 거리, x1은 제1 특징점, x2은 제2 특징점, K는 상수, R은 회전 행렬, t는 이동 거리임)
이러한 특징에 따르면, 기본 행렬을 이용하여 카메라가 이동한 거리의 비율과 방향을 판정하고 물체점을 좌표를 이용하여 카메라가 이동한 위치의 좌표의 추정이 가능하므로, 정확한 카메라 이동 거리 및 이동 위치를 판정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 카메라 이동 위치 추정 장치의 개략적인 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 카메라 이동 위치 추정 장치의 동작 순서도이다.
도 3은 본 발명의 일 실시예에 따른 카메라 이동 위치 추정 장치의 동작 설명을 위한 제1 내지 제3 입력 영상과 물체점의 위치를 도시화한 도면이다.
도 4는 핀 홀 카메라 모델을 도식화한 도면이다.
도 5는 본 발명의 일 실시예에 따른 카메라 이동 위치 추정 장치를 이용하여 물체점의 좌표를 산출하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 카메라 이동 위치 추정 장치를 이용하여 제3 카메라 위치를 산출하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, 설명되는 각 단계들은 특별한 인과관계에 의해 나열된 순서에 따라 수행되어야 하는 경우를 제외하고, 나열된 순서와 상관없이 수행될 수 있다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 카메라 이동 위치 추정 장치 및 방법에 대해 설명한다.
도 1에 도시한 것처럼, 본 예의 카메라 이동 위치 추정 장치는 위치를 이동하면서 2차원(2D) 영상을 획득하여 출력하는 카메라(10), 카메라(10)에 연결되어 있는 위치 산출부(20), 위치 산출부(20)에 연결되어 있는 저장부(30) 및 위치 산출부(20)에 연결되어 있는 출력부(40)를 구비할 수 있다.
카메라(10)는 스마트폰과 같이 사용자가 휴대하여 이동이 가능한 휴대용 기기나 로봇청소기 등에 장착된 카메라일 수 있다. 본 예의 카메라(10)는 단안 카메라일 수 있다.
따라서, 본 예의 카메라(10)는 휴대용 기기의 위치에 따라 해당 방향으로 해당 각도만큼 회전하여 정해진 이동 방향으로 이동할 수 있고, 이러한 위치 이동에 따라 위치 역시 변하게 되고, 변화된 위치에서 영상을 획득하여 위치 산출부(20)로 출력할 수 있다.
위치 산출부(20)는 본 예에 따른 카메라 이동 위치 추정 장치의 전반적인 동작을 제어하는 제어 유닛으로서, 프로세서일 수 있다.
저장부(30)는 카메라 이동 위치 추정 장치의 동작에 필요한 데이터 또는 동작 중에 생성된 데이터를 저장할 수 있는 저장 매체로서, 메모리(memory)일 수 있다
출력부(40)는 위치 산출부(20)에 의해 동작이 제어될 수 있고, 시각적인 정보를 출력하는 정보 출력부(40)일 수 있다.
이러한 출력부(40)는, 일 예로, 액정 표시 장치나 유기 발광 표시 장치 등일 수 있다.
다음, 도 2를 참고하여, 이러한 구조를 갖는 카메라 이동 위치 추정 장치의 동작을 설명한다.
카메라 이동 위치 추정 장치의 동작이 시작되면, 위치 산출부(20)의 동작 역시 시작될 수 있다.
본 예에서, 저장부(30)는 카메라(10)의 동작에 의해 획득된 세 개의 영상인 제1 내지 제3 입력 영상(IM1-IM3)을 저장할 수 있다.
이때, 제1 내지 제3 입력 영상(IM1-IM3)은 각각 정해진 회전 각도와 이동 방향에 대응하는 피사체의 촬영에 의해 획득된 정보로서, 모두 동일한 물체에 대한 영상을 구비할 수 있다.
따라서, 도 3에 도시한 것처럼, 동일한 물체가 위치하고 있는 위치인 물체점(M)이 존재할 수 있고, 제1 내지 제3 입력 영상(IM1-IM3)은 각각 동일한 물체가 포함된 피사체가 촬영된 영상면(image plane)을 구비하고 있고, 각 영상면에는 해당 위치(C1, C2, C3)에서 카메라(10)에 의해 촬영된 물체의 영상, 즉 물체점(M)의 영상이 위치하고 있는 위치인 특징점(또는 영상점)(x1, x2, x3)을 각각 구비할 수 있다.
이로 인해, 각 입력 영상(IM1-IM3)의 각 특징점은 물체점(M)에 대응하는 점일 수 있다. 따라서, 제1 내지 제3 입력 영상(IM1-IM3)에서 각 특징점(x1, x2, x3)은 서로 일치하는 위치에 위치할 수 있다.
이하에서, 제1 내지 제3 입력 영상(IM1-IM3)이 획득된 위치(C1-C3)를 각각 제1 내지 제3 카메라 위치라고 하며, 이들 카메라 위치는 카메라 중심일 수 있다.
각 입력 영상(IM1-IM3)의 회전 각도는 해당 카메라 위치(C1, C2, C3)에서의 촬영 각도에 따라 정해질 수 있고, 도 3의 경우, 제1 내지 제3 입력 영상(IM1-IM3)의 회전 각도는 서로 상이함을 알 수 있다.
따라서, 위치 산출부(20)의 동작이 시작되면(S10), 먼저, 위치 산출부(20)는 서로 다른 카메라 위치(C1, C2, C3)에서 동일한 물체의 영상을 구비하고 있는 제1 내지 제3 입력 영상(IM1-IM3)을 카메라(10)로부터 순차적으로 입력받아 저장부(30)에 저장할 수 있다(S11). 이때, 각 입력 영상(IM1-IM2)은 2차원(2D) 영상일 수 있고, 물체점은 물체는 3차원 공간에 존재하는 물체점(M)에 위치할 수 있다. 또한, 본 예에서, 제1 입력 영상(IM1)의 획득 시점이 가장 빠르고, 제3 입력 영상(IM3)의 획득 시점이 가장 늦은 것으로 가정한다.
본 예에서, 첫 번째 입력 영상인 제1 입력 영상(IM1)이 획득될 때의 카메라 위치(C1)는 세계 좌표계에서 원점(O)이 될 수 있다.
다음, 위치 산출부(20)는 저장부(30)에 저장되어 있는 제1 내지 제3 입력 영상(IM1-IM3)에서 설정되어 있는 물체점(M)에 대한 촬영 영상에 대응하는 영상 위치인 특징점인 제1 내지 제3 특징점(x1, x2, x3)을 추출하여 저장부(30)에 저장할 수 있다(S12). 이로 인해, 저장부(30)에는 제1 내지 제3 특징점에 위한 위치 정보(예를 들어, 각 해당 영상(IM1-IM3)에 대한 행렬 위치)가 저장될 수 있다.
일 예로, 저장부(30)에는 이미 각 입력 영상(IM2-IM3)이 저장되어 있을 수 있고, 제1 입력 영상(IM1)과 제2 입력 영상(IM2)의 서로 일치되는 특징점들(x1, x2)을 기본 행렬식에 적용하여 이동 거리(t12)와 회전 행렬(R12)이 산출될 수 있다.
또한, 이들(t12, R12)을 이용하여 제1 카메라 위치에서 제1 특징점(x1)으로, 또는 제2 카메라 위치(C2)에서 제2 특징점(x2)로 역 투영(back projection)한 두 점선의 교차점, 즉 물체점(M)을 구할 수 있다. 제2 카메라 위치(C2)는 이동 거리(t12)로 구할 수 있고, 제2 카메라 위치(C2)-제2 특징점(x2)의 점선 방향은 회전 행렬(R12)로 알 수 있다.
동일한 방식으로, 제1 입력 영상(IM1)과 제3 입력 영상(IM3)의 일치되는 특징점(x1, x3)과 이동 거리(t13) 및 회전 행렬(R13)을 구할 수 있다.
이와 같이, 각 입력 영상(IM1-IM3)에 대한 특징점(x1, x2, x3)이 추출되면(S12), 위치 산출부(20)는 제1 입력 영상(IM1)과 제2 입력 영상(IM2)에 각각 위치하는 특징점인, 제1 특징점(x1) 및 제1 특징점(x1)과 일치하는 제2 특징점(x2)을 이용하여 제1 및 제2 입력 영상(IM1, IM2)에 대한 기본 행렬(Essential Matrix)(E12)을 산출하여 저장부(30)에 저장할 수 있다(S13).
기본 행렬(E12)은 에피폴라 기하학(Epipolar geometry)으로 관계식을 유도할 수 있다.
도 4은 핀 홀 카메라 모델을 위한 도면으로서, 도 4에서, 3차원 카메라 좌표계 X-Y-Z에서 원점은 카메라(10)의 위치, 예를 들어, 카메라(10)의 중심(C)이고, 카메라(10)는 Z축 방향에 위치하며 이런 경우, Z축은 광축(optical axis)이 될 수 있다.
또한, Z축 방향으로 초점거리(f)의 위치에 Z축 방향과 수직으로 영상면이 있고, 3차원 물체의 점(3D 물체점)(M)을 카메라(10)가 위치하는 위치(C) 쪽으로 향하게 하여 영상면에 투영시킨 점이 특징점인 영상점(image point)(x)일 수 있다.
따라서, 3차원 공간에 존재하는 하나의 물체점(M)을 서로 다른 카메라 위치(C1, C2)에서 동일한 카메라(10)를 이용해 2차원 영상인 2개의 입력 영상이 획득되면, 두 개의 입력 영상에 대한 각 영상면에는 물체점(M)에 대응하는 특징점(x1, x2)이 각각 존재할 수 있다.
이와 같이, 서로 다른 카메라 위치(C1, C2)에서 촬영된 두 개의 영상을 이용하여 에피폴라 기하학에 기초해 유도된 수학식은 아래의 [수학식 1]과 같다.
Figure pat00041
[수학식 1]에서, F는 기초 행렬이고, x1은 먼저 획득된 입력 영상에 대한 특징점이고, x2는 나중에 획득된 입력 영상에 대한 특징점일 수 있다.
따라서, 기초 행렬(F)을 이용하여 3차원 물체점(M)에 대한 2차원 영상면의 관계를 구할 수 있다.
기초 행렬(F)을 구하기 위해, 실제로는, 2개의 영상면에서 먼저 수백 개 이상의 특징점들을 각각 구하고, 그 중에서 일치되는 특징점들, 즉 해당점들을 이용하여 기초 행렬(F)을 구할 수 있다. 기초 행렬(F)을 구하는 과정에서 오류에 의한 아웃라이어(outlier)들은 Random Sample Consensus(RANSAC) 방식을 사용하여 제거될 수 있다.
또한, 이러한 기초 행렬(F)에서 두 개의 영상을 획득한 카메라(10)의 내부 파라미터 행렬(K)가 제거된 기본 행렬(E)을 구할 수도 있다.
이때, 기본 행렬(E)의 관계식은 [수학식 2]와 같을 수 있다.
Figure pat00042
[수학식 2]에서 t는 이동거리일 수 있고, R은 회전 행렬(3×3 행렬)일 수 있다.
따라서, 회전 행렬(R)의 행렬 구조를 이용하여 카메라(10)의 회전 각도(yaw-pith-roll)가 산출될 수 있다.
이동 거리(t)는 3차원 공간에 대한 X축, Y축 및 Z축에 대한 성분(tX, tY, tz)을 구비할 수 있고, 실제의 거리 대신에 두 카메라 위치(C1, C2)의 각 X축, Y축 및 Z축에 대한 이동 비율을 나타낼 수 있다. 따라서, 카메라(10), 즉 카메라 중심의 이동 방향은 이동 거리(t)를 통해 알 수 있다.
이러한 원리에 의해, 제1 입력 영상(IM1)과 제2 입력 영상(IM2)의 서로 대응되는 특징점(x1, x2)을 이용하여 제2 입력 영상(IM2)에 대한 기본 행렬(E12)이 산출되면, 위치 산출부(20)는 [수학식 2]에 따라 기본 행렬(E12)을 이용해 제2 입력 영상(IM2)에 대한 카메라 위치(C2)의 회전 행렬(R12)과 이동 거리(t12)를 산출할 수 있다(S14).
이때, 이동 거리(t12)의 크기는 정규화되어 있을 수 있고, 이미 기술한 것처럼, 첫 번째 입력 영상인 제1 입력 영상(IM1)에 대한 카메라 위치(C1)에 대한 두 번째 영상인 제2 입력 영상(IM2)에 대한 카메라 위치(C2)의 이동 거리(t12)는 실제 거리가 아닌 제1 카메라 위치(C1)에 대한 이동 비율로 산출될 수 있다.
이와 같이 제1 입력 영상(IM1)과 제2 입력 영상(IM2)을 이용하여 회전 행렬(R12)과 이동 거리(t12)가 산출되면, 위치 산출부(20)는 물체점(M)의 좌표를 추정하여 저장부(30)에 저장할 수 있다(S15).
이를 위해, 위치 산출부(20)는 다음의 [수학식 3] 내지 [수학식 5]을 통해 물체점(M)의 좌표를 산출할 수 있다.
Figure pat00043
Figure pat00044
Figure pat00045
[수학식 3] 내지 [수학식 5]에서, 도 5에 도시한 것처럼, M은 해당 위치에 위치하고 있는 물체점, Z1은 제1 입력 영상(IM1)이 획득된 카메라 위치(C1)에서 물체점(M)까지 광축을 따라서 형성된 직선 거리, Z2는 제2 입력 영상(IM2)이 획득된 카메라 위치(C2)에서 물체점(M)까지 광축을 따라서 직선 거리, x1은 제1 입력 영상(IM1)의 특징점, x2은 제2 입력 영상(IM2)의 특징점, K는 카메라 특성에 대한 상수이고, R은 회전 행렬(예, R12)이고, t는 이동 거리(예, t12)일 수 있다.
이와 제1 입력 영상(IM1)과 제2 입력 영상(IM2)을 이용하여, 물체점(M)의 위치(즉, 좌표)가 추정되면(S15), 위치 산출부(20)는 제1 입력 영상(IM1)과 제3 입력 영상(IM3)에 각각 위치하고 서로 대응되어 일치하는 특징점(x1, x3)을 이용하여 제1 및 제3 입력 영상(IM1, IM3)에 대한 기본 행렬(E13)을 산출하고(S16), 이 기본 행렬(E13)을 이용하여 제3 입력 영상(IM3)이 획득된 카메라 위치(C3)의 회전 행렬(R13)과 이동 거리(t13)를 계산하여 저장부(30)에 저장할 수 있다(S17).
제3 입력 영상(IM3)에 대한 기본 행렬(E13), 회전 행렬(R13) 및 이동 거리(t13)의 산출 방식은 제2 입력 영상(IM2)에 대한 기본 행렬(E12), 회전 행렬(R12) 및 이동 거리(t12)의 산출 방식과 동일할 수 있다.
이로 인해, 제1 입력 영상(IM1)이 획득된 제1 카메라 위치(C1)을 기준으로 하여 제3 입력 영상(IM3)이 획득된 카메라 위치(C3)가 이동한 거리의 비율 및 카메라 위치(C3)의 회전 방향이 산출될 수 있다.
따라서, 위치 산출부(20)는 제3 입력 영상(IM3)에 대한 이동 거리(t13)를 이용하여 제1 카메라 위치(C1)를 기준으로 하여 이동한 카메라(10)의 이동 방향을 판단하고, 회전 행렬(R13)을 이용하여 카메라(10)의 회전 각도를 판단할 수 있다(S18).
다음, 위치 산출부(20)는, 도 6에 도시한 것처럼, 제1 카메라 위치(C1)를 기준으로 판단된 이동 거리(t13)의 이동 방향을 따라서 연장된 직선 축(LX) 상에 위치하는 위치점 및 이 위치점과 제3 특징점(x3)을 직선으로 연결할 때 물체점(M)의 좌표와 일치하는 직선(L3)이 형성되는 하나의 위치점(P1)을 탐색할 수 있다(S19).
이때, 제3 카메라 위치(C3)에서, 원점 좌표계 X-Y-Z축을 기준으로 x-y-z축은 회전 행렬(R13)만큼 회전한다.
따라서, 위치 산출부(20)는 제3 특징점(x3)과 물체점(M)이 일치하는 직선(L3)과 직선 축(LX)이 만나는 위치점(P1)을 최종적으로 제3 입력 영상(IM3)이 획득된 제3 카메라 위치(C3)로 판정할 수 있다(S110).
이와 같이, 제3 카메라 위치(C3)가 판정되면, 위치 산출부(20)는 기준 위치인 제1 카메라 위치(C1)와 판정된 제3 카메라 위치(C3)까지의 거리를 측정하여 측정된 거리를 카메라(10)의 이동 거리로 판정하고 저장부(30)에 저장할 수 있다(S111).
또한, 필요에 따라, 위치 산출부(20)는 판정된 제3 카메라 위치(C3)와 산출된 카메라의 이동 거리를 출력부(40)로 출력할 수 있다(S112).
본 예에서, 위치 산출부(20) 직선 축(LX) 상에서 위치점을 이동하면서 최종적으로 제3 카메라 위치(C3)를 추정하지만, 이와 달리, 다음의 수식을 이용하여 제3 카메라 위치(C3)의 좌표를 산출할 수 있다.
예를 들어, 도 6과 같이 제1 카메라 위치[O(0,0,0)]에서 제3 카메라 위치[C3(XC3, YC3, ZC3)]로 이동한 경우, 제3 카메라 위치[C3(XC3, YC3, ZC3)]를 산출하는 과정은 다음의 [수학식 6] 내지 [수학식 10]와 같을 수 있다.
도 6에서, O(0, 0, 0)는 원점 좌표계로서, 기준 영상인 제1 입력 영상(IM1)이 획득된 제1 카메라 위치(C1)의 X축, Y축 및 Z축 상의 좌표이고, 기준점일 수 있다.
M은 물체점이고, XM, YM 및 ZM은 물체점(M)의 좌표로서 각각 X축, Y축 및 Z축 상의 위치일 수 있다.
XC3, YC3 및 ZC3은 제3 카메라 위치(C3)의 좌표로서, 각각 X축, Y축 및 Z축 상의 위치일 수 있다.
x3은 제3 카메라 위치(C3)에서 획득된 제3 입력 영상(IM3)의 영상면에 위치하는 특징점이고, x3(x31, y31, z31)은 특징점(x3)의 좌표로서, 각각 x축, y축 및 z축 상의 위치일 수 있다. x3'(Xx31, Yy31, Z z31)은 x3의 좌표를 원점 좌표계로 변환한 좌표일 수 있다.
또한, t13은 제1 입력 영상(IM1)과 제3 입력 영상(IM3)을 이용해 산출된 기본 행렬(E13)에서 얻어진 이동 거리이고, tX, tY 및 tZ는 각각 X축, Y축 및 Z축에서의 이동 거리이다.
아래의 [수학식 6]에서, (
Figure pat00046
) 은 3×3 구조를 갖는 회전 행렬(R)일 수 있다.
Figure pat00047
Figure pat00048
Figure pat00049
Figure pat00050
Figure pat00051
Figure pat00052
Figure pat00053
Figure pat00054
Figure pat00055
Figure pat00056
Figure pat00057
Figure pat00058
Figure pat00059
Figure pat00060
Figure pat00061
Figure pat00062
이러한 수학식을 통해, 제3 카메라 위치(C3)의 좌표(Xc3, Yc3, Zc3)이 산출될 수 있다.
본 발명의 각 실시예에 개시된 기술적 특징들은 해당 실시예에만 한정되는 것은 아니고, 서로 양립 불가능하지 않은 이상, 각 실시예에 개시된 기술적 특징들은 서로 다른 실시예에 병합되어 적용될 수 있다.
따라서, 각 실시예에서는 각각의 기술적 특징을 위주로 설명하지만, 각 기술적 특징이 서로 양립 불가능하지 않은 이상, 서로 병합되어 적용될 수 있다.
본 발명은 상술한 실시예 및 첨부한 도면에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자의 관점에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명의 범위는 본 명세서의 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
10: 카메라 20: 위치 산출부
30: 저장부 40: 출력부

Claims (10)

  1. 제1 내지 제3 입력 영상과 제1 내지 제3 입력 영상에 대한 제1 내지 제3 특징점을 저장하고 있는 저장부; 및
    상기 저장부에 연결되어 있고, 획득된 상기 제1 내지 제3 입력 영상을 입력받아 제3 카메라 위치를 산출하는 위치 산출부
    를 포함하고,
    상기 제1 내지 제3 입력 영상은 각각 제1 내지 제3 카메라 위치에서 동일한 물체점을 각각 촬영하여 획득된 영상이고,
    상기 위치 산출부는 제1 입력 영상의 제1 특징점 및 상기 제1 특징점과 일치하는 제2 입력 영상의 제2 특징점을 이용하여 제1 및 제2 입력 영상의 기본 행렬을 산출하고, 산출된 상기 기본 행렬을 이용하여 제2 카메라 위치의 회전 행렬과 이동 거리를 산출하고, 산출된 상기 제2 카메라 위치의 상기 회전 행렬과 상기 이동 거리를 이용하여 상기 물체점의 좌표를 산출하고,
    상기 제1 입력 영상의 제1 특징점과 상기 제1 특징점과 일치하는 제3 입력 영상의 제3 특징점을 이용해 제1 및 제3 입력 영상의 기본 행렬을 산출하고, 산출된 제1 및 제3 입력 영상의 기본 행렬을 이용하여 제3 카메라 위치의 회전 행렬과 이동 거리를 산출하고,
    제3 카메라 위치의 상기 이동 거리를 이용해 제1 카메라 위치를 기준으로 하여 이동하는 카메라의 이동 방향을 판단하고 상기 제3 카메라 위치의 상기 회전 행렬을 이용하여 카메라의 회전 각도를 판단하는
    카메라 이동 위치 추정 장치.
  2. 제1 항에 있어서,
    상기 위치 산출부는 제1 카메라 위치를 기준으로 판단된 이동 방향을 따라서 연장된 직선 축 상에 위치하는 위치점 및 상기 위치점과 제3 특징점을 직선으로 연결할 때 물체점의 좌표와 일치하는 직선이 형성되는 위치점을 탐색하고, 탐색된 상기 위치점을 상기 제3 카메라 위치로 판단하는 카메라 이동 위치 추정 장치.
  3. 제1 항에 있어서,
    상기 위치 산출부는 다음의 수학식을 이용하여 상기 제3 카메라 위치의 좌표를 산출하는
    [수학식]
    Figure pat00063

    Figure pat00064

    Figure pat00065

    Figure pat00066

    Figure pat00067

    Figure pat00068

    Figure pat00069

    Figure pat00070

    Figure pat00071

    Figure pat00072

    Figure pat00073

    Figure pat00074

    Figure pat00075

    Figure pat00076

    Figure pat00077

    Figure pat00078

    (여기서, M은 물체점이고, XM, YM 및 ZM은 물체점(M)의 좌표로서 각각 X축, Y축 및 Z축 상의 위치이고, XC3, YC3 및 ZC3은 제3 카메라 위치의 좌표로서, 각각 X축, Y축 및 Z축 상의 위치이고, x3은 제3 카메라 위치에서 획득된 제3 입력 영상의 영상면에 위치하는 특징점이고, x3(x31, y31, z31)은 특징점(x3)의 좌표로서, 각각 x축, y축 및 z축 상의 위치이고, x3'(Xx31, Yy31, Z z31)은 x3의 좌표를 원점 좌표계로 변환한 좌표이고, t13은 제1 입력 영상과 제3 입력 영상을 이용해 산출된 기본 행렬에서 얻어진 이동 거리이고, tX, tY 및 tZ는 각각 X축, Y축 및 Z축에서의 이동 거리이며, (
    Figure pat00079
    ) 은 3×3 구조를 갖는 회전 행렬임)
    카메라 이동 위치 추정 장치.
  4. 제1 항에 있어서,
    상기 제1 입력 영상에 대한 제1 카메라 위치가 세계 좌표계의 원점이 되는 카메라 이동 위치 추정 장치.
  5. 제1 항에 있어서,
    상기 위치 산출부는 다음의 [수학식]을 이용하여 상기 물체점의 좌표를 산출하는
    [수학식]
    Figure pat00080

    Figure pat00081

    Figure pat00082

    (여기서, M은 물체점, Z1은 제1 카메라 위치에서 물체점까지 광축을 따라서 형성된 직선 거리, Z2는 제2 카메라 위치에서 물체점까지 광축을 따라서 형성된 직선 거리, x1은 제1 특징점, x2은 제2 특징점, K는 상수, R은 회전 행렬, t는 이동 거리임)
    카메라 이동 위치 추정 장치.
  6. 위치 산출부는 제1 내지 제3 카메라 위치에서 동일한 물체점을 각각 촬영하고 제1 내지 제3 특징점을 각각 구비하고 있는 제1 내지 제3 입력 영상을 입력받는 단계;
    상기 위치 산출부는 제1 입력 영상의 제1 특징점 및 상기 제1 특징점과 일치하는 제2 입력 영상의 제2 특징점을 이용하여 제1 및 제2 입력 영상의 기본 행렬을 산출하는 단계;
    상기 위치 산출부는 산출된 상기 기본 행렬을 이용하여 제2 카메라 위치의 회전 행렬과 이동 거리를 산출하는 단계;
    상기 위치 산출부는 산출된 상기 제2 카메라 위치의 회전 행렬과 상기 이동 거리를 이용하여 상기 물체점의 좌표를 산출하는 단계;
    상기 위치 산출부는 상기 제1 입력 영상의 제1 특징점과 상기 제1 특징점과 일치하는 제3 입력 영상의 제3 특징점을 이용해 제1 및 제3 입력 영상의 기본 행렬을 산출하는 단계;
    상기 위치 산출부는 산출된 제1 및 제3 입력 영상의 기본 행렬을 이용하여 제3 카메라 위치의 회전 행렬과 이동 거리를 산출하는 단계; 및
    상기 위치 산출부는 제3 카메라 위치의 상기 이동 거리를 이용해 제1 카메라 위치를 기준으로 하여 이동하는 카메라의 이동 방향을 판단하고 상기 제3 카메라 위치의 상기 회전 행렬을 이용하여 카메라의 회전 각도를 판단하는 단계
    를 포함하는 카메라 이동 위치 추정 방법.
  7. 제6 항에 있어서,
    상기 위치 산출부는 제1 카메라 위치를 기준으로 판단된 이동 방향을 따라서 연장된 직선 축 상에 위치하는 위치점 및 상기 위치점과 제3 특징점을 직선으로 연결할 때 물체점의 좌표와 일치하는 직선이 형성되는 위치점을 탐색하는 단계; 및
    상기 위치 산출부는 탐색된 상기 위치점을 상기 제3 카메라 위치로 판단하는 단계
    를 더 포함하는 카메라 이동 위치 추정 방법.
  8. 제6 항에 있어서,
    상기 위치 산출부는 다음의 수학식을 이용하여 상기 제3 카메라 위치의 좌표를 산출하는
    [수학식]
    Figure pat00083

    Figure pat00084

    Figure pat00085

    Figure pat00086

    Figure pat00087

    Figure pat00088

    Figure pat00089

    Figure pat00090

    Figure pat00091

    Figure pat00092

    Figure pat00093

    Figure pat00094

    Figure pat00095

    Figure pat00096

    Figure pat00097

    Figure pat00098

    (여기서, M은 물체점이고, XM, YM 및 ZM은 물체점(M)의 좌표로서 각각 X축, Y축 및 Z축 상의 위치이고, XC3, YC3 및 ZC3은 제3 카메라 위치의 좌표로서, 각각 X축, Y축 및 Z축 상의 위치이고, x3은 제3 카메라 위치에서 획득된 제3 입력 영상의 영상면에 위치하는 특징점이고, x3(x31, y31, z31)은 특징점(x3)의 좌표로서, 각각 x축, y축 및 z축 상의 위치이고, x3'(Xx31, Yy31, Z z31)은 x3의 좌표를 원점 좌표계로 변환한 좌표이고, t13은 제1 입력 영상과 제3 입력 영상을 이용해 산출된 기본 행렬에서 얻어진 이동 거리이고, tX, tY 및 tZ는 각각 X축, Y축 및 Z축에서의 이동 거리이며, (
    Figure pat00099
    ) 은 3×3 구조를 갖는 회전 행렬임)
    카메라 이동 위치 추정 방법.
  9. 제6 항에 있어서,
    상기 제1 입력 영상에 대한 제1 카메라 위치가 세계 좌표계의 원점이 되는 카메라 이동 위치 추정 방법.
  10. 제6 항에 있어서,
    상기 물체점의 좌표를 산출하는 단계는 다음의 [수학식]을 이용하여 상기 물체점의 좌표를 산출하는
    [수학식]
    Figure pat00100

    Figure pat00101

    Figure pat00102

    (여기서, M은 물체점, Z1은 제1 카메라 위치에서 물체점까지 광축을 따라서형성된 직선 거리, Z2는 제2 카메라 위치에서 물체점까지 광축을 따라서 형성된 직선 거리, x1은 제1 특징점, x2은 제2 특징점, K는 상수, R은 회전 행렬, t는 이동 거리임)
    카메라 위치 추정 방법.

KR1020210173715A 2021-12-07 2021-12-07 카메라 이동 위치 추정 장치 및 방법 KR20230085499A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210173715A KR20230085499A (ko) 2021-12-07 2021-12-07 카메라 이동 위치 추정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210173715A KR20230085499A (ko) 2021-12-07 2021-12-07 카메라 이동 위치 추정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230085499A true KR20230085499A (ko) 2023-06-14

Family

ID=86745062

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210173715A KR20230085499A (ko) 2021-12-07 2021-12-07 카메라 이동 위치 추정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20230085499A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100855657B1 (ko) 2006-09-28 2008-09-08 부천산업진흥재단 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100855657B1 (ko) 2006-09-28 2008-09-08 부천산업진흥재단 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법

Similar Documents

Publication Publication Date Title
US9953461B2 (en) Navigation system applying augmented reality
JP6775776B2 (ja) 自由視点移動表示装置
US8896660B2 (en) Method and apparatus for computing error-bounded position and orientation of panoramic cameras in real-world environments
US8803992B2 (en) Augmented reality navigation for repeat photography and difference extraction
RU2572637C2 (ru) Параллельное или выполняемое последовательно в онлайн- и оффлайн- режимах формирование реконструкций для трехмерного обмера помещения
KR20150013709A (ko) 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、***及装置
JP2007323615A (ja) 画像処理装置及びその処理方法
US20210374978A1 (en) Capturing environmental scans using anchor objects for registration
US20190221000A1 (en) Depth camera 3d pose estimation using 3d cad models
JP2005256232A (ja) ３ｄデータ表示方法、装置、およびプログラム
Kim et al. Interactive acquisition of residential floor plans
US20030076996A1 (en) Extendable tracking by line auto-calibration
Burkard et al. User-aided global registration method using geospatial 3D data for large-scale mobile outdoor augmented reality
JP4809134B2 (ja) 画像処理装置及びその処理方法
Popescu et al. The modelcamera: a hand-held device for interactive modeling
Muffert et al. The estimation of spatial positions by using an omnidirectional camera system
Laganière et al. Robust object pose estimation from feature-based stereo
JP2007323616A (ja) 画像処理装置及びその処理方法
Zhu et al. High-precision localization using visual landmarks fused with range data
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
JP3221384B2 (ja) 三次元座標計測装置
KR20230085499A (ko) 카메라 이동 위치 추정 장치 및 방법
JPH1079027A (ja) 移動カメラ用の画像処理装置
Uematsu et al. AR registration by merging multiple planar markers at arbitrary positions and poses via projective space

Legal Events

Date Code Title Description
E902 Notification of reason for refusal