KR100797391B1 - 카메라의 위치 및 자세 정보 보정 방법 및 장치 - Google Patents

카메라의 위치 및 자세 정보 보정 방법 및 장치 Download PDF

Info

Publication number
KR100797391B1
KR100797391B1 KR1020050037882A KR20050037882A KR100797391B1 KR 100797391 B1 KR100797391 B1 KR 100797391B1 KR 1020050037882 A KR1020050037882 A KR 1020050037882A KR 20050037882 A KR20050037882 A KR 20050037882A KR 100797391 B1 KR100797391 B1 KR 100797391B1
Authority
KR
South Korea
Prior art keywords
camera
image
scanner
information
attitude
Prior art date
Application number
KR1020050037882A
Other languages
English (en)
Other versions
KR20060071077A (ko
Inventor
조성익
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to JP2005312922A priority Critical patent/JP5127128B2/ja
Priority to US11/285,529 priority patent/US7908106B2/en
Publication of KR20060071077A publication Critical patent/KR20060071077A/ko
Application granted granted Critical
Publication of KR100797391B1 publication Critical patent/KR100797391B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18—Stabilised platforms, e.g. by gyroscope
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40—Correcting position, velocity or attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53—Determining attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)

Abstract

본 발명은 위성항법장치와 관성항법장치로부터 위치와 자세 정보를 얻도록 만들어진 카메라의 운용에 있어, 카메라에 장착된 삼선 스캐너를 통하여 얻어지는 영상정보를 분석하여 카메라의 위치와 자세 정보를 정밀하게 보정할 수 있도록 하는 방법 및 장치에 관한 것이다.
본 발명은, 카메라의 위치 및 자세 정보 보정 방법에 있어서, 위성항법장치를 이용하여 상기 카메라의 위치를 계산하는 단계; 관성항법장치를 이용하여 상기 카메라의 자세를 계산하는 단계; 상기 카메라에 장착된 삼선 스캐너를 통해 입력되는 영상을 분석하여 상기 카메라의 위치 및 자세 보정 정보를 생성하는 단계; 상기 생성된 위치 및 자세 보정 정보를 각각 상기 위성항법장치와 상기 관성항법장치에 피드백하는 단계를 포함하는 것을 특징으로 한다. 상기 삼선 스캐너를 통해 입력되는 영상은 전방 스캐너 관측 영상, 연직 스캐너 관측 영상 및 후방 스캐너 관측 영상으로 구성된다.
본 발명은 인공위성이나 항공기 등의 수송 수단에 탑재된 카메라를 통하여 관측된 영상에 대해 지상기준점(Ground Control Point)을 사용하지 않고도 카메라의 외부표정요소(Exterior Orientation Parameters)를 정밀하게 결정할 수 있도록 한다.
또한, 본 발명은 보다 짧은 시간 간격에 대해서 카메라의 위치와 자세 정보를 더욱 정밀하게 결정할 수 있도록 해주는 효과가 있다.
카메라, 삼선 스캐너, 위치, 자세, 외부표정요소

Description

카메라의 위치 및 자세 정보 보정 방법 및 장치{Method and Apparatus for Correcting Position And Attitude Information of Camera}
도1은 본 발명에 따른 영상 기반 위치 및 자세 보정 장치가 적용되는 시스템 구성도;
도2는 삼선 스캐너를 통해 획득된 영상간의 관계를 도시한 도면;
도3은 본 발명에 따라 위치 및 자세 보정 정보를 생성하는 과정을 도시한 흐름도; 및
도 4는 본 발명에 따른 칼만 필터 처리부의 세부 블럭구성도이다.
본 발명은 카메라의 위치 및 자세 정보를 보정하는 방법 및 장치에 관한 것으로, 보다 상세하게는, 위성항법장치(Global Navigation Satellite System; GNSS)와 관성항법장치(Inertial Navigation System; INS)로부터 위치와 자세 정보를 얻도록 만들어진 카메라의 운용에 있어, 카메라에 장착된 삼선 스캐너(Three Line Scanner)를 통하여 얻어지는 영상정보를 분석하여 카메라의 위치와 자세 정보를 정 밀하게 보정할 수 있도록 하는 방법 및 장치에 관한 것이다.
인공위성이나 항공기와 같은 관측장치나 이에 탑재된 카메라의 위치와 자세를 결정하는 방법은 크게 3가지가 있다. 하나는 위성항법장치와 관성항법장치로부터 들어오는 정보를 결합하여 관측 장치의 위치와 자세 정보를 결정하는 방법이다. 다른 하나는 관성항법장치를 사용하지 않는 상황에서 위성항법장치의 일종인 GPS(Global Positioning System)를 이용하여 복수 개의 GPS 위성으로부터 오는 신호를 분석함으로써 관측 장치의 위치와 자세를 결정하는 방법이다. 또 다른 하나는 위성항법장치와 관성항법장치를 장착한 스테레오 카메라를 통해 입력되는 영상을 분석하여 대상물의 3차원 정보를 생성하는 방법이다.
위성항법장치와 관성항법장치를 결합하여 차량의 위치와 자세를 결정하고 그 결과에 대한 맵 매칭을 통하여 차량의 현재 위치를 나타내기 위한 기술이 대한민국 특허출원 제1997-41019호,"하이브리드 네비게이션 시스템"에 개시되어 있다.
GPS 센서, 관성항법장치 센서와 DR(Dead-Reckoning) 센서로부터 입력되는 정보를 결합하여 이동 통신에서 위치 및 자세를 결정하기 위한 기술이 대한민국 특허출원 제2000-85817호, "GPS 및 INS를 이용한 이동 통신 시스템에서의 위치 및 자세 결정 시스템"에 개시되어 있다.
위성항법장치와 관성항법장치가 장착된 차량에 설치된 디지털 비디오 카메라를 통하여 획득되는 스테레오 영상을 이용하여 대상물에 대한 3차원 위치 및 속성 정보를 획득하는 기술이 대한민국 특허출원 제2001-41187호, "3차원 위치 측정 장치 및 그 방법"에 개시되어 있다.
위성항법장치와 관성항법장치 그리고 CCD 카메라를 이용하여 획득된 영상에 대하여 내부 및 외부 표정요소를 적용하여 정보를 생성하는 기술이 대한민국 특허출원 제2002-62417호, "공간영상의 효율적인 저장 및 검색을 지원하기 위한 공간영상정보시스템 및 그 검색방법"에 개시되어 있다.
복수 개의 GPS 위성으로부터 오는 신호와 스타센서(Star Sensor 또는 Star Tracker)를 통해 얻어지는 정보를 분석하여 인공위성의 위치와 자세를 예측하고 점검하기 위한 기술이 미국 공개특허 제2002/0004691호, "Attitude Determination and Alignment Using Electro-optical Sensors and Global Navugation Satellites"에 개시되어 있다.
복수 개의 GPS 위성으로부터 오는 신호를 분석하여 차량의 위치와 자세를 결정하기 위한 기술이 미국 등록특허 제6580389호, "Attitude Determination Using A Global Positioning System"에 개시되어 있다.
그러나, 종래의 기술은 위성항법장치로부터 얻어지는 정보만을 이용하거나 위성항법장치와 관성항법장치를 동시에 이용하여 관측 장치의 위치와 자세를 결정할 수 있는 방법으로서, 위치 정보의 정밀도는 위성항법장치로부터 얻어지는 정보의 정밀도에 따라 결정되고 자세 정보의 정밀도는 관성항법장치로부터 얻어지는 정보의 정밀도에 따라 결정되는 특성을 가지고 있다.
따라서, 위치정보를 얻는 과정에서는 위성항법장치에 의해 제한되는 정해진 시간 간격보다 짧은 시간 간격에 대해서는 위치정보를 얻을 수 없다는 문제점이 있다. 예를 들어, GPS의 경우 GPS 신호가 통상 1초 간격으로 제공되므로 이보다 짧은 시간 간격에 대해서 정밀한 위치정보를 계산할 수 없다.
또한, 자세정보를 얻는 과정에서도 관성항법장치에 의해 제한되는 시간 간격보다 짧은 시간 간격에 대해서는 자세정보를 얻을 수 없다는 문제점이 있다.
또한, 종래의 기술은 위치 및 자세의 정밀도가 관련 장치의 성능에 따라 좌우될 뿐, 위성항법장치와 관성항법장치에 연결된 관측 장치인 카메라로부터 얻어지는 영상정보로부터 부가 정보를 활용하지 못하는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위한 것으로, 위성항법장치와 관성항법장치가 장착된 카메라의 삼선 스캐너를 통하여 얻어지는 스캔라인 영상정보를 이용하여 카메라의 위치와 자세 정보를 정밀하게 결정할 수 있도록 하는 방법 및 장치를 제공하는 데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명은, 카메라의 위치 및 자세 정보 보정 방법에 있어서, 위성항법장치를 이용하여 상기 카메라의 위치를 계산하는 단계; 관성항법장치를 이용하여 상기 카메라의 자세를 계산하는 단계; 상기 카메라에 장착된 삼선 스캐너를 통해 입력되는 영상을 분석하여 상기 카메라의 위치 및 자세 보정 정보를 생성하는 단계; 상기 생성된 위치 및 자세 보정 정보를 각각 상기 위성항법장치와 상기 관성항법장치에 피드백하는 단계를 포함하는 것을 특징으로 한다. 상기 삼선 스캐너를 통해 입력되는 영상은 전방 스캐너 관측 영상, 연직 스캐너 관측 영상 및 후방 스캐너 관측 영상으로 구성된다.
또한, 본 발명은 위성항법장치와 관성항법장치가 연결된 카메라의 위치 및 자세 정보 보정 장치에 있어서, 상기 카메라에 구비된 삼선 스캐너를 통해 입력되는 영상을 분석하여 상기 카메라의 위치 및 자세 보정 정보를 생성하고, 상기 생성된 위치 및 자세 보정 정보를 각각 상기 위성항법장치와 상기 관성항법장치에 피드백하여 상기 카메라의 위치 및 자세 정보의 정밀도를 향상시키는 것을 특징으로 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명 이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명에 따른 영상 기반 위치 및 자세 보정 장치가 적용되는 시스템 구성도이다.
도 1을 참조하면, 삼선 스캐너를 구비한 카메라(100)는 인공위성이나 항공기와 같은 관측장치에 탑재된다. 따라서, 카메라(100)의 위치 및 자세 정보는 관측장치의 위치 및 자세 정보에 직결된다. 도 1을 참조하면, 삼선 스캐너는 관측 장치의 진행 방향의 직각 방향을 향하는 연직 스캐너(120), 상기 관측장치의 진행 방향과 상기 연직 스캐너(120)가 향하는 방향 사이의 임의 방향을 향하는 전방 스캐너(110), 및 상기 관측장치의 진행 방향과 반대되는 방향과 상기 연직 스캐너(120)가 향하는 방향 사이의 임의 방향을 향하는 후방 스캐너(130)로 이루어진다. 따라서, 연직 스캐너(120)와 전방 스캐너(110) 간의 각도와, 연직 스캐너(120)와 후방 스캐너(130)간의 각도는 90도 이하이다. 즉, 도 1에 도시된 바와 같이, 전방 스캐너(110)와 연직 스캐너(120)사이의 각도는 진행방향 쪽으로 90도 이하가 되고, 후방 스캐너(130)와 연직 스캐너(120)사이의 각도는 진행방향 반대방향으로 90도 이하가 된다.
위성항법장치(200)는 카메라(100)와 연결되어 카메라(100)의 위치를 결정한다. 위성항법장치(200)의 한 예로 GPS 수신기가 사용될 수 있다. 관성항법장치(300)는 카메라(100)와 연결되어 카메라(100)의 자세를 결정한다. 위성항법장치(200)와 관성항법장치(300)는 카메라(100)와 동일한 프레임에 물리적으로 고정설치된다. 위성 항법장치(200)와 관성항법장치(300)는 통상의 것이 사용될 수 있으므로, 그 구성에 대한 구체적인 설명은 생략한다.
영상 기반 위치 및 자세 보정 장치(400)는 카메라(100)의 삼선 스캐너를 통해 입력되는 스캔라인 영상을 이용하여 카메라(100)의 위치 및 자세 보정 정보를 생성한다. 생성된 위치 및 자세 보정 정보는 각각 위성항법장치(200)와 관성항법장치(300)에 피드백되며, 카메라(100)의 위치 및 자세 정보는 보다 정밀하게 파악될 수 있다.
도2는 삼선 스캐너를 통해 획득된 영상간의 관계를 도시한 것이다.
삼선 스캐너는 관측장치의 진행방향에 따라 전방 스캐너(110), 연직 스캐너(120), 후방 스캐너(130)로 구성된다. 따라서, 스캔라인 영상도 전방 스캐너(110)를 통해 생성되는 전방 스캐너 관측 영상(520), 연직 스캐너(120)를 통해 생성되는 연직 스캐너 관측 영상(510), 후방 스캐너(130)를 통해 생성되는 후방 스캐너 관측 영상(530)으로 이루어진다.
관측 장치의 진행 방향을 기준으로 세 스캐너가 배열되기 때문에, 관측대상이 되는 지표면 또는 시설물은 먼저 전방 스캐너(110)에 의해 관측이 된다. 일정 시간(Δt1)이 지난 후, 관측대상은 연직 스캐너(120)에 의해 관측이 되고, 다시 일정 시간(Δt2)이 지난 후, 관측대상은 후방 스캐너(130)에 의해 관측이 된다.
관측 장치가 등속 직선 운동을 하고 자세의 변화가 없는 관성 운동을 하는 경우, 전방 스캐너(110)와 연직 스캐너(120) 그리고 후방 스캐너(130) 사이의 관측 시간 간격은 동일하게 되며(즉, Δt1=Δt2), 세 스캐너(110,120,130)를 통하여 관측되는 영상간에도 위치 편차가 나타나지 않게 된다.
반면에, 관측 장치가 등속 직선 운동과 관성 운동을 하지 않는 경우, 세 스 캐너를 통하여 관측되는 영상(510,520,530)간에는 도2에서와 같이 위치 편차가 나타나게 된다. 전방 스캐너 관측영상(510)과 연직 스캐너 관측영상(520)간의 영상 위치 편차는 화소단위로 (1,1)이고, 연직 스캐너 관측영상(520)과 후방 스캐너 관측영상(530)간의 영상 위치편차는 화소단위로 (1,2)이다. 본 발명에 따른 영상 기반 위치 및 자세 보정 장치(400)는 이러한 영상 위치 편차를 분석함으로써 카메라의 위치 및 자세 정보를 정밀하게 보정할 수 있게 한다.
도 3은 본 발명에 따른 영상 기반 위치 및 자세 보정 장치(400)의 세부 블럭 구성도 이다.
삼선 스캐너를 구비한 카메라(100)를 탑재한 관측장치가 전방으로 진행함에 따라 삼선 카메라에 의해 차례대로 전방 스캐너 관측영상(510), 연직 스캐너 관측영상(520), 후방 스캐너 관측영상(530)이 생성된다. 생성된 관측영상(510,520,530)은 영상 기반 위치 및 자세 보정 장치(400)에 입력된다.
전방 스캐너 관측영상(510)은 제1 버퍼 메모리(410)에 임시로 저장된다. 이후, 영상 정합부(430)는 임시로 저장된 전방 스캐너 관측영상(510)과, 연직 스캐너(120)를 통해 실시간으로 관측되어 입력되는 연직 스캐너 관측영상(520)에 대해 영상정합을 수행하여 두 영상(510,520)간에 화소단위의 영상 위치편차(Δu1, Δv1)를 계산한다. 영상정합은 영역기준 정합방법이나 형상기준 정합방법과 같이 이미 알려진 다양한 방법으로 수행될 수 있다.
연직 스캐너(120)와 후방 스캐너(130)를 통해 관측되는 영상에 대해서도 동 일한 과정이 적용된다. 즉, 연직 스캐너 관측영상(520)은 제2 버퍼 메모리(420)에 임시로 저장된다. 이후, 영상 정합부(430)는 임시로 저장된 연직 스캐너 관측영상(520)과, 후방 스캐너(130)를 통해 실시간으로 관측되어 입력되는 후방 스캐너 관측영상(530)에 대해 영상정합을 수행하여 영상(520,530)간에 화소단위의 영상 위치편차(Δu2, Δv2)를 계산한다. 영상정합은 영역기준 정합방법이나 형상기준 정합방법과 같이 이미 알려진 다양한 방법으로 수행될 수 있다.
전방 스캐너 관측영상(510)과 연직 스캐너 관측영상(520)간의 제1 영상 위치편차 관련정보(Δu1, Δv1, tf, tn)와, 연직 스캐너 관측영상(520)과 후방 스캐너 관측영상(530)간의 제2 영상 위치편차 관련정보(Δu2, Δv2, tn, tr)는 칼만필터(Kalman Filter) 처리부(440)에 입력된다.
제1 영상 위치편차 관련정보(Δu1, Δv1, tf, tn)는 전방 스캐너 관측영상(510)과 연직 스캐너 관측영상(520)간의 영상 위치편차(Δu1, Δv1), 전방 스캐너 관측영상(510)이 생성된 시각(tf), 연직 스캐너 관측영상(520)이 생성된 시각(tn)으로 구성된다.
제2 영상 위치편차 관련정보(Δu2, Δv2, tn, tr)는 연직 스캐너 관측영상(520)과 후방 스캐너 관측영상(530)간의 영상 위치편차(Δu2, Δv2), 연직 스캐너 관측영상(520)이 생성된 시각(tn), 후방 스캐너 관측영상(530)이 생성된 시각(tr)으 로 구성된다.
칼만 필터 처리부(440)는 제1 및 제2 영상 위치편차 관련정보, 위성항법장치(200)로부터 입력되는 tn 시점의 카메라 위치정보(x, y, z, tn)와, 관성항법장치(300)로부터 입력되는 tn 시점의 카메라 자세정보(ω,κ,φ,tn)로부터, 위치 및 자세 보정 정보(x',y',z',ω',κ',φ',tm)를 추정하여 생성한다. 위치 및 자세 보정 정보는 영상 생성이 이루어지는 매 시간 간격에 대해서 국부적으로 계산된 카메라의 위치 및 자세 변화를 담고 있다. 여기에서 시각 tm은 전방 스캐너 관측영상(510)이 만들어진 시각(tf)과, 후방 스캐너 관측영상(530)이 만들어진 시각(tb )사이에서 존재하는 임의의 시각이다. 영상 생성이 이루어지는 시간 간격은 통상의 위성항법장치나 관성항법장치에 의해 제한되는 시간 간격보다 짧은 시간 간격으로 이루어 질 수 있다.
도 4는 본 발명에 따른 칼만 필터 처리부(440)의 세부 블럭구성도이다. 투영 변환부(442)는 카메라 위치정보(x, y, z, tn)와 카메라 자세정보(ω,κ,φ,tn)에 의해 정의되는 7개의 매개 변수 (x, y, z, ω,κ,φ,tn)를 제1 및 제2 영상 위치편차 관련정보에 의해 정의되는 7개의 매개 변수 (Δu1, Δv1,Δu2, Δv2, tf, tn, tb)에 적용하는 투영 변환을 수행하고, 그 결과를 카메라 위치 정보를 나타내는 매개 변수 (x, y, z)에 적용하여 실세계 위치 편차를 나타내는 매개 변수(δx, δy, δz)를 계산한다.
이어서, 칼만필터(444)는 위치 및 자세 정보를 나타내는 매개 변수 (x, y, z, ω,κ,φ,tn)와 실세계 위치 편차를 나타내는 매개 변수(δx, δy, δz)로부터 최적화된 위치 및 자세 편차에 대한 추정치를 나타내는 매개 변수 (Δx,Δy, Δz, Δω,Δκ,Δφ)를 계산한다.
편차 수정부(446)는 위치 및 자세 편차에 대한 추정치를 나타내는 매개 변수 (Δx,Δy, Δz, Δω,Δκ,Δφ)를 이용하여 위치 및 자세 정보위치 및 자세 정보를 나타내는 매개 변수 (x, y, z, ω,κ,φ,tn)의 편차를 수정함으로써, 주어진 시각 tm에 대해서 최적화되어 추정된 위치 및 자세 보정 정보(x', y', z', ω', κ' ,φ', tm)를 산출한다.
tf와 tb 사이에서 존재하는 임의의 시각 tm에 대해 최적화되어 추정된 위치 및 자세 보정 정보(x', y', z', ω', κ' ,φ', tm)는 위치 보정 정보 (x', y', z', tm)와 자세 보정 정보 (ω', κ' ,φ', tm)로 분리된다. 분리된 위치 보정 정보와 자세 보정 정보는 위성항법장치(200)와 관성항법장치(300)에 각각 피드백되어 카메라의 위치와 자세 정보를 정밀하게 보정하기 위해 사용된다.
이와 같이 삼선 스캐너 영상을 분석하여 얻어지는 보정 정보를 피드백하여 위치 및 자세 정보의 정밀도를 향상시키는 기술은 즉석처리 접근방식(Onboard Processing Approach)은 물론 후처리 접근방식(Postprocessing Approach)에 의해서도 진행될 수 있다.
즉석처리 접근방식은 인공위성이나 항공기에서 삼선 스캐너를 통하여 영상을 관측하는 동시에, 위치 및 자세 보정 정보를 위성항법장치와 관성항법장치에 피드백하여 위치 및 자세 정보의 정밀도를 향상시키고, 보정된 위치와 자세 정보를 삼선 스캐너를 통하여 얻어지는 영상에 곧 바로 적용(즉, 기록)하는 것을 의미한다.
후처리 접근방식은 위성항법장치와 관성항법장치로부터 얻어지는 위치 및 자세 정보와 삼선 스캐너를 통하여 얻어지는 영상정보를 있는 그대로 기록하고, 추후에 별도의 처리 과정을 통하여 위치 및 자세 정보의 정밀도를 향상시키는 것을 의미한다.
본 발명에 따른 위치 및 자세 보정 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태의 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 전술한 본 발명의 내용을 여러 가지 치환, 변형 및 변경이 가능하므로 본 발명의 기술적 범위는 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
본 발명은 인공위성이나 항공기 등의 수송 수단에 탑재된 카메라를 통하여 관측된 영상에 대해 지상기준점(Ground Control Point)을 사용하지 않고도 카메라의 외부표정요소(Exterior Orientation Parameters)를 정밀하게 결정할 수 있도록 한다.
또한, 본 발명은 보다 짧은 시간 간격에 대해서 카메라의 위치와 자세 정보를 더욱 정밀하게 결정할 수 있도록 해주는 효과가 있다.

Claims (12)

  1. 카메라의 위치 및 자세 정보 보정 방법에 있어서,
    위성항법장치를 이용하여 상기 카메라의 위치를 계산하는 단계;
    관성항법장치를 이용하여 상기 카메라의 자세를 계산하는 단계;
    상기 카메라에 장착된 삼선 스캐너를 통해 입력되는 영상을 분석하여 상기 카메라의 위치 및 자세 보정 정보를 생성하는 단계; 및
    상기 생성된 위치 및 자세 보정 정보를 각각 상기 위성항법장치와 상기 관성항법장치에 피드백하는 단계를 포함하는
    카메라의 위치 및 자세 정보 보정 방법.
  2. 제 1 항에 있어서,
    상기 삼선 스캐너를 통해 입력되는 영상은 전방 스캐너 관측 영상, 연직 스캐너 관측 영상 및 후방 스캐너 관측 영상으로 이루어지는
    카메라의 위치 및 자세 정보 보정 방법.
  3. 제2항에 있어서,
    상기 위치 및 자세 보정 정보를 생성하는 단계는,
    상기 전방 스캐너 관측 영상과 상기 연직 스캐너 관측 영상을 영상정합하여 제1 영상 위치 편차를 계산하는 단계; 및
    상기 연직 스캐너 관측 영상과 상기 후방 스캐너 관측 영상을 영상정합하여 제2 영상 위치 편차를 계산하는 단계를 포함하는
    카메라의 위치 및 자세 정보 보정 방법.
  4. 제3항에 있어서,
    상기 위치 및 자세 보정 정보를 생성하는 단계는,
    상기 전방 스캐너 관측 영상이 생성된 시각, 상기 연직 스캐너 관측영상이 생성된 시각, 상기 후방 스캐너 관측영상이 생성된 시각, 상기 제1 및 제2 영상 위치 편차, 상기 연직 스캐너 관측영상이 생성된 시각에서의 상기 카메라의 위치 정보 및 자세 정보를 칼만필터에 적용하는 단계를 더 포함하는
    카메라의 위치 및 자세 정보 보정 방법.
  5. 제3항에 있어서,
    상기 제1 및 제2 영상 위치편차는 화소 단위로 계산되는
    카메라의 위치 및 자세 정보 보정 방법.
  6. 제1항에 있어서,
    상기 카메라의 위치 및 자세 정보의 정밀도를 향상시키는 기술은 즉석처리 접근방식 또는 후처리 접근방식으로 이루어지는
    카메라의 위치 및 자세 정보 보정 방법.
  7. 위성항법장치와 관성항법장치가 연결된 카메라의 위치 및 자세 정보 보정 장치에 있어서,
    상기 카메라에 구비된 삼선 스캐너를 통해 입력되는 영상을 분석하여 상기 카메라의 위치 및 자세 보정 정보를 생성하고,
    상기 생성된 위치 및 자세 보정 정보를 각각 상기 위성항법장치와 상기 관성항법장치에 피드백하여 상기 카메라의 위치 및 자세 정보의 정밀도를 향상시키는
    카메라의 위치 및 자세 정보 보정 장치.
  8. 제7항에 있어서,
    상기 삼선 스캐너는 상기 카메라가 탑재된 관측장치의 진행 방향과 직각인 방향을 향하는 연직 스캐너;
    상기 관측장치의 진행 방향과 상기 연직 스캐너가 향하는 방향 사이의 임의 방향을 향하는 전방 스캐너; 및
    상기 관측장치의 진행 방향과 반대되는 방향과 상기 연직 스캐너가 향하는 방향 사이의 임의 방향을 향하는 후방 스캐너로 이루어지며,
    상기 연직 스캐너와 상기 전방 스캐너 간의 각도와, 상기 연직 스캐너와 상기 후방 스캐너간의 각도는 90도 이하인
    카메라의 위치 및 자세 정보 보정 장치.
  9. 제8항에 있어서,
    제1버퍼 메모리에 저장된 상기 전방 스캐너의 관측 영상과 상기 연직 스캐너를 통해 실시간으로 관측되어 입력되는 영상을 영상정합하고, 제2버퍼 메모리에 저장된 상기 연직 스캐너의 관측 영상과 상기 후방 스캐너를 통해 실시간으로 관측되어 입력되는 영상을 영상정합하는 영상 정합부를 포함하는
    카메라의 위치 및 자세 정보 보정 장치.
  10. 제9항에 있어서,
    상기 영상 정합부의 영상정합 결과 계산된 화소 단위의 영상 위치편차를 칼만 필터에 적용하여 위치 및 자세 보정 정보를 생성하는 칼만 필터 처리부를 포함하는
    카메라의 위치 및 자세 정보 보정 장치.
  11. 제10항에 있어서,
    상기 칼만 필터 처리부는,
    상기 연직 스캐너의 관측영상이 생성되는 시점에서의 카메라 위치 및 자세정보를 영상 위치편차 정보 및 상기 관측영상 생성 시점 정보를 포함하는 영상 위치편차 관련 정보에 투영변환하여 실세계 위치편차를 산출하는 투영변환부;
    상기 연직 스캐너의 관측영상이 생성되는 시점에서의 카메라 위치 및 자세정보와 상기 실세계 위치편차로부터 최적화된 위치 및 자세 편차에 대한 추정치를 산출하는 칼만필터; 및
    상기 최적화된 위치 및 자세 편차에 대한 추정치로부터 상기 연직 스캐너의 관측영상이 생성되는 시점에서의 카메라 위치 및 자세정보의 편차를 수정함으로써, 전방 스캐너의 관측영상이 생성된 시각과 후방 스캐너 관측영상이 생성된 시각 사이의 임의의 시각에 대해서 최적화되어 추정된 위치 및 자세 보정 정보를 산출하는 편차 수정부를 포함하는
    카메라의 위치 및 자세 정보 보정 장치.
  12. 제8항에 있어서,
    상기 관측장치는 인공위성 및 항공기 중 어느 하나인
    카메라의 위치 및 자세 정보 보정 장치.
KR1020050037882A 2004-12-21 2005-05-06 카메라의 위치 및 자세 정보 보정 방법 및 장치 KR100797391B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005312922A JP5127128B2 (ja) 2004-12-21 2005-10-27 カメラの位置及び姿勢情報補正方法及びその装置
US11/285,529 US7908106B2 (en) 2004-12-21 2005-11-21 Apparatus for correcting position and attitude information of camera and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040109575 2004-12-21
KR20040109575 2004-12-21

Publications (2)

Publication Number Publication Date
KR20060071077A KR20060071077A (ko) 2006-06-26
KR100797391B1 true KR100797391B1 (ko) 2008-01-28

Family

ID=37164628

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050037882A KR100797391B1 (ko) 2004-12-21 2005-05-06 카메라의 위치 및 자세 정보 보정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100797391B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100435816B1 (ko) * 2001-01-19 2004-06-12 한국과학기술연구원 화학증착용 유기티탄 전구체 및 그의 제조 방법
KR101520596B1 (ko) * 2015-01-07 2015-05-21 주식회사 토페스 폐쇄회로 텔레비전

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101952737A (zh) 2007-12-11 2011-01-19 高通股份有限公司 有相机辅助的全球导航卫星***方法和接收器
KR101150510B1 (ko) * 2010-08-27 2012-05-31 (주)아세아항측 3차원 고해상도 정규화식생지수 도시 모델 생성방법
KR101308244B1 (ko) * 2011-09-07 2013-09-13 인하대학교 산학협력단 타워크레인의 자동볼팅 장치
KR20240020560A (ko) 2022-08-08 2024-02-15 한화시스템 주식회사 학습 데이터 생성 방법 및 이를 이용한 위성의 운용 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010041187A (ko) * 1998-02-20 2001-05-15 가부시키가이샤 비자이 휴대구가 부착된 포장용 병
US20020004691A1 (en) 2000-03-10 2002-01-10 Yasuhiro Kinashi Attitude determination and alignment using electro-optical sensors and global navigation satellites
KR20030005749A (ko) * 2001-07-10 2003-01-23 (주)한양 3차원 위치 측정 장치 및 그 방법
KR20030044685A (ko) * 2001-11-30 2003-06-09 엘지이노텍 주식회사 수중 항법시스템
KR20050025836A (ko) * 2003-09-08 2005-03-14 삼성전자주식회사 관성 항법 시스템의 자세 보상 방법 및 장치, 이를 이용한관성 항법 시스템의 위치 계산 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010041187A (ko) * 1998-02-20 2001-05-15 가부시키가이샤 비자이 휴대구가 부착된 포장용 병
US20020004691A1 (en) 2000-03-10 2002-01-10 Yasuhiro Kinashi Attitude determination and alignment using electro-optical sensors and global navigation satellites
KR20030005749A (ko) * 2001-07-10 2003-01-23 (주)한양 3차원 위치 측정 장치 및 그 방법
KR20030044685A (ko) * 2001-11-30 2003-06-09 엘지이노텍 주식회사 수중 항법시스템
KR20050025836A (ko) * 2003-09-08 2005-03-14 삼성전자주식회사 관성 항법 시스템의 자세 보상 방법 및 장치, 이를 이용한관성 항법 시스템의 위치 계산 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100435816B1 (ko) * 2001-01-19 2004-06-12 한국과학기술연구원 화학증착용 유기티탄 전구체 및 그의 제조 방법
KR101520596B1 (ko) * 2015-01-07 2015-05-21 주식회사 토페스 폐쇄회로 텔레비전

Also Published As

Publication number Publication date
KR20060071077A (ko) 2006-06-26

Similar Documents

Publication Publication Date Title
US7908106B2 (en) Apparatus for correcting position and attitude information of camera and method thereof
EP2133662B1 (en) Methods and system of navigation using terrain features
CN109059906B (zh) 车辆定位方法、装置、电子设备、存储介质
JP6694395B2 (ja) デジタル地図に対する位置を決定する方法およびシステム
US8213706B2 (en) Method and system for real-time visual odometry
KR101192825B1 (ko) Ｇｐｓ／ｉｎｓ／영상ａｔ를 통합한 라이다 지오레퍼린싱 장치 및 방법
JP4448187B2 (ja) 映像の幾何補正方法およびその装置
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
US20080319664A1 (en) Navigation aid
JP2016057108A (ja) 演算装置、演算システム、演算方法およびプログラム
US20080247602A1 (en) System and Method for Providing Mobile Range Sensing
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
WO2011120141A1 (en) Dynamic network adjustment for rigorous integration of passive and active imaging observations into trajectory determination
KR100797391B1 (ko) 카메라의 위치 및 자세 정보 보정 방법 및 장치
EP2175237A1 (en) System and methods for image-based navigation using line features matching
JP2008249555A (ja) 位置特定装置、位置特定方法および位置特定プログラム
Caballero et al. Improving vision-based planar motion estimation for unmanned aerial vehicles through online mosaicing
US20140286537A1 (en) Measurement device, measurement method, and computer program product
CN105844692A (zh) 基于双目立体视觉的三维重建装置、方法、***及无人机
JP4436632B2 (ja) 位置誤差補正機能を持つ測量システム
KR100901312B1 (ko) 자율이동플랫폼의 지형데이터 생성 장치, 이를 구비하는 자율이동플랫폼 및 자율이동플랫폼의 지형데이터 생성 방법
WO2015168460A1 (en) Dead reckoning system based on locally measured movement
JP6773473B2 (ja) 測量情報管理装置および測量情報管理方法
US20030118213A1 (en) Height measurement apparatus
JP2021143861A (ja) 情報処理装置、情報処理方法及び情報処理システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E902 Notification of reason for refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment

Payment date: 20140416

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150116

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160112

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee