KR102576449B1 - 3차원 모델에 대한 영상 정합 장치 및 방법 - Google Patents

3차원 모델에 대한 영상 정합 장치 및 방법 Download PDF

Info

Publication number
KR102576449B1
KR102576449B1 KR1020200162217A KR20200162217A KR102576449B1 KR 102576449 B1 KR102576449 B1 KR 102576449B1 KR 1020200162217 A KR1020200162217 A KR 1020200162217A KR 20200162217 A KR20200162217 A KR 20200162217A KR 102576449 B1 KR102576449 B1 KR 102576449B1
Authority
KR
South Korea
Prior art keywords
image
virtual
shooting
model
captured
Prior art date
Application number
KR1020200162217A
Other languages
English (en)
Other versions
KR20220074103A (ko
Inventor
방기인
이광일
Original Assignee
주식회사 소프트그래피
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소프트그래피 filed Critical 주식회사 소프트그래피
Priority to KR1020200162217A priority Critical patent/KR102576449B1/ko
Publication of KR20220074103A publication Critical patent/KR20220074103A/ko
Application granted granted Critical
Publication of KR102576449B1 publication Critical patent/KR102576449B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따르면 3차원 모델에 대한 영상 정합 방법은 3차원 모델에 대한 영상 정합 장치에서 수행된다.
여기에서, 상기 3차원 모델에 대한 영상 정합 방법은 가상 환경에서 시설물의 3차원 모델을 구현하는 단계; 상기 가상 환경에서의 가상 촬영을 통해 상기 3차원 모델에 대한 가상 영상을 생성하는 단계; 상기 가상 영상 및 촬영 장치가 실제 시설물을 촬영하여 획득한 촬영 영상 간의 오차를 산출하는 단계; 및 상기 산출된 오차를 보정하여 상기 가상 영상 및 촬영 영상을 정합하는 단계;를 포함한다.
본 발명은 카메라로 촬영한 영상과 가상 환경에서 구현된 촬영 대상의 3차원 모델을 정합시킴으로써, 3차원 모델을 통해서도 촬영 대상을 정확하게 점검 및 진단할 수 있다.

Description

3차원 모델에 대한 영상 정합 장치 및 방법{DEVICE AND METHOD OF IMAGE REGISTRATION FOR 3D MODELS}
본 발명은 3차원 모델에 대한 영상 정합 장치 및 방법에 관한 것으로서, 보다 상세하게는, 카메라로 촬영한 영상과 가상 환경에서 구현된 촬영 대상의 3차원 모델을 정합시킴으로써, 3차원 모델을 통해서도 촬영 대상을 정확하게 점검 및 진단할 수 있는 3차원 모델에 대한 영상 정합 장치 및 방법에 관한 것이다.
안전 진단 및 손상도 점검 등을 포함하는 시설물 관리를 위한 방법 중 하나로서, 영상 장비를 활용하여 시설물의 상태 및 위치와 관련된 정보를 얻고 이를 활용하는 방법이 있다. 상기 영상 장비를 통해 얻어진 정보를 가상 환경 등에서 구현한 관리 대상 시설물의 3차원 모델에 적용하면 원격지에서도 용이하게 관리 대상인 시설물을 정밀점검 할 수 있는 이점이 있다.
한편, 인력의 접근이 용이하지 않은 상황이나 장소에서는 무인비행체를 활용함으로써, 시설물에 대한 정밀점검을 수행할 수 있다. 이러한 무인비행체를 활용한 시설물의 점검 및 관리 방법은 무인비행체를 통해 촬영한 영상에 나타나는 시설물 일부가 어떤 위치에 있는 것인지 정확하게 알 수 있어야 하며, 시설물에 발생한 미세한 손상 등을 정밀하게 파악할 수 있는 기술이 필요하게 된다.
구체적으로, 무인비행체에 장착된 촬영 장치로부터 영상을 획득하고, 이러한 영상으로부터 시설물에 대한 정량 정보를 추출하기 위해서는 영상이 촬영된 위치와 촬영 당시 카메라의 자세를 3차원 공간 상에서 결정해야 한다. 이에 따라, 무인비행체(또는 이에 탑재되는 촬영 장치)에 대한 위치 및 자세를 측정하기 위한 장치로서 GNSS(Global Navigation Satellite System; 글로벌 위성항법 시스템) 신호 수신 장치 및 IMU(Inertial Measurement Unit; 관성 측정 장치)가 사용될 수 있으며, 편의에 따라서 상기 두 장치의 기능이 하나로 병합된 GNSS/IMU가 사용될 수 있다.
그러나, GNSS 신호가 무인비행체의 정확한 위치를 결정할 수 있을 만큼 수신되지 않는 상황에서는 획득한 영상의 촬영 위치 및 자세를 결정하는데 어려움이 발생할 수 있다. 예를 들어, 교량 시설물의 하부에 대한 정밀점검을 위해 교량 시설물 하부로 무인비행체를 이동시키는 경우 GNSS 신호의 수신이 원활하지 않을 수 있으며, 이러한 경우 획득한 영상과 영상에 대한 위치 정보 및 자세 정보 등이 정확히 일치하게 않게 되므로, 앞서 말한 3차원 모델로 구현된 시설물에 획득한 영상을 정확하게 정합시키기 어려운 문제가 발생할 수 있다.
또한, GNSS 신호 수신과 관련된 문제 이외에도, 영상 장비의 카메라 정렬 상태가 정확하게 결정되어 있지 않을 경우 또는 구현된 3차원 모델의 형상이 정확하지 않은 경우에도 획득한 영상의 정합에 어려움이 생길 수 있다는 문제점이 있다.
한국등록특허 제10-2038127호
본 발명은 상술한 문제점을 해결하기 위해 고안된 것으로서, 촬영 장치를 통해 획득한 촬영 영상과 3차원 모델을 대상으로 생성된 가상 영상을 비교하여 두 영상 간의 오차를 산출하고, 산출된 오차를 보정하는 과정을 통해 정확한 정합을 이루어 낼 수 있다.
본 발명의 일 측면에 따르면, 3차원 모델에 대한 영상 정합 방법은 3차원 모델에 대한 영상 정합 장치에서 수행된다. 여기에서, 상기 3차원 모델에 대한 영상 정합 방법은 가상 환경에서 시설물의 3차원 모델을 구현하는 단계; 상기 가상 환경에서의 가상 촬영을 통해 상기 3차원 모델에 대한 가상 영상을 생성하는 단계; 상기 생성된 가상 영상 및 촬영 장치가 실제 시설물을 촬영하여 획득한 촬영 영상 간의 오차를 산출하는 단계; 및 상기 산출된 오차를 보정하여 상기 가상 영상 및 촬영 영상을 정합하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 3차원 모델에 대한 가상 영상을 생성하는 단계;는, 상기 촬영 장치가 획득한 촬영 영상 각각에 대한 촬영 위치 및 촬영 자세 정보를 수집하는 단계; 및 상기 수집된 촬영 위치 및 촬영 자세 정보와 대응되는 상기 가상 환경에서의 촬영 위치 및 촬영 자세를 도출하고, 상기 도출된 촬영 위치 및 촬영 자세에 기초하여 상기 3차원 모델에 대한 가상 영상을 생성하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 오차를 산출하는 단계는, 상기 가상 영상 및 촬영 영상에 포함되는 시설물에 대한 외곽선을 추출하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 가상 영상 및 촬영 영상을 정합하는 단계;는, 상기 추출된 외곽선을 이용하는 투영 변환법에 기초하여 상기 가상 영상 및 촬영 영상을 정합하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 오차를 산출하는 단계는, 상기 가상 영상 및 촬영 영상 중에서 촬영 위치 및 촬영 자세가 서로 동일한 것으로 판단되는 영상을 매칭시키는 단계; 및 상기 매칭된 영상이 서로 투영되도록 중첩시키는 단계;를 포함할 수 있다.
일 실시예에서, 상기 가상 영상 및 촬영 영상을 정합하는 단계;는, 상기 중첩된 영상 별로 상기 투영 변환법을 적용하여 상기 가상 영상 및 촬영 영상을 정합하는 단계;를 포함할 수 있다.
일 실시예에서, 투영 변환법에 기초하여 상기 가상 영상 및 촬영 영상을 정합하는 단계;는, 상기 획득한 촬영 영상의 좌표에 대한 상기 가상 환경에서의 변환 좌표를 산출하는 단계;를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 3차원 모델에 대한 영상 정합 장치는 3차원 모델에 대한 영상 정합 방법을 수행한다. 여기에서, 상기 3차원 모델에 대한 영상 정합 장치는 가상 환경에서 시설물의 3차원 모델을 구현하는 3차원 모델 생성부; 상기 가상 환경에서의 가상 촬영을 통해 상기 3차원 모델에 대한 가상 영상을 생성하는 가상 영상 생성부; 상기 생성된 가상 영상 및 촬영 장치가 실제 시설물을 촬영하여 획득한 촬영 영상 간의 오차를 산출하는 오차 산출부; 및 상기 산출된 오차를 보정하여 상기 가상 영상 및 촬영 영상을 정합하는 영상 정합부;를 포함할 수 있다.
본 발명의 일 실시예에 따른 3차원 모델에 대한 영상 정합 장치 및 방법은 구현된 3차원 모델의 가상 영상과 정합할 촬영 영상 간의 불일치 발생을 정확하게 검출하고, 이를 보정하여 실제 시설물과 거의 동일한 3차원 모델을 구현할 수 있는 효과가 있다.
본 발명의 일 실시예에 따른 3차원 모델에 대한 영상 정합 장치 및 방법은 시설물에 대한 3차원 모델에 촬영 영상을 정확하게 정합할 수 있으므로, 원격지에서도 관리 대상인 시설물을 용이하게 정밀 점검할 수 있는 효과가 있다.
본 발명의 일 실시예에 따른 3차원 모델에 대한 영상 정합 장치 및 방법은 3차원 모델에 대한 가상 영상과 촬영 영상 간의 오차를 자동적으로 산출하여 보정하므로, 영상 간의 정합을 위한 작업자의 후보정 작업이 별도로 필요하지 않게 되는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 모델에 대한 영상 정합 장치에서 이용될 수 있는 촬영 장치(10)를 설명하기 위한 참고도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 모델에 대한 영상 정합 장치를 설명하기 위한 블록도이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 3차원 모델에 대한 영상 정합 방법을 설명하기 위한 참고도이다.
도 6은 본 발명의 일 실시예에 따른 3차원 모델에 대한 영상 정합 방법을 설명하기 위한 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "...부"의 용어는 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 모델에 대한 영상 정합 장치에서 이용될 수 있는 촬영 장치(10)를 설명하기 위한 참고도이다.
도 1을 참조하면, 촬영 장치(10)는 본 발명의 일 실시예에 따른 3차원 모델에 대한 영상 정합 방법에서 정밀 점검, 진단 또는 관리 대상이 되는 시설물의 영상을 촬영하고, 영상 정보를 획득할 수 있는 장치로서, 구비되는 렌즈를 통해 입력되는 광 신호들을 전자 신호들로 변환하는 이미지 센서를 포함하거나 이와 동등한 기능을 수행할 수 있는 장치를 의미할 수 있다. 도 1에서 촬영 장치(10)는 본 발명의 바람직한 예시로서 무인비행체로 도시되었으며, 무인비행체 형태의 촬영 장치(10)는 촬영 장치(10)의 위치 및 자세 정보를 획득하기 위한 GNSS/IMU, 촬영 장치(10)에 탑재되는 카메라 및 상기 카메라를 고정하기 위한 짐발을 포함하여 구성될 수 있다.
또한, 촬영 장치(10)는 획득한 영상 정보를 내부에 구비되는 저장부에 저장하거나, 무선 네트워크를 통해 실시간으로 3차원 모델에 대한 영상 정합 장치 또는 다른 서버에 전송할 수 있다. 또한, 촬영 장치(10)는 무선 통신 제어를 포함하는 다양한 방식에 의하여 동작이 제어될 수 있다.
도 2는 본 발명의 일 실시예에 따른 3차원 모델에 대한 영상 정합 장치 (100)의 구성을 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 시설물 정밀점검 시스템(100)은 3차원 모델 생성부(110), 가상 영상 생성부(120), 오차 산출부(130) 및 영상 정합부(140)를 포함하여 구성될 수 있다.
3차원 모델 생성부(110), 가상 영상 생성부(120), 오차 산출부(130) 및 영상 정합부(140) 각각은 컴퓨터 프로그램들 혹은 컴퓨터에 의해 판독 가능한 매체에 저장된 데이터와 같은 명령어들을 실행하기 위한 하나 또는 그 이상의 프로세서들, 메모리들, 및 다른 적절한 구성 요소들을 포함함으로써 본 명세서에 기재된 다양한 단계들을 수행할 수 있다.
예를 들면, 컴퓨터 프로그램들 또는 명령어들은 해당 구성의 내부 혹은 외부에 있는 컴퓨터에 의해 판독 가능한 매체에 저장될 수 있다.
3차원 모델 생성부(110)는 가상 환경에서 시설물의 3차원 모델을 구현할 수 있다.
여기에서, 가상 환경은 사용자가 상기 시설물의 3차원 모델을 구현할 수 있는 가상의 공간을 의미할 수 있다. 예를 들어, 상기 가상 환경은 사용자 단말에 설치될 수 있는 특정 소프트웨어의 실행을 통해 임의로 생성될 수 있는 것으로서, 사용자 단말의 디스플레이 장치를 통해 시각적으로 표현되는 3차원 공간을 의미할 수 있다. 이에 따라, 3차원 모델 생성부(110)는 사용자가 미리 형성한 시설물의 3차원 모델에 대한 정보에 기초하여 상기 가상 환경 상에 시설물의 3차원 모델을 구현할 수 있다.
가상 영상 생성부(120)는 상기 가상 환경에서의 가상 촬영을 통해 상기 3차원 모델에 대한 가상 영상을 생성할 수 있다.
일 실시예에서, 가상 영상 생성부(120)는 촬영 장치(10)가 획득한 촬영 영상 각각에 대한 촬영 위치 및 촬영 자세 정보를 수집할 수 있다.
예를 들어, 가상 영상 생성부(120)는 촬영 장치(10)의 GNSS/IMU로부터 촬영 장치(10)의 촬영 시 위치 및 자세 정보를 직접 수신 받아 수집할 수 있으며, 다른 한편으로는, 촬영 장치(10)에 포함되는 저장 장치로부터 촬영 시의 위치 및 자세 정보를 전달받아 수집할 수 있다.
일 실시예에서, 가상 영상 생성부(120)는 상기 수집된 촬영 위치 및 촬영 자세 정보와 대응되는 상기 가상 환경에서의 촬영 위치 및 촬영 자세를 도출하고, 상기 도출된 촬영 위치 및 촬영 자세에 기초하여 상기 3차원 모델에 대한 가상 영상을 생성할 수 있다.
예를 들어, 가상 영상 생성부(120)는 촬영 장치(10)가 획득한 촬영 영상 각각에 대한 촬영 위치 및 촬영 자세 정보를 수집함으로써, 상기 획득한 촬영 영상 각각에 대한 상기 가상 환경에서의 촬영 위치 및 촬영 자세를 도출할 수 있으며, 상기 도출된 촬영 위치 및 촬영 자세에 기초하여 가상 환경 상에서 가상 촬영을 수행함으로써, 촬영 장치(10)가 촬영한 촬영 영상과 유사한 가상 영상을 생성할 수 있다.
오차 산출부(130)는 상기 생성된 가상 영상 및 촬영 장치(10)가 실제 시설물을 촬영하여 획득한 촬영 영상 간의 오차를 산출할 수 있다. 여기에서, 상술한 바와 같이 가상 영상 생성부(120)가 촬영 장치(10)가 촬영한 촬영 영상과 유사한 가상 영상을 생성한다고 하더라도, GNSS/IMU 등을 통해 위치 및 자세를 결정하기 어려운 상황이 발생하는 경우를 포함하는 다양한 이유로 오차가 발생될 여지가 있으며, 이러한 오차를 보정하여 해소하기 위해서는 상기 가상 영상과 획득한 촬영 영상 간의 오차를 먼저 정확하게 산출할 필요가 있다.
일 실시예에서, 오차 산출부(130)는 상기 가상 영상 및 촬영 영상 중에서 촬영 위치 및 촬영 자세가 서로 동일한 것으로 판단되는 영상을 매칭시키고, 상기 매칭된 영상이 서로 투영되도록 중첩시킬 수 있다.
이와 관련하여, 도 3 및 도 4는 본 발명의 일 실시예에 따른 3차원 모델에 대한 영상 정합 방법을 설명하기 위한 참고도이다.
여기에서, 도 3의 (a)는 본 발명의 일 실시예에 따른 촬영 장치(10)가 촬영한 시설물에 대한 촬영 영상 중 하나를 도시한 것이며, 도 3의 (b)는 촬영 장치(10)가 촬영한 영상(a)에 대한 촬영 위치 및 자세를 적용하여 생성된 가상 영상을 도시한 것이다. 또한, 도 4는 위 영상(a) 및 (b)를 서로 투영되도록 중첩한 예를 도시한 것이다.
도 4에 도시된 바와 같이, 오차 산출부(130)는 상기 매칭된 영상 각각을 중첩시켜 비교하는 방법을 통해 상기 매칭된 영상 각각에 대한 오차를 산출할 수 있다.
일 실시예에서, 오차 산출부(130)는 상기 가상 영상 및 촬영 영상에 포함되는 시설물에 대한 외곽선을 추출할 수 있다. 이와 관련하여, 도 5는 본 발명의 3차원 모델에 대한 영상 정합 장치를 통해 추출한 외곽선의 예를 도시하고 있다. 여기에서, 오차 산출부(130)는 각 영상에 포함되는 시설물에 대한 외곽선을 추출함으로써, 상기 중첩된 영상 간의 오차를 산출하는데 이용할 수 있다. 예를 들어, 오차 산출부(130)는 상기 중첩된 영상에서 촬영 영상의 외곽선 및 가상 영상의 외곽선을 비교하여 오차를 산출하되, 각 영상의 외곽선에 대한 특징점을 도출하고, 각 영상에 대해서 도출된 특징점 간의 좌표 비교를 통해 오차를 산출할 수 있다.
영상 정합부(140)는 상기 산출된 오차를 보정하여 상기 가상 영상 및 촬영 영상을 정합할 수 있다.
일 실시예에서, 영상 정합부(140)는 상기 획득한 촬영 영상의 좌표에 대한 상기 가상 환경에서의 변환 좌표를 산출할 수 있다.
본 발명의 3차원 모델에 대한 영상 정합 방법은 상기 획득한 촬영 영상의 좌표에 대한 상기 가상 환경에서의 변환 좌표를 산출함으로써, 상기 획득한 촬영 영상을 상기 가상 영상과 같은 기준에서 비교할 수 있도록 한다. 여기에서, 하기 수학식 1은 상기 획득한 촬영 영상의 좌표를 가상 환경에서의 좌표로 변환하기 위한 것으로서, 이러한 변환 과정에는 다양한 변수가 이용될 수 있다.
[수학식 1]
(여기에서, 는 촬영 영상에 대한 변환 좌표, s는 축척, r은 y축 회전 각도, p는 x축 회전 각도, h는 z축 회전 각도, 는 x축 이동 거리, 는 y축 이동 거리, 및 는 각각 변환 이전의 촬영 영상 좌표임)
일 실시예에서, 영상 정합부(140)는 상기 추출된 외곽선을 이용하는 투영 변환법에 기초하여 상기 가상 영상 및 촬영 영상을 정합할 수 있다.
일 실시예에서, 영상 정합부(140)는 상기 중첩된 영상 별로 상기 투영 변환법을 적용하여 상기 가상 영상 및 촬영 영상을 정합할 수 있다.
본 발명의 3차원 모델에 대한 영상 정합 방법은 상기 추출된 외곽선을 이용하는 투영 변환법에 기초하여 영상 간에 발생한 오차를 최소화하는 보정을 수행할 수 있다. 구체적으로 예를 들어, 영상 정합부(140)는 상기 추출된 외각선에 대한 임의의 특징점을 도출하고, 해당 특징점을 포함하는 외곽선의 기울기로부터 산출되는 가중치 행렬을 상기 특징점에 적용함으로써, 특징점 간의 위치 오차를 최소화할 수 있다.
도 6은 본 발명의 일 실시예에 따른 3차원 모델에 대한 영상 정합 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 사용자는 촬영 장치를 통해 관리 대상이 되는 시설물에 대한 촬영 영상을 획득해 놓을 수 있으며, 특정 소프트웨어 등을 통해 상기 관리 대상이 되는 시설물의 3차원 모델을 생성하여 가상 환경 상에 구현할 수 있다(S601).
다음으로, 가상 영상 생성부는 획득한 촬영 영상의 위치 및 자세 정보과 대응되도록 가상 환경 상에서 구현된 시설물을 촬영하여 가상 영상을 생성할 수 있다(S602).
다음으로, 오차 산출부는 생성된 가상 영상과 미리 획득한 촬영 영상 간의 오차를 산출할 수 있다(S603).
다음으로, 영상 정합부를 통해 상기 산출된 오차를 보정하여 상기 가상 영상 및 촬영 영상을 정합할 수 있으며, 이를 통해 사용자는 별도의 후보정 과정 없이 3차원 모델을 이용하여 실제 시설물을 점검 및 관리할 수 있다(S604).
전술한 3차원 모델에 대한 영상 정합 방법은 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 촬영 장치
100: 3차원 모델에 대한 영상 정합 장치
110: 3차원 모델 생성부
120: 가상 영상 생성부
130: 오차 산출부
140: 영상 정합부

Claims (8)

  1. 3차원 모델에 대한 영상 정합 장치에서 수행되는 3차원 모델에 대한 영상 정합 방법에 있어서,
    가상 환경에서 시설물의 3차원 모델을 구현하는 단계;
    상기 가상 환경에서의 가상 촬영을 통해 상기 3차원 모델에 대한 가상 영상을 생성하는 단계;
    촬영 장치의 위치 및 자세 정보를 획득하기 위한 GNSS(Global Navigation Satellite System; 글로벌 위성항법 시스템)/IMU(Inertial Measurement Unit; 관성 측정 장치), 카메라 및 상기 카메라를 고정하기 위한 짐발을 포함하는 무인비행체 형태의 촬영 장치가 실제 시설물을 촬영하는 단계;
    상기 생성된 가상 영상 및 촬영 장치가 실제 시설물을 촬영하여 획득한 촬영 영상 간의 오차를 산출하는 단계; 및
    상기 산출된 오차를 보정하여 상기 가상 영상 및 촬영 영상을 정합하는 단계;를 포함하되,
    상기 3차원 모델에 대한 가상 영상을 생성하는 단계;는,
    상기 촬영 장치의 GNSS/IMU로부터 상기 촬영 장치의 촬영 시 위치 및 자세 정보를 직접 수신 받아 상기 촬영 장치가 획득한 촬영 영상 각각에 대한 촬영 위치 및 촬영 자세 정보를 수집하는 단계; 및
    상기 수집된 촬영 위치 및 촬영 자세 정보와 대응되는 상기 가상 환경에서의 촬영 위치 및 촬영 자세를 도출하고, 상기 도출된 촬영 위치 및 촬영 자세에 기초하여 가상 환경 상에서 가상 촬영을 수행함으로써, 상기 3차원 모델에 대한 가상 영상을 생성하는 단계;를 포함하고,
    상기 오차를 산출하는 단계는,
    상기 가상 영상 및 촬영 영상 중에서 촬영 위치 및 촬영 자세가 서로 동일한 것으로 판단되는 영상을 매칭시키는 단계; 및
    상기 매칭된 영상이 서로 투영되도록 중첩시키는 단계;를 포함하는 것을 특징으로 하는,
    3차원 모델에 대한 영상 정합 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 오차를 산출하는 단계는,
    상기 가상 영상 및 촬영 영상에 포함되는 시설물에 대한 외곽선을 추출하는 단계;를 포함하는 것을 특징으로 하는,
    3차원 모델에 대한 영상 정합 방법.
  4. 제3항에 있어서,
    상기 가상 영상 및 촬영 영상을 정합하는 단계;는,
    상기 추출된 외곽선을 이용하는 투영 변환법에 기초하여 상기 가상 영상 및 촬영 영상을 정합하는 단계;를 포함하는 것을 특징으로 하는,
    3차원 모델에 대한 영상 정합 방법.
  5. 삭제
  6. 제4항에 있어서,
    상기 가상 영상 및 촬영 영상을 정합하는 단계;는,
    상기 중첩된 영상 별로 상기 투영 변환법을 적용하여 상기 가상 영상 및 촬영 영상을 정합하는 단계;를 포함하는 것을 특징으로 하는,
    3차원 모델에 대한 영상 정합 방법.
  7. 제4항에 있어서,
    투영 변환법에 기초하여 상기 가상 영상 및 촬영 영상을 정합하는 단계;는,
    상기 획득한 촬영 영상의 좌표에 대한 상기 가상 환경에서의 변환 좌표를 산출하는 단계;를 포함하는 것을 특징으로 하는,
    3차원 모델에 대한 영상 정합 방법.
  8. 3차원 모델에 대한 영상 정합 방법을 수행하는 3차원 모델에 대한 영상 정합 장치에 있어서,
    가상 환경에서 시설물의 3차원 모델을 구현하는 3차원 모델 생성부;
    상기 가상 환경에서의 가상 촬영을 통해 상기 3차원 모델에 대한 가상 영상을 생성하는 가상 영상 생성부;
    상기 생성된 가상 영상 및 촬영 장치의 위치 및 자세 정보를 획득하기 위한 GNSS(Global Navigation Satellite System; 글로벌 위성항법 시스템)/IMU(Inertial Measurement Unit; 관성 측정 장치), 카메라 및 상기 카메라를 고정하기 위한 짐발을 포함하는 무인비행체 형태의 촬영 장치가 실제 시설물을 촬영하여 획득한 촬영 영상 간의 오차를 산출하는 오차 산출부; 및
    상기 산출된 오차를 보정하여 상기 가상 영상 및 촬영 영상을 정합하는 영상 정합부;를 포함하되,
    상기 가상 영상 생성부는,
    상기 촬영 장치의 GNSS/IMU로부터 상기 촬영 장치의 촬영 시 위치 및 자세 정보를 직접 수신 받아 상기 촬영 장치가 획득한 촬영 영상 각각에 대한 촬영 위치 및 촬영 자세 정보를 수집하고, 상기 수집된 촬영 위치 및 촬영 자세 정보와 대응되는 상기 가상 환경에서의 촬영 위치 및 촬영 자세를 도출하고, 상기 도출된 촬영 위치 및 촬영 자세에 기초하여 가상 환경 상에서 가상 촬영을 수행함으로써, 상기 3차원 모델에 대한 가상 영상을 생성하며,
    상기 오차 산출부는,
    상기 가상 영상 및 촬영 영상 중에서 촬영 위치 및 촬영 자세가 서로 동일한 것으로 판단되는 영상을 매칭시키고, 상기 매칭된 영상이 서로 투영되도록 중첩시키는 것을 특징으로 하는,
    3차원 모델에 대한 영상 정합 장치.
KR1020200162217A 2020-11-27 2020-11-27 3차원 모델에 대한 영상 정합 장치 및 방법 KR102576449B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200162217A KR102576449B1 (ko) 2020-11-27 2020-11-27 3차원 모델에 대한 영상 정합 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200162217A KR102576449B1 (ko) 2020-11-27 2020-11-27 3차원 모델에 대한 영상 정합 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220074103A KR20220074103A (ko) 2022-06-03
KR102576449B1 true KR102576449B1 (ko) 2023-09-11

Family

ID=81983700

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200162217A KR102576449B1 (ko) 2020-11-27 2020-11-27 3차원 모델에 대한 영상 정합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102576449B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758124A (zh) * 2023-06-16 2023-09-15 北京代码空间科技有限公司 一种3d模型修正方法及终端设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100651508B1 (ko) * 2004-01-30 2006-11-29 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
KR100964951B1 (ko) * 2008-10-29 2010-06-21 에이알비전 (주) 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법
KR101266418B1 (ko) * 2010-12-21 2013-05-22 박경호 증강현실 및 위치기반서비스를 이용한 동물위치추적시스템
KR20120071281A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 모바일에서 현실환경과 가상환경을 융합하여 제공하는 장치 및 방법
KR102109814B1 (ko) * 2018-10-31 2020-05-13 에스케이텔레콤 주식회사 영상 정합 장치 및 방법
KR102038127B1 (ko) 2018-12-07 2019-10-29 주식회사 한국건설관리공사 무인비행체를 이용한 시설물 관리 장치 및 방법

Also Published As

Publication number Publication date
KR20220074103A (ko) 2022-06-03

Similar Documents

Publication Publication Date Title
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
EP3208774B1 (en) Methods for localization using geotagged photographs and three-dimensional visualization
CN108171733B (zh) 使两个或更多个三维3d点云配准的方法
KR102664900B1 (ko) 드론을 이용한 지상기준점 측량장치 및 그 방법
US20060227211A1 (en) Method and apparatus for measuring position and orientation
JP6877293B2 (ja) 位置情報記録方法および装置
US11221216B2 (en) Placement table for unmanned aerial vehicle, surveying method, surveying device, surveying system and program
JP5134784B2 (ja) 空中写真測量方法
JP2016057108A (ja) 演算装置、演算システム、演算方法およびプログラム
JP6516558B2 (ja) 位置情報処理方法
JP6433200B2 (ja) 演算装置、演算方法、およびプログラム
JP2007327938A (ja) 画像処理装置及びその処理方法
JP2008089314A (ja) 位置測定装置及びその方法
US7711507B2 (en) Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium
JP2009501996A (ja) 映像の幾何補正方法およびその装置
US20220026208A1 (en) Surveying system, surveying method, and surveying program
CN115423863B (zh) 相机位姿估计方法、装置及计算机可读存储介质
CN115371673A (zh) 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法
CN110044266B (zh) 基于散斑投影的摄影测量***
KR102576449B1 (ko) 3차원 모델에 대한 영상 정합 장치 및 방법
JP3808833B2 (ja) 空中写真測量方法
KR102226256B1 (ko) 자동 시선각 보정이 가능한 이동형 시스템에 탑재되는 전자광학추적장치 및 그 방법
Sokolov et al. Development of software and hardware of entry-level vision systems for navigation tasks and measuring
CN113252066A (zh) 里程计设备参数的标定方法及装置、存储介质、电子装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant