KR20160002510A - Coordinate Calculation Acquisition Device using Stereo Image and Method Thereof - Google Patents
Coordinate Calculation Acquisition Device using Stereo Image and Method Thereof Download PDFInfo
- Publication number
- KR20160002510A KR20160002510A KR1020140080965A KR20140080965A KR20160002510A KR 20160002510 A KR20160002510 A KR 20160002510A KR 1020140080965 A KR1020140080965 A KR 1020140080965A KR 20140080965 A KR20140080965 A KR 20140080965A KR 20160002510 A KR20160002510 A KR 20160002510A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- reference image
- coordinate
- coordinates
- feature points
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000004364 calculation method Methods 0.000 title claims description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 230000008921 facial expression Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 7
- 238000003702 image correction Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 239000000284 extract Substances 0.000 description 9
- 230000001131 transforming effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/36—Videogrammetry, i.e. electronic processing of video signals from a single source or from different sources to give parallax or range information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 영상을 기반으로 촬영 위치의 좌표를 계산하여, 영상을 촬영한 사용자의 위치를 파악할 수 있는 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법에 관한 것이다.[0001] The present invention relates to an apparatus and method for acquiring a photographing coordinate using a stereoscopic image, and more particularly, to an apparatus and method for acquiring a photographing coordinate using a stereoscopic image, The present invention relates to a coordinate acquisition apparatus and a method thereof.
LBS(Location based Service)는 이동통신망과 IT기술을 종합적으로 활용하여 위치정보를 파악하고, 사용자의 위치정보를 기반으로 서비스를 제공하는 방법이다. LBS는 이동통신 기지국을 이용하는 셀방식과 위성항법장치를 활용하는 GPS방식이 있다. 2000년을 전후로 개발 및 보급된 셀방식은 기지국을 기반으로 가입자와 연결된 기지국을 파악한다. 인구 밀집지역은 수십 미터 간격으로 세워진 기지국 덕분에 오차범위가 크지 않지만, 지역에 따라 오차범위가 수km까지 발생하여 정확한 위치를 파악할 수 없다. 그러나 셀방식은 GPS방식의 한계점인 실내 및 지하의 위치도 파악할 수 있다는 장점이 있다.The location based service (LBS) is a method of locating location information using the mobile communication network and IT technology in a comprehensive manner and providing services based on the user's location information. The LBS includes a cellular system using a mobile communication base station and a GPS system utilizing a satellite navigation device. The cell type developed and distributed around the year 2000 identifies the base station connected to the subscriber based on the base station. Although the error range is not large due to the base stations set up at intervals of several tens of meters in the dense population area, an accurate range can not be obtained due to an error range of several km depending on the area. However, the cell method has an advantage that it can grasp the position of the indoor and the underground, which is a limitation of the GPS method.
반면, GPS방식은 위성에서 보내는 위치정보를 사용자 단말기에 내장된 칩이 수신하여 기지국에 알려주는 방식이다. 이 방식은 오차범위가 수십m이며, 셀 방식보다 정확한 위치추적이 가능하다. 그러나 위성신호의 특성상 반사가 잘 되는 고층건물이나 실내에서는 거의 사용이 불가능하다.On the other hand, the GPS method is a method in which a chip built in a user terminal receives location information transmitted from a satellite and notifies the base station of the received location information. In this method, the error range is several tens of meters, and it is possible to track the position more precisely than the cell type. However, due to the nature of the satellite signal, it is almost impossible to use it in high-rise buildings or indoors where reflection is good.
그래서 실내에서도 위치를 파악할 수 있는 비콘(beacon)이 등장하기도 하였다. 비콘은 근거리 위치 인식기술을 적용한 무선 센서와 블루투스 저전력 기술(BLE) 등의 무선 통신을 이용하여 위치를 파악하는 기술이다. 설치된 각 비콘끼리의 수신세기를 분석하여 위치를 파악하며, 50m 범위 내에서 오차범위 5cm정도로 정교하게 위치를 파악할 수 있다. 그러나 비콘을 이용하여 위치를 파악하기 위해서는 비콘 기기가 설치되어 있어야 한다는 한계점이 있다.Therefore, beacons that can identify the position in the room also appeared. The beacon is a technology that uses wireless communication such as wireless sensor and Bluetooth low-power technology (BLE) to apply the localization technology. By analyzing the received intensity of each installed beacon, the position can be grasped and the position can be grasped precisely within an error range of about 5 cm within a range of 50 m. However, there is a limitation that a beacon device must be installed in order to determine the position using a beacon.
이러한 위치정보 파악 기술을 이용하여, 사용자가 촬영한 사진이 어디에서 촬영된 사진인지 위치정보를 알려주는 기능이 많이 활용되고 있다. 주로 사용자 단말기에 탑재된 GPS기능을 이용하며, 사진을 촬영하기 전에 GPS설정모드를 활성화한 후 사진을 촬영하면, 사진이 촬영된 장소의 행정구역상의 위치, 위도, 경도를 확인할 수 있다. 이 정보를 통하여 사진을 촬영한 사용자의 위치도 확인할 수 있다. 하지만 GPS를 이용하여 위치정보를 파악하는 방법은 위성신호를 이용하기 때문에 실내 또는 지하에서는 위치를 파악하기 힘들다. 또 사용자 단말기가 GPS신호를 수신할 수 있는 칩을 구비하고 있어야 이용할 수 있다는 단점이 있다.Using such a positional information grasping technique, a function of informing the user of the photographed image and the location information of the photographed image is widely utilized. The GPS function installed on the user terminal is mainly used. When the GPS setting mode is activated and the photograph is taken before the photographing, the position, the latitude and the longitude on the administrative area of the photographing place can be confirmed. Through this information, the position of the user who photographed the photograph can be confirmed. However, it is difficult to grasp the location information in the indoor or underground because the method of acquiring the location information using the GPS uses the satellite signal. Further, there is a disadvantage in that a user terminal can use a GPS signal only if it has a chip capable of receiving the GPS signal.
따라서 실내 또는 지하에서도 사용자의 위치를 파악할 수 있는 방법이 필요하다. 또한 사용자 단말기가 별도의 장치를 구비하지 않고도 위치를 확인할 수 있는 방법이 필요하다.Therefore, there is a need for a method of locating the user in the room or underground. There is also a need for a method by which a user terminal can verify its location without having a separate device.
본 발명의 배경이 되는 기술은 한국등록특허 제10-0586815호(2006. 06. 08 공고)에 개시되어 있다.The technology that is the background of the present invention is disclosed in Korean Patent No. 10-0586815 (published on June, 2006).
본 발명은 영상을 기반으로 촬영 위치의 좌표를 계산하여, 영상을 촬영한 사용자의 위치를 파악할 수 있는 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법을 제공하는데 목적이 있다.An object of the present invention is to provide an apparatus and method for acquiring a coordinate of a photographing position using a stereo image, which is capable of calculating coordinates of a photographing position based on an image and determining the position of a user who has photographed the image.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득장치는 동일한 객체를 촬영한 복수의 촬영 영상에 대해 각각 특징점을 추출하고 전처리하는 영상 전처리부, 상기 추출된 특징점을 이용하여 상기 복수의 촬영 영상을 매칭시켜 하나의 기준 영상을 생성하는 기준 영상 생성부, 상기 기준 영상의 특징점에 대한 픽셀좌표와 입력된 상기 객체의 특징점에 대응하는 실제 3차원 좌표를 매칭하는 좌표 매칭부, 그리고 상기 기준 영상의 특징점에 대한 픽셀좌표를 실제 지상좌표로 변환하는 실제 지상좌표 변환부를 포함한다.According to an aspect of the present invention, there is provided an apparatus for obtaining a coordinate of a stereo image, the apparatus comprising: an image preprocessing unit for extracting and pre-processing feature points of a plurality of photographed images of the same object; A coordinate matching unit for matching the pixel coordinates of the minutiae of the reference image with the actual three-dimensional coordinates corresponding to the minutiae points of the input object, a reference image generating unit for generating a single reference image by matching the plurality of photographed images, And an actual terrain coordinate transformation unit for transforming pixel coordinates of feature points of the reference image into actual terrain coordinates.
상기 영상 전처리부는, 상기 촬영 영상으로부터 특징점을 추출하는 특징점 추출부, 사용자로부터 입력받은 보정 조건을 기준으로 상기 촬영 영상을 보정하는 영상 보정부, 그리고 상기 촬영 영상으로부터 추출된 특징점을 이용하여 상기 촬영 영상의 내부표정요소를 추출하는 내부표정요소 추출부를 포함할 수 있다.The image preprocessing unit may include a feature point extracting unit that extracts feature points from the photographed image, an image correcting unit that corrects the photographed image based on a correction condition input from a user, And an inner facial expression element extracting unit for extracting an inner facial expression element of the facial expression.
상기 기준 영상을 생성부는, 전처리된 상기 복수의 촬영 영상을 SIFT 알고리즘을 통하여 서로 매칭하여 하나의 기준 영상을 생성하고, 상기 기준 영상의 특징점에 대한 픽셀좌표를 추출할 수 있다.The reference image generating unit may generate one reference image by matching the plurality of preprocessed images with each other through the SIFT algorithm, and extract pixel coordinates of the feature points of the reference image.
상기 좌표 매칭부는, 토탈 스테이션을 통하여 상기 객체의 특징점에 대응하는 지점의 실제 3차원 좌표를 입력받을 수 있다.The coordinate matching unit can receive the actual three-dimensional coordinates of the point corresponding to the minutiae of the object through the total station.
상기 객체가 포함된 새로운 영상을 입력받으면, 상기 저장된 기준 영상의 특징점에 대한 실제 지상좌표를 DLT 알고리즘에 적용하여 상기 새로운 영상을 촬영한 촬영자의 현재 위치를 계산하는 촬영 위치 계산부를 더 포함할 수 있다.The apparatus may further include a photographing position calculator for calculating a current position of the photographer who has taken the new image by applying the actual ground coordinates of the feature points of the stored reference image to the DLT algorithm, .
본 발명의 다른 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득 방법은 동일한 객체를 촬영한 복수의 촬영 영상에 대해 각각 특징점을 추출하고 전처리하는 단계, 상기 추출된 특징점을 이용하여 상기 복수의 촬영 영상을 매칭시켜 하나의 기준 영상을 생성하는 단계, 상기 기준 영상의 특징점에 대한 픽셀좌표와 입력된 상기 객체의 특징점에 대응하는 실제 3차원 좌표를 매칭하는 단계, 그리고 상기 기준 영상의 특징점에 대한 픽셀좌표를 실제 지상좌표로 변환하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of acquiring a plurality of photographed images by extracting and pre-processing feature points of a plurality of photographed images of the same object, Matching the pixel coordinates of the minutiae points of the reference image with the actual three-dimensional coordinates corresponding to the input minutiae points of the input image, Into actual ground coordinates.
따라서 본 발명에 따르면 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법을 이용함으로써, 영상을 기반으로 촬영 위치의 좌표를 계산하여, 영상을 촬영한 사용자의 위치를 파악할 수 있으며, 기존의 대표적인 위치파악 방법인 GPS를 적용하기 힘든 지하나 실내에서도 촬영자의 현재 위치를 파악할 수 있다.Therefore, according to the present invention, by using the photographing coordinate acquisition apparatus and method using the stereo image, coordinates of the photographing position can be calculated based on the image, and the position of the user who photographed the image can be grasped. It is difficult to apply GPS, but it is possible to grasp the current position of the photographer in the room.
도 1은 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득장치의 영상 전처리부 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득 방법 중 영상을 전처리 하는 단계를 설명하기 위한 순서도이다.
도 5는 도 3에 나타낸 S320 단계를 설명하기 위한 도면이다.
도 6은 도 3에 나타낸 S330 단계 및 S340 단계를 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 촬영자의 현재 위치를 연산하는 과정을 설명하기 위한 도면이다.1 is a block diagram illustrating a configuration of a photographing coordinate acquisition apparatus using a stereo image according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration of an image preprocessing unit of a photographing coordinate acquisition apparatus using a stereo image according to an embodiment of the present invention.
3 is a flowchart illustrating a method of acquiring a photographing coordinate using a stereo image according to an embodiment of the present invention.
FIG. 4 is a flowchart illustrating a process of preprocessing an image in a method of acquiring a photographing coordinate using a stereo image according to an exemplary embodiment of the present invention. Referring to FIG.
FIG. 5 is a view for explaining the step S320 shown in FIG.
6 is a view for explaining steps S330 and S340 shown in FIG.
7 is a view for explaining a process of calculating a current position of a photographer according to an embodiment of the present invention.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
이하에서는 도 1 및 도 2를 통하여 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득장치(100)의 구성에 대하여 더욱 상세하게 설명한다.Hereinafter, the configuration of the imaging
도 1은 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득장치의 구성을 도시한 블록도이다. 도 2는 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득장치의 영상 전처리부 구성을 도시한 블록도이다. 1 is a block diagram illustrating a configuration of a photographing coordinate acquisition apparatus using a stereo image according to an embodiment of the present invention. 2 is a block diagram illustrating a configuration of an image preprocessing unit of a photographing coordinate acquisition apparatus using a stereo image according to an embodiment of the present invention.
도 1에 나타낸 것처럼, 스테레오 영상을 이용한 촬영좌표 획득장치(100)는 영상 전처리부(110), 기준 영상 생성부(120), 좌표 매칭부(130), 실제 지상좌표 변환부(140)를 포함하며, 촬영 위치 계산부(150)를 더 포함할 수 있다.1, the imaging
영상 전처리부(110)는 동일한 객체를 촬영한 복수의 촬영 영상을 보정하고, 각각의 촬영 영상의 특징점을 추출한다. 도 2에 나타낸 것처럼, 영상 전처리부(110)는 특징점 추출부(111), 영상 보정부(113), 내부표정요소 추출부(115)를 포함한다.The image preprocessing
특징점 추출부(111)는 촬영 영상에서 식별이 용이한 점을 특징점으로 추출한다. The feature
영상 보정부(113)는 사용자로부터 입력받은 보정조건으로 촬영 영상을 보정한다. The
내부표정요소 추출부(115)는 주점, 초점거리, 왜곡량, 렌즈의 위치, 회전정보, 스케일 등 촬영 영상의 내부표정요소를 추출한다. The internal facial
기준 영상 생성부(120)는 영상 전처리부(110)에서 전처리 된 복수의 촬영 영상을 매칭시켜 하나의 기준 영상으로 만든다. 이때, 각 특징점을 중심으로 로컬 패치(local patch)하여 특징 벡터를 추출하는 SIFT(Scale Invariant Feature Transform) 알고리즘을 이용한다.The reference
좌표 매칭부(130)는 기준 영상의 특징점에 대한 픽셀좌표와 그 특징점에 대응하는 실제 3차원 좌표를 토탈 스테이션(Total Station)을 통하여 입력받아 매칭한다.The
여기서 토탈 스테이션은 각도를 관측하는 기기인 전자식 세오돌라이트(Electronic Theodolite)와 거리를 측정할 수 있는 광파측거기(EDM, Electro-optical Instruments)를 하나의 기기로 통합한 측량기이다. The total station is an instrument that integrates electronic cadodlite (an instrument for observing the angle) and an electric-optical instrument (EDM, a distance measuring instrument) into a single instrument.
토탈 스테이션의 광파측거기가 프리즘을 시준한 후 빛을 조사하면, 빛이 프리즘에 도착하자마자 바로 반사되어 광파측정기로 되돌아온다. 이를 이용하여 토탈 스테이션 본체의 중심부에서 프리즘까지의 거리를 측정한다. 또한 한 점의 거리와 위치를 측정한 후, 토탈 스테이션 본체를 좌우로 돌려 다른 점의 거리와 위치를 측정하여, 두 점 사이의 각도를 관측한다.When the light source of the total station irradiates the light after collimating the prism, the light is immediately reflected upon arriving at the prism and returned to the light wave meter. This is used to measure the distance from the center of the total station body to the prism. After measuring the distance and position of one point, turn the total station body to the left and right to measure the distance and position of another point, and observe the angle between the two points.
실제 지상좌표 변환부(140)는 좌표 매칭부(130)에서 매칭된 기준 영상의 픽셀좌표와 실제 3차원 좌표의 관계를 복원하고, 복원된 관계를 기준으로 기준 영상의 픽셀좌표를 실제 지상좌표로 변환하여 저장한다.The actual ground
기준 영상에 포함된 객체를 촬영한 새로운 영상을 입력받으면, 촬영 위치 계산부(150)는 저장된 기준 영상의 특징점에 대한 실제 지상좌표를 DLT 알고리즘에 적용하여 새로운 영상을 촬영한 촬영자의 위치를 계산한다. When a new image of the object included in the reference image is input, the photographing
이하에서는 도 3 내지 도 7를 통하여 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득방법에 대하여 더욱 상세하게 설명한다.Hereinafter, a method of acquiring a photographing coordinate using a stereo image according to an embodiment of the present invention will be described in more detail with reference to FIG. 3 through FIG.
도 3은 본 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득 방법을 설명하기 위한 순서도이다. 도 4는 발명의 일 실시예에 따른 스테레오 영상을 이용한 촬영좌표 획득 방법 중 영상을 전처리 하는 단계를 설명하기 위한 순서도이다.3 is a flowchart illustrating a method of acquiring a photographing coordinate using a stereo image according to an embodiment of the present invention. FIG. 4 is a flowchart illustrating a process of preprocessing an image in a method of acquiring a photographing coordinate using a stereo image according to an embodiment of the present invention. Referring to FIG.
먼저, 도 3과 같이 스테레오 영상을 이용한 촬영좌표 획득장치(100)는 촬영 위치 계산에 필요한 기준 영상을 만들기 위한 전처리를 수행한다(S310). First, as shown in FIG. 3, the imaging coordinate
스테레오 영상을 이용한 촬영좌표 획득장치(100)는 특징점을 추출하기에 앞서, 먼저 영상 매칭의 효율을 높이기 위하여 필요한 경우 화질을 개선하는 작업을 수행할 수 있다. 계절, 날씨 등으로 인해 화질의 다양성이 존재하는 영상들을 영상 매칭에 적합하도록 영상처리기법을 적용하여 화질을 개선한다. 이때 영상처리기법으로 디지털 영상의 특징을 나타내는 히스토그램을 이용하여 변환함수를 구하고, 명암도의 동적 영역을 확장함으로써 화질을 개선하는 히스토그램 균등화(HE, Histogram Equalization)기법을 적용할 수 있다.The shooting coordinate
도 4와 같이 특징점 추출부(111)는 촬영 영상으로부터 촬영된 객체의 코너점 등 식별이 용이한 점을 특징점으로 추출한다(S311). 추출된 특징점은 복수의 촬영 영상 중에서 서로 매칭되는 매칭점을 찾는 과정에서 활용된다.As shown in FIG. 4, the feature
영상 보정부(113)는 특징점 추출부(111)에서 추출된 특징점 중 사용자로부터 입력받은 보정조건으로 촬영 영상을 보정한다(S313). 보정조건은 보정의 기준이 되는 특징점으로, 촬영 객체의 형태를 나타내는 직선 또는 곡선 형태의 외곽선, 또는 촬영 객체의 모서리 등을 포함할 수 있다. The
또한 영상 보정부(113)는 영상의 기하학적 왜곡을 제거하여 정확한 위치를 파악할 수 있도록 한다.In addition, the
다음으로, 내부표정요소 추출부(115)는 특징점 추출부(111)에서 추출된 특징점을 이용하여 촬영 영상의 내부표정요소를 추출한다(S315). 내부표정요소에는 주점의 위치, 카메라의 초점거리, 렌즈왜곡계수, 렌즈위치, 회전정보, 스케일 등이 포함된다. 추출된 내부표정요소는 촬영 영상의 정확한 픽셀좌표를 얻는데 사용된다. Next, the inner facial
이와 같이 영상의 전처리 과정(S310)이 종료되면, 기준 영상 생성부(120)는 추출된 특징점을 이용하여 복수의 촬영 영상을 매칭시켜 하나의 기준 영상을 생성한다(S320). After the preprocessing step S310 of the image is finished, the
기준 영상 생성부(120)는 전처리 된 복수의 촬영 영상을 매칭시켜 도 5와 같이 하나의 기준 영상을 생성한다. The reference
도 5는 도 3에 나타낸 S320 단계를 설명하기 위한 도면이다.FIG. 5 is a view for explaining the step S320 shown in FIG.
도 5에 도시한 바와 같이, 동일한 객체를 촬영한 촬영 영상 2개를 각각 좌영상, 우영상이라고 할 때, 기준 영상 생성부(120)는 좌영상과 우영상에서 서로 매칭되는 부분을 SIFT 알고리즘을 이용하여 찾는다. 매칭 방법으로는 Sparse Matching과 Dense Matching을 이용한다. 기준 영상 생성부(120)는 SIFT 알고리즘을 이용하여 좌영상과 우영상의 각 특징점 중에서 서로 매칭되는 특징점을 추출하고, 추출된 특징점의 매칭쌍끼리 같은 행에 저장하여, 하나의 기준 영상을 생성한다. 추출된 특징점이 좌영상에서의 픽셀좌표가 (x1, y1)이고, 우영상에서의 픽셀좌표가 (x1', y1')일 경우, 기준 영상에 저장되는 좌표는 (x1, y1, x1', y1')이다. 이러한 방식으로 추출된 모든 특징점의 좌표를 기준 영상에 매칭쌍으로 저장한다.5, when two captured images of the same object are respectively referred to as a left image and a right image, the reference
다음으로는, 좌표 매칭부(130)는 생성된 기준 영상의 특징점과 그 특징점에 대응하는 개체의 실제 3차원 좌표를 매칭한다(S330). 생성된 기준 영상의 특징점에 대한 픽셀좌표를 추출하고, 그 픽셀좌표와 대응하는 실제 3차원 좌표를 매칭한다. 실제 3차원 좌표는 토탈 스테이션을 이용하여 획득한 실제 객체의 특징점의 실제적인 3차원 좌표이다. 좌표 매칭부(130)는 기준 영상의 픽셀좌표와 실제 3차원 좌표의 관계를 복원한다.Next, the coordinate matching
도 6은 도 3에 나타낸 S330 단계 및 S340 단계를 설명하기 위한 도면이다. 6 is a view for explaining steps S330 and S340 shown in FIG.
도 6에 도시한 바와 같이, S330 단계에서 좌표 매칭부(130)는 기준 영상의 특징점에 대한 픽셀좌표와 입력된 객체의 실제 3차원 좌표 (x', y', z')를 매칭하여, 그 두 좌표 사이의 관계를 복원한다.6, in step S330, the coordinate matching
그리고, 실제 지상좌표 변환부(140)는 S330 단계에서 복원된 기준 영상의 특징점에 대한 픽셀좌표와 실제 3차원 좌표를 이용하여 기준 영상의 픽셀좌표를 실제 지상좌표로 변환한다(S340). 그리고, 실제 지상좌표 변환부(140)는 변환된 해당 객체에 대한 실제 지상좌표를 클라우드 서버에 저장한다. 즉, 촬영자가 자신의 위치를 파악하는데 서버에 저장된 좌표 데이터를 활용 할 수 있도록 클라우드 서버에 저장 할 수 있다. 도 6에 예시한 바와 같이, 실제 지상좌표 변환부(140)는 기준 영상의 특징점에 대한 픽셀좌표와 입력된 객체의 실제 3차원 좌표(x', y', z')를 매칭한다. 실제 지상좌표 변환부(140)는 DLT기법을 이용하여 매칭하며, 기준 영상의 특징점에 대한 픽셀좌표에 대응하는 객체의 실제 3차원 좌표를 매칭한다. 이때, 실제 지상좌표 변환부(140)는 실제 지상좌표를 생성하는 Spatial Resection 과정과 Spatial Intersection 과정을 수행한다. In operation S340, the actual terrain coordinate transforming
즉, 실제 지상좌표 변환부(140)는 Spatial Resection 과정을 통하여 기준 영상의 특징점과 실제 객체의 특정 지점을 매핑시키고, Spatial Intersection 과정을 통하여 매핑된 특징점에 특정 지점의 실제 3차원 좌표를 매칭시킨다. That is, the real ground coordinate transforming
이와 같이 본 발명의 실시예에 따르면, S310 내지 S340 단계를 통하여 기준 영상의 특징점에 대한 픽셀좌표와 실제 3차원 좌표를 매칭하고, 기준 영상의 특징점에 대한 픽셀좌표를 실제 지상좌표로 변환하여 클라우드 서버에 저장한다. According to the embodiment of the present invention, the pixel coordinates of the minutiae of the reference image are matched with the actual three-dimensional coordinates through steps S310 to S340, and the pixel coordinates of the minutiae of the reference image are converted into the actual ground coordinates, .
이하에서는 S350 단계를 통하여, 촬영자가 클라우드 서버에 저장된 객체를 촬영한 경우, 클라우드 서버에 저장된 상기 객체의 실제 지상좌표를 이용하여 촬영자 자신의 현재 위치를 계산하는 방법에 대하여 설명한다. Hereinafter, a method of calculating the current position of the photographer himself / herself by using the actual ground coordinates of the object stored in the cloud server when the photographer photographs the object stored in the cloud server will be described.
촬영 위치 계산부(150)는 클라우드 서버에 저장된 객체가 포함된 새로운 촬영 영상을 촬영자로부터 입력받으면, 클라우드 서버에 저장된 기준 영상의 특징점에 대한 실제 지상좌표를 DLT 알고리즘에 적용하여 새로운 촬영 영상을 촬영한 촬영자의 현재 위치를 계산한다(S350). When the photographing
촬영 위치 계산부(150)는 클라우드 서버에 저장된 실제 지상좌표 데이터와 촬영자가 촬영한 영상에서 추출한 좌표를 이용하여 그 영상을 촬영한 카메라의 위치를 연산할 수 있다. 이때, 촬영 위치 계산부(150)는 Spatial Resection 과정과 Spatial Intersection 과정을 포함하는 DLT 기법을 이용하여 카메라의 위치를 계산한다. The photographing
Spatial Resection 과정에서 촬영 위치 계산부(150)는 실제 지상좌표 데이터와 촬영 영상에서 추출한 좌표를 이용하여, 영상을 촬영한 위치와 DLT계수를 계산한다. Spatial Intersection 과정에서는 촬영 위치 계산부(150)는 실제 지상좌표 데이터를 포함하는 영상과 촬영 영상의 매칭점에 DLT계수를 적용하여 3차원 좌표 값을 생성하여 영상을 촬영한 촬영자의 위치를 파악한다. In the spatial resizing process, the photographing
도 7은 본 발명의 실시예에 따른 촬영자의 현재 위치를 연산하는 과정을 설명하기 위한 도면이다. 7 is a view for explaining a process of calculating a current position of a photographer according to an embodiment of the present invention.
도 7에 도시한 바와 같이, 촬영 위치 계산부(150)는 클라우드 서버에 저장되어있는 기준 영상의 실제 지상좌표(x1', y1')와 촬영자가 새롭게 촬영한 영상을 두 영상에 모두 포함되어있는 공통된 객체를 기준으로 겹치도록 한다. 겹친 부분에서 공통된 객체의 실제 3차원 좌표(x', y', z')와 클라우드 서버에 저장되어있는 특징점의 실제 지상좌표(x1', y1', z1')와 촬영 영상의 픽셀좌표(x1″, y1″)를 이용하여 DLT기법을 이용해 새롭게 촬영된 영상이 촬영된 위치(Xco', Yco', Zco')를 파악한다.7, the photographing
이와 같이 본 발명의 실시예에 따르면 스테레오 영상을 이용한 촬영좌표 획득장치 및 그 방법을 이용함으로써, 영상을 기반으로 촬영 위치의 좌표를 계산하여, 영상을 촬영한 사용자의 위치를 파악할 수 있으며, 기존의 대표적인 위치파악 방법인 GPS를 적용하기 힘든 지하나 실내에서도 촬영자의 현재 위치를 파악할 수 있다.As described above, according to the embodiment of the present invention, the coordinates of the photographing position can be calculated based on the image by using the photographing coordinate acquiring device and the method using the stereo image, and the position of the photographing user can be grasped, It is difficult to apply GPS, which is a typical position detection method, but it can grasp the current position of the photographer in the room.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
100 : 촬영좌표 획득장치
110 : 영상 전처리부
111 : 특징점 추출부
113 : 영상 보정부
115 : 내부표정요소 추출부
120 : 기준 영상 생성부
130 : 좌표 매칭부
140 : 실제 지상좌표 변환부
150 : 촬영 위치 계산부100: Shooting coordinate acquisition device 110: Image preprocessing unit
111: feature point extracting unit 113:
115: inner facial expression element extracting unit 120:
130: coordinate matching unit 140: actual ground coordinate conversion unit
150: photographing position calculating section
Claims (10)
상기 추출된 특징점을 이용하여 상기 복수의 촬영 영상을 매칭시켜 하나의 기준 영상을 생성하는 기준 영상 생성부,
상기 기준 영상의 특징점에 대한 픽셀좌표와 입력된 상기 객체의 특징점에 대응하는 실제 3차원 좌표를 매칭하는 좌표 매칭부, 그리고
상기 기준 영상의 특징점에 대한 픽셀좌표를 실제 지상좌표로 변환하는 실제 지상좌표 변환부를 포함하는 스테레오 영상을 이용한 촬영좌표 획득장치.An image preprocessing unit for extracting and preprocessing feature points for a plurality of photographed images of the same object,
A reference image generation unit for generating a reference image by matching the plurality of photographed images using the extracted feature points,
A coordinate matching unit for matching the pixel coordinates of the minutiae points of the reference image with the actual three-dimensional coordinates corresponding to minutiae points of the input object, and
And an actual terrestrial coordinate converter for converting pixel coordinates of the minutiae of the reference image into actual terrain coordinates.
상기 영상 전처리부는,
상기 촬영 영상으로부터 특징점을 추출하는 특징점 추출부,
사용자로부터 입력받은 보정 조건을 기준으로 상기 촬영 영상을 보정하는 영상 보정부, 그리고
상기 촬영 영상으로부터 추출된 특징점을 이용하여 상기 촬영 영상의 내부표정요소를 추출하는 내부표정요소 추출부를 포함하는 스테레오 영상을 이용한 촬영좌표 획득장치.The method according to claim 1,
The image pre-
A feature point extracting unit for extracting feature points from the captured image,
An image correction unit for correcting the photographed image based on a correction condition input from a user, and
And an inner facial expression element extracting unit for extracting an inner facial expression element of the captured image using the extracted feature points from the captured image.
상기 기준 영상을 생성부는,
전처리된 상기 복수의 촬영 영상을 SIFT 알고리즘을 통하여 서로 매칭하여 하나의 기준 영상을 생성하고, 상기 기준 영상의 특징점에 대한 픽셀좌표를 추출하는 스테레오 영상을 이용한 촬영좌표 획득장치.The method according to claim 1,
Wherein the reference image generating unit comprises:
A plurality of photographed images are matched to each other through a SIFT algorithm to generate one reference image, and pixel coordinates of the feature points of the reference image are extracted.
상기 좌표 매칭부는,
토탈 스테이션을 통하여 상기 객체의 특징점에 대응하는 지점의 실제 3차원 좌표를 입력받는 스테레오 영상을 이용한 촬영좌표 획득장치.The method according to claim 1,
Wherein the coordinate matching unit comprises:
Dimensional coordinate of a point corresponding to a feature point of the object through a total station.
상기 객체가 포함된 새로운 영상을 입력받으면, 상기 저장된 기준 영상의 특징점에 대한 실제 지상좌표를 DLT 알고리즘에 적용하여 상기 새로운 영상을 촬영한 촬영자의 현재 위치를 계산하는 촬영 위치 계산부를 더 포함하는 스테레오 영상을 이용한 촬영좌표 획득장치.The method according to claim 1,
And a photographing position calculation unit for calculating a current position of the photographing person who has photographed the new image by applying the actual ground coordinates of the minutiae points of the stored reference image to the DLT algorithm when a new image including the object is input, For acquiring a photographing coordinate.
상기 추출된 특징점을 이용하여 상기 복수의 촬영 영상을 매칭시켜 하나의 기준 영상을 생성하는 단계,
상기 기준 영상의 특징점에 대한 픽셀좌표와 입력된 상기 객체의 특징점에 대응하는 실제 3차원 좌표를 매칭하는 단계, 그리고
상기 기준 영상의 특징점에 대한 픽셀좌표를 실제 지상좌표로 변환하는 스테레오 영상을 이용한 촬영좌표 획득 방법.Extracting and preprocessing feature points for a plurality of photographed images of the same object,
Generating a reference image by matching the plurality of photographed images using the extracted feature points,
Matching the pixel coordinates of the feature points of the reference image with the actual three-dimensional coordinates corresponding to the feature points of the input object, and
And converting pixel coordinates of feature points of the reference image into actual ground coordinates.
상기 영상을 전처리하는 단계는,
상기 촬영 영상으로부터 특징점을 추출하는 단계,
사용자로부터 입력받은 보정 조건을 기준으로 상기 촬영 영상을 보정하는 단계, 그리고
상기 촬영 영상으로부터 추출된 특징점을 이용하여 상기 촬영 영상의 내부표정요소를 추출하는 단계를 포함하는 스테레오 영상을 이용한 촬영좌표 획득 방법.The method according to claim 6,
Wherein the step of pre-
Extracting feature points from the photographed image,
Correcting the photographed image based on a correction condition input from a user, and
And extracting an internal facial expression element of the captured image using the extracted feature points from the captured image.
상기 기준 영상을 생성하는 단계는,
전처리된 상기 복수의 촬영 영상을 SIFT 알고리즘을 통하여 서로 매칭하여 하나의 기준 영상을 생성하고, 상기 기준 영상의 특징점에 대한 픽셀좌표를 추출하는 스테레오 영상을 이용한 촬영좌표 획득 방법.The method according to claim 6,
Wherein the generating the reference image comprises:
A method of acquiring a captured image using a stereo image, the method comprising: generating a reference image by matching the plurality of preprocessed images with each other through a SIFT algorithm; and extracting pixel coordinates of the feature points of the reference image.
상기 좌표를 매칭하는 단계는,
토탈 스테이션을 통하여 상기 객체의 특징점에 대응하는 지점의 실제 3차원 좌표를 입력받는 스테레오 영상을 이용한 촬영좌표 획득 방법.The method according to claim 6,
The step of matching the coordinates comprises:
And acquiring actual three-dimensional coordinates of a point corresponding to a feature point of the object through a total station.
상기 객체가 포함된 새로운 영상을 입력받으면, 상기 저장된 기준 영상의 특징점에 대한 실제 지상좌표를 DLT 알고리즘에 적용하여 상기 새로운 영상을 촬영한 촬영자의 현재 위치를 계산하는 단계를 더 포함하는 스테레오 영상을 이용한 촬영좌표 획득 방법.The method according to claim 6,
Further comprising the step of calculating a current position of a photographer who has photographed the new image by applying the actual ground coordinates of the minutiae of the stored reference image to the DLT algorithm upon receiving a new image including the object, A method of acquiring shooting coordinates.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140080965A KR101707279B1 (en) | 2014-06-30 | 2014-06-30 | Coordinate Calculation Acquisition Device using Stereo Image and Method Thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140080965A KR101707279B1 (en) | 2014-06-30 | 2014-06-30 | Coordinate Calculation Acquisition Device using Stereo Image and Method Thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160002510A true KR20160002510A (en) | 2016-01-08 |
KR101707279B1 KR101707279B1 (en) | 2017-02-16 |
Family
ID=55170407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140080965A KR101707279B1 (en) | 2014-06-30 | 2014-06-30 | Coordinate Calculation Acquisition Device using Stereo Image and Method Thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101707279B1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180075723A (en) * | 2016-12-26 | 2018-07-05 | 경희대학교 산학협력단 | Mobile terminal performing augmented reality servcie and mehod thereof |
CN108616753A (en) * | 2016-12-29 | 2018-10-02 | 深圳超多维科技有限公司 | A kind of Nakedness-yet stereoscopic display method and device |
KR20190057885A (en) * | 2017-11-21 | 2019-05-29 | 한국전자통신연구원 | 3d reconstruction terrain matching method of and apparatus thereof |
KR102015817B1 (en) * | 2018-03-06 | 2019-08-29 | 순천대학교 산학협력단 | A method of automatic correction of provided rpc of stereo satellite images |
CN111027522A (en) * | 2019-12-30 | 2020-04-17 | 华通科技有限公司 | Bird detection positioning system based on deep learning |
KR20200084615A (en) * | 2019-01-03 | 2020-07-13 | 부산대학교 산학협력단 | Apparatus and Method for Estimating Initial Position of Mobile Robot |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004333368A (en) * | 2003-05-09 | 2004-11-25 | Photron Ltd | Calibration tool for acquiring three dimensional constants for moving body photographing system |
KR20100103067A (en) * | 2009-03-13 | 2010-09-27 | 부산대학교 산학협력단 | A remote sensing method of diverse signboards' size and apparatus using thereof |
-
2014
- 2014-06-30 KR KR1020140080965A patent/KR101707279B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004333368A (en) * | 2003-05-09 | 2004-11-25 | Photron Ltd | Calibration tool for acquiring three dimensional constants for moving body photographing system |
KR20100103067A (en) * | 2009-03-13 | 2010-09-27 | 부산대학교 산학협력단 | A remote sensing method of diverse signboards' size and apparatus using thereof |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180075723A (en) * | 2016-12-26 | 2018-07-05 | 경희대학교 산학협력단 | Mobile terminal performing augmented reality servcie and mehod thereof |
CN108616753A (en) * | 2016-12-29 | 2018-10-02 | 深圳超多维科技有限公司 | A kind of Nakedness-yet stereoscopic display method and device |
CN108616753B (en) * | 2016-12-29 | 2020-08-04 | 深圳超多维科技有限公司 | Naked eye three-dimensional display method and device |
KR20190057885A (en) * | 2017-11-21 | 2019-05-29 | 한국전자통신연구원 | 3d reconstruction terrain matching method of and apparatus thereof |
KR102015817B1 (en) * | 2018-03-06 | 2019-08-29 | 순천대학교 산학협력단 | A method of automatic correction of provided rpc of stereo satellite images |
KR20200084615A (en) * | 2019-01-03 | 2020-07-13 | 부산대학교 산학협력단 | Apparatus and Method for Estimating Initial Position of Mobile Robot |
CN111027522A (en) * | 2019-12-30 | 2020-04-17 | 华通科技有限公司 | Bird detection positioning system based on deep learning |
CN111027522B (en) * | 2019-12-30 | 2023-09-01 | 华通科技有限公司 | Bird detection positioning system based on deep learning |
Also Published As
Publication number | Publication date |
---|---|
KR101707279B1 (en) | 2017-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101707279B1 (en) | Coordinate Calculation Acquisition Device using Stereo Image and Method Thereof | |
CN110570466B (en) | Method and device for generating three-dimensional live-action point cloud model | |
JP6002126B2 (en) | Method and apparatus for image-based positioning | |
KR100906974B1 (en) | Apparatus and method for reconizing a position using a camera | |
CN113592989B (en) | Three-dimensional scene reconstruction system, method, equipment and storage medium | |
CN111028358B (en) | Indoor environment augmented reality display method and device and terminal equipment | |
CN107560592B (en) | Precise distance measurement method for photoelectric tracker linkage target | |
CN113284171B (en) | Vegetation height analysis method and system based on satellite remote sensing stereo imaging | |
CN109520500A (en) | One kind is based on the matched accurate positioning of terminal shooting image and streetscape library acquisition method | |
KR100995400B1 (en) | System for extracting building outline using terrestrial lidar | |
CN107633532B (en) | Point cloud fusion method and system based on white light scanner | |
CN104599281B (en) | A kind of based on the conforming panorama sketch in horizontal linear orientation and remote sensing figure method for registering | |
KR100878781B1 (en) | Method for surveying which can measure structure size and coordinates using portable terminal | |
CN113532424B (en) | Integrated equipment for acquiring multidimensional information and cooperative measurement method | |
KR20100060472A (en) | Apparatus and method for recongnizing position using camera | |
CN103777196B (en) | Based on terrain object distance single station measuring method and the measuring system thereof of geography information | |
KR101459522B1 (en) | Location Correction Method Using Additional Information of Mobile Instrument | |
Kröhnert et al. | Versatile mobile and stationary low-cost approaches for hydrological measurements | |
CN112348891A (en) | Image detection and positioning method and device, storage medium and electronic device | |
KR100981588B1 (en) | A system for generating geographical information of city facilities based on vector transformation which uses magnitude and direction information of feature point | |
Rodarmel et al. | Rigorous error modeling for sUAS acquired image-derived point clouds | |
CN109784189A (en) | Video satellite remote sensing images scape based on deep learning matches method and device thereof | |
KR20150107970A (en) | Method and system for determining position and attitude of mobile terminal including multiple image acquisition devices | |
CN110617800A (en) | Emergency remote sensing monitoring method, system and storage medium based on civil aircraft | |
CN110146104A (en) | The air navigation aid of electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |