KR100586815B1 - System and method for measuring position of threedimensions - Google Patents

System and method for measuring position of threedimensions Download PDF

Info

Publication number
KR100586815B1
KR100586815B1 KR1020050034671A KR20050034671A KR100586815B1 KR 100586815 B1 KR100586815 B1 KR 100586815B1 KR 1020050034671 A KR1020050034671 A KR 1020050034671A KR 20050034671 A KR20050034671 A KR 20050034671A KR 100586815 B1 KR100586815 B1 KR 100586815B1
Authority
KR
South Korea
Prior art keywords
moving object
image
mutual
dimensional position
dimensional
Prior art date
Application number
KR1020050034671A
Other languages
Korean (ko)
Inventor
김병국
권혁종
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020050034671A priority Critical patent/KR100586815B1/en
Application granted granted Critical
Publication of KR100586815B1 publication Critical patent/KR100586815B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 좌우 CCD카메라의 영상을 이용하여 대상 객체의 3차원 위치를 결정하는 3차원 위치 추적 시스템 및 방법에 관한 것으로, 좌우 CCD카메라의 상호표정을 수행하며, 상호표정이 이루어진 좌우 CCD카메라로부터 획득된 영상내에서 위치 추적할 특정 이동체를 선택하여 해당 이동체를 추출하고, 상기 추출된 이동체에 대한 좌우 영상에서의 중심좌표를 추출하며, 상기 추출된 중심좌표를 이용하여 공간전방교회법으로 상기 이동체의 3차원 위치를 결정하는 것을 특징으로 한다. 이러한 본 발명은 타겟 이동체의 실시간 좌표 결정이 가능하며, 이에 따라 방재분야, 지도의 자동제작, 카 네비게이션 시스템, 비행체, 미사일 등의 자동제어 등에 이용가능하게 된다.The present invention relates to a three-dimensional position tracking system and method for determining the three-dimensional position of the target object using the image of the left and right CCD camera, performing the mutual expression of the left and right CCD camera, obtained from the left and right CCD camera with mutual expression Selecting a specific moving object to be tracked in the extracted image, extracting the moving object, extracting the center coordinates in the left and right images of the extracted moving object, and using the extracted center coordinates 3 It is characterized by determining the dimensional position. The present invention can determine the real-time coordinates of the target mobile body, and thus can be used for disaster prevention, automatic production of maps, car navigation systems, aircraft, missiles, and the like.

CCD카메라, 3차원 위치 추적, 레이블링, 공간전방교회법 CCD camera, 3D position tracking, labeling, space forward intersection

Description

3차원 위치 추적 시스템 및 방법{SYSTEM AND METHOD FOR MEASURING POSITION OF THREEDIMENSIONS}3D position tracking system and method {SYSTEM AND METHOD FOR MEASURING POSITION OF THREEDIMENSIONS}

도 1은 본 발명의 3차원 위치 추적 시스템의 전체적인 구성도.1 is an overall configuration diagram of a three-dimensional position tracking system of the present invention.

도 2는 도 1의 3차원 위치결정기의 내부 구성 블록도.FIG. 2 is a block diagram illustrating an internal configuration of the three-dimensional positioner of FIG. 1. FIG.

도 3은 본 발명의 전체적인 동작 흐름도.3 is an overall operational flow diagram of the present invention.

도 4는 본 발명에서의 상호표정 실행화면을 나타낸 도.4 is a diagram showing a mutual expression execution screen in the present invention.

도 5는 본 발명의 위치추적에 대한 흐름도.5 is a flow chart for location tracking of the present invention.

도 6은 이진영상의 레이블링 예도.6 is an example of labeling of a binary image.

도 7은 본 발명에서의 이동체 추출에 대한 화면 예도.7 is a screen example of a moving object extraction in the present invention.

도 8은 상호표정에 필요한 카메라의 내부표정 요소정보를 나타낸 도.8 is a diagram showing internal expression element information of a camera required for mutual expression.

도 9a 및 도 9b는 본 발명에서의 위치추적을 위한 좌우 카메라의 영상을 나타낸 도.9A and 9B are views illustrating images of left and right cameras for position tracking in the present invention.

도 10은 본 발명의 실험 예에 따른 3차원 위치추적 결과를 나타낸 표.10 is a table showing the results of the three-dimensional position tracking according to the experimental example of the present invention.

도 11은 본 발명과의 비교를 위한 토탈 스테이션으로 취득한 상대 좌표를 나타낸 도.Fig. 11 is a diagram showing relative coordinates acquired by the total station for comparison with the present invention.

도 12는 본 발명과의 비교를 위한 토탈 스테이션으로 관측한 값의 3차원 모 델링 화면.12 is a three-dimensional modeling screen of the value observed with the total station for comparison with the present invention.

도 13은 본 발명에 따른 타겟 관측 예도.Figure 13 is an example of target observation according to the present invention.

도 14는 토탈 스테이션과 본 발명의 관측결과를 나타낸 도.14 is a view showing a total station and the observation of the present invention.

도 15는 토탈 스테이션과 본 발명 관측 결과의 거리차 그래프.15 is a graph of distance difference between the total station and the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of Symbols for Main Parts of Drawings>

100a,100b : CCD카메라 200 : 3차원 위치결정기100a, 100b: CCD camera 200: 3D positioning machine

210 : 상호표정모듈 220 : 위치추적모듈210: mutual expression module 220: location tracking module

230 : 위치결정모듈 300,400 : 입출력 유닛230: positioning module 300, 400: input / output unit

본 발명은 3차원 위치 추적 시스템 및 방법에 관한 것으로, 특히 2대의 CCD카메라의 영상을 이용하여 대상 객체의 3차원 위치를 결정하는 3차원 위치 추적 시스템 및 방법에 관한 것이다.The present invention relates to a three-dimensional position tracking system and method, and more particularly to a three-dimensional position tracking system and method for determining the three-dimensional position of the target object using the images of two CCD cameras.

측량이란 길이, 각, 높이(3차원)와 시 즉, 4차원의 요소를 이용한 정량화를 뜻한다. 다시 말해, 두 점간의 거리, 각, 방향 등을 측정하여 다른 한 점의 위치를 결정하고 반대로 사전에 결정된 사항들을 현장에 측설하는 기술인 것이다. 그러나 정지해 있지 않은 물체에 대한 측량은 상당한 어려움이 따른다.Surveying means quantification using elements of length, angle, height (three dimensions) and time, that is, four dimensions. In other words, by measuring the distance, angle, direction, etc. between the two points to determine the position of the other point, on the contrary, it is a technique to stake out the predetermined matters on the site. However, surveying an object that is not stationary presents significant difficulties.

현재 이동체의 위치정보를 얻기 위한 방법으로는 비디오 촬영 영상을 이용한 방법과 추적용 데오돌라이트(Theodolite), 이동체에 GPS수신기를 설치하는 방법 등이 있다. Current methods for obtaining position information of a moving object include a video recording image, a tracking theodolite, and a method of installing a GPS receiver on the moving object.

비디오 촬영 영상을 이용하는 방법은 좌우 카메라의 영상정합을 이용하여 좌우 영상의 좌표를 계산한다. 그러나 영상접합을 이용한 방법은 계산량이 너무 많아서 이동체의 검출시간이 오래 걸리는 단점이 있다. In the method of using a video captured image, the coordinates of the left and right images are calculated using image registration of the left and right cameras. However, the method using image joining has a disadvantage in that a large amount of calculation takes a long time to detect a moving object.

일 예로, 펜티엄 Ⅳ-1.5GHz와 256MB의 메모리 용량의 시스템으로 이동체의 3차원 위치좌표를 계산할 때 걸리는 평균 검출시간은 2.5초 내지 9초 정도이다. 따라서 실시간으로 이동체를 추적하기 위해서는 아직은 부적합하다.For example, the average detection time for calculating the three-dimensional position coordinates of the moving object in the Pentium IV-1.5 GHz and 256 MB memory system is about 2.5 to 9 seconds. Therefore, it is not yet suitable to track moving objects in real time.

추적용 데오돌라이트를 이용하는 방법은 이동체의 3차원 위치정보를 비교적 정확하게 얻을 수 있지만 실시간으로 위치정보를 얻을 수는 없다. 장비의 특성상 이동체를 추적한 뒤 컴퓨터로 데이터를 전송해야하기 때문이다.The method of using the tracking deodorite can obtain the three-dimensional position information of the moving object relatively accurately, but cannot obtain the position information in real time. This is because the nature of the equipment has to track the moving object and transmit the data to the computer.

GPS는 범지구적 위치결정 시스템으로, 지상, 해상, 공중 등 지구상의 어느 곳에서나 시간제약 없이 인공위성에서 발신하는 정보를 수신하여 정지 또는 이동하는 물체의 위치를 측정할 수 있도록 하며, 이와 같은 GPS를 이용한 방법은 GPS수신기를 이동체에 미리 설치하여야만 한다는 문제가 있다.GPS is a global positioning system that can measure the position of a stationary or moving object by receiving information from satellites anywhere in the world, such as ground, sea, and air, without time constraints. The method has a problem that the GPS receiver must be installed in advance on the moving object.

따라서 본 발명은 이러한 점을 감안한 것으로, 본 발명의 목적은 좌우 2대의 CCD 카메라로부터 영상을 획득하여 획득된 영상에서 이동체를 배경과 분리한 뒤, 좌우 영상에서 이동체의 중심좌표를 추출하여 추출된 중심좌표를 이용하여 이동체 의 3차원 위치를 결정함으로써 타겟인 이동체의 좌표를 실시간으로 얻을 수 있도록 한 3차원 위치 추적 시스템 및 방법을 제공함에 있다.Therefore, the present invention has been made in view of the above, and an object of the present invention is to extract the center of the moving object from the left and right images from the image obtained by acquiring images from the two left and right CCD cameras, and to extract the center of the moving object from the center. It is to provide a three-dimensional position tracking system and method for determining the three-dimensional position of the moving object using the coordinates to obtain the coordinates of the target moving object in real time.

상기 목적을 달성하기 위한 본 발명에 따른 3차원 위치 추적 시스템은, 상호표정이 이루어진 좌우 CCD카메라; 상기 CCD카메라에서 촬영된 영상으로부터 대상 이동체를 추출하고, 추출된 이동체에 대한 중심좌표를 구하여 상기 이동체의 3차원 위치를 결정하는 3차원 위치결정수단; 상기 3차원 위치결정수단에서 상기 대상 이동체를 추출할 수 있도록 상기 CCD카메라로부터 획득된 영상 내의 대상 이동체를 선택하기 위한 입력 유닛; 및 상기 CCD카메라에서 촬영된 영상을 디스플레이하는 출력 유닛;을 포함하는 것을 특징으로 한다.The three-dimensional position tracking system according to the present invention for achieving the above object, the left and right CCD camera made mutual expression; Three-dimensional positioning means for extracting a target moving object from the image photographed by the CCD camera, obtaining a central coordinate of the extracted moving object, and determining a three-dimensional position of the moving object; An input unit for selecting a target moving object in an image obtained from the CCD camera so as to extract the target moving object in the three-dimensional positioning means; And an output unit displaying an image photographed by the CCD camera.

상기 3차원 위치결정수단은 상기 좌우 CCD카메라 간의 상호 위치 및 자세를 결정하는 상호표정모듈; 상호표정이 이루어진 상기 좌우 CCD카메라를 통해 획득된 영상 내에서 대상 이동체를 추출한 후, 좌우 영상에서 이동체의 중심좌표를 추출하는 위치추적모듈; 및 상기 위치추적모듈에서 추출된 좌우 영상에서의 중심좌표를 이용하여 공간전방교회법으로 상기 대상 이동체의 3차원 위치를 계산하는 위치결정모듈;을 포함하여 이루어지는 것을 특징으로 한다.The three-dimensional positioning means includes a mutual expression module for determining the mutual position and attitude between the left and right CCD camera; A position tracking module for extracting a target moving object from an image acquired by the left and right CCD cameras having mutual expressions, and then extracting a central coordinate of the moving object from the left and right images; And a positioning module for calculating a three-dimensional position of the target moving object using a space forward intersection method using the center coordinates in the left and right images extracted by the location tracking module.

또한, 상기 목적을 달성하기 위한 본 발명의 3차원 위치 추적 방법은, 좌우 CCD카메라로부터 획득되는 영상을 바탕으로 특정 이동체의 3차원 위치를 추적하기 위한 방법에 있어서, 상기 좌우 CCD카메라의 상호표정을 수행하는 상호표정단계; 상호표정이 이루어진 좌우 CCD카메라로부터 획득된 영상으로부터 대상 이동체를 추출하고, 추출된 이동체에 대한 중심좌표를 구하는 위치추적단계; 및 상기 이동체에 대한 중심좌표를 이용하여 이동체의 3차원 위치를 결정하는 위치결정단계;를 포함하여 이루어짐을 특징으로 한다.In addition, the three-dimensional position tracking method of the present invention for achieving the above object, in the method for tracking the three-dimensional position of a specific moving object based on the image obtained from the left and right CCD camera, the mutual expression of the left and right CCD camera Performing a mutual expression step; A position tracking step of extracting a target moving object from an image obtained from the left and right CCD cameras having mutual expressions, and obtaining a center coordinate of the extracted moving object; And a positioning step of determining a three-dimensional position of the movable body by using the center coordinates of the movable body.

상기 위치추적단계는 상기 좌우 CCD카메라로부터 획득된 영상으로부터 대상 이동체를 선정하는 단계; 상기 선택된 이동체의 화소값을 바탕으로 해당 영상을 이진화하는 단계; 이진화된 영상을 레이블링하는 단계; 및 레이블링된 영상의 화소수를 계산하여 대상 이동체의 중심좌표를 구하는 단계;를 수행하여 이루어짐을 특징으로 한다.The location tracking step may include selecting a target moving object from an image obtained from the left and right CCD cameras; Binarizing a corresponding image based on pixel values of the selected moving object; Labeling the binarized image; And calculating the center coordinates of the target moving object by calculating the number of pixels of the labeled image.

이하, 본 발명을 첨부된 도면을 참조로 하여 보다 상세하게 설명한다. 단, 하기 실시예는 본 발명을 예시하는 것일 뿐 본 발명의 내용이 하기 실시예에 한정되는 것은 아니다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings. However, the following examples are merely to illustrate the present invention is not limited to the contents of the present invention.

도 1은 본 발명에 따른 3차원 위치 추적 시스템의 개략적인 구성도로, 영상획득을 위한 좌우 2대의 CCD카메라(100a),(100b), 3차원 위치결정기(200), 입출력 유닛(300),(400) 등으로 구성된다.1 is a schematic configuration diagram of a three-dimensional position tracking system according to the present invention, the left and right two CCD cameras 100a, 100b, 3D positioning device 200, input / output unit 300, (for image acquisition) 400) and the like.

상기 좌우 CCD카메라(100a),(100b)는 색상 표현을 위해 RGB 칼라 모자이크 필터를 채용한 순차 스캔 방식의 고해상도 칼라 IT-CCD카메라가 사용된다.The left and right CCD cameras 100a and 100b use a high-resolution color IT-CCD camera of a sequential scan method employing an RGB color mosaic filter for color expression.

상기 3차원 위치결정기(200)는 상기 좌우 CCD카메라(100a),(100b)로부터 획득되는 영상을 처리하여 이동체의 3차원 위치를 결정하며, 좌우 CCD카메라(100a),(100b)로부터의 영상을 입력받기 위한 프레임 그래버(Frame Grabber)를 구 비한다.The three-dimensional positioning device 200 processes the images obtained from the left and right CCD cameras 100a and 100b to determine the three-dimensional position of the moving object, and the images from the left and right CCD cameras 100a and 100b are determined. It has a frame grabber for receiving input.

프레임 그래버는 좌우 CCD카메라(100a),(100b)와 3차원 위치결정기(200) 사이의 인터페이스로, 통상 비디오 입력 유닛, 프레임 버퍼, 디지털 신호 처리기, 비디오 출력 유닛 등을 포함한다.The frame grabber is an interface between the left and right CCD cameras 100a, 100b and the three-dimensional positioner 200, and typically includes a video input unit, a frame buffer, a digital signal processor, a video output unit, and the like.

상기 입력 유닛(300)은 좌우 CCD카메라(100a),(100b)로부터 획득된 영상내의 대상 이동체를 선택하기 위한 마우스이며, 출력 유닛(400)은 영상을 디스플레이하는 모니터이다.The input unit 300 is a mouse for selecting a target moving object in an image obtained from the left and right CCD cameras 100a and 100b, and the output unit 400 is a monitor displaying an image.

도 2는 도 1의 3차원 위치결정기(200)의 상세 구성도를 나타낸 것으로, 크게 상호표정모듈(210), 위치추적모듈(220), 위치결정모듈(230)로 구성된다.FIG. 2 is a detailed configuration diagram of the three-dimensional positioning device 200 of FIG. 1, and is mainly composed of a mutual expression module 210, a location tracking module 220, and a positioning module 230.

상기 상호표정모듈(210)은 독립적인 상호표정(Independent Relative Orientation)을 이용하여 좌우 CCD카메라(100a),(100b)간의 상호 위치 및 자세를 결정한다.The mutual expression module 210 determines mutual positions and postures between the left and right CCD cameras 100a and 100b by using independent mutual expressions (Independent Relative Orientation).

상기 위치추적모듈(220)은 상기 상호표정모듈(210)를 통해 상호표정이 이루어진 상기 좌우 CCD카메라(100a),(100b)를 통해 획득된 영상 내에서 대상 이동체를 추출(Segmentation)한 후, 좌우 영상에서 이동체의 중심좌표를 추출한다.The position tracking module 220 extracts a target moving object in an image obtained through the left and right CCD cameras 100a and 100b, which are mutually expressed through the mutual expression module 210, and then left and right. Extract the center coordinates of the moving object from the image.

상기 위치결정모듈(230)은 상기 위치추적모듈(220)에서 추출된 좌우 영상에서의 중심좌표를 이용하여 공간전방교회법(Space Intersection)을 통해 이동체의 3차원 위치를 결정한다.The positioning module 230 determines the three-dimensional position of the moving object through space intersection using the center coordinates in the left and right images extracted by the position tracking module 220.

상기와 같이 구성된 본 발명은 도 3의 흐름도와 같이, 이동체의 3차원 위치를 결정하기 위해서 먼저 3차원 위치결정기(200)의 상호표정모듈(210)을 통해 좌우 CCD카메라(100a),(100b)간의 상호표정을 수행하게 된다(S100).According to the present invention configured as described above, in order to determine the three-dimensional position of the moving object, as shown in the flowchart of FIG. 3, the left and right CCD cameras 100a and 100b through the mutual expression module 210 of the three-dimensional positioner 200. Cross-expression between the two (S100).

상호표정은 중복 촬영된 2개 이상의 이미지가 있을 경우 각 카메라간의 촬영 당시의 위치와 자세를 상대적으로 규명함으로써 사진측량이 가능하도록 하는 작업이다.Mutual expression is a task that allows photogrammetry by relatively identifying positions and postures between two cameras when there are two or more images repeatedly photographed.

상호표정단계(S100)에서는 내부표정을 위한 카메라 정보와 더불어 좌표들이 필요하다. 이들은 왼쪽 카메라와 오른쪽 카메라의 초점거리, 렌즈의 3차원 위치, 사진 상의 주점위치, 왼쪽 사진과 오른쪽 사진에서 취득된 피사체의 사진 상의 좌표 및 피사체의 실세계 3차원 좌표 초기값 등이다. In the mutual expression step S100, coordinates are required along with camera information for internal expression. These are the focal lengths of the left and right cameras, the three-dimensional position of the lens, the location of the main point on the picture, the coordinates on the picture of the subject obtained from the left and right pictures, and the initial value of the real world three-dimensional coordinates of the object.

이처럼 각기 다른 많은 값들이 입력되어야 하기 때문에 일반적으로 상호표정작업에는 입력파일을 작성하여 읽고 계산하여 출력하는 일괄처리프로세스를 사용하고 있다.Since many different values need to be entered, mutual expressions generally use a batch process that creates, reads, calculates, and outputs an input file.

그러나 입력파일을 작성하기 위해서는 수치사진측량에 대한 많은 지식과 경험이 필요하고 난해하기 때문에 본 발명에서는 순차적인 자료 입력방식을 사용하여 사진좌표 관측 및 입력의 단순화를 추구하였다.However, in order to create an input file, much knowledge and experience in digital photogrammetry is required and difficult. Therefore, in the present invention, a sequential data input method is used to seek simplification of observation and input of photo coordinates.

도 4는 상호표정 실행화면을 나타낸 것으로, 상단의 좌우 영상은 좌우 CCD카메라(100a),(100b)를 통해 얻은 영상이고, 하단의 영상은 상단 영상의 확대영상이다. 본 발명에서는 상호표정을 위해 필요한 타겟을 설치한 후, 좌우 CCD카메라(100a),(100b)로 영상을 획득하고, 이 영상을 이용하여 타겟의 좌우 영상에서의 영상좌표를 획득하고 이 영상좌표를 이용하여 좌우 CCD카메라(100a),(100b)의 표정을 수행하였다.4 is a cross-expression execution screen, the upper left and right images are images obtained through the left and right CCD cameras 100a and 100b, and the lower image is an enlarged image of the upper image. In the present invention, after installing a target necessary for mutual coordination, the image is acquired by the left and right CCD cameras 100a and 100b, and the image coordinates are obtained from the left and right images of the target by using the image. The expressions of the left and right CCD cameras 100a and 100b were performed.

상기와 같이 좌우 CCD카메라(100a),(100b) 간의 상호표정이 수행된 후, 위치추적모듈(220)을 통해 좌우 CCD카메라(100a),(100b)를 통해 획득된 영상에서 이동체를 배경과 분리한 후, 좌우 영상에서 이동체의 중심좌표를 추출하게 된다(S200). After the mutual expression between the left and right CCD cameras 100a and 100b is performed as described above, the moving object is separated from the background in the image acquired through the left and right CCD cameras 100a and 100b through the position tracking module 220. Then, the center coordinates of the moving object are extracted from the left and right images (S200).

좌우 CCD카메라(100a),(100b)를 통해 획득된 영상에서 이동체를 추출하는 과정을 도 5의 흐름도와 함께 살펴본다.The process of extracting a moving object from an image acquired through the left and right CCD cameras 100a and 100b will be described with the flowchart of FIG. 5.

획득된 영상으로부터 이동체를 추출하기 위해서는 획득된 영상에서 입력 유닛(300)인 마우스를 이용하여 대상 이동체를 선정하게 되며, 대상 이동체가 선정되면 선택된 대상 이동체의 화소값이 저장되고, 이 화소값을 기준으로 영상을 이진화하게 된다(S210-S230). In order to extract the moving object from the acquired image, the target moving object is selected by using the mouse, which is the input unit 300, from the acquired image. When the target moving object is selected, the pixel value of the selected moving object is stored, and the pixel value is referred to. The image is binarized (S210-S230).

즉, 입력 유닛(300)을 이용하여 영상의 색상값을 선정하게 되면 선정된 색상값을 가지는 객체의 화소값은 0이고 선정된 객체와 화소값이 다른 영상은 255로 채워지게 된다.That is, when the color value of the image is selected using the input unit 300, the pixel value of the object having the selected color value is 0 and the image having a different pixel value from the selected object is filled with 255.

이후, 이진화된 영상에 레이블링을 행하는데(S240), 본 발명에서는 이진화된 영상에서 대상 화소값과 인접하여 연결되어 있는 모든 화소에 동일한 번호를 붙이는 글래스화이어(Grassfire) 레이블링 알고리즘을 이용하며, 도 6은 이진영상의 레이블링 과정의 일 예를 나타낸 것이다.Subsequently, labeling is performed on the binarized image (S240). In the present invention, a glassfire labeling algorithm is used to attach the same number to all pixels connected adjacent to the target pixel value in the binarized image. Shows an example of a labeling process of a binary image.

레이블링이 수행되면 레이블링된 영상의 화소수를 계산하여 대상 이동체의 중심좌표를 계산하게 된다(S250-S270).When labeling is performed, the center coordinates of the target moving object are calculated by calculating the number of pixels of the labeled image (S250-S270).

레이블링 영상의 화소수가 설정된 임계값(N : 일 예, 9 픽셀) 이하이면 영상 내에서 대상 이동체가 일정 크기 이하로 판단하여 대상 이동체를 다시 선택하여 해 당 이동체의 중심좌표를 계산하게 된다.If the number of pixels of the labeling image is less than or equal to the set threshold (N: 9 pixels), the target moving object is determined to be smaller than or equal to a predetermined size in the image, and the target moving object is selected again to calculate the center coordinate of the moving object.

상기와 같이 RGB 화소값을 이용한 추출은 대상 이동체의 밝기값이 허용범위 내에 있다는 가정 하에서 대상 이동체의 모양에 의한 제약을 받지 않는 장점이 있다. As described above, the extraction using the RGB pixel value has an advantage of not being restricted by the shape of the target moving body under the assumption that the brightness value of the target moving object is within an allowable range.

도 7은 한대의 카메라를 이용하여 테스트한 결과로, RGB 화소값은 살색으로 세팅하여 손을 추출한 결과이며, 이 추출의 결과에서 나오는 X,Y좌표는 대상 이동체의 중심좌표이다.7 is a result of testing using a single camera, the RGB pixel value is the result of extracting the hand by the flesh color, the X, Y coordinates resulting from the extraction is the center coordinate of the target moving object.

상기와 같이 이동체의 추출 및 이에 대한 중심좌표가 획득되면, 상기 위치결정모듈(230)은 상기 중심좌표를 사진좌표로 변환하여 이동체의 3차원 위치를 결정하게 된다(S300). 이때, 해석적 공간전방교회법(Space Intersection)을 이용하여 이동체의 3차원 위치를 결정하게 된다.When the extraction of the moving object and the center coordinates thereof are obtained as described above, the positioning module 230 converts the center coordinates into photo coordinates to determine the three-dimensional position of the moving object (S300). At this time, the three-dimensional position of the moving object is determined by using analytical space intersection.

다음은 본 발명의 실험 및 이의 결과에 대한 분석을 살펴본다.Next, look at the analysis of the experiment and its results of the present invention.

본 발명에서의 상호표정에 사용할 영상은 좌우 카메라(100a),(100b)로 동시에 촬영한 영상을 이용하였으며, 이 좌우 영상을 이용하여 상기 상호표정모듈(210)의 상호표정 프로그램에서 좌우 카메라(100a),(100b)의 상호표정을 실시하였다.The image to be used for the mutual expression in the present invention used images taken simultaneously with the left and right cameras 100a and 100b, and the left and right cameras 100a in the mutual expression program of the mutual expression module 210 using the left and right images. ) And (100b) were mutually expressed.

도 8은 상호표정에 필요한 카메라의 내부표정 요소정보를 나타내고 있으며, 이 정보를 상호표정 전에 입력시킨 후 상호표정을 실시하였다.Fig. 8 shows the internal expression element information of the camera required for the mutual expression, and this information was input before the mutual expression and then mutually expressed.

상호표정을 통해 얻은 카메라 정보를 이용하여 위치추적모듈(210)의 실시간 위치추적 프로그램으로 공을 대상으로 하여 공의 위치를 추적하였다. 도 9a 및 도 9b는 좌측 및 우측 CCD카메라의 영상이며, 도 10의 표는 위치 추적결과이다.Using the camera information obtained through the mutual expression, the location of the ball was tracked using the real-time location tracking program of the location tracking module 210. 9A and 9B show images of left and right CCD cameras, and the table of FIG. 10 shows position tracking results.

상기 측정 결과를 확인하기 위해 정지된 타겟을 본 발명 시스템과 전자식 데오돌라이트(Electronic Theodolite)와 광파측거기(EDM : Electro-Optical Instruments)가 하나의 기기로 통합되어 있어 측정한 자료를 빠른 시간 안에 처리하고, 결과를 출력하는 전자식 측거.측각기인 토탈 스테이션으로 각각 측정하였다.In order to confirm the measurement result, the stationary target is integrated with the present invention system, Electronic Theodolite, and Electro-Optical Instruments (EDM) into a single device, so that the measured data can be processed quickly. It measured by the total station which is an electronic distance measuring device which outputs a result, respectively.

토탈 스테이션을 통해 얻은 결과는 도 11 및 도 12와 같으며, 도 11a 및 도 11b는 좌우 카메라를 통해 얻은 영상의 타겟을 토탈스테이션으로 얻은 타겟의 좌표값으로 매칭하여 모델링한 영상을 나타낸 것이다. The results obtained through the total station are the same as those of FIGS. 11 and 12, and FIGS. 11A and 11B illustrate an image modeled by matching targets of images obtained through left and right cameras to coordinate values of targets obtained by the total station.

도 13은 본 발명의 시스템으로 관측한 결과를 나타낸 것으로, 상기 실험 결과를 이용하여 x, y, z 각각의 거리차이를 구하였으며, 도 14의 표는 토탈 스테이션과 본 발명의 3차원 위치 추적 시스템의 관측결과와 거리차(m)를 나타내고 있다.Figure 13 shows the results observed with the system of the present invention, the distance difference of each of x, y, z was obtained using the experimental results, the table of Figure 14 is a total station and the three-dimensional position tracking system of the present invention The distance difference (m) from the observation result is shown.

도 15는 토탈 스테이션과 본 발명의 3차원 위치 추적 시스템과의 거리차에 대한 그래프로, x축과 z축의 거리차는 대부분 3cm 이하고 나오고 있고, y축(카메라와 타겟의 거리)는 최고 25cm 정도의 차이를 보이고 있다. 상기 y축의 오차는 x축과 z축의 결과와는 상대적으로 크게 나왔는데, 이는 상호표정시에 타겟들의 위치가 모두 같은 평면에 있었기 때문에 나오는 오차로 여겨지며, y축방향의 거리차를 줄이기 위해서는 상호표정을 수행할 때 입체 타겟을 제작하여 표정을 실시하면 거리차를 줄일 수 있을 것이다.15 is a graph of the distance difference between the total station and the three-dimensional position tracking system of the present invention, the distance difference between the x-axis and the z-axis is less than 3cm, the y-axis (distance between the camera and the target) up to 25cm The difference is showing. The error of the y-axis is relatively larger than the result of the x-axis and z-axis, which is considered to be an error because the positions of the targets are all in the same plane at the time of mutual expression, and the mutual expression is reduced to reduce the distance difference in the y-axis direction. When performing a three-dimensional target to perform the expression will be able to reduce the distance difference.

상술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다. As described above, although described with reference to a preferred embodiment of the present invention, those skilled in the art various modifications of the present invention without departing from the spirit and scope of the invention described in the claims below Or it may be modified.

이상에서 살펴본 바와 같이, 본 발명은 실시간으로 입력되는 좌우 CCD카메라의 각각의 영상을 영상처리를 통해 좌우 영상에서 대상 객체의 중심좌표를 구하여 3차원 위치를 결정하므로 타겟으로 하는 이동체의 위치를 실시간으로 추적할 수 있게 된다.As described above, the present invention obtains the center coordinates of the target object from the left and right images through the image processing of each image of the left and right CCD camera input in real time to determine the three-dimensional position in real time To be traceable.

또한, 본 발명은 이동체의 위치를 실시간으로 추적할 수 있게 됨에 따라 지형,도로, 항만 등 건설산업에서의 기초자료 획득, 상하수도, 가스, 전기, 통신 등의 시설물 정밀 위치결정 및 수치도면 작성의 경제성을 크게 높일 수 있으며, 도로, 교통표지판, 기타 도로 안전 시설물 등 도로 시설물 매핑 방법을 개선하여 도로 및 교통 관련 계획과 신속한 정책결정에 기여할 수 있게 된다. 또한, 댐, 항만, 교량, 제방, 고층 건물, 급경사지에 대한 실시간 거동 감시를 가능하게 하여 재해 예측 기법을 향상시킬 수 있으며, 공장 시설물에 대한 실시간 매핑을 가능하게 하여 공장 내 기계의 이동과 동작중인 시설물의 위치 결정 및 위치 교정이 가능하며, 군사적인 목적으로 공격대상물의 좌표를 실시간으로 획득할 수 있는 조준 장치로 사용할 수 있을 것이며, GPS/IMU의 결합을 통해 이동체의 실시간 위치와 자세 파악에 이용할 수 있을 것이다.In addition, the present invention is able to track the position of the moving object in real time, so as to obtain the basic data in the construction industry, such as terrain, road, port, water and sewage, gas, electricity, communication, etc. Economic location of accurate positioning and digital drawing of facilities This will significantly improve the way roads are mapped, such as roads, traffic signs, and other road safety facilities, which will contribute to road and traffic planning and rapid policy making. In addition, real-time behavior monitoring of dams, harbors, bridges, embankments, high-rise buildings, and steep slopes can be used to improve disaster prediction techniques, and real-time mapping of plant facilities enables movement and operation of machinery within the plant. It can be used to determine the location and correct the location of the facility.It can be used as a aiming device that can acquire the coordinates of attack targets for military purposes in real time. Could be.

Claims (13)

상호표정이 이루어진 좌우 CCD카메라;Left and right CCD cameras with mutual expression; 상기 CCD카메라에서 촬영된 영상으로부터 대상 이동체를 추출하고, 추출된 이동체에 대한 중심좌표를 구하여 상기 이동체의 3차원 위치를 결정하는 3차원 위치결정수단;Three-dimensional positioning means for extracting a target moving object from the image photographed by the CCD camera, obtaining a central coordinate of the extracted moving object, and determining a three-dimensional position of the moving object; 상기 3차원 위치결정수단에서 상기 대상 이동체를 추출할 수 있도록 상기 CCD카메라로부터 획득된 영상 내의 대상 이동체를 선택하기 위한 입력 유닛; 및 An input unit for selecting a target moving object in an image obtained from the CCD camera so as to extract the target moving object in the three-dimensional positioning means; And 상기 CCD카메라에서 촬영된 영상을 디스플레이하는 출력 유닛;An output unit for displaying an image photographed by the CCD camera; 을 포함하는 것을 특징으로 하는 3차원 위치 추적 시스템.Three-dimensional position tracking system comprising a. 제 1 항에 있어서, 상기 CCD카메라는 The method of claim 1, wherein the CCD camera RGB 칼라 모자이크 필터를 채용한 순차 스캔 방식의 칼라 CCD카메라인 것을 특징으로 하는 3차원 위치 추적 시스템.A three-dimensional position tracking system characterized by a color CCD camera of a sequential scanning method employing an RGB color mosaic filter. 제 1 항에 있어서, 상기 3차원 위치결정수단은The method of claim 1, wherein the three-dimensional positioning means 상기 좌우 CCD카메라 간의 상호 위치 및 자세를 결정하는 상호표정모듈;A mutual expression module for determining mutual positions and postures between the left and right CCD cameras; 상호표정이 이루어진 상기 좌우 CCD카메라를 통해 획득된 영상 내에서 대상 이동체를 추출한 후, 좌우 영상에서 이동체의 중심좌표를 추출하는 위치추적모듈; 및 A position tracking module for extracting a target moving object from an image acquired by the left and right CCD cameras having mutual expressions, and then extracting a central coordinate of the moving object from the left and right images; And 상기 위치추적모듈에서 추출된 좌우 영상에서의 중심좌표를 이용하여 공간전방교회법으로 상기 대상 이동체의 3차원 위치를 계산하는 위치결정모듈;A positioning module that calculates a three-dimensional position of the target moving object by spatial forward intersection using a central coordinate extracted from the left and right images extracted by the position tracking module; 을 포함하여 이루어지는 것을 특징으로 하는 3차원 위치 추적 시스템.Three-dimensional position tracking system, characterized in that comprises a. 제 3 항에 있어서, 상기 상호표정모듈은 The method of claim 3, wherein the mutual expression module 독립적인 상호표정을 이용하여 상기 좌우 CCD카메라 간의 상호 위치 및 자세를 결정하는 것을 특징으로 하는 3차원 위치 추적 시스템.3D position tracking system for determining the mutual position and attitude between the left and right CCD cameras using independent mutual expression. 제 3 항에 있어서, 상기 위치추적모듈은 The method of claim 3, wherein the location tracking module 레이블링 알고리즘을 이용하여 대상 이동체를 추출하는 것을 특징으로 하는 3차원 위치 추적 시스템.3D position tracking system characterized by extracting the target moving object using a labeling algorithm. 제 3 항에 있어서, 상기 위치결정모듈은The method of claim 3, wherein the positioning module 해석적 공간전방교회법으로 이동체의 3차원 위치를 결정하는 것을 특징으로 하는 3차원 위치 추적 시스템.A three-dimensional position tracking system characterized by determining the three-dimensional position of the moving body by an analytical space front intersection. 제 3 항에 있어서, 상기 3차원 위치결정수단은The method of claim 3, wherein the three-dimensional positioning means 상기 좌우 CCD카메라로부터의 영상을 입력받기 위한 프레임 그래버를 더 포함하는 것을 특징으로 하는 3차원 위치 추적 시스템.And a frame grabber for receiving an image from the left and right CCD cameras. 좌우 CCD카메라로부터 획득되는 영상을 바탕으로 특정 이동체의 3차원 위치를 추적하기 위한 방법에 있어서,In the method for tracking the three-dimensional position of a specific moving object based on the image obtained from the left and right CCD camera, 상기 좌우 CCD카메라의 상호표정을 수행하는 상호표정단계;A mutual expression step of performing mutual expression of the left and right CCD cameras; 상호표정이 이루어진 좌우 CCD카메라로부터 획득된 영상으로부터 대상 이동체를 추출하고, 추출된 이동체에 대한 중심좌표를 구하는 위치추적단계; 및 A position tracking step of extracting a target moving object from an image obtained from the left and right CCD cameras having mutual expressions, and obtaining a center coordinate of the extracted moving object; And 상기 이동체에 대한 중심좌표를 이용하여 이동체의 3차원 위치를 결정하는 위치결정단계;A positioning step of determining a three-dimensional position of the moving object by using a center coordinate with respect to the moving object; 를 포함하여 이루어짐을 특징으로 하는 3차원 위치 추적 방법.3D location tracking method characterized in that it comprises a. 제 8 항에 있어서, 상기 상호표정은 9. The method of claim 8, wherein the mutual expression is 독립적인 상호표정을 이용하여 수행하는 것을 특징으로 하는 3차원 위치 추적 방법.3D location tracking method characterized in that performed using an independent mutual expression. 제 8 항에 있어서, 상기 위치추적단계는 The method of claim 8, wherein the location tracking step 상기 좌우 CCD카메라로부터 획득된 영상으로부터 대상 이동체를 선정하는 단계;Selecting a target moving object from an image obtained from the left and right CCD cameras; 상기 선택된 이동체의 화소값을 바탕으로 해당 영상을 이진화하는 단계;Binarizing a corresponding image based on pixel values of the selected moving object; 이진화된 영상을 레이블링하는 단계; 및Labeling the binarized image; And 레이블링된 영상의 화소수를 계산하여 대상 이동체의 중심좌표를 구하는 단계;Calculating the center coordinates of the target moving object by calculating the number of pixels of the labeled image; 를 포함하는 것을 특징으로 하는 3차원 위치 추적 방법.3D location tracking method comprising a. 제 10 항에 있어서, 상기 레이블링은 글래스화이어(Grassfire) 레이블링 알고리즘으로 수행되는 것을 특징으로 하는 3차원 위치 추적 방법.The method of claim 10, wherein the labeling is performed with a Glassfire labeling algorithm. 제 10 항에 있어서, 상기 레이블링된 영상의 화소수가 설정된 임계값 이하이면 해당 영상 내에서 대상 이동체가 일정 크기 이하로 판단하여 대상 이동체를 다시 선택하도록 된 것을 특징으로 하는 3차원 위치 추적 방법.The 3D position tracking method of claim 10, wherein if the number of pixels of the labeled image is less than or equal to a predetermined threshold, the target moving object is determined to be smaller than or equal to a predetermined size in the corresponding image, and the target moving object is selected again. 제 8 항에 있어서, 상기 이동체의 3차원 위치 결정은 The method of claim 8, wherein the three-dimensional positioning of the moving body 해석적 공간전방교회법을 이용하여 상기 이동체의 중심좌표를 사진좌표로 변환하여 결정하는 것을 특징으로 하는 3차원 위치 추적 방법.3D position tracking method, characterized in that by using the analytical spatial front intersection method to convert the center coordinates of the moving object to the photo coordinates.
KR1020050034671A 2005-04-26 2005-04-26 System and method for measuring position of threedimensions KR100586815B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050034671A KR100586815B1 (en) 2005-04-26 2005-04-26 System and method for measuring position of threedimensions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050034671A KR100586815B1 (en) 2005-04-26 2005-04-26 System and method for measuring position of threedimensions

Publications (1)

Publication Number Publication Date
KR100586815B1 true KR100586815B1 (en) 2006-06-08

Family

ID=37182387

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050034671A KR100586815B1 (en) 2005-04-26 2005-04-26 System and method for measuring position of threedimensions

Country Status (1)

Country Link
KR (1) KR100586815B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101015040B1 (en) 2010-08-13 2011-02-16 엘아이지넥스원 주식회사 Apparatus for removing image noise captured by a camera on a moving object and method thereof
KR102544393B1 (en) * 2022-12-08 2023-06-15 강원대학교산학협력단 System for estimating ignition location using pan-tilt-based IR camera

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162730A (en) * 1993-12-09 1995-06-23 Ibiden Co Ltd Mobile object image pickup device
JP2002024807A (en) 2000-07-07 2002-01-25 National Institute Of Advanced Industrial & Technology Object movement tracking technique and recording medium
KR20020017576A (en) * 2000-08-31 2002-03-07 이준서 System and method for motion capture using camera image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07162730A (en) * 1993-12-09 1995-06-23 Ibiden Co Ltd Mobile object image pickup device
JP2002024807A (en) 2000-07-07 2002-01-25 National Institute Of Advanced Industrial & Technology Object movement tracking technique and recording medium
KR20020017576A (en) * 2000-08-31 2002-03-07 이준서 System and method for motion capture using camera image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101015040B1 (en) 2010-08-13 2011-02-16 엘아이지넥스원 주식회사 Apparatus for removing image noise captured by a camera on a moving object and method thereof
KR102544393B1 (en) * 2022-12-08 2023-06-15 강원대학교산학협력단 System for estimating ignition location using pan-tilt-based IR camera

Similar Documents

Publication Publication Date Title
JP6543520B2 (en) Survey data processing apparatus, survey data processing method and program for survey data processing
JP6510247B2 (en) Survey data processing apparatus, survey data processing method and program
AU2004282274B2 (en) Method and device for determining the actual position of a geodetic instrument
US10930013B2 (en) Method and system for calibrating imaging system
KR102305328B1 (en) System and method of Automatically Generating High Definition Map Based on Camera Images
CA2678156A1 (en) Measurement apparatus, measurement method, and feature identification apparatus
CN109596121B (en) Automatic target detection and space positioning method for mobile station
CN103377476A (en) Image registration of multimodal data using 3d geoarcs
JP2009008662A (en) Object detection cooperatively using sensor and video triangulation
CN112308913B (en) Vehicle positioning method and device based on vision and vehicle-mounted terminal
CN109871739B (en) Automatic target detection and space positioning method for mobile station based on YOLO-SIOCTL
KR101793262B1 (en) Analysis system for occurrence and growth progression of crack
JP2022042146A (en) Data processor, data processing method, and data processing program
JP2018036769A (en) Image processing apparatus, image processing method, and program for image processing
JP7480833B2 (en) Measuring equipment, measuring systems and vehicles
CN103411587A (en) Positioning and attitude-determining method and system
KR101793264B1 (en) Analysis method for occurrence and growth progression of crack
Feng et al. Crack assessment using multi-sensor fusion simultaneous localization and mapping (SLAM) and image super-resolution for bridge inspection
CN112749584A (en) Vehicle positioning method based on image detection and vehicle-mounted terminal
Hu et al. A high-resolution surface image capture and mapping system for public roads
Al-Rawabdeh et al. A robust registration algorithm for point clouds from UAV images for change detection
KR100586815B1 (en) System and method for measuring position of threedimensions
Wagner¹ et al. Monitoring concepts using image assisted total stations
CN114051627A (en) Camera calibration method
Trusheim et al. Cooperative localisation using image sensors in a dynamic traffic scenario

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120522

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130325

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee