KR102063845B1 - Apparatus and method for measurement based on images - Google Patents
Apparatus and method for measurement based on images Download PDFInfo
- Publication number
- KR102063845B1 KR102063845B1 KR1020190074306A KR20190074306A KR102063845B1 KR 102063845 B1 KR102063845 B1 KR 102063845B1 KR 1020190074306 A KR1020190074306 A KR 1020190074306A KR 20190074306 A KR20190074306 A KR 20190074306A KR 102063845 B1 KR102063845 B1 KR 102063845B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- point group
- plane
- axis
- parameter
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 대상체에 대한 영상에 기반하여 대상체의 움직임을 분석하는 영상 기반 계측 장치 및 방법에 관한 것이다. The present invention relates to an image-based measuring device and method for analyzing a movement of an object based on an image of the object.
유도탄 개발 초기에는 추력방향 제어에 사용하는 노즐 각도를 계측하는 것이 매우 중요하다. 이는 발사 초기의 유도탄의 비행 안정성 및 제어력 확보를 위한 것으로, 유도탄의 비행 안정성 및 제어력이 확보되어야 유도탄 개발의 성공 확률이 높아지기 때문이다. 따라서, 유도탄 개발 초기의 HILS(Hardware In the Loop Simulation)를 수행할 때, 실제 노즐의 구동 응답을 측정하여 노즐의 조종 성능을 확인한다. Early in the development of guided missiles, it is very important to measure the nozzle angles used to control the thrust direction. This is to ensure the flight stability and control of the missile at the early stage of launch, because the probability of success of the missile development increases if the flight stability and control of the missile is secured. Therefore, when performing the hardware in the loop simulation (HILS) early in the development of guided missiles, the driving performance of the nozzle is measured to confirm the steering performance of the nozzle.
노즐의 조종 성능을 확인을 위해 일반적으로 노즐의 끝 단면에 3~4개의 물리적인 접촉 센서를 설치하여 노즐의 구동 시 센서가 움직인 변위를 측정하여 노즐의 구동변위를 계산하는 방식을 사용한다. In order to check the steering performance of the nozzle, three to four physical contact sensors are generally installed on the end of the nozzle, and the displacement of the sensor is measured by measuring the displacement of the nozzle when the nozzle is driven.
그러나, 유도탄 마다 다양한 제원(예: 노즐 직경)을 가질 수 있으며, 이러한 경우에는 유도탄이 가지는 제원을 측정하고 이를 고려하여 센서 장착을 위한 설계가 매번 수행되어야 한다. 따라서, 유도탄의 노즐의 구동을 보다 효율적으로 계측하기 위한 방안이 요구된다. However, each missile may have various specifications (eg, nozzle diameter). In this case, a design for mounting the sensor should be performed every time by measuring the specifications of the missile and taking it into consideration. Therefore, a method for more efficiently measuring the drive of the nozzle of the guided coal is required.
본 발명이 해결하고자 하는 과제는, 대상체의 거리 정보를 포함하는 영상을 이용하여 대상체의 움직임을 분석하는 영상 기반 계측 장치 및 방법을 제공하는 것이다. An object of the present invention is to provide an image-based measuring apparatus and method for analyzing a motion of an object using an image including distance information of the object.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다. However, the problem to be solved by the present invention is not limited to the above-mentioned, it is not mentioned but includes the purpose that can be clearly understood by those skilled in the art from the following description. can do.
본 발명의 일 실시예에 따른 영상 기반 계측 장치는, 대상체의 거리 정보를 포함하는 영상을 획득하는 영상 획득부와, 상기 획득된 영상의 상기 대상체의 거리 정보를 나타내는 점 군(point cloud)에 대해 평면 근사를 적용하여 복수의 점 군 평면을 획득함에 기초하여 상기 복수의 점 군 평면 각각과 관련된 파라미터를 획득하는 파라미터 획득부와, 상기 획득된 파라미터에 대해 회전변환 행렬을 적용함에 기초하여, 상기 복수의 점 군 평면과 관련된 기울기를 추정하는 기울기 추정부와, 상기 추정된 기울기와 상기 대상체의 기하정보를 이용하여 상기 대상체의 움직임을 분석하는 분석부를 포함할 수 있다. An image-based measuring apparatus according to an embodiment of the present invention includes an image acquisition unit that acquires an image including distance information of an object, and a point cloud indicating distance information of the object of the acquired image. A parameter obtaining unit for obtaining a parameter associated with each of the plurality of point group planes by applying a plane approximation, and applying the rotation transformation matrix to the obtained parameters And an inclination estimator for estimating an inclination associated with a point group plane of and an analyzer for analyzing the motion of the object using the estimated inclination and geometric information of the object.
또한, 상기 영상 기반 계측 장치와 상기 대상체 간의 제1 축을 기준으로 축 정렬을 수행하는 정렬부를 더 포함하고, 상기 획득된 영상은, 상기 제1 축 기준의 축 정렬이 유지되는 상태의 대상체에 대한 영상과 제2 축을 기준으로 움직이는 상기 대상체에 대한 영상을 포함할 수 있다. The apparatus may further include an alignment unit configured to perform an axis alignment based on a first axis between the image-based measuring device and the object, wherein the obtained image is an image of an object in which an axis alignment of the first axis reference is maintained. And an image of the object moving based on the second axis.
또한, 상기 복수의 점 군 평면은, 상기 제1 축을 포함하는 평면에 대한 제1 점 군 평면과 상기 제2 축을 포함하는 평면에 대한 제2 점 군 평면을 포함하고, 상기 파라미터는, 상기 제1 축을 포함하는 평면에 대한 제1 법선 벡터와, 상기 제2 축을 포함하는 평면에 대한 제2 법선 벡터를 포함할 수 있다. The plurality of point group planes may include a first point group plane with respect to a plane including the first axis and a second point group plane with respect to a plane including the second axis, and the parameter may include the first point plane. A first normal vector with respect to a plane including an axis and a second normal vector with respect to a plane including the second axis may be included.
또한, 상기 기울기 추정부는, 상기 제1 법선 벡터와 상기 제2 법선 벡터에 대해 회전변환 행렬을 적용함에 기초하여 상기 제1 점 군 평면에 대한 상기 제2 점 군 평면의 기울기를 추정할 수 있다. The inclination estimator may estimate the inclination of the second point group plane with respect to the first point group plane based on applying a rotation transformation matrix to the first normal vector and the second normal vector.
또한, 상기 거리 정보는, 상기 영상 획득부로부터 상기 대상체를 구성하는 복수의 점까지의 거리를 나타내는 정보를 포함하고, 상기 점 군은 상기 복수의 점을 포함할 수 있다. The distance information may include information indicating a distance from the image acquisition unit to a plurality of points constituting the object, and the point group may include the plurality of points.
또한, 상기 파라미터 획득부는, 상기 획득된 영상에서 상기 대상체에 대한 영역과 배경(background)에 대한 영역을 분리하고, 상기 대상체에 대한 영역에서 상기 대상체를 구성하는 복수의 점 중 적어도 일부를 랜덤하게 추출하여 상기 점 군을 생성하고, 상기 복수의 점은 상기 대상체의 거리 정보를 포함할 수 있다. The parameter obtaining unit may separate a region of the object from a region of the background from the acquired image, and randomly extract at least some of a plurality of points constituting the object from the region of the object. The point group may be generated, and the plurality of points may include distance information of the object.
또한, 상기 파라미터 획득부는, 상기 생성된 점 군에 평면 근사가 적용됨에 기초하여 획득되는 점 군 평면과 구분되어 나타나는 이상점(outlier)을 제거할 수 있다. In addition, the parameter obtaining unit may remove an outlier appearing separately from a point group plane obtained based on a plane approximation applied to the generated point group.
또한, 상기 분석부는, 상기 대상체의 기하정보와 상기 추정된 기울기와의 차이에 기초하여 상기 대상체의 움직임의 변위 또는 각도를 분석하고, 상기 대상체의 기하정보는, 상기 대상체의 측정하고자 하는 부분의 실제 위치를 반영하여 기지정된 값으로, 상기 대상체의 중심축으로부터의 상대위치, 거리 및 각도 중 적어도 하나에 대한 정보를 포함할 수 있다. The analysis unit may analyze a displacement or an angle of the movement of the object based on a difference between the geometric information of the object and the estimated slope, and the geometric information of the object may be an actual portion of the part to be measured. The predetermined value reflects the position, and may include information on at least one of a relative position, a distance, and an angle from the central axis of the object.
본 발명의 일 실시예에 따른 영상 기반 계측 방법은, 대상체의 거리 정보를 포함하는 영상을 획득하는 단계와, 상기 획득된 영상의 상기 대상체의 거리 정보를 나타내는 점 군(point group)에 대해 평면 근사를 적용하여 복수의 점 군 평면을 획득함에 기초하여 상기 복수의 점 군 평면 각각과 관련된 파라미터를 획득하는 단계와, 상기 획득된 파라미터에 대해 회전변환 행렬을 적용함에 기초하여, 상기 복수의 점 군 평면과 관련된 기울기를 추정하는 단계와, 상기 추정된 기울기와 상기 대상체의 기하정보를 이용하여 상기 대상체의 움직임을 분석하는 단계를 포함할 수 있다. An image-based measuring method according to an embodiment of the present invention may include obtaining an image including distance information of an object, and planar approximation for a point group representing distance information of the object of the acquired image. Acquiring a parameter associated with each of the plurality of point group planes based on obtaining a plurality of point group planes, and applying the rotation transformation matrix to the obtained parameters. And estimating a slope associated with the step of analyzing the movement of the object using the estimated slope and the geometric information of the object.
또한, 상기 영상 기반 계측 장치와 상기 대상체 간의 제1 축을 기준으로 축 정렬을 수행하는 단계를 더 포함하고, 상기 획득된 영상은, 상기 제1 축 기준의 축 정렬이 유지되는 상태의 대상체에 대한 영상과 제2 축을 기준으로 움직이는 상태의 대상체에 대한 영상을 포함할 수 있다. The method may further include performing axis alignment based on a first axis between the image-based measuring device and the object, wherein the obtained image is an image of an object in which the axis alignment of the first axis reference is maintained. And an image of an object in a state of moving with respect to the second axis.
또한, 상기 복수의 점 군 평면은, 상기 제1 축을 포함하는 평면에 대한 제1 점 군 평면과 상기 제2 축을 포함하는 평면에 대한 제2 점 군 평면을 포함하고, 상기 파라미터는, 상기 제1 축을 포함하는 평면에 대한 제1 법선 벡터와, 상기 제2 축을 포함하는 평면에 대한 제2 법선 벡터를 포함할 수 있다. The plurality of point group planes may include a first point group plane with respect to a plane including the first axis and a second point group plane with respect to a plane including the second axis, and the parameter may include the first point plane. A first normal vector with respect to a plane including an axis and a second normal vector with respect to a plane including the second axis may be included.
또한, 상기 기울기를 추정하는 단계는, 상기 제1 법선 벡터와 상기 제2 법선 벡터에 대해 회전변환 행렬을 적용함에 기초하여 상기 제1 점 군 평면에 대한 상기 제2 점 군 평면의 기울기를 추정하는 단계를 포함할 수 있다. In addition, estimating the slope may include estimating a slope of the second point group plane with respect to the first point group plane based on applying rotation transformation matrices to the first normal vector and the second normal vector. It may include a step.
또한, 상기 거리 정보는, 상기 영상 획득부로부터 상기 대상체를 구성하는 복수의 점까지의 거리를 나타내는 정보를 포함하고, 상기 점 군은 상기 복수의 점을 포함할 수 있다. The distance information may include information indicating a distance from the image acquisition unit to a plurality of points constituting the object, and the point group may include the plurality of points.
또한, 상기 파라미터를 획득하는 단계는, 상기 획득된 영상에서 상기 대상체에 대한 영역과 배경(background)에 대한 영역을 분리하는 단계와, 상기 대상체에 대한 영역에서 상기 대상체를 구성하는 복수의 점 중 적어도 일부를 랜덤하게 추출하여 상기 점 군을 생성하는 단계를 더 포함하고, 상기 복수의 점은 상기 대상체의 거리 정보를 포함할 수 있다. The acquiring of the parameter may include separating a region of the object and an area of a background from the acquired image, and at least one of a plurality of points constituting the object in the region of the object. The method may further include generating the point group by randomly extracting a portion, and the plurality of points may include distance information of the object.
또한, 상기 파라미터를 획득하는 단계는, 상기 생성된 점 군에 평면 근사가 적용됨에 기초하여 획득되는 점 군 평면과 구분되어 나타나는 이상점(outlier)을 제거할 수 있다. In addition, the obtaining of the parameter may remove an outlier appearing separately from a point group plane obtained based on a plane approximation applied to the generated point group.
또한, 상기 분석하는 단계는, 상기 대상체의 기하정보와 상기 추정된 기울기와의 차이에 기초하여 상기 대상체의 움직임의 변위 또는 각도를 분석하는 단계를 포함하고, 상기 대상체의 기하정보는, 상기 대상체의 측정하고자 하는 부분의 실제 위치를 반영하여 기지정된 값으로, 상기 대상체의 위치, 크기 및 각도 중 적어도 하나에 대한 정보를 포함할 수 있다. The analyzing may include analyzing a displacement or an angle of the movement of the object based on a difference between the geometric information of the object and the estimated slope, and the geometric information of the object may include: The predetermined value reflects the actual position of the part to be measured, and may include information on at least one of the position, size, and angle of the object.
본 발명의 일 실시예에 따른 컴퓨터 판독가능 기록매체는, 대상체의 거리 정보를 포함하는 영상을 획득하는 단계와, 상기 획득된 영상의 상기 대상체의 거리 정보를 나타내는 점 군(point group)에 대해 평면 근사를 적용하여 복수의 점 군 평면을 획득함에 기초하여 상기 복수의 점 군 평면 각각과 관련된 파라미터를 획득하는 단계와, 상기 획득된 파라미터에 대해 회전변환 행렬을 적용함에 기초하여, 상기 복수의 점 군 평면과 관련된 기울기를 추정하는 단계와, 상기 추정된 기울기와 상기 대상체의 기하정보를 이용하여 상기 대상체의 움직임을 분석하는 단계를 수행하도록 프로그램된 컴퓨터 프로그램을 저장할 수 있다. According to an embodiment of the present invention, a computer-readable recording medium may include obtaining an image including distance information of an object, and planarizing a point group representing distance information of the object of the acquired image. Obtaining a parameter associated with each of the plurality of point group planes based on obtaining a plurality of point group planes by applying an approximation, and based on applying a rotation transformation matrix to the obtained parameter, A computer program programmed to perform a step of estimating a tilt associated with a plane and analyzing a motion of the object by using the estimated slope and the geometric information of the object may be stored.
본 발명의 실시예에 따른 영상 기반 계측 장치 및 방법은, 대상체의 거리 정보를 포함하는 영상을 이용하여 대상체의 움직임을 분석함으로써 다양한 제원의 대상체에 대해 높은 활용성을 가질 수 있다. Image-based measuring apparatus and method according to an embodiment of the present invention, by analyzing the movement of the object using an image including the distance information of the object can have a high utility for the object of various specifications.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. However, the effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned above will be clearly understood by those skilled in the art from the following description. Could be.
도 1은 본 발명의 일 실시예에 따른 영상 기반 계측 장치가 동작되는 환경의 개념도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 계측 장치의 기능적 구성의 예를 도시한다.
도 3은 본 발명의 일 실시예에 따른 영상 기반 계측 방법의 각 단계의 흐름을 도시한다.
도 4는 본 발명의 일 실시예에 따른 영상 기반 계측 방법의 파라미터를 획득하는 단계의 구체적인 흐름을 도시한다. 1 is a conceptual diagram of an environment in which an image-based measuring apparatus according to an embodiment of the present invention operates.
2 illustrates an example of a functional configuration of an image-based measuring device according to an embodiment of the present invention.
3 shows a flow of each step of the image-based measurement method according to an embodiment of the present invention.
4 illustrates a detailed flow of obtaining a parameter of an image-based measuring method according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be implemented in various forms, only the embodiments are to make the disclosure of the present invention complete, and those skilled in the art to which the present invention pertains. It is provided to fully inform the scope of the invention, and the scope of the invention is defined only by the claims.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, detailed descriptions of well-known functions or configurations will be omitted unless they are actually necessary in describing the embodiments of the present invention. In addition, terms to be described below are terms defined in consideration of functions in the embodiments of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the contents throughout the specification.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 포함할 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로서 이해되어야 한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, it should be understood as including all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms including ordinal numbers such as first and second may be used to describe various components, but the components are not limited by such terms. These terms are only used to distinguish one component from another.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is said to be 'connected' or 'connected' to another component, it may be directly connected to or connected to that other component, but it may be understood that another component may exist in between Should be.
도 1은 본 발명의 일 실시예에 따른 영상 기반 계측 장치가 동작되는 환경의 개념도를 도시한다. 1 is a conceptual diagram of an environment in which an image-based measuring apparatus according to an embodiment of the present invention operates.
도 1을 참조하면, 영상 기반 계측 장치(10)는 대상체(20)와 소정 거리를 두고 위치될 수 있다. 예를 들어, 영상 기반 계측 장치(10)는 대상체(20)의 상부에 대상체(20)와 수직이 되도록 위치될 수 있다. Referring to FIG. 1, the image-based
대상체(20)는 다양한 변위를 가지고 움직일 수 있으며, 영상 기반 계측 장치(10)는 이러한 대상체(20)에 대한 영상을 획득할 수 있다. 여기서, 대상체(20)는 유도탄의 노즐이 될 수도 있다. 다만, 대상체는 유도탄의 노즐에 제한되는 것은 아니고 다양한 변위로 움직이는 다양한 종류의 물체를 포함할 수도 있다. The
영상 기반 계측 장치(10)는 다양한 방법으로 대상체(20)에 대한 영상을 획득할 수 있다. 예를 들어, 영상 기반 계측 장치(10)는 영상을 획득할 수 있는 다른 장치와의 연결에 기초하여, 다른 장치로부터 촬영되는 대상체(20)에 대한 영상을 획득할 수 있다. The image-based
영상 기반 계측 장치(10)에 의해 획득되는 영상은 대상체(20)와 영상 기반 계측 장치(10) 사이의 거리에 대한 정보를 포함하는 영상일 수 있다. 경우에 따라, 이러한 영상은 깊이 영상(depth image)으로 지칭될 수 있다. 대상체(20)가 움직이는 경우, 획득된 영상에는 대상체(20)가 움직이는 면에 대한 정보가 나타날 수 있다. The image acquired by the image-based
도 2는 본 발명의 일 실시예에 따른 영상 기반 계측 장치의 기능적 구성의 예를 도시한다. 이하 사용되는 '…부'등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 이하 도 2의 설명에서는 도 1과 중복되는 내용은 생략될 수 있다. 2 illustrates an example of a functional configuration of an image-based measuring device according to an embodiment of the present invention. Used below '… The term 'sub' and the like refer to a unit that processes at least one function or operation, which may be implemented by hardware or software, or a combination of hardware and software. Hereinafter, in the description of FIG. 2, content overlapping with FIG. 1 may be omitted.
도 2를 참조하면, 영상 기반 계측 장치(10)는 영상 획득부(110), 파라미터 획득부(120), 기울기 추정부(130), 분석부(140), 정렬부(150)를 포함할 수 있다. Referring to FIG. 2, the image-based
영상 획득부(110)는 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있으며, 거리 정보를 가지는 깊이 영상을 촬영할 수 있는 KINECT과 같은 일반 상용 장비로 구현될 수도 있다. 이는 후술할 파라미터 획득부(120), 기울기 추정부(130), 분석부(140), 정렬부(150)도 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다. The
영상 획득부(110)는 대상체(20)의 거리 정보를 포함하는 영상을 획득할 수 있다. 여기서, 거리 정보는, 대상체(20)를 구성하는 복수의 점(point)과 영상 획득부(110)(또는 영상 기반 계측 장치(10))와의 거리를 나타내는 정보를 포함할 수 있다. 예를 들어, 영상 획득부(110)가 제1 포인트에 위치해있으며 대상체(20)는 복수의 점들의 집합으로 구성되어 있다고 가정하는 경우, 거리 정보는 제1 포인트와 복수의 점들 각각과의 거리를 나타내는 정보를 포함할 수 있다. The
후술하겠으나, 경우에 따라 대상체(20)는 영상의 획득에 앞서 정렬부(150)에 의해 초기화 및 축 정렬이 수행될 수 있다. 이러한 경우, 영상 획득부(110) 초기화 및 축 정렬이 수행된 대상체(20)에 대한 영상을 획득할 수 있다. As will be described later, in some cases, the
영상 획득부(110)는 축 정렬이 수행된 대상체(20)에 대한 영상 이외에도 대상체(20)가 특정한 축으로 움직이는 경우, 움직이는 면에 대한 정보를 포함하는 영상도 획득할 수 있다. 경우에 따라, 영상 획득부(110)는 대상체(20)가 복수의 축으로 움직이는 경우, 복수의 축 각각 마다 움직이는 면에 대한 정보를 포함하는 영상을 획득할 수 있다. In addition to the image of the
파라미터 획득부(120)는 획득된 영상의 대상체(20)의 거리 정보를 나타내는 점 군(point group)에 대해 평면 근사를 적용하여 점 군 평면을 획득할 수 있다. 파라미터 획득부(120)는 점 군 평면에 기초하여 점 군 평면과 관련된 파라미터를 획득할 수 있다. The
구체적으로, 파라미터 획득부(120)는 획득된 영상에서 대상체(20)에 대한 영역과 배경(background)에 대한 영역을 분리(또는 분할)할 수 있다. 대상체(20)에 대한 영역과 배경에 대한 영역의 분리는 다양한 영상 분할 알고리즘에 기초하여 수행될 수 있으며, 이에 대해서는 통상의 기술자에게 용이한바 자세한 설명은 생략하겠다. In detail, the
파라미터 획득부(120)는 획득된 영상에서 배경에 대한 영역이 분리되면, 대상체(20)에 대한 영역에서 대상체(20)를 구성하는 복수의 점 중 적어도 일부를 랜덤하게 추출하여 점 군을 생성할 수 있다. 점 군은 3차원의 정보일 수 있다. When the area of the background is separated from the acquired image, the
파라미터 획득부(120)는 추출된 점 군에 평면 근사를 적용하고, 이에 기초하여 획득되는 점 군 평면을 획득할 수 있다. 파라미터 획득부(120)는 획득된 점 군 평면과 구분되어 나타나는 이상점(outlier)을 제거할 수 있다. 이러한 경우, 점 군에 대해 보다 정확한 평면 근사가 수행될 수 있다. The
한편, 평면 근사는 평면방정식을 이용하여 점 군을 선형방정식의 형태로 구성하고, 이에 기초하여 평면 파라미터를 구함으로써 수행될 수 있다. 이와 관련된 보다 구체적인 설명은 도 4를 통해 후술하겠다. On the other hand, the plane approximation may be performed by constructing a point group in the form of a linear equation using a plane equation, and obtaining a plane parameter based on the plane equation. A more detailed description thereof will be described later with reference to FIG. 4.
만약, 영상 획득부(110)에 의해 획득되는 거리 정보를 포함하는 영상이 복수인 경우, 파라미터 획득부(120)는 획득되는 영상 각각에 대해 평면 근사를 수행할 수 있다. 예를 들어, 영상 획득부(110)에 의해 축 정렬이 수행된 상태의 대상체(20)에 대한 영상과 특정 축으로 대상체(20)가 이동하는 경우의 영상이 획득되는 경우, 파라미터 획득부(120)는 획득된 영상 각각에 대해 상술한 평면 근사를 수행할 수 있다. If there are a plurality of images including distance information acquired by the
파라미터 획득부(120)는 대상체(20)의 특정 축을 기준으로 획득되는 평면의 제1 법선 벡터와, 대상체(20)가 한 축 방향으로 이동하는 경우 대상체(20)가 이동하는 평면에 대한 제2 법선 벡터를 파라미터로서 획득할 수 있다.The
여기서, 제1 법선 벡터는 대상체(20)가 이동하는 평면에 대한 것이기 때문에 대상체(20)의 움직임(또는 움직이는 변위)를 나타내는 파라미터일 수 있다. 점 군 평면은 대상체(20)가 이동하지 않은 상태, 즉 초기 상태(또는 중립 상태)에서 획득되는 평면일 수 있으며, 이에 따라, 제2 법선 벡터는 대상체(20)의 초기 상태를 나타내는 파라미터일 수 있다. Here, the first normal vector may be a parameter representing the movement (or moving displacement) of the
기울기 추정부(130)는 획득된 파라미터에 대해 회전변환 행렬을 적용함에 기초하여 점 군 평면과 관련된 기울기를 추정(또는 산출)할 수 있다. 구체적으로, 기울기 추정부(130)는 제1 법선 벡터와 제2 법선 벡터를 이용함으로써 영상 획득부(110)(또는 영상 기반 계측 장치(10))와 대상체(20) 간의 회전변환 행렬을 구할 수 있다. The
예를 들어, 기울기 추정부(130)는 제1 법선 벡터와 제2 법선 벡터에 회전변환 행렬을 적용하여, 제2 법선 벡터에 대한 제1 법선 벡터의 기울기를 추정할 수 있다. 여기서, 제1 법선 벡터는 대상체(20)의 이동과 관련된 축, 즉 제2 축에 대한 평면의 법선 벡터이고, 제2 법선 벡터는 초기에 축 정렬이 수행되었을 때의 축, 즉 제1 축에 대한 평면의 법선 벡터이기 때문에, 기울기 추정부(130)에 의해 추정되는 기울기는 기본 축을 기준으로 대상체(20)가 움직인 변위에 대한 기울기를 나타내는 것일 수 있다. For example, the
분석부(140)는 대상체(20)의 기하정보와 추정된 기울기에 기초하여 대상체(20)의 움직임의 변위 또는 각도를 분석할 수 있다. 여기서, 대상체(20)의 기하정보는, 대상체(20)의 측정하고자 하는 부분의 실제 위치를 반영하는 기지정된 값으로, 대상체(20)의 중심축으로부터의 상대위치, 크기 및 각도 중 적어도 하나에 대한 정보를 포함할 수 있다. The
정렬부(150)는 영상 기반 계측 장치(10)의 초기화를 수행하거나 영상 기반 계측 장치(10)와 대상체(20) 간의 축 정렬을 수행할 수 있다. 여기서, 축은 물체의 중심이 되는 중심 축을 지칭하는 것으로 축의 측정 또는 정렬은 통상의 기술자에게 용이한바 자세한 설명을 생략하겠다. The
구체적으로, 정렬부(150)는 보다 정확한 변위 측정을 위해 영상 기반 계측 장치(10)의 초기화를 수행하거나 영상 기반 계측 장치(10)와 대상체(20) 간의 축 정렬을 수행할 수 있다. In detail, the
정렬부(150)는 다양한 방법으로 축 정렬을 수행할 수 있다. 예를 들어, 기준 축인 제1 축이 기지정된 경우, 정렬부(150)는 영상 기반 계측 장치(10)의 축과 대상체(20)의 축이 제1 축에 대응하도록 축 정렬을 수행할 수 있다. 다른 예를 들면, 영상 기반 계측 장치(10)의 축이 제1 축일 수 있으며, 정렬부(150)는 대상체(20)의 축이 제1 축이 되도록 대상체(20)의 축을 정렬할 수 있다. The
한편, 경우에 따라 정렬부(150)는 생략될 수도 있고, 이러한 경우 축 정렬이 수행된 축 대신 기지정된 축이 제1 축으로 설정될 수 있다. In some cases, the
경우에 따라, 대상체(20)는 제2 축 이외에도 다양한 축에 기초하여 움직일 수 있는데, 이러한 경우, 영상 획득부(110), 파라미터 획득부(130), 기울기 추정부(140) 각각은 대상체(20)가 움직일 수 있는 축 마다 상술한 동작를 반복하여 각 축과 관련된 기울기를 추정할 수 있다. In some cases, the
도 3은 본 발명의 일 실시예에 따른 영상 기반 계측 방법의 각 단계의 흐름을 도시한다. 도 3에 도시된 방법의 각 단계는 경우에 따라 도면에 도시된 바와 그 순서를 달리하여 수행될 수 있음은 물론이다. 또한, 이하 도 3에서는 도 1 또는 도 2와 중복되는 내용이 생략될 수도 있다.3 shows a flow of each step of the image-based measurement method according to an embodiment of the present invention. Each step of the method shown in FIG. 3 may be performed in a different order from that shown in the drawing in some cases. In addition, in FIG. 3, content overlapping with FIG. 1 or FIG. 2 may be omitted.
도 3을 참조하면, 정렬부(150)는 영상 기반 계측 장치(10)와 대상체(20) 간의 축 정렬을 수행할 수 있다(S110). 축 정렬이 수행되어 기본 축으로 지정되는 축은 제1 축으로 지칭될 수 있다. 또한, 경우에 따라, 정렬부(150)는 축 정렬과 함께 또는 축 정렬과는 별개로 보다 정확한 계측을 위해 영상 기반 계측 장치(10)의 초기화를 수행할 수 있다. Referring to FIG. 3, the
영상 획득부(110)는 대상체(20)의 거리 정보를 포함하는 영상을 획득할 수 있다(S120). 구체적으로, 영상 획득부(110)는 제1 축 기준의 축 정렬이 유지되는 상태의 대상체(20)에 대한 영상과 제2 축을 기준으로 움직이는 상태의 대상체에 대한 영상을 획득할 수 있으며, 각각의 영상에는 대상체(20)와 영상 획득부(110) 사이의 거리를 나타내는 거리 정보가 포함되어 있을 수 있다. The
파라미터 획득부(120)는 획득된 영상의 대상체(20)의 거리 정보를 나타내는 점 군에 대해 평면 근사를 적용하여 복수의 점 군 평면을 획득함에 기초하여 상기 복수의 점 군 평면 각각과 관련된 파라미터를 획득할 수 있다(S130). The
복수의 점 군 평면은, 제1 축을 포함하는 평면에 대한 제1 점 군 평면과 상기 제2 축을 포함하는 평면에 대한 제2 점 군 평면을 포함할 수 있다. 파라미터는 제1 축을 포함하는 평면에 대한 제1 법선 벡터와 제2 축을 포함하는 평면에 대한 제2 법선 벡터를 포함할 수 있다. The plurality of point group planes may include a first point group plane relative to a plane including a first axis and a second point group plane relative to a plane including the second axis. The parameter may include a first normal vector for the plane that includes the first axis and a second normal vector for the plane that includes the second axis.
한편, 파라미터는 평면 근사를 이용하여 복수의 점 군 평면을 획득할 수 있는데, 이와 관련된 보다 구체적인 설명은 도 4를 통해 후술하겠다. Meanwhile, the parameter may obtain a plurality of point group planes using plane approximation, which will be described later with reference to FIG. 4.
기울기 추정부(130)는 파라미터에 대해 회전변환 행렬을 적용함에 기초하여, 복수의 점 군 평면과 관련된 기울기를 추정할 수 있다(S140). 복수의 점 군 평면과 관련된 기울기는 제2 법선 벡터의 제1 법선 벡터에 대한 기울기를 포함할 수 있다. The
구체적으로, 기울기 추정부(130)는 제1 법선 벡터와 제2 법선 벡터에 대해 회전변환 행렬을 적용함으로써, 제2 법선 벡터의 제1 법선 벡터에 대한 기울기를 추정할 수 있다. In detail, the
한편, 대상체(20)는 제2 축 이외에도 다양한 축에 기초하여 움직일 수 있으며, 이러한 경우, 대상체(20)가 움직일 수 있는 축 마다 상술한 S120 단계 내지 S140 단계를 반복하여 각 축과 관련된 기울기를 추정할 수 있다. Meanwhile, the
분석부(140)는 추정된 기울기와 대상체(20)의 기하정보를 이용하여 대상체(20)의 움직임을 분석할 수 있다. 구체적으로, 분석부(140)는 추정된 기울기와 대상체(20)의 실제 기하정보를 이용하여 대상체(20)의 움직임의 변위 또는 각도를 분석할 수 있다. The
대상체(20)의 기하정보는, 대상체(20)의 측정하고자 하는 부분의 실제 위치를 반영하는 기지정된 값으로, 대상체(20)의 중심축으로부터의 상대위치, 크기 및 각도 중 적어도 하나에 대한 정보를 포함할 수 있다. 여기서, 중심축은 기지정된 축일 수 있다. The geometric information of the
만약, 추정된 기울기가 복수개인 경우, 분석부(140)는 추정된 기울기를 통합적으로 고려하여 대상체(20)의 움직임의 변위 또는 각도를 분석할 수 있다. If there are a plurality of estimated tilts, the
도 4는 본 발명의 일 실시예에 따른 영상 기반 계측 방법의 파라미터를 획득하는 단계의 구체적인 흐름을 도시한다. 4 illustrates a detailed flow of obtaining a parameter of an image-based measuring method according to an embodiment of the present invention.
도 4를 참조하면, 파라미터 획득부(120)는 영상 획득부(110)에 의해 획득된 영상에서 대상체(20)에 대한 영역과 배경(background)에 대한 영역을 분리할 수 있다(S210). 여기서, 배경은 대상체(20)를 제외한 나머지 영역을 의미할 수 있다. Referring to FIG. 4, the
파라미터 획득부(120)는 대상체(20)에 대한 영역에서 대상체(20)를 구성하는 복수의 점으로 점 군을 생성할 수 있다(S220). 여기서, 복수의 점은 획득된 영상에서 대상체(20)의 형상을 구성하는 선 또는 면을 이루기 위한 점을 포함할 수 있다. 예를 들어, 파라미터 획득부(120)는 대상체(20)에 대한 영역에서 나타나는 거리에 대한 정보가 3차원의 점 군으로 나타나도록 변환할 수 있다. The
경우에 따라, 파라미터 획득부(120)는 대상체(20)에 대한 영역에서 대상체(20)를 구성하는 복수의 점 중 적어도 일부를 랜덤하게 추출하여 점 군을 생성할 수도 있다. In some cases, the
파라미터 획득부(120)는 점 군에 평면 근사가 적용됨에 기초하여 획득되는 점 군 평면과 구분되어 나타나는 이상점을 제거할 수 있다(S230). 구체적으로, 파라미터 획득부(120)는 점 군에 평면 근사를 적용할 수 있으며, 이러한 경우 나타나는 이상점을 제거할 수 있다(S230). The
예를 들어, 파라미터 획득부(120)는 하기의 수학식 1을 이용하여 점 군이 선형방정식의 형태로 나타나도록 할 수 있다. For example, the
수학식 1을 참조하면, (x1, y1, z1), (x2, y2, z2), (xn, yn, zn) 각각은 점 군을 구성하는 점의 x, y, z 좌표이고, a, b, c는 평면 파라미터이다. Referring to Equation 1, each of (x 1 , y 1 , z 1 ), (x 2 , y 2 , z 2 ), (x n , y n , z n ) is an x, y, z coordinates, and a, b, c are plane parameters.
파라미터 획득부(120)는 점 군을 구성하는 각각의 점에 대해 ax+by+c=z와 같은 형태의 평면방정식에 기초하여 점 군에 대한 선형방정식 Ax=b를 도출할 수 있다. 이에 따라, 점 군으로 구성되는 평면이 획득됨으로써 평면 근사가 수행될 수 있다. The
경우에 따라, 파라미터 획득부(120)는 선형방정식의 도출을 점 군을 구성하는 각각의 점들 중 일부를 추출하여 수행할 수 있고, 이에 기초하여 평면 근사가 수행되도록 하여 점 군 평면을 생성할 수도 있다. 이러한 경우, 점 군을 구성하는 복수의 점 중 점 군 평면과 소정 거리이상 떨어진 점이 존재할 수 있으며, 파라미터 획득부(120)는 이러한 점을 이상점으로 결정하고 이를 제거할 수 있다. In some cases, the
이와 같은 이상점 제거는 RANSAC 알고리즘에 기초하여 수행될 수도 있으며 이에 대해서는 통상의 기술자에게 용이한바 구체적인 설명을 생략하겠다. Such abnormal point removal may be performed based on the RANSAC algorithm, which will not be described in detail as it is easy for a person skilled in the art.
본 발명의 일 실시예에 따른 영상 기반 계측 장치 및 방법은, 대상체(20)에 대해 영상을 획득하고 이를 분석하여 대상체(20)의 움직임을 분석함으로써, 분석하고자 하는 대상체(20)가 변경되더라도 동일한 방식으로 계측을 수행할 수 있다. Image-based measuring apparatus and method according to an embodiment of the present invention, by acquiring an image of the
본 발명의 일 실시예에 따른 영상 기반 계측 장치 및 방법은, 획득된 영상에서 대상체(20)에 대한 점 군의 평면 근사를 수행하여 이상점을 제거하여 대상체(20)의 움직임을 분석함으로써 보다 정확하게 대상체(20)의 움직임을 분석할 수 있다. Image-based measuring apparatus and method according to an embodiment of the present invention, by performing a planar approximation of the point group to the
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each block of the block diagrams and each step of the flowcharts attached herein may be performed by computer program instructions. These computer program instructions may be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment such that instructions executed through the processor of the computer or other programmable data processing equipment may not be included in each block or flowchart of the block diagram. It will create means for performing the functions described in each step. These computer program instructions may be stored in a computer usable or computer readable memory that can be directed to a computer or other programmable data processing equipment to implement functionality in a particular manner, and thus the computer usable or computer readable memory. It is also possible for the instructions stored in to produce an article of manufacture containing instruction means for performing the functions described in each block or flowchart of each step of the block diagram. Computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operating steps may be performed on the computer or other programmable data processing equipment to create a computer-implemented process to create a computer or other programmable data. Instructions that perform processing equipment may also provide steps for performing the functions described in each block of the block diagram and in each step of the flowchart.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block or step may represent a portion of a module, segment or code that includes one or more executable instructions for executing a specified logical function (s). It should also be noted that in some alternative embodiments, the functions noted in the blocks or steps may occur out of order. For example, the two blocks or steps shown in succession may in fact be executed substantially concurrently or the blocks or steps may sometimes be performed in the reverse order, depending on the functionality involved.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential quality of the present invention. Therefore, the embodiments disclosed herein are not intended to limit the technical spirit of the present invention but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas that fall within the scope of equivalents should be construed as being included in the scope of the present invention.
10: 영상 기반 계측 장치
20: 대상체
110: 영상 획득부
120: 파라미터 획득부
130: 기울기 추정부
140: 분석부
150: 정렬부 10: image-based measuring device
20: object
110: image acquisition unit
120: parameter acquisition unit
130: slope estimation unit
140: analysis unit
150: alignment unit
Claims (17)
상기 획득된 영상의 상기 대상체의 거리 정보를 나타내는 점 군(point group)에 대해 평면 근사를 적용하여 복수의 점 군 평면을 획득함에 기초하여 상기 복수의 점 군 평면 각각과 관련된 파라미터를 획득하는 파라미터 획득부와,
상기 획득된 파라미터에 대해 회전변환 행렬을 적용함에 기초하여, 상기 복수의 점 군 평면과 관련된 기울기를 추정하는 기울기 추정부와,
상기 추정된 기울기와 상기 대상체의 기하정보를 이용하여 상기 대상체의 움직임을 분석하는 분석부를 포함하고,
상기 분석부는,
상기 대상체의 기하정보와 상기 추정된 기울기와의 차이에 기초하여 상기 대상체의 움직임의 변위 또는 각도를 분석하고,
상기 대상체의 기하정보는,
상기 대상체의 측정하고자 하는 부분의 실제 위치를 반영하여 기지정된 값으로, 상기 대상체의 중심축으로부터의 상대위치, 크기 및 각도 중 적어도 하나에 대한 정보를 포함하는
영상 기반 계측 장치.
An image obtaining unit obtaining an image including distance information of the object;
Acquiring a parameter for obtaining a parameter associated with each of the plurality of point group planes based on obtaining a plurality of point group planes by applying plane approximation to a point group representing distance information of the object of the acquired image Wealth,
A slope estimator for estimating slopes associated with the plurality of point group planes based on applying a rotation transformation matrix to the obtained parameters;
An analysis unit for analyzing the movement of the object using the estimated slope and the geometric information of the object,
The analysis unit,
Analyze the displacement or angle of the movement of the object based on the difference between the geometric information of the object and the estimated slope,
The geometric information of the object,
The predetermined value reflects the actual position of the portion to be measured of the object, and includes information on at least one of relative position, size, and angle from the central axis of the object.
Image-Based Instrumentation.
상기 영상 기반 계측 장치와 상기 대상체 간의 제1 축을 기준으로 축 정렬을 수행하는 정렬부를 더 포함하고,
상기 획득된 영상은,
상기 제1 축 기준의 축 정렬이 유지되는 상태의 대상체에 대한 영상과 제2 축을 기준으로 움직이는 대상체에 대한 영상을 포함하는
영상 기반 계측 장치.
The method of claim 1,
The apparatus may further include an alignment unit configured to perform axis alignment based on a first axis between the image-based measuring device and the object.
The obtained image,
And an image of an object moving based on a second axis and an image of an object in which an axis alignment of the first axis is maintained.
Image-Based Instrumentation.
상기 복수의 점 군 평면은,
상기 제1 축을 포함하는 평면에 대한 제1 점 군 평면과 상기 제2 축을 포함하는 평면에 대한 제2 점 군 평면을 포함하고,
상기 파라미터는,
상기 제1 축을 포함하는 평면에 대한 제1 법선 벡터와, 상기 제2 축을 포함하는 평면에 대한 제2 법선 벡터를 포함하는
영상 기반 계측 장치.
The method of claim 2,
The plurality of point group planes,
A first point group plane for the plane that includes the first axis and a second point group plane for the plane that includes the second axis,
The parameter is
A first normal vector for the plane that includes the first axis and a second normal vector for the plane that includes the second axis
Image-Based Instrumentation.
상기 기울기 추정부는,
상기 제1 법선 벡터와 상기 제2 법선 벡터에 대해 회전변환 행렬을 적용함에 기초하여 상기 제1 점 군 평면에 대한 상기 제2 점 군 평면의 기울기를 추정하는
영상 기반 계측 장치.
The method of claim 3,
The slope estimator,
Estimating a slope of the second point group plane with respect to the first point group plane based on applying rotation transformation matrices to the first normal vector and the second normal vector
Image-Based Instrumentation.
상기 거리 정보는,
상기 영상 획득부로부터 상기 대상체를 구성하는 복수의 점까지의 거리를 나타내는 정보를 포함하고,
상기 점 군은 상기 복수의 점을 포함하는
영상 기반 계측 장치.
The method of claim 1,
The distance information is,
Includes information indicating the distance from the image acquisition unit to a plurality of points constituting the object,
The point group includes the plurality of points
Image-Based Instrumentation.
상기 파라미터 획득부는,
상기 획득된 영상에서 상기 대상체에 대한 영역과 배경(background)에 대한 영역을 분리하고,
상기 대상체에 대한 영역에서 상기 대상체를 구성하는 복수의 점 중 적어도 일부를 랜덤하게 추출하여 상기 점 군을 생성하고,
상기 복수의 점은 상기 대상체의 거리 정보를 포함하는
영상 기반 계측 장치.
The method of claim 1,
The parameter obtaining unit,
Separating the area of the object from the area of the background from the acquired image,
Generating the point group by randomly extracting at least some of the plurality of points constituting the object from the region of the object,
The plurality of points includes distance information of the object.
Image-Based Instrumentation.
상기 파라미터 획득부는,
상기 생성된 점 군에 평면 근사가 적용됨에 기초하여 획득되는 점 군 평면과 구분되어 나타나는 이상점(outlier)을 제거하는
영상 기반 계측 장치.
The method of claim 6,
The parameter obtaining unit,
Eliminating outliers that are distinguished from the point group plane obtained based on the plane approximation applied to the generated point group
Image-Based Instrumentation.
상기 획득된 영상의 상기 대상체의 거리 정보를 나타내는 점 군(point group)에 대해 평면 근사를 적용하여 복수의 점 군 평면을 획득함에 기초하여 상기 복수의 점 군 평면 각각과 관련된 파라미터를 획득하는 단계와,
상기 획득된 파라미터에 대해 회전변환 행렬을 적용함에 기초하여, 상기 복 수의 점 군 평면과 관련된 기울기를 추정하는 단계와,
상기 추정된 기울기와 상기 대상체의 기하정보를 이용하여 상기 대상체의 움직임을 분석하는 단계를 포함하고,
상기 분석하는 단계는,
상기 대상체의 기하정보와 상기 추정된 기울기와의 차이에 기초하여 상기 대상체의 움직임의 변위 또는 각도를 분석하는 단계를 포함하고,
상기 대상체의 기하정보는,
상기 대상체의 측정하고자 하는 부분의 실제 위치를 반영하여 기지정된 값으로, 상기 대상체의 중심축으로부터의 상대위치, 크기 및 각도 중 적어도 하나에 대한 정보를 포함하는
영상 기반 계측 방법.
Obtaining an image including distance information of the object;
Acquiring a parameter associated with each of the plurality of point group planes based on obtaining a plurality of point group planes by applying plane approximation to a point group representing distance information of the object of the acquired image; ,
Estimating a slope associated with the plurality of point group planes based on applying a rotation transformation matrix to the obtained parameters;
Analyzing the movement of the object by using the estimated slope and the geometric information of the object,
The analyzing step,
Analyzing a displacement or an angle of the movement of the object based on a difference between the geometric information of the object and the estimated slope,
The geometric information of the object,
The predetermined value reflects the actual position of the portion to be measured of the object, and includes information on at least one of relative position, size, and angle from the central axis of the object.
Image based measurement method.
상기 영상 기반 계측 장치와 상기 대상체 간의 제1 축을 기준으로 축 정렬을 수행하는 단계를 더 포함하고,
상기 획득된 영상은,
상기 제1 축 기준의 축 정렬이 유지되는 상태의 대상체에 대한 영상과 제2 축을 기준으로 움직이는 상태의 대상체에 대한 영상을 포함하는
영상 기반 계측 방법.
The method of claim 9,
And performing axis alignment based on a first axis between the image-based measuring device and the object.
The obtained image,
And an image of the object in a state where the axis alignment of the first axis is maintained and an image of the object in a state of moving relative to the second axis.
Image based measurement method.
상기 복수의 점 군 평면은,
상기 제1 축을 포함하는 평면에 대한 제1 점 군 평면과 상기 제2 축을 포함하는 평면에 대한 제2 점 군 평면을 포함하고,
상기 파라미터는,
상기 제1 축을 포함하는 평면에 대한 제1 법선 벡터와, 상기 제2 축을 포함하는 평면에 대한 제2 법선 벡터를 포함하는
영상 기반 계측 방법.
The method of claim 10,
The plurality of point group planes,
A first point group plane for the plane that includes the first axis and a second point group plane for the plane that includes the second axis,
The parameter is
A first normal vector for the plane that includes the first axis and a second normal vector for the plane that includes the second axis
Image based measurement method.
상기 기울기를 추정하는 단계는,
상기 제1 법선 벡터와 상기 제2 법선 벡터에 대해 회전변환 행렬을 적용함에 기초하여 상기 제1 점 군 평면에 대한 상기 제2 점 군 평면의 기울기를 추정하는 단계를 포함하는
영상 기반 계측 방법.
The method of claim 11,
Estimating the slope,
Estimating the slope of the second point group plane relative to the first point group plane based on applying rotation transformation matrices to the first normal vector and the second normal vector;
Image based measurement method.
상기 거리 정보는,
상기 영상을 획득하는 단계로부터 상기 대상체를 구성하는 복수의 점까지의 거리를 나타내는 정보를 포함하고,
상기 점 군은 상기 복수의 점을 포함하는
영상 기반 계측 방법.
The method of claim 9,
The distance information is,
It includes information indicating the distance from the step of obtaining the image to a plurality of points constituting the object,
The point group includes the plurality of points
Image based measurement method.
상기 파라미터를 획득하는 단계는,
상기 획득된 영상에서 상기 대상체에 대한 영역과 배경(background)에 대한 영역을 분리하는 단계와,
상기 대상체에 대한 영역에서 상기 대상체를 구성하는 복수의 점 중 적어도 일부를 랜덤하게 추출하여 상기 점 군을 생성하는 단계를 더 포함하고,
상기 복수의 점은 상기 대상체의 거리 정보를 포함하는
영상 기반 계측 방법.
The method of claim 9,
Acquiring the parameter,
Separating an area of the object and an area of a background from the obtained image;
Generating at least one point group by randomly extracting at least some of a plurality of points constituting the object from a region of the object,
The plurality of points includes distance information of the object.
Image based measurement method.
상기 파라미터를 획득하는 단계는,
상기 생성된 점 군에 평면 근사가 적용됨에 기초하여 획득되는 점 군 평면과 구분되어 나타나는 이상점(outlier)을 제거하는
영상 기반 계측 방법.
The method of claim 14,
Acquiring the parameter,
Eliminating outliers that are distinguished from the point group plane obtained based on the plane approximation applied to the generated point group
Image based measurement method.
상기 획득된 영상의 상기 대상체의 거리 정보를 나타내는 점 군(point group)에 대해 평면 근사를 적용하여 복수의 점 군 평면을 획득함에 기초하여 상기 복수의 점 군 평면 각각과 관련된 파라미터를 획득하는 단계와,
상기 획득된 파라미터에 대해 회전변환 행렬을 적용함에 기초하여, 상기 복수의 점 군 평면과 관련된 기울기를 추정하는 단계와,
상기 추정된 기울기와 상기 대상체의 기하정보를 이용하여 상기 대상체의 움직임을 분석하는 단계를 수행하도록 프로그램되고,
상기 분석하는 단계는,
상기 대상체의 기하정보와 상기 추정된 기울기와의 차이에 기초하여 상기 대상체의 움직임의 변위 또는 각도를 분석하는 단계를 포함하고,
상기 대상체의 기하정보는,
상기 대상체의 측정하고자 하는 부분의 실제 위치를 반영하여 기지정된 값으로, 상기 대상체의 중심축으로부터의 상대위치, 크기 및 각도 중 적어도 하나에 대한 정보를 포함하는
컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 기록매체.Obtaining an image including distance information of the object;
Acquiring a parameter associated with each of the plurality of point group planes based on obtaining a plurality of point group planes by applying plane approximation to a point group representing distance information of the object of the acquired image; ,
Estimating a slope associated with the plurality of point group planes based on applying a rotation transformation matrix to the obtained parameters;
And analyzing the movement of the object using the estimated slope and the geometric information of the object,
The analyzing step,
Analyzing a displacement or an angle of the movement of the object based on a difference between the geometric information of the object and the estimated slope,
The geometric information of the object,
The predetermined value reflects the actual position of the portion to be measured of the object, and includes information on at least one of relative position, size, and angle from the central axis of the object.
A computer readable recording medium storing a computer program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190074306A KR102063845B1 (en) | 2019-06-21 | 2019-06-21 | Apparatus and method for measurement based on images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190074306A KR102063845B1 (en) | 2019-06-21 | 2019-06-21 | Apparatus and method for measurement based on images |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102063845B1 true KR102063845B1 (en) | 2020-01-08 |
Family
ID=69154130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190074306A KR102063845B1 (en) | 2019-06-21 | 2019-06-21 | Apparatus and method for measurement based on images |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102063845B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102309278B1 (en) * | 2021-03-31 | 2021-10-07 | 주식회사 일루베이션 | 3D image processing device and method for weighing livestock |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100480780B1 (en) | 2002-03-07 | 2005-04-06 | 삼성전자주식회사 | Method and apparatus for tracking an object from video data |
KR20090050567A (en) * | 2007-11-16 | 2009-05-20 | 전자부품연구원 | Method for object pose recognition of robot by using tof camera |
KR20130021018A (en) * | 2011-08-22 | 2013-03-05 | 삼성전자주식회사 | Method for separating object in three dimension point clouds |
JP2017003363A (en) * | 2015-06-08 | 2017-01-05 | 株式会社パスコ | Position estimation method, position estimation device, and position estimation program |
KR20180045745A (en) * | 2016-10-26 | 2018-05-04 | 삼성에스디에스 주식회사 | Apparatus and method for extracting objects in view point of moving vehicle |
-
2019
- 2019-06-21 KR KR1020190074306A patent/KR102063845B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100480780B1 (en) | 2002-03-07 | 2005-04-06 | 삼성전자주식회사 | Method and apparatus for tracking an object from video data |
KR20090050567A (en) * | 2007-11-16 | 2009-05-20 | 전자부품연구원 | Method for object pose recognition of robot by using tof camera |
KR20130021018A (en) * | 2011-08-22 | 2013-03-05 | 삼성전자주식회사 | Method for separating object in three dimension point clouds |
JP2017003363A (en) * | 2015-06-08 | 2017-01-05 | 株式会社パスコ | Position estimation method, position estimation device, and position estimation program |
KR20180045745A (en) * | 2016-10-26 | 2018-05-04 | 삼성에스디에스 주식회사 | Apparatus and method for extracting objects in view point of moving vehicle |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102309278B1 (en) * | 2021-03-31 | 2021-10-07 | 주식회사 일루베이션 | 3D image processing device and method for weighing livestock |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11004261B2 (en) | Method, device, computer system, and mobile apparatus for generating three-dimensional point cloud | |
EP3871190B1 (en) | Camera pose estimation using obfuscated features | |
US10288418B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US9429418B2 (en) | Information processing method and information processing apparatus | |
KR101808840B1 (en) | Depth information extracting method based on machine learning and apparatus thereof | |
EP2531980B1 (en) | Depth camera compatibility | |
WO2020236307A1 (en) | Image-based localization | |
EP3159121A1 (en) | Device for updating map of mobile robot and method therefor | |
US10895458B2 (en) | Method, apparatus, and system for determining a movement of a mobile platform | |
US20160094830A1 (en) | System and Methods for Shape Measurement Using Dual Frequency Fringe Patterns | |
CN105284108B (en) | Image monitoring system, monitoring arrangement | |
JP6889865B2 (en) | Template creation device, object recognition processing device, template creation method and program | |
US9930312B2 (en) | Apparatus and method of processing depth image using relative angle between image sensor and target object | |
JP6813025B2 (en) | Status determination device, status determination method, and program | |
JP6172432B2 (en) | Subject identification device, subject identification method, and subject identification program | |
EP3306529A1 (en) | Machine control measurements device | |
WO2018235219A1 (en) | Self-location estimation method, self-location estimation device, and self-location estimation program | |
KR102063845B1 (en) | Apparatus and method for measurement based on images | |
KR101931564B1 (en) | Device and method for processing image using image registration | |
JP2013196268A (en) | Object detection apparatus and object detection method | |
KR102410300B1 (en) | Apparatus for measuring position of camera using stereo camera and method using the same | |
US20220230459A1 (en) | Object recognition device and object recognition method | |
KR102067423B1 (en) | Three-Dimensional Restoration Cloud Point Creation Method Using GPU Accelerated Computing | |
KR101693811B1 (en) | Valve modeling method and apparatus | |
KR102325121B1 (en) | Real-time robot position estimation metod through map information and image matching and the robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |