KR20110058437A - Method and apparatus for detecting object - Google Patents

Method and apparatus for detecting object Download PDF

Info

Publication number
KR20110058437A
KR20110058437A KR1020090115232A KR20090115232A KR20110058437A KR 20110058437 A KR20110058437 A KR 20110058437A KR 1020090115232 A KR1020090115232 A KR 1020090115232A KR 20090115232 A KR20090115232 A KR 20090115232A KR 20110058437 A KR20110058437 A KR 20110058437A
Authority
KR
South Korea
Prior art keywords
image
unit
correlation
depth
reference image
Prior art date
Application number
KR1020090115232A
Other languages
Korean (ko)
Other versions
KR101104296B1 (en
Inventor
김은수
김승철
Original Assignee
광운대학교 산학협력단
김승철
김은수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단, 김승철, 김은수 filed Critical 광운대학교 산학협력단
Priority to KR1020090115232A priority Critical patent/KR101104296B1/en
Publication of KR20110058437A publication Critical patent/KR20110058437A/en
Application granted granted Critical
Publication of KR101104296B1 publication Critical patent/KR101104296B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: A method and apparatus for detecting an object are provided to extract a depth about an object of which a pre-stored reference image is not prepared. CONSTITUTION: A pick up unit(120) creates a reference image. A restoration unit(140) restores the reference frame. A second pick-up part(150) picks up a plane restoration image. A correlation calculator(160) produces the correlation between a unit block of the object image and the reference image. A classification unit(180) creates the classification integration image by depth.

Description

물체 인식 방법 및 장치{Method and apparatus for detecting object}Method and apparatus for detecting objects {Method and apparatus for detecting object}

본 발명은 3차원 영상 기술에 관한 것으로, 상세하게는 3차원 영상에 포함된 물체를 인식하는 방법 및 장치에 관한 것이다.The present invention relates to three-dimensional imaging technology, and more particularly, to a method and apparatus for recognizing an object included in a three-dimensional image.

최근 3차원 물체 인식에 관한 연구 및 시스템 구현에 대해 많은 연구가 진행되고 있다. 특히 3차원 물체 인식을 위해 3차원 영상을 기록하고 복원할 수 있는 집적영상 기술이 도입되고 있다. Recently, a lot of researches have been conducted on the research on the 3D object recognition and the system implementation. In particular, integrated image technology capable of recording and reconstructing 3D images for 3D object recognition has been introduced.

집적영상 기술은 픽업과 복원 과정을 포함한다. 픽업 과정은 3차원 물체에 대한 렌즈 배열을 통하여 요소 영상 배열(EIA : Elemental Image Array)의 형태로 저장하는 단계이다. Integrated imaging techniques include pickup and retrieval processes. The pickup process is a step of storing in the form of an elemental image array (EIA) through a lens array for a three-dimensional object.

복원 과정은 요소 영상 배열을 디스플레이하고, 다시 렌즈 배열을 통과시켜 원래의 위치에 3차원 영상을 복원하는 단계이다.The reconstruction process is a step of displaying the element image array and restoring the 3D image to its original position by passing the lens array again.

복원 과정을 거친 3차원 영상은 깊이 별 평면 영상으로 표현할 수 있다. 이 때, 종래 물체 인식 방법은 각 평면 영상들과 특정 물체를 나타내는 참조 영상 간 의 코릴레이션을 이용하여 3차원 영상에 포함된 참조 영상이 나타내는 물체를 인식한다.The 3D image that has been reconstructed may be represented as a planar image for each depth. In this case, the conventional object recognition method recognizes an object indicated by the reference image included in the 3D image by using a correlation between the planar images and the reference image representing the specific object.

이러한 물체 인식 방법은 참조 영상을 미리 저장하여야 하는 제약 조건이 있다.This object recognition method has a constraint that a reference image must be stored in advance.

본 발명이 해결하고자 하는 과제는 집적 영상을 복원한 평면 복원 영상을 컴퓨터적 픽업 방법을 이용하여 다시 픽업함으로써, 미리 저장된 참조 영상 없이 물체의 깊이를 제공하는 것이다.An object of the present invention is to pick up a planar reconstructed image reconstructed from an integrated image by using a computer pickup method, thereby providing a depth of an object without a previously stored reference image.

본 발명의 해결하고자 하는 또 다른 과제는 단위 블록을 깊이 별로 분류함으로써, 노이즈가 적은 평면 복원 영상을 제공하는 것이다.Another object of the present invention is to provide a planar reconstructed image with low noise by classifying unit blocks by depth.

본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.Technical problems other than the present invention will be easily understood through the following description.

본 발명의 일 측면에 따르면, 물체를 촬영하여 참조 영상을 생성하는 제1 픽업부;상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 복원부; 상기 평면 복원 영상을 픽업하여 대상 영상을 생성하는 제2 픽업부; 상기 참조 영상과 상기 대상 영상의 단위 블록 간의 상관도를 산출하는 상관도 산출부; 상기 참조 영 상의 단위 블록에 상응하는 상기 상관도 중 최대인 상관도에 상응하는 깊이를 상기 단위 블록에 상응하는 깊이로 검출하는 깊이 검출부; 및 상기 단위 블록을 깊이 별로 분류하고, 분류된 상기 단위 블록을 포함하는 깊이 별 분류 집적 영상을 생성하는 분류부를 포함하는 물체 인식 장치가 제공된다.According to an aspect of the present invention, a first pickup unit for photographing an object to generate a reference image; a restoration unit for generating a planar reconstruction image for each depth by reconstructing the reference image; A second pickup unit which picks up the planar reconstructed image and generates a target image; A correlation calculator calculating a correlation between the reference image and the unit block of the target image; A depth detector for detecting a depth corresponding to a maximum correlation among the correlations corresponding to a unit block of the reference image as a depth corresponding to the unit block; And a classification unit classifying the unit blocks by depth and generating a classification integrated image for each depth including the classified unit blocks.

본 발명의 다른 측면에 따르면, 물체 인식 장치가 물체를 인식하는 방법에 있어서,물체를 촬영하여 참조 영상을 생성하는 단계; 상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 단계; 상기 평면 복원 영상을 픽업하여 대상 영상을 생성하는 단계; 상기 참조 영상과 상기 대상 영상의 단위 블록 간의 상관도를 산출하는 단계; 상기 참조 영상의 단위 블록에 상응하는 상기 상관도 중 최대인 상관도에 상응하는 깊이를 상기 단위 블록에 상응하는 깊이로 검출하는 단계; 및 상기 단위 블록을 깊이 별로 분류하고, 분류된 상기 단위 블록을 포함하는 깊이 별분류 집적 영상을 생성하는 단계를 포함하는 깊이 검출 방법이 제공된다.According to another aspect of the present invention, a method for recognizing an object by an object recognition apparatus, the method comprising: generating a reference image by photographing an object; Restoring the reference image to generate a planar reconstruction image for each depth; Picking up the planar reconstructed image to generate a target image; Calculating a correlation between the reference image and the unit block of the target image; Detecting a depth corresponding to a maximum correlation among the correlations corresponding to a unit block of the reference image as a depth corresponding to the unit block; And classifying the unit blocks according to depths, and generating a depth classification image including the classified unit blocks.

본 발명의 일 실시예에 따르면, 미리 저장된 참조 영상 없이 3차원 영상에 포함된 물체의 3차원 좌표를 제공함으로써, 참조 영상이 준비되지 않은 물체에 대한 깊이를 추출할 수 있다.According to an embodiment of the present invention, by providing three-dimensional coordinates of an object included in the three-dimensional image without a reference image stored in advance, it is possible to extract the depth of the object for which the reference image is not prepared.

본 발명의 일 실시예에 따르면, 평면 복원 영상의 노이즈가 제거됨에 따라, 물체의 형태가 선명하게 나타낼 수 있다.According to an embodiment of the present invention, as the noise of the planar reconstruction image is removed, the shape of the object may be clearly displayed.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. In the following description of the present invention, if it is determined that the detailed description of the related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 물체 인식 장치를 예시한 도면이다.1 is a diagram illustrating an object recognition apparatus according to an embodiment of the present invention.

도 1을 참조하면, 물체 인식 장치는 렌즈부(110), 광학 픽업부(120), 복원부(140), 컴퓨터 픽업부(150), 상관도 산출부(160), 깊이 검출부(170) 및 분류부(180)를 포함한다.Referring to FIG. 1, the object recognition apparatus includes a lens unit 110, an optical pickup unit 120, a restoration unit 140, a computer pickup unit 150, a correlation calculation unit 160, a depth detection unit 170, and The classification unit 180 is included.

렌즈부(110)는 집적 영상의 촬상 및 디스플레이를 위한 복수의 렌즈 또는 핀홀로 구성된 배열을 포함한다. The lens unit 110 includes an array of a plurality of lenses or pinholes for capturing and displaying an integrated image.

광학 픽업부(120)는 렌즈부(110)를 투과하여 투사된 빛을 감지하여 영상 데이터를 생성한다. 즉, 광학 픽업부(120)는 렌즈부(110)를 투과하여 투사된 빛을 감지하여 복수의 요소 영상(Elemental Image)를 포함하는 집적 영상인 참조 영상을 생성한다. 이하 참조 영상을 구성하는 요소 영상을 참조 요소 영상이라 지칭한다. 광학 픽업부(120)는 CCD 또는 CMOS를 포함할 수 있다.The optical pickup unit 120 generates the image data by sensing the projected light passing through the lens unit 110. That is, the optical pickup unit 120 detects the light projected through the lens unit 110 and generates a reference image which is an integrated image including a plurality of elemental images. Hereinafter, the element image constituting the reference image is referred to as a reference element image. The optical pickup unit 120 may include a CCD or a CMOS.

복원부(140)는 참조 영상을 컴퓨터적 복원 방법을 이용하여 평면 복원 영상(POI: Plane Object Image)를 생성한다. 이하, 참조 영상을 복원한 평면 복원 영상을 참조 복원 영상이라 지칭하도록 한다.The reconstruction unit 140 generates a plane reconstruction image (POI) using the computer-based reconstruction method for the reference image. Hereinafter, the planar reconstructed image from which the reference image is reconstructed will be referred to as a reference reconstructed image.

컴퓨터 픽업부(150)는 복원부(140)에서 복원된 각 평면 복원 영상을 렌즈 배열 또는 핀홀 배열을 통해 생성되는 과정을 시뮬레이션하여 집적 영상을 생성한다. 이하 시뮬레이션을 통해 생성된 집적 영상을 대상 영상이라 지칭하도록 한다. 즉, 컴퓨터 픽업부(150)는 가상의 컴퓨터 그래픽 모델을 렌즈 배열을 통해 감지하는 과정을 가상으로 수행하는 시뮬레이션을 통해 집적 영상을 생성하는 컴퓨터적 픽업 방법을 이용하여, 각 평면 복원 영상에 상응하는 집적 영상인 대상 영상을 생성한다. 이 때, 대상 영상을 구성하는 요소 영상을 대상 요소 영상이라 지칭하도록 한다. 평면 복원 영상의 대상 영상을 생성하는 과정은 추후 도 5를 참조하여 상세히 설명하도록 한다. 컴퓨터 픽업부(150)는 픽업한 대상 영상을 상관도 산출부(160)로 전송한다.The computer pickup unit 150 generates an integrated image by simulating a process of generating each planar reconstructed image restored by the reconstructor 140 through a lens array or a pinhole array. Hereinafter, the integrated image generated through the simulation will be referred to as a target image. That is, the computer pickup unit 150 corresponds to each planar reconstructed image by using a computer pickup method of generating an integrated image through a simulation of virtually detecting a virtual computer graphic model through a lens array. A target image that is an integrated image is generated. In this case, the element image constituting the target image is referred to as a target element image. A process of generating a target image of the planar reconstructed image will be described in detail later with reference to FIG. 5. The computer pickup unit 150 transmits the picked-up target image to the correlation calculator 160.

상관도 산출부(160)는 광학 픽업부(120)로부터 참조 영상을 수신하고, 컴퓨터 픽업부(150)로부터 대상 영상을 수신한다.The correlation calculator 160 receives a reference image from the optical pickup unit 120 and receives a target image from the computer pickup unit 150.

상관도 산출부(160)는 참조 영상과 이에 상응하는 대상 영상 간의 상관도를 산출한다. 본 실시예에서는 상관도를 NCC(Normalized Cross-Correlation)인 것으로 하여 설명하도록 하지만, 상관도가 NCC 이외의 다른 코릴레이션 방식으로 산출될 수 있음은 당업자에게 자명하다.The correlation calculator 160 calculates a correlation between the reference image and the corresponding target image. In the present embodiment, the correlation is described as being normalized cross-correlation (NCC), but it is apparent to those skilled in the art that the correlation may be calculated by a correlation method other than NCC.

상관도 산출부(160)는 대상 영상과 참조 영상 간의 상관도를 하기 수학식 1을 통해 산출할 수 있다.The correlation calculator 160 may calculate a correlation between the target image and the reference image through Equation 1 below.

[수학식 1][Equation 1]

Figure 112009072878454-PAT00001
Figure 112009072878454-PAT00001

이 때, S는 대상 영상에 포함된 특정 픽셀의 값이고, T는 참조 영상의 포함된 특정 픽셀의 값이고, S와 T는 동일 좌표에 위치한 픽셀의 값이고, NCC(S, T)는 대상 영상 및 참조 영상의 픽셀 간의 상관도이고, E(T)는 T가 포함된 참조 영상에 포함된 픽셀의 값들의 평균이고, E(S)는 S가 포함된 참조 영상에 포함된 픽셀의 값들의 평균이다. In this case, S is a value of a specific pixel included in the target image, T is a value of a specific pixel included in the reference image, S and T are values of pixels located at the same coordinates, and NCC (S, T) is a target. Correlation between pixels of an image and a reference image, E (T) is the average of the values of pixels included in the reference image containing T, and E (S) is the value of the pixels included in the reference image containing S Average.

즉, 상관도 산출부(160)는 수학식 1을 이용하여 깊이 별 대상 영상과 참조 영상에 포함된 동일 좌표의 픽셀 간의 상관도를 산출한다. 상관도 산출부(160)는 산출한 상관도를 위치 검출부(170)로 전송한다.That is, the correlation calculator 160 calculates a correlation between pixels of the same coordinates included in the target image for each depth and the reference image by using Equation 1. The correlation calculator 160 transmits the calculated correlation to the position detector 170.

깊이 검출부(170)는 참조 요소 영상 별 최대 상관도를 검출하고, 최대 상관도에 상응하는 대상 요소 영상의 깊이를 참조 요소 영상의 깊이로 검출한다. 예를 들어, 깊이 검출부(170)는 대상 요소 영상 및 참조 요소 영상을 구성하는 각 픽셀 간의 상관도를 그룹화한다. 깊이 검출부(170)는 각 그룹의 상관도 중 최대값을 해당 그룹의 대표 상관도로 검출한다. 즉, 깊이 검출부(170)는 대상 요소 영상과 참조 요소 영상의 짝에 상응하는 대표 상관도를 검출한다. 깊이 검출부(170)는 대표 상관도와 상응하는 참조 요소 영상의 위치가 동일한 대표 상관도끼리 그룹화한다. 이어서, 깊이 검출부(170)는 각 그룹의 대표 상관도 중 최대값인 최대 상관도를 검 출한다. 깊이 검출부(170)는 각 최대 상관도에 상응하는 대상 요소 영상의 깊이를 해당 최대 상관도에 상응하는 참조 요소 영상의 깊이로 검출한다.The depth detector 170 detects the maximum correlation for each reference element image, and detects the depth of the target element image corresponding to the maximum correlation as the depth of the reference element image. For example, the depth detector 170 groups the correlation between the pixels constituting the target element image and the reference element image. The depth detector 170 detects a maximum value among correlations of each group as a representative correlation of the corresponding group. That is, the depth detector 170 detects a representative correlation degree corresponding to the pair of the target element image and the reference element image. The depth detector 170 groups the representative correlation diagrams having the same location as the representative correlation diagram and the corresponding reference element image. Next, the depth detector 170 detects a maximum correlation, which is the maximum value among the representative correlations of each group. The depth detector 170 detects the depth of the target element image corresponding to each maximum correlation as the depth of the reference element image corresponding to the maximum correlation.

분류부(180)는 각 참조 요소 영상의 깊이를 기준으로 참조 요소 영상을 분류한다. 즉, 분류부(180)는 전체 참조 요소 영상 중 깊이가 동일한 참조 요소 영상끼리 그룹화하여 분류한다. 이어서, 분류부(180)는 분류된 요소 영상을 각 요소 영상에 상응하는 좌표에 배치하고, 빈 좌표에 빈 요소 영상(예를 들어, 모든 픽셀의 값이 0인 요소 영상)을 배치하여 집적 영상(이하 분류 집적 영상이라 지칭)을 생성한다. 따라서, 분류부(180)는 깊이 별 분류 집적 영상을 생성한다.The classifier 180 classifies the reference element image based on the depth of each reference element image. That is, the classification unit 180 classifies and classifies reference element images having the same depth among all the reference element images. Subsequently, the classifying unit 180 arranges the classified element images at coordinates corresponding to each element image, and arranges empty element images (eg, element images having zero values of all pixels) at empty coordinates. (Hereinafter referred to as classification integrated image) is generated. Therefore, the classification unit 180 generates a classification integrated image for each depth.

도 2a는 본 발명의 일 실시예에 따른 픽업 과정을 예시한 도면이고, 도 2b는 본 발명의 일 실시예에 따른 복원 과정을 예시한 도면이다.2A illustrates a pickup process according to an embodiment of the present invention, and FIG. 2B illustrates a restoration process according to an embodiment of the present invention.

도 2a를 참조하면, 3차원 물체로부터 반사된 빛이 렌즈부(110)를 통해 픽업부(120)로 투사되고, 픽업부(120)는 투사된 빛을 CCD 또는 CMOS 등의 센서를 통해 감지하여 디지털 영상을 생성한다. 픽업부(120)가 생성한 영상은 복수의 요소 영상을 포함하는 집적 영상으로 렌즈부(110)를 통해 역투사될 경우, 입체 영상이 디스플레이될 수 있다.Referring to FIG. 2A, the light reflected from the 3D object is projected to the pickup unit 120 through the lens unit 110, and the pickup unit 120 detects the projected light through a sensor such as a CCD or a CMOS. Generate digital images. The image generated by the pickup unit 120 is an integrated image including a plurality of element images, and when the image is reversely projected through the lens unit 110, a stereoscopic image may be displayed.

도 2b를 참조하면, 픽업부(120)를 통해 픽업된 영상을 디스플레이 패널(dispaly panel)과 같은 디스플레이 장치를 통해 렌즈부(110)로 집적 영상을 투사하면, 렌즈부(110)의 전면에 입체 영상이 디스플레이될 수 있다.Referring to FIG. 2B, when the image picked up through the pickup unit 120 is projected onto the lens unit 110 through a display device such as a display panel, a stereoscopic image is formed on the front surface of the lens unit 110. An image can be displayed.

집적 영상을 복원하는 방법으로는 광학적 집적 영상 복원 방식(OIIR : Optical Integral Imaging Reconstruction) 또는 컴퓨터적 집적 영상 복원 방식(CIIR : Computational Integral Imaging Reconstruction)이 있다. The integrated image reconstruction method may include an optical integrated image reconstruction method (OIIR) or a computer integrated image reconstruction method (CIIR: Computational Integral Imaging Reconstruction).

도 2b에 예시된 복원 방식은 상술한 광학적 집적 영상 복원 방식이다. 광학적 집적 영상 복원 방식은 회적과 수차 등과 같은 광학적 장치의 물리적인 제한에 의해 야기되는 요소 영상들 간의 불충분한 오버랩과 디스플레이된 3차원 영상의 저하된 화질로 인해 저해상도의 3차원 영상이 디스플레이되는 등의 문제점이 있다. 이러한 결점을 보완하기 위해 기하광학의 디지털 시뮬레이션을 통해 컴퓨터로 3차원 영상을 복원하는 컴퓨터적 집적 영상 복원 방식이 복원 방식으로 사용된다. 이하 컴퓨터적 집적 영상 복원 방식을 도 3을 참조하여 설명하도록 한다.The restoration method illustrated in FIG. 2B is the above-described optical integrated image restoration method. The optically integrated image reconstruction method is used to display low resolution three-dimensional images due to insufficient overlap between element images caused by physical limitations of the optical device such as rotation and aberration, and deteriorated image quality of the displayed three-dimensional image. There is a problem. In order to compensate for this drawback, a computer integrated image reconstruction method, which reconstructs a 3D image to a computer through digital simulation of geometric optics, is used as a reconstruction method. Hereinafter, a computer integrated image restoration method will be described with reference to FIG. 3.

도 3은 본 발명의 일 실시예에 따른 컴퓨터적 집적 영상 복원 방식을 예시한 개념도이다.3 is a conceptual diagram illustrating a computer integrated image restoration method according to an embodiment of the present invention.

도 3을 참조하면, 복원부(150)는 핀홀 배열을 통하여 복원 평면으로 집적 영상을 투사한다. 이 때, 핀홀 배열 대신 렌즈 배열을 이용하여 집적 영상을 복원 평면으로 투사할 수 있음은 자명하다. 도 3에 예시된 바와 같이, 복원부(150)는 핀홀 어레이로부터 z만큼 떨어진 복원 평면에 투사된 각 요소 영상 간의 일부는 중첩되어 평면 복원 영상(POI)를 생성한다. 이 때, 복원부(150)는 z를 변경하여 복수의 평면 복원 영상을 생성할 수 있다. 즉, 복원부(150)는 복수의 깊이 별 평면 복원 영상을 생성할 수 있다.Referring to FIG. 3, the restoration unit 150 projects an integrated image onto a restoration plane through a pinhole array. In this case, it is apparent that the integrated image may be projected onto the reconstruction plane by using the lens array instead of the pinhole array. As illustrated in FIG. 3, the reconstructor 150 generates a planar reconstructed image (POI) by overlapping a part of each element image projected on the reconstruction plane separated by z from the pinhole array. In this case, the reconstructor 150 may change z to generate a plurality of planar reconstructed images. That is, the restoration unit 150 may generate a plurality of depth-specific planar restoration images.

복원부(150)는 상술한 과정을 기하광학에 따른 디지털 시뮬레이션을 통해, 핀홀 배열 또는 렌즈 배열을 이용하지 않고 깊이 별 평면 복원 영상을 생성할 수 있다.The reconstructor 150 may generate a planar reconstructed image for each depth without using a pinhole array or a lens array through the digital simulation of the above-described process.

도 4는 본 발명의 일 실시예에 따른 물체 인식 장치가 각 요소 영상의 깊이를 검출하는 방법을 예시한 도면이다. 4 is a diagram illustrating a method of detecting a depth of each element image by an object recognition apparatus according to an embodiment of the present invention.

도 4를 참조하면, 렌즈부(110)로부터 거리가 z만큼 떨어진 물체를 광학 픽업부(120)가 픽업하여 참조 영상(410)을 생성한다.Referring to FIG. 4, the optical pickup unit 120 picks up an object whose distance is z from the lens unit 110 to generate a reference image 410.

복원부(140)는 도 3을 참조하여 상술한 컴퓨터적 집적 영상 복원 방법(CIIR)을 이용하여 참조 복원 영상(420)을 각 깊이 별로 생성한다.The reconstructor 140 generates the reference reconstructed image 420 for each depth by using the computer integrated image reconstruction method (CIIR) described above with reference to FIG. 3.

이어서, 컴퓨터 픽업부(150)는 각 참조 복원 영상을 컴퓨터적 픽업 방법을 이용하여 픽업한다. 즉, 컴퓨터 픽업부(150)는 평면 영상인 참조 복원 영상을 물체로 지정하고, 이를 렌즈 배열을 통해 픽업하는 과정을 가상의 시뮬레이션을 통해 픽업하여 대상 영상(430)을 생성한다. 광학 픽업부(120), 복원부(140) 및 컴퓨터 픽업부(150)의 기능 수행 과정은 추후 도 5를 참조하여 상세히 설명하도록 한다.Subsequently, the computer pickup unit 150 picks up each reference reconstructed image using a computer pickup method. That is, the computer pickup unit 150 designates a reference reconstructed image, which is a planar image, as an object, and generates a target image 430 by picking it up through a virtual simulation. A function performing process of the optical pickup unit 120, the restoration unit 140, and the computer pickup unit 150 will be described in detail later with reference to FIG. 5.

상관도 산출부(160)는 참조 영상(410)과 각 대상 영상(430) 간의 상관도를 산출한다.The correlation calculator 160 calculates a correlation between the reference image 410 and each target image 430.

깊이 검출부(170)는 참조 영상(410)과 각 대상 영상(430)에 상관도 중 최대값인 최대 상관도를 검출한다. 예를 들어, 도 4와 같이 깊이 검출부(170)는 참조 영상(410)의 (4,5)에 위치한 참조 요소 영상과 대상 영상(431)의 (4,5)에 위치한 대상 요소 영상에 포함된 픽셀에 상응하는 상관도 중 최대값인 대표 상관도를 검출 한다. 깊이 검출부(170)는 참조 영상(410)의 (4,5)에 위치한 참조 요소 영상과 나머지 대상 영상(431)의 (4,5)에 위치한 대상 요소 영상들에 상응하는 대표 상관도를 각각 검출한다. 대표 상관도를 깊이에 따라 그래프로 나타내면 440과 같이 예시된다. 이어서 깊이 검출부(160)는 검출한 대표 상관도 중 최대값인 최대 상관도를 검출한다. 예를 들어, 440에 따르면, 깊이 30mm에서 대표 상관도가 가장 크다. 따라서, 깊이 검출부(170)는 깊이 30mm에 상응하는 최대 상관도를 검출한다.The depth detector 170 detects a maximum correlation that is the maximum value among the correlations between the reference image 410 and each target image 430. For example, as illustrated in FIG. 4, the depth detector 170 may be included in a reference element image located at (4, 5) of the reference image 410 and a target element image located at (4, 5) of the target image 431. The representative correlation, which is the maximum value among the correlations corresponding to the pixels, is detected. The depth detector 170 detects representative correlations corresponding to reference element images positioned at (4, 5) of the reference image 410 and target element images positioned at (4, 5) of the remaining target image 431, respectively. do. Representative correlations are graphically illustrated as shown in 440 according to depth. Next, the depth detector 160 detects the maximum correlation that is the maximum value among the detected representative correlations. For example, according to 440, the representative correlation is greatest at a depth of 30 mm. Therefore, the depth detector 170 detects a maximum correlation corresponding to the depth of 30 mm.

깊이 검출부(170)는 각 참조 요소 영상의 깊이를 해당 참조 요소 영상과의 대표 상관도가 최대 상관도인 대상 요소 영상의 깊이로 검출한다. 각 참조 요소 영상의 깊이를 색으로 나타낸 깊이 맵을 450과 같이 나타낼 수 있다.The depth detector 170 detects the depth of each reference element image as the depth of the target element image having a maximum correlation with the corresponding reference element image. A depth map representing the depth of each reference element image in color may be represented as 450.

도 5는 본 발명의 일 실시예에 따른 광학적 픽업 및 컴퓨터 픽업 과정을 예시한 도면이다.5 is a diagram illustrating an optical pickup and computer pickup process according to an embodiment of the present invention.

도 5를 참조하면, 광학 픽업부(120)는 렌즈부(110)를 통과한 물체에서 반사된 빛을 감지하여 참조 영상을 생성한다.Referring to FIG. 5, the optical pickup unit 120 generates a reference image by detecting light reflected from an object passing through the lens unit 110.

이어서, 복원부(140)는 참조 영상 깊이 zi(i = 1,..., n, n은 임의의 자연수)에 상응하는 평면 복원 영상인 참조 복원 영상을 생성한다. Subsequently, the reconstructor 140 generates a reference reconstructed image that is a planar reconstructed image corresponding to the reference image depth z i (i = 1, ..., n, n is an arbitrary natural number).

컴퓨터 픽업부(150)는 복원부(140)로부터 참조 복원 영상을 깊이 zi 에 위치한 평면 물체로 설정하여 픽업 과정을 수행한다. 이 때, 참조 복원 영상은 디지털 데이터 형태이기 때문에 컴퓨터적 픽업 방식을 이용하여 픽업할 수 있다. 즉, 컴퓨 터 픽업부(150)는 컴퓨터적 픽업 방식을 이용하여 하나의 참조 복원 영상에 상응하는 하나의 집적 영상인 대상 영상을 생성할 수 있다.The computer pickup unit 150 sets the reference reconstructed image from the reconstructor 140 as a flat object located at a depth z i to perform the pickup process. In this case, since the reference reconstructed image is in the form of digital data, the reference reconstructed image may be picked up using a computer pick-up method. That is, the computer pickup unit 150 may generate a target image, which is one integrated image corresponding to one reference reconstructed image, by using a computer pickup method.

도 6은 본 발명의 일 실시예에 따른 분류부가 참조 영상을 깊이 맵을 참조하여 분류하는 과정을 예시한 도면이다.6 is a diagram illustrating a process of classifying, by a classifier, a reference image with reference to a depth map, according to an exemplary embodiment.

도 6을 참조하면, 분류부(180)는 깊이 맵을 참조한 각 참조 요소 영상의 깊이에 따라 각 참조 요소 영상을 깊이 별로 분류한다. 예를 들어, 분류부(180)는 참조 영상을 분류하여 깊이 별로 분류한다. 분류부(180)는 분류된 참조 요소 영상들을 참조 영상 상에 위치하였던 좌표로 배치하고, 참조 요소 영상이 배치되지 않은 좌표에는 빈 요소 영상을 배치한 분류 집적 영상을 생성한다.Referring to FIG. 6, the classifier 180 classifies each reference element image for each depth according to the depth of each reference element image referring to the depth map. For example, the classifier 180 classifies the reference image and classifies the image by depth. The classifier 180 generates classified classification images in which classified reference element images are arranged at coordinates located on the reference image, and empty element images are disposed at coordinates in which the reference element image is not disposed.

본 발명의 일 실시예에 따르면, 각 분류 집적 영상에 상응하는 깊이의 평면 복원 영상을 복원하면, 일반적인 집적 영상을 복원한 평면 복원 영상에 비해, 선명한 물체를 검출할 수 있다. 예를 들어, 복원부(140)가 (b)를 깊이 30mm에서 복원한 평면 복원 영상을 생성하면 (g)와 같은 특정 물체에 대한 영상을 획득할 수 있다. According to an embodiment of the present invention, if a planar reconstructed image having a depth corresponding to each classification integrated image is reconstructed, a sharp object may be detected as compared to the planar reconstructed image reconstructing a general integrated image. For example, when the restoration unit 140 generates a planar restoration image obtained by restoring (b) at a depth of 30 mm, the restoration unit 140 may acquire an image of a specific object such as (g).

도 1 내지 도 5를 참조하여 상술한 물체 인식 장치는 요소 영상을 단위로 대표 상관도를 산출하는 것으로 설명하였지만, 구현 방법에 따라 대상 영상 및 참조 영상을 지정된 크기의 블록으로 분할하고, 각 블록 별로 대표 상관도를 산출하여 깊이 검출 과정을 수행할 수 있음은 당업자에게 자명하다. Although the object recognition apparatus described above with reference to FIGS. 1 to 5 has been described as calculating a representative correlation based on the element images, the target image and the reference image are divided into blocks having a specified size according to an implementation method, and for each block. It will be apparent to those skilled in the art that a depth detection process may be performed by calculating a representative correlation.

도 7a는 본 발명의 일 실시예에 따른 요소 영상을 단위로 산출된 대표 상관도를 깊이에 따라 나타낸 그래프이고, 도 7b는 본 발명의 다른 실시예에 따른 요소 영상을 2x2로 분할한 크기의 블록을 단위로 산출된 대표 상관도를 깊이에 따라 나타낸 그래프이다.FIG. 7A is a graph illustrating a representative correlation chart calculated in units of element images according to depths, and FIG. 7B is a block having a size obtained by dividing an element image by 2 × 2 according to another embodiment of the present invention. This is a graph showing the representative correlations calculated in units of depth.

도 7a와 같이 요소 영상을 단위로 대표 상관도를 산출하는 방식에 비해, 도 7b는 요소 영상보다 작은 블록 별로 대표 상관도를 생성함으로써, 대표 상관도의 개수가 증가하여 좀 더 정확한 물체의 깊이를 검출할 수 있다.Compared to the method of calculating the representative correlation for each element image as shown in FIG. 7A, FIG. 7B generates a representative correlation for each block smaller than the element image, thereby increasing the number of representative correlations to more accurately determine the depth of the object. Can be detected.

도 8은 본 발명의 일 실시예에 따른 물체 인식 장치의 깊이를 검출하는 과정을 예시한 순서도이다.8 is a flowchart illustrating a process of detecting a depth of an object recognition apparatus according to an embodiment of the present invention.

물체 인식 장치는 물체를 광학적 픽업 방법을 이용하여 참조 영상을 생성한다(810).The object recognition apparatus generates a reference image by using an optical pickup method in operation 810.

물체 인식 장치는 참조 영상을 컴퓨터적 집적 영상 복원 방법을 이용하여 평면 복원 영상으로 복원한다(820).The object recognition apparatus restores the reference image to the planar reconstructed image by using the computer integrated image reconstruction method (820).

물체 인식 장치는 컴퓨터적 픽업 방식을 이용하여 복원된 평면 복원 영상을 픽업하여 대상 영상을 생성한다(830). 예를 들어, 물체 인식 장치는 단계 820에서 복원된 평명 복원 영상 각각을 컴퓨터적 픽업 방식을 이용하여 픽업함으로써, 복수의 대상 영상을 생성한다.The object recognition apparatus picks up the reconstructed plane reconstructed image by using a computer pick-up method and generates a target image in operation 830. For example, the object recognition apparatus generates a plurality of target images by picking up each of the flattened restored images restored in operation 820 using a computer pickup method.

물체 인식 장치는 대상 영상과 참조 영상 간의 상관도를 산출한다(840). 예를 들어, 물체 인식 장치는 대상 영상의 각 픽셀과 참조 영상의 픽셀 중 동일한 픽 셀 간의 상관도를 산출한다.The object recognition apparatus calculates a correlation between the target image and the reference image (840). For example, the object recognizing apparatus calculates a degree of correlation between each pixel of the target image and the same pixel among pixels of the reference image.

물체 인식 장치는 단위 블록 별로 상관도를 그룹화한다(850). 즉, 물체 인식 장치는 대상 영상 및 참조 영상의 픽셀을 단위 블록 별로 분할하고, 각 픽셀에 상응하는 상관도를 단위 블록 별로 그룹화한다.The object recognition apparatus groups the correlations for each unit block (850). That is, the object recognizing apparatus divides the pixels of the target image and the reference image by unit blocks, and groups the correlations corresponding to the pixels by unit blocks.

물체 인식 장치는 단위 블록 별 최대 상관도를 검출한다(860).The object recognition apparatus detects a maximum correlation for each unit block (860).

물체 인식 장치는 참조 영상의 각 단위 블록에 상응하는 깊이를 검출한다(870). 즉, 물체 인식 장치는 참조 영상의 각 단위 블록에 상응하는 최대 상관도가 검출된 대상 영상의 깊이를 해당 참조 영상의 깊이로 검출한다.The object recognition apparatus detects a depth corresponding to each unit block of the reference image (870). That is, the object recognizing apparatus detects the depth of the target image in which the maximum correlation corresponding to each unit block of the reference image is detected as the depth of the reference image.

물체 인식 장치는 각 단위 블록에 상응하는 깊이에 따라 각 단위 블록의 영상을 분류한다(880).The object recognition apparatus classifies an image of each unit block according to a depth corresponding to each unit block (880).

물체 인식 장치는 깊이에 따라 분류된 각 단위 블록의 영상을 배치하여 분류 집적 영상을 생성한다(890).In operation 890, the object recognition apparatus generates a classification integrated image by arranging an image of each unit block classified according to depth.

물체 인식 장치는 각 분류 집적 영상에 상응하는 깊이에서 해당 분류 집적 영상을 복원하여 평면 복원 영상을 생성한다(895). 이 때, 생성된 평면 복원 영상은 일반적인 집적 영상을 복원한 영상에 비해 선명한 이미지를 포함한다. The object recognition apparatus generates a planar reconstruction image by reconstructing the corresponding classification integrated image at a depth corresponding to each classification integrated image (operation 895). In this case, the generated planar reconstructed image includes a clearer image than a reconstructed image of a general integrated image.

도 9는 본 발명의 일 실시예에 따른 물체 인식 장치의 효과를 설명하기 위한 도면이고, 도 10a는 일반 집적 영상을 복원한 평면 복원 영상을 예시한 도면이고, 도 10b는 본 발명의 일 실시예에 따른 분류 집적 영상을 복원한 평면 복원 영상을 예시한 도면이고, 도 11a 및 도 11b는 본 발명의 일 실시예에 따른 평면 복원 영상 과 일반 집적 영상을 복원한 평면 복원 영상의 상관도를 예시한 그래프이다.9 is a view for explaining the effect of the object recognition apparatus according to an embodiment of the present invention, Figure 10a is a diagram illustrating a planar reconstruction image reconstructed a general integrated image, Figure 10b is an embodiment of the present invention 11A and 11B illustrate a correlation between a planar reconstructed image reconstructed from a planar reconstructed image and a general reconstructed reconstructed image according to an embodiment of the present invention. It is a graph.

도 9, 도 10a 및 도 10b를 참조하면, 핀홀 배열 또는 렌즈 배열과 물체와의 거리가 30mm인 마크과 45mm인 마크를 광학적으로 픽업한 집적 영상을 일반적으로 복원하면 도 9a와 같이 깊이 별 평면 복원 영상이 생성된다. 도 9a에는 각 평면 복원 영상에 초점이 맞지 않은 물체가 흐리게 나타난다. Referring to FIGS. 9, 10A, and 10B, when an integrated image obtained by optically picking up a mark having a distance of 30 mm and a mark having a distance of 45 mm from a pinhole array or a lens array and an object is generally restored, a planar reconstruction image for each depth as shown in FIG. 9A. Is generated. In FIG. 9A, an object not in focus is blurred in each planar reconstruction image.

이에 비해, 본 발명의 일 실시예에 따른 분류 집적 영상을 복원한 평면 복원 영상인 9b는 도 9a에 비해 선명한 영상을 나타내고 있다. 따라서 본 발명의 일 실시예에 따른 물체 인식 장치는 해당 물체를 초점이 맞지 않은 물체를 제거함으로써, 선명한 물체의 이미지를 제공하는 효과를 제공한다. 도 11a 및 도 11b를 참조하면, 핀홀 배열 또는 렌즈 배열과 물체와의 거리가 30mm인 마크과 45mm인 마크에 대한 깊이 별 평면 복원 영상에 대한 상관도가 본 발명의 일 실시예에 따른 평면 복원 영상이 깊이 30mm 및 깊이 45mm에서 급격히 증가하는 모습을 보인다. 즉, 본 발명의 일 실시예에 따른 물체 인식 방법은 일반적인 평면 복원 방법에 비해 정확한 물체의 깊이를 산출할 수 있다.In contrast, 9b, which is a planar reconstructed image reconstructing the classification integrated image according to an embodiment of the present invention, shows a sharper image than FIG. 9A. Therefore, the object recognizing apparatus according to the embodiment of the present invention provides an effect of providing an image of a clear object by removing an object that is not in focus. Referring to FIGS. 11A and 11B, a correlation diagram of a planar reconstruction image for each depth of a mark having a distance of 30 mm and a mark having a distance of 30 mm from a pinhole array or a lens array and an object is shown in FIG. It shows a sharp increase in depth of 30mm and depth of 45mm. That is, the object recognition method according to the exemplary embodiment of the present invention may calculate an accurate depth of the object as compared with the general planar restoration method.

이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되 어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the embodiment for the present invention. Many embodiments other than the above-described embodiments are within the claims of the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

도 1은 본 발명의 일 실시예에 따른 물체 인식 장치를 예시한 도면.1 is a diagram illustrating an object recognition apparatus according to an embodiment of the present invention.

도 2a는 본 발명의 일 실시예에 따른 픽업 과정을 예시한 도면.2A illustrates a pickup process in accordance with one embodiment of the present invention.

도 2b는 본 발명의 일 실시예에 따른 복원 과정을 예시한 도면.2B is a diagram illustrating a restoration process according to an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 컴퓨터적 집적 영상 복원 방식을 예시한 개념도.3 is a conceptual diagram illustrating a computer integrated image restoration method according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 물체 인식 장치가 각 요소 영상의 깊이를 검출하는 방법을 예시한 도면.4 is a diagram illustrating a method of detecting a depth of each element image by an object recognition apparatus according to an embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따른 광학적 픽업 및 컴퓨터 픽업 과정을 예시한 도면.5 illustrates an optical pickup and computer pickup process in accordance with an embodiment of the present invention.

도 6은 본 발명의 일 실시예에 따른 분류부가 참조 영상을 깊이 맵을 참조하여 분류하는 과정을 예시한 도면.6 is a diagram illustrating a process of classifying, by a classifier, a reference image with reference to a depth map, according to an exemplary embodiment.

도 7a는 본 발명의 일 실시예에 따른 요소 영상을 단위로 산출된 대표 상관도를 깊이에 따라 나타낸 그래프.FIG. 7A is a graph illustrating a representative correlation chart calculated in units of element images according to depths according to an embodiment of the present invention. FIG.

도 7b는 본 발명의 다른 실시예에 따른 요소 영상을 2x2로 분할한 크기의 블록을 단위로 산출된 대표 상관도를 깊이에 따라 나타낸 그래프.7B is a graph illustrating representative correlations calculated according to depths of blocks having a size obtained by dividing an element image into 2 × 2 units according to another embodiment of the present invention.

도 8은 본 발명의 일 실시예에 따른 물체 인식 장치의 깊이를 검출하는 과정을 예시한 순서도.8 is a flowchart illustrating a process of detecting a depth of an object recognition apparatus according to an embodiment of the present invention.

도 9는 본 발명의 일 실시예에 따른 물체 인식 장치의 효과를 설명하기 위한 도면.9 is a view for explaining the effect of the object recognition apparatus according to an embodiment of the present invention.

도 10a는 일반 집적 영상을 복원한 평면 복원 영상을 예시한 도면.10A is a diagram illustrating a planar reconstructed image obtained by reconstructing a general integrated image.

도 10b는 본 발명의 일 실시예에 따른 분류 집적 영상을 복원한 평면 복원 영상을 예시한 도면.10B is a diagram illustrating a planar reconstructed image reconstructed with a classification integrated image according to an embodiment of the present invention.

도 11a 및 도 11b는 본 발명의 일 실시예에 따른 평면 복원 영상과 일반 집적 영상을 복원한 평면 복원 영상의 상관도를 예시한 그래프.11A and 11B are graphs illustrating a correlation between a planar reconstructed image and a planar reconstructed image obtained by reconstructing a general integrated image, according to an exemplary embodiment.

Claims (15)

물체를 촬영하여 참조 영상을 생성하는 제1 픽업부;A first pickup unit photographing an object to generate a reference image; 상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 복원부;A reconstruction unit reconstructing the reference image to generate a planar reconstruction image for each depth; 상기 평면 복원 영상을 픽업하여 대상 영상을 생성하는 제2 픽업부;A second pickup unit which picks up the planar reconstructed image and generates a target image; 상기 참조 영상과 상기 대상 영상의 단위 블록 간의 상관도를 산출하는 상관도 산출부;A correlation calculator calculating a correlation between the reference image and the unit block of the target image; 상기 참조 영상의 단위 블록에 상응하는 상기 상관도 중 최대인 상관도에 상응하는 깊이를 상기 단위 블록에 상응하는 깊이로 검출하는 깊이 검출부; 및A depth detector configured to detect a depth corresponding to a maximum correlation among the correlations corresponding to a unit block of the reference image as a depth corresponding to the unit block; And 상기 단위 블록을 깊이 별로 분류하고, 분류된 상기 단위 블록을 포함하는 깊이 별 분류 집적 영상을 생성하는 분류부를 포함하는 물체 인식 장치.And a classification unit classifying the unit blocks by depths and generating a classification integrated image for each depth including the classified unit blocks. 제 1항에 있어서,The method of claim 1, 렌즈 배열 또는 핀홀 배열을 포함하는 렌즈부를 더 포함하는 물체 인식 장치.An object recognizing apparatus further comprising a lens unit including a lens array or a pinhole array. 제 2항에 있어서,3. The method of claim 2, 상기 제1 픽업부는 상기 렌즈부를 통해 상기 물체를 촬영하여 상기 집적 영 상을 생성하는 것을 특징으로 하는 물체 인식 장치.And the first pickup unit generates the integrated image by photographing the object through the lens unit. 제 1항에 있어서,The method of claim 1, 상기 제2 픽업부는 상기 평면 복원 영상을 대상으로 하여 컴퓨터적 픽업 방식을 통해 상기 대상 영상을 생성하는 것을 특징으로 하는 물체 인식 장치.And the second pickup unit generates the target image by using a computer pickup method for the planar restored image. 제 1항에 있어서,The method of claim 1, 상기 상관도 산출부는 상기 참조 영상 및 상기 대상 영상에서 동일한 위치의 상기단위 블록 간의 상관도를 산출하는 것을 특징으로 하는 물체 인식 장치.And the correlation calculator calculates a correlation between the unit blocks at the same position in the reference image and the target image. 제 1항에 있어서,The method of claim 1, 상기 상관도 산출부는 상기 참조 영상에 상응하는 상기 단위 블록에 포함된 픽셀들을 상기 대상 영상에 상응하는 상기 단위 블록에 포함된 픽셀과 비교하여 상관도를 산출하고, 상기 픽셀에 상응하는 상관도들의 평균값을 상기 단위 블록 간의 상관도로 산출하는 것을 특징으로 하는 물체 인식 장치.The correlation calculator calculates a correlation by comparing pixels included in the unit block corresponding to the reference image with pixels included in the unit block corresponding to the target image, and calculates an average value of correlations corresponding to the pixels. Calculating a degree of correlation between the unit blocks. 제 1항에 있어서,The method of claim 1, 상기 분류 집적 영상의 상기 단위 블록이 배치된 영역 이외의 영역에는 정해진 단색으로 이루어진 참조 영상이 위치하는 것을 특징으로 하는 물체 인식 장치.And a reference image of a predetermined monochrome is located in an area other than an area in which the unit block of the classification integrated image is disposed. 제 1항에 있어서,The method of claim 1, 상기 복원부는 상기 분류 집적 영상을 복원하여 평면 복원 영상으로 생성하되,The reconstructor generates a planar reconstructed image by reconstructing the classification integrated image, 상기 분류 집적 영상에 상응하는 깊이의 평면 복원 영상만을 생성하는 것을 특징으로 하는 물체 인식 장치.And only a planar reconstructed image having a depth corresponding to the classification integrated image is generated. 물체 인식 장치가 물체를 인식하는 방법에 있어서,In the object recognition apparatus recognizes an object, 물체를 촬영하여 참조 영상을 생성하는 단계;Photographing an object to generate a reference image; 상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 단계;Restoring the reference image to generate a planar reconstruction image for each depth; 상기 평면 복원 영상을 픽업하여 대상 영상을 생성하는 단계;Picking up the planar reconstructed image to generate a target image; 상기 참조 영상과 상기 대상 영상의 단위 블록 간의 상관도를 산출하는 단계;Calculating a correlation between the reference image and the unit block of the target image; 상기 참조 영상의 단위 블록에 상응하는 상기 상관도 중 최대인 상관도에 상응하는 깊이를 상기 단위 블록에 상응하는 깊이로 검출하는 단계; 및Detecting a depth corresponding to a maximum correlation among the correlations corresponding to a unit block of the reference image as a depth corresponding to the unit block; And 상기 단위 블록을 깊이 별로 분류하고, 분류된 상기 단위 블록을 포함하는 깊이 별분류 집적 영상을 생성하는 단계를 포함하는 깊이 검출 방법.Classifying the unit blocks by depth and generating a depth classification image including the classified unit blocks. 제 9항에 있어서,The method of claim 9, 상기 참조 영상을 생성하는 단계는 렌즈 배열 또는 핀홀 배열을 통해 상기 물체를 촬영하여 상기 참조 영상을 생성하는 단계인 것을 특징으로 하는 깊이 검출 방법.The generating of the reference image may include generating the reference image by photographing the object through a lens array or a pinhole array. 제 9항에 있어서,The method of claim 9, 상기 대상 영상을 생성하는 단계는 상기 평면 복원 영상을 대상으로 하여 컴퓨터적 픽업 방식을 통해 상기 대상 영상을 생성하는 단계인 것을 특징으로 하는 물체 인식 방법.The generating of the target image may include generating the target image by using a computer pickup method for the planar reconstructed image. 제 9항에 있어서,The method of claim 9, 상기 상관도를 산출하는 단계는 상기 참조 영상 및 상기 대상 영상에서 동일한 위치의 상기 단위 블록 간의 상관도를 산출하는 단계인 것을 특징으로 하는 물체 인식 방법.The calculating of the correlation may include calculating a correlation between the unit blocks having the same position in the reference image and the target image. 제 12항에 있어서,The method of claim 12, 상기 상관도를 산출하는 단계는 상기 참조 영상에 상응하는 상기 단위 블록에 포함된 픽셀들을 상기 대상 영상에 상응하는 상기 단위 블록에 포함된 픽셀과 비교하여 상관도를 산출하고, 상기 픽셀에 상응하는 상관도들의 평균값을 상기 단위 블록 간의 상관도로 산출하는 단계인 것을 특징으로 하는 물체 인식 방법.The calculating of the correlation may include calculating a correlation by comparing pixels included in the unit block corresponding to the reference image with pixels included in the unit block corresponding to the target image, and correlating with the pixel. Calculating an average value of degrees as a correlation between the unit blocks. 제 9 항에 있어서,The method of claim 9, 상기 분류 집적 영상의 상기 단위 블록이 배치된 영역 이외의 영역에는 정해진 단색으로 이루어진 참조 영상이 위치하는 것을 특징으로 하는 물체 인식 방법.And a reference image of a predetermined monochrome is located in an area other than an area in which the unit block of the classification integrated image is disposed. 제 9항에 있어서,The method of claim 9, 상기 평면 복원 영상을 생성하는 단계는 상기 분류 집적 영상을 복원한 평면 복원 영상을 생성하되,The generating of the planar reconstructed image may include generating a planar reconstructed image reconstructing the classification integrated image. 상기 분류 집적 영상에 상응하는 깊이의 평면 복원 영상만을 생성하는 것을 특징으로 하는 물체 인식 방법.And generating only a planar reconstructed image having a depth corresponding to the classification integrated image.
KR1020090115232A 2009-11-26 2009-11-26 Method and apparatus for detecting object KR101104296B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090115232A KR101104296B1 (en) 2009-11-26 2009-11-26 Method and apparatus for detecting object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090115232A KR101104296B1 (en) 2009-11-26 2009-11-26 Method and apparatus for detecting object

Publications (2)

Publication Number Publication Date
KR20110058437A true KR20110058437A (en) 2011-06-01
KR101104296B1 KR101104296B1 (en) 2012-01-11

Family

ID=44393936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090115232A KR101104296B1 (en) 2009-11-26 2009-11-26 Method and apparatus for detecting object

Country Status (1)

Country Link
KR (1) KR101104296B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321138B1 (en) * 2020-08-28 2021-11-04 (주)씽킹메이킹 Block recognition device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101715470B1 (en) * 2015-04-10 2017-03-14 충북대학교 산학협력단 Integral Imaging Microscope Apparatus and the Method for Improving Depth of Focus thereof
KR101874778B1 (en) * 2017-05-01 2018-08-02 (주)휴러스트 Medical-use microscope system for supporting continuous zoom and continuous magnifying rate transition based on three dimensional image

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100891161B1 (en) * 2007-05-22 2009-04-06 광운대학교 산학협력단 Method for finding location of 3D integral image reconstruction and Apparatus thereof
KR100927236B1 (en) 2007-07-30 2009-11-16 광운대학교 산학협력단 A recording medium that can be read by a computer on which an image restoring method, an image restoring apparatus and a program for executing the image restoring method are recorded.
KR20090023752A (en) * 2007-09-03 2009-03-06 동서대학교산학협력단 Apparatus for volumetric image computational reconstruction using round-type mapping

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321138B1 (en) * 2020-08-28 2021-11-04 (주)씽킹메이킹 Block recognition device

Also Published As

Publication number Publication date
KR101104296B1 (en) 2012-01-11

Similar Documents

Publication Publication Date Title
JP7250709B2 (en) Method and system for simultaneous localization and mapping using convolutional image transformation
CN108370438B (en) Range gated depth camera assembly
JP6377863B2 (en) Enhancement of depth map representation by reflection map representation
US20120242795A1 (en) Digital 3d camera using periodic illumination
JP2011505610A (en) Method and apparatus for mapping distance sensor data to image sensor data
JP5977591B2 (en) Image processing apparatus, imaging apparatus including the same, image processing method, and computer-readable recording medium recording an image processing program
CN113272713B (en) System and method for performing self-improved visual odometry
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
KR102169309B1 (en) Information processing apparatus and method of controlling the same
WO2014044126A1 (en) Coordinate acquisition device, system and method for real-time 3d reconstruction, and stereoscopic interactive device
KR100891161B1 (en) Method for finding location of 3D integral image reconstruction and Apparatus thereof
KR20140027468A (en) Depth measurement quality enhancement
CN108876835A (en) Depth information detection method, device and system and storage medium
US20210295467A1 (en) Method for merging multiple images and post-processing of panorama
CN109447902B (en) Image stitching method, device, storage medium and equipment
US11361455B2 (en) Systems and methods for facilitating the identifying of correspondences between images experiencing motion blur
CN107992073A (en) Unmanned plane fixed point flying method, unmanned plane fixed point flight instruments and unmanned plane
KR102183692B1 (en) An augmented reality service apparatus for a mirror display by recognizing the reflected images on the mirror and method thereof
KR101104296B1 (en) Method and apparatus for detecting object
CN112102141A (en) Watermark detection method, watermark detection device, storage medium and electronic equipment
JP6409769B2 (en) 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program
KR101100784B1 (en) Method and apparatus for recognizing object
KR101088722B1 (en) Method and apparatus for detecting depth of object
JP7040627B2 (en) Calculator, information processing method and program
KR20130076050A (en) Method for obtaining of three-dimensional integral imaging using the depth camera and display system thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141121

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190104

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 9