KR101027906B1 - Method and apparatus for recogniziging objects in an image - Google Patents

Method and apparatus for recogniziging objects in an image Download PDF

Info

Publication number
KR101027906B1
KR101027906B1 KR1020090036841A KR20090036841A KR101027906B1 KR 101027906 B1 KR101027906 B1 KR 101027906B1 KR 1020090036841 A KR1020090036841 A KR 1020090036841A KR 20090036841 A KR20090036841 A KR 20090036841A KR 101027906 B1 KR101027906 B1 KR 101027906B1
Authority
KR
South Korea
Prior art keywords
visual recognition
interest
input image
simd
region
Prior art date
Application number
KR1020090036841A
Other languages
Korean (ko)
Other versions
KR20100118161A (en
Inventor
유회준
김주영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020090036841A priority Critical patent/KR101027906B1/en
Publication of KR20100118161A publication Critical patent/KR20100118161A/en
Application granted granted Critical
Publication of KR101027906B1 publication Critical patent/KR101027906B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 처리 기술에 관한 것으로, 보다 구체적으로는 영상에서 복수개의 물체를 감지하고 물체의 종류를 인식하는 기술에 관한 것이다.The present invention relates to an image processing technology, and more particularly, to a technology for detecting a plurality of objects in an image and recognizing types of objects.

전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 물체 인식 방법은, 물체 인식 장치에 입력된 입력 영상에서 복수의 물체를 동시에 감지하고 물체의 종류를 인식하는 물체 인식 방법으로서, (a) 시각 인식 엔진을 이용하여 입력 영상에서 상기 물체를 감지하고, 입력 영상에서 각 물체의 위치와 관심 영역을 계산하는 시각 인식 단계; (b) 상기 관심 영역에 대해서 복수의 SIMD(Single Instruction Multiple Data) 형태의 프로세싱 유닛을 이용하여 각 물체의 특징점을 추출하고 기술 벡터를 생성하기 위한 병렬 처리 연산을 수행하는 병렬 처리단계; (c) 물체 결정 프로세서를 이용하여 상기 기술 벡터를 물체 데이터베이스와 매칭하여 물체의 종류를 판별하는 물체 결정단계; 및 (d) 상기 시각 인식 단계, 병렬 처리단계 및 물체 결정단계의 수행시간이 소정의 범위 내의 차이를 갖도록 상기 병렬 처리단계 및 상기 물체 결정단계의 수행시간을 조절하는 단계를 포함한다.An object recognition method according to an embodiment of the present invention for achieving the above object, a method for object recognition that simultaneously detects a plurality of objects in the input image input to the object recognition device and recognizes the type of the object, (a) A visual recognition step of detecting the object in the input image by using a visual recognition engine and calculating a position and a region of interest of each object in the input image; (b) a parallel processing step of extracting feature points of each object and performing a parallel processing operation for generating a description vector by using a processing unit in the form of a plurality of Single Instruction Multiple Data (SIMD) for the region of interest; (c) an object determination step of determining the type of an object by matching the description vector with an object database using an object determination processor; And (d) adjusting the execution time of the parallel processing step and the object determination step such that the execution time of the visual recognition step, the parallel processing step and the object determination step have a difference within a predetermined range.

물체 인식, 3단 파이프라이닝, 병렬처리 프로세서, 고성능, 저전력, 파워 도메인 관리 Object Recognition, Triple Pipelining, Parallel Processors, High Performance, Low Power, Power Domain Management

Description

물체 인식 방법 및 장치{METHOD AND APPARATUS FOR RECOGNIZIGING OBJECTS IN AN IMAGE}Object recognition method and apparatus {METHOD AND APPARATUS FOR RECOGNIZIGING OBJECTS IN AN IMAGE}

본 발명은 영상 처리 기술에 관한 것으로, 보다 구체적으로는 영상에서 복수개의 물체를 감지하고 물체의 종류를 인식하는 기술에 관한 것이다.The present invention relates to an image processing technology, and more particularly, to a technology for detecting a plurality of objects in an image and recognizing types of objects.

물체 인식(Object Recognition)은 자동차 자율 주행, 지능형 로봇 비전 시스템, 경보 시스템 등 최근 고급 비전 응용분야의 핵심기술로서, 2-D 영상(image, 이미지) 데이터가 입력으로 주어졌을 때, 이미지에서 물체의 특징점을 찾고 그에 대한 기술 벡터(Descriptor vector)를 만들어, 미리 등록된 여러 가지 물체에 대한 벡터 집합인 물체 데이터베이스(Object database)와 비교하여 가장 가까운 물체를 결정하는 과정으로 이루어진다. 이러한 물체 인식을 수행하기 위해서는 입력 이미지에 대하여 어떻게 특징점을 추출하고 그것을 어떻게 벡터로 기술하는지가 중요하게 되고, 이를 위해서는 많은 양의 이미지 데이터에 대하여 필터링, 히스토그램 등 복잡, 다양한 연산이 필요하게 된다. 현재 가장 많이 사용되는 병렬 처리는 SIFT(Scale Invariant Feature Transform)로서, 그 과정이 많은 양의 연산량을 필요로 하여 2GHz 고성능 CPU로도 초당 0.5프레임 정도의 성능을 낼 정도로 실시간 처리하기가 힘들다. Object Recognition is a key technology in recent advanced vision applications such as autonomous vehicles, intelligent robot vision systems, and alarm systems. When 2-D image data is given as input, the object recognition It finds feature points, creates a descriptor vector for it, and compares it with an object database, which is a vector set of various objects registered in advance, to determine the nearest object. In order to perform the object recognition, it is important to extract a feature point on an input image and to describe it as a vector. For this purpose, a large amount of image data, such as filtering and histogram, require complex and various operations. The most commonly used parallel processing is the Scale Invariant Feature Transform (SIFT), which requires a large amount of computation, making it difficult to process in real time such as 0.5 frames per second even with a 2GHz high-performance CPU.

본 발명은 많은 연산량을 요구하는 물체 인식을 실시간으로 수행할 수 있도록 처리 속도가 향상된 물체 인식 장치 및 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide an object recognition apparatus and method with improved processing speed to perform object recognition requiring a large amount of computation in real time.

또한 본 발명은 모바일 로봇, 셀룰러 폰 등 저전력 응용 분야에 적용될 수 있는 전력 소모가 적은 물체 인식 장치 및 방법을 제공하는 것을 목적으로 한다. In addition, an object of the present invention is to provide a low power consumption object recognition apparatus and method that can be applied to low power applications such as mobile robots, cellular phones.

전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 물체 인식 방법은, 물체 인식 장치에 입력된 입력 영상에서 복수의 물체를 동시에 감지하고 물체의 종류를 인식하는 물체 인식 방법으로서, (a) 시각 인식 엔진을 이용하여 입력 영상에서 상기 물체를 감지하고, 입력 영상에서 각 물체의 위치와 관심 영역을 계산하는 시각 인식 단계; (b) 상기 관심 영역에 대해서 복수의 SIMD(Single Instruction Multiple Data) 형태의 프로세싱 유닛을 이용하여 각 물체의 특징점을 추출하고 기술 벡터를 생성하기 위한 병렬 처리 연산을 수행하는 병렬 처리단계; (c) 물체 결정 프로세서를 이용하여 상기 기술 벡터를 물체 데이터베이스와 매칭하여 물체의 종류를 판별하는 물체 결정단계; 및 (d) 상기 시각 인식 단계, 병렬 처리단계 및 물체 결정단계의 수행시간이 소정의 범위 내의 차이를 갖도록 상기 병렬 처리단계 및 상기 물체 결정단계의 수행시간을 조절하는 단계를 포함한다.An object recognition method according to an embodiment of the present invention for achieving the above object, a method for object recognition that simultaneously detects a plurality of objects in the input image input to the object recognition device and recognizes the type of the object, (a) A visual recognition step of detecting the object in the input image by using a visual recognition engine and calculating a position and a region of interest of each object in the input image; (b) a parallel processing step of extracting feature points of each object and performing a parallel processing operation for generating a description vector by using a processing unit in the form of a plurality of Single Instruction Multiple Data (SIMD) for the region of interest; (c) an object determination step of determining the type of an object by matching the description vector with an object database using an object determination processor; And (d) adjusting the execution time of the parallel processing step and the object determination step such that the execution time of the visual recognition step, the parallel processing step and the object determination step have a difference within a predetermined range.

여기서, 상기 물체의 관심 영역을 정사각형 타일인 그리드 타일 단위로 추출해내는 것이 바람직하다.Here, it is preferable to extract the region of interest of the object in units of grid tiles which are square tiles.

또한 본 발명 다른 일 실시예에 따른 물체 인식 장치는, 물체 인식 장치에 입력된 입력 영상에서 복수의 물체를 동시에 감지하고 물체의 종류를 인식하는 물체 인식 장치로서, 시각 인식 엔진을 이용하여 상기 입력 영상에서 상기 물체를 감지하고 상기 입력 영상에서 상기 물체의 관심 영역을 그리드 타일 정보로 기술하는 시각 인식부; 상기 관심 영역에 대해서 복수의 SIMD(Single Instruction Multiple Data) 형태의 프로세싱 유닛을 이용하여 각 물체의 특징점을 추출하고 기술 벡터를 생성하기 위한 병렬 처리 연산을 수행하는 병렬 처리부; 및 물체 결정 프로세서를 이용하여 상기 기술 벡터를 물체 데이터베이스와 비교하여 물체의 종류를 판별하는 물체 결정부를 포함한다.The object recognizing apparatus according to another embodiment of the present invention is an object recognizing apparatus that simultaneously detects a plurality of objects from the input image input to the object recognizing apparatus and recognizes the type of the object, using the visual recognition engine. A visual recognition unit configured to detect the object at and describe a region of interest of the object as grid tile information in the input image; A parallel processor configured to perform parallel processing for extracting feature points of each object and generating a description vector by using a processing unit in the form of a plurality of SIMDs for the ROI; And an object determination unit that determines the type of an object by comparing the description vector with an object database using an object determination processor.

여기서 상기 시각 인식부는 상기 SIMD 프로세싱 유닛의 태스크와 파워를 조절하는 태스크 매니저를 더 포함할 수 있다.The visual recognition unit may further include a task manager that adjusts a task and power of the SIMD processing unit.

여기서, 물체 인식 장치는 상기 태스크 매니저에 의하여 스케줄링이 되지 않은 SIMD 프로세싱 유닛의 파워 도메인 전원을 차단하는 전원 관리부를 더 포함할 수도 있다.Here, the object recognizing apparatus may further include a power management unit which cuts off the power domain power of the SIMD processing unit that is not scheduled by the task manager.

여기서, 상기 SIMD 프로세싱 유닛은 자신에 할당된 연산을 종료했을 때 소프트웨어 요청을 통해 자신의 클락을 차단하고 대기 모드로 진입하는 것이 바람직하다.Here, when the SIMD processing unit finishes the operation assigned to the SIMD processing unit, it is preferable to block its clock through the software request and enter the standby mode.

본 발명에 의하면 영상처리장치가 영상에서 물체를 감지하고 그 종류를 판별하는 속도를 향상시키고 그에 소모되는 전력을 감소시킬 수 있다.According to the present invention, the image processing apparatus can improve the speed of detecting an object in the image and determine the type thereof, and reduce the power consumed therein.

본 발명은 복수의 물체에 대한 인식을 처리하는데 있어, 복수의 물체를 위한 시각 인식단을 포함한 3단 물체 인식 알고리즘을 제안하고 그를 효율적으로 파이프라이닝하기 위한 프로세서의 구조를 제안하며, 그 동작에 있어서 효율적인 파워 관리 방법을 제시한다. The present invention proposes a three-stage object recognition algorithm including a visual recognition stage for a plurality of objects in processing recognition of a plurality of objects, and proposes a structure of a processor for efficiently pipelining the same. We present efficient power management method.

이하 첨부된 도면을 참조하여 본 발명을 상세하게 설명한다. 이하의 설명은 본 발명의 이해를 돕기 위해 구체적인 실시예를 들어 진행하지만 본 발명이 이러한 실시예로 한정되는 것이 아님에 유의해야 한다. 도면 전체적으로 동일한 구성요소는 동일한 인용부호를 이용하여 나타내었다. 또한 본 발명의 요지를 흐리지 않기 위하여 종래 공지된 구성요소의 경우 당업자가 본 발명을 용이하게 이해하고 재현할 수 있는 한 그 구체적인 설명을 생략하도록 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will be described in detail with reference to the accompanying drawings. The following description is given by way of specific examples to aid in understanding the invention, but it should be noted that the invention is not limited to these embodiments. Like elements throughout the drawings are represented by like reference numerals. In addition, in order not to obscure the gist of the present invention, in the case of conventionally known components, a detailed description thereof will be omitted as long as those skilled in the art can easily understand and reproduce the present invention.

도 1은 본 발명에 따른 복수의 물체를 실시간으로 인식하기 위한 방법을 도식화한 도면이다. 본 발명에 따른 복수의 물체 인식 방법은 (a) 각 물체의 위치와 관심 영역(region-of-interest)을 계산하는 시각 인식단계(S110), (b) 관심 영역에서 물체의 특징점을 추출하고 기술 벡터를 생성하는 병렬 처리단계(S120), (c) 기술 벡터를 물체 데이터베이스와 매칭하는 물체 결정단계(S130)의 세 단계를 포함한다.1 is a diagram illustrating a method for recognizing a plurality of objects in real time according to the present invention. A plurality of object recognition methods according to the present invention are (a) visual recognition step (S110) of calculating the position and region-of-interest of each object, (b) extracts and describes the feature points of the object in the region of interest Parallel processing steps (S120) for generating the vector, and (c) three steps of the object determination step (S130) for matching the description vector with the object database.

첫 번째 단계인 시각 인식단계(S110)에서는 입력 이미지로부터 강도(intensity), 색(color), 방향(orientation) 등의 정적 특징(static feature)과 모션 벡터(motion vector) 등의 동적 특징(dynamic feature)을 추출하여 현출 맵(saliency map)을 생성한 후, 그 현출 맵을 기반으로 하여 각 물체의 관심 영역을 작은 크기의 정사각형 타일인 그리드 타일 단위로 추출해 낸다. 이는 입력 이미지의 각 물체에 대한 관심 영역을 자세히 표현할 수 있도록 작은 그리드 타일을 기본 단위로 추출하는 그리드 기반 처리 모델(grid-based processing model)을 나타내며, 이는 나머지 병렬 처리단계와 물체 결정단계에도 마찬가지로 적용된다. In the first step, the visual recognition step S110, static features such as intensity, color, and orientation from an input image, and dynamic features such as a motion vector. ), And generates a saliency map, and based on the saliency map, the region of interest of each object is extracted in units of grid tiles, which are small square tiles. It represents a grid-based processing model that extracts small grid tiles as basic units to detail the region of interest for each object in the input image, which applies equally to the remaining parallel processing and object determination steps. do.

도 2는 그리드 기반 처리 모델의 일 예로서 VGA(640x480) 입력 이미지에 대해 40x40 크기의 그리드 타일로 관심 영역을 추출하는 것을 나타내고 있다. 이 그리드 기반 처리 모델의 기존의 칼럼(column) 방식 처리 모델보다 훨씬 자세히(finely) 물체의 경계 영역을 나타내는 것이 가능하며 향후 연산양을 결정하는 관심 영역의 크기를 크게 줄이는 효과를 가져온다.FIG. 2 illustrates extracting a region of interest with a 40 × 40 grid tile for a VGA (640 × 480) input image as an example of a grid-based processing model. It is possible to represent the boundary area of an object much more finely than the existing columnar processing model of the grid-based processing model, and it greatly reduces the size of the region of interest that determines the amount of computation in the future.

두 번째 단계인 병렬 처리단계(S120)에서는 시각 인식단에서 구한 각 물체의 그리드 타일 기반의 관심 영역에 대하여 SIMD(Single Instruction Multiple Data) 형태의 프로세싱 유닛을 이용하여 각 물체의 특징점을 추출하고 기술 벡터를 생성하기 위한 병렬 처리 연산을 수행한다. 이 단계(S120)에서 이미지 필터링, 히스토그램 등 많은 병렬 처리 연산이 요구된다. 본 실시예에서는 가장 널리 쓰이는 SIFT(Scale Invariant Feature Transform) 기술이 쓰였지만, 다른 특징점 추출과 기술 벡터 형성 알고리즘이 쓰일 수 있다.In the second step of parallel processing (S120), a feature vector of each object is extracted by using a processing unit in the form of a SIMD (Single Instruction Multiple Data) for the grid tile-based ROI of each object obtained from the visual recognition stage. Perform parallel processing to generate In this step (S120), many parallel processing operations such as image filtering and histogram are required. In this embodiment, the most widely used Scale Invariant Feature Transform (SIFT) technique is used, but other feature extraction and description vector forming algorithms may be used.

세 번째 단계인 물체 결정단계(S130)에서는 병렬 처리단계(S120)에서 구한 각 물체에 대한 기술 벡터를 기초로 기존에 여러 물체 대상에 대하여 미리 만들어진 데이터베이스에서 가장 가까운 벡터를 찾아 투표함으로써 물체의 종류를 판단한 다. 여러 물체가 있을 경우 반복적으로 매칭 과정을 수행하여 여러 물체에 대하여 최종적으로 물체들의 종류를 판단한다.In the third step, the object determination step (S130), the object type is determined by finding and voting the nearest vector from a database previously prepared for a plurality of object targets based on the technical vector of each object obtained in the parallel processing step (S120). Judge. If there are several objects, the matching process is performed repeatedly to finally determine the types of the objects.

도 3은 전술한 물체 인식 방법을 수행하기 위한 프로세서, 즉 물체 인식 장치(300)의 블록도를 나타낸 도면이다. 물체 인식 장치(300)는 시각 인식부(310), 병렬 처리부(320) 및 물체 결정부(330)를 포함한다.3 is a block diagram of a processor for performing the aforementioned object recognition method, that is, the object recognition apparatus 300. The object recognition apparatus 300 includes a visual recognition unit 310, a parallel processor 320, and an object determiner 330.

시각 인식부(310)는 상술한 시각 인식 단계(S110)를 처리하여 각 물체의 관심 영역을 그리드 타일 정보로 기술하는 시각 인식 엔진(311)을 포함한다.The visual recognition unit 310 includes a visual recognition engine 311 which processes the above-described visual recognition step S110 to describe the ROI of each object as grid tile information.

병렬 처리부(320)는 상술한 병렬 처리 단계(S120)를 처리하기 위한 16개의 SIMD (Single Instruction Multiple Data) 형태의 프로세싱 유닛(321~336)을 포함한다.The parallel processor 320 includes processing units 321 ˜ 336 in the form of 16 SIMDs (Single Instruction Multiple Data) for processing the above-described parallel processing step (S120).

또한 시각 인식부(310)는 16개의 SIMD 프로세싱 유닛(321~336)의 태스크와 파워를 관리하기 위한 태스크 매니저(312)를 포함한다. In addition, the visual recognition unit 310 includes a task manager 312 for managing tasks and power of the sixteen SIMD processing units 321 to 336.

물체 결정부(330)는 물체 결정 프로세서(331)를 포함하여 상술한 물체 결정 단계(S130)를 수행한다.The object determination unit 330 includes the object determination processor 331 to perform the above-described object determination step (S130).

가장 큰 면적을 차지하는 16개의 SIMD 프로세싱 유닛들(321~336)은 4개마다 하나의 독립된 파워 도메인을 가지게 되어 총 4개의 파워 도메인을 가진다. 즉 제1 내지 제4 SIMD 프로세싱 유닛(321 내지 324)이 하나의 파워 도메인을 공유하고, 제5 내지 제 8 SIMD 프로세싱 유닛(325 내지 328)이 하나의 파워 도메인을 공유하고, 제9 내지 제12 SIMD 프로세싱 유닛(329 내지 332)이 하나의 파워 도메인을 공유하고, 제13 내지 제16 SIMD 프로세싱 유닛(333 내지 336)이 하나의 파워 도메인을 공 유한다.Sixteen SIMD processing units 321 to 336 occupying the largest area have one independent power domain every four, thus having a total of four power domains. That is, the first to fourth SIMD processing units 321 to 324 share one power domain, and the fifth to eighth SIMD processing units 325 to 328 share one power domain, and the ninth to twelfth SIMD processing units 329 to 332 share one power domain, and thirteenth to sixteenth SIMD processing units 333 to 336 share one power domain.

도 4a는 본 발명에 따른 물체 인식 방법의 각 단계가 파이프라이닝(pipelining)되는 것을 모식적으로 나타낸 도면이다. 시각인식엔진(311)으로 영상이 입력된다. 그러면 시각인식엔진(311)에서 관심영역 태스크를 생성하고 관심영역 태스크가 병렬처리부(321)로 전달된다. 병렬 처리부(320)에서 관심영역태스크가 하나 이상의 SIMD 프로세싱 유닛(321~336)에 의해 처리된 후, 그 처리 결과로서 기술 벡터가 물체 결정 프로세서(331)로 전달된다. 물체 결정 프로세서(331)에서는 물체의 종류를 인식하여 인식 결과를 출력한다. 여기서 시각인식엔진(311)에 의해 관심 영역 태스크가 생성되는 것은 시각인식단계(S110)에 해당하고, 병렬 처리부(320)에 의해 기술 벡터가 생성되는 것은 병렬 처리단계(S120)에 해당하고, 물체결정 프로세서(331)에 의해 물체가 인식되는 것은 물체 결정단계(S130)에 해당한다. 4A is a diagram schematically showing that each step of the object recognition method according to the present invention is pipelining. An image is input to the visual recognition engine 311. Then, the ROI task is generated by the visual recognition engine 311, and the ROI task is transferred to the parallel processor 321. After the region of interest task is processed by the one or more SIMD processing units 321 to 336 in the parallel processing unit 320, the description vector is transferred to the object determination processor 331 as a result of the processing. The object determination processor 331 recognizes the type of the object and outputs a recognition result. Herein, the ROI task generated by the visual recognition engine 311 corresponds to the visual recognition step S110, and the description vector is generated by the parallel processor 320 to the parallel processing step S120. The object is recognized by the determination processor 331 corresponds to the object determination step (S130).

각 단계(S110, S120, S130) 사이에 전달되는 데이터의 효과적인 파이프라이닝을 위해서는 각 단계의 수행 시간이 비슷하게 유지되어야 한다. 이를 위하여 태스크 매니저(312)는 두 번째 단계인 병렬 처리단계(S120)와 세 번째 단계인 물체 결정단계(S130)의 수행시간을 다음과 같이 조절한다.In order to effectively pipelin the data transferred between the steps S110, S120, and S130, the execution time of each step should be kept similar. To this end, the task manager 312 adjusts the execution time of the second step, the parallel processing step (S120) and the third step, the object determination step (S130) as follows.

태스크 매니저(312)는 시각 인식 엔진이 생성하는 수십 개의 그리드 타일로 이루어지는 관심 영역 태스크를 16개의 SIMD 프로세싱 유닛(321~336)에 스케줄링(scheduling) 또는 배분한다. 16개의 SIMD 프로세싱 유닛(321~336)은 태스크 매니저(312)로부터 관심 영역의 그리드 타일 정보를 받아 그 영역에 대하여 병렬 처 리를 수행한다. 여기서 태스크 매니저(312)는 16개 SIMD 프로세싱 유닛(321~336)의 수행 시간을 조절하기 위하여, 관심 영역의 그리드 타일의 개수를 측정하여 관심 영역 태스크의 양에 따라 스케줄링할 SIMD 프로세싱 유닛(321~336)의 개수를 조절하는 부하 조절 태스크 스케줄링(workload-aware task scheduling)을 실행한다. The task manager 312 schedules or distributes the ROI task consisting of dozens of grid tiles generated by the visual recognition engine to the sixteen SIMD processing units 321 to 336. The sixteen SIMD processing units 321 to 336 receive grid tile information of the region of interest from the task manager 312 and perform parallel processing on the region. Here, the task manager 312 measures the number of grid tiles of the ROI to adjust the execution time of the 16 SIMD processing units 321 ˜ 336, and schedules the SIMD processing units 321 ˜ ˜ to schedule according to the amount of the ROI tasks. 336 executes workload-aware task scheduling to adjust the number of bits.

도 4b를 참조하면, 우선 첫번째 프레임에 대해 시각인식, 병렬 처리, 물체 결정이 순서대로 수행된다. 이때 첫번째 프레임에 대해 병렬 처리가 수행되는 동안 두번째 프레임에 대해 시각인식이 처리되고, 그 후 병렬 처리가 처리된다. 첫번째 프레임에 대해 물체 결정이 처리되고, 두 번째 프레임에 대해 병렬처리가 처리될 때 세번째 프레임에 대해 시각인식이 처리된다. 이하 프레임에 대해서도 마찬가지 방식으로 시각인식, 병렬처리, 물체결정이 순서대로 처리된다. 이렇게 세 단계를 나누어 파이프라이닝함으로써 한 프레임의 처리가 모두 끝난 뒤에 다음 프레임의 처리를 시작하는 것이 아니라 동시에 영상처리장치의 모든 하드웨어를 가능한 범위에서 풀 가동하여 영상처리를 신속하게 수행할 수 있다.Referring to FIG. 4B, first, visual recognition, parallel processing, and object determination are performed in order for the first frame. At this time, while the parallel processing is performed for the first frame, the visual recognition is processed for the second frame, and then the parallel processing is processed. Object determination is processed for the first frame, and visual recognition is processed for the third frame when parallel processing is performed for the second frame. For the following frames, visual recognition, parallel processing, and object determination are sequentially processed. By pipelining in three steps like this, after processing of one frame is completed, the processing of the next frame is not started, but at the same time, all the hardware of the image processing apparatus can be fully operated to the extent possible to perform image processing quickly.

도 5a 및 5b는 부하 조절 태스크 스케줄링을 위한 플로우 차트와 가변적인 입력 이미지의 관심 영역 태스크의 양에 따른 부하 조절 태스크 스케줄링의 결과를 나타낸 도면이다. 도 5a를 참조하면, 관심 영역 태스크 양을 측정하고(S510), 관심 영역 태스크 양을 4 단계로 구분하여 가장 작을 때는 4개의 SIMD 프로세싱 유닛(321~324), 그 다음 단계일 때는 8개의 SIMD 프로세싱 유닛(321~328), 그 다음 단계일 때는 12개의 SIMD 프로세싱 유닛(321~342), 가장 많을 때는 16개의 SIMD 프로세싱 유닛(321~336)을 할당한다(S520). 더욱 세세한 부하 조절 태스크 스케줄링 을 위해서는 관심 영역 태스크 양을 최대 SIMD 프로세싱 유닛 개수만큼 잘게 나누어 부하 조절 태스크 스케줄링을 시행한다. 결과적으로, 입력 이미지 부하의 양에 비례하여 그것을 처리하는 SIMD 프로세싱 유닛의 개수를 할당하게 되므로, 전체 수행 시간은 일정하게 유지될 수 있다. 수행 시간을 길게 하거나 짧게 하고 싶을 때는 관심 영역 태스크의 단계를 결정하는 문턱값(threshold)을 높게 하거나 낮게 함으로써(S530) 조절이 가능하다. 도 5b에 관심 영역 태스크에 따른 스케줄링의 결과를 나타내었다. 관심 영역 태스크 개수(501)가 변동이 심함에도 불구하고 SIMD 프로세싱 유닛의 스케줄링 개수(502)를 조절함으로써 기술 벡터 생성에 소요되는 수행 시간(503)이 거의 일정하게 유지되는 것을 알 수 있다.5A and 5B are diagrams illustrating a result of load balancing task scheduling according to a flow chart for load balancing task scheduling and an amount of region of interest task of a variable input image. Referring to FIG. 5A, the region of interest task is measured (S510), and the region of interest task is divided into four stages, and the four SIMD processing units 321 ˜ 324 at the smallest stage, and eight SIMD processing stages at the next stage. Units 321 to 328, 12 SIMD processing units 321 to 342 at the next stage, and 16 SIMD processing units 321 to 336 at most, are allocated (S520). For more detailed load balancing task scheduling, load balancing task scheduling is performed by dividing the region of interest task by the maximum number of SIMD processing units. As a result, since the number of SIMD processing units processing it in proportion to the amount of the input image load is allocated, the overall execution time can be kept constant. If the execution time is to be long or short, it is possible to adjust by increasing or decreasing the threshold for determining the step of the ROI task (S530). 5B shows a result of scheduling according to the ROI task. Even though the region of interest task 501 fluctuates, it can be seen that by adjusting the scheduling number 502 of the SIMD processing unit, the execution time 503 for generating the description vector is kept substantially constant.

세 번째 물체 결정단계(S130)의 수행 시간은 기술 벡터와 데이터베이스 간의 매칭 과정에서 검색되는 데이터베이스의 크기를 조절함으로써 조절이 가능하다. 도 6의 (b)에 나타낸 바와 같이 물체 결정단계(S130)의 수행 시간(E)은 두 번째 단계(S120)에서 추출된 기술 벡터의 개수(F)와 데이터베이스의 커버율(coverage rate)(

Figure 112009025668011-pat00001
)에 의해 결정된다. 즉 물체 결정단계(S130)의 수행시간(E)은 다음과 같은 수식으로 나타낼 수 있다.The execution time of the third object determination step S130 may be adjusted by adjusting the size of the database searched in the matching process between the description vector and the database. As shown in (b) of FIG. 6, the execution time E of the object determination step S130 is determined by the number F of the technical vectors extracted in the second step S120 and the coverage rate of the database (
Figure 112009025668011-pat00001
Is determined by That is, the execution time E of the object determination step S130 may be represented by the following equation.

Figure 112009025668011-pat00002
Figure 112009025668011-pat00002

여기서

Figure 112009025668011-pat00003
는 데이터베이스 이동 시간을 의미하고, F는 기술 벡터 개수를 의미하고,
Figure 112009025668011-pat00004
는 기술 벡터 하나당 사이클을 의미하고,
Figure 112009025668011-pat00005
는 데이터베이스 커버율을 의미한다.here
Figure 112009025668011-pat00003
Is the time to move the database, F is the number of technical vectors,
Figure 112009025668011-pat00004
Means cycles per technology vector,
Figure 112009025668011-pat00005
Means database coverage.

이를 이용하여 물체 결정 단계(S130)의 수행 시간을 조절하는 방법을 도 6의 (a)에 나타낸 순서도를 참조하여 설명한다. 태스크 매니저(312)는 두 번째 단계(S120)에서 추출된 기술 벡터의 개수를 측정하여(S610) 데이터베이스를 모두 커버할 때 전체 수행 시간을 예측한 후(S620), 목표 수행 시간과 예상 수행 시간을 비교한 뒤 (S630), 예상 수행 시간이 목표 시간에 상응하도록 데이터베이스 커버률을 설정한다(S640). 이렇게 함으로써 물체 결정단계(S130)의 수행 시간을 조절할 수 있다. A method of adjusting the execution time of the object determination step S130 using this will be described with reference to the flowchart shown in FIG. The task manager 312 estimates the total execution time (S620) after measuring the number of the technical vectors extracted in the second step (S120) (S610) and covers the database (S620), and then calculates the target execution time and the expected execution time. After comparison (S630), the database coverage is set so that the expected execution time corresponds to the target time (S640). By doing so, the execution time of the object determination step S130 can be adjusted.

이상 설명한 바와 같이 상술한 부하 조절 태스크 스케줄링과 데이터베이스 커버율 조정을 통하여 세 단계(S110, S120, S130)의 수행 시간을 비슷하도록 조절하는 것이 가능하며, 이로 인한 효과적인 파이프라이닝으로 높은 프레임 레이트를 얻는 것이 가능하다. As described above, it is possible to adjust the execution time of the three steps (S110, S120, and S130) to be similar through the above-described load balancing task scheduling and database cover rate adjustment, thereby obtaining a high frame rate with effective pipelining. Do.

상술한 바와 같이 3단 물체 인식 알고리즘이 파이프라이닝 되어 실행될 때에 평균 소비 전력을 줄이기 위하여, 16개 SIMD 프로세싱 유닛의 4개 파워 도메인과 각 프로세싱 유닛의 클락은 다음과 같이 관리한다.In order to reduce the average power consumption when the three-stage object recognition algorithm is executed by pipelining as described above, the four power domains of the 16 SIMD processing units and the clock of each processing unit are managed as follows.

우선 16개 SIMD 프로세싱 유닛의 4개 파워 도메인은 상술한 부하 조절 태스크 스케줄링과 연관되어 태스크 매니저에 의하여 관리된다. 상술한 예에서 관심 영역 태스크는 한 파워 도메인이 포함하는 4개의 SIMD 프로세싱 유닛 단위로 스케줄링 되거나 되지 않으므로, 스케줄링이 되지 않은 파워 도메인에 대해서는 전원을 차단하는 파워 게이팅(power gating)을 실행함으로써 소비전력을 줄인다. 이를 위하여 물체 인식장치(300)는 전원 관리부(미도시)를 더 포함할 수 있다.First, four power domains of the 16 SIMD processing units are managed by the task manager in association with the above-described load balancing task scheduling. In the above-described example, since the ROI task is not scheduled or scheduled in units of four SIMD processing units included in one power domain, power consumption is performed by performing power gating to turn off the power for the unscheduled power domain. Reduce To this end, the object recognition apparatus 300 may further include a power management unit (not shown).

관심 영역 태스크가 스케줄링되어 동작하고 있는 파워 도메인에 대해서는 각 SIMD 프로세싱 유닛이 클락 게이팅을 실행함으로써 전력 소비를 더욱 줄인다. SIMD 프로세싱 유닛은 자신이 맡은 영역에 대한 연산을 모두 끝마쳤을 때, 특수 인스트럭션을 이용하여 클락 게이팅을 요청하여 자신의 클락을 차단할 수 있으며, 태스크 매니저에 의하여 다시 깨어날 때까지 동작하지 않는 슬립 모드로 대기하게 된다.For power domains in which the region of interest task is scheduled and operating, each SIMD processing unit performs clock gating to further reduce power consumption. When the SIMD processing unit has completed all the operations for its area, it can block its clock by requesting clock gating using a special instruction, and waits in sleep mode that does not operate until it wakes up again by the task manager. Done.

본 발명에 따른 물체 인식 프로세서에 의하면 복수의 물체 인식을 위한 알고리즘을 3단으로 분리하였으며, 제 1단인 시각 인식단에서 각 물체의 관심 영역을 작은 그리드 타일 유닛으로 추출하고, 나머지 단인 병렬 처리단, 물체 결정단으로 하여금 관심 영역만 처리하게 함으로써 연산량을 크게 줄이는 효과가 있다. 다수개 물체에 대한 이미지데이터 베이스인 버클리 대학의 BCD300 데이터베이스를 대상으로 실험한 결과 평균 관심 영역의 크기는 전체 화면의 41% 정도로, 연산량의 크기도 이와 같은 비율로 줄어든다. According to the object recognition processor according to the present invention, the algorithm for recognizing a plurality of objects is divided into three stages. In the first stage, the visual recognition stage extracts an ROI of each object into a small grid tile unit, and the remaining stages are parallel processing stages. By causing the object decision stage to process only the region of interest, the amount of computation is greatly reduced. Experiments with the BCD300 database at the University of Berkeley, an image database for multiple objects, show that the average area of interest is about 41% of the total screen, and the amount of computation is reduced by this ratio.

또한 위의 3단 알고리즘을 효과적으로 하드웨어로 구현하기 위하여, 3 단을 파이프라이닝 하였으며, 부하 조절 태스크 스케줄링, 데이터베이스 커버율 조정 등으로 3 단의 수행시간을 비슷하게 조절함으로써 약 2.8배의 초당 프레임 수 증가 효과를 얻을 수 있었다. 상술한 시각 인식단에 의한 연산량 감소 효과, 파이프라이닝 효과가 없을 때 초당 프레임 수와, 시각 인식단 효과, 파이프라이닝 효과가 적용되었을 때 측정한 초당 프레임 수는 다음 표와 같다.In addition, in order to effectively implement the above three-stage algorithm in hardware, the three-stage pipelining was performed, and by adjusting the execution time of the three stages similarly by the load balancing task scheduling and the database cover ratio adjustment, the effect of increasing the number of frames per second of about 2.8 times was achieved. Could get The number of frames per second when there is no arithmetic reduction effect and the pipelining effect by the above-described visual recognition stage, and the frames per second measured when the visual recognition stage effect and the pipelining effect are applied are shown in the following table.

기존existing 시각 인식단 적용 Visual recognition stage application 시각 인식단 및 3단 파이프라이닝 적용Visual recognition stage and 3-stage pipelining applied 초당 프레임수Frames per second 10.410.4 21.721.7 60.660.6

그리고 평균 전력 소모를 줄이기 위하여 가장 전력 소모가 큰 16개의 SIMD 프로세싱 유닛에 대한 파워 도메인 및 클락 관리가 실행되었다. 부하에 따라 스케줄링하는 프로세싱 유닛의 개수를 조절하는 부하 조절 태스크 스케줄링과 같이 적용하여 스케줄링 되지 않은 파워 도메인에 대해서는 전력을 차단하는 파워 게이팅을 실행하고, 스케줄링 되어 동작 중인 파워 도메인 내에서는 각 프로세싱 유닛이 각 할당 영역에 대한 연산을 끝마쳤을 때 소프트웨어 요청으로 자신의 클락을 게이팅 할 수 있는 클락 게이팅을 실행하여 정적, 동적 소비 전력을 모두 최소화 시킨다. 이 두 가지를 두 실행하였을 때 16개 SIMD 프로세싱 유닛의 전력 소모는 330mW로 이는 기존 532mW의 전력 소모에 비해 38% 감소한 것이다.In order to reduce the average power consumption, power domain and clock management was performed for the 16 most power consuming SIMD processing units. It applies power gating that cuts power to unscheduled power domains by applying load balancing task scheduling that adjusts the number of processing units to be scheduled according to load, and each processing unit in each scheduled and operating power domain When the operation on the allocated area is completed, it performs clock gating which can gate its clock by software request to minimize both static and dynamic power consumption. In both cases, the 16 SIMD processing units consume 330mW, which is a 38% reduction over the previous 532mW.

이상 본 발명을 예시적인 실시예를 들어 설명하였다. 그러나 본 발명은 이러한 실시예로 한정되는 것이 아니다. 본 발명의 권리범위는 특허청구범위에 의해 특정되어야 하며 전술한 실시예를 변형한 다양한 변형예들 또한 본 발명의 권리범위에 속하는 것으로 이해되어야 한다. The present invention has been described above by way of example. However, the present invention is not limited to these examples. The scope of the present invention should be specified by the claims, and it should be understood that various modifications to the above-described embodiments also belong to the scope of the present invention.

도 1은 본 발명에 따른 복수의 물체를 실시간으로 인식하기 위한 방법을 도식화한 도면이다.1 is a diagram illustrating a method for recognizing a plurality of objects in real time according to the present invention.

도 2는 입력 이미지의 관심 영역을 작은 그리드 타일 단위로 나타내고 처리하는 그리드 기반 처리 모델의 예시를 나타낸 도면이다.2 is a diagram illustrating an example of a grid-based processing model for representing and processing a region of interest of an input image in small grid tiles.

도 3은 본 발명에 따른 물체 인식 장치(300)의 블록도를 나타낸 도면이다. 3 is a block diagram of the object recognition apparatus 300 according to the present invention.

도 4a 및 4b는 본 발명에 따른 물체 인식 방법의 각 단계가 파이프라이닝되는 것을 모식적으로 나타낸 도면이다.4A and 4B are diagrams schematically showing that each step of the object recognition method according to the present invention is pipelined.

도 5a 및 5b는 부하 조절 태스크 스케줄링을 위한 플로우 차트와 가변적인 입력 이미지의 관심 영역 태스크의 양에 따른 부하 조절 태스크 스케줄링의 결과를 나타낸 도면이다.5A and 5B are diagrams illustrating a result of load balancing task scheduling according to a flow chart for load balancing task scheduling and an amount of region of interest task of a variable input image.

도 6은 데이터베이스 커버율 조절에 대한 플로우 차트와 수행 시간 예측식을 나타낸 도면이다.6 is a flowchart illustrating a flowchart and an execution time prediction formula for adjusting a database coverage ratio.

Claims (5)

물체 인식 장치에 입력된 입력 영상에서 복수의 물체를 동시에 감지하고 물체의 종류를 인식하는 물체 인식 방법으로서, An object recognition method for simultaneously detecting a plurality of objects in the input image input to the object recognition device and the type of the object, (a) 시각 인식 엔진을 이용하여 입력 영상에서 상기 물체를 감지하고, 입력영상에서 각 물체의 위치와 관심 영역을 계산하는 시각 인식 단계; (a) a visual recognition step of detecting the object in the input image by using a visual recognition engine and calculating a position and a region of interest of each object in the input image; (b) 상기 관심 영역에 대해서 복수의 SIMD(Single Instruction Multiple Data) 형태의 프로세싱 유닛을 이용하여 각 물체의 특징점을 추출하고 기술 벡터를 생성하기 위한 병렬 처리 연산을 수행하는 병렬 처리단계; (b) a parallel processing step of extracting feature points of each object and performing a parallel processing operation for generating a description vector by using a processing unit in the form of a plurality of Single Instruction Multiple Data (SIMD) for the region of interest; (c) 물체 결정 프로세서를 이용하여 상기 기술 벡터를 물체 데이터베이스와 매칭하여 물체의 종류를 판별하는 물체 결정단계; 및(c) an object determination step of determining the type of an object by matching the description vector with an object database using an object determination processor; And (d) 상기 시각 인식 단계, 병렬 처리단계 및 물체 결정단계의 수행시간이 소정의 범위 내의 차이를 갖도록 상기 병렬 처리단계 및 상기 물체 결정단계의 수행시간을 조절하는 단계를 포함하는, 물체 인식 방법.(d) adjusting the execution time of the parallel processing step and the object determination step such that the execution time of the visual recognition step, the parallel processing step, and the object determination step have a difference within a predetermined range. 제1항에 있어서,The method of claim 1, 상기 물체의 관심 영역을 정사각형 타일인 그리드 타일 단위로 추출해내는 것을 특징으로 하는, 물체 인식 방법.And extracting a region of interest of the object in units of grid tiles which are square tiles. 물체 인식 장치에 입력된 입력 영상에서 복수의 물체를 동시에 감지하고 물체의 종류를 인식하는 물체 인식 장치로서,An object recognition device for simultaneously detecting a plurality of objects in the input image input to the object recognition device and recognizes the type of the object, 시각 인식 엔진을 이용하여 상기 입력 영상에서 상기 물체를 감지하고 상기 입력 영상에서 상기 물체의 관심 영역을 그리드 타일 정보로 기술하는 시각 인식부;A visual recognition unit for detecting the object in the input image using a visual recognition engine and describing a region of interest of the object in the input image as grid tile information; 상기 관심 영역에 대해서 복수의 SIMD(Single Instruction Multiple Data) 형태의 프로세싱 유닛을 이용하여 각 물체의 특징점을 추출하고 기술벡터를 생성하기 위한 병렬 처리 연산을 수행하는 병렬 처리부; 및 A parallel processor configured to perform parallel processing for extracting feature points of each object and generating a description vector by using a processing unit in the form of a plurality of Single Instruction Multiple Data (SIMD) for the region of interest; And 물체 결정 프로세서를 이용하여 상기 기술 벡터를 물체 데이터베이스와 비교하여 물체의 종류를 판별하는 물체 결정부를 포함하며,An object determination unit which determines a type of an object by comparing the description vector with an object database using an object determination processor; 상기 시각 인식부는 상기 SIMD 프로세싱 유닛의 태스크와 파워를 조절하는 태스크 매니저를 더 포함하는, 물체 인식 장치.The visual recognition unit further includes a task manager for adjusting a task and power of the SIMD processing unit. 제3항에 있어서,The method of claim 3, 상기 태스크 매니저에 의하여 스케줄링이 되지 않은 SIMD 프로세싱 유닛의 파워 도메인 전원을 차단하는 전원 관리부를 더 포함하는, 물체 인식 장치.And a power management unit to shut off power domain power of the SIMD processing unit that is not scheduled by the task manager. 제3항에 있어서,The method of claim 3, 상기 SIMD 프로세싱 유닛은 자신에 할당된 연산을 종료했을 때 소프트웨어 요청을 통해 자신의 클락을 차단하고 대기 모드로 진입하는 것을 특징으로 하는, 물체 인식 장치.And the SIMD processing unit blocks its clock and enters a standby mode through a software request when the SIMD processing unit finishes an operation assigned to the SIMD processing unit.
KR1020090036841A 2009-04-28 2009-04-28 Method and apparatus for recogniziging objects in an image KR101027906B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090036841A KR101027906B1 (en) 2009-04-28 2009-04-28 Method and apparatus for recogniziging objects in an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090036841A KR101027906B1 (en) 2009-04-28 2009-04-28 Method and apparatus for recogniziging objects in an image

Publications (2)

Publication Number Publication Date
KR20100118161A KR20100118161A (en) 2010-11-05
KR101027906B1 true KR101027906B1 (en) 2011-04-12

Family

ID=43404509

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090036841A KR101027906B1 (en) 2009-04-28 2009-04-28 Method and apparatus for recogniziging objects in an image

Country Status (1)

Country Link
KR (1) KR101027906B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409593B2 (en) 2017-03-31 2019-09-10 Samsung Electronics Co., Ltd. Semiconductor device
US10649771B2 (en) 2017-03-31 2020-05-12 Samsung Electronics Co., Ltd. Semiconductor device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101726682B1 (en) * 2011-04-27 2017-04-13 한화테크윈 주식회사 A method and an apparatus for computing object information
KR101320247B1 (en) * 2011-10-05 2013-10-22 (주)필링크 Apparatus and method for image matching in augmented reality service system
CN104239411B (en) * 2014-08-12 2018-04-10 中国科学技术大学 A kind of detection method of the lattice-shaped radar based on color, position cluster and Corner Detection
CN108782797B (en) * 2018-06-15 2021-08-27 广东工业大学 Control method for stir-frying tea leaves by arm type tea frying machine and arm type tea frying machine

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020106135A1 (en) 2000-06-26 2002-08-08 Waro Iwane Information converting system
KR20030037910A (en) * 2001-11-07 2003-05-16 선인텔레콤(주) The motion detection system and method with assigned subject recognition function
KR20060059946A (en) * 2006-05-11 2006-06-02 (주)태광이엔시 Picture monitoring control system by object identification and the method thereof
KR20080105839A (en) * 2007-06-01 2008-12-04 한국과학기술원 Memory architecture

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020106135A1 (en) 2000-06-26 2002-08-08 Waro Iwane Information converting system
KR20030037910A (en) * 2001-11-07 2003-05-16 선인텔레콤(주) The motion detection system and method with assigned subject recognition function
KR20060059946A (en) * 2006-05-11 2006-06-02 (주)태광이엔시 Picture monitoring control system by object identification and the method thereof
KR20080105839A (en) * 2007-06-01 2008-12-04 한국과학기술원 Memory architecture

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409593B2 (en) 2017-03-31 2019-09-10 Samsung Electronics Co., Ltd. Semiconductor device
US10649771B2 (en) 2017-03-31 2020-05-12 Samsung Electronics Co., Ltd. Semiconductor device
US10990388B2 (en) 2017-03-31 2021-04-27 Samsung Electronics Co., Ltd. Semiconductor device
US11645072B2 (en) 2017-03-31 2023-05-09 Samsung Electronics Co., Ltd. Semiconductor device

Also Published As

Publication number Publication date
KR20100118161A (en) 2010-11-05

Similar Documents

Publication Publication Date Title
KR101027906B1 (en) Method and apparatus for recogniziging objects in an image
CN113012185B (en) Image processing method, device, computer equipment and storage medium
Mizuno et al. Architectural study of HOG feature extraction processor for real-time object detection
CN106258011B (en) CPU/GPU DCVS for reducing the power consumption in graphic frame processing cooperates with optimization
CN108780507B (en) System and method for providing an image classifier
CN106650592B (en) Target tracking system
CN104408742A (en) Moving object detection method based on space-time frequency spectrum combined analysis
CN103813056A (en) Image stabilization method and device
Chang et al. Parallel design of background subtraction and template matching modules for image objects tracking system
CN102324043B (en) Image matching method based on DCT (Discrete Cosine Transformation) through feature description operator and optimization space quantization
KR20110037184A (en) Pipelining computer system combining neuro-fuzzy system and parallel processor, method and apparatus for recognizing objects using the computer system in images
Chen et al. Real-time FPGA-based template matching module for visual inspection application
Mizuno et al. An FPGA implementation of a HOG-based object detection processor
Venkataramani et al. SAPPHIRE: An always-on context-aware computer vision system for portable devices
Duda et al. On pre-processing algorithms for data stream
Inoue et al. Real-time frame-rate control for energy-efficient on-line object tracking
Jiang et al. Flexible sliding windows with adaptive pixel strides
Chou et al. On the tunable sparse graph solver for pose graph optimization in visual SLAM problems
Wang et al. Target tracking algorithm based on dynamic template and Kalman filter
Abri et al. Multi-thread frame tiling model in concurrent real-time object detection for resources optimization in yolov3
WO2016106595A1 (en) Moving object detection in videos
CN102750550A (en) Multi-target tracking method and device based on video
Ramirez-Martinez et al. Dynamic management of a partial reconfigurable hardware architecture for pedestrian detection in regions of interest
CN101937511B (en) Rapid image matching method based on stochastic parallel optimization algorithm
Jiang et al. Superpixel segmentation based gradient maps on RGB-D dataset

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee