KR20140013142A - 이미지에서 목표를 검출하는 목표 검출 방법 및 이미지 처리 장치 - Google Patents

이미지에서 목표를 검출하는 목표 검출 방법 및 이미지 처리 장치 Download PDF

Info

Publication number
KR20140013142A
KR20140013142A KR1020120078317A KR20120078317A KR20140013142A KR 20140013142 A KR20140013142 A KR 20140013142A KR 1020120078317 A KR1020120078317 A KR 1020120078317A KR 20120078317 A KR20120078317 A KR 20120078317A KR 20140013142 A KR20140013142 A KR 20140013142A
Authority
KR
South Korea
Prior art keywords
column
image
images
integral
window
Prior art date
Application number
KR1020120078317A
Other languages
English (en)
Inventor
김이리나
에프게니 아르초모프
저먼 보로노프
오르 시므시
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120078317A priority Critical patent/KR20140013142A/ko
Priority to US13/945,540 priority patent/US20140023232A1/en
Publication of KR20140013142A publication Critical patent/KR20140013142A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지에서 목표를 검출하는 목표 검출 방법에 관한 것이다. 본 발명의 목표 검출 방법은, 이미지를 수신하는 단계, 수신된 이미지에 기반하여 스케일된(scaled) 복수의 이미지들을 생성하는 단계, 컬럼(cloumn) 단위로 픽셀들의 적분 값을 계산함으로써 복수의 이미지들의 적분(integral) 컬럼 이미지들을 생성하는 단계, 반복적인(recursive) 컬럼 계산에 기반한 피처(feature) 연산에 따라 적분 컬럼 이미지들을 분류(classify)하는 단계, 그리고 분류 결과에 기반하여 목표를 검출하는 단계로 구성된다.

Description

이미지에서 목표를 검출하는 목표 검출 방법 및 이미지 처리 장치{TARGET DETECTING METHOD OF DETECTING TARGET ON IMAGE AND IMAGE PROCESSING DEVICE}
본 발명은 이미지에서 목표를 검출하는 목표 검출 방법 및 이미지 처리 장치에 관한 것이다.
근래에, 스마트폰, 스마트 패드, 노트북 컴퓨터 등과 같은 휴대용 정보기기의 사용이 급증하고 있다. 휴대용 정보기기에서 사용되는 콘텐츠가 멀티미디어의 형태를 띄면서, 멀티미디어 콘텐츠를 취급 및 생성하기 위한 다양한 장치들이 휴대용 정보기기에 도입되고 있다.
카메라는 멀티미디어 콘텐츠를 생성하는 대표적인 장치 중 하나이다. 카메라는 영상 획득을 주 목적으로 하는 디지털 카메라 및 디지털 캠코더 뿐 아니라, 스마트 폰 및 스마트 패드와 같은 다목적 기기에도 채용되고 있다.
카메라를 구비한 휴대용 정보 기기에서, 사용자 편의를 증대시키기 위한 다양한 기능들이 연구되고 있다. 이러한 기능들 중 하나는 카메라를 이용하여 획득된 영상에서 목표를 검출하는 목표 검출 기능이다. 목표 검출 기능은 영상 속의 인물의 검출에 이용되며, 영상 속의 인물의 기분, 포즈 등을 분석하기 위한 기초 정보로 사용된다. 목표 검출 기능은 영상 속의 목표의 위치를 검출하여, 카메라의 촬영 방향을 제어하기 위한 정보로 사용될 수 있다.
본 발명의 목적은, 향상된 목표 검출 기능 및 속도를 구비한 목표 검출 방법 및 이미지 처리 장치를 제공하는 데에 있다.
이미지에서 목표를 검출하는 본 발명의 실시 예에 따른 목표 검출 방법은, 이미지를 수신하는 단계; 상기 수신된 이미지에 기반하여, 스케일된(scaled) 복수의 이미지들을 생성하는 단계; 컬럼(cloumn) 단위로 픽셀들의 적분 값을 계산함으로써, 상기 복수의 이미지들의 적분(integral) 컬럼 이미지들을 생성하는 단계; 반복적인(recursive) 컬럼 계산에 기반한 피처(feature) 연산에 따라, 상기 적분 컬럼 이미지들을 분류(classify)하는 단계; 그리고 상기 분류 결과에 기반하여, 상기 목표를 검출하는 단계를 포함한다.
실시 예로서, 상기 스케일된 복수의 이미지들을 생성하는 단계는, 상기 수신된 이미지에 기반하여 이미지 피라미드(image pyramid)를 생성하는 단계; 그리고 상기 이미지 피라미드의 각 이미지를 다운스케일하여 중간 이미지들을 생성하는 단계를 포함한다.
실시 예로서, 상기 중간 이미지들을 생성하는 단계는, 상기 이미지 피라미드의 각 이미지의 컬럼 단위로 수행된다.
실시 예로서, 상기 적분 컬럼 이미지들을 생성하는 단계는, 각 컬럼에서 특정 방향을 따라 픽셀들의 값들의 적분 값을 계산하고, 계산된 적분 값들을 갖는 적분 컬럼 이미지를 생성하는 단계를 포함한다.
실시 예로서, 상기 픽셀들의 값은 그레이 스케일 값이다.
실시 예로서, 상기 적분 컬럼 이미지들을 분류하는 단계는, 상기 적분 컬럼 이미지들 중 하나의 적분 컬럼 이미지를 선택하는 단계; 상기 선택된 적분 컬럼 이미지에서 윈도(window)를 선택하는 단계; 상기 선택된 윈도의 선택 영역 및 비선택 영역을 지정하는 제 1 피처를 선택하는 단계; 컬럼 단위로 상기 선택 영역과 비선택 영역의 경계의 적분 값들의 차이를 계산하여, 상기 선택 영역 내의 픽셀 값들의 합을 계산하는 단계; 그리고 상기 선택 영역 내의 픽셀 값들의 합이 기준 범위에 속하면 분류 결과를 참(true)으로 분류하고, 상기 선택 영역 내의 픽셀 값들의 합이 상기 기준 범위에 속하지 않으면 상기 분류 결과를 거짓(false)으로 분류하는 단계를 포함한다.
실시 예로서, 상기 선택된 윈도가 거짓으로 분류되면, 상기 선택된 윈도는 폐기되고 상기 선택된 윈도에서 상기 목표의 검출은 종료된다.
실시 예로서, 상기 적분 컬럼 이미지들을 분류하는 단계는, 상기 선택된 윈도가 참으로 분류되면, 상기 제 1 피처와 다른 선택 영역 및 비선택 영역을 갖는 제 2 피처를 선택하고, 상기 선택 영역 내의 픽셀 값들의 합을 계산하고, 그리고 상기 픽셀 값들의 합과 기준 범위의 비교 결과에 따라 분류 결과를 참 또는 거짓으로 분류하는 단계를 더 포함한다.
실시 예로서, 상기 선택된 윈도에 따른 분류가 완료되고 상기 선택된 적분 컬럼 이미지의 윈도 검색이 완료되지 않았으면, 상기 선택된 적분 컬럼 이미지에서 상기 선택된 윈도와 다른 위치의 윈도가 선택되고, 상기 제 1 피처를 선택하는 단계, 상기 선택 영역 내의 픽셀 값들의 합을 계산하는 단계, 그리고 상기 분류 결과를 참 또는 거짓으로 분류하는 단계가 다시 수행된다.
실시 예로서, 상기 선택된 윈도에 따른 분류가 완료되고 상기 선택된 적분 컬럼 이미지의 윈도 검색이 완료되었으면, 상기 선택된 적분 컬럼 이미지의 윈도들 중 참으로 분류된 윈도들에 기반하여 상기 목표를 검출하는 단계가 수행된다.
실시 예로서, 상기 선택된 적분 컬럼 이미지의 윈도들의 분류 결과가 거짓이고 상기 적분 컬럼 이미지들의 이미지 선택이 완료되지 않았으면, 상기 선택된 적분 컬럼 이미지와 다른 적분 컬럼 이미지가 선택되고, 상기 윈도를 선택하는 단계, 상기 제 1 피처를 선택하는 단계, 상기 선택 영역 내의 픽셀 값들의 합을 계산하는 단계, 그리고 상기 분류 결과를 참 또는 거짓으로 분류하는 단계가 다시 수행된다.
본 발명의 실시 예에 따른 이미지 처리 장치는, 이미지를 수신하고, 상기 수신된 이미지에 기반하여 이미지 피라미드(image pyramid)를 생성하는 이미지 피라미드 생성부; 상기 이미지 피라미드를 수신하고, 상기 이미지 피라미드의 각 이미지를 다운스케일하여 상기 이미지 피라미드 및 상기 다운스케일된 이미지를 포함하는 복수의 이미지들을 출력하는 다운스케일부; 상기 복수의 이미지들의 컬러 맵들에 기반하여, 상기 복수의 이미지들 중 일부 이미지들을 출력하는 프리 필터부; 상기 일부 이미지들을 수신하고, 상기 일부 이미지들 각각을 컬럼 단위로 적분하여 적분 컬럼 이미지들을 생성하는 적분 컬럼 생성부; 상기 적분 컬럼 이미지들 각각을 수신하고, 수신된 적분 컬럼 이미지에 대해 반복적인(recursive) 컬럼 계산에 기반한 피처(feature) 연산에 따라, 상기 적분 컬럼 이미지들을 분류하는 복수의 반복 컬럼 분류부들; 그리고 상기 분류 결과에 따라, 상기 이미지에서 목표를 검출하는 수집 및 추적부를 포함한다.
실시 예로서, 상기 적분 컬럼 생성부는, 상기 일부 이미지들 각각의 각 컬럼의 픽셀들의 값을, 특정 방향을 따른 상기 픽셀들의 값들의 적분 값으로 대체하여 상기 적분 컬럼 이미지들을 생성한다.
실시 예로서, 상기 반복 컬럼 분류부들 각각은, 상기 수신된 적분 컬럼 이미지에서 윈도(window)를 선택하고, 상기 선택된 윈도의 선택 영역 및 비선택 영역을 지정하는 서로 다른 피처를 선택하고, 컬럼 단위로 상기 선택 영역과 비선택 영역의 경계의 적분 값들의 차이를 계산하여 상기 선택 영역 내의 픽셀 값들의 합을 계산하고, 그리고 상기 선택 영역 내의 픽셀 값들의 합이 기준 범위에 속하면 분류 결과를 참(true)으로 분류하고, 상기 선택 영역 내의 픽셀 값들의 합이 상기 기준 범위에 속하지 않으면 상기 분류 결과를 거짓(false)으로 분류한다.
실시 예로서, 상기 반복 컬럼 분류부들은 캐스케이드(cascade) 형태로 동작하고, 특정 컬럼 분류부는 이전 단의 컬럼 분류부에서 참으로 분류된 윈도를 수신하여 참 또는 거짓을 분류한다.
본 발명에 따르면, 적분 컬럼 이미지를 이용하여 컬럼 단위로 피처(feature) 연산이 수행된다. 따라서, 다양한 형태의 피처(feature)가 적용될 수 있으며, 향상된 목표 검출 기능 및 속도를 구비한 목표 검출 방법 및 이미지 처리 장치가 제공된다.
도 1은 본 발명의 실시 예에 따라 이미지에서 목표를 검출하는 목표 검출 방법을 보여주는 순서도이다.
도 2는 도 1의 목표 검출 방법을 수행하는 이미지 처리 장치의 제 1 예를 보여주는 블록도이다.
도 3은 도 2의 이미지 피라미드 생성부의 동작을 보여주는 도면이다.
도 4는 도 2의 캐시부가 이미지 피라미드를 저장하는 동작을 보여주는 도면이다.
도 5a 및 도 5b는 도 2의 다운스케일부가 캐시부에 저장된 각 이미지를 다운스케일하는 방법을 보여주는 도면들이다.
도 6은 도 2의 적분 컬럼 생성부가 적분 컬럼 이미지를 생성하는 방법을 보여주는 도면이다.
도 7은 도 2의 반복적 컬럼 분류부들 중 하나의 동작을 보여주는 도면이다.
도 8은 도 2의 반복적 컬럼 분류부들이 캐스케이드 형태로 동작하는 예를 보여주는 도면이다.
도 9는 본 발명의 실시 예에 따른 적분 컬럼 이미지의 분류 방법을 보여주는 순서도이다.
도 10은 본 발명의 실시 예에 따른 도 2의 이미지 처리 장치 및 목표 검출 방법에 적용될 수 있는 다양한 형태의 피처들의 예를 보여주는 도면이다.
도 11은 도 1의 목표 검출 방법을 수행하는 이미지 처리 장치의 제 2 예를 보여주는 블록도이다.
도 12는 본 발명의 실시 예에 따른 시스템-온-칩, 그리고 시스템-온-칩과 통신하는 외부 메모리 및 외부 칩을 보여주는 블록도이다.
도 13은 본 발명의 실시 예에 따른 멀티미디어 장치를 보여주는 블록도이다.
이하에서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시 예를 첨부된 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 실시 예에 따라 이미지에서 목표를 검출하는 목표 검출 방법을 보여주는 순서도이다. 도 1을 참조하면, S110 단계에서, 이미지가 수신된다.
S120 단계에서, 수신된 이미지에 기반하여 스케일된(scaled) 복수의 이미지들이 생성된다. 예를 들어, 원본 이미지 및 원본 이미지가 다운스케일(downscale)된 복수의 이미지들이 생성될 수 있다. 서로 다른 사이즈를 갖는 복수의 이미지들은 이미지 피라미드(image pyramid)일 수 있다.
S130 단계에서, 컬럼(column) 단위로 픽셀들의 적분을 계산함으로써, 복수의 이미지들의 적분 컬럼 이미지들이 각각 생성된다.
S140 단계에서, 반복적인(recursive) 컬럼 연산에 기반한 피처(feature) 연산에 따라, 적분 컬럼 이미지들이 분류된다.
S150 단계에서, 분류된 적분 컬럼 이미지들이 수집되어 목표가 검출된다.
도 2는 도 1의 목표 검출 방법을 수행하는 이미지 처리 장치(100)의 제 1 예를 보여주는 블록도이다. 도 1 및 도 2를 참조하면, 이미지 처리 장치(100)는 프리 프로세싱 블록(110), 메인 프로세싱 블록(120), 메모리 블록(140) 및 포스트 프로세싱 블록(150)을 포함한다.
프리 프로세싱 블록(110)은 이미지 피라미드 생성부(111)를 포함한다. 이미지 피라미드 생성부(111)는 외부로부터 이미지를 수신하고, 수신된 이미지에 기반하여 이미지 피라미드를 생성할 수 있다. 이미지 피라미드 생성기(111)는 미리 설정된 비율 및 갯수에 따라 순차적으로 다운스케일된 이미지들을 생성할 수 있다. 이미지 피라미드 생성기(111)는 사용자에 의해 설정된(예를 들어, 레지스터 셋팅 등) 비율 및 갯수에 따라 순차적으로 다운스케일된 이미지들을 생성할 수 있다.
예를 들어, 이미지 피라미드 생성부(111)는 수신된 이미지의 1/n 사이지를 같는 제 1 이미지를 생성하고, 제 1 이미지의 1/n 사이즈를 갖는 제 2 이미지를 생성할 수 있다. 이미지 피라미드 생성부(111)는 미리 설정된 수의 다운스케일된 이미지들을 생성할 수 있다. 이미지 피라미드 생성기(111)는 원본 이미지 및 다운스케일된 이미지들을 포함하는 이미지들을 출력할 수 있다.
이미지 피라미드 생성기(111)는 다운스케일된 이미지들을 생성하는 것으로 설명되나, 이에 한정되지 않는다. 이미지 피라미드 생성기(111)는 업스케일된 이미지 또는 업스케인될 이미지와 다운스케일된 이미지를 생성할 수 있다.
이미지 피라미드 생성기(111)는 미리 설정된 비율에 따라 이미지 피라미드를 생성하는 것으로 설명되나, 이에 한정되지 않는다. 이미지 피라미드 생성기(111)는 둘 이상의 비율에 따라 이미지 피라미드를 생성할 수 있다.
이미지 피라미드 생성기(111)는 컬러 맵(color map)을 더 생성할 수 있다. 이미지 피라미드 생성기(111)는 원본 이미지의 컬러 맵 또는 원본 이미지와 다운스케일된 이미지들의 컬러 맵들을 생성하여 출력할 수 있다.
메인 프로세싱 블록(120)은 캐시부(121), 다운스케일부(123), 프리 필터부(125), 적분 컬럼 생성부(127), 피처 캐시부(128), 제어부(129), 그리고 복수의 반복적 컬럼 분류부들(131~13k)을 포함한다.
캐시부(121)는 이미지 피라미드 생성부(111)로부터 출력되는 이미지 피라미드를 수신하고 저장할 수 있다. 캐시부(121)는 스트립 단위로 이미지 피라미드의 각 이미지를 저장하고, 컬럼 단위로 저장된 이미지를 출력할 수 있다.
다운스케일부(123)는 캐시부(121)로부터 컬럼 단위로 이미지를 수신하고, 컬럼 단위로 중간 이미지들을 생성할 수 있다. 다운스케일부(123)는 이미지 피라미드 생성부(111)에 의해 생성된 이미지들의 중간 사이즈를 갖는 이미지들을 생성할 수 있다. 예시적으로, 다운스케일부(123)의 기능은 이미지 피라미드 생성부(111)와 통합될 수 있다.
이미지 피라미드 생성부(111), 캐시부(121) 및 다운스케일부(123)는 도 1의 S120 단계를 수행하여, 복수의 스케일된 이미지들을 생성할 수 있다.
이미지 피라미드 생성부(111)가 원본 이미지와 다운스케일된 이미지들의 컬러 맵들을 생성할 때, 다운스케일부(123)는 컬러 맵들을 스케일하여, 스케일된 컬러 맵들을 생성할 수 있다.
프리 필터부(125)는 다운스케일부(123)로부터 복수의 스케일된 이미지들 및 컬러 맵들을 수신할 수 있다. 컬러 맵들에 기반하여, 프리 필터부(125)는 복수의 스케일된 이미지들 중 일부를 폐기(reject)할 수 있다. 예를 들어, 프리 필터부(125)는 컬러 맵들의 색, 색의 변화 등에 기반하여, 일부 이미지들을 폐기할 수 있다. 검출하고자 하는 목표가 사람일 때, 프리 필터부(125)는 컬러 맵들 중 피부색을 갖지 않는 컬러 맵들에 대응하는 이미지들을 폐기할 수 있다. 프리 필터부(125)는 필터링된 이미지들을 출력한다.
적분 컬럼 생성부(127)는 프리 필터부(125)로부터 필터링된 이미지들을 수신한다. 적분 컬럼 생성부(127)는 컬럼 단위로 수신된 각 이미지의 픽셀 값들을 적분하여 적분 값들을 계산하고, 계산된 적분 값들을 갖는 적분 컬럼 이미지를 생성할 수 있다.
피처 캐시부(128)는 복수의 피처들을 저장하고, 저장된 복수의 피처들을 복수의 반복적 컬럼 분류부들(131~13k)에 전송할 수 있다. 피처 캐시부(128)는 복수의 반복적 컬럼 분류부들(131~13k)에 서로 다른 피처들을 전송할 수 있다.
제어부(129)는 메인 프로세싱부(120)의 제반 동작을 제어할 수 있다. 제어부(129)는 검출 목표에 따라 필터링의 대상을 조절하도록 프리 필터부(125)를 제어할 수 있다. 제어부(129)는 검출 목표에 따라 피처들을 선택하고, 선택된 피처들을 저장하도록 피처 캐시부(128)를 제어할 수 있다.
제어부(129)는 적분 컬럼 이미지에서 윈도(window)를 선택하고, 선택된 윈도에 대해 분류(classifying)를 수행하도록 복수의 반복적 컬럼 분류부들(131~13k)을 제어할 수 있다. 제어부(129)는 AdaBoost (Adaptive Boosting)에 기반하여 피처들(features)을 선택하도록 복수의 반복적 컬럼 분류부들(131~13k)을 제어할 수 있다.
복수의 반복적 컬럼 분류부들(131~13k)은 적분 컬럼 생성부(127)로부터 순차적으로 적분 컬럼 이미지를 수신할 수 있다. 복수의 반복적 컬럼 분류부들(131~13k)은 캐스케이드(cascade) 형태로 동작할 수 있다. 복수의 반복적 컬럼 분류부들(131~13k) 각각은 적분 컬럼 이미지의 선택된 윈도에 기반하여 피처(feature) 연산을 수행할 수 있다. 피처 연산의 결과가 거짓(false)이면, 해당 윈도는 폐기(reject)될 수 있다. 피처 연산의 결과가 참(true)이면, 다음 단계의 반복적 컬럼 분류부가 선택된 윈도에 기반하여 피처 연산을 수행할 수 있다. 복수의 반복적 컬럼 분류부들(131~13k)은 서로 다른 피처들을 가질 수 있다.
예를 들어, 제 1 반복적 컬럼 분류부(131)는 선택된 윈도에 기반하여 피처(feature) 연산을 수행할 수 있다. 피처 연산의 결과가 거짓(false)이면, 해당 적분 윈도는 폐기될 수 있다. 피처 연산의 결과가 참(true)이면, 제 2 반복적 컬럼 분류부(132)가 선택된 윈도에 기반하여 피처 연산을 수행할 수 있다.
복수의 반복적 컬럼 분류부들(131~13k)에서 참(true)으로 판별된 윈도는 포스트 프로세서(150)로 전송될 수 있다.
선택된 윈도에 대한 복수의 반복적 컬럼 분류부들(131~13k)의 분류가 완료되면, 적분 컬럼 이미지의 다른 위치에 윈도(window)가 선택되고, 선택된 윈도에 대해 분류가 수행될 수 있다.
적분 컬럼 이미지의 모든 윈도에 대해 분류가 수행되면, 다른 사이즈의 적분 컬럼 이미지의 분류가 수행될 수 있다.
예시적으로, 복수의 반복적 컬럼 분류부들(131~13k)은 병렬적으로 동작할 수 있다. 복수의 반복적 컬럼 분류부들(131~13k)은 적분 컬럼 생성부(127)로부터 동시에 적분 컬럼 이미지를 수신할 수 있다. 예를 들어, 복수의 반복적 컬럼 분류부들(131~13k)은 동일한 적분 컬럼 이미지를 수신할 수 있다. 복수의 반복적 컬럼 분류부들(131~13k)은 수신된 적분 컬럼 이미지에 대해 각각 피처 연산을 수행할 수 있다. 복수의 반복적 컬럼 분류부들(131~13k)의 피처 연산들은 동시에 수행될 수 있다.
복수의 반복적 컬럼 분류부들(131~13k)의 피처 연산들이 캐스케이드 형태로 수행되면, 이미지 처리 장치(100)의 사이즈 및 복잡도가 감소될 수 있다. 예를 들어, 하나의 반복적 컬럼 분류부가 이미지 처리 장치(100)에 제공되고, 하나의 반복적 컬럼 분류부에 서로 다른 피처들을 순차적으로 로딩하며, 반복적인 피처 연산이 수행될 수 있다.
복수의 반복적 컬럼 분류부들(131~13k)의 피처 연산들이 동시에 수행되면, 이미지 처리 장치(100)의 동작 성능이 향상될 수 있다. 예를 들어, 복수의 반복적 컬럼 분류부들(131~13k)이 동시에 피처 연산을 수행하면, 이미지 처리 장치(100)가 특정 윈도에 대한 피처 연산을 수행하는 속도가 향상될 수 있다.
메모리 블록(140)은 메모리(141)를 포함한다. 메모리(141)는 랜덤 액세스 메모리(RAM, Random Access Memory)를 포함할 수 있다. 메모리(141)는 SRAM (Static RAM), DRAM (Dynamic RAM), SDRAM (Synchronous DRAM) 등과 같은 휘발성 메모리, 또는 EEPROM (Electrically Erasable and Programmable ROM), 플래시 메모리, PRAM (Phase-change RAM), MRAM (Magnetic RAM), ReRAM (Resistive RAM), FRAM (Ferroelectric RAM) 등과 같은 불휘발성 메모리를 포함할 수 있다. 메모리(141)는 광대역 입출력 메모리(wide I/O memory)를 포함할 수 있다.
메모리(141)는 복수의 피처들을 저장하고, 저장된 피처들을 피처 캐시부(128)에 전송할 수 있다. 메모리(141)는 제어부(129)의 제어에 따라, 저장된 피처들 중 선택된 피처들을 캐시부(128)에 전송할 수 있다.
포스트 프로세싱 블록(150)는 수집 및 추적부(151)를 포함한다. 수집 및 추적부(151)는 복수의 반복적 컬럼 분류부들(131~13k)에 의해 참으로 판별된 윈도들을 수집하고, 이들을 조합하여 최적의 윈도를 선택 또는 설정할 수 있다. 수집 및 추적부(151)는 선택 또는 설정된 윈도에 기반하여, 목표를 추적할 수 있다. 수집 및 추적부(151)는 추적된 목표에 기반하여, 목표의 표정, 포즈, 기분 등을 추적할 수 있다.
예시적으로, 이미지 처리 장치(100)는 시스템-온-칩(SoC, System-on-Chip)을 형성할 수 있다. 이미지 처리 장치(100)의 각 구성 요소는 시스템 온-칩(SoC)의 하드웨어로 구성되거나, 하드웨어에서 실행되는 소프트웨어, 또는 하드웨어 및 소프트웨어가 조합된 구조로 형성될 수 있다.
도 3은 도 2의 이미지 피라미드 생성부(111)의 동작을 보여주는 도면이다. 도 2 및 도 3을 참조하면, 이미지 피라미드 생성부(111)는 원본 이미지(OI)를 수신하고, 원본 이미지(OI)가 스케일된 복수의 이미지들(I1~I3)을 생성할 수 있다. 복수의 이미지들(I1~I3)은 원본 이미지(OI)를 포함할 수 있다. 복수의 이미지들(I1~I3)은 원본 이미지(OI) 및 원본 이미지(OI)가 다운스케일된 이미지들을 포함할 수 있다. 생성된 이미지들은 이미지 피라미드(image pyramid)일 수 있다.
도 4는 도 2의 캐시부(121)가 이미지 피라미드를 저장하는 동작을 보여주는 도면이다. 도 2 및 도 4를 참조하면, 이미지 피라미드의 각 이미지는 스트립들(Strip, S1~S3)로 분할된다. 스트립들(S1~S3)은 중복되는 마진(M)을 가질 수 있다.
각 스트립은 높이에 따라 복수의 부분들로 분할된다. 높이에 따라 분할된 각 부분은 캐시부(121)의 복수의 캐시들에 각각 저장된다.
도 5a 및 도 5b는 도 2의 다운스케일부(123)가 캐시부(121)에 저장된 각 이미지를 다운스케일하는 방법을 보여주는 도면들이다. 도 2 및 도 5a를 참조하면, 캐시들에 저장된 이미지는 컬럼 단위로 출력된다. 다운스케일부(123)는 컬럼 단위로 이미지를 다운스케일할 수 있다. 예를 들어, 다운스케일부(123)는 미리 정해진 비율에 따라, 캐시들로부터 출력되는 컬럼들을 다운스케일할 수 있다.
도 2 및 도 5b를 참조하면, 피라미드 이미지(I1~I3)는 다운스케일부(123)에 의해 복수의 이미지들(I1~I5)로 다운스케일된다.
즉, 이미지 피라미드 생성부(111), 캐시부(121) 및 다운스케일부(123)에 의해, 원본 이미지를 포함하는 복수의 스케일된 이미지들이 생성된다.
도 6은 도 2의 적분 컬럼 생성부(127)가 적분 컬럼 이미지를 생성하는 방법을 보여주는 도면이다. 도 2 및 도 6을 참조하면, 적분 컬럼 생성부(127)는 각 이미지의 컬럼 단위로 적분 컬럼 이미지를 생성할 수 있다. 적분 컬럼 생성부(127)는 각 컬럼의 픽셀 값들을 특정 방향을 따라 적분하여 적분 값들을 계산할 수 있다. 적분 컬럼 생성부(127)는 각 컬럼의 픽셀들의 위치에 적분 값들을 갖는 적분 컬럼 이미지를 생성할 수 있다.
예를 들어, 적분 컬럼 생성부(127)는 픽셀들의 그레이 스케일(gray scale) 값들을 적분하여 적분 컬럼 이미지를 생성할 수 있다.
도 7은 도 2의 반복적 컬럼 분류부들(131~13k) 중 하나의 동작을 보여주는 도면이다. 도 2 및 도 7을 참조하면, 적분 컬럼 이미지에서 윈도(window)가 선택될 수 있다. 그리고, 선택된 윈도에서 분류(classifying)가 수행될 수 있다. 간결한 설명을 위하여, 도 6에 도시된 적분 컬럼 이미지 전체가 윈도로 선택된 것으로 가정된다. 그러나, 윈도는 적분 컬럼 이미지 전체가 아닌, 적분 컬럼 이미지의 일부로 선택될 수 있다.
반복적 컬럼 분류부는 피처(feature) 연산을 수행할 수 있다 선택된 윈도는 선택 영역 및 미선택 영역을 포함할 수 있다. 선택 영역은 피처(feature)일 수 있다. 피처 연산은 선택 영역의 픽셀 값들의 합을 구하는 연산일 수 있다. 반복적 컬럼 분류부는 적분 컬럼 이미지를 이용하여, 통상적인 이미지를 이용할 때보다 용이하게 피처 연산을 수행할 수 있다.
도 7에서, 점으로 표시된 영역(DA, Dotted Area)이 피처일 수 있다. 피처는 복수의 영역들을 포함할 수 있다.
반복적 컬럼 분류부는 적분 컬럼 이미지의 컬럼 단위로, 피처 연산을 수행할 수 있다. 반복적 컬럼 분류부는, 각 컬럼에서 피처의 각 영역의 최하단의 적분 값들을 더하고, 각 영역의 최상단의 바로 위의 적분 값들을 감할 수 있다. 계산 결과는 피처에 해당하는 픽셀 값들의 합이다.
예시적으로, 반복적 컬럼 분류부는 피처의 형태에 따라, 적분 컬럼 이미지의 각 컬럼의 특정 갯수의 적분 값들을 수집하여 피처 연산을 수행할 수 있다. 도 7에 도시된 바와 같이 피처가 두 개의 영역들을 포함할 때, 반복적 컬럼 분류부는 각 컬럼에서 네 개의 적분 값들을 수집할 수 있다.
피처가 존재하지 않는 컬럼에서, 반복적 컬럼 분류부는 동일한 적분 값을 네 번 수집하고 연산할 수 있다. 따라서, 피처가 존재하지 않는 컬럼에서, 연산 결과는 0일 수 있다.
피처가 존재하는 컬럼에서, 반복적 컬럼 분류부는 피처의 각 영역의 바로 위의 적분 값 및 최 하단의 적분 값을 수집하여 계산할 수 있다.
반복적 컬럼 분류부는 계산 결과를 기준 범위와 비교할 수 있다. 계산 결과가 기준 범위에 속하면, 선택된 윈도의 분류 결과는 참(true)으로 판별될 수 있다. 계산 결과가 기준 범위에 속하지 않으면, 선택된 윈도의 분류 결과는 거짓(false)으로 판별될 수 있다.
분류 결과가 거짓으로 판별되면, 해당 윈도는 폐기(reject)될 수 있다. 즉, 해당 윈도에 대한 분류는 종료될 수 있다.
분류 결과가 참으로 판별되면, 해당 윈도에 대한 다음 단계의 분류가 수행될 수 있다. 즉, 다른 반복적 컬럼 분류부가 다른 피처를 이용하여 분류를 수행할 수 있다.
예시적으로, 이미지 처리 장치(100, 도 2 참조)는 AdaBoost (Adaptive Boosting)에 기반하여 피처들(features)을 선택할 수 있다.
도 8은 도 2의 반복적 컬럼 분류부들(131~13k)이 캐스케이드 형태로 동작하는 예를 보여주는 도면이다. 도 2, 도 7 및 도 8을 참조하면, 제 1 반복적 컬럼 분류부(131)는 제 1 단계를 형성할 수 있다. 제 1 단계의 분류는 제 1 피처를 이용하여 수행될 수 있다. 제 1 단계의 분류가 거짓으로 판별되면, 선택된 윈도는 폐기(reject)된다. 제 1 단계의 분류가 참으로 판별되면, 제 2 단계의 분류가 수행된다. 제 2 단계의 분류는 제 2 반복적 컬럼 분류부(132)에 의해 수행될 수 있다. 제 2 단계의 분류는 제 1 피처와 다른 제 2 피처를 이용하여 수행될 수 있다.
제 2 단계의 분류가 거짓으로 판별되면, 선택된 윈도는 폐기될 수 있다. 제 2 단계의 분류가 참으로 판별되면, 선택된 윈도에 대해 다음 단계의 분류가 수행될 수 있다.
모든 반복적 컬럼 분류부들(131~13k)에서 참으로 판별된 윈도는 수집 및 추적부(151)로 전송될 수 있다.
선택된 윈도가 폐기되거나, 선택된 윈도의 분류가 완료되면, 적분 컬럼 이미지에서 다른 위치의 윈도가 선택될 수 있다. 이후에, 선택된 윈도에 대한 분류가 다시 수행될 수 있다. 적분 컬럼 이미지의 모든 윈도에 대한 분류가 완료되면, 다른 사이즈의 적분 컬럼 이미지에서 분류가 수행될 수 있다.
상술된 바와 같이 컬럼 단위로 분류가 수행되면, 다양한 형태의 피처들이 사용될 수 있다. 기존의 적분 이미지(integral image)를 이용한 분류는 사각형 형태의 피처만 사용할 수 있다는 한계를 갖는다. 반면, 본 발명의 실시 예에 따르면, 적분 컬럼 이미지가 생성되고, 적분 컬럼 이미지의 컬럼 단위로 피처 연산이 수행된다. 어떠한 형태의 피처이든, 하나의 컬럼에서는 시작과 끝을 갖는 1차원 형태를 갖는다. 따라서, 어떠한 형태의 피처이든, 하나의 컬럼에서는 단순한 덧셈과 뺄셈을 통해 피처 연산이 수행될 수 있다. 적분 컬럼 이미지 및 컬럼 단위의 분류가 수행되면, 다양한 형태의 피처들이 사용될 수 있으며, 이미지 처리 장치(100) 및 모표 검출 방법의 신뢰성이 향상된다.
캐시부(121), 다운스케일부(123), 적분 컬럼 생성부(127) 및 반복적 컬럼 분류부들(131~13k)은 컬럼 단위로 캐시, 다운스케일, 적분 컬럼 이미지의 생성 및 분류를 수행한다. 따라서, 본 발명의 실시 예에 따른 이미지 처리 장치(100) 및 목표 검출 방법은 온-더-플라이(On-the-Fly)를 만족하며, 향상된 목표 검출 속도를 제공한다.
도 9는 본 발명의 실시 예에 따른 적분 컬럼 이미지의 분류 방법을 보여주는 순서도이다. 도 9를 참조하면, S210 단계에서, 복수의 적분 컬럼 이미지들 중 첫 번째 적분 컬럼 이미지가 선택된다.
S220 단계에서, 선택된 적분 컬럼 이미지에서 첫 번째 윈도가 선택된다.
S230 단계에서, 첫 번째 피처가 선택된다.
S240 단계에서, 선택된 피처에 기반하여, 컬럼 단위로 적분 값들이 계산된다.
S250 단계에서, 계산 결과가 참인지 판별된다. 계산 결과가 기준 범위에 속하면 참으로 판별되고, 기준 범위에 속하지 않으면 거짓으로 판별될 수 있다. 계산 결과가 거짓이면, S255 단계에서 선택된 윈도가 폐기되고, S270 단계가 수행된다. 계산 결과가 참이면, S260 단계가 수행된다.
S260 단계에서, 선택된 피처가 마지막 피처인지 판별된다. 선택된 피처가 마지막 피처가 아니면, S265 단계에서 다음 피처가 선택되고, S240 단계가 다시 수행된다. 선택된 피처가 마지막 피처이면, S270 단계가 수행된다.
S270 단계에서, 선택된 윈도가 마지막 윈도인지 판별된다. 선택된 윈도가 마지막 윈도가 아니면, S275 단계에서 다음 윈도가 선택되고, S230 단계가 다시 수행된다. 선택된 윈도가 마지막 윈도이면, S280 단계가 수행된다.
S280 단계에서, 선택된 적분 컬럼 이미지가 마지막 적분 컬럼 이미지인지 판별된다. 선택된 적분 컬럼 이미지가 마지막 적분 컬럼 이미지가 아니면, S285 단계에서 다음 적분 컬럼 이미지가 선택되고, S220 단계가 다시 수행된다. 선택된 적분 컬럼 이미지가 마지막 적분 컬럼 이미지이면, 분류는 종료된다.
도 10은 본 발명의 실시 예에 따른 도 2의 이미지 처리 장치(100) 및 목표 검출 방법에 적용될 수 있는 다양한 형태의 피처들의 예를 보여주는 도면이다. 도 10을 참조하면, 피처들은 사선으로 기울어진 형태, 곡선의 형태 등을 가질 수 있다. 이러한 다양한 형태의 피처들도 각 컬럼에서는 시작과 끝을 갖는 1차원의 형태를 갖는다. 따라서, 컬럼 단위의 분류가 수행되면, 단순한 합과 차를 통해 분류가 수행될 수 있다.
도 11은 도 1의 목표 검출 방법을 수행하는 이미지 처리 장치(200)의 제 2 예를 보여주는 블록도이다. 도 11을 참조하면, 이미지 처리 장치(200)는 프리 프로세싱 블록(210), 메인 프로세싱 블록(220), 메모리 블록(240) 및 포스트 프로세싱 블록(250)을 포함한다. 프리 프로세싱 블록(210)은 이미지 피라미드 생성부(211)를 포함한다. 메인 프로세싱 블록(220)은 캐시부(221), 다운스케일부(223), 프리 필터부(225), 적분 컬럼 생성부(227), 피처 캐시부(228), 제어부(229), 그리고 복수의 반복적 컬럼 분류부들(231~23k)을 포함한다. 메모리 블록(240)은 메모리(241)를 포함한다. 포스트 프로세싱 블록(250)은 수집 및 추적부(251)를 포함한다.
도 2의 이미지 처리 장치(100)와 비교하면, 이미지 피라미드 생성부(211)에서 생성된 이미지 피라미드는 메모리(241)에 저장될 수 있다. 메모리(241)에 저장된 이미지 피라미드는 캐시부(221)로 전송될 수 있다.
도 12는 본 발명의 실시 예에 따른 시스템-온-칩(1000), 그리고 시스템-온-칩(1000)과 통신하는 외부 메모리(2000) 및 외부 칩(3000)을 보여주는 블록도이다. 도 12를 참조하면, 시스템-온-칩(1000)은 파워 오프 도메인 블록(1100) 및 파워 온 도메인 블록(1300)을 포함한다.
파워 오프 도메인 블록(1100)은 시스템-온-칩(1000)의 저전력(Low-power)을 구현하기 위하여 파워-다운(Powerdown)되는 블록이다. 파워 온 도메인 블록(1300)은 파워 오프 도메인 블록(1100)이 파워-다운 상태인 동안 파워 오프 도메인 블록(1100)의 기능을 일부 동작하기 위하여 파워-온(Power-on)되는 블록이다.
파워 오프 도메인 블록(1100)은 메인 중앙 처리 장치(1110), 인터럽트 컨트롤러(1130), 메모리 컨트롤러(1120), 제 1 내지 제 n IP (1141~114n, Intellectual Property) 및 시스템 버스(1150)를 포함한다.
메인 중앙 처리 장치(1110)는 메모리 컨트롤러(1120)를 제어하여 외부 메모리(2000)를 억세스한다. 메모리 컨트롤러(1120)는 메인 중앙 처리 장치(1110)의 제어에 응답하여 외부 메모리(2000)에 저장된 데이터를 시스템 버스(1150)에 전송한다.
인터럽트 컨트롤러(1130)는 제 1 내지 제 n IP (1141~114n) 각각에게 인터럽트(즉, 특정 이벤트)가 발생하였을 경우, 이를 메인 중앙 처리 장치(1110)에 알린다. 제 1 내지 제 n IP (1141~114n)는 시스템-온-칩(1000)의 기능(function)에 따라 구체적인 동작들을 수행한다. 제 1 내지 제 n IP (1141~114n)는 각각의 고유한 내부 메모리들(1361~136n)을 액세스한다. 파워 온 도메인 블록(1300)은 제 1 내지 제 n IP (1141~114n) 각각의 고유한 내부 메모리들(1361~136n)을 포함한다.
파워 온 도메인 블록(1300)은 저전력 관리모듈(1310), 웨이크업 IP (1320, Wake-up IP), 킵얼라이브 IP (1330, Keep Alive IP) 및 제 1 내지 제 n IP (1141~114n)의 내부 메모리들(1361~136n)을 포함한다.
저전력 관리모듈(1310)은 웨이크업 IP (1320)로부터 전송된 데이터에 따라 파워-오프 도메인 블록(1100)을 웨이크업(Wake-up)할 지를 결정한다. 외부의 입력을 기다리는 대기 상태인 동안 오프되는 파워-오프 도메인 블록(1100)의 전력은 오프될 수 있다. 웨이크업은 파워 오프된 시스템-온-칩(1000)에 외부로부터 데이터가 입력되는 경우 전력을 다시 인가하는 동작이다. 즉, 웨이크업은 대기 상태인 시스템-온-칩(1000)을 다시 동작 상태(즉, 파워-온 상태)로 만드는 동작이다.
웨이크업 IP (1320)는 파이(1330, PHY) 및 링크(1340, LINK)를 포함한다. 웨이크업 IP (1320)는 저전력 관리모듈(1310)과 외부 칩(3000) 사이에 인터페이스 역할을 수행한다. 파이(1330)는 외부 칩(3000)과 실제로 데이터를 주고 받고, 링크(1340)는 파이(1330)에서 실제로 주고 받은 데이터를 미리 설정된 프로토콜에 따라 저전력 관리모듈(1310)과 송수신한다.
킵얼라이브 IP (1350)는 웨이크업 IP (1320)의 웨이크업 동작을 판별하여 파워-오프 도메인 블록(1100)의 전력을 활성화하거나 바활성화한다.
저전력 관리 모듈(1310)은 제 1 내지 제 n IP (1141~114n) 중 적어도 하나의 IP로부터 데이터를 수신한다. 데이터가 가공(Processing)되지 않고 단순히 전달만 되는 경우, 저전력 관리 모듈(1310)은 메인 중앙 처리 장치(1110)를 대신하여, 수신된 데이터를 해당 IP의 내부 메모리에 저장한다.
제 1 내지 제 n IP (1141~114n)의 내부 메모리들(1361~136n)는 파워-온 모드에서는 각각의 해당 IP들에 의하여 액세스되고, 파워-오프 모드에서는 저전력 관리 모듈(1310)에 의하여 액세스된다.
제 1 내지 제 n IP (1141~114n) 중 적어도 하나의 IP는 본 발명의 실시 예에 따른 이미지 처리 장치(100 또는 200)의 프리 프로세싱 블록(110 또는 210), 메인 프로세싱 블록(120 또는 220), 그리고 포스트 프로세싱 블록(150 또는 250)에 대응할 수 있다. 예를 들어, 적어도 하나의 IP는 프리 프로세싱 블록(110 또는 210), 메인 프로세싱 블록(120 또는 220), 그리고 포스트 프로세싱 블록(150 또는 250) 중 적어도 하나를 포함할 수 있다. 제 1 내지 제 n IP (1141~114n)는 그래픽 프로세서(GPU, Graphic Processing Unit), 모뎀(Modem), 사운드 제어기, 보안 모듈 등을 포함할 수 있다.
내부 메모리들(1361~136n) 중 적어도 하나의 내부 메모리는 본 발명의 실시 예에 따른 이미지 처리 장치(100 또는 200)의 메모리 블록(140 또는 240)에 대응할 수 있다.
즉, 본 발명의 실시 예에 따른 이미지 처리 장치(100 또는 200)는 시스템-온-칩(1000)을 형성할 수 있다.
시스템-온-칩(1000)은 어플리케이션 프로세서(AP, Application Processor)를 형성할 수 있다.
도 13은 본 발명의 실시 예에 따른 멀티미디어 장치(4000)를 보여주는 블록도이다. 도 13을 참조하면, 멀티미디어 장치(1000)는 어플리케이션 프로세서(1100, Application Processor), 휘발성 메모리(4200), 불휘발성 메모리(4300), 하나 또는 그 이상의 입출력 제어기(4400), 하나 또는 그 이상의 입출력 장치(4500), 그리고 버스(4600)를 포함한다.
어플리케이션 프로세서(4100)는 멀티미디어 장치(4000)의 제반 동작을 제어하도록 구성된다. 어플리케이션 프로세서(4100)는 하나의 시스템-온-칩(SoC, System-on-Chip)으로 형성될 수 있다. 어플리케이션 프로세서(4100)는 도 12를 참조하여 설명된 시스템-온-칩(1000)을 포함할 수 있다. 어플리케이션 프로세서(4100)는 도 1 또는 도 11을 참조하여 설명된 이미지 처리 장치(100 또는 200)를 포함할 수 있다. 어플리케이션 프로세서(4100)는 그래픽 프로세서(GPU, Graphic Processing Unit), 사운드 제어기, 보안 모듈 등을 더 포함할 수 있다. 어플리케이션 프로세서(4100)는 모뎀(Modem)을 더 포함할 수 있다.
휘발성 메모리(4200)는 멀티미디어 장치(4000)의 동작 메모리일 수 있다. 휘발성 메모리(4200)는 DRAM (Dynamic Random Access Memory) 또는 SRAM (Static Random Access Memory)를 포함할 수 있다.
불휘발성 메모리(4300)는 멀티미디어 장치(4000)의 주 저장소일 수 있다. 불휘발성 메모리(4300)는 플래시 메모리, 하드 디스크 드라이브, 솔리드 스테이트 드라이브 등과 같은 불휘발성 저장 장치를 포함할 수 있다.
하나 또는 그 이상의 입출력 제어기들(4400)는 하나 또는 그 이상의 입출력 장치들(4500)을 제어하도록 구성된다.
하나 또는 그 이상의 입출력 장치들(4500)은 외부로부터 신호를 수신하는 다양한 장치들을 포함할 수 있다. 하나 또는 그 이상의 입출력 장치들(4500)은 키보드, 키패드, 버튼, 터치 패널, 터치 스크린, 터치 패드, 터치 볼, 이미지 센서를 포함하는 카메라, 마이크, 자이로스코프 센서, 진동 센서, 유선 입력을 위한 데이터 포트, 무선 입력을 위한 안테나 등을 포함할 수 있다.
하나 또는 그 이상의 입출력 장치들(4500)은 외부로 신호를 출력하는 다양한 장치들을 포함할 수 있다. 하나 또는 그 이상의 입출력 장치들(4500)은 LCD (Liquid Crystal Display), OLED (Organic Light Emitting Diode) 표시 장치, AMOLED (Active Matrix OLED) 표시 장치, LED, 스피커, 모터, 유선 출력을 위한 데이터 포트, 무선 출력을 위한 안테나 등을 포함할 수 있다.
멀티미디어 장치(4000)는 목표의 이미지를 획득하고, 획득한 이미지에 기반하여 컬럼 단위의 적분 연산을 수행할 수 있다. 멀티미디어 장치(4000)는 다양한 피처들을 이용하여 목표를 추적하고, 목표의 포즈, 기분, 분위기 등을 추적할 수 있다.
멀티미디어 장치(4000)는 스마트폰, 스마트 패드, 디지털 카메라, 디지털 캠코더, 노트북 컴퓨터 등과 같은 모바일 멀티미디어 장치, 또는 스마트 텔레비전, 데스크톱 컴퓨터 등과 같은 고정식 멀티미디어 장치를 포함할 수 있다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위와 기술적 사상에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 자명하다. 그러므로 본 발명의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100, 200; 이미지 처리 장치
110, 210; 프리 프로세싱 블록
111, 211; 이미지 피라미드 생성부
120, 220; 메인 프로세싱 블록
121, 221; 캐시부 123, 223; 다운스케일부
125, 225; 프리 필터부 127, 227; 적분 컬럼 생성부
128, 228; 피처 캐시부 129, 229; 제어부
131~13k, 231~23k; 복수의 반복적 컬럼 분류부들
140, 240; 메모리 블록
141, 241; 메모리
150, 250; 포스트 프로세싱 블록
151, 251; 수집 및 추적부

Claims (10)

  1. 이미지에서 목표를 검출하는 목표 검출 방법에 있어서:
    이미지를 수신하는 단계;
    상기 수신된 이미지에 기반하여, 스케일된(scaled) 복수의 이미지들을 생성하는 단계;
    컬럼(cloumn) 단위로 픽셀들의 적분 값을 계산함으로써, 상기 복수의 이미지들의 적분(integral) 컬럼 이미지들을 생성하는 단계;
    반복적인(recursive) 컬럼 계산에 기반한 피처(feature) 연산에 따라, 상기 적분 컬럼 이미지들을 분류(classify)하는 단계; 그리고
    상기 분류 결과에 기반하여, 상기 목표를 검출하는 단계를 포함하는 목표 검출 방법.
  2. 제 1 항에 있어서,
    상기 적분 컬럼 이미지들을 생성하는 단계는,
    각 컬럼에서 특정 방향을 따라 픽셀들의 값들의 적분 값을 계산하고, 계산된 적분 값들을 갖는 적분 컬럼 이미지를 생성하는 단계를 포함하는 목표 검출 방법.
  3. 제 1 항에 있어서,
    상기 적분 컬럼 이미지들을 분류하는 단계는,
    상기 적분 컬럼 이미지들 중 하나의 적분 컬럼 이미지를 선택하는 단계;
    상기 선택된 적분 컬럼 이미지에서 윈도(window)를 선택하는 단계;
    상기 선택된 윈도의 선택 영역 및 비선택 영역을 지정하는 제 1 피처를 선택하는 단계;
    컬럼 단위로 상기 선택 영역과 비선택 영역의 경계의 적분 값들의 차이를 계산하여, 상기 선택 영역 내의 픽셀 값들의 합을 계산하는 단계; 그리고
    상기 선택 영역 내의 픽셀 값들의 합이 기준 범위에 속하면 분류 결과를 참(true)으로 분류하고, 상기 선택 영역 내의 픽셀 값들의 합이 상기 기준 범위에 속하지 않으면 상기 분류 결과를 거짓(false)으로 분류하는 단계를 포함하는 목표 검출 방법.
  4. 제 3 항에 있어서,
    상기 선택된 윈도가 거짓으로 분류되면, 상기 선택된 윈도는 폐기되고 상기 선택된 윈도에서 상기 목표의 검출은 종료되는 목표 검출 방법.
  5. 제 3 항에 있어서,
    상기 적분 컬럼 이미지들을 분류하는 단계는,
    상기 선택된 윈도가 참으로 분류되면, 상기 제 1 피처와 다른 선택 영역 및 비선택 영역을 갖는 제 2 피처를 선택하고, 상기 선택 영역 내의 픽셀 값들의 합을 계산하고, 그리고 상기 픽셀 값들의 합과 기준 범위의 비교 결과에 따라 분류 결과를 참 또는 거짓으로 분류하는 단계를 더 포함하는 목표 검출 방법.
  6. 제 3 항에 있어서,
    상기 선택된 윈도에 따른 분류가 완료되고 상기 선택된 적분 컬럼 이미지의 윈도 검색이 완료되지 않았으면, 상기 선택된 적분 컬럼 이미지에서 상기 선택된 윈도와 다른 위치의 윈도가 선택되고, 상기 제 1 피처를 선택하는 단계, 상기 선택 영역 내의 픽셀 값들의 합을 계산하는 단계, 그리고 상기 분류 결과를 참 또는 거짓으로 분류하는 단계가 다시 수행되는 목표 검출 방법.
  7. 이미지를 수신하고, 상기 수신된 이미지에 기반하여 이미지 피라미드(image pyramid)를 생성하는 이미지 피라미드 생성부;
    상기 이미지 피라미드를 수신하고, 상기 이미지 피라미드의 각 이미지를 다운스케일하여 상기 이미지 피라미드 및 상기 다운스케일된 이미지를 포함하는 복수의 이미지들을 출력하는 다운스케일부;
    상기 복수의 이미지들의 컬러 맵들에 기반하여, 상기 복수의 이미지들 중 일부 이미지들을 출력하는 프리 필터부;
    상기 일부 이미지들을 수신하고, 상기 일부 이미지들 각각을 컬럼 단위로 적분하여 적분 컬럼 이미지들을 생성하는 적분 컬럼 생성부;
    상기 적분 컬럼 이미지들 각각을 수신하고, 수신된 적분 컬럼 이미지에 대해 반복적인(recursive) 컬럼 계산에 기반한 피처(feature) 연산에 따라, 상기 적분 컬럼 이미지들을 분류하는 복수의 반복 컬럼 분류부들; 그리고
    상기 분류 결과에 따라, 상기 이미지에서 목표를 검출하는 수집 및 추적부를 포함하는 이미지 처리 장치.
  8. 제 7 항에 있어서,
    상기 적분 컬럼 생성부는,
    상기 일부 이미지들 각각의 각 컬럼의 픽셀들의 값을, 특정 방향을 따른 상기 픽셀들의 값들의 적분 값으로 대체하여 상기 적분 컬럼 이미지들을 생성하는 이미지 처리 장치.
  9. 제 8 항에 있어서,
    상기 반복 컬럼 분류부들 각각은,
    상기 수신된 적분 컬럼 이미지에서 윈도(window)를 선택하고, 상기 선택된 윈도의 선택 영역 및 비선택 영역을 지정하는 서로 다른 피처를 선택하고, 컬럼 단위로 상기 선택 영역과 비선택 영역의 경계의 적분 값들의 차이를 계산하여 상기 선택 영역 내의 픽셀 값들의 합을 계산하고, 그리고 상기 선택 영역 내의 픽셀 값들의 합이 기준 범위에 속하면 분류 결과를 참(true)으로 분류하고, 상기 선택 영역 내의 픽셀 값들의 합이 상기 기준 범위에 속하지 않으면 상기 분류 결과를 거짓(false)으로 분류하는 이미지 처리 장치.
  10. 제 9 항에 있어서,
    상기 반복 컬럼 분류부들은 캐스케이드(cascade) 형태로 동작하고,
    특정 컬럼 분류부는 이전 단의 컬럼 분류부에서 참으로 분류된 윈도를 수신하여 참 또는 거짓을 분류하는 이미지 처리 장치.
KR1020120078317A 2012-07-18 2012-07-18 이미지에서 목표를 검출하는 목표 검출 방법 및 이미지 처리 장치 KR20140013142A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120078317A KR20140013142A (ko) 2012-07-18 2012-07-18 이미지에서 목표를 검출하는 목표 검출 방법 및 이미지 처리 장치
US13/945,540 US20140023232A1 (en) 2012-07-18 2013-07-18 Method of detecting target in image and image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120078317A KR20140013142A (ko) 2012-07-18 2012-07-18 이미지에서 목표를 검출하는 목표 검출 방법 및 이미지 처리 장치

Publications (1)

Publication Number Publication Date
KR20140013142A true KR20140013142A (ko) 2014-02-05

Family

ID=49946570

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120078317A KR20140013142A (ko) 2012-07-18 2012-07-18 이미지에서 목표를 검출하는 목표 검출 방법 및 이미지 처리 장치

Country Status (2)

Country Link
US (1) US20140023232A1 (ko)
KR (1) KR20140013142A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160071781A (ko) * 2014-12-12 2016-06-22 삼성전자주식회사 이미지에서 객체를 검출하는 객체 검출 방법 및 이미지 처리 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102286874B1 (ko) * 2014-10-20 2021-08-09 한국전자통신연구원 다중 방향성 적분 이미지를 이용한 객체 검출 장치 및 방법
KR20160072676A (ko) * 2014-12-15 2016-06-23 삼성전자주식회사 객체 검출 장치 및 방법과, 컴퓨터 보조 진단 장치 및 방법
US10248876B2 (en) 2016-06-27 2019-04-02 Texas Instruments Incorporated Method and apparatus for avoiding non-aligned loads using multiple copies of input data
US10366260B2 (en) * 2017-05-30 2019-07-30 Firstech, LLC Vehicle key locker

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099510B2 (en) * 2000-11-29 2006-08-29 Hewlett-Packard Development Company, L.P. Method and system for object detection in digital images
TWI262416B (en) * 2001-06-27 2006-09-21 Ulead Systems Inc Pornographic picture censoring system and method thereof
US7020337B2 (en) * 2002-07-22 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting objects in images
US7197186B2 (en) * 2003-06-17 2007-03-27 Mitsubishi Electric Research Laboratories, Inc. Detecting arbitrarily oriented objects in images
US7212651B2 (en) * 2003-06-17 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Detecting pedestrians using patterns of motion and appearance in videos
US7853041B2 (en) * 2005-01-07 2010-12-14 Gesturetek, Inc. Detecting and tracking objects in images
EP1959273A4 (en) * 2005-11-30 2011-01-26 Nihon Mediphysics Co Ltd METHOD FOR DETECTING DEGENERATIVE HEADACHE, DETECTION PROGRAM AND DETECTOR
US8024189B2 (en) * 2006-06-22 2011-09-20 Microsoft Corporation Identification of people using multiple types of input
US20080187213A1 (en) * 2007-02-06 2008-08-07 Microsoft Corporation Fast Landmark Detection Using Regression Methods
US8731318B2 (en) * 2007-07-31 2014-05-20 Hewlett-Packard Development Company, L.P. Unified spatial image processing
US8189924B2 (en) * 2008-10-15 2012-05-29 Yahoo! Inc. Phishing abuse recognition in web pages
US20110205227A1 (en) * 2008-10-31 2011-08-25 Mani Fischer Method Of Using A Storage Switch
US8442327B2 (en) * 2008-11-21 2013-05-14 Nvidia Corporation Application of classifiers to sub-sampled integral images for detecting faces in images
US8385638B2 (en) * 2009-01-05 2013-02-26 Apple Inc. Detecting skin tone in images
TWI382351B (zh) * 2009-03-20 2013-01-11 Ind Tech Res Inst 具積分影像輸出之影像感測器
JP2011180792A (ja) * 2010-03-01 2011-09-15 Sony Corp 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
EP2385484A1 (en) * 2010-05-06 2011-11-09 STMicroelectronics (Grenoble 2) SAS Object detection in an image
US8971628B2 (en) * 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
JP5548087B2 (ja) * 2010-09-30 2014-07-16 オリンパス株式会社 演算装置および演算方法
US8781234B2 (en) * 2010-10-01 2014-07-15 Intel Corporation Optimized fast hessian matrix computation architecture
US9036937B2 (en) * 2010-11-15 2015-05-19 Qualcomm Incorporated Fast repeated integral images
JP5683367B2 (ja) * 2011-04-20 2015-03-11 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
US8817049B2 (en) * 2011-04-29 2014-08-26 Microsoft Corporation Automated fitting of interior maps to general maps
US9053354B2 (en) * 2011-05-23 2015-06-09 Intel Corporation Fast face detection technique

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160071781A (ko) * 2014-12-12 2016-06-22 삼성전자주식회사 이미지에서 객체를 검출하는 객체 검출 방법 및 이미지 처리 장치
US9818022B2 (en) 2014-12-12 2017-11-14 Samsung Electronics Co., Ltd. Method of detecting object in image and image processing device

Also Published As

Publication number Publication date
US20140023232A1 (en) 2014-01-23

Similar Documents

Publication Publication Date Title
US9986211B2 (en) Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
US9818022B2 (en) Method of detecting object in image and image processing device
US9838635B2 (en) Feature computation in a sensor element array
US10055672B2 (en) Methods and systems for low-energy image classification
Yang et al. AdaBoost-based face detection for embedded systems
CN104350509B (zh) 快速姿势检测器
KR20140013142A (ko) 이미지에서 목표를 검출하는 목표 검출 방법 및 이미지 처리 장치
US10268886B2 (en) Context-awareness through biased on-device image classifiers
CN111612822B (zh) 对象跟踪方法、装置、计算机设备和存储介质
US10810433B2 (en) Method and system for tracking objects
US20150248551A1 (en) Method of unlocking an electronic device based on motion recognitions, motion recognition unlocking system, and electronic device including the same
Brousseau et al. An energy-efficient, fast FPGA hardware architecture for OpenCV-compatible object detection
Shi et al. An FPGA-based hardware accelerator for traffic sign detection
Sanny et al. Energy-efficient Histogram on FPGA
CN112966556B (zh) 一种运动物体检测方法及***
CN117036490B (zh) 摄像机预置位偏移检测方法、装置、计算机设备与介质
US10606419B2 (en) Touch screen control
US11706546B2 (en) Image sensor with integrated single object class detection deep neural network (DNN)
CN115174811A (zh) 相机抖动检测方法、装置、设备、存储介质和程序产品
CN114022515A (zh) ***活动力检测方法、装置、计算机设备、存储介质
CN117291887A (zh) 棒材计数方法、装置、计算机设备及介质
BR112017006399B1 (pt) Detecção, rastreamento e/ou análise facial sempre ligado de baixo consumo de energia usando um sensor de visão baseado em eventos
JP2021026465A (ja) 情報処理装置、プログラム、及び撮像システム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid