KR101931220B1 - 인체 부위 측정 장치 및 방법 - Google Patents

인체 부위 측정 장치 및 방법 Download PDF

Info

Publication number
KR101931220B1
KR101931220B1 KR1020120132388A KR20120132388A KR101931220B1 KR 101931220 B1 KR101931220 B1 KR 101931220B1 KR 1020120132388 A KR1020120132388 A KR 1020120132388A KR 20120132388 A KR20120132388 A KR 20120132388A KR 101931220 B1 KR101931220 B1 KR 101931220B1
Authority
KR
South Korea
Prior art keywords
sub
body part
human body
image
images
Prior art date
Application number
KR1020120132388A
Other languages
English (en)
Other versions
KR20130125283A (ko
Inventor
리우 롱
장 판
첸 마오린
최창규
김지연
이기창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/857,623 priority Critical patent/US9443137B2/en
Publication of KR20130125283A publication Critical patent/KR20130125283A/ko
Application granted granted Critical
Publication of KR101931220B1 publication Critical patent/KR101931220B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 인체 부위를 측정하는 방법 및 장치를 제공한다. 상기 방법은 측정될 이미지에서 인체 부위와 관련된 그룹 서브 이미지(sub image)를 식별하는 단계; 서브 이미지의 기본적인 시각 특징 및 상기 서브 이미지의 주변 영역의 확장 특징에 기초하여 상기 그룹 서브 이미지의 각 서브 이미지에 있는 인체 부위에 대해서 신뢰 계수를 할당하는 단계; 신뢰 계수가 문턱 값(threshold value)보다 높은 서브 이미지들을 합병하여 인체 부위의 위치를 측정하는 단계를 포함한다. 본 발명에 따른 방법 및 장치는 더 효율적으로 인체 부위 측정의 성능을 개선할 수 있다.

Description

인체 부위 측정 장치 및 방법{Apparatus and Method for Body Components Detection}
본 발명은 컴퓨터 시각 및 모드 식별 기술에 관한 것으로, 보다 상세하게는 멀티 부위 콘텍스트 기술자 (Multi-part context descriptor)에 근거하는 인체 부위 측정 방법 및 장치 에 관한 것이다.
인체 자세 추정은 컴퓨터 시각 기술의 기본적인 과제이고 상기 기술은 인간-기계 상호 작용, 게이임, 영화, 및 리얼(real) 역할 애니메이션, 3D등 여러 영역에 많이 사용되고 있다. 최근 그의 기술 및 상업 가치에 의하여, 인체 자세 추정에 대한 연구는 컴퓨터 시각 영역의 초점이 되고 있다. 특히, 인체 부위 측정은 인체 자세 추정 기술 중의 기본적인 기술인 것이다. 인체 부위 측정 기술은 인체 자세를 추측하기 위해 중요한 관찰 정보를 제공할 수 있다.
인체 부위 측정에서는 대상 측정을 두 가지 타입으로 구분할 있다. 즉, 대상에 근거하는 인체 부위 측정 및 픽셀에 근거하는 인체 부위 측정인 것이다. 대상에 근거하는 인체 부위 측정 방법은 대상 영역에 있는 각 픽셀을 이용하여 포지티브(positive) 샘플로 간주하고, 대상 영역의 픽셀과 그의 주변 픽셀 간의 관계는 통상적으로 특징 기술자(descriptor)로 사용된다. 픽셀에 근거하는 인체 부위 측정 방법은 주변의 정보를 이용하여 대상을 측정할 수 있지만 대상의 내부 특징 및 윤곽 특징을 사용하지 않는다. 픽셀에 근거하는 인체 부위 측정 방법은 전체의 대상 영역을 포지티브 샘플로 간주하고 일부의 특징을 이용하여 상기 영역을 기술(describe)한다. 대상에 근거하는 인체 부위 측정 방법은 대상의 내부 특징 및 윤곽 특징을 사용하지만 대상의 주변 정보를 이용하지 않는다.
인체 부위 측정의 정확도를 향상 시키기 위해, 대상에 근거하는 인체 측정 및 픽셀에 근거하는 인체 측정 방법의 장점을 결합하는 인체 부위 측정 방법 및 장치가 필요하다.
본 발명의 일 측에 따라, 인체 부위를 측정하는 방법을 제공한다. 상기 방법은 측정될 이미지에서 인체 부위와 관련된 그룹 서브 이미지(sub image)를 식별하는 단계; 서브 이미지의 기본적인 시각 특징 및 상기 서브 이미지의 주변 영역의 확장 특징에 기초하여 상기 그룹 서브 이미지의 각 서브 이미지에 있는 인체 부위에 대해서 신뢰 계수를 할당하는 단계; 신뢰 계수가 문턱 값(threshold value)보다 높은 서브 이미지들을 합병하여 인체 부위의 위치를 측정하는 단계를 포함한다.
본 발명의 일 측에 따라, 상기 그룹 서브 이미지의 각 서브 이미지에 있는 인체 부위에 대해서 신뢰 계수를 할당하는 단계는, 각 서브 이미지의 멀티 부위 콘텍스트 기술자 (Multi-part context descriptor)를 정의하고 상기 멀티 부위 콘텍스트 기술자는 기본 기술자 및 확장 기술자를 포함하는 단계; 각 서브 이미지의 멀티 부위 콘텍스트 기술자와 미리 트레이닝(training)된 인체 부위의 멀티 부위 기술자 간의 유사성에 기초하여 상기 각 서브 이미지에 대해서 신뢰 계수를 할당하는 단계를 포함한다. 상기 기본 기술자는 서브 이미지의 인체 부위에 대한 기본 시각 특징을 기술하고, 상기 확장 기술자는 서브 이미지의 인체 부위와 주변 인체 부위의 공간 구조 관계를 기술한다.
본 발명의 일 측에 따라, 서브 이미지는 측정될 이미지에 있는 서로 다른 기하 형상, 위치, 및 크기를 구비하는 이미지 영역인 것이다.
본 발명의 일 측에 따라, 상기 서브 이미지 그룹에 있는 복수의 서브 이미지는 서로 오버랩된다.
본 발명의 일 측에 따라, 상기 방법은 측정될 이미지를 식별하기 전에 상기 측정될 이미지에 대해서 전처리(preprocessing)하는 단계를 더 포함한다.
본 발명의 일 측에 따라, 상기 전치리 단계는, 측정될 이미지의 데이터에 대해서 양자화(quantization)를 수행하는 단계; 측정될 이미지에 대한 이미지3D 정보 또는 이미지 심도 정보를 측정하는 단계; 측정될 이미지를 분할하는 단계; 측정될 이미지의 전경(foreground)을 추출하는 단계 중에 하나를 포함한다.
본 발명의 일 측에 따라, 상기 기본 시각 특징은 오디널(ordinal) 특징; 바이너리(binary) 특징; Haar 특징; 기울기 기술 히스토그램(Histogram of Gradient description) 특징; 윤곽 특징; 그레이(gray) 히스토그램 특징 중에 적어도 하나를 포함한다.
본 발명의 일 측에 따라, 상기 서브 이미지를 합병하는 단계는, 직접 합병 및 가중(weighting) 합병 둘 방식 중에 하나를 포함하고 문턱 값은 멀티 부위 콘텍스트 기술자에 대한 선택 및 조합에 따라 다르다.
본 발명의 일 측에 따라, 상기 직접 합병 단계는, 예정된 값보다 더 높은 신뢰 계수를 구비하는 서브 이미지를 선택하여 통계 및 기하 방법에 의하여 직접적으로 상기 선택된 서브 이미지의 위치를 합병하는 단계를 포함한다.
본 발명의 일 측에 따라, 상기 가중 합병 단계는, 서로 다른 신뢰 계수 문턱 값에 기초하여 서브 이미지의 위치를 합병하거나, 클러스터링(clustering) 알고리즘에 따라 서브 이미지의 위치를 합병하는 단계를 포함한다.
본 발명의 다른 일 측에 따라, 인체 부위 측정 장치를 제공한다. 상기 장치는 측정될 이미지에서 인체 부위와 관련된 그룹 서브 이미지(sub image)를 식별하는 서브 이미지 식별부; 서브 이미지의 기본적인 시각 특징 및 상기 서브 이미지의 주변 영역의 확장 특징에 기초하여 상기 그룹 서브 이미지의 각 서브 이미지에 있는 인체 부위에 대해서 신뢰 계수를 할당하고 신뢰 계수가 문턱 값(threshold value)보다 높은 서브 이미지들을 합병하여 인체 부위의 위치를 측정하는 인체 부위 식별부를 포함한다.
본 발명의 다른 일 측에 따라, 상기 인체 부위 측정 장치는 인체 부위의 멀티 부위 콘텍스트 기술자(Multi-part context descriptor)를 획득하기 위해 샘플 이미지에 대해서 트레이닝을 수행하는 트레이닝부를 더 포함한다. 상기 멀티 부위 콘텍스트 기술자는 기본 기술자 및 확장 기술자를 포함하고, 상기 기본 기술자는 서브 이미지의 인체 부위에 대한 기본 시각 특징을 기술하고, 상기 확장 기술자는 서브 이미지의 인체 부위와 주변 인체 부위의 공간 구조 관계를 기술한다. 상기 인체 부위 식별부는 각 서브 이미지의 멀티 부위 콘텍스트 기술자를 정의하고 상기 각 서브 이미지의 멀티 부위 콘텍스트 기술자와 상기 트레이닝부에 트레이닝된 인체 부위의 멀티 부위 기술자 간의 유사성에 기초하여 상기 각 서브 이미지에 대해서 신뢰 계수를 할당한다.
본 발명의 다른 일 측에 따라, 상기 인체 부위 측정 장치는 측정될 이미지 또는 샘플 이미지에 대해서 전처리(preprocessing)를 수행하는 전처리부를 더 포함한다.
이하, 첨부된 도면을 참조하여 실시예를 설명한다. 이에 따라 상기 및 기타 목적과 장점이 더욱 명확하게 된다.
도 1은 본 발명에 따른 인체 부위 측정 방법의 트레이닝 과정을 도시한 흐름도이다.
도 2A-2C는 본 발명의 실시예에 따른 심도 이미지에 있는 멀티 부위 콘텍스트 기술자 (Multi-part context descriptor)를 도시한 것이다.
도 3은 본 발명의 실시예에 따른 인체 부위 측정 방법을 도시한 흐름도이다.
도 4은 본 발명의 실시예에 따른 인체 부위 측정 시스템을 도시한 것이다.
이하, 실시예들에 대해서 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명에 따른 인체 부위 측정 방법의 트레이닝 과정을 도시한 흐름도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 인체 부위 측정 방법의 트레이닝 과정은 트레이닝 이미지 데이터 구축 단계(110); 전처리(preprocessing) 단계(120); 트레이닝 샘플 준비 단계(130) 및 인체 부위 분류기(sorter) 트레이닝 단계(140)의 네 가지 단계를 포함한다. 이하, 상기 각 단계에 대해서 자세히 설명한다.
우선, 트레이닝 이미지 데이터 구축 단계(110)에서는 이미지 데이터 또는 리얼(real) 이미지 데이터를 합성에 의하여 트레이닝 이미지 데이터를 구축할 수 있다.
그 다음, 전처리 단계(120)에서는 트레이닝 이미지 데이터에 대해서 양자화(quantization) 및 배경 제거를 수행한다. 양자화 처리는 후속 처리를 수행하기 위해 오리지널 이미지 데이터를 양자화된 심도 이미지 데이터로 표시한 것이다. 예를 들어, 그레이(gray) 이미지는 대표적인 양자화 심도 이미지로써 그의 이미지 데이터의 값이 0~255로 양자화 된다. 양자화에 의하여 오리지널 이미지 데이터는 양자화 되어 소음 제거 또는 계산을 줄일 수 있다. 일반적으로 배경 제거 처리는 심도 값에 대한 제한, 관련된 영역 추출, 및 동작 포착 등에 기초하여 수행된다.
구체적으로, 트레이닝 이미지 데이터에 대한 처리는, 트레이닝 이미지 데이터에 대해서 양자화를 수행하는 단계; 트레이닝 이미지 데이터에 대한 이미지3D 정보 또는 이미지 심도 정보를 측정하는 단계; 트레이닝 이미지 데이터를 분할하는 단계; 트레이닝 이미지 데이터 에 대해서 전경(foreground)을 추출하는 단계 중에 하나를 포함할 수 있다.
이어서, 트레이닝 샘플 준비 단계(130)에서는 세 가지 타입의 트레이닝 샘플을 준비한다. 즉, 부위 샘플, 부위 콘텍스트 샘플 및 네거티브(negative) 샘플이다. 부위 샘플은 부위 대상의 자체를 초점으로 한다. 부위 콘텍스트 샘플은 부위의 주변 영역을 초점으로 한다. 부위 주변 영역에 대한 분할은
Figure 112012096014614-pat00001
로 표시할 수 있고,
Figure 112012096014614-pat00002
및
Figure 112012096014614-pat00003
는 부위 영역의 주변 영역의 중심 위치를 의미하고, R는 주변 영역의 사이즈를 의미하고, M는 주변 영역의 분할된 형상을 의미한다. 분할된 형상은 사각형, 원형 등이 될 수 있다. 네거티브 샘플은 측정될 인체 부위를 포함하는 서브 이미지와 반대의 서브 이미지인 것이다. 즉, 측정될 인체 부위를 포함하지 않는 서브 이미지인 것이다. 일반적으로 샘플 트레이닝 단계에서 두 기지 타입의 네거티브 샘플을 사용한다. 하나는 인체가 포함되지 않는 배경 이미지인 것이고, 또 하나는 해당 트레이닝 인체 부위가 이미 추출된 인체 이미지인 것이다. 네거티브 샘플의 트레이닝에 의하여 서브 이미지에 측정될 인체 부위가 포함되는지 구분할 수 있다.
그 다음, 인체 부위 분류기 트레이닝 단계(140)에서는 인체 부위를 측정하기 위한 인체 부위 분류기 트레이닝을 수행한다. 인체 부위 분류기 트레이닝은 샘플을 기술하는 단계; 트레이닝을 개선하는 단계; 측정기를 구축하는 단계 세 가지 단계를 포함한다.
샘플을 기술하는 단계에서, 각 서브 이미지의 기본적인 특징 및 상기 서브 이미지의 주변 영역의 확장 특징에 기초하여 샘플을 기술한다. 본 발명의 실시예에 따라, 멀티 부위 콘텍스트 기술자를 이용하여 각 서브 이미지의 기본적인 특징 및 상기 서브 이미지의 주변 영역의 확장 특징을 표현할 수 있다. 본 발명의 실시예에 따른 멀티 부위 콘텍스트 기술자는 각 서브 이미지의 부위 대상에 대한 기본적인 시각 특징을 기술할 있는 것이 뿐만 아니라 부위에 인접한 주변 부위의 콘텍스트 정보, 즉 확장 특징에 대해도 기술할 수 있다. 예를 들어, 본 발명의 실시예에서는 멀티 사이즈 오디널(ordinal) 모드(MSOP)의 특징을 이용하여 멀티 부위 콘텍스트 기술자의 기본적인 특징으로 간주할 수 있다.
MSOP의 멀티 부위 콘텍스트 기술자에 기초하여 다음과 같이 등식(1)으로 표현할 수 있다:
등식(1)
Figure 112012096014614-pat00004
상기 등식(1)에 있어서, b(x)는 불 함수(Boolean function)를 의미하고, x>0 이면 b(x)=1, x<0 이면 b(x)=0. gi는MSOP 모드에서 그리드(grid, 즉 서브 이미지)에 있는 픽셀 값을 의미하고, i는 그리드의 인덱스를 의미하고, gc는 서브 이미지 및 서브 이미지 주변 영역의 그리드에 대한 평균 픽셀 값을 의미하며
Figure 112012096014614-pat00005
로 표현할 수 있다.
Figure 112012096014614-pat00006
는 MSOP 모드의 파라미터를 의미하고 MSOP 모드의 파라미터는 모드의 위치, 크기 및 유형을 포함할 수 있다. 본 발명의 실시예에 따른 MSOP 모드는 서브 이미지에 포함된 부위의 기본적인 특징을 기술하기 위한 MSOP 모드 및 주변 부위의 확장 특징을 기술하기 위한 MSOP 모드를 포함할 수 있다. 그러나 MSOP 모드에 근거하는 특징 기술자는 본 발명의 실시예에 따른 멀티 부위 콘텍스트 기술자의 한 예시로써 본 발명이 이에 의하여 제한되지 않는다. 본 발명은 기타의 시각 특징 기술 방식으로 멀티 부위 콘텍스트 기술자를 형성할 수 있다. 예를 들어, 이미지의 Haar 특징; 기울기 히스토그램(HOG) 특징; 바이너리(binary) 특징; 윤곽 특징; 그레이(gray) 히스토그램 특징을 이용하여 멀티 부위 콘텍스트 기술자의 기본적인 기술자로 간주한다.
이하, 도 2A-2C를 참조하여 본 발명의 실시예에 따른 멀티 부위 콘텍스트 기술자의 모드에 대해서 설명한다.
도 2A-2C는 본 발명의 실시예에 따른 멀티 부위 콘텍스트 기술자의 모드 파라미터를 도시한 것이다. 도2B을 참조하면, 블록 201 및203은 인체 부위를 포함하는 서브 이미지를 의미하는 것이다. 블록 201에 포함된 인체 부위는 인체의 위팔인 것이고 블록 203에 포함된 인체 부위는 인체의 머리인 것이다. 블록 205 및207은 블록 201 및203에 대응하는 주변 영역을 의미하는 것이다. 도 2A는 본 발명의 실시예에 따른 멀티 부위 콘텍스 기술자에 있는 부위의 시각 특징을 기술하는 기본적인 기술자의 모드 파라미터
Figure 112012096014614-pat00007
를 도시한 것이다. 도 2C는 본 발명의 실시예에 따른 멀티 부위 콘텍스 기술자에 있는 부위 주변 영역의 콘텍스트 정보를 기술하는 확장 기술자의 모드 파라미터
Figure 112012096014614-pat00008
를 도시한 것이다. 상기 기술 방식에 있어서, x및y 는 기술자의 위치 파라미터를 의미하고, w및 h는 기술자의 형상 파라미터를 의미하고, t는 기술자의 유형을 의미한다. 상기 기술 방식으로, 주변 영역의 크기 및 형상은 측정될 인체 부위를 포함하는 서브 이미지와 일정 관계를 구비하는 것으로 정의될 수 있다. 예를 들어, 주변 영역의 위치는 서브 이미지의 영역을 중심으로 하는 더 큰 영역이 될 수 있고(도2B의 블록205 및 207을 참조), 서브 이미지 영역의 위쪽, 아래쪽, 왼쪽, 오른쪽 영역이 될 수도 있다. 주변 영역의 크지는 서브 이미지 영역의 2배, 3배, 3.5배등이 될 수 있다. 주변 영역의 형상은 서브 이미지와 같은 형상이 될 수 있고 고정된 사각형, 원형 등도 될 수 있다.
머리에 대하여, 본 발명의 실시예에 따른 멀티 부위 콘텍스 기술자는 머리의 특징(예, 타원형의 윤곽 특징)을 기술할 수 있는 것이 뿐만 아니라, 머리 주변의 목 또는 어깨 부위에 대한 정보도 기술할 수 있다. 위팔에 대하여, 본 발명의 실시예에 따른 멀티 부위 콘텍스 기술자는 위팔의 형상을 기술할 수 있는 것이 뿐만 아니라 위팔 주변의 상반 신체에 대한 정보도 기술 할 수 있다. 따라서, 본 발명의 실시예에 따른 멀티 부위 콘텍스 기술자는 부위 대상의 내부 특징 및 윤곽 구조를 포함하는 것이 뿐만 아니라 주변 영역의 콘텍스트 정보도 포함한다. 따라서 현재 기술의 로컬 기술자와 비교하면 본 발명의 실시예에 따른 멀티 부위 콘텍스 기술자는 더 높은 안정성을 구비한다.
또한, 상기와 같이, 도2에서 머리 및 위팔에 의하여 인체 부위의 예시를 설명했지만 해당 기술분야에서 통상의 지식을 가진 자라면 인체 부위가 더 정밀하게 구분될 수 있는 것을 이해해야 한다. 예를 들어, 인체 부위를 머리, 왼쪽 위팔(left upper arm), 왼쪽 아래팔(Left lower arm), 왼손, 오른쪽 위팔, 오른쪽 아래팔, 오른손, 왼쪽 허벅지, 왼쪽 종아리, 오른쪽 허벅지, 오른쪽 종아리 등으로 구분할 수 있으므로 상기 각 부위에 대해서 더 정밀한 멀티 부위 콘텍스트 기술자 트레이닝을 수행할 수 있다.
다시 도1을 참조하면, 트레이닝을 개선하는 단계에서 모든 유형의 분류기를 트레이닝하여 인체 부위를 측정하고, 각 유형의 분류기는 서브 이미지의 한 특징을 의미한다. 예를 들어, SVM, Forest, Boosting 등 알고리즘을 통해 분류기를 트레이닝한다. 본 발명의 실시예에서는 AdaBoost 알고리즘을 사용하여 분류기 트레이닝을 수행한다. AdaBoost에 근거하는 멀티 부위 콘텍스트 기술자는 다음과 같이 등식(2)로 표현할 수 있다.
등식(2)
Figure 112012096014614-pat00009
상기 등식(2)에 있어서, x는 샘플을 의미하고,
Figure 112012096014614-pat00010
는 부위 대상 자체의 특징을 기술하기 위한 분류기를 의미하고,
Figure 112012096014614-pat00011
는 부위 주변 영역에 대한 콘텍스트 정보의 특징을 기술하기 위한 분류기를 의미하고,
Figure 112012096014614-pat00012
는
Figure 112012096014614-pat00013
분류기의 개수를 의미하고,
Figure 112012096014614-pat00014
는
Figure 112012096014614-pat00015
분류기의 개수를 의미하고, F(x)는 최종의 분류기를 의미한다.
그 다음, 인체 부위 측정기를 구축하는 단계에서 트레이닝된 여러 종류의 분류기를 캐스게이드(cascade)하여 인체 부위 측정의 성능을 향상시킨다.
이하, 도3을 참조하여 본 발명의 실시예에 따른 인체 부위를 측정하는 방법을 설명한다.
우선, 단계(310)에서, 측정될 이미지에서 인체 부위와 관련된 그룹 서브 이미지를 식별한다. 구체적으로, 식별하는 과정에서 심도 이미지의 특정된 위치 및 크기에 기초하여 서브 이미지를 검색하고 서브 이미지가 측정될 인체 부위인지 판단할 수 있다.
검색 과정은
Figure 112012096014614-pat00016
로 표현할 수 있고,
Figure 112012096014614-pat00017
는 각각 서브 이미지를 검색할 때 사용된 가장 작은 사이즈, 가장 큰 사이즈, 및 step size 를 의미하고,
Figure 112012096014614-pat00018
는 각각 서브 이미지를 검색할 때 사용된 이니셜 검색 포인트 위치, 종점 위치 및 searching step size를 의미한다. 다리 말하면, 서브 이미지는 측정될 이미지에 서로 다른 기하 형상, 위치 및 크기를 구비하는 이미지 영역이 될 수 있고 서브 이미지 그룹에 있는 복수의 서브 이미지가 서로 오버랩이 될 수 있다. 구체적으로 상기 검색 과정은 이미지에서 순환으로 서브 이미지 영역을 추출하는 과정으로 간주될 수 있다. 우선, 이니셜 사이즈 Smin부터 서브 이미지 영역의 크기를 결정하고, 그 다음, 이미지의 이니셜 검색 포인트 위치Pstart로부터 서브 이미지 영역의 중심 위치를 결정하고 종점 위치 Pend에 도작할 때까지 Ps를 step로 하여 순서대로 이미지 영역의 중심 위치를 이동하고, 트래버스(traverse)된 각 위치에서 서브 이미지를 추출한다. 그 다음, 가장 큰 사이즈Smax 가 될 때까지 step Sstep에 의하여 순서대로 서브 이미지 영역의 크기를 증가한다. 각 영역 사이즈마다 한번씩 서브 이미지의 중심으로 Pstart로부터 Pend까지 트래버스하여 검색할 모든 서브 이미지를 획득한다.
바람직한 것은, 식별 과정에서 전경(foreground) 추출 기술을 통해 측정될 이미지에 있는 인체를 추출한 것이다. 전경 추출을 통해 전경 영역만 인체 부위 측정을 수행할 수 있고 서브 이미지 위치에 대한 검색 량을 줄일 수 있다. 또한 추출된 전경 대상에 대한 심도 값을 측정하여 서브 이미지에 대한 검색 범위를 줄일 수 있다. 또한 이미지 3D 정보 및 이미지 분할에 의하여 서브 이미지를 식별할 수 있다.
그 다음, 단계(320)에서, 각 서브 이미지의 기본적인 특징 기술 및 상기 서브 이미지 주변 영역의 확장 특징 기술에 기초하여 그룹 서브 이미지에 있는 각 서브 이미지의 인체 부위에 대해서 신뢰 계수를 할당한다. 다시 말하면, 트레이닝된 멀티 부위 콘텍스트 기술자에 기초하여 서브 이미지가 인체 부위인지 결정한다. 구체적으로, 인체 부위 분류기 트레이닝에 의하여 최종으로 획득된 최종 분류기 F(x) (등식(2)를 참조)의 식으로 서브 이미지에 대해서 신뢰 계수를 계산한다. 우선, 인체 부위 분류기 트레이닝 부분의 특징에 따라 해당하는 분류기f 에 대해서 계산하고, F(x) 식의 조합으로 각 분류기에 대한 계산 값을 오버레이(overlay)하고 오버레이된 출력 값을 해당하는 서브 이미지의 신뢰 계수로 간주한다.
그 다음, 단계(330)에서, 신뢰 계수가 문턱 값보다 높은 서브 이미지를 합병하여 인체 부위의 위치를 측정한다. 여기서, 문턱 값은 멀티 부위 콘텍스트 기술자의 종류에 대한 선택 및 조합에 따라 다르고 본 발명의 실시예에 따라 합병 단계는 직접 합병 및 가중(weighting) 합병 둘 방식을 포함할 수 있다. 직접 합병 단계에서는 예정된 값보다 더 높은 신뢰 계수를 구비하는 서브 이미지를 선택하여 통계 및 기하 방법에 의하여 직접적으로 상기 선택된 서브 이미지의 위치를 합병하여 최종으로 인체 부위의 위치를 획득한다. 구체적으로, 평균값의 방식으로 모든 신뢰 계수 요구에 부합하는 서브 이미지의 평균 중심 위치 및 평균 사이즈 크기를 계산하여 최종 인체 부위 위치로 할 수 있다. 또한 모든 신뢰 계수 요구에 부합하는 서브 이미지가 가장 집중되어 있는 영역을 인체 부위의 최종 출력 위치로 할 수 있다.
가중 합병 단계에서, 서로 다른 신뢰 계수 문턱 값에 기초하여 서브 이미지의 위치를 합병하거나, 클러스터링 알고리즘(clustering alorithm)에 따라 서브 이미지의 위치를 합병한다. 클러스터링 알고리즘은 mean-shift, k near neighbor를 포함할 수 있다. 구체적으로 가중 합병에서, 신뢰 계수 요구에 부합하는 서브 이미지에 대한 신뢰 계수는 동시에 유지될 수 있고 합병에서 상기 서브 이미지의 중요성을 결정한다. 예를 들어, 서브 이미지의 가중 평균 중심 위치 및 가중 평균 사이즈 크기를 최종 인체 부위의 위치로 할 수 있다.
이하, 도4를 참조하여 본 발명의 실시예에 따른 인체 부위 측정 시스템의 작동 원리에 대해서 설명한다. 도4에 도시된 바와 같이, 본 발명의 실시예에 따른 인체 부위 측정 시스템은 이미지 획득 장치(410), 인체 부위 측정 장치(420)를 포함한다. 도4에서 이미지 획득 장치(410) 및 인체 부위 측정 장치(420)가 별도로 설치되어있지만 상기 두 장치는 하나의 설비로 실현될 수 있다.
또한, Primesence 매핑(mapping) 장치, ToF(Time-of-Flight) 카메라, 다시점(multi-view) 카메라 등 장치 및 설비를 이미지 획득 장치(410)로 간주할 수 있다. 이미지 획득 장치(410)에 의하여 획득된 이미지 데이터는 트레이닝 이미지 데이터로 사용될 수 있고 측정될 이미지 데이터로 사용될 수도 있다.
인체 부위 측정 장치(420)은 이미지 전처리부(421), 트레이닝부(422), 서브 이미지 식별부(423), 및 인체 부위 식별부(424)를 포함한다.
이미지 전처리부(421)은 이미지 데이터를 전처리하기 위해 사용된다. 여기서, 이미지 전처리부(421)은 이미지 획득 장치(410)가 획득된 이미지 데이터 또는 트레이닝 샘플 이미지 데이트베이스에 저장된 샘플 이미지 데이터에 대해서 전처리를 수행한다. 예를 들어, 이미지 전처리부(421)은 이미지 데이터에 대해서 양자화를 수행할 수 있고 트레이닝부(422) 및 서브 이미지 식별부(423)가 후속 처리를 수행하기 위해 이미지 데이터에 대해서 전경 추출 처리, 심도 값 측정, 이미지 3D 정보 측정, 이미지 분할 등 처리를 수행할 수 있다.
트레이닝부(422)는 트레이닝 샘플 이미지 데이터로부터 트레이닝 샘플을 준비하고 트레이닝 샘플을 이용하여 인체 부위를 측정하는 인체 부위 분류기(즉, 멀티 부위 콘텍스트 기술자)를 트레이닝하고 인체 부위 분류기를 사용하여 인체 부위 측정기를 구축한다. 트레이닝 샘플 이미지 데이터는 이미지 데이터 베이스에 미리 저장된 이미지 데이터가 될 수 있고 이미지 획득 장치(410)에 의하여 획득된 이미지 데이터가 될 수도 있다.
서브 이미지 식별부(423)은 측정될 이미지에서 인체 부위와 관련된 그룹 서브 이미지(sub image)를 식별한다. 인체 부위 식별부(424)는 각 서브 이미지의 기본적인 시각 특징 및 상기 서브 이미지의 주변 영역의 확장 특징에 기초하여 상기 그룹 서브 이미지의 각 서브 이미지에 있는 인체 부위에 대해서 신뢰 계수를 할당하고 신뢰 계수가 문턱 값보다 높은 서브 이미지들을 합병하여 인체 부위의 위치를 측정한다. 본 발명의 예시적 실시예에서는 인체 부위 식별부(424)는 각 서브 이미지의 멀티 부위 콘텍스트 기술자를 정의하고 각 서브 이미지의 멀티 부위 콘텍스트 기술자와 트레이닝된 인체 부위의 멀티 부위 기술자 간의 유사성에 기초하여 각 서브 이미지에 대해서 신뢰 계수를 할당한다. 또한 인체 부위 식별부(424)는 측정된 결과를 외부 장치로 출력하여 외부 장치에 의하여 처리한 다음에 최종의 인체 부위 식별 결과를 표시할 수 있다.
상기 설명된 인체 부위 측정 장치(420)에 대한 각 모듈의 구정은 예시적으로써 더 많은 모듈로 구분할 거나 적은 수량의 모듈로 합병될 수 있다.
현재 사용된 대상에 근거하는 인체 부위 측정 기술 및 픽셀에 근거하는 인체 부위 측정 기술과 비교하면 본 발명에 따른 멀티 부위 콘텍스트 기술자는 인체 부위 대상 자체의 내부 특징 및 윤곽 특징에 대해서 기술할 수 있는 것이 뿐만 아니라 인체 부위 대상 주변 영역의 특징에 대해도 기술할 수 있다. 따라서 인체 부위의 주변 정보를 이용하여 인체 부위 측정기의 성능을 개선할 수 있고 더 신속하게 분류기 트레이닝의 목적을 달성할 수 있으므로 분류기의 복잡도를 줄일 수 있다. 따라서 본 발명에 따른 인체 부위 측정 방법은 더 효율적으로 인체 부위 측정의 성능을 개선할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (17)

  1. 인체 부위를 포함하는 입력 이미지에 기초하여 복수의 서브 이미지들을 생성하는 단계;
    서브 이미지의 기본 특징 및 상기 서브 이미지의 주변 영역의 확장 특징에 기초하여 상기 복수의 서브 이미지들의 신뢰 계수를 결정하는 단계; 및
    상기 복수의 서브 이미지들 중 적어도 두 개의 서브 이미지들이 문턱 값(threshold value)보다 높은 신뢰 계수를 가지는 경우, 상기 문턱 값보다 높은 신뢰 계수를 가지는 서브 이미지들을 합병하여 상기 인체 부위를 검출하는 단계를 포함하고,
    상기 신뢰 계수를 결정하는 단계는,
    상기 서브 이미지들에 대한 멀티 부위 콘텍스트 기술자와 상기 인체 부위에 대해 미리 트레이닝된 멀티 부위 기술자 간의 유사성에 기초하여 상기 서브 이미지들의 신뢰 계수를 결정하는 단계를 포함하고,
    상기 멀티 부위 콘텍스트 기술자는,
    상기 기본 특징에 대응되는 기본 기술자 및 상기 확장 특징에 대응되는 확장 기술자를 포함하는
    인체 부위 측정 방법.
  2. 제1항에 있어서,
    상기 기본 기술자는
    상기 서브 이미지들의 인체 부위에 대한 상기 기본 특징을 기술하고,
    상기 확장 기술자는
    상기 서브 이미지들의 인체 부위와 상기 인체 부위의 주변 영역들 간의 공간 구조 관계를 기술하는, 인체 부위 측정 방법.
  3. 제1항에 있어서,
    상기 입력 이미지에 대해서 전처리(preprocessing)하는 단계
    를 더 포함하는 인체 부위 측정 방법.
  4. 제3항에 있어서,
    상기 입력 이미지를 전처리하는 단계는,
    상기 입력 이미지에 대한 이미지3D 정보 또는 심도 정보를 검출하는 단계; 및
    상기 3D 정보 또는 상기 심도 정보에 기초하여 상기 입력 이미지로부터 전경(foreground)을 추출하는 단계
    를 포함하는, 인체 부위 측정 방법.
  5. 제1항에 있어서,
    상기 기본 특징은,
    오디널(ordinal) 특징; 바이너리(binary) 특징; Haar 특징; 기울기 기술 히스토그램(Histogram of Gradient description) 특징; 윤곽 특징; 그레이(gray) 히스토그램 특징 중에 적어도 하나를 포함하는 인체 부위 측정 방법.
  6. 제1항에 있어서,
    상기 확장 특징은
    상기 주변 영역을 지시하는 파라미터에 기초한 멀티 사이즈 오디널 패턴(MSOP) 특징을 포함하는, 인체 부위 측정 방법.
  7. 제1항에 있어서,
    상기 인체 부위를 검출하는 단계는,
    직접 합병 기법 및 가중(weighting) 합병 기법 중 적어도 하나에 기초하여 상기 서브 이미지를 합병하는 단계
    를 포함하는, 인체 부위 측정 방법.
  8. 제1항에 있어서,
    상기 문턱 값은,
    상기 멀티 부위 콘텍스트 기술자 내 적어도 하나의 기본 기술자 및 적어도 하나의 확장 기술자의 조합에 따라 달라지는, 인체 부위 측정 방법.
  9. 제7항에 있어서,
    상기 직접 합병 기법은,
    예정된 값보다 더 높은 신뢰 계수를 구비하는 서브 이미지를 선택하고, 통계 알고리즘 및 기하 알고리즘 중에서 적어도 하나를 이용하여 상기 선택된 서브 이미지들을 합병하는, 인체 부위 측정 방법.
  10. 제7항에 있어서,
    상기 가중 합병 기법은,
    서로 다른 신뢰 계수 문턱 값에 기초하여 서브 이미지의 위치들을 합병하거나, 또는 클러스터링 알고리즘에 기초하여 서브 이미지의 위치들을 합병하는, 인체 부위 측정 방법.
  11. 제7항에 있어서,
    상기 문턱 값보다 높은 신뢰 계수 요구에 부합하는 상기 서브 이미지들의 평균 사이즈 크기 및 평균 중심 위치를 계산하고, 상기 인체 부위의 최종 위치를 결정하기 위해 상기 평균 사이즈 크기 및 상기 평균 중심 위치 중 적어도 하나를 이용하는 단계
    를 더 포함하는, 인체 부위 측정 방법.
  12. 제11항에 있어서,
    상기 인체 부위의 최종 위치를 결정하기 위해 신뢰 계수 각각에 기초하여 상기 평균 사이즈 크기 및 상기 평균 중심 위치를 가중화하는 단계
    를 더 포함하는, 인체 부위 측정 방법.
  13. 제1항에 있어서,
    상기 서브 이미지들의 상기 신뢰 계수는
    복수의 인체 부위 분류기들을 트레이닝 함으로써 얻어지는 최종 분류기를 이용하여 산출되는, 인체 부위 측정 방법.
  14. 입력 이미지에 기초하여 복수의 서브 이미지(sub image)들을 생성하는 서브 이미지 식별부;
    상기 서브 이미지들의 기본 특징 및 상기 서브 이미지들의 주변 영역의 확장 특징에 기초하여 상기 복수의 서브 이미지들의 신뢰 계수를 결정하며, 상기 복수의 서브 이미지들 중 적어도 두 개의 서브 이미지들이 문턱 값(threshold value)보다 높은 신뢰 계수를 가지는 경우, 상기 문턱 값 보다 높은 신뢰 계수를 가지는 서브 이미지들을 합병하여 인체 부위를 검출하는 인체 부위 식별부
    를 포함하는
    상기 인체 부위 식별부는,
    상기 서브 이미지들에 대한 멀티 부위 콘텍스트 기술자와 상기 인체 부위에 대해 미리 설정된 멀티 부위 컨텍스트 기술자 간의 유사성에 기초하여 상기 서브 이미지들의 신뢰 계수를 결정하고,
    상기 멀티 부위 콘텍스트 기술자는,
    상기 기본 특징에 대응되는 기본 기술자 및 상기 확장 특징에 대응되는 확장 기술자를 포함하는
    인체 부위 측정 장치.
  15. 제14항에 있어서,
    상기 문턱 값은
    상기 멀티 부위 콘텍스트 기술자 내 적어도 하나의 기본 기술자 및 적어도 하나의 확장 기술자의 조합에 따라 달라지고,
    상기 인체 부위 식별부는
    상기 문턱 값보다 높은 신뢰 계수 요구에 부합하는 상기 서브 이미지들의 평균사이즈 크기 및 평균 중심 위치를 계산하고, 상기 인체 부위의 최종 위치를 결정하기 위해 상기 평균 사이즈 크기 및 상기 평균 중심 위치 중 적어도 하나를 이용하는, 인체 부위 측정 장치.
  16. 제15항에 있어서,
    상기 인체 부위 식별부는
    상기 인체 부위의 최종 위치를 결정하기 위해 신뢰 계수 각각에 기초하여 상기 평균 사이즈 크기 및 상기 평균 중심 위치를 가중화하는, 인체 부위 측정 장치.
  17. 제14항에 있어서,
    상기 서브 이미지 식별부는
    심도 이미지의 미리 설정된 위치 및 크기 중 적어도 하나에 기초하여 서브 이미지를 검색하고, 상기 검색에서 식별된 서브 이미자가 상기 검출된 이미지의 인체 부위에 대응되는지 여부를 결정하는, 인체 부위 측정 장치.
KR1020120132388A 2012-05-08 2012-11-21 인체 부위 측정 장치 및 방법 KR101931220B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/857,623 US9443137B2 (en) 2012-05-08 2013-04-05 Apparatus and method for detecting body parts

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210141357.2A CN103390150B (zh) 2012-05-08 2012-05-08 人体部件检测方法和装置
CN201210141357.2 2012-05-08

Publications (2)

Publication Number Publication Date
KR20130125283A KR20130125283A (ko) 2013-11-18
KR101931220B1 true KR101931220B1 (ko) 2019-03-13

Family

ID=49534419

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120132388A KR101931220B1 (ko) 2012-05-08 2012-11-21 인체 부위 측정 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101931220B1 (ko)
CN (1) CN103390150B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112019019517A8 (pt) 2017-03-20 2023-04-04 Huawei Tech Co Ltd Método e aparelho para reconhecer atributo descritivo de característica de aparência
CN112435215B (zh) * 2017-04-11 2024-02-13 创新先进技术有限公司 一种基于图像的车辆定损方法、移动终端、服务器
CN110096933B (zh) 2018-01-30 2023-07-18 华为技术有限公司 目标检测的方法、装置及***
CN111832361B (zh) * 2019-04-19 2023-08-29 杭州海康威视数字技术股份有限公司 一种行人重识别方法、装置和计算机设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120093407A1 (en) * 2010-09-21 2012-04-19 Sony Corporation Object detection and classification method and apparatus

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101350064B (zh) * 2008-08-29 2012-06-13 北京中星微电子有限公司 二维人体姿态估计方法及装置
JP2010191592A (ja) * 2009-02-17 2010-09-02 Seiko Epson Corp 顔の特徴部位の座標位置を検出する画像処理装置
CN101989326B (zh) * 2009-07-31 2015-04-01 三星电子株式会社 人体姿态识别方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120093407A1 (en) * 2010-09-21 2012-04-19 Sony Corporation Object detection and classification method and apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Multiple Instance Feature for Robust Part-based Object Detection, IEEE*

Also Published As

Publication number Publication date
CN103390150A (zh) 2013-11-13
KR20130125283A (ko) 2013-11-18
CN103390150B (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN105512683B (zh) 基于卷积神经网络的目标定位方法及装置
US9443137B2 (en) Apparatus and method for detecting body parts
JP4739355B2 (ja) 統計的テンプレートマッチングによる高速な物体検出方法
JP6050223B2 (ja) 画像認識装置、画像認識方法、及び集積回路
KR101789071B1 (ko) 깊이 영상의 특징 추출 방법 및 장치
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
JP2017016593A (ja) 画像処理装置、画像処理方法、及びプログラム
CN109766796B (zh) 一种面向密集人群的深度行人检测方法
CN112825192B (zh) 基于机器学习的对象辨识***及其方法
KR20080002409A (ko) 2차원 영상의 3차원 영상 변환 장치 및 방법
CN112365586B (zh) 3d人脸建模与立体判断方法及嵌入式平台的双目3d人脸建模与立体判断方法
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
CN111160291A (zh) 基于深度信息与cnn的人眼检测方法
KR101460313B1 (ko) 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
CN112001241A (zh) 基于通道注意力机制的微表情识别方法及***
KR101931220B1 (ko) 인체 부위 측정 장치 및 방법
CN112668374A (zh) 图像处理方法、装置、重识别网络的训练方法及电子设备
WO2011099072A1 (ja) パターン識別装置
KR101967858B1 (ko) 3d 깊이 이미지 기반 객체 분리 장치 및 그 방법
Srinidhi et al. Pothole detection using CNN and AlexNet
CN111027434B (zh) 一种行人识别模型的训练方法、装置及电子设备
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
CN116912763A (zh) 一种融合步态人脸模态的多行人重识别方法
US20230021591A1 (en) Model generation method, model generation apparatus, non-transitory storage medium, mobile object posture estimation method, and mobile object posture estimation apparatus
JP2014048702A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right