KR20220071403A - 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법 - Google Patents

밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법 Download PDF

Info

Publication number
KR20220071403A
KR20220071403A KR1020200158459A KR20200158459A KR20220071403A KR 20220071403 A KR20220071403 A KR 20220071403A KR 1020200158459 A KR1020200158459 A KR 1020200158459A KR 20200158459 A KR20200158459 A KR 20200158459A KR 20220071403 A KR20220071403 A KR 20220071403A
Authority
KR
South Korea
Prior art keywords
posture
dataset
clustering
human posture
density
Prior art date
Application number
KR1020200158459A
Other languages
English (en)
Other versions
KR102446923B1 (ko
Inventor
이상훈
박예승
이경오
조의현
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020200158459A priority Critical patent/KR102446923B1/ko
Publication of KR20220071403A publication Critical patent/KR20220071403A/ko
Application granted granted Critical
Publication of KR102446923B1 publication Critical patent/KR102446923B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)

Abstract

본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법은, 밀도 기반 클러스터링 알고리즘을 중복성이 높은 사람 자세 데이터셋에 적용하여 서로 유사한 자세 데이터들끼리 클러스터링하고, 클러스터 각각에서 적은 개수의 자세 데이터만을 추출하여 축약 사람 자세 데이터셋을 획득함으로써, 중복되는 자세 데이터들은 모두 줄이고 다양성이 높은 자세 데이터셋을 획득하고, 이로 인해 종래의 사람 자세 데이터셋을 이용하여 사람 자세 추정 모델을 학습하는 종래의 방식에 비해 아주 적은 데이터를 사용함에도 불구하고 종래의 사람 자세 추정 모델의 성능을 그대로 유지할 수 있으며, 아울러, 축약된 사람 자세 데이터셋을 통해 학습함으로써, 종래의 방식을 이용한 사람 자세 추정 모델의 학습에 소요되는 시간에 비해 아주 적은 시간으로도 학습이 가능함에도 불구하고 종래의 사람 자세 추정 모델과 유사한 성능을 발휘할 수 있고, 또한, 자세 분석을 통해 원본 사람 자세 데이터셋으로부터 메트릭 공간(metric space)을 획득하고, 획득한 메트릭 공간에서 밀도 기반 클러스터링 알고리즘인 DBSCAN을 통해 클러스터링을 수행함으로써, 서로 유사한 자세 데이터들끼리 묶는 클러스터링의 성능을 향상시킬 수 있다.

Description

밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법{Apparatus and method for reducing human pose dataset using DBSCAN}
본 발명은 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법에 관한 것으로서, 더욱 상세하게는 원본 사람 자세 데이터셋을 유사한 자세 데이터들끼리 클러스터링하는, 장치 및 방법에 관한 것이다.
종래의 사람 자세 데이터셋(pose dataset)의 경우 거대한 양의 데이터를 모두 학습시키지 않고 적정량을 샘플링하는 방식을 사용하고 있다. 그중 가장 많이 활용되는 방법은 일정 기간마다 하나씩 데이터를 임의 추출하는 방식이다.
그러나, 이와 같은 방식의 경우 특정 자세가 계속 반복되는 사람 자세 데이터셋의 특성상 계속 유사한 데이터가 추출될 수 있는 등의 중복성을 완벽하게 제거할 수 없는 문제가 있고, 이는 사람 자세 추정 모델의 성능에도 영향을 미치는 단점이 있다.
본 발명이 이루고자 하는 목적은, 밀도 기반 클러스터링 알고리즘을 중복성이 높은 사람 자세 데이터셋에 적용하여 서로 유사한 자세 데이터들끼리 클러스터링하고, 클러스터 각각에서 적은 개수의 자세 데이터만을 추출하여 축약 사람 자세 데이터셋을 획득하는, 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법을 제공하는 데 있다.
또한, 본 발명이 이루고자 하는 목적은, 자세 분석을 통해 원본 사람 자세 데이터셋으로부터 메트릭 공간(metric space)을 획득하고, 획득한 메트릭 공간에서 밀도 기반 클러스터링 알고리즘인 DBSCAN을 통해 클러스터링을 수행하는, 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법을 제공하는 데 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치는, 밀도 기반 클러스터링 알고리즘을 이용하여, 상기 밀도 기반 클러스터링 알고리즘의 파라미터의 값을 변화시키며, 원본 사람 자세 데이터셋을 클러스터링하는 클러스터링 준비부; 상기 클러스터링 준비부를 통해 상기 파라미터의 값의 변화에 따라 획득한 클러스터의 개수를 기반으로, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값을 획득하는 파라미터 획득부; 상기 파라미터 획득부를 통해 획득한 상기 파라미터의 값을 기반으로, 상기 밀도 기반 클러스터링 알고리즘을 이용하여, 상기 원본 사람 자세 데이터셋을 클러스터링하는 클러스터링부; 및 상기 클러스터링부를 통해 획득한 클러스터 별로 미리 설정된 개수의 자세 데이터를 추출하여 축약 사람 자세 데이터셋을 획득하는 데이터 축약부;를 포함한다.
여기서, 상기 파라미터 획득부는, 가장 많은 클러스터의 개수를 나타내는 상기 파라미터의 값을, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값으로 획득할 수 있다.
여기서, 상기 파라미터 획득부는, 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 상기 파라미터의 값들 중에서 하나의 값을, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값으로 획득할 수 있다.
여기서, 상기 파라미터 획득부는, 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 상기 파라미터의 값들 중에서 가장 작은 MPJPE(mean per joint position error)를 나타내는 값을, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값으로 획득할 수 있다.
여기서, 상기 파라미터 획득부는, 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 상기 파라미터의 값들 중에서 랜덤하게 선택한 값을, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값으로 획득할 수 있다.
여기서, 상기 원본 사람 자세 데이터셋을 기반으로, 자세의 구조적 분석, 자세의 의미론적 분석 및 자세의 구조와 의미론적 분석 중 하나를 통해 메트릭 공간(metric space)을 획득하는 메트릭 공간 획득부;를 더 포함하며, 상기 클러스터링 준비부 및 상기 클러스터링부는, 상기 메트릭 공간 획득부를 통해 획득한 상기 메트릭 공간에서 상기 밀도 기반 클러스터링 알고리즘을 이용하여 클러스터링을 수행하여, 상기 원본 사람 자세 데이터셋을 클러스터링할 수 있다.
여기서, 상기 메트릭 공간 획득부는, 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 골반 중심을 기준으로 정렬하고, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 골격 유사도를 측정하고, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 지역 골격 유사도를 측정하며, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 관절 거리 유사도를 측정하고, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 뼈대 길이 유사도를 측정하며, 상기 전체 골격 유사도, 상기 지역 골격 유사도, 상기 전체 관절 거리 유사도 및 상기 뼈대 길이 유사도를 가중합하여 상기 2개의 비교 대상 자세의 유사도를 측정하여, 자세의 구조적 분석을 수행할 수 있다.
여기서, 상기 메트릭 공간 획득부는, 자세의 다차원 속성이 레이블링(labeling)되어 있는 자세 데이터로 이루어지는 학습 데이터를 통해 학습된 머신러닝 모델을 이용하여, 자세의 의미론적 분석을 수행할 수 있다.
여기서, 상기 원본 사람 자세 데이터셋을 정규화(normalization)하고 정렬(alignment)하여 전처리하는 전처리부;를 더 포함하며, 상기 메트릭 공간 획득부는, 상기 전처리부를 통해 전처리된 상기 원본 사람 자세 데이터셋을 기반으로 상기 메트릭 공간을 획득할 수 있다.
상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치는, 밀도 기반 클러스터링 알고리즘을 이용하여, 상기 밀도 기반 클러스터링 알고리즘의 파라미터의 값을 변화시키며, 원본 사람 자세 데이터셋을 클러스터링하는 클러스터링 준비 단계; 상기 파라미터의 값의 변화에 따라 획득한 클러스터의 개수를 기반으로, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값을 획득하는 파라미터 획득 단계; 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값을 기반으로, 상기 밀도 기반 클러스터링 알고리즘을 이용하여, 상기 원본 사람 자세 데이터셋을 클러스터링하는 클러스터링 단계; 및 클러스터 별로 미리 설정된 개수의 자세 데이터를 추출하여 축약 사람 자세 데이터셋을 획득하는 단계;를 포함한다.
여기서, 상기 원본 사람 자세 데이터셋을 기반으로, 자세의 구조적 분석, 자세의 의미론적 분석 및 자세의 구조와 의미론적 분석 중 하나를 통해 메트릭 공간(metric space)을 획득하는 메트릭 공간 획득 단계;를 더 포함하며, 상기 클러스터링 준비 단계 및 상기 클러스터링 단계는, 상기 메트릭 공간에서 상기 밀도 기반 클러스터링 알고리즘을 이용하여 클러스터링을 수행하여, 상기 원본 사람 자세 데이터셋을 클러스터링하는 것으로 이루어질 수 있다.
여기서, 상기 원본 사람 자세 데이터셋을 정규화(normalization)하고 정렬(alignment)하여 전처리하는 전처리 단계;를 더 포함하며, 상기 메트릭 공간 획득 단계는, 전처리된 상기 원본 사람 자세 데이터셋을 기반으로 상기 메트릭 공간을 획득하는 것으로 이루어질 수 있다.
상기의 기술적 과제를 달성하기 위한 본 발명의 바람직한 실시예에 따른 컴퓨터 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 저장되어 상기한 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 방법 중 어느 하나를 컴퓨터에서 실행시킨다.
본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법에 의하면, 밀도 기반 클러스터링 알고리즘을 중복성이 높은 사람 자세 데이터셋에 적용하여 서로 유사한 자세 데이터들끼리 클러스터링하고, 클러스터 각각에서 적은 개수의 자세 데이터만을 추출하여 축약 사람 자세 데이터셋을 획득함으로써, 중복되는 자세 데이터들은 모두 줄이고 다양성이 높은 자세 데이터셋을 획득하고, 이로 인해 종래의 사람 자세 데이터셋을 이용하여 사람 자세 추정 모델을 학습하는 종래의 방식에 비해 아주 적은 데이터를 사용함에도 불구하고 종래의 사람 자세 추정 모델의 성능을 그대로 유지할 수 있다.
아울러, 축약된 사람 자세 데이터셋을 통해 학습함으로써, 종래의 방식을 이용한 사람 자세 추정 모델의 학습에 소요되는 시간에 비해 아주 적은 시간으로도 학습이 가능함에도 불구하고 종래의 사람 자세 추정 모델과 유사한 성능을 발휘할 수 있다.
또한, 자세 분석을 통해 원본 사람 자세 데이터셋으로부터 메트릭 공간(metric space)을 획득하고, 획득한 메트릭 공간에서 밀도 기반 클러스터링 알고리즘인 DBSCAN을 통해 클러스터링을 수행함으로써, 서로 유사한 자세 데이터들끼리 묶는 클러스터링의 성능을 향상시킬 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 과정의 일례를 설명하기 위한 도면이다.
도 3은 본 발명의 바람직한 실시예에 따른 메트릭 공간 획득 과정의 수행 배경을 설명하기 위한 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 메트릭 공간 획득 과정의 수행 목표를 설명하기 위한 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 전체 골격 유사도를 설명하기 위한 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 지역 골격 유사도를 설명하기 위한 도면으로, 신체 부위를 나타내는 것이다.
도 7은 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 지역 골격 유사도를 설명하기 위한 도면으로, 지역 관절 각의 측정을 나타내는 것이다.
도 8은 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 전체 관절 거리 유사도를 설명하기 위한 도면이다.
도 9는 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 뼈대 길이 유사도를 설명하기 위한 도면이다.
도 10은 본 발명의 바람직한 실시예에 따른 자세 의미론적 분석을 설명하기 위한 도면이다.
도 11은 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링 알고리즘의 파라미터를 설명하기 위한 도면으로, 도 11의 (a)는 Eps에 따른 클러스터링의 추세를 나타내고, 도 11의 (b)는 minPts에 따른 클러스터링의 추세를 나타낸다.
도 12는 본 발명의 바람직한 실시예에 따른 파라미터 값의 변화에 따른 클러스터 개수와 자세 추정 손실을 설명하기 위한 도면이다.
도 13은 본 발명의 바람직한 실시예에 따른 파라미터 값의 변화에 따른 정성적 평가 결과를 설명하기 위한 도면이다.
도 14는 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 명세서에서 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서, "가진다", "가질 수 있다", "포함한다" 또는 "포함할 수 있다"등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
또한, 본 명세서에 기재된 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터 구조들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
먼저, 도 1 및 도 2를 참조하여 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치에 대하여 설명한다.
도 1은 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치를 설명하기 위한 블록도이고, 도 2는 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 과정의 일례를 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치(이하 '자세 데이터 축약 장치'라 한다)(100)는 밀도 기반 클러스터링 알고리즘을 중복성이 높은 사람 자세 데이터셋에 적용하여 서로 유사한 자세 데이터들끼리 클러스터링하고, 클러스터 각각에서 적은 개수의 자세 데이터만을 추출하여 축약 사람 자세 데이터셋을 획득한다.
여기서, 밀도 기반 클러스터링 알고리즘은 DBSCAN(density-based spatial clustering of applications with noise) 등을 말한다.
또한, 본 발명에 따른 자세 데이터 축약 장치(100)는 서로 유사한 자세 데이터들끼리 묶는 클러스터링의 성능을 향상시키기 위해, 자세 분석을 통해 원본 사람 자세 데이터셋으로부터 메트릭 공간(metric space)을 획득하고, 획득한 메트릭 공간에서 밀도 기반 클러스터링 알고리즘인 DBSCAN을 통해 클러스터링을 수행할 수 있다.
예컨대, 도 2에 도시된 바와 같이, 자세 분석을 통해 원본 사람 자세 데이터셋으로부터 메트릭 공간(metric space)을 획득하고, 획득한 메트릭 공간에서 밀도 기반 클러스터링 알고리즘인 DBSCAN을 통해 서로 유사한 자세 데이터들끼리 묶는 클러스터링을 수행하고, 클러스터 별로 적은 개수의 자세 데이터를 추출하여 축약 사람 자세 데이터셋을 획득할 수 있다. 이때, 밀도 기반 클러스터링 알고리즘인 DBSCAN의 파라미터(Eps, minPts)의 값을 변화시키면서 원본 사람 자세 데이터셋에 적합한 파라미터의 값을 획득하고, 획득한 파라미터의 값을 기반으로 원본 사람 자세 데이터셋의 클러스터링을 수행할 수 있다.
아울러, 자세 데이터 축약 장치(100)는 외부 디바이스(도시하지 않음)로부터 원본 사람 자세 데이터셋을 제공받을 수 있다.
또한, 자세 데이터 축약 장치(100)는 도 2에 도시된 바와 같이, 카메라 캡쳐 시스템을 통해 촬영된 2D 자세 이미지들을 기반으로 2D 객체를 3D 객체로 재구성한 데이터를 통해 원본 사람 자세 데이터셋을 획득할 수 있다.
여기서, 카메라 캡쳐 시스템은 자세 데이터를 취득하기 위한 시스템으로서, 하나의 객체를 미리 설정된 다각도에서 동시에 촬영(예컨대, 객체를 중심에 두고 객체의 주변에 미리 설정된 각도 단위로 설치된 54개의 카메라를 통해 객체를 동시에 촬영)하여 객체에 대한 다각도의 2D 자세 이미지들(예컨대, 54개의 2D 자세 이미지)을 획득할 수 있다. 그리고, 카메라 캡쳐 시스템은 삼각화(triangulization) 기법 등을 통해 복수개의 2D 자세 이미지로부터 3D 자세 이미지를 획득할 수 있다.
물론, 자세 데이터 축약 장치(100)는 외부 디바이스로부터 제공받은 원본 사람 자세 데이터셋과 카메라 캡쳐 시스템을 통해 획득한 원본 사람 자세 데이터셋 전부를 이용할 수도 있다.
이를 위해, 자세 데이터 축약 장치(100)는 전처리부(110), 메트릭 공간 획득부(120), 클러스터링 준비부(130), 파라미터 획득부(140), 클러스터링부(150) 및 데이터 축약부(160)를 포함할 수 있다.
그러면, 도 3 내지 도 12를 참조하여 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치에 대하여 보다 자세하게 설명한다.
도 3은 본 발명의 바람직한 실시예에 따른 메트릭 공간 획득 과정의 수행 배경을 설명하기 위한 도면이고, 도 4는 본 발명의 바람직한 실시예에 따른 메트릭 공간 획득 과정의 수행 목표를 설명하기 위한 도면이며, 도 5는 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 전체 골격 유사도를 설명하기 위한 도면이고, 도 6은 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 지역 골격 유사도를 설명하기 위한 도면으로, 신체 부위를 나타내는 것이며, 도 7은 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 지역 골격 유사도를 설명하기 위한 도면으로, 지역 관절 각의 측정을 나타내는 것이고, 도 8은 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 전체 관절 거리 유사도를 설명하기 위한 도면이며, 도 9는 본 발명의 바람직한 실시예에 따른 자세 구조적 분석의 뼈대 길이 유사도를 설명하기 위한 도면이고, 도 10은 본 발명의 바람직한 실시예에 따른 자세 의미론적 분석을 설명하기 위한 도면이며, 도 11은 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링 알고리즘의 파라미터를 설명하기 위한 도면으로, 도 11의 (a)는 Eps에 따른 클러스터링의 추세를 나타내고, 도 11의 (b)는 minPts에 따른 클러스터링의 추세를 나타내며, 도 12는 본 발명의 바람직한 실시예에 따른 파라미터 값의 변화에 따른 클러스터 개수와 자세 추정 손실을 설명하기 위한 도면이다.
전처리부(110)는 원본 사람 자세 데이터셋을 정규화(normalization)하고 정렬(alignment)하여 전처리할 수 있다.
즉, 전처리부(100)는 자세 데이터들이 일관적인 특성을 가질 수 있도록 하기 위해, 원본 사람 자세 데이터셋을 구성하는 자세 데이터의 스케일을 정규화(normalization)하고 자세 데이터의 방향을 정렬(alignment)할 수 있다.
3D 자세 데이터의 경우 기준이 되는 시점에 따라서 동일한 동작임에도 불구하고 학습 시 다른 동작으로 분류되는 경우가 많이 있다. 또한, 똑같은 자세를 취하더라도 서로 다른 사람이 동작을 취할 경우 팔/다리의 길이 등과 같은 개인적 요소 때문에 다르게 나타나는 경우가 있다.
이러한 부분을 방지하기 위해, 아래의 [수학식 1]을 통해, 각 사람의 해당 관절에서의 가장 큰 값과 가장 작은 값의 차이를 분모로, 해당 관절의 값과 가장 작은 값의 차이를 분자로 하여 정규화하는 과정을 수행한다.
Figure pat00001
여기서, xi는 입력 데이터를 나타낸다. minx와 maxx는 각각 입력 데이터의 최소 값과 최대 값을 나타낸다. 동일한 비율을 모든 데이터에 적용하는 것에 의해 자세를 정규화할 수 있다.
그리고, 각도의 경우 양쪽 관절의 각도를 규정하여 몸이 바라보는 각도를 일정하게 하는 정렬 과정을 수행한다.
메트릭 공간 획득부(120)는 원본 사람 자세 데이터셋을 기반으로, 자세의 구조적 분석, 자세의 의미론적 분석 및 자세의 구조와 의미론적 분석 중 하나를 통해 메트릭 공간(metric space)을 획득할 수 있다.
이때, 메트릭 공간 획득부(120)는 전처리부(110)를 통해 전처리된 원본 사람 자세 데이터셋을 기반으로 메트릭 공간을 획득할 수 있다.
자세 데이터 공간은 xyz 좌표로 이루어진 공간으로, 자세 데이터의 스케일 정규화(normalization) 및 방향 정렬(alignment)을 통해 성능을 향상시킬 수 있지만, 관절의 물리적인 위치만을 다룬 것이어서 한계가 있다.
이에, 본 발명은 자세 데이터 공간에서 바로 클러스터링을 수행하는 것도 가능하지만, 자세의 구조적/의미론적 분석을 통해 도출된 메트릭 공간에서 클러스터링을 수행하여 샘플링 과정에서 손실되는 정보량을 최소화하는 것도 가능하다.
즉, 메트릭 공간 획득부(120)는 새로운 특징을 찾아내는 공간인 자세 메트릭 공간(pose metric space)에 원본 사람 자세 데이터셋을 맵핑함으로써, 차원을 낮추어 연산량을 줄일 수 있고, 보다 유의미한 클러스터링을 진행할 수 있다.
여기서, 메트릭은 모션(motion)의 특징이나 행동을 정의하는 기준을 말한다. 예컨대, 걷는 모션에 대한 메트릭은 오른팔을 앞으로 하고, 왼팔을 뒤로 하는 것일 수 있다. 메트릭은 관절(joint)의 관계성을 통해 동작을 규정하는 구조적 메트릭(structual metric)과 인공지능을 통해 학습되어 유사한 자세를 찾아내는 의미론적 메트릭(semantic metric)으로 구분할 수 있다.
구조적 메트릭 요소는 일부 관절이 형성하는 다각형의 형태의 변화를 감지하여 이를 측정하는 것으로, 여기서 다각형은 인체의 계층적 구조를 고려하여 구성될 수 있다. 의미론적 메트릭 요소는 자세의 다차원 속성 레이블링(labeling)을 통하여 학습된 머신러닝 모델을 통해 추출된 피쳐를 통해 구성될 수 있다.
예컨대, 도 3에 도시된 바와 같이 각도가 틀어져 있어, 2개의 자세는 정량적 유사도가 낮은 것으로 판단될 수 있으나, 2개의 자세는 의미론적 유사도가 높을 수 있다. 실질적으로 서로 유사한 자세 데이터가 하나의 클러스터로 묶일 수 있도록 하기 위해, 본 발명은 원본 사람 자세 데이터셋을 기반으로 메트릭 공간을 획득하고, 이로 인해 도 4에 도시된 바와 같이 새로운 차원으로 원본 자세 데이터셋을 맵핑하여 의미론적으로 더 가까운 자세 데이터를 찾을 수 있도록 할 수 있고, 찾아낸 새로운 특징으로 DBSCAN 클러스터링을 진행할 수 있다.
보다 자세하게 설명하면, 메트릭 공간 획득부(120)는 정렬 과정 -> 전체 골격 유사도 측정 과정 -> 지역 골격 유사도 측정 과정 -> 전체 관절 거리 유사도 측정 과정 -> 뼈대 길이 유사도 측정 과정 -> 최종 유사도 측정 과정을 통해, 자세의 구조적 분석을 수행할 수 있다.
즉, 메트릭 공간 획득부(120)는 2개의 자세의 공정한 비교를 위해, 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 골반 중심을 기준으로 정렬할 수 있다.
메트릭 공간 획득부(120)는 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 골격 유사도를 측정할 수 있다. 예컨대, 하나의 자세를 구성하는 관절들의 개별적인 관절 각도를 거시적으로 비교한다. 도 5에 도시된 바와 같이, 골반 중심 관절을 기준으로 나머지 관절들이 이루는 사이의 내각(방위각)을 측정한다. 이를 통해, 2개의 비교 대상 자세의 관절 벡터간 유사도를 측정한다.
메트릭 공간 획득부(120)는 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 지역 골격 유사도를 측정할 수 있다. 예컨대, 도 6에 도시된 바와 같이, 사람의 신체는 5개의 커다란 부위(몸통, 양팔, 양다리)를 기준으로 독립적으로 움직이는데, 하나의 신체 부위 내에서 지역적으로 관절간 생성하는 관절 각의 차이를 비교한다. 도 7은 하나의 신체 부위 내의 지역 관절 각 측정 방식을 나타낸다. 하나의 신체 부위는 4개의 관절을 가지며, 각 관절들은 교대로 원점이 되어, 나머지 관절의 상대적인 관절 각도를 측정한다. 이와 같이 측정된 상대적인 관절 각도들을 묶어서 하나의 신체 부위의 관절 각을 정규화한다. 정규화된 신체 부위의 상대적인 관절 각들을 전체 하나의 지역 골격 구족의 관절 벡터로 만들어 두 벡터간 유사도를 측정한다.
메트릭 공간 획득부(120)는 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 관절 거리 유사도를 측정할 수 있다. 예컨대, 도 8에 도시된 바와 같이, 골반 중심 관절을 기준으로 나머지 관절들의 유클리드 기하상 거리를 측정하여 하나의 벡터를 만들고, 이를 전체 관절 거리 벡터라고 했을 때, 2개의 비교 대상 자세의 전체 관절 거리 벡터간 유사도를 측정한다.
메트릭 공간 획득부(120)는 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 뼈대 길이 유사도를 측정할 수 있다. 예컨대, 도 9에 도시된 바와 같이, 사람은 개별적인 신체적 특성을 가지므로, 비교 대상이 되는 각 3D 자세의 의미론적인 뼈대(목뼈, 어깨뼈, 골반뼈 등)를 기준으로 2개의 비교 대상 자세 사이의 뼈대 길이를 벡터화하고, 2개의 비교 대상 자세의 뼈대 길이 벡터간 유사도를 측정한다.
메트릭 공간 획득부(120)는 전체 골격 유사도, 지역 골격 유사도, 전체 관절 거리 유사도 및 뼈대 길이 유사도를 가중합하여 2개의 비교 대상 자세의 최종 유사도를 측정할 수 있다. 여기서, 최종 유사도는 0에서 1 사이의 값을 가지며, 1에 가까워질수록 2개의 비교 대상 자세가 서로 유사하다는 것을 나타낸다.
아울러, 메트릭 공간 획득부(120)는 머신러닝 모델을 이용하여, 자세의 의미론적 분석을 수행할 수 있다.
여기서, 머신러닝 모델은 자세의 다차원 속성이 레이블링(labeling)되어 있는 자세 데이터로 이루어지는 학습 데이터를 통해 학습될 수 있다.
의미론적 메트릭 요소는 자세의 다차원 속성 레이블링(labeling)을 통하여 학습된 머신러닝 모델을 통해 추출된 피쳐를 통해 구성될 수 있다. 예컨대, 자세에 대한 분류 정보(대분류-중분류-소분류 등), 자세의 역동성, 자세에 대한 팔다리의 구체적인 상태 등과 같이 자세를 설명하는 다양한 속성들을 자세에 레이블링할 수 있다. 이와 같이, 다양한 속성이 레이블링된 자세 데이터를 통해 머신러닝 모델을 학습하고, 도 10에 도시된 바와 같이, 학습된 머신러닝 모델을 통해 원본 사람 자세 데이터셋의 자세 데이터의 의미론적 유사도 분석을 수행할 수 있다.
클러스터링 준비부(130)는 밀도 기반 클러스터링 알고리즘을 이용하여, 밀도 기반 클러스터링 알고리즘의 파라미터의 값을 변화시키며, 원본 사람 자세 데이터셋을 클러스터링할 수 있다.
이때, 클러스터링 준비부(130)는 메트릭 공간 획득부(120)를 통해 획득한 메트릭 공간에서 밀도 기반 클러스터링 알고리즘을 이용하여 클러스터링을 수행하여, 원본 사람 자세 데이터셋을 클러스터링할 수 있다.
파라미터 획득부(140)는 클러스터링 준비부(130)를 통해 파라미터의 값의 변화에 따라 획득한 클러스터의 개수를 기반으로, 원본 사람 자세 데이터셋에 적합한 파라미터의 값을 획득할 수 있다.
즉, 파라미터 획득부(140)는 가장 많은 클러스터의 개수를 나타내는 파라미터의 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수 있다.
이때, 파라미터 획득부(140)는 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 파라미터의 값들 중에서 하나의 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수 있다.
여기서, 파라미터 획득부(140)는 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 파라미터의 값들 중에서 가장 작은 MPJPE(mean per joint position error)를 나타내는 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수 있다.
예컨대, 도 11의 (a)를 참조하면, Eps가 작은 값을 가지면, 점들이 다른 점들과 묶이지 않을 수 있기 때문에 모든 데이터가 노이즈로 분류된다. 그러나, Eps가 점점 커지면, 노이즈 점들은 클러스터를 형성하는 것을 시작하게 되고, 클러스터의 개수가 점진적으로 증가한다. 이때, Eps가 특정 레벨보다 커지게 되면, 노이즈의 개수가 떨어져 0개에 근접하게 된다. 그러나, 클러스터들은 좀 더 큰 클러스터들을 형성하게 되고, 클러스터의 개수는 떨어지게 된다. 도 11의 (b)를 참조하면, minPts는 그래프의 전반적인 형태가 변화지 않는 것을 확인할 수 있고, minPts가 커짐에 따라 클러스터의 개수가 가장 많은 곳이 그래프의 오른쪽으로 이동하는 것을 확인할 수 있다. Eps가 작은 경우 클러스터의 데이터는 상당한 유사성을 가지지만, 클러스터 개수가 너무 적기 때문에 샘플링 중에 문제가 발생하게 된다. 또한, Eps가 너무 크면 클러스터의 분산이 증가하여 중복성이 높은 데이터를 제거하기 위한 클러스터 샘플링의 목표와 일치하지 않게 된다. 따라서, 클러스터의 개수가 가장 많은 클러스터의 개수를 기준으로 하여 원본 사람 자세 데이터셋에 가장 적합한 파라미터의 값을 획득한다.
도 12에 도시된 바와 같이, 클러스터의 개수는 파라미터(Eps)의 값에 따라 점차 증가하다가 감소하는 경향을 보이는 것을 확인할 수 있다. 클러스터의 개수가 가장 많은 개수를 보이는 것은 유사한 자세들이 가장 적절하게 묶여 있다는 것을 나타내며, 이때의 자세 추정(pose estimation) 성능도 가장 우수한 것을 확인할 수 있다. 이에 따라, 클러스터의 개수가 가장 많은 부분 중 일부분만을 자세 추정 알고리즘을 이용하여 검증하면, 해당 원본 사람 자세 데이터셋에 가장 적절한 파라미터의 값을 찾을 수 있다. 예컨대, 도 12를 참조하면, 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위(도 12의 음영 부분) 내의 클러스터의 개수를 나타내는 파라미터의 값들 중에서 가장 오류가 적은 값인 '0.014'를 파라미터(Eps)의 값으로 획득할 수 있다.
또한, 파라미터 획득부(140)는 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 파라미터의 값들 중에서 랜덤하게 선택한 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수도 있다. 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위(도 12의 음영 부분) 내의 파라미터의 값들의 오류 차이는 크지 않기 때문에, 해당 범위 내의 파라미터 값들 중에서 랜덤하게 하나의 값을 선택하여도 성능의 차이는 크지 않다.
클러스터링부(150)는 파라미터 획득부(140)를 통해 획득한 파라미터의 값을 기반으로, 밀도 기반 클러스터링 알고리즘을 이용하여, 원본 사람 자세 데이터셋을 클러스터링할 수 있다.
이때, 클러스터링부(150)는 메트릭 공간 획득부(120)를 통해 획득한 메트릭 공간에서 밀도 기반 클러스터링 알고리즘을 이용하여 클러스터링을 수행하여, 원본 사람 자세 데이터셋을 클러스터링할 수 있다.
데이터 축약부(160)는 클러스터링부(150)를 통해 획득한 클러스터 별로 미리 설정된 개수(예컨대, 1개 등)의 자세 데이터를 랜덤하게 추출하여 축약 사람 자세 데이터셋을 획득할 수 있다.
예컨대, 클러스터링이 성공적으로 수행되었다는 의미는 의미론적으로 유사한 자세 데이터들이 해당 클러스터를 대표하도록 잘 묶였다는 것을 의미한다. 이에 따라 랜덤하게 자세 데이터를 추출하여도 추출된 자세 데이터는 해당 클러스터를 대표할 수 있으므로, 클러스터 각각에서 1개의 자세 데이터를 뽑아도 무방하다. 다만, 모델의 성능이 너무 적은 개수의 자세 데이터로 인해 감소하게 되는 경우, 2개 ~ 3개의 자세 데이터를 각 클러스터에서 랜덤하게 추출할 수도 있다.
그러면, 도 13을 참조하여 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치의 성능에 대하여 설명한다.
도 13은 본 발명의 바람직한 실시예에 따른 파라미터 값의 변화에 따른 정성적 평가 결과를 설명하기 위한 도면이다.
본 발명에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치의 성능을 평가하기 위해, 3D 사람 자세 데이터셋인 Human3.6M을 이용한다. 최적의 파라미터 값 획득 과정의 수행 후에, 본 발명에 의해 형성된 클러스터들로부터 데이터를 샘플링하여 클러스터 샘플링(CS) 데이터셋을 획득한다. 그런 다음, 클러스터 샘플링(CS) 데이터셋과 동일한 개수를 가지도록, Human3.6M에서 랜덤하게 샘플링하여 랜덤 샘플링(RS) 데이터셋을 획득한다. 클러스터 샘플링(CS) 데이터셋과 랜덤 샘플링(RS) 데이터셋은 3D 사람 자세 추정 딥러닝 모델인, Simple-net을 학습하는데 이용된다. Simple-net을 이용하여 2개의 데이터셋의 성능을 비교하고 분석한다.
Human3.6M : Human3.6M 데이터셋은 3D 사람 자세 추정에 자주 사용되며, 4개의 시점에서 15개의 서로 다른 동작을 수행하는 11명의 피험자의 360만개의 3D 자세(프레임)로 구성된다. 피사체는 RGB 카메라로 4개의 다른 시점에서 촬영되며, 피사체의 관절 위치는 MoCap 시스템으로 측정된다. 캘리브레이션 파라미터는 RGB 카메라 및 MoCap 시스템에 사용할 수 있다. 실험에서는 5개의 피사체(S1, S5, S6, S7, S8)를 훈련 및 검증에 사용하고 2개의 피사체(S9, S11)를 테스트에 사용한다. 원래 Human3.6M 데이터셋을 사용하는 경우 훈련에 약 156만 개의 자세(프레임)를 사용하고 테스트에 약 0.55백만 개의 자세(프레임)를 사용한다.
Simple-net : 클러스터된 데이터의 성능을 평가하기 위해 간단하고 구현하기 쉬운 3D 자세 추정 모델인 Simple-net을 사용한다. Simple-net은 정규화, dropout 및 RELU(Rectified Linear Unit)을 사용한다. Simple-net 기본 블록은 1024개의 히든 유닛이 있는 선형 레이어, dropout 및 RELU 활성화로 구성된다. 이는 두번 반복되며, 두 블록은 잔차 연결(residual connection)로 연결된다.
종래의 방식인 랜덤 샘플링(RS)과 본 발명에 따른 클러스터 샘플링(CS)을 통해 획득된 MPJPE(mean per joint position error) 점수를 비교한다. Eps는 0.001 단위로 하여 0.001 ~ 0.03을 사용하고, minPts는 3, 4, 5의 3개의 값을 이용한다. 아래의 [표 1]을 참조하면, minPts는 3이고 Eps는 0.014인 경우가 가장 좋은 MPJPE 값이 획득된다. [표 1]에서 알 수 있듯이, 본 발명에 따른 클러스터 샘플링(CS)은 종래의 방식인 랜덤 샘플링(RS) 및 전체 데이터를 이용한 경우보다 향상된 성능을 보이는 것을 확인할 수 있다. 또한, 본 발명은 원본 사람 자세 데이터셋의 극히 일부인 축약 사람 자세 데이터셋을 이용하더라도 종래의 방식과 유사한 성능을 보이는 것을 확인할 수 있다.
Data MPJPE
Full Dataset (389938) 45.5
본 발명(CS)[3, 0.014, 2] (10390) 49.3
본 발명(CS)[4, 0.014, 2] (8474) 49.4
본 발명(CS)[5, 0.014, 2] (10390) 49.6
랜덤 샘플링(RS) (10390) 53.4
본 발명(CS)[3, 0.014, 1] (5195) 52.3
랜덤 샘플링(RS) (5195) 56.4
여기서, 대괄호는 [minPts, Eps, 샘플링 개수]를 나타내고, 소괄호는 (자세 데이터의 개수)를 나타낸다.
최적의 파라미터 검색을 통해 찾은 파라미터로 추출된 데이터셋이 사람의 관점에서 적절하게 클러스터링되었는지를 확인하기 위해 주관적인 테스트를 수행한다. 0.001 ~ 0.03 사이의 다양한 Eps 세트에서 자세를 추출하고, 클러스터의 평균 (μ)과 분산(σ)을 계산한다. 그후, 자세를 [μ-2σ, μ-σ, μ, μ+σ, μ+2σ]의 5 단계로 추출하여, 5점 척도로 피사체와 얼마나 유사한지 평가한다. 매우 유사한 클러스터는 분산(σ)이 크지 않기 때문에 높은 점수를 받지만, 자세가 비슷하지 않은 클러스터는 낮은 점수를 받는다.
위의 실험은 총 30명을 대상으로 진행되었으며 30개 문항 각각은 5점 척도로 채점되었다. 척도의 항목은 [1:매우 유사하지 않음, 2:비유사함, 3:유사하지도 유사하지 않지도 않음, 4:유사함 및 5: 매우 유사함]이다. 도 13의 결과(도 13의 음영 부분)는 피험자들이 유사한 데이터가 일정 수준의 Eps까지 수집되었다고 생각하는 것을 보여준다. 반면, 일정 수준의 Eps 이상의 클러스터를 평가할 때, 대부분의 피험자는 클러스터 내부가 유사하지 않아 클러스터가 제대로 동작하지 않는다고 느낀다는 것을 확인할 수 있다.
즉, 피실험자들이 본 발명에 따른 축약 사람 자세 데이터셋이 얼마나 유사한지를 평가한 결과, 도 13에 도시된 바와 같이, 본 발명에서 최적이라고 판단한 부분에서 피실험자들도 굉장히 유사하다고 느낀다는 것을 확인할 수 있다.
그러면, 도 14를 참조하여 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 방법에 대하여 설명한다.
도 14는 본 발명의 바람직한 실시예에 따른 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 방법을 설명하기 위한 흐름도이다.
도 14를 참조하면, 자세 데이터 축약 장치(100)는 원본 사람 자세 데이터셋을 정규화(normalization)하고 정렬(alignment)하여 전처리할 수 있다(S110).
즉, 자세 데이터 축약 장치(100)는 자세 데이터들이 일관적인 특성을 가질 수 있도록 하기 위해, 원본 사람 자세 데이터셋을 구성하는 자세 데이터의 스케일을 정규화(normalization)하고 자세 데이터의 방향을 정렬(alignment)할 수 있다.
그런 다음, 자세 데이터 축약 장치(100)는 전처리된 원본 사람 자세 데이터셋을 기반으로, 자세의 구조적 분석, 자세의 의미론적 분석 및 자세의 구조와 의미론적 분석 중 하나를 통해 메트릭 공간을 획득할 수 있다(S120).
즉, 자세 데이터 축약 장치(100)는 2개의 자세의 공정한 비교를 위해, 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 골반 중심을 기준으로 정렬하고, 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 골격 유사도를 측정하며, 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 지역 골격 유사도를 측정하고, 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 관절 거리 유사도를 측정하며, 정렬된 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 뼈대 길이 유사도를 측정하고, 전체 골격 유사도, 지역 골격 유사도, 전체 관절 거리 유사도 및 뼈대 길이 유사도를 가중합하여 2개의 비교 대상 자세의 최종 유사도를 측정하여, 자세의 구조적 분석을 수행할 수 있다.
아울러, 자세 데이터 축약 장치(100)는 머신러닝 모델을 이용하여, 자세의 의미론적 분석을 수행할 수 있다. 여기서, 머신러닝 모델은 자세의 다차원 속성이 레이블링(labeling)되어 있는 자세 데이터로 이루어지는 학습 데이터를 통해 학습될 수 있다.
이후, 자세 데이터 축약 장치(100)는 밀도 기반 클러스터링 알고리즘을 이용하여, 밀도 기반 클러스터링 알고리즘의 파라미터의 값을 변화시키며, 메트릭 공간에서 클러스터링을 수행하여, 원본 사람 자세 데이터셋을 클러스터링한다(S130).
그러면, 자세 데이터 축약 장치(100)는 파라미터의 값의 변화에 따라 획득한 클러스터의 개수를 기반으로, 원본 사람 자세 데이터셋에 적합한 파라미터의 값을 획득한다(S140).
즉, 자세 데이터 축약 장치(100)는 가장 많은 클러스터의 개수를 나타내는 파라미터의 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수 있다.
이때, 자세 데이터 축약 장치(100)는 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 파라미터의 값들 중에서 하나의 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수 있다. 여기서, 자세 데이터 축약 장치(100)는 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 파라미터의 값들 중에서 가장 작은 MPJPE(mean per joint position error)를 나타내는 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수 있다. 또한, 자세 데이터 축약 장치(100)는 가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 파라미터의 값들 중에서 랜덤하게 선택한 값을, 원본 사람 자세 데이터셋에 적합한 파라미터의 값으로 획득할 수도 있다.
그런 다음, 자세 데이터 축약 장치(100)는 원본 사람 자세 데이터셋에 적합한 파라미터의 값을 기반으로, 밀도 기반 클러스터링 알고리즘을 이용하여, 메트릭 공간에서 클러스터링을 수행하여, 원본 사람 자세 데이터셋을 클러스터링한다(S150).
이후, 자세 데이터 축약 장치(100)는 클러스터 별로 미리 설정된 개수(예컨대, 1개 등)의 자세 데이터를 추출하여 축약 사람 자세 데이터셋을 획득한다(S160).
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록 매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록 매체로서는 자기기록매체, 광 기록매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 자세 데이터 축약 장치,
110 : 전처리부,
120 : 메트릭 공간 획득부,
130 : 클러스터링 준비부,
140 : 파라미터 획득부,
150 : 클러스터링부,
160 : 데이터 축약부

Claims (13)

  1. 밀도 기반 클러스터링 알고리즘을 이용하여, 상기 밀도 기반 클러스터링 알고리즘의 파라미터의 값을 변화시키며, 원본 사람 자세 데이터셋을 클러스터링하는 클러스터링 준비부;
    상기 클러스터링 준비부를 통해 상기 파라미터의 값의 변화에 따라 획득한 클러스터의 개수를 기반으로, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값을 획득하는 파라미터 획득부;
    상기 파라미터 획득부를 통해 획득한 상기 파라미터의 값을 기반으로, 상기 밀도 기반 클러스터링 알고리즘을 이용하여, 상기 원본 사람 자세 데이터셋을 클러스터링하는 클러스터링부; 및
    상기 클러스터링부를 통해 획득한 클러스터 별로 미리 설정된 개수의 자세 데이터를 추출하여 축약 사람 자세 데이터셋을 획득하는 데이터 축약부;
    를 포함하는 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.
  2. 제1항에서,
    상기 파라미터 획득부는,
    가장 많은 클러스터의 개수를 나타내는 상기 파라미터의 값을, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값으로 획득하는,
    밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.
  3. 제2항에서,
    상기 파라미터 획득부는,
    가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 상기 파라미터의 값들 중에서 하나의 값을, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값으로 획득하는,
    밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.
  4. 제3항에서,
    상기 파라미터 획득부는,
    가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 상기 파라미터의 값들 중에서 가장 작은 MPJPE(mean per joint position error)를 나타내는 값을, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값으로 획득하는,
    밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.
  5. 제3항에서,
    상기 파라미터 획득부는,
    가장 많은 클러스터의 개수를 기준으로 하여 미리 설정된 범위 내의 클러스터의 개수를 나타내는 상기 파라미터의 값들 중에서 랜덤하게 선택한 값을, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값으로 획득하는,
    밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.
  6. 제1항에서,
    상기 원본 사람 자세 데이터셋을 기반으로, 자세의 구조적 분석, 자세의 의미론적 분석 및 자세의 구조와 의미론적 분석 중 하나를 통해 메트릭 공간(metric space)을 획득하는 메트릭 공간 획득부;
    를 더 포함하며,
    상기 클러스터링 준비부 및 상기 클러스터링부는,
    상기 메트릭 공간 획득부를 통해 획득한 상기 메트릭 공간에서 상기 밀도 기반 클러스터링 알고리즘을 이용하여 클러스터링을 수행하여, 상기 원본 사람 자세 데이터셋을 클러스터링하는,
    밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.
  7. 제6항에서,
    상기 메트릭 공간 획득부는,
    2개의 비교 대상 자세의 3차원 스켈레톤 구조를 골반 중심을 기준으로 정렬하고, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 골격 유사도를 측정하고, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 지역 골격 유사도를 측정하며, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 전체 관절 거리 유사도를 측정하고, 정렬된 상기 2개의 비교 대상 자세의 3차원 스켈레톤 구조를 기반으로 뼈대 길이 유사도를 측정하며, 상기 전체 골격 유사도, 상기 지역 골격 유사도, 상기 전체 관절 거리 유사도 및 상기 뼈대 길이 유사도를 가중합하여 상기 2개의 비교 대상 자세의 유사도를 측정하여, 자세의 구조적 분석을 수행하는,
    밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.
  8. 제6항에서,
    상기 메트릭 공간 획득부는,
    자세의 다차원 속성이 레이블링(labeling)되어 있는 자세 데이터로 이루어지는 학습 데이터를 통해 학습된 머신러닝 모델을 이용하여, 자세의 의미론적 분석을 수행하는,
    밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.
  9. 제6항에서,
    상기 원본 사람 자세 데이터셋을 정규화(normalization)하고 정렬(alignment)하여 전처리하는 전처리부;
    를 더 포함하며,
    상기 메트릭 공간 획득부는,
    상기 전처리부를 통해 전처리된 상기 원본 사람 자세 데이터셋을 기반으로 상기 메트릭 공간을 획득하는,
    밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치.
  10. 밀도 기반 클러스터링 알고리즘을 이용하여, 상기 밀도 기반 클러스터링 알고리즘의 파라미터의 값을 변화시키며, 원본 사람 자세 데이터셋을 클러스터링하는 클러스터링 준비 단계;
    상기 파라미터의 값의 변화에 따라 획득한 클러스터의 개수를 기반으로, 상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값을 획득하는 파라미터 획득 단계;
    상기 원본 사람 자세 데이터셋에 적합한 상기 파라미터의 값을 기반으로, 상기 밀도 기반 클러스터링 알고리즘을 이용하여, 상기 원본 사람 자세 데이터셋을 클러스터링하는 클러스터링 단계; 및
    클러스터 별로 미리 설정된 개수의 자세 데이터를 추출하여 축약 사람 자세 데이터셋을 획득하는 단계;
    를 포함하는 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 방법.
  11. 제10항에서,
    상기 원본 사람 자세 데이터셋을 기반으로, 자세의 구조적 분석, 자세의 의미론적 분석 및 자세의 구조와 의미론적 분석 중 하나를 통해 메트릭 공간(metric space)을 획득하는 메트릭 공간 획득 단계;
    를 더 포함하며,
    상기 클러스터링 준비 단계 및 상기 클러스터링 단계는,
    상기 메트릭 공간에서 상기 밀도 기반 클러스터링 알고리즘을 이용하여 클러스터링을 수행하여, 상기 원본 사람 자세 데이터셋을 클러스터링하는 것으로 이루어지는,
    밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 방법.
  12. 제11항에서,
    상기 원본 사람 자세 데이터셋을 정규화(normalization)하고 정렬(alignment)하여 전처리하는 전처리 단계;
    를 더 포함하며,
    상기 메트릭 공간 획득 단계는,
    전처리된 상기 원본 사람 자세 데이터셋을 기반으로 상기 메트릭 공간을 획득하는 것으로 이루어지는,
    밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 방법.
  13. 제10항 내지 제12항 중 어느 한 항에 기재된 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터 프로그램.
KR1020200158459A 2020-11-24 2020-11-24 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법 KR102446923B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200158459A KR102446923B1 (ko) 2020-11-24 2020-11-24 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200158459A KR102446923B1 (ko) 2020-11-24 2020-11-24 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220071403A true KR20220071403A (ko) 2022-05-31
KR102446923B1 KR102446923B1 (ko) 2022-09-22

Family

ID=81785850

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200158459A KR102446923B1 (ko) 2020-11-24 2020-11-24 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102446923B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130083997A (ko) * 2012-01-16 2013-07-24 삼성전자주식회사 신체 자세군 생성 장치 및 방법
KR101482419B1 (ko) * 2013-07-15 2015-01-16 서울대학교산학협력단 모션 데이터 생성 방법 및 장치
JP2015069410A (ja) * 2013-09-30 2015-04-13 Kddi株式会社 姿勢パラメータ推定装置、姿勢パラメータ推定システム、姿勢パラメータ推定方法、およびプログラム
US20170339168A1 (en) * 2016-05-20 2017-11-23 Informatica Llc Method, apparatus, and computer-readable medium for detecting anomalous user behavior
KR20190050049A (ko) * 2017-11-02 2019-05-10 한국 한의학 연구원 체형 분석 장치 및 방법
KR20190065859A (ko) * 2017-12-04 2019-06-12 한국전자통신연구원 인체 자세 및 행동 모니터링 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130083997A (ko) * 2012-01-16 2013-07-24 삼성전자주식회사 신체 자세군 생성 장치 및 방법
KR101482419B1 (ko) * 2013-07-15 2015-01-16 서울대학교산학협력단 모션 데이터 생성 방법 및 장치
JP2015069410A (ja) * 2013-09-30 2015-04-13 Kddi株式会社 姿勢パラメータ推定装置、姿勢パラメータ推定システム、姿勢パラメータ推定方法、およびプログラム
US20170339168A1 (en) * 2016-05-20 2017-11-23 Informatica Llc Method, apparatus, and computer-readable medium for detecting anomalous user behavior
KR20190050049A (ko) * 2017-11-02 2019-05-10 한국 한의학 연구원 체형 분석 장치 및 방법
KR20190065859A (ko) * 2017-12-04 2019-06-12 한국전자통신연구원 인체 자세 및 행동 모니터링 장치 및 방법

Also Published As

Publication number Publication date
KR102446923B1 (ko) 2022-09-22

Similar Documents

Publication Publication Date Title
Chaudhry et al. Bio-inspired dynamic 3d discriminative skeletal features for human action recognition
Luu et al. Contourlet appearance model for facial age estimation
CN110490158B (zh) 一种基于多级模型的鲁棒人脸对齐方法
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
CN111652827A (zh) 一种基于生成对抗网络的正面人脸合成方法及***
CN106599785B (zh) 人体3d特征身份信息库的建立方法及设备
US20080014563A1 (en) Method for Recognising Faces by Means of a Two-Dimensional Linear Disriminant Analysis
CN110032940B (zh) 一种视频行人重识别的方法和***
Derkach et al. Head pose estimation based on 3-D facial landmarks localization and regression
WO2015165227A1 (zh) 人脸识别方法
Zafeiriou et al. Probabilistic slow features for behavior analysis
Chen et al. Action recognition using ensemble weighted multi-instance learning
Papatheodorou et al. Evaluation of 3D face recognition using registration and PCA
Russ et al. 3D facial recognition: a quantitative analysis
CN104217211B (zh) 基于最优判别耦合投影的多视角步态识别方法
Salah et al. 3D facial feature localization for registration
Verlekar et al. View-invariant gait recognition exploiting spatio-temporal information and a dissimilarity metric
KR102446923B1 (ko) 밀도 기반 클러스터링을 이용한 사람 자세 데이터셋의 축약 장치 및 방법
Chen et al. Skeleton moving pose-based human fall detection with sparse coding and temporal pyramid pooling
Gharghabi et al. Person recognition based on face and body information for domestic service robots
KR20160042646A (ko) 얼굴 인식 방법
Connie et al. A review for gait recognition across view
CN112183215A (zh) 一种结合多特征级联svm与人眼模板的人眼定位方法及***
KR101742797B1 (ko) 표정 latent 동작사전을 이용한 표정인식방법 및 장치
Wuhrer et al. Posture invariant gender classification for 3D human models

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right