KR20210090498A - 2d 영상 기반의 3차원 체형 분석 방법, 그 시스템 및 그 프로그램 - Google Patents

2d 영상 기반의 3차원 체형 분석 방법, 그 시스템 및 그 프로그램 Download PDF

Info

Publication number
KR20210090498A
KR20210090498A KR1020200003863A KR20200003863A KR20210090498A KR 20210090498 A KR20210090498 A KR 20210090498A KR 1020200003863 A KR1020200003863 A KR 1020200003863A KR 20200003863 A KR20200003863 A KR 20200003863A KR 20210090498 A KR20210090498 A KR 20210090498A
Authority
KR
South Korea
Prior art keywords
body shape
data
model
present
image data
Prior art date
Application number
KR1020200003863A
Other languages
English (en)
Other versions
KR102387711B1 (ko
Inventor
배은경
유현석
Original Assignee
주식회사 리모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 리모 filed Critical 주식회사 리모
Priority to KR1020200003863A priority Critical patent/KR102387711B1/ko
Publication of KR20210090498A publication Critical patent/KR20210090498A/ko
Application granted granted Critical
Publication of KR102387711B1 publication Critical patent/KR102387711B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Rheumatology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 2D 영상 기반의 3차원 체형 분석 방법, 그 시스템 및 그 프로그램에 관한 것으로, 본 발명에 따른 체형 분석 시스템은 신체가 촬영된 2D 영상 데이터를 수신하는 영상 데이터 수신부; 상기 2D 영상 데이터를 이용하여 신경 네트워크를 기반으로 체형 데이터를 생성하고, 상기 생성된 체형 데이터에 기초하여 가상 신체 모델을 생성하는 모델 생성부; 및 상기 생성된 가상 신체 모델에 대하여 체형을 분석하는 체형 분석부;를 포함할 수 있다.

Description

2D 영상 기반의 3차원 체형 분석 방법, 그 시스템 및 그 프로그램{The method for analyzing 3D body type based on 2D image, the system and the program thereof}
본 발명은 체형 분석 방법 및 체형 분석 방법을 실행하기 위한 시스템 및 컴퓨터 프로그램에 관한 것이다.
“체형 분석”은 정면, 측면, 후면 등 다각도로 대상자에 대하여 관찰하여 키, 몸무게, 허리 둘레, 척추 휨 정도, 좌우 균형도를 포함하는 신체 불균형 정보 등을 나타낸다.
기존의 체형 분석 장치는 깊이 카메라 또는 적외선 카메라 등 특수 카메라를 지정된 장소에서 사용하여야 하는 한계가 있다. 또한 사진 촬영을 할 때 벽에 격자무늬를 세워놓고 촬영하거나 사용자의 주관적인 판단 하에 촬영 이미지에 구획을 나누는 가이드 선을 사용하기 때문에 측정자의 경험에 의존하는 한계가 있다. 따라서 기존의 체형 분석 장치는 반복 신뢰도가 높지 않는 문제점이 있다.
한편, 3차원 모션캡쳐 장비가 개발되어 이 장비를 통해 피측정자의 관절 각도, 속도 등 다양한 생체 지표를 획득할 수 있기 때문에 체형 분석 장치로도 활용할 수 있다. 그러나, 이 장비는 상당히 고가이며 측정에 많은 시간이 소요될 뿐만 아니라 장비를 설치할 수 있는 넓은 공간 확보가 필수적이고 이 장비를 사용할 수 있는 전문인력이 필요한 단점이 있다.
최근 인체의 관절을 추정하는 인공지능 기술이 개발되고 있으나, 정확한 체형 분석을 위해서는 360도 회전하는 3차원 스캐너(scanner)가 추가적으로 필요한 실정이다. 상기 3차원 스캐너는 상당히 고가일 뿐만 아니라 공간적인 제약이 있으며 연산 시간도 긴 단점이 있다.
(KR) 등록특허 제 10-1938361 호 (KR) 공개특허 제 10-2019-0140765 호 (KR) 공개특허 제 10-2016-0070498 호
본 발명은 상기 문제점을 해결하기 위해 안출된 것으로서, 기존의 복잡한 고가의 장비보다 더 간편하게 체형을 분석할 수 있도록, 일반 2D 영상 데이터로부터 피측정자의 체형 정보를 획득하고 분석할 수 있는 방법, 시스템 및 그 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 2D 영상 기반의 3차원 체형 분석 방법은 컴퓨터의 프로세서가 신체가 촬영된 2D 영상 데이터를 수신하는 단계; 상기 프로세서가 2D 영상 데이터를 이용하여 신경 네트워크를 기반으로 체형 데이터를 생성하고, 상기 생성된 체형 데이터에 기초하여 3차원의 가상 신체 모델을 생성하는 단계; 및 상기 프로세서가 상기 생성된 가상 신체 모델에 대하여 체형을 분석하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 따른 3차원 체형 분석 방법의 상기 가상 신체 모델을 생성하는 단계는, 촬영 모듈의 제어 데이터를 생성하고 상기 생성된 촬영 모듈의 제어 데이터와 상기 체형 데이터를 이용하여 상기 가상 신체 모델을 생성하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 3차원 체형 분석 방법의 상기 가상 신체 모델을 생성하는 단계는, 상기 2D 영상 데이터로부터 골격 정보를 추출하여 상기 골격 정보에 기초하여 상기 가상 신체 모델을 생성하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 신경 네트워크는 생성적 적대 신경망(Generative Adversarial Network, GAN)인 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 2D 영상 기반의 3차원 체형 분석 시스템은 신체가 촬영된 2D 영상 데이터를 수신하는 영상 데이터 수신부; 상기 2D 영상 데이터를 이용하여 신경 네트워크를 기반으로 체형 데이터를 생성하고, 상기 생성된 체형 데이터에 기초하여 가상 신체 모델을 생성하는 모델 생성부; 및 상기 생성된 가상 신체 모델에 대하여 체형을 분석하는 체형 분석부;를 포함할 수 있다.
본 발명의 일 실시예에 따른 3차원 체형 분석 시스템의 상기 모델 생성부는 촬영 모듈의 제어 데이터를 생성하고 상기 생성된 촬영 모듈의 제어 데이터와 상기 체형 데이터를 이용하여 상기 가상 신체 모델을 생성하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 3차원 체형 분석 시스템의 상기 모델 생성부는 2D 영상 데이터로부터 골격 정보를 추출하여 상기 골격 정보에 기초하여 상기 가상 신체 모델을 생성하는 것을 특징으로 할 수 있다.
본 발명의 일 실시예에 따른 2D 영상 기반의 3차원 체형 분석 프로그램은
컴퓨터의 프로세서가 신체가 촬영된 2D 영상 데이터를 수신하는 단계; 기 프로세서가 2D 영상 데이터를 이용하여 신경 네트워크를 기반으로 체형 데이터를 생성하고, 상기 생성된 체형 데이터에 기초하여 가상 신체 모델을 생성하는 단계; 및 상기 프로세서가 상기 생성된 가상 신체 모델에 대하여 체형을 분석하는 단계;를 실행시키는 것을 포함할 수 있다.
본 발명의 일 실시예에 따른 3차원 체형 분석 방법, 그 시스템 및 컴퓨터 프로그램은 일반 카메라 모듈로 간편하게 촬영된 2D 사진만으로도 피측정자의 체형 정보를 정밀하게 분석할 수 있다.
따라서 본 발명에 따른 체형 분석 방법을 통해 고가의 체형 분석 장치를 대체할 수 있는 이점이 있다.
또한, 본 발명에 따른 체형 분석 방법은 2D 영상 데이터를 사용하기 때문에 종래의 고가의 체형 분석 장치의 연산 시간보다 짧은 시간 안에 연산할 수 있는 장점도 있다.
따라서, 본 발명에 따른 체형 분석 방법은 규모가 큰 체형 분석 장치를 필요로 하지 않기 때문에 공간적 제약이 없으므로, 일반인들도 자신의 휴대 단말기 또는 스마트폰을 이용하여 자신의 체형 분석을 간편하게 수행할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 체형 분석 시스템의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 체형 분석 방법의 순서도이다.
도 3은 본 발명의 일 실시예에 따른 체형 분석 시스템의 모델 데이터 생성부의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 모델 데이터 생성부의 학습 프로세스를 나타낸다.
도 5는 본 발명의 다른 실시예에 따른 체형 분석 방법의 순서도이다.
도 6은 본 발명의 또다른 실시예에 따른 체형 분석 방법의 순서도이다.
도 7은 본 발명의 일 실시예에 따라 체형 분석을 수행한 결과를 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, "제 1"및 "제 2"라는 용어는 본 명세서에서 구별 목적으로만 사용되며, 어떠한 방식으로도 서열 또는 우선 순위를 나타내거나 예상하는 것을 의미하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
본 명세서에 대한 설명에 앞서, 본 명세서에서 사용되는 몇몇 용어들에 대하여 명확하게 하기로 한다.
본 명세서에서, 신경망(neural network)이란, 신경 구조를 모방하여 고안된 모든 종류의 기계학습 모델을 포괄하는 용어이다. 가령, 상기 신경망은 인공 신경망(artificial neural network; ANN), 컨볼루션 신경망(convolutional neural network; CNN) 등과 같이 모든 종류의 신경망 기반 모델을 포함할 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 체형 분석 시스템의 개념도이다. 본 발명의 일 실시예에 따른 체형 분석 시스템(1000)은 영상 데이터 수신부(100), 모델 생성부(200) 및 체형 분석부(300)를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 데이터 수신부(100)는 촬영 대상인 신체의 전신부가 나타난 한 장 이상의 2D 영상 데이터를 수신할 수 있고, 모델 생성부(200)는 상기 2D 영상 데이터를 인공지능 알고리즘에 적용하여 윤곽선 정보 및 골격 정보를 추출하고, 체형 데이터를 생성함으로써 가상 신체 모델을 생성할 수 있다. 체형 분석부(300)는 생기 생성된 가상 신체 모델을 이용하여 촬영된 대상 신체의 키, 예측 나이, 추정 무게, BMI, 정면 기준 좌우 균형도 등과 같은 체형정보를 분석할 수 있다.
한편, 본 발명의 일 실시예에 따른 체형 분석 시스템(1000)은 분석된 체형 데이터에 기초하여 개인 맞춤형 운동이나 음식 정보를 제공하는 표시부(미도시)를 더 포함할 수 있다. 한편, 표시부는 상기 생성된 가상 신체 모델의 체형이 반영된 2D 또는 3D 아바타 형태로 표시할 수 있다.
개인 맞춤형 운동 제공 방식은 분석된 체형에 맞게 유산소 운동 또는 무산소 운동 등 운동 종류가 처방될 수 있고, 분석된 체형에 맞는 음식 정보가 추천될 수 있다.
도 1을 참조하여, 본 발명의 일 실시예에 따른 모델 생성부(200)를 보다 상세히 설명한다.
본 발명의 일 실시예에 따른 모델 생성부(200)는 모델 데이터 생성부(210), 모델 기반 학습 데이터부(220), 실제 영상 기반 학습 데이터부(230), 판별부(240), 판별부-학습부(250), 모델 데이터 생성부-학습부(260)를 포함할 수 있으며, 생성적 적대 신경망 (Generative Adversarial Network, GAN)인 신경 네트워크가 적용될 수 있다.
생성적 적대 신경망(GAN)은 원본 데이터 분포와 유사한 이미지를 생성하기 위한 머신 러닝(machine learning) 알고리즘으로, 진짜 같은 가짜를 쉽고 빠르게 만들 수 있는 기술로 활용되고 있다. 생성적 적대 신경망(GAN)은 생성기(Generator)와 판별기(Discriminator)의 두 신경망 모델의 상호경쟁을 통해 신경 네트워크의 변수를 변형 학습하고 결과물을 도출해 낸다.
생성기는 실제에 가까운 데이터를 생성하는 것을 목적으로 실제 데이터를 학습하고 이를 바탕으로 데이터를 생성하고, 판별기는 생성기가 생성한 데이터를 실제인지, 거짓인지 판별하도록 학습한다.
본 발명의 일 실시예에 따른 모델 생성부(200)는 1개의 생성기와 1개의 판별기로 이루어진 생성적 적대 신경망(GAN)이 적용될 수 있는데, 본 발명의 일 실시예에 따른 모델 데이터 생성부(210)가 GAN 알고리즘의 생성기에 대응될 수 있고, 본 발명의 일 실시예에 따른 판별부(240)가 GAN 알고리즘의 판별기에 대응될 수 있다.
따라서, 본 발명의 일 실시예에 따른 모델 데이터 생성부(210)는 2D 영상 데이터를 입력 받아 시뮬레이터 기반으로 가상의 신체 모델을 생성할 수 있다. 가상 신체 모델을 구성하는 데이터는 실제 영상 데이터의 신체 형태와 유사하도록 학습될 수 있다.
보다 구체적으로, 모델 데이터 생성부(210)는 2D 영상 데이터로부터 가상 신체 모델을 구성하기 위한 체형 데이터를 계산하여 생성한다. 이에 대한 보다 자세한 내용은 도 3 및 도 4를 참조하여 후술한다.
본 발명의 일 실시예에 따른 실제 영상 기반 학습 데이터부(230)는 실제 영상 데이터로부터 사람의 신체 형상을 인식하고 사람의 형상 외 다른 배경의 픽셀 데이터는 제거함으로써 신체 형상에 관한 데이터를 생성한다.
또한, 실제 영상 기반 학습 데이터부(230)는 상기 생성된 신체 형상에 관한 데이터와 영상 데이터 DB(10)에 저장된 영상 데이터를 함께 사용하여 영상 데이터를 가공하여, 판별부(240)에서 읽을 수 있는 데이터 형태로 변환할 수 있다.
본 발명의 일 실시예에 따른 모델 기반 학습 데이터부(220)는 모델 데이터 생성부(210)에서 새로 생성된 모델 데이터를 판별부(240)에서 읽을 수 있는 데이터 형태로 변환할 수 있다.
본 발명의 일 실시예에 따른 판별부(240)는 실제 영상 데이터에 기초한 학습 데이터를 실제 영상 기반 학습 데이터부(230)로부터 수신하고 새로 생성된 모델에 기초한 학습 데이터를 모델 기반 학습 데이터부(220)로부터 수신하는데, 실제 영상 데이터에 기초한 학습 데이터와 생성된 모델에 기초한 학습데이터는 판별부(240)에 임의의 순서로 수신된다.
본 발명의 일 실시예에 따른 판별부(240)는 가상으로 생성된 데이터와 실제 영상 기반의 데이터를 분류하고 분류 결과를 확인한다. 즉, 본 발명의 일 실시예에 따른 판별부(240)는 실제 영상 데이터인지 가상 모델에 대한 데이터인지 잘 분류하는 것을 목적으로 하고, 학습이 반복되면 실제 영상 데이터와 가상 모델에 대한 데이터를 더 잘 분류할 수 있다.
본 발명의 일 실시예에 따른 판별부-학습부(250)는 상기 판별부(240)가 분류한 결과를 수신하여 이 결과값을 이용하여 상기 판별부(240)의 학습 네트워크를 조정할 수 있다.
본 발명의 일 실시예에 따른 모델 데이터 생성부-학습부(260)는 상기 판별부(240)가 분류한 결과를 수신하여 이 결과값을 이용하여 상기 모델 데이터 생성부(210)의 학습 네트워크를 조정할 수 있다.
한편, 본 발명의 일 실시예에 따른 판별부-학습부(250) 및 모델 데이터 생성부-학습부(260)는 기계 학습 알고리즘을 이용하여 학습 네트워크를 조정할 수 있다.
도 2는 본 발명의 일 실시예에 따른 체형 분석 방법의 순서도이다.
본 발명의 일 실시예에 따른 체형 분석 방법은 도 1에 따른 체형 분석 시스템(1000)을 이용하여 수행될 수 있으며, 프로세서가 촬영된 2D 영상 데이터를 수신하는 단계(S110), 2D 영상 데이터를 이용하여 신경 네트워크를 기반으로 체형 데이터를 생성하는 단계(S120), 체형 데이터에 기초하여 가상 신체 모델을 생성하는 단계(S130). 생성된 가상 신체 모델에 대하여 체형을 분석하는 단계(S140) 및 분석된 체형 데이터 및 개인 맞춤형 운동 또는 음식 정보를 제공하는 단계(S150)를 포함할 수 있다.
본 발명은 2D 영상 데이터를 이용하여 신경 네트워크를 기반으로 체형 데이터를 생성하는 단계(S120) 및 체형 데이터에 기초하여 가상 신체 모델을 생성하는 단계(S130)에 기술적 특징이 있는데, 도 3 및 도 4를 참조하여 보다 구체적으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 체형 분석 시스템의 모델 데이터 생성부(210)의 블록도이고, 도 4는 본 발명의 일 실시예에 따른 모델 데이터 생성부의 학습 프로세스를 나타낸다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 모델 데이터 생성부(210)는 골격 정보 추출부(1210), 신체 모델 정보 생성부(2210), 신체 시뮬레이터(3210), 영상 데이터 변환부(4210)를 포함할 수 있다.
본 발명의 일 실시예에 따른 골격 정보 추출부(1210)는 영상 데이터 DB(10)로부터 영상 데이터를 수신하여 골격 정보를 추출하고 골격 정보의 데이터를 계산할 수 있는데, 골격 정보는 골격 축의 위치 및 골격 간의 각도 값 등을 포함할 수 있다. 한편, 영상 데이터 DB(10)는 체형 분석 시스템(1000)의 내부에 내장되거나 외부 서버에 연결된 것일 수 있다.
본 발명의 일 실시예에 따른 신체 모델 정보 생성부(2210)는 신체 모델의 체형을 결정하는 데이터와 촬영 모듈의 제어 데이터를 생성할 수 있는데, 데이터 종류에 대응되는 변수와 각 변수의 값을 생성할 수 있다.
상기 신체 모델의 체형을 결정하는 데이터는 팔 굵기, 다리 굵기, 팔 길이, 다리 길이, 몸통 면적 등이 될 수 있으며, 명세서 전체에서 체형 데이터로 지칭될 수 있다.
본 발명의 일 실시예에 따른 신체 시뮬레이터(3210)는 상기 골격 정보 및 체형 데이터를 수신한 다음, 골격 정보의 데이터를 고정한 상태에서 체형 데이터의 값을 변경하면서 3차원 신체 모델을 생성할 수 있다. 한편, 체형 데이터의 값은 촬영 모듈의 위치와 방향에 따라 달라질 수 있으므로, 본 발명의 일 실시예에 따른 신체 시뮬레이터(3210)는 촬영 모듈의 제어 데이터도 변경하면서 3차원의 신체 모델을 생성할 수 있다.
본 발명의 일 실시예에 따른 촬영 모듈은 카메라 등을 포함할 수 있고, 제어 데이터는 카메라의 위치와 방향을 나타내는 데이터를 포함할 수 있다.
즉, 본 발명의 일 실시예에 따른 신체 시뮬레이터(3210)는 카메라의 위치와 방향을 고려하여 가상 신체 모델을 생성할 수 있다.
본 발명의 일 실시예에 따른 영상 데이터 변환부(4210)는 상기 신체 시뮬레이터(3210)에서 생성한 3D 신체 모델을 구성하는 데이터를 2D 기반의 영상 데이터로 변환하고 모델 기반 학습 데이터부(220)로 2D 기반의 영상 데이터를 보낸다.
본 발명의 일 실시예에 따른 모델 기반 학습 데이터부(220)는 상기 생성된 가상 신체 모델에 대한 영상 데이터를 판별부(240)에서 읽을 수 있는 데이터 형태로 변환하는데, 상기 가상 신체 모델에 대한 영상 데이터와 영상 데이터 DB(10)로부터 수신한 영상 데이터를 함께 이용하여 판별부(240)에서 읽을 수 있는 데이터로 재생성 할 수 있다.
도 4를 참조하여, 모델 데이터 생성부(210)에 적용되는 신경 네트워크의 구성을 설명한다.
본 발명의 일 실시예에 따른 골격 정보 추출부(1210) 및 신체 모델 정보 생성부(2210)는 신경 네트워크의 프레임 워크로 구성되는데, 골격 정보 추출부(1210)는 골격 감지 네트워크(Skeleton Detect Network)로 학습된 학습 프레임 워크로 구성될 수 있고, 신체 모델 정보 생성부(2210)는 컨볼루션 계층의 역할을 수행하는 CNN (Convolutional Neural Network) 네트워크 프레임 및 완전 연결 계층의 역할을 수행하는 FFNN(Feed-Forward Neural Network) 네트워크 프레임으로 구성될 수 있다.
한편, 골격 정보 추출부(1210)에 적용되는 학습 프레임 워크는 영상 데이터 DB(10)에서 제공되는 2D 영상 데이터 외에 다른 종류의 영상 데이터를 이용하여 학습된 네트워크 변수를 사용할 수 있다.
그리고 신체 모델 정보 생성부(2210)에 적용되는 프레임 워크는 본 발명의 일 실시예에 따라 생성되는 3D 체형 정보가 반영된 가상 모델 데이터를 학습하는 것일 수 있다.
도 4를 참조하여, 본 발명의 일 실시예에 따라 생성되는 가상 모델 데이터가 학습되는 프로세스를 설명한다.
2D 영상 데이터(60)가 모델 데이터 생성부(210)의 골격 정보 추출부(1210) 및 신체 모델 정보 생성부(2210)에 입력된다.
2D 영상 데이터(60)를 수신한 골격 정보 추출부(1210)는 골격 정보 벡터(1211)를 추출하여 신체 시뮬레이터(3210)에 전송한다. 본 발명의 일 실시예에 따른 골격 정보 벡터(1211)는 골격 축의 위치 및 골격 간의 각도 값 등을 포함할 수 있다.
2D 영상 데이터(60)를 수신한 신체 모델 정보 생성부(2210)의 CNN 네트워크(2212)는 영상에 존재하는 신체 모델 구성에 필요한 정보를 변수로 추출하고 벡터로 출력한다. CNN 네트워크(2212)에서 출력된 벡터는 2개의 FFNN 네트워크(2214, 2216)에 각각 입력된다. 제1 FFNN 네트워크(2214)는 신체의 체형 정보에 대한 벡터(2218, 체형 데이터)를 추출하고, 제2 FFNN 네트워크(2216)는 시뮬레이터의 촬영 모듈의 정보에 대한 벡터(2220, 촬영 모듈 제어 데이터)를 추출한다.
본 발명의 일 실시예에 따른 체형 정보는 팔 굵기, 다리 굵기, 팔 길이, 다리 길이, 몸통 면적 등이 될 수 있으며, 촬영 모듈의 정보는 카메라의 위치와 방향을 나타내는 데이터 등이 될 수 있다.
본 발명의 일 실시예에 따른 신체 시뮬레이터(3210)는 골격 정보 추출부(1210)로부터 수신한 골격 정보 벡터(1211) 및 신체 모델 정보 생성부(2210)로부터 수신한 체형 정보 벡터(2218) 및 촬영 모듈 정보 벡터(2220)를 이용하여 가상 신체 모델(62)을 생성한다.
보다 구체적으로, 신체 시뮬레이터(3210)는 골격 정보 데이터는 고정한 상태에서 체형 데이터 값 및 촬영 모듈의 제어 데이터 값을 변경하면서 가상 신체 모델(62)을 생성하고 학습할 수 있다. 본 발명의 일 실시예에 따른 신체 시뮬레이터(3210)는 또한 골격 정보 데이터를 변경하여 가상 신체 모델의 움직임을 변경하여 새로운 가상 신체 모델(62)을 생성하고 학습할 수도 있다.
본 발명의 일 실시예에 따른 신체 시뮬레이터(3210)의 촬영 모듈(3212)은 가상 신체 모델(62)에 대한 상을 촬영하고, 가상 신체 모델(62)에 대한 상은 영상 데이터 변환부(4210)를 통해 2D 가상 영상 데이터(64)로 변환되고 영상 데이터 변환부(4210)에 저장된다.
도 5는 본 발명의 다른 실시예에 따른 체형 분석 방법의 순서도이다. 도 6은 본 발명의 또다른 실시예에 따른 체형 분석 방법의 순서도이다.
도 5 및 도 6을 참조하면, 본 발명의 다른 실시예에 따른 체형 분석 방법은 도 4를 통해 서술한 바와 같이 골격 정보, 체형 데이터, 신체 시뮬레이터의 촬영 모듈의 제어 데이터를 이용하여 가상 신체 모델을 생성할 수 있다.
도 5 및 도 6에 따른 체형 분석 방법은 도 2에 따른 체형 분석 방법과 2D 영상 데이터를 수신하는 단계(S210, S310), 생성된 가상 신체 모델에 대하여 체형 분석하는 단계(S240, S340) 및 분석된 체형 데이터 및 개인 맞춤형 운동/음식 정보를 제공하는 단계(S250, S350)는 동일할 수 있다.
도 5에 따른 체형 분석 방법은 신경 네트워크를 기반으로 체형 데이터 및 촬영 모듈의 제어 데이터를 생성(S220)하고 체형 데이터 및 촬영 모듈의 제어 데이터에 기초하여 가상 신체 모델을 생성할 수 있다(S230).
도 6에 따른 체형 분석 방법은 골격 정보를 추출하고, 신경 네트워크를 기반으로 체형 데이터 및 촬영 모듈의 제어 데이터를 생성(S320)하고, 골격 정보, 체형 데이터 및 촬영 모듈의 제어 데이터에 기초하여 가상 신체 모델을 생성할 수 있다(S340).
도 7은 본 발명의 일 실시예에 따라 체형 분석을 수행한 결과를 나타낸다.
즉, 도 7은 본 발명의 일 실시예에 따른 3차원 체형 분석 프로그램을 이용하여 촬영한 신체에 대한 가상 모델을 생성함으로써, 본 발명에 따른 체형 분석 프로그램은 촬영한 대상자의 예측 나이, 키, 몸무게, 좌우 균형도, 허리 둘레나 허벅지 둘레 등을 표시하고, 일자목이나 거북목 여부, 골반이나 다리의 좌우 틀어짐 여부 등을 안내할 뿐만 아니라, 개인의 체형에 맞춤형 운동 종류 및 추천 음식 정보를 제공할 수 있다.
이상에서 설명된 시스템은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 영상 데이터 DB
100 : 영상 데이터 수신부
200 : 모델 생성부
210 : 모델 데이터 생성부
1210 : 골격 정보 추출부
2210 : 신체 모델 정보 생성부
3210 ; 신체 시뮬레이터
4210 : 영상 데이터 변환부
220 : 모델 기반 학습 데이터부
230 : 실제 영상 기반 학습 데이터부
240 : 판별부
250 : 판별부-학습부
260 : 모델 데이터 생성부-학습부
300 : 체형 분석부
1000 : 본 발명에 따른 체형 분석 시스템

Claims (9)

  1. 컴퓨터의 프로세서가 신체가 촬영된 2D 영상 데이터를 수신하는 단계;
    상기 프로세서가 2D 영상 데이터를 이용하여 신경 네트워크를 기반으로 체형 데이터를 생성하고, 상기 생성된 체형 데이터에 기초하여 3차원의 가상 신체 모델을 생성하는 단계; 및
    상기 프로세서가 상기 생성된 가상 신체 모델에 대하여 체형을 분석하는 단계;를 포함하는 2D 영상 기반의 3차원 체형 분석 방법.
  2. 제1항에 있어서,
    상기 가상 신체 모델을 생성하는 단계는,
    촬영 모듈의 제어 데이터를 생성하고 상기 생성된 촬영 모듈의 제어 데이터와 상기 체형 데이터를 이용하여 상기 가상 신체 모델을 생성하는 것을 특징으로 하는
    2D 영상 기반의 3차원 체형 분석 방법.
  3. 제1항에 있어서,
    상기 가상 신체 모델을 생성하는 단계는,
    상기 2D 영상 데이터로부터 골격 정보를 추출하여 상기 골격 정보에 기초하여 상기 가상 신체 모델을 생성하는 것을 특징으로 하는
    2D 영상 기반의 3차원 체형 분석 방법.
  4. 제1항에 있어서,
    상기 신경 네트워크는 생성적 적대 신경망(Generative Adversarial Network, GAN)인 것을 특징으로 하는 2D 영상 기반의 3차원 체형 분석 방법.
  5. 신체가 촬영된 2D 영상 데이터를 수신하는 영상 데이터 수신부;
    상기 2D 영상 데이터를 이용하여 신경 네트워크를 기반으로 체형 데이터를 생성하고, 상기 생성된 체형 데이터에 기초하여 3차원의 가상 신체 모델을 생성하는 모델 생성부; 및
    상기 생성된 가상 신체 모델에 대하여 체형을 분석하는 체형 분석부;를 포함하는 2D 영상 기반의 3차원 체형 분석 시스템.
  6. 제5항에 있어서,
    상기 모델 생성부는 촬영 모듈의 제어 데이터를 생성하고 상기 생성된 촬영 모듈의 제어 데이터와 상기 체형 데이터를 이용하여 상기 가상 신체 모델을 생성하는 것을 특징으로 하는 2D 영상 기반의 3차원 체형 분석 시스템.
  7. 제5항에 있어서,
    상기 모델 생성부는 상기 2D 영상 데이터로부터 골격 정보를 추출하여 상기 골격 정보에 기초하여 상기 가상 신체 모델을 생성하는 것을 특징으로 하는 2D 영상 기반의 3차원 체형 분석 시스템.
  8. 제5항에 있어서,
    상기 신경 네트워크는 생성적 적대 신경망(Generative Adversarial Network, GAN)인 것을 특징으로 하는 2D 영상 기반의 3차원 체형 분석 시스템.
  9. 컴퓨터의 프로세서와 결합되어, 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 제1항 내지 제4항 중 어느 한 항의 방법을 실행시키키는 것을 특징으로 하는, 2D 영상 기반의 3차원 체형 분석 프로그램.




KR1020200003863A 2020-01-10 2020-01-10 2d 영상 기반의 3차원 체형 분석 방법, 그 시스템 및 그 프로그램 KR102387711B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200003863A KR102387711B1 (ko) 2020-01-10 2020-01-10 2d 영상 기반의 3차원 체형 분석 방법, 그 시스템 및 그 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200003863A KR102387711B1 (ko) 2020-01-10 2020-01-10 2d 영상 기반의 3차원 체형 분석 방법, 그 시스템 및 그 프로그램

Publications (2)

Publication Number Publication Date
KR20210090498A true KR20210090498A (ko) 2021-07-20
KR102387711B1 KR102387711B1 (ko) 2022-04-18

Family

ID=77127372

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200003863A KR102387711B1 (ko) 2020-01-10 2020-01-10 2d 영상 기반의 3차원 체형 분석 방법, 그 시스템 및 그 프로그램

Country Status (1)

Country Link
KR (1) KR102387711B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023090601A1 (ko) * 2021-11-18 2023-05-25 동국대학교 산학협력단 사용자 단말기 및 사용자의 신체 부위 별 체형 정보를 제공하는 방법
KR102557953B1 (ko) * 2023-03-16 2023-07-20 주식회사 케이에이씨미디어그룹 안무 분석 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150079585A (ko) * 2012-09-05 2015-07-08 바디 패스 리미티드 일련의 2ｄ 이미지로부터 정확한 신체 사이즈 치수를 도출하는 시스템 및 방법
KR20160070498A (ko) 2014-12-10 2016-06-20 한국표준과학연구원 사용자 신체 데이터에 기반한 체형 분석 방법 및 장치
KR101938361B1 (ko) 2017-09-29 2019-01-14 재단법인 아산사회복지재단 X선 영상 내 체형 윤곽선 기반의 골격 상태 예측방법 및 프로그램
KR20190140765A (ko) 2018-06-12 2019-12-20 구자곤 보행 분석을 통한 체형 분석 및 교정 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150079585A (ko) * 2012-09-05 2015-07-08 바디 패스 리미티드 일련의 2ｄ 이미지로부터 정확한 신체 사이즈 치수를 도출하는 시스템 및 방법
KR20160070498A (ko) 2014-12-10 2016-06-20 한국표준과학연구원 사용자 신체 데이터에 기반한 체형 분석 방법 및 장치
KR101938361B1 (ko) 2017-09-29 2019-01-14 재단법인 아산사회복지재단 X선 영상 내 체형 윤곽선 기반의 골격 상태 예측방법 및 프로그램
KR20190140765A (ko) 2018-06-12 2019-12-20 구자곤 보행 분석을 통한 체형 분석 및 교정 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023090601A1 (ko) * 2021-11-18 2023-05-25 동국대학교 산학협력단 사용자 단말기 및 사용자의 신체 부위 별 체형 정보를 제공하는 방법
KR20230073381A (ko) * 2021-11-18 2023-05-26 동국대학교 산학협력단 사용자 단말기 및 사용자의 신체 부위 별 체형 정보를 제공하는 방법
KR102557953B1 (ko) * 2023-03-16 2023-07-20 주식회사 케이에이씨미디어그룹 안무 분석 시스템

Also Published As

Publication number Publication date
KR102387711B1 (ko) 2022-04-18

Similar Documents

Publication Publication Date Title
Xu et al. Ghum & ghuml: Generative 3d human shape and articulated pose models
Zanfir et al. Monocular 3d pose and shape estimation of multiple people in natural scenes-the importance of multiple scene constraints
Lassner et al. A generative model of people in clothing
Popa et al. Deep multitask architecture for integrated 2d and 3d human sensing
Tekin et al. Learning to fuse 2d and 3d image cues for monocular body pose estimation
CN111414797B (zh) 用于估计对象的姿势和姿态信息的***和方法
CN105930767B (zh) 一种基于人体骨架的动作识别方法
KR20180057096A (ko) 표정 인식과 트레이닝을 수행하는 방법 및 장치
US20200272806A1 (en) Real-Time Tracking of Facial Features in Unconstrained Video
EP3593276A1 (en) Image analysis using neural networks for pose and action identification
CN110599395A (zh) 目标图像生成方法、装置、服务器及存储介质
KR102387711B1 (ko) 2d 영상 기반의 3차원 체형 분석 방법, 그 시스템 및 그 프로그램
Bashirov et al. Real-time rgbd-based extended body pose estimation
CN111914676A (zh) 人体摔倒检测方法、装置、电子设备和存储介质
CN112419419A (zh) 用于人体姿势和形状估计的***和方法
Ma et al. Human motion gesture recognition based on computer vision
Shah et al. Computer Vision & Deep Learning based realtime and pre-recorded human pose estimation
Martínez-González et al. Investigating depth domain adaptation for efficient human pose estimation
Du The computer vision simulation of athlete’s wrong actions recognition model based on artificial intelligence
Jiang et al. Observation-oriented silhouette-aware fast full body tracking with Kinect
Nie et al. A child caring robot for the dangerous behavior detection based on the object recognition and human action recognition
CN115546408A (zh) 模型简化方法、装置、存储介质、电子设备及产品
CN116266408A (zh) 体型估计方法、装置、存储介质及电子设备
Dai Modeling and simulation of athlete’s error motion recognition based on computer vision
Hammouche et al. Toward a real time view-invariant 3d action recognition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant