KR102187238B1 - 사용자 참여형 인체 3차원 모델링 장치 및 방법 - Google Patents

사용자 참여형 인체 3차원 모델링 장치 및 방법 Download PDF

Info

Publication number
KR102187238B1
KR102187238B1 KR1020190016232A KR20190016232A KR102187238B1 KR 102187238 B1 KR102187238 B1 KR 102187238B1 KR 1020190016232 A KR1020190016232 A KR 1020190016232A KR 20190016232 A KR20190016232 A KR 20190016232A KR 102187238 B1 KR102187238 B1 KR 102187238B1
Authority
KR
South Korea
Prior art keywords
model
unit
modeling
user
human body
Prior art date
Application number
KR1020190016232A
Other languages
English (en)
Other versions
KR20200098796A (ko
Inventor
정승원
차진혁
루위청
염세경
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020190016232A priority Critical patent/KR102187238B1/ko
Publication of KR20200098796A publication Critical patent/KR20200098796A/ko
Application granted granted Critical
Publication of KR102187238B1 publication Critical patent/KR102187238B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T3/0031—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 사용자 참여형 인체 3차원 모델링 장치에 관한 것으로, 인체 영상을 촬영하는 촬영부; 상기 촬영한 영상을 3차원 모델로 변환하는 3차원 모델링부; 상기 3차원 모델과 상기 촬영한 영상을 비교해 상기 3차원 모델 중 부정확하게 변환된 부분을 검출하는 분석부; 및 사용자의 입력에 따라 3차원 모델을 수정하고, 상기 수정된 부분의 정보를 생성하는 수정부;를 포함하되, 상기 3차원 모델링부는 상기 촬영한 영상, 상기 부정확하게 변환된 부분 정보 및 상기 수정된 부분의 정보로 학습된다.

Description

사용자 참여형 인체 3차원 모델링 장치 및 방법{Device and method for user-participated human 3D modeling}
본 발명은 사용자 참여형 인체 3차원 모델링 장치 및 방법에 관한 것이다.
최근 헬스케어에 대한 관심이 높아지면서, 건강을 위해서 ‘체중조절’ 보다는 ‘체형관리’가 더 중요하다는 인식이 커지고 있는 가운데, 종래 BMI(Body Mass Index)와 같은 키 대비 몸무게의 비중이나, 몸무게 같은 수치만으로는 체형관리를 수행하는데 한계가 있어, 체형분석을 위한 활발한 연구가 진행되고 있다.
이러한 체형분석을 위한 기술로는 특정 장소를 찾아가 스캐너, 멀티 카메라, 깊이 카메라 등을 이용해 3차원 신체 모델을 생성한 후 이를 이용해 체형을 분석하는 방법이 있다.
이러한 종래기술로는 한국등록특허 제10-1698133호(등록일 : 2017.01.13.) 및 한국공개특허 제10-2013-0081037호(공개일 : 2013. 07.16)가 있다.
그러나 종래의 3차원 신체 모델 측정 장치는 모델링의 정확도를 위해 의복을 탈의 하거나 사용자가 가벼운 의복으로 갈아입은 상태에서 진행되기 때문에 사용자가 번거로운 과정을 걸쳐야하는 문제점이 있다.
또한, 종래의 3차원 신체 모델 측정 장치는 개인의 신체 모델을 사실적이고, 구체적으로 생성할 수 있으나, 정밀한 스캔을 지원하는 고가의 스캔 장비 또는 특정 장소에서 멀티 카메라를 이용하기 때문에, 비용과 시간이 많이 요구된다.
또한, 종래의 카메라만을 이용하여 3차원 신체 모델링을 수행할 시 모델링의 정확도가 떨어지는 문제점이 있다.
본 발명이 해결하고자 하는 기술적 과제는, 고가의 스캐너 또는 깊이 카메라가 아닌 일반 카메라를 통해 촬영된 이미지를 바탕으로 3차원 모델을 생성할 수 있는 사용자 참여형 인체 3차원 모델링 장치를 제공하는데 있다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 사용자가 자신의 신체 모델링 결과를 화면을 통하여 확인하고, 3차원 모델링 결과를 수정할 수 있는 사용자 참여형 인체 3차원 모델링 장치를 제공하는데 있다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 개인의 신체 변화에 따른 질병 예측 등 가정에서 응용할 수 있는 개인 헬스 케어 기능을 제공할 수 있는 사용자 참여형 인체 3차원 모델링 장치를 제공하는데 있다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 보다 정확하게 3차원 모델을 생성할 수 있는 사용자 참여형 인체 3차원 모델링 장치를 제공하는데 있다.
상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 바람직한 일 측면에 따르면, 인체 영상을 촬영하는 촬영부; 상기 촬영한 영상을 3차원 모델로 변환하는 3차원 모델링부; 상기 3차원 모델과 상기 촬영한 영상을 비교해 상기 3차원 모델 중 부정확하게 변환된 부분을 검출하는 분석부; 및 사용자의 입력에 따라 3차원 모델을 수정하고, 상기 수정된 부분의 정보를 생성하는 수정부;를 포함하되, 상기 3차원 모델링부는 상기 촬영한 영상, 상기 부정확하게 변환된 부분 정보 및 상기 수정된 부분의 정보로 학습된 사용자 참여형 인체 3차원 모델링 장치를 제공한다.
여기서, 상기 수정부는 상기 촬영부를 통해 입력되는 상기 사용자의 손동작을 인식해 상기 3차원 모델을 수정할 수 있다.
여기서, 상기 3차원 모델링부는 아래 식과 같은 딥러닝 기반 인체 모델링 네트워크의 목적 함수로 설계될 수 있다.
아 래 -
Figure 112019014747962-pat00001
(여기서,
Figure 112019014747962-pat00002
은 상기 수정된 정보에 따라 적응적으로 오류를 계산하는 함수,
Figure 112019014747962-pat00003
는 상기 3차원 모델의 그라운드 트루스(Ground Truth),
Figure 112019014747962-pat00004
는 상기 네트워크가 예측한 상기 3차원 모델,
Figure 112019014747962-pat00005
는 상기 3차원 모델의 ground-truth가 2차원으로 투영하여 만든 실루엣(silhouette),
Figure 112019014747962-pat00006
는 상기 네트워크가 추정한 상기 3차원 모델을 2차원으로 투영하여 만든 실루엣(silhouette)이다.)
또한, 상기 3차원 모델링부 또는 상기 수정부를 통해 변환 또는 수정된 상기 3차원 모델을 시간별로 구분해 저장하는 저장부;를 더 포함하되, 상기 분석부는 상기 저장부에 저장된 상기 3차원 모델이 있을 경우, 상기 저장된 3차원 모델과 상기 3차원 모델링부 또는 상기 수정부를 통해 변환 또는 수정된 상기 3차원 모델과 비교해 신체 변화를 검출할 수 있다.
본 발명의 바람직한 다른 측면에 따르면, 사용자 참여형 인체 3차원 모델링 장치를 이용해 사용자 참여형 인체 3차원 모델링하는 방법에 있어서, 촬영부를 통해 인체 영상을 촬영하는 단계; 3차원 모델링부가 상기 촬영한 영상을 3차원 모델로 변환하는 단계; 분석부가 상기 3차원 모델과 상기 촬영한 영상을 비교해 상기 3차원 모델 중 부정확하게 변환된 부분을 검출하는 단계; 및 수정부가 사용자의 입력에 따라 3차원 모델을 수정하고, 상기 수정된 부분의 정보를 생성하는 단계;를 포함하되, 상기 3차원 모델링부는 상기 촬영한 영상, 상기 부정확하게 변환된 부분 정보 및 상기 수정된 부분의 정보로 학습된 사용자 참여형 인체 3차원 모델링 방법을 제공한다.
여기서, 상기 수정부는 상기 촬영부를 통해 입력되는 사용자의 손동작을 인식해 상기 3차원 모델을 수정할 수 있다.
여기서, 상기 3차원 모델링부는 아래 식과 같은 딥러닝 기반 인체 모델링 네트워크의 목적 함수로 설계될 수 있다.
아 래 -
Figure 112019014747962-pat00007
(여기서,
Figure 112019014747962-pat00008
은 상기 수정된 정보에 따라 적응적으로 오류를 계산하는 함수,
Figure 112019014747962-pat00009
는 상기 3차원 모델의 그라운드 트루스(Ground Truth),
Figure 112019014747962-pat00010
는 상기 네트워크가 예측한 상기 3차원 모델,
Figure 112019014747962-pat00011
는 상기 3차원 모델의 ground-truth가 2차원으로 투영하여 만든 실루엣(silhouette),
Figure 112019014747962-pat00012
는 상기 네트워크가 추정한 상기 3차원 모델을 2차원으로 투영하여 만든 실루엣(silhouette)이다.)
본 발명의 바람직한 또 다른 측면에 따르면, 사용자 참여형 인체 3차원 모델링 장치를 이용해 사용자 참여형 인체 3차원 모델링하는 방법에 있어서, 촬영부를 통해 인체 영상을 촬영하는 단계; 3차원 모델링부가 상기 촬영한 영상을 3차원 모델로 변환하는 단계; 분석부가 상기 3차원 모델과 상기 촬영한 영상을 비교해 상기 3차원 모델 중 부정확하게 변환된 부분을 검출하는 단계; 수정부가 사용자의 입력에 따라 3차원 모델을 수정하는 단계; 상기 분석부가 저장부에 저장된 3차원 모델과 상기 3차원 모델링부 또는 상기 수정부를 통해 변환 또는 수정된 상기 3차원 모델을 비교해 신체 변화를 검출하는 단계; 및 출력부가 상기 검출된 신체 변화를 출력하는 단계;를 포함하되, 상기 3차원 모델링부는 상기 촬영한 영상, 상기 부정확하게 변환된 부분 정보 및 상기 수정된 부분의 정보로 학습된 사용자 참여형 인체 3차원 모델링 방법을 제공한다.
본 발명은 일반 카메라를 통해 촬영된 영상을 바탕으로 3차원 모델을 생성하기 때문에 비용을 줄일 수 있는 효과가 있다.
또한, 본 발명은 가정에서 하루에 한 장의 사진을 찍어 개인의 신체 변화 데이터를 축적해 개인의 신체 변화에 따른 질병 예측 등 가정에서 응용할 수 있는 개인 헬스 케어 기능을 제공하는 효과가 있다.
또한, 본 발명은 사용자가 자신의 신체 모델링 결과를 화면을 통하여 확인하고, 3차원 모델링 결과를 수정할 수 있는 효과가 있다.
또한, 본 발명은 사용자가 수정한 정보를 딥러닝 네트워크의 부가 입력으로 활용해 보다 정확하게 3차원 모델을 생성할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 참여형 인체 3차원 모델링 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 출력부가 3차원 모델 중 부정확하게 변환된 부분을 출력하는 것을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 수정부가 3차원 모델을 수정하는 것을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 3차원 모델링부의 딥러닝 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 사용자 참여형 인체 3차원 모델링 방법의 순서도이다.
도 6은 본 발명의 다른 실시예에 따른 사용자 참여형 인체 3차원 모델링 방법의 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나, 또는 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나, '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함한다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 사용자 참여형 인체 3차원 모델링 장치의 구성도이다.
도 1을 참조하면, 사용자 참여형 인체 3차원 모델링 장치(100)는 촬영부(110), 입력부(120), 3차원 모델링부(130), 수정부(140), 저장부(150), 분석부(160) 및 출력부(170)를 포함한다.
촬영부(110)는 인체 영상을 촬영한다. 여기서, 촬영부(110)는 디지털 카메라, 휴대폰 카메라 등 일반 카메라이며, 촬영부(110)가 인체 영상을 촬영할 때 촬영되는 대상자는 사전 정의된 양팔을 벌린 자세 등의 포즈를 취할 수 있다.
입력부(120)는 사용자로부터 개인 정보를 입력 받는다.
3차원 모델링부(130)는 촬영부(110)를 통해 촬영한 영상, 수정부(140)를 통해 수정된 수정된 부분의 정보 및 분석부(160)를 통해 검출된 3차원 모델 중 부정확하게 변환된 부분 정보로 학습되어 딥러닝 방식으로 촬영부(110)를 통해 촬영한 사용자 영상을 3차원 모델로 변환한다. 여기서, 3차원 모델링부(130)는 3차원 모델을 스켈레톤, 메쉬 또는 3차원 모델 형태로 표현할 수 있으며, 촬영부(110)를 통해 촬영하는 대상자의 움직임에 상응하게 3차원 모델을 움직이게 할 수 있다.
3차원 모델링부(130)는 변환된 3차원 모델을 저장부(150)에 저장하고, 출력부(170)로 전달해 출력하도록 한다.
수정부(140)는 사용자의 입력에 따라 3차원 모델링부(130)를 통해 변환된 3차원 모델을 수정하고, 수정된 부분의 정보를 생성한다. 예를 들어 사용자가 두꺼운 옷을 입어 3차원 모델이 실제보다 크게 변환된 경우 사용자는 3차원 모델 중 특정 위치를 실제 크기에 맞도록 수정해 옷의 영역에 해당하는 부피만큼 줄어든 3차원 모델을 생성할 수 있다. 여기서, 수정부(140)는 촬영부(110)를 통해 촬영한 사용자의 손끝을 추적하여, 손끝이 3차원 모델에 닿는 것을 검출해 사용자의 손동작에 따라 손끝이 닿은 부분을 확대 또는 축소하는 방식으로 수정할 수 있다.
수정부(140)는 수정된 3차원 모델과 수정된 부분의 정보를 저장부(150)에 저장하고, 출력부(170)로 전달해 출력하도록 한다. 여기서, 수정부(140)는 3차원 모델을 바로 수정하지 않고, 수정된 부분의 정보만 저장부(150)에 저장하고, 수정된 부분의 정보를 3차원 모델링부(130)로 전달해 3차원 모델링부(130)가 수정된 부분의 정보를 반영할 수도 있다.
저장부(150)는 입력부(120)를 통해 입력되는 개인 정보, 촬영부(110)를 통해 촬영한 영상, 수정부(140)를 통해 수정된 3차원 모델 및 수정된 부분의 정보, 분석부(160)를 통해 검출된 3차원 모델 중 부정확하게 변환된 부분 정보 및 검출된 신체 변화 정보를 저장한다. 여기서, 저장부(150)는 입력부(120)를 통해 입력되는 개인 정보에 상응하는 3차원 모델링부(130) 또는 수정부(140)를 통해 변환 또는 수정된 3차원 모델을 시간별로 구분해 저장할 수 있으며, 저장부(150)는 사용자 참여형 인체 3차원 모델링 장치(100)를 제어하는 동작을 저장 할 수도 있다.
분석부(160)는 3차원 모델링부(130)를 통해 변환된 3차원 모델과 촬영부(110)를 통해 촬영한 영상을 비교해 3차원 모델 중 부정확하게 변환된 부분을 검출하여 출력부(170)를 통해 정확하게 변환된 부분과 다르게 출력하도록 하고, 저장부(150)에 검출한 정보를 저장한다.
또한, 분석부(160)는 저장부(150)에 입력부(120)를 통해 입력된 개인 정보에 상응하는 3차원 모델이 있을 경우, 저장된 3차원 모델과 3차원 모델링부(130) 또는 수정부(140)를 통해 변환 또는 수정된 3차원 모델과 비교하여 신체 변화를 검출하고, 출력부(170)를 통해 신체 변환가 있는 부분을 다르게 출력하도록 하고 검출한 정보를 저장부(150)에 저장한다.
출력부(170)는 3차원 모델링부(130) 또는 수정부(140)를 통해 변환 또는 수정된 3차원 모델을 출력한다. 여기서, 출력부(170)는 촬영부(110)를 통해 촬영한 사용자 영상을 출력하고, 3차원 모델링부(130) 또는 수정부(140)를 통해 변환 또는 수정된 3차원 모델을 사용자 영상 위에 반투명하게 출력할 수 있다.
또한, 출력부(170)는 분석부(160)를 통해 검출된 3차원 모델 중 부정확하게 변환된 부분과 신체 변화 부분을 출력한다.
도 2는 본 발명의 일 실시예에 따른 출력부가 3차원 모델 중 부정확하게 변환된 부분을 출력하는 것을 설명하기 위한 도면이다. 도 2(a)는 3차원 모델 중 부정확하게 변환된 부분이 없는 경우 출력부(170)가 출력하는 화면이며, 도 2(b)는 3차원 모델 중 부정확하게 변환된 부분이 있는 경우 출력부(170)가 출력하는 화면이다.
도 2(a)를 참조하면, 출력부(170)는 분석부(160)가 3차원 모델링부(130)를 통해 변환된 3차원 모델과 촬영부(110)를 통해 촬영한 영상을 비교해 3차원 모델 중 부정확하게 변환된 부분을 검출하지 못한 경우, 3차원 모델링부(130)를 통해 변환한 3차원 모델(210)을 그대로 출력한다.
도 2(b)를 참조하면, 출력부(170)는 분석부(160)가 3차원 모델링부(130)를 통해 변환된 3차원 모델과 촬영부(110)를 통해 촬영한 영상을 비교해 3차원 모델 중 부정확하게 변환된 부분을 검출한 경우, 3차원 모델(210) 중 부정확하게 변환된 부분(220)을 다른 색상으로 출력한다.
도 3은 본 발명의 일 실시예에 따른 수정부가 3차원 모델을 수정하는 것을 설명하기 위한 도면이다. 도 3(a)는 3차원 모델링부(130)를 통해 메쉬 형태로 변환한 3차원 모델(310) 중 부정확하게 변환된 부분을 확대한 것이며, 도 3(b)는 수정부(140)를 통해 변환된 메쉬 형태의 3차원 모델(310) 중 부정확하게 변환된 부분을 수정한 것이다.
도 3(a)을 참조하면, 출력부(170)는 3차원 모델링부(130)를 통해 변환한 메쉬 형태의 3차원 모델(310)과 분석부(160)를 통해 부정확하게 변환된 부분(320)을 다른 색상으로 출력한다.
도 3(b)를 참조하면, 사용자는 출력부(170)를 통해 다른 색상으로 출력된 부정확하게 변환된 부분(320)을 확인하고, 손동작을 통해 부정확하게 변환된 부분(320)을 수정할 수 있다.
구체적으로, 수정부(140)는 촬영부(110)를 통해 촬영한 사용자의 손끝을 추적하여, 손끝이 3차원 모델의 부정확하게 변환된 부분(320)에 닿는 것을 검출해 사용자의 손동작에 따라 손끝이 닿은 부정확하게 변환된 부분(320)을 위쪽으로 이동시켜 메쉬를 위로 확장시킨다.
여기서, 수정부(140)는 3차원 모델이 스켈레톤으로 변환된 경우 촬영부(110)를 통해 촬영한 사용자의 손끝을 추적하여 손끝이 닿는 관절을 손동작에 따라 관절의 위치를 이동시킬 수 있고, 수정의 편의를 위해 저장부(150)에 저장된 제어하는 동작과 촬영부(110)를 통해 촬영한 사용자의 동작을 비교해 수정 할 수 있으며, 마우스, 키보드 등과 같은 콘트롤러를 통해 입력 받아 수정할 수도 있다.
수정부(140)는 수정한 3차원 모델을 출력부(170)로 전달해 바로 출력할 수 있게 하거나, 수정한 부분에 대한 정보를 3차원 모델링부(130)로 전달해 사용자가 사전 정의된 포즈를 취할 때 3차원 모델링부(130)가 수정한 부분에 대한 정보를 반영해 3차원 모델을 변환할 수 있다.
도 4는 본 발명의 일 실시예에 따른 3차원 모델링부의 딥러닝 방법을 설명하기 위한 도면이다. 도 4(a)는 종래 딥러닝 방법이고, 도 4(b)는 본 발명의 딥러닝 방법이다.
도 4(a)를 참조하면, 3차원 모델링부(420)는 촬영부(110)를 통해 촬영한 사용자 영상(410)을 입력 받아 3차원 모델(430)을 변환하도록 학습을 수행한다. 여기서, 3차원 모델링부(420)의 딥러닝 기반 인체 모델링 네트워크의 목적 함수(loss function)는 식 1과 같이 설계된다.
[식 1]
Figure 112019014747962-pat00013
(여기서,
Figure 112019014747962-pat00014
은 유클리디안 거리(Euclidean Distance) 등의 차이를 측정하는 함수,
Figure 112019014747962-pat00015
는 3차원 모델의 그라운드 트루스(Ground Truth),
Figure 112019014747962-pat00016
는 네트워크가 예측한 3차원 모델,
Figure 112019014747962-pat00017
는 3차원 모델의 ground-truth가 2차원으로 투영하여 만든 실루엣(silhouette),
Figure 112019014747962-pat00018
는 네트워크가 추정한 3차원 모델을 2차원으로 투영하여 만든 실루엣(silhouette)이다.)
식 1과 같은 딥러닝 기반 인체 모델링 네트워크의 목적 함수의
Figure 112019014747962-pat00019
함수는 입력으로 들어온 3차원 또는 2차원 정보에 대하여 특정한 가중치를 부여하지 않고 차이를 단순 계산한다.
도 4(b)를 참조하면, 3차원 모델링부(130)는 촬영부(110)를 통해 촬영한 영상(410), 수정부(140)를 통해 수정된 수정된 부분의 정보(440) 및 분석부(160)를 통해 검출된 3차원 모델 중 부정확하게 변환된 부분 정보(450)를 입력 받아 3차원 모델(430)을 변환하도록 학습을 수행한다. 여기서, 3차원 모델링부(130)의 딥러닝 기반 인체 모델링 네트워크의 목적 함수는 식 2와 같이 설계된다.
[식 2]
Figure 112019014747962-pat00020
(여기서,
Figure 112019014747962-pat00021
은 수정된 부분 정보에 따라 적응적으로 오류를 계산하는 함수,
Figure 112019014747962-pat00022
는 3차원 모델의 그라운드 트루스(Ground Truth),
Figure 112019014747962-pat00023
는 네트워크가 예측한 3차원 모델,
Figure 112019014747962-pat00024
는 3차원 모델의 ground-truth가 2차원으로 투영하여 만든 실루엣(silhouette),
Figure 112019014747962-pat00025
는 네트워크가 추정한 3차원 모델을 2차원으로 투영하여 만든 실루엣(silhouette)이다.)
식 2와 같은 딥러닝 기반 인체 모델링 네트워크의 목적 함수는 3차원 모델의 과도 예측(over-estimation) 또는 과소 예측(under-estimation)을 막기 위하여 해당 신체 위치에서 측정되는 오류의 가중치를 조절하는 것이다.
구체적으로, 수정된 부분 정보에 따라 적응적으로 오류를 계산하는 함수인
Figure 112019014747962-pat00026
는 수정부(140)를 통해 사용자가 과도하게 측정(over-estimation)이 되었다고 수정한 수정된 부분에 대해서는, 패널티(penalty)를 크게 주도록 오류를 계산한다. 반대로 수정부(140)를 통해 사용자가 과소 측정(under-estimation) 되었다고 수정한 수정된 부분에 대해서는, 패널티(penalty)를 크게 주도록 오류를 계산할 수 있다.
이에 수정부(140)를 통해 수정된 수정된 부분의 정보(440) 및 분석부(160)를 통해 검출된 3차원 모델 중 부정확하게 변환된 부분 정보(450)를 딥러닝의 출력을 제어하는 목적으로 사용할 수 있다.
도 5는 본 발명의 일 실시예에 따른 사용자 참여형 인체 3차원 모델링 방법의 순서도이다.
도 5를 참조하면, S510단계에서는 촬영부(110)를 통해 인체 영상을 촬영한다.
S520단계에서는 3차원 모델링부(130)가 촬영한 영상을 3차원 모델로 변환한다.
S530단계에서는 분석부(160)가 3차원 모델과 촬영한 영상을 비교해 3차원 모델 중 부정확하게 변환된 부분을 검출해 출력부(170)를 통해 정확하게 변환된 부분과 다르게 출력하도록 한다.
S540단계에서는 사용자가 출력부(170)를 통해 출력된 3차원 모델과 3차원 모델 중 부정확하게 변환된 부분을 확인하고 수정할 부분이 있으면 S550단계를 진행하고, 수정할 부분이 없으면 종료한다.
S550단계에서는 수정부(140)가 사용자의 입력에 따라 3차원 모델을 수정하고, 수정된 부분의 정보를 생성한다.
S560단계에서는 사용자가 출력부(170)를 통해 출력된 수정된 3차원 모델을 확인하고, 수정할 부분이 있으면 S550 내지 S560단계를 진행하고, 수정할 부분이 없으면 종료한다.
도 6은 본 발명의 다른 실시예에 따른 사용자 참여형 인체 3차원 모델링 방법의 순서도이다.
도 6을 참조하면, S610단계에서는 입력부(120)를 통해 사용자 개인 정보를 입력한다.
S620단계에서는 촬영부(110)를 통해 인체 영상을 촬영한다.
S630단계에서는 3차원 모델링부(130)가 촬영한 영상을 3차원 모델로 변환한다.
S640단계에서는 분석부(160)가 3차원 모델과 촬영한 영상을 비교해 3차원 모델 중 부정확하게 변환된 부분을 검출해 출력부(170)를 통해 정확하게 변환된 부분과 다르게 출력하도록 한다.
S650단계에서는 사용자가 출력부(170)를 통해 출력된 3차원 모델과 3차원 모델 중 부정확하게 변환된 부분을 확인하고 수정할 부분이 있으면 S550단계를 진행하고, 수정할 부분이 없으면 S680단계를 진행한다.
S660단계에서는 수정부(140)가 사용자의 입력에 따라 3차원 모델을 수정하고, 수정된 부분의 정보를 생성한다.
S670단계에서는 사용자가 출력부(170)를 통해 출력된 수정된 3차원 모델을 확인하고, 수정할 부분이 있으면 S660 내지 S670단계를 진행하고, 수정할 부분이 없으면 S680단계를 진행한다.
S680단계에서는 분석부(160)가 저장부(150)에 저장된 입력부(120)를 통해 입력된 개인 정보에 상응하는 3차원 모델과 3차원 모델링부(130) 또는 수정부(140)를 통해 변환 또는 수정된 3차원 모델을 비교해 신체 변화를 검출한다.
S690단계에서는 출력부(170)가 분석부(160)를 통해 검출된 신체 변화를 출력한다. 또한, 분석부(160)를 통해 검출된 신체 변화 정보, 3차원 모델과 3차원 모델링부(130) 또는 수정부(140)를 통해 변환 또는 수정된 3차원 모델을 날짜 별로 구분해 저장부(150)에 저장하여 신체 변화의 추이를 사용자가 확인할 수 있다.
이상에서 본 발명에 따른 실시 예들이 설명되었으나, 이는 예시적인 것에 불과하며, 본 발명의 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 다음의 청구범위에 의해서 정해져야할 것이다.
110 : 촬영부 120 : 입력부
130 : 3차원 모델링부 140 : 수정부
150 : 저장부 160 : 분석부
170 : 출력부

Claims (8)

  1. 인체 영상을 촬영하는 촬영부;
    상기 촬영한 영상을 3차원 모델로 변환하는 3차원 모델링부;
    상기 3차원 모델과 상기 촬영한 영상을 비교해 상기 3차원 모델 중 부정확하게 변환된 부분을 검출하는 분석부; 및
    사용자의 입력에 따라 3차원 모델을 수정하고, 상기 수정된 부분의 정보를 생성하는 수정부;를 포함하되,
    상기 3차원 모델링부는 상기 촬영한 영상, 상기 부정확하게 변환된 부분 정보 및 상기 수정된 부분의 정보로 학습된 것을 특징으로 하고,
    상기 3차원 모델링부는 상기 수정부에 의하여 상기 수정된 정보에 따라 상기 변환된 부분에 대한 오류의 가중치를 계산하고, 아래 식과 같은 딥러닝 기반 인체 모델링 네트워크의 목적 함수로 설계된 것을 특징으로 하는 사용자 참여형 인체 3차원 모델링 장치.
    아 래 -
    Figure 112020125048578-pat00045

    (여기서,
    Figure 112020125048578-pat00046
    은 상기 수정된 정보에 따라 적응적으로 오류를 계산하는 함수,
    Figure 112020125048578-pat00047
    는 상기 3차원 모델의 그라운드 트루스(Ground Truth),
    Figure 112020125048578-pat00048
    는 상기 네트워크가 예측한 상기 3차원 모델,
    Figure 112020125048578-pat00049
    는 상기 3차원 모델의 ground-truth가 2차원으로 투영하여 만든 실루엣(silhouette),
    Figure 112020125048578-pat00050
    는 상기 네트워크가 추정한 상기 3차원 모델을 2차원으로 투영하여 만든 실루엣(silhouette)이다.)
  2. 제1항에 있어서,
    상기 수정부는 상기 촬영부를 통해 입력되는 상기 사용자의 손동작을 인식해 상기 3차원 모델을 수정하는 것
    을 특징으로 하는 사용자 참여형 인체 3차원 모델링 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 3차원 모델링부 또는 상기 수정부를 통해 변환 또는 수정된 상기 3차원 모델을 시간별로 구분해 저장하는 저장부;를 더 포함하되,
    상기 분석부는 상기 저장부에 저장된 상기 3차원 모델이 있을 경우, 상기 저장된 3차원 모델과 상기 3차원 모델링부 또는 상기 수정부를 통해 변환 또는 수정된 상기 3차원 모델과 비교해 신체 변화를 검출하는 것
    을 특징으로 하는 사용자 참여형 인체 3차원 모델링 장치.
  5. 사용자 참여형 인체 3차원 모델링 장치를 이용해 사용자 참여형 인체 3차원 모델링하는 방법에 있어서,
    촬영부를 통해 인체 영상을 촬영하는 단계;
    3차원 모델링부가 상기 촬영한 영상을 3차원 모델로 변환하는 단계;
    분석부가 상기 3차원 모델과 상기 촬영한 영상을 비교해 상기 3차원 모델 중 부정확하게 변환된 부분을 검출하는 단계; 및
    수정부가 사용자의 입력에 따라 3차원 모델을 수정하고, 상기 수정된 부분의 정보를 생성하는 단계;를 포함하되,
    상기 3차원 모델링부는 상기 촬영한 영상, 상기 부정확하게 변환된 부분 정보 및 상기 수정된 부분의 정보로 학습되고,
    상기 3차원 모델링부는 상기 수정부에 의하여 상기 수정된 정보에 따라 상기 변환된 부분에 대한 오류의 가중치를 계산하고, 아래 식과 같은 딥러닝 기반 인체 모델링 네트워크의 목적 함수로 설계된 것을 특징으로 하는 사용자 참여형 인체 3차원 모델링 방법.
    아 래 -
    Figure 112020125048578-pat00051

    (여기서,
    Figure 112020125048578-pat00052
    은 상기 수정된 정보에 따라 적응적으로 오류를 계산하는 함수,
    Figure 112020125048578-pat00053
    는 상기 3차원 모델의 그라운드 트루스(Ground Truth),
    Figure 112020125048578-pat00054
    는 상기 네트워크가 예측한 상기 3차원 모델,
    Figure 112020125048578-pat00055
    는 상기 3차원 모델의 ground-truth가 2차원으로 투영하여 만든 실루엣(silhouette),
    Figure 112020125048578-pat00056
    는 상기 네트워크가 추정한 상기 3차원 모델을 2차원으로 투영하여 만든 실루엣(silhouette)이다.)
  6. 제5항에 있어서,
    상기 수정부는 상기 촬영부를 통해 입력되는 상기 사용자의 손동작을 인식해 상기 3차원 모델을 수정하는 것
    을 특징으로 하는 사용자 참여형 인체 3차원 모델링 방법.
  7. 삭제
  8. 사용자 참여형 인체 3차원 모델링 장치를 이용해 사용자 참여형 인체 3차원 모델링하는 방법에 있어서,
    촬영부를 통해 인체 영상을 촬영하는 단계;
    3차원 모델링부가 상기 촬영한 영상을 3차원 모델로 변환하는 단계;
    분석부가 상기 3차원 모델과 상기 촬영한 영상을 비교해 상기 3차원 모델 중 부정확하게 변환된 부분을 검출하는 단계;
    수정부가 사용자의 입력에 따라 3차원 모델을 수정하는 단계;
    상기 분석부가 저장부에 저장된 3차원 모델과 상기 3차원 모델링부 또는 상기 수정부를 통해 변환 또는 수정된 상기 3차원 모델을 비교해 신체 변화를 검출하는 단계; 및
    출력부가 상기 검출된 신체 변화를 출력하는 단계;를 포함하되,
    상기 3차원 모델링부는 상기 촬영한 영상, 상기 부정확하게 변환된 부분 정보 및 상기 수정된 부분의 정보로 학습되고, 상기 수정부에 의하여 상기 수정된 정보에 따라 상기 변환된 부분에 대한 오류의 가중치를 계산하고, 아래 식과 같은 딥러닝 기반 인체 모델링 네트워크의 목적 함수로 설계된 것을 특징으로 하는 사용자 참여형 인체 3차원 모델링 방법.
    아 래 -
    Figure 112020125048578-pat00057

    (여기서,
    Figure 112020125048578-pat00058
    은 상기 수정된 정보에 따라 적응적으로 오류를 계산하는 함수,
    Figure 112020125048578-pat00059
    는 상기 3차원 모델의 그라운드 트루스(Ground Truth),
    Figure 112020125048578-pat00060
    는 상기 네트워크가 예측한 상기 3차원 모델,
    Figure 112020125048578-pat00061
    는 상기 3차원 모델의 ground-truth가 2차원으로 투영하여 만든 실루엣(silhouette),
    Figure 112020125048578-pat00062
    는 상기 네트워크가 추정한 상기 3차원 모델을 2차원으로 투영하여 만든 실루엣(silhouette)이다.)
KR1020190016232A 2019-02-12 2019-02-12 사용자 참여형 인체 3차원 모델링 장치 및 방법 KR102187238B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190016232A KR102187238B1 (ko) 2019-02-12 2019-02-12 사용자 참여형 인체 3차원 모델링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190016232A KR102187238B1 (ko) 2019-02-12 2019-02-12 사용자 참여형 인체 3차원 모델링 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200098796A KR20200098796A (ko) 2020-08-21
KR102187238B1 true KR102187238B1 (ko) 2020-12-07

Family

ID=72235859

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190016232A KR102187238B1 (ko) 2019-02-12 2019-02-12 사용자 참여형 인체 3차원 모델링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102187238B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311796B1 (ko) * 2021-03-29 2021-10-12 인하대학교 산학협력단 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102265706B1 (ko) * 2020-10-16 2021-06-16 주식회사 헬스케어뱅크 개체 관찰정보의 입력 및 공유 서비스를 제공하는 방법, 및 컴퓨터 판독 가능한 저장 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101792234B1 (ko) * 2016-05-18 2017-11-20 주식회사 선테크 수면성 호흡장애 진단장치 및 표시방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347508B2 (ja) * 1995-02-24 2002-11-20 キヤノン株式会社 撮像画像処理装置および撮像画像処理方法
CN104205034A (zh) * 2012-03-29 2014-12-10 英特尔公司 使用手势创建三维图形

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101792234B1 (ko) * 2016-05-18 2017-11-20 주식회사 선테크 수면성 호흡장애 진단장치 및 표시방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311796B1 (ko) * 2021-03-29 2021-10-12 인하대학교 산학협력단 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치

Also Published As

Publication number Publication date
KR20200098796A (ko) 2020-08-21

Similar Documents

Publication Publication Date Title
KR102097190B1 (ko) 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
JP4799104B2 (ja) 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
JP4929828B2 (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
JP2017523487A (ja) 適応ホモグラフィ写像に基づく視線追跡
JP2011053915A (ja) 画像処理装置、画像処理方法、プログラム及び電子機器
KR102187238B1 (ko) 사용자 참여형 인체 3차원 모델링 장치 및 방법
JP2019012965A (ja) 映像制御方法、映像制御装置、及び映像制御プログラム
CN112434679A (zh) 康复运动的评估方法及装置、设备、存储介质
CN109859100A (zh) 虚拟背景的显示方法、电子设备和计算机可读存储介质
KR20160110070A (ko) 전자 장치 및 그 제어 방법
KR101938361B1 (ko) X선 영상 내 체형 윤곽선 기반의 골격 상태 예측방법 및 프로그램
KR101636171B1 (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
JP6651086B1 (ja) 画像分析プログラム、情報処理端末、及び画像分析システム
WO2021192906A1 (ja) 算出方法
CN113033526A (zh) 基于计算机实现的方法、电子设备和计算机程序产品
CN115862124B (zh) 视线估计方法、装置、可读存储介质及电子设备
CN106461982A (zh) 用于确定至少一个行为参数的方法
CN115023732A (zh) 信息处理装置、信息处理方法和信息处理程序
JP6417697B2 (ja) 情報処理装置、脈波計測プログラムおよび脈波計測方法
JP2005230068A (ja) 運動支援方法と、その装置
JP2020107216A (ja) 情報処理装置、その制御方法およびプログラム
WO2021192908A1 (ja) 追跡方法
JP6461394B1 (ja) 画像生成装置及び画像生成プログラム
JP6075983B2 (ja) 不快度推定システム及び不快度推定方法
JP2020129268A (ja) 学習依頼装置、学習装置、推論モデル利用装置、推論モデル利用方法、推論モデル利用プログラム及び撮像装置

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant