KR101194604B1 - 인체 모델의 형상 변형 방법 및 장치 - Google Patents

인체 모델의 형상 변형 방법 및 장치 Download PDF

Info

Publication number
KR101194604B1
KR101194604B1 KR1020080131768A KR20080131768A KR101194604B1 KR 101194604 B1 KR101194604 B1 KR 101194604B1 KR 1020080131768 A KR1020080131768 A KR 1020080131768A KR 20080131768 A KR20080131768 A KR 20080131768A KR 101194604 B1 KR101194604 B1 KR 101194604B1
Authority
KR
South Korea
Prior art keywords
human body
model
body model
joint
data
Prior art date
Application number
KR1020080131768A
Other languages
English (en)
Other versions
KR20100073174A (ko
Inventor
임성재
김호원
박일규
박지영
이지형
김진서
이승욱
추창우
황본우
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020080131768A priority Critical patent/KR101194604B1/ko
Priority to US12/495,063 priority patent/US8830269B2/en
Publication of KR20100073174A publication Critical patent/KR20100073174A/ko
Application granted granted Critical
Publication of KR101194604B1 publication Critical patent/KR101194604B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30Polynomial surface description
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 조인트-스켈레톤(joint-skeleton) 구조의 파라메트릭 제어 넙스(nurbs)곡면 기반 인체 모델을 이용하여 연기자의 모션을 캡쳐한 모션 캡쳐 데이터에 따라 자동으로 인체 형상이 자연스럽게 변형되는 인체 모델 형상 변형 기술에 관한 것으로, 3차원 폴리곤 메쉬 인체 모델을 입력받아 스켈레톤 구조를 갖는 계층구조의 조인트, 조인트와 조인트 사이의 키 단면 곡선, 키 단면 곡선들을 근사화하여 생성한 넙스 파라메트릭 제어 곡면, 넙스 파라메트릭 제어 곡면과 스킨 버텍스 사이의 종속관계 설정으로 구성되며, 각 관절부위의 특징적인 특정 모션(포즈)에 대한 학습(training) 데이터로부터의 넙스 곡면의 제어 파라미터에 대한 통계적 변형 정보를 이용하여 연기자의 자연스러운 여러 모션(동작)을 인체 모델의 형상 변형으로 실시간 자동 재현할 수 있다.
3차원 인체 모델, 넙스(Nurbs) 기반 파라메트릭(parametric) 제어곡면, 키 단면 곡선, 통계적 변형 정보

Description

인체 모델의 형상 변형 방법 및 장치{METHOD AND APPARATUS FOR SHAPE DEFORMING SURFACE BASED 3D HUMAN MODEL}
본 발명은 3차원 인체 모델의 형상 변형 기술에 관한 것으로, 특히 조인트-스켈레톤(joint-skeleton) 구조와 각 조인트 사이의 키 단면 곡선을 근사화한 넙스(nurbs) 파라메트릭(parametric) 제어 곡면 기반 인체 모델을 특징적인 특정 모션(motion)(포즈(pose))에 대한 학습(training) 데이터로부터의 넙스 곡면의 제어 파라미터에 대한 통계적 변형 정보를 이용하여 연기자의 자연스러운 여러 모션을 넙스 기반 인체 모델의 형상 변형으로 자동 재현하는 기술에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[2008-F-030-01, 방통융합형 Full 3D 복원 기술 개발(표준화연계)].
인체 형상 모델들은 컴퓨터 애니메이션뿐만 아니라 3차원 게임 등에서도 매우 중요한 역할을 하고 있다. 이러한 인체 모델의 애니메이션을 위해서는 형상 변형이 가능한 인체 모델 생성이 선행되어야 하며, 인체 모델 생성은 애니메이션의 질에 중요한 요소로 작용한다.
종래 기술에 의해 생성되는 인체 모델로는, 초기의 골격만을 모델링한 스틱(stick) 모델, 인체의 외형을 곡면 패치들로 표현한 곡면(surface) 모델, 인체를 구, 원기둥, 타원체 등의 조합으로 구성한 체적(volume) 모델 등이 있다.
그러나, 이와 같은 모델들은 사실적인 외형을 표현하지 못하거나, 모션에 따른 형상 변형이 자연스럽지 못하고, 형상 변형을 위해 많은 계산 시간이 필요하거나, 전문 디자이너 등의 사용자의 수동적인 조작이 필요한 등의 문제점이 있다.
최근에는, 해부학적 특징을 반영한 근육 시뮬레이션 모델과 스켈레톤(skeleton)과 메쉬(mesh) 구조로 되어있는 예제(example) 데이터에 기반한 인터랙티브(interactive) 선형조합 스키닝(skinning) 모델 등이 제안된 바 있다.
그러나 이러한 모델들은 비교적 사실적인 형상 변형이 가능하다는 이점에도 불구하고, 계산 속도의 한계로 인한 실시간 수행의 어려움과 제작이 어렵고 미리 제작된 모델의 정확도와 이 모델들의 조합 정도에 따라 생성되는 애니메이션의 정확도가 결정되는 문제, 주요 관절에서 일어나는 ‘캔디 래퍼(candy-wrapper)'와 같은 변형 결과물(artifact)이 존재하는 문제점이 있다.
이에 본 발명은, 조인트-스켈레톤(joint-skeleton) 골격 구조를 형성하고, 골격의 각 조인트와 조인트 사이의 인체의 특성이 반영된 주요 부분에 단면을 설정 하여 단면 위의 일정한 각도마다 위치한 스킨 버텍스(skin vertex)들을 보간하여 키 단면 곡선을 생성한 다음, 키 단면 곡선들의 위치, 방향들을 B-스플라인(B-spline) 근사화하여 파라메트릭 제어가 가능한 넙스(nurbs) 곡면 형상을 만들고, 스킨 버텍스들을 생성된 넙스 곡면에 바인딩(binding)시켜, 주어진 3차원 폴리곤 메쉬 모델을 조인트-스켈레톤 구조를 갖는 넙스 곡면 모델로 재구성하고자 한다.
또한 본 발명은, 인체 모션 중에 굽힘, 팽창, 돌출 등의 특징을 나타내는 신체 각 부위별 넙스 곡면에 대한 학습 데이터를 통해 통계적 모션 파라미터 정보를 이용하여 인체 곡면 모델의 형상 변형을 사실적으로 실시간 제공하고자 한다.
본 발명의 과제를 해결하기 위한 일 관점에 따르면, 입력되는 인체 모델 데이터에 대해 조인트-스켈레톤 구조 기반의 넙스 곡면 모델로 재구성하는 과정과, 다수의 특정 모션에서의 조인트 및 키 단면 곡선의 파라미터 기반 넙스 곡면 모델의 제어 파라미터에 관한 통계적 변형 정보를 생성하는 과정과, 상기 넙스 곡면 모델 및 통계적 변형 정보에 기반하여 인체 모델 형상을 변형하는 과정을 포함하는 인체 모델의 형상 변형 방법을 제공한다.
본 발명의 과제를 해결하기 위한 다른 관점에 따르면, 인체 모델 데이터의 입력을 위한 입력부와, 상기 입력부를 통해 입력되는 인체 모델 데이터를 조인트-스켈레톤 구조 기반의 넙스 곡면 모델로 재구성하는 인체 모델 생성부와, 특정 모션에서 조인트 및 키 단면 곡선의 파라미터 기반 넙스 곡면 모델의 제어 파라미터 에 관한 통계적 변형 정보를 생성하는 통계적 변형 정보 생성부와, 상기 인체 모델 생성부로부터 재구성되는 넙스 곡면 모델과 상기 통계적 변형 정보 생성부로부터 생성되는 통계적 변형 정보에 기반하여 인체 모델 형상을 변형하는 인체 모델 형상 변형부를 포함하는 인체 모델의 형상 변형 장치를 제공한다.
본 발명에 의하면, 조인트-스켈레톤(joint-skeleton) 구조의 넙스(nurbs) 파라메트릭(parametric) 제어 곡면 기반 인체 모델을 이용하여 연기자의 모션을 캡쳐한 모션 캡쳐 데이터에 따라 자동으로 인체 형상을 변형함으로써, 인체 모션 중에 굽힘, 팽창, 돌출 등의 특정 포즈(pose)를 나타내는 주요한 조인트와 해당되는 키 단면 곡선들의 파라미터에 기반한 넙스 곡면 제어 파라미터 데이터에 대한 학습 데이터를 통해 통계적 변형 특징 정보 모델의 적용과 콜리전(collision)과 같은 외압 혹은 내압에 의해 발생하는 힘의 중심과 영역을 고려하여 uv-맵(uv-map)에 반영하고, uv-맵 파라미터를 제어하여 넙스 곡면 기반 인체 모델의 자동 형상 변형을 실시간에 사실적이고 자연스럽게 제공할 수 있다. 이로 인해, 작업속도 향상과 비용을 최소화할 수 있는 효과를 갖는다.
본 발명은 조인트-스켈레톤(joint-skeleton) 구조의 넙스(nurbs) 파라메트릭 제어 곡면 기반 인체 모델을 이용하여 연기자의 모션을 캡쳐한 모션 캡쳐 데이터에 따라 자동으로 인체 형상이 자연스럽게 변형되는 인체 모델 형상 변형 기술에 관한 것으로, 3차원 폴리곤 메쉬 인체 모델을 입력받아 스켈레톤 구조를 갖는 계층구조의 조인트, 조인트와 조인트 사이의 키 단면 곡선, 키 단면 곡선들을 근사화하여 생성한 넙스 파라메트릭 제어 곡면, 넙스 곡면과 스킨 버텍스 사이의 종속관계 설정으로 구성되며, 충돌(collision)에 의한 외압/내압에 대한 uv-맵 파라미터 등의 넙스 곡면의 파라메트릭 제어를 통한 유연성(non-rigid) 변형, 각 관절 부위의 특징적인 특정 모션(포즈)에 대한 학습(training) 데이터로부터의 넙스 곡면의 제어 파라미터에 대한 통계적 변형 정보를 이용하여 연기자의 자연스러운 여러 모션(동작)을 인체 모델의 형상 변형으로 자동 재현하는 것을 특징으로 한다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 대하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 인체 모델의 형상 변형 장치 및 방법을 설명하기 위한 구성도로서, 입력부(100), 인체 모델 생성부(200), 통계적 변형 정보 생성부(300), 인체 모델 형상 변형부(400) 등을 포함한다.
도 1에 도시한 바와 같이, 입력부(100)는 본 실시예에 따라 3차원 인체 스캔 데이터 및 3차원 폴리곤 메쉬(polygon mesh)로 구성된 인체 모델 데이터를 입력할 수 있는 수단이다.
인체 모델 생성부(200)는 상술한 입력부(100)를 통해 입력된 인체 모델 데이 터를 조인트-스켈레톤(joint-skeleton) 구조 기반의 넙스(nurbs) 곡면 모델로 재구성하는 역할을 한다.
통계적 변형 정보 생성부(300)는 여러 특정 모션에서 조인트 및 키 단면 곡선의 파라미터 기반 넙스 곡면 모델의 제어 파라미터에 관한 통계적 변형 정보를 생성하는 역할을 한다.
인체 모델 형상 변형부(400)는 상술한 인체 모델 생성부(200)로부터 재구성되는 넙스 곡면 모델과 통계적 변형 정보 생성부(300)로부터 생성되는 통계적 변형 정보에 기반하여 인체 모델 형상을 변형하는 역할을 한다.
이와 같은 구성으로 본 실시예에 따른 인체 모델의 형상 변형 방법을 설명하면 다음과 같다.
먼저, 입력부(100)를 통해 3차원 인체 스캔 데이터 및 3차원 폴리곤 메쉬로 구성된 인체 모델 데이터가 입력되면, 인체 모델 생성부(200)에서는 이러한 인체 모델 데이터를 조인트-스켈레톤 구조 기반의 넙스 곡면 모델로 재구성하는 과정을 수행한다.
이후, 통계적 변형 정보 생성부(300)에 의해 여러 특정 모션에서 조인트 및 키 단면 곡선의 파라미터 기반 넙스 곡면 모델의 제어 파라미터에 관한 통계적 변형 정보가 생성된다.
이와 같은 넙스 곡면 모델 및 통계적 변형 정보는 인체 모델 형상 변형부(400)로 제공되며, 인체 모델 형상 변형부(400)에서는 이러한 넙스 곡면 모델과 통계적 변형 정보에 기반하여 인체 모델 형상을 변형한다.
한편, 도 2는 도 1의 인체 모델 생성부(200)의 처리 과정, 즉 넙스 곡면 기반 인체 모델을 생성하는 방법을 예시한 흐름도이다.
도 2에 예시한 바와 같이, 입력부(100)를 통해 메쉬 인체 모델이 입력되면(S200), 인체의 각 부위별로 사용자가 랜드마크(land mark)를 설정하여 스켈레톤 구조를 생성하고, 상기 생성된 스켈레톤 구조에서 몸통의 척추(spine)를 루트(root)로, 각 부위별 주요 연결부위(예컨대, 어깨, 손목, 골반, 발목 부위)를 서브-루트(sub-root)로 하여 총 n개(예컨대, 55개)의 조인트를 갖는 계층적 조인트 구조를 생성한다(S202). 도 3은 본 실시예에 따른 조인트-스켈레톤 인체 모델을 나타내는 예시도로서, 초기 스켈레톤 구조를 생성하기 위해 사용자가 설정하는 랜드마크와 스켈레톤을 도시하였다.
이때, 인체 부위별 랜드마크 위치는 아래 [표 1]에 예시한 바와 같다.
구분 신체부위에서 랜드마크 위치 및 개수
어깨, 팔꿈치, 팔목 각 1개, 각 손가락 마디(3부분) 14개, 손 끝 1개 : 총 18개
다리 엉덩이, 무릎, 발목 각 1개, 각 발가락 마디 5개, 발 끝 1개 : 총 9개
몸통 쇄골 중심, 척추, 골반 각 1개 : 총 3개
머리 목, 얼굴 중심, 머리끝 : 총 3개
이어서, 상기 각 신체부위별로 생성된 조인트 혹은 조인트와 조인트 사이에 그 신체부위의 근육특성을 고려하여 외형을 잘 표현할 수 있는 위치에 단면을 설정하고, 그 단면위에 존재하는 메쉬 인체 모델의 버텍스(vertex)들의 집합에서 중심 위치를 계산하며, 그 중심점에서 일정한 간격(예컨대, 10°)으로 존재하는 l개의 버텍스를 찾아 단면의 키 버텍스로 설정하여 키 버텍스들을 B-스플라인(B-spline) 보간함으로써, 도 4에 예시한 바와 같은 키 단면 곡선을 생성한다(S204).
이후, 단계(S206)에서는, 상기 생성된 키 단면 곡선을 각 신체부위별로 보간하여 넙스 곡면을 생성하여 도 4에 예시한 바와 같은 넙스 곡면 기반 인체 모델의 외형을 생성한다.
이때, 생성되는 넙스 곡면은, 도 5에 예시한 바와 같이, 각 키 단면 곡선에 대응하는 키 버텍스들을 에디트 포인트(edit point)로 B-스플라인 보간하여 생성한 u방향 단면 곡선과 v방향 단면 곡선의 uv-맵(uv-map)을 생성하고, 특정 포즈, 예를 들면 접힘, 팽창, 돌출 등의 포즈나 충돌(collision)에 의해 외부/내부에서 신체부위에 임의의 힘이 가해질 경우, uv-맵 위에 힘이 가해지는 부위의 중심 위치(C( u i , v i ))와 힘의 방향과 세기를 고려한 중심 위치로부터의 변형영역(decremental impact range)을 설정하고, 외부 힘의 세기를 가중치로 uv-맵 파라미터를 제어하여 넙스 곡면의 u, v 방향의 제어 포인트(control point)에 반영함으로써 생성될 수 있다.
마지막으로, 상기 생성된 넙스 곡면과 입력된 메쉬 인체 모델의 각 버텍스들의 변위(displacement)에 대한 종속관계를 설정하여(S206) 넙스 곡면 기반 인체 모델을 출력한다(S208).
도 6은 도 1의 통계적 변형정보 생성부(300)의 처리 과정을 예시한 흐름도이다.
도 6에 예시한 바와 같이, 주요 신체연결부위인 어깨, 팔꿈치, 손, 목, 무릎, 발목 등에서 접힘, 팽창, 돌출 등의 현상이 잘 나타나는 여러 인체 특정모션을 설정한다(S300).
단계(S302)에서는, 단계(S300)의 특정모션을 고려하여 특정포즈를 표현한 도 2에서 생성한 넙스 곡면 기반 인체 모델 데이터를 입력한다.
단계(S304)에서는, 이러한 넙스 곡면 기반 인체 모델 데이터의 입력으로, 각 특정모션에서 주요 연결부위 조인트의 상위계층 조인트에 대한 절대적인 위치 및 방향 파라미터 데이터와, 각 키 단면 곡선의 위치, 방향 및 uv-맵 파라미터 데이터에 기반한 넙스 곡면 제어 파라미터 데이터를 획득한다.
이때, 이러한 파라미터 데이터 획득 과정(S304)은, 상기 특정모션을 성별, 근육특성 및 형상 등과 같은 인체의 고유특성을 반영하여 모집한 t개의 다양한 인체 학습 데이터에 대해 반복 수행될 수 있다(S306).
이에 따라 통계적 변형정보 생성부(300)는, 상기 t개의 학습 데이터에서 상기 주요 연결부위 조인트의 상위 계층 조인트에 대한 절대적인 위치 및 방향 파라미터 및 각 키 단면 곡선의 위치, 방향 및 uv-맵 파라미터를 포함한 넙스 곡면위의 u, v방향 제어(control point)와 노트 벡터(knot vector)들의 특징 정보의 변화를 통계적 데이터로 계산하여 통계적 정보를 생성한다(S308).
이러한 특징정보의 통계적 정보로부터 주성분 분석(PCA: Principal Component Analysis)을 통해 특징정보들의 평균값과 각 특징정보들의 분산 모델을 생성하고, 이렇게 생성된 특징정보 모델은 변형하고자 하는 넙스 곡면 기반 인체 모델을 자동으로 자연스럽게 변형하는 과정에 이용된다(S310).
도 7은 도 1의 인체 모델 형상 변형부(400)의 처리 과정을 예시한 흐름도이다.
도 7에 예시한 바와 같이, 인체 모델 생성부(200)에서 생성된 넙스 곡면 기반 인체 모델과 상기 통계적 변형 정보 생성부(300)에서 생성된 통계적 변형 특징정보, 그리고 인체 모델을 애니메이션 하고자 하는 특정 모션에 대한 모션 캡쳐(motion capture) 데이터가 인체 모델 형상 변형부(400)로 입력되면(S400), 인체 모델 형상 변형부(400)는 단계(S402)로 진행한다.
단계(S402)에서 인체 모델 형상 변형부(400)는 단계(S400)에서 입력된 넙스 곡면 기반 인체 모델의 각 조인트를 입력받은 모션 캡쳐 데이터를 통해 조인트의 위치 및 회전에 대한 변형을 수행한다.
그리고, 인체 모델 형상 변형부(400)는 단계(S402)에서 변형된 각 조인트에 따른 각 키 단면 곡선의 재생성 및 파라메트릭 제어 곡면을 재생성한다(S404).
또한, 인체 모델 형상 변형부(400)는 인체가 특정 포즈에 대해 갖는 스킨의 접힘, 근육의 팽창, 돌출 등의 특징을 변형하고자 하는 넙스 곡면 기반 인체 모델의 성별, 근육특성, 형상 등을 가중치로 반영한 외형 파라미터와, 주요 연결부위 조인트의 상위 계층 조인트에 대한 절대적 위치, 회전 파라미터를 가중치로 반영한 조인트 파라미터, 키 단면 곡선의 위치, 방향 및 uv-맵 파라미터를 기반으로 상기 입력된 통계적 변형 특징정보 모델로부터 넙스 곡면의 제어 파라미터를 재계산한다(S406).
이때, 통계적 변형 특징정보 모델은, 각 학습 데이터로부터 얻은 특징정보들의 평균 모양으로부터 모양 변이 정도를 반영하고, 충돌(collision)에 의해 발생하는 외압/내압을 힘이 가해지는 부위의 중심 위치와 힘의 방향과 세기를 고려한 중심 위치로부터의 변형영역을 uv-맵에 설정하며, 외부 힘의 세기를 가중치로 uv-맵 파라미터를 제어하므로써, 넙스 곡면의 제어 포인트(control point) 및 노트 벡터(knot vector) 등의 넙스 곡면의 제어 파라미터를 재계산한다.
끝으로, 인체 모델 형상 변형부(400)는 단계(S406)에서 재계산된 제어 파라미터를 기반으로 넙스 곡면을 재생성하여 특정포즈에 맞도록 인체 모델 형상을 변형하고, 이러한 과정을 모든 프레임에 대해 반복하여 인체 모델 애니메이션을 수행한다(S408).
도 8은 본 실시예에 따라 팔꿈치 조인트에서 접힘의 포즈를 취했을 때 부드럽게 변형된 넙스 기반 인체 모델을 예시한 도면이다.
이상 설명한 바와 같이, 본 실시예에 따르면, 조인트-스켈레톤 골격 구조를 형성하고, 골격의 각 조인트와 조인트 사이의 인체의 특성이 반영된 주요 부분에 단면을 설정하여 단면 위의 일정한 각도마다 위치한 스킨 버텍스들을 보간하여 키 단면 곡선을 생성한 다음, 키 단면 곡선들의 위치, 방향들을 B-스플라인 근사화하여 파라메트릭 제어가 가능한 넙스 곡면 형상을 만들고, 스킨 버텍스들을 생성된 넙스 곡면에 바인딩시켜, 주어진 3차원 폴리곤 메쉬 모델을 조인트-스켈레톤 구조를 갖는 넙스 곡면 모델로 재구성하도록 구현한 것이다.
앞서 언급한 실시예는 본 발명을 한정하는 것이 아니라 예증하는 것이며, 이 분야의 당업자라면 첨부한 청구항에 의해 정의된 본 발명의 범위로부터 벗어나는 일 없이, 많은 다른 실시예를 설계할 수 있음을 유념해야 한다. 청구항에서는, 괄호 안에 있는 어떤 참조 기호도 본 발명을 한정하도록 해석되지 않아야 한다. "포함하는", "포함한다" 등의 표현은, 전체적으로 모든 청구항 또는 명세서에 열거된 것을 제외한 구성 요소 또는 단계의 존재를 배제하지 않는다. 구성 요소의 단수의 참조부는 그러한 구성 요소의 복수의 참조부를 배제하지 않으며, 그 반대도 마찬가지이다. 본 발명은, 몇몇 별개의 구성 요소를 포함하는 하드웨어 수단 및 적절히 프로그램된 컴퓨터 수단에 의해 실시될 수 있다. 몇몇 수단을 열거하는 청구항에서, 이들 수단의 몇몇은 하드웨어의 같은 항목에 의해 구현될 수 있다. 서로 다른 종속항에 확실한 수단이 기술되었다고 하는 단순한 사실은, 이러한 수단의 조합이 사용될 수 없다는 것을 나타내지 않는다.
도 1은 본 발명의 일 관점에 따른 인체 모델의 형상 변형 장치에 대한 블록 구성도,
도 2는 본 발명의 다른 관점에 따른 인체 모델의 형상 변형 방법으로서, 인체 모델 생성부의 처리 과정을 예시한 흐름도,
도 3은 본 실시예에 적용되는 조인트-스켈레톤 인체 모델 예시도,
도 4는 본 실시예에 적용되는 키 단면 곡선과 키 단면 곡선을 보간하여 생성한 넙스 곡면 모델의 부분 예시도,
도 5는 도 4의 곡면 모델을 펼쳐서 도시한 예시도,
도 6은 본 발명의 다른 관점에 따른 인체 모델의 형상 변형 방법으로서, 통계적 변형정보 생성부의 처리 과정을 예시한 흐름도,
도 7은 본 발명의 다른 관점에 따른 인체 모델의 형상 변형 방법으로서, 인체 모델 형상부의 처리 과정을 예시한 흐름도,
도 8은 본 실시예에 적용되는 접힘 포즈에서의 넙스 기반 인체 모델 예시도.

Claims (21)

  1. 입력되는 인체 모델 데이터에 대해 조인트-스켈레톤 구조 기반의 넙스 곡면 모델로 재구성하는 과정과,
    다수의 특정 모션에서의 조인트 및 키 단면 곡선의 파라미터 기반 넙스 곡면 모델의 제어 파라미터에 관한 통계적 변형 정보를 생성하는 과정과,
    상기 넙스 곡면 모델 및 통계적 변형 정보에 기반하여 인체 모델 형상을 변형하는 과정
    을 포함하는 인체 모델의 형상 변형 방법.
  2. 제 1 항에 있어서,
    상기 인체 모델 데이터는,
    3차원 인체 스캔 데이터 및 3차원 폴리곤 메쉬로 구성되는 인체 모델의 형상 변형 방법.
  3. 제 1 항에 있어서,
    상기 재구성하는 과정은,
    상기 인체 모델 데이터의 각 부위별로 설정되는 랜드마크에 대응하는 스켈레톤 구조를 생성하는 과정과,
    상기 생성되는 스켈레톤 구조에서 몸통의 척추를 루트로, 상기 인체 모델 데이터의 각 부위별 연결 지점을 서브-루트로 하여 계층적 조인트 구조를 생성하는 과정과,
    상기 계층적 조인트 구조를 기반으로 상기 키 단면 곡선을 생성하는 과정과,
    상기 생성된 키 단면 곡선을 상기 인체 모델 데이터의 각 부위별로 보간하여 넙스 곡면을 생성하여 넙스 곡면 기반 인체 모델의 외형을 생성하는 과정과,
    상기 넙스 곡면과, 상기 입력되는 인체 모델 데이터의 각 버텍스들의 변위에 대한 종속관계를 설정하여 넙스 곡면 모델을 출력하는 과정
    을 포함하는 인체 모델의 형상 변형 방법.
  4. 제 3 항에 있어서,
    상기 계층적 조인트 구조는,
    n개의 조인트를 갖는 인체 모델의 형상 변형 방법.
  5. 제 3 항에 있어서,
    상기 키 단면 곡선을 생성하는 과정은,
    상기 인체 모델 데이터의 각 부위별로 생성된 조인트 또는 조인트와 조인트 사이에 단면을 설정하는 과정과,
    상기 단면에 존재하는 메쉬 인체 모델의 버텍스들의 집합에서 중심 위치를 계산하는 과정과,
    상기 중심 위치에서 기설정된 간격으로 존재하는 기설정된 개수의 버텍스를 검색하여 상기 단면의 키 버텍스들로 설정하는 과정과,
    상기 키 버텍스들을 B-스플라인 보간하여 상기 키 단면 곡선을 생성하는 과정
    을 포함하는 인체 모델의 형상 변형 방법.
  6. 제 5 항에 있어서,
    상기 넙스 곡면 기반 인체 모델의 외형을 생성하는 과정은,
    상기 키 단면 곡선에 대응하는 맵을 생성하는 과정과,
    특정 포즈에 의해 상기 인체 모델 데이터의 신체부위로 외부 힘이 가해질 경우, 상기 맵 위에 상기 힘이 가해지는 부위의 중심 위치와 상기 힘의 방향과 세기를 고려한 중심 위치로부터의 변형영역을 설정하는 과정과,
    상기 외부 힘의 세기를 가중치로 맵 파라미터를 제어하여 넙스 곡면의 제어 포인트에 반영하는 과정
    을 포함하는 인체 모델의 형상 변형 방법.
  7. 제 6 항에 있어서,
    상기 맵은, 상기 키 버텍스들을 에디트 포인트로 B-스플라인 보간하여 생성한 u방향 단면 곡선과 v방향 단면 곡선의 uv-맵인 인체 모델의 형상 변형 방법.
  8. 제 6 항에 있어서,
    상기 특정 포즈는, 접힘 포즈, 팽창 포즈, 돌출 포즈 및 충돌 중 적어도 하나인 인체 모델의 형상 변형 방법.
  9. 제 1 항에 있어서,
    상기 생성하는 과정은,
    상기 인체 모델 데이터의 신체 연결부위에서 인체 특정 모션을 설정하는 과정과,
    상기 재구성된 넙스 곡면 모델을 입력으로 하여 상기 인체 특정 모션에서 상기 신체 연결부위의 조인트의 상위계층 조인트에 대한 위치 및 방향 파라미터 데이터를 획득하는 과정과,
    상기 재구성하는 과정에서 생성된 키 단면 곡선의 위치 및 방향 파라미터 데이터, 맵 파라미터 데이터에 기반한 넙스 곡면 제어 파라미터 데이터를 획득하는 과정과,
    상기 획득되는 넙스 곡면 제어 파라미터 데이터를 기반으로 통계적 데이터를 계산하여 통계적 변형 정보를 생성하는 과정
    을 포함하는 인체 모델의 형상 변형 방법.
  10. 제 9 항에 있어서,
    상기 인체 특정 모션은, 접힘 현상, 팽창 현상, 돌출 현상 중 어느 하나를 표현하는 인체 모델의 형상 변형 방법.
  11. 제 9 항에 있어서,
    상기 넙스 곡면 제어 파라미터 데이터를 획득하는 과정은,
    상기 인체 특정 모션을 인체 학습 데이터에 대해 반복 수행되는 인체 모델의 형상 변형 방법.
  12. 제 11 항에 있어서,
    상기 인체 학습 데이터는, 인체 고유특성을 반영하여 모집한 기설정 개수의 인체 학습 데이터인 인체 모델의 형상 변형 방법.
  13. 제 12 항에 있어서,
    상기 인체 고유특성은, 성별, 근육특성, 형상 중 적어도 하나 이상을 포함하는 인체 모델의 형상 변형 방법.
  14. 제 12 항에 있어서,
    상기 통계적 변형 정보를 생성하는 과정은,
    상기 기설정 개수의 인체 학습 데이터에서 넙스 곡면 상의 방향 제어와 노트 벡터들의 특징 정보의 변화를 통계적 데이터로 계산하는 과정인 인체 모델의 형상 변형 방법.
  15. 제 14 항에 있어서,
    상기 넙스 곡면 상의 방향 제어와 노트 벡터들의 특징 정보는,
    상기 신체 연결부위의 조인트 상위 계층 조인트에 대한 위치 및 방향 파라미터 및 각 키 단면 곡선의 위치, 방향 및 맵 파라미터를 포함하는 인체 모델의 형상 변형 방법.
  16. 제 9 항에 있어서,
    상기 생성하는 과정은,
    상기 생성되는 통계적 변형 정보로부터 주성분 분석(PCA: Principal Component Analysis)을 통해 특징정보들의 평균값과 상기 특징정보들의 분산 모델을 생성하는 과정과,
    상기 생성되는 특징정보들의 분산 모델을 넙스 곡면 기반 인체 모델에 적용하는 과정
    을 더 포함하는 인체 모델의 형상 변형 방법.
  17. 제 1 항에 있어서,
    상기 변형하는 과정은,
    넙스 곡면 기반 인체 모델 및 통계적 변형 정보와, 인체 모델을 애니메이션 하고자 하는 특정 모션에 대한 모션 캡쳐 데이터가 입력되는 과정과,
    상기 넙스 곡면 기반 인체 모델의 각 조인트를 상기 모션 캡쳐 데이터를 통해 조인트의 위치 및 회전에 대한 변형을 수행하여 변형된 조인트를 생성하는 과정과,
    상기 변형된 조인트에 따른 키 단면 곡선 및 파라메트릭 제어 곡면을 재생성하는 과정과,
    상기 재생성되는 키 단면 곡선 및 파라메트릭 제어 곡면을 기반으로 제어 파라미터를 재계산하는 과정과,
    상기 재계산된 제어 파라미터를 기반으로 넙스 곡면을 재생성하여 특정 포즈에 맞도록 상기 인체 모델 형상을 변형하는 과정
    을 포함하는 인체 모델의 형상 변형 방법.
  18. 제 17 항에 있어서,
    상기 통계적 변형 정보는,
    학습 데이터로부터 얻은 특징정보들의 평균 모양으로부터 반영된 모양 변이 정도, 충돌에 의해 발생하는 상기 인체 모델 데이터에 가해지는 중심 위치와 힘의 방향과 세기를 고려한 중심 위치로부터의 변형영역, 외부 힘의 세기를 가중치로 제어되는 맵 파라미터를 포함하는 인체 모델의 형상 변형 방법.
  19. 제 17 항에 있어서,
    상기 제어 파라미터를 재계산하는 과정은,
    상기 특정 모션에 대해 갖는 스킨의 접힘, 근육의 팽창, 돌출 특징을 변형하고자 하는 넙스 곡면 기반 인체 모델의 가중치로 반영하는 과정과,
    상기 넙스 곡면 기반 인체 모델의 각 조인트의 상위 계층 조인트에 대한 절대적 위치, 회전 파라미터를 가중치로 반영한 조인트 파라미터, 키 단면 곡선의 위치, 방향 및 맵 파라미터를 기반으로 상기 입력된 통계적 변형 정보로부터 상기 넙스 곡면의 제어 파라미터를 재계산하는 과정
    을 포함하는 인체 모델의 형상 변형 방법.
  20. 인체 모델 데이터의 입력을 위한 입력부와,
    상기 입력부를 통해 입력되는 인체 모델 데이터를 조인트-스켈레톤 구조 기반의 넙스 곡면 모델로 재구성하는 인체 모델 생성부와,
    특정 모션에서 조인트 및 키 단면 곡선의 파라미터 기반 넙스 곡면 모델의 제어 파라미터에 관한 통계적 변형 정보를 생성하는 통계적 변형 정보 생성부와,
    상기 재구성된 넙스 곡면 모델과 상기 생성된 통계적 변형 정보에 기반하여 인체 모델 형상을 변형하는 인체 모델 형상 변형부
    를 포함하는 인체 모델의 형상 변형 장치.
  21. 제 20 항에 있어서,
    상기 인체 모델 데이터는, 3차원 인체 스캔 데이터 및 3차원 폴리곤 메쉬로 구성되는 인체 모델의 형상 변형 장치.
KR1020080131768A 2008-12-22 2008-12-22 인체 모델의 형상 변형 방법 및 장치 KR101194604B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080131768A KR101194604B1 (ko) 2008-12-22 2008-12-22 인체 모델의 형상 변형 방법 및 장치
US12/495,063 US8830269B2 (en) 2008-12-22 2009-06-30 Method and apparatus for deforming shape of three dimensional human body model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080131768A KR101194604B1 (ko) 2008-12-22 2008-12-22 인체 모델의 형상 변형 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100073174A KR20100073174A (ko) 2010-07-01
KR101194604B1 true KR101194604B1 (ko) 2012-10-25

Family

ID=42265376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080131768A KR101194604B1 (ko) 2008-12-22 2008-12-22 인체 모델의 형상 변형 방법 및 장치

Country Status (2)

Country Link
US (1) US8830269B2 (ko)
KR (1) KR101194604B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101728588B1 (ko) * 2014-03-27 2017-05-02 한국전자통신연구원 디지털 의류를 이용하여 가상 체험 서비스 방법을 제공하는 스마트 단말 및 가상 체험 제공 서버

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8922547B2 (en) * 2010-12-22 2014-12-30 Electronics And Telecommunications Research Institute 3D model shape transformation method and apparatus
KR101796190B1 (ko) 2010-12-23 2017-11-13 한국전자통신연구원 디지털 클론 생성 장치 및 방법
TW201314621A (zh) * 2011-09-21 2013-04-01 Univ Nat Cheng Kung 電子人模之特徵資料結構
US9056247B2 (en) * 2012-02-29 2015-06-16 Funtactix System and method for efficient character animation
US9260140B2 (en) * 2012-06-21 2016-02-16 Hewlett Packard Enterprise Development Lp Collision measurement system and method thereof
US10134167B2 (en) * 2013-03-15 2018-11-20 Dreamworks Animation Llc Using curves to emulate soft body deformation
CN103700129A (zh) * 2014-01-08 2014-04-02 上海明穆电子科技有限公司 一种任意人头与任意人体的3d结合方法
CN104156546B (zh) * 2014-08-29 2017-05-31 中国科学院重庆绿色智能技术研究院 基于t样条的汽车覆盖件模具的形面再设计方法
CN104408765B (zh) * 2014-11-11 2017-01-11 中国科学院深圳先进技术研究院 植物扫描与重建方法
CN104463972A (zh) * 2014-11-24 2015-03-25 北京建筑大学 观音手状文物骨架线提取方法
US9554121B2 (en) 2015-01-30 2017-01-24 Electronics And Telecommunications Research Institute 3D scanning apparatus and method using lighting based on smart phone
US9928663B2 (en) 2015-07-27 2018-03-27 Technische Universiteit Delft Skeletal joint optimization for linear blend skinning deformations utilizing skeletal pose sampling
US10061871B2 (en) 2015-07-27 2018-08-28 Technische Universiteit Delft Linear blend skinning weight optimization utilizing skeletal pose sampling
CN105654334B (zh) * 2015-12-17 2020-02-28 中国科学院自动化研究所 虚拟试衣方法和***
CN105913486A (zh) * 2016-04-08 2016-08-31 东华大学 一种用于服装工业的数字化混合人体快速建模方法
CN105956328B (zh) * 2016-05-30 2020-06-16 宁波至高点工业设计有限公司 一种高自由度的参数化曲面建立叶片模型的方法
CN106127774B (zh) * 2016-06-28 2018-12-11 北京服装学院 一种高尔夫全挥杆动作人体躯干皮肤形变的测试方法
CN106204748B (zh) * 2016-07-05 2019-05-17 华南理工大学 一种基于特征的cad体网格模型编辑、优化方法
CN107590708B (zh) * 2016-07-07 2021-01-01 梁如愿 一种生成用户特定体形模型的方法和装置
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
WO2018142228A2 (en) 2017-01-19 2018-08-09 Mindmaze Holding Sa Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
CN110892408A (zh) 2017-02-07 2020-03-17 迈恩德玛泽控股股份有限公司 用于立体视觉和跟踪的***、方法和装置
CN110506296B (zh) * 2017-02-07 2024-03-26 曼德美姿集团股份公司 用于跟踪身体或其部分的***、方法、和装置
US11367198B2 (en) * 2017-02-07 2022-06-21 Mindmaze Holding Sa Systems, methods, and apparatuses for tracking a body or portions thereof
KR101896845B1 (ko) * 2017-03-15 2018-09-10 경북대학교 산학협력단 모션 처리 시스템
CN109522574B (zh) * 2017-09-19 2023-06-16 广州中医药大学第一附属医院 前臂曲面模型的构建方法以及前臂固定支具
WO2019107536A1 (ja) * 2017-11-30 2019-06-06 三菱電機株式会社 三次元地図生成システム、三次元地図生成方法および三次元地図生成プログラム
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
US10984609B2 (en) 2018-11-21 2021-04-20 Electronics And Telecommunications Research Institute Apparatus and method for generating 3D avatar
US11430168B2 (en) * 2019-08-16 2022-08-30 Samsung Electronics Co., Ltd. Method and apparatus for rigging 3D scanned human models
CN111476901B (zh) * 2020-04-10 2023-04-07 中国科学技术大学 一种三维人体形状表示方法
CN112116722B (zh) * 2020-11-20 2022-03-01 深圳羽迹科技有限公司 一种无序3d模型的有序转化方法及***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007042111A (ja) 2005-08-03 2007-02-15 Siemens Medical Solutions Usa Inc 変形可能なオブジェクトを検出及び追跡する方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6608631B1 (en) 2000-05-02 2003-08-19 Pixar Amination Studios Method, apparatus, and computer program product for geometric warps and deformations
JP2002259474A (ja) 2001-03-05 2002-09-13 Oojisu Soken:Kk 人体モデル生成方法、人体モデル生成装置、コンピュータプログラム及び記録媒体
US7307633B2 (en) 2003-05-14 2007-12-11 Pixar Statistical dynamic collisions method and apparatus utilizing skin collision points to create a skin collision response
AU2004314699A1 (en) 2004-01-30 2005-08-11 Cedara Software Corp System and method for applying active appearance models to image analysis
US20080158224A1 (en) * 2006-12-28 2008-07-03 National Tsing Hua University Method for generating an animatable three-dimensional character with a skin surface and an internal skeleton
KR100886721B1 (ko) 2007-04-30 2009-03-04 고려대학교 산학협력단 포인트 기반의 3차원 형상의 변형 방법, 이를 이용한 3차원형상의 보간 프레임 생성 방법 및 이를 기록한 기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007042111A (ja) 2005-08-03 2007-02-15 Siemens Medical Solutions Usa Inc 変形可能なオブジェクトを検出及び追跡する方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101728588B1 (ko) * 2014-03-27 2017-05-02 한국전자통신연구원 디지털 의류를 이용하여 가상 체험 서비스 방법을 제공하는 스마트 단말 및 가상 체험 제공 서버

Also Published As

Publication number Publication date
KR20100073174A (ko) 2010-07-01
US20100156935A1 (en) 2010-06-24
US8830269B2 (en) 2014-09-09

Similar Documents

Publication Publication Date Title
KR101194604B1 (ko) 인체 모델의 형상 변형 방법 및 장치
Glardon et al. PCA-based walking engine using motion capture data
Nedel et al. Real time muscle deformations using mass-spring systems
Hyun et al. Sweep-based human deformation
US20130107003A1 (en) Apparatus and method for reconstructing outward appearance of dynamic object and automatically skinning dynamic object
US8180613B1 (en) Wrinkles on fabric software
Yang et al. Curve skeleton skinning for human and creature characters
Nedel et al. Modeling and deformation of the human body using an anatomically-based approach
KR101095860B1 (ko) 인체 모델의 형상 변형 방법
Kasap et al. Parameterized human body model for real-time applications
JP4719155B2 (ja) リグ・ベーキング
Nedel et al. Anatomic modeling of deformable human bodies
Schleicher et al. BASH: Biomechanical Animated Skinned Human for Visualization of Kinematics and Muscle Activity.
KR101409842B1 (ko) 근육 및 외형 곡면 기반 개체 표준 메쉬 모델의 파라메트릭 제어를 통한 자동 리깅 및 형상 전이 방법
Mao et al. A sketch-based approach to human body modelling
Chaudhry et al. Character skin deformation: A survey
Thalmann et al. Human modeling and animation
Schneider et al. Hybrid anatomically based modelling of animals
Aubel et al. MuscleBuilder: a modeling tool for human anatomy
Van Wyk Virtual human modelling and animation for real-time sign language visualisation
Yang et al. Automatic muscle generation for character skin deformation
Nedel Anatomic modeling of human bodies using physically-based muscle simulation
JP2945630B2 (ja) 3次元映像作成装置
Orvalho et al. Transferring Facial Expressions to Different Face Models.
Salamah NaturalWalk: An Anatomy-based Synthesizer for Human Walking Motions

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160927

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 7