KR20120070131A - 비정형 물체의 모션을 캡처하여 애니메이션을 생성하는 장치 및 방법 - Google Patents

비정형 물체의 모션을 캡처하여 애니메이션을 생성하는 장치 및 방법 Download PDF

Info

Publication number
KR20120070131A
KR20120070131A KR1020100131562A KR20100131562A KR20120070131A KR 20120070131 A KR20120070131 A KR 20120070131A KR 1020100131562 A KR1020100131562 A KR 1020100131562A KR 20100131562 A KR20100131562 A KR 20100131562A KR 20120070131 A KR20120070131 A KR 20120070131A
Authority
KR
South Korea
Prior art keywords
mesh
generating
graph
animation
reconstructed
Prior art date
Application number
KR1020100131562A
Other languages
English (en)
Inventor
이지형
구본기
최윤석
박정철
김도형
황본우
김갑기
임성재
주한별
윤승욱
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100131562A priority Critical patent/KR20120070131A/ko
Priority to US13/333,825 priority patent/US20120154393A1/en
Publication of KR20120070131A publication Critical patent/KR20120070131A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 비정형 물체의 모션을 캡처하여 애니메이션을 생성하는 방법을 제공한다. 애니메이션 생성 장치는 복수의 카메라로부터 촬영된 동영상을 수신하여 프레임 단위로 복원 메쉬 셋트를 생성하는 지오메트리 메쉬 복원부, 복원 메쉬 셋트에 대한 메쉬 그래프 셋트를 생성하고 메쉬 그래프 셋트를 이용하여 움직임에 대한 정보를 포함하는 모션 데이터를 생성하는 모션 캡쳐부 및 모션 데이터를 이용하여 복원 메쉬 셋트와 토폴로지가 유사한 최종 변형 메쉬 셋트를 생성하여 비정형 물체에 대한 3D 콘텐츠를 생성하는 콘텐츠 생성부를 포함한다.

Description

비정형 물체의 모션을 캡처하여 애니메이션을 생성하는 장치 및 방법{Apparatus and method for generating animation using capture of non rigid object}
본 발명은 비정형 물체의 모션을 캡처하여 애니메이션을 생성하는 장치 및 방법에 관한 것으로, 보다 상세하게는 비정형 물체의 모션을 캡쳐하여 3D 컨텐츠 애니메이션을 생성하기 위한 장치 및 방법에 관한 것이다.
최근 3D 콘텐츠의 증가에 따라 현실세계의 움직임과 유사한 3D 애니메이션에 대한 관심도 증가하고 있으며, 그에 따라 현실세계의 움직임을 이용하여 3D 콘텐츠 애니메이션을 바로 생성하는 모션 캡처 기술에 대한 관심도 증가하고 있다.
모션 캡처 기술은 주로 인간의 신체 동작을 캡처하기 위해 사용되며, 동물의 움직임을 캡처하는 것으로 점차 확장 범위가 넓어지고 있다. 또한, 신체 동작뿐만 아니라 사람의 얼굴 표정을 캡처하는 퍼포먼스 캡처 기술이 고품질 3D 콘텐츠 제작 현장에서 많이 사용되고 있다.
이러한 모션 캡처 기술은 사람에게 일정한 수의 마커들(markers)을 부착시키고, 이 마커들의 움직임을 추적하여 사람의 모션을 캡처하도록 되어 있으므로, 그 캡처 대상은 강체(rigid object)여야 한다. 여기서, 강체는 형태가 고정되어 변하지 않는 물체이며, 캡처되는 강체의 모션이란 형태의 변화가 아닌 위치나 방향 및 관절 등의 움직임만의 변화만을 의미한다.
따라서, 종래의 모션 캡처 기술로는 형태 자체가 변하는 비정형 물체(non-rigid object)는 모션을 캡처하는 기술이 부족하여 실제 현실의 움직임을 제대로 반영하기 힘들고, 수작업으로 콘텐츠를 제작하고 있어 많은 비용과 긴 제작기간이 소비되는 문제점이 있다.
본 발명의 목적은 비정형 물체의 모션을 캡쳐하여 3D 컨텐츠 애니메이션을 생성하기 위한 장치 및 방법에 관한 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 애니메이션 생성 장치는 복수의 카메라로부터 촬영된 동영상을 수신하여 프레임 단위로 복원 메쉬 셋트를 생성하는 지오메트리 메쉬 복원부; 상기 복원 메쉬 셋트에 대한 메쉬 그래프 셋트를 생성하고 상기 메쉬 그래프 셋트를 이용하여 움직임에 대한 정보를 포함하는 모션 데이터를 생성하는 모션 캡쳐부; 및 상기 모션 데이터를 이용하여 상기 복원 메쉬 셋트와 토폴로지가 유사한 최종 변형 메쉬 셋트를 생성하여 비정형 물체에 대한 3D 콘텐츠를 생성하는 콘텐츠 생성부를 포함한다.
상기 모션 캡쳐부는 상기 복원 메쉬 셋트를 전달받으며, 상기 복원 메쉬 세트의 메쉬 수만큼 대응하도록 상기 메쉬 그래프 셋트를 생성하는 메쉬 그래프 생성부를 포함한다.
상기 모션 캡쳐부는 상기 메쉬 그래프 셋트의 어파인 변환을 매트릭스로 표현하여 메쉬 그래프간 변형정보를 생성하는 변형정보 처리부를 포함한다.
상기 모션 캡쳐부는 상기 메쉬 그래프간 변형정보를 이용하여 i번째 메쉬 그래프와 (i+1)번째 매쉬 그래프의 차이 값을 획득하여 시간적 관련성 정보를 생성하고, 상기 시간적 관련성 정보를 이용하여 상기 모션 데이터를 생성한다.
상기 콘텐츠 생성부는 상기 복원 메쉬 셋트와 가장 유사한 프리미티브 메쉬 및 프리미티브 메쉬 그래프를 검출하는 프리미티브 검출부를 포함한다.
상기 콘텐츠 생성부는 상기 프리미티브 메쉬 그래프에 상기 모션 데이터를 적용하여 변형 매쉬 그래프 셋트를 생성하며, 상기 변형 매쉬 그래프 셋트에 대응하는 변형 매쉬 셋트를 생성하는 매쉬 변형부를 포함한다.
상기 콘텐츠 생성부는 상기 변형 매쉬 셋트와 상기 복원 메쉬 셋트를 프레임 별로 비교하여 최종 매쉬 셋트를 생성하고, 상기 최종 매쉬 셋트와 상기 복원 메쉬 셋트간의 관계 맵을 통해 최종 변형 메쉬 셋트를 생성하는 애니메이션 매쉬 생성부를 포함한다.
상기 애니메이션 매쉬 생성부는 상기 최종 변형 메쉬 셋트에 애니메이션에 따라 변형되는 값을 애니메이션 키로 설정하여 애니메이션 매쉬를 생성하며, 상기 애니메이션 매쉬를 이용하여 상기 비정형 물체에 대한 3D 콘텐츠를 생성한다.
상기 프리미티브 메쉬 및 상기 프리미티브 메쉬를 가공하여 생성된 상기 프리미티브 메쉬 그래프를 저장하는 메쉬 데이터 저장부를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 애니메이션 생성 방법은 복수의 카메라로부터 동영상을 전달받아 프레임 단위로 복원 메쉬 셋트를 생성하는 단계; 상기 복원 메쉬 셋트에 대한 메쉬 그래프 셋트를 생성하는 단계; 상기 메쉬 그래프 셋트를 이용하여 움직임에 대한 정보를 포함하는 모션 데이터를 생성하는 단계; 상기 모션 데이터를 이용하여 상기 복원 메쉬 셋트와 토폴로지가 유사한 최종 변형 메쉬 셋트를 생성하는 단계; 및 상기 최종 변형 메쉬 셋트를 이용하여 비정형 물체에 대한 3D 콘텐츠를 생성하는 단계를 포함한다.
상기 모션 데이터를 생성하는 단계는 상기 메쉬 그래프 셋트의 어파인 변환을 매트릭스로 표현하여 메쉬 그래프간 변형정보를 생성하는 단계; 상기 메쉬 그래프간 변형정보를 이용하여 i번째 메쉬 그래프와 (i+1)번째 매쉬 그래프의 차이 값을 획득하여 시간적 관련성 정보를 생성하는 단계; 및 상기 시간적 관련성 정보를 이용하여 상기 모션 데이터를 생성하는 단계를 포함한다.
상기 최종 변형 메쉬 셋트를 생성하는 단계는 상기 복원 메쉬 셋트와 가장 유사한 프리미티브 메쉬 및 프리미티브 메쉬 그래프를 검출하는 단계; 상기 프리미티브 메쉬 그래프에 상기 모션 데이터를 적용하여 변형 매쉬 그래프 셋트를 생성하는 단계; 상기 변형 매쉬 그래프 셋트에 대응하는 변형 매쉬 셋트를 생성하는 단계; 상기 변형 매쉬 셋트와 상기 복원 메쉬 셋트를 프레임 별로 비교하여 최종 매쉬 셋트를 생성하는 단계; 및 상기 최종 매쉬 셋트와 상기 복원 메쉬 셋트간의 관계 맵을 통해 최종 변형 메쉬 셋트를 생성하는 단계를 포함한다.
상기 3D 콘텐츠를 생성하는 단계는 상기 최종 변형 메쉬 셋트에 애니메이션에 따라 변형되는 값을 애니메이션 키로 설정하여 애니메이션 매쉬를 생성하는 단계; 및 상기 애니메이션 매쉬를 이용하여 상기 비정형 물체에 대한 3D 콘텐츠를 생성하는 단계를 포함한다.
본 발명의 실시예에 따르면 동영상을 이용하여 메쉬 그래프(graph)를 생성하고, 이를 이용하여 비정형 물체의 3D 콘텐츠를 생성함에 따라 수작업을 통해 콘텐츠 생성하던 것에 비해 제작기간을 단축시킬 수 있으며, 보다 실제감 넘치는 비정형 물체의 애니메이션을 생성할 수 있다.
그리고, 본 발명의 실시예에 따르면, 종래 수작업에 의해 생성되었던 비정형 물체의 애니메이션을 현실에서 캡쳐하여 생성함에 따라 보다 빠르게 비정형 물체의 애니메이션을 제작할 수 있으며, 그에 따라 제작비용을 감소시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 애니메이션의 제작뿐만 아니라 3D 기술이 사용되는 고품질 영상 콘텐츠 제작 및 그 응용 분야에서 다양하게 활용될 수 있다.
도 1은 본 발명의 실시예에 따른 애니메이션 생성 장치를 개략적으로 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 메쉬의 한 예를 나타내는 도면이다.
도 3은 도 1에 도시한 모션 캡쳐부를 개략적으로 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 메쉬 그래프의 한 예를 나타내는 도면이다.
도 5는 도 1에 도시한 콘텐츠 생성부를 개략적으로 나타내는 도면이다.
도 6은 도 1에 도시한 애니메이션 생성 장치에서 3D 콘텐츠를 생성하는 순서를 나타내는 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
도 1은 본 발명의 실시예에 따른 애니메이션 생성 장치를 개략적으로 나타내는 도면이다. 도 2는 본 발명의 실시예에 따른 메쉬의 한 예를 나타내는 도면이다. 도 3은 도 1에 도시한 모션 캡쳐부를 개략적으로 나타내는 도면이다. 도 4는 본 발명의 실시예에 따른 메쉬 그래프의 한 예를 나타내는 도면이다. 도 5는 도 1에 도시한 콘텐츠 생성부를 개략적으로 나타내는 도면이다.
도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 비정형 물체의 모션을 캡처하여 애니메이션을 생성하기 위한 애니메이션 생성 장치(100)는 지오메트리 메쉬 복원부(110), 모션 캡쳐부(120), 메쉬 데이터 저장부(130) 및 콘텐츠 생성부(140)를 포함한다.
지오메트리 메쉬 복원부(110)는 복수의 동영상 카메라(도시하지 않음)로부터 촬영된 동영상을 수신한다. 지오메트리 메쉬 복원부(110)는 동영상의 연속적인 프레임(frame) 단위로 지오메트리(geometry) 메쉬를 복원하여 복원 메쉬 셋트를 생성한다. 본 발명의 실시예에 따른 복원 메쉬 셋트는 프레임의 수만큼 복원되며, 메쉬의 한 예는 도 2와 같다.
모션 캡쳐부(120)는 복원 메쉬 셋트에 대해 메쉬 그래프(graph) 셋트를 생성하여 모션 데이터를 생성한다. 이러한 모션 캡쳐부(120)는 도 3에 도시한 바와 같이 메쉬 그래프 생성부(121), 변형정보 처리부(122) 및 모션 데이터 생성부(123)를 포함한다.
메쉬 그래프 생성부(121)는 지오메트리 메쉬 복원부(110)로부터 복원 메쉬 세트를 전달받는다. 그리고, 메쉬 그래프 생성부(121)는 복원 메쉬 세트의 메쉬 수만큼 대응하도록 메쉬 그래프(graph) 셋트를 생성한다. 여기서, 메쉬 그래프란 메쉬가 외부 표면의 정보만을 가지는 만면 메쉬의 변형을 보다 편리하게 다루기 위해 메쉬에 대한 어파인 변환(affine transformation)을 그래프 형태로 정의한 것으로, 도 4에 도시한 바와 같이 매쉬의 형태를 유지하면서 공간적인 구조 정보를 포함하도록 간략하게 만든 모델이다.
변형정보 처리부(122)는 메쉬 그래프 생성부(121)로부터 복원 메쉬 세트의 메쉬 수만큼 생성된 메쉬 그래프 셋트를 전달받는다. 변형정보 처리부(122)는 보통의 공간상의 변환이 수학식 1과 같이 정의되므로 어파인 변환(Q)을 수학식 2와 같이 3x3 매트릭스로 표현하여 메쉬 그래프간 변형정보를 생성한다.
Figure pat00001
Figure pat00002
여기서, d는 변위벡터(displacement vector)이며, i는 메쉬 그래프의 각 점(vertex)이다.
모션 데이터 생성부(123)는 변형정보 처리부(122)로부터 메쉬 그래프 셋트들 사이의 변형정보를 전달받는다. 모션 데이터 생성부(123)는 메쉬 그래프 셋트가 동영상의 프레임단위로 복원 메쉬 셋트에 대응하여 생성되어 시간 단위로 정렬되어 있으므로 메쉬 그래프간 변형정보를 이용하여 시간 축에서 첫 번째 메쉬 그래프와 두 번째 메쉬 그래프를 비교하여 그 차이 값을 획득한다. 그리고, 모션 데이터 생성부(123)는 두 번째 메쉬 그래프와 세 번째 메쉬 그래프를 비교하여 그 차이 값을 획득한다. 동일한 과정을 반복하여 모션 데이터 생성부(123)는 가장 마지막 메쉬 그래프까지 차이 값을 획득하여 시간적 관련성(temporal coherence) 정보[Di(v)]를 생성하며, 시간적 관련성 정보[Di(v)]는 수학식 3과 같다.
Figure pat00003
즉, 메쉬 그래프 세트가 X개의 메쉬 그래프로 이루어져 있고 각 메쉬 그래프는 N개의 그래프 노드(node)를 갖는다고 가정하면, 모션 데이터 생성부(123)는 (i)번째 메쉬 그래프(Gi)와 (i+1)번째 메쉬 그래프(Gi +1)의 차이에 따라 시간적 관련성 정보[Di(v)]를 정의한다.
그리고, 모션 데이터 생성부(123)는 시간적 관련성 정보[Di(v)]를 이용하여 처음의 메쉬 그래프 셋트 중 첫 번째 메쉬 그래프와 가장 마지막 번째 메쉬 그래프까지 시간에 따라 어느 정도 차이가 발생하는 지에 대한 정보를 획득할 수 있으며, 이러한 차이를 이용하여 움직임에 대한 정보를 포함하는 모션 데이터를 생성한다.
다시 도 1을 참고하면, 메쉬 데이터 저장부(130)는 다양한 종류의 프리미티브 메쉬(primitive mesh) 및 프리미티브 메쉬를 가공하여 생성된 프리미티브 메쉬 그래프를 저장한다. 본 발명의 실시예에 따른 모션 데이터를 다른 메쉬에 적용하기 위해서는 복원 메쉬 셋트와 비슷한 토폴로지(topology)를 가져야 하므로 메쉬 데이터 저장부(130)에는 다양한 종류의 프리미티브 메쉬 및 프리미티브 메쉬 그래프가 미리 생성되어 저장된다.
콘텐츠 생성부(140)는 모션 캡쳐부(120)로부터 모션 데이터를 전달받아 애니메이션을 가진 메쉬(이하, "애니메이션 매쉬"라고 함)를 생성하고, 이를 이용하여 3D 콘텐츠를 생성한다. 이러한, 콘텐츠 생성부(140)는 도 5에 도시한 바와 같이 프리미티브 검출부(141), 매쉬 변형부(142) 및 애니메이션 매쉬 생성부(143)를 포함한다.
프리미티브 검출부(141)는 모션 캡쳐부(120)로부터 모션 데이터를 전달받는다. 프리미티브 검출부(141)는 복원 메쉬 셋트와 가장 유사한 프리미티브 메쉬 및 프리미티브 메쉬 그래프를 메쉬 데이터 저장부(130)에서 검출하여 모션 데이터에 적용할 대상 메쉬를 선정한다.
매쉬 변형부(142)는 모션 데이터의 프레임 단위로 선정된 프리미티브 메쉬 그래프에 모션 데이터를 적용하여 변형된 메쉬 그래프 셋트(이하, "변형 매쉬 그래프 셋트"라고 함)를 생성한다. 그리고, 매쉬 변형부(142)는 변형 메쉬 그래프 셋트에 대응하는 변형된 메쉬 셋트(이하, "변형 매쉬 셋트"라고 함)를 생성한다.
애니메이션 매쉬 생성부(143)는 매쉬 변형부(142)로부터 변형 매쉬 그래프 셋트와 변형 매쉬 셋트를 전달받는다. 애니메이션 매쉬 생성부(143)는 변형 매쉬 셋트와 복원 메쉬 셋트를 프레임별로 비교하여 최종으로 변형된 메쉬 세트(이하, "최종 매쉬 셋트"라고 함)를 생성한다.
그리고, 애니메이션 매쉬 생성부(143)는 복원 메쉬 세트와 최종 매쉬 셋트 는 토폴로지가 유사하더라도 동일하진 않아 각각의 메쉬를 이루는 점의 수가 차이 발생되므로, 이들을 연관시키기 위한 관계 맵(map) 작업을 수행한다.
예를 들어, 복원 메쉬 세트가 X개의 점으로 이루어져 있고 비교하는 최종 매쉬 셋트가 Y개의 점으로 이루어져 있다고 가정하면, 애니메이션 매쉬 생성부(143)는 이 두 메쉬간의 관계 맵(M)을 수학식 4를 이용하여 정의하여 최종 변형 메쉬 셋트를 생성한다.
Figure pat00004
여기서, 복원 메쉬 세트와 변형 매쉬 셋트는 토폴로지가 유사하여 같은 N개의 메쉬로 이루어져 있으므로, 복원 메쉬 세트(s)와 변형 매쉬 셋트(t)를 이루는 각 관계는 모두 관계맵(Mi)에 정의된다. 이를 통해 최종 변형 메쉬 셋트는 하나의 프리미티브 메쉬에서 변형되어 생성되었으므로 같은 구조와 토폴로지를 갖게 된다.
애니메이션 매쉬 생성부(143)는 최종 변형 메쉬 셋트에 그 애니메이션에 따라 변형되는 값을 애니메이션 키로 설정하여 애니메이션 매쉬를 생성한다. 본 발명의 실시예에 따른 애니메이션 매쉬는 종래의 그래픽 도구에서 수작업으로 만든 애니메이션을 가진 메쉬와 같은 형태로 형성되며, 3D 콘텐츠 제작에 바로 사용될 수 있다. 애니메이션 매쉬 생성부(143)는 애니메이션 매쉬를 이용하여 비정형 물체에 대한 3D 콘텐츠를 생성한다.
도 6은 도 1에 도시한 애니메이션 생성 장치에서 3D 콘텐츠를 생성하는 순서를 나타내는 흐름도 이다.
도 6에 도시한 바와 같이, 본 발명의 실시예에 따른 애니메이션 생성 장치(100)의 지오메트리 메쉬 복원부(110)는 복수의 동영상 카메라(도시하지 않음)로부터 촬영된 동영상을 전달받는다. 그리고, 지오메트리 메쉬 복원부(110)는 프레임(frame) 단위로 지오메트리(geometry) 메쉬를 복원하여 복원 메쉬 셋트를 생성한다(S100)
모션 캡쳐부(120)는 복원 메쉬 셋트를 이용하여 복원 메쉬 셋트에 대해 메쉬 그래프(graph) 셋트를 생성한다(S110). 모션 캡쳐부(120)는 메쉬 그래프(graph) 셋트에 대한 메쉬 그래프간 변형정보를 생성한다(S120). 모션 캡쳐부(120)는 메쉬 그래프간 변형정보를 이용하여 (i)번째 메쉬 그래프(Gi)와 (i+1)번째 메쉬 그래프(Gi+1)의 차이에 따른 시간적 관련성 정보를 생성한다(S130). 모션 캡쳐부(120)는 시간적 관련성 정보를 이용하여 모션 데이터를 생성한다(S140).
콘텐츠 생성부(140)는 모션 캡쳐부(120)로부터 모션 데이터를 전달받는다. 그리고, 콘텐츠 생성부(140)는 메쉬 데이터 저장부(130)에서 복원 메쉬 셋트와 가장 유사한 프리미티브 메쉬 및 프리미티브 메쉬 그래프를 검출한다(S150). 콘텐츠 생성부(140)는 프리미티브 메쉬 그래프에 모션 데이터를 적용하여 변형 매쉬 그래프 셋트를 생성하고, 변형 매쉬 그래프 셋트에 대응하는 변형 매쉬 셋트를 생성한다(S160). 콘텐츠 생성부(140)는 변형 매쉬 셋트를 복원 메쉬 셋트를 프레임별로 비교하여 최종 매쉬 셋트를 생성한다(S170). 콘텐츠 생성부(140)는 최종 매쉬 셋트와 애니메이션에 따라 변형되는 값을 애니메이션 키로 설정하여 애니메이션 매쉬를 생성하고, 애니메이션 매쉬를 이용하여 3D 콘텐츠를 생성한다(S180).
이와 같이, 본 발명의 실시예에 따른 애니메이션 생성 장치는 동영상을 이용하여 메쉬 그래프(graph)를 생성하고, 이를 이용하여 비정형 물체의 3D 콘텐츠를 생성함에 따라 수작업을 통해 콘텐츠 생성하던 것에 비해 제작기간을 단축시킬 수 있으며, 보다 실제감 넘치는 비정형 물체의 애니메이션을 생성할 수 있다.
그리고, 종래 수작업에 의해 생성되었던 비정형 물체의 애니메이션을 현실에서 캡쳐하여 생성함에 따라 보다 빠르게 비정형 물체의 애니메이션을 제작할 수 있으며, 그에 따라 제작비용을 감소시킬 수 있다.
또한, 애니메이션의 제작뿐만 아니라 3D 기술이 사용되는 고품질 영상 콘텐츠 제작 및 그 응용 분야에서 다양하게 활용될 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 애니메이션 생성 장치
110: 지오메트리 메쉬 복원부
120: 모션 캡쳐부
130: 메쉬 데이터 저장부
140: 콘텐츠 생성부

Claims (13)

  1. 복수의 카메라로부터 촬영된 동영상을 수신하여 프레임 단위로 복원 메쉬 셋트를 생성하는 지오메트리 메쉬 복원부;
    상기 복원 메쉬 셋트에 대한 메쉬 그래프 셋트를 생성하고 상기 메쉬 그래프 셋트를 이용하여 움직임에 대한 정보를 포함하는 모션 데이터를 생성하는 모션 캡쳐부; 및
    상기 모션 데이터를 이용하여 상기 복원 메쉬 셋트와 토폴로지가 유사한 최종 변형 메쉬 셋트를 생성하여 비정형 물체에 대한 3D 콘텐츠를 생성하는 콘텐츠 생성부
    를 포함하는 애니메이션 생성 장치.
  2. 청구항 1에 있어서,
    상기 모션 캡쳐부는,
    상기 복원 메쉬 셋트를 전달받으며, 상기 복원 메쉬 세트의 메쉬 수만큼 대응하도록 상기 메쉬 그래프 셋트를 생성하는 메쉬 그래프 생성부를 포함하는 애니메이션 생성 장치.
  3. 청구항 2에 있어서,
    상기 모션 캡쳐부는,
    상기 메쉬 그래프 셋트의 어파인 변환을 매트릭스로 표현하여 메쉬 그래프간 변형정보를 생성하는 변형정보 처리부를 포함하는 애니메이션 생성 장치.
  4. 청구항 3에 있어서,
    상기 모션 캡쳐부는,
    상기 메쉬 그래프간 변형정보를 이용하여 i번째 메쉬 그래프와 (i+1)번째 매쉬 그래프의 차이 값을 획득하여 시간적 관련성 정보를 생성하고, 상기 시간적 관련성 정보를 이용하여 상기 모션 데이터를 생성하는 애니메이션 생성 장치.
  5. 청구항 1에 있어서,
    상기 콘텐츠 생성부는,
    상기 복원 메쉬 셋트와 가장 유사한 프리미티브 메쉬 및 프리미티브 메쉬 그래프를 검출하는 프리미티브 검출부를 포함하는 애니메이션 생성 장치.
  6. 청구항 5에 있어서,
    상기 콘텐츠 생성부는,
    상기 프리미티브 메쉬 그래프에 상기 모션 데이터를 적용하여 변형 매쉬 그래프 셋트를 생성하며, 상기 변형 매쉬 그래프 셋트에 대응하는 변형 매쉬 셋트를 생성하는 매쉬 변형부를 포함하는 애니메이션 생성 장치.
  7. 청구항 6에 있어서,
    상기 콘텐츠 생성부는,
    상기 변형 매쉬 셋트와 상기 복원 메쉬 셋트를 프레임 별로 비교하여 최종 매쉬 셋트를 생성하고, 상기 최종 매쉬 셋트와 상기 복원 메쉬 셋트간의 관계 맵을 통해 최종 변형 메쉬 셋트를 생성하는 애니메이션 매쉬 생성부를 포함하는 애니메이션 생성 장치.
  8. 청구항 7에 있어서,
    상기 애니메이션 매쉬 생성부는,
    상기 최종 변형 메쉬 셋트에 애니메이션에 따라 변형되는 값을 애니메이션 키로 설정하여 애니메이션 매쉬를 생성하며, 상기 애니메이션 매쉬를 이용하여 상기 비정형 물체에 대한 3D 콘텐츠를 생성하는 애니메이션 생성 장치.
  9. 청구항 5에 있어서,
    상기 프리미티브 메쉬 및 상기 프리미티브 메쉬를 가공하여 생성된 상기 프리미티브 메쉬 그래프를 저장하는 메쉬 데이터 저장부를 포함하는 애니메이션 생성 장치.
  10. 복수의 카메라로부터 동영상을 전달받아 프레임 단위로 복원 메쉬 셋트를 생성하는 단계;
    상기 복원 메쉬 셋트에 대한 메쉬 그래프 셋트를 생성하는 단계;
    상기 메쉬 그래프 셋트를 이용하여 움직임에 대한 정보를 포함하는 모션 데이터를 생성하는 단계;
    상기 모션 데이터를 이용하여 상기 복원 메쉬 셋트와 토폴로지가 유사한 최종 변형 메쉬 셋트를 생성하는 단계; 및
    상기 최종 변형 메쉬 셋트를 이용하여 비정형 물체에 대한 3D 콘텐츠를 생성하는 단계
    를 포함하는 애니메이션 생성 방법.
  11. 청구항 10에 있어서,
    상기 모션 데이터를 생성하는 단계는,
    상기 메쉬 그래프 셋트의 어파인 변환을 매트릭스로 표현하여 메쉬 그래프간 변형정보를 생성하는 단계;
    상기 메쉬 그래프간 변형정보를 이용하여 i번째 메쉬 그래프와 (i+1)번째 매쉬 그래프의 차이 값을 획득하여 시간적 관련성 정보를 생성하는 단계; 및
    상기 시간적 관련성 정보를 이용하여 상기 모션 데이터를 생성하는 단계를 포함하는 애니메이션 생성 방법.
  12. 청구항 10에 있어서,
    상기 최종 변형 메쉬 셋트를 생성하는 단계는,
    상기 복원 메쉬 셋트와 가장 유사한 프리미티브 메쉬 및 프리미티브 메쉬 그래프를 검출하는 단계;
    상기 프리미티브 메쉬 그래프에 상기 모션 데이터를 적용하여 변형 매쉬 그래프 셋트를 생성하는 단계;
    상기 변형 매쉬 그래프 셋트에 대응하는 변형 매쉬 셋트를 생성하는 단계;
    상기 변형 매쉬 셋트와 상기 복원 메쉬 셋트를 프레임 별로 비교하여 최종 매쉬 셋트를 생성하는 단계; 및
    상기 최종 매쉬 셋트와 상기 복원 메쉬 셋트간의 관계 맵을 통해 최종 변형 메쉬 셋트를 생성하는 단계를 포함하는 애니메이션 생성 방법.
  13. 청구항 12에 있어서,
    상기 3D 콘텐츠를 생성하는 단계는,
    상기 최종 변형 메쉬 셋트에 애니메이션에 따라 변형되는 값을 애니메이션 키로 설정하여 애니메이션 매쉬를 생성하는 단계; 및
    상기 애니메이션 매쉬를 이용하여 상기 비정형 물체에 대한 3D 콘텐츠를 생성하는 단계를 포함하는 애니메이션 생성 방법.
KR1020100131562A 2010-12-21 2010-12-21 비정형 물체의 모션을 캡처하여 애니메이션을 생성하는 장치 및 방법 KR20120070131A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100131562A KR20120070131A (ko) 2010-12-21 2010-12-21 비정형 물체의 모션을 캡처하여 애니메이션을 생성하는 장치 및 방법
US13/333,825 US20120154393A1 (en) 2010-12-21 2011-12-21 Apparatus and method for creating animation by capturing movements of non-rigid objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100131562A KR20120070131A (ko) 2010-12-21 2010-12-21 비정형 물체의 모션을 캡처하여 애니메이션을 생성하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120070131A true KR20120070131A (ko) 2012-06-29

Family

ID=46233772

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100131562A KR20120070131A (ko) 2010-12-21 2010-12-21 비정형 물체의 모션을 캡처하여 애니메이션을 생성하는 장치 및 방법

Country Status (2)

Country Link
US (1) US20120154393A1 (ko)
KR (1) KR20120070131A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102437212B1 (ko) 2021-10-15 2022-08-29 주식회사 엔닷라이트 딥러닝 기반의 캐릭터 리깅 자동 생성 방법 및 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732560B (zh) * 2015-02-03 2017-07-18 长春理工大学 基于动作捕捉***的虚拟摄像机拍摄方法
US11127206B2 (en) * 2019-01-29 2021-09-21 Realmotion Inc. Device, system, and method of generating a reduced-size volumetric dataset
CN111179389B (zh) * 2019-12-26 2024-04-19 武汉西山艺创文化有限公司 三维即时演算动画制作装置及方法
US11908098B1 (en) * 2022-09-23 2024-02-20 Apple Inc. Aligning user representations
CN116863086B (zh) * 2023-09-04 2023-11-24 武汉国遥新天地信息技术有限公司 一种光学动作捕捉***刚体稳定重建方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4384813B2 (ja) * 1998-06-08 2009-12-16 マイクロソフト コーポレーション 時間依存ジオメトリの圧縮
US6831641B2 (en) * 2002-06-17 2004-12-14 Mitsubishi Electric Research Labs, Inc. Modeling and rendering of surface reflectance fields of 3D objects
US6943790B2 (en) * 2002-10-11 2005-09-13 International Business Machines Corporation Dual mesh resampling
US8194093B2 (en) * 2004-09-15 2012-06-05 Onlive, Inc. Apparatus and method for capturing the expression of a performer
US7606392B2 (en) * 2005-08-26 2009-10-20 Sony Corporation Capturing and processing facial motion data
US8659596B2 (en) * 2008-11-24 2014-02-25 Mixamo, Inc. Real time generation of animation-ready 3D character models

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102437212B1 (ko) 2021-10-15 2022-08-29 주식회사 엔닷라이트 딥러닝 기반의 캐릭터 리깅 자동 생성 방법 및 장치

Also Published As

Publication number Publication date
US20120154393A1 (en) 2012-06-21

Similar Documents

Publication Publication Date Title
Chai et al. Dynamic hair manipulation in images and videos
US9747668B2 (en) Reconstruction of articulated objects from a moving camera
US11928778B2 (en) Method for human body model reconstruction and reconstruction system
US20180033181A1 (en) Audio-based caricature exaggeration
KR20120070131A (ko) 비정형 물체의 모션을 캡처하여 애니메이션을 생성하는 장치 및 방법
JP2011521357A (ja) ビデオ画像を利用したモーションキャプチャのシステム、方法、及び装置
JP2012038334A5 (ko)
JP2010507865A (ja) ２次元画像から３次元パーティクル・システムを復元するためのシステムおよび方法
US9129434B2 (en) Method and system for 3D surface deformation fitting
Shakya Virtual restoration of damaged archeological artifacts obtained from expeditions using 3D visualization
CN111784818B (zh) 生成三维人体模型的方法、装置及计算机可读存储介质
JP2018129007A (ja) 学習データ生成装置、学習装置、推定装置、学習データ生成方法及びコンピュータプログラム
KR101575284B1 (ko) 2차원 영상의 해상도 레벨에 따른 3차원 복원 물체의 텍스처 생성 장치 및 그 방법
JP2015507272A (ja) ３ｄモデル・モーフィングのための方法および装置
JP2010211732A (ja) 物体認識装置および方法
Guo et al. Inverse simulation: Reconstructing dynamic geometry of clothed humans via optimal control
Jinka et al. Sharp: Shape-aware reconstruction of people in loose clothing
JP2019016164A (ja) 学習データ生成装置、推定装置、推定方法及びコンピュータプログラム
Chan et al. S-PIFu: Integrating parametric human models with PIFu for single-view clothed human reconstruction
Srivastava et al. xcloth: Extracting template-free textured 3d clothes from a monocular image
CN109816765B (zh) 面向动态场景的纹理实时确定方法、装置、设备和介质
KR101166719B1 (ko) 평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법
CN111105489A (zh) 数据合成方法和装置、存储介质和电子装置
Jafarian et al. Self-supervised 3D representation learning of dressed humans from social media videos
Frâncu et al. Virtual try on systems for clothes: Issues and solutions

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application