KR102055995B1 - 시점 변환을 위한 현실적 리그드 3차원(3ｄ) 모델 애니메이션을 생성하는 장치 및 방법 - Google Patents

시점 변환을 위한 현실적 리그드 3차원(3ｄ) 모델 애니메이션을 생성하는 장치 및 방법 Download PDF

Info

Publication number
KR102055995B1
KR102055995B1 KR1020180012851A KR20180012851A KR102055995B1 KR 102055995 B1 KR102055995 B1 KR 102055995B1 KR 1020180012851 A KR1020180012851 A KR 1020180012851A KR 20180012851 A KR20180012851 A KR 20180012851A KR 102055995 B1 KR102055995 B1 KR 102055995B1
Authority
KR
South Korea
Prior art keywords
skeleton
model
orientation
skeletons
hierarchical set
Prior art date
Application number
KR1020180012851A
Other languages
English (en)
Other versions
KR20180090746A (ko
Inventor
지에 니
모하마드 가라비-알칸사리
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20180090746A publication Critical patent/KR20180090746A/ko
Application granted granted Critical
Publication of KR102055995B1 publication Critical patent/KR102055995B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T3/0031—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/428—Real-time

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

시점 변환을 위한 현실적 리그드 3차원(3D) 모델 애니메이션(realistic rigged three-dimensional (3D) model animation)을 생성하는 장치 및 방법은, 제1 세트의 뼈대 배향들에서 정의된 제1 계층적 세트의 상호연결된 뼈대들을 더 포함하는 제1 3D 모델의 저장을 포함한다. 객체의 제2 계층적 세트의 상호연결된 뼈대들의 뼈대 구조 정보가 움직임-감지 디바이스로부터 수신된다. 제1 세트의 뼈대 배향들은 뼈대 구조 정보에 기초하여 제2 세트의 뼈대 배향들로 수정된다. 제2 3D 모델은 뼈대 구조 정보에 기초하여 제1 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 뼈대의 크기의 변환에 의해 생성된다. 제2 3D 모델은 제2 세트의 뼈대 배향들 및 변환된 제1 계층적 세트의 상호연결된 뼈대들에 따라 디스플레이 디바이스 상에서 애니메이트된다.

Description

시점 변환을 위한 현실적 리그드 3차원(3Ｄ) 모델 애니메이션을 생성하는 장치 및 방법{APPARATUS AND METHOD TO GENERATE REALISTIC RIGGED THREE DIMENSIONAL (3D) MODEL ANIMATION FOR VIEW-POINT TRANSFORM}
관련출원에 대한 상호-참조/참조에 의한 포함
없음
분야
본 개시내용의 다양한 실시예는 3차원(3D) 모델링 및 애니메이션에 관한 것이다. 더 구체적으로는, 본 개시내용의 다양한 실시예는 시점 변환을 위한 현실적 리그드 3D 모델 애니메이션(realistic rigged 3D model animation)을 생성하는 장치 및 방법에 관한 것이다.
3차원(3D) 컴퓨터 그래픽, 모델링, 및 애니메이션 분야에서의 진보는, 3D 컴퓨터 그래픽 환경에서 3D 모델을 애니메이트하고 실제 객체를 시각화하는 기능을 제공했다. 3D 캐릭터 모델 등의 3D 콘텐츠는 사용자 경험을 향상시키기 위해 애니메이션 영화, 게임, 및 가상 현실 시스템에서 점점 더 많이 이용되고 있다. 3D 모델은 특정한 객체의 형상을 닮은 정적 3D 메시(static 3D mesh)이다. 통상적으로, 이러한 3D 모델은, 흔히 모델러라고 알려진 컴퓨터 그래픽 아티스트에 의해, 모델링 소프트웨어 애플리케이션을 이용하여 수동으로 설계된다. 이러한 3D 모델은 애니메이션에서 동일한 방식으로 이용되지 못할 수도 있다. 흔히 리거(rigger)라고 알려진 다른 3D 컴퓨터 그래픽 전문가는, 디지털 리그(digital rig) 등의 지지 구조를 정적 3D 메시에 수동으로 도입하여 리그드 3D 모델을 생성한다. 리그드 3D 모델에서의 디지털 리그는 골격으로서 작용하며, 관절과 뼈대 체계를 포함할 수 있는 계층적 세트의 상호연결된 뼈대들을 포함한다. 이것은 리그드 3D 모델에서 애니메이션을 위한 움직임을 정의하는 것을 허용한다. 객체의 자세가 캡처되는 객체 시점 이외의 복수의 시점으로부터 객체의 애니메이트된 리그드 3D 모델을 보는데에는 몇 가지 복잡성이 있다. 또한 애니메이트되는 리그드 3D 모델은 객체의 해부학적 골격 구조와 유사하지 않을 수 있다. 예를 들어, 애니메이트된 리그드 3D 모델의 디지털 리그의 상호연결된 뼈대들의 구조 및 상대적 크기는 자세가 캡처되는 객체의 구조 특유이지 않을 수 있다. 리그드 3D 모델의 디지털 리그의 상호연결된 뼈대들의 구조와 크기에서의 이러한 불일치는 현실적 애니메이션에는 바람직하지 않을 수 있다.
종래의 및 전통적인 접근법의 추가적인 제한 및 단점은, 도면을 참조한 본 출원의 나머지 부분에 개시되는 본 개시내용의 일부 양태들을 갖는 설명된 시스템과의 비교를 통해 본 기술분야의 통상의 기술자에게 명백해질 것이다.
청구항들에 더 완전하게 개시된 시점 변환을 위한 현실적 리그드 3차원(3D) 모델 애니메이션을 생성하는 장치 및 방법이, 실질적으로 적어도 하나의 도면에 도시되고, 및/또는 이와 연계하여 설명되는 바와 같이 제공된다.
본 개시내용의 이들 및 다른 피쳐들 및 이점들은, 전체에 걸쳐 유사한 참조 번호가 유사한 부분을 나타내는 첨부된 도면들과 함께, 본 개시내용의 이하의 상세한 설명의 검토로부터 이해될 수 있을 것이다.
도 1은, 본 개시내용의 한 실시예에 따른, 시점 변환을 위한 현실적 애니메이션을 생성하기 위한 예시적인 네트워크 환경을 나타내는 블록도이다.
도 2는, 본 개시내용의 한 실시예에 따른, 예시적인 전자 디바이스를 나타내는 블록도이다.
도 3a, 도 3b, 도 3c, 및 도 3d는, 본 개시내용의 한 실시예에 따른, 제1 3D 모델로부터의 제2 3D 모델의 생성의 한 예를 집합적으로 나타낸다.
도 4는, 본 개시내용의 한 실시예에 따른, 시점 변환을 위한 현실적 리그드 3D 모델 애니메이션의 생성을 위한 개시된 장치 및 방법의 구현을 위한 제1 예시적인 시나리오를 나타낸다.
도 5는, 본 개시내용의 한 실시예에 따른, 시점 변환을 위한 현실적 리그드 3D 모델 애니메이션의 생성을 위한 개시된 장치 및 방법의 구현을 위한 제2 예시적인 시나리오이다.
도 6은, 본 개시내용의 한 실시예에 따른, 시점 변환을 위한 현실적 리그드 3D 모델 애니메이션의 생성을 위한 개시된 장치 및 방법의 구현을 위한 제3 예시적인 시나리오이다.
도 7은, 본 개시내용의 한 실시예에 따른, 시점 변환을 위한 복수의 현실적 리그드 3D 모델 애니메이션의 생성을 위한 개시된 장치 및 방법의 구현을 위한 제4 예시적인 시나리오이다.
도 8은, 본 개시내용의 한 실시예에 따른, 시점 변환을 위한 현실적 리그드 3D 모델 애니메이션을 생성하는 예시적인 동작들을 나타내는 플로차트이다.
현실적 리그드 3차원(3D) 모델 애니메이션을 생성하는 개시된 장치 및 방법에서 이하의 설명된 구현이 발견될 수 있다. 본 개시내용의 예시적인 양태들은 움직임-감지 디바이스 및 디스플레이 디바이스에 통신가능하게 결합될 수 있는 장치를 포함할 수 있다. 이 장치는 제1 3D 모델을 저장하도록 구성된 메모리 디바이스를 포함할 수 있다. 제1 3D 모델은 제1 세트의 뼈대 배향들에서 정의된 제1 계층적 세트의 상호연결된 뼈대들을 포함할 수 있다. 제1 3D 모델은 리그드 3D 모델에 대응할 수 있다. 또한, 제1 3D 모델에서의 제1 계층적 세트의 상호연결된 뼈대들은 리그드 3D 모델의 디지털 리그에 대응할 수 있다. 이 장치는, 통신 채널을 통해 움직임-감지 디바이스로부터 제2 계층적 세트의 객체의 상호연결된 뼈대들의 뼈대 구조 정보를 수신하도록 구성될 수 있다. 객체는, 인간, 동물, 또는 실제 인간이나 동물의 자연스러운 신체 움직임을 흉내내는 로봇에 대응할 수 있다. 장치는, 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들의 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정하도록 구성될 수 있다. 이 장치는 움직임-감지 디바이스로부터의 수신된 뼈대 구조 정보에 기초하여 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정할 수 있다. 이 장치는, 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 뼈대의 크기의 변환에 의해 제2 3D 모델을 생성하도록 구성될 수 있다. 이 장치는, 수신된 뼈대 구조 정보에 기초하여 제1 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 뼈대의 크기를 변환할 수 있다. 이 장치는, 제2 세트의 뼈대 배향들 및 변환된 제1 계층적 세트의 상호연결된 뼈대들에 따라 생성된 제2 3D 모델을 디스플레이 디바이스 상에서 애니메이트하도록 구성될 수 있다.
한 실시예에 따르면, 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들은, 하나 이상의 루트 뼈대(root bone), 하나 이상의 비루트 뼈대(non-root bone), 및 하나 이상의 말단 뼈대(end bone)를 포함할 수 있다. 이 장치는 또한, 제2 계층적 세트의 상호연결된 뼈대들 중의 대응하는 루트 뼈대에 대한, 제1 계층적 세트의 상호연결된 뼈대들 중의 단일의 루트 뼈대의 상대적 뼈대 배향을 계산하도록 구성될 수 있다. 제1 계층적 세트의 상호연결된 뼈대들 중의 루트 뼈대의 상대적 뼈대 배향은 대응하는 루트 뼈대의 뼈대 구조 정보에 기초하여 계산될 수 있다.
이 장치는 또한, 제2 계층적 세트의 상호연결된 뼈대들 중의 대응하는 비루트 뼈대에 대한, 제1 계층적 세트의 상호연결된 뼈대들 중의 비루트 뼈대의 상대적 뼈대 배향을 계산하도록 구성될 수 있다. 비루트 뼈대의 상대적 뼈대 배향은, 대응하는 비루트 뼈대의 뼈대 구조 정보 및 제1 계층적 세트의 상호연결된 뼈대들 중의 비루트 뼈대의 부모 뼈대의 대응하는 부모 뼈대에 기초하여 계산될 수 있다.
이 장치는 또한, 제1 계층적 세트의 상호연결된 뼈대들 중의 말단 뼈대의 상대적 뼈대 배향을, 제2 계층적 세트의 상호연결된 뼈대들 중의 대응하는 말단 뼈대에 관하여 계산하도록 구성될 수 있다. 말단 뼈대의 상대적 뼈대 배향은, 제1 3D 모델 내의 제1 계층적 세트의 상호연결된 뼈대들 중의 말단 뼈대의 관절 위치에 기초하여 계산될 수 있다.
이 장치는 또한, 제2 세트의 뼈대 배향들을 안정화시키기 위해, 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들의 움직임에 대한 제약들의 세트를 결정하도록 구성될 수 있다. 뼈대 구조 정보는, 움직임-감지 디바이스로부터 실시간, 거의 실시간 또는 지연된 시간으로 수신될 수 있다. 뼈대 구조 정보는 객체의 제2 계층적 세트의 상호연결된 뼈대들의 뼈대 배향 정보 및 크기 정보를 포함할 수 있다. 이 정보는 객체의 시점과 연관될 수 있다.
본 개시내용의 예시적인 양태에 따르면, 이 장치는 움직임-감지 디바이스로부터 복수의 객체의 뼈대 구조 정보를 수신하도록 구성될 수 있다. 복수의 객체의 뼈대 구조 정보는, 움직임-감지 디바이스로부터 실시간, 거의 실시간 또는 지연된 시간으로 수신될 수 있다. 이 장치는, 제1 3D 모델 및 움직임-감지 디바이스로부터의 복수의 객체의 수신된 뼈대 구조 정보에 기초하여 복수의 제2 3D 모델들을 생성할 수 있다.
제1 3D 모델은, 제1 3D 모델의 하나 이상의 부분의, 메시 구조 등의, 표면 표현(surface representation)을 더 포함할 수 있다. 이 장치는, 제2 세트의 배향들 및 변형된 제1 계층적 세트의 상호연결된 뼈대들에 기초하여, 제1 3D 모델의 하나 이상의 부분의 표면 표현을 변형시키도록 구성될 수 있다. 이 장치는, 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들의 하나 이상의 움직임을 제2 3D 모델의 생성에 의해 움직임-감지 디바이스에 의해 추적되는 객체의 하나 이상의 움직임과 동기화하도록 구성될 수 있다.
이 장치는 생성된 제2 3D 모델을 디스플레이 디바이스 상에서 실시간으로, 거의 실시간으로, 또는 지연된 시간으로 렌더링할 수 있다. 제2 3D 모델은 하나 이상의 동기화된 움직임을 가질 수 있다. 한 실시예에 따르면, 수신된 뼈대 구조 정보는 객체의 시점으로부터 움직임-감지 디바이스에 의해 캡처될 수 있다. 또한, 생성된 제2 3D 모델은 객체의 복수의 시점으로부터 디스플레이 디바이스 상에서 보여질 수 있다. 복수의 시점은 움직임-감지 디바이스에 의해 캡처된 객체의 시점을 포함할 수 있다. 생성된 제2 3D 모델은 디스플레이 디바이스 상에 렌더링되어 제1 위치에서 객체의 가상 존재를 생성할 수 있고, 객체는 제2 위치에 놓일 수 있다.
도 1은, 본 개시내용의 한 실시예에 따른, 시점 변환을 위한 현실적 애니메이션을 생성하기 위한 예시적인 네트워크 환경을 나타내는 블록도이다. 도 1을 참조하면, 네트워크 환경(100)이 도시되어 있다. 네트워크 환경(100)은, 전자 디바이스(102), 서버(104), 움직임-감지 디바이스(106), 객체(108), 디스플레이 디바이스(110), 및 통신 네트워크(112)를 포함할 수 있다. 전자 디바이스(102)와 연관된 사용자(114)가 더 도시되어 있다. 사용자(114)는 또한 디스플레이 디바이스(110)와 연관될 수 있다. 전자 디바이스(102)는, 통신 네트워크(112)를 통해, 서버(104), 움직임-감지 디바이스(106), 및 디스플레이 디바이스(110)에 통신가능하게 결합될 수 있다.
전자 디바이스(102)는, 현실적 3D 리그드 모델 애니메이션을 생성하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 실제의 골격에서와 같이, 리그드 3D 모델에서의 리그는, 리그드 3D 모델의 애니메이션 동안에 이용되는 움직임의 정의를 허용하는, 인간의 관절 및 뼈대 체계와 유사한, 계층적 세트의 상호연결된 뼈대들을 포함한다. 전자 디바이스(102)는, 움직임-감지 디바이스(106)에 의해 추적된 객체(108)의 움직임에 기초하여 디스플레이 디바이스(110) 상에서 현실적 3D 리그드 모델을 애니메이트하도록 구성될 수 있다. 전자 디바이스(102)의 예는, 게임 디바이스, 화상 회의 시스템, 증강 현실-기반 디바이스, 컴퓨팅 디바이스, 서버, 컴퓨터 워크스테이션, 메인프레임 기계, 및/또는 기타의 전자 디바이스를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.
서버(104)는, 하나 이상의 리그드 3D 모델을 저장하도록 구성될 수 있는 적절한 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 서버(104)의 예는, 애플리케이션 서버, 클라우드 서버, 웹 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메인프레임 서버, 또는 이들의 조합을 포함할 수 있지만, 이것으로 제한되는 것은 아니다.
움직임-감지 디바이스(106)는, 객체(108)의 움직임을 캡처하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 움직임-감지 디바이스(106)는, 객체(108)의 하나 이상의 자세를 실시간, 거의 실시간 또는 지연된 시간으로 캡처하도록 구성될 수 있다. 움직임-감지 디바이스(106)는 또한, 대응하는 캡처된 자세에 기초하여 객체(108)의 뼈대 구조 정보를 결정하도록 추가로 구성될 수 있다. 뼈대 구조 정보는 객체(108)의 골격 배향 정보를 포함할 수 있다. 움직임-감지 디바이스(106)는 결정된 뼈대 구조 정보를 통신 네트워크(112)를 통해 전자 디바이스(102)에 전송하도록 구성될 수 있다. 움직임-감지 디바이스(106)는, 하나의 시점으로부터 객체(108)의 하나 이상의 자세를 캡처하는, 깊이 센서, 적외선(IR) 센서, 및/또는 (적색-녹색-파랑(RGB) 센서 등의) 컬러 센서 등의 복수의 센서를 포함할 수 있다. 예를 들어, 움직임-감지 디바이스(106)는 객체(108)의 우측으로부터 객체(108)의 자세를 캡처할 수 있다. 따라서, 객체(108)의 우측은 움직임-감지 디바이스(106)에 의해 캡처된 객체(108)의 시점에 대응할 수 있다. 움직임-감지 디바이스(106)의 예는, 깊이 센서, IR 센서, RGB 센서, 객체(108) 등의 객체를 움직이는데 이용되는 3D 메시 구조 생성기, 이미지 센서, 및/또는 움직임-검출기 디바이스를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.
객체(108)란, 움직임-감지 디바이스(106)에 의해 움직임이 캡처되어야 하는 관심대상 객체를 말할 수 있다. 객체(108)는, 인간, 동물, 또는 실제 인간이나 동물의 자연스러운 신체 움직임을 흉내낼 수 있는 로봇일 수 있다. 인체는, 신체를 지탱하고 그 형상을 유지하는 프레임워크를 제공하는 골격을 포함한다. 인간의 골격은 계층적 세트의 상호연결된 뼈대들을 포함하며, 뼈대 사이의 관절(관절이라고도 함)은, 머리, 손, 발 등의 인체 부분들의 소정 정도의 움직임을 허용한다.
디스플레이 디바이스(110)는 전자 디바이스(102)로부터 수신된 리그드 3D 모델을 렌더링하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 한 실시예에 따르면, 디스플레이 디바이스(110)는 사용자(114) 등의 사용자로부터 입력을 수신할 수 있다. 이러한 시나리오에서, 디스플레이 디바이스(110)는 사용자(114)가 입력을 제공할 수 있게 하는 터치 스크린일 수 있다. 한 실시예에 따르면, 디스플레이 디바이스(110)는, 가상 키패드, 스타일러스, 제스쳐 기반 입력, 및/또는 터치 기반 입력을 통해 입력을 수신할 수 있다. 디스플레이 디바이스(110)는, 액정 디스플레이(LCD) 디스플레이, 발광 다이오드(LED) 디스플레이, 플라즈마 디스플레이, 및/또는 유기 LED(OLED) 디스플레이 기술 등의 그러나 이것으로 제한되지 않는 수 개의 공지된 기술을 통해 실현될 수 있다. 한 실시예에 따르면, 디스플레이 디바이스(110)란, 스마트-안경 디바이스의 디스플레이 스크린, 시스루(see-through) 디스플레이, 프로젝션-기반 디스플레이, 전기 변색(electro-chromic) 디스플레이, 및/또는 투명 디스플레이를 말할 수 있다. 시스루 디스플레이는 투명 또는 반투명 디스플레이일 수 있다. 한 실시예에 따르면, 시스루 디스플레이 및/또는 프로젝션-기반 디스플레이는, 향상된 사용자 경험을 제공하도록 의도된, 리그드 3D 모델이 사용자의 눈으로부터 미리결정된 거리에서 공중에 떠 있는 3D 착시를 생성할 수 있다.
통신 네트워크(112)는, 전자 디바이스(102)가 서버(104) 및/또는 디스플레이 디바이스(110)에 통신가능하게 결합되기 위한 통신 매체를 포함할 수 있다. 통신 네트워크(112)의 예로서는, 인터넷, 클라우드 네트워크, Wi-Fi 네트워크, 근거리 통신망(LAN; Local Area Network), 및/또는 MAN(Metropolitan Area Network)이 포함될 수 있지만, 이것으로 제한되는 것은 아니다. 네트워크 환경(100) 내의 다양한 디바이스들은 다양한 유선 및 무선 통신 프로토콜에 따라 통신 네트워크(112)에 접속하도록 구성될 수 있다. 이러한 유선 및 무선 통신 프로토콜의 예로서는, TCP/IP(Transmission Control Protocol and Internet Protocol), UDP(User Datagram Protocol), HTTP(Hypertext Transfer Protocol), FTP(File Transfer Protocol), ZigBee, EDGE, IEEE 802.11, Li-Fi(light fidelity), 802.16, IEEE 802.11s, IEEE 802.11g, 멀티-홉 통신, 무선 액세스 포인트(AP), 디바이스 대 디바이스 통신, 셀룰러 통신 프로토콜, 및/또는 Bluetooth(BT) 통신 프로토콜, 또는 이들의 조합 중 적어도 하나가 포함될 수 있지만, 이것으로 제한되는 것은 아니다.
동작시, 전자 디바이스(102)는 제1 3D 모델을 저장하도록 구성될 수 있다. 제1 3D 모델은, 제1 계층적 세트의 상호연결된 뼈대들을 포함할 수 있는 리그드 3D 모델에 대응할 수 있다. 제1 계층적 세트의 상호연결된 뼈대들은, 리그드 3D 모델의 애니메이션 동안에 움직임의 정의를 허용하는, 디지털 리그에 대응할 수 있다. 리그드 3D 모델 내의 제1 계층적 세트의 상호연결된 뼈대들은, 하나 이상의 루트 뼈대, 하나 이상의 비루트 뼈대, 및 하나 이상의 말단 뼈대를 포함할 수 있다. 하나 이상의 루트 뼈대란, 어떠한 부모 뼈대도 갖지 않는 뼈대를 말한다. 하나 이상의 비루트 뼈대란, 적어도 하나의 부모 뼈대를 갖는 뼈대를 말한다. 하나 이상의 말단 뼈대란, 리그드 3D 모델의 머리 부분, 엄지 부분, 발 부분 등의, 하나 이상의 종말 부분에 대한 지지를 제공하는 뼈대를 말한다. 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들은 제1 세트의 뼈대 배향들에서 정의될 수 있다. 제1 세트의 뼈대 배향들은, 제1 계층적 세트의 상호연결된 뼈대들 중의 각각의 뼈대의 초기 안정 자세(initial rest pose) 배향을 나타낼 수 있는 뼈대 배향을 포함할 수 있다.
전자 디바이스(102)는 제1 계층적 세트의 상호연결된 뼈대들의 제1 세트의 뼈대 배향들을 결정하도록 구성될 수 있다. 제1 3D 모델은, 제1 3D 모델의 하나 이상의 부분의, 메시 구조 등의, 표면 표현을 더 포함할 수 있다. 제1 3D 모델의 하나 이상의 부분의 표면 표현은, 제1 세트의 뼈대 배향들이 움직임-감지 디바이스(106)로부터 수신된, 객체(108) 등의 객체의 뼈대 구조 정보에 기초하여 수정되는 경우에 변형될 수 있다.
객체(108)는, 객체(108)의 구조를 지지하는 제2 계층적 세트의 상호연결된 뼈대들이라고 불리는, 골격 구조를 포함할 수 있다. 객체(108)는, 인간, 동물, 또는 실제 인간이나 동물의 자연스러운 신체 움직임을 흉내낼 수 있는 로봇에 대응할 수 있다. 움직임-감지 디바이스(106)는 대개, 객체(108)의 움직임의 추적 동안에 하나의 시점으로부터 객체(108)의 하나 이상의 자세를 캡처한다. 따라서, 하나의 시점으로부터 객체(108)의 캡처된 자세는, 객체(108)의 부분 깊이 데이터 정보를 포함할 수 있다. 부분 깊이 데이터는, 하나의 시점으로부터 캡처된, 객체(108) 등의, 객체의 상이한 표면들 또는 신체 부분들의 거리에 관련된 정보를 포함할 수 있다. 예를 들어, 객체(108)는, 움직임-감지 디바이스(106)가 객체(108)의 우측 프로파일 뷰만을 캡처할 수 있는 위치에 있을 수 있다. 이러한 경우에, 객체(108)의 우측 프로파일 뷰란 캡처된 시점을 말할 수 있다. 객체(108)의 자세의 캡처 후에, 움직임-감지 디바이스(106)는, 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들의 뼈대 구조 정보를 결정하도록 구성될 수 있다. 객체(108)의 뼈대 구조의 예가 이후에 도 3a에서 설명된다. 뼈대 배향 정보는 객체(108)의 캡처된 자세를 나타낼 수 있다.
뼈대 구조 정보는, 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들의 뼈대의 배향 정보 및 크기 정보를 포함할 수 있다. 크기 정보는 객체(108)의 해부학적 체격을 나타낼 수 있다. 뼈대 구조 정보 내의 뼈대 배향 정보는 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들 중의 각각의 뼈대의, 고정된 전역 좌표계에서의, 적어도 뼈대 위치 정보를 포함할 수 있다. 뼈대 구조 정보 내의 뼈대 배향 정보는, 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 루트 뼈대 및 하나 이상의 비루트 뼈대의 고정된 전역 좌표계에서 절대 뼈대 배향 정보를 더 포함할 수 있다. 고정된 전역 좌표계에서의 절대 뼈대 배향 정보는 객체(108)의 캡처된 자세를 나타낼 수 있다. 움직임-감지 디바이스(106)는, 전자 디바이스(102)에 뼈대 구조 정보를 실시간, 거의 실시간, 또는 지연된 시간으로 전송할 수 있다.
전자 디바이스(102)는, 그 움직임이 움직임-감지 디바이스(106)에 의해 추적될 수 있는, 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들의 뼈대 구조 정보를 수신하도록 구성될 수 있다. 전자 디바이스(102)는 또한, 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들의 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정하도록 구성될 수 있다. 전자 디바이스(102)는, 움직임-감지 디바이스(106)로부터의 수신된 뼈대 구조 정보에 기초하여 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정할 수 있다. 수정을 위해, 전자 디바이스(102)는, 수신된 뼈대 구조 정보에 기초하여, 제1 계층적 세트의 상호연결된 뼈대들에 대한 상대적 뼈대 배향을 계산하도록 구성될 수 있다.
한 실시예에 따르면, 전자 디바이스(102)는, 하나 이상의 루트 뼈대 각각의 상대적 뼈대 배향을, 제2 계층적 세트의 상호연결된 뼈대들 중의 대응하는 루트 뼈대에 관하여 계산하도록 구성될 수 있다. 제2 계층적 세트의 상호연결된 뼈대들 중의 대응하는 루트 뼈대에 대한 루트 뼈대의 상대적 뼈대 배향은 대응하는 루트 뼈대의 뼈대 구조 정보에 기초하여 계산될 수 있다. 예를 들어, 전자 디바이스(102)는, 제1 계층적 세트의 상호연결된 뼈대들 중의 루트 뼈대의 뼈대 배향과 제2 계층적 세트의 상호연결된 뼈대들 중의 대응하는 루트 뼈대의 뼈대 배향 사이의 차이를 결정할 수 있다. 전자 디바이스(102)는, 객체(108)의 수신된 뼈대 구조 정보로부터 획득된 뼈대 배향 정보에 기초하여 대응하는 루트 뼈대의 뼈대 배향을 결정할 수 있다. 결정된 차이는 상대적 뼈대 배향에 대응할 수 있다. 전자 디바이스(102)는 또한, 제1 계층적 세트의 상호연결된 뼈대들 중 하나 이상의 루트 뼈대의 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정하기 위해 상대적 뼈대 배향을 이용할 수 있다.
한 실시예에 따르면, 전자 디바이스(102)는, 하나 이상의 비루트 뼈대 각각의 상대적 뼈대 배향을, 제2 계층적 세트의 상호연결된 뼈대들 중의 대응하는 비루트 뼈대에 관하여 계산하도록 구성될 수 있다. 전자 디바이스(102)는, 제2 계층적 세트의 상호연결된 뼈대들 중의 대응하는 비루트 뼈대에 대한, 제1 계층적 세트의 상호연결된 뼈대들 중 비루트 뼈대의 상대적 뼈대 배향을, 대응하는 비루트 뼈대의 수신된 뼈대 구조 정보에 기초하여 계산할 수 있다. 비루트 뼈대의 경우, 제1 계층적 세트의 상호연결된 뼈대들 중의 비루트 뼈대의 부모 뼈대의 뼈대 구조 정보는 또한, 제1 계층적 세트의 상호연결된 뼈대들 중의 비루트 뼈대의 상대적 뼈대 배향의 계산에 이용될 수 있다. 비루트 뼈대의 부모 뼈대란, 비루트 뼈대와 상호연결된 제1 계층적 세트의 상호연결된 뼈대들 중의 한 뼈대를 말할 수 있다. 또한, 부모 뼈대의 움직임은 대응하는 비루트 뼈대의 움직임에 영향을 줄 수 있다.
한 실시예에 따르면, 전자 디바이스(102)는, 제2 계층적 세트의 상호연결된 뼈대들 중의 대응하는 말단 뼈대에 대한, 하나 이상의 말단 뼈대 각각의 상대적 뼈대 배향을, 제1 계층적 세트의 상호연결된 뼈대들의 하나 이상의 말단 뼈대 각각의 관절 위치에 기초하여 계산하도록 구성될 수 있다. 전자 디바이스(102)는, 제1 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 말단 뼈대의 각각의 상대적 뼈대 배향을 계산하기 위해 뼈대 구조 정보 내의 뼈대 위치 정보를 더 이용할 수 있다. 예를 들어, 전자 디바이스(102)는 제1 계층적 세트의 상호연결된 뼈대들 중의 말단 뼈대의 관절 위치를 결정할 수 있다. 또한, 전자 디바이스(102)는, 말단 뼈대의 결정된 관절 위치 및 제2 계층적 세트의 상호연결된 뼈대들 중의 대응하는 말단 뼈대의 뼈대 위치 정보를 이용하여, 제1 계층적 세트의 상호연결된 뼈대들 중의 말단 뼈대의 상대적 뼈대 배향을 계산할 수 있다. 전자 디바이스(102)는, 제1 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 말단 뼈대의 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정하기 위해 상대적 뼈대 배향을 이용할 수 있다.
수정 후에, 전자 디바이스(102)는, 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들의 움직임에 대한 한 세트의 제약들을 결정하도록 구성될 수 있다. 전자 디바이스(102)는 상기 제약들의 세트를 결정하여 제2 세트의 뼈대 배향들을 안정화할 수 있다. 제1 계층적 세트의 상호연결된 뼈대들 중의 한 뼈대에 대한 제약이란, 뼈대의 배향을 안정화하기 위해 대응하는 뼈대의 움직임에 적용되는 제약을 말할 수 있다. 예를 들어, 전자 디바이스(102)는, 제1 계층적 세트의 상호연결된 뼈대들에서, 대응하는 뼈대의 회전을 (Y 축 등의) 회전축 주변에서의 소정 각도로 제약하는, (손목 뼈 등의) 뼈대에 대한 제약을 결정할 수 있다.
한 실시예에 따르면, 전자 디바이스(102)는 또한, 결정된 세트의 제약들에 기초하여, 제1 계층적 세트의 상호연결된 뼈대들의 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정할 수 있다. 예를 들어, 전자 디바이스(102)는 제약들의 세트에 기초하여 제1 계층적 세트의 상호연결된 뼈대들에 대한 상대적 뼈대 배향을 업데이트할 수 있다. 따라서, 업데이트된 상대적 뼈대 배향은 제1 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 루트 뼈대의 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정하는데 이용될 수 있다. 제약들의 세트의 결정에 대한 더 상세한 설명은 도 3a 내지 도 3d에서 설명된다.
전자 디바이스(102)는 또한, 제2 3D 모델을 생성하기 위해 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 뼈대의 크기를 변환하도록 구성될 수 있다. 전자 디바이스(102)는 수신된 뼈대 구조 정보에 기초하여 제1 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 뼈대의 크기를 변환할 수 있다. 전자 디바이스(102)는 제1 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 뼈대의 크기를 변환하기 위해 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들의 뼈대 구조 정보 내의 크기 정보를 이용할 수 있다. 예를 들어, 전자 디바이스(102)는, 수신된 뼈대의 구조 정보에 기초하여, 제2 계층적 세트의 상호연결된 뼈대들 중의 한 뼈대의 크기에 정합하도록, 제1 계층적 세트의 상호연결된 뼈대들 중의 한 뼈대의 크기를 증가시킬 수 있다. 생성된 제2 3D 모델은 객체(108)와 유사할 수 있다. 또한, 제2 3D 모델의 생성은 제1 3D 모델의 하나 이상의 부분의 표면 표현의 변형을 포함할 수 있다. 전자 디바이스(102)는 제2 세트의 뼈대 배향들 및 변형된 제1 계층적 세트의 상호연결된 뼈대들에 기초하여 제1 3D 모델의 하나 이상의 부분의 표면 표현을 변형시킬 수 있다. 전자 디바이스(102)는 또한, 제2 세트의 배향들 및 변형된 제1 계층적 세트의 상호연결된 뼈대들에 따라, 생성된 제2 3D 모델을 디스플레이 디바이스(110) 상에서 애니메이트하도록 구성될 수 있다.
한 실시예에 따르면, 움직임-감지 디바이스(106)는 객체(108)와 유사한 복수의 객체의 하나 이상의 자세를 캡처하도록 구성될 수 있다. 움직임-감지 디바이스(106)는 캡처된 하나 이상의 자세에서 복수의 객체들 각각에 속하는 뼈대 구조 정보를 결정할 수 있다. 따라서, 전자 디바이스(102)는 통신 네트워크(112)를 통해 움직임-감지 디바이스(106)로부터 복수의 객체의 뼈대 구조 정보를 실시간, 거의 실시간 또는 지연된 시간으로 수신할 수 있다. 또한, 전자 디바이스(102)는, 하나 이상의 제1 3D 모델 및 움직임-감지 디바이스(106)로부터의 복수의 객체의 수신된 뼈대 구조 정보에 기초하여 복수의 제2 3D 모델을 동시에 생성할 수 있다. 한 실시예에 따르면, 전자 디바이스(102)는 서버(104)에 저장된 제1 3D 모델을 회수할 수 있다. 한 실시예에 따르면, 전자 디바이스(102)의 기능 또는 동작은, 본 개시내용의 범위를 벗어나지 않고 서버(104)에 의해 구현될 수 있다.
도 2는, 본 개시내용의 한 실시예에 따른, 예시적인 전자 디바이스를 나타내는 블록도이다. 도 2는 도 1의 요소들과 연계하여 설명된다. 도 2를 참조하면, 전자 디바이스(102)가 도시되어 있다. 전자 디바이스(102)는, 프로세서(202), 메모리(204), 배향 추정 유닛(206), 모델 변형 유닛(208), 입출력(I/O) 디바이스(210), 및 네트워크 인터페이스(214)를 포함할 수 있다. I/O 디바이스(210)는, 애플리케이션 인터페이스(212)를 렌더링하는데 이용될 수 있는 디스플레이 스크린(210A)을 포함할 수 있다. 프로세서(202)는, 메모리(204), 배향 추정 유닛(206), 모델 변형 유닛(208), I/O 디바이스(210), 및 네트워크 인터페이스(214)에 통신가능하게 결합될 수 있다. 네트워크 인터페이스(214)는, 통신 네트워크(112)를 통해, 서버(104) 및 움직임-감지 디바이스(106)와 통신하도록 구성될 수 있다.
프로세서(202)는, 메모리(204)에 저장된 한 세트의 명령어를 실행하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 프로세서(202)는 본 기술분야에 공지된 다수의 프로세서 기술들에 기초하여 구현될 수 있다. 프로세서(202)의 예로서는, 그래픽 처리 유닛(GPU), 중앙 처리 유닛(CPU), X86 기반의 프로세서, RISC(Reduced Instruction Set Computing) 프로세서, ASIC(Application Specific Integrated Circuit) 프로세서, CISC(Complex Instruction Set Computing), 기타의 프로세서, 및/또는 이들의 조합이 해당될 수 있다. 예를 들어, GPU와 CPU가 동시에 동작하여 현실적 애니메이션을 생성할 수 있다. 이러한 경우에, 상대적 배향 계산은 CPU에 의해 실행될 수 있고, GPU는 제1 3D 모델 및 제2 3D 모델 등의 3D 모델의 렌더링을 실행할 수 있다.
메모리(204)는, 프로세서(202)에 의해 실행가능한 명령어 세트를 저장하도록 구성될 수 있는 적절한 로직, 회로, 및/또는 인터페이스를 포함할 수 있다. 메모리(204)는, 운영 체제 및 연관된 애플리케이션을 저장하도록 구성될 수 있다. 메모리(204)는 또한, 리그드 3D 모델에서 계층적 세트의 상호연결된 뼈대들의 하나 이상의 뼈대 배향을 결정하는 다양한 알고리즘을 저장하도록 구성될 수 있다. 메모리(204)의 구현의 예는, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적으로 소거가능하고 프로그램가능한 판독 전용 메모리(EEPROM), 하드 디스크 드라이브(HDD), 솔리드-스테이트 드라이브(SSD), CPU 캐시, 및/또는 보안 디지털(SD) 카드를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.
배향 추정 유닛(206)은, 리그드 3D 모델에서 계층적 세트의 상호연결된 뼈대들의 하나 이상의 뼈대 배향을 결정하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 배향 추정 유닛(206)은 또한, 객체(108)와 연관된 또 다른 뼈대에 대한 리그드 3D 모델에서의 뼈대의 상대적 배향을 계산하도록 구성될 수 있다. 배향 추정 유닛(206)은 전자 디바이스(102) 내의 별개의 프로세서 또는 회로로서 구현될 수 있다. 배향 추정 유닛(206) 및 프로세서(202)는, 배향 추정 유닛(206) 및 프로세서(202)의 기능을 수행하는 집적 프로세서 또는 프로세서들의 클러스터로서 구현될 수 있다. 배향 추정 유닛(206)은, 프로세서(202)에 의한 실행시 전자 디바이스(102)에 대한 기능 및 동작을 수행할 수 있는 메모리(204)에 저장된 명령어 세트로서 구현될 수 있다.
모델 변형 유닛(208)은, 제1 3D 모델 등의, 리그드 3D 모델의 계층적 세트의 상호연결된 뼈대들의 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 모델 변형 유닛(208)은 또한, 제1 3D 모델에 관한 뼈대 길이 파라미터화 연산을 수행하여 제2 3D 모델을 생성하도록 구성될 수 있다. 뼈대 길이 파라미터화 동작은, 객체(108)의 하나 이상의 뼈대의 크기에 기초하여 제1 3D 모델에서 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 뼈대의 크기를 변환할 수 있다. 또한, 모델 변형 유닛(208)은 디스플레이 디바이스(110) 상에서 제2 3D 모델을 애니메이트하도록 구성될 수 있다. 모델 변형 유닛(208)은 전자 디바이스(102) 내의 개별 프로세서 또는 회로로서 구현될 수 있다. 모델 변형 유닛(208) 및 프로세서(202)는, 모델 변형 유닛(208) 및 프로세서(202)의 기능을 수행하는 집적 프로세서 또는 프로세서들의 클러스터로서 구현될 수 있다. 모델 변형 유닛(208)은, 프로세서(202)에 의한 실행시 전자 디바이스(102)에 대한 기능 및 동작을 수행할 수 있는 메모리(204)에 저장된 명령어 세트로서 구현될 수 있다.
I/O 디바이스(210)는 사용자(114)로부터 입력을 수신하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. I/O 디바이스(210)는 또한, 사용자(114)에게 출력을 제공하도록 구성될 수 있다. I/O 디바이스(210)는, 프로세서(202)와 통신하도록 구성될 수 있는 다양한 입력 및 출력 디바이스를 포함할 수 있다. 입력 디바이스의 예로서는 터치 스크린, 키보드, 마우스, 조이스틱 및/또는 마이크로폰이 포함될 수 있지만, 이것으로 제한되는 것은 아니다. 출력 디바이스의 예로서는, 디스플레이 스크린(210A) 및/또는 스피커가 포함될 수 있지만, 이것으로 제한되는 것은 아니다.
디스플레이 스크린(210A)은, 애플리케이션 인터페이스(212)가 복수의 시점들로부터 리그드 3D 모델의 현실적 애니메이션을 디스플레이하게 하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 한 실시예에 따르면, 디스플레이 스크린(210A)은 사용자(114)로부터 입력을 수신할 수 있다. 이러한 시나리오에서, 디스플레이 스크린(210A)은 사용자(114)가 입력을 제공할 수 있게 하는 터치 스크린일 수 있다. 터치 스크린은, 저항식 터치 스크린, 용량식 터치 스크린, 또는 열 터치 스크린 중 적어도 하나에 대응할 수 있다. 한 실시예에 따르면, 디스플레이 스크린(210A)은, 가상 키패드, 스타일러스, 제스쳐-기반 입력, 및/또는 터치-기반 입력을 통해 입력을 수신할 수 있다. 디스플레이 스크린(210A)은, 액정 디스플레이(LCD) 디스플레이, 발광 다이오드(LED) 디스플레이, 플라즈마 디스플레이, 및/또는 유기 LED(OLED) 디스플레이 기술, 및/또는 기타의 디스플레이 중 적어도 하나 등의 그러나 이것으로 제한되지 않는 수 개의 공지된 기술을 통해 실현될 수 있다. 한 실시예에 따르면, 디스플레이 스크린(210A)이란, 스마트-안경 디바이스의 디스플레이 스크린, 시스루(see-through) 디스플레이, 프로젝션-기반 디스플레이, 전기 변색(electro-chromic) 디스플레이, 및/또는 투명 디스플레이를 말할 수 있다. 디스플레이 스크린(210A)은 디스플레이 디바이스(110)와 유사할 수 있다.
애플리케이션 인터페이스(212)는, 디스플레이 스크린(210A) 등의 디스플레이 스크린 상에 렌더링된 사용자 인터페이스(UI)에 대응할 수 있다. 한 실시예에 따르면, 애플리케이션 인터페이스(212)는 또한, 디스플레이 디바이스(110) 등의 디스플레이 디바이스 상에 렌더링될 수 있다. 애플리케이션 인터페이스(212)는, 객체(108) 등의 객체와 연관된 애니메이트된 제2 3D 모델을 사용자(114)에게 디스플레이할 수 있다. 제2 3D 모델은, 애플리케이션 인터페이스(212)의 이용에 의해 복수의 시점으로부터 보여질 수 있다. 애플리케이션 인터페이스(212)의 예는, 그래픽 사용자 인터페이스(GUI)를 포함할 수 있지만, 이것으로 제한되는 것은 아니다.
네트워크 인터페이스(214)는, 통신 네트워크(112)를 통해, 전자 디바이스(102), 서버(104), 및 움직임-감지 디바이스(106) 사이의 통신을 확립하도록 구성될 수 있는 적절한 로직, 회로, 인터페이스 및/또는 코드를 포함할 수 있다. 네트워크 인터페이스(214)는, 통신 네트워크(112)와 전자 디바이스(102)의 유선 또는 무선 통신을 지원하는 다양한 공지된 기술의 이용에 의해 구현될 수 있다. 네트워크 인터페이스(214)는, 안테나, 무선 주파수(RF) 트랜시버, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 프로세서, 코더-디코더(CODEC) 칩셋, 가입자 식별 모듈(SIM) 카드, 및/또는 로컬 버퍼를 포함할 수 있지만, 이것으로 제한되는 것은 아니다. 네트워크 인터페이스(214)는, 인터넷, 인트라넷, 및/또는 셀룰러 전화 네트워크, 무선 근거리 통신망(LAN) 및/또는 도시권 통신망(MAN)과 같은 무선 네트워크 등의 네트워크와 무선 통신을 통해 통신할 수 있다. 무선 통신은, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), 광대역 코드 분할 다중 액세스(W-CDMA), 롱텀 에볼루션(LTE), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), Bluetooth, (IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등의) 무선 피델리티(Wi-Fi), VoIP(voice over Internet Protocol), Li-Fi(light fidelity), Wi-MAX, 전자 메일, 인스턴트 메시징 및/또는 단문 메시지 서비스(SMS)를 위한 프로토콜 등의, 복수의 통신 표준, 프로토콜 및 기술들 중 임의의 것을 이용할 수 있다.
도 1에서 설명된, 전자 디바이스(102)에 의해 수행되는 기능 및/또는 동작은, 프로세서(202), 배향 추정 유닛(206), 및/또는 모델 변형 유닛(208)에 의해 수행될 수 있다. 프로세서(202), 배향 추정 유닛(206), 및 모델 변형 유닛(208)에 의해 수행되는 다른 동작들은, 예를 들어, 도 3a, 도 3b, 도 3c 및 도 3d에서 더 설명된다.
도 3a, 도 3b, 도 3c, 및 도 3d는 본 개시내용의 한 실시예에 따른 제1 3D 모델로부터의 제2 3D 모델의 생성의 예를 집합적으로 나타낸다. 도 3a, 도 3b, 도 3c, 및 도 3d는, 도 1 및 2의 요소들과 연계하여 설명된다. 도 3a를 참조하면, 메모리(204)에 저장된 제1 3D 모델(302)이 도시되어 있다. 제1 3D 모델(302)은, 제1 계층적 세트의 상호연결된 뼈대들(304) 등의 디지털 리그를 포함할 수 있는 리그드 3D 모델일 수 있다. 제1 계층적 세트의 상호연결된 뼈대들(304)는 루트 뼈대(304A) 등의 하나 이상의 루트 뼈대를 포함할 수 있다. 제1 계층적 세트의 상호연결된 뼈대들(304)는, 제1 비루트 뼈대(304B) 및 제2 비루트 뼈대(304C) 등의 하나 이상의 비루트 뼈대를 더 포함할 수 있다. 제1 계층적 세트의 상호연결된 뼈대들(304)는 또한, 말단 뼈대(304D) 등의 하나 이상의 말단 뼈대를 포함할 수 있다. 또한 제1 비루트 뼈대(304B)의 뼈대 길이(306)가 도시되어 있다.
움직임-감지 디바이스(106)에 의해 결정되는 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들(308) 등의 골격 구조가 또한 도시되어 있다. 인간 등의 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들(308)의 뼈대 구조 정보는 움직임-감지 디바이스(106)로부터 수신될 수 있다. 루트-뼈대(310A), 제1 비루트 뼈대(310B), 제2 비루트 뼈대(310C), 및 말단 뼈대(310D)는, 움직임-감지 디바이스(106)로부터 뼈대 구조 정보로서 수신된 제2 계층적 세트의 상호연결된 뼈대들(308)에 도시되어 있다.
도 3a에는 제2 3D 모델(312)이 또한 도시되어 있다. 제2 3D 모델(312)은 변환된 제1 계층적 세트의 상호연결된 뼈대들(314)를 포함할 수 있다. 루트 뼈대(314A), 제1 비루트 뼈대(314B), 제2 비루트 뼈대(314C), 말단 뼈대(314D)는, 제2 3D 모델(312)의 변형된 제1 계층적 세트의 상호연결된 뼈대들(314)에서 도시되어 있다. 제1 비루트 뼈대(314B)의 뼈대 길이(316)는, 제2 3D 모델(312)의 변형된 제1 계층적 세트의 상호연결된 뼈대들(314)에서 도시되어 있다.
이 예에 따르면, 메모리(204)는 제1 3D 모델(302)을 저장하도록 구성될 수 있다. 루트 뼈대(304A)는 제1 계층적 세트의 상호연결된 뼈대들(304)의 루트 뼈대들 중 하나를 나타낼 수 있다. 제1 비루트 뼈대(304B) 및 제2 비루트 뼈대(304C)는 제1 계층적 세트의 상호연결된 뼈대들(304) 중의 2개의 비루트 뼈대를 나타낼 수 있다. 말단 뼈대(304D)는 제1 계층적 세트의 상호연결된 뼈대들(304) 중의 말단 뼈대들 중 하나를 나타낼 수 있다. 제1 계층적 세트의 상호연결된 뼈대들(304)는, 제1 3D 모델(302)의 하나 이상의 부분의, 메시 구조 등의, 표면 표현을 지원하기 위한 프레임워크를 제공할 수 있다. 제1 3D 모델(302)의 하나 이상의 부분이란, 머리 부분, 팔 부분, 다리 부분 및/또는 이와 유사한 것 등의 하나 이상의 몸체 부분을 말할 수 있다.
제1 3D 모델(302)의 제1 계층적 세트의 상호연결된 뼈대들(304)는, 제1 자세를 나타낼 수 있는 제1 세트의 뼈대 배향들에서 정의될(또는 놓여 있을) 수 있다. 제1 세트의 뼈대 배향들은, 제1 계층적 세트의 상호연결된 뼈대들(304) 중의 각각의 뼈대의 초기 안정 자세를 나타낼 수 있는 뼈대 정렬 및 방향을 포함할 수 있다. 배향 추정 유닛(206)은, 제1 3D 모델(302)의 제1 계층적 세트의 상호연결된 뼈대들(304) 중의 제1 세트의 뼈대 배향들을 결정하도록 구성될 수 있다. 배향 추정 유닛(206)은 제1 세트의 뼈대 배향들을 나타낼 수 있는 제1 세트의 사원수(quaternion)를 결정할 수 있다. 사원수란, 3D 공간에서, 객체(108) 등의, 객체 또는 객체의 하나 이상의 부분의 가능한 배향 및/또는 회전을 나타내는데 이용되는 수학적 표기법을 말한다.
프로세서(202)는, 움직임-감지 디바이스(106)로부터, 객체(108) 등의 객체의 제2 계층적 세트의 상호연결된 뼈대들(308)의 뼈대 구조 정보를 수신하도록 구성될 수 있다. 프로세서(202)는, 네트워크 인터페이스(214)를 통해, 움직임-감지 디바이스(106)로부터 뼈대 구조 정보를 실시간으로, 거의 실시간으로 또는 지연된 시간으로 수신할 수 있다. 한 실시예에 따르면, 움직임-감지 디바이스(106)는 한 시점으로부터 객체(108)의 뼈대 구조 정보를 캡처할 수 있다. 뼈대 구조 정보의 캡처시, 객체(108)는 제2 자세로 배향될 수 있다. 예를 들어, 객체(108)의 우측 프로파일 뷰는 움직임-감지 디바이스(106)의 앞에 위치할 수 있다. 따라서, 움직임-감지 디바이스(106)는, 제2 자세로 배향된 객체(108)의 우측 프로파일 뷰의 뼈대 구조 정보를 캡처할 수 있다. 달리 말하면, 움직임-감지 디바이스(106)는 단일 시점으로부터 객체(108)의 부분 깊이 데이터 등의 부분적 뼈대 구조 정보를 캡처할 수 있다.
뼈대 구조 정보는, 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들(308)들의 뼈대의 배향 정보 및 크기 정보를 포함할 수 있다. 뼈대 배향 정보는, 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들(308)들 중의 각각의 뼈대의, 고정된 전역 좌표계에서의, 적어도 뼈대 위치 정보를 포함할 수 있다. 예를 들어, 벡터 [1, 1, 0]은 제2 계층적 세트의 상호연결된 뼈대들(308)들 중의 한 뼈대의 뼈대 위치를 나타낼 수 있다. 뼈대 배향 정보는, 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들(308)의, 고정된 전역 좌표계에서의, 절대 뼈대 배향을 더 포함할 수 있다. 뼈대 배향은 제2 세트의 사원수로서 표현될 수 있다. 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들(308)는, 하나 이상의 루트 뼈대, 하나 이상의 비루트 뼈대, 및 하나 이상의 말단 뼈대를 더 포함할 수 있다. 따라서, 뼈대 구조 정보는, 제2 계층적 세트의 상호연결된 뼈대들(308)의, (루트 뼈대(314A) 등의) 하나 이상의 루트 뼈대, (제1 비루트 뼈대(314B), 및 제2 비루트 뼈대(314C) 등의) 하나 이상의 비루트 뼈대, 및 (말단 뼈대(314D) 등의) 하나 이상의 말단 뼈대와 연관된 배향 및 크기 정보를 포함할 수 있다.
움직임-감지 디바이스(106)로부터 뼈대 구조 정보를 수신한 후, 모델 변형 유닛(208)은, 제1 3D 모델(302)에서의 제1 계층적 세트의 상호연결된 뼈대들(304)의 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정하도록 구성될 수 있다. 달리 말하면, 제1 3D 모델(302)의 제1 자세는 수신된 뼈대 구조 정보에 기초하여 객체(108)의 제2 자세와 유사하도록 수정될 수 있다. 수정을 위해, 모델 변형 유닛(208)은, 제2 계층적 세트의 상호연결된 뼈대들(308)들의 수신된 뼈대 구조 정보에 기초하여, 제1 3D 모델(302)에서의 제1 계층적 세트의 상호연결된 뼈대들(304)들에 대한 상대적 뼈대 배향을 계산하도록 구성될 수 있다. 달리 말하면, 모델 변형 유닛(208)은, 제1 3D 모델(302)에서의 제1 계층적 세트의 상호연결된 뼈대들(304)의, 하나 이상의 루트 뼈대, 하나 이상의 비루트 뼈대, 및 하나 이상의 말단 뼈대의 상대적 뼈대 배향을 계산하도록 구성될 수 있다. 상대적 뼈대 배향의 계산의 예가, 예를 들어, 도 3b 내지 도 3d에서 제공된다.
모델 변형 유닛(208)은 또한, 제1 3D 모델(302)의 제1 계층적 세트의 상호연결된 뼈대들(304)의 움직임에 대한 제약들의 세트를 결정하도록 구성될 수 있다. 모델 변형 유닛(208)은 제2 세트의 뼈대 배향들을 안정화시키는 제약들의 세트를 결정할 수 있다. 달리 말하면, 모델 변형 유닛(208)은, 제1 계층적 세트의 상호연결된 뼈대들(304)의 움직임에 관해 제약들의 세트를 적용하여 제2 3D 모델(312)에서 현실적 움직임을 생성할 수 있다. 예를 들어, 모델 변형 유닛(208)은, 제2 세트의 배향들 중의 손목 뼈의 대응하는 배향에 기초하여, 제1 계층적 세트의 상호연결된 뼈대들(304)에서, 손목 뼈 등의, 뼈대의 하나 이상의 3D(x, y 및 z) 좌표를 결정할 수 있다. "Y"축 등의 대응 회전축에서의 손목 뼈의 움직임에 대해 제약이 결정될 수 있다. 모델 변형 유닛(208)은, "Y"축 방향(즉, 손목 뼈의 회전축)에서 손목 뼈의 움직임에 대해 "0도" 등의 제약을 설정할 수 있다. 한 실시예에 따르면, 모델 변형 유닛(208)은 또한, 결정된 제약들의 세트에 기초하여, 제1 3D 모델(302)의 제1 계층적 세트의 상호연결된 뼈대들(304)의 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정할 수 있다.
모델 변형 유닛(208)은 또한, 제1 3D 모델(302)의 제1 계층적 세트의 상호연결된 뼈대들(304)들 중의 하나 이상의 뼈대의 크기를 변환하여 제2 3D 모델(312)을 생성하도록 구성될 수 있다. 모델 변형 유닛(208)은, 수신된 뼈대 구조 정보에 기초하여, 제1 3D 모델(302)에서의 제1 계층적 세트의 상호연결된 뼈대들(304) 내의 하나 이상의 뼈대의 크기를 변환할 수 있다. 모델 변형 유닛(208)은, 뼈대 구조 정보 내의 제2 계층적 세트의 상호연결된 뼈대들(308)의 크기 정보를 이용하여 제1 계층적 세트의 상호연결된 뼈대들(304) 내의 하나 이상의 뼈대의 크기를 변환할 수 있다. 도시된 바와 같이, 모델 변형 유닛(208)은 제2 계층적 세트의 상호연결된 뼈대들(308) 중의 제1 비루트 뼈대(310B)의 크기 정보에 기초하여 제1 비루트 뼈대(304B)의 뼈 길이(306)를 뼈 길이(316)로 자동으로 감소시킬 수 있다. 유사하게, 모델 변형 유닛(208)은, 제2 계층적 세트의 상호연결된 뼈대들(308) 중의 대응하는 하나 이상의 뼈대의 대응하는 크기 정보에 기초하여, 제1 계층적 세트의 상호연결된 뼈대들(304)들 중의 다른 하나 이상의 뼈대의 크기를 변환할 수 있다. 제2 3D 모델(312)은 제2 세트의 배향들에서 정의된 변형된 제1 계층적 세트의 상호연결된 뼈대들을 포함할 수 있다. 제2 3D 모델(312)은 움직임-감지 디바이스(106)에 의해 캡처된 객체(108)의 자세 및 구조와 유사할 수 있다.
제2 3D 모델(312)의 생성은, 제1 3D 모델(302)의 하나 이상의 부분의 표면 표현의 변형을 더 포함할 수 있다. 모델 변형 유닛(208)은, 제2 세트의 뼈대 배향들 및 변형된 제1 계층적 세트의 상호연결된 뼈대들(314)에 기초하여, 제1 3D 모델(302)의 하나 이상의 부분의 표면 표현을 변형시키도록 구성될 수 있다. 도시된 바와 같이, 제2 비루트 뼈대(304C)는, 뼈대 구조 정보 내의 제2 비루트 뼈대(310C)의 뼈대 배향 정보에 기초하여, 최종 배향으로의 초기 배향의 수정으로 인해 제2 비루트 뼈대(314C)로 수정될 수 있다. 이 수정으로 인해, 제2 비루트 뼈대(304C)와 연관된 표면 표현은 제2 3D 모델(312)에서의 제2 비루트 뼈대(314C)의 최종 배향에 따라 변형될 수 있다.
프로세서(202)는 또한, 제2 세트의 배향들 및 변형된 제1 계층적 세트의 상호연결된 뼈대들(314)에 따라 생성된 제2 3D 모델(312)을 디스플레이 디바이스(110) 상에서 애니메이트하도록 구성될 수 있다. 제2 3D 모델(312)의 애니메이션은, 움직임-감지 디바이스(106)로부터 실시간, 거의 실시간 또는 지연된 시간으로 수신된 뼈대 구조 정보에 기초하여, 제1 3D 모델(302)의 실시간, 거의 실시간 또는 지연된 시간의 수정 및 변환을 포함할 수 있다. 생성된 제2 3D 모델(312)의 애니메이션은, 생성된 제2 3D 모델(312)을 디스플레이 디바이스(110) 상에서 복수의 시점으로부터 보여질 수 있게 할 수 있다. 복수의 시점은, 움직임-감지 디바이스(106)가 객체(108)의 제2 자세를 캡처했을 수 있는 하나의 시점을 포함할 수 있다. 생성된 제2 3D 모델(312)은, 전자 디바이스(102) 등의 장치에게 어떠한 아티팩트도 없이 리그드 3D 모델을 디스플레이하는 능력을 제공할 수 있다. 움직임-감지 디바이스(106)에 의해 추적되는 사용자(114) 등의 사용자의 실제 움직임은, 제1 3D 모델(302)에서의 제1 계층적 세트의 상호연결된 뼈대들(304)의 수정 및 변환의 결과로서 생성된 제2 3D 모델(312)에 의해 모방될 수 있다. 생성된 제2 3D 모델(312)은 화상 회의에서 이용되어 화상 회의 시스템의 2개의 디바이스들 사이의 일반 비디오 공유 대신에 사람의 리그드 3D 모델을 현실적 움직임으로 디스플레이할 수 있다. 또한, 생성된 제2 3D 모델(312)은, 예를 들어 도 5에 설명된 바와 같이, 가상 현실 기반 원격현장감 시스템(telepresence system)에서 가상 존재를 생성하는데 이용될 수 있다. 생성된 제2 3D 모델(312)은 또한, 예를 들어 도 6에 설명된 바와 같이 게임 시스템에서 응용을 발견할 수 있다.
도 3b를 참조하면, 루트 뼈대(304A)의 안정 자세 뼈대 배향(318), 제2 계층적 세트의 상호연결된 뼈대들(308) 중의 루트 뼈대(310A)의 절대 뼈대 배향(320), 및 루트 뼈대(304A)의 상대적 뼈대 배향(322)이 도시되어 있다. 배향 추정 유닛(206)은 루트 뼈대(304A)의 안정 자세 뼈대 배향(318)을 결정할 수 있다. 루트 뼈대(304A)의 안정 자세 뼈대 배향(318)은, 제1 3D 모델(302)의 제1 계층적 세트의 상호연결된 뼈대들(304)의 제1 세트의 뼈대 배향들에 포함될 수 있다. 루트 뼈대(304A)의 안정 자세 뼈대 배향(318)은 안정 자세 사원수(Ｒ)로 표현될 수 있다. 또한, 움직임-감지 디바이스(106)로부터 수신된 뼈대 구조 정보는, 제2 계층적 세트의 상호연결된 뼈대들(308) 중의 루트 뼈대(310A)의 절대 뼈대 배향(320)에 관한 뼈대 배향 정보를 포함할 수 있다. 루트 뼈대(310A)의 절대 뼈대 배향(320)은 절대 사원수(Ｑ)로 표현될 수 있다.
배향 추정 유닛(206)은, 제2 계층적 세트의 상호연결된 뼈대들(308) 중의 루트 뼈대(310A)에 대한 루트 뼈대(304A)의 상대적 뼈대 배향(322)을 계산할 수 있다. 루트 뼈대(304A)의 상대적 뼈대 배향(322)의 계산을 위해, 배향 추정 유닛(206)은, 아래에 도시된 바와 같이, 수학식 (1)의 이용에 의해 안정 자세 사원수(Ｒ)와 절대 사원수(Ｑ) 사이의 차이(Ｗ)를 결정할 수 있다 :
Figure 112018011595374-pat00001
여기서, Ｒ-1은 안정 자세 사원수(Ｒ)의 켤레를 나타낸다.
차이(Ｗ)는 루트 뼈대(304A)의 상대적 뼈대 배향(322)을 나타낼 수 있다. 모델 변형 유닛(208)은 또한, 루트 뼈대(304A)의 상대적 뼈대 배향(322)을 루트 뼈대(304A)의 안정 자세 뼈대 배향(318)에 적용할 수 있다. 상대적 뼈대 배향(322)을 안정 자세 뼈대 배향(318)에 적용하면 안정 자세 뼈대 배향(318)을 절대 뼈대 배향(320)으로 수정할 수 있다. 안정 자세 뼈대 배향(318)을 절대 뼈대 배향(320)으로 수정하는 것은 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정하는 것을 설명하는 예이다.
모델 변형 유닛(208)은 또한, 루트 뼈대(304A)에 대한 제약들의 세트를 결정하여 제2 세트의 뼈대 배향들에서의 대응하는 배향을 안정화하도록 구성될 수 있다. 한 실시예에 따르면, 모델 변형 유닛(208)은 대응하는 제약에 기초하여 루트 뼈대(310A)의 절대 뼈대 배향(320)을 업데이트할 수 있다. 예를 들어, 뼈대 구조 정보 내의 루트 뼈대(310A)는 실제 인간에게는 불가능할 수 있는 비현실적 움직임과 연관될 수 있다. 따라서, 모델 변형 유닛(208)은 루트 뼈대(310A)의 움직임에 대한 제약을 결정할 수 있다. 또한, 결정된 제약에 기초하여, 배향 추정 유닛(206)은 움직임을 현실적으로 만들기 위해 절대 뼈대 배향(320)을 업데이트할 수 있다. 한 실시예에 따르면, 배향 추정 유닛(206)은 안정 자세 사원수(Ｒ)와 업데이트된 절대 뼈대 배향(320)과 연관된 업데이트된 절대 사원수(Ｑ) 사이의 차이(Ｗ)를 재계산할 수 있다. 한 실시예에 따르면, 모델 변형 유닛(208)은, 배향 추정 유닛(206)과 연계하여, 제1 비루트 뼈대(304B)에 대해 계산된 다른 하나 이상의 비루트 뼈대의 상대적 뼈대 배향을 계산할 수 있다.
도 3c를 참조하면, 제1 비루트 뼈대(304B)의 제1 안정 자세 뼈대 배향(324A), 제1 비루트 뼈대(304B)의 제2 안정 자세 뼈대 배향(324B), 및 제1 비루트 뼈대(304B)의 부모 뼈대(도 3a)의 안정 자세 뼈대 배향(326)이 도시되어 있다. 또한, 제1 비루트 뼈대(310B)의 절대 뼈대 배향(328), 제1 비루트 뼈대(310B)의 부모 뼈대의 절대 뼈대 배향(330), 및 제1 비루트 뼈대(304B)의 상대적 뼈대 배향(332)도 역시 도시되어 있다.
배향 추정 유닛(206)은 제1 비루트 뼈대(304B)의 제1 안정 자세 뼈대 배향(324A)을 결정할 수 있다. 제1 비루트 뼈대(304B)의 제1 안정 자세 뼈대 배향(324A)은 제1 3D 모델(302)의 제1 계층적 세트의 상호연결된 뼈대들(304)의 제1 세트의 뼈대 배향들에 포함될 수 있다. 제1 안정 자세 뼈대 배향(324A)은 제1 안정 자세 사원수(Ｒc)로 표현될 수 있다. 또한, 움직임-감지 디바이스(106)로부터 수신된 뼈대 구조 정보는 제2 계층적 세트의 상호연결된 뼈대들(308) 중의 제1 비루트 뼈대(310B)의 절대 뼈대 배향(328)에 관한 뼈대 배향 정보를 포함할 수 있다. 제2 계층적 세트의 상호연결된 뼈대들(308) 중의 제1 비루트 뼈대(310B)는, 제1 3D 모델(302)의 제1 계층적 세트의 상호연결된 뼈대들(304) 중의 제1 비루트 뼈대(304B)에 대응할 수 있다. 절대 뼈대 배향(328)은 절대 사원수(Ｑc)로 표현될 수 있다.
배향 추정 유닛(206)은 제1 비루트 뼈대(304B)의 부모 뼈대의 안정 자세 뼈대 배향(326)을 결정할 수 있다. 제1 비루트 뼈대(304B)의 부모 뼈대의 안정 자세 뼈대 배향(326)은 3D 모델(302)의 제1 계층적 세트의 상호연결된 뼈대들(304)의 제1 세트의 뼈대 배향들에 포함될 수 있다. 제1 비루트 뼈대(304B)의 부모 뼈대의 안정 자세 뼈대 배향(326)은 안정 자세 사원수(Ｒp)로 표현될 수 있다. 움직임-감지 디바이스(106)로부터 수신된 뼈대 구조 정보는 제2 계층적 세트의 상호연결된 뼈대들(308) 중의 제1 비루트 뼈대(310B)의 부모 뼈대의 절대 뼈대 배향(330)에 관한 뼈대 배향 정보를 더 포함할 수 있다. 제2 계층적 세트의 상호연결된 뼈대들(308) 중의 제1 비루트 뼈대(310B)의 부모 뼈대의 절대 뼈대 배향(330)은 절대 사원수(Ｑp)로 표현될 수 있다.
배향 추정 유닛(206)은, 제2 계층적 세트의 상호연결된 뼈대들(308) 중의 제1 비루트 뼈대(310B)에 대한 제1 계층적 세트의 상호연결된 뼈대들(304) 중의 제1 비루트 뼈대(304B)의 상대적 뼈대 배향(332)을 계산할 수 있다. 제1 비루트 뼈대(304B)의 상대적 뼈대 배향(332)의 계산을 위해, 배향 추정 유닛(206)은, 아래에 도시된 바와 같이, 수학식 (2)의 이용에 의해, 안정 자세 사원수(Ｒp)과 제1 안정 자세 사원수(Ｒp) 사이의 제1 차이(Ｗ1)를 결정할 수 있다.
Figure 112018011595374-pat00002
여기서, Ｒp -1은 제1 비루트 뼈대(304B)(자식 뼈대)의 부모 뼈대의 안정 자세 사원수(Ｒp)의 켤레를 나타내고; Ｒc는 (제1 비루트 뼈대(304B) 등의) 자식 뼈대의 제1 안정 자세 사원수(Ｒc)를 나타낸다.
배향 추정 유닛(206)은 또한, 아래에 도시된 바와 같이, 수학식 (3)의 이용에 의해, 절대 사원수(Ｑp)과 절대 사원수(Ｑc) 사이의 제2 차이(Ｗ2)를 결정할 수 있다.
Figure 112018011595374-pat00003
여기서, Ｑp -1은 절대 사원수(Ｑp)의 켤레를 나타낸다.
배향 추정 유닛(206)은 또한, 아래에 도시된 바와 같이, 수학식 (4)의 이용에 의해, 제1 차이(Ｗ1)와 제2 차이(Ｗ2) 사이의 제3 차이(Ｗ3)를 더 결정할 수 있다.
Figure 112018011595374-pat00004
여기서, (Ｒp -1Ｒc)-1은 제1 차이(Ｗ1)의 켤레를 나타낸다.
제3 차이(Ｗ3)는 제1 비루트 뼈대(304B)의 상대적 뼈대 배향(332)을 나타낼 수 있다. 모델 변형 유닛(208)은 또한, 상대적 뼈대 배향(332)을 제1 비루트 뼈대(304B)의 제2 안정 자세 뼈대 배향(324B)에 적용할 수 있다. 상대적 뼈대 배향(332)의 적용은, 제1 비루트 뼈대(304B)의 부모 뼈대가 안정 자세 뼈대 배향(326)으로부터 절대 뼈대 배향(330)으로 이동하는 반면 제1 비루트 뼈대(304B)는 제1 안정 자세 뼈대 배향(324A)로 유지되는 경우에 발생할 수 있다. 제2 안정 자세 뼈대 배향(324B)은 제1 비루트 뼈대(304B)의 안정 자세 뼈대 배향을 나타낼 수 있다. 이러한 시나리오에서, 제1 비루트 뼈대(304B)의 제1 안정 자세 뼈대 배향(324A)은 제2 안정 자세 뼈대 배향(324B)이라고 지칭될 수 있다. 상대적 뼈대 배향(332)을 제2 안정 자세 뼈대 배향(324B)에 적용하면 제2 안정 자세 뼈대 배향(324B)을 절대 뼈대 배향(328)으로 수정할 수 있다. 절대 뼈대 배향(330)으로의 제2 안정 자세 뼈대 배향(324B)의 수정은 제2 세트의 뼈대 배향들로의 제1 세트의 뼈대 배향들의 수정의 한 예이다.
모델 변형 유닛(208)은 또한, 제1 비루트 뼈대(304B) 및 부모 뼈대에 대한 제약들의 세트를 결정하여 제2 세트의 뼈대 배향들 중의 대응하는 배향을 안정화하도록 구성될 수 있다. 한 실시예에 따르면, 모델 변형 유닛(208)은, 대응하는 제약에 기초하여, 제1 비루트 뼈대(304B)의 부모 뼈대의 절대 뼈대 배향(330)을 업데이트할 수 있다. 예를 들어, 뼈대 구조 정보 내의 제1 비루트 뼈대(310B)는 실제 인간에게는 불가능할 수 있는 비현실적 움직임을 가질 수 있다. 따라서, 모델 변형 유닛(208)은 제1 비루트 뼈대(310B) 및 대응하는 부모 뼈대의 움직임에 대한 제약을 결정할 수 있다. 또한, 결정된 제약에 기초하여, 배향 추정 유닛(206)은 제1 비루트 뼈대(304B)의 부모 뼈대의 절대 뼈대 배향(330)을 업데이트할 수 있다. 또한, 움직임을 현실적으로 만들기 위해, 배향 추정 유닛(206)은 대응하는 뼈대의 업데이트된 절대 뼈대 배향(330)에 기초하여 제1 비루트 뼈대(304B)의 절대 뼈대 배향(328)을 업데이트할 수 있다.
한 실시예에 따르면, 배향 추정 유닛(206)은, 제1 비루트 뼈대(304B)의 업데이트된 절대 뼈대 배향(328)과 대응하는 부모 뼈대의 절대 뼈대 배향(330)에 기초하여, 제1 차이(Ｗ1), 제2 차이(Ｗ2), 및 제3 차이(Ｗ3)를 재계산할 수 있다. 모델 변형 유닛(208)은, 배향 추정 유닛(206)과 연계하여, 제1 비루트 뼈대(304B)에 대해 계산된 다른 하나 이상의 비루트 뼈대의 상대적 뼈대 배향을 계산할 수 있다.
도 3d에는 고정된 전역 좌표계의 제1 축(334A), 제2 축(334B), 제3 축(334C)이 도시되어 있다. 또한, 제1 3D 모델(302)의 말단 뼈대(304D)의 뼈대 위치(336) 및 제2 계층적 세트의 상호연결된 뼈대들(308) 중의 말단 뼈대(310D)의 뼈대 위치(338)가 도시되어 있다. 고정된 전역 좌표계에서, 제1 축(334A)은 Y 축을 나타낼 수 있고, 제2 축(334B)은 X 축을 나타낼 수 있고, 제3 축(334C)은 Z 축을 나타낼 수 있다.
배향 추정 유닛(206)은 고정된 전역 좌표계에서 말단 뼈대(304D)의 뼈대 위치(336)를 결정하도록 구성될 수 있다. 배향 추정 유닛(206)은 제1 3D 모델(302)에서 말단 뼈대(304D)의 관절 위치를 결정할 수 있다. 배향 추정 유닛(206)은, 말단 뼈대(304D)의 관절 위치와 연관된 제1 세트의 배향들 내의 배향 정보를 이용하여 말단 뼈대(304D)의 뼈대 위치(336)를 결정할 수 있다. 뼈대 위치(336)란, 말단 뼈대(304D)의 위치를 나타내는, 좌표로서 위치를 나타내는 벡터 등의, 벡터를 말할 수 있다. 배향 추정 유닛(206)은 또한, 뼈대 구조 정보로부터 획득된 뼈대 위치 정보에 기초하여, 말단 뼈대(310D)의 뼈대 위치(338)를 식별할 수 있다.
배향 추정 유닛(206)은 또한, 말단 뼈대(304D)의 결정된 뼈대 위치(336) 및 말단 뼈대(310D)의 식별된 뼈대 위치(338)에 기초하여, 말단 뼈대(310D)의 절대 뼈대 배향을 결정할 수 있다. 말단 뼈대(310D)의 절대 뼈대 배향을 결정하기 위해, 배향 추정 유닛(206)은, 아래에 도시된 바와 같이, 수학식 (5)의 이용에 의해, 말단 뼈대(310D)의 회전축을 결정할 수 있다 :
Figure 112018011595374-pat00005
여기서, ν는 말단 뼈대(310D)의 회전축을 나타내고;
Figure 112018011595374-pat00006
은 말단 뼈대(310D)의 뼈대 위치(338)와 연관된 벡터를 나타내며;
Figure 112018011595374-pat00007
는 말단 뼈대(304D)의 뼈대 위치(336)와 연관된 또 다른 벡터를 나타낸다.
배향 추정 유닛(206)은 또한, 아래에 도시된 바와 같이, 수학식 (6)을 이용하여, 말단 뼈대(310D)의 회전 각도(θ)를 결정할 수 있다 :
Figure 112018011595374-pat00008
여기서, θ는 말단 뼈대(310D)의 회전 각도를 나타내고;
Figure 112018011595374-pat00009
은 말단 뼈대(310D)의 뼈대 위치(338)와 연관된 벡터를 나타내며;
Figure 112018011595374-pat00010
는 말단 뼈대(304D)의 뼈대 위치(336)와 연관된 다른 벡터를 나타낸다.
회전축(ν) 및 회전 각도(θ)를 결정한 후, 배향 추정 유닛(206)은, 아래에 도시된 바와 같이, 수학식 (7)을 이용하여, 말단 뼈대(310D)의 절대 뼈대 배향을 결정하도록 구성될 수 있다 :
Figure 112018011595374-pat00011
여기서, q는, 말단 뼈대(310D)의 절대 뼈대 배향을 나타내는 사원수를 지칭한다.
말단 뼈대(310D)의 절대 뼈대 배향을 결정한 후에, 배향 추정 유닛(206)은, 제2 계층적 세트의 상호연결된 뼈대들(308)에서, 말단 뼈대(310D)에 대한 말단 뼈대(304D)의 상대적 뼈대 배향을 계산할 수 있다. 배향 추정 유닛(206)은, 말단 뼈대(310D)의 절대 뼈대 배향 및 말단 뼈대(304D)의 제1 세트의 배향들 중의 안정 자세 뼈대 배향의 이용에 의해 말단 뼈대(304D)의 상대적 뼈대 배향을 계산할 수 있다. 배향 추정 유닛(206)은, 제1 비루트 뼈대(304B)의 상대적 뼈대 배향을 계산하기 위해, 도 3c에서 설명된 바와 유사하게 말단 뼈대(304D)의 상대적 뼈대 배향을 계산할 수 있다.
모델 변형 유닛(208)은 또한, 배향 추정 유닛(206)과 연계하여, 도 3c에서 앞서 설명된 제1 비루트 뼈대(304B)에 대한 제약을 결정하는 방법과 동일한 방법을 이용하여, 말단 뼈대(304D)와 연관된 배향을 안정화하기 위한 제약을 결정할 수 있다. 한 실시예에 따르면, 모델 변형 유닛(208)은, 배향 추정 유닛(206)과 연계하여, 말단 뼈대(304D)에 대해 계산된 다른 하나 이상의 말단 뼈대의 상대적 뼈대 배향을 계산할 수 있다.
도 4는, 본 개시내용의 한 실시예에 따른, 시점 변환을 위한 현실적 리그드 3D 모델 애니메이션의 생성을 위한 개시된 장치 및 방법의 구현을 위한 제1 예시적인 시나리오를 나타낸다. 도 4는, 도 1, 도 2 및 도 3a 내지 도 3d의 요소들과 연계하여 설명된다. 도 4를 참조하면, 메모리(204)에 저장된 제1 리그드 3D 모델(402A) 등의 복수의 리그드 3D 모델(402)이 도시되어 있다. 제1 리그드 3D 모델(402A)은 제1 세트의 배향들(404B)에서 정의된 제1 계층적 세트의 상호연결된 뼈대들(404A)를 포함할 수 있다.
또한, 객체(108) 등의 동일한 객체의 골격 구조의 제1 자세(406A) 및 제2 자세(406B) 등의 복수의 자세(406)가 도시되어 있다. 객체(108)의 골격 구조는 제2 계층적 세트의 상호연결된 뼈대들(308)를 포함할 수 있다. 제2 계층적 세트의 상호연결된 뼈대들(308)의 제1 자세(406A)는 제1 뼈대 구조 정보와 연관될 수 있다. 또한, 제2 계층적 세트의 상호연결된 뼈대들(308)의 제2 자세(406B)는 제2 뼈대 구조 정보와 연관될 수 있다. 또한, 제2 세트의 뼈대 배향들(412A) 및 제3 세트의 뼈대 배향들(412B) 등의, 상이한 뼈대 배향들의 변형된 제1 계층적 세트의 상호연결된 뼈대들(410)의 제2 리그드 3D 모델(408)이 도시되어 있다. 또한, 전자 디바이스(102), 움직임-감지 디바이스(106), 및 디스플레이 디바이스(110)가 도시되어 있다.
제1 예시적인 시나리오에 따르면, 전자 디바이스(102)는 움직임-감지 디바이스(106)로부터 제1 뼈대 구조 정보를 수신할 수 있다. 움직임-감지 디바이스(106)는, 하나의 시점으로부터, 사람 등의 객체(108)의 제1 자세(406A)를 캡처했을 수 있다. 제1 뼈대 구조 정보는 제1 자세(406A)의 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들의 뼈대 배향 정보 및 크기 정보를 포함할 수 있다.
전자 디바이스(102)는, 제1 리그드 3D 모델(402A)의 제1 계층적 세트의 상호연결된 뼈대들(404A)의 제1 세트의 뼈대 배향들(404B)을 움직임-감지 디바이스(106)로부터 수신된 제1 뼈대 구조 정보에 기초하여 제2 세트의 뼈대 배향들(412A)으로 수정할 수 있다. 제2 세트의 뼈대 배향들(412A)은 객체(108)의 제1 자세(406A)를 나타낼 수 있다. 또한, 전자 디바이스(102)는 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들(404A)의 크기 정보에 기초하여, 제1 리그드 3D 모델(402A)의 제1 계층적 세트의 상호연결된 뼈대들(404A)의 크기를 변환할 수 있다. 수정되고 변환된 제1 리그드 3D 모델(402A)은 객체(108)의 제1 자세(406A)와 유사한 제2 리그드 3D 모델(408)에 대응할 수 있다.
수정 및 변환 후에, 전자 디바이스(102)는 제2 리그드 3D 모델(408)을 디스플레이 디바이스(110) 상에서 애니메이트할 수 있다. 객체(108)의 제2 리그드 3D 모델(408)은 애플리케이션 인터페이스(212)를 통해 사용자(114) 등의 사용자가 복수의 시점으로부터 보여질 수 있다.
객체(108)가 제1 자세(406A)를 제2 자세(406B)로 변경하는 경우, 움직임-감지 디바이스(106)는 객체(108)의 제2 자세(406B)를 캡처하고 캡처된 제2 자세(406B)에 기초하여 제2 뼈대 구조 정보를 결정할 수 있다. 전자 디바이스(102)는 움직임-감지 디바이스(106)로부터 제2 뼈대 구조 정보를 실시간 또는 거의 실시간으로 수신할 수 있다. 따라서, 전자 디바이스(102)는 변환된 제1 계층적 세트의 상호연결된 뼈대들(410)의 제2 세트의 뼈대 배향들(412A)을 제3 세트의 뼈대 배향들(412B)으로 수정할 수 있다. 제3 세트의 뼈대 배향들(412B)은 객체(108)의 제2 자세(406B)를 나타낼 수 있다. 그 다음, 전자 디바이스(102)는, 제2 뼈대 구조 정보에 기초하여, 애플리케이션 인터페이스(212)를 통해 제2 리그드 3D 모델(408)을 디스플레이 디바이스(110) 상에서 애니메이트할 수 있다.
한 실시예에 따르면, 전자 디바이스(102)는 복수의 객체와 연관된 뼈대 구조 정보를 수신할 수 있다. 이러한 시나리오에서, 전자 디바이스(102)는 복수의 객체에 대한 복수의 제2 리그드 3D 모델을 애니메이트할 수 있다. 복수의 객체에 대한 복수의 제2 리그드 3D 모델의 생성의 예가 도 7에서 설명된다.
도 5는, 본 개시내용의 한 실시예에 따른, 시점 변환을 위한 현실적 리그드 3D 모델 애니메이션의 생성을 위한 개시된 장치 및 방법의 구현을 위한 제2 예시적인 시나리오를 나타낸다. 도 5는, 도 1 내지 도 4의 요소들과 연계하여 설명된다. 도 5를 참조하면, 제1 위치(502) 및 제2 위치(504)가 도시되어 있다. 또한, 제1 자세(506A) 및 제2 자세(506B)의 제1 인간(506), 제1 자세(508A) 및 제2 자세(508B)의 제2 리그드 3D 모델(508), 및 제2 인간(510)이 도시되어 있다. 또한, 전자 디바이스(102), 무선 네트워크(512), 및 애플리케이션 인터페이스(212)가 도시되어 있다.
제2 예시적인 시나리오에 따르면, 제1 인간(506)은 객체(108)에 대응할 수 있다. 무선 네트워크(512)는 통신 네트워크(112)에 대응할 수 있다. 움직임-감지 디바이스(106)는 '파워 온' 상태에 있을 수 있다. 제1 인간(506)은 제1 위치(502)에 존재할 수 있다. 제1 위치(502)에는 제1 인간(506)의 하나 이상의 자세를 캡처하는 움직임-감지 디바이스(106)가 장착될 수 있다. 예를 들어, 움직임-감지 디바이스(106)는 하나의 시점으로부터 제1 인간(506)의 제1 자세(506A)를 캡처할 수 있다. 제1 자세(506A)의 캡처 후, 움직임-감지 디바이스(106)는 제1 자세(506A)에서 캡처된 제1 인간(506)의 뼈대 구조 정보를 결정할 수 있다. 움직임-감지 디바이스(106)는, 무선 네트워크(512)를 통해, 제1 인간(506)의 결정된 뼈대 구조 정보를 전자 디바이스(102)에 전송할 수 있다.
뼈대 구조 정보를 수신한 후, 전자 디바이스(102)는 메모리(204)에 저장된 제1 리그드 3D 모델(미도시)을 수정 및 변형하여 제1 자세(508A)의 제2 리그드 3D 모델(508)을 애니메이트할 수 있다. 제1 리그드 3D 모델로부터의 제2 리그드 3D 모델의 생성의 예가 도 3a 내지 도 3d에서 설명된다. 제2 리그드 3D 모델(508)의 제1 자세(508A)는 제1 인간(506)의 제1 자세(506A)와 동기화될 수 있다. 전자 디바이스(102)는, 애플리케이션 인터페이스(212)를 통해, 제1 자세(508A)의 제2 리그드 3D 모델(508)을 애니메이트할 수 있다. 애플리케이션 인터페이스(212)는, 제2 인간(510)이 복수의 시점으로부터 제1 자세(508A)의 제2 리그드 3D 모델(508)을 보는 것을 허용할 수 있는 3D 그래픽 환경을 프리젠팅할 수 있다. 제2 인간(510)은 애플리케이션 인터페이스(212)와 상호작용하여 제1 3D 리그드 모델의 초기 안정 자세로부터 제1 자세(508A)로 애니메이트되는 제2 리그드 3D 모델(508)의 복수의 시점을 볼 수 있다.
또한, 제1 인간(506)이 제1 자세(506A)를 제2 자세(506B)로 변경하는 경우, 전자 디바이스(102)는 애플리케이션 인터페이스(212)를 통해 제2 리그드 3D 모델(508)을 제2 자세(508B)로 다시 애니메이트할 수 있다. 따라서, 전자 디바이스(102)는 제2 리그드 3D 모델(508)의 제1 자세(508A)를 제2 자세(508B)로 변경할 수 있다. 제2 리그드 3D 모델(508)의 제2 자세(508B)는 제1 인간(506)의 제2 자세(506B)와 동기화될 수 있다. 제2 인간(510)은, 그 움직임이 제1 인간(506)의 움직임과 동기화되는, 애니메이트된 제2 리그드 3D 모델(508)을 볼 수 있다. 애플리케이션 인터페이스(212)를 통한 제1 자세(508A) 및 제2 자세(508B)의 제2 리그드 3D 모델(508)의 디스플레이는, 제2 위치(504)에서 제1 인간(506)의 가상 존재를 생성할 수 있다.
한 실시예에 따르면, 전자 디바이스(102)의 동작은 서버(104)에 의해 구현될 수 있다. 한 실시예에 따르면, 전자 디바이스(102)는, 디스플레이 디바이스(110) 또는 복수의 제2 위치(미도시)에 존재하는 복수의 제2 사용자(미도시)와 연관된 복수의 디스플레이 디바이스(미도시) 상에 애플리케이션 인터페이스(212)를 렌더링할 수 있다.
도 6은, 본 개시내용의 한 실시예에 따른, 시점 변환을 위한 현실적 리그드 3D 모델 애니메이션의 생성을 위한 개시된 장치 및 방법의 구현을 위한 제3 예시적인 시나리오를 나타낸다. 도 6은, 도 1 내지 도 5의 요소들과 연계하여 설명된다. 도 6을 참조하면, 제1 자세(602A) 및 제2 자세(602B)의 인간(602), 제1 자세(604A) 및 제2 자세(604B)의 제2 리그드 3D 모델(604)이 도시되어 있다. 또한, 전자 디바이스(102), 디스플레이 디바이스(110), 애플리케이션 인터페이스(212), 및 전자 디바이스(102), 움직임-감지 디바이스(106), 및 디스플레이 디바이스(110)가 서로 통신할 수 있는 무선 네트워크(606)가 도시되어 있다.
제3 예시적인 시나리오에 따르면, 인간(602)은 객체(108)에 대응할 수 있다. 무선 네트워크(606)는 통신 네트워크(112)에 대응할 수 있다. 움직임-감지 디바이스(106)는 '파워 온' 상태에 있을 수 있다. 제3 예시적인 시나리오는 게임 환경을 나타낼 수 있다. 움직임-감지 디바이스(106)는 인간(602)의 하나 이상의 자세를 캡처할 수 있다. 예를 들어, 도시된 바와 같이, 움직임-감지 디바이스(106)는 하나의 시점으로부터 인간(602)의 제1 자세(602A)를 캡처할 수 있다. 움직임-감지 디바이스(106)는 또한, 무선 네트워크(606)를 통해 전자 디바이스(102)에 전송될 수 있는, 제1 자세(602A)의 인간(602)의 뼈대 구조 정보를 결정할 수 있다. 따라서, 수신된 뼈대 구조 정보에 기초하여, 전자 디바이스(102)는 (메모리(204)에 미리저장된) 초기 안정 자세에서 제1 리그드 3D 모델을 수정 및 변형하여 제2 리그드 3D 모델(604)을 생성할 수 있다. 제2 리그드 3D 모델(604)은 변형된 제1 리그드 3D 모델일 수 있다. 제2 리그드 3D 모델(604)은 인간(602)의 캡처된 제1 자세(602A)와 유사한 제1 자세(604A)로 애니메이트될 수 있다. 제2 리그드 3D의 생성의 예가 도 3a 내지 도 3d에서 설명된다. 애니메이션은 애플리케이션 인터페이스(212)를 통해 디스플레이 디바이스(110) 상에 디스플레이될 수 있다.
또한, 인간(602)이 제1 자세(602A)를 제2 자세(602B)로 변경하는 경우, 움직임-감지 디바이스(106)는 제2 자세(602B)를 캡처하고 제2 자세(602B)의 인간(602)의 뼈대 구조 정보를 결정할 수 있다. 따라서, 전자 디바이스(102)는, 움직임-감지 디바이스(106)로부터 수신된 업데이트된 뼈대 구조 정보에 기초하여, 제1 자세(604A)로부터 제2 자세(604B)로 제2 리그드 3D 모델(604)을 재생성하고 디스플레이 디바이스(110) 상에서 다시 애니메이트할 수 있다. 제2 리그드 3D 모델(604)의 제2 자세(604B)는 인간(602)의 제2 자세(602B)와 동기화될 수 있다. 따라서, 인간(602)은 하나 이상의 자세를 변경하여 게임 장면 내의 게임 캐릭터일 수 있는 제2 리그드 3D 모델(604)의 하나 이상의 자세를 변경할 수 있다. 이것은 게임 환경 내의 게임 캐릭터의 하나 이상의 파라미터를 제어할 수 있다.
도 7은, 본 개시내용의 한 실시예에 따른, 시점 변환을 위한 복수의 현실적 리그드 3D 모델 애니메이션의 생성을 위한 개시된 장치 및 방법의 구현을 위한 제4 예시적인 시나리오이다. 도 7은, 도 1 내지 도 6의 요소들과 연계하여 설명된다. 도 7을 참조하면, 복수의 제1 리그드 3D 모델(702)이 도시되어 있다. 복수의 제1 리그드 3D 모델(702)은 제1 리그드 3D 모델(702A) 및 또 다른 제1 리그드 3D 모델(702B)을 포함할 수 있다. 제1 리그드 3D 모델(702A)은, 제1 계층적 세트의 상호연결된 뼈대들(704A)를 포함할 수 있고, 다른 제1 리그드 3D 모델(702B)은 또 다른 제1 계층적 세트의 상호연결된 뼈대들(704B)를 포함할 수 있다.
제1 인간의 제2 계층적 세트의 상호연결된 뼈대들(706A)와 제2 인간의 또 다른 제2 계층적 세트의 상호연결된 뼈대들(706B) 등의 복수의 골격 구조가 또한 도시되어 있다. 또한, 복수의 제2 3D 모델(708)이 도시되어 있다. 복수의 제2 3D 모델(708)은 제2 3D 모델(708A) 및 또 다른 제2 3D 모델(708B)을 포함할 수 있다. 제2 3D 모델(708A)은 변환된 제1 계층적 세트의 상호연결된 뼈대들(710A)를 포함할 수 있고, 다른 제2 3D 모델(708B)은 또 다른 변환된 제1 계층적 세트의 상호연결된 뼈대들(710B)를 포함할 수 있다. 또한, 전자 디바이스(102), 움직임-감지 디바이스(106), 및 디스플레이 디바이스(110)가 도시되어 있다.
제4 예시적인 시나리오에 따르면, 전자 디바이스(102)의 메모리(204)는 복수의 제1 리그드 3D 모델(702)을 저장할 수 있다. 복수의 제1 리그드 3D 모델(702)들 각각은 제1 세트의 배향들에서 정의된 제1 계층적 세트의 상호연결된 뼈대들(704A 또는 704B)를 포함할 수 있다. 복수의 제1 리그드 3D 모델(702)들 각각은 동일한 자세일 수 있다. 움직임-감지 디바이스(106)는 하나의 시점으로부터 제1 인간 및 제2 인간 각각의 자세를 캡처할 수 있다. 또한, 제1 인간의 제1 뼈대 구조 정보 및 제2 인간의 제2 뼈대 구조 정보는, 각각, 제1 객체 및 제2 객체의 캡처된 자세에 기초하여 움직임-감지 디바이스(106)에 의해 동시에 결정되었을 수 있다. 제1 뼈대 구조 정보는, 제1 인간의 제2 계층적 세트의 상호연결된 뼈대들(706A)의 뼈대 배향 정보 및 크기 정보를 포함할 수 있다. 제2 뼈대 구조 정보는, 제2 인간의 제2 계층적 세트의 상호연결된 뼈대들(704B)의 뼈대 배향 정보 및 크기 정보를 포함할 수 있다.
전자 디바이스(102)는, 제1 리그드 3D 모델(702A)의 제1 계층적 세트의 상호연결된 뼈대들(704A)의 제1 세트의 뼈대 배향들을 움직임-감지 디바이스(106)로부터 수신된 제1 뼈대 구조 정보에 기초하여 제2 세트의 뼈대 배향들로 수정할 수 있다. 전자 디바이스(102)는 또한, 제1 리그드 3D 모델(702B)의 제1 계층적 세트의 상호연결된 뼈대들(704B)의 제1 세트의 뼈대 배향들을 움직임-감지 디바이스(106)로부터 수신된 제2 뼈대 구조 정보에 기초하여 제2 세트의 뼈대 배향들로 수정할 수 있다. 또한, 전자 디바이스(102)는 제1 객체의 제2 계층적 세트의 상호연결된 뼈대들(706A)의 크기 정보에 기초하여, 제1 리그드 3D 모델(702A)의 제1 계층적 세트의 상호연결된 뼈대들(704A)의 크기를 변환할 수 있다. 마찬가지로, 전자 디바이스(102)는 제2 객체의 다른 제2 계층적 세트의 상호연결된 뼈대들(706B)의 크기 정보에 기초하여 제1 리그드 3D 모델(702B)의 제1 계층적 세트의 상호연결된 뼈대들(704B)의 크기를 변환할 수 있다.
수정되고 변형된 제1 리그드 3D 모델(702A)은 제1 인간의 자세와 유사할 수 있는 제2 리그드 3D 모델(708A)에 대응할 수 있다. 수정되고 변형된 제1 리그드 3D 모델(702B)은 제2 객체의 자세와 유사할 수 있는 제2 리그드 3D 모델(708B)에 대응할 수 있다. 수정 및 변환 후에, 전자 디바이스(102)는 디스플레이 디바이스(110) 상의 복수의 제2 리그드 3D 모델(708)을 동시에 애니메이트할 수 있다. 애니메이트된 복수의 제2 리그드 3D 모델(708)은 사용자(114) 등의 사용자가 복수의 시점으로부터 보여질 수 있다. 한 실시예에 따르면, 전자 디바이스(102)는 디스플레이 디바이스(110)(또는 디스플레이 스크린(210A)) 상에 렌더링된 애플리케이션 인터페이스(212)를 통해 복수의 제2 리그드 3D 모델(708)을 애니메이트할 수 있다.
도 8은, 본 개시내용의 한 실시예에 따른, 시점 변환을 위한 현실적 리그드 3D 모델 애니메이션을 생성하는 예시적인 동작을 나타내는 플로차트이다. 도 8을 참조하면, 플로차트(800)가 도시되어 있다. 플로차트(800)는 도 1 내지 도 7과 연계하여 설명된다. 전자 디바이스(102)에서 구현되는 동작들은 802에서 시작하여 804로 진행한다.
단계 804에서, 제1 계층적 세트의 상호연결된 뼈대들을 포함할 수 있는 제1 3D 모델이 전자 디바이스(102)에 저장될 수 있다. 제1 3D 모델은 리그드 3D 모델에 대응할 수 있다. 제1 3D 모델에서의 제1 계층적 세트의 상호연결된 뼈대들은 제1 3D 모델의 디지털 리그에 대응할 수 있다. 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들은 제1 3D 모델의 초기 안정 자세를 나타낼 수 있는 제1 세트의 뼈대 배향들에서 정의될 수 있다. 또한, 제1 3D 모델에서의 계층적 세트의 상호연결된 뼈대들은, 하나 이상의 루트 뼈대, 하나 이상의 비루트 뼈대, 및 하나 이상의 말단 뼈대를 포함할 수 있다. 제1 3D 모델은 제1 3D 모델의 하나 이상의 부분의 표면 표현을 더 포함할 수 있다. 표면 표현은 제1 계층적 세트의 상호연결된 뼈대들에 의해 지지되는 메시 구조에 대응할 수 있다. 도 3a에 도시되고 설명된 예는 전자 디바이스(102)가 제1 3D 모델(302)을 저장하고 있을 때의 전자 디바이스(102)를 도시한다. 루트 뼈대(304A) 등의 하나 이상의 루트 뼈대, 제1 비루트 뼈대(304B) 및 제2 비루트 뼈대(304C) 등의 하나 이상의 비루트 뼈대, 및 말단 뼈대(304D) 등의 하나 이상의 말단 뼈대 각각의 예가 또한 도시되어 있다.
806에서, 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들의 뼈대 구조 정보는 통신 채널을 통해 움직임-감지 디바이스(106)로부터 수신된다. 뼈대 구조 정보는, 움직임-감지 디바이스(106)로부터 실시간, 거의 실시간 또는 지연된 시간으로 수신될 수 있다. 뼈대 구조 정보는, 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들의 뼈대의 배향 정보 및 크기 정보를 포함할 수 있다. 도 3a에 도시되고 설명된 예는, 움직임-감지 디바이스(106)로부터 객체(108)의 제2 계층적 세트의 상호연결된 뼈대들(308)의 뼈대 구조 정보를 수신할 때의 전자 디바이스(102)를 도시한다.
808에서, 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들의 제1 세트의 뼈대 배향들은 제2 세트의 뼈대 배향들로 수정될 수 있다. 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정하는 것은 움직임-감지 디바이스(106)로부터의 수신된 뼈대 구조 정보에 기초할 수 있다. 제2 세트의 뼈대 배향들은 움직임-감지 디바이스(106)에 의한 객체(108)의 캡처된 자세를 나타낼 수 있다. 제1 세트의 뼈대 배향들의 수정을 위해, 전자 디바이스(102)는 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 뼈대 각각에 대한 상대적 뼈대 배향을 계산할 수 있다. 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정하는 예가 도 3a에 설명되어 있다. 또한, 계산된 상대적 뼈대 배향(322) 및 계산된 상대적 뼈대 배향(332)의 예가 도 3b 및 3c에 설명되어 있다.
810에서, 제2 세트의 뼈대 배향들을 안정화시키기 위해 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들의 움직임에 대한 제약들의 세트가 결정될 수 있다. 제약들의 세트란, 제1 계층적 세트의 상호연결된 뼈대들의 움직임에 적용되는 제약을 말할 수 있다. 이것은 제2 세트의 뼈대 배향들을 현실적으로 만들기 위해 이루어질 수 있다. 제약들의 세트의 예가 도 3a 내지 도 3d에서 설명된다.
812에서, 제2 3D 모델은 제1 3D 모델에서의 제1 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 뼈대의 크기의 변환에 의해 생성될 수 있다. 제1 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 뼈대의 크기의 변환은 수신된 뼈대 구조 정보에 기초할 수 있다. 제2 3D 모델의 예는, 제2 3D 모델(312)(도 3a), 제2 3D 모델(408)(도 4), 및 복수의 제2 3D 모델(708)(도 7)을 포함할 수 있다. 또한, 제1 3D 모델의 하나 이상의 부분의 표면 표현은, 제2 세트의 배향들 및 변환된 제1 계층적 세트의 상호연결된 뼈대들에 기초하여 변형될 수 있다. 제1 비루트 뼈대(304B)의 뼈대 길이(306)를 뼈대 길이(316)로 변환시키는 예가 도 3a에서 설명된다. 또한, 제1 3D 모델(302)의 하나 이상의 부분의 표면 표현의 변형의 예가 도 3a에서 설명된다.
814에서, 생성된 제2 3D 모델은 제2 세트의 뼈대 배향들 및 변환된 제1 계층적 세트의 상호연결된 뼈대들에 따라 애니메이트될 수 있다. 애니메이트된 제2 3D 모델은 디스플레이 디바이스(110) 상에서 복수의 시점들로부터 보여질 수 있다. 복수의 시점은 또한, 움직임-감지 디바이스(106)에 의해 캡처된 객체(108)의 하나의 시점을 포함할 수 있다. 제2 3D 모델의 애니메이션은, 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들의 하나 이상의 움직임과 움직임-감지 디바이스(106)에 의해 추적되는 객체(108)의 하나 이상의 움직임과의 동기화를 포함할 수 있다. 애니메이트된 제2 3D 모델(312)의 예가 도 3a에서 설명된다. 애니메이트된 제2 3D 모델은, 애니메이션, 가상 존재감의 생성(도 5), 및 게임 환경(도 6)에서 이용될 수 있다. 제어는 종료 단계(816)로 진행할 수 있다.
본 개시내용의 한 실시예에 따르면, 현실적 애니메이션의 생성을 위한 장치가 개시된다. 전자 디바이스(102)(도 1) 등의 장치는, (메모리(204) 등의) 메모리 디바이스 및 (움직임-감지 디바이스(106)(도1) 등의) 움직임-감지 디바이스 및 (디스플레이 디바이스(110)(도 1) 등의) 디스플레이 디바이스에 결합된 (프로세서(202), 배향 추정 유닛(206) 및 모델 변형 유닛(208)(도 2) 등의 하나 이상의 회로를 포함할 수 있다. 메모리(204)는, 제1 세트의 뼈대 배향들에서 정의된 (제1 계층적 세트의 상호연결된 뼈대들(304, 404A, 404B, 704A, 또는 704B) 등의), 제1 계층적 세트의 상호연결된 뼈대들을 포함할 수 있는 (제1 3D 모델(302)(도 3a), 복수의 리그드 3D 모델(402)(도 4), 복수의 제1 3D 모델(702)(도 7) 등의) 제1 3D 모델을 저장하도록 구성될 수 있다. 프로세서(202)는, (도 1의 객체(108) 등의) 객체의 (제2 계층적 세트의 상호연결된 뼈대들(308, 706A 또는 706B) 등의) 제2 계층적 세트의 상호연결된 뼈대들 뼈대 구조 정보를 수신하도록 구성될 수 있다. 배향 추정 유닛(206)은 또한, 모델 변형 유닛(208)과 연계하여, 제1 3D 모델(302)의 제1 계층적 세트의 상호연결된 뼈대들의 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정하도록 구성될 수 있다. 모델 변형 유닛(208)은, 움직임-감지 디바이스(106)로부터의 수신된 뼈대 구조 정보에 기초하여 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정할 수 있다. 모델 변형 유닛(208)은 또한, 수신된 뼈대 구조 정보에 기초하여, 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들 중 (도 3a의 제1 비루트 뼈대(304B) 등의) 하나 이상의 뼈대의 (도 3a의 뼈대 길이(306) 등의) 크기의 변환에 의해, (제2 3D 모델(312), 제2 3D 모델(408), 또는 복수의 제2 3D 모델(708) 등의) 제2 3D 모델을 생성하도록 구성될 수 있다. 프로세서(202)는 또한, 제2 세트의 뼈대 배향들 및 변환된 제1 계층적 세트의 상호연결된 뼈대들에 따라 생성된 제2 3D 모델(312)을 디스플레이 디바이스(110) 상에서 애니메이트할 수 있다. 애니메이트된 제2 3D 모델(312)은 객체(108)의 복수의 시점으로부터 보여질 수 있다.
종래의 애니메이트된 3D 환경에서, 객체(108) 등의 객체의 자세가 캡처되는 객체 시점 이외의 복수의 시점으로부터 객체의 애니메이트된 리그드 3D 모델을 보는 것과 관련된 몇 가지 어려운 점이 있다. 이러한 경우, 리그드 3D 모델은 단일의 시점으로부터 보여질 수 있다. 또한, 종래의 리그드 3D 모델의 디지털 리그의 상호연결된 뼈대들의 구조 및 상대적 크기는 자세가 캡처되는 객체의 구조 특유이지 않을 수 있다. 리그드 3D 모델의 디지털 리그의 상호연결된 뼈대들의 구조 및 크기의 이러한 불일치는 현실적 애니메이션에 적합하지 않고 바람직하지 않을 수도 있다. 따라서, 리그드 3D 모델을 더욱 현실적으로 실제 객체와 유사하게 만들기 위해, 객체와 구조적으로 유사한 디지털 리그를 갖는 리그드 3D 모델이 생성되어야 한다. 이것은, 복수의 객체에 대해 상이한 크기의 디지털 리그들로 복수의 리그드 3D 모델을 생성할 것을 요구할 수 있어서, 결과적으로 시간과 비용에서 오버헤드 증가를 초래한다. 결과적으로, 디지털 리그의 상호연결된 뼈대의 구조와 크기에서 불일치를 보이는 이러한 리그드 3D 모델들의 애니메이션은 또한, 비현실적 애니메이션을 생성할 수 있다.
전자 디바이스(102) 등의 개시된 장치의 다양한 실시예는, 움직임-감지 디바이스로부터 수신된 구조적 배향 정보에 기초하여 리그드 3D 모델의 제1 세트의 배향들을 제2 세트의 배향들로 수정할 수 있는, 프로세서(202), 배향 추정 유닛(206), 및 모델 변형 유닛(208) 등의 하나 이상의 회로를 포함한다. 따라서, 개시된 장치는, 복수의 객체의 구조적 배향 정보에 기초하여 동일한 형상의 복수의 리그드 3D 모델을 수정할 수 있다. 또한, 개시된 장치는, 구조적 배향 정보에 기초하여, 리그드 3D 모델의 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 뼈대의 크기를 변환할 수 있다. 리그드 3D에서 계층적 세트의 상호연결된 뼈대들 중의 하나 이상의 뼈대의 크기를 변환하면, 예를 들어, 종래의 애니메이트된 3D 환경에 비해, 그 움직임이 움직임-감지 디바이스(106)에 의해 추적될 수 있는, 실제 객체의 해부학적 골격 구조와 더욱 현실적으로 유사한 리그드 3D 모델을 자동으로 생성할 수 있다. 예를 들어, 제2 리그드 3D 모델 등의, 생성된 리그드 3D 모델에서의 디지털 리그의 상호연결된 뼈대들의 구조 및 상대적 크기는, 객체의 상호연결된 뼈대들의 구조 및 상대적 크기와 유사할 수 있다. 따라서, 배향 추정 유닛(206) 및 모델 변형 유닛(208)은, 전자 디바이스(102) 등의 장치가 현실적 애니메이션을 생성하고 디스플레이할 수 있게 한다. 전자 디바이스(102) 등의 장치는, 뼈대 배향의 수정 및 뼈대 크기의 변환의 결과로서, 생성된 제2 3D 리그드 모델 등의, 현실적 3D 리그드 모델의 이용에 의해 현실적 애니메이션을 생성할 수 있어서, 3D 애니메이션 기술에서의 구체적인 진보를 제공한다.
본 개시내용의 다양한 실시예는, 움직임-감지 디바이스 및 디스플레이 디바이스에 통신가능하게 결합된 하나 이상의 회로를 포함하는 머신 및/또는 컴퓨터에 의해 실행가능한 적어도 하나의 코드 섹션을 갖춘 머신 코드 및/또는 컴퓨터 프로그램이 저장된, 비일시적인 컴퓨터-판독가능한 매체 및/또는 저장 매체, 및/또는 비일시적인 머신 판독가능한 매체 및/또는 저장 매체를 제공할 수 있다. 적어도 하나의 코드 섹션은, 머신 및/또는 컴퓨터에 의해 실행되어, 제1 세트의 뼈대 배향들에서 정의된 제1 계층적 세트의 상호연결된 뼈대들을 포함하는 제1 3D 모델의 저장을 포함하는 단계들을 수행할 수 있다. 객체의 제2 계층적 세트의 상호연결된 뼈대들의 뼈대 구조 정보는 움직임-감지 디바이스로부터 수신될 수 있다. 제1 3D 모델의 제1 계층적 세트의 상호연결된 뼈대들의 제1 세트의 뼈대 배향들은 제2 세트의 뼈대 배향들로 수정될 수 있다. 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정하는 것은 움직임-감지 디바이스로부터의 수신된 뼈대 구조 정보에 기초할 수 있다. 생성된 제2 3D 모델은 제2 세트의 뼈대 배향들 및 변환된 제1 계층적 세트의 상호연결된 뼈대들에 따라 애니메이트될 수 있다. 또한, 애니메이트된 제2 3D 모델은 디스플레이 디바이스 상에서 복수의 시점으로부터 보여질 수 있다.
본 개시내용의 예시적인 양태에 따르면, 전자 디바이스(102)는 가상현실 기반의 디바이스일 수 있다. 따라서, 본 개시내용에서 설명된 전자 디바이스(102)에 의해 실행되는 모든 동작은 또한, 가상-현실 기반의 디바이스에 의해서도 실행될 수 있다. 예를 들어, 가상-현실 기반의 디바이스는 제1 인간의 제2 3D 모델(312) 등의 제2 3D 모델을 제2 인간에게 프리젠팅할 수 있다. 제2 3D 모델(312)은 제1 인간의 하나 이상의 자세를 모방할 수 있다. 제2 3D 모델(312)은 또한 제1 인간과 유사한 이미지 데이터로 텍스처링(texture)될 수 있다. 따라서, 가상 현실 기반 디바이스에 의한 제2 3D 모델(312)의 디스플레이는, 제2 인간을 위해, 원격 위치의 제1 인간의 가상 존재를 생성한다. 가상-현실 기반 디바이스로서 구현되는 전자 디바이스(102)의 예는 예를 들어 도 5에서 제공된다.
본 개시내용의 또 다른 예시적인 양태에 따르면, 전자 디바이스(102)는 게임 디바이스일 수 있다. 따라서, 본 개시내용에서 설명된 전자 디바이스(102)에 의해 실행되는 모든 동작들은 게임 디바이스에 의해서도 실행될 수 있다. 예를 들어, 게임 디바이스는, 게임 환경에서 플레이어에게 제2 3D 모델(312) 등의 게임 캐릭터를 프리젠팅할 수 있다. 게임 디바이스는 또한 게임 캐릭터가 플레이어의 하나 이상의 자세를 모방하게끔 할 수 있다. 이것은 플레이어가 게임 환경에서 게임 캐릭터의 움직임을 제어할 수 있게 한다. 예를 들어, 플레이어가 달리기 시작하는 경우, 게임 캐릭터는 플레이어의 달리는 자세를 모방할 수 있다. 게임 환경은 또한, 멀티플레이어 게임일 수도 있다. 이러한 경우, 게임 디바이스는 복수의 게임 캐릭터를 프리젠팅할 수 있고, 각각은 멀티플레이어 게임에서 복수의 플레이어들 중 하나를 모방한다. 게임 디바이스로서 구현되는 전자 디바이스(102)의 한 예가, 예를 들어 도 6에서 설명된다.
본 개시내용의 역시 또 다른 예시적인 양태에 따르면, 전자 디바이스(102)는 3D 모델-기반의 회의 시스템일 수 있다. 따라서, 본 개시내용에서 설명된 전자 디바이스(102)에 의해 실행되는 모든 동작은 3D 모델-기반 회의 시스템에 의해서도 실행될 수 있다. 대개, 종래의 화상 회의 시스템은 끊김없는 비디오 전송을 위해 높은 네트워크 대역폭을 요구한다. 네트워크 대역폭 요구조건이 충족되지 않는 경우, 화상 회의가 방해받는다. 전자 디바이스(102) 등의 3D 모델 기반의 회의 디바이스는, 비디오 전송을 위한 높은 네트워크 대역폭을 요구하지 않을 수 있는 비디오없는 회의를 가능하게 한다. 예를 들어, 3D 모델 기반의 회의 디바이스는 회의에 참여한 제1 인간의 하나 이상의 자세를 추적할 수 있다. 그 다음, 3D 모델 기반 회의 디바이스는, 제1 인간의 추적된 하나 이상의 자세에 기초하여, 제2 3D 모델(312) 등의, 리그드 3D 모델을 애니메이트할 수 있다. 애니메이트된 리그드 3D 모델은 제1 인간의 녹음된 오디오와 함께 회의에 참여한 제2 인간에게 프리젠팅될 수 있다. 3D 모델 기반 회의 디바이스는 제2 인간의 하나 이상의 자세를 모방하는 또 다른 애니메이트된 리그드 3D 모델을 제1 인간에게 프리젠팅할 수 있다. 따라서, 3D 모델 기반 회의 디바이스는 제1 인간과 제2 인간이 회의에 참여할 수 있게 한다. 가상 존재를 생성하는 전자 디바이스(102)의 예는 또한, 예를 들어 도 5에서 설명된 3D 모델-기반의 회의 시스템으로서 실현될 수 있다.
본 개시내용은, 하드웨어, 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있다. 본 개시내용은, 적어도 하나의 컴퓨터 시스템에서 중앙집중형 방식으로, 또는 상이한 요소들이 수 개의 상호연결된 컴퓨터 시스템들에 걸쳐 분산되어 있을 수 있는 분산형 방식으로 실현될 수 있다. 여기서 설명된 방법을 수행하도록 적합화된 컴퓨터 시스템 또는 다른 장치가 적절할 수도 있다. 하드웨어 및 소프트웨어의 조합은, 로딩되고 실행될 때, 여기서 설명된 방법을 실행하도록 컴퓨터 시스템을 제어 할 수 있는 컴퓨터 프로그램을 갖춘 범용 컴퓨터 시스템일 수 있다. 본 개시내용은 다른 기능들도 역시 수행하는 집적 회로의 일부를 포함하는 하드웨어로 실현될 수도 있다.
본 개시내용은 또한, 여기서 설명된 방법들의 구현을 가능하게 하고 컴퓨터 시스템에 로딩될 때 이들 방법을 실행할 수 있는 모든 피쳐들을 포함하는 컴퓨터 프로그램 제품에 임베딩될 수도 있다. 컴퓨터 프로그램은, 본 문맥에서, 정보 처리 능력을 가진 시스템으로 하여금, 특정 기능을, 곧바로, 또는 a) 또 다른 언어, 코드 또는 표기로의 변환; b) 상이한 자료 형태로의 재생산 중 어느 하나 또는 양쪽 모두 이후에, 수행하게 하도록 의도된 한 세트의 명령어로 이루어진, 임의의 언어로 된, 임의의 표현, 코드 또는 표기를 의미한다.
본 개시내용이 소정 실시예들을 참조하여 설명되었지만, 본 기술분야의 통상의 기술자라면, 본 개시내용의 범위로부터 벗어나지 않고 다양한 변경이 이루어질 수 있고 균등물로 대체될 수 있다는 것을 이해할 것이다. 또한, 특정한 상황 또는 재료를 본 개시내용의 교시에 맞게 그 본질적 범위로부터 벗어나지 않고 적합하게 개작하도록 많은 수정이 이루어질 수 있다. 따라서, 본 개시내용은 개시된 특정 실시예에 제한되지 않으며, 본 개시내용은 첨부된 청구항들의 범위 내에 속하는 모든 실시예를 포함하는 것으로 의도된다.

Claims (20)

  1. 장치로서,
    제1 세트의 뼈대 배향들에서 정의된 제1 계층적 세트의 상호연결된 뼈대들을 포함하는 제1 3D 모델을 저장하도록 구성된 메모리 디바이스; 및
    상기 메모리 디바이스, 움직임-감지 디바이스 및 디스플레이 디바이스에 통신가능하게 결합된 적어도 하나의 회로
    를 포함하고, 상기 적어도 하나의 회로는 :
    통신 채널을 통해 상기 움직임-감지 디바이스로부터 객체의 제2 계층적 세트의 상호연결된 뼈대들의 뼈대 구조 정보를 수신하고;
    상기 제1 계층적 세트의 상호연결된 뼈대들 중 각각의 유형의 뼈대의 뼈대 배향과 상기 제2 계층적 세트의 상호연결된 뼈대들의 대응하는 뼈대 배향 사이의 차이에 기초하여 상대적 뼈대 배향을 결정하고;
    상기 상대적 뼈대 배향 및 상기 뼈대 구조 정보에 기초하여 상기 제1 3D 모델의 상기 제1 계층적 세트의 상호연결된 뼈대들의 상기 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정하고;
    상기 뼈대 구조 정보에 기초하여 상기 제1 3D 모델의 상기 제1 계층적 세트의 상호연결된 뼈대들 중 적어도 하나의 뼈대의 크기를 변환하고;
    상기 변환에 기초하여 제2 3D 모델을 생성하고;
    상기 제2 3D 모델을 상기 제2 세트의 뼈대 배향들 및 상기 제1 계층적 세트의 상호연결된 뼈대들 중 상기 적어도 하나의 뼈대의 상기 변환된 크기에 기초하여 상기 디스플레이 디바이스 상에 애니메이트하도록 구성된, 장치.
  2. 제1항에 있어서, 상기 제1 3D 모델은 리그드 3D 모델(rigged 3D model)에 대응하고, 상기 제1 계층적 세트의 상호연결된 뼈대들은 상기 리그드 3D 모델의 디지털 리그(digital rig)에 대응하는, 장치.
  3. 제1항에 있어서,
    상기 객체는 인간, 동물, 또는 로봇 중 하나에 대응하고,
    상기 로봇은 상기 인간 또는 상기 동물 중 하나의 자연스러운 신체 움직임을 흉내내는, 장치.
  4. 제1항에 있어서,
    상기 제1 3D 모델은 상기 제1 3D 모델의 적어도 하나의 부분의 표면 표현(surface representation)을 더 포함하고,
    상기 표면 표현은 메시 구조(mesh structure)에 대응하는, 장치.
  5. 제4항에 있어서, 상기 적어도 하나의 회로는 상기 제2 세트의 뼈대 배향들 및 상기 제1 계층적 세트의 상호연결된 뼈대들 중 상기 적어도 하나의 뼈대의 상기 변환된 크기에 기초하여 상기 제1 3D 모델의 상기 적어도 하나의 부분의 상기 표면 표현을 변형시키도록 추가로 구성되는, 장치.
  6. 제1항에 있어서, 상기 뼈대 구조 정보는 상기 객체의 상기 제2 계층적 세트의 상호연결된 뼈대들의 뼈대 배향 정보 또는 크기 정보 중 적어도 하나를 포함하는, 장치.
  7. 제6항에 있어서, 상기 뼈대 구조 정보는 상기 움직임-감지 디바이스로부터 실시간, 거의 실시간 또는 지연된 시간 중 적어도 하나로 수신되는, 장치.
  8. 제1항에 있어서, 상기 제1 3D 모델의 상기 제1 계층적 세트의 상호연결된 뼈대들은 적어도 하나의 루트 뼈대(root bone), 적어도 하나의 비루트 뼈대(non-root bone), 또는 적어도 하나의 말단 뼈대(end bone) 중 하나를 포함하는, 장치.
  9. 제1항에 있어서, 상기 상대적 뼈대 배향은 상기 제2 계층적 세트의 상호연결된 뼈대들 중 대응하는 루트 뼈대에 대한 상기 제1 계층적 세트의 상호연결된 뼈대들 중 루트 뼈대의 상대적 뼈대 배향이고,
    상기 상대적 뼈대 배향은 상기 대응하는 루트 뼈대의 상기 뼈대 구조 정보에 기초하여 추가로 결정되는, 장치.
  10. 제1항에 있어서, 상기 상대적 뼈대 배향은 상기 제2 계층적 세트의 상호연결된 뼈대들 중 대응하는 비루트 뼈대에 대한 상기 제1 계층적 세트의 상호연결된 뼈대들 중 비루트 뼈대의 상대적 뼈대 배향이고,
    상기 상대적 뼈대 배향은 상기 대응하는 비루트 뼈대의 상기 뼈대 구조 정보에 기초하고, 상기 제1 계층적 세트의 상호연결된 뼈대들 중 상기 비루트 뼈대의 부모 뼈대에 대응하는 상기 제2 계층적 세트의 상호연결된 뼈대들의 부모 뼈대에 기초하여 추가로 결정되는, 장치.
  11. 제1항에 있어서, 상기 상대적 뼈대 배향은 상기 제2 계층적 세트의 상호연결된 뼈대들 중 대응하는 말단 뼈대에 대한 상기 제1 계층적 세트의 상호연결된 뼈대들 중 말단 뼈대의 상대적 뼈대 배향이고,
    상기 상대적 뼈대 배향은 상기 제1 3D 모델의 상기 제1 계층적 세트의 상호연결된 뼈대들 중 상기 말단 뼈대의 관절 위치에 기초하여 추가로 결정되는, 장치.
  12. 제1항에 있어서, 상기 적어도 하나의 회로는 상기 제2 세트의 뼈대 배향들을 안정화시키기 위해 상기 제1 3D 모델의 상기 제1 계층적 세트의 상호연결된 뼈대들의 움직임에 대한 제약들의 세트를 결정하도록 추가로 구성된, 장치.
  13. 제1항에 있어서, 상기 적어도 하나의 회로는 상기 움직임-감지 디바이스로부터 복수의 객체의 상기 뼈대 구조 정보를 실시간, 거의 실시간 또는 지연된 시간 중 적어도 하나로 수신하도록 추가로 구성된, 장치.
  14. 제13항에 있어서, 상기 적어도 하나의 회로는 상기 제1 3D 모델 및 상기 복수의 객체의 상기 뼈대 구조 정보에 기초하여 복수의 제2 3D 모델들을 생성하도록 추가로 구성된, 장치.
  15. 제1항에 있어서, 상기 적어도 하나의 회로는 상기 디스플레이 디바이스 상에 실시간, 거의 실시간, 또는 지연된 시간 중 하나로 렌더링되는 상기 제1 3D 모델의 상기 제1 계층적 세트의 상호연결된 뼈대들의 적어도 하나의 움직임을, 상기 제2 3D 모델에 기초하여 상기 움직임-감지 디바이스에 의해 추적되는 상기 객체의 적어도 하나의 움직임과 동기화하도록 추가로 구성된, 장치.
  16. 제1항에 있어서,
    상기 적어도 하나의 회로는 상기 제2 3D 모델을 상기 디스플레이 디바이스 상에 렌더링하여 제1 위치에서 상기 객체의 가상 존재(virtual presence)를 생성하도록 추가로 구성되고,
    상기 객체는 상기 제1 위치와 상이한 제2 위치에 있는, 장치.
  17. 제1항에 있어서,
    상기 뼈대 구조 정보는 상기 객체의 시점으로부터 상기 움직임-감지 디바이스에 의해 캡처되고,
    상기 제2 3D 모델은 상기 디스플레이 디바이스 상에서 상기 객체의 복수의 시점으로부터 보여지고,
    상기 복수의 시점은 상기 시점을 포함하는, 장치.
  18. 방법으로서,
    적어도 하나의 회로를 포함하는 장치에서 - 상기 장치는 메모리 디바이스, 움직임-감지 디바이스 및 디스플레이 디바이스에 통신가능하게 결합됨 -,
    상기 장치 내의 상기 메모리 디바이스에 의해, 제1 세트의 뼈대 배향들에서 정의된 제1 계층적 세트의 상호연결된 뼈대들을 포함하는 제1 3D 모델을 저장하는 단계;
    상기 장치 내의 적어도 하나의 회로에 의해, 상기 움직임-감지 디바이스로부터 객체의 제2 계층적 세트의 상호연결된 뼈대들의 뼈대 구조 정보를 수신하는 단계;
    상기 제1 계층적 세트의 상호연결된 뼈대들 중 각각의 유형의 뼈대의 뼈대 배향과 상기 제2 계층적 세트의 상호연결된 뼈대들의 대응하는 뼈대 배향 사이의 차이에 기초하여 상대적 뼈대 배향을 결정하는 단계;
    상기 장치 내의 상기 적어도 하나의 회로에 의해, 상기 상대적 뼈대 배향 및 상기 뼈대 구조 정보에 기초하여 상기 제1 3D 모델의 상기 제1 계층적 세트의 상호연결된 뼈대들의 상기 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정하는 단계;
    상기 뼈대 구조 정보에 기초하여 상기 제1 3D 모델의 상기 제1 계층적 세트의 상호연결된 뼈대들 중 적어도 하나의 뼈대의 크기를 변환하는 단계;
    상기 장치 내의 적어도 하나의 회로에 의해, 상기 변환에 기초하여 제2 3D 모델을 생성하는 단계; 및
    상기 장치 내의 상기 적어도 하나의 회로에 의해, 상기 디스플레이 디바이스 상의 상기 제2 3D 모델을, 상기 제2 세트의 뼈대 배향들 및 상기 제1 계층적 세트의 상호연결된 뼈대들 중 상기 적어도 하나의 뼈대의 상기 변환된 크기에 기초하여 애니메이트하는 단계
    를 포함하는, 방법.
  19. 제18항에 있어서, 상기 장치 내의 상기 적어도 하나의 회로에 의해, 상기 제2 세트의 뼈대 배향들 및 상기 제1 계층적 세트의 상호연결된 뼈대들 중 상기 적어도 하나의 뼈대의 상기 변환된 크기에 기초하여 상기 제1 3D 모델의 적어도 하나의 부분의 표면 표현을 변형하는 단계를 더 포함하는, 방법.
  20. 가상-현실 기반의 디바이스로서,
    제1 세트의 뼈대 배향들에서 정의된 제1 계층적 세트의 상호연결된 뼈대들을 포함하는 제1 3D 모델을 저장하도록 구성된 메모리 디바이스; 및
    상기 메모리 디바이스, 움직임-감지 디바이스, 및 디스플레이 디바이스에 통신가능하게 결합된 적어도 하나의 회로
    를 포함하고, 상기 적어도 하나의 회로는 :
    통신 채널을 통해 상기 움직임-감지 디바이스로부터 객체의 제2 계층적 세트의 상호연결된 뼈대들의 뼈대 구조 정보를 수신하고 ―상기 객체는 하나의 시점으로부터 상기 움직임-감지 디바이스에 의해 캡처됨―;
    상기 제1 계층적 세트의 상호연결된 뼈대들 중 각각의 유형의 뼈대의 뼈대 배향과 상기 제2 계층적 세트의 상호연결된 뼈대들의 대응하는 뼈대 배향 사이의 차이에 기초하여 상대적 뼈대 배향을 결정하고;
    상기 상대적 뼈대 배향 및 상기 뼈대 구조 정보에 기초하여 상기 제1 3D 모델의 상기 제1 계층적 세트의 상호연결된 뼈대들의 상기 제1 세트의 뼈대 배향들을 제2 세트의 뼈대 배향들로 수정하고;
    상기 뼈대 구조 정보에 기초하여 상기 제1 3D 모델의 상기 제1 계층적 세트의 상호연결된 뼈대들 중 적어도 하나의 뼈대의 크기를 자동 재구성(auto reconfiguration)하고;
    상기 자동 재구성에 기초하여 상기 제1 3D 모델을 제2 3D 모델로 변환하고;
    상기 제2 세트의 뼈대 배향들 및 상기 제1 계층적 세트의 상호연결된 뼈대들 중 상기 적어도 하나의 뼈대의 상기 자동 재구성된 크기에 기초하여 상기 디스플레이 디바이스 상에서 상기 제2 3D 모델을 애니메이트하도록
    구성되고,
    상기 애니메이트된 제2 3D 모델은 상기 디스플레이 디바이스 상에서 복수의 시점으로부터 보여지는, 디바이스.
KR1020180012851A 2017-02-03 2018-02-01 시점 변환을 위한 현실적 리그드 3차원(3ｄ) 모델 애니메이션을 생성하는 장치 및 방법 KR102055995B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/424,486 2017-02-03
US15/424,486 US20180225858A1 (en) 2017-02-03 2017-02-03 Apparatus and method to generate realistic rigged three dimensional (3d) model animation for view-point transform

Publications (2)

Publication Number Publication Date
KR20180090746A KR20180090746A (ko) 2018-08-13
KR102055995B1 true KR102055995B1 (ko) 2019-12-13

Family

ID=61157104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180012851A KR102055995B1 (ko) 2017-02-03 2018-02-01 시점 변환을 위한 현실적 리그드 3차원(3ｄ) 모델 애니메이션을 생성하는 장치 및 방법

Country Status (5)

Country Link
US (1) US20180225858A1 (ko)
EP (1) EP3358527A1 (ko)
JP (1) JP2018125000A (ko)
KR (1) KR102055995B1 (ko)
CN (1) CN108389247A (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10777006B2 (en) * 2017-10-23 2020-09-15 Sony Interactive Entertainment Inc. VR body tracking without external sensors
CN111640175A (zh) * 2018-06-21 2020-09-08 华为技术有限公司 一种物体建模运动方法、装置与设备
CN109635418B (zh) * 2018-12-09 2019-10-29 上海明材教育科技有限公司 一种教学用动态三维模型的构建方法及教学仿真***
TWI715903B (zh) * 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
US11783443B2 (en) 2019-01-22 2023-10-10 Fyusion, Inc. Extraction of standardized images from a single view or multi-view capture
US11176704B2 (en) 2019-01-22 2021-11-16 Fyusion, Inc. Object pose estimation in visual data
US10887582B2 (en) 2019-01-22 2021-01-05 Fyusion, Inc. Object damage aggregation
US10984575B2 (en) * 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
JP2020149396A (ja) * 2019-03-14 2020-09-17 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US11132606B2 (en) * 2019-03-15 2021-09-28 Sony Interactive Entertainment Inc. Reinforcement learning to train a character using disparate target animation data
US20210225038A1 (en) * 2020-01-16 2021-07-22 Fyusion, Inc. Visual object history
US11776142B2 (en) 2020-01-16 2023-10-03 Fyusion, Inc. Structuring visual data
US11562474B2 (en) * 2020-01-16 2023-01-24 Fyusion, Inc. Mobile multi-camera multi-view capture
CN111563945B (zh) * 2020-04-30 2021-04-20 完美世界(北京)软件科技发展有限公司 角色变身动画的生成方法、装置、设备及可读存储介质
CN112911356B (zh) * 2020-05-29 2022-04-05 腾讯科技（深圳）有限公司 一种虚拟现实vr视频的播放方法及相关设备
CN111694429B (zh) * 2020-06-08 2023-06-02 北京百度网讯科技有限公司 虚拟对象驱动方法、装置、电子设备及可读存储
US11127185B1 (en) 2020-07-24 2021-09-21 Weta Digital Limited Manipulating code for animation control rig generation
US11698776B2 (en) 2020-07-24 2023-07-11 Unity Technologies Sf Method and system for processing computer code
US11562522B2 (en) 2020-07-24 2023-01-24 Unity Technologies Sf Method and system for identifying incompatibility between versions of compiled software code
US11341703B2 (en) 2020-07-24 2022-05-24 Unity Technologies Sf Methods and systems for generating an animation control rig
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
CN112712578B (zh) * 2020-12-31 2022-09-27 魔珐(上海)信息科技有限公司 虚拟角色模型创建方法、装置、电子设备和存储介质
US11605151B2 (en) 2021-03-02 2023-03-14 Fyusion, Inc. Vehicle undercarriage imaging
KR102638853B1 (ko) * 2023-04-12 2024-02-21 블래스트 주식회사 애니메이션 캐릭터의 신체 간 간섭 회피 방법 및 장치
KR102638847B1 (ko) * 2023-05-12 2024-02-21 블래스트 주식회사 애니메이션 캐릭터의 신체 간 간섭 회피를 위한 벡터 결정 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140035901A1 (en) * 2012-07-31 2014-02-06 Microsoft Corporation Animating objects using the human body

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10154238A (ja) * 1996-09-25 1998-06-09 Matsushita Electric Ind Co Ltd 動作生成装置
JP5002103B2 (ja) * 2001-09-28 2012-08-15 株式会社バンダイナムコゲームス 画像生成システム、画像生成方法及びプログラム
US7728839B2 (en) * 2005-10-28 2010-06-01 Honda Motor Co., Ltd. Discriminative motion modeling for human motion tracking
US7859540B2 (en) * 2005-12-22 2010-12-28 Honda Motor Co., Ltd. Reconstruction, retargetting, tracking, and estimation of motion for articulated systems
KR101591779B1 (ko) * 2009-03-17 2016-02-05 삼성전자주식회사 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
KR101671900B1 (ko) * 2009-05-08 2016-11-03 삼성전자주식회사 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
US20100302253A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Real time retargeting of skeletal data to game avatar
US9001132B1 (en) * 2010-12-22 2015-04-07 Lucasfilm Entertainment Company Ltd. Constraint scenarios for retargeting actor motion
WO2014119524A1 (ja) * 2013-02-01 2014-08-07 株式会社セルシス 三次元オブジェクトの多視点描画装置、方法、及びプログラム
US10282883B2 (en) * 2014-12-12 2019-05-07 Pizar Hierarchy-based character rigging
US9959655B2 (en) * 2015-04-17 2018-05-01 Autodesk, Inc. Segmented full body inverse kinematics
US11087517B2 (en) * 2015-06-03 2021-08-10 Disney Enterprises, Inc. Sketch-based abstraction for character posing and synthesis
US10489956B2 (en) * 2015-07-27 2019-11-26 Autodesk, Inc. Robust attribute transfer for character animation
CN105225262B (zh) * 2015-10-23 2018-09-21 深圳华侨城文化旅游科技股份有限公司 一种动态捕捉3d数据处理方法
WO2017141344A1 (ja) * 2016-02-16 2017-08-24 楽天株式会社 ３次元モデル生成システム、３次元モデル生成方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140035901A1 (en) * 2012-07-31 2014-02-06 Microsoft Corporation Animating objects using the human body

Also Published As

Publication number Publication date
CN108389247A (zh) 2018-08-10
JP2018125000A (ja) 2018-08-09
KR20180090746A (ko) 2018-08-13
EP3358527A1 (en) 2018-08-08
US20180225858A1 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
KR102055995B1 (ko) 시점 변환을 위한 현실적 리그드 3차원(3ｄ) 모델 애니메이션을 생성하는 장치 및 방법
KR102069964B1 (ko) 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법
US10713850B2 (en) System for reconstructing three-dimensional (3D) human body model using depth data from single viewpoint
KR20220017900A (ko) 단일 이미지-기반 실시간 신체 애니메이션
JP6181917B2 (ja) 描画システム、描画サーバ、その制御方法、プログラム、及び記録媒体
CN107274469A (zh) 面向虚拟现实的协同渲染方法
US10818078B2 (en) Reconstruction and detection of occluded portions of 3D human body model using depth data from single viewpoint
US11514638B2 (en) 3D asset generation from 2D images
US11461942B2 (en) Generating and signaling transition between panoramic images
KR102374307B1 (ko) 애니메이팅된 캐릭터의 수정
CN110568923A (zh) 基于Unity3D的虚拟现实交互方法、装置、设备及存储介质
US12020374B2 (en) Body shape and pose estimation via volumetric regressor for raw three dimensional scan models
TW202305551A (zh) 用於人工實境之全像通話
CN115018959A (zh) 三维虚拟模型的驱动处理方法、装置、设备和存储介质
CN110570357A (zh) 基于ue4引擎的镜像实现方法、装置、设备及存储介质
US11430168B2 (en) Method and apparatus for rigging 3D scanned human models
Tan et al. Virtual reality based immersive telepresence system for remote conversation and collaboration
KR102630286B1 (ko) 텍스쳐 조작을 이용한 애니메이팅된 얼굴
US20200098178A1 (en) Reconstructing three-dimensional (3d) human body model based on depth points-to-3d human body model surface distance
CN115526967A (zh) 虚拟模型的动画生成方法、装置、计算机设备及存储介质
CN113313796A (zh) 场景生成方法、装置、计算机设备和存储介质
US10726602B2 (en) Apparatus and method to generate realistic three-dimensional (3D) model animation
JP2024080412A (ja) 表示制御プログラム、表示制御装置および表示制御方法
KR20240103264A (ko) 디지털 아트 트윈을 이용한 프로젝션 매핑 시스템
TW202420232A (zh) 虛擬內容的分散式產生

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant