KR20200139240A

KR20200139240A - 가상 객체 변형 처리 방법, 장치, 기기 및 저장 매체

Info

Publication number: KR20200139240A
Application number: KR1020207031891A
Authority: KR
Inventors: 청주 천; 싱룬 리앙; 런지 왕; 궈펑 장
Original assignee: 저지앙 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2019-05-15
Filing date: 2020-02-11
Publication date: 2020-12-11
Also published as: CN110111247B; EP3971819A1; TW202046250A; US20210043000A1; TWI752494B; EP3971819A4; SG11202010607UA; WO2020228385A1; US11100709B2; JP7126001B2; JP2021527862A; CN110111247A

Abstract

본 명세서의 실시예는 가상 객체 변형 처리 방법, 장치, 기기 및 저장 매체를 제공하고, 여기서, 상기 가상 객체 변형 처리 방법은, 복수 개의 골격을 포함하는 3차원 기설정된 가상 객체 모델에 대응되는 제1 골격 파라미터 및 제1 융합 변형 데이터를 획득하는 단계 - 상기 제1 융합 변형 데이터는 기설정된 가상 객체의 변형 정도를 나타내기 위한 것임 - ; 3차원 타겟 가상 객체 모델에 대응되는 제2 골격 파라미터를 획득하고, 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계를 결정하는 단계; 및 상기 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계와 상기 제1 융합 변형 데이터에 따라, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 결정하는 단계를 포함한다.

Description

가상 객체 변형 처리 방법, 장치, 기기 및 저장 매체

본 발명은 가상 현실 분야에 관한 것으로서, 구체적으로 가상 객체 변형 처리 방법, 장치, 기기 및 저장 매체에 관한 것이다.

게임 산업 및 가상 현실의 추동 하에, 디지털 가상 캐릭터가 널리 응용된다. 가상 캐릭터의 경우, 단일 가상 이미지로부터 개성이 부여된 이미지, 자동 실행 표정을 생성하는 등 유저에 의해 자체적으로 설계된 캐릭터로 진화되었다.

현재, 사용자가 자체적으로 가상 객체 모델을 제작한 후, 통상적으로 원래의 블랜드 쉐입(blendshape)의 데이터를 사용하여 가상 객체의 표정을 구동하지만, 제작된 모델 변형이 비교적 큰 경우, 원래의 융합 변형 데이터를 계속 사용하여 표정을 구동하면 비교적 큰 오차가 생성된다.

본 명세서의 하나 또는 복수 개의 실시예의 목적은, 가상 객체 변형 처리 방법, 장치, 기기 및 저장 매체를 제공하는 것이다.

제1 측면에 있어서, 가상 객체 변형 처리 방법을 제공하고, 상기 방법은,

복수 개의 골격을 포함하는 3차원 기설정된 가상 객체 모델에 대응되는 제1 골격 파라미터 및 제1 융합 변형 데이터를 획득하는 단계 - 상기 제1 융합 변형 데이터는 기설정된 가상 객체의 변형 정도를 나타내기 위한 것임 - ;

3차원 타겟 가상 객체 모델에 대응되는 제2 골격 파라미터를 획득하고, 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계를 결정하는 단계; 및

상기 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계와 상기 제1 융합 변형 데이터에 따라, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 결정하는 단계를 포함한다.

본 발명에서 제공한 어느 하나의 실시형태를 결합하면, 상기 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계와 상기 제1 융합 변형 데이터에 따라, 3차원 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 결정하는 단계는,

상기 3차원 기설정된 가상 객체 모델에 대응되는 제1 그리드 데이터를 획득하는 단계;

상기 3차원 타겟 가상 객체 모델에 대응되는 제2 그리드 데이터를 획득하는 단계; 및

상기 제2 그리드 데이터 및 상기 제1 그리드 데이터에 따라, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 결정하는 단계를 포함한다.

본 발명에서 제공한 어느 하나의 실시형태를 결합하면, 상기 3차원 기설정된 가상 객체 모델에 대응되는 제1 그리드 데이터를 획득하는 단계는,

상기 제1 골격 파라미터에 대응되는 표준 그리드 데이터를 획득하는 단계; 및

상기 표준 그리드 데이터 및 상기 제1 융합 변형 데이터에 따라, 상기 제1 융합 변형 데이터에 대응되는 제1 그리드 데이터를 얻는 단계를 포함한다.

본 발명에서 제공한 어느 하나의 실시형태를 결합하면, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 그리드 데이터를 획득하는 단계는,

상기 제2 골격 파라미터와 상기 제1 골격 파라미터에 따라, 상기 3차원 타겟 가상 객체 모델 중 모든 골격의 변환 매트릭스를 결정하는 단계; 및

상기 변환 매트릭스를 상기 제1 그리드 데이터에 적용시키는 것을 통해, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 그리드 데이터를 결정하는 단계를 포함한다.

본 발명에서 제공한 어느 하나의 실시형태를 결합하면, 상기 제2 골격 파라미터와 상기 제1 골격 파라미터에 따라, 상기 3차원 타겟 가상 객체 모델 중 모든 골격의 변환 매트릭스를 결정하는 단계는,

상기 기설정된 가상 객체에 대응되는 제1 골격 파라미터에 따라, 기설정된 가상 객체 모델 중 각 골격의 제1 위치 매트릭스를 획득하는 단계;

가상 객체 모델에 대응되는 제2 골격 파라미터에 따라, 3차원 타겟 가상 객체 모델 중 각 골격의 제2 위치 매트릭스를 획득하는 단계; 및

상기 제2 위치 매트릭스 및 상기 제1 위치 매트릭스에 따라, 각 골격의 변환 매트릭스를 획득하는 단계를 포함한다.

본 발명에서 제공한 어느 하나의 실시형태를 결합하면, 상기 가상 객체 모델은 얼굴 모델이고, 상기 가상 객체 모델에 포함된 골격은 머리 골격이며, 3차원 타겟 가상 객체 모델은,

3차원 타겟 얼굴 모델의 골격 파라미터 조정 정보를 획득하는 단계;

상기 골격 파라미터 조정 정보에 따라, 상기 3차원 타겟 얼굴 모델에 대응되는 머리 골격 파라미터를 조정하는 단계; 및

조정된 상기 머리 골격 파라미터에 따라, 3차원 타겟 얼굴 모델을 생성하는 단계를 통해 생성된다.

본 발명에서 제공한 어느 하나의 실시형태를 결합하면, 상기 3차원 타겟 얼굴 모델의 골격 파라미터 조정 정보를 획득하는 단계는,

골격 파라미터 조정 명령어를 수신하는 단계; 및

상기 골격 파라미터 조정 명령어에 따라 상기 골격 파라미터 조정 정보를 결정하는 단계를 포함한다.

본 발명에서 제공한 어느 하나의 실시형태를 결합하면, 상기 골격 파라미터 조정 정보에 따라, 상기 3차원 타겟 얼굴 모델에 대응되는 머리 골격 파라미터를 조정하는 단계는,

상기 머리 골격 파라미터 중, 상기 골격 파라미터 조정 정보와 관련된 적어도 하나의 머리 골격의 골격 파라미터를 획득하고, 상기 골격 파라미터 조정 정보에 따라 상기 적어도 하나의 머리 골격의 골격 파라미터를 조정하는 단계를 포함한다.

본 발명에서 제공한 어느 하나의 실시형태를 결합하면, 적어도 하나의 머리 골격은 복수 개의 머리 골격이고, 상기 골격 파라미터 조정 정보에 따라 상기 적어도 하나의 머리 골격의 골격 파라미터를 조정하는 단계는,

상기 골격 파라미터 조정 정보에 따라 상기 복수 개의 머리 골격의 골격 파라미터를 동시에 조정하는 단계를 포함한다.

본 발명에서 제공한 어느 하나의 실시형태를 결합하면, 상기 골격 파라미터 조정 정보에 따라 상기 적어도 하나의 머리 골격의 골격 파라미터를 조정하는 단계는,

상기 골격 파라미터 조정 정보의 조절 범위를 획득하는 단계;

상기 골격 파라미터 조정 정보와 관련된 각 골격 파라미터의 조절 범위를 획득하는 단계; 및

상기 골격 파라미터 조정 정보가 조절 범위 내에서의 변화 비례에 따라 상기 골격 파라미터 조정 정보와 관련된 상기 적어도 하나의 머리 골격의 골격 파라미터를 조정하는 단계를 포함한다.

본 발명에서 제공한 어느 하나의 실시형태를 결합하면, 상기 골격 파라미터 조정 명령어에 따라 상기 골격 파라미터 조정 정보를 결정하는 단계는,

상기 골격 파라미터 조정 명령어에 대하여 설정된 컨트롤의 출력 변화량을 획득하고, 상기 출력 변화량에 따라 상기 골격 파라미터 조정 정보를 결정하는 단계를 포함한다.

제2 측면에 있어서, 가상 객체 변형 처리 장치를 제공하고, 상기 장치는,

복수 개의 골격을 포함하는 3차원 기설정된 가상 객체 모델에 대응되는 제1 골격 파라미터 및 제1 융합 변형 데이터를 획득하기 위한 제1 획득 유닛 - 상기 제1 융합 변형 데이터는 기설정된 가상 객체의 변형 정도를 나타내기 위한 것임 - ;

3차원 타겟 가상 객체 모델에 대응되는 제2 골격 파라미터를 획득하고, 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계를 결정하기 위한 제2 획득 유닛; 및

상기 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계와 상기 제1 융합 변형 데이터에 따라, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 결정하기 위한 결정 유닛을 포함한다.

제3 측면에 있어서, 가상 객체 변형 처리 기기를 제공하고, 상기 기기는 저장 매체, 프로세서를 포함하며, 상기 저장 매체는 프로세서 상에서 작동 가능한 기계 실행 가능한 명령어를 저장하기 위한 것이며, 상기 프로세서는 상기 기계 실행 가능한 명령어를 실행할 경우 본 명세서에 따른 어느 하나의 가상 객체 변형 처리 방법을 구현하기 위한 것이다.

제4 측면에 있어서, 기계 실행 가능한 명령어가 저장되어 있는 기계 판독 가능한 저장 매체를 제공하고, 상기 기계 실행 가능한 명령어가 프로세서에 의해 실행될 경우 본 명세서에 따른 어느 하나의 가상 객체 변형 처리 방법을 구현한다.

본 명세서의 하나 또는 복수 개의 실시예의 가상 객체 변형 처리 방법, 장치, 기기 및 저장 매체는, 가상 객체 모델을 조정하여 3차원 타겟 가상 객체 모델을 생성함에 있어서, 사전 획득된 기설정된 가상 객체 모델의 골격 파라미터 및 제1 융합 변형 데이터, 및 타겟 가상 객체 모델에 대응되는 골격 파라미터에 따라, 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 획득함으로써, 기설정된 가상 객체 모델의 조정에 대하여 블랜드 쉐입의 데이터를 동기식으로 업데이트할 수 있어, 블랜드 쉐입이 새로운 가상 객체 모델(즉, 타겟 가상 객체 모델)에 적응하도록 한다. 예시적으로, 융합 변형 데이터가 표정 제작에 사용될 경우, 표정 구동의 정확성을 향상시킬 수 있다.

본 명세서의 하나 또는 복수 개의 실시예의 기술적 해결수단을 보다 명확하게 설명하기 위해, 아래에 실시예에서 사용되는 첨부 도면을 간단히 설명하고, 아래에서 설명되는 도면은 본 명세서의 일부 실시예일 뿐, 본 기술분야의 통상의 기술자들이 창조적 노동을 부여하지 않는 전제하에서도, 이러한 도면으로부터 다른 도면을 획득할 수 있는 것은 자명한 것이다.
도 1은 본 명세서의 적어도 하나의 실시예에서 제공한 가상 객체 변형 처리 방법 예이다.
도 2a는 골격에 기반하여 구축된 기설정된 얼굴 모델의 예시도이다.
도 2b는 도 2a에서의 기설정된 얼굴 모델에 대응되는 그리드의 예이다.
도 3은 본 명세서의 적어도 하나의 실시예에서 제공한 제2 융합 변형 데이터를 획득하는 방법 예이다.
도 4는 본 명세서의 적어도 하나의 실시예에서 제공한 골격의 변환 매트릭스를 획득하는 방법 예이다.
도 5는 본 명세서의 적어도 하나의 실시예에서 제공한 타겟 얼굴 모델을 생성하는 방법 예이다.
도 6은 본 명세서의 적어도 하나의 실시예에서 제공한 조절 파라미터의 설정 예이다.
도 7a는 본 명세서의 적어도 하나의 실시예에서 제공한 두 눈의 전체 크기를 조절하는 2 층 파라미터 설정 방법 예이다.
도 7b는 본 명세서의 적어도 하나의 실시예에서 제공한 두 눈의 전체 크기를 조절하는 컨트롤 예이다.
도 7c 및 도 7d는 본 명세서의 적어도 하나의 실시예에서 제공한 조정 전의 얼굴 모델 예 및 타겟 얼굴 모델 예이다.
도 8은 본 명세서의 적어도 하나의 실시예에서 제공한 얼굴 메이크업을 생성하는 방법 예이다.
도 9a는 본 명세서의 적어도 하나의 실시예에서 제공한 페이스 맵 예이다.
도 9b는 본 명세서의 적어도 하나의 실시예에서 제공한 부재 교체 가능한 맵 예이다.
도 9c는 본 명세서의 적어도 하나의 실시예에서 제공한 맵 무늬를 생성하는 예이다.
도 10a 및 도 10b는 본 명세서의 적어도 하나의 실시예에서 제공한 메이크업을 생성하기 전의 얼굴 모델 및 메이크업을 생성한 후의 얼굴 모델이다.
도 11a는 본 명세서의 적어도 하나의 실시예에서 제공한 가상 객체 변형 처리 장치 예이다.
도 11b는 본 명세서의 적어도 하나의 실시예에서 제공한 다른 가상 객체 변형 처리 장치 예이다.
도 12는 본 명세서의 적어도 하나의 실시예에서 제공한 가상 객체 변형 처리 기기 예이다.

본 기술 분야의 기술자가 본 명세서의 하나 또는 복수 개의 실시예에서의 기술방안을 더 잘 이해할 수 있도록 하기 위해, 아래에 본 명세서의 하나 또는 복수 개의 실시예에서의 도면을 결합하여, 본 명세서의 하나 또는 복수 개의 실시예에서의 기술 방안을 명확하고 완전하게 설명하며, 설명된 실시예는 본 명세서의 실시예 중 일부일 뿐이며, 모든 실시예가 아닌 것은 명백하다. 본 명세서에서의 하나 또는 복수 개의 실시예에 기반하여, 본 분야의 기술자가 창조적 노동을 부여하지 않은 전제하에서 획득한 다른 실시예는 전부 본 발명의 청구범위에 속해야 한다.

본 명세서에서의 가상 객체 모델은 컴퓨터를 이용하여 시뮬레이션된 3차원 동물 모델 또는 3차원 인체 모델 등일 수 있고, 이에 한정되지 않으며, 아래에 주로 얼굴 모델을 예로 들어 가상 객체 변형 처리를 설명한다. 사용자는 가상 객체 모델을 자체적으로 제작할 수 있고, 예를 들어, 모델의 외관을 변화시키기 위해 기설정된 가상 객체 모델의 구조 파라미터(예를 들어, 골격 파라미터)를 통해 조정할 수 있다.

가상 객체 변형 처리 과정 중 융합 변형 데이터가 이용된다. 융합 변형 데이터는 블랜드 쉐입에 저장된 데이터이고, 이는 가상 객체(예를 들어, 얼굴)의 변형 정도를 나타내기 위한 것이며, 모델이 하나의 형태로부터 다른 형태로 융합될 경우, 대응되는 그리드 데이터 사이의 차이값일 수 있다. 표준 융합 변형 데이터가 기설정된 가상 객체 모델과 관련하여 제작된 것이므로, 기설정된 가상 객체 모델을 조정(예를 들어, 얼굴 꼬집기)한 후, 표준 융합 변형 데이터에 적응되는지 여부가 존재하므로, 표준 융합 변형 데이터를 업데이트해야 한다. 아래 설명 중 가상 객체가 얼굴인 것으로 예를 들고, 기설정된 얼굴은 표준 얼굴일 수 있으며, 관련 기술에서 흔히 사용되는 파라미터를 사용하여 생성된다.

구별하여 설명하기 위해, 아래에서, 상기 기설정된 가상 객체 모델에 대응되는 골격 파라미터를 제1 골격 파라미터로 지칭하고, 이에 대응되는 융합 변형 데이터를 제1 융합 변형 데이터로 지칭하며, 타겟 가상 객체 모델에 대응되는 골격 파라미터를 제2 골격 파라미터로 지칭하며, 이에 대응되는 융합 변형 데이터를 제2 융합 변형 데이터로 지칭한다.

상기 문제에 기반하여, 본 명세서의 적어도 하나의 실시예는 가상 객체 변형 처리 방법을 제공한다. 도 1에 도시된 바와 같이, 이는 상기 방법의 하나의 실시예 플로우이고, 상기 방법은 아래와 같은 단계를 포함할 수 있다.

단계 101에 있어서, 복수 개의 골격을 포함하는 3차원 기설정된 가상 객체 모델에 대응되는 제1 골격 파라미터 및 제1 융합 변형 데이터를 획득한다.

본 단계에 있어서, 제1 융합 변형 데이터는 기설정된 가상 객체(예를 들어, 얼굴)의 변형 정도를 나타내기 위한 것이다. 즉, 상기 제1 융합 변형 데이터를 기설정된 얼굴 모델에 적용시킬 경우, 상기 기설정된 얼굴 모델이 상응하는 변형을 생성하도록 할 수 있다.

골격(bones)에 기반하여 생성된 기설정된 가상 객체 모델 중, 각 골격은 복수 개의 파라미터를 가질 수 있다. 예를 들어, 시프트 파라미터(t), 회전 파라미터(r), 축소 파라미터(s) 중 적어도 하나를 포함할 수 있다. 기설정된 가상 객체 모델의 경우, 예를 들어 기설정된 얼굴 모델의 경우, 상기 얼굴 모델에 포함된 골격은 머리 골격이고, 각 골격의 골격 파라미터가 일반적으로 x 축, y 축, z 축의 값을 포함하므로, Bi=(tx, ty, tz, rx, ry, rz, sx, sy, sz)를 사용하여 기설정된 얼굴 모델의 골격 파라미터를 나타낼 수 있으며, 여기서, i=1, 2…Nb이며, Nb는 모델에 포함된 골격 개수이다.

도 2a는 골격에 기반하여 구축된 기설정된 얼굴 모델의 예시도이다. 상기 기설정된 얼굴 모델은 48 개의 골격에 기반하여 골격체를 구축하고, 그 골격체의 기초 상에서 스키닝 처리를 수행하여 얻은 모델이고, 도 2a에서의 흰색 라인은 골격을 나타낸다.

본 분야의 기술자라면 기설정된 가상 객체 모델에 기반하여, 또한 다른 타입의 데이터를 획득할 수 있고, 이에 한정되지 않음을 이해해야 한다.

단계 102에 있어서, 3차원 타겟 가상 객체 모델에 대응되는 제2 골격 파라미터를 획득하고, 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계를 결정한다.

본 단계에 있어서, 타겟 가상 객체 모델은 기설정된 가상 객체 모델이 조정되어 획득된 것이고, 여기서 조정은 기설정된 가상 객체 모델의 제1 골격 파라미터를 조정하는 것일 수 있으며, 이로써 타겟 가상 객체 모델의 제2 골격 파라미터를 얻는다. 상기 제2 골격 파라미터와 제1 골격 파라미터는 데이터 포맷 상에서 동일하지만, 값은 차이가 존재한다. 획득된 제2 골격 파라미터 및 제1 골격 파라미터를 통해, 이들 사이의 변환 관계를 결정할 수 있다.

단계 103에 있어서, 상기 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계와 상기 제1 융합 변형 데이터에 따라, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 결정한다.

제2 골격 파라미터가 제1 골격 파라미터의 기초 상에서 조정되어 획득된 것으므로, 이들 사이에는 변환 관계가 존재한다. 제2 골격 파라미터와 제1 골격 파라미터 사이의 변환 관계를 제1 융합 변형 데이터에 적용시키면, 제2 골격 파라미터에 대응되는, 즉 3차원 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 획득할 수 있다.

본 실시예에 있어서, 기설정된 가상 객체 모델을 조정하는 것을 통해 3차원 타겟 가상 객체 모델을 생성할 수 있다. 사전에 획득된 기설정된 가상 객체 모델의 제1 골격 파라미터 및 제1 융합 변형 데이터, 및 타겟 가상 객체 모델에 대응되는 제2 골격 파라미터에 따라, 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 획득한다. 이로써, 기설정된 가상 객체 모델의 조정에 관련하여 블랜드 쉐입의 데이터를 동기식으로 업데이트할 수 있어, 블랜드 쉐입이 새로운 가상 객체 모델(즉, 타겟 가상 객체 모델)에 적응하도록 한다. 예시적으로, 융합 변형 데이터가 표정 제작에 사용될 경우, 표정 구동의 정확성을 향상시킬 수 있다.

융합 변형 데이터가 표정을 제작하기 위한 것일 경우, 기설정된 가상 객체 모델의 제1 융합 변형 데이터는 표정에 대응되는 그리드 데이터와 표준 그리드 데이터 사이의 차이값일 수 있다. 여기서 표준 그리드 데이터는 기설정된 가상 객체 모델의 골격에 대응되는 그리드 꼭지점 데이터를 포함할 수 있다.

기설정된 가상 객체 모델을 조정한 후, 골격 파라미터가 변화되고, 특히 변동이 비교적 클 경우, 여전히 융합 변형 데이터로 표정을 구동하면 적응되지 않는 문제가 발생될 수 있으므로, 표정 오차가 비교적 크고, 모델의 진실성 및 생동성에 영향을 준다. 따라서, 융합 변형 데이터를 업데이트하여, 조정하여 얻은 3차원 타겟 가상 객체 모델에 적응되도록 하여, 표정을 더 정확하게 구동할 수 있도록 해야 한다.

하나의 예에 있어서, 제2 융합 변형 데이터를 획득하는 방법은 도 3에 도시된 바와 같이, 아래와 같은 단계를 포함할 수 있다.

단계 301에 있어서, 상기 3차원 기설정된 가상 객체 모델에 대응되는 제1 그리드 데이터를 획득한다.

하나의 예에 있어서, 상기 3차원 기설정된 가상 객체 모델에 대응되는 제1 그리드 데이터를 획득하는 단계는,

상기 제1 골격 파라미터에 대응되는 표준 그리드 데이터를 획득하는 단계; 및 상기 표준 그리드 데이터 및 상기 제1 융합 변형 데이터에 따라, 상기 제1 융합 변형 데이터에 대응되는 제1 그리드 데이터를 얻는 단계를 포함할 수 있다.

기설정된 가상 객체 모델에 대응되는 제1 골격 파라미터를 획득하면, 이 골격 파라미터에 대응되는 표준 그리드 데이터를 획득할 수 있다. 도 2b는 기설정된 얼굴 모델(표정이 구동되지 않음)의 골격 파라미터에 대응되는 표준 그리드 데이터의 예를 도시하고, 상기 표준 그리드 데이터는 기설정된 얼굴 모델이 표정을 구동하지 않을 경우 골격에 대응되는 그리드 꼭지점 데이터를 포함할 수 있다.

블랜드 쉐입에 저장된 것이 표정에 대응되는 그리드 데이터와 표준 그리드 데이터 사이의 차이값이므로, 표준 그리드 데이터를 획득한 후, 이에 제1 블랜드 쉐입(제1 융합 변형 데이터에 대응되는 블랜드 쉐입)에 저장된 차이값을 가하는 것을 통해, 제1 융합 변형 데이터에 대응되는 제1 그리드 데이터를 복원할 수 있다.

예를 들어, 기설정된 얼굴 모델에 대응되는 표준 그리드 데이터가, 벡터[1,1,1,…,1,1]일 수 있고; 눈 크기를 제어하기 위한 블랜드 쉐입에 저장된 융합 변형 데이터가 벡터[0,0,0.5,…,0,0](두 개의 벡터 크기는 동일함)일 수 있다고 가정한다. 상기 블랜드 쉐입을 작동할 경우, 저장된 제1 융합 변형 데이터와 표준 그리드 데이터를 가하는 것을 통해, 기설정된 얼굴에서 눈을 크게하려는 효과를 달성할 수 있다. 즉, 표준 그리드 데이터와 제1 융합 변형 데이터를 가하여 얻은 벡터[1,1,1.5,…,1,1]는 눈이 커지는 표정에 대응되는 제1 그리드 데이터이다. 본 분야의 기술자라면 이상 그리드 데이터 포맷은 예일 뿐이고, 본 발명 중 그리드 데이터 포맷을 한정하려는 것이 아님을 이해해야 한다.

단계 302에 있어서, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 그리드 데이터를 획득한다.

하나의 예에 있어서, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 그리드 데이터를 획득하는 단계는,

상기 제2 골격 파라미터와 상기 제1 골격 파라미터에 따라, 상기 3차원 타겟 가상 객체 모델 중 전부 또는 일부 골격의 변환 매트릭스를 결정하는 단계; 및

전술한 타겟 가상 객체 모델와 기설정된 가상 객체 모델 사이가 전부 또는 일부 골격을 순회하면, 각 골격의 변환 매트릭스, 즉 제2 골격 파라미터 및 제1 골격 파라미터 사이의 변환 관계를 획득할 수 있다.

도 4는 각 골격의 변환 매트릭스를 획득하는 방법의 실시예 플로우이다. 도 4에 도시된 바와 같이, 상기 방법은 아래와 같은 단계를 포함할 수 있다.

단계 401에 있어서, 상기 기설정된 가상 객체 모델에 대응되는 제1 골격 파라미터에 따라, 기설정된 가상 객체 모델 중 각 골격의 제1 위치 매트릭스를 획득한다.

단계 402에 있어서, 타겟 가상 객체 모델에 대응되는 제2 골격 파라미터에 따라, 3차원 타겟 가상 객체 모델 중 각 골격의 제2 위치 매트릭스를 획득한다.

단계 403에 있어서, 상기 제2 위치 매트릭스 및 상기 제1 위치 매트릭스에 따라, 각 골격의 변환 매트릭스를 획득한다.

하나의 예에 있어서, 상기 제2 위치 매트릭스에 상기 제1 위치 매트릭스를 나누는 것을 통해, 각 골격의 변환 매트릭스를 획득할 수 있다.

예를 들어, 아래의 공식을 통해 골격의 변환 매트릭스를 획득할 수 있다.

T=T_new*inverse(T_normal) (1)

여기서, T는 골격의 변환 매트릭스를 나타내고, T_new는 기설정된 가상 객체 모델에 대응되는 골격의 제1 위치 매트릭스를 나타내며, T_normal은 타겟 가상 객체 모델에 대응되는 골격의 제2 위치 매트릭스를 나타내며, inverse()는 매트릭스 역변환(matrix inversion)을 구하는 것을 나타낸다.

골격의 변환 매트릭스를 제1 그리드 데이터에 적용시키면, 새로운 그리드 꼭지점 데이터를 얻을 수 있다. 주로 골격체 스크닝의 사상을 이용하여, 골격체의 변화 상태 및 각 그리드 꼭지점의 바인딩 정보에 따라 새로운 그리드 꼭지점 좌표, 즉 타겟 가상 객체 모델에 대응되는 제2 그리드 데이터를 계산한다. 예를 들어 아래의 공식을 이용하여 계산할 수 있다.

(2)

여기서, Vertex_new, Vertex_ori는 새로운 그리드 꼭지점 및 초기 그리드 꼭지점을 각각 나타내고, k는 상기 꼭지점이 k 개의 골격 영향을 받는 것을 나타내며, T_i 및 weight_i는 골격변환 매트릭스 및 대응되는 가중치를 각각 나타낸다.

단계 303에 있어서, 상기 제2 그리드 데이터 및 상기 제1 그리드 데이터에 따라, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 결정한다.

하나의 예에 있어서, 상기 제2 그리드 데이터에 상기 제1 그리드 데이터를 감하는 것을 통해, 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 얻을 수 있다.

여전히 눈 크기를 제어하기 위한 블랜드 쉐입을 예로 들면, 단계 301에서 얻은 제1 그리드 데이터는, 기설정된 얼굴 모델에서 눈이 커지는 효과를 획득하는데 대응되는 그리드 데이터에 대응된다. 단계 302에서 얻은 제2 그리드 데이터는, 타겟 얼굴 모델에서 눈이 커지는 효과를 획득하는 그리드 데이터에 대응된다. 상기 제2 그리드 데이터에 상기 제1 그리드 데이터를 감하는 것을 통해, 얻은 제2 융합 변형 데이터는, 즉 타겟 얼굴 모델에 대응되는 블랜드 쉐입에 저장된 데이터이다.

본 실시예에 있어서, 타겟 가상 객체 모델을 생성한 후, 골격의 변환 매트릭스를 기설정된 가상 객체 모델에 대응되는 블랜드 쉐입에 동기식으로 적용시켜 업데이트하여, 타겟 가상 객체 모델에 적응되도록 함으로써, 표정 구동의 정확성을 향상시킨다.

본 기술분야의 기술자는 본 실시예에서의 가상 객체 변형 처리 방법이, 전술한 타겟 가상 객체 모델의 생성 방법에 의해 생성된 얼굴 모델에 적용되는 것에 한정되지 않고, 기설정된 가상 객체 모델을 임의로 제작할 경우 융합 변형 데이터를 업데이트하는데 사용될 수 있음을 이해해야 한다. 제작된 모델의 융합 변형 데이터 업데이트의 경우, 변환 매트릭스에서, T_new는 제작된 모델에 대응되는 골격의 위치 매트릭스를 나타내고, T_normal은 제작되기 전 모델에 대응되는 골격의 위치 매트릭스를 나타낸다.

전술한 가상 객체 변형 처리 방법에서 적용되는 타겟 가상 객체 모델은 얼굴 모델일 수 있고, 상기 얼굴 모델에 포함된 골격은 머리 골격이며, 상기 얼굴 모델은 아래와 같은 방식으로 생성될 수 있다. 도 5는 타겟 얼굴 모델을 생성하는 방법의 실시예 플로우이고, 도 5에 도시된 바와 같이, 상기 방법은 아래와 같은 단계를 포함할 수 있다.

단계 501에 있어서, 3차원 타겟 얼굴 모델의 골격 파라미터 조정 정보를 획득한다.

본 실시예에 있어서, 골격 파라미터 조정 명령어를 수신하는 것을 통해, 상기 골격 파라미터 조정 명령어에 따라 상기 골격 파라미터 조정 정보를 결정할 수 있다.

획득된 골격 파라미터 조정 정보는, 변화량 또는 상대적인 변화량 또는 변화 비례 중 적어도 하나일 수 있다.

단계 502에 있어서, 상기 골격 파라미터 조정 정보에 따라, 상기 3차원 타겟 얼굴 모델에 대응되는 머리 골격 파라미터를 조정한다.

본 단계에 있어서, 상기 골격 파라미터 조정 정보에 포함된 변화량 또는 상대적인 변화량 또는 변화 비례에 기반하여, 머리 골격 파라미터가 대응되는 변화가 발생하도록, 상기 머리 골격 파라미터를 조정하고, 예를 들어 상응하는 변화량 또는 상대적인 변화량을 증가/감소시키거나, 상응하는 변화 비례를 증가/감소시킨다. 머리 골격 파라미터를 조정한 후, 조정된 한 세트의 골격 파라미터를 얻을 수 있다.

단계 503에 있어서, 조정된 상기 머리 골격 파라미터에 따라, 3차원 타겟 얼굴 모델을 생성한다.

머리 골격 파라미터가 조정되었으면, 3차원 타겟 얼굴 모델의 골격도 조정되었음으로써, 모델의 골격 구조를 변화시켜, 원하는 3차원 타겟 얼굴 모델을 얻는다.

본 실시예에 있어서, 골격 파라미터 조정 정보를 통해, 머리 골격 파라미터를 조정하고, 머리 중 적어도 하나의 골격 파라미터에 대한 동시 조정을 구현함으로써, 모델의 전체 형태 및 일부 세부 사항에 대한 동시 조정을 구현할 수 있어, 쾌속 조정의 목적에 도달할 수 있는 동시에, 정밀한 조정도 수행할 수 있다. 아래의 설명 중, 3차원 타겟 얼굴 모델의 생성 방법을 더 상세하게 설명한다.

본 실시예의 방법을 응용하여 3차원 타겟 가상 객체 모델을 생성할 경우, 3차원 타겟 가상 객체 모델의 골격 파라미터를 조절하기 위한 조절 파라미터를 미리 설정할 수 있다. 상기 조절 파라미터는 상기 골격 파라미터 조정 정보의 구체적인 실시형태이다.

상기 조절 파라미터가 3차원 타겟 가상 객체 모델의 골격 파라미터에 기반하여 설정된 것으므로, 3차원 타겟 가상 객체 모델의 골격 파라미터(즉 머리 골격 파라미터)를 먼저 획득할 수 있다.

3차원 타겟 가상 객체 모델의 골격 파라미터는 예를 들어 Bi=(tx, ty, tz, rx, ry, rz, sx, sy, sz)일 수 있고, 여기서, i=1, 2…Nb이며, Nb는 3차원 타겟 가상 객체 모델에 포함된 골격 개수이다. 골격 파라미터(Bi)를 조정하는 것을 통해, 골격의 위치, 방향, 크기 중 하나 또는 복수 개가 변화되도록 할 수 있음으로써, 3차원 타겟 가상 객체 모델의 골격 구조를 변화시킬 수 있다. 그러나 조절 가능한 파라미터의 자유도가 지나치게 높을 경우, 사용자가 일부 세부 사항을 조절하는 난이도가 지나치게 높아진다. 따라서, 본 실시예에서 골격 구조를 조정하기 위해, 3차원 타겟 가상 객체 모델의 골격 파라미터의 조절 파라미터를 설정한다.

상기 조절 파라미터는 머리 중 적어도 하나의 골격의 파라미터와 관련된다. 여기서 관련된다는 것은, 조절 파라미터를 변경시킬 경우, 상기 적어도 하나의 골격의 하나 또는 복수 개의 파라미터가 동시에 변화될 수 있음을 가리킨다. 따라서, 상기 조절 파라미터는 이와 관련된 골격 파라미터의 컨트롤러(controller)로 간주될 수 있다. 상기 적어도 하나의 골격은, 머리 중 적어도 하나의 일부 영역의 골격에 속할 수 있다.

하나의 예에 있어서, 아래의 방법을 통해 상기 조절 파라미터의 설정을 구현할 수 있다. 상기 방법은 아래와 같은 단계를 포함할 수 있다.

먼저, 상기 조절 파라미터와 관련된 골격을 획득한다.

각 조절 파라미터와 어떠한 골격이 관련되는 것은, 미리 설정될 수 있다. 상기 조절 파라미터를 조절할 경우, 상기 조절 파라미터와 관련된 골격의 파라미터도 동시에 조정될 수 있다.

각 조절 파라미터의 경우, 일부 영역 내의 복수 개의 골격의 파라미터와 상기 조절 파라미터의 연관성을 구축할 수 있다. 이는 상기 일부 영역 내의 전부 골격일 수 있고, 그 중 일부 골격일 수도 있다. 예를 들어, 두 눈의 전체 크기를 조정하기 위한 눈골격 컨트롤러의 경우, 눈 영역에 모두 E1 개의 골격이 존재하지만, 그 중 E2 개의 골격만 조정(E2<E1)하면, 눈 크기의 변화를 제어할 수 있다고 가정하면, 상기 눈골격 컨트롤러는 이 E2 개의 골격만 제어하면 된다. 도 7a에 도시된 바와 같이, 두 눈의 전체 크기를 조정하기 위한 눈골격 컨트롤러를 골격(eye_01, eye_02, eye_03)(eye_01, eye_02, eye_03은 눈 영역의 골격을 나타냄)의 파라미터와 관련되도록 하는 것을 통해, 상기 눈골격 컨트롤러가 이 세 개의 골격을 제어할 수 있도록 한다. 다음, 각 상기 골격의 골격 파라미터 중, 상기 조절 파라미터와 관련된 골격 파라미터를 획득한다.

상기 조절 파라미터와 관련된 각 골격, 조절 파라미터는 9 개의 파라미터 전부를 제어할 수 있고, 그 중 하나 또는 복수 개의 파라미터를 제어할 수도 있다. 각 골격의 파라미터와 관련된 조절 파라미터는, 미리 설정될 수 있다.

도 6에 도시된 바를 예로 들면, controller1, controller2,…, controllerM은 각 컨트롤러이고, 여기서, M은 컨트롤러의 개수이며, 여기서 컨트롤러(controller1)는 세 개의 골격(bone1, bone2, bone3)을 제어할 수 있으며, controller1에 의해 제어될 수 있는 각 골격의 파라미터는 bone1의 평행 이동 파라미터(tx, ty), bone2의 스케일링 파라미터(sx, sy, sz), bone3의 회전 파라미터(rx)이다. 즉, controller1의 조절 파라미터를 조정하는 것을 통해, 이 세 개의 골격의 상기 파라미터를 동시에 조정할 수 있다.

마지막으로, 상기 조절 파라미터와 관련된 각 골격 파라미터를 설정하여, 상기 조절 파라미터의변화에 따라, 상기 골격 파라미터를 동시에 조정한다.

조절 파라미터와 관련된 하나 또는 복수 개의 골격 파라미터를 결정한 후, 각 관련된 골격 파라미를 설정하는 것을 통해, 상기 조절 파라미터의 변화에 따라 상기 골격 파라미터를 동시에 조정하도록 함으로써, 조절 파라미터가 관련된 골격 파라미터에 대한 제어를 구현한다. 예시적으로, 조절 파라미터와 동일한 변화 비례로, 상기 조절 파라미터와 관련된 하나 또는 복수 개의 골격 파라미터를 조정할 수 있다. 예를 들어, 조절 파라미터의 값의 조정 폭이 1/10 추가되면, 이와 관련된 하나 또는 복수 개의 골격 파라미터의 값의 조정 폭도 동시에 1/10 추가된다.

하나의 예에 있어서, 아래의 방법을 통해 조절 파라미터가 골격 파라미터에 대한 조정을 구현할 수 있다. 상기 방법은 아래와 같은 단계를 포함한다.

먼저, 상기 조절 파라미터의 변화 범위를 획득한다. 상기 변화 범위는 미리 설정될 수 있고, 상기 범위가 조절 파라미터의 상대적인 변화량을 결정하기 위한 것이므로, 구체적인 범위의 설정은 본 발명의 기술방안에 대한 구현에 영향을 미치지 않는다.

다음, 상기 조절 파라미터와 관련된 각 골격 파라미터의 변화 범위를 획득한다. 상기 변화 범위는 미리 설정될 수 있고, 실제 조절해야 하는 골격의 시프트, 방향, 거리 등에 따라, 골격 파라미터의 변화 범위를 구체적으로 설정할 수 있다. 예시적으로, 골격 파라미터의 변화 범위가 0이면, 이 파라미터는 조정 불가한 것을 나타내고, 즉 상기 조절 파라미터의 제어를 받지 않는다.

다음, 상기 조절 파라미터와 관련된 각 골격 파라미터를 설정하여, 상기 조절 파라미터가 변화 범위 내에서의 변화 비례에 따라, 골격 파라미터의 변화 범위 내에서 동일한 변화 비례의 변화를 수행하도록 한다. 여기서 언급된 변화 비례는 상대적인 변화량으로 나타낼 수도 있다. 예를 들어, 도 6에서의 controller1의 경우, 조절 파라미터의 변화 범위가 [0,1]이고, 조절 파라미터 값이 0.2로부터 0.3으로 변화되면, 상대적인 변화량은 1/10이고, 즉 변화 비례는 1/10이다. 이로써, controller1와 관련된 bone1, bone2, bone3의 골격 파라미터의 값은 동시에 1/10 증가된다. 이로써, 조절 파라미터 및 상기 조절 파라미터와 관련된 골격 파라미터의 동시 조정을 구현한다. 예시적으로, 상기 골격 파라미터는 조절 파라미터에 비례하여 변화되고, 선형 보간 알고리즘을 통해 구현될 수 있다.

본 기술분야의 기술자는, 상이한 골격 파라미터에 대해 상이한 변화를 설정할 수도 있음을 이해해야 하고, 예를 들어, controller1의 조절 파라미터 값이 0.2로부터 0.3으로 변화되면, bone1의 골격 파라미터를 1/10 증가시키고, bone2 및 bone3의 골격 파라미터를 1/5 증가시킬 수 있다. 다시 말해, 상이한 골격 파라미터가 상이한 변화 추세를 생성하도록 할 수 있다. 이해해야 하는 것은, 조절 파라미터 값이 0으로부터 1로 조절될 경우, 각 골격 파라미터도 상응되게 자체의 변화 구간 내에서 최소값으로부터 최대값으로 변화되고, 다만 각 골격 파라미터의 변화 과정이 상이한 것일 수 있다. 예시적으로, 이상 상이한 골격 파라미터는 조절 파라미터에 따라 상이한 추세로 변화되고, 비선형 보간 알고리즘을 통해 구현될 수 있다.

본 발명의 적어도 하나의 실시예에 있어서, 상기 골격 파라미터 조정 정보를 획득하는 단계는,

골격 파라미터 조정 명령어를 수신하는 단계; 및

여기서, 상기 골격 파라미터 조정 명령어는 상기 조절 파라미터에 대한 조정 명령어를 가리킬 수 있다. 상기 조절 파라미터의 조정 명령어에 따라, 상기 골격 파라미터 조정 정보를 결정할 수 있다.

상기 골격 파라미터 조정 정보를 획득한 후, 상기 골격 파라미터 조정 정보와 관련된 적어도 하나의 머리 골격의 골격 파라미터를 획득하고, 즉 상기 조절 파라미터와 관련된 적어도 하나의 머리 골격의 골격 파라미터를 획득하며, 상기 골격 파라미터 조정 정보에 따라 상기 적어도 하나의 머리 골격의 골격 파라미터를 조정한다.

상기 적어도 하나의 머리 골격이 하나의 골격일 경우, 상기 골격 파라미터 조정 정보에 따라 상기 골격의 골격 파라미터를 조정하고; 상기 적어도 하나의 머리 골격이 복수 개의 골격일 경우, 상기 골격 파라미터 조정 정보에 따라 상기 복수 개의 머리 골격의 골격 파라미터를 동시에 조정한다.

하나의 예에 있어서, 상기 골격 파라미터 조정 정보에 따라 상기 적어도 하나의 머리 골격의 골격 파라미터를 조정하는 단계는,

상기 골격 파라미터 조정 정보가 조절 범위 내에서의 변화 비례에 따라 상기 골격 파라미터 조정 정보와 관련된 상기 적어도 하나의 머리 골격의 골격 파라미터를 조정하는 단계 - 골격 파라미터에 대한 조정은 상기 골격 파라미터의 조절 범위 내에서 수행됨 - 를 포함할 수 있다.

하나의 예에 있어서, 먼저 슬라이더와 같은 골격 파라미터 조정 명령어에 대한 컨트롤을 설정할 수 있고, 상기 컨트롤을 조작하는 것을 통해 조절 파라미터의 조정 명령어를 생성할 수 있다. 모델을 생성할 경우, 상기 컨트롤의 출력 변화량을 획득하는 것을 통해, 즉 조정 명령어에 대응되는 골격 파라미터 조정 정보를 획득함으로써, 관련된 골격 파라미터를 조정할 수 있다.

도 7a에서 두 눈의 전체 크기를 조절하는 것을 예로 들어 조절 파라미터가 얼굴 모델에 대한 제어를 구체적으로 설명한다.

예를 들어, 두 눈의 전체 크기를 조절하기 위한 컨트롤러(controller1_eye)의 파라미터 변화 범위를 [0,1]로 설정하고, 즉 조절 파라미터 값은 [0,1] 사이의 임의의 값일 수 있으며, 슬라이더를 조작하는 것을 통해 조절 파라미터 값이 이 구간 내에서 변화되도록 할 수 있으며, 도 7b에 도시된 바와 같다.

컨트롤러(controller1_eye)는 눈 영역의 세 개의 골격(eye_01, eye_02, eye_03)를 제어할 수 있고, 컨트롤러(controller1_eye)에 의해 제어될 수 있는 각 골격의 파라미터는 골격(eye_01)의 스케일링 파라미터(sx, sy, sz), 골격(eye_02)의 스케일링 파라미터(sx, sy, sz), 골격(eye_03)의 스케일링 파라미터(sx, sy, sz)이며, 예시적으로, 각 파라미터의 조절 범위는 [-1,1]이고, 즉 각 파라미터 값은 상기 구간 내의 임의의 값이다. 예시적으로, 이 세 개의 골격의 다른 파라미터의 조절 범위는 0이고, 즉 컨트롤러(controller1_eye)를 통해 조정될 수 없으며, 제어 리스트에 디스플레이되지 않는다.

컨트롤러(controller1_eye)의 슬라이더를 제어하는 것을 통해, 조절 파라미터 값이 변화하도록 하고, 상기 값을 획득한다. 다음 상기 값을 이용하여 컨트롤러(controller1_eye)에 대응되는 상기 세 개의 골격의 파라미터를 대응되는 조절 범위 내에서 선형 보간을 수행하여, 각 파라미터가 조절된 값을 얻는다. 즉, 컨트롤러(controller1_eye)의 조절 파라미터 값이 그 파라미터 범위 내에서의 변화에 기반하여, 관련된 골격 파라미터 값이 그 조절 범위 내에서 동일한 비례의 변화를 발생하도록 한다. 이로써 두 눈의 전체 크기에 대한 조절을 구현한다. 도 7c는 원래 두 눈의 크기의 예시도이고, 여기서, 왼쪽의 각 박스는 골격 파라미터를 나타내고, 각각 머리 전체 파라미터(head_all_p_N), 왼쪽 얼굴 전체 파라미터(cheek_p_L), 왼쪽 얼굴 파라미터(cheek_01_p_L, cheek_02_p_L, cheek_03_p_L), 오른쪽 얼굴 전체 파라미터(cheek_p_R), 오른쪽 얼굴 파라미터(cheek_01_p_R, cheek_02_p_R, cheek_03_p_R), 눈 전체 파라미터(eye_p_L), 눈 파라미터(eye_01_p_L, eye_02_p_L, eye_03_p_L, eye_04_p_L, )이고, 오른쪽은 각 컨트롤러의 슬라이더 컨트롤이다. 예를 들어 도 7b에 도시된 바와 같은 슬라이더를 제어하는 것을 통해, 조절 파라미터 값이 작아지도록 하여, 도 7d에 도시된 바와 같은 두 눈이 전반적으로 작아지는 효과를 얻는다. 본 분야의 기술자는 도 7c~도 7d에서 디스플레이된 것은 골격체 이미지의 기초 상에서 스키닝하여 얻은 3차원 모델이지만, 골격 변화에 의해 생성된 효과를 반영할 수 있음을 알아야 한다.

하나의 예에 있어서, 조정된 골격이 대칭되는 골격일 경우, 조정된 골격에 대칭되는 골격의 파라미터도 대응되게 변화된다. 도 2a에 도시된 바와 같이, 얼굴의 골격은 대부분 대칭되고, 대칭되는 골격의 경우, 한 쪽을 조정하면, 다른 한 쪽 골격도 이에 따라 변화된다. 다시 말해, 대칭되는 골격의 파라미터 사이는 관련되고, 파라미터 중 하나가 변화되면, 다른 하나의 파라미터도 대응되게 변화된다.

대칭되는 골격이 대응되게 변화하도록 하여, 조절 단계를 감소시키는 전제하에, 얼굴의 대칭을 유지함에 있어서 유리하다.

본 발명에서 설명된 일부 영역은, 하나의 영역일 수 있고, 조절 파라미터가 일부 효과를 구현하기 위해 제어해야 하는 복수 개의 영역일 수도 있다. 조절 파라미터가 구현 가능한 효과에 기반하여, 상기 조절 파라미터에 대응되는 컨트롤의 이름을 지정할 수 있다. 도 7c 내지 도 7d에 도시된 바와 같이, “눈썹 좌우”, “눈썹 위 아래” 등 이름이 지정된 컨트롤을 포함하여, 상기 컨트롤이 구현 가능한 효과를 직관적으로 반영함으로써, 사용자가 조작하기 용이하도록 한다.

생성된 얼굴 모델의 경우, 통상적으로 모델 분할의 방식을 사용하여 자체 정의 메이크업을 생성하고, 캐릭터 모델의 기초 상에서 각 교체 가능한 부재를 위한 독립적인 모델을 분리하지만, 이러한 방식의 랜더링 단계가 복수 개의 CPU가 그래픽 프로그래밍 인터페이스를 호출(draw call)하도록 하므로, 프로그램의 성능에 엄중한 영향을 미친다.

이에 기반하여, 아래의 실시예에 있어서, 생성된 얼굴 모델에 대한 얼굴 메이크업을 생성하는 방법을 제안하고, 도 8에 도시된 바와 같이, 아래와 같은 단계를 포함할 수 있다.

단계 801에 있어서, 상기 얼굴 모델의 골격 파라미터에 기반하여 얼굴 맵을 생성한다.

본 단계에 기반하여, 상기 얼굴 모델의 골격 파라미터에 따라 얼굴 맵을 생성할 수 있다. 상기 얼굴 맵은 메이크업에 대응되는 복수 개의 영역을 포함할 수 있고, 상이한 골격 파라미터의 경우, 각 직사각형 영역의 크기 및 위치는 통상적으로 상이하다. 여기서 언급된 메이크업은, 생성된 모델이 이미 갖고 있거나, 교체 불가한 얼굴 부위가 아닌, 얼굴 모델이 교체 가능한 얼굴 부재를 가리키고, 예를 들어, 눈썹, 볼, 수염 등이다. 본 기술분야의 기술자는, 교체 가능한 얼굴 부재가 상기에 한정되지 않고, 또한 다른 얼굴 메이크업을 포함할 수 있음을 이해해야 한다.

본 기술분야의 기술자는, 상기 얼굴 맵이 다른 방식에 의해 제작되고 생성된 얼굴 맵인 것이고, 상기 얼굴 모델의 골격 파라미터에 기반하여 생성된 것에 한정되지 않음을 이해해야 한다.

도 9a에 도시된 바와 같이, 상기 얼굴 맵은 눈썹, 볼, 입술 또는 입술 및 수염에 대응되는 직사각형 영역을 포함한다. 여기서, 각 직사각형 영역은 너비, 높이, 좌표의 가로 방향 오프셋 값, 좌표의 세로 방향 오프셋 값 중 적어도 하나를 포함할 수 있다.

단계 802에 있어서, 상기 영역에 대하여 상응하는 메이크업의 교체 가능한 부재 맵을 획득한다.

직사각형 영역으로 예를 들면, 본 단계에 있어서, 직사각형 영역의 파라미터에 따라 상응하는 메이크업의 교체 가능한 맵을 제작하고 생성할 수 있고, 상응하는 맵을 호출하고 도입할 수도 있다. 맵의 예는 도 9b에 도시된 바와 같고, 여기서, 각 교체 가능한 부재의 맵은 상응하는 직사각형 영역의 너비 및 높이와 일치하다.

여기서, 각 교체 가능한 부재의 맵의 색상은 변경될 수 있고, 또한 맵에 한 층의 세부적인 무늬가 추가되도록 할 수도 있다.

하나의 예에 있어서, 교체 가능한 부재 맵의 투명도 정보 및 무늬 정보를 혼합하는 것을 통해, 상기 교체 가능한 부재 맵의 무늬를 생성할 수 있다. 상기 무늬 정보는 교체 가능한 부재의 맵에 의해 선택된 무늬 정보일 수 있고, 그 혼합 공식은,

(3) 이며,

여기서, Color_final은 맵이 최종적으로 나타낸 색상을 나타내고, Color_base은 Alpha!=1일 경우 얼굴 맵의 색상을 나타내며, Color_detail은 Alpha==1일 경우 교체 가능한 부재 맵의 색상을 나타낸다.

단계 803에 있어서, 각 메이크업에 대하여 획득된 교체 가능한 부재 맵과 상기 얼굴 맵을 병합하여, 병합된 맵을 얻는다.

하나의 예에 있어서, 아래의 방식을 통해 각 메이크업의 교체 가능한 부재 맵과 얼굴 맵을 병합시킬 수 있다.

교체 가능한 부재 맵에 대응되는 직사각형 영역의 좌표의 가로 방향 오프셋 값 및 좌표의 세로 방향 오프셋 값에 따라, 상기 교체 가능한 부재 맵을 얼굴 맵에 상응하는 직사각형 영역에 복사하고; 얼굴 맵과 상기 교체 가능한 부재 맵을 투명도 정보에 따라 혼합한다. 상기 투명도 정보는 상기 교체 가능한 부재 맵의 투명도 정보이다.

하나의 예에 있어서, 먼저 얼굴 맵을 랜더링 무늬(Render Texture)에 복사할 수 있고, 다음 각 교체 가능한 부재 맵을 얼굴 맵에 상응하는 직사각형 영역에 복사하여, 랜더링 무늬를 이용하여 교체 가능한 부재 맵과 얼굴 맵의 병합을 구현한다.

하나의 예에 있어서, 얼굴 맵 및 이에 대응되는 쉐이더 모델(shader)을 랜더링 무늬에 공동으로 복사할 수 있다.

교체 가능한 부재 맵과 얼굴 맵이 병합된 결과는 도 9c에 도시된 바와 같다.

단계804에 있어서, 상기 병합된 맵을 상기 얼굴 모델에 맵핑하여, 상기 얼굴 모델의 얼굴 메이크업을 생성한다.

하나의 예에 있어서, 먼저 상기 얼굴 맵을 하나의 프레임 버퍼 대상(Frame buffer Object)에 랜더링할 수 있고, 상기 얼굴 모델의 무늬 좌표(UV)에 따라, 상기 프레임 버퍼 대상을 GPU에서 얼굴 모델에 대응되는 맵 대상에 관련시킴으로써, 상기 병합된 맵부터 상기 얼굴 모델로의 맵핑을 구현한다.

도 10a는 초기의 얼굴 모델을 도시하고, 도 10b는 상기 방법을 통해 얼굴 메이크업이 생성된 얼굴 모델을 도시한다.

본 실시예에 있어서, 얼굴 맵 및 얼굴 맵의 각 직사각형 영역에 대응되는 메이크업의 교체 가능한 맵을 생성하는 것을 통해, 먼저 병합하고 다음 드로잉하는 방법을 이용하여, 랜더링 효율을 향상시킨다.

도 11a는 가상 객체 변형 처리 장치를 제공하고, 도 11a에 도시된 바와 같이, 상기 장치는,

복수 개의 골격을 포함하는 3차원 기설정된 가상 객체 모델에 대응되는 제1 골격 파라미터 및 제1 융합 변형 데이터를 획득하기 위한 제1 획득 유닛(1101) - 상기 제1 융합 변형 데이터는 기설정된 가상 객체의 변형 정도를 나타내기 위한 것임 - ;

3차원 타겟 가상 객체 모델에 대응되는 제2 골격 파라미터를 획득하고, 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계를 결정하기 위한 제2 획득 유닛(1102); 및

상기 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계와 상기 제1 융합 변형 데이터에 따라, 상기 3차원 타겟 가상 객체 얼굴 모델에 대응되는 제2 융합 변형 데이터를 결정하기 위한 결정 유닛(1103)을 포함한다.

도 11b는 다른 가상 객체 변형 처리 장치를 제공하고, 도 11b에 도시된 바와 같이, 제2 획득 유닛(1102)은 타겟 얼굴 모델을 생성하기 위한 얼굴 모델 생성 서브 유닛(1102_1)을 포함하고, 구체적으로,

3차원 타겟 얼굴 모델의 골격 파라미터 조정 정보를 획득하고;

상기 골격 파라미터 조정 정보에 따라, 상기 3차원 타겟 얼굴 모델에 대응되는 머리 골격 파라미터를 조정하며;

조정된 상기 머리 골격 파라미터에 따라, 3차원 타겟 얼굴 모델을 생성하기 위한 것이다.

도 12는 본 명세서의 적어도 하나의 실시예에서 제공한 가상 객체 변형 처리 기기이고, 도 12에 도시된 바와 같이, 상기 기기는 저장 매체(1201), 프로세서(1202)를 포함하며, 상기 저장 매체(1201)는 프로세서 상에서 작동 가능한 기계 실행 가능한 명령어를 저장하기 위한 것이고, 상기 프로세서(1202)는 상기 기계 실행 가능한 명령어를 실행할 경우 본 명세서의 어느 한 실시예에 따른 가상 객체 변형 처리 방법을 구현한다.

본 명세서의 적어도 하나의 실시예는 또한 기계 실행 가능한 명령어가 저장되어 있는 기계 판독 가능한 저장 매체를 제공하고, 상기 기계 실행 가능한 명령어가 프로세서에 의해 실행될 경우 본 명세서에 따른 어느 하나의 가상 객체 변형 처리 방법을 구현한다.

본 기술분야의 기술자는 본 명세서의 하나 또는 복수 개의 실시예 방법, 시스템 또는 컴퓨터 프로그램 제품으로 제공될 수 있음을 알아야 한다. 따라서, 본 명세서의 하나 또는 복수 개의 실시예는 완전한 하드웨어 실시예, 완전한 소프트웨어 실시예 또는 소프트웨어 및 하드웨어 측면의 실시예의 결합 형식을 사용할 수 있다. 또한, 본 명세서의 하나 또는 복수 개의 실시예는 컴퓨터 사용 가능한 프로그램 코드가 포함되어 있는 하나 또는 복수 개의 컴퓨터 사용 가능한 저장 매체(자기 디스크 메모리, CD-ROM, 광학 메모리 등) 상에서 실시되는 컴퓨터 프로그램 제품을 사용할 수 있다.

본 명세서에서의 각 실시예는 점진적인 방식을 사용하여 설명되고, 각 실시예 사이의 동일하고 유사한 부분은 서로 참조하면 되며, 각 실시예는 다른 실시예와의 상이한 점을 설명하는데 중점을 두고 있다. 특히, 데이터 처리 기기 실시예의 경우, 방법 실시예와 대체적으로 유사하므로, 설명된 것이 비교적 간단하고, 관련된 부분은 방법 실시예의 일부 설명을 참조하면 된다.

이상 본 명세서의 특정한 실시예를 설명하였다. 다른 실시예는 첨부된 청구항의 범위 내에 존재한다. 일부 경우에, 첨부된 청구항에서 기재된 동작 또는 단계는 실시예와 다른 순서에 따라 실행될 수 있고 여전히 원하는 결과를 구현할 수 있다. 또한, 첨부 도면에서 도시된 과정은 원하는 결과를 구현하기 위해 도시된 특정한 순서 또는 연속적인 순서를 반드시 요구하지 않는다. 일부 실시형태에 있어서, 멀티 작업 처리 및 병행 처리는 가능할 수 있거나 유리할 수도 있다.

본 명세서에서 설명된 주제 및 기능적 조작의 실시예는, 디지털 전자 회로, 유형적으로 반영된 컴퓨터 소프트웨어 또는 펌웨어, 본 명세서에서 개시된 구조 및 구조적 등가물을 포함하는 컴퓨터 하드웨어, 또는 그들 중 하나 또는 복수 개의 조합 중에서 구현될 수 있다. 본 명세서에서 설명된 주제의 실시예는 하나 또는 복수 개의 컴퓨터 프로그램으로 구현될 수 있고, 즉 유형적인 비일시적 프로그램 반송체에서 데이터 처리 장치에 의해 실행되거나 데이터 처리 장치의 조작을 제어하는 컴퓨터 프로그램 명령어를 코딩하는 하나 또는 복수 개의 모듈이다. 대안 가능하거나 추가적으로, 프로그램 명령어는 인공적으로 생성된 전파 신호에서 코딩될 수 있고, 예를 들어 기계에 의해 생성된 전기, 광 또는 전자기 신호이며, 상기 신호는 데이터 처리 장치에 의해 실행되기 위해 생성되어 정보를 코딩하고 적절한 수신기 장치에 전송된다. 컴퓨터 저장 매체는 기계 판독 가능한 저장 기기, 기계 판독 가능한 저장 기판, 랜덤 또는 직렬 액세스 메모리 기기, 또는 그들 중 하나 또는 복수 개의 조합일 수 있다.

데이터를 입력하여 조작하고 출력을 생성하는 것에 따라 상응하는 기능을 실행하기 위해, 본 명세서에서 설명된 처리 및 논리 플로우는 하나 또는 복수 개의 컴퓨터 프로그램을 실행하는 하나 또는 복수 개의 프로그래머블 컴퓨터에 의해 실행될 수 있다. 상기 처리 및 논리 플로우는 또한 전용 논리 회로―예를 들어 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC)에 의해 실행될 수 있고, 장치도 전용 논리 회로로 구현될 수 있다.

컴퓨터 프로그램을 실행하는데 적절한 컴퓨터는, 예를 들어 범용 및 전용 마이크로 프로세서 중 적어도 하나, 또는 임의의 다른 타입의 중앙처리장치를 포함한다. 통상적으로, 중앙처리장치는 판독 전용 메모리 및 랜덤 액세스 메모리 중 적어도 하나로부터 명령어 및 데이터를 수신한다. 컴퓨터의 기본 컴포넌트는 명령어를 실시 또는 실행하기 위한 중앙처리장치 및 명령어 및 데이터를 저장하기 위한 하나 또는 복수 개의 메모리 기기를 포함한다. 통상적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 또는 복수 개의 대용량 저장 기기를 포함하며, 예를 들어 자기 디스크, 자기 광 디스크, 광 디스크 등이며, 또는 컴퓨터는 조작 가능하게 대용량 저장 기기에 커플링되어 이로부터 데이터를 수신하거나 이에 데이터를 전송하며, 또는 두 가지 경우가 동시에 존재할 수 있다. 그러나, 컴퓨터는 이러한 기기가 반드시 구비되어야 하는 것은 아니다. 또한, 컴퓨터는 다른 기기에 삽입될 수 있고, 예를 들어 모바일 핸드폰, 개인용 휴대 단말(personal digital assistant, PDA), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, 글로벌 포지셔닝 시스템(Global Positioning System, GPS) 수신기이거나, 예를 들어 범용 직렬 버스(Universal Serial Bus, USB), 플래시 메모리 드라이버의 편의식 저장 기기이며, 이상만 예를 든다.

컴퓨터 프로그램 명령어 및 데이터를 저장하는데 적절한 컴퓨터 판독 가능한 매체는 모든 형태의 비휘발성 메모리, 매체 및 메모리 기기를 포함하고, 예를 들어 반도체 메모리 기기(예를 들어EPROM, EEPROM 및 플래시 기기), 자기 디스크(예를 들어 내부 하드웨어 또는 모바일 디스크), 자기 광 디스크 및 CD ROM 및 DVD-ROM 디스크이다. 프로세서 및 메모리는 전용 논리 회로에 의해 보충되거나 전용 논리 회로에 통합될 수 있다.

본 명세서가 많은 구체적인 실시 세부 사항을 포함하더라도, 이러한 것은 본 발명의 범위 또는 보호 요청된 범위를 한정하는 것으로 해석되어서는 안되고, 주로 구체적인 실시예의 특징을 설명하기 위한 것이다. 본 명세서 내에서 복수 개의 실시예에서 설명된 일부 특징은 단일 실시예에서 조합되어 실시될 수 있다. 다른 측면에 있어서, 단일 실시예에서 설명된 다양한 특징은 복수 개의 실시예에서 분리되어 실시되거나 임의의 적절한 서브 세트로 실시될 수 있다. 또한, 특징이 상기와 같은 일부 조합에서 역할을 하고 심지어 최초로 이처럼 보호가 요청되더라도, 보호가 요청된 조합 중 하나 또는 복수 개의 특징은 이러한 경우에서 상기 조합으로부터 제거되며, 보호가 요청된 조합은 서브 조합 또는 서브 조합의 변형을 가리킬 수 있다.

이와 유사하게, 도면에서 특정한 순서로 조작을 설명하였지만, 이는 원하는 결과를 구현하기 위해 이러한 요구가 특정한 순서로 실행되거나 순차적으로 실행되어야 하거나, 모든 예의 조작이 실행되어야 하는 것으로 이해하여서는 안된다. 일부 경우에, 멀티 업무 및 병행 처리는 유리할 수 있다. 또한, 상기 실시예에서의 다양한 시스템 모듈 및 컴포넌트의 분리는 모든 실시예에서 이러한 분리가 필요한 것으로 이해되어서는 안되고, 설명된 프로그램 컴포넌트 및 시스템은 통상적으로 단일 소프트웨어 제품에 통합될 수 있거나, 복수 개의 소프트웨어 제품으로 패키징될 수 있음을 이해해야 한다.

이로써, 주제의 특정한 실시예는 이미 설명되었다. 다른 실시예는 청구범위의 범위 내에 존재한다. 일부 경우에, 청구범위에서 설명된 동작은 상이한 순서로 실행되고 여전히 원하는 결과를 구현한다. 또한, 첨부 도면에서 도시된 처리는 원하는 결과를 구현하기 위해 반드시 도시된 특정한 순서 또는 순차적인 순서여야 하는 것이 아니다. 일부 구현에 있어서, 멀티 업무 및 병행 처리는 유리할 수 있다.

Claims

가상 객체 변형 처리 방법으로서,
복수 개의 골격을 포함하는 3차원 기설정된 가상 객체 모델에 대응되는 제1 골격 파라미터 및 제1 융합 변형 데이터를 획득하는 단계 - 상기 제1 융합 변형 데이터는 기설정된 가상 객체의 변형 정도를 나타내기 위한 것임 - ;
3차원 타겟 가상 객체 모델에 대응되는 제2 골격 파라미터를 획득하고, 상기 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계를 결정하는 단계; 및
상기 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계와 상기 제1 융합 변형 데이터에 따라, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 결정하는 단계를 포함하는 것을 특징으로 하는 가상 객체 변형 처리 방법.
제1항에 있어서,
상기 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계와 상기 제1 융합 변형 데이터에 따라, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 결정하는 단계는,
상기 3차원 기설정된 가상 객체 모델에 대응되는 제1 그리드 데이터를 획득하는 단계; 및
상기 3차원 타겟 가상 객체 모델에 대응되는 제2 그리드 데이터를 획득하는 단계; 및
상기 제2 그리드 데이터 및 상기 제1 그리드 데이터에 따라, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 결정하는 단계를 포함하는 것을 특징으로 하는 가상 객체 변형 처리 방법.
제2항에 있어서,
상기 3차원 기설정된 가상 객체 모델에 대응되는 제1 그리드 데이터를 획득하는 단계는,
상기 제1 골격 파라미터에 대응되는 표준 그리드 데이터를 획득하는 단계; 및
상기 표준 그리드 데이터 및 상기 제1 융합 변형 데이터에 따라, 상기 제1 융합 변형 데이터에 대응되는 제1 그리드 데이터를 얻는 단계를 포함하는 것을 특징으로 하는 가상 객체 변형 처리 방법.
제2항 또는 제3항에 있어서,
상기 3차원 타겟 가상 객체 모델에 대응되는 제2 그리드 데이터를 획득하는 단계는,
상기 제2 골격 파라미터와 상기 제1 골격 파라미터에 따라, 상기 3차원 타겟 가상 객체 모델 중 모든 골격의 변환 매트릭스를 결정하는 단계; 및
상기 변환 매트릭스를 상기 제1 그리드 데이터에 적용시키는 것을 통해, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 그리드 데이터를 결정하는 단계를 포함하는 것을 특징으로 하는 가상 객체 변형 처리 방법.
제4항에 있어서,
상기 제2 골격 파라미터와 상기 제1 골격 파라미터에 따라, 상기 3차원 타겟 가상 객체 모델 중 모든 골격의 변환 매트릭스를 결정하는 단계는,
상기 3차원 기설정된 가상 객체 모델에 대응되는 제1 골격 파라미터에 따라, 상기 3차원 기설정된 가상 객체 모델 중 각 골격의 제1 위치 매트릭스를 획득하는 단계;
상기 3차원 타겟 가상 객체 모델에 대응되는 제2 골격 파라미터에 따라, 상기 3차원 타겟 가상 객체 모델 중 각 골격의 제2 위치 매트릭스를 획득하는 단계; 및
상기 제2 위치 매트릭스 및 상기 제1 위치 매트릭스에 따라, 각 골격의 변환 매트릭스를 획득하는 단계를 포함하는 것을 특징으로 하는 가상 객체 변형 처리 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 가상 객체 모델은 얼굴 모델이고, 상기 가상 객체 모델에 포함된 골격은 머리 골격이며, 상기 3차원 타겟 가상 객체 모델은,
3차원 타겟 얼굴 모델의 골격 파라미터 조정 정보를 획득하는 단계;
상기 골격 파라미터 조정 정보에 따라, 상기 3차원 타겟 얼굴 모델에 대응되는 머리 골격 파라미터를 조정하는 단계; 및
조정된 상기 머리 골격 파라미터에 따라, 3차원 타겟 얼굴 모델을 생성하는 단계를 통해 생성되는 것을 특징으로 하는 가상 객체 변형 처리 방법.
제6항에 있어서,
상기 3차원 타겟 얼굴 모델의 골격 파라미터 조정 정보를 획득하는 단계는,
골격 파라미터 조정 명령어를 수신하는 단계; 및
상기 골격 파라미터 조정 명령어에 따라 상기 골격 파라미터 조정 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 가상 객체 변형 처리 방법.
제6항 또는 제7항에 있어서,
상기 골격 파라미터 조정 정보에 따라, 상기 3차원 타겟 얼굴 모델에 대응되는 머리 골격 파라미터를 조정하는 단계는,
상기 머리 골격 파라미터 중, 상기 골격 파라미터 조정 정보와 관련된 적어도 하나의 머리 골격의 골격 파라미터를 획득하고, 상기 골격 파라미터 조정 정보에 따라 상기 적어도 하나의 머리 골격의 골격 파라미터를 조정하는 단계를 포함하는 것을 특징으로 하는 가상 객체 변형 처리 방법.
제8항에 있어서,
적어도 하나의 머리 골격은 복수 개의 머리 골격이고, 상기 골격 파라미터 조정 정보에 따라 상기 적어도 하나의 머리 골격의 골격 파라미터를 조정하는 단계는,
상기 골격 파라미터 조정 정보에 따라 상기 복수 개의 머리 골격의 골격 파라미터를 동시에 조정하는 단계를 포함하는 것을 특징으로 하는 가상 객체 변형 처리 방법.
제8항 또는 제9항에 있어서,
상기 골격 파라미터 조정 정보에 따라 상기 적어도 하나의 머리 골격의 골격 파라미터를 조정하는 단계는,
상기 골격 파라미터 조정 정보의 조절 범위를 획득하는 단계;
상기 골격 파라미터 조정 정보와 관련된 각 골격 파라미터의 조절 범위를 획득하는 단계; 및
상기 골격 파라미터 조정 정보가 조절 범위 내에서의 변화 비례에 따라 상기 골격 파라미터 조정 정보와 관련된 상기 적어도 하나의 머리 골격의 골격 파라미터를 조정하는 단계를 포함하는 것을 특징으로 하는 가상 객체 변형 처리 방법.
제6항 내지 제10항 중 어느 한 항에 있어서,
상기 골격 파라미터 조정 명령어에 따라 상기 골격 파라미터 조정 정보를 결정하는 단계는,
상기 골격 파라미터 조정 명령어에 대하여 설정된 컨트롤의 출력 변화량을 획득하고, 상기 출력 변화량에 따라 상기 골격 파라미터 조정 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 가상 객체 변형 처리 방법.
제6항 내지 제11항 중 어느 한 항에 있어서,
상기 가상 객체 변형 처리 방법은,
상기 3차원 타겟 얼굴 모델의 골격 파라미터에 기반하여 얼굴 맵을 생성하는 단계 - 상기 얼굴 맵은 메이크업에 대응되는 복수 개의 영역을 포함함 - ;
상기 영역에 대하여 상응하는 메이크업의 교체 가능한 부재 맵을 획득하는 단계;
각 메이크업에 대하여 획득된 교체 가능한 부재 맵과 상기 얼굴 맵을 병합하여, 병합된 맵을 얻는 단계; 및
상기 병합된 맵을 상기 3차원 타겟 얼굴 모델에 맵핑하여, 상기 3차원 타겟 얼굴 모델의 얼굴 메이크업을 생성하는 단계를 포함하는 것을 특징으로 하는 가상 객체 변형 처리 방법.
가상 객체 변형 처리 장치로서,
복수 개의 골격을 포함하는 3차원 기설정된 가상 객체 모델에 대응되는 제1 골격 파라미터 및 제1 융합 변형 데이터를 획득하기 위한 제1 획득 유닛 - 상기 제1 융합 변형 데이터는 기설정된 가상 객체의 변형 정도를 나타내기 위한 것임 - ;
3차원 타겟 가상 객체 모델에 대응되는 제2 골격 파라미터를 획득하고, 상기 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계를 결정하기 위한 제2 획득 유닛; 및
상기 제2 골격 파라미터 및 상기 제1 골격 파라미터 사이의 변환 관계와 상기 제1 융합 변형 데이터에 따라, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 결정하기 위한 결정 유닛을 포함하는 것을 특징으로 하는 가상 객체 변형 처리 장치.
제13항에 있어서,
상기 결정 유닛은 구체적으로,
상기 3차원 기설정된 가상 객체 모델에 대응되는 제1 그리드 데이터를 획득하고;
상기 3차원 타겟 가상 객체 모델에 대응되는 제2 그리드 데이터를 획득하며;
상기 제2 그리드 데이터 및 상기 제1 그리드 데이터에 따라, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 융합 변형 데이터를 결정하기 위한 것임을 특징으로 하는 가상 객체 변형 처리 장치.
제14항에 있어서,
상기 결정 유닛이 상기 3차원 기설정된 가상 객체 모델에 대응되는 제1 그리드 데이터를 획득하기 위한 것일 경우, 상기 결정 유닛은 구체적으로,
상기 제1 골격 파라미터에 대응되는 표준 그리드 데이터를 획득하고;
상기 표준 그리드 데이터 및 상기 제1 융합 변형 데이터에 따라, 상기 제1 융합 변형 데이터에 대응되는 제1 그리드 데이터를 얻기 위한 것임을 특징으로 하는 가상 객체 변형 처리 장치.
제14항 또는 제15항에 있어서,
상기 결정 유닛이 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 그리드 데이터를 획득하기 위한 것일 경우, 상기 결정 유닛은 구체적으로,
상기 제2 골격 파라미터와 상기 제1 골격 파라미터에 따라, 상기 3차원 타겟 가상 객체 모델 중 모든 골격의 변환 매트릭스를 결정하고;
상기 변환 매트릭스를 상기 제1 그리드 데이터에 적용시키는 것을 통해, 상기 3차원 타겟 가상 객체 모델에 대응되는 제2 그리드 데이터를 결정하기 위한 것임을 특징으로 하는 가상 객체 변형 처리 장치.
제16항에 있어서,
상기 결정 유닛이 상기 제2 골격 파라미터와 상기 제1 골격 파라미터에 따라, 상기 3차원 타겟 가상 객체 모델 중 모든 골격의 변환 매트릭스를 결정하기 위한 것일 경우, 상기 결정 유닛은 구체적으로,
상기 3차원 기설정된 가상 객체 모델에 대응되는 제1 골격 파라미터에 따라, 상기 3차원 기설정된 가상 객체 모델 중 각 골격의 제1 위치 매트릭스를 획득하고;
상기 3차원 타겟 가상 객체 모델에 대응되는 제2 골격 파라미터에 따라, 상기 3차원 타겟 가상 객체 모델 중 각 골격의 제2 위치 매트릭스를 획득하며;
상기 제2 위치 매트릭스 및 상기 제1 위치 매트릭스에 따라, 각 골격의 변환 매트릭스를 획득하기 위한 것임을 특징으로 하는 가상 객체 변형 처리 장치.
제13항 내지 제17항 중 어느 한 항에 있어서,
상기 가상 객체 모델은 얼굴 모델이고, 상기 가상 객체 모델에 포함된 골격은 머리 골격이며, 상기 제2 획득 유닛은 3차원 타겟 얼굴 모델 생성 유닛을 더 포함하고, 상기 3차원 타겟 얼굴 모델 생성 유닛은,
3차원 타겟 얼굴 모델의 골격 파라미터 조정 정보를 획득하고;
상기 골격 파라미터 조정 정보에 따라, 상기 3차원 타겟 얼굴 모델에 대응되는 머리 골격 파라미터를 조정하며;
조정된 상기 머리 골격 파라미터에 따라, 3차원 타겟 얼굴 모델을 생성하기 위한 것임을 특징으로 하는 가상 객체 변형 처리 장치.
제18항에 있어서,
상기 3차원 타겟 얼굴 모델 생성 유닛이 3차원 타겟 얼굴 모델의 골격 파라미터 조정 정보를 획득하기 위한 것일 경우, 상기 3차원 타겟 얼굴 모델 생성 유닛은 구체적으로,
골격 파라미터 조정 명령어를 수신하고;
상기 골격 파라미터 조정 명령어에 따라 상기 골격 파라미터 조정 정보를 결정하기 위한 것임을 특징으로 하는 가상 객체 변형 처리 장치.
제18항 또는 제19항에 있어서,
상기 3차원 타겟 얼굴 모델 생성 유닛이 상기 골격 파라미터 조정 정보에 따라, 상기 3차원 타겟 얼굴 모델에 대응되는 머리 골격 파라미터를 조정하기 위한 것일 경우, 상기 3차원 타겟 얼굴 모델 생성 유닛은 구체적으로,
상기 머리 골격 파라미터 중, 상기 골격 파라미터 조정 정보와 관련된 적어도 하나의 머리 골격의 골격 파라미터를 획득하고, 상기 골격 파라미터 조정 정보에 따라 상기 적어도 하나의 머리 골격의 골격 파라미터를 조정하기 위한 것임을 특징으로 하는 가상 객체 변형 처리 장치.
제20항에 있어서,
적어도 하나의 머리 골격은 복수 개의 머리 골격이고, 상기 3차원 타겟 얼굴 모델 생성 유닛이 상기 골격 파라미터 조정 정보에 따라 상기 적어도 하나의 머리 골격의 골격 파라미터를 조정하기 위한 것일 경우, 상기 3차원 타겟 얼굴 모델 생성 유닛은 구체적으로,
상기 골격 파라미터 조정 정보에 따라 상기 복수 개의 머리 골격의 골격 파라미터를 동시에 조정하기 위한 것임을 특징으로 하는 가상 객체 변형 처리 장치.
제20항 또는 제21항에 있어서,
상기 3차원 타겟 얼굴 모델 생성 유닛이 상기 골격 파라미터 조정 정보에 따라 상기 적어도 하나의 머리 골격의 골격 파라미터를 조정하기 위한 것일 경우, 상기 3차원 타겟 얼굴 모델 생성 유닛은 구체적으로,
상기 골격 파라미터 조정 정보의 조절 범위를 획득하고;
상기 골격 파라미터 조정 정보와 관련된 각 골격 파라미터의 조절 범위를 획득하며;
상기 골격 파라미터 조정 정보가 조절 범위 내에서의 변화 비례에 따라 상기 골격 파라미터 조정 정보와 관련된 상기 적어도 하나의 머리 골격의 골격 파라미터를 조정하기 위한 것임을 특징으로 하는 가상 객체 변형 처리 장치.
제18항 내지 제22항 중 어느 한 항에 있어서,
상기 3차원 타겟 얼굴 모델 생성 유닛이 상기 골격 파라미터 조정 정보에 따라, 상기 머리 골격 파라미터를 조정할 경우, 상기 3차원 타겟 얼굴 모델 생성 유닛은 구체적으로,
상기 골격 파라미터 조정 명령어에 대하여 설정된 컨트롤의 출력 변화량을 획득하고, 상기 출력 변화량에 따라 상기 골격 파라미터 조정 정보를 결정하기 위한 것임을 특징으로 하는 가상 객체 변형 처리 장치.
가상 객체 변형 처리 기기로서,
저장 매체 및 프로세서를 포함하고, 상기 저장 매체는 프로세서에서 작동 가능한 기계 실행 가능한 명령어를 저장하기 위한 것이며, 상기 프로세서는 상기 기계 실행 가능한 명령어를 실행할 경우 제1항 내지 제12항 중 어느 한 항에 따른 가상 객체 변형 처리 방법을 구현하는 것을 특징으로 하는 가상 객체 변형 처리 기기.
기계 실행 가능한 명령어가 저장되어 있는 기계 판독 가능한 저장 매체로서,
상기 기계 실행 가능한 명령어가 프로세서에 의해 실행될 경우 제1항 내지 제12항 중 어느 한 항에 따른 가상 객체 변형 처리 방법을 구현하는 것을 특징으로 하는 기계 판독 가능한 저장 매체.