KR101743764B1 - 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치 - Google Patents

감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치 Download PDF

Info

Publication number
KR101743764B1
KR101743764B1 KR1020150092068A KR20150092068A KR101743764B1 KR 101743764 B1 KR101743764 B1 KR 101743764B1 KR 1020150092068 A KR1020150092068 A KR 1020150092068A KR 20150092068 A KR20150092068 A KR 20150092068A KR 101743764 B1 KR101743764 B1 KR 101743764B1
Authority
KR
South Korea
Prior art keywords
avatar
face
animation
emotion
emoticon
Prior art date
Application number
KR1020150092068A
Other languages
English (en)
Other versions
KR20170002097A (ko
Inventor
김영자
Original Assignee
김영자
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김영자 filed Critical 김영자
Priority to KR1020150092068A priority Critical patent/KR101743764B1/ko
Priority to PCT/KR2015/010925 priority patent/WO2017003031A1/ko
Publication of KR20170002097A publication Critical patent/KR20170002097A/ko
Application granted granted Critical
Publication of KR101743764B1 publication Critical patent/KR101743764B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치에 관한 것이다. 본 발명은, 감성 아바타 이모티콘 제공 단말장치(10)가 데이터베이스(20)에 기저장된 템플릿 애니메이션 콘텐츠 정보로 기추출된 2D 정면 얼굴 사진이미지 중 얼굴 영역을 파싱(parsing) 하는 제 1 단계; 감성 아바타 이모티콘 제공 단말장치(10)가 파싱된 얼굴 영역의 얼굴 구성요소의 템플릿 애니메이션 콘텐츠 정보에 따라 구현되는 자체 이미지 애니메이션에 대한 적합 여부를 판단하는 제 2 단계; 판단 결과 자체 이미지 애니메이션에 적합한 경우, 감성 아바타 이모티콘 제공 단말장치(10)가 2D 정면 얼굴 사진이미지의 얼굴 영역을 구성하는 얼굴 구성요소로 애니메이션의 얼굴 구성요소를 변경하여 애니메이션 형태의 2D 감성 아바타 이모티콘 생성을 완료하며, 판단 결과 자체 이미지 애니메이션에 적합하지 않은 경우, 감성 아바타 이모티콘 제공 단말장치(10)가 생성된 '감성 아바타 얼굴 캐릭터 정규화 정보'를 데이터베이스(20)에 기저장된 템플릿 애니메이션 콘텐츠 정보에 따라 구현되는 자체 이미지 애니메이션에서의 얼굴 구성요소 템플릿으로 선택하는 제 3 단계; 감성 아바타 이모티콘 제공 단말장치(10)가 선택된 얼굴 구성요소 템플릿에 해당하는 얼굴 구성요소 구현을 위한 사용자의 피부색상, 상태를 추출하는 제 4 단계; 감성 아바타 이모티콘 제공 단말장치(10)가 2D 정면 얼굴 사진이미지에서 애니메이션 대상 중 얼굴 캐릭터 아이콘으로 적용될 얼굴 영역의 크기 및 색상의 속성을 추출하는 제 5 단계; 감성 아바타 이모티콘 제공 단말장치(10)가 선택된 얼굴 구성요소 템플릿을 애니메이션 대상 아이콘으로 적용하도록, 기추출된 얼굴 영역의 크기 및 색상의 속성에 맞춰서 선택된 얼굴 구성요소 템플릿의 색상과 크기를 변경하여 2D 감성 아바타 이모티콘 생성을 완료하는 제 6 단계; 감성 아바타 이모티콘 제공 단말장치(10)가 사용자의 정면 사진인 2D 정면 얼굴 사진이미지로 생성된 2D 감성 아바타 이모티콘의 얼굴 영역에 대한 상, 하, 좌, 우의 모습을 자동생성하기 위해 2D 기반의 3D 페이스 모렐링(3D face modeling based on 2D)을 수행하여 애니메이션 형식으로 표출되는 3D 감성 아바타 이모티콘을 생성하는 제 7 단계; 및 감성 아바타 이모티콘 제공 단말장치(10)가 2D 감성 아바타 이모티콘 또는 3D 감성 아바타 이모티콘에 대한 템플릿 애니메이션 콘텐츠 정보를 데이터베이스(20)로부터 추출한 뒤, 2D 아바타 이모티콘 또는 3D 감성 아바타 이모티콘을 영상입출력부(15)로 템플릿 애니메이션 콘텐츠 정보에 중 애니메이션에 따른 표정이 발생하는 영역을 표출한 뒤, 음성입출력부(17)로 입력되는 음성 신호를 수신하여 음성 신호가 수신된 2D 감성 아바타 이모티콘 또는 3D 감성 아바타 이모티콘에 대해 각각 음성 표출을 포함한 2D 감성 아바타 이모티콘 및 음성 표출을 포함한 3D 감성 아바타 이모티콘으로 변환하여 데이터베이스(20)에 저장하여, 음성을 포함한 감성 아바타 이모티콘에 대한 생성을 완료하는 제 8 단계; 를 포함하는 것을 특징으로 한다.
이에 의해, 얼굴 요소별 세부 특징을 자동 추출하는 알고리즘 적용으로 쉽고 빠른 사용자의 아바타에 해당하는 이모티콘을 제공가능한 장점을 제공한다. 즉, 본 발명은, 블렌딩 애니메이션 자동화 기술 적용으로 살아있는 듯 움직이는 감성 애니메이션 표현이 가능하며, 단 한 장의 정면 사진을 활용한 초경량 캐릭터를 제공할 수 있다.
또한, 본 발명은, 닮음변환행렬에 해당하는 문자열 파싱 후, 음성을 포함한 감성 아바타 이모티콘을 립싱크 애니메이션 타입으로 생성하고, 감성 애니메이션 실시간 조합이 가능한 장점을 제공한다.
또한, 본 발명은, 2D 구조의 사용자를 캐릭터화한 감성 아바타를 3D 페이스 애니메이션 효과 표현으로 극히 작은 데이터인 기존 3D 캐릭터의 100분의 1 수준(0.01배)으로 실제감 있는 이모티콘 애니메이션 표현이 가능한 효과를 제공한다.
뿐만 아니라, 본 발명은, 나의 이모티콘으로 메신저 채팅이 가능할 뿐만 아니라, 초경량 캐릭터인 감성 아바타 이모티콘으로 SNS 기반으로 활용하거나, 내 캐릭터로 생성하는 포토스티커, 그리고 내 캐릭터로 참여하는 실감형 스마트러닝에 적용 가능한 효과가 있다.

Description

감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치{Method for providing ultra light-weight data animation type based on sensitivity avatar emoticon}
본 발명은 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치에 관한 것으로, 보다 구체적으로는, 2D 구조의 극히 작은 데이터 크기의 아바타 애니메이션 자동생성 기술로, 각 사진의 눈, 코, 입의 형태와 색상의 분포도를 자동 추출하여 애니메이션 되는 다양한 표정에 따른 눈, 코, 입 등의 형태와 색상을 사진의 느낌 그대로 자동 생성하여 제공하도록 하기 위한 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치에 관한 것이다.
국내외의 이모티콘 시장의 확대에 따라 다양한 형식의 이모티콘이 제공되고 있다. 한편, 종래의 기술에 따른 3D 캐릭터를 이용한 소셜 네트워크 이모티콘 제공 시스템 및 방법(특허출원번호 제10-2014-0091063호)은 사용자 단말기가 이모티콘 제공서버로부터 선택된 3D 캐릭터 데이터를 제공받아 표정 등을 변화시켜 제공하는 기술을 제시하고 있으나, 큰 데이터 용량과 3D 캐릭터 고유의 사실적 느낌 표현이 강하여 즉각적으로 사용자의 얼굴을 인식하여 자동 생성되는 이모티콘으로 사용하는데 한계점이 있다.
또한, 메시지 전송이력에 따른 이모티콘 또는 캐릭터를 변화시키는 시스템 및 방법(특허출원번호 제10-2012-0057285호)은 사용자들이 상대방에게 보내는 메시지의 내용 중에 포함된 긍정적인 단어 또는 부정적인 단어를 검출하고, 검출되는 긍정적인 단어 또는 부정적인 단어에 따라 사용자단말기에서 선택된 이모티콘을 성장시키거나 축소시키는 메시지 전송이력에 따른 이모티콘 또는 캐릭터를 변화시키는 기술로, 직접 사용자의 얼굴을 인식하여 3D 캐릭터의 이모티콘을 제공하지 못함으로써, 실제감이 떨어지는 함계점이 있다.
이러한 한계점을 극복하기 위해 이모티콘 생성 장치 및 이모티콘 생성 방법(특허출원번호 제10-2012-0115473호)의 얼굴을 포함하는 영상 데이터를 데이터의 포맷에 따라 로딩하는 영상 로딩부, 영상 데이터로부터 얼굴의 미리 정해진 부위의 특징 정보를 검출하고, 영상 데이터로부터 얼굴 부위를 인식하는 영상 인식부, 영상 데이터로부터 얼굴 부위의 미리 정해진 부위 및 얼굴 부위의 아웃라인을 검출하는 아웃라인 검출부, 아웃라인으로부터 아웃라인에 해당하는 얼굴 부위 영상 데이터로부터 이모티콘을 생성하는 이모티콘 생성부를 포함함으로써, 사용자의 실제 사진을 로딩한 후 얼굴 부위를 인식하여 원하는 표정의 이모티콘을 생성하여, 제한된 이모티콘의 캐릭터를 넘어서 사용자의 개성을 반영할 수 있고, 사용자가 직접 자유롭게 원하는 표정의 이모티콘을 생성 가능한 기술이 제시되고 있다.
그러나 이모티콘 생성 장치 및 이모티콘 생성 방법(특허출원번호 제10-2012-0115473호)은 얼굴 부위의 미리 정해진 부위 및 얼굴 부위의 아웃라인을 검출을 기반으로 하여 개략적으로 사용자임을 어렴풋하게는 추정은 가능하나 현실성이 떨어지며, 단순히 얼굴 부위의 미리 정해진 부위 및 얼굴 부위의 라인만을 제공함으로써, 현재 제공되고 있는 다양한 애니메이션 형태의 이모티콘과 비교하여 사용자의 흥미 유발 효과가 현저히 떨어지는 한계점이 있다. 더욱이, 이모티콘 생성 장치 및 이모티콘 생성 방법(특허출원번호 제10-2012-0115473호)은 2D 이모티콘으로 데이터 크기가 작고, 부드럽고 편안한 느낌을 표현하는 장점은 있으나 사용자 자신의 모습으로 실제감 있는 애니메이션이 어려운 문제점이 있다.
[관련기술문헌]
1. 감성형 캐릭터 및 애니메이션 생성 방법 및 장치(Method and Apparatus for making sensitive character and animation) (특허출원번호 제10-2008-0107676호)
2. 3D 캐릭터를 이용한 소셜 네트워크 이모티콘 제공 시스템 및 방법(특허출원번호 제10-2014-0091063호)
3. 메시지 전송이력에 따른 이모티콘 또는 캐릭터를 변화시키는 시스템 및 방법(특허출원번호 제10-2012-0057285호)
4. 이모티콘 생성 장치 및 이모티콘 생성 방법(특허출원번호 제10-2012-0115473호)
본 발명은 상기의 문제점을 해결하기 위한 것으로, 얼굴 요소별 세부 모양과 크기 그리고 색상의 특징을 자동 추출하는 알고리즘 적용으로 쉽고 빠른 사용자의 아바타에 해당하는 이모티콘을 제공 가능한 장점을 제공한다.
또한 표정 애니메이션 생성 시에 사용자 사진의 얼굴 요소별 상태를 프로그램이 판단하여 사진 이미지 자체를 변형하여 표정을 생성하거나 미리 제공된 얼굴의 템플릿 요소를 사용하여 사용자 얼굴 요소의 크기, 색상의 특징을 추출한 후 닮은꼴 변환하여 표정을 생성하는
즉, 블렌딩 애니메이션 자동화 알고리즘 구현으로 살아있는 듯 움직이는 감성 애니메이션 표현이 가능하며, 단 한 장의 정면 사진을 활용한 초경량 캐릭터를 제공하도록 하기 위한 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치를 제공하기 위한 것이다.
또한, 본 발명은 문자열 파싱 후, 음성을 포함한 감성 아바타 이모티콘을 립싱크 애니메이션 타입으로 생성하고, 다양한 얼굴 표정 애니메이션이 립싱크와 실시간 조합이 가능한 장점을 제공하도록 하기 위한 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치를 제공하기 위한 것이다.
또한, 본 발명은 2D 구조의 3D 페이스 애니메이션 효과 표현으로 극히 작은 데이터인 기존 3D 캐릭터의 100분의 1 수준(0.01배)으로 실제감 있는 이모티콘 애니메이션 표현이 가능하도록 하기 위한 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치를 제공하기 위한 것이다.
또한, 본 발명은 나의 이모티콘으로 메신저 채팅이 가능할 뿐만 아니라, 초경량 캐릭터인 감성 아바타 이모티콘으로 기존의 3D 아바타의 큰 데이터 크기로 서버에 큰 부하를 주는 SNS 활용의 문제점을 해결하여 활용가능하며, 내 캐릭터로 생성하는 포토스티커, 그리고 내 캐릭터로 참여하는 실감형 스마트러닝에 가능하도록 하기 위한 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치를 제공하기 위한 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법은, 감성 아바타 이모티콘 제공 단말장치(10)가 데이터베이스(20)에 기저장된 템플릿 애니메이션 콘텐츠 정보로 기추출된 2D 정면 얼굴 사진이미지 중 얼굴 영역을 파싱(parsing) 하는 제 1 단계; 감성 아바타 이모티콘 제공 단말장치(10)가 파싱된 얼굴 영역의 얼굴 구성요소의 템플릿 애니메이션 콘텐츠 정보에 따라 구현되는 자체 이미지 애니메이션에 대한 적합 여부를 판단하는 제 2 단계; 판단 결과 자체 이미지 애니메이션에 적합한 경우, 감성 아바타 이모티콘 제공 단말장치(10)가 2D 정면 얼굴 사진이미지의 얼굴 영역을 구성하는 얼굴 구성요소로 애니메이션의 얼굴 구성요소를 변경하여 애니메이션 형태의 2D 감성 아바타 이모티콘 생성을 완료하며, 판단 결과 자체 이미지 애니메이션에 적합하지 않은 경우, 감성 아바타 이모티콘 제공 단말장치(10)가 생성된 '감성 아바타 얼굴 캐릭터 정규화 정보'를 데이터베이스(20)에 기저장된 템플릿 애니메이션 콘텐츠 정보에 따라 구현되는 자체 이미지 애니메이션에서의 얼굴 구성요소 템플릿으로 선택하는 제 3 단계; 감성 아바타 이모티콘 제공 단말장치(10)가 선택된 얼굴 구성요소 템플릿에 해당하는 얼굴 구성요소 구현을 위한 사용자의 피부색상, 상태를 추출하는 제 4 단계; 감성 아바타 이모티콘 제공 단말장치(10)가 2D 정면 얼굴 사진이미지에서 애니메이션 대상 중 얼굴 캐릭터 아이콘으로 적용될 얼굴 영역의 크기 및 색상의 속성을 추출하는 제 5 단계; 감성 아바타 이모티콘 제공 단말장치(10)가 선택된 얼굴 구성요소 템플릿을 애니메이션 대상 아이콘으로 적용하도록, 기추출된 얼굴 영역의 크기 및 색상의 속성에 맞춰서 선택된 얼굴 구성요소 템플릿의 색상과 크기를 변경하여 2D 감성 아바타 이모티콘 생성을 완료하는 제 6 단계; 감성 아바타 이모티콘 제공 단말장치(10)가 사용자의 정면 사진인 2D 정면 얼굴 사진이미지로 생성된 2D 감성 아바타 이모티콘의 얼굴 영역에 대한 상, 하, 좌, 우의 모습을 자동생성하기 위해 2D 기반의 3D 페이스 모렐링(3D face modeling based on 2D)을 수행하여 애니메이션 형식으로 표출되는 3D 감성 아바타 이모티콘을 생성하는 제 7 단계; 및 감성 아바타 이모티콘 제공 단말장치(10)가 2D 감성 아바타 이모티콘 또는 3D 감성 아바타 이모티콘에 대한 템플릿 애니메이션 콘텐츠 정보를 데이터베이스(20)로부터 추출한 뒤, 2D 아바타 이모티콘 또는 3D 감성 아바타 이모티콘을 영상입출력부(15)로 템플릿 애니메이션 콘텐츠 정보에 중 애니메이션에 따른 표정이 발생하는 영역을 표출한 뒤, 음성입출력부(17)로 입력되는 음성 신호를 수신하여 음성 신호가 수신된 2D 감성 아바타 이모티콘 또는 3D 감성 아바타 이모티콘에 대해 각각 음성 표출을 포함한 2D 감성 아바타 이모티콘 및 음성 표출을 포함한 3D 감성 아바타 이모티콘으로 변환하여 데이터베이스(20)에 저장하여, 음성을 포함한 감성 아바타 이모티콘에 대한 생성을 완료하는 제 8 단계; 를 포함할 수 있다.
삭제
삭제
삭제
삭제
본 발명의 실시예에 따른 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치는, 얼굴 요소별 세부 특징을 자동 추출하는 알고리즘 적용으로 쉽고 빠른 사용자의 아바타에 해당하는 이모티콘을 제공가능한 장점을 제공한다. 즉, 본 발명은, 블렌딩 애니메이션 자동화 기술 적용으로 살아있는 듯 움직이는 감성 애니메이션 표현이 가능하며, 단 한 장의 정면 사진을 활용한 초경량 캐릭터를 제공할 수 있다.
또한, 본 발명의 다른 실시예에 따른 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치는, 닮음변환행렬에 해당하는 문자열 파싱 후, 음성을 포함한 감성 아바타 이모티콘을 립싱크 애니메이션 타입으로 생성하고, 감성 애니메이션 실시간 조합이 가능한 장점을 제공한다.
또한, 본 발명의 다른 실시예에 따른 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치는, 2D 구조의 사용자를 캐릭터화한 감성 아바타를 3D 페이스 애니메이션 효과 표현으로 극히 작은 데이터인 기존 3D 캐릭터의 100분의 1 수준(0.01배)으로 실제감 있는 이모티콘 애니메이션 표현이 가능한 효과를 제공한다.
뿐만 아니라, 본 발명의 다른 실시예에 따른 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치는, 나의 이모티콘으로 메신저 채팅이 가능할 뿐만 아니라, 초경량 캐릭터인 감성 아바타 이모티콘으로 SNS 기반으로 활용하거나, 내 캐릭터로 생성하는 포토스티커, 그리고 내 캐릭터로 참여하는 실감형 스마트러닝에 적용 가능한 효과가 있다.
도 1은 본 발명의 실시예에 따른 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법을 구현하기 위한 단말장치(이하, 감성 아바타 이모티콘 제공 단말장치)(10)를 나타내는 도면이다.
도 2는 도 1의 감성 아바타 이모티콘 제공 단말장치(10)에 의해 생성된 2D 감성 아바타 이모티콘, 3D 감성 아바타 이모티콘, 음성을 포함한 감성 아바타 이모티콘이 네트워크를 통해 SNS 서버(30), 모바일 메신저 서버(40), 포토스티커 키오스크(50), 스마터-러닝 서버(60), 모바일 데이터 공유 서버(70), 그 밖의 시스템으로 제공되는 것을 나타내는 개념도이다.
도 3 내지 도 7은 본 발명의 실시예에 따른 감성 아바타 이모티콘 제공 단말장치(10)의 영상입출력부(15)로 구현되는 유저 인터페이스 화면(이하, UI 화면)을 나타내는 도면이다.
도 8 내지 도 10은 본 발명의 실시예에 따른 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법을 나타내는 흐름도이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법을 구현하기 위한 단말장치(이하, 감성 아바타 이모티콘 제공 단말장치)(10)를 나타내는 도면이다.
한편, 도 2는 도 1의 감성 아바타 이모티콘 제공 단말장치(10)에 의해 생성된 2D 감성 아바타 이모티콘, 3D 감성 아바타 이모티콘, 음성을 포함한 감성 아바타 이모티콘이 네트워크를 통해 SNS 서버(30), 모바일 메신저 서버(40), 포토스티커 키오스크(50), 스마터-러닝 서버(60), 모바일 데이터 공유 서버(70), 그 밖의 시스템으로 제공되는 것을 나타내는 개념도이다.
도 3 내지 도 7은 본 발명의 실시예에 따른 감성 아바타 이모티콘 제공 단말장치(10)의 영상입출력부(15)로 구현되는 유저 인터페이스 화면(이하, UI 화면)을 나타내는 도면이다.
이하에서는 도 1을 중심으로 도 2 내지 도 7을 참조하여 감성 아바타 이모티콘 제공 단말장치(10)의 구성에 대해서 구체적으로 살펴보도록 한다.
먼저, 도 1을 참조하면, 감성 아바타 이모티콘 제공 단말장치(10)는 촬영부(11), 특징점 검출 모듈(12), 캐릭터 생성 모듈(13), 애니메이션 생성 모듈(14), 영상입출력부(15) 및 저장부(16)를 포함하며, 데이터베이스(DB; 20)와 데이터 송수신을 수행한다.
그리고, 애니메이션 생성 모듈(14)은 자체 이미지 생성 수단(14a), 템플릿 리소스 이미지 생성 수단(14b), 3D 페이스 적용 수단(14c) 및 음성 파싱 수단(14d)을 포함한다.
특징점 검출 모듈(12)은 저장부(16)에 기저장된 적어도 하나 이상의 사용자의 정면 얼굴 사진 중 하나에 대한 선택신호를 영상입출력부(15)를 통해 수신하거나, 촬영부(11)를 통해 사용자의 정면 얼굴 이미지를 수신하여 사용자의 정면 얼굴 사진이미지를 2D 상태로 입력받는다. 즉 특징점 검출 모듈(12)은 도 3와 같은 2D 정면 얼굴 사진이미지를 입력받는다.
특징점 검출 모듈(12)은 데이터베이스(20)에 기저장된 템플릿 캐릭터 정보를 기준으로 사용자 얼굴과 닮음변환행렬 구하기를 수행한다.
보다 구체적으로, 특징점 검출 모듈(12)의 사용자 캐릭터를 표현하기 위한 표준 데이터인 템플릿 캐릭터 정보를 이용한 닮음변환행렬 구하기를 수행하기 위해, 2D 정면 얼굴 사진이미지를 분석하고 얼굴 영역을 추출하고 얼굴 영역의 얼굴 구성요소인 눈, 코 및 입(선택적으로 귀, 턱 등을 포함)의 위치를 자동으로 파악하는 과정을 거치게 된다. 즉 도 3a 및 도 4a 및 도 4b와 같이 특징점 검출 모듈(12)은 얼굴 구성요소의 위치를 파악하고, 벡터 구조로 캐릭터를 자동 생성하는 과정을 수행한다. 이러한 캐릭터 생성을 위한 템플릿 캐릭터 정보는, 애니메이션 형식으로 구현되는 최종적인 생성물인 감성 아바타 이모티콘에 얼굴 영역으로 포함되는 감성 아바타 얼굴 캐릭터, 그리고 감성 아바타 얼굴 캐릭터를 포함한 애니메이션을 생성하기 위해서 미리 저장된 표준 데이터로, 각 얼굴 구성요소에 대한 그룹 정보로 형성되는 것이 바람직하다. 여기서 상술한 템플릿 캐릭터 정보는 감성 아바타 얼굴 캐릭터의 각 부위별 그룹 아이콘 정보로, 각 부위를 중심으로 하여 미리 생성된다. 예를 들면, 템플릿 캐릭터 정보가 눈 부위 그룹 아이콘 정보인 경우 눈 밑 주름, 흰자위, 눈동자 테두리 등과 같은 그룹 아이콘을 가질 수 있으며, 입의 경우 입술 라인, 입술 반짝이, 입술 주름 등과 같은 그룹 아이콘을 가질 수 있다.
즉, 특징점 검출 모듈(12)은 템플릿 캐릭터 정보로부터 각 얼굴 구성요소에 대한 그룹 정보를 이용해 눈, 코, 입, 귀 및 턱과 매칭되는 표준 데이터를 추출하고 이를 저장한 후, 실제 캐릭터화 할 대상인 2D 정면 얼굴 사진이미지의 각 부위인 눈, 코, 입, 귀 및 턱의 외곽선에서 선택된 기준점과, 미리 저장된 표준 데이터를 이용하여 각 부위별 그룹에서 선택된 닮음변환행렬을 생성한다.
캐릭터 생성 모듈(13)은 사용자의 얼굴 영역을 구현한 도 5c, 그리고 도 6a 내지 도 6d와 같은 형식의 감성 아바타 얼굴 캐릭터를 이용한 애니메이션 형태의 '감성 아바타 이모티콘'을 생성하기 위해, 입력된 도 3a 및 도 4a와 같은 형식의 2D 정면 얼굴 사진이미지 중 얼굴 영역을 도 5a와 같은 형식으로 자동 추출을 수행한다.
캐릭터 생성 모듈(13)은 닮음변환행렬에 따라 데이터베이스(20)에 기저장된 템플릿 캐릭터 정보를 매칭시켜 사용자 얼굴 데이터베이스를 정규화(normalization)함으로써, '감성 아바타 얼굴 캐릭터 정규화 정보'를 생성하여 데이터베이스(20)에 저장한다. 템플릿 캐릭터 정보는 도 3b와 같은 입술의 변화, 도 3c와 같은 눈의 윙크 표정으로의 변화, 도 5b와 같은 입술의 뾰로퉁한 표정으로의 변화 등을 표현하기 위한 표준 데이터를 의미한다.
즉, 캐릭터 생성 모듈(13)은 특징점 검출 모듈(12)에 의해 생성된 닮음변환행렬을 이용해 감성 아바타 얼굴 캐릭터의 각 부위별 그룹 아이콘 중 하나를 추출하여 조합한 '감성 아바타 얼굴 캐릭터 정규화 정보'를 생성한다.
또한, 캐릭터 생성 모듈(13)은 도 3b 및 도 3c와 같이 shadow 효과 및 눈, 눈썹 교체를 위한 감마 보정 및 음영 적용을 수행한 '감성 아바타 얼굴 캐릭터 정규화 정보'를 생성할 수 있다.
애니메이션 생성 모듈(14)은 템플릿 애니메이션 콘텐츠 정보로 캐릭터 생성 모듈(13)에 의해 추출된 2D 정면 얼굴 사진이미지 중 얼굴 영역을 파싱(parsing) 한다. 즉 도 5c, 도 6a 내지 도 6d, 도 7와 같이 애니메이션 형태로 표출 가능한 템플릿 애니메이션 콘텐츠 정보로 2D 정면 얼굴 사진이미지 중 얼굴 영역을 파싱함으로써, 2D 감성 아바타 이모티콘 생성을 위한 과정을 수행한다.
애니메이션 생성 모듈(14)은 파싱된 얼굴 영역에 얼굴 구성요소를 파싱한 상태에서 템플릿 애니메이션 콘텐츠 정보에 따라 구현되는 자체 이미지 애니메이션에 대한 적합 여부를 판단한다. 즉, 애니메이션 생성 모듈(14)은 파싱된 얼굴 영역이 템플릿 애니메이션 콘텐츠 정보에 따라 구현되는 애니메이션에서의 표준 얼굴 부위별 정보와 추출된 얼굴 영역에서의 눈, 코, 입의 매칭 정보인 적합도의 퍼센테이지를 판단하는 것이다.
여기서 애니메이션 생성 모듈(14)은 미리 설정된 임계 퍼센테이지 이상인 경우 적합한 것으로 판단하며, 반대로 미리 설정된 임계 퍼센테이지 미만인 경우 부적합 것으로 판단한다.
이러한 판단 기준에 따른 판단 결과 자체 이미지 애니메이션에 적합한 경우 자체 이미지 생성 수단(14a)은 2D 정면 얼굴 사진이미지의 얼굴 영역을 구성하는 얼굴 구성요소로 애니메이션의 얼굴 구성요소를 변경함으로써, 애니메이션 형태의 2D 감성 아바타 이모티콘 생성을 완료한다.
반대로 판단 기준에 따른 판단 결과 자체 이미지 애니메이션에 적합하지 않은 경우, 템플릿 리소스 이미지 생성 수단(14b)은 캐릭터 생성 모듈(13)에 의해 생성된 '감성 아바타 얼굴 캐릭터 정규화 정보'를 데이터베이스(20)에 기저장된 템플릿 애니메이션 콘텐츠 정보에 따라 구현되는 자체 이미지 애니메이션에서의 얼굴 구성요소 템플릿으로 선택한다.
보다 구체적으로, 템플릿 리소스 이미지 생성 수단(14b)은 애니메이션 정보에 해당하는 사용자 사진의 얼굴 구성요소가 2D 정면 얼굴 사진이미지의 얼 요소 자체를 변경하여 애니메이션 적합한지 판단하여 부적합할 경우에는 얼굴 구성요소 템플릿 리소스에 해당하는 '감성 아바타 얼굴 캐릭터 정규화 정보'를 활용하여 2D 감성 아바타 리모컨을 애니메이션 형식으로 표현한다.
이를 위해, 템플릿 리소스 이미지 생성 수단(14b)은 데이터베이스(20)에는 얼굴의 정규화를 위해 생성된 얼굴 구성요소 템플릿 정보의 집합인 감성 아바타 얼굴 캐릭터 정규화 정보를 저장하는 것이며, 얼굴 표정 애니메이션을 위한 애니메이션 템플릿 정보에 해당하는 템플릿 애니메이션 콘텐츠 정보도 미리 저장하는 것이다.
이에 따라, 템플릿 리소스 이미지 생성 수단(14b)은 닮음변환행렬의 정규화 정보인 '감성 아바타 얼굴 캐릭터 정규화 정보'를 이루는 각 얼굴 구성요소 템플릿 정보 중 적어도 하나 이상에 대한 얼굴 영역 크로핑(cropping)을 수행함으로써, 애니메이션을 구현하는 감성 아바타에 대한 얼굴 구성요소를 변경하여 저장부(16)에 저장한다.
이후, 템플릿 리소스 이미지 생성 수단(14b)은 선택된 얼굴 구성요소 템플릿에 해당하는 얼굴 구성요소 구현을 위한 사용자의 피부색상, 상태를 추출한다.
보다 구체적으로, 템플릿 리소스 이미지 생성 수단(14b)은 2D 감성 아바타 이모티콘에 적용하기 위한 제 1 부분 과정으로 선택된 얼굴 구성요소 템플릿에 해당하는 피부를 생성한다. 즉, 애니메이션 적용 부분에 따라 사용자 얼굴의 각 피부 색상 속성 추출 후 애니메이션 효과에 따라 사용자의 피부 속성을 반영하여 얼굴 피부를 제거 및 자동 생성한다.
또한, 템플릿 리소스 이미지 생성 수단(14b)은 2D 감성 아바타 이모티콘에 적용하기 위한 제 2 부분 과정으로 얼굴 구성요소 변경을 수행한다. 즉, 애니메이션 생성 모듈(14)은 애니메이션 효과에 따라 얼굴의 눈썹, 눈, 입술, 턱의 형태를 변경하는데, 사용자 얼굴구성 요소인 얼굴의 눈썹, 눈, 입술, 턱의 형태를 자체로 변경하고, 제 1 부분 과정에 의해 생성된 템플릿 얼굴 구성요소를 사용자 얼굴 요소 색상과 형태의 속성에 맞게 자동 조절하여 사용자 얼굴에 적용한다.
다음으로, 템플릿 리소스 이미지 생성 수단(14b)은 2D 정면 얼굴 사진이미지에서 애니메이션 대상 중 얼굴 캐릭터 아이콘으로 적용될 얼굴 영역의 크기 및 색상의 속성을 추출한다.
템플릿 리소스 이미지 생성 수단(14b)은 선택된 얼굴 구성요소 템플릿을 애니메이션 대상 아이콘으로 적용하도록 추출된 얼굴 영역의 크기 및 색상의 속성에 맞춰서 색상과 크기로 변경함으로써, 2D 감성 아바타 이모티콘 생성을 완료한다.
3D 페이스 적용 수단(14c)은 2D 정면 얼굴 사진이미지로 생성된 2D 감성 아바타 이모티콘의 얼굴 영역에 대한 상, 하, 좌, 우의 모습을 자동생성하기 위해 2D 기반의 3D 페이스 모렐링(3D face modeling based on 2D)을 수행하여 애니메이션 형식으로 표출되는 3D 감성 아바타 이모티콘을 생성한다. 여기서 생성된 3D 감성 아바타 이모티콘을 위한 얼굴 영역은 도 4c와 같이 표출될 수 있다.
보다 구체적으로, 3D 페이스 적용 수단(14c)은 애니메이션 지정 내용에 따라 사용자의 2D 정면 얼굴 사진이미지의 상, 하, 좌 및 우를 중심축으로 왜곡하여 회전효과를 생성하기 위한 3D 페이스 애니메이션 효과 표현을 수행함으로써, 극히 작은 데이터인 기존 3D 캐릭터의 100분의 1 수준(0.01배)으로 실제감 있는 이모티콘 애니메이션 표현이 가능할 수 있다. 이를 위해 3D 페이스 적용 수단(14c)은 2D 기반의 3D 페이스 모렐링(3D face modeling based on 2D)을 수행한다.
3D 페이스 모렐링(3D face modeling based on 2D)에 대해 살펴보면, 3D 페이스 적용 수단(14c)은 2D 정면 얼굴 사진이미지로 생성된 2D 감성 아바타 이모티콘의 얼굴 영역에 대한 디코딩을 수행하여 디코딩된 이미지를 생성하여 저장부(16)에 저장한다. 이후, 3D 페이스 적용 수단(14c)은 3차원 그래픽에서 입체형상을 표현하는데 사용하는 가장 작은 단위인 폴리곤을 생성하고, 폴리곤을 여러 개를 만들어 폴리곤 집합으로 변환한 뒤, 생성된 폴리곤 집합을 저장부(16)에 저장한다. 이후, 3D 페이스 적용 수단(14c)은 생성된 폴리곤 집합 위에 저장부(16)에 저장된 디코딩된 이미지를 붙이는 텍스쳐 맵핑을 수행함으로써, 텍스쳐맵핑된 데이터인 3차원 얼굴 영역 데이터를 생성한다. 최종적으로, 3D 페이스 적용 수단(14c)은 3차원 얼굴 영역 데이터가 적용된 3D 감성 아바타 이모티콘을 100분의 1 수준(0.01배)으로 스케일다운하여 데이버테이스(20)에 저장하며, 영상입출력부(15)로 출력한다.
이에 따라, 3D 페이스 적용 수단(14c)은 단 한 장의 정면 사진을 분석하여, 사진과 흡사한 사용자 캐릭터를 자동 생성하고, 실감나는 감성 애니메이션을 자동 생성하는 장점을 갖는다.
한편, 3D 페이스 적용 수단(14c)은 3D 페이스 모렐링(3D face modeling based on 2D)에 대한 전처리 이미지 과정으로, 2D 정면 얼굴 사진이미지로 생성된 2D 감성 아바타 이모티콘의 얼굴 영역에 대한 이미지 정보로부터 이미지의 외곽선 검출을 수행하며, 이미지의 외곽선 검출을 하기 위해서 사진의 이미지에 대해 이진화 또는 특수처리를 한다. 이진화는 여러 단계(보통 256)의 컬러값을 0과 1의 값으로 낮추는 과정이며, 이진화를 통해 이미지의 에지 정보를 더욱 선명하게 할 수 있다. 또한, 특수처리는 컬러 이미지를 그레이 레벨로 변경하거나 외곽선 검출을 실행하는 처리이다. 특수처리를 하면 외곽선이 추출되어 사용자가 외곽선에 기준점을 선택하기 용이하게 될 수 있다. 본 발명에 있어서 외곽선에서 선택된 기준점과 표준 데이터에 해당하는 데이터베이스(20)에 기저장된 템플릿 캐릭터 정보를 이용함으로써, 보다 명확한 외곽선 추출의 전처리 과정을 수행할 수 있다.
한편, 음성 파싱 수단(14d)은 자체 이미지 생성 수단(14a) 및 템플릿 리소스 이미지 생성 수단(14b)에 의해 생성된 2D 감성 아바타 이모티콘, 3D 페이스 적용 수단(14d)에 의해 생성된 3D 감성 아바타 이모티콘에 대한 이모티콘 템플릿 콘텐츠를 데이터베이스(20)로부터 추출한다.
이후, 음성 파싱 수단(14d)은 2D 감성 아바타 이모티콘 또는 3D 감성 아바타 이모티콘을 영상입출력부(15)로 템플릿 애니메이션 콘텐츠 정보에 의한 애니메이션 형식으로 출력한 뒤, 음성입출력부(17)로 입력되는 음성 신호를 수신하여 음성 신호가 수신된 2D 감성 아바타 이모티콘 또는 3D 감성 아바타 이모티콘에 대해 각각 음성 표출을 포함한 2D 감성 아바타 이모티콘 및 음성 표출을 포함한 3D 감성 아바타 이모티콘으로 변환하여 데이터베이스(20)에 저장함으로써, 음성을 포함한 감성 아바타 이모티콘에 대한 생성을 완료한다.
도 8 내지 도 10은 본 발명의 실시예에 따른 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법을 나타내는 흐름도이다. 도 8 내지 도 10을 참조하면, 감성 아바타 이모티콘 제공 단말장치(10)는 저장부(16)에 기저장된 적어도 하나 이상의 사용자의 정면 얼굴 사진 중 하나에 대한 선택신호를 영상입출력부(15)를 통해 수신하거나, 촬영부(11)를 통해 사용자의 정면 얼굴 이미지를 수신하여 사용자의 정면 얼굴 사진이미지를 2D 상태로 입력받는다(S11).
단계(S11) 이후, 감성 아바타 이모티콘 제공 단말장치(10)는 데이터베이스(20)에 기저장된 템플릿 캐릭터 정보를 기준으로 사용자 얼굴과 닮음변환행렬 구하기를 수행한다(S12).
단계(S12) 이후, 감성 아바타 이모티콘 제공 단말장치(10)는 사용자의 얼굴 영역을 구현한 감성 아바타 얼굴 캐릭터를 이용한 애니메이션 형태의 '감성 아바타 이모티콘'을 생성하기 위해, 단계(S11)에서 입력된 2D 정면 얼굴 사진이미지 중 얼굴 영역을 자동 추출을 수행한다(S13).
단계(S13) 이후, 감성 아바타 이모티콘 제공 단말장치(10)는 단계(S12)에서 구해진 닮음변환행렬에 따라 데이터베이스(20)에 기저장된 템플릿 캐릭터 정보를 매칭시켜 사용자 얼굴 데이터베이스를 정규화(normalization)함으로써, '감성 아바타 얼굴 캐릭터 정규화 정보'를 생성하여 데이터베이스(20)에 저장한다(S14).
단계(S14) 이후, 감성 아바타 이모티콘 제공 단말장치(10)는 데이터베이스(20)에 기저장된 템플릿 애니메이션 콘텐츠 정보로 단계(S13)에서 추출된 2D 정면 얼굴 사진이미지 중 얼굴 영역을 파싱(parsing) 한다(S15).
단계(S15) 이후, 감성 아바타 이모티콘 제공 단말장치(10)는 파싱된 얼굴 영역의 얼굴 구성요소의 템플릿 애니메이션 콘텐츠 정보에 따라 구현되는 자체 이미지 애니메이션에 대한 적합 여부를 판단한다(S21).
단계(S21)의 판단 결과 자체 이미지 애니메이션에 적합한 경우, 감성 아바타 이모티콘 제공 단말장치(10)는 2D 정면 얼굴 사진이미지의 얼굴 영역을 구성하는 얼굴 구성요소로 애니메이션의 얼굴 구성요소를 변경함으로써, 애니메이션 형태의 2D 감성 아바타 이모티콘 생성을 완료한다(S22).
한편, 단계(S21)의 판단 결과 자체 이미지 애니메이션에 적합하지 않은 경우, 감성 아바타 이모티콘 제공 단말장치(10)는 단계(S14)에서 생성된 '감성 아바타 얼굴 캐릭터 정규화 정보'를 데이터베이스(20)에 기저장된 템플릿 애니메이션 콘텐츠 정보에 따라 구현되는 자체 이미지 애니메이션에서의 얼굴 구성요소 템플릿으로 선택한다(S23).
단계(S23) 이후, 감성 아바타 이모티콘 제공 단말장치(10)는 선택된 얼굴 구성요소 템플릿에 해당하는 얼굴 구성요소 구현을 위한 사용자의 피부색상, 상태를 추출한다(S24).
단계(S24) 이후, 감성 아바타 이모티콘 제공 단말장치(10)는 2D 정면 얼굴 사진이미지에서 애니메이션 대상 중 얼굴 캐릭터 아이콘으로 적용될 얼굴 영역의 크기 및 색상의 속성을 추출한다(S25).
단계(S25) 이후, 감성 아바타 이모티콘 제공 단말장치(10)는 단계(S23)에서 선택된 얼굴 구성요소 템플릿을 애니메이션 대상 아이콘으로 적용하도록, 단계(S25)에서 추출된 얼굴 영역의 크기 및 색상의 속성에 맞춰서 선택된 얼굴 구성요소 템플릿의 색상과 크기를 변경함으로써, 2D 감성 아바타 이모티콘 생성을 완료한다(S26).
단계(S26) 이후, 감성 아바타 이모티콘 제공 단말장치(10)는 사용자의 정면 사진인 2D 정면 얼굴 사진이미지로 생성된 2D 감성 아바타 이모티콘의 얼굴 영역에 대한 상, 하, 좌, 우의 모습을 자동생성하기 위해 2D 기반의 3D 페이스 모렐링(3D face modeling based on 2D)을 수행하여 애니메이션 형식으로 표출되는 3D 감성 아바타 이모티콘을 생성한다(S31).
단계(S26) 이후 또는 단계(S31) 이후, 감성 아바타 이모티콘 제공 단말장치(10)는 2D 감성 아바타 이모티콘 또는 3D 감성 아바타 이모티콘에 대한 템플릿 애니메이션 콘텐츠 정보를 데이터베이스(20)로부터 추출한 뒤, 2D 아바타 이모티콘 또는 3D 감성 아바타 이모티콘을 영상입출력부(15)로 템플릿 애니메이션 콘텐츠 정보에 중 애니메이션에 따른 표정이 발생하는 영역을 표출한 뒤, 음성입출력부(17)로 입력되는 음성 신호를 수신하여 음성 신호가 수신된 2D 감성 아바타 이모티콘 또는 3D 감성 아바타 이모티콘에 대해 각각 음성 표출을 포함한 2D 감성 아바타 이모티콘 및 음성 표출을 포함한 3D 감성 아바타 이모티콘으로 변환하여 데이터베이스(20)에 저장함으로써, 음성을 포함한 감성 아바타 이모티콘에 대한 생성을 완료한다(S32).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
10: 감성 아바타 이모티콘 제공 단말장치
11: 촬영부
12: 특징점 검출 모듈
13: 캐릭터 생성 모듈
13: 애니메이션 생성 모듈
14a: 자체 이미지 생성 수단
14b: 템플릿 리소스 이미지 생성 수단
14c: 3D 페이스 적용 수단
14d: 음성 파싱 수단
15: 영상입출력부
16: 저장부
17: 음성입출력부
20: 데이터베이스(DB)

Claims (5)

  1. 삭제
  2. 감성 아바타 이모티콘 제공 단말장치(10)가 데이터베이스(20)에 기저장된 템플릿 애니메이션 콘텐츠 정보로 기추출된 2D 정면 얼굴 사진이미지 중 얼굴 영역을 파싱(parsing) 하는 제 1 단계;
    감성 아바타 이모티콘 제공 단말장치(10)가 파싱된 얼굴 영역의 얼굴 구성요소의 템플릿 애니메이션 콘텐츠 정보에 따라 구현되는 자체 이미지 애니메이션에 대한 적합 여부를 판단하는 제 2 단계;
    판단 결과 자체 이미지 애니메이션에 적합한 경우, 감성 아바타 이모티콘 제공 단말장치(10)가 2D 정면 얼굴 사진이미지의 얼굴 영역을 구성하는 얼굴 구성요소로 애니메이션의 얼굴 구성요소를 변경하여 애니메이션 형태의 2D 감성 아바타 이모티콘 생성을 완료하며, 판단 결과 자체 이미지 애니메이션에 적합하지 않은 경우, 감성 아바타 이모티콘 제공 단말장치(10)가 생성된 '감성 아바타 얼굴 캐릭터 정규화 정보'를 데이터베이스(20)에 기저장된 템플릿 애니메이션 콘텐츠 정보에 따라 구현되는 자체 이미지 애니메이션에서의 얼굴 구성요소 템플릿으로 선택하는 제 3 단계;
    감성 아바타 이모티콘 제공 단말장치(10)가 선택된 얼굴 구성요소 템플릿에 해당하는 얼굴 구성요소 구현을 위한 사용자의 피부색상, 상태를 추출하는 제 4 단계;
    감성 아바타 이모티콘 제공 단말장치(10)가 2D 정면 얼굴 사진이미지에서 애니메이션 대상 중 얼굴 캐릭터 아이콘으로 적용될 얼굴 영역의 크기 및 색상의 속성을 추출하는 제 5 단계;
    감성 아바타 이모티콘 제공 단말장치(10)가 선택된 얼굴 구성요소 템플릿을 애니메이션 대상 아이콘으로 적용하도록, 기추출된 얼굴 영역의 크기 및 색상의 속성에 맞춰서 선택된 얼굴 구성요소 템플릿의 색상과 크기를 변경하여 2D 감성 아바타 이모티콘 생성을 완료하는 제 6 단계;
    감성 아바타 이모티콘 제공 단말장치(10)가 사용자의 정면 사진인 2D 정면 얼굴 사진이미지로 생성된 2D 감성 아바타 이모티콘의 얼굴 영역에 대한 상, 하, 좌, 우의 모습을 자동생성하기 위해 2D 기반의 3D 페이스 모렐링(3D face modeling based on 2D)을 수행하여 애니메이션 형식으로 표출되는 3D 감성 아바타 이모티콘을 생성하는 제 7 단계; 및
    감성 아바타 이모티콘 제공 단말장치(10)가 2D 감성 아바타 이모티콘 또는 3D 감성 아바타 이모티콘에 대한 템플릿 애니메이션 콘텐츠 정보를 데이터베이스(20)로부터 추출한 뒤, 2D 아바타 이모티콘 또는 3D 감성 아바타 이모티콘을 영상입출력부(15)로 템플릿 애니메이션 콘텐츠 정보에 중 애니메이션에 따른 표정이 발생하는 영역을 표출한 뒤, 음성입출력부(17)로 입력되는 음성 신호를 수신하여 음성 신호가 수신된 2D 감성 아바타 이모티콘 또는 3D 감성 아바타 이모티콘에 대해 각각 음성 표출을 포함한 2D 감성 아바타 이모티콘 및 음성 표출을 포함한 3D 감성 아바타 이모티콘으로 변환하여 데이터베이스(20)에 저장하여, 음성을 포함한 감성 아바타 이모티콘에 대한 생성을 완료하는 제 8 단계; 를 포함하는 것을 특징으로 하는 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법.
  3. 삭제
  4. 삭제
  5. 삭제
KR1020150092068A 2015-06-29 2015-06-29 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치 KR101743764B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150092068A KR101743764B1 (ko) 2015-06-29 2015-06-29 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치
PCT/KR2015/010925 WO2017003031A1 (ko) 2015-06-29 2015-10-15 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150092068A KR101743764B1 (ko) 2015-06-29 2015-06-29 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치

Publications (2)

Publication Number Publication Date
KR20170002097A KR20170002097A (ko) 2017-01-06
KR101743764B1 true KR101743764B1 (ko) 2017-06-05

Family

ID=57608369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150092068A KR101743764B1 (ko) 2015-06-29 2015-06-29 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치

Country Status (2)

Country Link
KR (1) KR101743764B1 (ko)
WO (1) WO2017003031A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180080941A (ko) 2017-01-05 2018-07-13 엘지전자 주식회사 가전제품용 도어 패널
KR20190101832A (ko) * 2018-02-23 2019-09-02 삼성전자주식회사 전자 장치 및 아바타 기반의 커스텀 객체 운용 방법
US11310176B2 (en) * 2018-04-13 2022-04-19 Snap Inc. Content suggestion system
CN109003624B (zh) * 2018-06-29 2022-02-15 北京百度网讯科技有限公司 情绪识别方法、装置、计算机设备及存储介质
CN109919016B (zh) * 2019-01-28 2020-11-03 武汉恩特拉信息技术有限公司 一种在无脸部器官的对象上生成人脸表情的方法及装置
KR102639725B1 (ko) * 2019-02-18 2024-02-23 삼성전자주식회사 애니메이티드 이미지를 제공하기 위한 전자 장치 및 그에 관한 방법
CN112132979B (zh) * 2020-09-29 2022-04-22 支付宝(杭州)信息技术有限公司 一种虚拟资源的选取方法、装置及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100859315B1 (ko) * 2006-12-26 2008-09-19 연세대학교 산학협력단 게임 시스템에서의 게임 캐릭터 얼굴 변경 방법
KR101165300B1 (ko) * 2009-04-08 2012-07-19 이정훈 패턴애니메이션을 기반으로 하는 ucc서비스 시스템
KR101306221B1 (ko) * 2011-09-23 2013-09-10 (주) 어펙트로닉스 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법
KR101711684B1 (ko) * 2012-12-14 2017-03-03 한국전자통신연구원 3d 아바타 출력 장치 및 방법
KR20140128472A (ko) * 2013-04-25 2014-11-06 (주)티오씨크리에이티브 이미지 변동 에니매이션 제작방법

Also Published As

Publication number Publication date
KR20170002097A (ko) 2017-01-06
WO2017003031A1 (ko) 2017-01-05

Similar Documents

Publication Publication Date Title
US11062494B2 (en) Electronic messaging utilizing animatable 3D models
KR101743764B1 (ko) 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치
US11798261B2 (en) Image face manipulation
KR101743763B1 (ko) 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치
US11763481B2 (en) Mirror-based augmented reality experience
US11660022B2 (en) Adaptive skeletal joint smoothing
EP4200745A1 (en) Cross-domain neural networks for synthesizing image with fake hair combined with real image
US20220300728A1 (en) True size eyewear experience in real time
US20230154084A1 (en) Messaging system with augmented reality makeup
US20230120037A1 (en) True size eyewear in real time
US20220292690A1 (en) Data generation method, data generation apparatus, model generation method, model generation apparatus, and program
CN115049016A (zh) 基于情绪识别的模型驱动方法及设备
WO2023034722A1 (en) Conversation guided augmented reality experience
US11741650B2 (en) Advanced electronic messaging utilizing animatable 3D models
US20220207819A1 (en) Light estimation using neural networks
WO2022183175A1 (en) Whole body segmentation
US20240062500A1 (en) Generating ground truths for machine learning
KR20160010810A (ko) 실음성 표출 가능한 실사형 캐릭터 생성 방법 및 생성 시스템
WO2023129391A1 (en) Protecting image features in stylized representations of a source image
US20220318566A1 (en) Neural networks for accompaniment extraction from songs
CN114648601A (zh) 虚拟形象的生成方法、电子设备、程序产品及用户终端
US20230215062A1 (en) Protecting image features in stylized representations of a source image
US20240127563A1 (en) Stylizing a whole-body of a person
US20240087266A1 (en) Deforming real-world object using image warping
CN117041651A (zh) 弹幕处理方法及相关设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
R401 Registration of restoration