KR101681501B1 - 아바타 얼굴 생성 시스템 및 방법 - Google Patents
아바타 얼굴 생성 시스템 및 방법 Download PDFInfo
- Publication number
- KR101681501B1 KR101681501B1 KR1020160081080A KR20160081080A KR101681501B1 KR 101681501 B1 KR101681501 B1 KR 101681501B1 KR 1020160081080 A KR1020160081080 A KR 1020160081080A KR 20160081080 A KR20160081080 A KR 20160081080A KR 101681501 B1 KR101681501 B1 KR 101681501B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- face
- facial
- grid
- user terminal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 230000001815 facial effect Effects 0.000 claims description 145
- 230000008921 facial expression Effects 0.000 claims description 123
- 230000014509 gene expression Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 3
- 210000000887 face Anatomy 0.000 claims 1
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G06T3/0012—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 사용자 단말에 얼굴을 포함하는 이미지가 디스플레이 되는 단계; 사용자 단말이 상기 이미지에서 얼굴 부분 이미지를 추출하는 단계; 및 사용자 단말이 추출된 상기 얼굴 부분 이미지를 이미지 콘텐츠에 삽입하는 단계를 포함한다.
Description
본 발명은 아바타 얼굴 생성 시스템 및 방법에 관한 것으로, 보다 상세하게는 얼굴 부분 이미지를 추출하고, 추출한 상기 얼굴 부분 이미지에 표정을 형성하는 아바타 얼굴 생성 시스템 및 방법에 관한 것이다.
아바타(avatar)는 온라인 게임이나 채팅, 가상 공간 등에서 사용자의 역할을 대신하는 애니메이션 캐릭터를 뜻하는 말로 1990년대 인터넷 보급과 더불어 활발히 도입되기 시작하였으며 2000년대에 실제 사람의 사실성보다는 3D 그래픽 캐릭터의 관점에서 세컨드라이프(Second Life)나 리니지 등의 서비스에서 활용되고 있다.
컴퓨터 그래픽스 기술의 발달로 인해 보다 사실적인 인체 표현이 가능한 아바타 기술이 영화나 CF를 중심으로 활발히 활용되고 있으며, 최근에는 컴퓨터 그래픽 기술과 컴퓨터 비전 기술의 결합으로 인한 시너지 효과 및 센서 기술과 컴퓨팅 하드웨어의 발전으로 인해 실제 사용자의 외형이나 움직임을 사실적으로 표현할 수 있는 실사 인체 아바타에 대한 연구와 산업으로의 응용이 활발히 진행되고 있다.
한편 사용자는 자신만의 아바타를 만들고 싶어하며, 사용자와 완전히 동떨어진 아바타가 아니라, 사용자의 특성을 반영하는 아바타를 갖고 싶어하는 욕구도 같이 증가하고 있다.
하지만, 사용자의 대표적 특성인 얼굴이 반영된 아바타 제공 기술은 아바타의 표정이 하나의 표정으로 한정되어 있는 문제가 있다.
본 발명은 상기한 문제점을 해결하기 위해 발명된 것으로, 그 목적은 다양한 표정의 아바타 얼굴 부분 이미지를 제공 할 수 있는 아바타 얼굴 생성 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명의 다른 목적은 하나의 얼굴 부분 이미지를 이용하여 다양한 표정의 얼굴 부분 이미지를 형성할 수 있는 아바타 얼굴 생성 시스템 및 방법을 제공하는 것을 다른 목적으로 한다.
본 발명의 일 실시예에 따른 아바타 얼굴 생성 방법은 아바타 얼굴 생성 시스템이, 사용자 단말에 얼굴을 포함하는 이미지가 디스플레이 되는 단계; 사용자 단말이 상기 이미지에서 얼굴 부분 이미지를 추출하는 단계; 및 사용자 단말이 추출된 상기 얼굴 부분 이미지를 이미지 콘텐츠에 삽입하는 단계를 포함할 수 있다.
또한 상기 사용자 단말이 상기 이미지에서 얼굴 부분 이미지를 추출하는 단계는, 사용자 단말이 얼굴을 포함하는 상기 이미지에 대한 사용자의 터치를 인식하는 단계; 사용자 단말이 사용자의 상기 터치가 폐구간을 형성하는지 결정하는 단계; 및 사용자 단말이 상기 폐구간에서 얼굴 부분 이미지를 추출하는 단계를 포함할 수 있다.
또한 상기 사용자 단말이 추출된 상기 얼굴 부분 이미지를 이미지 콘텐츠에 삽입하는 단계는, 사용자 단말이 추출된 상기 얼굴 부분 이미지에 격자를 형성하는 단계; 사용자 단말이 상기 얼굴 부분 이미지가 웃음, 슬픔, 화남 및 놀람 중 적어도 하나의 표정을 형성할 수 있도록 상기 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하는 단계; 사용자 단말이 왜곡된 상기 얼굴 부분 이미지를 보정하는 단계; 및 사용자 단말이 보정된 상기 얼굴 부분 이미지를 이미지 콘텐츠에 삽입하는 단계를 포함할 수 있다.
또한 상기 사용자 단말이 상기 얼굴 부분 이미지가 웃음, 슬픔, 화남 및 놀람 중 적어도 하나의 표정을 형성할 수 있도록 상기 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하는 단계는, 사용자 단말이 서버로부터 기준 표정 이미지 및 기준 표정 정보를 전송 받는 단계; 및 전송 받은 상기 기준 표정 이미지 및 상기 기준 표정 정보를 이용하여 상기 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하는 단계를 포함할 수 있다.
또한 상기 전송 받은 상기 기준 표정 이미지 및 상기 기준 표정 정보를 이용하여 상기 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하는 단계는, 사용자 단말이 상기 기준 표정 이미지에 형성된 격자와 상기 얼굴 부분 이미지에 형성된 격자를 비교하는 단계; 및 사용자 단말이 상기 기준 표정 이미지에 형성된 격자와 상이한 상기 얼굴 부분 이미지에 형성된 격자에 해당하는 상기 얼굴 부분 이미지를 상기 기준 표정 정보를 이용하여 왜곡하는 단계를 포함할 수 있다.
또한 상기 기준 표정 정보를 이용하여 왜곡하는 단계는, 상기 기준 표정 정보의 개수만큼 상기 얼굴 부분 이미지에 표정을 형성하기 위한 왜곡을 수행하되, 수행된 상기 왜곡들에 대한 평균값을 구하고, 구해진 상기 왜곡의 평균값을 이용하여 왜곡하는 단계에 해당할 수 있다.
또한 상기 기준 표정 정보를 이용하여 왜곡하는 단계는, 기수집된 다수의 동일 표정 정보의 평균 왜곡정도를 산출해 이를 기반으로 왜곡하는 단계에 해당할 수 있다.
또한 상기 얼굴 부분 이미지를 이미지 콘텐츠에 삽입하는 단계 이후에, 사용자 단말의 클릭, 스와이프 입력 또는 화면상의 상기 얼굴 부분 이미지 주변의 위기물건의 사용자 터치 접촉에 따라 기설정된 여러 종류의 표정 중 기설정된 해당 표정을 출력하는 단계를 더 포함할 수 있다.
또한 상기 얼굴 부분 이미지를 이미지 콘텐츠에 삽입하는 단계 이후에, 상기 얼굴 부분 이미지가 삽입된 이미지 콘텐츠는 전자 동화책의 일부에 삽입되어 상기 전자 동화책의 페이지 내용에 따른 기설정된 표정 변화가 이루어져 출력되거나 사용자 터치 접촉에 따라 기설정된 여러 종류의 표정 중 기설정된 해당 표정을 출력하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 아바타 생성 시스템은 얼굴을 포함하는 이미지에서 얼굴 부분 이미지를 추출하고, 추출된 상기 얼굴 부분 이미지에 표정을 형성하는 사용자 단말; 및 상기 사용자 단말이 상기 얼굴 부분 이미지에 표정을 형성할 수 있도록 기준 표정 이미지 및 기준 표정 정보를 전송하는 서버를 포함하고, 상기 사용자 단말은, 상기 얼굴 부분 이미지를 추출하는 얼굴 추출 모듈; 및 상기 얼굴 추출 모듈이 추출한 얼굴 부분 이미지에 표정을 형성하는 표정 형성 모듈을 포함하며, 상기 표정 형성 모듈은, 추출된 상기 얼굴 부분 이미지에 격자를 형성하는 격자 형성 모듈; 상기 격자 형성 모듈이 상기 얼굴 부분 이미지에 형성한 격자 중 일부를 왜곡시켜 표정을 형성하는 이미지 왜곡 모듈; 및 상기 이미지 왜곡 모듈이 왜곡한 상기 얼굴 부분 이미지를 보정하는 보정모듈을 포함할 수 있다.
본 발명에 따른 아바타 얼굴 생성 시스템 및 방법에 의하면, 다양한 표정의 아바타 얼굴 부분 이미지를 제공 할 수 있는 효과가 있다.
또한, 하나의 얼굴 부분 이미지를 이용하여 다양한 표정의 얼굴 부분 이미지를 형성할 수 있는 효과가 있다.
또한, 다양한 표정으로 형성된 얼굴 부분 이미지를 서버에 저장할 수 있는 효과가 있다.
또한, 상기 서버에 저장된 얼굴 부분 이미지를 다양한 기기에서 공유할 수 있는 효과가 있다.
또한, 사용자의 다양한 얼굴 부분 이미지로 아바타의 얼굴을 형성하여 사용자가 이용하는 컨텐츠에 대한 몰입감을 높이는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 아바타 얼굴 생성 시스템을 나타내는 도면이다.
도 2는 사용자 단말의 구성을 나타내는 도면이다.
도 3은 표정 형성 모듈의 구성을 나타내는 도면이다.
도 4는 얼굴 부분 이미지에 격자가 형성된 모습을 나타낸 도면이다.
도 5는 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하여 웃는 표정을 형성하기 위한 기준 표정 이미지를 나타낸 도면이다.
도 6은 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하여 슬픈 표정을 형성하기 위한 기준 표정 이미지를 나타낸 도면이다.
도 7은 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하여 화난 표정을 형성하기 위한 기준 표정 정보를 나타낸 도면이다.
도 8은 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하여 놀란 표정을 형성하기 위한 기준 표정 정보를 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 아바타 얼굴 생성 방법을 나타내는 플로우 차트이다.
도 10 내지 도 14는 본 발명의 일실시예에 따라 생성된 얼굴 부분 이미지와 이미지 콘텐츠가 결합된 모습을 나타낸 도면이다.
도 2는 사용자 단말의 구성을 나타내는 도면이다.
도 3은 표정 형성 모듈의 구성을 나타내는 도면이다.
도 4는 얼굴 부분 이미지에 격자가 형성된 모습을 나타낸 도면이다.
도 5는 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하여 웃는 표정을 형성하기 위한 기준 표정 이미지를 나타낸 도면이다.
도 6은 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하여 슬픈 표정을 형성하기 위한 기준 표정 이미지를 나타낸 도면이다.
도 7은 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하여 화난 표정을 형성하기 위한 기준 표정 정보를 나타낸 도면이다.
도 8은 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하여 놀란 표정을 형성하기 위한 기준 표정 정보를 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 아바타 얼굴 생성 방법을 나타내는 플로우 차트이다.
도 10 내지 도 14는 본 발명의 일실시예에 따라 생성된 얼굴 부분 이미지와 이미지 콘텐츠가 결합된 모습을 나타낸 도면이다.
이하의 설명에서 본 발명에 대한 이해를 명확히 하기 위하여, 본 발명의 특징에 대한 공지의 기술에 대한 설명은 생략하기로 한다. 이하의 실시 예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아님은 당연할 것이다. 따라서, 본 발명과 동일한 기능을 수행하는 균등한 발명 역시 본 발명의 권리 범위에 속할 것이다.
이하의 설명에서 동일한 식별 기호는 동일한 구성을 의미하며, 불필요한 중복적인 설명 및 공지 기술에 대한 설명은 생략하기로 한다.
본 발명의 실시 예에서 '통신', '통신망' 및 '네트워크'는 동일한 의미로 사용될 수 있다. 상기 세 용어들은, 파일을 사용자 단말, 다른 사용자들의 단말 및 다운로드 서버 사이에서 송수신할 수 있는 유무선의 근거리 및 광역 데이터 송수신망을 의미한다.
이하, 첨부된 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 아바타 얼굴 생성 시스템을 나타내는 도면이다.
도 1을 참조하면, 아바타 얼굴 생성 시스템(10)은 사용자 단말(100) 및 서버(200)를 포함한다.
사용자 단말(100) 및 서버(200)는 인터넷을 포함하는 네트워크를 통해 서로 통신을 수행한다.
사용자 단말(100)은 스마트폰, 테블릿 및 노트북을 포함하는 모바일 기기에 해당할 수 있으나 본 발명의 범위가 이에 한정되는 것은 아니고 데스크 톱과 같은 비 모바일 기기에 해당할 수 있다.
사용자 단말(100)은 아바타 얼굴 생성 방법을 수행하기 위한 애플리케이션을 서버(200)로부터 다운로드 할 수 있다.
사용자 단말(100)은 서버(200)와 연동하여 동작하여 사용자 단말(100)에서 생성한 얼굴 부분 이미지를 서버(200)로 전송할 수 있다.
이를 위해 본 발명의 일실시예에 따른 사용자 단말(100)에는 서버(200)와 연동하여 동작하기 위한 소정의 애플리케이션이 기 설정되어야 한다.
상기 애플리케이션이란 사용자 단말(100)이 서버(200)와 연동하여 동작하고, 사용자가 사용자 단말(100)을 통해 아바타 얼굴 생성 방법을 수행하기 위하여 사용자 단말(100)에 설치하는 클라이언트 프로그램으로 정의 할 수 있다.
서버(200)는 사용자 단말(100)로 아바타 얼굴 생성 방법을 수행하기 위한 애플리케이션을 제공할 수 있고, 사용자 단말(100)이 전송한 얼굴 부분 이미지를 저장할 수 있으며, 저장된 상기 얼굴 부분 이미지를 요청하는 다양한 기기로 전송할 수 있다.
서버(200)에는 사용자 단말(100)에서 추출한 얼굴 부분 이미지를 보정할 때 얼굴 형태의 기준이 되는 타원형, 역삼각형, 마름모, 역오각형 및 사각형의 얼굴 형태 등을 포함하는 특정 모형의 얼굴 형태가 기준 얼굴 형태 정보로 저장된다.
서버(200)는 사용자 단말(100)에서 얼굴 부분 이미지의 원형을 손상시키지 않으며 타원형에 가까운 형태가 되도록 보정하기 위한 변환 데이터를 저장 할 수 있다.
서버(200)는 사용자 단말(100)이 얼굴 부분 이미지에 형성된 격자 중 일부분을 왜곡하여 얼굴 부분 이미지에 표정을 형성할 때, 표정을 형성하기 위하여 어느 격자를 어떻게 왜곡시켜야 웃는 표정, 슬픈 표정, 화난 표정 및 놀란 표정이 되는지의 기준이 되는 기준 표정 이미지를 저장한다.
서버(200)는 이미지들에 표현된 표정 정보의 빅 데이터를 획득하고, 획득된 상기 빅 데이터를 이용하여 격자 왜곡 정도의 기준이 되는 기준 표정 정보를 생성한다.
서버(200)는 빅 데이터에 포함된 이미지들에 표현된 눈과 입의 모양을 기준으로 기준 표정 정보를 생성할 수 있고, 상기 이미지들에 표현된 개개인들의 눈과 입의 모양은 상이하므로 복수의 기준 표정 정보가 생성될 수 있다. 즉, 서버(200)는 2개 이상 복수의 기준 표정 정보를 생성하여 저장할 수 있다.
서버(200)는 사용자 단말(100)로부터 기 전송된 얼굴 부분 이미지를 저장할 수 있다. 이렇게 저장된 상기 얼굴 부분 이미지는 사용자 단말(100)을 포함한 사용자의 다양한 기기로 전송될 수 있다.
서버(200)는 사용자 단말(100)로 전송하기 위한 이미지 콘텐츠(image contents) 정보를 저장할 수 있다. 여기에서 이미지 콘텐츠 정보는 사용자 단말(100)에서 디스플레이 되는 메인화면 테마, 아바타 설정 화면, 놀이 화면(예를 들면, 직업 놀이, 자동차 놀이 등), 동화 화면(예를 들면, 인기 동화, 인성 동화 등) 및 포토 존 화면(예를 들면, 타요 애니메이션 포토존 등) 등을 포함할 수 있으나 이에 한정되는 것은 아니고, 사용자 단말(100)에서 디스플레이 될 수 있는 이미지라면 어떠한 것이라도 이미지 콘텐츠 정보가 될 수 있다.
서버(200)는 클라우드 서버가 적당하나 이에 한정되는 것은 아니며, 데이터의 수집, 저장, 관리 및 전송이 가능하면 본 발명의 서버가 될 수 있다.
여기서 사용된 '서버'라는 용어는 논리적인 구성 단위를 나타내는 것으로서, 반드시 물리적으로 구분되는 구성 요소가 아니라는 점은 본 발명이 속하는 기술분야의 당업자에게 자명한 사항이다.
도 2는 사용자 단말의 구성을 나타내는 도면이다.
도 2를 참조하면, 사용자 단말(100)은 제어 모듈(110), 디스플레이 모듈(120), 얼굴 추출 모듈(130), 표정 형성 모듈(140), 통신 모듈(150) 및 데이터베이스(160)를 포함한다.
제어 모듈(110)은 사용자 단말(100)의 전반적인 동작을 제어하고, 사용자 단말(100)에 설치된 애플리케이션의 동작을 관리한다.
사용자는 제어 모듈(110)에 포함된 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠 등의 입력 수단을 이용하여 사용자 단말(100)의 전반적인 동작을 제어하고, 사용자 단말(100)에 설치된 애플리케이션의 동작을 관리할 수 있다.
제어 모듈(110)은 사용자의 아바타 얼굴 생성 시스템(10) 가입 및 사용자에게 제공되는 아바타 얼굴 생성 시스템(10)에 대한 전반적인 정보를 관리한다. 사용자는 사용자 단말(100)을 통해 서버(200)에 아바타 얼굴 생성 시스템(10) 가입을 위한 기본적인 개인정보를 제공하고, 아바타 얼굴 생성 시스템(10) 가입 이후에는 아바타 얼굴 생성 시스템(10)에 대한 범위 및 권한을 설정한다. 예를 들면, 제어 모듈(110)은 사용자가 본 발명의 일실시예에 따라 사용자 단말(100)에서 생성한 얼굴 부분 이미지를 서버(200)로 전송할지 여부를 관리할 수 있다.
이러한 정보들은 사용자별로 로그인 정보로서 관리되며, 제어 모듈(110)은 상기 로그인 정보를 후술하는 데이터베이스(160)에 저장한다. 상기 로그인 정보는 사용자의 개인 정보 및 사용자가 소지한 사용자 단말(100)의 식별정보를 포함한다.
디스플레이 모듈(120)은 후술하는 데이터베이스(160)에 기 저장된 얼굴 부분 이미지, 이미지 콘텐츠 정보 및 후술하는 표정 형성 모듈(140)이 생성한 얼굴 부분 이미지를 디스플레이 한다.
디스플레이 모듈(120)은 사용자 단말(100)의 터치 여부를 인식하고, 사용자 단말(100)에 설치된 애플리케이션과 연관된 터치(예를 들면, 디스플레이 모듈(120)에 디스플레이 된 아이콘 터치)라고 결정된 경우 사용자 단말(100)에 설치된 애플리케이션을 활성화한다.
또한, 디스플레이 모듈(120)은 얼굴이 포함된 이미지가 디스플레이 모듈(120)에 디스플레이 된 경우, 디스플레이 된 상기 이미지에 대한 사용자의 터치 여부를 인식한다.
디스플레이 모듈(120)은 얼굴이 포함된 이미지가 디스플레이 모듈(120)에 디스플레이 된 경우, 사용자의 터치가 디스플레이 모듈(120)에 디스플레이 된 상기 이미지 상에서 일정시간 이상 접촉되어 상하 또는 좌우로 이동하며 일정 면적 이상을 터치하거나, 사용자의 터치가 디스플레이 모듈(120)에 디스플레이 된 상기 이미지 상에서 폐구간을 형성하면 상기 이미지에서 사용자에 의해 터치된 상기 일정 면적 또는 사용자의 터치가 형성한 상기 폐구간을 얼굴 부분으로 결정한다.
얼굴 추출 모듈(130)은 사용자 단말(100)에 설치된 애플리케이션을 이용하여 디스플레이 모듈(120)이 결정한 상기 얼굴 부분에서 얼굴 부분 이미지를 추출한다.
얼굴 추출 모듈(130)은 추출한 상기 얼굴 부분 이미지가 일반적인 얼굴 형태와 상이한 경우, 일반적인 얼굴 형태로 상기 얼굴 부분 이미지를 보정할 수 있다. 이때, 얼굴 추출 모듈(130)은 후술하는 통신 모듈(150)을 통해 서버(200)로부터 일반적인 얼굴 형태의 기준이 되는 기준 얼굴 형태 정보를 수신하고, 상기 기준 얼굴 형태 정보를 이용하여 상기 얼굴 부분 이미지를 보정할 수 있다.
얼굴 추출 모듈(130)이 얼굴 부분 이미지를 보정하는 것에 관하여 좀 더 상세히 살펴보면, 얼굴 추출 모듈(130)은 추출된 상기 얼굴 부분 이미지가 기준 얼굴 형태 정보인 타원형, 역삼각형, 마름모, 역오각형 및 사각형을 포함하는 특정 모형의 얼굴 형태에 해당하는지 결정한다. 예컨대, 타원형으로 결정된 경우 별다른 보정을 수행하지 않으나, 역삼각형, 마름모, 역오각형 및 사각형 중 어느 하나라고 결정되면 추출된 얼굴 부분 이미지를 최대한 원형을 손상시키지 않으며 타원형에 가까운 형태가 되도록 서버(200)에 저장된 변환 데이터를 이용하여 상기 얼굴 부분 이미지를 보정한다.
표정 형성 모듈(140)은 사용자 단말(100)에 설치된 애플리케이션을 이용하여 얼굴 추출 모듈(130)이 추출한 상기 얼굴 부분 이미지에 표정이 형성되도록 후술하는 통신 모듈(150)이 서버(200)로부터 수신한 기준 표정 정보를 이용하여 상기 얼굴 부분 이미지를 왜곡한다.
표정 형성 모듈(140)은 얼굴 추출 모듈(130)이 추출한 상기 얼굴 부분 이미지에 표정이 형성되도록 상기 얼굴 부분 이미지를 왜곡하여 표정이 형성된 얼굴 부분 이미지를 생성한다.
표정 형성 모듈(140)이 표정을 형성하기 위하여 얼굴 부분 이미지를 왜곡하는 정도는 서버(200)에 저장된 기준 표정 정보를 이용하여 결정한다.
표정 형성 모듈(140)이 얼굴 부분 이미지를 왜곡하여 표정을 형성하는 방법은 한 번에 상기 얼굴 부분 이미지를 왜곡하여 표정을 형성하는 것이 아니라 여러 번 상기 얼굴 부분 이미지에 표정을 형성하기 위한 왜곡을 수행하고, 수행한 상기 왜곡에 대한 평균값을 구하고, 구해진 상기 왜곡의 평균값을 이용하여 상기 얼굴 부분 이미지를 왜곡한다. 예컨대, 상기 얼굴 부분 이미지에 표정을 형성하기 위한 상기 기준 표정 정보는 2개 이상이 서버(200)에 저장될 수 있고, 상기 기준 표정 정보의 개수만큼 상기 얼굴 부분 이미지에 표정을 형성하기 위한 왜곡이 수행될 수 있다. 따라서 표정 형성 모듈(140)은 상기 얼굴 부분 이미지에 수행된 상기 왜곡들에 대한 평균값을 구하고, 구해진 상기 왜곡의 평균값을 이용하여 상기 얼굴 부분 이미지를 왜곡할 수 있다.
통신 모듈(150)은 사용자 단말(100)과 서버(200) 사이에 통신을 가능하게 한다.
통신 모듈(150)은 표정 형성 모듈(140)이 생성한 얼굴 부분 이미지를 서버(200)로 전송한다.
통신 모듈(150)은 서버(200)가 전송한 서버(200)에 기 저장된 얼굴 부분 이미지를 수신한다.
통신 모듈(150)은 서버(200)가 전송한 이미지 콘텐츠 정보를 수신한다.
통신 모듈(150)은 서버(200)가 전송한 기준 얼굴 형태 정보를 수신한다.
통신 모듈(150)은 서버(200)가 전송한 기준 표정 이미지 및 기준 표정 정보를 수신한다.
데이터베이스(160)는 제어 모듈(110)이 관리하는 사용자별 로그인 정보를 저장한다.
데이터베이스(160)는 얼굴 추출 모듈(130)이 추출한 얼굴 부분 이미지, 표정 형성 모듈(140)이 생성한 얼굴 부분 이미지 및 서버(200)에서 전송된 얼굴 부분 이미지, 서버(200)에서 전송된 이미지 콘텐츠(image contents) 정보, 서버(200)에서 전송된 기준 표정 이미지 및 기준 표정 정보 및 서버(200)에서 전송된 기준 얼굴 형태 정보를 저장한다.
도 3은 표정 형성 모듈의 구성을 나타내는 도면이고, 도 4는 얼굴 부분 이미지에 격자가 형성된 모습을 나타낸 도면이고, 도 5는 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하여 웃는 표정을 형성하기 위한 기준 표정 이미지를 나타낸 도면이고, 도 6은 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하여 슬픈 표정을 형성하기 위한 기준 표정 이미지를 나타낸 도면이고, 도 7은 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하여 화난 표정을 형성하기 위한 기준 표정 이미지를 나타낸 도면이고, 도 8은 얼굴 부분 이미지에 형성된 격자 중 일부를 왜곡하여 놀란 표정을 형성하기 위한 기준 표정 이미지를 나타낸 도면이다.
도 3을 참조하면, 표정 형성 모듈(140)은 격자 형성 모듈(142), 이미지 왜곡 모듈(144) 및 보정 모듈(146)을 포함한다.
도3 및 도 4를 참조하면, 격자 형성 모듈(142)은 얼굴 추출 모듈(130)이 추출하여 보정한 얼굴 부분 이미지에 격자를 형성한다.
격자 형성 모듈(142)이 형성하는 격자의 모양은 사각형이 적당하나 이에 한정되는 것은 아니고, 얼굴 부분 이미지에 일정한 규칙을 가지는 격자를 형성할 수 있다면 그물형, 원형, 삼각형 및 마름모 등의 격자를 형성하는 것도 가능하다.
격자 형성 모듈(142)이 형성하는 격자의 개수 30개가 적당하나 이에 한정되는 것은 아니고, 후술하는 이미지 왜곡 모듈(144)이 상기 얼굴 부분 이미지를 왜곡 시켜 상기 얼굴 부분 이미지에 표정이 형성될 수 있는 격자의 수라면 격자의 수가 좀 더 많거나 좀 더 적어도 무방하다.
격자 형성 모듈(142)이 형성하는 격자는 수직과 수평의 선으로 격자를 형성하는 것이 적당하나, 얼굴 부분 이미지에 일정한 규칙을 가지는 격자를 형성할 수 있다면 좌, 우 사선으로 격자를 형성할 수도 있다.
도 4 및 도 5 내지 도 8을 참조하면, 이미지 왜곡 모듈(144)은 서버(200)로부터 수신한 기준 표정 이미지 및 기준 표정 정보를 이용하여 격자 형성 모듈(142)에 의해 상기 얼굴 부분 이미지에 형성된 격자 중 일부 격자에 해당하는 상기 얼굴 부분 이미지를 왜곡한다.
도 4 내지 도 8의 격자 내부에 표현된 S11, S12 등의 문자는 격자의 위치를 나타내고, 격자의 위치를 나타내는 문자가 동일한 경우 도 4 내지 도 8에서 동일한 위치의 격자를 나타낸다.
이미지 왜곡 모듈(144)이 상기 얼굴 부분 이미지를 왜곡하여 웃는 표정을 형성하는 것을 살펴보기 위하여 도 4 및 도 5를 참조하면, 도 5의 S31, S32, S34, S35, S52, S53 및 S54 격자 내부의 기준 표정 이미지가 도 4의 격자 내부의 상기 얼굴 부분 이미지와 차이가 나는 것을 알 수 있다.
도 5는 웃는 표정을 나타내기 위한 기준 표정 이미지이므로 도 5의 격자 내부의 기준 표정 이미지와 상이한 도 4의 S31, S32, S34, S35, S52, S53 및 S54 격자 내부의 상기 얼굴 부분 이미지를 도 5에 표현된 기준 표정 이미지처럼 왜곡하면 웃는 표정의 얼굴 부분 이미지 형성이 가능하다. 즉, 도 4의 S31, S32, S34 및 S35에 해당하는 상기 얼굴 부분 이미지에 형성된 격자는 격자의 아랫부분이 위를 향하도록 격자를 왜곡하고, 도 4의 S52, S53 및 S54에 해당하는 상기 얼굴 부분 이미지에 형성된 격자는 격자의 윗부분이 아래를 향하도록 상기 격자들을 왜곡하면 웃는 표정의 얼굴 부분 이미지 형성이 가능하다.
이미지 왜곡 모듈(144)이 상기 얼굴 부분 이미지를 왜곡하여 슬픈 표정을 형성하는 것을 살펴보기 위하여 도 4 및 도 6을 참조하면, 도 6의 S31, S32, S34, S35, S52, S53 및 S54 격자 내부의 기준 표정 이미지가 도 4의 격자 내부의 상기 얼굴 부분 이미지와 차이가 나는 것을 알 수 있다.
도 6은 슬픈 표정을 나타내기 위한 기준 표정 이미지이므로 도 6의 격자 내부의 기준 표정 이미지와 상이한 도 4의 S31, S32, S34, S35, S52, S53 및 S54 격자 내부의 상기 얼굴 부분 이미지를 도 6에 표현된 기준 표정 이미지처럼 왜곡하면 슬픈 표정의 얼굴 부분 이미지 형성이 가능하다. 즉, 도 4의 S31, S32, S34 및 S35에 해당하는 상기 얼굴 부분 이미지에 형성된 격자는 격자의 윗부분과 아랫부분이 가운데 부분을 향하도록 격자를 왜곡한 후, S31 및 S32 해당하는 상기 얼굴 부분 이미지에 형성된 격자는 반시계 방향으로 왜곡하고, S34 및 S35 해당하는 상기 얼굴 부분 이미지에 형성된 격자는 시계 방향으로 왜곡한다.
또한, 도 4의 S52, S53 및 S54에 해당하는 상기 얼굴 부분 이미지에 형성된 격자는 격자의 아랫부분이 위를 향하도록 상기 격자들을 왜곡하면 슬픈 표정의 얼굴 부분 이미지 형성이 가능하다.
이미지 왜곡 모듈(144)이 상기 얼굴 부분 이미지를 왜곡하여 화난 표정을 형성하는 것을 살펴보기 위하여 도 4 및 도 7을 참조하면, 도 7의 S31, S32, S34, S35, S52, S53 및 S54 격자 내부의 기준 표정 이미지가 도 4의 격자 내부의 상기 얼굴 부분 이미지와 차이가 나는 것을 알 수 있다.
도 7은 화난 표정을 나타내기 위한 기준 표정 이미지이므로 도 7의 격자 내부의 기준 표정 이미지와 상이한 도 4의 S31, S32, S34, S35, S52, S53 및 S54 격자 내부의 상기 얼굴 부분 이미지를 도 7에 표현된 기준 표정 이미지처럼 왜곡하면 화난 표정의 얼굴 부분 이미지 형성이 가능하다. 즉, 도 4의 S31, S32, S34 및 S35에 해당하는 상기 얼굴 부분 이미지에 형성된 격자는 격자의 윗부분과 아랫부분이 가운데 부분을 향하도록 격자를 왜곡한 후, S31 및 S32 해당하는 상기 얼굴 부분 이미지에 형성된 격자는 시계 방향으로 왜곡하고, S34 및 S35 해당하는 상기 얼굴 부분 이미지에 형성된 격자는 반시계 방향으로 왜곡한다.
또한, 도 4의 S52, S53 및 S54에 해당하는 상기 얼굴 부분 이미지에 형성된 격자는 격자의 윗부분과 아랫부분이 가운데 부분을 향하도록 상기 격자들을 왜곡하면 화난 표정의 얼굴 부분 이미지 형성이 가능하다.
이미지 왜곡 모듈(144)이 상기 얼굴 부분 이미지를 왜곡하여 놀란 표정을 형성하는 것을 살펴보기 위하여 도 4 및 도 8을 참조하면, 도 8의 S31, S32, S34, S35, S52, S53 및 S54 격자 내부의 기준 표정 이미지가 도 4의 격자 내부의 상기 얼굴 부분 이미지와 차이가 나는 것을 알 수 있다.
도 8은 놀란 표정을 나타내기 위한 기준 표정 이미지이므로 도 8의 격자 내부의 기준 표정 이미지와 상이한 도 4의 S31, S32, S34, S35, S52, S53 및 S54 격자 내부의 상기 얼굴 부분 이미지를 도 8에 표현된 기준 표정 이미지처럼 왜곡하면 놀란 표정의 얼굴 부분 이미지 형성이 가능하다. 즉, 도 4의 S31, S32, S34 및 S35에 해당하는 상기 얼굴 부분 이미지에 형성된 격자는 격자의 윗부분과 아랫부분을 팽창시켜 좀 더 원형에 가깝도록 격자를 왜곡한다.
또한, 도 4의 S52, S53 및 S54에 해당하는 상기 얼굴 부분 이미지에 형성된 격자는 격자의 윗부분과 아랫부분을 팽창시켜 좀 더 원형에 가깝도록 격자를 왜곡하면 놀란 표정의 얼굴 부분 이미지 형성이 가능하다.
이미지 왜곡 모듈(144)이 표정을 형성하기 위하여 얼굴 부분 이미지를 왜곡하는 정도는 서버(200)에 저장된 기준 표정 정보를 이용하여 결정한다.
이미지 왜곡 모듈(144)이 얼굴 부분 이미지를 왜곡하여 표정을 형성하는 방법은 한 번에 상기 얼굴 부분 이미지를 왜곡하여 표정을 형성하는 것이 아니라 여러 번 상기 얼굴 부분 이미지에 표정을 형성하기 위한 왜곡을 수행하고, 수행한 상기 왜곡에 대한 평균값을 구하고, 구해진 상기 왜곡의 평균값을 이용하여 상기 얼굴 부분 이미지를 왜곡한다. 예컨대, 상기 얼굴 부분 이미지에 표정을 형성하기 위한 상기 기준 표정 정보는 2개 이상이 서버(200)에 저장될 수 있고, 상기 기준 표정 정보의 개수만큼 상기 얼굴 부분 이미지에 표정을 형성하기 위한 왜곡이 수행될 수 있다. 따라서 이미지 왜곡 모듈(144)은 상기 얼굴 부분 이미지에 수행된 상기 왜곡들에 대한 평균값을 구하고, 구해진 상기 왜곡의 평균값을 이용하여 상기 얼굴 부분 이미지를 왜곡할 수 있다.
구체적으로, 도 4 및 도 5를 참고하여 설명하면, 이미지 왜곡 모듈(144)은 눈과 입이 표정 변화를 위해 왜곡이 이루어질 수 있으며, 이를 위해 눈과 입이 위치한 격자를 찾아 설정한다. 도 4의 경우 눈의 경우, s31,32와 s34와 35에 해당하며, 입의 경우 s52,53,54에 해당한다. 해당 부분의 왜곡을 하기로 설정하며, 왜곡의 정도를 위하여, 여러번(ex. 100회 이상) 해당 부분의 왜곡이 이루어진 다음 왜곡의 평균값이 취해져서 최종 왜곡이 이루어질 수 있다.
여기서, 상기 왜곡은 대체적으로 기존에 기수집한 여러개의 해당 표정(예컨대, 슬픔)의 왜곡 정도의 평균값을 취해 이루어질 수도 있다.
보정 모듈(146)은 이미지 왜곡 모듈(144)이 왜곡한 얼굴 부분 이미지를 보정한다.
보정 모듈(146)은 이미지 왜곡 모듈(144)에 의해 왜곡된 격자의 주변 격자도 자연스럽게 보이도록 왜곡한다.
보정 모듈(146)은 상기 얼굴 부분 이미지에 빈 여백이 생겼을 경우, 얼굴색과 동일한 색으로 빈 여백을 채우는 보정을 수행한다.
보정 모듈(146)은 상기 얼굴 부분 이미지가 입을 벌린 이미지인 경우, 표준적인 입 내부의 이미지로 입 내부를 채우는 보정을 수행할 수 있다.
보정 모듈(146)은 상기 얼굴 부분 이미지의 외곽 라인에 돌출 부분이 있는 경우, 돌출 부분을 상기 얼굴 이미지의 외곽 라인에 맞추는 보정을 수행할 수 있다.
여기서 사용된 '모듈'이라는 용어는 논리적인 구성 단위를 나타내는 것으로서, 반드시 물리적으로 구분되는 구성 요소가 아니라는 점은 본 발명이 속하는 기술분야의 당업자에게 자명한 사항이다.
도 9는 본 발명의 일실시예에 따른 아바타 얼굴 생성 방법을 나타내는 플로우 차트이고, 도 10 내지 도 14는 본 발명의 일실시예에 따라 생성된 얼굴 부분 이미지와 이미지 콘텐츠가 결합된 모습을 나타낸 도면이다.
도 9를 참조하면, 사용자 단말에 얼굴이 표시된 이미지를 디스플레이 한다(S900).
여기서 얼굴이 표시된 이미지는 증명사진과 같이 얼굴이 강조된 이미지일 수도 있으나 이에 한정되는 것은 아니고, 얼굴이 표시되고 얼굴을 인식하는 것이 가능한 이미지라면 어떠한 것이라도 무방하다.
사용자 단말이 사용자의 터치 여부를 인식한다(S910).
여기서 사용자 단말(100)의 디스플레이 모듈(120)은 얼굴이 포함된 이미지가 디스플레이 모듈(120)에 디스플레이 된 경우, 디스플레이 된 상기 이미지에 대한 사용자의 터치 여부를 인식한다.
사용자의 터치가 폐구간을 형성하면, 상기 폐구간을 얼굴 부분으로 결정한다(S920).
이때, 사용자 단말(100)의 디스플레이 모듈(120)은 얼굴이 포함된 이미지가 디스플레이 모듈(120)에 디스플레이 된 경우, 사용자의 터치가 디스플레이 모듈(120)에 디스플레이 된 상기 이미지 상에서 일정시간 이상 접촉되어 상하 또는 좌우로 이동하며 일정 면적 이상을 터치하거나, 사용자의 터치가 디스플레이 모듈(120)에 디스플레이 된 상기 이미지 상에서 폐구간을 형성하면 상기 이미지에서 사용자에 의해 터치된 상기 일정 면적 또는 사용자의 터치가 형성한 상기 폐구간을 얼굴 부분으로 결정한다.
사용자 단말(100)에서 얼굴 부분이라고 결정되면, 상기 폐구간에서 얼굴 부분 이미지를 추출한다(S930).
이때, 사용자 단말(100)의 얼굴 추출 모듈(130)은 사용자 단말(100)에 설치된 애플리케이션을 이용하여 디스플레이 모듈(120)이 결정한 상기 얼굴 부분에서 얼굴 부분 이미지를 추출한다.
사용자 단말(100)의 얼굴 추출 모듈(130)은 추출한 상기 얼굴 부분 이미지가 일반적인 얼굴 형태와 상이한 경우, 일반적인 얼굴 형태로 상기 얼굴 부분 이미지를 보정할 수 있다. 이때, 얼굴 추출 모듈(130)은 통신 모듈(150)을 통해 서버(200)로부터 일반적인 얼굴 형태의 기준이 되는 기준 얼굴 형태 정보를 수신하고, 상기 기준 얼굴 형태 정보를 이용하여 상기 얼굴 부분 이미지를 보정할 수 있다.
추출된 상기 얼굴 부분 이미지에 격자를 형성한다(S940).
이때, 사용자 단말(100)의 격자 형성 모듈(142)은 얼굴 추출 모듈(130)이 추출하여 보정한 얼굴 부분 이미지에 격자를 형성한다.
추출된 얼굴 부분 이미지가 표정을 형성하도록 격자 중 일부를 왜곡한다(S950).
이때, 사용자 단말(100)의 이미지 왜곡 모듈(144)은 서버(200)로부터 수신한 기준 표정 이미지 및 기준 표정 정보를 이용하여 격자 형성 모듈(142)에 의해 형성된 격자 중 일부 격자에 해당하는 얼굴 부분 이미지를 왜곡한다.
왜곡된 얼굴 부분 이미지를 보정한다(S960).
사용자 단말(100)의 보정 모듈(146)은 이미지 왜곡 모듈(144)이 왜곡한 얼굴 부분 이미지를 보정한다.
사용자 단말에 이미지 콘텐츠를 디스플레이하고, 보정된 얼굴 부분 이미지를 디스플레이 된 이미지 콘텐츠의 케릭터 얼굴 부분에 삽입한다(S970).
도 10 내지 도 14를 참조하면, 도 10은 테마를 가진 메인화면에 본 발명의 일 실시예에 따라 생성된 얼굴 부분 이미지가 결합된 모습을 나타내며, 도 11은 본 발명의 일 실시예에 따라 생성된 얼굴 부분 이미지를 이용하여 아바타를 설정하기 위한 화면을 나타낸다.
도 10을 참고하면, 보정 생성된 얼굴 부분 이미지는 사용자의 클릭, 스와이프 입력 또는 상기 보정 생성된 얼굴 부분 이미지 주변의 위기 물건, 예컨대 버스 등의 접촉에 따라 기설정된 여러 종류의 표정 중 기설정된 표정이 출력될 수 있다.
도 12는 작업 놀이, 자동차 놀이 등의 놀이화면에 본 발명의 일 실시예에 따라 생성된 얼굴 부분 이미지가 결합된 모습을 나타낸 것이고, 도 13은 인기동화 및 인성동화의 동화하면에 본 발명의 일 실시예에 따라 생성된 얼굴 부분 이미지가 결합된 모습을 나타내며, 도 14는 꼬마버스 타요의 애니메이션 포토존 이미지 콘텐츠 및 상기 애니메이션 포토존 이미지 콘텐츠에 본 발명의 일 실시예에 따라 생성된 얼굴 부분 이미지가 결합된 모습을 나타낸 것이다.
추가적으로, 보정 생성된 얼굴 부분 이미지는 전자 동화책의 일부에 삽입되어 전자 동화책의 내용에 따른 기설정된 표정 변화가 이루어져 출력될 수 있으며, 이때에도 사용자의 클릭, 스와이프 입력 등에 따른 변화 출력이 이루어질 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 적어도 하나로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다.
이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.
기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100....사용자 단말
110....제어 모듈
120....디스플레이 모듈
130....얼굴 추출 모듈
140....표정 형성 모듈
150....통신 모듈
160....데이터베이스
200....서버
110....제어 모듈
120....디스플레이 모듈
130....얼굴 추출 모듈
140....표정 형성 모듈
150....통신 모듈
160....데이터베이스
200....서버
Claims (10)
- 사용자 단말이 얼굴을 포함하는 이미지를 디스플레이하는 단계;
사용자 단말이 상기 이미지에서 얼굴 부분 이미지를 추출하는 단계; 및
사용자 단말이 추출된 상기 얼굴 부분 이미지를 이미지 콘텐츠에 삽입하는 단계를 포함하며,
상기 사용자 단말이 추출된 상기 얼굴 부분 이미지를 이미지 콘텐츠에 삽입하는 단계는,
사용자 단말이 추출된 상기 얼굴 부분 이미지에 격자를 형성하는 단계;
사용자 단말이 상기 얼굴 부분 이미지가 웃음, 슬픔, 화남 및 놀람 중 하나의 표정을 형성할 수 있도록 상기 얼굴 부분 이미지에 형성된 격자 중 일부에 해당하는 이미지를 왜곡하는 단계;
사용자 단말이 왜곡된 상기 얼굴 부분 이미지를 보정하는 단계; 및
사용자 단말이 보정된 상기 얼굴 부분 이미지를 이미지 콘텐츠에 삽입하는 단계를 포함하며,
상기 사용자 단말이 상기 얼굴 부분 이미지가 웃음, 슬픔, 화남 및 놀람 중 하나의 표정을 형성할 수 있도록 상기 얼굴 부분 이미지에 형성된 격자 중 일부에 해당하는 이미지를 왜곡하는 단계는,
사용자 단말이 서버로부터 웃음, 슬픔, 화남 및 놀람 중 하나의 표정에 관한 기준 표정 이미지 및 기준 표정 정보를 전송받는 단계; 및
전송받은 상기 기준 표정 이미지 및 상기 기준 표정 정보를 이용하여 상기 얼굴 부분 이미지에 형성된 격자 중 일부에 해당하는 이미지를 왜곡하는 단계를 포함하며,
상기 전송받은 상기 기준 표정 이미지 및 상기 기준 표정 정보를 이용하여 상기 얼굴 부분 이미지에 형성된 격자 중 일부에 해당하는 이미지를 왜곡하는 단계는,
사용자 단말이 상기 기준 표정 이미지에 형성된 격자 내 이미지와 상기 얼굴 부분 이미지에 형성된 격자 내 이미지를 비교하는 단계; 및
사용자 단말이 상기 기준 표정 이미지에 형성된 격자 내 이미지와 상이한 상기 얼굴 부분 이미지에 형성된 격자 내 이미지를 상기 기준 표정 정보를 이용하여 왜곡하는 단계를 포함하며,
사용자 단말이 상기 기준 표정 이미지에 형성된 격자 내 이미지와 상이한 상기 얼굴 부분 이미지에 형성된 격자 내 이미지를 상기 기준 표정 정보를 이용하여 왜곡하는 단계는:
상기 얼굴 부분 이미지가 웃는 표정을 형성하도록, 얼굴 중 눈에 해당하는 격자 내 이미지의 아랫부분이 얼굴의 윗 방향을 향하도록 이미지를 왜곡하고, 얼굴 중 입에 해당하는 격자 내 이미지의 윗부분이 얼굴의 아랫 방향을 향하도록 이미지를 왜곡하는 단계;
상기 얼굴 부분 이미지가 슬픈 표정을 형성하도록, 얼굴 중 눈에 해당하는 격자 내 이미지의 윗부분 및 아랫부분이 각각 얼굴의 아랫 방향 및 윗 방향을 향하도록 이미지를 왜곡하고, 얼굴 중 오른쪽 눈에 해당하는 격자 내 이미지가 반시계 방향으로 회전하도록 이미지를 왜곡하고, 얼굴 중 왼쪽 눈에 해당하는 격자 내 이미지가 시계 방향으로 회전하도록 이미지를 왜곡하고, 얼굴 중 입에 해당하는 격자 내 이미지의 아랫부분이 얼굴의 윗 방향을 향하도록 이미지를 왜곡하는 단계;
상기 얼굴 부분 이미지가 화난 표정을 형성하도록, 얼굴 중 눈에 해당하는 격자 내 이미지의 윗부분 및 아랫부분이 각각 얼굴의 아랫 방향 및 윗 방향을 향하도록 이미지를 왜곡하고, 얼굴 중 오른쪽 눈에 해당하는 격자 내 이미지가 시계 방향으로 회전하도록 이미지를 왜곡하고, 얼굴 중 왼쪽 눈에 해당하는 격자 내 이미지가 반시계 방향으로 회전하도록 이미지를 왜곡하고, 얼굴 중 입에 해당하는 격자 내 이미지의 윗부분 및 아랫부분이 각각 얼굴의 아랫 방향 및 윗 방향을 향하도록 이미지를 왜곡하는 단계; 및
상기 얼굴 부분 이미지가 놀란 표정을 형성하도록, 얼굴 중 눈에 해당하는 격자 내 이미지의 윗부분 및 아랫부분이 각각 얼굴의 윗 방향 및 아랫 방향을 향하도록 이미지를 왜곡하고, 얼굴 중 입에 해당하는 격자 내 이미지의 윗부분 및 아랫부분이 각각 얼굴의 윗 방향 및 아랫 방향을 향하도록 이미지를 왜곡하는 단계를 포함하는 아바타 얼굴 생성 방법. - 제1항에 있어서,
상기 사용자 단말이 상기 이미지에서 얼굴 부분 이미지를 추출하는 단계는,
사용자 단말이 얼굴을 포함하는 상기 이미지에 대한 사용자의 터치를 인식하는 단계;
사용자 단말이 사용자의 상기 터치가 폐구간을 형성하는지 결정하는 단계; 및
사용자 단말이 상기 폐구간에서 얼굴 부분 이미지를 추출하는 단계
를 포함하는 아바타 얼굴 생성 방법. - 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 기준 표정 정보를 이용하여 왜곡하는 단계는,
상기 기준 표정 정보의 개수만큼 상기 얼굴 부분 이미지에 표정을 형성하기 위한 왜곡을 수행하되, 수행된 상기 왜곡들에 대한 평균값을 구하고, 구해진 상기 왜곡의 평균값을 이용하여 왜곡하는 단계
에 해당하는 아바타 얼굴 생성 방법. - 제1항에 있어서,
상기 기준 표정 정보를 이용하여 왜곡하는 단계는,
기수집된 다수의 동일 표정 정보의 평균 왜곡정도를 산출해 이를 기반으로 왜곡하는 단계
에 해당하는 아바타 얼굴 생성 방법. - 제6항에 있어서,
상기 얼굴 부분 이미지를 이미지 콘텐츠에 삽입하는 단계 이후에,
사용자 단말의 클릭, 스와이프 입력 또는 화면상의 상기 얼굴 부분 이미지 주변의 위기물건의 사용자 터치 접촉에 따라 기설정된 여러 종류의 표정 중 기설정된 해당 표정을 출력하는 단계
를 더 포함하는 아바타 얼굴 생성 방법. - 제6항에 있어서,
상기 얼굴 부분 이미지를 이미지 콘텐츠에 삽입하는 단계 이후에,
상기 얼굴 부분 이미지가 삽입된 이미지 콘텐츠는 전자 동화책의 일부에 삽입되어 상기 전자 동화책의 페이지 내용에 따른 기설정된 표정 변화가 이루어져 출력되거나 사용자 터치 접촉에 따라 기설정된 여러 종류의 표정 중 기설정된 해당 표정을 출력하는 단계
를 더 포함하는 아바타 얼굴 생성 방법. - 얼굴을 포함하는 이미지에서 얼굴 부분 이미지를 추출하고, 추출된 상기 얼굴 부분 이미지에 표정을 형성하는 사용자 단말을 포함하고,
상기 사용자 단말은,
상기 얼굴 부분 이미지를 추출하는 얼굴 추출 모듈; 및
상기 얼굴 추출 모듈이 추출한 얼굴 부분 이미지에 표정을 형성하는 표정 형성 모듈을 포함하며,
상기 표정 형성 모듈은,
추출된 상기 얼굴 부분 이미지에 격자를 형성하는 격자 형성 모듈;
상기 얼굴 부분 이미지가 웃음, 슬픔, 화남 및 놀람 중 하나의 표정을 형성할 수 있도록 상기 얼굴 부분 이미지에 형성된 격자 중 일부에 해당하는 이미지를 왜곡하는 이미지 왜곡 모듈; 및
상기 이미지 왜곡 모듈이 왜곡한 상기 얼굴 부분 이미지를 보정하는 보정모듈을 포함하며,
상기 사용자 단말은 서버로부터 웃음, 슬픔, 화남 및 놀람 중 하나의 표정에 관한 기준 표정 이미지 및 기준 표정 정보를 전송받고,
전송받은 상기 기준 표정 이미지 및 상기 기준 표정 정보를 이용하여 상기 얼굴 부분 이미지에 형성된 격자 중 일부에 해당하는 이미지를 왜곡하고,
상기 이미지 왜곡 모듈은:
상기 기준 표정 이미지에 형성된 격자 내 이미지와 상기 얼굴 부분 이미지에 형성된 격자 내 이미지를 비교하고,
상기 기준 표정 이미지에 형성된 격자 내 이미지와 상이한 상기 얼굴 부분 이미지에 형성된 격자 내 이미지를 상기 기준 표정 정보를 이용하여 왜곡하되,
상기 얼굴 부분 이미지가 웃는 표정을 형성하도록, 얼굴 중 눈에 해당하는 격자 내 이미지의 아랫부분이 얼굴의 윗 방향을 향하도록 이미지를 왜곡하고, 얼굴 중 입에 해당하는 격자 내 이미지의 윗부분이 얼굴의 아랫 방향을 향하도록 이미지를 왜곡하고,
상기 얼굴 부분 이미지가 슬픈 표정을 형성하도록, 얼굴 중 눈에 해당하는 격자 내 이미지의 윗부분 및 아랫부분이 각각 얼굴의 아랫 방향 및 윗 방향을 향하도록 이미지를 왜곡하고, 얼굴 중 오른쪽 눈에 해당하는 격자 내 이미지가 반시계 방향으로 회전하도록 이미지를 왜곡하고, 얼굴 중 왼쪽 눈에 해당하는 격자 내 이미지가 시계 방향으로 회전하도록 이미지를 왜곡하고, 얼굴 중 입에 해당하는 격자 내 이미지의 아랫부분이 얼굴의 윗 방향을 향하도록 이미지를 왜곡하고,
상기 얼굴 부분 이미지가 화난 표정을 형성하도록, 얼굴 중 눈에 해당하는 격자 내 이미지의 윗부분 및 아랫부분이 각각 얼굴의 아랫 방향 및 윗 방향을 향하도록 이미지를 왜곡하고, 얼굴 중 오른쪽 눈에 해당하는 격자 내 이미지가 시계 방향으로 회전하도록 이미지를 왜곡하고, 얼굴 중 왼쪽 눈에 해당하는 격자 내 이미지가 반시계 방향으로 회전하도록 이미지를 왜곡하고, 얼굴 중 입에 해당하는 격자 내 이미지의 윗부분 및 아랫부분이 각각 얼굴의 아랫 방향 및 윗 방향을 향하도록 이미지를 왜곡하고, 그리고
상기 얼굴 부분 이미지가 놀란 표정을 형성하도록, 얼굴 중 눈에 해당하는 격자 내 이미지의 윗부분 및 아랫부분이 각각 얼굴의 윗 방향 및 아랫 방향을 향하도록 이미지를 왜곡하고, 얼굴 중 입에 해당하는 격자 내 이미지의 윗부분 및 아랫부분이 각각 얼굴의 윗 방향 및 아랫 방향을 향하도록 이미지를 왜곡하는 아바타 얼굴 생성 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160081080A KR101681501B1 (ko) | 2016-06-28 | 2016-06-28 | 아바타 얼굴 생성 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160081080A KR101681501B1 (ko) | 2016-06-28 | 2016-06-28 | 아바타 얼굴 생성 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101681501B1 true KR101681501B1 (ko) | 2016-12-01 |
Family
ID=57577233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160081080A KR101681501B1 (ko) | 2016-06-28 | 2016-06-28 | 아바타 얼굴 생성 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101681501B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102198844B1 (ko) | 2019-06-26 | 2021-01-05 | 서울대학교 산학협력단 | 얼굴인식 기반의 아바타 마스크 업로딩 서비스 |
| KR102353556B1 (ko) | 2021-11-01 | 2022-01-20 | 강민호 | 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치 |
| KR20230080543A (ko) * | 2021-11-30 | 2023-06-07 | (주) 키글 | 아바타 얼굴 생성 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130022434A (ko) * | 2011-08-22 | 2013-03-07 | (주)아이디피쉬 | 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법 |
| KR20130032620A (ko) * | 2011-09-23 | 2013-04-02 | 김용국 | 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법 |
| KR101629219B1 (ko) | 2014-05-23 | 2016-06-13 | 정성 | 얼굴인식을 통해 이용을 제한하는 엘리베이터 감시장치 |
-
2016
- 2016-06-28 KR KR1020160081080A patent/KR101681501B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130022434A (ko) * | 2011-08-22 | 2013-03-07 | (주)아이디피쉬 | 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법 |
| KR20130032620A (ko) * | 2011-09-23 | 2013-04-02 | 김용국 | 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법 |
| KR101629219B1 (ko) | 2014-05-23 | 2016-06-13 | 정성 | 얼굴인식을 통해 이용을 제한하는 엘리베이터 감시장치 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102198844B1 (ko) | 2019-06-26 | 2021-01-05 | 서울대학교 산학협력단 | 얼굴인식 기반의 아바타 마스크 업로딩 서비스 |
| KR102353556B1 (ko) | 2021-11-01 | 2022-01-20 | 강민호 | 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치 |
| KR20230080543A (ko) * | 2021-11-30 | 2023-06-07 | (주) 키글 | 아바타 얼굴 생성 시스템 |
| KR102553432B1 (ko) * | 2021-11-30 | 2023-07-10 | (주) 키글 | 아바타 얼굴 생성 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102658960B1 (ko) | 얼굴 재연을 위한 시스템 및 방법 | |
| US20220004765A1 (en) | Image processing method and apparatus, and storage medium | |
| US20230154121A1 (en) | Side-by-side character animation from realtime 3d body motion capture | |
| WO2018077206A1 (zh) | 增强现实场景生成方法、装置、***及设备 | |
| US20210295020A1 (en) | Image face manipulation | |
| US20200020173A1 (en) | Methods and systems for constructing an animated 3d facial model from a 2d facial image | |
| US20220150285A1 (en) | Communication assistance system, communication assistance method, communication assistance program, and image control program | |
| CN113112580B (zh) | 一种虚拟形象的生成方法、装置、设备及介质 | |
| US11763481B2 (en) | Mirror-based augmented reality experience | |
| US12002175B2 (en) | Real-time motion transfer for prosthetic limbs | |
| KR101743763B1 (ko) | 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치 | |
| CN106200960A (zh) | 电子互动产品的内容显示方法及装置 | |
| KR101743764B1 (ko) | 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치 | |
| KR101681501B1 (ko) | 아바타 얼굴 생성 시스템 및 방법 | |
| KR20170064026A (ko) | 가상현실, 증강현실 기반의 3차원 실감형 천체교육용 스마트 교육서비스 제공방법 | |
| CN111667588A (zh) | 人物图像处理方法、装置、ar设备以及存储介质 | |
| US20230362333A1 (en) | Data processing method and apparatus, device, and readable storage medium | |
| KR20160010810A (ko) | 실음성 표출 가능한 실사형 캐릭터 생성 방법 및 생성 시스템 | |
| KR102079321B1 (ko) | 유무선 웹을 통한 아바타 서비스 시스템 및 방법 | |
| WO2023129391A1 (en) | Protecting image features in stylized representations of a source image | |
| WO2022252372A1 (zh) | 一种图像处理方法、装置、设备及计算机可读存储介质 | |
| KR20200134623A (ko) | 3차원 가상 캐릭터의 표정모사방법 및 표정모사장치 | |
| KR20190137021A (ko) | 캐릭터 생성 장치 및 그 방법 | |
| KR102553432B1 (ko) | 아바타 얼굴 생성 시스템 | |
| CN118298081A (zh) | 一种数据处理方法、装置、设备以及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190917 Year of fee payment: 4 |