KR20180077959A - Method and apparatus of recommending contents - Google Patents
Method and apparatus of recommending contents Download PDFInfo
- Publication number
- KR20180077959A KR20180077959A KR1020160182866A KR20160182866A KR20180077959A KR 20180077959 A KR20180077959 A KR 20180077959A KR 1020160182866 A KR1020160182866 A KR 1020160182866A KR 20160182866 A KR20160182866 A KR 20160182866A KR 20180077959 A KR20180077959 A KR 20180077959A
- Authority
- KR
- South Korea
- Prior art keywords
- character
- size
- shape
- content
- face
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 231100000241 scar Toxicity 0.000 claims description 21
- 210000004709 eyebrow Anatomy 0.000 claims description 18
- 210000004209 hair Anatomy 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 13
- 230000008094 contradictory effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 5
- 230000001815 facial effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 208000032544 Cicatrix Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000037387 scars Effects 0.000 description 2
- 208000029152 Small face Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G06F17/30047—
-
- G06F17/30247—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0255—Targeted advertisements based on user history
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0269—Targeted advertisements based on user profile or attribute
- G06Q30/0271—Personalized advertisement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Library & Information Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
Description
아래 실시예들은 컨텐츠를 추천하는 방법 및 장치에 관한 것이다.The following embodiments relate to a method and apparatus for recommending content.
스마트 폰을 통해 다양한 컨텐츠들을 제공하는 서비스 및 어플리케이션들이 제공되고 있다. 사용자들은 다량의 컨텐츠들 중 일정 기준에 따라 추천된 컨텐츠를 주로 선택하여 소비하게 된다. 이러한 컨텐츠의 추천은 해당 컨텐츠의 조회량이 많은지, 해당 컨텐츠의 제공과 관련된 할인(또는 무료) 프로모션이 진행 중인지, 또는 해당 컨텐츠의 제공 날짜가 최신 인지 등과 같이 컨텐츠의 상태(status) 정보에 기초하여 제공되는 것이 일반적이다. Services and applications for providing various contents through a smart phone are being provided. Users frequently select and use the recommended content according to a predetermined criterion among a large amount of contents. The recommendation of such content is provided based on the status information of the content, such as whether the inquiry amount of the content is large, whether a discount (or free) promotion related to the provision of the content is in progress, .
따라서, 컨텐츠의 이름과 같이 컨텐츠들에 대한 구체적인 정보를 미리 파악하지 않는 한, 남들과 다른 취향을 가진 이용자 또는 보편화되지 않은 다양한 컨텐츠들을 제공받고자 하는 이용자들의 컨텐츠들에 대한 접근 및 소비가 용이하지 않다.Therefore, it is not easy to access and consume contents of users who have different tastes or who want to receive various contents that are not universal, unless they know specific information about contents such as the name of the contents in advance .
일 측에 따른 컨텐츠를 추천하는 방법은 입력 영상을 수신하는 단계; 상기 입력 영상을 인식하여 인식 특징을 추출하는 단계; 상기 인식 특징과 유사한 특징을 가지거나, 상기 인식 특징과 상반되는 특징을 가지는 제1 캐릭터를 데이터베이스로부터 검색하는 단계; 및 상기 제1 캐릭터를 포함하는 컨텐츠를 추천하는 단계를 포함한다. A method for recommending content according to one side comprises: receiving an input video; Recognizing the input image and extracting recognition features; Retrieving, from a database, a first character having a characteristic similar to the recognition characteristic or having a characteristic opposite to the recognition characteristic; And recommending the content including the first character.
상기 인식 특징은 상기 입력 영상에 포함된 얼굴에서, 눈의 위치, 상기 눈의 크기, 상기 눈의 모양, 상기 눈의 묘사 정도, 코의 위치, 상기 코의 크기, 상기 코의 모양, 상기 코의 묘사 정도, 입의 위치, 상기 입의 크기, 상기 입의 모양, 상기 입의 묘사 정도, 입술 두께, 눈썹의 위치, 상기 눈썹의 크기, 상기 눈썹의 모양, 상기 눈썹의 묘사 정도, 귀의 위치, 상기 위의 크기, 상기 귀의 모양, 상기 귀의 묘사 정도, 점의 유무, 상기 점의 위치, 상기 점의 크기, 상기 점의 모양, 문신의 유무, 상기 문신의 위치, 상기 문신의 크기, 상기 문신의 모양, 흉터의 유무, 상기 흉터의 위치, 상기 흉터의 크기, 상기 흉터의 모양, 수염의 유무, 상기 수염의 위치, 상기 수염의 크기, 상기 수염의 모양, 얼굴 형태, 얼굴 크기, 광대가 나온 정도, 피부색, 헤어 스타일, 얼굴 대비 모발의 비율, 상기 얼굴을 묘사한 선의 굵기, 상기 선의 밀도, 및 상기 선의 농도 중 적어도 하나를 포함할 수 있다. Wherein the recognition feature includes at least one of a face included in the input image, a position of the eye, a size of the eye, a shape of the eye, a degree of the eye, a position of the nose, a size of the nose, The size of the eyebrow, the shape of the eyebrow, the degree of description of the eyebrow, the position of the ear, the position of the mouth, the position of the mouth, the size of the mouth, the shape of the mouth, A size of the point, a shape of the point, a presence or absence of a tattoo, a position of the tattoo, a size of the tattoo, a shape of the tattoo, a shape of the tattoo, The presence or absence of a scar, the position of the scar, the size of the scar, the shape of the scar, the presence of a beard, the position of the beard, the size of the beard, the shape of the beard, Skin color, hairstyle, face contrast The ratio of the foot, the thickness of the line describing the face, the density of the line, and the density of the line.
상기 인식 특징은 신체 비율, 체구, 및 옷 스타일 중 적어도 하나를 포함하는 상기 얼굴 이외의 형상 특징을 더 포함할 수 있다. The recognition feature may further include a feature feature other than the face that includes at least one of body proportions, body parts, and clothes styles.
상기 데이터베이스는 만화 컨텐츠, 애니메이션 컨텐츠, 게임 컨텐츠, 이모티콘 컨텐츠, 소설 컨텐츠, 영화 컨텐츠, 동영상 컨텐츠, 사진 컨텐츠, 블로그 컨텐츠, 카페 컨텐츠, 기사 컨텐츠, 쇼핑 컨텐츠, 및 광고 컨텐츠 중 적어도 하나를 포함할 수 있다. The database may include at least one of cartoon content, animation content, game content, emoticon content, novel content, movie content, video content, photo content, blog content, cafe content, article content, shopping content, .
상기 제1 캐릭터를 검색하는 단계는 상기 인식 특징에 포함된 복수의 요소들 중 상기 유사한 특징에 대응하여 미리 정해진 적어도 하나의 제1 요소 및 상기 적어도 하나의 제1 요소에 대응하는 유사 기준에 기초하여, 상기 제1 캐릭터를 검색하는 단계를 포함할 수 있다. 상기 제1 요소 및 상기 유사 기준은 상기 데이터베이스에 저장된 컨텐츠의 유형 별로 상이하게 설정될 수 있다.Wherein the step of searching for the first character comprises searching for at least one first element corresponding to the similar one of the plurality of elements included in the recognition feature and based on a similar standard corresponding to the at least one first element , And searching for the first character. The first element and the similar criteria may be set differently for each type of content stored in the database.
상기 제1 캐릭터를 검색하는 단계는 상기 복수의 요소들 중 상기 상반되는 특징에 대응하여 미리 정해진 적어도 하나의 제2 요소 및 상기 적어도 하나의 제2 요소에 대응하는 상반 기준에 기초하여, 상기 제1 캐릭터를 검색하는 단계를 포함할 수 있다. 상기 제2 요소 및 상기 상반 기준은 상기 데이터베이스에 저장된 컨텐츠의 유형 별로 상이하게 설정될 수 있다.Wherein the step of searching for the first character comprises searching for a first character based on at least one second element determined in advance corresponding to the opposite character among the plurality of elements and an opposite criterion corresponding to the at least one second element, And searching for the character. The second element and the opposite criterion may be set differently according to the type of contents stored in the database.
상기 컨텐츠를 추천하는 방법은 상기 제1 캐릭터의 캐릭터 분석 요소들에 기초하여, 상기 제1 캐릭터와 유사하거나, 상기 제1 캐릭터와 상반된 제2 캐릭터를 상기 데이터베이스로부터 검색하는 단계를 더 포함하고, 상기 컨텐츠를 추천하는 단계는 상기 제2 캐릭터를 포함하는 컨텐츠를 추천하는 단계를 포함할 수 있다.The method of recommending content may further include retrieving, from the database, a second character that is similar to or identical to the first character based on the character analysis elements of the first character, The step of recommending the content may include recommending the content including the second character.
상기 캐릭터 분석 요소들은 상기 제1 캐릭터의 눈의 위치, 상기 눈의 크기, 상기 눈의 모양, 상기 눈의 묘사 정도, 상기 제1 캐릭터의 코의 위치, 상기 코의 크기, 상기 코의 모양, 상기 코의 묘사 정도, 상기 제1 캐릭터의 입의 위치, 상기 입의 크기, 상기 입의 모양, 상기 입의 묘사 정도, 상기 제1 캐릭터의 입술 두께, 상기 제1 캐릭터의 눈썹의 위치, 상기 눈썹의 크기, 상기 눈썹의 모양, 상기 눈썹의 묘사 정도, 상기 제1 캐릭터의 귀의 위치, 상기 귀의 크기, 상기 귀의 모양, 상기 귀의 묘사 정도, 상기 제1 캐릭터의 점의 유무, 상기 점의 위치, 상기 점의 크기, 상기 점의 모양, 상기 제1 캐릭터의 문신의 유무, 상기 문신의 위치, 상기 문신의 크기, 상기 문신의 모양, 상기 제1 캐릭터의 흉터의 유무, 상기 흉터의 위치, 상기 흉터의 크기, 상기 흉터의 모양, 상기 제1 캐릭터의 수염의 유무, 상기 수염의 위치, 상기 수염의 크기, 상기 수염의 모양, 상기 제1 캐릭터의 얼굴 형태, 상기 제1 캐릭터의 얼굴 크기, 상기 제1 캐릭터의 헤어 스타일, 상기 제1 캐릭터의 얼굴 대비 모발의 비율, 상기 제1 캐릭터를 묘사한 선의 굵기, 상기 선의 밀도, 및 상기 선의 농도 중 적어도 하나를 포함하는 얼굴 분석 요소; 및 상기 제1 캐릭터의 신체 비율, 상기 제1 캐릭터의 체구, 및 상기 제1 캐릭터의 옷 스타일 중 적어도 하나를 포함하는 얼굴 이외의 분석 요소 중 적어도 하나를 포함할 수 있다.The character analysis elements may include at least one of a position of an eye of the first character, a size of the eye, a shape of the eye, a degree of the eye, a position of the nose of the first character, a size of the nose, The size of the mouth of the first character, the shape of the mouth, the degree of description of the mouth, the thickness of the lip of the first character, the position of the eyebrow of the first character, The size of the ear, the degree of description of the ear, the presence or absence of a point of the first character, the position of the point, the position of the point, the size of the eyebrow, the degree of description of the eyebrow, the position of the ear of the first character, The size of the tattoo, the size of the tattoo, the shape of the tattoo, the presence or absence of a scar of the first character, the location of the scar, the size of the scar, , The shape of the scar, The hair style of the first character, the hair style of the first character, the hair style of the first character, the hair style of the first character, the hair style of the first character, the hair style of the first character, A facial analysis element including at least one of a ratio of hair to face of a character, a thickness of a line depicting the first character, a density of the line, and a density of the line; And an analysis element other than a face including at least one of a body ratio of the first character, a body of the first character, and a clothes style of the first character.
상기 제2 캐릭터를 검색하는 단계는 상기 캐릭터 분석 요소들에 기초하여, 상기 제1 캐릭터를 분석하는 단계; 및 상기 분석 결과에 기초하여, 상기 데이터베이스로부터 상기 제1 캐릭터와 미리 설정된 기준 이상의 유사도를 갖는 제2 캐릭터를 검색하는 단계를 포함할 수 있다. Wherein the step of searching for the second character comprises: analyzing the first character based on the character analysis elements; And searching the database for a second character having a degree of similarity higher than a predetermined reference level from the first character based on the analysis result.
상기 제2 캐릭터를 검색하는 단계는 상기 캐릭터 분석 요소들에 기초하여, 상기 제1 캐릭터를 분석하는 단계; 및 상기 분석 결과에 기초하여, 상기 제1 캐릭터와 상반된 캐릭터의 특징을 결정하는 단계; 및 상기 데이터베이스로부터 상기 상반된 캐릭터의 특징을 포함하는 제 2 캐릭터를 검색하는 단계를 포함할 수 있다. Wherein the step of searching for the second character comprises: analyzing the first character based on the character analysis elements; And determining a characteristic of the character opposite to the first character based on the analysis result; And retrieving a second character including the character of the opposing character from the database.
상기 컨텐츠를 추천하는 방법은 입력 인터페이스를 통한 사용자의 선택에 기초하여, 상기 추천된 컨텐츠에 포함된 캐릭터의 얼굴을 상기 입력 영상에 포함된 얼굴로 치환하는 단계; 및 상기 얼굴이 치환된 컨텐츠를 제공하는 단계를 더 포함할 수 있다. The method of recommending content includes: replacing a face of a character included in the recommended content with a face included in the input image based on a user's selection through an input interface; And providing the content with the replaced face.
일 측에 따른 단말은 입력 영상을 수신하는 수신부; 상기 입력 영상을 인식하여 인식 특징을 추출하는 추출부; 상기 인식 특징을 서버로 송신하고, 상기 서버로부터 인식 특징에 대응하는 캐릭터와 관련된 정보를 수신하는 통신부; 및 상기 캐릭터와 관련된 정보에 기초하여, 상기 캐릭터를 포함하는 추천 컨텐츠를 표시하는 표시부를 포함한다.A terminal according to one side comprises: a receiver for receiving an input image; An extracting unit for recognizing the input image and extracting recognition features; A communication unit that transmits the recognition feature to the server and receives information related to the character corresponding to the recognition feature from the server; And a display unit for displaying the recommended content including the character based on the information related to the character.
일 측에 따른 서버는 입력 영상으로부터 추출된 인식 특징을 획득하는 획득부; 상기 인식 특징과 유사한 특징을 가지거나, 상기 인식 특징과 상반되는 특징을 가지는 제1 캐릭터를 데이터베이스로부터 검색하는 검색부; 상기 제1 캐릭터를 포함하는 컨텐츠를 추천하는 추천부; 및 상기 제1 캐릭터 및 상기 컨텐츠 중 적어도 하나를 포함하는 정보를 단말로 송신하는 통신부를 포함한다.A server according to one aspect of the present invention includes an acquiring unit for acquiring a recognition feature extracted from an input image; A retrieval unit for retrieving a first character having a characteristic similar to the recognition characteristic or having a characteristic opposite to the recognition characteristic, from a database; A recommendation unit for recommending contents including the first character; And a communication unit for transmitting information including at least one of the first character and the content to the terminal.
상기 검색부는 상기 인식 특징에 포함된 복수의 요소들 중 상기 유사한 특징에 대응하여 미리 정해진 적어도 하나의 제1 요소 및 상기 적어도 하나의 제1 요소에 대응하는 유사 기준에 기초하여, 상기 제1 캐릭터를 검색하거나, 상기 복수의 요소들 중 상기 상반되는 특징에 대응하여 미리 정해진 적어도 하나의 제2 요소 및 상기 적어도 하나의 제2 요소에 대응하는 상반 기준에 기초하여, 상기 제1 캐릭터를 검색하는, 컨텐츠를 추천할 수 있다.Wherein the retrieval unit retrieves the first character based on a similarity criterion corresponding to the at least one first element and the predetermined one of the plurality of elements included in the recognition feature, Searching for the first character based on a second criterion corresponding to the at least one second element and at least one second element predetermined for the opposite character among the plurality of elements, Can be recommended.
상기 검색부는 상기 제1 캐릭터의 캐릭터 분석 요소들에 기초하여, 상기 제1 캐릭터와 유사하거나, 상기 제1 캐릭터와 상반된 제2 캐릭터를 상기 데이터베이스로부터 검색하고, 상기 추천부는 상기 제2 캐릭터를 포함하는 컨텐츠를 추천하는, 컨텐츠를 추천할 수 있다.Wherein the searching unit searches the database for a second character similar to or similar to the first character based on the character analysis elements of the first character and the recommendation unit searches for the second character, Recommending contents can be recommended.
도 1은 일 실시예에 따른 컨텐츠를 추천하는 방법을 나타낸 흐름도.
도 2는 일 실시예에 따라 컨텐츠를 추천하는 과정을 도시한 도면.
도 3은 다른 실시예에 따른 컨텐츠를 추천하는 방법을 나타낸 흐름도.
도 4는 다른 실시예에 따라 컨텐츠를 추천하는 과정을 도시한 도면.
도 5는 일 실시예에 따른 데이터베이스의 구조를 설명하기 위한 도면.
도 6은 일 실시예에 따른 사용자 인터페이스(UI) 화면을 나타낸 도면.1 is a flow diagram illustrating a method for recommending content according to one embodiment.
FIG. 2 illustrates a process of recommending content according to an exemplary embodiment; FIG.
3 is a flowchart illustrating a method of recommending content according to another embodiment;
FIG. 4 illustrates a process of recommending content according to another embodiment; FIG.
5 is a diagram for explaining the structure of a database according to an embodiment;
6 illustrates a user interface (UI) screen according to one embodiment;
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.In the following, embodiments will be described in detail with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements. Various modifications may be made to the embodiments described below. It is to be understood that the embodiments described below are not intended to limit the embodiments, but include all modifications, equivalents, and alternatives to them.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used only to illustrate specific embodiments and are not intended to limit the embodiments. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this embodiment belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. In the following description of the embodiments, a detailed description of related arts will be omitted if it is determined that the gist of the embodiments may be unnecessarily blurred.
도 1은 일 실시예에 따른 컨텐츠를 추천하는 방법을 나타낸 흐름도이다. 도 1에 도시된 단계들은 일 실시예에 따른 컨텐츠를 추천하는 장치(이하, '추천 장치')에 의하여 수행될 수 있다. 추천 장치는 하나 또는 그 이상의 소프트웨어 모듈, 하나 또는 그 이상의 하드웨어 모듈, 또는 이들의 다양한 조합으로 구현될 수 있다. 1 is a flowchart illustrating a method of recommending content according to an exemplary embodiment. The steps shown in FIG. 1 may be performed by a device for recommending content according to an embodiment (hereinafter referred to as a recommendation device). Recommendation devices may be implemented in one or more software modules, in one or more hardware modules, or in various combinations thereof.
도 1을 참조하면, 추천 장치는 입력 영상을 수신한다(110). 입력 영상은 예를 들어, 사람의 영상, 캐릭터의 영상, 동물의 영상 등을 포함할 수 있다. 여기서, 사람은 사용자 본인, 사용자의 지인, 연예인, 모델, 영화배우, 운동선수 등 실제 사람을 의미하고, 캐릭터는 만화 캐릭터, 애니메이션 캐릭터, 게임 캐릭터, 이모티콘 캐릭터 등 가공의 캐릭터를 의미할 수 있다. 입력 영상은 추천 장치에 의해 직접 촬영 또는 캡쳐된 영상이거나, 추천 장치 또는 다른 장치에 미리 저장된 영상일 수 있다. 입력 영상은 예를 들어, 얼굴 영상, 상반신 영상, 전신 영상 등과 같이 대상체(사람, 캐릭터, 동물 등)의 얼굴 영역을 포함하는 영상에 해당할 수 있다. Referring to FIG. 1, the recommendation apparatus receives an input image (110). The input image may include, for example, a human image, a character image, an animal image, and the like. Here, a person means an actual person such as a user, an acquaintance of a user, an entertainer, a model, a movie actor, an athlete, etc., and a character may mean a character to be processed such as a cartoon character, an animated character, a game character, and an emoticon character. The input image may be an image directly captured or captured by the recommendation device, or an image previously stored in the recommendation device or another device. The input image may correspond to an image including a face region of a target object (human, character, animal, etc.) such as a face image, an upper body image, a whole body image,
추천 장치는 입력 영상을 인식하여 인식 특징을 추출한다(120). 인식 특징은 예를 들어, 입력 영상에 포함된 얼굴에서 눈의 위치, 크기, 모양, 묘사 정도, 코의 위치, 크기, 모양, 묘사 정도, 입의 위치, 크기, 모양, 묘사 정도, 입술 두께, 눈썹의 위치, 크기, 모양, 묘사 정도, 귀의 위치, 크기 모양, 묘사 정도, 점의 유무, 위치, 크기, 모양, 문신의 유무, 위치, 크기, 모양, 흉터의 유무, 위치, 크기, 모양, 수염의 유무, 위치, 크기 모양, 얼굴 형태, 얼굴 크기, 광대가 나온 정도, 피부색, 헤어 스타일, 얼굴 대비 모발의 비율, 얼굴을 묘사한 선의 굵기, 밀도, 농도, 또는 이들의 다양한 조합들을 포함할 수 있다. 이 밖에도, 인식 특징은 신체 비율, 체구 및 옷 스타일 등과 같은 얼굴 이외의 형상 특징을 더 포함할 수 있다. The recommendation apparatus recognizes the input image and extracts recognition features (120). The recognition features include, for example, the position, size, shape, description, position, size, shape, description, mouth position, size, shape, Position, size, shape, presence or absence of a tattoo, location, size, shape, presence or absence of a scar, location, size, shape, description, The presence or absence of a beard, the location, the size, the shape of the face, the face size, the size of the clown, the skin color, the hairstyle, the ratio of face contrast hair, the thickness of the line describing the face, . In addition, the recognition feature may further include feature features other than facial features such as body proportions, body parts, and clothing styles.
추천 장치가 입력 영상을 인식하여 인식 특징을 추출하는 데에는 예를 들어, 신경망에 기초한 딥러닝(Deep learning)을 이용한 방법, 미리 학습된 분류기(classifier)를 이용하는 방법 등과 같이 이미 알려진 다양한 방법들이 존재하므로 이에 대한 구체적인 설명은 생략한다. There are various known methods for the recommendation apparatus to recognize the input image and extract the recognition feature, for example, a method using deep learning based on neural network, a method using a pre-learned classifier, and the like A detailed description thereof will be omitted.
추천 장치는 단계(120)에서 추출한 인식 특징에 기초하여 데이터베이스로부터 제1 캐릭터를 검색한다(130). 추천 장치는 인식 특징과 유사한 특징을 가지거나, 인식 특징과 상반되는 특징을 가지는 제1 캐릭터를 데이터베이스로부터 검색할 수 있다.The recommendation apparatus retrieves (130) the first character from the database based on the recognition feature extracted in step (120). The recommendation apparatus may have a feature similar to the recognition feature or a first character having the feature that is contrary to the recognition feature from the database.
데이터베이스는 예를 들어, 만화 컨텐츠, 애니메이션 컨텐츠, 게임 컨텐츠, 이모티콘 컨텐츠, 소설 컨텐츠, 영화 컨텐츠, 동영상 컨텐츠, 사진 컨텐츠, 블로그 컨텐츠, 카페 컨텐츠, 기사 컨텐츠, 쇼핑 컨텐츠, 광고 컨텐츠, 또는 이들의 다양한 조합 등을 포함할 수 있다. 또한, 데이터베이스는 각 컨텐츠에 포함된 다양한 캐릭터들의 특징들을 포함할 수 있다. 여기서, 캐릭터들의 특징들은 캐릭터들의 이미지들로부터 추출되는 특징들일 수 있다. 예를 들어, 데이터베이스가 만화 컨텐츠를 포함하는 경우, 추천 장치는 만화 컨텐츠의 대표 이미지, 만화 컨텐츠의 회차별 썸네일 이미지, 만화 컨텐츠의 임의의 이미지, 또는 이들의 다양한 조합들을 포함할 수 있다. 데이터베이스는 미리 구비될 수도 있고, 인터넷과 같은 네트워크를 통한 검색 등에 의해 실시간으로 구축될 수도 있다. 데이터베이스의 구체적인 구조에 대하여는 도 5를 참조하여 설명한다.The database may be, for example, comic content, animated content, game content, emoticon content, novel content, movie content, video content, photo content, blog content, cafe content, article content, shopping content, And the like. In addition, the database may include features of various characters included in each content. Here, the characteristics of the characters may be features extracted from the images of the characters. For example, if the database includes cartoon content, the recommendation device may include a representative image of the cartoon content, a rotation-specific thumbnail image of the cartoon content, any image of the cartoon content, or various combinations thereof. The database may be provided in advance or may be constructed in real time by searching through a network such as the Internet. The concrete structure of the database will be described with reference to FIG.
일 실시예에 따르면, 추천 장치는 인식 특징에 포함된 복수의 요소들 중 유사한 특징에 대응하여 미리 정해진 적어도 하나의 제1 요소 및 제1 요소에 대응하는 유사 기준에 기초하여, 제1 캐릭터를 데이터베이스로부터 검색할 수 있다. According to one embodiment, the recommendation apparatus may include a first character and a second character based on a similarity criterion corresponding to the first element and the first element predetermined in correspondence with the similar one of the plurality of elements included in the recognition feature, . ≪ / RTI >
예를 들어, 인식 특징과 유사한지 여부를 판단하기 위한 제1 요소로 눈의 크기, 눈의 모양, 및 코의 묘사 정도가 이용될 수 있다. 또한, 제1 요소에 대응하는 유사 기준은 눈의 크기를 비교하는 기준, 눈의 모양을 비교하는 기준, 및 코의 묘사 정도를 비교하는 기준을 포함할 수 있다. 이 경우, 추천 장치는 눈의 크기가 유사하거나 동일한 정도, 눈의 모양이 유사하거나 동일한 정도, 및 코의 묘사 정도가 유사하거나 동일한 정도에 기초하여, 제1 캐릭터를 데이터베이스로부터 검색할 수 있다.For example, the eye size, the shape of the eyes, and the degree of the nose can be used as the first element for judging whether or not it is similar to the recognition feature. Further, the similarity criterion corresponding to the first element may include a criterion for comparing the size of the eyes, a criterion for comparing the shape of the eyes, and a criterion for comparing the degree of description of the nose. In this case, the recommendation apparatus can retrieve the first character from the database based on the similarity or the same degree of eye size, the similarity or the same degree of eye shape, and the degree of similarity or the same degree of nose representation.
전술한 제1 요소 및 유사 기준은 데이터베이스에 저장된 컨텐츠의 유형 별로 상이하게 설정될 수 있다. 이 경우, 동일한 인식 특징에 기초하여 컨텐츠의 유형 별로 상이한 기준에 따라, 인식 특징과 유사한 특징을 가지는 제1 캐릭터가 데이터베이스로부터 검색될 수 있다.The first element and the similar criterion described above may be set differently according to the type of contents stored in the database. In this case, a first character having characteristics similar to the recognition feature may be retrieved from the database, according to different criteria for each type of content based on the same recognition feature.
일 실시예에 따르면, 추천 장치는 인식 특징에 포함된 복수의 요소들 중 상반되는 특징에 대응하여 미리 정해진 적어도 하나의 제2 요소 및 제2 요소에 대응하는 상반 기준에 기초하여, 제1 캐릭터를 데이터베이스로부터 검색할 수 있다. According to one embodiment, the recommendation apparatus may include a first character, based on a second criterion corresponding to at least one second element and a second element predetermined in correspondence with the contradictory characteristic among the plurality of elements included in the recognition characteristic, It can be retrieved from the database.
예를 들어, 인식 특징과 상반되는지 여부를 판단하기 위한 제2 요소로 눈썹의 위치, 크기, 모양, 및 귀의 위치, 크기, 모양이 이용될 수 있다. 또한, 제2 요소에 대응하는 유사 기준은 눈썹의 위치, 크기, 모양을 각각 대비하는 기준, 및 귀의 위치, 크기, 모양을 각각 대비하는 기준을 포함할 수 있다. 이 경우, 추천 장치는 눈썹의 위치, 크기, 모양이 상반된 정도 및 귀의 위치, 크기, 모양이 상반된 정도에 기초하여, 제1 캐릭터를 데이터베이스로부터 검색할 수 있다.For example, the position, size, shape, and position, size, and shape of the eyebrow may be used as a second element for determining whether or not it is contradictory to the recognition feature. The similarity criterion corresponding to the second element may include a criterion for comparing the position, size, and shape of the eyebrows, and a criterion for comparing the position, size, and shape of the ear, respectively. In this case, the recommendation apparatus can retrieve the first character from the database on the basis of the degree to which the position, size, and shape of the eyebrow are inconsistent and how the position, size, and shape of the ear are opposite to each other.
전술한 제2 요소 및 상반 기준은 데이터베이스에 저장된 컨텐츠의 유형 별로 상이하게 설정될 수 있다. 이 경우, 동일한 인식 특징에 기초하여 컨텐츠의 유형 별로 상이한 기준에 따라, 인식 특징과 상반되는 특징을 가지는 제1 캐릭터가 데이터베이스로부터 검색될 수 있다.The above-described second element and the opposite criterion can be set differently according to the type of contents stored in the database. In this case, a first character having a characteristic that is incompatible with the recognition feature may be retrieved from the database, according to different criteria for each type of content based on the same recognition feature.
실시예에 따라, 추천 장치는 복수의 제1 캐릭터들을 검색할 수 있다. 예를 들어, 추천 장치는 유사한 특징을 가지는 제1 캐릭터와 상반된 특징을 가지는 제1 캐릭터를 함께 추천할 수 있다. 또는, 추천 장치는 하나의 유형의 컨텐츠에서 복수의 제1 캐릭터들을 검색하거나, 복수의 유형들의 컨텐츠에서 복수의 제1 캐릭터들을 검색할 수도 있다.According to the embodiment, the recommendation apparatus can search a plurality of first characters. For example, the recommendation apparatus may recommend a first character having a similar characteristic and a first character having a characteristic opposite to the first character. Alternatively, the recommendation apparatus may retrieve a plurality of first characters from one type of content or a plurality of first characters from a plurality of types of content.
추천 장치는 제1 캐릭터를 포함하는 컨텐츠를 추천한다(140). 여기서, 제1 캐릭터를 포함하는 컨텐츠는 제1 캐릭터가 등장하는 컨텐츠(만화, 애니메이션, 게임, 소설, 영화, 동영상, 사진, 광고 등), 제1 캐릭터를 대상으로 하는 컨텐츠(이모티콘, 블로그, 카페, 기사, 쇼핑, 광고 등) 등 제1 캐릭터와 연관된 컨텐츠를 의미할 수 있다.The recommendation apparatus recommends contents including the first character (140). Here, the content including the first character is a content (a cartoon, an animation, a game, a novel, a movie, a movie, a photograph, an advertisement, etc.) in which the first character appears, , Articles, shopping, advertisements, etc.), and the like.
실시예에 따라, 추천 장치는 복수의 컨텐츠들을 추천할 수 있다. 예를 들어, 복수의 제1 캐릭터들이 검색되는 경우, 추천 장치는 복수의 제1 캐릭터들 각각을 포함하는 컨텐츠를 추천할 수 있다. 또는, 제1 캐릭터를 포함하는 컨텐츠가 복수일 수 있으며, 이 경우 추천 장치는 제1 캐릭터를 포함하는 복수의 컨텐츠들을 추천할 수 있다. 추천 장치는 유사한 정도 또는 상반된 정도에 따라 추천 컨텐츠들을 정렬한 뒤, 미리 정해진 수만큼의 컨텐츠만 최종적으로 추천할 수 있다.According to the embodiment, the recommendation apparatus can recommend a plurality of contents. For example, when a plurality of first characters are searched, the recommendation apparatus can recommend contents including each of the plurality of first characters. Alternatively, there may be a plurality of contents including the first character, in which case the recommendation apparatus can recommend a plurality of contents including the first character. The recommendation apparatus can recommend only a predetermined number of contents finally after arranging the recommended contents according to the similar degree or the opposite degree.
일 실시예에 따르면, 추천 장치는 추천 컨텐츠에 포함된 캐릭터의 얼굴을 입력 영상에 포함된 얼굴로 치환하고, 얼굴이 치환된 추천 컨텐츠를 사용자에게 제공할 수 있다. 사용자는 입력 인터페이스를 통하여 얼굴 치환 모드를 활성화시킬 수 있다.According to one embodiment, the recommendation apparatus replaces the face of the character included in the recommended content with the face included in the input image, and provides the user with the recommended content in which the face is replaced. The user can activate the face replacement mode through the input interface.
일 실시예에 따르면, 도 1에 도시된 단계들은 서버와 단말의 조합으로 구현될 수 있다. 이 경우, 도 1에 도시된 단계들 중 일부는 단말에 의하여 수행되고, 나머지는 서버에 의하여 수행될 수 있다. 예를 들어, 입력 영상을 수신하는 단계(110)과 인식 특징을 추출하는 단계(120)은 단말에 의하여 수행될 수 있다. 단말은 추출된 인식 특징을 서버로 전송할 수 있다.According to one embodiment, the steps shown in FIG. 1 may be implemented as a combination of a server and a terminal. In this case, some of the steps shown in FIG. 1 may be performed by the terminal and the remainder may be performed by the server. For example, receiving an
단말은 입력 영상을 수신하는 수신부, 입력 영상을 인식하여 인식 특징을 추출하는 추출부, 인식 특징을 서버로 송신하고 서버로부터 인식 특징에 대응하는 캐릭터와 관련된 정보를 수신하는 통신부, 및 캐릭터와 관련된 정보에 기초하여 캐릭터를 포함하는 추천 컨텐츠를 표시하는 표시부를 포함할 수 있다. 단말에 포함된 각 구성들은 적어도 하나의 프로세서에 의하여 구현될 수 있다.The terminal includes a receiving unit for receiving an input image, an extracting unit for recognizing an input image and extracting recognition features, a communication unit for transmitting recognition characteristics to a server and receiving information related to a character corresponding to recognition characteristics from a server, And a display unit for displaying the recommended content including the character based on the recommendation content. Each configuration included in the terminal may be implemented by at least one processor.
서버는 단말로부터 수신한 인식 특징에 기초하여, 단계(130)과 단계(140)을 수행할 수 있다. 서버는 제1 캐릭터에 관한 정보 및/또는 추천 컨텐츠에 관한 정보를 포함하는 신호를 단말로 전송할 수 있다.The server may perform
서버는 입력 영상으로부터 추출된 인식 특징을 획득하는 획득부, 인식 특징과 유사한 특징을 가지거나 인식 특징과 상반되는 특징을 가지는 제1 캐릭터를 데이터베이스로부터 검색하는 검색부, 제1 캐릭터를 포함하는 컨텐츠를 추천하는 추천부, 및 제1 캐릭터 및 컨텐츠 중 적어도 하나를 포함하는 정보를 단말로 송신하는 통신부를 포함할 수 있다. 서버에 포함된 각 구성들은 적어도 하나의 프로세서에 의하여 구현될 수 있다.The server includes an acquiring unit for acquiring a recognition feature extracted from an input image, a search unit for searching a database for a first character having a feature similar to the recognition feature or having a feature opposite to the recognition feature, A recommended recommendation unit, and a communication unit that transmits information including at least one of the first character and the content to the terminal. Each configuration included in the server may be implemented by at least one processor.
도 2는 일 실시예에 따른 컨텐츠를 추천하는 과정을 도시한 도면이다. 도 2를 참조하면, 추천 장치는 사람의 영상(210) 또는 캐릭터의 영상(215)으로부터 인식 특징(220)을 추출한다. 추천 장치는 인식 특징(220)을 추출하기 위하여, 안면 인식 및/또는 형상 인식 등 영상 인식 기법을 이용할 수 있다. 2 is a flowchart illustrating a process of recommending content according to an exemplary embodiment of the present invention. Referring to FIG. 2, the recommendation apparatus extracts the
추천 장치는 인식 결과에 따라 데이터베이스로부터 제1 캐릭터(230)를 검색할 수 있다. 예를 들어, 추천 장치는 인식 특징(220)과 유사한 특징을 가지는 제1 캐릭터(231, 233) 및 인식 특징(220)과 상반된 특징을 가지는 제1 캐릭터(235)를 검색할 수 있다. 추천 장치는 제1 캐릭터(230)를 포함하는 컨텐츠를 사용자에게 추천할 수 있다.The recommendation apparatus can search the
예를 들어, 사람의 영상(210)으로부터 추출된 인식 특징(220)이 "얼굴이 크고, 눈, 코, 입이 모두 큼, 입술이 얇고, 문신 및 흉터가 없으며, 광대가 튀어나오지 않음, 타원형 얼굴에 앞머리에 가르마가 있으며, 체구가 좋음, 양복을 입고, 안경을 쓰지 않은 성인 남자"와 같다고 하자. For example, the
추천 장치는 인식 특징(220)에 매칭되는 이미지를 데이터베이스로부터 검색할 수 있다. 예를 들어, 데이터베이스가 만화 컨텐츠를 포함하는 경우, 추천 장치는 만화 컨텐츠의 대표 이미지, 만화 컨텐츠의 회차별 썸네일 이미지 또는 만화 컨텐츠의 임의의 이미지에 대응하는 특징과 인식 특징(220)을 비교함으로써, 데이터베이스로부터 인식 특징에 대응하는 이미지를 검색할 수 있다. 이때, 추천 장치는 인식 특징(220)과 전부 매칭되는 이미지를 검색하거나, 또는 일부만 매칭되는 이미지를 검색할 수도 있다. 추천 장치는 검색된 이미지에 대응하는 캐릭터를 제1 캐릭터(230)로 결정할 수 있다.The recommendation device may retrieve an image from the database that matches the
도 3은 다른 실시예에 따른 컨텐츠를 추천하는 방법을 나타낸 흐름도이다. 도 3에 도시된 단계들도 전술한 추천 장치에 의하여 수행될 수 있다. 3 is a flowchart illustrating a method of recommending contents according to another embodiment. The steps shown in Fig. 3 can also be performed by the above-mentioned recommendation apparatus.
도 3을 참조하면, 추천 장치는 입력 영상을 수신하고(310), 입력 영상을 인식하여 인식 특징을 추출하며(320), 인식 특징에 기초하여 제1 캐릭터를 데이터베이스로부터 검색한다(330). 단계(310) 내지 단계(330)은 도 1의 단계(110) 내지 단계(130)에 대응하므로, 보다 상세한 설명은 생략한다.Referring to FIG. 3, the recommendation apparatus receives an input image (310), recognizes an input image to extract recognition features (320), and searches a database (330) for a first character based on recognition features. Since
추천 장치는 제1 캐릭터의 캐릭터 분석 요소들에 기초하여, 제1 캐릭터와 유사하거나, 제1 캐릭터와 상반된 제2 캐릭터를 데이터베이스로부터 검색한다(340). Based on the character analysis elements of the first character, the recommendation apparatus retrieves (340) a second character, which is similar to the first character or is in conflict with the first character, from the database.
예를 들어, 추천 장치는 제1 캐릭터의 캐릭터 분석 요소들에 기초하여, 제1 캐릭터를 분석할 수 있다. 캐릭터 분석 요소들은 예를 들어, 제1 캐릭터의 눈의 위치, 크기, 모양, 묘사 정도, 제1 캐릭터의 코의 위치, 크기, 모양, 묘사 정도, 제1 캐릭터의 입의 위치, 크기, 모양, 묘사 정도, 제1 캐릭터의 입술 두께, 제1 캐릭터의 눈썹의 위치, 크기, 모양, 묘사 정도, 제1 캐릭터의 귀의 위치, 크기, 모양, 묘사 정도, 제1 캐릭터의 점의 유무, 위치, 크기, 모양, 제1 캐릭터의 문신의 유무, 위치, 크기, 모양, 제1 캐릭터의 흉터의 유무, 위치, 크기, 모양, 제1 캐릭터의 수염의 유무, 위치, 크기, 모양, 제1 캐릭터의 얼굴 형태, 제1 캐릭터의 얼굴 크기, 제1 캐릭터의 헤어 스타일, 제1 캐릭터의 얼굴 대비 모발의 비율, 제1 캐릭터를 묘사한 선의 굵기, 밀도, 농도, 또는 이들의 다양한 조합들을 포함하는 얼굴 분석 요소를 포함할 수 있다. 또는, 캐릭터 분석 요소들은 제1 캐릭터의 신체 비율, 제1 캐릭터의 체구, 제1 캐릭터의 옷 스타일, 또는 이들의 다양한 조합들을 포함하는 얼굴 이외의 분석 요소를 포함할 수도 있다.For example, the recommendation apparatus may analyze the first character based on the character analysis elements of the first character. The character analysis elements include, for example, the position, size, shape, and degree of the eyes of the first character, the position, size, shape, and degree of the nose of the first character, The degree of description, the thickness of the lip of the first character, the position of the eyebrow of the first character, the size, the shape, the degree of description, the ear position, the size, the shape, the degree of description of the first character, Position, size, shape of the first character, presence / absence of a tattoo of the first character, presence / absence of a tattoo of the first character, presence / absence of a scar of the first character, A facial analysis element including a shape, a face size of the first character, a hair style of the first character, a ratio of hair to face of the first character, a line thickness of the first character, density, concentration, . ≪ / RTI > Alternatively, the character analysis elements may include an analysis element other than a face that includes a body percentage of the first character, a body of the first character, a clothes style of the first character, or various combinations thereof.
추천 장치는 분석 결과에 기초하여 데이터베이스로부터 제1 캐릭터와 관련성을 갖는 제2 캐릭터를 검색할 수 있다. 예를 들어, 추천 장치는 분석 결과에 기초하여, 데이터베이스로부터 제1 캐릭터와 미리 설정된 기준 이상의 유사도를 갖는 제2 캐릭터를 검색할 수 있다. 여기서, 유사도를 결정하는 기준은 다양하게 설정될 수 있다. 예를 들어, 전술한 캐릭터 분석 요소들 중 어느 분석 요소들이 유사도 결정에 이용될 것인지 여부, 및 각 분석 요소들이 유사도에 영향을 주는 가중치 등이 미리 설정되거나, 주기적으로 갱신되거나, 사용자에 의하여 조절될 수 있다.The recommendation apparatus can retrieve a second character having a relation with the first character from the database based on the analysis result. For example, based on the analysis result, the recommendation apparatus can retrieve, from the database, a second character having a degree of similarity higher than a predetermined reference to the first character. Here, the criterion for determining the degree of similarity may be variously set. For example, whether or not which of the above-mentioned character analysis elements is to be used for determination of similarity, and a weight or the like that affects the similarity degree of each analysis element may be preset, periodically updated, or adjusted by a user .
또는 추천 장치는 분석 결과에 기초하여, 제1 캐릭터와 상반된 캐릭터의 특징을 결정하고, 데이터베이스로부터 상반된 캐릭터의 특징을 포함하는 제 2 캐릭터를 검색할 수 있다. 상반된 캐릭터 특징, 또는 상반도를 결정하는 기준은 다양하게 설정될 수 있다. 예를 들어, 전술한 캐릭터 분석 요소들 중 어느 분석 요소들이 상반도 결정에 이용될 것인지 여부, 및 각 분석 요소들이 상반도에 영향을 주는 가중치 등이 미리 설정되거나, 주기적으로 갱신되거나, 사용자에 의하여 조절될 수 있다.Alternatively, the recommendation apparatus can determine the character of the character opposite to the first character based on the analysis result, and retrieve the second character including the character of the character conflicting from the database. The criterion for determining contradictory character characteristics, or the degree of opposition, can be set variously. For example, it is determined whether any of the above-mentioned character analysis elements is to be used for the determination of the opposite sides, and the weight to which each of the analysis elements affects the opposite side is preset, periodically updated, Lt; / RTI >
추천 장치는 제2 캐릭터를 포함하는 컨텐츠를 추천할 수 있다(350). 단계(350)은 도 1의 단계(140)에 대응하며, 추천 장치는 제1 캐릭터 대신 제2 캐릭터를 포함하는 컨텐츠를 추천할 수 있다.The recommendation apparatus can recommend the content including the second character (350). Step 350 corresponds to step 140 of FIG. 1, and the recommendation apparatus may recommend content including a second character instead of the first character.
일 실시예에 따르면, 도 3에 도시된 단계들은 서버와 단말의 조합으로 구현될 수 있다. 이 경우, 도 3에 도시된 단계들 중 일부는 단말에 의하여 수행되고, 나머지는 서버에 의하여 수행될 수 있다. 예를 들어, 입력 영상을 수신하는 단계(310)과 인식 특징을 추출하는 단계(320)은 단말에 의하여 수행될 수 있다. 단말은 추출된 인식 특징을 서버로 전송할 수 있다.According to one embodiment, the steps shown in FIG. 3 may be implemented in a combination of a server and a terminal. In this case, some of the steps shown in FIG. 3 may be performed by the terminal and the remainder may be performed by the server. For example, receiving (310) an input image and extracting (320) a recognition feature may be performed by the terminal. The terminal can transmit the extracted recognition characteristic to the server.
서버는 단말로부터 수신한 인식 특징에 기초하여, 단계(330) 내지 단계(350)을 수행할 수 있다. 단계(330) 및 단계(340)은 서버의 검색부에 의하여 수행되고, 단계(350)은 서버의 추천부에 의하여 수행될 수 있다. 서버는 제1 캐릭터에 관한 정보, 제2 캐릭터에 관한 정보 및/또는 추천 컨텐츠에 관한 정보를 포함하는 신호를 단말로 전송할 수 있다.The server may perform
도 4는 다른 실시예에 따라 컨텐츠를 추천하는 과정을 도시한 도면이다. 도 4를 참조하면, 추천 장치는 사람의 영상(410) 또는 캐릭터의 영상(415)으로부터 인식 특징(420)을 추출한다. 추천 장치는 인식 특징(420)에 기초하여 데이터베이스로부터 제1 캐릭터(430)를 검색한다.4 is a flowchart illustrating a process of recommending content according to another embodiment of the present invention. Referring to FIG. 4, the recommendation device extracts the
추천 장치는 미리 설정된 캐릭터 분석 요소들(440)에 기초하여 제1 캐릭터(430)를 분석할 수 있다. 추천 장치는 해당 캐릭터에 대한 얼굴 및 형상 특징 이외에도 해당 캐릭터를 묘사한 선의 굵기, 밀도, 농도 등과 같은 묘사 기법에 기초하여 제1 캐릭터(430)를 분석할 수 있다. The recommendation apparatus can analyze the
추천 장치는 분석 결과에 기초하여, 데이터베이스로부터 제1 캐릭터(430)와 관련성을 갖는 제2 캐릭터(450)를 검색할 수 있다. 예를 들어, 추천 장치는 데이터베이스로부터 제1 캐릭터(430)와 미리 설정된 기준 이상의 유사도를 갖는 제2 캐릭터(451, 453)를 검색할 수 있다. Based on the analysis result, the recommendation apparatus can retrieve a
또는, 추천 장치는 제1 캐릭터(430)와 미리 설정된 기준 이상의 상반도를 갖는 제2 캐릭터(455, 457)를 검색할 수 있다. 예를 들어, 추천 장치는 제1 캐릭터(430)와 상반된 캐릭터 특징(예를 들어, 얼굴이 작고, 눈, 코, 입이 모두 작으며, 입술이 두껍고, 문신 및 흉터가 있고, 광대가 튀어나옴, 타원형을 제외한 형태의 얼굴에 앞머리에 가르마가 없고, 체구가 약함, 양복을 입지 않고, 안경을 씀, 노인, 어린이, 청소년)을 결정하고, 데이터베이스로부터 상반된 캐릭터 특징을 포함하는 제2 캐릭터(455, 457)를 검색할 수 있다. Alternatively, the recommendation apparatus may search the
추천 장치는 제2 캐릭터를 포함하는 컨텐츠를 사용자에게 추천할 수 있다. 복수의 제2 캐릭터들이 검색되는 경우, 추천 장치는 복수의 제2 캐릭터들에 대응하는 복수의 컨텐츠를 사용자에게 추천할 수 있다. 이 경우, 미리 정해진 기준(예를 들어, 유사도, 상반도 등)에 따라 추천되는 컨텐츠가 정렬될 수 있다.The recommendation apparatus can recommend the contents including the second character to the user. When a plurality of second characters are searched, the recommendation apparatus can recommend a plurality of contents corresponding to the plurality of second characters to the user. In this case, the recommended content may be sorted according to a predetermined criterion (e.g., similarity degree, opposite degree, etc.).
일 실시예에 따르면, 추천 장치가 입력 영상의 캐릭터에 매칭되는 캐릭터를 제공하는 동시에, 해당 캐릭터와 유사하거나 상반된 캐릭터가 등장하는 컨텐츠를 추천 및 제공함으로써, 사용자로 하여금 추천된 컨텐츠에 대한 흥미를 유발시킬 수 있다. According to one embodiment, the recommendation apparatus provides a character matched to a character of an input image, and at the same time, recommends and provides content in which characters similar to or opposite to the character are present, thereby causing the user to generate interest in the recommended content .
도 5는 일 실시예에 따른 데이터베이스의 구조를 설명하기 위한 도면이다. 도 5를 참조하면, 일 실시예에 따른 데이터베이스(500)는 만화 컨텐츠, 애니메이션 컨텐츠, 게임 컨텐츠, 이모티콘 컨텐츠, 및 소설 컨텐츠 등의 필드를 포함할 수 있다. 도면에 도시하지 않았으나, 데이터베이스(500)는 영화 컨텐츠, 동영상 컨텐츠, 사진 컨텐츠, 블로그 컨텐츠, 카페 컨텐츠, 기사 컨텐츠, 쇼핑 컨텐츠, 및 광고 컨텐츠 등의 필드를 더 포함할 수 있다. 이때, 만화 컨텐츠는 제1 만화, 제2 만화 등과 같이 서로 다른 만화 항목들을 포함할 수 있다. 서로 다른 만화 항목들은 각 만화 장르 별로 분류될 수 있다. 각 만화 항목들은 해당 만화에 등장하는 주인공, 부주인공 및 그 밖의 다양한 등장 인물들의 캐릭터 이미지를 포함할 수 있다. 5 is a diagram for explaining the structure of a database according to an embodiment. Referring to FIG. 5, the
이때, 각 캐릭터 이미지는 해당 캐릭터의 눈, 코, 입, 귀 및 눈썹 각각의 위치, 크기, 모양 및 입술 두께, 점, 문신, 흉터, 수염 각각의 유무, 위치, 크기 및 모양, 광대가 나온 정도, 헤어 스타일, 얼굴 형태, 크기, 피부색, 얼굴 대비 모발의 비율과 같은 얼굴의 특징뿐만 아니라, 신체 비율, 체구, 및 옷 스타일 등과 같은 형상 특징에 대한 정보와 함께 링크되어 저장될 수 있다. 이 밖에도, 각 만화 항목들은 해당 만화의 대표 이미지, 회차별 썸네일 이미지 및 임의의 이미지 등을 포함할 수 있다. At this time, each character image includes the presence, position, size and shape of each of the eyes, nose, mouth, ear and eyebrows of each character, size, shape and lip thickness, point, tattoo, And information on shape characteristics such as body proportions, body parts, and clothes styles as well as facial features such as hair style, facial shape, size, skin color, face contrast ratio of hair, and the like. In addition, each cartoon item may include a representative image of the comic, a thumbnail image according to the rotation, and an arbitrary image.
데이터베이스(500)는 전술한 만화 컨텐츠와 마찬가지의 구조로 다른 컨텐츠 또한 각 컨텐츠에 포함된 캐릭터 이미지 및 해당 캐릭터 이미지의 얼굴 특징 및/또는 형상 특징 등을 저장할 수 있다. The
실시예에 따라서, 데이터베이스는 룩업 테이블의 형태로 구성될 수도 있다. 일 예로, 다양한 컨텐츠에 포함된 다수의 캐릭터들을 기준으로 해당 캐릭터가 어떠한 얼굴 특징 또는 형상 특징을 가지고 있는지 및/또는 해당 캐릭터가 포함된 컨텐츠가 무엇인지에 대한 정보 등이 테이블의 형태로 데이터베이스에 저장될 수 있다. Depending on the embodiment, the database may be organized in the form of a look-up table. For example, information on whether a character has a face feature or a feature feature based on a plurality of characters included in various contents, and / or information on which content includes the character is stored in a database in the form of a table .
도 6은 일 실시예에 따른 사용자 인터페이스(UI) 화면을 나타낸 도면이다. 도 6을 참조하면, 입력 영상을 촬영하기 위한 화면(610) 및 촬영된 입력 영상에 대한 인식 진행 결과로서 추천된 컨텐츠를 표시하는 화면(630)이 도시된다. 6 is a diagram illustrating a UI screen according to an exemplary embodiment of the present invention. Referring to FIG. 6, a
사용자는 화면(610)의 촬영 영역 내에 촬영할 대상(예를 들어, 만화 캐릭터 또는 사람)이 포함되도록 촬영할 수 있다. 화면(610)을 통해 촬영된 영상은 추천 장치의 입력 영상으로 제공될 수 있다. 또는, 사용자는 사진첩에 기 저장된 영상 중 어느 하나를 선택할 수 있다. 이 경우, 선택된 영상은 추천 장치의 입력 영상으로 제공될 수 있다.The user can shoot so that the subject (for example, a cartoon character or a person) to be photographed is included in the photographing area of the
또는, 사용자는 미리 정해진 다양한 조건들에 부합하는 추천 캐릭터들 중 어느 하나를 선택할 수 있다. 예를 들어, 사용자가 과거에 촬영한 이력이 있는 캐릭터, 또는 소셜 네트워크 서비스에서 실시간 인기도가 높은 캐릭터 등이 추천될 수 있다. 추천 캐릭터들은 촬영 영역 하단 등 미리 정해진 영역에 표시될 수 있다. 이 경우, 선택된 캐릭터의 이미지는 추천 장치의 입력 영상으로 제공될 수 있다.Alternatively, the user can select any one of the recommended characters meeting the predetermined various conditions. For example, a character with a history that the user has photographed in the past, or a character with high real-time popularity in a social network service may be recommended. The recommended characters can be displayed in a predetermined area such as the bottom of the photographing area. In this case, the image of the selected character may be provided as an input image of the recommendation apparatus.
추천 장치는 촬영된 영상에서 추출된 인식 특징에 기초하여 검색된 제1 캐릭터의 이미지 및 제1 캐릭터를 포함하는 컨텐츠에 대한 정보를 화면(630)의 일부(예를 들어, 화면(630)의 상단)에 표시할 수 있다. The recommendation apparatus displays information of the first character and the content including the first character searched based on the recognition feature extracted from the captured image on a part of the screen 630 (for example, at the top of the screen 630) Can be displayed.
또한, 추천 장치는 제1 캐릭터의 이미지와 관련성을 갖는 제2 캐릭터의 이미지 및 제2 캐릭터를 포함하는 컨텐츠(예를 들어, 만화 컨텐츠)를 화면(630)의 일부(예를 들어, 화면(630)의 하단)에 표시할 수 있다. In addition, the recommendation apparatus displays a content (e.g., cartoon content) including an image of a second character and a second character having relevance to the image of the first character on a part of the screen 630 ) On the right side).
사용자가 화면(630)에 표시된 제2 캐릭터의 이미지, 또는 제2 캐릭터를 포함하는 컨텐츠를 선택하는 경우, 추천 장치는 선택된 컨텐츠를 사용자에게 제공할 수 있다. When the user selects an image of the second character displayed on the
도면에 도시하지 않았으나, 일 실시예에 따른 추천 장치는 프로세서 및 메모리를 포함할 수 있다. 또한, 추천 장치는 이미지 센서 및/또는 통신 인터페이스를 더 포함할 수 있다. 프로세서, 메모리, 이미지 센서 및 통신 인터페이스는 통신 버스를 통해 서로 연결될 수 있다. Although not shown in the drawings, the recommendation apparatus according to an exemplary embodiment may include a processor and a memory. In addition, the recommendation apparatus may further include an image sensor and / or a communication interface. The processor, memory, image sensor, and communication interface may be interconnected via a communication bus.
통신 인터페이스는 적어도 하나의 통신 네트워크를 통하여 다른 장치들과의 통신을 가능하게 한다. 실시예에 따라서, 입력 영상은 추천 장치에 포함된 이미지 센서로부터 촬영되거나, 메모리에 기 저장되어 있거나, 통신 인터페이스를 통하여 추천 장치 외부로부터 수신될 수 있다.The communication interface enables communication with other devices via at least one communication network. According to the embodiment, the input image may be photographed from the image sensor included in the recommendation apparatus, stored in the memory, or received from outside the recommendation apparatus via the communication interface.
프로세서는 입력 영상을 인식하여 인식 특징을 추출하고, 인식 특징에 기초하여 데이터베이스로부터 제1 캐릭터의 이미지를 검색한다. 프로세서는 제1 캐릭터의 이미지에 기초하여 컨텐츠를 추천한다. 이 밖에도, 프로세서는 도 1 내지 도 6을 통해 전술한 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서는 프로그램을 실행하고, 추천 장치를 제어할 수 있다. 프로세서에 의하여 실행되는 프로그램 코드는 메모리에 저장될 수 있다.The processor recognizes the input image to extract the recognition feature, and retrieves the image of the first character from the database based on the recognition feature. The processor recommends the content based on the image of the first character. In addition, the processor may perform an algorithm corresponding to at least one method or at least one method described above with respect to Figures 1-6. The processor may execute the program and control the recommendation apparatus. The program code executed by the processor may be stored in a memory.
메모리는 데이터베이스를 저장할 수 있다. 메모리는 예를 들어, DRAM, SRAM, DDR RAM 또는 다른 고속 액세스 고체 상태 메모리 장치 등과 같은 고속 랜덤 액세스 메모리(high-speed random access memory)를 포함할 수 있다. 메모리는 휘발성 메모리 및 비휘발성 메모리를 포함할 수 있다. 메모리는 프로세서로부터 원격에 위치하는 적어도 하나의 저장 장치를 선택적으로 포함할 수 있다. Memory can store the database. The memory may include high-speed random access memory, such as, for example, DRAM, SRAM, DDR RAM or other fast-access solid-state memory devices. The memory may include volatile memory and non-volatile memory. The memory may optionally include at least one storage device remotely located from the processor.
추천 장치는 예를 들어, 스마트 폰, PC, 노트북, 랩탑, 웨어러블 디바이스 등과 같은 사용자 단말일 수 있다. 또는 추천 장치는 단일의 서버 컴퓨터 또는 이와 유사한 시스템이거나, 또는 하나 이상의 서버 뱅크들(server banks) 또는 그 외 다른 배열들로 배열되는 복수의 서버들일 수 있다. 추천 장치는 단일 시설에 놓일 수도 있고, 혹은 많은 서로 다른 지리적 위치들 간에 분산된 서버 "클라우드(cloud)"일 수도 있다. The recommendation device may be, for example, a user terminal such as a smart phone, a PC, a notebook, a laptop, a wearable device, and the like. Or the recommendation apparatus may be a single server computer or similar system, or a plurality of servers arranged in one or more server banks or other arrangements. The recommendation device may be located in a single facility, or it may be a server " cloud " distributed across many different geographic locations.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, 중앙 처리 장치(Central Processing Unit; CPU), 그래픽 프로세싱 유닛(Graphics Processing Unit; GPU), ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 주문형 집적 회로(Application Specific Integrated Circuits; ASICS), 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. The embodiments described above may be implemented in hardware components, software components, and / or a combination of hardware components and software components. For example, the apparatuses, methods, and components described in the embodiments may be implemented by, for example, a processor, a controller, a central processing unit (CPU), a graphics processing unit (GPU) arithmetic logic unit, a digital signal processor, a microcomputer, a field programmable gate array (FPGA), a programmable logic unit (PLU), a microprocessor, Application Specific Integrated Circuits (ASICS) may be implemented using one or more general purpose or special purpose computers, such as any other device capable of executing and responding to instructions.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Although the preferred embodiments of the present invention have been disclosed for illustrative purposes, those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced. Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (20)
상기 입력 영상을 인식하여 인식 특징을 추출하는 단계;
상기 인식 특징과 유사한 특징을 가지거나, 상기 인식 특징과 상반되는 특징을 가지는 제1 캐릭터를 데이터베이스로부터 검색하는 단계; 및
상기 제1 캐릭터를 포함하는 컨텐츠를 추천하는 단계
를 포함하는, 컨텐츠를 추천하는 방법.Receiving an input image;
Recognizing the input image and extracting recognition features;
Retrieving, from a database, a first character having a characteristic similar to the recognition characteristic or having a characteristic opposite to the recognition characteristic; And
Recommending content including the first character
Gt; a < / RTI > method of recommending content.
상기 인식 특징은
상기 입력 영상에 포함된 얼굴에서,
눈의 위치, 상기 눈의 크기, 상기 눈의 모양, 상기 눈의 묘사 정도, 코의 위치, 상기 코의 크기, 상기 코의 모양, 상기 코의 묘사 정도, 입의 위치, 상기 입의 크기, 상기 입의 모양, 상기 입의 묘사 정도, 입술 두께, 눈썹의 위치, 상기 눈썹의 크기, 상기 눈썹의 모양, 상기 눈썹의 묘사 정도, 귀의 위치, 상기 귀의 크기, 상기 귀의 모양, 상기 귀의 묘사 정도, 점의 유무, 상기 점의 위치, 상기 점의 크기, 상기 점의 모양, 문신의 유무, 상기 문신의 위치, 상기 문신의 크기, 상기 문신의 모양, 흉터의 유무, 상기 흉터의 위치, 상기 흉터의 크기, 상기 흉터의 모양, 수염의 유무, 상기 수염의 위치, 상기 수염의 크기, 상기 수염의 모양, 얼굴 형태, 얼굴 크기, 광대가 나온 정도, 피부색, 헤어 스타일, 얼굴 대비 모발의 비율, 상기 얼굴을 묘사한 선의 굵기, 상기 선의 밀도, 및 상기 선의 농도
중 적어도 하나를 포함하는, 컨텐츠를 추천하는 방법.The method according to claim 1,
The recognition feature
In the face included in the input image,
The size of the nose, the size of the eye, the size of the eye, the shape of the eye, the degree of the eye, the position of the nose, the size of the nose, the shape of the nose, The size of the eyebrow, the size of the eyebrow, the degree of description of the eyebrow, the position of the ear, the size of the ear, the shape of the ear, the degree of description of the ear, The size of the point, the shape of the point, the presence or absence of a tattoo, the position of the tattoo, the size of the tattoo, the shape of the tattoo, the presence or absence of a scar, the location of the scar, , The shape of the scar, the presence of the whiskers, the position of the whiskers, the size of the whiskers, the shape of the whiskers, the shape of the face, the size of the face, the degree of clown, the skin color, the hairstyle, The thickness of the line depicted, Degrees, and the line density
The method comprising the steps of:
상기 인식 특징은
신체 비율, 체구, 및 옷 스타일 중 적어도 하나를 포함하는 상기 얼굴 이외의 형상 특징
을 더 포함하는, 컨텐츠를 추천하는 방법.3. The method of claim 2,
The recognition feature
A shape feature other than the face including at least one of body proportions, body parts, and clothes styles
Further comprising the steps of:
상기 데이터베이스는
만화 컨텐츠, 애니메이션 컨텐츠, 게임 컨텐츠, 이모티콘 컨텐츠, 소설 컨텐츠, 영화 컨텐츠, 동영상 컨텐츠, 사진 컨텐츠, 블로그 컨텐츠, 카페 컨텐츠, 기사 컨텐츠, 쇼핑 컨텐츠, 및 광고 컨텐츠 중 적어도 하나를 포함하는, 컨텐츠를 추천하는 방법.The method according to claim 1,
The database
Recommending contents including at least one of cartoon contents, animation contents, game contents, emoticon contents, novel contents, movie contents, video contents, photograph contents, blog contents, cafe contents, article contents, shopping contents, Way.
상기 제1 캐릭터를 검색하는 단계는
상기 인식 특징에 포함된 복수의 요소들 중 상기 유사한 특징에 대응하여 미리 정해진 적어도 하나의 제1 요소 및 상기 적어도 하나의 제1 요소에 대응하는 유사 기준에 기초하여, 상기 제1 캐릭터를 검색하는 단계
를 포함하는, 컨텐츠를 추천하는 방법.The method according to claim 1,
The step of searching for the first character
Searching for the first character based on a similarity criterion corresponding to the at least one first element and the predetermined one of the plurality of elements included in the recognition feature,
Gt; a < / RTI > method of recommending content.
상기 제1 요소 및 상기 유사 기준은 상기 데이터베이스에 저장된 컨텐츠의 유형 별로 상이하게 설정되는, 컨텐츠를 추천하는 방법.6. The method of claim 5,
Wherein the first element and the similar criteria are set differently for each type of content stored in the database.
상기 제1 캐릭터를 검색하는 단계는
복수의 요소들 중 상기 상반되는 특징에 대응하여 미리 정해진 적어도 하나의 제2 요소 및 상기 적어도 하나의 제2 요소에 대응하는 상반 기준에 기초하여, 상기 제1 캐릭터를 검색하는 단계
를 포함하는, 컨텐츠를 추천하는 방법.The method according to claim 1,
The step of searching for the first character
Searching for the first character based on at least one second element determined in advance corresponding to the contradictory characteristic of the plurality of elements and an opposite criterion corresponding to the at least one second element
Gt; a < / RTI > method of recommending content.
상기 제2 요소 및 상기 상반 기준은 상기 데이터베이스에 저장된 컨텐츠의 유형 별로 상이하게 설정되는, 컨텐츠를 추천하는 방법.8. The method of claim 7,
Wherein the second element and the second criterion are set differently for each type of content stored in the database.
상기 제1 캐릭터의 캐릭터 분석 요소들에 기초하여, 상기 제1 캐릭터와 유사하거나, 상기 제1 캐릭터와 상반된 제2 캐릭터를 상기 데이터베이스로부터 검색하는 단계
를 더 포함하고,
상기 컨텐츠를 추천하는 단계는
상기 제2 캐릭터를 포함하는 컨텐츠를 추천하는 단계
를 포함하는, 컨텐츠를 추천하는 방법.The method according to claim 1,
Retrieving, from the database, a second character that is similar to or identical to the first character based on the character analysis elements of the first character;
Further comprising:
The step of recommending the content
Recommending the content including the second character
Gt; a < / RTI > method of recommending content.
상기 캐릭터 분석 요소들은
상기 제1 캐릭터의 눈의 위치, 상기 눈의 크기, 상기 눈의 모양, 상기 눈의 묘사 정도, 상기 제1 캐릭터의 코의 위치, 상기 코의 크기, 상기 코의 모양, 상기 코의 묘사 정도, 상기 제1 캐릭터의 입의 위치, 상기 입의 크기, 상기 입의 모양, 상기 입의 묘사 정도, 상기 제1 캐릭터의 입술 두께, 상기 제1 캐릭터의 눈썹의 위치, 상기 눈썹의 크기, 상기 눈썹의 모양, 상기 눈썹의 묘사 정도, 상기 제1 캐릭터의 귀의 위치, 상기 귀의 크기, 상기 귀의 모양, 상기 귀의 묘사 정도, 상기 제1 캐릭터의 점의 유무, 상기 점의 위치, 상기 점의 크기, 상기 점의 모양, 상기 제1 캐릭터의 문신의 유무, 상기 문신의 위치, 상기 문신의 크기, 상기 문신의 모양, 상기 제1 캐릭터의 흉터의 유무, 상기 흉터의 위치, 상기 흉터의 크기, 상기 흉터의 모양, 상기 제1 캐릭터의 수염의 유무, 상기 수염의 위치, 상기 수염의 크기, 상기 수염의 모양, 상기 제1 캐릭터의 얼굴 형태, 상기 제1 캐릭터의 얼굴 크기, 상기 제1 캐릭터의 헤어 스타일, 상기 제1 캐릭터의 얼굴 대비 모발의 비율, 상기 제1 캐릭터를 묘사한 선의 굵기, 상기 선의 밀도, 및 상기 선의 농도 중 적어도 하나를 포함하는 얼굴 분석 요소; 및
상기 제1 캐릭터의 신체 비율, 상기 제1 캐릭터의 체구, 및 상기 제1 캐릭터의 옷 스타일 중 적어도 하나를 포함하는 얼굴 이외의 분석 요소
중 적어도 하나를 포함하는, 컨텐츠를 추천하는 방법.10. The method of claim 9,
The character analysis elements
Wherein the position of the eyes of the first character, the size of the eyes, the shape of the eyes, the degree of the eyes, the position of the nose of the first character, the size of the nose, the shape of the nose, Wherein the size of the mouth of the first character, the size of the mouth, the shape of the mouth, the description of the mouth, the lip thickness of the first character, the position of the eyebrows of the first character, A position of the first character, a position of the first character, a size of the ear, a shape of the ear, a degree of description of the ear, a presence or absence of a point of the first character, a position of the point, The presence or absence of a tattoo of the first character, the position of the tattoo, the size of the tattoo, the shape of the tattoo, the presence or absence of a scar of the first character, the position of the scar, the size of the scar, , Presence or absence of the beard of the first character , The position of the hair, the size of the hair, the shape of the beard, the face shape of the first character, the face size of the first character, the hair style of the first character, the ratio of the hair to the face of the first character A face analyzing element including at least one of a thickness of the line describing the first character, a density of the line, and a density of the line; And
An analysis element other than a face including at least one of a body ratio of the first character, a body of the first character, and a clothes style of the first character
The method comprising the steps of:
상기 제2 캐릭터를 검색하는 단계는
상기 캐릭터 분석 요소들에 기초하여, 상기 제1 캐릭터를 분석하는 단계; 및
상기 분석 결과에 기초하여, 상기 데이터베이스로부터 상기 제1 캐릭터와 미리 설정된 기준 이상의 유사도를 갖는 제2 캐릭터를 검색하는 단계
를 포함하는, 컨텐츠를 추천하는 방법.10. The method of claim 9,
The step of searching for the second character
Analyzing the first character based on the character analysis elements; And
Searching for a second character having a degree of similarity higher than a predetermined reference from the first character from the database based on the result of the analysis,
Gt; a < / RTI > method of recommending content.
상기 제2 캐릭터를 검색하는 단계는
상기 캐릭터 분석 요소들에 기초하여, 상기 제1 캐릭터를 분석하는 단계;
상기 분석 결과에 기초하여, 상기 제1 캐릭터와 상반된 캐릭터의 특징을 결정하는 단계; 및
상기 데이터베이스로부터 상기 상반된 캐릭터의 특징을 포함하는 제2 캐릭터를 검색하는 단계
를 포함하는, 컨텐츠를 추천하는 방법.10. The method of claim 9,
The step of searching for the second character
Analyzing the first character based on the character analysis elements;
Determining a characteristic of the character opposite to the first character based on the analysis result; And
Retrieving a second character including the character of the opposing character from the database
Gt; a < / RTI > method of recommending content.
입력 인터페이스를 통한 사용자의 선택에 기초하여, 상기 추천된 컨텐츠에 포함된 캐릭터의 얼굴을 상기 입력 영상에 포함된 얼굴로 치환하는 단계; 및
상기 얼굴이 치환된 컨텐츠를 제공하는 단계
를 더 포함하는, 컨텐츠를 추천하는 방법.The method according to claim 1,
Replacing a face of a character included in the recommended content with a face included in the input image based on a user's selection through an input interface; And
Providing the content with the face replaced;
Further comprising the steps of:
상기 입력 영상을 인식하여 인식 특징을 추출하는 추출부;
상기 인식 특징을 서버로 송신하고, 상기 서버로부터 인식 특징에 대응하는 캐릭터와 관련된 정보를 수신하는 통신부; 및
상기 캐릭터와 관련된 정보에 기초하여, 상기 캐릭터를 포함하는 추천 컨텐츠를 표시하는 표시부
를 포함하는, 단말.A receiving unit for receiving an input image;
An extracting unit for recognizing the input image and extracting recognition features;
A communication unit that transmits the recognition feature to the server and receives information related to the character corresponding to the recognition feature from the server; And
A display unit for displaying recommended content including the character based on the information related to the character,
.
상기 인식 특징은
상기 입력 영상에 포함된 얼굴에서,
눈의 위치, 상기 눈의 크기, 상기 눈의 모양, 상기 눈의 묘사 정도, 코의 위치, 상기 코의 크기, 상기 코의 모양, 상기 코의 묘사 정도, 입의 위치, 상기 입의 크기, 상기 입의 모양, 상기 입의 묘사 정도, 입술 두께, 눈썹의 위치, 상기 눈썹의 크기, 상기 눈썹의 모양, 상기 눈썹의 묘사 정도, 귀의 위치, 상기 귀의 크기, 상기 귀의 모양, 상기 귀의 묘사 정도, 점의 유무, 상기 점의 위치, 상기 점의 크기, 상기 점의 모양, 문신의 유무, 상기 문신의 위치, 상기 문신의 크기, 상기 문신의 모양, 흉터의 유무, 상기 흉터의 위치, 상기 흉터의 크기, 상기 흉터의 모양, 수염의 유무, 상기 수염의 위치, 상기 수염의 크기, 상기 수염의 모양, 상기 수염의 묘사 정도, 얼굴 형태, 얼굴 크기, 광대가 나온 정도, 피부색, 헤어 스타일, 얼굴 대비 모발의 비율, 상기 얼굴을 묘사한 선의 굵기, 상기 선의 밀도, 및 상기 선의 농도
중 적어도 하나를 포함하는, 단말.16. The method of claim 15,
The recognition feature
In the face included in the input image,
The size of the nose, the size of the eye, the size of the eye, the shape of the eye, the degree of the eye, the position of the nose, the size of the nose, the shape of the nose, The size of the eyebrow, the size of the eyebrow, the degree of description of the eyebrow, the position of the ear, the size of the ear, the shape of the ear, the degree of description of the ear, The size of the point, the shape of the point, the presence or absence of a tattoo, the position of the tattoo, the size of the tattoo, the shape of the tattoo, the presence or absence of a scar, the location of the scar, The shape of the scar, the presence or absence of a whisker, the position of the whisker, the size of the whisker, the shape of the whisker, the description of the whisker, the face shape, the face size, the degree of the clown, the skin color, Of the face, depicting the face The thickness of the line, the line density, and the line density
And at least one of the plurality of terminals.
상기 인식 특징은
신체 비율, 체구, 및 옷 스타일 중 적어도 하나를 포함하는 상기 얼굴 이외의 형상 특징
을 더 포함하는, 단말.17. The method of claim 16,
The recognition feature
A shape feature other than the face including at least one of body proportions, body parts, and clothes styles
Further comprising:
상기 인식 특징과 유사한 특징을 가지거나, 상기 인식 특징과 상반되는 특징을 가지는 제1 캐릭터를 데이터베이스로부터 검색하는 검색부;
상기 제1 캐릭터를 포함하는 컨텐츠를 추천하는 추천부; 및
상기 제1 캐릭터 및 상기 컨텐츠 중 적어도 하나를 포함하는 정보를 단말로 송신하는 통신부
를 포함하는, 컨텐츠를 추천하는 장치.An acquiring unit for acquiring a recognition feature extracted from an input image;
A retrieval unit for retrieving a first character having a characteristic similar to the recognition characteristic or having a characteristic opposite to the recognition characteristic, from a database;
A recommendation unit for recommending contents including the first character; And
And a communication unit for transmitting information including at least one of the first character and the content to the terminal
And the content recommendation apparatus.
상기 검색부는
상기 인식 특징에 포함된 복수의 요소들 중 상기 유사한 특징에 대응하여 미리 정해진 적어도 하나의 제1 요소 및 상기 적어도 하나의 제1 요소에 대응하는 유사 기준에 기초하여, 상기 제1 캐릭터를 검색하거나,
상기 복수의 요소들 중 상기 상반되는 특징에 대응하여 미리 정해진 적어도 하나의 제2 요소 및 상기 적어도 하나의 제2 요소에 대응하는 상반 기준에 기초하여, 상기 제1 캐릭터를 검색하는, 컨텐츠를 추천하는 장치.19. The method of claim 18,
The search unit
Searching for the first character based on at least one first element corresponding to the similar feature among the plurality of elements included in the recognition feature and a similar reference corresponding to the at least one first element,
Searching for the first character based on at least one second element predetermined for the opposite character among the plurality of elements and an opposite criterion corresponding to the at least one second element, Device.
상기 검색부는 상기 제1 캐릭터의 캐릭터 분석 요소들에 기초하여, 상기 제1 캐릭터와 유사하거나, 상기 제1 캐릭터와 상반된 제2 캐릭터를 상기 데이터베이스로부터 검색하고,
상기 추천부는 상기 제2 캐릭터를 포함하는 컨텐츠를 추천하는, 컨텐츠를 추천하는 장치.19. The method of claim 18,
The retrieval unit retrieves from the database a second character that is similar to the first character or is in conflict with the first character based on the character analysis elements of the first character,
And the recommendation section recommends the content including the second character.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160182866A KR101905501B1 (en) | 2016-12-29 | 2016-12-29 | Method and apparatus of recommending contents |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160182866A KR101905501B1 (en) | 2016-12-29 | 2016-12-29 | Method and apparatus of recommending contents |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180077959A true KR20180077959A (en) | 2018-07-09 |
| KR101905501B1 KR101905501B1 (en) | 2018-10-08 |
Family
ID=62919241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160182866A KR101905501B1 (en) | 2016-12-29 | 2016-12-29 | Method and apparatus of recommending contents |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101905501B1 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200044435A (en) * | 2018-10-19 | 2020-04-29 | 인하대학교 산학협력단 | Customized image recommendation system using shot classification of images |
| KR20200123689A (en) * | 2019-04-22 | 2020-10-30 | 서울시립대학교 산학협력단 | Method and apparatus for generating a voice suitable for the appearance |
| KR102180805B1 (en) * | 2019-11-12 | 2020-11-19 | 네오코믹스 주식회사 | An automatic audio extraction system for webtoon by identifying speakers of a speech buble |
| KR20210066390A (en) * | 2019-11-28 | 2021-06-07 | 한국전자기술연구원 | Personal Information De-identification Method and System |
| KR20210129955A (en) * | 2020-04-21 | 2021-10-29 | (주)에임즈 | Method of analyzing hair condition and apparatus and system of providing hair information |
| EP4307200A4 (en) * | 2021-03-11 | 2024-07-17 | Hitachi Solutions Ltd | Manga advertisement production assistance system, and manga advertisement production assistance method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4281848A4 (en) | 2021-06-11 | 2024-07-17 | Samsung Electronics Co Ltd | Methods and systems for generating one or more emoticons for one or more users |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030023291A (en) * | 2001-09-13 | 2003-03-19 | 주식회사 조이퍼스트 | Method and apparatus for automatically manufacturing charactor |
| KR20070122042A (en) * | 2006-06-23 | 2007-12-28 | (주)맥서러씨 | The system which simulates the cyber-character which the user feature is reflected |
| KR20080002187A (en) * | 2006-06-30 | 2008-01-04 | 주식회사 케이티 | System and method for customized emotion service with an alteration of human being's emotion and circumstances |
| KR20150114002A (en) * | 2014-03-28 | 2015-10-12 | 경희대학교 산학협력단 | Method for recommending content based on response of user |
| KR20160009514A (en) * | 2014-07-15 | 2016-01-26 | 황보연 | Apparatus and method for intermediating trade of character identity |
-
2016
- 2016-12-29 KR KR1020160182866A patent/KR101905501B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030023291A (en) * | 2001-09-13 | 2003-03-19 | 주식회사 조이퍼스트 | Method and apparatus for automatically manufacturing charactor |
| KR20070122042A (en) * | 2006-06-23 | 2007-12-28 | (주)맥서러씨 | The system which simulates the cyber-character which the user feature is reflected |
| KR20080002187A (en) * | 2006-06-30 | 2008-01-04 | 주식회사 케이티 | System and method for customized emotion service with an alteration of human being's emotion and circumstances |
| KR20150114002A (en) * | 2014-03-28 | 2015-10-12 | 경희대학교 산학협력단 | Method for recommending content based on response of user |
| KR20160009514A (en) * | 2014-07-15 | 2016-01-26 | 황보연 | Apparatus and method for intermediating trade of character identity |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200044435A (en) * | 2018-10-19 | 2020-04-29 | 인하대학교 산학협력단 | Customized image recommendation system using shot classification of images |
| KR20200123689A (en) * | 2019-04-22 | 2020-10-30 | 서울시립대학교 산학협력단 | Method and apparatus for generating a voice suitable for the appearance |
| KR102180805B1 (en) * | 2019-11-12 | 2020-11-19 | 네오코믹스 주식회사 | An automatic audio extraction system for webtoon by identifying speakers of a speech buble |
| KR20210066390A (en) * | 2019-11-28 | 2021-06-07 | 한국전자기술연구원 | Personal Information De-identification Method and System |
| KR20210129955A (en) * | 2020-04-21 | 2021-10-29 | (주)에임즈 | Method of analyzing hair condition and apparatus and system of providing hair information |
| EP4307200A4 (en) * | 2021-03-11 | 2024-07-17 | Hitachi Solutions Ltd | Manga advertisement production assistance system, and manga advertisement production assistance method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101905501B1 (en) | 2018-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101905501B1 (en) | Method and apparatus of recommending contents | |
| US20210405831A1 (en) | Updating avatar clothing for a user of a messaging system | |
| US9324006B2 (en) | System and method for displaying contextual supplemental content based on image content | |
| CN109416685B (en) | Method for active interaction with a user | |
| US10043109B1 (en) | Attribute similarity-based search | |
| US10083521B1 (en) | Content recommendation based on color match | |
| US10593085B2 (en) | Combining faces from source images with target images based on search queries | |
| US9171013B2 (en) | System and method for providing objectified image renderings using recognition information from images | |
| US8649572B2 (en) | System and method for enabling the use of captured images through recognition | |
| US20210409535A1 (en) | Updating an avatar status for a user of a messaging system | |
| US20060251292A1 (en) | System and method for recognizing objects from images and identifying relevancy amongst images and information | |
| KR102668172B1 (en) | Identification of physical products for augmented reality experiences in messaging systems | |
| US11468883B2 (en) | Messaging system with trend analysis of content | |
| US12008811B2 (en) | Machine learning-based selection of a representative video frame within a messaging application | |
| CN110827058A (en) | Multimedia promotion resource insertion method, equipment and computer readable medium | |
| US20230111437A1 (en) | System and method for content recognition and data categorization | |
| US10346901B1 (en) | Computer generation of composite images | |
| CN114846812A (en) | Abstract video generation method and device and server | |
| CN111447260A (en) | Information pushing and information publishing method and device | |
| CN113761281B (en) | Virtual resource processing method, device, medium and electronic equipment | |
| EP4272184A1 (en) | Selecting representative video frame by machine learning | |
| CN112750004A (en) | Cross-domain commodity cold start recommendation method and device and electronic equipment | |
| CN113168522A (en) | Server, method and computer-readable storage medium for selecting eyewear equipment | |
| KR20190117958A (en) | Method for image searching based on combination of picture and sketch | |
| US20240249717A1 (en) | Messaging system with trend analysis of content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| E90F | Notification of reason for final refusal | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190329 Year of fee payment: 6 |