KR20200032394A - 조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램 - Google Patents
조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램 Download PDFInfo
- Publication number
- KR20200032394A KR20200032394A KR1020180111358A KR20180111358A KR20200032394A KR 20200032394 A KR20200032394 A KR 20200032394A KR 1020180111358 A KR1020180111358 A KR 1020180111358A KR 20180111358 A KR20180111358 A KR 20180111358A KR 20200032394 A KR20200032394 A KR 20200032394A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- image
- item
- pseudo
- image item
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 50
- 238000010801 machine learning Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims abstract description 18
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000008451 emotion Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000009825 accumulation Methods 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000036651 mood Effects 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Tourism & Hospitality (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명의 실시 예에 따른 메시지 서비스 제공 프로그램은, 사용자 단말기로 메시지 인터페이스를 제공하며, 상기 메시지 인터페이스를 통해 송수신되는 메시지를 처리하되, 상기 인터페이스를 통해 상기 메시지에 포함 가능한 하나 이상의 의사 표현 이미지 아이템을 상기 사용자 단말기로 제공하는 기능; 상기 하나 이상의 의사 표현 이미지 아이템을 저장하는 기능; 상기 데이터베이스에 저장되는 하나 이상의 의사 표현 이미지 아이템을 요소 정보에 따라 분류 관리하는 기능; 및 상기 시각 아이템 관리부의 분류 관리 정보에 기초한 상기 의사 표현 이미지 아이템 데이터베이스의 머신 러닝을 처리하여, 의사 표현 이미지 아이템 학습 모델을 생성하고, 상기 학습 모델을 이용하여 상기 데이터베이스에 저장된 제1 의사 표현 이미지 아이템과, 제2 의사 표현 이미지 아이템을 선택 조합한 조합형 이미지 아이템을 생성하는 기능을 포함한다.
Description
본 발명은 메시지 처리를 위한 프로그램에 관한 것이다. 보다 구체적으로, 본 발명은 의사 표현을 위한 조합형 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램에 관한 것이다.
채팅 서비스와 같은 메시지 서비스에 있어서, 사용자들의 감정을 나타내기 위해, 이모티콘이나 이모지 등의 다양한 형태의 표현 방식이 이용되고 있다.
이모티콘은 채팅 서비스에서 서비스 사용자들의 감정을 나타내기 위해 사용하는 기호로써, 감정(Emotion)과 아이콘(Icon)을 합성한 용어이며, 초창기의 이모티콘은 키보드에 있는 각종 기호와 문자의 단순 조합으로 만들어 졌지만, 최근에는 다양한 형태의 캐릭터 이미지를 통해 사용자의 감정을 나타내는 형태로 발전하였다.
또한, 이모지는 문자 조합에 기반한 이모티콘 방식과는 달리, 플랫폼 시스템의 글꼴 형태로 내재시킨 그림 문자를 출력하는 방식으로서, 입력된 이모지 코드에 대응하는 감정 표현 이미지가 출력되는 방식이 예시되고 있다.
이러한 이모지 및 이모티콘에 대한 서비스 사용자들의 수요가 증가하면서, 메시지 서비스에서 다양한 종류의 의사 표현 이미지 아이템들을 지정하여 서비스 사용자들에게 제공하는 것이 일반화되었다.
그러나, 이모지, 이모티콘 등의 기존 의사 표현 이미지 아이템들은 각 의사 표현에 맞는 이미지들을 디자이너가 임의로 생성하여야 하고, 생성된 이미지를 의사 표현에 매칭시켜 플랫폼 시스템상에 저장시켜야 하며, 사용자가 저장된 플랫폼 시스템상에서 호출 및 선택하여야만 메시지상에 입력할 수 있는 불편함이 존재한다.
이러한 점은 이모지 및 이모티콘의 수요가 지속적으로 증가되고 있는 현재 환경에 있어서, 생성 개수에 비례하여 증가하는 디자인 비용 증가와, 플랫폼 업데이트에 의한 시스템 구축비용 증가 및 사용자 입력시 불필요한 이미지들이 증가하여 입력 시간이 오래 걸리거나 원하지 않는 다수 이미지들이 나타나는 문제점들을 야기시킬 수 있다.
이러한 한계 및 불편함으로 인해, 각 시스템 OS 나 메신저 플랫폼별 이모지, 이모티콘의 업데이트는 상당 기간의 주기를 거쳐 대규모로 업데이트되는 것이 일반적이며, 특히 이러한 환경에서는 특정 이미지에 대한 문제점이나 불만사항이 발생되더라도 실시간으로 반영되지 못하는 문제점도 발생하게 된다.
본 발명은 상기한 바와 같은 문제점을 해결하고자 안출된 것으로, 별도의 디자인 시간이나 비용 부담 없이도 머신 러닝에 따른 학습 데이터 누적에 따라 점진적으로 자연스러운 의사 표현 이미지들을 생산할 수 있으며, 이에 대응하는 실시간적인 피드백을 반영할 수 있어, 극대화된 다양성과 피드백이 반영된 이모지 또는 이모티콘들을 제공할 수 있는 조합형 의사 표현 이미지 아이템을 포함하는 메시지 처리를 위한 프로그램을 제공하는데 그 목적이 있다.
상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 프로그램은, 사용자 단말기로 메시지 인터페이스를 제공하며, 상기 메시지 인터페이스를 통해 송수신되는 메시지를 처리하되, 상기 인터페이스를 통해 상기 메시지에 포함 가능한 하나 이상의 의사 표현 이미지 아이템을 상기 사용자 단말기로 제공하는 기능; 상기 하나 이상의 의사 표현 이미지 아이템을 저장하는 기능; 상기 데이터베이스에 저장되는 하나 이상의 의사 표현 이미지 아이템을 요소 정보에 따라 분류 관리하는 기능; 및 상기 시각 아이템 관리부의 분류 관리 정보에 기초한 상기 의사 표현 이미지 아이템 데이터베이스의 머신 러닝을 처리하여, 의사 표현 이미지 아이템 학습 모델을 생성하고, 상기 학습 모델을 이용하여 상기 데이터베이스에 저장된 제1 의사 표현 이미지 아이템과, 제2 의사 표현 이미지 아이템을 선택 조합한 조합형 이미지 아이템을 생성하는 기능을 포함한다.
본 발명의 실시 예에 따르면, 의사 표현 이미지 아이템들의 요소 분류 정보와 이미지를 입력값으로 하는 머신 러닝 처리를 기반으로 조합형 의사 표현 이미지들을 생성하고, 상기 조합형 의사 표현 이미지 아이템들을 사용하는 메시지 서비스를 제공할 수 있다.
이에 따라, 본 발명의 실시 예에 따르면 별도의 디자인 시간이나 비용 부담 없이도 머신 러닝에 따른 학습 데이터 누적에 따라 자연스러운 의사 표현 이미지들을 생산할 수 있으며, 이에 대응하는 실시간적인 피드백을 반영할 수 있어, 다양화되고 개인화되는 이모지 또는 이모티콘들을 제공할 수 있는 조합형 의사 표현 이미지 아이템을 포함하는 메시지 처리를 위한 프로그램을 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 조합형 이미지 아이템 생성부를 보다 구체적으로 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 조합형 이미지 아이템 생성 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시 예에 따른 조합형 이미지 아이템의 생성 예이다.
도 6 내지 도 7은 본 발명의 실시 예에 따라 제공되는 메시지 인터페이스를 설명하기 위한 도면들이다.
도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 도시한 블록도이다.
도 3은 본 발명의 실시 예에 따른 조합형 이미지 아이템 생성부를 보다 구체적으로 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 조합형 이미지 아이템 생성 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시 예에 따른 조합형 이미지 아이템의 생성 예이다.
도 6 내지 도 7은 본 발명의 실시 예에 따라 제공되는 메시지 인터페이스를 설명하기 위한 도면들이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 도면이다.
도 1을 참조하면 본 발명의 일 실시 예에 따른 시스템은 복수의 사용자 단말(100) 및 서비스 제공 장치(200)를 포함할 수 있다.
보다 구체적으로, 사용자 단말(100)들 및 서비스 제공 장치(200)는 네트워크를 통해 유선 또는 무선으로 연결될 수 있으며, 네트워크간 상호간 통신을 위해 각 사용자 단말(100) 및 서비스 제공 장치(200)는 인터넷 네트워크, LAN, WAN, PSTN(Public Switched Telephone Network), PSDN(Public Switched Data Network), 케이블 TV 망, WIFI, 이동 통신망 및 기타 무선 통신망 등을 통하여 데이터를 송수신할 수 있다. 또한, 각 사용자 단말(100) 및 서비스 제공 장치(200)는 각 통신망에 상응하는 프로토콜로 통신하기 위한 각각의 통신 모듈을 포함할 수 있다.
그리고, 본 명세서에서 설명되는 사용자 단말(100)에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있으나, 본 발명은 이에 한정되지 아니하며 그 이외에 사용자 입력 및 정보 표시 등이 가능한 다양한 장치일 수 있다.
이와 같은 시스템에 있어서, 사용자 단말(100)은 서비스 제공 장치(200)와 연결되어 다른 사용자 단말과의 메시지 인터페이스 서비스를 제공받을 수 있다.
이러한 처리를 위해, 서비스 제공 장치(200)는 사용자 단말(100)로 메시지 인터페이스를 제공하고, 상기 메시지 인터페이스를 통해 수신된 메시지를 다른 사용자 단말로 전달하거나, 다른 사용자 단말로부터 수신된 메시지를 사용자 단말(100)로 전달하는 처리를 수행할 수 있다.
예를 들어, 서비스 제공 장치(200)는 채팅 서버 장치일 수 있으며, 사용자 단말(100)은 채팅 어플리케이션이 설치된 휴대용 단말일 수 있고, 서비스 제공 장치(200)는 각 사용자 단말 상호간 또는 사용다 단말들에 의해 생성된 그룹 내에서의 채팅 인터페이스를 제공하고, 상기 채팅 인터페이스를 통해 송수신되는 메시지를 중계 및 보관 처리할 수 있다.
서비스 제공 장치(200)에서 처리되는 메시지는 다양한 메시지 컨텐츠를 포함할 수 있으며, 상기 컨텐츠는 이메일, 단문 또는 장문 문자 메시지 포맷의 데이터를 포함할 수 있고, 서비스 제공 장치(200)는 상기 메시지 컨텐츠를 이동통신망 또는 전용 인터넷망을 통해 상기 이메일, 단문 또는 장문 문자 메시지 포맷의 데이터를 전송할 수 있다.
한편, 서비스 제공 장치(200)는 통신 프로토콜 변환, 파일(File) 서버, 콜렉트(Collect) 서버, 푸시 게이트웨이(Gateway) 서버, 전송 서버, 어카운트 서버, 어드민 서버, 수신 서버, 변환 서버, 메시징 서버, 푸시(push) 수신 서버, 푸시 발송 서버 기능 등의 전반적인 역할을 수행하는 서버 장치로 구현될 수 있다.
또한, 사용자 단말(100)과 서비스 제공 장치(200)가 접속된 통신 네트워크가 각각 상이한 네트워크일 수 있으며, 이에 따라 서비스 제공 장치(200)는 각 네트워크 프로토콜에 따른 데이터 변환 처리를 제공할 수 있다. 그리고, 서비스 제공 장치(200)는 필요에 따라 메시지 정보의 전부 또는 일부를 암호화하여 관리할 수 있다.
또한, 본 발명의 실시 예에 따른 서비스 제공 장치(200)는 사용자 단말(100)로 메시지 서비스에 따라 처리되는 다양한 부가 정보 및 기능을 제공할 수 있고, 서비스 가입 및 제휴 처리를 제공하거나, 금융 서버와 통신하여 복수의 사업자 서버와의 제휴 서비스를 제공하기 위한 과금 처리 등을 더 수행할 수 있다.
또한, 사용자 단말(100)에는 별도의 어플리케이션이 설치될 수 있으며, 별도의 제어부(미도시), 저장부(미도시), 출력부(미도시) 및 통신부(미도시)를 포함하는 일반적인 휴대 단말의 구성을 기본적으로 포함할 수 있다.
이와 같은 시스템을 통해, 서비스 제공 장치(200)가 메시지 인터페이스를 통해 송수신되는 메시지 컨텐츠의 중계 서비스를 제공함에 있어서, 상기 메시지 인터페이스에는 하나 이상의 의사 표현 이미지 아이템이 포함될 수 있다.
의사 표현 이미지 아이템은, 사용자의 감정, 기분, 상태 및 기타 표현하고자 하는 의사를 나타내는 이미지를 포함할 수 있으며, 상기 이미지는 예를 들어, 특정 의사 표현 정보에 매칭되는 그림 문자 이모지 포맷, 문자 이모티콘 포맷 또는 별도 지정된 그림 파일 포맷, 또는 움직임을 허용하는 파일 포맷의 데이터로 구성될 수 있다. 또한, 의사 표현 정보는 감정, 기분, 상태 또는 기타 의사를 키워드와, 부가 설명을 나타내는 데이터를 포함할 수 있으며, 하나의 이미지에는 하나 이상의 키워드와, 부가 설명을 표현하는 데이터가 매칭될 수 있다.
이에 따라, 서비스 제공 장치(200)는 의사 표현 정보와 상기 이미지를 융합하고, 융합된 정보를 의사 표현 이미지 아이템으로서 저장 및 관리할 수 있으며, 서비스 제공 장치(200)는 의사 표현 이미지 아이템 리스트를 생성하여 사용자 단말(100)에서 출력되는 메시지 인터페이스를 통해 제공할 수 있다.
사용자 단말(100)은 상기 메세지 인터페이스를 통해 메시지를 입력하거나, 상기 의사 표현 이미지 아이템 리스트에서 원하는 의사 표현 이미지 아이템을 선택하여 입력할 수 있으며, 입력된 의사 표현 이미지 아이템을 포함하는 메시지가 다른 사용자 단말로 전달되거나, 그룹 채팅방에 게시물로서 등록될 수 있다.
그리고, 서비스 제공 장치(200)는 기 저장된 기존의 의사 표현 이미지 아이템들에 대응하는 머신 러닝 처리를 수행하여 이미지 아이템 학습 모델을 생성할 수 있으며, 학습 모델에 기초하여 새로 조합된 조합형 의사 표현 이미지 아이템을 생성할 수 있다.
여기서, 학습 모델은 기존의 의사 표현 이미지 아이템들로부터 이미지 아이템의 조합 생성을 위한 조건 설정 정보를 도출하기 위한 모델일 수 있으며, 조건 설정 정보 도출 알고리즘을 학습시키기 위해, 의사 표현 이미지 아이템들을 가공하여 트레이닝 정보로서의 요소 분류 정보를 획득하고, 상기 요소 분류 정보를 입력값으로 하는 머신 러닝 처리를 수행할 수 있다.
그리고, 서비스 제공 장치(200)는 의사 표현 이미지 데이터베이스로부터 제1 의사 표현 이미지 아이템과, 제2 의사 표현 이미지 아이템을 선택하며, 학습된 조건 설정 정보에 따라, 각 의사 표현 이미지 아이템의 요소들을 조합하여 조합형 의사 표현 이미지들을 생성하고, 생성된 조합형 의사 표현 이미지들을 저장하며, 상기 조합형 의사 표현 이미지 아이템들을 사용하는 메시지 서비스를 제공할 수 있다.
이에 따라, 본 발명의 실시 예에 따르면 별도의 디자인 시간이나 비용 부담 없이도 머신 러닝에 따른 학습 데이터 누적에 따라 자연스러운 의사 표현 이미지들을 생산할 수 있으며, 이에 대응하는 실시간적인 피드백을 반영할 수 있어, 다양화되고 개인화되는 이모지 또는 이모티콘들을 제공할 수 있는 조합형 의사 표현 이미지 아이템을 포함하는 메시지 처리 방법 및 그 장치를 제공할 수 있다.
도 2는 본 발명의 실시 예에 따른 서비스 제공 장치를 보다 구체적으로 도시한 블록도이며, 도 3은 본 발명의 실시 예에 따른 조합형 이미지 아이템 생성부를 보다 구체적으로 도시한 블록도이다.
도 2 및 도 3을 참조하면, 서비스 제공 장치(200)는 제어부(210), 통신부(220), 메시지 인터페이스부(225), 데이터베이스(240), 시각 아이템 관리부(250), 분석부(260) 및 조합형 이미지 아이템 생성부(230)를 포함할 수 있다.
제어부(210)는 각 모듈의 전반적인 동작을 제어하여, 본 발명의 실시 예에 따른 서비스 제공 방법에 따른 동작 처리를 제공하며, 이를 위한 하나 이상의 마이크로 프로세서를 포함할 수 있다.
통신부(220)는 사용자 단말기(100) 또는 서비스 제공 장치(200)가 위치한 네트워크 사이의 유선 또는 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 통신부(220)는 이동통신 모듈, 유선 인터넷 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.
그리고, 메시지 인터페이스부(225)는 본 발명의 실시 예에 따른 서비스를 이용하는 사용자들에 대응하여 사용자 정보를 등록하고, 송수신되는 메시지를 중계, 저장 및 관리할 수 있다. 사용자 정보는 메시지를 송수신하는 사용자 식별 정보를 포함할 수 있으며, 사용자 정보는 사용자 단말기(100)로부터 수신되는 사용자 정보 등록 또는 갱신 요청에 따라 신규 등록, 갱신 및 관리될 수 있다. 또한, 사용자 정보의 전부 또는 일부 정보는 암호화되어 저장될 수 있다.
한편, 데이터베이스(240)는 각 구성요소들의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 의사 표현 이미지 아이템, 조합형 이미지 아이템 등)을 저장할 수도 있으며, 학습 처리를 위해 별도 분류된 데이터베이스를 저장 및 관리할 수도 있다.
시각 아이템 관리부(250)는 데이터베이스(240)를 통해 저장되는 의사 표현 이미지 아이템들을 그 분류 정보에 따라 매칭시켜 저장 및 관리할 수 있다. 상기 분류 정보는 이미지 아이템의 각 요소별 속성 정보를 포함할 수 있으며, 요소별 속성 정보는 예를 들어, 의사 표현 종류 정보, 이미지 타입 정보, 사용자별 이용 횟수 정보, 피드백 정보 등이 예시될 수 있다.
그리고, 시각 아이템 관리부(250)는 메시지 인터페이스부(225)를 통해 사용자 단말(100)로부터 수신되는 상기 피드백 정보를 수신하여, 의사 표현 이미지 아이템의 분류 정보에 적용할 수 있으며, 상기 피드백 정보는 예를 들어 의사 표현 이미지 아이템에 대응하는 요소별 평가 정보, 신고 정보 또는 사용율 정보 중 적어도 하나를 포함할 수 있다.
특히, 신고 정보가 수신된 경우 시각 아이템 관리부(250)는 신고 정보에 대응하는 의사 표현 이미지 아이템의 수정 또는 삭제 처리를 수행할 수 있는 바, 이와 같은 데이터베이스(240) 갱신이 실시간으로 처리됨으로써, 각 의사 표현 이미지 아이템에 대응하는 사용자 피드백이 적극적으로 반영될 수 있다.
한편, 시각 아이템 관리부(250)는 조합형 이미지 아이템 생성부(230)의 조합 이미지 생성을 위한 분류 정보를 제공할 수 있으며, 조합형 이미지 아이템 생성부(230)에서 생성되는 조합형 이미지 아이템를 데이터베이스(240)에 신규 등록하여 관리할 수도 있다.
보다 구체적으로, 도 3을 참조하면, 조합형 이미지 아이템 생성부(230)는, 이미지 아이템 조합부(231), 제1 머신 러닝 처리부(233), 피드백 정보 가중치 적용부(235) 및 제2 머신 러닝 처리부(237)를 포함하며, 머신 러닝에 따라 생성된 이미지 아이템 생성 학습 모델(232)이 데이터베이스(240)를 통해 구비될 수 있다.
제1 머신 러닝 처리부(233)는, 상기 시각 아이템 관리부(250)의 분류 관리 정보에 기초한 상기 의사 표현 이미지 아이템 데이터베이스(240)의 제1 머신 러닝을 처리하여, 초기 이미지 아이템 학습 모델을 생성하고, 생성된 이미지 아이템 생성 학습 모델(232)이 데이터베이스(240)에 저장되도록 처리한다.
여기서, 이미지 아이템 생성 학습 모델은 이미지 아이템의 생성을 위한 조합 설정 정보 매칭 알고리즘을 도출하기 위한 학습 모델을 포함할 수 있으며, 입력 변수로서 이미지 아이템의 분류 정보를 포함할 수 있고, 출력 변수는 의사 표현 이미지 아이템간 조합을 위한 조합 설정 정보를 포함할 수 있다. 조합 설정 정보는 요소간 결합 정보를 포함할 수 있으며, 조합 대상인 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템의 이미지 배치 타입 정보, 이미지 그리드 위치 정보, 이미지 스케일 비율 정보, 의미 결합 정보, 키워드 결합 정보, 선호 정보, 설정 정보 중 적어도 하나를 포함할 수 있다.
제1 머신 러닝 처리부(233)에서의 머신 러닝 알고리즘은 하나 이상의 처리 방식이 이용될 수 있으며, 나아가 입력 변수와 타겟 변수를 복수개의 머신러닝 알고리즘과 복수개의 머신러닝 알고리즘의 조합에 적용하여 사전 학습하고, 학습한 결과에 따른 알고리즘 각각의 정확도, 정확도 대비 연산시간, 성능비 및 모델의 안정성(fitness) 중에서 적어도 하나를 고려하여 최적의 머신러닝 알고리즘 또는 최적의 조합된 머신러닝 알고리즘이 결정될 수 있다.
제1 머신 러닝 처리부(233)에서 처리되는 머신러닝 알고리즘은 예를 들어, 리지 회귀분석(Ridge Regression), 로지스틱 회기분석(Logistic Regression), 일반화선형모형(Generalized Linear Model), 랜덤 포레스트(Random Forest), 변화 부양 모형(GradientBoosting Model) 및 뉴럴 네트워크(Neural Network) 등이 이용될 수 있다.
리지 회귀분석은 기본적인 linear 모델이며 극단치 또는 이상점(outlier)을 핸들하기 위해 추가적인 파라미터를 제공한다. 로지스틱 회기분석은 기본적인 linear 모델이며 타겟변수 즉 예측하려는 대상이 Binomial 분포도를 보일 때 사용하는 것이 효과적이다. 일반화선형모형은 기본적인 linear 모델이며 타겟변수가 Poisson 분포도를 보일 때 사용하는 것이 효과적이다. 랜덤 포레스트 앙상블모델로 다수의 decision tree가 모여 이루어진 모델로서, 각 decision tree는 입력 변수들과 타겟 변수의 연관성을 고려하여 개별적으로 개발되며 상위 linear 모델 대비 더욱 유연(flexible)한 특성을 가지고 있다. 변화 부양 모형은 Generalized Boosting Model 또는 GBM 이라고도 불리며 Random Forest와 비슷한 성향을 띠는 앙상블 모델이나 각 decision tree가 이미 만들어진 decision tree의 정확도를 고려하여 개된다는 차이점이 존재해 종종 Random Forest 대비 정확도가 높은 모델로 간주되기도 한다.
뉴럴 네트워크는 사실상 어떤 타겟이든 예측할 수 있는 아주 유연한 모델로 파라미터를 조정함에 따라 linear 패턴과 non-linear 패턴 둘 다 아우를 수 있다 때문에 파라미터 튜닝이 세밀하게 될 필요성이 있다. 특히, 뉴럴 네트워크는 기계학습과 인지과학에서 생물학의 신경망에서 영감을 얻은 통계학적 학습 알고리즘으로서, 이러한 신경망을 복합적으로 구성함으로써 딥 러닝 방식이 구현될 수 있다.
예를 들어, 뉴럴 네트워크는 전체적인 FC(Fully Connected), Max Pooling 및 convolution을 수반하여 최적화되는 CNN(Convolutional Neural Network), 시계열적 데이터에 유용한 순차 신경망(Recurrent Neural Networks, RNN)을 포함할 수 있다.
신경망 학습 프로세스가 이용되는 경우, 예를 들어, 제1 머신 러닝 처리부(233)는, 이미지 아이템 데이터베이스(240)의 분류 정보로부터 조합 설정 정보에 따라 생성되는 조합형 이미지 아이템의 예측값을 생성하는 프로세스와 예측값과 실제 분류 정보값의 차이를 최소화하기 위해 연결의 가중치를 갱신하는 학습 프로세스(backpropagation)를 수행할 수 있다. 이를 위해, 제1 머신 러닝 처리부(233)는 이는 비용함수(cost function)를 가중치에 대해 편미분한 다음 가중치를 기울기 방향으로 조금씩 이동하는 과정을 반복함으로써 실제값과 예측값이 차이를 최소화하는 가중치를 찾는 방식으로서 경사하강법(gradient descent) 등을 이용하여 실제와 유사한 최적의 조합 설정 정보를 학습할 수 있다.
한편, 제1 머신 러닝 처리부(233)는 최근 대두되는 GAN(Generative Adversarial Network) 학습 방식을 이용하여, 조합 설정 정보뿐만 아니라, 이미지 아이템간 합성된 이미지를 생성하는 이미지 생성 모델을 구축할 수도 있다. GAN이 이용되는 경우, 제1 머신 러닝 처리부(233)는 이미지 아이템 분류 정보 및 이미지 데이터로부터 GAN 트레이닝을 위한 학습 데이터를 생성하고, 학습 데이터에 기초한 생성기(GENERATOR)와 감별기(DISCRIMINATOR)를 각각 구비시켜 생성기가 생성한 이미지 아이템 데이터의 실제 이미지 아이템과의 유사성을 감별기에서 판별하도록 처리하되, 생성기와 감별기간의 상호 정보를 교환함으로써 학습 데이터량에 따라 정확도를 높이는 프로세스를 처리하여, 조합된 이미지가 실제 기존의 이미지 아이템과 구분되기 힘들 정도로 적절하게 생성되도록 처리할 수 있다.
이와 같이 제1 머신 러닝이 처리되면, 이미지 아이템 조합부(231)는 조합 대상 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템을 결정하고, 상기 제1 머신 러닝된 이미지 아이템 학습 모델로부터, 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템에 대응하여 산출되는 조합 설정 정보를 획득하며, 상기 조합 설정 정보에 기초한 조합을 처리하여, 상기 조합형 이미지 아이템을 생성한다.
이미지 아이템 조합부(231)는 학습된 이미지 아이템 생성 학습 모델(232)로부터 획득되는 상기 조합 설정 정보로부터 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템의 요소간 결합 정보를 획득할 수 있으며, 요소간 결합 정보에 따라 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템의 각각의 요소 정보를 결합하고, 결합에 따른 조합형 이미지 아이템을 생성할 수 있다.
여기서, 상기 요소간 결합 정보는, 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템의 이미지 배치 타입 정보, 이미지 그리드 위치 정보, 이미지 스케일 비율 정보, 의미 결합 정보, 키워드 결합 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 생성된 조합형 이미지 아이템은 상기 데이터베이스에 저장되어, 상기 제1 머신 러닝 처리부(233)의 제1 머신 러닝 처리에 회귀적으로 이용될 수 있다.
이에 따라, 상기 생성된 조합형 이미지 아이템은 상기 데이터베이스(240)에 저장되어, 상기 메시지 인터페이스부(225)를 통해 상기 사용자 단말기(100)로 제공될 수 있다.
예를 들어, 상기 메시지 인터페이스부(225)는 사용자 단말(100)를 통해 상기 조합형 이미지 아이템을 포함하는 의사 표현 이미지 아이템 리스트를 제공할 수 있으며, 의사 표현 이미지 아이템 리스트에서 선택된 조합형 이미지 아이템이 메시지에 포함되도록 처리할 수 있다.
한편, 상기 시각 아이템 관리부(250)는, 상기 사용자 단말기(100)로부터 상기 생성된 조합형 이미지 아이템에 대응하는 피드백 정보를 수신하고, 피드백 정보에 대응하는 데이터베이스(240) 갱신 처리를 수행할 수 있다.
메시지 인터페이스부(225)는 사용자 단말(100)로 사용자가 입력한 조합형 이미지 아이템에 대응하는 피드백 정보를 요청할 수 있으며, 요청에 따른 응답으로서 피드백 정보를 획득하여 시각 아이템 관리부(250)로 전달할 수 있다. 여기서, 피드백 정보는 조합형 이미지 아이템의 요소별 평가 정보, 신고 정보, 사용율 정보 중 적어도 하나를 포함할 수 있다.
한편, 피드백 정보 가중치 적용부(235)는, 상기 피드백 정보로부터 획득되는 요소별 평가 정보 및 사용율 정보 중 적어도 하나에 기초하여, 피드백 대상 조합형 이미지 아이템에 대응하는 조합 설정 정보의 가중치 튜닝을 처리할 수 있다.
그리고, 제2 머신 러닝 처리부(237)는 상기 피드백 대상 조합형 이미지 아이템에 대응하는 조합 설정 정보의 가중치 튜닝 정보를 이용하여, 조정된 가중치 파라미터를 이용하여 상기 이미지 아이템 학습 모델의 제2 머신 러닝을 처리함으로써, 이미지 아이템 생성 학습 모델(232)을 갱신할 수 있다.
이에 따라, 사용자를 위한 이미지 아이템 생성 알고리즘이 더욱 정확하게 보정 및 학습됨으로써, 더욱 유용한 이미지 아이템의 생성이 가능해질 수 있으며, 본 발명의 실시 예에 따른 메시지 서비스의 사용율과 조합형 이미지 아이템의 이용율이 높아질 수 있는 효과가 있다.
한편, 분석부(260)는, 메시지 인터페이스부(225)를 통해 각 사용자간 송수신되는 메시지를 분석하여, 메시지에 대응하여 제공 가능한 조합형 이미지 아이템의 이미지 정보, 내용 정보, 설정 정보, 부가 설명 정보 또는 키워드 등을 추출할 수 있다.
그리고, 분석부(260)는 분석에 따라 추출된 정보를 이용하여, 메시지 내용에 대응하는 특정 표현의 검출, 이미지 아이템의 추천, 이미지 아이템의 제공, 이미지 아이템의 사용율 분석 등을 더 수행할 수 있다.
예를 들어, 분석부(260)는, 하나 이상의 메시지와 메시지 범위에 따른, 메시지의 형태소 분석, 키워드 인식, 화행 분석, 시맨틱 분석 또는 의사표현 이미지 아이템 분석 등과 같은 다수의 자연어 이해 기술 중 하나 이상을 통해 메시지 인터페이스부(225)에서 획득되는 메시지를 분석하여, 특정 감정을 표현한 어구인 특정 감정 표현 어구를 확인하고, 이에 대응하는 이미지 정보, 내용 정보, 설정 정보, 부가 설명 정보 또는 키워드 등을 추출하여, 적어도 하나 이상이 매칭되는 이미지 아이템들을 추천 또는 제공할 수 있다.또한, 분석부(260)는 의사표현 이미지 아이템에 대응하는 분석 처리를 수행하여, 이에 대응하는 이미지 정보, 내용 정보, 설정 정보, 부가 설명 정보 또는 키워드 등을 추출하고, 적어도 하나 이상이 매칭되는 다른 이미지 아이템들을 추천 또는 제공할 수도 있다.도 4는 본 발명의 실시 예에 따른 조합형 이미지 아이템 생성 방법을 설명하기 위한 흐름도이며, 도 5는 본 발명의 실시 예에 따른 조합형 이미지 아이템의 생성 예이다.
도 4 및 도 5를 참조하면, 조합형 이미지 아이템 생성부(230)는 조합 대상 제1 의사표현 이미지 및 제2 의사표현 이미지 아이템을 결정한다(S101).
그리고, 조합형 이미지 아이템 생성부(230)는, 제1 머신 러닝된 이미지 아이템 생성 학습 모델로부터, 상기 제1 이미지 및 제2 이미지 아이템에 대응하여 산출되는 조합 설정 정보를 획득한다(S103).
그리고, 조합 설정 정보에 따라, 조합형 이미지 아이템 생성부(230)는 제1 이미지 및 제2 이미지간 배치 타입을 결정한다(S105).
배치 타입은 예를 들어, 제1 이미지 아이템 및 제2 이미지 아이템의 배치 관계 정보를 포함할 수 있으며, 예를 들어 좌우배치 타입, 상하배치 타입, 대각선 배치 타입, 전후배치 타입 중 적어도 하나를 포함할 수 있고, 조합 설정 정보는 상기 배치 타입에 대응하여, 제1 이미지 및 제2 이미지간 거리 정보를 더 포함할 수 있다. 이에 따라 배치 타입 및 이미지간 거리가 사전 결정될 수 있다.
그리고, 배치 타입 및 이미지간 거리에 따라, 조합형 이미지 아이템 생성부(230)는 제1 이미지 및 제2 이미지의 그리드 위치를 결정한다(S107).
예를 들어, 조합형 이미지 아이템 생성부(230)는 제1 이미지의 중심점과 제2 이미지의 중심점에 기초하여, 조합형 이미지 아이템 그리드를 기준으로 하는 그리드 내 각각의 위치 정보로서, X좌표 및 Y좌표를 결정할 수 있다.
예를 들어, 상기 그리드는 선들간의 거리가 가변 가능한 가상 그리드일 수 있다. 예를 들어, 위치 정보는 가상 그리드를 구성하는 선들에 의해 둘러쌓인 영역들 중 일부의 넓이가 서로 다르도록 생성된 가상 그리드 내 위치 좌표를 포함할 수 있으며, 가상 그리드의 생성시 선들간의 거리는 가변될 수 있다. 이러한 가상 그리드가 디스플레이에 표시되는 것은 아니며, 디스플레이의 전체 영역 또는 일부 영역에 대응하여 생성될 수 있다.
조합형 이미지 아이템의 생성시 각각의 위치 정보는 예를 들어, 가상 그리드에 대응하는 행렬 인덱스를 통해 인식될 수 있다. 다시 말해, 제1 이미지의 위치가 가상 그리드의 첫 번째 행의 첫 번째 열의 영역에 포함되는 경우, (1, 1)의 인덱스가 인식될 수 있다. 또는, 좌측에서 우측의 순서로, 그리고 위에서 아래의 순서로 순차적으로 증가하는 인덱스가 이용될 수도 있다. 이 경우, 가상그리드의 첫 번째 행의 첫 번째 열의 영역은 '1'의 인덱스를, 두 번째 행의 첫 번째 열의 영역은 '2'의 인덱스를 가질 수 있다. 이처럼 가상 그리드의 인덱스는 다양한 구조들 중 선택된 구조가 활용될 수 있다.
이처럼 본 실시예에서는 전체 좌표계를 사용하지 않고, 선들간의 거리가 가변되는 가상 그리드의 인덱스를 이용하여 각 그리드 내 위치를 표시할 수 있다.
이후, 조합형 이미지 아이템 생성부(230)는, 조합 설정 정보에 따라 제1 이미지 및 제2 이미지의 스케일 비율을 결정한다(S109).
이미지 스케일 비율은 예를 들어 1:1, 1:3, 3:1 등의 제1 이미지 및 제2 이미지간 비율 정보를 포함할 수 있으며, 스케일 비율에 따라 조합형 이미지 아이템 내 각 이미지의 크기가 조절될 수 있다.
또한, 조합형 이미지 아이템 생성부(230)는 조합형 이미지 아이템 내 각 이미지에 대응하는 위치 및 스케일 비율 결정에 따라, 각각의 크기 정보 및 설정 정보를 생성할 수 있으며, 설정 정보는 데이터베이스(240)에 저장될 수 있다.
이와 같은 스케일 비율 및 위치 정보 결정에 따라, 상기 그리드를 사용한여 이미지 아이템간 레이아웃이 결정될 수 있으며, 조합형 이미지 아이템 생성부(230)는 각 이미지 아이템들을 디스플레이 그리드에서 점유되지 않은 위치들에 배치할 수 있고, 그 배치 패턴 및 배치 규칙에 있어서 여러가지의 프로세스들이 이용될 수 있다.
예를 들어, 조합형 이미지 아이템 생성부(230)는 이미지 아이템들에 대한 배치 패턴 및 배치 규칙들의 세트에 기초하여 후보 이미지 요소 및 대응하는 하나 이상의 그리드 위치들의 세트 사이의 매치를 식별할 수 있으며, 배치 알고리즘은 디스플레이 그리드에서 점유되지 않은 위치들을 결정할 수 있다. 디스플레이 그리드에서 위치들은, 특정 목적을 위해 지정되는 디스플레이 그리드의 특정 영역으로 인해 점유되는 것으로 표시될수 있다.
그리고, 조합형 이미지 아이템 생성부(230)는 이미지 아이템을 그리드에 배치할 때 적용되는 특정 배치 규칙에 기초하여 이미지 아이템에 대한 배치 원점을 변경할 수 있다.
예를 들어, 배치 규칙은 전형적인 좌에서 우로, 위에서 아래로 행하는 영국식 레이아웃에 따른 배치를 특정할 수 있다. 하지만, 전형적 위에서-아래로, 우에서 좌로 행하는 중국식 텍스트 레이아웃에 따라 배치를 특정하도록 상이한 배치 규칙이 적용될 수도 있으며, 레이어를 구분지어 적용할 수도 있다.
또한, 조합형 이미지 아이템 생성부(230)는 이미지 배치에 있어서, 배치 원점인 디스플레이 그리드에서의 시작점에 대하여, 배치의 지향성 경로(예컨대, 디스플레이 그리드의 좌측 상단 모서리 또는 디스플레이 그리드의 중앙에서의 중심점) 및/또는 그리드-필링 패턴(예컨대, 행 또는 열의 끝에 도달할 때, 패턴은 (1) 종래의 텍스트 레이아웃 패턴에서 다음의 행 또는 열의 대향 단부(opposite end)로 넘어가거나(jump), 또는 (2) 지그재그 패턴으로 다음의 행 또는 열로 U-턴할 수 있다), 제2축에 대한 제1 축을 따르는 배치의 우선순위, 또는 디스플레이 가능한 영역의 배향과 같은 하나 이상의 요인에 기초하여, 배치 처리를 수행할 수 있다. 디스플레이 그리드에 위치들을 채우는 순서는 이미지 아이템들이 그리드에서 배치된 후에 재평가될 수 있다.
조합형 이미지 아이템 생성부(230)는 스케일링에 따라 각 이미지의 줌-인 버전 또는 줌-아웃 버전 이미지를 생성할 수 있으며, 이에 대응하는 이미지가 어디에 배치될 지 결정될 수 있으며, 배치된 이미지는 결정된 위치의 그리드상에 레이아웃되거나, 레이어될 수 있다.
예를 들어, 조합형 이미지 아이템 생성부(230)는 스케일링을 위한 이미지 변환을 처리할 수 있으며, 이는 스크린샷의 생성, 섬네일의 생성, 비디오 프레임의 추출, 이미지의 크로핑, 이미지의 스케일링, 하나의 포맷에서 다른 포맷으로의 이미지의 변환 또는 파일 변환(예컨대, 벡터에서 래스터 변환, PNG(Portable NetworkingGraphics), JPEG(Joint Photographic Experts Group), HEIF, HEVC, WebP 간 상호변환 등) 중 적어도 하나를 포함할 수 있다.
그리고, 조합형 이미지 아이템 생성부(230)는 제1 이미지 및 제2 이미지 아이템간 의미 표현 정보를 결합한다(S111).
의미 표현 정보는 예를 들어, '즐거움', '화남', '바쁨' 등의 각 이미지 아이템의 기분, 감정, 상태 등을 구체적으로 나타내는 키워드 정보 및 부가설명, 태그 등의 관련된 텍스트 및 이미지 등의 다양한 데이터 정보일 수 있으며, 조합형 이미지 아이템 생성부(230)는 조합 설정 정보에 따라, 두 데이터 정보를 단순 결합하거나, 순서에 따라 조합하여 결합된 의미 표현 정보를 획득할 수 있다.
이후, 조합형 이미지 아이템 생성부(230)는 제1 이미지 및 제2 이미지 아이템간 분류 정보를 결합한다(S113).
분류 정보는 예를 들어, 이미지 아이템을 분류하기 위한 분류 키워드 정보를 포함할 수 있다. 분류 키워드 정보는 '기분', '상태', '사물' 등의 이미지 아이템의 속성을 나타내는 키워드 정보를 포함할 수 있다.
그리고, 조합형 이미지 아이템 생성부(230)는 상기 S103~S113 단계에 의해 처리된 의사 표현 이미지 정보와, 결합된 의미 표현 정보 및 분류 정보를 이용하여, 조합형 의사 표현 이미지 아이템으로서 생성한다(S115).
생성된 조합형 의사 표현 의미지 아이템은 시각 아이템 관리부(250)에 의해 신규 등록되어 데이터베이스(240)에 저장될 수 있다.
한편, 메시지 인터페이스부(225)는 메시지 서비스를 통해 상기 조합형 의사 표현 이미지 아이템을 제공하며(S117), 시각 아이템 관리부(250)는 조합형 의사 표현 이미지 아이템에 대응하는 요소별 평가 정보 및 사용율 정보 피드백을 수신할 수 있다(S121).
이에 따라, 조합형 이미지 아이템 생성부(230)는 피드백 정보 가중치 적용부(235)를 통해 피드백 정보에 따른 학습 모델의 조합 설정 정보 가중치 튜닝을 수행할 수 있으며, 제2 머신 러닝 처리부(237)를 통해, 상기 튜닝된 조합 설정 정보를 적용하여 이미지 아이템 생성 학습 모델에 대응하는 제2 머신 러닝을 수행할 수 있다(S123).
이와 같은 제1 머신 러닝 및 제2 머신 러닝 기반의 학습 처리는 이미지 생성 및 피드백 정보 누적에 따라 반복적으로 처리되어, 순차적이고 점진적으로 유용한 이미지 아이템을 생성할 수 있도록 하는 이미지 아이템 생성 학습 모델을 구축할 수 있도록 한다.
도 5는 이와 같이 조합형 이미지 생성 아이템을 예시한 것으로, 제1 이미지와 제2 이미지 아이템은 기존 데이터베이스(240)에 포함된 초기 이미지일 수 있으며, 또한 이미 생성된 조합형 이미지 아이템 중 하나가 제1 이미지 또는 제2 이미지로 결정될 수도 있다.
도 5(A)에 도시된 바와 같이, 제1 이미지가 '얼굴'이미지이고, 제2 이미지가 '코' 이미지인 경우, 조합 설정 정보에 따라, 전면의 '코'가 후면의 '얼굴' 이미지 중심에 축소 배치되는 형태의 조합 이미지 아이템이 생성될 수 있다. 또한, 의미 표현 정보는 '코/얼굴'과 같이 결합되어 생성될 수 있다.
또한, 도 5(B)에 도시된 바와 같이, 제1 이미지가 '하트'이미지이고, 제2 이미지도 '하트' 이미지인 경우, 이에 매칭되는 조합 설정 정보는 대각 배치에 따라, 어느 하나를 축소 배치하는 형태의 조합 이미지 아이템이 생성될 수 있다. 또한, 의미 표현 정보는 '하트/하트'와 같이 결합되어 생성될 수 있다.
그리고, 도 5(C)에 도시된 바와 같이, 이미 생성된 조합 이미지로서, 하트 두개가 결합된 제2 이미지와, '얼굴'을 나타내는 제1 이미지가 조합될 수도 있다. 이 경우, 전면의 '두 하트'가 후면의 '얼굴' 이미지 상단에 축소 배치되는 형태의 조합 이미지 아이템이 생성될 수 있다. 의미 표현 정보는 '하트/하트/얼굴'와 같이 결합되어 생성될 수 있다.
상기 결합 처리를 위해, 조합형 이미지 아이템 생성부(230)는 도 5의 좌측에 각 도시된 제1 이미지 및 제2 이미지를 각각 레이어화하여 처리할 수 있다.
또한, 조합형 이미지 아이템 생성부(230)는 각 레이어에 대응하는 스케일링 배율, 그리드 상 배치, 전후 배치 및 색상 변경 정보를 포함하는 다양한 변형 처리를 수행할 수 있고, 변형 처리된 각 레이어를 결합함으로써, 도 5 우측의 각각의 조합 이미지를 생성할 수 있다.
이와 같이 생성된 조합 이미지는 사용자에 대한 관련성, 사용자 선호도, 또는 다른 요인에 따라 후보로 선택되거나 및/또는 순위화 될수 있다. 예를 들어, 조합 이미지는 사용자 평가 정보에 따라 선택 및/또는 순위화될 수 있다.
그리고, 조합 이미지에 대응하는 사용자 평가 정보에 따라 아이템 생성부(230)는 이미지간 속성 값을 결정할 수 있다. 속성 값은 이미지에 대응하는 다양한 값이 예시될 수 있으며, 예를 들어 이미지간 연결 값이 예시될 수 있다. 예를 들어, 아이템 생성부(230)는 사용자 평가 정보에 따라, 이미지간 연결 강도를 나타내는 연결 값을 결정하고, 연결 값에 대한 관련성 점수를 결정할 수 있다.
도 6 내지 도 7은 본 발명의 실시 예에 따라 제공되는 메시지 인터페이스를 설명하기 위한 도면들이다.
도 6 내지 도 7에 도시된 바와 같이, 메시지 인터페이스부(225)는 사용자 단말(100)의 채팅 어플리케이션의 메시지 입력창에 수반하여, 하나 이상의 조합형 의사표현 이미지 아이템을 제공하고, 사용자 선택에 따라 메시지상에 입력되도록 처리할 수 있다.
도 6을 참조하면, 본 발명의 실시 예에 따른 메시지 인터페이스부(225)는 사용자 단말(100)의 채팅 어플리케이션의 메시지 입력창에 입력되는 메시지가 분석부(260)를 통해 분석되면, 분석된 표현 정보에 대응하는 적어도 하나의 이미지 정보, 내용 정보, 설정 정보, 부가 설명 정보 또는 키워드 정보가 매칭되는 조합형 의사표현 이미지 아이템을 포함하는 추천 아이템 리스트를 제공할 수 있다.
또한, 메시지 인터페이스부(225)는 상기 추천 아이템 리스트 제공을 위해, 메시지 어플리케이션상의 메시지 입력창 우측에 호출된 보조 리스트 창 또는 메시지 인터페이스부 내에서 적합한 지점 둘 중 하나 이상을 포함하는 선택 수단을 통해 상기 추천 아이템 리스트가 제공되도록 처리할 수 있으며, 이에 따라 선택된 조합형 의사표현 이미지 아이템이 메시지 입력창을 통해 입력되거나, 자동적으로 메시지 어플리케이션을 통해 전송될 내용으로 입력될 수 있다.
예를 들어, 메시지 어플리케이션을 이용중인 복수의 서비스 사용자들이 메시지 입력창에 게시할 채팅 메시지에 특정 감정 표현 어구가 포함되어 있으면, 분석부(260)에 의해, 특정 감정 표현 어구에 대응하는 조합형 의사표현 이미지 아이템을 포함하는 추천 아이템 리스트가 결정되며, 결정된 추천 아이템 리스트가 입력창에 인접한 보조 리스트 창 또는 특정 메시지 인터페이스부 내에서 적합한 곳 둘중 하나 이상을 포함하는 지점에서 호출되고, 사용자 선택에 의해 결정된 이미지 아이템이 메시지상에 입력될 수 있다.
이러한 처리를 위해, 메시지 인터페이스부(225)는 조합형 이미지 아이템을 사용자 단말(100)의 어플리케이션으로 주기적으로 사전 제공하거나, 데이터베이스(240)에 실시간 접속하여 실시간 갱신되는 조합형 이미지 아이템을 메시지 입력시 제공되도록 처리할 수도 있다.
또한, 메시지 인터페이스부(225)는 상기 메시지가 채팅 어플리케이션에 입력된 경우, 조합형 이미지 아이템이 포함된 메시지가 전송되도록 처리할 수 있으며, 조합형 이미지 아이템이 포함된 메시지가 전송된 경우, 사용자 단말(100)에 피드백을 요청할 수 있다.
여기서, 피드백 요청에는 조합형 이미지 아이템에 대응하는 조합 안내 정보가 함께 출력될 수 있으며, 사용자는 조합 안내 정보에 대한 평점 정보와, 요소별 피드백을 위한 의견 입력(opinion)을 통해, 제2 머신 러닝을 위한 피드백 정보를 입력할 수 있고, 메시지 인터페이스부(225)는 상기 평점 정보 및 피드백 정보와, 조합형 이미지 아이템의 사용율 정보를 수집하여, 시각 아이템 관리부(250)로 전달되도록 처리할 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법은 단말 장치에서 실행되기 위한 설치 데이터 형태로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 각 서버 또는 기기들에 제공될 수 있다. 이에 따라, 사용자 단말(100)은 서버 또는 기기에 접속하여, 상기 설치 데이터를 다운로드할 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
Claims (8)
- 메시지 서비스 제공을 위한 프로그램에 있어서,
사용자 단말기로 메시지 인터페이스를 제공하며, 상기 메시지 인터페이스를 통해 송수신되는 메시지를 처리하되, 상기 인터페이스를 통해 상기 메시지에 포함 가능한 하나 이상의 의사 표현 이미지 아이템을 상기 사용자 단말기로 제공하는 기능;
상기 하나 이상의 의사 표현 이미지 아이템을 저장하는 기능;
상기 데이터베이스에 저장되는 하나 이상의 의사 표현 이미지 아이템을 요소 정보에 따라 분류 관리하는 기능;
상기 시각 아이템 관리부의 분류 관리 정보에 기초한 상기 의사 표현 이미지 아이템 데이터베이스의 머신 러닝을 처리하여, 의사 표현 이미지 아이템 학습 모델을 생성하고, 상기 학습 모델을 이용하여 상기 데이터베이스에 저장된 제1 의사 표현 이미지 아이템과, 제2 의사 표현 이미지 아이템을 선택 조합한 조합형 이미지 아이템을 생성하는 단계를 포함하는 기능; 및
분석부에 의해, 상기 메시지 인터페이스를 통해 각 사용자간 송수신되는 메시지 또는 이미지 아이템을 분석하여, 사용자에게 제공 가능한 조합형 이미지 아이템의 이미지 정보, 내용 정보, 설정 정보, 부가 설명 정보 또는 키워드 중 적어도 하나를 분석하는 기능을 포함하는
조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램. - 제1항에 있어서, 상기 생성하는 기능은,
상기 조합형 이미지 아이템의 제1 의사 표현 이미지 아이템과, 제2 의사 표현 이미지 아이템 각각에 대응하는 크기 정보, 키워드 정보 및 설정 정보 중 적어도 하나를 결정하여 상기 데이터베이스에 저장하는 기능을 더 포함하는
조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램. - 제1항에 있어서,
상기 시각 아이템 관리부의 분류 관리 정보에 기초한 상기 의사 표현 이미지 아이템 데이터베이스의 제1 머신 러닝을 처리하여, 초기 이미지 아이템 학습 모델을 생성하는 기능;
상기 조합형 이미지 아이템에 대응하는 상기 피드백 정보로부터 획득되는 요소별 평가 정보 및 사용율 정보 중 적어도 하나에 기초하여, 피드백 대상 조합형 이미지 아이템에 대응하는 조합 설정 정보의 가중치 튜닝을 처리하는 기능; 및
상기 조합형 이미지 아이템과, 상기 피드백 대상 조합형 이미지 아이템에 대응하는 조합 설정 정보의 가중치 튜닝 정보를 이용하여, 상기 이미지 아이템 학습 모델의 제2 머신 러닝을 처리하는 기능을 포함하는
조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램. - 제3항에 있어서,
상기 조합 설정 정보는 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템의 요소간 결합 정보를 포함하는
조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램. - 제4항에 있어서,
상기 요소간 결합 정보는, 제1 의사표현 이미지 아이템 및 제2 의사표현 이미지 아이템의 이미지 배치 타입 정보, 이미지 그리드 위치 정보, 이미지 스케일 비율 정보, 의미 결합 정보, 키워드 결합 정보 중 적어도 하나를 포함하는
조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램. - 제1항에 있어서,
상기 생성된 조합형 이미지 아이템은 상기 데이터베이스에 저장되어, 상기 제1 머신 러닝 처리에 회귀적으로 이용되는
조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램. - 제1항에 있어서,
상기 생성된 조합형 이미지 아이템은 상기 데이터베이스에 저장되어, 상기 메시지 인터페이스부를 통해 상기 사용자 단말기로 제공되는
조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램. - 제7항에 있어서,
상기 시각 아이템 관리부는, 상기 사용자 단말기로부터 상기 생성된 조합형 이미지 아이템에 대응하는 피드백 정보를 수신하고, 피드백 정보에 대응하는 데이터베이스 갱신 처리를 수행하는
조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180111358A KR20200032394A (ko) | 2018-09-18 | 2018-09-18 | 조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180111358A KR20200032394A (ko) | 2018-09-18 | 2018-09-18 | 조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200032394A true KR20200032394A (ko) | 2020-03-26 |
Family
ID=69958843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180111358A KR20200032394A (ko) | 2018-09-18 | 2018-09-18 | 조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20200032394A (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113438150A (zh) * | 2021-07-20 | 2021-09-24 | 网易(杭州)网络有限公司 | 一种表情发送方法和装置 |
CN113934349A (zh) * | 2021-10-28 | 2022-01-14 | 北京字跳网络技术有限公司 | 交互方法、装置、电子设备和存储介质 |
-
2018
- 2018-09-18 KR KR1020180111358A patent/KR20200032394A/ko unknown
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113438150A (zh) * | 2021-07-20 | 2021-09-24 | 网易(杭州)网络有限公司 | 一种表情发送方法和装置 |
CN113438150B (zh) * | 2021-07-20 | 2022-11-08 | 网易(杭州)网络有限公司 | 一种表情发送方法和装置 |
CN113934349A (zh) * | 2021-10-28 | 2022-01-14 | 北京字跳网络技术有限公司 | 交互方法、装置、电子设备和存储介质 |
WO2023071606A1 (zh) * | 2021-10-28 | 2023-05-04 | 北京字跳网络技术有限公司 | 交互方法、装置、电子设备和存储介质 |
CN113934349B (zh) * | 2021-10-28 | 2023-11-07 | 北京字跳网络技术有限公司 | 交互方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111279304B (zh) | 基于画布上连接的可定位元素配置通信决策树的方法和*** | |
CN110178132B (zh) | 在消息应用中自动建议内容的方法和*** | |
US10489511B2 (en) | Content editing using AI-based content modeling | |
CN109086439A (zh) | 信息推荐方法及装置 | |
KR20210041211A (ko) | 확장현실에 적용가능한 의사표현 아이템 데이터베이스를 능동적으로 구축하는 메시지 서비스 제공 장치 및 그 방법 | |
JP2021096886A (ja) | 融合関係ネットワークに基づく情報推薦方法、装置、デバイス、媒体及びプログラム | |
CN114036398B (zh) | 内容推荐和排序模型训练方法、装置、设备以及存储介质 | |
CN110597965B (zh) | 文章的情感极性分析方法、装置、电子设备及存储介质 | |
CN110691028B (zh) | 一种消息处理方法、装置、终端和存储介质 | |
JP2019514131A (ja) | 顔文字が共に提供される翻訳文提供方法、ユーザ端末、サーバ及びコンピュータプログラム | |
CN110321546B (zh) | 账号识别、显示方法、装置、服务器、终端及存储介质 | |
US20150088799A1 (en) | Input assistance device, input assisting method, and recording medium storing input assistance program | |
KR20200032394A (ko) | 조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램 | |
CN113869377A (zh) | 训练方法、装置及电子设备 | |
CN113655895A (zh) | 应用于输入法的信息推荐方法、装置及电子设备 | |
KR102678177B1 (ko) | 조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리 방법 및 그 장치 | |
CN114119123A (zh) | 信息推送的方法和装置 | |
CN115378890B (zh) | 信息输入方法、装置、存储介质及计算机设备 | |
KR102681492B1 (ko) | 조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리 방법 | |
KR20200032401A (ko) | 조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리를 위한 프로그램 | |
KR20200032382A (ko) | 조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리 장치 | |
KR20200032419A (ko) | 기록매체 | |
KR20200032388A (ko) | 조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리 방법 | |
KR20200032389A (ko) | 조합형 의사 표현 이미지 아이템을 제공하는 메시지 처리 방법 | |
KR20200032408A (ko) | 기록매체 |