WO2024122968A1 - 사용자의 감정을 보다 효과적으로 전달하기 위한 창작 이모티콘을 생성하는 방법 및 이를 수행하는 창작 이모티콘 기반 콘텐츠 서비스 시스템 - Google Patents

사용자의 감정을 보다 효과적으로 전달하기 위한 창작 이모티콘을 생성하는 방법 및 이를 수행하는 창작 이모티콘 기반 콘텐츠 서비스 시스템 Download PDF

Info

Publication number
WO2024122968A1
WO2024122968A1 PCT/KR2023/019239 KR2023019239W WO2024122968A1 WO 2024122968 A1 WO2024122968 A1 WO 2024122968A1 KR 2023019239 W KR2023019239 W KR 2023019239W WO 2024122968 A1 WO2024122968 A1 WO 2024122968A1
Authority
WO
WIPO (PCT)
Prior art keywords
emoticon
creative
background
data
sequence image
Prior art date
Application number
PCT/KR2023/019239
Other languages
English (en)
French (fr)
Inventor
임유엽
Original Assignee
주식회사 다날엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다날엔터테인먼트 filed Critical 주식회사 다날엔터테인먼트
Publication of WO2024122968A1 publication Critical patent/WO2024122968A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents

Definitions

  • Embodiments of the present application relate to a system that provides content services, and more specifically, to a method of generating a creative emoticon using a user's image and a creative emoticon-based content service system that performs this.
  • the messenger field is also an area where social networking activities are active.
  • SNS and mobile platform services are being actively implemented centering on mobile messengers installed on smart phones.
  • chatting conversation
  • SMS conventional text service
  • a method for generating a creative emoticon using a user's image is intended to be provided.
  • a method of generating a creative emoticon that can be transmitted through a messenger application from the electronic device of a user registered as a member of an emoticon service includes a captured sequence image of the user continuously photographing the user implementing one or more actions. and acquiring emoticon object data related to the emoticon object sequence image from the captured sequence image, wherein the captured sequence image includes a subset according to each operation, and the emoticon object sequence image includes at least a partial region within the captured sequence image.
  • Each contains a sequence image in which an emoticon object appears;
  • a step of requesting a purchase of the background sticker from a market site where content products including background stickers and the creative emoticon are traded to a server operating the market site and receiving the corresponding background sticker data - the background sticker includes one or more background stickers an element having an animation sequence image represented by animation, the animation sequence image including one or more subsets corresponding to each background visual element, the background visual element being a background text or background object;
  • a computer-readable recording medium includes a program that performs a method of generating a creative emoticon that can be transmitted through a messenger application on the electronic device of a user registered as a member of the emoticon service according to the above-described embodiments. Record it.
  • Embodiments of the present application allow the user to create his or her own creative emoticon using an image showing the user's own face and send it as a message. Additionally, the creative emoticon may be configured to convey emotions through emoticons more effectively.
  • the creative emoticon is created to provide an animation effect that appears at the start of motions where the animated sequence image in the background sticker has a corresponding meaning.
  • the action is provided first to the other person who received the creative emoticon, and animation effects with the same meaning are provided in duplicate, thereby further reducing the impact of the animation effect, or the animation effect is provided first, thereby reducing the impact of the emoticon object to take. It is possible to prevent the problem that the influence of motion transmission is further reduced by spoiling the motion.
  • the animation effect of the creative emoticon is adjusted according to the emotional intensity level, thereby enriching the level of emotion conveyed by the creative emoticon.
  • Figure 1 is a block diagram showing a creative emoticon-based content service system according to one aspect of the present application.
  • Figure 2 is a schematic diagram of the operation of the system of Figure 1, according to various embodiments of the present application.
  • Figure 3 is a flowchart of a process for granting permission to create emoticons according to various embodiments of the present application.
  • Figure 4 is a flowchart of a creative emoticon creation process according to various embodiments of the present application.
  • Figure 5 is a schematic diagram of the creative emoticon creation process of Figure 4.
  • Figure 6 shows the structure of a creative emoticon according to various embodiments of the present application.
  • Figure 7 shows a screen of an electronic device for accessing the location of the creation storage space, according to various embodiments of the present application.
  • Figure 8 shows a screen for storing a creative emoticon in a second storage space according to various embodiments of the present application.
  • FIG. 9 shows a screen for transmitting a creative emoticon stored in the second storage space of FIG. 8 through the corresponding messenger application.
  • Figure 10 shows a screen for product registration request according to various embodiments of the present application.
  • Figure 11 shows a screen showing the registration result according to the product registration request of Figure 10.
  • FIG 12 is a flowchart of the voting event progress process according to various embodiments of the present application.
  • FIG. 13 illustrates a voting screen according to various embodiments of the present application.
  • Figure 14 shows a voting message screen according to various embodiments of the present application.
  • FIG. 15 is a flowchart of a process for generating a creative emoticon based on semantic information of a background visual element and semantic information of an action of an emoticon object in a captured image, according to various embodiments of the present application.
  • FIG. 16 illustrates a creative emoticon in which a single action and a single animation sequence image are mapped to each other, according to various embodiments of the present application.
  • FIG. 17 illustrates a creative emoticon in which a plurality of actions and a single animation sequence image are mapped to each other, according to various embodiments of the present application.
  • FIG. 18 illustrates a creative emoticon in which a plurality of actions and a plurality of animation sequence images are mapped to each other, according to various embodiments of the present application.
  • Figure 19 is a flowchart of a process for generating a creative emoticon based on the emotional intensity of a previously obtained message, according to various embodiments of the present application.
  • Figure 20 is a schematic diagram of a learning process of a text-based emotion recognition model according to various embodiments of the present application.
  • Figure 21 shows a creative emoticon in which the size change of the background visual element is adjusted according to the intensity of emotion, according to various embodiments of the present application.
  • Figure 22 is a schematic diagram of a content service system configured to issue NFTs for content products, according to another aspect of the present application.
  • Figure 23 is a flowchart of the process of issuing a creative emoticon NFT according to various embodiments of the present application.
  • expressions such as “have,” “may have,” “includes,” or “may include” refer to the relevant features (e.g., numerical values, functions, operations, steps, parts, elements, and/or components). It refers to the presence of components such as etc.) and does not exclude the presence or addition of additional features.
  • Expressions such as “first,” “second,” “first,” or “second” used in various embodiments may modify various elements regardless of order and/or importance, and limit the elements. I never do that.
  • the above expressions can be used to distinguish one component from another.
  • the first component and the second component may represent different components, regardless of order or importance.
  • the expression “configured to” used in this specification may mean, for example, “suitable for,” “having the capacity to,” depending on the situation. ,” “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured (or set) to” may not necessarily mean “specifically designed to” in terms of hardware. Instead, in some situations, the expression “device configured to” may mean that the device is “capable of” working with other devices or components.
  • the phrase “processor configured (or set) to perform A, B, and C” refers to a processor dedicated to performing those operations (e.g., an embedded processor), or executing one or more software programs stored on a memory device. By doing so, it may mean a general-purpose processor (eg, CPU or application processor) capable of performing the corresponding operations.
  • FIG. 1 is a block diagram showing a creative emoticon-based content service system according to one aspect of the present application
  • FIG. 2 is a schematic diagram of the operation of the system of FIG. 1 according to various embodiments of the present application.
  • a creative emoticon-based content service system 1 (hereinafter, “content service system”) according to various embodiments of the present invention includes an electronic device 110, a telecommunication network 120, and a server 130. Includes.
  • the content service system 1 is linked with a third-party system 2 that exchanges messages between users through a messenger application.
  • the content service system 1 may be entirely hardware, or may have aspects that are partly hardware and partly software.
  • a system may collectively refer to hardware equipped with data processing capabilities and operating software for running it.
  • terms such as “unit,” “system,” and “device” are intended to refer to a combination of hardware and software driven by the hardware.
  • the hardware may be a data processing device that includes a Central Processing Unit (CPU), Graphics Processing Unit (GPU), or other processor.
  • software may refer to a running process, emoticon object, executable, thread of execution, program, etc.
  • the telecommunication network 120 provides a wired/wireless telecommunication path through which the electronic device 110, the server 130, and the third-party system 2 can transmit and receive data with each other.
  • a telecommunication network is not limited to a communication method according to a specific communication protocol, and an appropriate communication method may be used depending on the implementation.
  • IP Internet Protocol
  • the telecommunication network may be implemented as a wired and/or wireless Internet network.
  • the electronic device 110 and the server 130 are implemented as mobile communication terminals
  • the telecommunication network may be implemented as a wireless network such as a cellular network or a wireless local area network (WLAN) network.
  • WLAN wireless local area network
  • Third-party system 2 may be one or more types of servers, one or more data stores, one or more interfaces, including but not limited to APIs, one or more web services, one or more content sources, one or more networks, or e.g. It may include any other suitable components. Third-party system 2 may be operated by a user different from the user operating server 130. However, in various embodiments, server 130 and third-party system 2 may operate in conjunction with each other to transmit creative emoticons in messages.
  • another system such as a third-party system 2 may provide the server 130 with a platform or backbone that can be used to perform messenger functions.
  • the third-party system 2 includes a messenger application.
  • the messenger application supports sending messages between users by communicating with the electronic device 110 or the server 130.
  • the messenger application may be, for example, Facebook Messenger, Kakao Talk, Line, WeChat, or any other mobile messenger application capable of sending emoticons.
  • Third-party systems 2 may also include social networking applications.
  • the content service system 1 may be linked with a third-party system 2 that exchanges messages between users through a social network application.
  • the creative emoticon can also be used to convey a specific user's emotions to other users through a messenger application or social network application.
  • the electronic device 110 is a client terminal device that communicates with the server 130. Additionally, the electronic device 110 may allow its user to communicate with other users of other electronic devices 110 . To this end, the electronic device 110 may allow a network user in the electronic device 110 to access the telecommunication network 120 .
  • the electronic device 110 may be a computing system that includes hardware, software, or embedded logic components, or a combination of two or more of these components, and is capable of performing appropriate functions implemented or supported by the electronic device 110.
  • the electronic device 110 may include, for example, a desktop computer, laptop computer, netbook, tablet computer, e-book reader, GPS device, camera, personal digital assistant (PDA), portable electronic device, cellular phone, smartphone, It may include computer systems such as other computing devices, other mobile devices, other wearable devices, other suitable electronic devices, or any suitable combination thereof.
  • Users 100_1 and 100_2 use the electronic device 110 to acquire the right to sell creative content, create creative content, transmit the creative content to other users through a messenger application, and send the creative content to a market site.
  • a user may be a person, a group of people, or an organization such as a company.
  • the electronic device 110 is configured to perform different functions more intensively depending on the users 100_1 and 100-2 of the electronic device 110.
  • the electronic device 110 will be classified into the electronic device 110_1 of the first user 100_1 and the electronic device 110_2 of the second user 100_2.
  • the first user 100_1 is a user who creates creative content and may also be referred to as a content creator.
  • the first user 100_1 may have content creation rights to sell creative content as a product through a market site operated by the server 130.
  • the first user 100_1 may use his/her electronic device 110_1 to transmit the creative content he/she created to another user as a message through a messenger application.
  • the first user 100_1 may create creative content representing himself or may create creative content representing another person, animal, or plant.
  • the second user 100_2 may purchase a content product created by the first user 100_1 through the market site.
  • the second user 100_2 may transmit the original content of the first user 100_1, which was purchased using the electronic device 110_2, to another user as a message through a messenger application.
  • the first user 100_1 and the second user 100_2 may have a relationship between a star and a fan.
  • the star (100_1) creates creative content
  • the fan (100_2) can purchase the creative content created by the star (100_1) and use it in the messenger application.
  • a star refers to a person someone prefers or supports, and is not limited to traditional celebrities such as singers, actors, comedians, politicians, and other broadcasters, but also relatively ordinary people such as YouTubers and Instagram influencers. It should be understood as a concept that includes famous people close to .
  • the first user 100_1 and the second user 100_2 are not fixed.
  • the specific user may be a first user (100_1) who creates original content and may also be a second user (100_2) for another user.
  • users 100_1 and 100_2 may receive points by performing various activities on the content service system 1.
  • the activity may be a voting event that measures the popularity of creative content.
  • creative content may be a creative emoticon.
  • the creative emoticon is an emoticon created using an image taken by the first user (100_1) and an image purchased by the first user (100_1) through a market site.
  • the first user 100_1 may create a creative emoticon based on the captured image and the purchased image, or may create a creative emoticon based only on the purchased image.
  • Server 130 may be a unitary server, or may be a distributed server spanning multiple computers or multiple data centers.
  • the server 130 is connected to a lower-level device that can communicate with another network server through a computer network such as a private intranet or the Internet, receives a request to perform a task, performs the task, and provides a performance result.
  • a computer network such as a private intranet or the Internet
  • receives a request to perform a task performs the task, and provides a performance result.
  • a computer network server programs network server programs
  • the server 130 should be understood as a broad concept that includes, in addition to the network server program, a series of application programs operating on the server and, in some cases, various databases built within the server.
  • Server 130 may include, by way of example and without limitation, a web server, news server, mail server, message server, advertising server, file server, application server, exchange server, database server, proxy server, etc. that perform the functions or processes described herein. It may be of various types, such as another server suitable for use, or any combination thereof. In certain embodiments, server 130 may include hardware, software, or embedded logic elements, or a combination of two or more such elements, to perform appropriate functions implemented or supported by server 130.
  • the content service system 1 may include one or more data stores 134 that store data of the server 130.
  • Data store 134 may be used to store various types of information.
  • information stored in data store 134 may be structured according to a particular data structure.
  • each data store 134 may be a relational, columnar, correlational, or other suitable database.
  • this specification describes or illustrates a specific type of database, this specification contemplates any suitable type of database.
  • the server 130 may provide an interface that allows the electronic device 110 to manage, search, change, add, or delete information stored in the data store 134.
  • the manager 100_3 accesses the server 130 using a third electronic device 110_3 and operates a market site that sells creative emoticons as products through the server 130, One or more of the following: granting permission to sell creative content, permitting the use of specific marks while creating creative content, permitting registration of creative content on a market site, and holding various events related to creative content. It means the person who implements it.
  • the manager 100_3 may be a person with the authority to operate the server 130 below.
  • the server 130 is configured to support the creation of creative emoticons or to support transactions.
  • Various user activities are possible through emoticon creation services, market services, voting events, and other event provision services supported by the server 130, and compensation may be paid to each user depending on the ripple effect of user activities.
  • the server 130 includes a member management module 131, a market management module 133, a point management module 135, and an event management module 137.
  • the member management module 131 is an administrator member (manager 100_3 in FIG. 1), general member (second user 100_2 in FIG. 1), and creative member (first user in FIG. 1) for the content service (or emoticon service).
  • User (100_1)) is configured to perform various member management operations such as checking each member's information, checking system usage history, or changing user status.
  • the member information includes user identification information and user status information.
  • the user's identification information includes one or more of the user's offline identification information, online identification information, and identification information of the electronic device 110 obtained when the user registers as a member. Additionally, the member information may further include user profile information. Profile information is information that describes the user.
  • the offline identification information is the user's identity information and may include, for example, one or more of name, address, email account, phone number, resident registration number, driver's license, and other ID numbers.
  • the online identification information may be a member ID of the content service system 1.
  • the identification information of the electronic device 110 may include one or more of a device identifier and a network identifier.
  • the network identifier may be, for example, a MAC address (Media Access Control Address) or an IP address (internet protocol address), but is not limited thereto.
  • the status information indicates the user's authority.
  • the user's state may be a first state indicating a first user (100_1) with content creation authority such as emoticon creation authority, a second state indicating an administrator (100_3) with management authority, or a second state indicating neither content creation authority nor management authority. It may also be a third status referring to general members.
  • the system usage details include content product creation details, content product purchase details, payment details, point settlement details, and event activity details.
  • the event activity details include voting event participation details.
  • the member management module 131 may grant permission to sell emoticons to the first user 100_1 using an electronic signature.
  • the content service system 1 may be connected to the authentication system 3.
  • an electronic signature is digital information attached to a document to be signed, and is used for the purpose of verifying the identity of the user who created the electronic signature and indicating the user's approval of the electronic document.
  • a document subject to signature refers to an electronic document that requires the user's electronic signature.
  • the electronic device 110 can authenticate that the user 100 approves the document to be signed by electronically signing the document to be signed.
  • the document to be signed is generated by the server 130 and includes an electronic contract document for granting sales authority.
  • the document to be signed is generated by the electronic device 110 and may further include a creative emoticon for registering a new product on a market site.
  • the signature target data is data to be derived from the signature target document.
  • the signature target data may be data processed from the original data of the signature target document using a predetermined algorithm.
  • the signature target data may be data obtained by processing the original data of the signature target document using a hash function.
  • the signature target data may be data processed from the original data of the signature target document using a hash function and a padding algorithm.
  • Padding refers to a technique of adjusting the size of data by adding blank data or meaningless symbol data to the end of the data when the data size is smaller than the target fixed size.
  • data to be signed may be the same as the original data of the document to be signed.
  • the authentication system 3 may be configured to issue a pair of asymmetric keys for electronic signatures in a public key infrastructure (PKI).
  • PKI public key infrastructure
  • the asymmetric key is the private key of the first user 100_1 and the public key corresponding to the private key.
  • the authentication system 3 transmits the private key or asymmetric key pair of the first user 100_1 to the first electronic device 110_1 and transmits the public key of the first user 100_1 to the server 130. .
  • the market management module 133 is configured to manage a market site where content products are traded.
  • the content product may be transmitted together with text through a messenger application or may be transmitted alone.
  • the content product includes a creative emoticon and a background sticker used to create the creative emoticon.
  • the content product may further include an emoticon object used to create a creative emoticon along with a background sticker.
  • the background sticker is an emoticon component that provides a background image for a creative emoticon.
  • the background sticker is placed on the emoticon object.
  • a portion of the emoticon object overlaid on the background sticker may be obscured on a two-dimensional plane.
  • the background sticker is replaced, the background image of the creative emoticon changes. Because of this arrangement structure and replacement effect, emoticon backgrounds for creative emoticons are referred to as background stickers.
  • the background sticker includes only a background image, or is configured to have text and/or sound as background elements in addition to the image.
  • the background image consists of background objects with shapes, colors, etc.
  • a background sticker may be implemented as multi-media data, including a background image in which the background object appears, background text, and background sound.
  • the voice expresses content related to the text and image in the background sticker as a voice signal.
  • the background sticker may be a still image or a sequence image consisting of a series of images showing continuously moving background elements such as background text and background objects. If the background sticker is a sequence image, the background sticker provides an animation effect.
  • the background sticker may have a structure of combining animation sequence images implemented on different layers for each group of background visual elements.
  • the background sequence image may be implemented as Graphics Interchange Format (GIF) image data. Then, the background sequence image may be sequentially output from the image in the first output order to the image in the last output order, and then the image in the first output order may be output again.
  • GIF Graphics Interchange Format
  • the emoticon object may be an emoticon object representing the first user 100_1.
  • the emoticon object may be acquired through a market site that sells the emoticon object as a content product, or may be obtained through a captured image of the emoticon object as a subject.
  • the captured image may be a still image or a series of images showing the emoticon object moving continuously. If the captured image of the emoticon object is a sequence image, the emoticon object image provides an animation effect.
  • the emoticon object may be an image showing the face of the first user 100_1.
  • the emoticon object is not limited to this, and the emoticon object may be an image showing another person, animal, or plant, such as the face of the first user 100_1 that the second user 100_2 likes.
  • the market management module 133 may approve or reject a product registration request from the first user 100_1 to whom sales authority has been granted. This will be described in more detail with reference to Figure 9 below.
  • the market management module 133 may manage the main screen of the market site.
  • the main screen may be the site screen displayed when first accessing the market site.
  • the market management module 133 may register, modify, or delete a product banner image.
  • the market management module 133 may form product categories and product groups and expose them on the main screen.
  • the market management module 133 may generate a mini-chart related to product trading and display it on the main screen.
  • the market management module 133 may be configured to check sales history, check the sales amount or total sales amount for a certain period of time for each seller, or cancel the purchase of a product for which payment has been requested incorrectly by the seller or buyer. there is.
  • the market management module 133 may manage the list of products for sale and the sales details of products within the list.
  • the product for sale may also be a content product.
  • Product sales details may include product description, sales amount, etc.
  • the market management module 133 may also generate transaction details.
  • the transaction details may include transaction time, transaction product, payment method, product price, etc. Additionally, the market management module 133 may further create sales details and purchase details.
  • the market management module 133 may store the generated details in the store 134.
  • the point management module 135 may check the point payment target and pay the target points to the payment target.
  • the point is a means of payment that can be used to trade content products on the market site of the content service system 1, and may be electronic money of the content service system 1.
  • the points are paid in the amount corresponding to the amount paid when the user 100 pays with real currency, or when the user 100 engages in an activity in the content service system 1, a pre-designated number of points for the activity is provided. It may be paid.
  • the point management module 135 may generate and view payment details recording the fact that the server 130 has paid points to all users.
  • the point management module 135 may also check the points held by the user 100 in the point wallet. Additionally, the point management module 135 may generate accumulation details for each user for each user 100 and modify the accumulation details. The accumulation details may be generated whenever an accumulation event occurs in which a pre-designated accumulation point amount is paid when the accumulation conditions are met. The point management module 135 may check the accumulation history of the user 100 and the amount of accumulated points within the accumulation history. Additionally, in some embodiments, if points have an expiration date, the expiration date of the corresponding accumulated point amount may be inquired.
  • the point management module 135 may store payment details and accumulation details in the store 134.
  • the accumulation event may be associated with various activities of the content service system 1.
  • the accumulation event may be a voting event.
  • the accumulation condition may be whether or not to participate in voting.
  • the event management module 137 may generate voting details and provide a voting list consisting of the generated voting events.
  • a voting event creation request including the input voting content is transmitted to the server 130.
  • the event management module 137 may generate voting details based on the voting content in the request for creating a voting event.
  • the voting details are a group of voting-related information and may include the content of the votes received and information obtained during the voting process.
  • the voting details include, for example, voting period, voting title, voting candidate, number of votes for each candidate, list of voting users for each candidate, voting-related messages, preference for the message (e.g., number of likes), detailed information, tags, etc. It may also be included.
  • the event management module 137 may generate voting screen data used to display a voting screen based on the voting details and transmit the voting screen data to the electronic device 110.
  • the voting list includes voting events for which voting has ended and/or voting events for which voting is in progress.
  • the server 130 may provide a voting list consisting only of voting events whose voting period has not expired, or a voting list including voting events whose voting period has expired.
  • the event management module 137 may provide some or all of the information of the voting details to the point management module 135 as voting results to provide voting users with points according to voting participation activities and voting results.
  • the event management module 137 may store voting details in the store 134.
  • the operation of the event management module 137 will be described in more detail with reference to FIG. 12 below.
  • the member management module 131 may grant permission to sell emoticons to a specific user (the first user 100_1 in FIG. 1) among the users 100 registered as members for the content service. Only the first user (100_1) who has been granted permission to sell emoticons can register his or her creative emoticons as trading products on the market site.
  • Figure 3 is a flowchart of a process for granting permission to create emoticons according to various embodiments of the present application.
  • the process of FIG. 3 may also be performed by the member management module 131.
  • the process of granting permission to sell emoticons to the first user (100_1) includes identification information and sales range information of the first user (100_1) stored in the first electronic device (110_1).
  • Receiving a permission request (S310); Searching for pre-registered member information of the first user (100_1) based on the identification information of the first user (100_1) (S320); Generating an electronic contract document for the first user (100_1) by applying the searched membership information of the first user (100_1) and the sales range information to a preset contract document template (S330); transmitting the electronic contract document to the first electronic device 110_1 to request an electronic signature of the first user 100_1 (S340); Verifying whether the electronic signature of the electronic contract document received from the first electronic device 110_1 satisfies a preset signature standard (S350); and granting permission to sell emoticons to the first user 100_1 whose electronic signature has been verified (S360).
  • the sales range information may be information describing the content product that the first user 100_1 wants to sell.
  • the sales range information may include product type.
  • the product type may be one or more content types among emoticon objects, background stickers, and creative emoticons. Additionally, in some embodiments, the sales range information may further include product details to be sold.
  • the product content may include the type of emoticon object to be sold, such as a person or an animal.
  • the member management module 131 stores member information of the user 100 who has signed up for the emoticon service in the data store 134.
  • the member management module 131 searches for pre-registered member information of the first user (100_1) based on the identification information of the first user (100_1) in the sales authorization request (S320).
  • the identification information of the first user 100_1 in the sales authorization request may include all or part of the registered member information of the first user 100_1. If the sales authorization request includes part of member information, the part of member information may be insufficient to create the electronic contract document to be created in step S330 below. Then, the member management module 131 may use some member information to obtain the remaining information for creating the electronic contract document to be created in step S330 from the pre-registered member information. For example, when a member ID is included in a sales authorization request, the member management module 131 may search for member information with the member ID to obtain the remaining member information.
  • the member management module 131 may also store contract document templates in advance.
  • the contract document template has a template structure consisting of preset contract items.
  • the member management module 131 applies the member information of the first user 100_1 retrieved in step S320 and the sales range information obtained in step S310 to the contract document template to obtain a member information value corresponding to the contract item. By inserting , an electronic contract document for the first user (100_1) is created.
  • step S340 when the first electronic device 110_1 receives the electronic contract document generated in step S330, it electronically signs the electronic contract document with the private key of the first user 100_1 and transmits it to the server 130. do.
  • the signature standard set in advance in step S350 includes verification using a public key.
  • the server 130 verifies the electronic signature of the received electronic contract document using the pre-stored public key of the first user 100_1. If the verification is successful, the validity of the approval of the contract contents of the first user (100_1) is verified (S350). The server 130 grants permission to sell emoticons to the first user 100_1 whose verification was successful (S360).
  • the preset signature standard may further include verification of the user's identity other than an electronic signature.
  • the first electronic device 110_1 may insert an identity verification image of the face of the first user 100_1 and an ID card showing the user's own face into an electronic signature document and transmit it to the server 130.
  • the step (S350) includes detecting the user's face area and ID card area in the received electronic contract document; Checking whether the face part in the identification area and the face part in the user's face area match; checking whether the values of at least some of the plurality of personal information items displayed in the ID area match the values of the same items among the pre-stored member information of the first user; It may also include verifying the validity of the electronic signature using a pre-stored public key of the first user after the match of the face part and the personal information item are confirmed.
  • the member management module 131 may include a region detection model configured to detect a preset region of interest in the input image.
  • the region detection model may be a machine learning model that extracts features from an input image and detects a preset region of interest.
  • the region detection model is, for example, based on Haar, Convolution Neural Network (CNN), Scale Invariant Feature Transform (SIFT), Histogram of Gradients (HOG), Neural Network (NN), Support Vector Machine (SVM), and Gabor method. It may be a model, but is not limited to this.
  • the area of interest includes a face area where the face of the first user 100_1 is photographed, and a face area within the ID card.
  • the face area is an area containing a portion of the first user's face taken together with the identification card.
  • the area of interest may further include some or all of the personal information items displayed on the ID card.
  • the personal information items may include, for example, one or more of name, address, resident registration number, and driver's license number.
  • the member management module 131 inputs the identity verification image inserted in the received electronic contract document into the area detection model to detect the face area of the first user 100_1 and the face area in the ID card, It is checked whether the face part in the ID card area and the face part in the face area of the first user match.
  • the member management module 131 calculates the similarity between the first feature set extracted to detect the face region in the region detection model and the second feature set extracted to detect the face region in the ID card, and matches the calculated similarity to the first feature set extracted to detect the face region in the region detection model. Based on this, the match of facial parts can also be judged.
  • the similarity may be calculated through, for example, Euclidean, cosine-based similarity calculation methods, or other vector similarity calculation methods.
  • the member management module 131 inputs the identity verification image inserted in the received electronic contract document into the area detection model and detects the area detection model among a plurality of personal information items appearing on the identification card. detects an area where each of at least some items preset to be displayed is displayed, recognizes text or numbers in the detected area, extracts the corresponding item value, and extracts the extracted item value from the pre-stored member information of the first user (100_1). Check whether it matches the value of the item.
  • the member management module 131 sets signature criteria including matching the photographed face part with the face part in the ID card, matching the ID card contents with member information, and verifying the validity of the electronic signature to the first user ( If 100_1) is satisfied, permission to sell emoticons is granted to the first user (100_1) (S360). When permission to sell emoticons is granted, the status information of the first user 100_1 is changed from a general member to a creative member and the member information of the first user 100_1 is updated (S360).
  • the member management module 131 may record the first user(s) who have granted permission to sell emoticons and create a list of people authorized to sell.
  • the selling authority list includes at least part of the member information of the first user 100_1 to whom selling authority has been granted, and the public key of the first user 100_1.
  • the member management module 131 when the member management module 131 grants the first user 100_1 the authority to sell emoticons, it may designate the creation storage space of the first user 100_1 in the storage space of the server 130. Then, the creative emoticon of the first user 100_1 created in the first electronic device 110_1, which will be described below, is stored in the creation storage space of the first user 100_1.
  • This creation storage space will be described in more detail with reference to FIG. 7 below.
  • the first electronic device 110_1 may create a creative emoticon using an emoticon object in a captured image.
  • FIG. 4 is a flowchart of a creative emoticon creation process according to various embodiments of the present application
  • FIG. 5 is a schematic diagram of the creative emoticon creation process of FIG. 4 .
  • a captured image is obtained by photographing an emoticon object, and at least a partial area of the photographed image is captured.
  • Obtaining emoticon object data related to the emoticon object image S410
  • the first electronic device 110_1 requests the server 130, which operates the market site, to purchase the background sticker at a market site where background stickers and content products including the creative emoticons are traded, thereby sending the corresponding background sticker data.
  • Receiving S430
  • the emoticon object includes the face and/or body parts of the first user 100_1.
  • the first electronic device 110_1 may acquire a face image by photographing the face with a camera, or may obtain an upper body image by photographing the upper body including the face.
  • a face image by photographing the face with a camera
  • an upper body image by photographing the upper body including the face.
  • step S410 the first electronic device 110_1 extracts an emoticon object image in which an emoticon object appears in at least a partial area from the captured image and obtains emoticon object data related to the extracted emoticon object image.
  • the entire frame area of the captured image may be used as an emoticon object image.
  • the first electronic device 110_1 is configured to provide an interface screen that allows selecting an emoticon object image using a captured image.
  • the first user 100_1 may directly select a captured image as an emoticon object image, or select a region of interest, such as a face part, from the captured image and select the region of interest image as an emoticon object image.
  • the emoticon object data may include two-dimensional image data representing the emoticon object and/or a set of parameters for rendering the emoticon object in two dimensions.
  • the set of parameters of the emoticon object includes the frame size of the emoticon object, the size, position, and color of the emoticon object on the frame, identification information of the emoticon object, and other parameters for implementing the emoticon object.
  • the identification information of the emoticon object may be a creator's device identifier, a network identifier, or a service system identifier such as a member ID.
  • the emoticon object data includes a set of data (e.g., individual emoticon object data) describing the emoticon object appearing in each emoticon object image constituting the sequence image, It further includes sequence data such as the output order and output speed of each image that makes up the entire time series section of the image.
  • the first electronic device 110_1 may display a background sticker sold through a market site.
  • the background sticker is classified into one of a plurality of preset emotion types.
  • the emotion type may include two or more of joy, anxiety, anger, embarrassment, pain (or hurt), sadness, and neutral.
  • the market site may provide a screen displaying all background stickers, background stickers already purchased by the first user (100_1), or background sticker groups classified by each emotion type.
  • the first electronic device 110_1 transmits a purchase request for the selected background sticker to the server 130 to download background sticker data. It may be possible.
  • the purchased background sticker may be stored in the purchased product storage box of the first user 100_1 in the server 130 or in the first electronic device 110_1 (S430).
  • the background sticker may be a background sticker related to the emotion of the first user 100_1 shown in the captured image.
  • the first electronic device 110_1 or the server 130 analyzes the emoticon object part of the captured image, that is, the face part of the first user, extracts the emotion predicted to be possessed by the first user 100_1, and extracts the extracted emotion.
  • a background sticker within the group of the emotion type corresponding to the emotion may be recommended (S430).
  • the step (S430) includes detecting a facial area in which the face of the user of the electronic device is expressed from the captured image data in order to recommend a background sticker; Recognizing the user's emotion by inputting a patch image of the detected face area into a pre-trained image-based emotion recognition model; searching the market site for one or more background stickers associated with the user's recognized emotion; generating a recommendation list for the user based on the sales range information of the searched background sticker and transmitting it to the electronic device to be displayed on the electronic device; And it may also include selecting a specific background sticker from the recommendation list and requesting a purchase of the selected background sticker.
  • the first electronic device 110_1 may include an area detection model.
  • the first electronic device 110_1 may detect a face area by inputting a captured image into the area detection model. Since the area detection model has already been described in relation to the member management module 131 above, detailed description will be omitted.
  • the first electronic device 110_1 extracts a face area from a captured image and generates a region of interest image consisting of the face area.
  • the image-based emotion recognition model may be a neural network-based machine learning model configured to recognize the emotion of the input image by extracting features of the input image to infer the correlation between the facial part of the input image and the emotion.
  • the image-based emotion recognition model has, for example, a model structure based on CNN (Convolutional Neural Networks) and other NNs.
  • the image-based emotion recognition model is pre-trained to recognize emotion types using a training data set consisting of a plurality of training samples.
  • the training data set may be subset into each of a plurality of emotion types.
  • the training data set is configured so that the image-based emotion recognition model recognizes any one of joy, anxiety, anger, embarrassment, pain (or hurt), sadness, and neutral as the emotion type. It consists of multiple training samples, subsetted into seven emotion types.
  • Each training sample has training data and label data.
  • the training data may be a sample emoticon object image, such as a sample face image.
  • the label data indicates the type of emotion possessed by the sample emoticon object shown in the sample emoticon object image.
  • the label data is expressed as a value indicating one of a plurality of emotion types that define a subset of the training data set.
  • the image-based emotion recognition model is designed to minimize the error between the output value (i.e., predicted emotion type) calculated by inputting training data of the training data set and the label data (i.e., actual emotion type) corresponding to the input training data. It is learned. As learning progresses and more training data is input, the values of model parameters (eg, weight, bias, etc.) in the image-based emotion recognition model are updated so that the error gradually decreases. Model parameters for which learning has been completed may have values that minimize errors.
  • model parameters eg, weight, bias, etc.
  • learning of the image-based emotion recognition model may be performed in the server 130 or the electronic device 110.
  • the electronic device 110 may receive a trained image-based emotion recognition model and use it to create a creative emoticon.
  • the first electronic device 110_1 determines the emotion type predicted through the market site. You can also display a group of background stickers associated with . For example, if the emotion type predicted from the captured image is “joy,” the market site may provide a recommendation list in which background sticker(s) previously associated with “joy” are arranged.
  • the first electronic device 110_1 may select a specific background sticker from the recommendation list and request the server 130 to proceed with purchasing the selected background sticker.
  • the first electronic device 110_1 may receive background sticker data.
  • the background sticker is data that implements a background sticker image.
  • the background sticker data may include two-dimensional image data displaying the background sticker and/or a set of parameters for rendering the background sticker in two dimensions.
  • the set of parameters of the background sticker includes the frame size of the background sticker, the size of the background components (e.g., background text, background objects) that make up the background sticker, the position on the frame, the color, the type of emotion associated with the background sticker, and the background sticker. Includes other parameters to implement.
  • the background components e.g., background text, background objects
  • the parameters of the background sticker may further include sequence data such as the output order as a sequence parameter.
  • step S450 the first electronic device 110_1 selects the emoticon object image selected as at least a portion of the captured image of the first user 100_1 obtained in step S410 and the first electronic device 110_1 purchased in step S430.
  • a creative emoticon is created by combining the background stickers of the user (100_1).
  • Figure 6 shows the structure of a creative emoticon according to various embodiments of the present application.
  • the creative emoticon consists of a first layer 51 and a second layer 52.
  • the second layer 52 is disposed on the first layer 51.
  • the step (S450) includes implementing an emoticon object image in the first layer using the emoticon object data; and implementing a background sticker image in the second layer using the background sticker data.
  • the first electronic device 110_1 may implement an emoticon object image in the first layer 51 using the emoticon object data.
  • the emoticon object data includes two-dimensional image data
  • the first electronic device 110_1 displays the two-dimensional image on the first layer 51.
  • the emoticon object data is a parameter set of the emoticon object
  • the first electronic device 110_1 renders a two-dimensional image of the emoticon object in the first layer 51 based on the parameter set.
  • the first electronic device 110_1 may implement a background sticker image in the second layer 52 using the background sticker data.
  • the background sticker data includes two-dimensional image data
  • the first electronic device 110_1 displays the two-dimensional image of the background sticker on the second layer 52.
  • the background sticker data is a parameter set of the background sticker
  • the first electronic device 110_1 renders a two-dimensional image of the background sticker in the second layer 52 based on the parameter set.
  • the first electronic device 110_1 adjusts the frame size of the background sticker to match the frame size of the emoticon object image.
  • step S450 if the frame size of the background sticker and the frame size of the emoticon object image do not match each other, the frame size of the purchased background sticker and the frame size of the emoticon object image including the emoticon object portion are adjusted.
  • the background sticker data may be adjusted so that the background sticker has a frame size that matches the frame size of at least a portion of the captured image. Then, the first electronic device 110_1 implements an emoticon object image in the first layer using the emoticon object data, and implements an emoticon object image in the second layer using background sticker data with an adjusted frame size. Implements a background sticker image.
  • the frame size is adjusted to create a creative emoticon that more harmoniously combines the emoticon object part expressed in the captured image (e.g., the captured face part) and the purchased background sticker, and the background visual elements included in the background sticker (e.g., This includes adjusting the size or position of an emoticon object included in a background object or background text) or emoticon object image.
  • a more harmonious combination is at least a relative decrease in the ratio difference between the size of the emoticon object part and the background object in the background sticker before and after the adjustment operation, and a relative decrease in the overlap between the emoticon object part and the background sticker.
  • the appearance of one effect means that the sense of heterogeneity due to proportional incongruity in the combination relationship between the emoticon object part and the background sticker within the combined creative emoticon is relatively reduced.
  • the step of adjusting the frame size of the purchased background sticker or emoticon object image to the remaining frame size includes, when the frame size of the emoticon object image is adjusted, the frame size of the emoticon object image before adjustment and the emoticon object image after adjustment. adjusting the size of the emoticon object portion based on a change in the ratio of the frame size of the image;
  • the method may include adjusting the size of the background object based on a change in the ratio between the frame size of the background sticker before adjustment and the frame size of the background sticker after adjustment.
  • the first electronic device 110_1 adjusts the size of the background object or the size of the emoticon object portion to generate creative emoticon data of the electronic device based on the background sticker data and emoticon object data.
  • the area of the exposed part that is not covered by the background object is calculated, and the ratio of the exposed part is calculated based on the total area of the emoticon object part and the area of the exposed part, and the exposed part If the ratio is less than a preset threshold exposure ratio, it may be further configured to further reduce the size of the emoticon object part or move the position of the emoticon object part so that an area greater than the threshold exposure ratio is exposed. This can prevent the emoticon object part from being displayed because it is excessively covered by the background object.
  • the first electronic device 110_1 may store a minimum size that limits further reduction of the emoticon object portion. If the emoticon object is reduced too much, the user 100 has limitations in recognizing the emoticon object. In this case, the size of the emoticon object part is further reduced so that the area greater than the critical exposure ratio is exposed, and if the ratio of the exposed part is still less than the critical exposure ratio even though the emoticon object part is reduced to the minimum size, the emoticon object is removed from the creative emoticon image. It may be configured to search the remaining space adjacent to the object part and move the emoticon object part of the minimum size to the adjacent remaining space.
  • the first electronic device 110_1 When the first electronic device 110_1 creates a creative emoticon, it transmits the creative emoticon data to the server 130 and stores the creative emoticon data in the creation storage space of the first user 100_1 already formed in the storage space in the server 130. Save.
  • the creative emoticon data may include two-dimensional image data that displays the creative emoticon in two dimensions and/or a parameter set of the creative emoticon.
  • the parameter set of the creative emoticon includes a parameter set of the emoticon object and a parameter set of the background sticker. If the size, position, etc. of the emoticon object and background sticker are adjusted during the creation of the creative emoticon, the parameter set of the creative emoticon includes a parameter set with changed values for the adjusted emoticon object and background sticker.
  • a creative emoticon creation mode is activated in the first electronic device 110_1.
  • the creative emoticon creation mode is deactivated, and the electronic device 110 may not execute the creative emoticon creation mode even if it receives an execution input for the creative emoticon creation mode.
  • the first electronic device 110_1 may generate a creative emoticon with a watermark 53 inserted on the second layer 52.
  • the watermark 53 is associated with the first user and may be composed of at least one of text and a logo describing the first user.
  • the first electronic device 110_1 may receive watermark information indicating the identity of the first user 100_1, or may store it in advance.
  • the content service system 1 may require a deduction of a certain amount of points to insert the watermark 53 into the creative emoticon.
  • the first electronic device 110_1 requests the use of a watermark including the identifier of the first user in order to insert the watermark 53 on the second layer 52. transmitting to the server; When the server receives a request to use the watermark, deducting a preset amount of points for the mark from the point wallet of the first user and transmitting permission to use the mark to the first electronic device; and, when permission to use the watermark is received by the first electronic device, placing the watermark on the second layer to create a creative emoticon with the watermark inserted.
  • the content service system 1 analyzes the emoticon object part of the captured image, that is, the face part of the first user, and sets the emotion type predicted to be possessed by the first user 100_1 to the upper emotion parameter. and may be further configured to set lower emotion parameters based on the shape of the emoticon object portion of the captured image.
  • the shape of the emoticon object portion of the captured image includes the facial expression of the first user 100_1 and/or the shape of the still or continuous motion of the first user 100_1.
  • the first electronic device 110_1 or the server 130 is configured to recognize the motion of the first user 100_1 according to stationary or continuous motion.
  • the first electronic device 110_1 may include a motion recognition model and a secondary emotion recognition model.
  • the motion recognition model may be a neural network-based machine learning model configured to recognize the motion of an emoticon object appearing in the input image by extracting features of the input image to infer the correlation between the object movement of the input image and the motion indicated by the motion.
  • the image-based emotion recognition model has, for example, a model structure based on CNN (Convolutional Neural Networks) and other NNs.
  • the motion recognition model may obtain data about joint points by extracting features from each frame of the input sequence image.
  • Data about the joint point may be expressed as a scale value, a translation value (e.g., a joint coordinate value), or a rotation value (e.g., a movement value).
  • the size, position, and rotation values may be expressed as three-dimensional vectors.
  • the recognition of the action may be recognition of a type of action.
  • the motion recognition model is trained in advance to recognize motion types using a training data set consisting of a plurality of training samples.
  • Each training sample has a sample sequence image showing the continuous motion of an emoticon object as training data and the motion type indicated by the corresponding motion as label data.
  • the training data set may be subset into each of a plurality of operation types.
  • the label data of the motion type may be composed of data about a joint point that implements a reference motion indicating the corresponding motion type.
  • the motion recognition model is trained to minimize the error between the output value (i.e., predicted motion type) calculated by inputting the training data of the training data set and the label data (i.e., actual motion type) corresponding to the input training data. .
  • the values of model parameters eg, weight, bias, etc.
  • Model parameters for which learning has been completed may have values that minimize errors.
  • learning of the motion recognition model may be performed in the server 130 or the electronic device 110.
  • the electronic device 110 may receive a learned motion emotion recognition model and use it to create a creative emoticon.
  • a motion type value predicted to be taken by the first user 100_1 may be obtained.
  • the motion type value of the motion recognition model is provided as a secondary emotion recognition model.
  • the secondary emotion recognition model is a secondary emotion prediction model predicted to have under the motion and facial expression taken by the user 100 when the emotion type value calculated from the image-based emotion recognition model and the motion type value calculated from the motion recognition model are input. It is configured to calculate the emotion type. Unlike the previous seven emotion types classified based on the facial expression of the user 100, the secondary emotion type is an emotion type that can be classified based on the facial expression and motion of the user 100, and is referred to as an auxiliary emotion type. It could be.
  • the secondary emotion type may be set to have a different value from the previous seven emotion types.
  • the secondary emotion type may be an emotion type of another aspect such as positivity, negativity, exercise, or love.
  • the secondary emotion recognition model includes the emotion type value of one of the seven emotion types classified based on the facial expression of the user (100) calculated from the image-based emotion recognition model and the user (100) calculated from the motion recognition model.
  • ) is a machine learning model configured to predict the corresponding secondary emotion type by processing the input combination to infer the correlation between the combination of the action type value and the preset secondary emotion type.
  • the secondary emotion recognition model has a neural network structure.
  • the neural network structure may be, for example, a fully connected layer structure, a multi-layer perceptron (MLP) model structure, or other NN structure.
  • MLP multi-layer perceptron
  • the secondary emotion recognition model is trained in advance to recognize secondary emotion types using a training data set consisting of a plurality of training samples.
  • the training data set may be subset into each secondary emotion type.
  • the training data set is subset into the four emotion types so that the secondary emotion recognition model recognizes any one of positive, negative, exercise, and love as the secondary emotion type. It consists of a plurality of training samples.
  • Each training sample has training data and label data.
  • the training data may be a sample emotion type and sample motion type value calculated from a sample captured image.
  • the label data indicates the secondary emotion type possessed by the sample emoticon object shown in the sample emoticon object image.
  • the label data is expressed as a value indicating one of a plurality of secondary emotion types that define a subset of the training data set.
  • the first electronic device 110_1 may obtain a secondary emotion type value for the emoticon object. Then, the first electronic device 110_1 may generate parameters of the emoticon object including the secondary emotion type value. In this way, system 1 can extract various emotions other than the seven emotions as attributes related to the emoticon object.
  • the creative emoticon data created in this way is transmitted to the server 130 and stored in the creation storage space of the first user 100_1.
  • the creation storage space has already been created when the first user (100_1) is granted permission to sell emoticons.
  • Figure 7 shows a screen of an electronic device for accessing the location of the creation storage space, according to various embodiments of the present application.
  • the first electronic device 110_1 may check the creative emoticon stored in the created storage space of the first user 100_1 by selecting the icon 60 indicating the created storage space.
  • the first electronic device 110_1 may store creative emoticon data in a storage space within the first electronic device 110_1.
  • the first electronic device 110_1 forms a first storage space in the storage space within the first electronic device 110_1 linked to the created storage space of the first user 100_1 within the server 130 to store the first information.
  • the creative emoticon data may be stored in the space, and/or the creative emoticon data may be stored in one or more second storage spaces.
  • the corresponding creative emoticon data is stored in the storage box of the first user (100_1), and then the creative emoticon data is stored in the storage box of the first user (100_1).
  • the corresponding creative emoticon data is stored in the first storage space of the first electronic device 110_1.
  • FIG. 8 shows a screen for selecting a messenger application for transmitting a creative emoticon stored in a second storage space according to various embodiments of the present application
  • FIG. 9 shows a screen for selecting a creative emoticon stored through the messenger application selected in FIG. 8. Shows the screen for transmitting.
  • the first electronic device 110_1 may store the creative emoticon data in one or more second storage spaces formed in the storage space of the first electronic device 110_1.
  • Each second storage space is a messenger storage space that stores emoticons of the corresponding messenger application 70, and the one or more second storage spaces are the corresponding application created when the corresponding messenger application 70 is installed on the electronic device. This is a dedicated storage space for (70).
  • the emoticon of the messenger application 70 is stored in the second storage space.
  • the plurality of second storage spaces are formed in a different location from the first storage space in the first electronic device 110_1.
  • the first electronic device 110_1 may store the creative emoticon in each of a plurality of second storage spaces in response to storing the creative emoticon in the first storage space.
  • storing the creative emoticon in the second storage space may be the location of the first storage space where the creative emoticon is stored.
  • the plurality of messenger applications 70 corresponding to the plurality of second storage spaces are self-messenger applications operated by the operator of the server 130 and/or messenger applications not operated by the operator of the server 130. It may also include third-party messenger applications.
  • the message sender's emotions can be conveyed through a messenger emoticon as shown in FIG. 9 using the stored creative emoticon.
  • the first electronic device 110_1 When the location of the first storage space where the creative emoticon is stored is stored in the second storage space, the first electronic device 110_1 obtains the creative emoticon stored in the first storage space through the location of the first storage space and displays the creative emoticon in FIG. 9 Provides a preview screen or sends the selected creative emoticon.
  • the first electronic device 110_1 may transmit a parameter set of the target creative emoticon instead of transmitting an image of the creative emoticon.
  • Another electronic device 110 that has received the parameter set can create a creative emoticon using the parameter set. Then, the time required to send/receive emoticons can be minimized compared to when transmitting creative emoticons in image format.
  • creative emoticon image data is stored in the first storage space or the second storage space, or a creative emoticon image and a parameter set of the creative emoticon are stored, and the first user 100_1 in the server 130 ), the parameter set of the creative emoticon may be transmitted to the server 130 to store the parameter set of the creative emoticon in the storage space of ).
  • the data capacity of the parameter set of the creative emoticon is relatively smaller than the data capacity of the creative emoticon image.
  • the first electronic device 110_1 may select a creative emoticon to be deleted from the first user's library and transmit a request for deletion of the selected creative emoticon to the server 130.
  • the server 130 deletes the creative emoticon data from the first user's library and transmits a deletion notification to the first electronic device 110_1.
  • the first electronic device 110_1 may delete the creative emoticon data from one or more second storage spaces in response to deletion from the first user's storage box.
  • the first electronic device 110_1 can check whether messages are linked through the application for creating creative emoticons, thereby eliminating the user's inconvenience in managing emoticons directly in each of the multiple messenger applications 70.
  • the first user 100_1 may register the creative emoticon he created as a product for sale on the market site through the first electronic device 110_1.
  • the created emoticon of the first user (100_1) may be additionally registered in the list of products for sale on the market site.
  • the first electronic device 110_1 transmits a product registration request including creative emoticon data of the first user 100_1 to the server 130.
  • FIG. 10 shows a screen for requesting product registration according to various embodiments of the present application
  • FIG. 11 shows a screen showing a registration result according to the product registration request of FIG. 10 .
  • the first electronic device 110_1 selects a creative emoticon that is to be registered as a new product among the creative emoticons stored in the creation storage space of the first user 100_1, thereby generating the first user 100_1.
  • a product registration request including creative emoticon data is generated and the product registration request is transmitted to the server 130.
  • the market management module 133 may add the first user's creative emoticon to the list of products for sale on the market site using the received creative emoticon data of the first user.
  • the market management module 133 uses the creative emoticon data of the first user 100_1 to sell the market site.
  • the first user's (100_1) creative emoticon can also be added to the product list.
  • the registration criteria determines whether the emoticon object of the creative emoticon belongs to the sales range information, and/or whether the emoticon object of the creative emoticon corresponds to a filter product in a pre-stored filter list based on the obtained emoticon object data. Includes.
  • the market management module 133 obtains emoticon object-related information, such as the type of emoticon object (eg, person, animal, etc.), from the creative emoticon data in the product registration request.
  • emoticon object-related information such as the type of emoticon object (eg, person, animal, etc.)
  • the market management module 133 determines that if the type information of the emoticon object acquired in advance and included in the sales range information matches the type of the emoticon object acquired through a product registration request, the emoticon object of the creative emoticon is included in the sales range information. decided to belong. If the type information of the emoticon object acquired in advance and included in the sales range information does not match the type of the emoticon object acquired through a product registration request, the market management module 133 determines that the emoticon object of the creative emoticon is changed to the sales range information. Decide that it does not belong to
  • the market management module 133 checks whether the emoticon object of the creative emoticon is not searched in the pre-stored filter list. When an emoticon object is searched in a pre-stored filter list, it is determined that the emoticon object of the creative emoticon corresponds to a filter product in the pre-stored filter list. If the emoticon object is not searched in the pre-stored filter list, it is determined that the emoticon object of the creative emoticon does not correspond to the filter product in the pre-stored filter list.
  • the filter list is a list of permission-denied emoticon objects, and may also be a list of disapproved emoticon objects.
  • the filter emoticon object included in the filter list is an emoticon object with copyright issues and includes, for example, pre-designated character(s) and picture(s).
  • the market management module 133 1 When it is determined that the emoticon object of the creative emoticon belongs to the sales range information and/or that the emoticon object of the creative emoticon does not correspond to a filter product in the pre-stored filter list, the market management module 133 1 The user's creative emoticon can also be added to the list of products for sale.
  • the first electronic device 110_1 may generate a product registration request by processing creative emoticon data with an electronic signature.
  • the market management module 133 may verify the validity of the electronic signature of the creative emoticon data in the product registration request using the public key of the first user in the sales authority list. When the validity of the electronic signature is verified, the market management module 133 may add the first user's creative emoticon to the list of products for sale.
  • step S450 the creative emoticon created in step S450 is exposed as a new product on the market site.
  • Another user 100 may purchase a creative emoticon by paying a purchase price for the creative emoticon of the first user 100_1 through a market site.
  • the creative emoticon data of the first user (100_1) is stored in the purchase storage space of the second user (100_2) created in the server 130. do.
  • the second electronic device 110_2 of the second user 100_2 may store purchased creative emoticon data in a storage space within the second electronic device 110_2. Additionally, in some embodiments, the second electronic device 110_2 may use a third storage space linked to the purchase storage space of the second user 100_2 in the server 130 in the storage space of the second electronic device 110_2.
  • the creative emoticon data may be stored in the third storage space, and/or the creative emoticon data may be stored in one or more fourth storage spaces.
  • the third storage space corresponds to the first storage space described with reference to FIG. 8, and the fourth storage space corresponds to the second storage space.
  • the fourth storage space is a messenger storage space that stores emoticons of the corresponding messenger application 70, and the one or more fourth storage spaces store the corresponding application 70 formed when the corresponding messenger application 70 is installed on the electronic device.
  • This is a dedicated storage space for The plurality of fourth storage spaces are formed in a different location from the third storage space in the second electronic device 110_2.
  • the second electronic device 110_2 may transmit the purchased creative emoticon through a messenger application.
  • the market management module 133 may generate sales history data of the first user 100_1 and purchase history data of the second user 100_2, and perform a settlement operation accordingly. Due to the purchase of the second user 100_2, the first user 100_1 acquires real currency (eg, cash) or points.
  • real currency eg, cash
  • the user 100 may acquire points by performing various activities in the content service system 1.
  • the activity may be participating in a voting event.
  • the server 130 creates a voting event through the event management module 137, manages voting details of the corresponding voting event, and pays points according to voting participation and results through the point management module 135.
  • FIG 12 is a flowchart of a voting event progress process according to various embodiments of the present application.
  • the voting event progress process includes generating a voting event by the event management module 137 (S1210).
  • the voting event is implemented to update the number of participants who voted for the voting target during the voting period.
  • the voting event has a group of voting event-related information.
  • the event management module 137 forms a voting group consisting of at least some of the creative emoticons included in the product sales list and counts the popularity of each creative emoticon included in the voting group. You can also create voting events.
  • the server 130 may generate the voting event by inputting the voting period, information related to a plurality of creative emoticons, and other voting contents through the electronic device 110 of the manager 100_3.
  • Different emoticon objects within a specific voting group for a voting event are candidates for voting.
  • An emoticon object of a person (A) alone and an emoticon object of a group including a person (A) are treated as different candidates for voting.
  • the voting event progress process of FIG. 12 includes determining the number of votes for each creative emoticon in the voting group based on the number of second users (100_2) who selected the creative emoticon in the voting group during the voting period (S1220) ); It includes determining a voting ranking according to the number of votes and generating voting details of the voting event recording the number of votes, voting ranking, and users 100 who participated in the voting event (S1230).
  • FIG. 13 illustrates a voting screen according to various embodiments of the present application.
  • the event management module 137 transmits voting screen data to the second electronic device 110_2 and sends voting screen data to the second electronic device 110_2 to encourage voting participation after the voting event is created. displays the voting screen of the voting event. If a voting event is created in step S120, the voting screen data may be provided.
  • the voting screen is configured to arrange the creative emoticons for voting included in the voting group and select which creative emoticon you want to vote for among the arranged creative emoticons for voting.
  • the arrangement list of the voting group may include a creative emoticon image and emoticon object information of the creative emoticon (eg, name ### in FIG. 13).
  • step S1220 the second electronic device 110_2 generates a request to participate in voting according to the selection and transmits it to the server 130. Then, the event management module 137 updates the number of votes for the selected creative emoticon based on the voting participation request by the number of second users (100_2) who selected and voted for the creative emoticon and votes for the second user (100_2) who voted. Update the participant list. When the voting period expires, the event management module 137 determines the voting ranking by counting the number of votes for each creative emoticon.
  • the event management module 137 in addition to selecting a creative emoticon in a voting group, collects votes for the selected creative emoticon based further on the purchase history of the selected creative emoticon and/or input of a voting message. It may also be configured to update the number.
  • the event management module 137 recognizes the second user (100_2), who satisfies the counting conditions including selection of the creative emoticon, purchase details of the creative emoticon, and input of a voting-related message, as a voting participant.
  • the event management module 137 determines whether a specific creative emoticon subject to voting in the voting participation request has been purchased from the purchase history of the second user who has received the voting participation request, and the second user The number of votes for the specific creative emoticon may be updated according to the voting participation request of the second user, who has confirmed that the user has purchased the specific creative emoticon subject to the vote.
  • Figure 14 shows a voting message screen according to various embodiments of the present application.
  • the event management module 137 may input a voting-related message of the second user 100_2 and provide a voting message screen in which the input voting-related messages of the participants are arranged.
  • the voting-related message may have creative emoticons and/or text as message content.
  • the participant who entered the voting-related message may be at least some of all second users (100_2) who participated in the voting event.
  • the event management module 137 may generate voting message screen data and transmit it to the second electronic device 110_2 so that the voting message screen is displayed on the second electronic device 110_2.
  • the second electronic device 110_2 may display the voting message screen and transmit the voting-related message of the second user 100_2 entered into the input window to the server 130.
  • the event management module 137 may transmit the received voting-related message to the electronic device 110 that displays the voting message screen so that it is additionally displayed on the voting message screen.
  • the event management module 137 may update the number of votes for the creative emoticon based on the voting-related message displayed on the voting message screen. Specifically, when the event management module 137 receives the voting participation request from the second electronic device, it relates to the voting participation of the second user who sent the voting participation request among the voting-related messages arranged on the voting message screen. Search for messages. If the voting-related message of the second user (100_2) is entered, it is searched on the voting message screen. Then, the number of votes for the selected creative emoticon is updated according to the voting participation request of the second user (100_2) whose voting-related message was retrieved. In other words, voting participants must use the creative emoticon for the vote to be reflected in the number of votes.
  • the event management module 137 allows the second user 100_2 to use a creative emoticon based on an emoticon object that has the same identity but a different pose from the emoticon object displayed in the creative emoticon included in the voting-related message. In this case, it may be further configured to reflect the number of votes. Specifically, the event management module 137 checks whether the searched message contains a creative emoticon that is the same as the creative emoticon of the voting target or contains another creative emoticon based on the same emoticon object as the emoticon object in the creative emoticon of the voting target.
  • the voting participation of a second user identified among the retrieved messages as containing a creative emoticon identical to the creative emoticon of the voting target or containing another creative emoticon based on an emoticon object identical to the emoticon object in the creative emoticon of the voting target.
  • the number of votes for the specific creative emoticon may be updated.
  • the event management module 137 checks whether the searched message contains a creative emoticon identical to the creative emoticon of the voting target or contains another creative emoticon based on the same emoticon object as the emoticon object in the creative emoticon of the voting target.
  • the voting group detects emoticon object data in the creative emoticon data of the voting target included in the voting participation request, detects an emoticon object identifier in the emoticon object data in the creative emoticon data of the voting target, and creates the searched message.
  • Detect emoticon object data in the emoticon data detect an emoticon object identifier from the emoticon object data in the creative emoticon data of the searched message, and if the detected emoticon object identifiers match each other, they include the same creative emoticon as the creative emoticon for voting.
  • the same first user (100_1) creates the 1-1 creative emoticon using the first captured image taken in the first pose and creates the second created emoticon using the 1-2 captured image taken in the second pose.
  • the 1-1 creative emoticon is arranged in the voting group, and the second user (100_2) can purchase the 1-2 creative emoticon.
  • the second user (100_2) selects the 1-1 creative emoticon from the voting group and enters a message including the already purchased 1-2 creative emoticon in the voting message screen, the 1st-1 creative emoticon of the second user (100_2) -1
  • the voting act of selecting a creative emoticon is recognized and reflected in the number of votes. This is because when different creative emoticons have the same emoticon object, the identity of the emoticon object is maintained, so it can be viewed as a message related to the object for which the second user (100_2) voted.
  • the electronic device 110 may be configured to simultaneously display the voting screen of FIG. 13 and the voting message screen of FIG. 14 as a first sub-screen and a second sub-screen within a single screen. Additionally, in some embodiments, the second sub-screen may be displayed in the form of a pop-up window on a single screen.
  • step S1220 the participation of the second user 100_2 in voting during the voting period in step S1220 is reflected as information of the voting event.
  • the event management module 137 counts the number of votes for each creative emoticon in the voting group and assigns a voting ranking. In order to generate voting details of the voting event, the event management module 137 receives a voting participation request from a second user including the identifier of a specific creative emoticon in the voting group selected by the second electronic device as a voting target. When received, the number of votes of the specific creative emoticon is counted, and for each creative emoticon, the creative emoticon with a higher number of counted votes may be given a higher voting rank than the creative emoticon with a lower number of counted votes (S1230) .
  • the event management module 137 provides the point management module 135 with a list of the second users (100_2) who participated in voting during the voting period or manages the voting details for points after the voting period ends. It may also be provided as a module 135.
  • the voting event progress process includes obtaining, by the event management module 137, a list of second users (100_2) who participated in the corresponding voting event (S1240); And it may also include a step (S1250) of paying a preset amount of points for the corresponding voting event as voting participation points to the second user (100_2) in the list of second users acknowledged to have participated.
  • the event management module 137 when the voting participation of the second user 100_2 is acknowledged, the event management module 137 provides information on the acknowledged second user 100_2 to the point management module 135 in real time, or By providing voting details to the point management module 135 after the end of the voting period, the point management module 135 can obtain a list of second users 100_2 whose voting participation is acknowledged.
  • the voting participation points may be an equal amount for all second users 100_2 whose voting participation is acknowledged.
  • the voting event progress process is performed by the event management module 137 to give the second user 100_2, who voted for the creative emoticon with a higher voting rank, a creative emoticon with a lower voting rank.
  • a step (S1260) of paying a larger number of points as voting compensation points than that of the other second users (100_2) who voted may be further included.
  • the frequency of use of creative emoticons can be further increased by encouraging more users to purchase and enter messages for the creative emoticons for which they want to vote.
  • the first electronic device 110_1 controls the motion of the emoticon object and the background visual of the background sticker based on the semantic information of the background visual element to which the animation effect is applied in the background sticker and the semantic information of the motion of the emoticon object in the captured image.
  • the animation effects of the elements may be further configured to create more naturally coordinated creative emoticons.
  • step S450 may be created in step S450. Since the creation of such a creative emoticon is similar to the creation of a creative emoticon in step S450 described with reference to FIGS. 4 and 6, the differences will be mainly explained.
  • FIG. 15 is a flowchart of a process for generating a creative emoticon based on semantic information of a background visual element and semantic information of an action of an emoticon object in a captured image, according to various embodiments of the present application.
  • the process of creating a creative emoticon based on the semantic information is: acquiring a shooting sequence image of a user who continuously photographs a user implementing one or more operations in the first electronic device 110_1, and capturing the shooting sequence image Obtaining emoticon object data related to the emoticon object sequence image from (S1510); A step of requesting a purchase of the background sticker from a market site where content products including the background sticker and the creative emoticon are traded to a server operating the market site and receiving the corresponding background sticker data (S1520); Inputting the emoticon object sequence image into a previously learned motion recognition model to recognize the motion of the emoticon object in the sequence image (S1530); Obtaining semantic information of background text included in the background sticker from the background sticker data (S1540); and generating creative emoticon data combining a background sticker and the emoticon object sequence image based on the recognition result of the motion and the semantic information of the background text (S1550).
  • the shooting sequence image is a set of images taken sequentially of the user, and includes a subset according to each operation.
  • the emoticon object sequence image in step S1510 is a sequence image in which the emoticon object images described above in step S310 are sequentially photographed.
  • the emoticon object sequence image consists of a set of emoticon object images in which an emoticon object appears in at least a partial region in each captured image forming the captured sequence image.
  • the emoticon object sequence image may be implemented as GIF (Graphics Interchange Format) image data. Then, the emoticon object sequence image may be sequentially output from the image in the first output order to the image in the last output order, and then the image in the first output order may be output again.
  • GIF Graphics Interchange Format
  • the background sticker has an animation sequence image in which one or more background visual elements are expressed as animation.
  • the background visual elements are background text and/or background objects.
  • a background sticker may be purchased with animation effects applied to the background object shape and/or background text.
  • the animated sequence image includes a subset of one or more background visual elements to which the same animation effect is applied.
  • the motion recognition model is a neural network configured to recognize the motion of the emoticon object appearing in the input image by extracting features of the input image to infer the correlation between the object movement of the input image and the motion indicated by the motion. It may be a machine learning model based.
  • the image-based emotion recognition model has, for example, a model structure based on CNN (Convolutional Neural Networks) and other NNs.
  • the motion recognition model may obtain data about joint points by extracting features from each frame of the input sequence image.
  • Data about the joint point may be expressed as a scale value, a translation value (e.g., a joint coordinate value), or a rotation value (e.g., a movement value).
  • the size, position, and rotation values may be expressed as three-dimensional vectors.
  • the recognition of the action may be recognition of a type of action.
  • the motion recognition model is trained in advance to recognize motion types using a training data set consisting of a plurality of training samples.
  • Each training sample has a sample sequence image showing continuous movements of an emoticon object as training data, and data describing the type of movement indicated by the corresponding movement as label data.
  • the training data set may be subset into each of a plurality of operation types.
  • the label data of the motion type may be composed of data about a joint point that implements a reference motion indicating the corresponding motion type.
  • the motion recognition model is trained to minimize the error between the output value (i.e., predicted motion type) calculated by inputting the training data of the training data set and the label data (i.e., actual motion type) corresponding to the input training data. .
  • the values of model parameters eg, weight, bias, etc.
  • Model parameters for which learning has been completed may have values that minimize errors.
  • learning of the motion recognition model may be performed in the server 130 or the electronic device 110.
  • the electronic device 110 may receive a learned motion emotion recognition model and use it to create a creative emoticon.
  • a motion type value predicted to be taken by the first user 100_1 may be obtained.
  • the motion recognition task of step S1530 may be performed by the motion recognition model.
  • the meaning of the background visual element included in the background sticker data may be an emotion type.
  • the first electronic device 110_1 may obtain emotion type information previously associated with the background text in the background sticker data as the meaning of the text.
  • the emotion type information is associated with the corresponding visual element at the time of creating the background sticker.
  • the step (S1550) is performed so that, when the frame size of the purchased background sticker and the frame size of the emoticon object sequence image are different, the emoticon object sequence image is matched to the frame size of the purchased background sticker.
  • adjusting the frame size calculating a sub-output section according to a recognized motion in the entire output section of the captured sequence image; calculating a sub-output section according to the meaning of each background text from the entire output section of the background sequence image;
  • the first electronic device 110_1 may calculate a sub-output section according to the motion of the emoticon object recognized by the motion recognition model in the entire output section of the captured sequence image.
  • a sub-output section for each of the plurality of actions is calculated.
  • the sub-output section is defined as the range from the output order of the image in which the motion first appears to the output order of the image in which the motion appears last.
  • the first electronic device 110_1 may calculate a sub-output section according to the meaning of the background visual element in the background sequence image.
  • a single background sequence image provides multiple animation effects by multiple groups of background visual elements, each sub-output section from the start to the end of each animation effect is calculated.
  • the emoticon object sequence image is implemented so that the frame size matches the frame size of the background sticker.
  • the first electronic device 110_1 determines whether the meaning (i.e., emotion type) of the background visual element shown in each animation sequence image corresponds to a meaning previously associated with the corresponding motion. To this end, the first electronic device 110_1 may store an operation semantic table in advance.
  • the action semantic table records emotion types previously associated with each action.
  • the action semantic table may include “joy” as the emotion type associated with the action type “hurray.”
  • One action type may have multiple emotion types associated with it. Additionally, multiple action types may be associated with one emotion type.
  • the first electronic device 110_1 selects one of the emotion types previously associated with the motion recognized using an action semantic table recording the emotion types previously associated with each motion and the emotion type into which the background visual element is classified. If this matches, it is determined that the meaning of the background visual element corresponds to the meaning previously associated with the corresponding action.
  • FIG. 16 illustrates a creative emoticon in which a single action and a single animation sequence image are mapped to each other, according to various embodiments of the present application.
  • the background sticker used to create the creative emoticon of FIG. 16 includes an animation sequence image 1610 showing a concentrated line and an animation sequence 1620 showing a background shape expressing surprise.
  • the animation sequence image 1610 is classified as a normal emotion type, and the animation sequence image 1620 is classified as an emotion type of “joy.”
  • the mapping operation may not be performed.
  • the first electronic device 110_1 searches for the “cover mouth” action in the action semantic table and determines whether the emotion type associated with the “cover mouth” action has the emotion type of “joy.” If the emotion type of "joy" is previously associated with the "cover mouth” action, the first electronic device 110_1 determines that the "cover mouth” action and the animation sequence image 1620 of FIG. 16 have corresponding meanings. and map them to each other.
  • the background sequence image data included in the background sticker data is modified so that the starting point of the sub-output section of the mapped background text matches the starting point of the sub-output section of the corresponding operation.
  • the output start time of the animation sequence image 1620 may be modified to be synchronized with the start time of the movement of the “mouth covering” motion.
  • the creative emoticon is created so that the animation sequence image 1620 provides an animation effect that appears at the start of the mouth covering motion.
  • the action is provided first to the other person who received the creative emoticon, and animation effects with the same meaning are provided in duplicate, thereby further reducing the impact of the animation effect, or the animation effect is provided first, thereby reducing the impact of the emoticon object to take. It is possible to prevent the problem that the influence of motion transmission is further reduced by spoiling the motion.
  • the first electronic device 110_1 may generate a creative emoticon by combining an emoticon object sequence image showing one or more actions and an animation sequence image providing one or more animation effects.
  • the first electronic device 110_1 displays each animation sequence. It may be determined that the meaning of the background visual element appearing in the image corresponds to the meaning previously associated with the corresponding action. Then, multiple animation sequence images may be mapped to a single action.
  • the first electronic device 110_1 sets the earliest output order among the plurality of background animation sequence images to match the start point of the sub-output section of the animation sequence image.
  • the animation sequence image data of the background sticker data can also be adjusted.
  • FIG. 17 illustrates a creative emoticon in which a plurality of actions and a single animation sequence image are mapped to each other, according to various embodiments of the present application.
  • the first electronic device 110_1 selects the background time shown in the single animation sequence image. It may be determined that the meaning of an element corresponds to a meaning previously associated with each of a plurality of operations. Then, multiple actions may be mapped to a single animation sequence image.
  • the animation sequence image 1710 provides an animation effect in which the letters "Going" appear in a sequence at specified positions in the frame, and the recognized action is the emoticon object making a hurrah gesture with its elbows folded followed by an uppercut motion with one hand. It may be. Then, the first electronic device 110_1 determines that the hurrah motion and uppercut motion of FIG. 17 have the meaning of an emotional type corresponding to the visual element (character “fighting”) shown in the animation sequence image 1710, and performs a plurality of motions. and a single animation sequence image 1710 may be mapped to each other.
  • the first electronic device 110_1 selects the starting point of the sub-output section of the background visual element as the sub-output of the operation with the earliest output order among the plurality of consecutive operations (e.g., the hurray operation in FIG. 17).
  • the animation sequence image data of the background sticker data may be adjusted to match the starting point of the section. That is, the start of output of the animation sequence image 1710 coincides with the start of output of the operation with the earliest output order (the hurray operation in FIG. 17).
  • FIG. 18 illustrates a creative emoticon in which a plurality of actions and a plurality of animation sequence images are mapped to each other, according to various embodiments of the present application.
  • step S1550 the first electronic device 110_1 adds a plurality of animation sequence images to each of the plurality of animation sequence images. It may be determined that the meaning of the displayed background visual element corresponds to a meaning previously associated with each of the plurality of actions. Then, multiple actions may be mapped to multiple animation sequence images.
  • animation sequence image 1810 provides an animation effect in which multiple "knob" characters appear sequentially at specified positions in a frame
  • animation sequence image 1820 provides an animation effect in which multiple speech bubbles containing an It provides animation effects that appear in order, and recognized movements may be crossing both hands to form an X or shaking the head.
  • the first electronic device 110_1 converts the hand crossing motion and head shaking motion of FIG. 18 into emotional types corresponding to the visual elements (letter “knob”, letter “X”) shown in the animation sequence images 1810 and 1820. It is possible to judge that it has a meaning and map a plurality of actions and a plurality of animation sequence images (1810, 1820) to each other.
  • the first electronic device 110_1 specifies the output order between animation sequence images, specifies the output order between recognized actions, and maps the start points of the sub-output sections of each animation sequence image to each other and in the same output order.
  • the animation sequence image data of the background sticker data may be adjusted to match the starting point of the sub-output section of the operation having .
  • the first electronic device 110_1 designates the output order of the hand crossing motion and the head shaking motion in FIG. 18 as motion 1 and motion 2, and selects the animation sequence image 1810 as animation number 1 and animation sequence image ( 1820) is designated as animation number 2.
  • the first electronic device 110_1 starts outputting the animation sequence image 1810 and the hand crossing motion at the same time, which are mapped to each other and have the same output order, and the animation sequence image 1810 and the hand cross motion are mapped to each other and have the same output order.
  • the output of the crossing motion starts simultaneously, and an animation sequence image 1820 that is mapped to each other and has the same output order and a creative emoticon in which the output of the head shaking motion starts simultaneously are created.
  • the created creative emoticon may be transmitted to another electronic device 100 through a messenger application, or may be requested to be registered as a new sales product on a market site (S1560).
  • the first electronic device 110_1 acquires the text of the message of the first user 1101 or another user 100, and the first electronic device 110_1 transmits the creative emoticon through the messenger application. It may be further configured to calculate the emotional intensity of the message obtained in advance, generate a creative emoticon in which the calculated emotional intensity is reflected in the animation effect of the background sticker, and transmit the created creative emoticon through the messenger application.
  • the message may be the user's message transmitted to another user's electronic device by running a messenger application installed on the electronic device and/or the other user's message received from the other user's electronic device.
  • creative emoticons may be created in step S450.
  • the creative emoticon is generated according to meaning in the step (S1550) of generating creative emoticon data combining a background sticker and the emoticon object sequence image based on the recognition result of the motion and semantic information of the background visual element. It can also be created by modifying the animation effect based on the emotional intensity after the output section is mapped.
  • Figure 19 is a flowchart of a process for generating a creative emoticon based on the emotional intensity of a previously obtained message, according to various embodiments of the present application.
  • the text of at least some of the messages obtained before transmitting the creative emoticon message is input into a pre-trained natural language processing model to calculate an embedding vector obtained by embedding the text of each message ( S1910); Inputting a set of embedding vectors for the at least some messages into a previously learned text-based emotion recognition model to calculate the user's emotional intensity level reflected in the at least some messages (S1920); and adjusting the size of the animation effect and/or background visual element according to the calculated emotional intensity level (S1930).
  • the process of FIG. 19 further includes implementing an animation sequence image of the background sticker in the second layer using background sticker data adjusted according to the calculated emotional intensity level (S1940). do.
  • the first electronic device 1101 uses the background sticker data of step S1550 to implement an animation sequence image of the background sticker in the second layer, such that the calculated emotional intensity level
  • An animation sequence image of the background sticker may be implemented in the second layer using background sticker data adjusted according to (S1940).
  • Figure 20 is a schematic diagram of a learning process of a text-based emotion recognition model according to various embodiments of the present application.
  • the text-based emotion recognition model processes the input embedding vector to infer the correlation between the embedding vector corresponding to the natural language data and the emotional intensity, and calculates the emotional intensity of the user 100 at the time of generating the natural language data as a level value. It is a machine learning model designed to predict.
  • the emotional intensity level may be classified as, for example, low (or calm), normal, or high (or amplified), with higher level values indicating higher emotional intensity and lower level values indicating lower emotional intensity. However, it is not limited to this
  • the text-based emotion recognition model includes a preprocessing model, a natural language processing model, and a classification model.
  • the natural language data includes a plurality of messages exchanged between conversing users 100.
  • the message may be a group of messages in which the speaker is the same (eg, input messages from the first user 100_1).
  • the preprocessing model is configured to preprocess sentences and phrases in the input natural language data and perform various text preprocessing operations such as label error correction and extracting labeled sentences or phrases.
  • the natural language processing model is configured to process the pre-processed input text into natural language and calculate the results of numerical analysis of the contents expressed in the input text as an embedding vector.
  • the natural language processing model may include an encoder.
  • the encoder calculates an embedding vector obtained by processing the input text into natural language, and may be implemented with an artificial neural network.
  • the artificial neural network may include one or more hidden layers that segment the input text into text units (eg, words, morphemes), extract features of subtext for each text unit, and calculate a hidden state vector. The values calculated through the hidden layer are concatenated and output as an embedding vector.
  • the classification model is a machine learning model configured to calculate the emotional intensity level of the user 100 that is predicted to have been present at the time the text corresponding to the input embedding vector was created by processing the input embedding vector.
  • the machine learning model has a neural network structure.
  • the neural network structure may be composed of a fully connected layer or other NN structure including a multi-layer perceptron (MLP).
  • MLP multi-layer perceptron
  • the text-based emotion recognition model calculates probability values to be classified in the input vector for each of a plurality of preset emotional intensity levels, and the user at the time the corresponding natural language data is generated based on the probability values calculated for each emotional intensity level.
  • the predicted emotional intensity level of (100) may be determined.
  • the emotion recognition model of the neural network structure is configured to determine which emotion intensity level at which text data is most likely to be classified based on the correlation between vector data obtained by embedding text data and the emotion intensity level. do
  • the text-based emotion recognition model may be trained in advance using a training data set consisting of a plurality of training samples.
  • Each training sample has a sample embedding vector obtained by processing the sample message into natural language as training data, and has the emotional intensity level specified by the user 100 at the time of entering the sample message as label data.
  • the text-based emotion recognition model calculates the result value (i.e., predicted emotional intensity level) by processing the input training data with internal parameters (e.g., weight, bias), and produces the calculated output. It is learned to minimize the error between the value and the label data (i.e., actual emotional intensity level) corresponding to the input training data.
  • the values of model parameters (eg, weight, bias, etc.) in the text-based emotion recognition model are updated so that the error gradually decreases. Model parameters for which learning has been completed may have values that minimize errors.
  • learning of the text-based emotion recognition model may be performed in the server 130 or the electronic device 110.
  • the electronic device 110 may receive a text-based emotion recognition model that has been trained and use it to create a creative emoticon.
  • the text-based emotion recognition model is inputted with the message immediately preceding the creation of the creative emoticon, and an embedding vector is calculated as a result of numerically analyzing the contents of the most recent message.
  • the emotional intensity level of the first user 100_1 shown in may be calculated.
  • the emotional intensity level is an emotional intensity level analyzed in terms of message content.
  • the text-based emotion recognition model includes the message immediately preceding the creation of the creative emoticon and the group of previous message(s), and the emotion of the first user 100_1 that appears in the group of the input messages is input to the text-based emotion recognition model.
  • An intensity level may be calculated.
  • the emotional intensity level is an emotional intensity level based on content and context.
  • the natural language processing model may be further configured to calculate an embedding vector for the entire content of the target message for which the embedding vector is to be calculated and at least one previous message.
  • the at least one previous message includes the message immediately preceding the target message (eg, the immediately preceding input message of the first user 100_1).
  • a group of a series of messages may be input to the natural language processing model.
  • the natural language processing model processes each series of continuously input messages into natural language to calculate a series of embedding vectors for the series of messages, and combines the contents of the series of messages in order to provide text for the entire contents of the series of messages ( or preprocessed text). Since the context of a conversation is based on the flow of message content before and after, in order to numerically analyze the context of the message, the entire content of the series of messages is processed in natural language to calculate an embedding vector for the entire content of the series of messages. .
  • the natural language processing model calculates a single embedding vector for a group of input messages by concatenating a series of embedding vectors for a series of messages and an embedding vector for the entire content of the series of messages.
  • the single embedding vector is the result of numerical analysis of the text of a series of messages in terms of content and contexts.
  • a predicted emotional intensity level is calculated considering content and context.
  • the classification model is learned in advance using a training data set consisting of a plurality of training samples.
  • Each training sample has as training data a single sample embedding vector for a group of a series of input messages, calculated from a series of sample messages.
  • the process of learning a classification model using this training data set is similar to the learning process described above with reference to FIG. 19, so detailed description is omitted.
  • the existing animation effect may be maintained or the animation effect may be adjusted depending on the emotional intensity level.
  • the animation effect may be adjusted when the emotional intensity level is higher than normal.
  • Adjusting the size of the animation effect and/or background visual element includes adjusting the output speed of the animation sequence image and/or adjusting the change in size of the background visual element according to the animation effect according to the emotional intensity level. .
  • the first electronic device 110_1 adjusts the background sticker data so that the animation speed increases as the calculated emotional intensity level increases compared to the animation speed at lower emotional intensity levels.
  • the background sticker data is adjusted to increase the size change of the background visual element according to the animation effect compared to the size change of the background visual element according to the animation effect at a lower emotional intensity level. It may be configured to do so.
  • the increase in size change is implemented by decreasing the size of the background visual element at the start of the animation effect and/or increasing the size of the background visual element at the end of the animation effect.
  • the size of the background visual element may be increased to satisfy the above-described critical exposure ratio.
  • the size of the background visual element may be reduced to satisfy a preset minimum size for the background visual element.
  • Figure 21 shows a creative emoticon in which the size change of the background visual element is adjusted according to the intensity of emotion, according to various embodiments of the present application.
  • the creative emoticon in FIG. 18 is output when the emotional intensity level is normal, and the creative emoticon in FIG. 21 is output when the emotional intensity level is higher.
  • the final size of the background text providing the animation effect increases compared to FIG. 18, so the range of change in size of the animation effect may further increase as the emotional intensity increases.
  • emotional excitement can be better conveyed through animation effects.
  • the content service system 1 may be further configured to issue NFTs for individual content (eg, background stickers, creative emoticons, etc.) used as content products.
  • the content service system 1 can convert individual content into NFT and use it as WEB 3.0 independent content that is not dependent on a specific platform and can be used as long as network environment conditions are met.
  • NFT non-fungible token
  • a digital asset that has scarcity.
  • NFT is based on blockchain, so all information related to the content product described below is stored in blockchain, so proof of originality is possible and there is no risk of tampering with data such as owner information (e.g., creator information or buyer information) and transaction history. is impossible, so integrity can be secured.
  • the token's data e.g., metadata
  • the token data may be changed depending on the agreement of participants in the blockchain network. Then, the data of the changed token is distributed and stored again through the blockchain network, and eventually the data of the changed token is updated to be impossible to forge or falsify.
  • Figure 22 is a schematic diagram of a content service system configured to issue NFTs for content products, according to another aspect of the present application.
  • the content service system 1 configured to issue the NFT includes an electronic device 110 and a server 130. Additionally, in some embodiments, the content service system 1 may further include a file DB system 150.
  • the content service system 1 may be configured to operate in conjunction with the blockchain network 20. Below, we will first look at the configuration of the content service system 1 of FIG. 22, and then describe the linked blockchain network 20.
  • the electronic device 110 operates as a terminal device for uploading NFT objects, that is, content products, to the system or searching for other users' NFTs.
  • the first user (100_1) acts as a supplier who issues and sells NFTs for his/her content products, such as background stickers and creative emoticons, on the system.
  • the second user (100_2) performs the role of a buyer who purchases other users' NFTs on the system.
  • the user 100 may perform both the supplier role and the buyer role.
  • the server 130 when the server 130 receives an NFT issuance request or an NFT purchase request from the electronic device 110, it is further configured to perform an NFT-related operation according to the request. Additionally, the server 130 is linked to the blockchain network 20 to perform NFT-related operations.
  • the server 130 performs operations of generating blockchain data for content product data, registration, verification, and inquiry of blockchain information, transaction and transfer of ownership information through the blockchain network 20. It may also be configured to perform.
  • Content products as objects of NFT include background stickers and creative emoticons uploaded to the market site by the first user (100_1).
  • the blockchain network 20 is linked to the content service system 1 through a network and can process data generated from the content service system 1.
  • the blockchain network 20 is a distributed group of blocks containing information that records and tracks data between secure groups of systems or computers in a verifiable manner.
  • the blockchain network 20 can be understood as a P2P network system that implements a distributed database with a blockchain structure.
  • the blockchain network 20 can be understood as a peer-to-peer network including a plurality of interconnected computing devices (hereinafter referred to as 'nodes'), and each node may include one or more processors to perform calculations.
  • 'nodes' interconnected computing devices
  • Blockchain data within the blockchain network 20 is treated safely and trustworthy.
  • the blockchain network 20 distributes the ledger publicly so that at least some users of the network can view all content in each block and users can view changes.
  • Each block has a hash value (digital fingerprint) that links it to the previous block, making it very easy to notice changes.
  • the technology that guarantees the integrity of blockchain data based on this hash value is treated as the original technology of blockchain, and the original technology of blockchain can be viewed as a consensus mechanism between network participants.
  • the characteristics of the consensus mechanism are separated into public blockchains and private blockchains.
  • the consensus mechanisms of the former blockchain include Proof of Work (PoW), which relies on computing power, and equity, which relies on cryptocurrency holdings. It includes Proof of Stake (PoS) and Delegated Proof of Stake (DPoS), which is a method of forming a kind of National Assembly through reputation and voting, and a representative private blockchain consensus method is solving the Byzantine general problem.
  • the blockchain according to an embodiment of the present disclosure is based on BIX (Blue IndeX token) and NFT (Non-Fungible Token), which provide unique characteristics and value, and applies reliability securing technology, where reliability is mutually exclusive. It refers to the integrity of the ledger (immutability) between untrusted network participants. In other words, it guarantees data integrity and provides confidentiality, authentication, integrity, and non-repudiation services.
  • a public key and a private key are issued to the electronic device 110 through the server 130.
  • Public keys are generated only for senders using specific blockchain technology, confirming their origin to the blockchain platform (e.g., exchange).
  • Blockchain account information may include private keys and public keys. Users participating in the content service system 1 may have blockchain account information registered in the blockchain network 20.
  • the secret key is supplied to every user within the blockchain network 20 and is used by everyone within the system to accurately identify a unique user.
  • the secret key is a transaction in the blockchain network 20 (e.g., a transaction that causes a 'digital payment method' to be transferred from a first user account to a second user account, a transaction that distributes a smart contract on the blockchain network 20). , transactions that execute smart contracts, etc.) can function as a digital signature of the user.
  • the public key can function as the user's account address (hereinafter referred to as 'account').
  • the wallet may include a human-readable string or number string.
  • Each NFT has a specific group of blocks containing information that proves ownership of the digital asset and allows users to essentially own a digital receipt.
  • digital assets include some or all of the information describing the content product.
  • the digital asset may be part or all of background sticker data or creative emoticon data.
  • the ‘digital payment method’ described in the above example may include cryptocurrency.
  • Cryptocurrency is a means of payment recorded in a distributed system within the blockchain network 20, and is sometimes used as a term for a concept including digital tokens (hereinafter referred to as 'tokens'), but is understood in the description of this document.
  • 'tokens' digital tokens
  • ‘cryptocurrency’ and ‘token’ will be used separately as follows.
  • cryptocurrency refers to a means of payment used as a means of compensation for data recording and trust maintenance from the moment a blockchain network (20) is created.
  • cryptocurrency in this sense, it is a native password. It may also be referred to by the name currency.
  • 'cryptocurrency' described in the claims of this document does not necessarily include only the concept of 'native cryptocurrency', and may also include the concept of 'token'.
  • the token conceptually implemented in cryptocurrency may have a certain purpose or value as a means of digital exchange additionally generated in one blockchain network 20.
  • Tokens can be voluntarily generated by nodes participating in the blockchain network 20, and token generation, transfer, and usage information can be recorded in a distributed system within the blockchain network 20.
  • cryptocurrency means Ethereum, and tokens are used in the Ethereum blockchain network (20) according to the ERC-721 protocol. This may mean an issued ERC-721 token.
  • a transaction may be created or executed by a node (e.g., server 130, electronic device 110) using the blockchain network 20.
  • Transactions may include information related to digital assets, information regarding transfers of NFTs/cryptocurrencies, or information regarding smart contracts. Nodes can confirm transaction processing results through blockchain.
  • Transactions that occur on the blockchain network 20 are cryptographically signed with the secret key of the blockchain account of the subject who created the transactions, so they can be recorded as cryptographic proof data that cannot be forged or altered on the blockchain network 20. there is.
  • the nodes of the blockchain network 20 verify the integrity of the transaction that occurred, and the consensus algorithm implemented in the blockchain network 20 (e.g., Proof of Work (POW), Proof of Stake (POS), Based on DPOS (Delegated Proof of Stake), etc.), a new block is created to follow the already created block, and the newly created block can be propagated to other nodes and execute transactions.
  • a block may contain multiple transaction information.
  • Information about blocks can be stored in a transaction database shared by nodes.
  • a transaction database can be understood as a public ledger in which multiple nodes share the same information.
  • the blockchain network 20 can distribute and execute various smart contracts provided by various nodes.
  • a smart contract is a rule written in digital commands, and when an event that follows the conditions of the rule occurs in the blockchain network 20, it can cause a specific transaction to occur or execute another smart contract according to the set rule. Prescription and grandfather storage operations can be performed more easily using the smart contract.
  • the blockchain network 20 may correspond to the Ethereum network or other Proof of Stake (POS)-based blockchain networks.
  • POS Proof of Stake
  • the server 130 may operate as a node of the blockchain network 20. For this reason, the server 130 may store content product data in blockchain data shared between a plurality of nodes of the blockchain network 20 or search for previously stored data.
  • NFTs for background stickers (hereinafter referred to as background sticker NFTs) and NFTs for creative emoticons (hereinafter referred to as creative emoticon NFTs) may be issued together with a smart contract.
  • the NFT's smart contract may have cryptocurrency-based trading operations as a condition for performing ownership transfer operations.
  • this server 130 will be described in more detail with reference to FIG. 23 below.
  • Figure 23 is a flowchart of the process of issuing a creative emoticon NFT according to various embodiments of the present application.
  • the first user 100_1 who creates a creative emoticon may, as an issuance requester, request the issuance of a creative emoticon NFT through the first electronic device 110_1.
  • the second user 100_2 may be both a primary buyer and a secondary seller.
  • the process of issuing the creative emoticon NFT is: the server 130 receives a request for issuance of a creative emoticon NFT including the user's own creative emoticon identifier from the first electronic device 110_1 of the issuing requester. Step S2010, and the server 130 has a unique token ID corresponding to the created emoticon of the first user 100_1 and converts the account address (or wallet address) of the first user 100_1 to the owner address. It includes a step (S2030) of generating a creative emoticon NFT of the first user (100_1) on the blockchain network (20).
  • the first electronic device 110_1 of the issuance requester may generate an issuance request for an NFT including a creative emoticon identifier. Since the creative emoticon data is stored in the first storage space 60 of the server 130, an issuance request including creative emoticon data is not necessary.
  • the first electronic device 110_1 may provide a screen for NFT creation.
  • the screen is configured to select a target creative emoticon to issue an NFT from among the creative emoticons that have already been created.
  • the first electronic device 110_1 starts an operation to generate an NFT for the selected creative emoticon (S2010).
  • the request for issuance of the NFT may include a creative emoticon identifier as the subject of NFT issuance, and an issuance amount corresponding to the number of divided ownership of the corresponding creative emoticon data.
  • the issuance amount may be preset to 1.
  • the server 130 issues a creative emoticon NFT of the first user 100_1 based on the NFT issuance request (S2030).
  • the server 130 has a unique token ID corresponding to the creative emoticon data using a smart contract previously distributed on the blockchain network 20 and has the account address of the first user 100_1 as the owner address. NFTs can also be created on the blockchain network 20.
  • the creative emoticon data is mapped to the token ID.
  • the smart contract may be a smart contract with a first protocol.
  • the server 130 may generate information related to a smart contract with a first protocol for issuing a predetermined number of NFTs to a designated account and disseminate the smart contract with the first protocol to the blockchain network 20.
  • the server 130 may spread the smart contract and issue a creative emoticon NFT.
  • the smart contract may be a smart contract written according to the ERC-1155 or ERC-721 token standard.
  • the issuance quantity of the first protocol may be 1.
  • one NFT may be issued per NFT issuance request.
  • step S2030 the initial owner of each NFT equal to the issued amount created on the blockchain network 20 is designated as the requesting user.
  • the NFT equivalent to the initially issued amount may be sent directly to the user's account address (S2030).
  • the step (S2030) includes storing the creative emoticon data of the first user 100_1 included in the issuance request in a file DB system 150 that exists outside the blockchain network 20, It may also include generating metadata containing information related to the creative emoticon and then storing the metadata in the file DB system 150.
  • the server 130 may use all of the information in the creative emoticon data as metadata items, or may use some pre-designated items among the information in the creative emoticon data as metadata items.
  • metadata is classified into owner-related items, transaction history-related items, and creative emoticon-related items
  • the creative emoticon-related items are some of the parameters of the creative emoticon data (e.g., creator, emoticon object identifier, background). sticker identifier, size, file format, etc.) or all of them.
  • the file DB system 150 may be an InterPlanetary File System (IPFS).
  • IPFS InterPlanetary File System
  • the request for issuance of the NFT may further include information related to the first user (100_1).
  • the information related to the first user 100_1 may further include the first user's name, a profile for the first user, and/or the first user's electronic signature.
  • the first electronic device 110_1 may be further configured to receive this information.
  • the server 130 when the server 130 generates an NFT equal to the issuance amount, the creative emoticon data included in the issuance request is stored in the file DB system 150.
  • the server 130 calculates a hash value for the creative emoticon data and then includes the name of the first user, the profile for the first user, the account address of the first user, the electronic signature of the first user, and the hash. Metadata including value and/or path data accessible to the creative emoticon data stored in the file DB system 150 may be created and stored in the file DB system 150.
  • the server 130 may additionally store various information about the first user 100_1 and the creative emoticon included in the creative emoticon data and corresponding metadata in an internal database.
  • the metadata for the creative emoticon includes the user's path data (e.g., URL, other path address), as described later, the NFT of the first user is transferred and the NFT owned by the first user is 0. Even in the case of a dog, the fact that it is this user who entered/registered the creative emoticon data is continuously stored and maintained in the metadata associated with the sold NFT.
  • path data e.g., URL, other path address
  • the content service system 1 stores creative emoticon data and metadata about the creative emoticon data in the file DB system 150 that exists outside of the blockchain network 20 and provides an accessible path to the metadata.
  • the time and cost required for storing creative emoticon data or metadata can be reduced, and the creative emoticon data or metadata can be saved. You can access data faster. Furthermore, the connection between token ID and metadata is clearly guaranteed.
  • the content of the metadata stored in the file DB system 150 is changed, thereby disconnecting or changing the connection between the creative emoticon NFT and the source data (i.e., creative emoticon data) created in the blockchain network 20.
  • the server 130 may additionally store at least one piece of information included in the metadata in the blockchain network 20 (S2030).
  • the server 130 may additionally store path data for creative emoticon data included in metadata in the blockchain network 20. Then, the connection between the creative emoticon NFT and the source data (creative emoticon data) is further strengthened.
  • the process of issuing the creative emoticon NFT of FIG. 23 includes: transferring the creative emoticon NFT of the first user (100_1) issued in step (S2030) through a transaction with the second user (100_2) (S2050). Includes.
  • the content service system 1 has the right to view the creation emoticon NFT of the first user 100_1 issued in step S2030 through a transaction between the first user 100_1 and the second user 100_2. It may be provided to users other than the issuer.
  • the transaction of the NFT may be performed based on cryptocurrency.
  • the content service system 1 may further include an exchange server 140.
  • the exchange server 140 is configured to perform an NFT transaction process using cryptocurrency accepted by the exchange.
  • the exchange server 140 may be operated by an operator of the server 130.
  • the step of trading the user's creative emoticon NFT includes receiving a creative emoticon NFT listing request from the electronic device 110 at the server 130; And the server 130 may include a step of listing (going public) the NFT on the exchange server 140 for free trading of the NFT corresponding to the issuance amount for the user's created emoticon.
  • the electronic device 110 of step S2050 may be the first electronic device 110_1 of the requester for issuance of the NFT in step S2010.
  • the server 130 may list an already issued NFT on the exchange server 140 in response to the listing request received from the first electronic device 110_1.
  • the exchange server 140 When the NFT is listed on the exchange server 140, the exchange server 140 receives the sale price for the NFT from the first electronic device 110_1 that owns one or more NFTs, or a combination of the sale price and the number of sales. You may also receive . When one NFT is issued, it is unnecessary for the exchange server 140 to receive information on the number of items sold.
  • the exchange server 140 may receive a purchase price for the corresponding NFT from the second electronic device 110_2 of one or more second users 100_2 or a combination of the purchase price and the number of purchases. When one NFT is issued, it is unnecessary for the exchange server 140 to receive information on the number of purchases.
  • the exchange server 140 determines the first user 100_1 of the first electronic device 110_1, which transmitted the matching sales price, as the seller, and performs matching.
  • the second user 100_2 of the second electronic device 110_1 that transmitted the purchase price may be determined as the purchaser.
  • the smaller or equal number of the sell number and the buy number may be determined as the transaction number.
  • the exchange server 140 may also be linked to the blockchain network 20 and operate as a node of the blockchain network 20. Then, the exchange server 140 transmits the cryptocurrency(s) corresponding to the transaction amount multiplied by the sales price by the number of transactions from the buyer's account address to the seller's account address, and distributes them on the blockchain network 20. Using a smart contract, you can also transfer creative emoticon NFTs equivalent to the transaction amount from the seller's account address to the buyer's account address.
  • the smart contract is a transfer that transfers a creative emoticon NFT corresponding to the transaction amount to the account address of the transferor (i.e., buyer) when the user transfers cryptocurrency corresponding to the transaction amount to a pre-designated account (e.g., owner account). It is configured to generate transactions.
  • the exchange server 140 may store a transaction history in the blockchain network 20 in which the ownership of an NFT equivalent to the transaction amount has changed from the seller's account address to the buyer's account address.
  • the exchange server 140 may simultaneously perform a transaction to transfer ownership of a creative emoticon NFT equal to the transaction amount according to the transfer of cryptocurrency and a transaction to store the changed history in the blockchain network 20.
  • the exchange server 140 may simultaneously perform the ownership transfer transaction and the storage transaction using a transfer single event or transfer batch event that can be implemented according to the ERC-1155 or ERC-721 token standard.
  • the exchange server 140 may supply some or all of seller information, buyer information, sales price, and transaction amount to the server 130.
  • the server 130 may perform the ownership transfer transaction and storage transaction. That is, in system 1, the exchange server 140 mainly performs the operation of determining the seller and buyer, and the server 130 may be configured to perform the actual transfer of ownership of blockchain data.
  • a purchaser who purchases at least one NFT of a specific user (eg, seller) in the system 1 may view some or all of the creative emoticon data associated with the purchased NFT through his or her electronic device 110. Since the creative emoticon NFT includes path data for accessing the creative emoticon data as source data, it may be treated as a viewing right for the creative emoticon data. That is, only the user terminal of the user or another user who at least partially owns the user's creative emoticon NFT can access the creative emoticon data corresponding to the creative emoticon NFT.
  • the buyer's electronic device 110 may transmit a request to view creative emoticon data previously stored in the server 130.
  • the viewing request includes the corresponding creative emoticon NFT.
  • the server 130 provides some or all of the information related to the creative emoticon already stored in the file DB system 150 and the information related to the creator based on the path data included in the NFT in the viewing request to the purchaser who sent the viewing request. It can also be transmitted to the electronic device 110.
  • the NFT transaction may be performed through a market site based on service points.
  • the market site's content products further include NFTs based on other content products on the market site, such as creative emoticon NFTs and background sticker NFTs.
  • the content service system 1 is configured to perform an NFT transaction process using service points accepted as a means of payment, and the market management module 133 may form a product category made of NFT. That is, the exchange server 140 is unnecessary, and at least some of the operations of the exchange server 140 may be implemented in the server 130.
  • the step of trading the user's created emoticon NFT is to upload the NFT owned as a content product to the market site (e.g., in the market management module 133) by the server 130.
  • the server 130 determines the first user 100_1 of the first electronic device 110_1, which transmitted the matching sales price, as the seller, and makes the matching purchase.
  • the second user 100_2 of the second electronic device 110_1 that transmitted the price may be determined as the buyer.
  • the smaller or equal number of the sell number and the buy number may be determined as the transaction number.
  • the server 130 is linked to the blockchain network 20 and operates as a node of the blockchain network 20.
  • the server 130 uses a smart contract distributed on the blockchain network 20.
  • creative emoticon NFTs equivalent to the transaction amount can be transferred from the seller's account address to the buyer's account address.
  • the server 130 simultaneously transmits the creative emoticon NFT and transmits points corresponding to the transaction amount multiplied by the number of transactions by the sales price from the buyer's point wallet to the seller's point wallet.
  • the content service system 1 may be configured to specifically issue NFTs for some creators' creative emoticons.
  • the process of issuing the creative emoticon NFT may further include: generating a list of NFT issuing authorities by the server 130 (S2020).
  • the list of NFT issuing authorities is a list of creators with NFT issuing authority. Creators with the authority to issue the NFT may be selected based on the voting results in FIG. 12.
  • the server 130 may select creators with the authority to issue NFTs from the creator who received the most votes to a preset threshold based on the voting results of FIG. 12.
  • the critical ranking may be, for example, 10th or 100th, but is not limited thereto.
  • the server 130 checks whether the issuance requester is an NFT issuance authority included in the list of NFT issuance authorities in step (S2020), and when it is confirmed that the NFT issuance authority is created, the issuance requester is checked by the server 130. It could be issuing emoticon NFTs.
  • the transaction price of the creative emoticon NFT may increase through secondary and tertiary transactions after initial issuance.
  • the transaction price is determined by reflecting the artistry, symbolism, and other values of the created emoticon NFT. As mentioned above, if creative emoticons that have received a high number of votes are converted into NFTs, the price may be higher as the transaction progresses. The final purchaser of a creative emoticon NFT will retain the original data of these popular creative emoticons.
  • the target of NFT issuance according to the issuance process of Figure 23 is not limited to creative emoticons.
  • the object of issuance of the NFT may be a background sticker.
  • the first electronic device 110_1 may generate background sticker data and request issuance of a background sticker NFT.
  • the operation using the background sticker data in the publishing process of FIG. 23 corresponds to the operation of using the creative emoticon in the process of FIG. 16.
  • the background sticker-related operations in FIG. 23 may be the same or similar to the operations for replacing the creative emoticon with a background sticker in the operations for the creative emoticon in the process of FIG. 15.
  • the issuance process of the background sticker NFT in FIG. 23 is similar to the issuance process of the emoticon NFT in FIG. 15, so the differences will be mainly described.
  • the issuance quantity of the background sticker NFT may be set to one or more.
  • the issuance quantity of the background sticker NFT may be set to 50 or less.
  • the background sticker NFT can also be traded.
  • the first purchase of the background sticker NFT may be performed through an auction.
  • the total number of successful bidders may be less than the number of background sticker NFTs issued.
  • One successful bidder may receive multiple background sticker NFTs.
  • the server 130 may provide various benefits to buyers who purchase the creator's background sticker NFT. If there are N buyers for a single background sticker NFT, the benefit will be provided to the buyer who owns the background sticker NFT at the time the benefit is provided.
  • the server 130 sells the uploaded creative emoticon for an amount less than the sales price.
  • Purchase authority to purchase the creative emoticon may be provided.
  • the purchase authority includes a discount rate or discount amount. The discount rate may be 100%.
  • the server 130 may provide a purchaser who owns the creator's background sticker NFT with pre-purchase rights for the creator's subsequent background sticker NFT.
  • the server 130 uses the background sticker NFT as proof of rights to search for a buyer who owns the background sticker NFT, confirms the purchase intention to the user 100 who has pre-purchase authority for the subsequent background sticker NFT, and , After the purchase of the user 100 with pre-purchase rights is completed, an auction for the first purchase of the subsequent background sticker NFT may be performed with the remaining issuance amount.
  • the content service system 1 may be further configured to issue a service representative NFT.
  • the service representative NFT may be paid to some creators in the form of a profile picture (PFP).
  • the number of people paying for the NFT representing the service may vary depending on the scale of the service.
  • the scale of the service depends on the number of users, the number of creators, the total number of products, and the number of types of content products.
  • the number of payers may gradually increase as the scale of the service grows. For example, the number of paying people may initially start at 100 and increase to 10,000 over time.
  • issuance of the service representative NFT may be initiated in response to satisfying preset issuance conditions without an issuance request from the electronic device 110.
  • the preset issuance conditions may be the number of users for which the service scale is preset, the number of creators for which the service is preset, the number of content products for which the preset is set, and the number of types of content products for which the service scale is preset.
  • the server 130 may store the Nth issuance conditions in advance.
  • the N-order issuance condition has a larger condition value as the number increases.
  • the number of payments for the service representative NFT may be calculated based on the voting history for the creator accumulated up to the time of issuance of the service representative NFT.
  • the server 130 searches for the voting details in which each creator participated as a voting candidate during the service period from the start of the service to the time of issuance of the service representative NFT, and retrieves the number of votes obtained by the corresponding creator from the voting details, Based on the total value of the searched votes, creators corresponding to the preset number of payments can be selected. The larger the total number of votes, the more priority you will be selected for payment.
  • the creator selected as the payer has already received the service representative NFT, the creator is excluded from the payer.
  • the next ranked creator in the total by a controlled number is re-selected as a payout.
  • the server 130 records the voting details. Through this, creators can be ranked cumulatively according to the total results of votes received. If the above cumulative ranking includes creators who received the first issued service representative NFT, those creators are excluded and the number of creators excluded from the creators ranked 1001st or lower is additionally selected.
  • the server 130 may provide various benefits to creators who have received the service representative NFT. For example, the server 130 may pay points or cash to the creator who received the service representative NFT, or may provide additional compensation.
  • the content service system 1 may also include other components.
  • the content service system 1 may include other hardware elements necessary for the operations described herein, including input devices for data entry and output devices for printing or other data presentation.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium. Additionally, the data structure used in the above-described method can be recorded on a computer-readable storage medium through various means.
  • Program storage devices which may be used to describe a storage device containing executable computer code for performing various methods of the present invention, should not be understood to include transient objects such as carrier waves or signals. do.
  • the computer-readable storage media includes storage media such as magnetic storage media (eg, ROM, floppy disk, hard disk, etc.) and optical readable media (eg, CD-ROM, DVD, etc.).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

실시 예들은 사용자의 감정을 보다 효과적으로 전달하기 위한 창작 이모티콘을 생성하는 방법 및 이를 수행하는 창작 이모티콘 기반 콘텐츠 서비스 시스템에 관련된다. 상기 방법은, 촬영 시퀀스 이미지로부터 이모티콘 객체 시퀀스 이미지와 관련된 이모티콘 객체 데이터를 획득하고 마켓 사이트에서 배경 스티커에 대한 구매를 서버로 요청하여 해당 배경 스티커 데이터를 수신하는 단계, 상기 이모티콘 객체 시퀀스 이미지를 미리 학습된 동작 인식 모델에 입력하여 시퀀스 이미지 내 이모티콘 객체의 동작을 인식하는 단계; 상기 배경 스티커 데이터로부터 상기 배경 스티커에 포함된 배경 시각 요소의 의미 정보를 획득하는 단계; 상기 동작의 인식 결과 및 상기 배경 시각 요소의 의미 정보에 기초하여 배경 스티커 및 상기 이모티콘 객체 시퀀스 이미지를 결합한 창작 이모티콘 데이터를 생성하는 단계를 포함한다.

Description

사용자의 감정을 보다 효과적으로 전달하기 위한 창작 이모티콘을 생성하는 방법 및 이를 수행하는 창작 이모티콘 기반 콘텐츠 서비스 시스템
본 출원의 실시 예들은 콘텐츠 서비스를 제공하는 시스템에 관련된 것으로서, 보다 상세하게는 사용자의 이미지를 이용하여 창작 이모티콘을 생성하는 방법 및 이를 수행하는 창작 이모티콘 기반 콘텐츠 서비스 시스템에 관련된다.
정보통신을 포함한 IT 기술이 발달하면서, 온라인으로 관계를 형성하고 소통하는 소셜 네트워크가 발전하게 되었다. 소셜 네트워크를 통해 사람들은 별다른 어려움 없이 누구나 손쉽게 콘텐츠를 받아들이게 되었다. 최근에는 소비자가 기업의 콘텐츠를 일방적으로 받아들이는 것을 넘어서, 소비자가 자신의 콘텐츠를 창작하고 나아가 콘텐츠를 통해 소통하는, 진정한 콘텐츠 사회의 모습이 출현하고 있다. 때문에, 콘텐츠 창작자(creator)가 자신을 표현하고 드러내는 것이 대중적인 문화로 자리잡고 있다. 이러한 콘텐츠 창작자는 유튜브, 틱톡과 같은 동영상 플랫폼 또는 인스타그램, 페이스북과 같은 이미지 기반 소셜 네트워킹 플랫폼에서 활발히 활동하고 있다.
한편, 메신저 분야 역시 소셜 네트워킹 활동이 활발히 이루어지는 분야이다. 스마트 폰에 설치된 모바일 메신저를 중심으로 SNS, 모바일 플랫폼 서비스 등이 활발히 이루어지고 있다. 모바일 메신저를 이용한 채팅(대화)에서는 종래의 문자 서비스(SMS)와 달리, 이모티콘을 적극적으로 활용하여 발화자의 감정을 보다 효과적으로 전달하는 시도가 크게 나타난다.
그러나, 메신저 분야에서는 아직까지 콘텐츠 창작자가 자신을 표현할 수 있는 자체 제작 콘텐츠를 생성하고 이를 활용하는 빈도가 거의 없고, 이를 지원할 수 있는 환경 역시 미비한 상태이다.
본 출원의 일 측면에 따른 실시 예들에 따르면 사용자의 이미지를 이용하여 창작 이모티콘을 생성하는 방법을 제공하고자 한다.
이 외에도, 상기 방법을 수행하는 창작 이모티콘 기반 콘텐츠 서비스 시스템을 제공한다.
본 출원의 일 측면에 따른 이모티콘 서비스에 대한 회원으로 등록한 사용자의 전자 장치에서 메신저 어플리케이션을 통해 전송 가능한 창작 이모티콘을 생성하는 방법은, 하나 이상의 동작을 구현하는 사용자를 연속적으로 촬영한 사용자의 촬영 시퀀스 이미지를 획득하고 상기 촬영 시퀀스 이미지로부터 이모티콘 객체 시퀀스 이미지와 관련된 이모티콘 객체 데이터를 획득하는 단계 - 상기 촬영 시퀀스 이미지는 각 동작에 따른 서브 세트를 포함하고, 상기 이모티콘 객체 시퀀스 이미지는 촬영 시퀀스 이미지 내 적어도 일부 영역을 각각 가지고 이모티콘 객체가 나타난 시퀀스 이미지를 포함함; 배경 스티커 및 상기 창작 이모티콘을 포함한 콘텐츠 상품이 거래되는 마켓 사이트에서 상기 배경 스티커에 대한 구매를 상기 마켓 사이트를 운영하는 서버로 요청하여 해당 배경 스티커 데이터를 수신하는 단계 - 상기 배경 스티커는 하나 이상의 배경 시각 요소가 애니메이션으로 표현되는 애니메이션 시퀀스 이미지를 가지며, 상기 애니메이션 시퀀스 이미지는 각 배경 시각 요소에 따른 하나 이상의 서브 세트를 포함하고, 상기 배경 시각 요소는 배경 텍스트 또는 배경 객체임; 상기 이모티콘 객체 시퀀스 이미지를 미리 학습된 동작 인식 모델에 입력하여 시퀀스 이미지 내 이모티콘 객체의 동작을 인식하는 단계; 상기 배경 스티커 데이터로부터 상기 배경 스티커에 포함된 배경 시각 요소의 의미 정보를 획득하는 단계; 및 상기 동작의 인식 결과 및 상기 배경 시각 요소의 의미 정보에 기초하여 배경 스티커 및 상기 이모티콘 객체 시퀀스 이미지를 결합한 창작 이모티콘 데이터를 생성하는 단계를 포함할 수도 있다.
본 출원의 다른 일 측면에 따른 컴퓨터 판독가능한 기록매체는 상술한 실시 예들에 따른 이모티콘 서비스에 대한 회원으로 등록한 사용자의 전자 장치에서 메신저 어플리케이션을 통해 전송 가능한 창작 이모티콘을 생성하는 방법을 수행하게 하는 프로그램을 기록한다.
본 출원의 실시 예들은 사용자 자신의 얼굴이 나타난 이미지를 이용하여 자신만의 창작 이모티콘을 생성하고, 이를 메시지로 전송할 수도 있다. 또한, 상기 창작 이모티콘은 이모티콘을 통한 감정이 보다 효과적으로 전달되도록 구성될 수도 있다.
다양한 실시 예들에서, 상기 창작 이모티콘은 배경 스티커 내 애니메이션 시퀀스 이미지가 대응한 의미를 갖는 동작의 움직임(motions) 시작 시점에 출현하는 애니메이션 효과를 제공하도록 생성된다. 그 결과, 상기 창작 이모티콘을 수신한 상대방에게 먼저 동작이 제공되고 동일한 의미를 갖는 애니메이션 효과가 중복 제공됨으로써 애니메이션 효과의 영향이 보다 감소하거나, 또는 애니메이션 효과가 먼저 제공되는 것으로 인해 이모티콘 객체가 취할 예정의 동작이 스포일러됨으로써 동작 전달의 영향이 보다 감소하는 문제점을 방지할 수 있다. 또한, 상기 창작 이모티콘은 감정 세기 레벨에 따라 애니메이션 효과가 조절됨으로써, 창작 이모티콘이 전달하는 감정의 정도가 더욱 풍부해진다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시 예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시 예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시 예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 출원의 일 측면에 따른, 창작 이모티콘 기반 콘텐츠 서비스 시스템을 나타낸 블록도이다.
도 2는, 본 출원의 다양한 실시 예들에 따른, 도 1의 시스템 동작의 개략도이다.
도 3은, 본 출원의 다양한 실시 예들에 따른, 이모티콘 생성 권한을 부여하는 과정의 흐름도이다.
도 4는, 본 출원의 다양한 실시 예들에 따른, 창작 이모티콘 생성 과정의 흐름도이다.
도 5는, 도 4의 창작 이모티콘 생성 과정의 개략도이다.
도 6은, 본 출원의 다양한 실시 예들에 따른, 창작 이모티콘의 구조를 도시한다.
도 7은, 본 출원의 다양한 실시 예들에 따른, 생성보관함 공간의 위치로 접근하기 위한 전자 장치의 화면을 도시한다.
도 8은, 본 출원의 다양한 실시 예들에 따른, 제2 저장 공간에 창작 이모티콘을 저장하기 위한 화면을 도시한다.
도 9은, 도 8의 제2 저장 공간에 저장된 창작 이모티콘을 해당 메신저 어플리케이션을 통해 전송하는 화면을 도시한다.
도 10는, 본 출원의 다양한 실시 예들에 따른, 상품 등록 요청을 위한 화면을 도시한다.
도 11은, 도 10의 상품 등록 요청에 따른 등록 결과를 나타낸 화면을 도시한다.
도 12은, 본 출원의 다양한 실시 예들에 따른, 투표 이벤트 진행 과정의 흐름도이다.
도 13는, 본 출원의 다양한 실시 예들에 따른, 투표 화면을 도시한다.
도 14은, 본 출원의 다양한 실시 예들에 따른, 투표 메시지 화면을 도시한다.
도 15는, 본 출원의 다양한 실시 예들에 따른, 배경 시각 요소가 가지는 의미 정보 및 촬영 이미지 내 이모티콘 객체의 동작이 가지는 의미 정보에 기초하여 창작 이모티콘을 생성하는 과정의 흐름도이다.
도 16은, 본 출원의 다양한 실시 예들에 따른, 단일 동작과 단일 애니메이션 시퀀스 이미지가 서로 매핑된 창작 이모티콘을 도시한다.
도 17은, 본 출원의 다양한 실시 예들에 따른, 복수의 동작과 단일 애니메이션 시퀀스 이미지가 서로 매핑된 창작 이모티콘을 도시한다.
도 18은, 본 출원의 다양한 실시 예들에 따른, 복수의 동작과 복수의 애니메이션 시퀀스 이미지가 서로 매핑된 창작 이모티콘을 도시한다.
도 19는, 본 출원의 다양한 실시 예들에 따른, 미리 획득된 메시지의 감정 세기에 기초한 창작 이모티콘을 생성하는 과정의 흐름도이다.
도 20은, 본 출원의 다양한 실시 예들에 따른, 텍스트 기반 감정 인식 모델의 학습 과정의 개략도이다.
도 21은, 본 출원의 다양한 실시 예들에 따른, 감정 세기에 따라 배경 시각 요소의 크기 변화를 조절한 창작 이모티콘을 도시한다.
도 22은, 본 출원의 또 다른 일 측면에 따른, 콘텐츠 상품에 대한 NFT를 발행하도록 구성된 콘텐츠 서비스 시스템의 개략도이다.
도 23은, 본 출원의 다양한 실시 예들에 따른, 창작 이모티콘 NFT를 발행하는 과정의 흐름도이다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
그러나, 이는 본 개시(disclosure)를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 명세서에서, “가진다,” “가질 수 있다,”“포함한다,” 또는 “포함할 수 있다” 등의 표현은 해당 특징(예: 수치, 기능, 동작, 단계, 부품, 요소 및/또는 성분 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재나 부가를 제외시키는 것이 아니다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
다양한 실시 예에서 사용된 “제 1”, “제 2”, “첫째” 또는 “둘째” 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제1 구성요소와 제2 구성요소는, 순서 또는 중요도와 무관하게, 서로 다른 구성요소를 나타낼 수 있다.
본 명세서에서 사용되는 단수 표현의 구성의 실시 예들은 상기 단수 표현과 관련된 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 표현의 구성 들의 실시 예들도 포함한다.
본 명세서에서 사용된 표현 “~하도록 구성된(또는 설정된)(configured to)”은 상황에 따라, 예를 들면, “~에 적합한(suitable for),” “~하는 능력을 가지는(having the capacity to),” “~하도록 설계된(designed to),” “~하도록 변경된(adapted to),” “~하도록 만들어진(made to),”또는 “~를 할 수 있는(capable of)”과 바꾸어 사용될 수 있다. 용어 “~하도록 구성(또는 설정)된”은 하드웨어적으로 “특별히 설계된(specifically designed to)”것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, “~하도록 구성된 장치”라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 “~할 수 있는” 것을 의미할 수 있다. 예를 들면, 문구 “A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서”는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 발명에서 사용되는 기술적이거나 과학적인 용어를 포함한 용어들은 본 발명에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 발명에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 발명에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 발명에서 정의된 용어일지라도 본 발명의 실시 예들을 배제하도록 해석될 수 없다.
도 1은, 본 출원의 일 측면에 따른, 창작 이모티콘 기반 콘텐츠 서비스 시스템을 나타낸 블록도이고, 도 2는, 본 출원의 다양한 실시 예들에 따른, 도 1의 시스템 동작의 개략도이다.
도 1을 참조하면, 본 발명의 다양한 실시 예들에 따른 창작 이모티콘 기반 콘텐츠 서비스 시스템(1, 이하, "콘텐츠 서비스 시스템")은 전자 장치(110), 전기 통신 네트워크(120) 및 서버(130)를 포함한다. 다양한 실시 예들에서, 상기 콘텐츠 서비스 시스템(1)은 메신저 어플리케이션을 통해 사용자 간의 메시지를 교환하는 제3자 시스템(2)과 연동된다.
실시예들에 따른 상기 콘텐츠 서비스 시스템(1)은 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "시스템" 및 "장치" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 이모티콘 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
전기 통신 네트워크(120)는, 전자 장치(110), 서버(130), 제3자 시스템(2)이 서로 데이터를 송수신할 수 있는 유/무선의 전기 통신 경로를 제공한다. 전기 통신 네트워크는 특정한 통신 프로토콜에 따른 통신 방식에 한정되지 않으며, 구현예에 따라 적절한 통신 방식이 사용될 수 있다. 예를 들어, 인터넷 프로토콜(IP) 기초의 시스템으로 구성되는 경우, 전기 통신 네트워크는 유선 및/또는 무선 인터넷망으로 구현될 수 있다. 또는 전자 장치(110)와 서버(130)가 이동 통신 단말로서 구현되는 경우 전기 통신 네트워크는 셀룰러 네트워크 또는 WLAN(wireless local area network) 네트워크와 같은 무선망으로 구현될 수 있다.
제3자 시스템(2)은 하나 이상의 타입의 서버, 하나 이상의 데이터 스토어, API들을 포함하나 이에 국한되지 않는 하나 이상의 인터페이스, 하나 이상의 웹 서비스, 하나 이상의 컨텐츠 소스, 하나 이상의 네트워크 또는 예컨대 서버가 통신할 수 있는 임의의 다른 적절한 컴포넌트를 포함할 수 있다. 제3자 시스템(2)은 서버(130)를 운영하는 사용자와 다른 사용자에 의해 운영될 수도 있다. 그러나, 다양한 실시 예들에서, 서버(130)와 제3자 시스템(2)은 창작 이모티콘을 메시지로 전송하기 위해 서로 함께 동작할 수도 있다.
이런 의미에서, 가령 제3자 시스템(2)과 같은 다른 시스템은 서버(130)에게 메신저 기능을 수행하는데 사용할 수 있는 플랫폼 또는 백본(backbone)을 제공할 수 있다.
제3자 시스템(2)은 메신저 어플리케이션을 포함한다. 상기 메신저 어플리케이션은 전자 장치(110) 또는 서버(130)와 통신하여 사용자 간에 메시지를 전송하는 것을 지원한다. 상기 메신저 어플리케이션은, 예를 들어 페이스북 메신저(facebook messenger), 카카오 톡(Kakao talk), 라인, 위챗, 이모티콘을 전송 가능한 기타 모바일 메신저 어플리케이션일 수도 있다.
또한, 제3자 시스템(2)은 소셜 네트워크 어플리케이션을 포함할 수도 있다. 이를 위해, 상기 콘텐츠 서비스 시스템(1)은 소셜 네트워크 어플리케이션을 통해 사용자 간에 미시지를 교환하는 제3자 시스템(2)과 연동될 수도 있다. 상기 창작 이모티콘은 메신저 어플리케이션, 소셜 네트워크 어플리케이션을 통해 특정 사용자의 감정을 다른 사용자에게 전달하는데 이용될 수도 있다.
이하, 설명의 명료성을 위해 메신저 어플리케이션을 이용하는 실시 예들로 본 발명을 보다 상세히 서술한다.
전자 장치(110)는 서버(130)와 통신하는 클라이언트 단말 장치이다. 또한, 상기 전자 장치(110)는 그 사용자가 다른 전자 장치(110)의 다른 사용자들과 통신하게 할 수도 있다. 이를 위해, 상기 전자 장치(110)는 전자 장치(110)에서 네트워크 사용자가 전기 통신 네트워크(120)에 액세스하게 할 수도 있다.
상기 전자 장치(110)는 하드웨어, 소프트웨어 또는 임베디드 로직 컴포넌트나 이들의 2 이상의 컴포넌트의 조합을 포함하고 전자 장치(110)에 의해 구현되거나 지원되는 적절한 기능을 수행할 수 있는 컴퓨팅 시스템일 수도 있다. 상기 전자 장치(110)는, 예를 들어, 데스크톱 컴퓨터, 랩탑 컴퓨터, 넷북, 태블릿 컴퓨터, e-북 리더, GPS 장치, 카메라, 개인용 정보 단말기(PDA), 휴대용 전자 장치, 셀룰러 전화, 스마트폰, 기타 컴퓨팅 장치, 기타 모바일 장치, 기타 웨어러블 장치, 다른 적절한 전자 장치 또는 이들의 임의의 적절한 조합과 같은 컴퓨터 시스템을 포함할 수 있다.
사용자(100_1, 100_2)는 전자 장치(110)를 이용하여 창작 콘텐츠의 판매 권한을 획득하고, 창작 콘텐츠를 생성하며, 상기 창작 콘텐츠를 메신저 어플리케이션을 통해 다른 사용자에게 전송하고, 상기 창작 콘텐츠를 마켓 사이트에 등록하여 판매하고, 상기 창작 콘텐츠를 마켓 사이트에서 구매하며, 상기 창작 콘텐츠와 관련된 다양한 활동하는 것 중 하나 이상의 동작을 구현하는 사람을 의미한다.
본 명세서에서 사용자는 사람, 사람으로 이루어진 집단, 또는 기업과 같은 단체일 수도 있다.
전자 장치(110)는 동일한 전자 장치(110)이더라도 전자 장치(110)의 사용자 (100_1, 100-2)에 따라 서로 다른 기능을 보다 중점적으로 수행하도록 구성된다. 이하, 설명의 명료성을 위해, 전자 장치(110)는 제1 사용자(100_1)의 전자 장치(110_1), 제2 사용자(100_2)의 전자 장치(110_2)로 분류해 서술한다.
콘텐츠 서비스 시스템(1)에서 제1 사용자(100_1)는 창작 콘텐츠를 생성하는 사용자로서, 콘텐츠 창작자로서 지칭될 수도 있다. 상기 제1 사용자(100_1)는 서버(130)에서 운영하는 마켓 사이트를 통해 상품으로 창작 콘텐츠를 판매하기 위해, 콘텐츠 생성 권한을 가질 수도 있다. 상기 제1 사용자(100_1)는 자신의 전자 장치(110_1)를 이용하여 자신이 생성한 창작 콘텐츠를 메신저 어플리케이션을 통해 메시지로 다른 사용자에게 전송할 수도 있다.
제1 사용자(100_1)는 자신을 나타낸 창작 콘텐츠를 생성하거나, 또는 다른 사람이나 동물, 식물을 나타낸 창작 콘텐츠를 생성할 수도 있다.
상기 콘텐츠 서비스 시스템(1)에서 제2 사용자(100_2)는 상기 마켓 사이트를 통해 제1 사용자(100_1)가 생성한 콘텐츠 상품을 구매할 수도 있다. 상기 제2 사용자(100_2)는, 자신의 전자 장치(110_2)를 이용하여 구매한, 제1 사용자(100_1)의 창작 콘텐츠를 메신저 어플리케이션을 통해 메시지로 다른 사용자에게 전송할 수도 있다.
본 출원의 다양한 실시 예들에서, 상기 제1 사용자(100_1)와 제2 사용자(100_2)는 스타와 팬의 관계를 가질 수도 있다. 스타(100_1)가 창작 콘텐츠를 생성하면, 팬(100_2)은 자신의 스타(100_1)가 생성한 창작 콘텐츠를 구매하여 메신저 어플리케이션에서 활용할 수 있다. 여기서, 스타는 누군가가 선호하거나 지지하는 사람을 지칭하며, 가수, 배우, 개그맨, 정치인, 기타 방송인과 같은 전통적인 유명인(celebrity)에 국한되지 않고 유튜버, 인스타그램 인플루언서와 같은 상대적으로 일반인에 가까운 유명인을 포함하는 개념으로 이해되어야 한다.
상기 콘텐츠 서비스 시스템(1)에서 제1 사용자(100_1), 제2 사용자(100_2)는 고정되지 않는다. 상기 특정 사용자는 자신이 창작 콘텐츠를 생성하는 제1 사용자(100_1)임과 동시에 다른 사용자에 대한 제2 사용자(100_2)일 수도 있다.
상기 콘텐츠 서비스 시스템(1)에서 사용자(100_1, 100_2)는 상기 콘텐츠 서비스 시스템(1) 상에서 다양한 활동을 함으로써 포인트를 지급 받을 수도 있다. 일부 실시 예들에서 상기 활동은 창작 콘텐츠에 대한 인기도를 측정하는 투표 이벤트일 수도 있다.
본 명세서에서 창작 콘텐츠는 창작 이모티콘일 수도 있다. 상기 창작 이모티콘은 제1 사용자(100_1)가 촬영한 이미지, 제1 사용자(100_1)가 마켓 사이트를 통해 구매한 이미지를 이용하여 생성한 이모티콘이다. 제1 사용자(100_1)는 촬영 이미지 및 구매 이미지에 기초한 창작 이모티콘을 생성하거나 또는 구매 이미지만에 기초한 창작 이모티콘을 생성할 수도 있다.
서버(130)는 일체형 서버(unitary server)일 수 있거나, 다수의 컴퓨터 또는 다수의 데이터센터에 걸쳐 있는 분산형 서버일 수 있다. 다양한 실시 예들에서, 서버(130)는 사설 인트라넷 또는 인터넷과 같은 컴퓨터 네트워크를 통해 다른 네트워크 서버와 통신할 수 있는 하위 장치와 연결되어 작업 수행 요청을 접수하고 그에 대한 작업을 수행하여 수행 결과를 제공하는 컴퓨터 시스템 및 컴퓨터 소프트웨어(네트워크 서버 프로그램)를 의미한다. 그러나, 서버(130)는 이러한 네트워크 서버 프로그램 이외에도, 서버 상에서 동작하는 일련의 응용 프로그램과 경우에 따라서는 내부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다. 서버(130)는 예로서 제한 없이, 웹 서버, 뉴스 서버, 메일 서버, 메시지 서버, 광고 서버, 파일 서버, 애플리케이션 서버, 교환 서버, 데이터베이스 서버, 프록시 서버, 본 명세서에 기술된 기능이나 프로세스를 수행하는데 적절한 또 다른 서버 또는 이들의 임의의 조합과 같이, 다양한 타입일 수 있다. 특정 실시 예들에서, 서버(130)는 서버(130)에 의해 구현되거나 지원되는 적절한 기능을 수행하기 위한 하드웨어, 소프트웨어 또는 임베디드 논리 소자 또는 2 이상의 이런 소자들의 조합을 포함할 수 있다.
다양한 실시 예들에서, 상기 콘텐츠 서비스 시스템(1)은 서버(130)의 데이터를 저장하는 하나 이상의 데이터 스토어(134)를 포함할 수도 있다. 데이터 스토어(134)는 다양한 타입의 정보를 저장하는데 사용될 수 있다. 일부 실시 예들에서, 데이터 스토어(134)에 저장된 정보는 특정한 데이터 구조에 따라 구조화될 수 있다. 또한, 일부 실시 예들에서, 각 데이터 스토어(134)는 관계형, 컬럼형, 상관형 또는 다른 적절한 데이터베이스일 수 있다. 비록 본 명세서는 특정 타입의 데이터베이스를 기술하거나 도시하지만, 본 명세서는 임의의 적절한 타입의 데이터베이스를 고려한다. 일부 실시 예들에서, 서버(130)는 전자 장치(110)가 데이터 스토어(134)에 저장된 정보를 관리, 검색, 변경, 추가 또는 삭제할 수 있게 하는 인터페이스를 제공할 수 있다.
상기 콘텐츠 서비스 시스템(1)에서 관리자(100_3)는 제3 전자 장치(110_3)를 이용하여 서버(130)에 액세스하고, 서버(130)를 통해 창작 이모티콘을 상품으로 판매하는 마켓 사이트를 운영하고, 창작 콘텐츠의 판매 권한을 부여하고, 창작 콘텐츠를 생성하는 도중 특정 마크의 이용을 허가하며, 창작 콘텐츠를 마켓 사이트에 등록하는 것을 허가하며, 창작 콘텐츠와 관련된 다양한 이벤트를 진행하는 것 중 하나 이상의 동작을 구현하는 사람을 의미한다. 상기 관리자(100_3)는 아래의 서버(130)를 운영하는 권한을 가진 사람일 수도 있다.
도 2에 도시된 것처럼, 상기 서버(130)는 창작 이모티콘의 생성을 지원하거나, 또는 거래를 지원하도록 구성된다. 서버(130)에서 지원하는 이모티콘 제작 서비스, 마켓 서비스, 투표 이벤트 및 기타 이벤트 제공 서비스를 통해 다양한 유저 활동이 가능하며, 유저 활동의 파급 효과에 따라 각각의 사용자에게 보상이 지급될 수도 있다.
특정 실시 예들에서, 상기 서버(130)는 회원 관리 모듈(131), 마켓 관리 모듈(133), 포인트 관리 모듈(135) 및 이벤트 관리 모듈(137)을 포함한다.
회원 관리 모듈(131)은 콘텐츠 서비스(또는 이모티콘 서비스)에 대한 관리자 회원(도 1의 관리자(100_3)), 일반 회원(도 1의 제2 사용자(100_2)), 창작 회원(도 1의 제1 사용자(100_1)) 각각의 회원 정보를 조회하거나, 시스템 이용 내역을 조회하거나, 사용자 상태를 변경하는 다양한 회원 관리 동작을 수행하도록 구성된다.
상기 회원 정보는 사용자의 식별정보, 사용자의 상태 정보를 포함한다. 상기 사용자의 식별정보는 사용자의 오프라인 식별정보, 온라인 식별정보, 사용자의 회원 가입 시 획득된 전자 장치(110)의 식별정보 중 하나 이상을 포함한다. 또한, 상기 회원 정보는 사용자의 프로파일 정보를 더 포함할 수도 있다. 프로파일 정보는 사용자를 설명하는 정보이다.
상기 오프라인 식별정보는 사용자의 신원정보로서, 예를 들어 성명, 주소, 이메일 계정, 전화번호, 주민번호, 운전면허증, 기타 신분증 번호 중 하나 이상을 포함할 수도 있다.
상기 온라인 식별정보는 콘텐츠 서비스 시스템(1)의 회원 ID 일 수도 있다.
상기 전자 장치(110)의 식별정보는 장치 식별자, 네트워크 식별자 중 하나 이상을 포함할 수도 있다. 상기 네트워크 식별자는, 예를 들어 MAC 주소(Media Access Control Address), IP 주소(internet protocol address)일 수도 있으나, 이에 제한되진 않는다.
상기 상태 정보는 사용자의 권한을 나타낸다. 사용자의 상태는 이모티콘 생성 권한과 같은 콘텐츠 생성 권한을 갖는 제1 사용자(100_1)를 가리키는 제1 상태, 관리 권한을 갖는 관리자(100_3)를 가리키는 제2 상태, 또는 콘텐츠 생성 권한 및 관리 권한을 갖지 않는 일반 회원을 가리키는 제3 상태일 수도 있다.
상기 시스템 이용 내역은 콘텐츠 상품 생성 내역, 콘텐츠 상품 구매 내역, 결제 내역, 포인트 정산 내역, 이벤트 활동 내역을 포함한다. 다양한 실시 예들에서, 상기 이벤트 활동 내역은 투표 이벤트 참여 내역을 포함한다.
다양한 실시 예들에서, 상기 회원 관리 모듈(131)은 전자 서명을 이용하여 제1 사용자(100_1)에게 이모티콘 판매 권한을 부여할 수도 있다. 이를 위해, 상기 콘텐츠 서비스 시스템(1)은 인증 시스템(3)과 연결될 수도 있다.
본 명세서에서 전자 서명은 서명 대상 문서에 첨부되는 디지털 정보로서, 전자 서명을 생성한 사용자의 신원을 확인하고 사용자의 전자 문서에 대한 승인을 나타낼 목적으로 사용되는 것이다.
서명 대상 문서는 사용자의 전자 서명이 요구되는 전자 문서를 의미한다. 전자 장치(110)는 서명 대상 문서를 전자 서명처리함으로써, 서명 대상 문서에 대해 사용자(100)가 승인하는 것을 인증할 수 있다. 콘텐츠 서비스 시스템(1)에서 서명 대상 문서는 서버(130)에 의해 생성된 것으로서, 판매 권한을 부여하기 위한 전자 계약 서류를 포함한다. 일부 실시 예들에서, 상기 서명 대상 문서는 전자 장치(110)에 의해 생성된 것으로서, 마켓 사이트에 신규 상품으로 등록하기 위한 창작 이모티콘을 더 포함할 수도 있다.
서명 대상 데이터는 서명 대상 문서로부터 도출될 데이터이다. 예시적으로서, 서명 대상 데이터는 소정의 알고리즘으로 서명 대상 문서의 원문 데이터를 가공한 데이터일 수도 있다. 일 예에서, 서명 대상 데이터는 서명 대상 문서의 원문 데이터를 해쉬 함수(Hash function)를 이용하여 가공한 데이터일 수도 있다. 다른 일 예에서, 상기 서명 대상 데이터는 서명 대상 문서의 원문 데이터를 해쉬 함수 및 패딩 알고리즘(padding algorithm)을 이용하여 가공한 데이터일 수도 있다. 패딩이란 데이터의 크기가 목표하는 고정 크기 보다 적은 경우 데이터 끝에 공백 데이터 또는 의미가 없는 기호 데이터를 부가하여 데이터의 크기를 조절하는 기법을 의미한다.
전술한 데이터 가공 알고리즘 들은 예시적인 것에 불과하며, 실시예가 이에 제한되는 것은 아니다. 또한, 서명 대상 데이터는 서명 대상 문서의 원문 데이터와 같을 수도 있다.
예시적으로서, 상기 인증 시스템(3)은 공개키 기반 구조(Public Key Infrastructure, PKI)의 전자 서명을 위한 비대칭 키의 쌍을 발행하도록 구성될 수도 있다. 상기 비대칭 키는 제1 사용자(100_1)의 개인 키(private key) 및 상기 개인 키에 대응한 공개 키(public key)이다.
상기 인증 시스템(3)은 제1 전자 장치(110_1)에 제1 사용자(100_1)의 개인 키 또는 비대칭 키의 쌍을 전송하고, 서버(130)에 제1 사용자(100_1)의 공개 키를 전송한다.
이러한 권한 동작에 대해서는 아래의 도 3를 참조해 보다 상세히 서술한다.
마켓 관리 모듈(133)은 콘텐츠 상품이 거래되는 마켓 사이트를 관리하도록 구성된다. 상기 콘텐츠 상품은 메신저 어플리케이션을 통해 텍스트와 함께 전송되거나 또는 단독으로 전송될 수도 있다.
상기 콘텐츠 상품은 창작 이모티콘, 상기 창작 이모티콘을 생성하는데 이용되는 배경 스티커를 포함한다. 일부 실시 예들에서, 상기 콘텐츠 상품은 배경 스티커와 함께 창작 이모티콘을 생성하는데 이용되는 이모티콘 객체를 더 포함할 수도 있다.
상기 배경 스티커는 창작 이모티콘의 배경 이미지를 제공하는 이모티콘 구성요소이다. 상기 배경 스티커는 이모티콘 객체 상에 배치된다. 상기 배경 스티커에 중첩된 이모티콘 객체의 일부분은 2차원 평면 상에서 가려질 수도 있다. 상기 배경 스티커가 교체되면 창작 이모티콘의 배경 이미지가 변경된다. 이러한 배치 구조 및 교체 효과로 인해, 창작 이모티콘을 위한 이모티콘 배경은 배경 스티커로 지칭된다.
상기 배경 스티커는 배경 이미지만을 포함하거나, 또는 이미지와 더불어 텍스트 및/또는 사운드를 배경 요소로 갖도록 구성된다. 배경 이미지는 형상, 색상 등을 갖는 배경 객체로 이루어진다. 예를 들어, 배경 스티커는 배경 객체가 나타난 배경 이미지, 배경 텍스트, 배경 사운드를 포함하는, 멀티 미디어 데이터로 구현될 수도 있다. 상기 음성은 배경 스티커 내 텍스트, 이미지와 연관된 내용을 음성 신호로 나타낸 것이다.
상기 배경 스티커는 정지 이미지 또는 배경 텍스트, 배경 객체와 같은 배경 요소가 연속적으로 움직이는 것이 표시된 일련의 이미지로 이루어진 시퀀스 이미지일 수도 있다. 배경 스티커가 시퀀스 이미지일 경우, 상기 배경 스티커는 애니메이션 효과를 제공한다. 상기 배경 스티커는 배경 시각 요소의 그룹별로 서로 다른 레이어 상에 구현된 애니메이션 시퀀스 이미지의 결합 구조를 가질 수도 있다. 일부 실시 예들에서, 상기 배경 시퀀스 이미지는 GIF(Graphics Interchange Format) 이미지 데이터로 구현될 수도 있다. 그러면, 상기 배경 시퀀스 이미지는 처음 출력 순서의 이미지로부터 마지막 출력 순서의 이미지가 순차적으로 출력된 이후에 다시 처음 출력 순서의 이미지가 다시 출력될 수도 있다.
상기 이모티콘 객체는 제1 사용자(100_1)를 표현하는 이모티콘 객체일 수도 있다. 상기 이모티콘 객체는 해당 이모티콘 객체를 콘텐츠 상품으로 판매하는 마켓 사이트를 통해 획득되거나 해당 이모티콘 객체를 피사체로 촬영한 촬영 이미지를 통해 획득될 수도 있다.
상기 촬영 이미지는 정지 이미지 또는 이모티콘 객체가 연속적으로 움직이는 것이 표시된 일련의 이미지일 수도 있다. 이모티콘 객체의 촬영 이미지가 시퀀스 이미지일 경우, 이모티콘 객체 이미지는 애니메이션 효과를 제공한다.
다양한 실시 예들에서, 상기 이모티콘 객체는 제1 사용자(100_1)의 얼굴이 나타난 이미지일 수도 있다. 그러나, 이에 제한되지 않으며, 상기 이모티콘 객체는 제2 사용자(100_2)가 좋아하는 제1 사용자(100_1)의 얼굴과 같은 다른 사람, 동물, 식물이 나타난 이미지일 수도 있다.
상기 마켓 관리 모듈(133)은 판매 권한이 부여된 제1 사용자(100_1)의 상품 등록 요청을 승인하거나 거절할 수도 있다. 이에 대해서는 아래의 도 9 등을 참조해 보다 상세히 서술한다.
또한, 상기 마켓 관리 모듈(133)은 마켓 사이트의 메인 화면을 관리할 수도 있다. 메인 화면은 마켓 사이트에 처음 접속 시 표시되는 사이트 화면일 수도 있다.
다양한 실시 예들에서, 상기 마켓 관리 모듈(133)은 상품 배너 이미지를 등록하거나 수정하거나 삭제할 수도 있다. 상기 마켓 관리 모듈(133)은 상품 카테고리, 상품 그룹을 형성하고 이를 메인 화면에 노출할 수도 있다. 상기 마켓 관리 모듈(133)은 상품의 거래 관련 미니 차트를 생성하고 이를 메인 화면에 노출할 수도 있다.
상기 마켓 관리 모듈(133)은 판매 내역을 조회하거나, 판매자 각각에 대해서 일정 기간 동안의 매출액 또는 총 매출액을 조회하거나 판매자 또는 구매자로부터 결제가 잘못 이루어졌다고 요청된 상품에 대해서 구매를 취소하도록 구성될 수도 있다.
상기 마켓 관리 모듈(133)은 판매 상품 목록 및 목록 내 상품 판매 내용을 관리할 수도 있다. 판매 상품은 콘텐츠 상품일 수도 있다. 상품 판매 내용은 상품 설명, 판매 금액 등을 포함할 수도 있다.
상기 마켓 관리 모듈(133)은 거래 내역을 생성할 수도 있다. 상기 거래 내역은 거래 시간, 거래 상품, 대금 지급 수단, 상품 가격 등을 포함할 수도 있다. 또한, 마켓 관리 모듈(133)은 판매 내역, 구매 내역을 더 생성할 수도 있다.
상기 마켓 관리 모듈(133)은 생성한 내역을 스토어(134)에 저장할 수도 있다.
포인트 관리 모듈(135)은 포인트 지급 대상을 조회하고, 지급 대상에게 대상 포인트를 지급할 수도 있다. 상기 포인트는 콘텐츠 서비스 시스템(1)의 마켓 사이트에서 콘텐츠 상품을 거래하기 위해 이용할 수 있는 지불 수단으로서, 콘텐츠 서비스 시스템(1)의 전자 화폐일 수도 있다. 상기 포인트는 사용자(100)가 실물 화폐를 결제할 경우 결제된 금액에 대응한 포인트 수량이 지급되거나 또는 사용자(100)가 콘텐츠 서비스 시스템(1)에서 활동을 할 경우 활동에 대해 미리 지정된 포인트 수량이 지급될 수도 있다.
상기 포인트 관리 모듈(135)은 서버(130)가 사용자 전체에게 포인트를 지급한 사실을 기록한 지급 내역을 생성하고 조회할 수도 있다.
상기 포인트 관리 모듈(135)은 포인트 지갑에 보유된 사용자(100)의 보유 포인트를 조회할 수도 있다. 또한, 포인트 관리 모듈(135)은 각각의 사용자(100)에 대해서, 사용자별 적립 내역을 생성하고 적립 내용을 수정할 수도 있다. 상기 적립 내역은 적립 조건을 만족할 경우 미리 지정된 적립 포인트 금액이 지급되는 적립 이벤트가 발생할 때마다 생성될 수도 있다. 포인트 관리 모듈(135)은 해당 사용자(100)의 적립 내역을 조회하고, 상기 적립 내역 내 해당 적립 포인트 금액을 조회할 수도 있다. 또한, 일부 실시 예들에서, 포인트에 유효 기간이 있는 경우, 해당 적립 포인트 금액의 이용 유효 기간을 조회할 수도 있다.
상기 포인트 관리 모듈(135)은 지급 내역, 적립 내역을 스토어(134)에 저장할 수도 있다.
상기 적립 이벤트는 콘텐츠 서비스 시스템(1)의 다양한 활동과 연관될 수도 있다. 다양한 실시 예들에서, 상기 적립 이벤트는 투표 이벤트일 수도 있다. 상기 투표 이벤트에서 적립 조건은 투표 참여 여부일 수도 있다.
상기 투표 이벤트에 대한 참여를 통한 포인트 적립에 대해서는 아래의 도 12 등을 참조해 보다 상세히 서술한다.
이벤트 관리 모듈(137)은 투표 내역을 생성하고 생성된 투표 이벤트로 이루어진 투표 목록을 제공할 수도 있다.
사용자(100) 또는 관리자(100_3)의 전자 장치(110)가 투표 기간, 투표 제목, 투표 후보를 입력하면, 입력된 투표 내용을 포함한 투표 이벤트 생성 요청을 서버(130)로 전송한다. 상기 이벤트 관리 모듈(137)은 투표 이벤트 생성 요청을 수신하면, 상기 투표 이벤트 생성 요청 내 투표 내용에 기초하여 투표 내역을 생성할 수도 있다. 상기 투표 내역은 투표 관련 정보의 그룹으로서, 수신한 투표 내용 및 투표 진행 과정에서 획득된 정보를 포함할 수도 있다. 상기 투표 내역은, 예를 들어 투표 기간, 투표 제목, 투표 후보, 후보별 득표 수, 후보별 투표 사용자 목록, 투표 관련 메시지, 해당 메시지에 대한 선호도(예컨대, 좋아요 수), 상세 정보, 태그 등을 포함할 수도 있다. 상기 이벤트 관리 모듈(137)은 상기 투표 내역에 기초하여 투표 화면을 표시하는데 이용되는 투표 화면 데이터를 생성하고, 상기 투표 화면 데이터를 전자 장치(110)로 전송할 수도 있다.
상기 투표 목록은 투표가 종료된 투표 이벤트 및/또는 투표 진행 중인 투표 이벤트를 포함한다. 예를 들어, 상기 서버(130)는 상기 투표 목록은 투표 기간이 도과되지 않은 투표 이벤트로만 이루어진 투표 목록, 또는 투표 기간이 도과한 투표 이벤트를 포함한 투표 목록을 제공할 수도 있다.
상기 이벤트 관리 모듈(137)은 투표 내역 중 일부 또는 전부의 정보를 투표 결과로서 포인트 관리 모듈(135)에 제공하여 투표 참여 활동 및 투표 결과에 따른 포인트를 투표 참여 사용자에게 지급하게 할 수도 있다.
이벤트 관리 모듈(137)은 투표 내역을 스토어(134)에 저장할 수도 있다.
상기 이벤트 관리 모듈(137)의 동작에 대해서는 아래의 도 12 등을 참조해 보다 상세히 서술한다.
이모티콘 생성 권한의 계약
회원 관리 모듈(131)은 콘텐츠 서비스에 대한 회원으로 등록한 사용자(100) 중에서 특정 사용자(도 1의 제1 사용자(100_1))에게 이모티콘 판매 권한을 부여할 수도 있다. 이모티콘 판매 권한을 부여받은 제1 사용자(100_1)만이 마켓 사이트에 자신의 창작 이모티콘을 거래 상품으로 등록할 수 있다.
도 3은, 본 출원의 다양한 실시 예들에 따른, 이모티콘 생성 권한을 부여하는 과정의 흐름도이다.
도 3의 과정은 회원 관리 모듈(131)에 의해 수행될 수도 있다.
도 3을 참조하면, 상기 제1 사용자(100_1)에게 이모티콘 판매 권한을 부여하는 과정은, 상기 제1 전자 장치(110_1)에 저장된 상기 제1 사용자(100_1)의 식별정보 및 판매 범위 정보를 포함한 판매 권한 요청을 수신하는 단계(S310); 상기 제1 사용자(100_1)의 식별정보에 기초하여 해당 제1 사용자(100_1)의 미리 등록된 회원 정보를 검색하는 단계(S320); 검색된 제1 사용자(100_1)의 회원 정보 및 상기 판매 범위 정보를 미리 설정된 계약 서류 템플릿에 적용하여 상기 제1 사용자(100_1)를 위한 전자 계약 서류를 생성하는 단계(S330); 상기 전자 계약 서류를 상기 제1 전자 장치(110_1)로 전송하여 상기 제1 사용자(100_1)의 전자 서명을 요청하는 단계(S340); 상기 제1 전자 장치(110_1)로부터 수신한 전자 계약 서류의 전자 서명이 미리 설정된 서명 기준을 만족하는지 검증하는 단계(S350); 및 상기 전자 서명이 검증된 상기 제1 사용자(100_1)에게 이모티콘 판매 권한을 부여하는 단계(S360)를 포함한다.
상기 판매 범위 정보는 제1 사용자(100_1)가 판매를 원하는 콘텐츠 상품을 서술하는 정보일 수도 있다. 일부 실시 예들에서, 상기 판매 범위 정보는 상품 유형을 포함할 수도 있다. 상기 상품 유형은 이모티콘 객체, 배경 스티커 및 창작 이모티콘 중 하나 이상의 콘텐츠 유형일 수도 있다. 또한, 일부 실시 예들에서, 상기 판매 범위 정보는 판매 하고자 하는 상품 내용을 더 포함할 수도 있다. 상기 상품 내용은, 예를 들어 사람, 동물과 같이 판매하고자 하는 이모티콘 객체의 유형을 포함할 수도 있다.
회원 관리 모듈(131)은 이모티콘 서비스에 회원 가입한 사용자(100)의 회원 정보를 데이터 스토어(134)에 저장한다. 상기 회원 관리 모듈(131)은 판매 권한 요청 내 상기 제1 사용자(100_1)의 식별정보에 기초하여 해당 제1 사용자(100_1)의 미리 등록된 회원 정보를 검색한다(S320). 상기 판매 권한 요청 내 제1 사용자(100_1)의 식별정보는 제1 사용자(100_1)의 등록된 회원 정보 전부를 포함하거나 또는 일부를 포함할 수도 있다. 상기 판매 권한 요청이 회원 정보 일부를 포함할 경우, 상기 일부 회원 정보는 아래의 단계(S330)에서 생성할 전자 계약 서류를 생성하기 부족할 수도 있다. 그러면, 회원 관리 모듈(131)은 일부 회원 정보를 이용하여 단계(S330)에서 생성할 전자 계약 서류를 생성하기 위한 나머지 정보를 미리 등록된 회원 정보에서 획득할 수도 있다. 예를 들어, 판매 권한 요청 내 회원 ID를 포함할 경우, 회원 관리 모듈(131)은 상기 회원 ID를 갖는 회원 정보를 검색해서 나머지 회원 정보를 획득할 수도 있다.
상기 회원 관리 모듈(131)은 계약 서류 템플릿을 미리 저장할 수도 있다. 상기 계약 서류 템플릿은 미리 설정된 계약 항목으로 이루어진 템플릿 구조를 가진다. 회원 관리 모듈(131)은 단계(S320)에서 검색된 제1 사용자(100_1)의 회원 정보 및 단계(S310)에서 획득된 상기 판매 범위 정보를 상기 계약 서류 템플릿에 적용하여 계약 항목에 대응한 회원 정보 값을 삽입함으로써 상기 제1 사용자(100_1)를 위한 전자 계약 서류를 생성한다.
상기 단계(S340)에서 제1 전자 장치(110_1)는 단계(S330)에서 생성된 전자 계약 서류를 수신하면 상기 전자 계약 서류를 제1 사용자(100_1)의 개인 키로 전자 서명하여 서버(130)로 전송한다.
상기 단계(S350)에서 미리 설정된 서명 기준은 공개 키를 이용한 검증을 포함한다. 서버(130)는 미리 저장된 제1 사용자(100_1)의 공개 키로 수신한 전자 계약 서류의 전자 서명을 검증한다. 검증 성공한 경우 제1 사용자(100_1)의 계약 내용에 대한 승인의 유효성이 인증된다(S350). 상기 서버(130)는 검증 성공한 제1 사용자(100_1)에게 이모티콘 판매 권한을 부여한다(S360).
또한, 일부 실시 예들에서, 상기 미리 설정된 서명 기준은 전자 서명 이외의 사용자의 신원 검증을 더 포함할 수도 있다. 이 경우, 제1 전자 장치(110_1)는 제1 사용자(100_1)의 얼굴과 자신의 얼굴이 노출된 신분증을 촬영한 신원 확인 이미지를 전자 서명 서류에 삽입하여 서버(130)로 전송할 수도 있다.
그러면, 상기 단계(S350)는 수신한 전자 계약 서류에서 사용자의 얼굴 영역 및 신분증 영역을 검출하는 단계; 상기 신분증 영역 내 얼굴 부분 및 상기 사용자의 얼굴 영역 내 얼굴부분이 일치하는지 확인하는 단계; 상기 신분증 영역에 나타난 복수의 개인정보 항목 중 적어도 일부 항목의 값이 상기 제1 사용자의 미리 저장된 회원 정보 중 동일한 항목의 값과 일치하는지 확인하는 단계; 상기 얼굴 부분의 일치 및 개인정보 항목의 일치가 확인된 이후에 미리 저장된 제1 사용자의 공개 키를 이용하여 상기 전자 서명의 유효성을 검증하는 단계를 포함할 수도 있다.
이를 위해, 회원 관리 모듈(131)은 입력 이미지에서 미리 설정된 관심 영역을 검출하도록 구성된 영역 검출 모델을 포함할 수도 있다. 예시적으로, 상기 영역 검출 모델은 입력 이미지에서 특징을 추출해서 미리 설정된 관심 영역을 검출하는 기계학습 모델일 수도 있다. 상기 영역 검출 모델은, 예를 들어 Haar, Convolution Neural Network (CNN), Scale Invariant Feature Transform (SIFT), Histogram of Gradients (HOG), Neural Network (NN), Support Vector Machine (SVM), Gabor 방식에 기초한 모델일 수도 있으나, 이에 제한되진 않는다.
상기 관심 영역은 제1 사용자(100_1)의 얼굴이 촬영된 얼굴 영역, 및 신분증 내 얼굴 영역을 포함한다. 상기 얼굴 영역은 신분증과 함께 촬영된 제1 사용자의 얼굴 부분을 포함하는 영역이다. 또한, 상기 관심 영역은 신분증에 표시된 개인정보 항목 부분 중 일부 또는 전부를 더 포함할 수도 있다. 상기 개인정보 항목은, 예를 들어 성명, 주소, 주민등록번호, 운전면허증 번호 중 하나 이상을 포함할 수도 있다.
상기 단계(S350)에서 회원 관리 모듈(131)은 수신한 전자 계약 서류에 삽입된 신원 확인 이미지를 상기 영역 검출 모델에 입력하여 제1 사용자(100_1)의 얼굴 영역 및 신분증 내 얼굴 영역을 검출하고, 상기 신분증 영역 내 얼굴 부분 및 상기 제1 사용자의 얼굴 영역 내 얼굴부분이 일치하는지 확인한다. 상기 회원 관리 모듈(131)은 상기 영역 검출 모델에서 얼굴 영역을 검출하기 위해 추출된 제1 특징 세트 및 신분증 내 얼굴 영역을 검출하기 위해 추출된 제2 특징 세트 간의 유사도를 산출하고, 산출된 유사도에 기초하여 얼굴 부분의 일치를 판단할 수도 있다. 상기 유사도는, 예를 들어 유클리드, 코사인 기반 유사도 산출 방식, 기타 벡터 유사도 산출 방식을 통해 산출될 수도 있다.
또한, 상기 단계(S350)에서 회원 관리 모듈(131)은 수신한 전자 계약 서류에 삽입된 신원 확인 이미지를 상기 영역 검출 모델에 입력하여 상기 신분증에 나타난 복수의 개인정보 항목 중 상기 영역 검출 모델이 검출하도록 미리 설정된 적어도 일부 항목 각각이 표시된 영역을 검출하고, 검출된 영역에서 텍스트 또는 숫자를 인식하여 해당 항목 값을 추출하며, 추출된 항목 값이 상기 제1 사용자(100_1)의 미리 저장된 회원 정보 중 동일한 항목의 값과 일치하는지 확인한다.
회원 관리 모듈(131)은 촬영된 얼굴 부분과 신분증 내 얼굴 부분이 서로 일치하는 것, 그리고 신분증 내용과 회원 정보가 일치하는 것, 그리고 전자 서명의 유효성을 검증하는 것을 포함한 서명 기준을 제1 사용자(100_1)가 만족할 경우에 해당 제1 사용자(100_1)에게 이모티콘 판매 권한을 부여한다(S360). 이모티콘 판매 권한이 부여되면, 제1 사용자(100_1)의 상태 정보는 일반 회원에서 창작 회원으로 변경되고 제1 사용자(100_1)의 회원 정보는 업데이트된다(S360).
회원 관리 모듈(131)은 이모티콘 판매 권한을 부여한 제1 사용자(들)를 기록하여 판매 권한자 목록을 생성할 수도 있다. 상기 판매 권한자 목록은 판매 권한이 부여된 제1 사용자(100_1)의 회원 정보 중 적어도 일부, 및 제1 사용자(100_1)의 공개 키를 포함한다.
또한, 회원 관리 모듈(131)은 상기 제1 사용자(100_1)에게 이모티콘 판매 권한을 부여하면, 서버(130)의 저장 공간에서 제1 사용자(100_1)의 생성보관함 공간을 지정할 수도 있다. 그러면, 아래에서 서술할, 제1 전자 장치(110_1)에서 생성된 제1 사용자(100_1)의 창작 이모티콘은 상기 제1 사용자(100_1)의 생성보관함 공간에 저장된다.
이러한 생성보관함 공간에 대해서는 아래의 도 7을 참조해 보다 상세히 서술한다.
창작 이모티콘 생성
콘텐츠 서비스 시스템(1)에서 제1 사용자(100_1)에게 이모티콘 판매 권한이 부여되면, 메신저 어플리케이션을 통해 전송 가능한 창작 이모티콘을 생성할 수 있다. 상기 제1 전자 장치(110_1)는 촬영 이미지 내 이모티콘 객체를 이용하여 창작 이모티콘을 생성할 수도 있다.
도 4는, 본 출원의 다양한 실시 예들에 따른, 창작 이모티콘 생성 과정의 흐름도이고, 도 5는, 도 4의 창작 이모티콘 생성 과정의 개략도이다.
도 4 및 도 5를 참조하면, 이모티콘 서비스에 대한 회원으로 등록한 제1 사용자(100_1)의 제1 전자 장치(110_1)에서, 이모티콘 객체를 촬영하여 촬영 이미지를 획득하고 상기 촬영 이미지의 적어도 일부 영역을 가지는 이모티콘 객체 이미지와 관련된 이모티콘 객체 데이터를 획득하는 단계(S410); 상기 제1 전자 장치(110_1)에서, 배경 스티커 및 상기 창작 이모티콘을 포함한 콘텐츠 상품이 거래되는 마켓 사이트에서 상기 배경 스티커에 대한 구매를 상기 마켓 사이트를 운영하는 서버(130)로 요청하여 해당 배경 스티커 데이터를 수신하는 단계(S430); 상기 제1 전자 장치(110_1)에서, 상기 배경 스티커 데이터 및 이모티콘 객체 데이터에 기초하여 상기 제1 사용자(100_1)의 창작 이모티콘 데이터를 생성하는 단계(S450)를 포함한다.
본 출원의 다양한 실시 예들에서, 이모티콘 객체는 제1 사용자(100_1)의 얼굴 및/또는 신체 부분을 포함한다.
상기 단계(S410)에서 제1 전자 장치(110_1)는 카메라에 의해 얼굴을 촬영하여 얼굴 이미지를 획득하거나, 또는 얼굴을 포함한 상반신을 촬영하여 상반신 이미지를 획득할 수도 있다. 이하, 설명의 명료성을 위해, 얼굴 이미지를 촬영 이미지로 획득한 실시 예들로 본 발명을 보다 상세히 서술한다.
상기 단계(S410)에서 상기 제1 전자 장치(110_1)는 촬영 이미지에서 적어도 일부 영역을 가지고 이모티콘 객체가 나타난 이모티콘 객체 이미지를 추출하고 상기 추출된 이모티콘 객체 이미지와 관련된 이모티콘 객체 데이터를 획득한다. 예를 들어, 촬영 이미지의 전체 프레임 영역이 이모티콘 객체 이미지로 사용될 수도 있다.
이를 위해, 제1 전자 장치(110_1)는 촬영 이미지를 이용하여 이모티콘 객체 이미지를 선택하게 하는 인터페이스 화면을 제공하도록 구성된다. 제1 사용자(100_1)는 촬영 이미지를 곧바로 이모티콘 객체 이미지로 선택하거나 또는 촬영 이미지 중 얼굴 부분과 같은 관심영역을 선택해 관심영역 이미지를 이모티콘 객체 이미지로 선택할 수도 있다.
상기 이모티콘 객체 데이터는 이모티콘 객체를 표시하는 2차원 이미지 데이터 및/또는 이모티콘 객체를 2차원으로 랜더링하기 위한 파라미터의 세트를 포함할 수도 있다. 상기 이모티콘 객체의 파라미터의 세트는 이모티콘 객체의 프레임 크기, 이모티콘 객체의 프레임 상에서의 크기, 위치, 색상, 이모티콘 객체의 식별정보, 이모티콘 객체를 구현하기 위한 기타 파리미터를 포함한다.
상기 이모티콘 객체의 식별정보는 창작자의 장치 식별자, 네트워크 식별자, 또는 회원 ID와 같은 서비스 시스템 식별자일 수도 있다.
상기 촬영 이미지가 복수의 이미지로 이루어진 시퀀스 이미지일 경우, 상기 이모티콘 객체 데이터는 시퀀스 이미지를 이루는 각각의 이모티콘 객체 이미지에 나타난 이모티콘 객체를 서술하는 데이터(예컨대, 개별 이모티콘 객체 데이터)의 세트와 더불어, 시퀀스 이미지의 시계열 구간 전체를 이루는 각 이미지의 출력 순서, 출력 속도와 같은 시퀀스 데이터를 더 포함한다.
도 5에 도시된 것처럼 상기 단계(S430)에서 제1 전자 장치(110_1)는 마켓 사이트를 통해 판매되는 배경 스티커를 표시할 수도 있다.
상기 배경 스티커는 미리 설정된 복수의 감정 유형 중 어느 하나로 분류된다. 다양한 실시 예들에서, 상기 감정 유형은 기쁨, 불안, 분노, 당황, 아픔(또는 상처), 슬픔, 중립(neutral) 중 둘 이상을 포함할 수도 있다. 상기 마켓 사이트는 전체 배경 스티커, 제1 사용자(100_1)가 이미 구매한 배경 스티커, 또는 각각의 감정 유형별로 분류된 배경 스티커 그룹을 표시하는 화면을 제공할 수도 있다.
상기 제1 전자 장치(110_1)는 복수의 배경 스티커 중 어느 하나의 배경 스티커를 선택하는 사용자 입력이 입력될 경우, 선택된 배경 스티커에 대한 구매 요청을 서버(130)로 전송하여 배경 스티커 데이터를 다운로드 받을 수도 있다. 구매된 배경 스티커는 서버(130) 내 제1 사용자(100_1)의 구매 상품 보관함 또는 제1 전자 장치(110_1)에 저장될 수도 있다(S430).
본 출원의 다양한 실시 예들에서, 상기 배경 스티커는 촬영 이미지에 나타난 제1 사용자(100_1)의 감정에 연관된 배경 스티커일 수도 있다. 상기 제1 전자 장치(110_1) 또는 서버(130)는 촬영 이미지의 이모티콘 객체 부분, 즉 제1 사용자의 얼굴 부분을 분석하여 제1 사용자(100_1)가 갖고 있는 것으로 예측되는 감정을 추출하고, 추출된 감정에 대응한 감정 유형의 그룹 내 배경 스티커를 추천할 수도 있다(S430).
상기 단계(S430)는, 배경 스티커를 추천하기 위해, 상기 촬영 이미지 데이터에서 상기 전자 장치의 사용자의 얼굴 부분이 표현된 얼굴 영역을 검출하는 단계; 검출된 얼굴 영역의 패치 이미지(patch image)를 미리 학습된 이미지 기반 감정 인식 모델에 입력하여 상기 사용자의 감정을 인식하는 단계; 상기 사용자의 인식된 감정에 연관된 하나 이상의 배경 스티커를 상기 마켓 사이트에서 검색하는 단계; 상기 검색된 배경 스티커의 판매 범위 정보에 기초하여 상기 사용자를 위한 추천 목록을 생성하여 상기 전자 장치에서 표시되도록 상기 전자 장치로 전송하는 단계; 및 상기 추천 목록 중 특정 배경 스티커를 선택하여 선택된 배경 스티커에 대한 구매를 요청하는 단계를 포함할 수도 있다.
상기 제1 전자 장치(110_1)은 영역 검출 모델을 포함할 수도 있다. 상기 제1 전자 장치(110_1)는 촬영 이미지를 상기 영역 검출 모델에 입력하여 얼굴 영역을 검출할 수도 있다. 상기 영역 검출 모델에 대해서는 위의 회원 관리 모듈(131)과 관련해서 이미 설명하였는 바, 자세한 설명은 생략한다.
상기 제1 전자 장치(110_1)는 촬영 이미지에서 얼굴 영역을 추출하여 상기 얼굴 영역으로 이루어진 관심영역 이미지를 생성한다.
상기 이미지 기반 감정 인식 모델은 입력 이미지의 얼굴 부분과 감정 간의 상관 관계를 추론하기 위해 입력 이미지의 특징을 추출하여 입력 이미지의 감정을 인식하도록 구성된 뉴럴 네트워크 기반 기계학습 모델일 수도 있다. 상기 이미지 기반 감정 인식 모델은, 예를 들어, CNN(Convolutional Neural Networks), 기타 NN에 기반한 모델 구조를 가진다.
상기 이미지 기반 감정 인식 모델은 복수의 트래이닝 샘플로 이루어진 트래이닝 데이터 세트를 이용하여 감정 유형을 인식하도록 미리 학습된다.
상기 트레이닝 데이터 세트는 복수의 감정 유형 각각으로 서브 세트화될 수도 있다. 예를 들어, 상기 이미지 기반 감정 인식 모델이 상기 감정 유형으로서 기쁨, 불안, 분노, 당황, 아픔(또는 상처), 슬픔, 중립(neutral) 중 어느 하나의 감정을 인식하도록, 상기 트래이닝 데이터 세트는 상기 7개의 감정 유형으로 서브 세트화되는, 복수의 트래이닝 샘플로 이루어진다.
각각의 트래이닝 샘플은 트래이닝 데이터 및 레이블 데이터를 가진다. 상기 트래이닝 데이터는 샘플 얼굴 이미지와 같은 샘플 이모티콘 객체 이미지일 수도 있다. 상기 레이블 데이터는 샘플 이모티콘 객체 이미지에 나타난 샘플 이모티콘 객체가 갖고 있는 감정 유형을 가리킨다. 상기 레이블 데이터는 트래이닝 데이터 세트의 서브 세트를 정의하는 복수의 감정 유형 중 어느 하나를 가리키는 값으로 표현된다.
상기 이미지 기반 감정 인식 모델은 트래이닝 데이터 세트의 트래이닝 데이터를 입력하여 산출된 출력 값(즉, 예측된 감정 유형)과 입력된 트래이닝 데이터에 대응한 레이블 데이터(즉, 실제 감정 유형) 간의 오차를 최소화하도록 학습된다. 학습이 진행되어 보다 많은 트래이닝 데이터가 입력될수록 오차가 점차 감소하도록 상기 이미지 기반 감정 인식 모델 내 모델 파라미터(예컨대, 가중치, 바이어스 등)의 값이 업데이트된다. 학습이 완료된 모델 파라미터는 오차가 최소화되는 값을 가질 수도 있다.
다양한 실시 예들에서, 상기 이미지 기반 감정 인식 모델의 학습은 서버(130) 또는 전자 장치(110)에서 수행될 수도 있다. 서버(130)에서 수행될 경우, 전자 장치(110)는 학습 완료된 이미지 기반 감정 인식 모델을 수신하여 창작 이모티콘의 생성에 이용할 수도 있다.
이와 같이 학습된 이미지 기반 감정 인식 모델에 관심영역 이미지를 입력하여 제1 사용자(100_1)가 갖는 것으로 예측되는 감정 유형 값이 산출되면, 제1 전자 장치(110_1)는 마켓 사이트를 통해 예측된 감정 유형에 연관된 배경 스티커 그룹을 표시할 수도 있다. 예를 들어, 촬영 이미지로부터 예측된 감정 유형이 "기쁨"일 경우, 마켓 사이트에서 "기쁨"에 대해 미리 연관된 배경 스티커(들)이 배열된 추천 목록을 제공할 수도 있다.
제1 전자 장치(110_1)는 상기 추천 목록 중 특정 배경 스티커를 선택하여 선택된 배경 스티커에 대한 구매 진행을 서버(130)로 요청할 수도 있다. 구매 진행이 완료되면 제1 전자 장치(110_1)는 배경 스티커 데이터를 수신할 수도 있다. 상기 배경 스티커는 배경 스티커 이미지를 구현하는 데이터이다. 다양한 실시 예들에서, 상기 배경 스티커 데이터는 배경 스티커를 표시하는 2차원 이미지 데이터 및/또는 또는 배경 스티커를 2차원으로 랜더링하기 위한 파라미터의 세트를 포함할 수도 있다.
상기 배경 스티커의 파라미터의 세트는 배경 스티커의 프레임 크기, 배경 스티커를 구성하는 배경 구성요소(예컨대, 배경 텍스트, 배경 객체)의 크기, 프레임 상에서의 위치, 색상, 배경 스티커에 연관된 감정 유형, 배경 스티커를 구현하기 위한 기타 파라미터를 포함한다.
상기 배경 스티커가 시퀀스 이미지일 경우, 상기 배경 스티커의 파라미터는 출력 순서와 같은 시퀀스 데이터를 시퀀스 파라미터로서 더 포함할 수도 있다.
상기 단계(S450)에서 상기 제1 전자 장치(110_1)는 단계(S410)에서 획득된 제1 사용자(100_1)의 촬영 이미지의 적어도 일부 영역으로 선택된 이모티콘 객체 이미지 및 단계(S430)에서 구매한 제1 사용자(100_1)의 배경 스티커를 결합하여 창작 이모티콘을 생성한다.
도 6은, 본 출원의 다양한 실시 예들에 따른, 창작 이모티콘의 구조를 도시한다.
도 6을 참조하면, 상기 창작 이모티콘은 제1 레이어(51), 및 제2 레이어(52)로 이루어진다. 상기 제2 레이어(52)는 제1 레이어(51) 상에서 배치된다.
상기 단계(S450)는, 상기 이모티콘 객체 데이터를 이용하여 상기 제1 레이어에서 이모티콘 객체 이미지를 구현하는 단계; 및 상기 배경 스티커 데이터를 이용하여 상기 제2 레이어에서 배경 스티커 이미지를 구현하는 단계를 포함한다.
상기 제1 전자 장치(110_1)는 상기 이모티콘 객체 데이터를 이용하여 상기 제1 레이어(51)에서 이모티콘 객체 이미지를 구현할 수도 있다. 상기 제1 전자 장치(110_1)는 이모티콘 객체 데이터가 2차원 이미지 데이터를 포함할 경우 2차원 이미지가 제1 레이어(51)에서 표시되게 한다. 상기 제1 전자 장치(110_1)는 이모티콘 객체 데이터가 상기 이모티콘 객체의 파라미터 세트일 경우, 상기 파라미터 세트에 기초하여 이모티콘 객체의 2차원 이미지가 제1 레이어(51)에서 랜더링되게 한다.
상기 제1 전자 장치(110_1)는 상기 배경 스티커 데이터를 이용하여 상기 제2 레이어(52)에서 배경 스티커 이미지를 구현할 수도 있다. 상기 제1 전자 장치(110_1)는 배경 스티커 데이터가 2차원 이미지 데이터를 포함할 경우 배경 스티커의 2차원 이미지가 제2 레이어(52)에서 표시되게 한다. 상기 제1 전자 장치(110_1)는 배경 스티커 데이터가 상기 배경 스티커의 파라미터 세트일 경우, 상기 파라미터 세트에 기초하여 배경 스티커의 2차원 이미지가 제2 레이어(52)에서 랜더링되게 한다.
또한, 상기 제1 전자 장치(110_1)는 배경 스티커의 프레임 크기와 이모티콘 객체 이미지의 프레임 크기가 서로 일치하지 않는 경우, 이모티콘 객체 이미지의 프레임 크기와 일치하도록 배경 스티커의 프레임 크기를 조절한다. 이 경우, 상기 단계(S450)는, 배경 스티커의 프레임 크기와 이모티콘 객체 이미지의 프레임 크기가 서로 일치하지 않는 경우, 구매된 배경 스티커의 프레임 크기와 상기 이모티콘 객체 부분을 포함한 이모티콘 객체 이미지의 프레임 크기가 서로 일치하도록 구매된 배경 스티커 또는 이모티콘 객체 이미지의 프레임 크기를 나머지 프레임 크기로 조절하는 단계; 상기 이모티콘 객체 데이터를 이용하여 상기 제1 레이어에서 이모티콘 객체 이미지를 구현하는 단계 - 상기 이모티콘 객체 이미지의 프레임 크기가 조절될 경우 상기 이모티콘 객체 데이터는 조절된 프레임 크기를 포함함; 및 상기 배경 스티커 데이터를 이용하여 상기 제2 레이어에서 배경 스티커 이미지를 구현하는 단계 - 상기 배경 스티커의 프레임 크기가 조절될 경우 상기 배경 스티커 데이터는 조절된 프레임 크기를 포함함 - 를 포함한다.
예를 들어, 배경 스티커가 상기 촬영 이미지 중 적어도 일부 영역의 프레임 크기와 일치한 프레임 크기를 갖도록 상기 배경 스티커 데이터를 조절될 수도 있다. 그러면, 상기 제1 전자 장치(110_1)는 상기 이모티콘 객체 데이터를 이용하여 상기 제1 레이어에서 이모티콘 객체 이미지를 구현하고, 그리고 프레임 크기가 조절된 값을 갖는 배경 스티커 데이터를 이용하여 상기 제2 레이어에서 배경 스티커 이미지를 구현한다.
여기서 프레임 크기의 조절은 촬영 이미지에 표현된 이모티콘 객체 부분(예컨대, 촬영된 얼굴 부분)과 구매된 배경 스티커가 보다 조화롭게 결합된 창작 이모티콘을 생성하기 위해, 배경 스티커에 포함된 배경 시각 요소(예컨대, 배경 객체 또는 배경 텍스트) 또는 이모티콘 객체 이미지에 포함된 이모티콘 객체의 크기 또는 위치를 조절하는 것을 포함한다. 여기서, 보다 조화롭게 결합되는 것은 조절 동작 전/후로 이모티콘 객체 부분의 크기와 배경 스티커 내 배경 객체 간의 비율 차이가 상대적으로 감소하는 것 및 이모티콘 객체 부분과 배경 스티커 간의 중첩 부분이 상대적으로 감소하는 것 중 적어도 하나의 효과가 나타남으로써, 결합된 창작 이모티콘 내에서 이모티콘 객체 부분과 배경 스티커 간 결합 관계에서 비율 부조화에 따른 이질감이 상대적으로 감소하는 것을 의미한다.
일 실시 예에서, 상기 구매된 배경 스티커 또는 이모티콘 객체 이미지의 프레임 크기를 나머지 프레임 크기로 조절하는 단계는, 이모티콘 객체 이미지의 프레임 크기가 조절된 경우 조절 전의 이모티콘 객체 이미지의 프레임 크기와 조절 후의 이모티콘 객체 이미지의 프레임 크기의 비율 변화에 기초하여 이모티콘 객체 부분의 크기를 조절하는 단계; 배경 스티커의 프레임 크기가 조절된 경우 조절 전의 배경 스티커의 프레임 크기와 조절 후의 배경 스티커의 프레임 크기의 비율 변화에 기초하여 배경 객체의 크기를 조절하는 단계;를 포함할 수도 있다.
또한, 상기 제1 전자 장치(110_1)는, 상기 배경 스티커 데이터 및 이모티콘 객체 데이터에 기초하여 상기 전자 장치의 창작 이모티콘 데이터를 생성하기 위해, 상기 배경 객체의 크기 또는 이모티콘 객체 부분의 크기를 조절한 이후에, 이모티콘 객체 부분에서 배경 객체에 커버되지 않고 노출된 부분의 면적을 산출하여 상기 이모티콘 객체 부분의 전체 면적과 상기 노출된 부분의 면적에 기초하여 노출된 부분의 비율을 산출하고, 상기 노출된 부분의 비율이 미리 설정된 임계 노출 비율 미만일 경우 상기 임계 노출 비율 이상의 면적이 노출되도록 상기 이모티콘 객체 부분의 크기를 더 축소하거나 상기 이모티콘 객체 부분의 위치를 이동하도록 더 구성될 수도 있다. 이를 통해 이모티콘 객체 부분이 지나치게 배경 객체에 의해 커버되어 표시되지 않는 것을 방지할 수 있다.
일부 실시 예들에서, 상기 제1 전자 장치(110_1)는 이모티콘 객체 부분의 추가 축소를 제한하는 최소 크기를 저장할 수도 있다. 이모티콘 객체가 너무 축소되면 사용자(100)가 이모티콘 객체를 인식하는데 제한이 있다. 이 경우, 상기 임계 노출 비율 이상의 면적이 노출되도록 상기 이모티콘 객체 부분의 크기를 더 축소하고, 최소 크기까지 이모티콘 객체 부분이 축소되었음에도 노출된 부분의 비율이 여전히 임계 노출 비율 미만일 경우, 창작 이모티콘 이미지에서 이모티콘 객체 부분에 인접한 잔여 공간을 탐색하고 인접한 잔여 공간으로 최소 크기의 이모티콘 객체 부분을 이동하도록 구성될 수도 있다.
제1 전자 장치(110_1)는 창작 이모티콘을 생성하면 창작 이모티콘 데이터를 서버(130)로 전송하여 서버(130) 내 저장 공간에 이미 형성된 제1 사용자(100_1)의 생성보관함 공간에 상기 창작 이모티콘 데이터를 저장한다.
상기 창작 이모티콘 데이터는 창작 이모티콘을 2차원으로 표시하는 2차원 이미지 데이터 및/또는 창작 이모티콘의 파라미터 세트을 포함할 수도 있다.
상기 창작 이모티콘의 파라미터 세트는 이모티콘 객체의 파라미터 세트 및 배경 스티커의 파라미터 세트를 포함한다. 상기 창작 이모티콘의 생성 과정에서 이모티콘 객체, 배경 스티커의 크기, 위치 등이 조절된 경우, 상기 창작 이모티콘의 파라미터 세트는 조절된 이모티콘 객체, 배경 스티커에 대해 변경된 값을 갖는 파라미터 세트를 포함한다.
다양한 실시 예들에서, 상기 제1 사용자(100_1)에게 이모티콘 판매 권한이 부여되면, 제1 전자 장치(110_1)에서 창작 이모티콘의 생성 모드가 활성화된다. 이모티콘 판매 권한이 부여되지 않은 상태에서 창작 이모티콘의 생성 모드는 비활성화되며, 전자 장치(110)는 창작 이모티콘의 생성 모드에 대한 실행 입력을 수신하여도 창작 이모티콘의 생성 모드를 실행하지 않을 수도 있다.
일부 실시 예들에서, 상기 제1 전자 장치(110_1)는 제2 레이어(52) 상에 워터마크(53)를 삽입한 창작 이모티콘을 생성할 수도 있다. 상기 워터마크(53)는 상기 제1 사용자에 연관된 것으로서 상기 제1 사용자를 서술한 텍스트 및 로고 중 적어도 하나로 이루어질 수도 있다. 상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 신원을 나타낸 워터마크 정보를 입력받거나, 미리 저장할 수도 있다.
또한, 일부 실시 예들에서, 상기 콘텐츠 서비스 시스템(1)은 워터마크(53)를 창작 이모티콘에 삽입하는데 일정 포인트의 차감을 요구할 수도 있다. 이를 위해, 상기 단계(S450)는, 상기 제1 전자 장치(110_1)에서 상기 제2 레이어(52) 상에 워터마크(53)를 삽입하기 위해, 상기 제1 사용자의 식별자를 포함한 워터마크 이용 요청을 상기 서버로 전송하는 단계; 상기 서버에서 상기 워터마크 이용 요청을 수신한 경우, 상기 제1 사용자의 포인트 지갑에서 상기 마크에 대해 미리 설정된 포인트 수량을 차감하고 마크 이용 허가를 상기 제1 전자 장치로 전송하는 단계; 및 상기 제1 전자 장치에서 상기 워터마크 이용 허가를 수신한 경우, 상기 워터마크가 삽입된 창작 이모티콘을 생성하기 위해, 상기 제2 레이어 상에 상기 워터마크를 배치하는 단계를 포함할 수도 있다.
또한, 일부 실시 예들에서, 상기 콘텐츠 서비스 시스템(1)은 촬영 이미지의 이모티콘 객체 부분, 즉 제1 사용자의 얼굴 부분을 분석하여 제1 사용자(100_1)가 갖고 있는 것으로 예측된 감정 유형을 상위 감정 파라미터로 설정하고, 촬영 이미지의 이모티콘 객체 부분의 형상에 기초하여 하위 감정 파라미터를 설정하도록 더 구성될 수도 있다.
상기 촬영 이미지의 이모티콘 객체 부분의 형상은 제1 사용자(100_1)의 얼굴 표정 및/또는 제1 사용자(100_1)의 정지 또는 연속 모션의 형상을 포함한다. 상기 제1 전자 장치(110_1) 또는 서버(130)는 정지 또는 연속 모션에 따른 제1 사용자(100_1)의 동작을 인식하도록 구성된다.
일 실시 예에서, 상기 제1 전자 장치(110_1)는 동작 인식 모델 및 2차 감정 인식 모델을 포함할 수도 있다. 상기 동작 인식 모델은 입력 이미지의 객체 움직임과 해당 움직임이 가리키는 동작 간의 상관 관계를 추론하기 위해 입력 이미지의 특징을 추출하여 입력 이미지에 나타난 이모티콘 객체의 동작을 인식하도록 구성된 뉴럴 네트워크 기반 기계학습 모델일 수도 있다. 상기 이미지 기반 감정 인식 모델은, 예를 들어, CNN(Convolutional Neural Networks), 기타 NN에 기반한 모델 구조를 가진다.
다양한 실시 예들에서, 상기 동작 인식 모델은, 입력 시퀀스 이미지의 각 프레임에서 특징을 추출하여 관절 포인트에 대한 데이터를 획득할 수도 있다. 상기 관절 포인트에 대한 데이터는 크기(scale) 값, (예컨대, 관절의 좌표 값과 같은) 위치(translation) 값, (예컨대, 움직임 값과 같은) 회전(rotation) 값으로 표현될 수도 있다. 일부 실시 예들에서, 상기 크기, 위치, 회전 값은 3차원 벡터로 표현될 수도 있다. 다양한 실시 예들에서, 상기 동작의 인식은 동작 유형의 인식일 수도 있다.
상기 동작 인식 모델은 복수의 트래이닝 샘플로 이루어진 트래이닝 데이터 세트를 이용하여 동작 유형을 인식하도록 미리 학습된다. 각각의 트래이닝 샘플은 이모티콘 객체의 연속된 동작이 나타난 샘플 시퀀스 이미지를 트래이닝 데이터로 가지고 해당 동작이 가리키는 동작 유형을 레이블 데이터로 가진다. 상기 트래이닝 데이터 세트는 복수의 동작 유형 각각으로 서브 세트화될 수도 있다. 일부 실시 예들에서, 상기 동작 유형의 레이블 데이터는 해당 동작 유형을 가리키는 참조 동작을 구현한 관절 포인트에 대한 데이터로 이루어질 수도 있다.
상기 동작 인식 모델은 트래이닝 데이터 세트의 트래이닝 데이터를 입력하여 산출된 출력 값(즉, 예측된 동작 유형)과 입력된 트래이닝 데이터에 대응한 레이블 데이터(즉, 실제 동작 유형) 간의 오차를 최소화하도록 학습된다. 학습이 진행되어 보다 많은 트래이닝 데이터가 입력될수록 오차가 점차 감소하도록 상기 동작 인식 모델 내 모델 파라미터(예컨대, 가중치, 바이어스 등)의 값이 업데이트된다. 학습이 완료된 모델 파라미터는 오차가 최소화되는 값을 가질 수도 있다.
다양한 실시 예들에서, 상기 동작 인식 모델의 학습은 서버(130) 또는 전자 장치(110)에서 수행될 수도 있다. 서버(130)에서 수행될 경우, 전자 장치(110)는 학습 완료된 동작 감정 인식 모델을 수신하여 창작 이모티콘의 생성에 이용할 수도 있다.
이와 같이 학습된 동작 인식 모델에 이모티콘 객체 시퀀스 이미지를 입력하여 제1 사용자(100_1)가 취한 것으로 예측되는 동작 유형 값을 획득할 수도 있다.
상기 동작 인식 모델의 동작 유형 값은 2차 감정 인식 모델로 제공된다.
상기 2차 감정 인식 모델은 상기 이미지 기반 감정 인식 모델에서 산출된 감정 유형 값과 상기 동작 인식 모델에서 산출된 동작 유형 값이 입력되면 사용자(100)가 취한 모션과 얼굴 표정 하에서 가지는 것으로 예측되는 2차 감정 유형을 산출하도록 구성된다. 상기 2차 감정 유형은 사용자(100)의 얼굴 표정에 기초하여 분류되는 앞의 7가지 감정 유형과 다르게, 사용자(100)의 얼굴 표정 및 모션에 기초하여 분류 가능한 감정 유형으로서, 보조 감정 유형으로 지칭될 수도 있다.
상기 2차 감정 유형은 앞의 7가지 감정 유형과 서로 다른 값을 갖도록 설정될 수도 있다. 예를 들어, 상기 2차 감정 유형은, 긍정, 부정, 운동, 사랑과 같은 다른 측면의 감정 유형일 수도 있다.
상기 2차 감정 인식 모델은 이미지 기반 감정 인식 모델에서 산출된, 사용자(100)의 얼굴 표정에 기초하여 분류된 7가지 감정 유형 중 어느 하나의 감정 유형 값과 동작 인식 모델에 서산출된 사용자(100)의 동작 유형 값의 조합과 미리 설정된 2차 감정 유형 간의 상관 관계를 추론하기 위해 입력된 상기 조합을 연산 처리하여 해당하는 2차 감정 유형을 예측하도록 구성된 기계학습 모델이다.
상기 2차 감정 인식 모델은 뉴럴 네트워크 구조를 가진다. 상기 뉴럴 네트워크 구조는, 예를 들어 완전 연결 레이어 구조, 또는 MLP(Multi-layer Perceptron) 모델 구조, 또는 기타 NN 구조로 구성될 수도 있다.
상기 2차 감정 인식 모델은 복수의 트래이닝 샘플로 이루어진 트래이닝 데이터 세트를 이용하여 2차 감정 유형을 인식하도록 미리 학습된다.
상기 트레이닝 데이터 세트는 2차 감정 유형 각각으로 서브 세트화될 수도 있다. 예를 들어, 상기 2차 감정 인식 모델이 상기 2차 감정 유형으로서, 긍정, 부정, 운동, 사랑 중 어느 하나의 감정을 인식하도록, 상기 트래이닝 데이터 세트는 상기 4개의 감정 유형으로 서브 세트화되는, 복수의 트래이닝 샘플로 이루어진다.
각각의 트래이닝 샘플은 트래이닝 데이터 및 레이블 데이터를 가진다. 상기 트래이닝 데이터는 샘플 촬영 이미지로부터 산출된 샘플 감정 유형 및 샘플 동작 유형 값일 수도 있다. 상기 레이블 데이터는 샘플 이모티콘 객체 이미지에 나타난 샘플 이모티콘 객체가 갖고 있는 2차 감정 유형을 가리킨다. 상기 레이블 데이터는 트래이닝 데이터 세트의 서브 세트를 정의하는 복수의 2차 감정 유형 중 어느 하나를 가리키는 값으로 표현된다.
상기 2차 감정 인식 모델의 학습 과정은 전술한 이미지 기반 감정 인식 모델의 학습 과정과 유사하므로, 자세한 설명은 생략한다.
상기 2차 감정 인식 모델을 이용하여 상기 제1 전자 장치(110_1)는 이모티콘 객체에 대한 2차 감정 유형 값을 획득할 수 있다. 그러면, 상기 제1 전자 장치(110_1)는 상기 2차 감정 유형 값을 포함한 이모티콘 객체의 파라미터를 생성할 수 있다. 이와 같이 시스템(1)은 7가지 감정 이외의 다양한 감정을 이모티콘 객체에 연관된 속성으로 추출할 수 있다.
창작 이모티콘 저장
이렇게 생성된 창작 이모티콘 데이터는 서버(130)로 전송되어 제1 사용자(100_1)의 생성보관함 공간에 저장된다. 상기 생성보관함 공간은 제1 사용자(100_1)에게 이모티콘 판매 권한을 부여하면서 이미 생성된 것이다.
도 7은, 본 출원의 다양한 실시 예들에 따른, 생성보관함 공간의 위치로 접근하기 위한 전자 장치의 화면을 도시한다.
도 7을 참조하면, 제1 전자 장치(110_1)는 생성보관함 공간을 가리키는 아이콘(60)을 선택하여 제1 사용자(100_1)의 생성보관함 공간에 저장된 창작 이모티콘을 확인할 수도 있다.
일부 실시 예들에서, 상기 제1 전자 장치(110_1)는 창작 이모티콘 데이터를 제1 전자 장치(110_1) 내 저장 공간에 저장할 수도 있다.
상기 제1 전자 장치(110_1)는 제1 전자 장치(110_1) 내 저장 공간에서 상기 서버(130) 내 제1 사용자(100_1)의 생성보관함 공간과 연동된 제1 저장 공간을 형성하여 상기 제1 저장 공간에 창작 이모티콘 데이터를 저장하거나, 및/또는 하나 이상의 제2 저장 공간에 창작 이모티콘 데이터를 저장할 수도 있다.
제1 저장 공간이 형성된 뒤에 제1 전자 장치(110_1)에서 창작 이모티콘이 생성된 뒤에 보관함에 저장하는 사용자 입력이 입력되면 상기 제1 사용자(100_1)의 보관함에 해당 창작 이모티콘 데이터가 저장되며, 이어서 상기 제1 사용자(100_1)의 보관함에 저장되는 것에 반응하여 제1 전자 장치(110_1) 내 제1 저장 공간에 해당 창작 이모티콘 데이터가 저장된다.
도 8은, 본 출원의 다양한 실시 예들에 따른, 제2 저장 공간에 저장된 창작 이모티콘을 전송하기 위한 메신저 어플리케이션을 선택하는 화면을 도시하고, 도 9는, 도 8에서 선택된 메신저 어플리케이션을 통해 저장된 창작 이모티콘을 전송하는 화면을 도시한다.
또한, 상기 제1 전자 장치(110_1)는 제1 전자 장치(110_1) 의 저장 공간에 형성된 하나 이상의 제2 저장 공간에 상기 창작 이모티콘 데이터를 저장할 수도 있다. 각(each) 제2 저장 공간은 해당 메신저 어플리케이션(70)의 이모티콘을 저장하는 메신저 저장 공간으로서, 상기 하나 이상의 제2 저장 공간은 해당 메신저 어플리케이션(70)을 상기 전자 장치에 설치할 때 형성되는 해당 어플리케이션(70)을 위한 전용 저장 공간이다.
상기 제2 저장 공간에는 메신저 어플리케이션(70)의 이모티콘이 저장된다. 상기 복수의 제2 저장 공간은 상기 제1 전자 장치(110_1) 내 제1 저장 공간과 상이한 위치에 형성된다. 상기 제1 전자 장치(110_1)는 제1 저장 공간에 창작 이모티콘을 저장하는 것에 반응하여 복수의 제2 저장 공간 각각에 상기 창작 이모티콘을 저장할 수도 있다. 일부 실시 예들에서, 상기 제2 저장 공간에 창작 이모티콘을 저장하는 것은 상기 창작 이모티콘이 저장된 제1 저장 공간의 위치일 수도 있다. 그 결과, 창작 이모티콘을 이용 가능한 어플리케이션의 범위를 확장하면서도 저장 용량을 최소화할 수 있다.
도 8에 도시된 것처럼, 상기 복수의 제2 저장 공간에 대응한 복수의 메신저 어플리케이션(70)은 서버(130)의 운영자가 운영하는 자체 메신저 어플리케이션 및/또는 서버(130)의 운영자가 운영하지 않는 제3자의 메신저 어플리케이션을 포함할 수도 있다. 상기 제1 전자 장치(110_1)가 제2 저장 공간에 상기 창작 이모티콘 데이터를 저장할 경우, 저장된 창작 이모티콘을 이용하여 도 9에 도시된 것처럼 메신저 이모티콘으로 메시지 전송자의 감정을 전달할 수 있다.
상기 제2 저장 공간에 창작 이모티콘이 저장된 제1 저장 공간의 위치가 저장될 경우, 제1 전자 장치(110_1)는 제1 저장 공간의 위치를 통해 제1 저장 공간에 저장된 창작 이모티콘을 획득하여 도 9의 미리보기 화면을 제공하거나 선택된 창작 이모티콘을 전송한다.
일부 실시 예들에서, 상기 제1 전자 장치(110_1)는 다른 전자 장치(110)로 창작 이모티콘을 전송할 때, 창작 이모티콘의 이미지를 전송하는 대신 전송 대상의 창작 이모티콘의 파라미터 세트를 전송할 수도 있다.
상기 파라미터 세트를 수신한 다른 전자 장치(110)는 상기 파라미터 세트를 이용하여 창작 이모티콘을 생성할 수 있다. 그러면, 이미지 형식의 창작 이모티콘을 전송할 때 보다 이모티콘 송/수신에 소요되는 시간을 최소화할 수 있다.
또한, 일부 실시 예들에서, 상기 제1 저장 공간 또는 제2 저장 공간에는 창작 이모티콘 이미지 데이터가 저장되거나, 또는 창작 이모티콘 이미지 및 창작 이모티콘의 파라미터 세트를 저장하고, 서버(130) 내 제1 사용자(100_1)의 저장 공간에는 창작 이모티콘의 파라미터 세트를 저장하도록 상기 창작 이모티콘의 파라미터 세트를 서버(130)로 전송할 수도 있다. 창작 이모티콘의 파라미터 세트의 데이터 용량이 창작 이모티콘 이미지의 데이터 용량 보다 상대적으로 적다. 그 결과, 제1 전자 장치(110_1)로부터 서버(130)로 창작 이모티콘의 생성 결과를 전송하는 것의 속도 및 성공 확률을 증가시키고, 나아가 서버(130)의 저장 공간을 최소화하면서, 동시에 창작 이모티콘의 원본 이미지는 제1 전자 장치(110_1)에 보관할 수 있다.
또한, 상기 제1 전자 장치(110_1)는 상기 제1 전자 장치(110_1)에서 상기 제1 사용자의 보관함에서 삭제할 창작 이모티콘을 선택하고 선택한 창작 이모티콘에 대한 삭제 요청을 서버(130)로 전송할 수도 있다. 서버(130)에서 상기 창작 이모티콘 데이터를 상기 제1 사용자의 보관함에서 삭제하고 삭제 알림을 상기 제1 전자 장치(110_1)로 전송한다. 제1 전자 장치(110_1)는 삭제 알림을 수신할 경우 상기 제1 사용자의 보관함에서의 삭제에 반응하여, 하나 이상의 제2 저장 공간에서 상기 창작 이모티콘 데이터를 삭제할 수도 있다.
이와 같이 제1 전자 장치(110_1)는 창작 이모티콘 생성을 위한 애플리케이션을 통해 메시지 연동 유무를 확인할 수 있어, 다수의 메신저 어플리케이션(70) 각각에서 직접 이모티콘을 관리하는 사용자 불편이 해소된다.
창작 이모티콘의 상품 등록 및 거래
상기 제1 사용자(100_1)는 제1 전자 장치(110_1)를 통해 마켓 사이트에 자신이 생성한 창작 이모티콘을 판매 상품으로 등록할 수도 있다. 생성된 제1 사용자(100_1)의 창작 이모티콘은 상기 마켓 사이트의 판매 상품 목록에 추가 등록될 수도 있다.
이를 위해, 제1 전자 장치(110_1)는 상기 제1 사용자(100_1)의 창작 이모티콘 데이터를 포함한 상품 등록 요청을 상기 서버(130)로 전송한다.
도 10은, 본 출원의 다양한 실시 예들에 따른, 상품 등록 요청을 위한 화면을 도시하고, 도 11은, 도 10의 상품 등록 요청에 따른 등록 결과를 나타낸 화면을 도시한다.
도 10을 참조하면, 상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 생성보관함 공간에 저장된 창작 이모티콘 중 신규 상품으로 등록하고자 하는 창작 이모티콘을 선택하여 생성된 상기 제1 사용자(100_1)의 창작 이모티콘 데이터를 포함한 상품 등록 요청을 생성하고 상기 상품 등록 요청을 서버(130)로 전송한다.
마켓 관리 모듈(133)은 상기 상품 등록 요청을 수신하면, 수신된 상기 제1 사용자의 창작 이모티콘 데이터를 이용하여 상기 마켓 사이트의 판매 상품 목록에 상기 제1 사용자의 창작 이모티콘을 추가할 수도 있다.
본 출원의 다양한 실시 예들에서, 상기 마켓 관리 모듈(133)은 상품 등록 요청된 창작 이모티콘이 미리 설정된 등록 기준을 만족할 경우, 상기 제1 사용자(100_1)의 창작 이모티콘 데이터를 이용하여 상기 마켓 사이트의 판매 상품 목록에 상기 제1 사용자(100_1)의 창작 이모티콘을 추가할 수도 있다.
상기 등록 기준은 상기 창작 이모티콘의 이모티콘 객체가 상기 판매 범위 정보에 속하는지 여부, 및/또는 획득된 이모티콘 객체 데이터에 기초하여 상기 창작 이모티콘의 이모티콘 객체가 미리 저장된 필터 목록의 필터 상품에 대응하는지 여부를 포함한다.
마켓 관리 모듈(133)은 상기 상품 등록 요청 내 창작 이모티콘 데이터로부터 이모티콘 객체의 유형(예컨대, 사람, 동물 등)과 같은 이모티콘 객체 관련 정보를 획득한다.
상기 마켓 관리 모듈(133)은 판매 범위 정보에 포함되어 미리 획득된 이모티콘 객체의 유형 정보와 상품 등록 요청을 통해 획득된 이모티콘 객체의 유형이 일치할 경우 상기 창작 이모티콘의 이모티콘 객체가 상기 판매 범위 정보에 속하는 것으로 결정한다. 상기 마켓 관리 모듈(133)은 판매 범위 정보에 포함되어 미리 획득된 이모티콘 객체의 유형 정보와 상품 등록 요청을 통해 획득된 이모티콘 객체의 유형이 일치하지 않는 경우 상기 창작 이모티콘의 이모티콘 객체가 상기 판매 범위 정보에 속하지 않는 것으로 결정한다.
또한, 상기 마켓 관리 모듈(133)은 상기 창작 이모티콘의 이모티콘 객체가 미리 저장된 필터 목록에서 검색되지 않는 지 확인한다. 이모티콘 객체가 미리 저장된 필터 목록에서 검색되는 경우 상기 창작 이모티콘의 이모티콘 객체가 미리 저장된 필터 목록의 필터 상품에 대응하는 것으로 결정한다. 이모티콘 객체가 미리 저장된 필터 목록에서 검색되지 않는 경우 상기 창작 이모티콘의 이모티콘 객체가 미리 저장된 필터 목록의 필터 상품에 대응하지 않는 것으로 결정한다. 상기 필터 목록은 허가 거절 이모티콘 객체를 기록한 목록으로서, 불승인 이모티콘 객체의 목록일 수도 있다. 일부 실시 예들에서, 상기 필터 목록에 포함된 필터 이모티콘 객체는 저작권 이슈를 갖는 이모티콘 객체로서, 예를 들어 미리 지정된 캐릭터(들) 및 그림(들)을 포함한다.
상기 창작 이모티콘의 이모티콘 객체가 상기 판매 범위 정보에 속하는 것으로 결정되고 및/또는 상기 창작 이모티콘의 이모티콘 객체가 미리 저장된 필터 목록의 필터 상품에 대응하지 않는 것으로 결정된 경우, 마켓 관리 모듈(133)은 상기 제1 사용자의 창작 이모티콘을 상기 판매 상품 목록에 추가할 수도 있다.
또한 일부 실시 예들에서, 상기 제1 전자 장치(110_1)는 창작 이모티콘 데이터를 전자 서명 처리하여 상품 등록 요청을 생성할 수도 있다. 상기 마켓 관리 모듈(133)은 상기 판매 권한자 목록 내 상기 제1 사용자의 공개 키를 이용하여 상품 등록 요청 내 창작 이모티콘 데이터의 전자 서명의 유효성을 검증할 수도 있다. 전자 서명의 유효성이 검증된 경우에 마켓 관리 모듈(133)은 상기 제1 사용자의 창작 이모티콘을 상기 판매 상품 목록에 추가할 수도 있다.
그러면, 도 11에 도시된 것처럼, 마켓 사이트에 단계(S450)에서 생성된 창작 이모티콘이 신규 상품으로 노출된다.
제2 사용자(100_2)와 같은 다른 사용자(100)는 마켓 사이트를 통해 제1 사용자(100_1)의 창작 이모티콘에 대해 구매 비용을 지불하여 창작 이모티콘을 구매할 수도 있다. 제2 사용자(100_2)가 제1 사용자(100_1)의 창작 이모티콘을 구매 완료하면, 서버(130)에 형성된 제2 사용자(100_2)의 구매보관함 공간에 제1 사용자(100_1)의 창작 이모티콘 데이터를 저장한다.
일부 실시 예들에서, 상기 제2 사용자(100_2)의 제2 전자 장치(110_2)는 구매한 창작 이모티콘 데이터를 제2 전자 장치(110_2) 내 저장 공간에 저장할 수도 있다. 또한, 일부 실시 예들에서, 상기 제2 전자 장치(110_2)는 제2 전자 장치(110_2) 내 저장 공간에서 상기 서버(130) 내 제2 사용자(100_2)의 구매보관함 공간과 연동된 제3 저장 공간을 형성하여 상기 3 저장 공간에 창작 이모티콘 데이터를 저장하거나, 및/또는 하나 이상의 제4 저장 공간에 창작 이모티콘 데이터를 저장할 수도 있다. 상기 제3 저장 공간은 도 8을 참조하여 서술한 제1 저장 공간에 대응하고, 상기 제4 저장 공간은 제2 저장 공간에 대응한다. 제4 저장 공간은 해당 메신저 어플리케이션(70)의 이모티콘을 저장하는 메신저 저장 공간으로서, 상기 하나 이상의 제4 저장 공간은 해당 메신저 어플리케이션(70)을 상기 전자 장치에 설치할 때 형성되는 해당 어플리케이션(70)을 위한 전용 저장 공간이다. 상기 복수의 제4 저장 공간은 상기 제2 전자 장치(110_2) 내 제3 저장 공간과 상이한 위치에 형성된다.
제1 사용자(100_1)의 창작 이모티콘을 구매하면, 제2 전자 장치(110_2)는 구매한 창작 이모티콘을 메신저 어플리케이션을 통해 전송할 수도 있다.
또한 마켓 관리 모듈(133)은 제1 사용자(100_1)의 판매 내역, 제2 사용자(100_2)의 구매 내역 데이터를 생성하고, 그에 따른 정산 동작을 수행할 수도 있다. 제2 사용자(100_2)의 구매로 인해, 제1 사용자(100_1)는 실물 화폐(예컨대 현금) 또는 포인트를 획득한다.
투표 이벤트
사용자(100)는 콘텐츠 서비스 시스템(1)에서 다양한 활동을 하여 포인트를 획득할 수도 있다. 상기 활동은 투표 이벤트에 참여하는 것일 수도 있다.
서버(130)는 이벤트 관리 모듈(137)에 의해 투표 이벤트를 생성하고 해당 투표 이벤트의 투표 내역을 관리하며, 포인트 관리 모듈(135)에 의해 투표 참여 및 결과에 따른 포인트를 지급할 수 있다.
도 12는, 본 출원의 다양한 실시 예들에 따른, 투표 이벤트 진행 과정의 흐름도이다.
도 12를 참조하면, 상기 투표 이벤트 진행 과정은, 이벤트 관리 모듈(137)에 의해, 투표 이벤트를 생성하는 단계(S1210)를 포함한다. 상기 투표 이벤트는 투표 기간 동안 투표 대상에 대해 투표한 참여자의 수를 업데이트하도록 구현된다. 상기 투표 이벤트는 투표 이벤트 관련 정보의 그룹을 가진다.
상기 단계(S1210)에서 이벤트 관리 모듈(137)은 상기 상품 판매 목록에 포함된 창작 이모티콘 중 적어도 일부의 창작 이모티콘으로 이루어진 투표 그룹을 형성하고 상기 투표 그룹에 포함된 각각의 창작 이모티콘의 인기도를 카운팅하는 투표 이벤트를 생성할 수도 있다. 이를 위해 서버(130)는 관리자(100_3)의 전자 장치(110)를 통해 투표 기간, 복수의 창작 이모티콘 관련 정보, 기타 투표 내용을 입력하여 상기 투표 이벤트를 생성할 수도 있다.
투표 이벤트에 대한 특정 투표 그룹 내 서로 다른 이모티콘 객체는 투표 대상 후보이다. 사람(A) 단독의 이모티콘 객체와 사람(A)을 포함한 단체의 이모티콘 객체는 서로 다른 투표 대상 후보로 취급된다.
또한, 도 12의 투표 이벤트 진행 과정은, 투표 기간 동안 상기 투표 그룹 내 창작 이모티콘을 선택한 제2 사용자(100_2)의 수에 기초하여 상기 투표 그룹 내 각각의 창작 이모티콘의 득표 수를 결정하는 단계(S1220); 상기 득표 수에 따라 투표 순위를 결정하고 상기 득표 수, 투표 순위 및 상기 투표 이벤트에 참여한 사용자(100)를 기록한 상기 투표 이벤트의 투표 내역을 생성하는 단계(S1230)를 포함한다.
도 13은, 본 출원의 다양한 실시 예들에 따른, 투표 화면을 도시한다.
도 13을 참조하면, 이벤트 관리 모듈(137)은 상기 투표 이벤트의 생성 이후에 투표 참여를 유도하기 위해, 투표 화면 데이터를 상기 제2 전자 장치(110_2)로 전송하고 상기 제2 전자 장치(110_2)는 투표 이벤트의 투표 화면을 표시한다. 상기 단계(S120)에서 투표 이벤트를 생성하면, 상기 투표 화면 데이터를 제공할 수도 있다.
상기 투표 화면은 도 13에 도시된 것처럼 투표 그룹에 포함된 투표 대상의 창작 이모티콘을 배열하고 배열된 투표 대상의 창작 이모티콘 중 투표하길 원하는 어느 창작 이모티콘을 선택하도록 구성된다. 투표 그룹의 배열 목록은 창작 이모티콘 이미지, 창작 이모티콘의 이모티콘 객체 정보(예컨대, 도 13의 성명 ###)을 포함할 수도 있다.
상기 단계(S1220)에서 제2 전자 장치(110_2)는 선택에 따른 투표 참여 요청을 생성하고 서버(130)로 전송한다. 그러면, 이벤트 관리 모듈(137)은 투표 참여 요청에 기초하여 선택된 창작 이모티콘의 득표 수를 해당 창작 이모티콘을 선택 투표한 제2 사용자(100_2)의 수만큼 업데이트하고 투표한 제2 사용자(100_2)를 투표 참여자 목록에 업데이트한다. 이벤트 관리 모듈(137)은 투표 기간이 도과되면, 각각의 창작 이모티콘의 득표 수를 카운팅하여 투표 순위를 결정한다.
본 출원의 다양한 실시 예들에서, 상기 이벤트 관리 모듈(137)은 투표 그룹 내 창작 이모티콘의 선택와 더불어, 선택한 투표 대상의 창작 이모티콘의 구매 내역 및/또는 투표 메시지의 입력에 더 기초하여 선택된 창작 이모티콘의 득표 수를 업데이트하도록 구성될 수도 있다. 상기 이벤트 관리 모듈(137)은 창작 이모티콘의 선택, 창작 이모티콘의 구매 내역, 투표 관련 메시지의 입력을 포함한 카운팅 조건을 만족한 제2 사용자(100_2)를 투표 참여자로 인정한다.
구체적으로, 상기 이벤트 관리 모듈(137)은, 상기 투표 참여 요청을 수신한 상기 제2 사용자의 구매 내역에서 상기 투표 참여 요청 내 투표 대상의 특정 창작 이모티콘을 구매했는지 여부를 확인하고, 그리고 상기 제2 사용자가 상기 투표 대상의 특정 창작 이모티콘을 구매한 것이 확인된 상기 제2 사용자의 투표 참여 요청에 따라서 상기 특정 창작 이모티콘의 득표 수를 업데이트할 수도 있다.
도 14는, 본 출원의 다양한 실시 예들에 따른, 투표 메시지 화면을 도시한다.
도 14를 참조하면, 상기 이벤트 관리 모듈(137)은 제2 사용자(100_2)의 투표 관련 메시지를 입력하고 입력된 참여자의 투표 관련 메시지를 배열한 투표 메시지 화면을 제공할 수도 있다. 상기 투표 관련 메시지는 창작 이모티콘 및/또는 텍스트를 메시지 내용으로 가질 수도 있다. 투표 관련 메시지를 입력한 참여자는 상기 투표 이벤트에 참여한 모든 제2 사용자(100_2) 중 적어도 일부일 수도 있다.
상기 이벤트 관리 모듈(137)은 상기 투표 메시지 화면이 제2 전자 장치(110_2)에서 표시되도록 투표 메시지 화면 데이터를 생성하고 제2 전자 장치(110_2)로 전송할 수도 있다. 제2 전자 장치(110_2)는 상기 투표 메시지 화면을 표시하여 입력 창에 입력된 제2 사용자(100_2)의 투표 관련 메시지를 서버(130)로 전송할 수도 있다. 이벤트 관리 모듈(137)은 수신한 투표 관련 메시지를 상기 투표 메시지 화면에 추가로 표시되도록 상기 투표 메시지 화면을 표시하는 전자 장치(110)로 전송할 수도 있다.
상기 이벤트 관리 모듈(137)은 투표 메시지 화면에 표시되는 투표 관련 메시지에 기초하여 창작 이모티콘의 득표 수를 업데이트할 수도 있다. 구체적으로, 상기 이벤트 관리 모듈(137)은 상기 제2 전자 장치로부터 상기 투표 참여 요청을 수신한 경우 상기 투표 메시지 화면에 배열된 투표 관련 메시지 중에서 상기 투표 참여 요청을 전송한 상기 제2 사용자의 투표 관련 메시지를 검색한다. 상기 제2 사용자(100_2)의 투표 관련 메시지가 입력되었으면, 상기 투표 메시지 화면에서 검색된다. 그러면, 투표 관련 메시지가 검색된 제2 사용자(100_2)의 투표 참여 요청에 따라서 선택된 창작 이모티콘의 득표 수가 업데이트된다. 즉, 투표 참여자가 투표 대상의 창작 이모티콘을 이용하여야만 득표 수에 반영된다.
일부 실시 예들에서, 상기 이벤트 관리 모듈(137)은 제2 사용자(100_2)가 상기 투표 관련 메시지에 포함된 창작 이모티콘에 표시되는 이모티콘 객체와 정체성은 동일하지만 포즈가 다른 이모티콘 객체에 기초한 창작 이모티콘을 이용하는 경우에도 득표 수에 반영하도록 더 구성될 수도 있다. 구체적으로, 상기 이벤트 관리 모듈(137)은 검색된 메시지 중에서 상기 투표 대상의 창작 이모티콘과 동일한 창작 이모티콘을 포함하거나 또는 상기 투표 대상의 창작 이모티콘 내 이모티콘 객체와 동일한 이모티콘 객체에 기초한 다른 창작 이모티콘을 포함하는지 확인하고, 그리고 검색된 메시지 중에서 상기 투표 대상의 창작 이모티콘과 동일한 창작 이모티콘을 포함하거나 또는 상기 투표 대상의 창작 이모티콘 내 이모티콘 객체와 동일한 이모티콘 객체에 기초한 다른 창작 이모티콘을 포함하는 것으로 확인된 제2 사용자의 투표 참여 요청에 따라서 상기 특정 창작 이모티콘의 득표 수를 업데이트할 수도 있다.
상기 이벤트 관리 모듈(137)은, 상기 검색된 메시지 중에서 상기 투표 대상의 창작 이모티콘과 동일한 창작 이모티콘을 포함하거나 또는 상기 투표 대상의 창작 이모티콘 내 이모티콘 객체와 동일한 이모티콘 객체에 기초한 다른 창작 이모티콘을 포함하는지 확인하기 위해, 상기 투표 그룹에서 상기 투표 참여 요청에 포함된 투표 대상의 창작 이모티콘 데이터 내 이모티콘 객체 데이터를 검출하고, 상기 투표 대상의 창작 이모티콘 데이터 내 이모티콘 객체 데이터에서 이모티콘 객체 식별자를 검출하며, 검색된 메시지의 창작 이모티콘 데이터 내 이모티콘 객체 데이터를 검출하고, 상기 검색된 메시지의 창작 이모티콘 데이터 내 이모티콘 객체 데이터에서 이모티콘 객체 식별자를 검출하며, 검출된 이모티콘 객체 식별자가 서로 일치할 경우 투표 대상의 창작 이모티콘과 동일한 창작 이모티콘을 포함하거나 또는 상기 투표 대상의 창작 이모티콘 내 이모티콘 객체와 동일한 이모티콘 객체에 기초한 다른 창작 이모티콘을 포함하는 것으로 확인하도록 구성될 수도 있다.
예시적으로서, 동일한 제1 사용자(100_1)가 제1 포즈로 촬영한 제1 촬영 이미지로 제1-1 창작 이모티콘을 생성하고 제2 포즈로 촬영한 제1-2 촬영 이미지로 제2 창작 이모티콘을 생성하여 상기 제1-1 창작 이모티콘 및 제1-2 창작 이모티콘을 상품에 등록한 뒤에 투표 그룹에는 제1-1 창작 이모티콘이 배열되고 제2 사용자(100_2)는 제1-2 창작 이모티콘을 구매할 수도 있다. 제2 사용자(100_2)가 투표 그룹에서 제1-1 창작 이모티콘을 선택하고 투표 메시지 화면에 이미 구매한 제1-2 창작 이모티콘을 포함한 메시지를 입력할 경우, 상기 제2 사용자(100_2)의 제1-1 창작 이모티콘을 선택한 투표 행위가 인정됨으로써 득표 수에 반영된다. 서로 다른 창작 이모티콘이 동일한 이모티콘 객체를 가질 경우 이모티콘 객체의 정체성이 유지되기 때문에 제2 사용자(100_2)가 투표한 대상과 관련된 메시지라고 볼 수 있기 때문이다.
본 출원의 다양한 실시 예들에서, 전자 장치(110)는 도 13의 투표 화면 및 도 14의 투표 메시지 화면을 단일 화면 내에서 제1 서브 화면 및 제2 서브 화면으로 동시에 표시하도록 구성될 수도 있다. 또한, 일부 실시 예들에서, 상기 제2 서브 화면은 단일 화면 상에서 팝업 창 형태로 표시될 수도 있다.
이러한 동작들을 통해 단계(S1220)에서 투표 기간 동안 제2 사용자(100_2)가 투표에 참여한 것이 투표 이벤트의 정보로 반영된다.
투표 기간이 종료된 경우 이벤트 관리 모듈(137)은 투표 그룹 내 각각의 창작 이모티콘에 대한 득표 수를 카운팅하여 투표 순위를 부여한다. 상기 이벤트 관리 모듈(137)은, 상기 투표 이벤트의 투표 내역을 생성하기 위해, 상기 제2 전자 장치에서 선택된, 상기 투표 그룹 내 특정 창작 이모티콘의 식별자를 투표 대상으로 포함한 제2 사용자의 투표 참여 요청을 수신하면 상기 특정 창작 이모티콘의 득표 수를 카운팅하고, 그리고 각각의 창작 이모티콘에 대해서, 카운팅된 득표 수가 보다 많은 창작 이모티콘에게 카운팅된 득표 수가 보다 적은 창작 이모티콘 보다 높은 투표 순위를 부여할 수도 있다(S1230).
상기 투표 이벤트가 포인트 지급과 관련된 경우, 이벤트 관리 모듈(137)은 투표 기간 동안 투표에 참여한 제2 사용자(100_2)의 목록을 포인트 관리 모듈(135)로 제공하거나 투표 기간 종료 후에 투표 내역을 포인트 관리 모듈(135)로 제공할 수도 있다.
상기 투표 이벤트 진행 과정은, 이벤트 관리 모듈(137)에 의해, 상기 해당 투표 이벤트에 참여한 제2 사용자(100_2)의 목록을 획득하는 단계(S1240); 및 참여한 것이 인정된 제2 사용자의 목록 내 제2 사용자(100_2)에게 해당 투표 이벤트에 대해 미리 설정된 포인트 수량을 투표 참여 포인트로 지급하는 단계(S1250)를 포함할 수도 있다.
상기 단계(S1240)에서 이벤트 관리 모듈(137)이 제2 사용자(100_2)의 투표 참여가 인정된 경우에 인정된 제2 사용자(100_2)의 정보를 실시간으로 포인트 관리 모듈(135)로 제공하거나, 투표 기간 종료 후에 투표 내역을 투표 기간 종료 후에 투표 내역을 포인트 관리 모듈(135)로 제공함으로써, 포인트 관리 모듈(135)은 투표 참여가 인정된 제2 사용자(100_2)의 목록을 획득할 수 있다.
일부 실시 예들에서, 상기 투표 참여 포인트는 투표 참여가 인정된 제2 사용자(100_2) 전체에게 균등한 수량일 수도 있다.
또한, 일부 실시 예들에서, 상기 투표 이벤트 진행 과정은, 이벤트 관리 모듈(137)에 의해, 보다 높은 투표 순위를 갖는 창작 이모티콘에 투표한 제2 사용자(100_2)에게 보다 낮은 투표 순위를 갖는 창작 이모티콘에 투표한 다른 제2 사용자(100_2) 보다 많은 포인트 수량을 투표 보상 포인트로 지급하는 단계(S1260)를 더 포함할 수도 있다.
이와 같이 투표 순위에 비례하는 투표 보상 포인트를 지급함으로써, 보다 많은 사용자에게 투표하고자 하는 투표 대상의 창작 이모티콘에 대한 구매, 메시지 입력을 유도함으로써, 창작 이모티콘의 활용 빈도를 더욱 증가시킬 수 있다.
배경의 의미와 이모티콘 객체 동작의 의미에 기초한 창작 이모티콘의 생성
추가적으로, 상기 제1 전자 장치(110_1)는 배경 스티커에서 애니메이션 효과가 적용된 배경 시각 요소가 가지는 의미 정보 및 촬영 이미지 내 이모티콘 객체의 동작이 가지는 의미 정보에 기초하여 이모티콘 객체의 동작과 배경 스티커의 배경 시각 요소의 애니메이션 효과가 보다 자연스럽게 조화된 창작 이모티콘을 생성하도록 더 구성될 수도 있다.
이러한 창작 이모티콘은 단계(S450)에서 생성될 수도 있다. 이러한 창작 이모티콘의 생성은 도 4 및 도 6을 참조해 설명한 단계(S450)의 창작 이모티콘 생성과 유사하므로, 차이점을 위주로 설명한다.
도 15는, 본 출원의 다양한 실시 예들에 따른, 배경 시각 요소가 가지는 의미 정보 및 촬영 이미지 내 이모티콘 객체의 동작이 가지는 의미 정보에 기초하여 창작 이모티콘을 생성하는 과정의 흐름도이다.
도 15를 참조하면, 상기 의미 정보에 기초한 창작 이모티콘의 생성 과정은: 제1 전자 장치(110_1)에서 하나 이상의 동작을 구현하는 사용자를 연속적으로 촬영한 사용자의 촬영 시퀀스 이미지를 획득하고 상기 촬영 시퀀스 이미지로부터 이모티콘 객체 시퀀스 이미지와 관련된 이모티콘 객체 데이터를 획득하는 단계(S1510); 상기 배경 스티커 및 상기 창작 이모티콘을 포함한 콘텐츠 상품이 거래되는 마켓 사이트에서 상기 배경 스티커에 대한 구매를 상기 마켓 사이트를 운영하는 서버로 요청하여 해당 배경 스티커 데이터를 수신하는 단계(S1520); 상기 이모티콘 객체 시퀀스 이미지를 미리 학습된 동작 인식 모델에 입력하여 시퀀스 이미지 내 이모티콘 객체의 동작을 인식하는 단계(S1530); 상기 배경 스티커 데이터로부터 상기 배경 스티커에 포함된 배경 텍스트의 의미 정보를 획득하는 단계(S1540); 및 상기 동작의 인식 결과 및 상기 배경 텍스트의 의미 정보에 기초하여 배경 스티커 및 상기 이모티콘 객체 시퀀스 이미지를 결합한 창작 이모티콘 데이터를 생성하는 단계(S1550)를 포함한다.
상기 촬영 시퀀스 이미지는 사용자를 연속적으로 촬영한 촬영 이미지의 세트로서, 각 동작에 따른 서브 세트를 포함한다.
상기 단계(S1510)에서 상기 이모티콘 객체 시퀀스 이미지는, 단계(S310)에서 전술한 이모티콘 객체 이미지가 연속적으로 촬영된 시퀀스 이미지이다. 상기 이모티콘 객체 시퀀스 이미지는 촬영 시퀀스 이미지를 이루는 각각의 촬영 이미지에서 적어도 일부 영역을 각각 가지고 이모티콘 객체가 나타난 이모티콘 객체 이미지의 세트로 이루어진다.
일부 실시 예들에서, 상기 이모티콘 객체 시퀀스 이미지는 GIF(Graphics Interchange Format) 이미지 데이터로 구현될 수도 있다. 그러면, 상기 이모티콘 객체 시퀀스 이미지는 처음 출력 순서의 이미지로부터 마지막 출력 순서의 이미지가 순차적으로 출력된 이후에 다시 처음 출력 순서의 이미지가 다시 출력될 수도 있다.
단계(S1520)에서 상기 배경 스티커는 하나 이상의 배경 시각 요소가 애니메이션으로 표현되는 애니메이션 시퀀스 이미지를 가진다. 상기 배경 시각 요소는 배경 텍스트 및/또는 배경 객체이다. 예를 들어, 배경 객체 형상 및/또는 배경 텍스트에 애니메이션 효과가 적용된 배경 스티커가 구매될 수도 있다. 상기 애니메이션 시퀀스 이미지는 동일한 애니메이션 효과가 적용된 하나 이상의 배경 시각 요소의 그룹에 따른 서브 세트를 포함한다.
상기 단계(S1530)에서 상기 동작 인식 모델은 입력 이미지의 객체 움직임과 해당 움직임이 가리키는 동작 간의 상관 관계를 추론하기 위해 입력 이미지의 특징을 추출하여 입력 이미지에 나타난 이모티콘 객체의 동작을 인식하도록 구성된 뉴럴 네트워크 기반 기계학습 모델일 수도 있다. 상기 이미지 기반 감정 인식 모델은, 예를 들어, CNN(Convolutional Neural Networks), 기타 NN에 기반한 모델 구조를 가진다.
다양한 실시 예들에서, 상기 동작 인식 모델은, 입력 시퀀스 이미지의 각 프레임에서 특징을 추출하여 관절 포인트에 대한 데이터를 획득할 수도 있다. 상기 관절 포인트에 대한 데이터는 크기(scale) 값, (예컨대, 관절의 좌표 값과 같은) 위치(translation) 값, (예컨대, 움직임 값과 같은) 회전(rotation) 값으로 표현될 수도 있다. 일부 실시 예들에서, 상기 크기, 위치, 회전 값은 3차원 벡터로 표현될 수도 있다. 다양한 실시 예들에서, 상기 동작의 인식은 동작 유형의 인식일 수도 있다.
상기 동작 인식 모델은 복수의 트래이닝 샘플로 이루어진 트래이닝 데이터 세트를 이용하여 동작 유형을 인식하도록 미리 학습된다. 각각의 트래이닝 샘플은 이모티콘 객체의 연속된 동작이 나타난 샘플 시퀀스 이미지를 트래이닝 데이터로 가지고 해당 동작이 가리키는 동작 유형을 서술하는 데이터를 레이블 데이터로 가진다. 상기 트래이닝 데이터 세트는 복수의 동작 유형 각각으로 서브 세트화될 수도 있다. 일부 실시 예들에서, 상기 동작 유형의 레이블 데이터는 해당 동작 유형을 가리키는 참조 동작을 구현한 관절 포인트에 대한 데이터로 이루어질 수도 있다.
상기 동작 인식 모델은 트래이닝 데이터 세트의 트래이닝 데이터를 입력하여 산출된 출력 값(즉, 예측된 동작 유형)과 입력된 트래이닝 데이터에 대응한 레이블 데이터(즉, 실제 동작 유형) 간의 오차를 최소화하도록 학습된다. 학습이 진행되어 보다 많은 트래이닝 데이터가 입력될수록 오차가 점차 감소하도록 상기 동작 인식 모델 내 모델 파라미터(예컨대, 가중치, 바이어스 등)의 값이 업데이트된다. 학습이 완료된 모델 파라미터는 오차가 최소화되는 값을 가질 수도 있다.
다양한 실시 예들에서, 상기 동작 인식 모델의 학습은 서버(130) 또는 전자 장치(110)에서 수행될 수도 있다. 서버(130)에서 수행될 경우, 전자 장치(110)는 학습 완료된 동작 감정 인식 모델을 수신하여 창작 이모티콘의 생성에 이용할 수도 있다.
이와 같이 학습된 동작 인식 모델에 이모티콘 객체 시퀀스 이미지를 입력하여 제1 사용자(100_1)가 취한 것으로 예측되는 동작 유형 값을 획득할 수도 있다.
일부 실시 예들에서, 상기 서버(130)가 동작 인식 모델과 2차 감정 인식 모델을 포함할 경우, 단계(S1530)의 동작 인식 작업은 상기 동작 인식 모델에 의해 수행될 수도 있다.
상기 단계(S1540)에서 배경 스티커 데이터에 포함된 배경 시각 요소의 의미는 감정 유형일 수도 있다. 제1 전자 장치(110_1)는 배경 스티커 데이터 내 배경 텍스트에 미리 연관된 감정 유형 정보를 해당 텍스트의 의미로 획득할 수도 있다. 상기 감정 유형 정보는 배경 스티커를 생성할 당시에 해당 시각 요소와 연관된다.
본 출원의 다양한 실시 예들에서, 상기 단계(S1550)는, 구매된 배경 스티커의 프레임 크기와 이모티콘 객체 시퀀스 이미지의 프레임 크기가 상이할 경우, 구매된 배경 스티커의 프레임 크기와 일치하도록 상기 이모티콘 객체 시퀀스 이미지의 프레임 크기를 조절하는 단계; 상기 촬영 시퀀스 이미지의 전체 출력 구간에서 인식된 동작에 따른 서브 출력 구간을 산출하는 단계; 상기 배경 시퀀스 이미지의 전체 출력 구간에서 각 배경 텍스트의 의미에 따른 서브 출력 구간을 산출하는 단계; 프레임 크기가 조절된 이모티콘 객체 시퀀스 이미지와 관련된 상기 이모티콘 객체 데이터를 이용하여 상기 제1 레이어(51)에서 이모티콘 객체 시퀀스 이미지를 구현하는 단계; 인식된 각 동작에 대해, 배경 텍스트의 의미가 해당 동작에 미리 연관된 의미에 대응할 경우 상기 배경 텍스트와 해당 동작을 매핑하는 단계; 매핑된 배경 텍스트의 서브 출력 구간의 시작 지점을 상기 해당 동작의 서브 출력 구간의 시작 지점과 일치하도록 상기 배경 스티커 데이터의 배경 시퀀스 이미지 데이터를 조절하는 단계; 조절된 배경 시퀀스 이미지 데이터를 포함한 상기 배경 스티커 데이터를 이용하여 상기 제2 레이어(52)에서 상기 배경 스티커의 배경 시퀀스 이미지를 구현하는 단계를 포함할 수도 있다.
상기 단계(S1550)에서 제1 전자 장치(110_1)는 상기 촬영 시퀀스 이미지의 전체 출력 구간에서 상기 동작 인식 모델에 의해 인식된 이모티콘 객체의 동작에 따른 서브 출력 구간을 산출할 수도 있다. 제1 사용자(100_1)가 복수의 동작을 취하는 동안 촬영 시퀀스 이미지가 촬영된 경우, 복수의 동작 각각에 대한 서브 출력 구간이 산출된다. 상기 서브 출력 구간은 동작이 처음으로 나타난 이미지의 출력 순서 및 마지막으로 동작이 나타난 이미지의 출력 순서까지의 범위로 정의된다.
상기 단계(S1550)에서 제1 전자 장치(110_1)는 배경 시퀀스 이미지에서 배경 시각 요소의 의미에 따른 서브 출력 구간을 산출할 수도 있다. 단일 배경 시퀀스 이미지가 다수의 배경 시각 요소의 그룹에 의한 다수의 애니메이션 효과를 제공할 경우, 각 애니메이션 효과의 시작으로부터 종료까지의 서브 출력 구간 각각이 산출된다.
도 5의 제1 레이어(51)에서 이모티콘 객체 시퀀스 이미지가 프레임 크기가 배경 스티커의 프레임 크기와 일치하도록 구현된다.
상기 제1 전자 장치(110_1)는 인식된 각 동작에 대해, 각 애니메이션 시퀀스 이미지에 나타난 배경 시각 요소의 의미(즉, 감정 유형)가 해당 동작에 미리 연관된 의미에 대응하는지 판단한다. 이를 위해, 제1 전자 장치(110_1)는 동작 의미 테이블을 미리 저장할 수도 있다.
상기 동작 의미 테이블은 각각의 동작에 미리 연관된 감정 유형을 기록한 것이다. 예를 들어, 상기 동작 의미 테이블은, 동작 유형 "만세"에 연관된 감정 유형으로서 "기쁨"을 포함할 수도 있다. 하나의 동작 유형에는 다수의 감정 유형이 연관될 수도 있다. 또한, 하나의 감정 유형에 다수의 동작 유형이 연관될 수도 있다.
상기 제1 전자 장치(110_1)는 각각의 동작에 미리 연관된 감정 유형을 기록한 동작 의미 테이블을 이용하여 인식된 해당 동작에 미리 연관된 감정 유형 중 어느 하나의 감정 유형과 상기 배경 시각 요소가 분류된 감정 유형이 일치할 경우 상기 배경 시각 요소의 의미가 해당 동작에 미리 연관된 의미에 대응하는 것으로 판단한다.
도 16은, 본 출원의 다양한 실시 예들에 따른, 단일 동작과 단일 애니메이션 시퀀스 이미지가 서로 매핑된 창작 이모티콘을 도시한다.
도 16의 창작 이모티콘을 생성하는데 이용된 이모티콘 객체 시퀀스 이미지에서는 "입 가림"의 동작 유형이 인식된다. 도 16의 창작 이모티콘을 생성하는데 이용된 배경 스티커에서는 집중선이 나타난 애니메이션 시퀀스 이미지(1610) 및 놀람을 표현한 배경 형상이 나타난 애니메이션 시퀀스(1620)가 포함된다. 상기 애니메이션 시퀀스 이미지(1610)는 보통의 감정 유형으로 분류되고, 애니메이션 시퀀스 이미지(1620)는 "기쁨"의 감정 유형으로 분류된다.
인식 동작 결과 또는 애니메이션 시퀀스 이미지의 감정 유형이 보통일 경우, 매핑 동작은 수행되지 않을 수도 있다.
상기 제1 전자 장치(110_1)는 동작 의미 테이블에서 "입 가림" 동작을 검색하여 상기 "입 가림" 동작에 연관된 감정 유형이 "기쁨"의 감정 유형을 갖는지 확인한다. "입 가림" 동작에 "기쁨"의 감정 유형이 미리 연관되어 있는 경우 제1 전자 장치(110_1)는 도 16의 "입 가림" 동작과 애니메이션 시퀀스 이미지(1620)를 서로 대응하는 의미를 갖는 것으로 판단하여 서로 매핑한다. 매핑된 배경 텍스트의 서브 출력 구간의 시작 지점을 상기 해당 동작의 서브 출력 구간의 시작 지점과 일치하도록 상기 배경 스티커 데이터에 포함된 배경 시퀀스 이미지 데이터를 수정한다. 예를 들어, 애니메이션 시퀀스 이미지(1620)의 출력 시작 시점이 "입 가림" 동작의 움직임이 개시되는 시점과 동기화되도록 수정될 수도 있다. 그러면, 창작 이모티콘은 애니메이션 시퀀스 이미지(1620)가 입 가림 동작의 움직임(motions) 시작 시점에 출현하는 애니메이션 효과를 제공하도록 생성된다.
그 결과, 상기 창작 이모티콘을 수신한 상대방에게 먼저 동작이 제공되고 동일한 의미를 갖는 애니메이션 효과가 중복 제공됨으로써 애니메이션 효과의 영향이 보다 감소하거나, 또는 애니메이션 효과가 먼저 제공되는 것으로 인해 이모티콘 객체가 취할 예정의 동작이 스포일러됨으로써 동작 전달의 영향이 보다 감소하는 문제점을 방지할 수 있다.
또한, 본 출원의 다양한 실시 예들에서, 상기 제1 전자 장치(110_1)는 하나 이상의 동작이 나타난 이모티콘 객체 시퀀스 이미지와 하나 이상의 애니메이션 효과가 제공되는 애니메이션 시퀀스 이미지를 결합한 창작 이모티콘을 생성할 수도 있다.
본 출원의 다양한 실시 예들에서, 단일 동작이 인식되고 상기 배경 스티커가 출력 순서가 서로 상이한 복수의 배경 시각 요소를 포함한 경우에, 상기 단계(S1550)에서, 제1 전자 장치(110_1)는 각 애니메이션 시퀀스 이미지에 나타난 배경 시각 요소의 의미가 해당 동작에 미리 연관된 의미에 대응하는 것으로 판단할 수도 있다. 그러면, 복수의 애니메이션 시퀀스 이미지가 단일 동작에 매핑될 수도 있다.
그러면, 상기 제1 전자 장치(110_1)는, 상기 복수의 배경 애니메이션 시퀀스 이미지 중 가장 빠른 출력 순서를 애니메이션 시퀀스 이미지의 서브 출력 구간의 시작 지점을 서로 매핑하는 동작의 서브 출력 구간의 시작 지점과 일치하도록 상기 배경 스티커 데이터의 애니메이션 시퀀스 이미지 데이터를 조절할 수도 있다.
도 17은, 본 출원의 다양한 실시 예들에 따른, 복수의 동작과 단일 애니메이션 시퀀스 이미지가 서로 매핑된 창작 이모티콘을 도시한다.
도 17을 참조하면, 연속된 복수의 동작이 인식되고 상기 배경 스티커가 단일 애니메이션 시퀀스 이미지를 포함한 경우에, 상기 단계(S1550)에서, 제1 전자 장치(110_1)는 단일 애니메이션 시퀀스 이미지에 나타난 배경 시각 요소의 의미가 복수의 동작 각각에 미리 연관된 의미에 대응하는 것으로 판단할 수도 있다. 그러면, 복수의 동작이 단일 애니메이션 시퀀스 이미지에 매핑될 수도 있다.
예를 들어 애니메이션 시퀀스 이미지(1710)가 "화이팅" 문자가 순서대로 프레임에 지정된 위치로 출현하는 애니메이션 효과를 제공하고 인식된 동작은 이모티콘 객체가 팔꿈치를 접은 만세 동작에 이어서 한 손으로 어퍼컷 동작을 취하는 것일 수도 있다. 그러면 제1 전자 장치(110_1)는 도 17의 만세 동작과 어퍼컷 동작을 애니메이션 시퀀스 이미지(1710)에 나타난 시각 요소(문자 "화이팅")와 서로 대응하는 감정 유형의 의미를 가지는 것으로 판단하고 복수의 동작과 단일 애니메이션 시퀀스 이미지(1710)를 서로 매핑할 수도 있다.
그러면, 상기 제1 전자 장치(110_1)는, 상기 배경 시각 요소의 서브 출력 구간의 시작 지점을 상기 연속된 복수의 동작 중 가장 빠른 출력 순서를 갖는 동작(예컨대, 도 17의 만세 동작)의 서브 출력 구간의 시작 지점과 일치하도록 상기 배경 스티커 데이터의 애니메이션 시퀀스 이미지 데이터를 조절할 수도 있다. 즉, 애니메이션 시퀀스 이미지(1710)의 출력 시작이 가장 빠른 출력 순서를 갖는 동작(도 17의 만세 동작)의 출력 시작과 일치하게 된다.
도 18은, 본 출원의 다양한 실시 예들에 따른, 복수의 동작과 복수의 애니메이션 시퀀스 이미지가 서로 매핑된 창작 이모티콘을 도시한다.
도 18을 참조하면, 연속된 복수의 동작이 인식되고 상기 배경 스티커가 복수의 애니메이션 시퀀스 이미지를 포함한 경우에, 상기 단계(S1550)에서, 제1 전자 장치(110_1)는 복수의 애니메이션 시퀀스 이미지 각각에 나타난 배경 시각 요소의 의미가 복수의 동작 각각에 미리 연관된 의미에 대응하는 것으로 판단할 수도 있다. 그러면, 복수의 동작이 복수의 애니메이션 시퀀스 이미지에 매핑될 수도 있다.
예를 들어 애니메이션 시퀀스 이미지(1810)가 다수의 "놉" 문자가 프레임에 지정된 위치로 순서대로 출현하는 애니메이션 효과를 제공하고 애니메이션 시퀀스 이미지(1820)가 X가 포함된 다수의 말풍선을 프레임에 지정된 위치로 순서대로 출현하는 애니메이션 효과를 제공하며 인식된 동작은 양 손을 교차해 X 형상을 취하는 동작과 고개를 젓는 동작일 수도 있다.
그러면 제1 전자 장치(110_1)는 도 18의 손 교차 동작과 고개를 젓는 동작을 애니메이션 시퀀스 이미지(1810, 1820)에 나타난 시각 요소(문자 "놉", 문자 "X")와 서로 대응하는 감정 유형의 의미를 가지는 것으로 판단하고 복수의 동작과 복수의 애니메이션 시퀀스 이미지(1810, 1820)를 서로 매핑할 수도 있다.
그러면, 상기 제1 전자 장치(110_1)는 애니메이션 시퀀스 이미지 간의 출력 순서를 지정하고, 인식된 동작 간의 출력 순서를 지정하며, 각각의 애니메이션 시퀀스 이미지의 서브 출력 구간의 시작 지점을 서로 매핑되고 동일한 출력 순서를 갖는 동작의 서브 출력 구간의 시작 지점과 일치하도록 상기 배경 스티커 데이터의 애니메이션 시퀀스 이미지 데이터를 조절할 수도 있다. 상기 제1 전자 장치(110_1)는 도 18의 손 교차 동작과 고개를 젓는 동작의 출력 순서를 1번 동작, 2번 동작으로 지정하고, 애니메이션 시퀀스 이미지(1810)를 1번 애니메이션, 애니메이션 시퀀스 이미지(1820)를 2번 애니메이션으로 지정한다. 상기 제1 전자 장치(110_1)는 서로 매핑되고 동일한 출력 순서를 갖는 애니메이션 시퀀스 이미지(1810)와 손 교차 동작의 출력이 동시에 시작되고, 서로 매핑되고 동일한 출력 순서를 갖는 애니메이션 시퀀스 이미지(1810)와 손 교차 동작의 출력이 동시에 시작되고, 서로 매핑되고 동일한 출력 순서를 갖는 애니메이션 시퀀스 이미지(1820)와 고개를 젓는 동작의 출력이 동시에 시작되는 창작 이모티콘이 생성된다.
생성된 창작 이모티콘은 메신저 어플리케이션을 통해 다른 전자 장치(100)로 전송되거나, 또는 마켓 사이트에 신규 판매 상품으로 등록 요청할 수도 있다(S1560).
상기 단계(S1560)의 창작 이모티콘의 전송, 마켓 사이트로의 등록 요청은 위에서 설명하였는 바, 자세한 설명은 생략한다.
이전 메시지의 감정 세기에 기초한 창작 이모티콘의 생성
추가적으로, 상기 제1 전자 장치(110_1)는 상기 제1 사용자1101 또는 다른 사용자(100)의 메시지의 텍스트를 메신저 획득하고, 상기 제1 전자 장치(110_1)는 창작 이모티콘을 메신저 애플리케이션을 통해 전송하기 이전에 미리 획득된 메시지의 감정 세기를 산출하고 산출된 감정 세기가 배경 스티커의 애니메이션 효과에 반영된 창작 이모티콘을 생성하며, 생성한 창작 이모티콘을 상기 메신저 어플리케이션을 통해 전송하도록 더 구성될 수도 있다.
상기 메시지는 상기 전자 장치에 설치된 어느 하나의 메신저 어플리케이션을 실행하여 다른 사용자의 전자 장치로 송신된 상기 사용자의 메시지 및/또는 상기 다른 사용자의 전자 장치로부터 수신한 상기 다른 사용자의 메시지일 수도 있다.
이러한 창작 이모티콘은 단계(S450)에서 생성될 수도 있다. 일부 실시 예들에서, 상기 창작 이모티콘은 상기 동작의 인식 결과 및 상기 배경 시각 요소의 의미 정보에 기초하여 배경 스티커 및 상기 이모티콘 객체 시퀀스 이미지를 결합한 창작 이모티콘 데이터를 생성하는 단계(S1550)에서 의미에 따라 서브 출력 구간이 매핑된 이후에 감정 세기에 기초하여 애니메이션 효과를 수정함으로써 생성될 수도 있다.
이러한 창작 이모티콘의 생성은 도 4 및 도 6을 참조해 설명한 단계(S450)의 창작 이모티콘 생성과 유사하므로, 차이점을 위주로 설명한다.
도 19는, 본 출원의 다양한 실시 예들에 따른, 미리 획득된 메시지의 감정 세기에 기초한 창작 이모티콘을 생성하는 과정의 흐름도이다.
도 19를 참조하면, 창작 이모티콘의 메시지를 전송하기 이전에 획득된 메시지 중 적어도 일부 메시지의 텍스트를 미리 학습된 자연어 처리 모델에 입력하여 각 메시지의 텍스트를 임베딩 처리한 임베딩 벡터를 각각 산출하는 단계(S1910); 상기 적어도 일부 메시지에 대한 임베딩 벡터의 세트를 미리 학습된 텍스트 기반 감정 인식 모델에 입력하여 상기 적어도 일부 메시지에 반영된 사용자의 감정 세기 레벨을 산출하는 단계(S1920); 및 산출된 감정 세기 레벨에 따라서 애니메이션 효과 및/또는 배경 시각 요소의 크기를 조절하는 단계(S1930);를 포함한다. 또한, 일부 실시 예들에서, 도 19의 과정은, 산출된 감정 세기 레벨에 따라 조절된 배경 스티커 데이터를 이용하여 상기 제2 레이어에서 상기 배경 스티커의 애니메이션 시퀀스 이미지를 구현하는 단계(S1940)를 더 포함한다. 또한, 일부 실시 예들에서, 상기 제1 전자 장치(1101)는 단계(S1550)의 배경 스티커 데이터를 이용하여 상기 제2 레이어에서 상기 배경 스티커의 애니메이션 시퀀스 이미지를 구현하기 위해, 상기 산출된 감정 세기 레벨에 따라 조절된 배경 스티커 데이터를 이용하여 상기 제2 레이어에서 상기 배경 스티커의 애니메이션 시퀀스 이미지를 구현할 수도 있다(S1940).
도 20은, 본 출원의 다양한 실시 예들에 따른, 텍스트 기반 감정 인식 모델의 학습 과정의 개략도이다.
상기 텍스트 기반 감정 인식 모델은 자연어 자료에 대응한 임베딩 벡터와 감정 세기 간의 상관 관계를 추론하기 위해 입력된 임베딩 벡터를 연산 처리하여 상기 자연어 자료를 생성할 당시의 사용자(100)의 감정 세기를 레벨 값으로 예측하도록 구성된 기계학습 모델이다. 상기 감정 세기 레벨은 보다 높은 레벨 값이 보다 높은 감정 세기를 나타내고 보다 낮은 레벨 값이 보다 낮은 감정 세기를 나타내는 것으로서, 예를 들어, 낮음(또는 차분함), 보통, 높음(또는 증폭)으로 분류될 수도 있으나, 이에 제한되진 않는다
도 20을 참조하면, 상기 텍스트 기반 감정 인식 모델은 전처리 모델, 자연어 처리 모델 및 분류 모델을 포함한다.
상기 텍스트 기반 감정 인식 모델에는 창작 이모티콘 생성을 위해 이용되는 메시지 또는 그와 유사한 샘플 메시지가 자연어 자료로 입력된다. 상기 자연어 자료는 대화하는 사용자(100) 간에 교환되는 복수의 메시지를 포함한다. 상기 메시지는 발화자가 동일한 메시지 그룹(예를 들어, 제1 사용자(100_1)의 입력 메시지들)일 수도 있다.
상기 전처리 모델은 입력된 자연어 자료 내 문장, 문구(phrase)을 전처리하고, 레이블 오류 교정, 레이블된 문장 또는 문구를 추출하는 다양한 텍스트 전처리 동작을 수행하도록 구성된다.
상기 자연어 처리 모델은 전처리되고 입력된 텍스트를 자연어 처리하여 입력 텍스트에 표현된 내용(contents)을 수치적으로 분석한 결과를 임베딩 벡터로 산출하도록 구성된다. 예를 들어, 상기 자연어 처리 모델은 인코더를 포함할 수도 있다. 상기 인코더는 입력 텍스트를 자연어 처리한 임베딩 벡터를 산출하도록 것으로서, 인공 신경망으로 구현될 수도 있다. 상기 인공 신경망은 입력 텍스트를 텍스트 단위(예컨대, 단어, 형태소)별로 분절하고 텍스트 단위별 서브 텍스트의 특징을 추출하여 은닉 상태 벡터를 산출하는 하나 이상의 은닉층(hidden layer)을 포함할 수도 있다. 은닉층을 통해 산출된 값은 결합되어(concatenating) 임베딩 벡터로 출력된다.
상기 분류 모델은 입력된 임베딩 벡터를 연산 처리하여 입력된 임베딩 벡터에 대응한 텍스트가 생성될 당시에 가졌을 것으로 예측되는 사용자(100)의 감정 세기 레벨을 산출하도록 구성된 기계학습 모델이다. 상기 기계학습 모델은 뉴럴 네트워크 구조를 가진다. 예를 들어, 상기 뉴럴 네트워크 구조는, 완전 연결 레이어, 또는 MLP(Multi-layer Perceptron)를 포함한 기타 NN 구조로 구성될 수도 있다.
상기 텍스트 기반 감정 인식 모델은 미리 설정된 복수의 감정 세기 레벨 각각에 입력 벡터에 분류될 확률 값들을 각각 산출하고, 각각의 감정 세기 레벨별로 산출된 확률 값에 기초하여 해당 자연어 자료가 생성될 당시의 사용자(100)의 예측된 감정 세기 레벨을 결정할 수도 있다. 예를 들어, 상기 뉴럴 네트워크 구조의 감정 인식 모델은 텍스트 데이터를 임베딩 처리한 벡터 데이터와 감정 세기 레벨 간의 상관 관계에 기초하여 텍스트 데이터가 분류될 확률이 가장 높은 어느 하나의 감정 세기 레벨을 결정하도록 구성된다
상기 텍스트 기반 감정 인식 모델은 복수의 트래이닝 샘플로 이루어진 트래이닝 데이터 세트를 이용하여 미리 학습될 수도 있다. 각각의 트래이닝 샘플은 샘플 메시지를 자연어 처리한 샘플 임베딩 벡터를 트래이닝 데이터로 가지고 샘플 메시지를 입력할 당시 사용자(100)가 가졌던 것으로 지정된 감정 세기 레벨을 레이블 데이터로 가진다.
상기 텍스트 기반 감정 인식 모델은 각각의 트래이닝 데이터가 입력되면, 내부 파라미터(예컨대, 가중치, 바이어스)로 입력된 트래이닝 데이터를 연산 처리하여 결과 값(즉, 예측된 감성 세기 레벨)을 산출하고 산출된 출력 값과 입력된 트래이닝 데이터에 대응한 레이블 데이터(즉, 실제 감성 세기 레벨) 간의 오차를 최소화하도록 학습된다. 학습이 진행되어 보다 많은 트래이닝 데이터가 입력될수록 오차가 점차 감소하도록 상기 텍스트 기반 감정 인식 모델 내 모델 파라미터(예컨대, 가중치, 바이어스 등)의 값이 업데이트된다. 학습이 완료된 모델 파라미터는 오차가 최소화되는 값을 가질 수도 있다.
다양한 실시 예들에서, 상기 텍스트 기반 감정 인식 모델의 학습은 서버(130) 또는 전자 장치(110)에서 수행될 수도 있다. 서버(130)에서 수행될 경우, 전자 장치(110)는 학습 완료된 텍스트 기반 감정 인식 모델을 수신하여 창작 이모티콘의 생성에 이용할 수도 있다.
이와 같이 학습된 텍스트 기반 감정 인식 모델에 제1 사용자(100_1)가 작성한 이전 메시지가 입력되면 전처리 이후에 이전 메시지의 내용을 수치화한 임베딩 벡터가 산출되고, 산출된 임베딩 벡터가 분류 모델로 입력되어 해당 메시지에 나타난 제1 사용자(100_1)의 감정 세기 레벨이 산출된다.
일부 실시 예들에서, 상기 텍스트 기반 감정 인식 모델에는 창작 이모티콘을 생성하기 가장 직전의 메시지가 입력되어 상기 가장 직전의 메시지 내용을 수치적으로 분석한 결과인 임베딩 벡터가 산출되고, 결국 상기 가장 직전의 메시지에 나타난 제1 사용자(100_1)의 감정 세기 레벨이 산출될 수도 있다. 여기서, 감정 세기 레벨은 메시지 내용 측면에서 분석된 감정 세기 레벨이다.
다른 일부 실시 예들에서, 상기 텍스트 기반 감정 인식 모델에는 창작 이모티콘을 생성하기 가장 직전의 메시지 및 그 이전의 메시지(들)의 그룹이 입력되어 입력된 메시지의 그룹에 나타난 제1 사용자(100_1)의 감정 세기 레벨이 산출될 수도 있다. 여기서 감정 세기 레벨은 내용 및 맥락에 기초한 감정 세기 레벨이다. 이를 위해, 상기 자연어 처리 모델은 임베딩 벡터가 산출될 대상 메시지와 적어도 하나의 이전 메시지의 내용 전체에 대한 임베딩 벡터를 산출하도록 더 구성될 수도 있다. 상기 적어도 하나의 이전 메시지는 대상 메시지의 직전 메시지(예를 들어, 제1 사용자(100_1)의 직전 입력 메시지)를 포함한다.
상기 자연어 처리 모델에는 일련의 메시지(또는 전처리 메시지)의 그룹이 입력될 수도 있다. 상기 자연어 처리 모델은 연속적으로 입력된 일련의 메시지 각각을 자연어 처리하여 일련의 메시지에 대한 일련의 임베딩 벡터를 산출하고, 일련의 메시지 내용을 순서대로 조합하여 상기 일련의 메시지의 내용 전체에 대한 텍스트(또는 전처리 텍스트)를 획득한다. 대화의 맥락은 전/후 메시지 내용의 흐름에 기초한 것이기 때문에, 메시지의 맥락을 수치적으로 분석하기 위해 상기 일련의 메시지의 내용 전체를 자연어 처리하여 일련의 메시지의 내용 전체에 대한 임베딩 벡터를 산출한다. 상기 자연어 처리 모델은 일련의 메시지에 대한 일련의 임베딩 벡터 및 일련의 메시지의 내용 전체에 대한 임베딩 벡터를 결합하여(concatenating) 입력 메시지의 그룹에 대한 단일 임베딩 벡터를 산출한다. 상기 단일 임베딩 벡터는 일련의 메시지의 텍스트가 내용 측면 및 맥락(contexts) 측면에서 수치적으로 분석된 결과이다. 상기 단일 임베딩 벡터가 분류 모델에 입력되면 내용 및 맥락이 고려하여 예측된 감정 세기 레벨이 산출된다.
이를 위해, 분류 모델은 복수의 트래이닝 샘플로 이루어진 트래이닝 데이터 세트를 이용하여 미리 학습된다. 각 트래이닝 샘플은 일련의 샘플 메시지로부터 산출된, 일련의 입력 메시지의 그룹에 대한 단일 샘플 임베딩 벡터를 트래이닝 데이터로 가진다. 이러한 트래이닝 데이터 세트를 이용하여 분류 모델을 학습하는 과정은 위에서 도 19를 참조해 설명한 학습 과정과 유사하므로, 자세한 설명은 생략한다.
다시 도 19을 참조하면, 상기 단계(S1930)는, 감성 세기 레벨에 따라서 기존 애니메이션 효과를 유지하거나 애니메이션 효과를 조절할 수도 있다. 상기 애니메이션 효과는 감성 세기 레벨이 보통 보다 높은 경우에 조절될 수도 있다. 상기 애니메이션 효과 및/또는 배경 시각 요소의 크기를 조절하는 것은 애니메이션 시퀀스 이미지의 출력 속도를 조절하는 것 및/또는 애니메이션 효과에 따른 상기 배경 시각 요소의 크기 변화를 감정 세기 레벨에 따라 조절하는 것을 포함한다.
일부 실시 예들에서, 제1 전자 장치(110_1)는 애니메이션 효과를 조절하기 위해, 산출된 감정 세기 레벨이 보다 높을수록 애니메이션 속도를 보다 낮은 감정 세기 레벨에서의 애니메이션 속도 보다 증가하도록 상기 배경 스티커 데이터를 조절하거나, 산출된 감정 세기 레벨이 보다 높을수록 애니메이션 효과에 따른 상기 배경 시각 요소의 크기 변화를 보다 낮은 감정 세기 레벨에서의 애니메이션 효과에 따른 배경 시각 요소의 크기 변화 보다 증가시키도록 상기 배경 스티커 데이터를 조절하도록 구성될 수도 있다. 상기 크기 변화의 증가는 애니메이션 효과의 시작 시점의 배경 시각 요소의 크기를 감소시키는 것 및/또는 애니메이션 효과의 종료 시점의 배경 시각 요소의 크기를 증가시키는 것으로 구현된다.
상기 배경 시각 요소의 크기는 전술한 임계 노출 비율을 만족하도록 증가할 수 있다.
상기 배경 시각 요소의 크기는 배경 시각 요소에 대해 미리 설정된 최소 크기를 만족하도록 감소할 수 있다.
도 21은, 본 출원의 다양한 실시 예들에 따른, 감정 세기에 따라 배경 시각 요소의 크기 변화를 조절한 창작 이모티콘을 도시한다.
도 18의 창작 이모티콘이 보통의 감정 세기 레벨일 경우에 출력되는 것이고 도 21의 창작 이모티콘이 보다 높은 감정 세기 레벨일 경우에 출력되는 것을 나타낸다.
도 21을 참조하면, 상기 애니메이션 효과를 제공하는 배경 텍스트의 최종 크기가 도 18 보다 증가하여 애니메이션 효과의 크기 변화의 범위가 감정 세기가 높아질수록 더 증가할 수 있다. 결국 도 21의 이모티콘을 이용하면 감정의 격앙이 애니메이션 효과로 보다 잘 전달될 수도 있다.
콘텐츠 상품에 대한 NFT 발행 및 이체
또한, 콘텐츠 서비스 시스템(1)은 콘텐츠 상품으로 이용되는 개별 콘텐츠(예컨대, 배경 스티커, 창작 이모티콘 등)에 대한 NFT를 발행하도록 더 구성될 수도 있다. 상기 콘텐츠 서비스 시스템(1)은 개별 콘텐츠를 NFT로 변환시켜 특정 플랫폼에 종속되지 않고 네트워크 환경 조건만 충족하면 사용 가능한 WEB 3.0 독립 콘텐츠로 이용할 수도 있다.
본 명세서에 있어서 대체불가능 토큰(NFT)은 희소성을 갖는 디지털 자산을 말한다. NFT는 블록체인을 기반으로 하고 있어 아래에서 서술할 콘텐츠 상품과 관련된 정보가 모두 블록체인에 저장되며, 따라서 원본성 증빙이 가능하고 소유자 정보(예컨대, 창작자 정보 또는 구매자 정보)와 거래 이력 등 데이터 위 변조가 불가능하여 무결성 확보가 가능하다.
디지털 자산의 메타 데이터와 정보가 블록체인 네트워크를 통해 참여 노드에 분산저장 되기 때문에 블록체인 네트워크를 통해 분산저장된 위변조가 불가능하고, 최초 발행자부터 현재 소유자까지의 모든 거래 내역을 추적 가능하다. 그러나, 위변조 불가능한 것이 토큰의 데이터(예컨대, 메타데이터)의 변경 불가능을 가리키는 것은 아니다. 블록체인 네트워크의 참가자들의 합의에 따라서 토큰의 데이터는 변경될 수도 있다. 그러면, 변경된 토큰의 데이터가 다시 블록체인 네트워크를 통해 분산저장되고, 결국 변경된 토큰의 데이터의 위변조가 불가능한 것으로 업데이트된다.
이러한 디지털 자산의 메타 데이터, 정보를 사용하면, 최초 발행자부터 현재 소유자까지의 위변조되지 않은 모든 트랜잭션 내역을 추적 가능하다.
도 22는, 본 출원의 또 다른 일 측면에 따른, 콘텐츠 상품에 대한 NFT를 발행하도록 구성된 콘텐츠 서비스 시스템의 개략도이다.
도 22의 콘텐츠 서비스 시스템(1)은 도 1의 콘텐츠 서비스 시스템(1)과 유사한 구성요소를 가지므로, 차이점을 위주로 서술한다.
도 22를 참조하면, 상기 NFT를 발행하도록 구성된 콘텐츠 서비스 시스템(1)은 전자 장치(110), 및 서버(130)를 포함한다. 또한, 일부 실시 예들에서, 상기 콘텐츠 서비스 시스템(1)은 파일 DB 시스템(150)을 더 포함할 수도 있다.
상기 콘텐츠 서비스 시스템(1)은 블록체인 네트워크(20)와 연동하여 동작하도록 구성될 수도 있다. 이하에서, 도 22의 콘텐츠 서비스 시스템(1)의 구성을 먼저 살펴보고, 연동되는 블록체인 네트워크(20)를 설명한다.
상기 전자 장치(110)는 시스템에 NFT 대상, 즉 콘텐츠 상품을 업로드하거나, 다른 사용자의 NFT를 검색하기 위한 단말 장치로 동작한다.
상기 제1 사용자(100_1)는 시스템 상에 자신의 콘텐츠 상품, 예를 들어 배경 스티커, 창작 이모티콘에 대한 NFT를 발행하고 이를 판매하는 공급자 역할을 수행한다.
상기 제2 사용자(100_2)는 시스템 상에서 다른 사용자의 NFT를 구매하는 구매자 역할을 수행한다.
사용자(100)는 경우에 따라서 공급자 역할을 수행하면서 구매자 역할을 모두 수행할 수도 있다.
이러한 사용자(100_1, 100_2)의 역할은 전자 장치(110_1, 110_2)를 통해 시스템 상에서 구현된다.
또한, 서버(130)는 전자 장치(110)로부터 NFT 발급 요청을 수신하거나 NFT 구매 요청을 수신할 경우, 해당 요청에 따른 NFT 관련 동작을 수행하도록 더 구성된다. 또한, 서버(130)는 NFT 관련 동작을 수행하기 위해 블록체인 네트워크(20)와 연동된다.
특정 실시 예들에서, 상기 서버(130)는 블록체인 네트워크(20)를 통해 콘텐츠 상품 데이터에 대한 블록체인 데이터를 생성하는 동작, 블록체인 정보의 등록, 검증, 조회, 소유권 정보의 거래, 양도 동작을 수행하도록 구성될 수도 있다. NFT의 대상으로서 콘텐츠 상품은 제1 사용자(100_1)가 마켓 사이트에 업로드한 배경 스티커, 창작 이모티콘을 포함한다.
상기 블록체인 네트워크(20)는 네트워크를 통해 콘텐츠 서비스 시스템(1)과 연동되며, 콘텐츠 서비스 시스템(1)에서 발생하는 데이터를 처리할 수 있다. 상기 블록체인 네트워크(20)는 검증 가능한 방식으로 시스템 또는 컴퓨터의 보안 그룹 간에 데이터를 기록하고 추적하는 정보를 포함한, 분산된 블록 그룹이다. 블록체인 네트워크(20)는 블록체인 구조의 분산 데이터베이스를 구현하는 P2P 네트워크 시스템으로 이해될 수 있다.
블록체인 네트워크(20)는 서로 연결된 복수 개의 컴퓨팅 장치(이하, '노드')들을 포함하는 피투피 네트워크로 이해될 수 있고, 각각의 노드는 하나 이 상의 프로세서를 포함하여 연산을 수행할 수 있다.
상기 블록체인 네트워크(20) 내 블록체인 데이터는 안전하고 신뢰하도록 취급된다. 이를 위해, 상기 블록체인 네트워크(20)는 원장(ledger)을 공개적으로 배포하여, 네트워크의 적어도 일부의 사용자가 각 블록 내의 모든 컨텐츠를 볼 수 있고, 사용자는 변경 사항을 볼 수 있게 한다.
각 블록에는 이전 블록에 연결되는 해시 값(디지털 지문)이 있어, 변경 사항을 매우 쉽게 알 수 있다. 이러한 해시 값에 기반하여 블록체인 데이터의 무결성을 보장하는 기술은 블록체인의 원천기술로 취급되며, 이러한 블록체인(Block chain)의 원천기술은 바로 네트워크 참여자 간의 합의 메커니즘으로 볼 수 있다. 상기 합의 메커니즘은 퍼블릭 블록체인과 프라이빗 블록체인에 따라 그 특성이 분리되는데, 전자의 블록체인의 합의 메커니즘으로는 컴퓨팅 파워에 의존하는 작업증명(PoW : Proof of Work), 암호화폐 보유량에 의존하는 지분증명(PoS : Proof of Stake), 평판 및 투표에 의해 일종의 국회를 구성하는 방식인 위임지분방식(DPoS : Delegated Proof of Stake) 등을 포함하며, 프라이빗 블록체인 합의 방식으로 대표적인 것이 비잔틴장군 문제를 해결하는 솔루션인 PBFT(Practical Byzantine Fault Tolerance) 방식 등을 포함할 수 있다. 그리고, 본 개시의 일 실시예에 따른 블록체인은 고유한 특성과 가치를 제공하는 BIX(Blue IndeX token)와 NFT(Non-Fungible Token)를 기반으로 하며, 신뢰성 확보 기술을 적용하는데, 신뢰성이란 상호 신뢰하지 않는 네트워크 참여자 간의 장부의 무결성(immutability)을 의미한다. 즉, 데이터 무결성을 보장한다는 것이며, 비밀성, 인증, 무결성, 부인봉쇄서비스를 제공한다.
상기 서버(130)를 통해 전자 장치(110)에게 공개 키 및 비밀 키가 발행된다.
공개 키는 블록체인 플랫폼(예컨대, 거래소)의 출처임을 확인시켜주는 특정 블록체인 기술을 사용하는 발신자에 대해서만 생성된다.
블록체인 계좌 정보는 비밀 키(private key)와 공개 키(public key)를 포함할 수 있다. 상기 콘텐츠 서비스 시스템(1)에 참여한 사용자는 블록체인 네트워크(20)에 등록된 블록체인 계좌 정보를 가질 수도 있다.
비밀 키는 블록체인 네트워크(20) 내 모든 사용자에게 공급되어 시스템 내의 모든 사람이 고유한 사용자를 정확하게 식별하는데 사용된다. 비밀 키는, 블록체인 네트워크(20)에서 트랜잭션(예: 제1 사용자 계좌로부터 제2 사용자 계좌로 '디지털 지급수단'이 이체되도록 하는 트랜잭션, 스마트 컨트랙트를 블록체인 네트워크(20) 상에 배포하는 트랜잭션, 스마트 컨트랙트를 실행시키는 트랙잭션 등)이 발생하도록 하기 위한 사용자의 디지털 서명으로 기능할 수 있다. 공개 키는 사용자의 계좌 주소(account address, 이하, '계좌')로 기능할 수 있다.
NFT를 저장할 수 있는 지갑은 개인 키를 사용하여 동작한다. 다양한 실시 예에서, 지갑은 사람이 인식할 수 있는 (human-readable) 문자열 또는 숫자열을 포함할 수 있다.
각 NFT에는 디지털 자산의 소유권을 증명하고, 사용자가 본질적으로 디지털 영수증을 소유할 수 있도록 하는 정보를 포함한 특정 블록 그룹을 가진다. 본 명세서에서 디지털 자산은 콘텐츠 상품을 서술하는 일부 또는 전부의 정보를 포함한다. 예를 들어, 상기 디지털 자산은 배경 스티커 데이터, 창작 이모티콘 데이터의 일부 또는 전부의 정보일 수도 있다.
상술한 예시에 기재된 '디지털 지급수단'은 암호화폐(crypto currency)를 포함할 수 있다. 암호화폐는 블록체인 네트워크(20) 내에서 분산형 시스템 방식으로 기록되는 지급수단이며, 디지털 토큰(digital token, 이하 '토큰')을 포함하는 개념의 용어로 사용되기도 하지만, 본 문서의 설명에서는 이해의 편의를 위해 '암호화폐'와 '토큰'을 아래와 같이 구분하여 사용하기로 한다.
본 명세서의 설명에서 암호화폐는 하나의 블록체인 네트워크(20)가 탄생하는 순간부터 데이터 기록 및 신뢰 유지의 보상 수단으로 사용되는 지급수단을 지칭하며, 이러한 의미로 암호화폐를 지칭하는 경우에는 네이티브 암호화폐라는 명칭으로 지칭될 수도 있다. 다만, 본 문서의 청구범위에 기재된 '암호화폐'라는 용어가 반드시 '네이티브 암호화폐'의 개념만을 포함하는 것은 아니며, '토큰'의 개념도 포함할 수 있다.
본 명세서의 설명에서 암호화폐에 개념적으로 구현된 토큰은 하나의 블록체인 네트워크(20)에서 부가적으로 발생한 디지털 교환수단으로서 소정의 용도 또는 가치를 지닐 수 있다. 토큰은 블록체인 네트워크(20)에 참여하는 노드가 자발적으로 생성할 수 있으며, 블록체인 네트워크(20) 내에서 분산형 시스템 방식으로 토큰의 발생, 이체, 사용 정보가 기록될 수 있다. 위에서 설명한 용어의 개념을 설명하기 위해 이더리움 기반 블록체인 네트워크(20)를 예시로 사용할 경우, 암호화폐는 이더리움을 의미하고, 토큰은 ERC-721 규약에 따라 이더리움 블록체인 네트워크(20)에서 발행된 ERC-721 토큰을 의미할 수 있다.
트랜잭션은 블록체인 네트워크(20)를 이용하는 노드(예: 서버(130), 전자 장치(110))에 의해 생성 또는 실행될 수도 있다. 트랜잭션은 디지털 자산과 관련된 정보, 또는 NFT/암호화폐의 이체에 관한 정보, 스마트 컨트랙트에 관한 정보를 포함할 수 있다. 노드는 트랜잭션의 처리 결과를 블록체인을 통해 확인할 수 있다.
블록체인 네트워크(20)상에서 발생되는 트랜잭션들은, 상기 트랜잭션들을 생성한 주체의 블록체인 계좌의 비밀 키에 의해 암호화 서명되므로, 블록체인 네트워크(20)상에 위변조가 불가능한 암호학적 증명 데이터로서 기록될 수 있다.
트랜잭션이 발생되면, 블록체인 네트워크(20)의 노드들은 발생한 트랜잭션의 무결성을 검증하고, 블록체인 네트워크(20)에 구현된 합의 알고리즘(예: POW(Proof of Work), POS(Proof of Stake), DPOS(Delegated Proof of Stake) 등)에 기초해 기 생성된 블록에 이어질 새로운 블록을 생성하며, 새로이 생성된 블록은 다른 노드들에게 전파되면서 트랜잭션이 실행될 수 있다. 블록은 복수의 트랜잭션 정보를 포함할 수 있다.
블록에 대한 정보는 노드들이 공유하는 트랜잭션 데이터베이스에 저장될 수 있다. 트랜잭션 데이터베이스는 복수 개의 노드들이 같은 정보를 공유하는 공공 원장(public ledger)으로 이해될 수 있다.
블록체인 네트워크(20)는 다양한 노드들에 의해 제공되는 다양한 스마트 컨트랙트를 배포 및 실행할 수 있다. 스마트 컨트랙트는 디지털 명령어로 기재된 규약으로서, 블록체인 네트워크(20)에서 규약의 조건을 따르는 이벤트가 발생 할 경우, 정해진 규약에 따라 특정 트랜잭션이 발생하도록 하거나 다른 스마트 컨트랙트를 실행할 수 있다. 상기 스마트 컨트랙트에 의해 처방전, 조부의 보관 동작이 보다 간편하게 수행될 수도 있다.
특정 실시 예들에서, 상기 블록체인 네트워크(20)는 이더리움(Ethereum) 네트워크 또는 기타 작업증명(POS, Proof of Stake) 기반 블록체인 네트워크에 대응할 수도 있다.
상기 서버(130)는 블록체인 네트워크(20)의 노드로서 동작할 수도 있다. 이로 인해, 상기 서버(130)는 블록체인 네트워크(20)의 복수의 노드들 사이에 공유되는 블록체인 데이터에 콘텐츠 상품 데이터를 저장하거나 기 저장된 데이터를 검색할 수도 있다.
일부 실시 예들에서, 배경 스티커에 대한 NFT(이하, 배경 스티커 NFT), 창작 이모티콘에 대한 NFT(이하, 창작 이모티콘 NFT)는 스마트 컨트랙트와 함께 발행될 수도 있다. 해당 NFT의 스마트 컨트랙트는 암호화폐 기반 매매 동작을 소유권 이전 동작의 수행 조건으로 가질 수도 있다.
이러한 서버(130)의 동작에 대해서는 아래의 도 23을 참조해 보다 상세히 서술한다.
도 23은, 본 출원의 다양한 실시 예들에 따른, 창작 이모티콘 NFT를 발행하는 과정의 흐름도이다.
창작 이모티콘을 생성하는 제1 사용자(100_1)는 발행 요청자로서 제1 전자 장치(110_1)를 통해 창작 이모티콘 NFT 발행을 요청할 수 있다. 제2 사용자(100_2)는 1차 구매자이면서 2차 판매자일 수도 있다.
도 23을 참조하면, 상기 창작 이모티콘 NFT를 발행하는 과정은: 발행 요청자의 제1 전자 장치(110_1)로부터 사용자 자신의 창작 이모티콘 식별자를 포함한 창작 이모티콘 NFT에 대한 발행 요청을 서버(130)에서 수신하는 단계(S2010), 및 서버(130)에 의해 상기 제1 사용자(100_1)의 창작 이모티콘에 대응한 고유한 토큰 ID를 갖고 상기 제1 사용자(100_1)의 계좌 주소(또는 지갑 주소)를 소유자 주소로 갖는, 상기 제1 사용자(100_1)의 창작 이모티콘 NFT를 블록체인 네트워크(20) 상에 생성하는 단계(S2030)를 포함한다.
단계(S2010)에서 발행 요청자의 제1 전자 장치(110_1)은 창작 이모티콘 식별자를 포함한 NFT에 대한 발행 요청을 생성할 수도 있다. 서버(130)의 제1 저장 공간(60)에 창작 이모티콘 데이터가 저장되어 있기 때문에, 창작 이모티콘 데이터를 포함한 발행 요청이 불필요하다.
제1 전자 장치(110_1)는 NFT 생성을 위한 화면을 제공할 수 있다. 상기 화면은 이미 생성된 창작 이모티콘 중에서 NFT를 발행할 대상 창작 이모티콘을 선택하도록 구성된다. 대상 창작 이모티콘이 선택되면, 제1 전자 장치(110_1)은 선택한 창작 이모티콘에 대해서 NFT가 생성되는 동작을 개시한다(S2010).
상기 NFT에 대한 발행 요청은 NFT 발행 대상으로서 창작 이모티콘 식별자, 및 해당 창작 이모티콘 데이터의 소유권을 분할한 개수에 대응한 발행량을 포함할 수도 있다. 일부 실시 예들에서, 상기 발행량은 1개로 미리 설정될 수도 있다.
서버(130)는 상기 NFT 발급 요청에 기초하여 제1 사용자(100_1)의 창작 이모티콘 NFT를 발행한다(S2030). 서버(130)는 블록체인 네트워크(20)에 미리 배포된 스마트 컨트랙트를 사용하여 상기 창작 이모티콘 데이터에 대응한 고유한 토큰 ID를 갖고 상기 제1 사용자(100_1)의 계좌 주소를 소유자 주소로 갖는 분할 개수의 NFT를 블록체인 네트워크(20) 상에 생성할 수도 있다. 상기 창작 이모티콘 데이터는 토큰 ID와 매핑된다.
일부 실시 예들에서, 상기 스마트 컨트랙트는 제1 규약을 갖는 스마트 컨트랙트일 수도 있다. 서버(130)는 지정된 계좌에 정해진 수량의 NFT를 발행하는 제1 규약을 갖는 스마트 컨트랙트 관련 정보를 생성하고 상기 제1 규약을 갖는 스마트 컨트랙트를 블록체인 네트워크(20)에 전파할 수도 있다. 상기 서버(130)는 상기 스마트 컨트랙트를 전파하여 창작 이모티콘 NFT를 발행할 수도 있다.
전술한 예시를 참조하면, 이더리움 네트워크에 기반한 시스템(1)에서 스마트 컨트랙트는 ERC-1155 또는 ERC-721 토큰 표준을 따라 작성된 스마트 컨트랙트일 수도 있다. 일부 실시 예들에서, 상기 제1 규약의 발행량은 1개일 수도 있다. 즉, NFT 발급 요청 당 1개의 NFT가 발행될 수도 있다.
단계(S2030)에서 블록체인 네트워크(20) 상에 생성된, 발행량만큼의 NFT 각각의 최초 소유자는 요청 사용자로 지정된다. 상기 콘텐츠 서비스 시스템(1)에서 해당 사용자의 NFT가 최초 발행되었을 경우, 최초 발행량만큼의 NFT는 사용자의 계좌 주소로 곧바로 전송될 수도 있다(S2030).
일부 실시 예들에서, 상기 단계(S2030)는, 발행 요청에 포함된 제1 사용자(100_1)의 창작 이모티콘 데이터를 블록체인 네트워크(20)의 외부에 존재하는 파일 DB 시스템(150)에 저장하는 단계, 상기 창작 이모티콘과 관련된 정보를 포함하는 메타데이터를 생성한 후, 상기 메타데이터를 파일 DB 시스템(150)에 저장하는 단계를 포함할 수도 있다.
서버(130)는 창작 이모티콘 데이터의 정보 전체를 메타데이터의 항목으로 이용하거나 또는 창작 이모티콘 데이터의 정보 중 미리 지정된 일부 항목을 메타데이터의 항목으로 이용할 수도 있다. 예를 들어, 메타데이터는 소유주 관련 항목들, 거래 이력 관련 항목들, 창작 이모티콘 관련 항목들로 분류되며, 상기 창작 이모티콘 관련 항목들은 창작 이모티콘 데이터의 파라미터 중 일부(예컨대, 창작자, 이모티콘 객체 식별자, 배경 스티커 식별자, 크기, 파일 형식 등) 또는 전부일 수도 있다.
특정 실시 예들에서, 상기 파일 DB 시스템(150)은 분산형 파일 시스템(IPFS, InterPlanetary File System)일 수도 있다.
또한, 상기 NFT에 대한 발행 요청은 제1 사용자(100_1)와 관련된 정보를 더 포함할 수도 있다. 상기 제1 사용자(100_1)와 관련된 정보는 제1 사용자의 성명, 제1 사용자에 대한 프로파일, 및/또는 제1 사용자의 전자 서명을 더 포함할 수도 있다. 이를 위해, 제1 전자 장치(110_1)은 이들 정보를 입력받도록 더 구성될 수도 있다.
그러면, 서버(130)는 발행량만큼의 NFT를 생성할 때, 발행 요청에 포함된 창작 이모티콘 데이터는 파일 DB 시스템(150)에 저장한다. 또한, 상기 서버(130)는 상기 창작 이모티콘 데이터에 대한 해시 값을 산출한 후 상기 제1 사용자의 성명, 제1 사용자에 대한 프로파일, 제1 사용자의 계좌 주소, 제1 사용자의 전자 서명, 상기 해시 값 및/또는 파일 DB 시스템(150)에 저장된 창작 이모티콘 데이터에 액세스 가능한 경로 데이터를 포함한 메타데이터를 생성하여 파일 DB 시스템(150)에 저장할 수도 있다. 상기 서버(130)는 창작 이모티콘 데이터 및 해당 메타데이터에 포함된, 제1 사용자(100_1), 창작 이모티콘에 대한 다양한 정보들을 내부 데이터베이스에 추가적으로 저장할 수도 있다.
상기 창작 이모티콘에 대한 메타데이터는 해당 사용자의 경로 데이터(예컨대, URL, 기타경로 주소)를 포함하므로, 후술하는 바와 같이, 상기 제1 사용자의 NFT가 이체되어 상기 제1 사용자가 소유하는 NFT가 0개가 되는 경우에도, 창작 이모티콘 데이터를 입력/등록한 사람은 이 사용자라는 사실은 판매된 NFT에 연관된 메타데이터에 지속적으로 저장되어 유지된다.
이와 같이 상기 콘텐츠 서비스 시스템(1)은 창작 이모티콘 데이터와 상기 창작 이모티콘 데이터에 대한 메타데이터를 블록체인 네트워크(20)의 외부에 존재하는 파일 DB 시스템(150)에 저장하고 상기 메타데이터에 액세스 가능한 경로 데이터와 NFT의 토큰 ID를 서로 연관시켜 블록체인 네트워크(20)에 저장하는 저장 구조를 가짐으로써, 창작 이모티콘 데이터 또는 메타데이터의 저장에 소요되는 시간 및 비용을 절감할 수 있고, 창작 이모티콘 데이터 또는 메타데이터에 보다 빠르게 접근할 수 있다. 나아가, 토큰 ID와 메타데이터의 연결 관계가 명확하게 보장된다.
일부 실시 예들에서, 파일 DB 시스템(150)에 저장된 메타데이터의 내용이 변경됨으로써 블록체인 네트워크(20)에 생성된, 창작 이모티콘 NFT와 소스 데이터(즉, 창작 이모티콘 데이터) 사이의 연결이 단절, 변경되는 것을 방지하기 위해, 서버(130)는 메타데이터에 포함된 정보들 중 적어도 하나의 정보를 블록체인 네트워크(20)에 추가로 저장할 수도 있다(S2030).
예를 들어, 서버(130)는 메타데이터에 포함된 창작 이모티콘 데이터에 대한 경로 데이터를 블록체인 네트워크(20)에 추가로 저장할 수도 있다. 그러면, 창작 이모티콘 NFT와 소스 데이터(창작 이모티콘 데이터) 사이의 연결이 보다 강화된다.
또한, 도 23의 상기 창작 이모티콘 NFT를 발행하는 과정은: 단계(S2030)에서 발행된 제1 사용자(100_1)의 창작 이모티콘 NFT를 제2 사용자(100_2)와의 거래를 통해 이체하는 단계(S2050)를 포함한다.
상기 단계(S2050)에서 콘텐츠 서비스 시스템(1)은 단계(S2030)에서 발행된 제1 사용자(100_1)의 창작 이모티콘 NFT를 제1 사용자(100_1)와 제2 사용자(100_2) 간의 거래를 통해 열람 권한을 발행 요청자 이외의 다른 사용자에게 제공할 수도 있다.
특정 실시 예들에서, 상기 NFT의 거래는 암호화폐에 기초하여 수행될 수도 있다. 이 경우, 상기 콘텐츠 서비스 시스템(1)은 거래소 서버(140)를 더 포함할 수도 있다.
거래소 서버(140)는 해당 거래소가 허용하는 암호화폐를 사용하여 NFT의 거래 프로세스를 수행하도록 구성된다. 일부 실시 예들에서, 상기 거래소 서버(140)는 서버(130)의 운영자에 의해 운영될 수도 있다.
상기 사용자의 창작 이모티콘 NFT를 거래하는 단계(S2050)는, 서버(130)에서 전자 장치(110)로부터 창작 이모티콘 NFT 상장 요청을 수신하는 단계; 및 상기 서버(130)는 사용자의 창작 이모티콘에 대한 발행량만큼의 NFT에 대한 자유로운 거래를 위해 해당 NFT를 거래소 서버(140)에 상장(going public)하는 단계를 포함할 수도 있다.
단계(S2050)의 전자 장치(110)은 단계(S2010)의 NFT에 대한 발행 요청자의 제1 전자 장치(110_1)일 수도 있다. 서버(130)는 제1 전자 장치(110_1)로부터 수신되는 상기 상장 요청에 반응하여 이미 발행된 NFT를 거래소 서버(140)에 상장할 수도 있다.
상기 NFT가 거래소 서버(140)에 상장될 경우, 거래소 서버(140)는 하나 이상의 NFT를 소유하고 있는 제1 전자 장치(110_1)로부터 해당 NFT에 대한 판매 가격을 수신하거나 판매 가격과 매도 개수의 조합을 수신할 수도 있다. NFT가 1개 발행될 경우, 거래소 서버(140)는 매도 개수의 정보를 수신하는 것이 불필요하다.
또한, 거래소 서버(140)는 하나 이상의 제2 사용자(100_2)의 제2 전자 장치(110_2)로부터 해당 NFT에 대한 구매 가격을 수신하거나 구매 가격 및 매수 개수의 조합을 수신할 수도 있다. NFT가 1개 발행될 경우, 거래소 서버(140)는 매수 개수의 정보를 수신하는 것이 불필요하다.
거래소 서버(140)는, 동일한 NFT에 대해서 판매 가격과 구매 가격이 매칭할 경우, 일치한 판매 가격을 전송한 제1 전자 장치(110_1)의 제1 사용자(100_1)를 매도자로 결정하고, 매칭하는 구매 가격을 전송한 제2 전자 장치(110_1)의 제2 사용자(100_2)를 구매자로 결정할 수도 있다. 매도 개수 및 매수 개수 중 작거나 같은 개수가 거래 개수로 결정될 수도 있다.
일부 실시 예들에서, 거래소 서버(140)도 블록체인 네트워크(20)에 연동되어 블록체인 네트워크(20)의 노드로 동작할 수도 있다. 그러면, 거래소 서버(140)는 거래 개수에 판매 가격을 곱한 거래 금액에 대응한 암호화폐(들)를 상기 구매자의 계좌 주소로부터 상기 판매자의 계좌 주소로 전송하고, 블록체인 네트워크(20) 상에 배포된 스마트 컨트랙트를 사용하여 체결량 만큼의 창작 이모티콘 NFT를 판매자의 계좌 주소로부터 구매자의 계좌 주소로 전송할 수도 있다.
상기 스마트 컨트랙트는 사용자가 미리 지정된 계좌(예컨대, 소유자 계좌)로 거래 금액에 대응한 암호화폐를 이체할 경우, 거래 금액에 대응한 창작 이모티콘 NFT를 이체자(즉, 구매자)의 계좌 주소로 이체시키는 이체 트랜잭션을 발생시키도록 구성된다.
또한, 거래소 서버(140)는 체결량만큼의 NFT의 소유권이 상기 판매자의 계좌 주소에서 구매자의 계좌 주소로 변경된 트랜잭션 이력을 블록체인 네트워크(20)에 저장할 수도 있다.
일부 실시 예들에서, 상기 거래소 서버(140)는 암호화폐의 전송에 따른 체결량 만큼의 창작 이모티콘 NFT의 소유권 이전의 트랜잭션, 및 변경된 이력을 블록체인 네트워크(20)에 저장하는 트랜잭션을 동시에 수행할 수도 있다. 예를 들어, 거래소 서버(140)는 ERC-1155 또는 ERC-721 토큰 표준에 따라 구현 가능한 트랜스퍼싱글 이벤트 또는 트랜스퍼배치 이벤트를 사용하여 상기 소유권 이전의 트랜잭션 및 저장 트랜잭션을 동시에 수행할 수도 있다.
다른 일부 실시 예들에서, 상기 거래소 서버(140)는 판매자 정보, 구매자 정보, 판매 가격, 체결량 중 일부 또는 전부를 서버(130)에 공급할 수도 있다. 이 경우, 서버(130)는 상기 소유권 이전의 트랜잭션 및 저장 트랜잭션을 수행할 수도 있다. 즉, 시스템(1)에서 거래소 서버(140)가 판매자, 구매자를 결정하는 동작을 주로 수행하고, 실제 블록체인 데이터의 소유권 이전은 서버(130)가 수행하도록 구성될 수도 있다.
상기 시스템(1)에서 특정 사용자(예컨대, 판매자)의 NFT 중 적어도 하나를 구매한 구매자는 자신의 전자 장치(110)을 통해 구매한 NFT에 연관된 창작 이모티콘 데이터 중 일부 또는 전부를 열람할 수도 있다. 창작 이모티콘 NFT는 소스 데이터로서 창작 이모티콘 데이터에 액세스하기 위한 경로 데이터를 포함하므로, 창작 이모티콘 데이터에 대한 열람 권한으로 취급될 수도 있다. 즉, 상기 사용자의 창작 이모티콘 NFT를 적어도 부분적으로 소유한 사용자 또는 다른 사용자의 사용자 단말만이 상기 창작 이모티콘 NFT에 대응한 창작 이모티콘 데이터에 액세스 가능하다.
구매자의 전자 장치(110)은 서버(130)에 미리 저장된 창작 이모티콘 데이터의 열람 요청을 전송할 수도 있다. 상기 열람 요청은 해당 창작 이모티콘 NFT를 포함한다.
상기 서버(130)는 상기 열람 요청 내 NFT에 포함된 경로 데이터에 기초하여 파일 DB 시스템(150)에 이미 저장된 창작 이모티콘과 관련된 정보, 창작자와 관련된 정보 중 일부 또는 전부를 상기 열람 요청을 전송한 구매자의 전자 장치(110)로 전송할 수도 있다.
다른 특정 실시 예들에서, 상기 NFT의 거래는 서비스 포인트에 기초하여 마켓 사이트를 통해 수행될 수도 있다. 즉, 마켓 사이트의 콘텐츠 상품은 창작 이모티콘 NFT, 배경 스티커 NFT와 같은 마켓 사이트의 다른 콘텐츠 상품에 기반한 NFT를 더 포함한다. 상기 콘텐츠 서비스 시스템(1)은 지불 수단으로 허용하는 서비스 포인트를 사용하여 NFT의 거래 프로세스를 수행하도록 구성되며, 마켓 관리 모듈(133)은 NFT로 이루어진 상품 카테고리를 형성할 수도 있다. 즉, 거래소 서버(140)가 불필요하며, 거래소 서버(140)의 동작 중 적어도 일부는 서버(130)에서 구현될 수도 있다.
이 경우, 상기 사용자의 창작 이모티콘 NFT를 거래하는 단계(S2050)는, 서버(130)는 (예컨대, 마켓 관리 모듈(133)에서) 마켓 사이트에 콘텐츠 상품으로서 소유하고 있는 NFT를 업로드하기 위해, 하나 이상의 NFT를 소유하고 있는 제1 전자 장치(110_1)로부터 해당 NFT에 대한 판매 가격을 수신하거나 판매 가격과 매도 개수의 조합을 수신하는 단계; 하나 이상의 제2 사용자(100_2)의 제2 전자 장치(110_2)로부터 마켓 사이트에 업로드된 해당 NFT에 대한 구매 가격을 수신하거나 구매 가격 및 매수 개수의 조합을 수신하는 단계를 포함할 수도 있다.
NFT가 1개 발행될 경우, 서버(130)는 매도 개수의 정보를 수신하는 것이 불필요하다. 또한, NFT가 1개 발행될 경우, 서버(130)는 매수 개수의 정보를 수신하는 것이 불필요하다.
서버(130)는, 동일한 NFT에 대해서 판매 가격과 구매 가격이 매칭할 경우, 일치한 판매 가격을 전송한 제1 전자 장치(110_1)의 제1 사용자(100_1)를 매도자로 결정하고, 매칭하는 구매 가격을 전송한 제2 전자 장치(110_1)의 제2 사용자(100_2)를 구매자로 결정할 수도 있다. 매도 개수 및 매수 개수 중 작거나 같은 개수가 거래 개수로 결정될 수도 있다.
전술한 바와 같이 서버(130)는 블록체인 네트워크(20)에 연동되어 블록체인 네트워크(20)의 노드로 동작하는 바, 서버(130)는 블록체인 네트워크(20) 상에 배포된 스마트 컨트랙트를 사용하여 체결량만큼의 창작 이모티콘 NFT를 판매자의 계좌 주소로부터 구매자의 계좌 주소로 전송할 수도 있다. 또한, 서버(130)는 창작 이모티콘 NFT의 전송과 동시에 거래 개수에 판매 가격을 곱한 거래 금액에 대응한 포인트를 상기 구매자의 포인트 지갑으로부터 상기 판매자의 포인트 지갑에 전송한다.
추가적으로, 상기 콘텐츠 서비스 시스템(1)은 일부 창작자의 창작 이모티콘에 대해 특별하게 NFT를 발행하도록 구성될 수도 있다.
일부 실시 예들에서, 상기 창작 이모티콘 NFT를 발행하는 과정은: 서버(130)에 의해, NFT 발행 권한자 목록을 생성하는 단계(S2020)를 더 포함할 수도 있다.
상기 NFT 발행 권한자 목록은 NFT 발행 권한을 갖는 창작자 목록이다. 상기 NFT 발행 권한을 갖는 창작자는 도 12의 투표 결과에 기초하여 선별될 수도 있다.
일부 실시 예들에서, 상기 서버(130)는 도 12의 투표 결과에 기초하여 가장 많은 투표를 받은 창작자로부터 미리 설정된 임계 순위까지의 창작자를 NFT 발행 권한을 갖는 창작자로 선별할 수도 있다. 상기 임계 순위는, 예를 들어 10위 또는 100위일 수도 있으나, 이에 제한되진 않는다.
그러면, 상기 단계(S2030)는, 서버(130)에 의해, 발행 요청자가 단계(S2020)의 NFT 발행 권한자 목록에 포함된 NFT 발행 권한자인지 확인하고, NFT 발행 권한자인지 확인된 경우에 창작 이모티콘 NFT를 발행하는 것일 수도 있다.
상기 창작 이모티콘 NFT는 최초 발행 이후 2차, 3차 거래를 통해 그 거래 가격이 상승할 수 있다. 거래 가격은 해당 창작 이모티콘 NFT의 예술성, 상징성, 기타 가치가 반영되어 결정된다. 전술한 바와 같이 높은 수의 투표를 받은 창작 이모티콘을 NFT로 변환할 경우, 거래가 진행될수록 더 높은 가격이 형성될 수도 있다. 창작 이모티콘 NFT의 최종 구매자는, 이러한 인기 창작 이모티콘의 원작 데이터를 보유하게 된다.
한편, 상기 도 23의 발행 과정에 따른 NFT의 발행 대상은 창작 이모티콘으로 제한되지 않는다. 상기 NFT의 발행 대상은 배경 스티커일 수도 있다. 이 경우, 제1 전자 장치(110_1)는 배경 스티커 데이터를 생성하고 배경 스티커 NFT의 발행을 요청할 수도 있다. 상기 도 23의 발행 과정에서 배경 스티커 데이터가 사용된 동작은 도 16의 과정에서 창작 이모티콘이 사용된 동작에 대응한다. 예를 들어, 도 23에서 배경 스티커 관련 동작들은 도 15의 과정 내 창작 이모티콘에 대한 동작들에서 창작 이모티콘을 배경 스티커로 교체한 동작들과 동일 또는 유사할 수 있다. 이와 같이 도 23의 배경 스티커 NFT의 발행 과정은 도 15의 이모티콘 NFT의 발행과정과 유사하므로, 차이점을 위주로 서술한다.
일부 실시 예들에서, 상기 배경 스티커 NFT의 발행량은 1개 이상으로 설정될 수도 있다. 예를 들어, 상기 배경 스티커 NFT의 발행량은 50개 또는 그 미만으로 설정될 수도 있다.
상기 배경 스티커 NFT 또한 거래될 수도 있다. 일부 실시 예들에서, 상기 배경 스티커 NFT의 1차 구매는 경매를 통해 수행될 수도 있다. 낙찰자의 전체 수는 배경 스티커 NFT의 발행량 이하일 수도 있다. 하나의 낙찰자가 다수의 배경 스티커 NFT를 낙찰받을 수도 있다.
상기 서버(130)는 창작자의 배경 스티커 NFT를 구매한 구매자에 대해, 다양한 혜택을 제공할 수도 있다. 단일 배경 스티커 NFT에 대해 N차 구매자가 있을 경우, 혜택을 제공할 당시 배경 스티커 NFT를 소유하는 구매자에게 혜택이 제공된다.
일 실시 예에서, 상기 서버(130)는 배경 스티커 NFT를 구매한 구매자에 대해, 상기 배경 스티커 NFT를 이용하여 생성된 창작 이모티콘이 마켓 사이트에 업로드되면, 업로드된 창작 이모티콘의 판매 금액 보다 적은 금액으로 상기 창작 이모티콘을 구매하는 구매 권한을 제공할 수도 있다. 상기 구매 권한은 할인율, 또는 할인 금액을 포함한다. 상기 할인율은 100%일 수도 있다.
이와 같이 하나의 배경 스티커 NFT를 구매할 경우 다수의 창작 이모티콘을 추가로 보유할 수 있어, 배경 스티커 NFT의 구매에 대한 니즈를 증가시킬 수 있다.
또한, 일 실시 예에서, 상기 서버(130)는 창작자의 배경 스티커 NFT를 소유한 구매자에 대해, 상기 창작자의 후속 배경 스티커 NFT에 대한 선 구매 권한을 제공할 수도 있다. 서버(130)는 상기 배경 스티커 NFT를 권리 증명으로 사용하여 상기 배경 스티커 NFT를 소유하고 있는 구매자를 검색하고, 상기 후속 배경 스티커 NFT에 대해 선 구매 권한을 갖는 사용자(100)에게 구매 의사를 확인하고, 선 구매 권한을 갖는 사용자(100)의 구매가 완료된 이후에 나머지 발행량으로 상기 후속 배경 스티커 NFT의 1차 구매를 위한 경매를 수행할 수도 있다.
추가적으로(Additionally), 상기 콘텐츠 서비스 시스템(1)은 서비스 대표 NFT를 발행하도록 더 구성될 수도 있다.
상기 서비스 대표 NFT는 PFP(profile picture) 형태로 몇몇 창작자에게 지급될 수도 있다. 상기 서비스 대표 NFT의 지급 인원의 수는 서비스 규모에 따라 가변적일 수도 있다. 상기 서비스 규모는 사용자의 수, 창작자의 수, 콘텐츠 상품의 전체 상품 수, 유형의 수에 의존한다. 지급 인원의 수는 서비스 규모가 성장할수록 점차 증가할 수도 있다. 예를 들어, 지급 인원의 수는 최초 100명으로 시작해서 추후 10,000명까지 증가할 수도 있다.
일부 실시 예들에서, 상기 서비스 대표 NFT의 발행은 전자 장치(110)로부터의 발행 요청 없이 미리 설정된 발행 조건을 만족하는 것에 반응하여 개시될 수도 있다. 상기 미리 설정된 발행 조건은 상기 서비스 규모가 미리 설정된 사용자의 수, 미리 설정된 창작자의 수, 미리 설정된 콘텐츠 상품의 수, 미리 설정된 콘텐츠 상품의 유형의 수일 수도 있다. 상기 서버(130)는 N차의 발행 조건을 미리 저장할 수도 있다. 상기 N차의 발행 조건은 차수가 커질수록 더 큰 조건 값을 가진다.
상기 서비스 대표 NFT의 지급 인원은 서비스 대표 NFT의 발행 시점까지 누적된 창작자에 대한 투표 내역에 기초하여 산출될 수도 있다.
서버(130)는 서비스 개시 시점부터 서비스 대표 NFT의 발행 시점까지의 서비스 기간 중에서 각각의 창작자가 투표 후보로 참여하여 진행된 투표 내역을 검색하고, 투표 내역에서 해당 창작자가 획득한 투표 수를 검색하며, 검색된 투표 수의 총 합산 값에 기초하여 미리 설정된 지급 인원의 수만큼의 창작자를 선별할 수도 있다. 투표 수의 총 합산 값이 클수록 지급 인원에 우선 선발된다.
지급 인원으로 선발된 창작자가 이미 서비스 대표 NFT를 지급 받은 경우, 상기 창작자는 지급 인원에서 제외된다. 제어된 수 만큼 총 합산의 다음 순위의 창작자가 지급 인원으로 재-선별된다.
예를 들어, 최초 발행 시점에 100명이 서비스 대표 NFT를 이미 지급받은 상태에서 서비스 규모가 2차 발행 시점의 조건을 만족하여 1000개의 서비스 대표 NFT를 추가로 발행하는 경우, 서버(130)는 투표 내역을 통해 창작자가 투표 받은 총 합산 결과에 따른 누적 순위를 매길 수 있다. 상기 누적 순위에 최초 발행된 서비스 대표 NFT를 받은 창작자가 포함되어 있을 경우 해당 창작자들을 제외하고 1001위 이하의 창작자 중에서 제외된 창작자의 수만큼을 추가로 선별한다.
서버(130)는 상기 서비스 대표 NFT를 지급 받은 창작자에게 다양한 혜택을 제공할 수도 있다. 예를 들어, 서버(130)는 상기 서비스 대표 NFT를 지급 받은 창작자에게 포인트 또는 현금을 지불하거나, 또는 추가 보상을 제공할 수도 있다.
상기 콘텐츠 서비스 시스템(1)이 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 콘텐츠 서비스 시스템(1)은 데이터 엔트리를 위한 입력 장치, 및 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.
하드웨어를 이용하여 본 발명의 실시 예를 구현하는 경우에는, 본 발명을 수행하도록 구성된 ASICs(application specific integrated circuits) 또는 DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays) 등이 본 발명의 프로세서에 구비될 수 있다.
한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능한 저장 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 포함하는 저장 디바이스를 설명하기 위해 사용될 수 있는 프로그램 저장 디바이스들은, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능한 저장 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.
이상에서 설명된 실시 예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시 예를 구성하는 것도 가능하다. 발명의 실시 예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시 예의 일부 구성이나 특징은 다른 실시 예에 포함될 수 있고, 또는 다른 실시 예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명이 본 발명의 기술적 사상 및 본질적인 특징을 벗어나지 않고 다른 형태로 구체화될 수 있음은 본 발명이 속한 분야 통상의 기술자에게 명백할 것이다. 따라서, 상기 실시 예는 제한적인 것이 아니라 예시적인 모든 관점에서 고려되어야 한다. 본 발명의 권리범위는 첨부된 청구항의 합리적 해석 및 본 발명의 균등한 범위 내 가능한 모든 변화에 의하여 결정되어야 한다.

Claims (10)

  1. 이모티콘 서비스에 대한 회원으로 등록한 사용자의 전자 장치에서 메신저 어플리케이션을 통해 전송 가능한 창작 이모티콘을 생성하는 방법에 있어서,
    하나 이상의 동작을 구현하는 사용자를 연속적으로 촬영한 사용자의 촬영 시퀀스 이미지를 획득하고 상기 촬영 시퀀스 이미지로부터 이모티콘 객체 시퀀스 이미지와 관련된 이모티콘 객체 데이터를 획득하는 단계 - 상기 촬영 시퀀스 이미지는 각 동작에 따른 서브 세트를 포함하고, 상기 이모티콘 객체 시퀀스 이미지는 촬영 시퀀스 이미지 내 적어도 일부 영역을 각각 가지고 이모티콘 객체가 나타난 시퀀스 이미지를 포함함;
    배경 스티커 및 상기 창작 이모티콘을 포함한 콘텐츠 상품이 거래되는 마켓 사이트에서 상기 배경 스티커에 대한 구매를 상기 마켓 사이트를 운영하는 서버로 요청하여 해당 배경 스티커 데이터를 수신하는 단계 - 상기 배경 스티커는 하나 이상의 배경 시각 요소가 애니메이션으로 표현되는 애니메이션 시퀀스 이미지를 가지며, 상기 애니메이션 시퀀스 이미지는 각 배경 시각 요소에 따른 하나 이상의 서브 세트를 포함하고, 상기 배경 시각 요소는 배경 텍스트 또는 배경 객체임;
    상기 이모티콘 객체 시퀀스 이미지를 미리 학습된 동작 인식 모델에 입력하여 시퀀스 이미지 내 이모티콘 객체의 동작을 인식하는 단계;
    상기 배경 스티커 데이터로부터 상기 배경 스티커에 포함된 배경 시각 요소의 의미 정보를 획득하는 단계; 및
    상기 동작의 인식 결과 및 상기 배경 시각 요소의 의미 정보에 기초하여 배경 스티커 및 상기 이모티콘 객체 시퀀스 이미지를 결합한 창작 이모티콘 데이터를 생성하는 단계를 포함하는,
    방법.
  2. 제1항에 있어서, 상기 동작의 인식 결과 및 상기 배경 시각 요소의 의미 정보에 기초하여 배경 스티커 및 촬영 시퀀스 이미지 내 적어도 일부 영역을 각각 가지고 이모티콘 객체가 나타난 이모티콘 객체 시퀀스 이미지를 결합한 창작 이모티콘 데이터를 생성하는 단계는,
    구매된 배경 스티커의 프레임 크기와 이모티콘 객체 시퀀스 이미지의 프레임 크기가 상이할 경우, 구매된 배경 스티커의 프레임 크기와 일치하도록 상기 이모티콘 객체 시퀀스 이미지의 프레임 크기를 조절하는 단계;
    상기 촬영 시퀀스 이미지의 전체 출력 구간에서 상기 동작 인식 모델에 의해 인식된 동작에 따른 서브 출력 구간을 산출하는 단계;
    상기 배경 스티커의 전체 출력 구간에서 각 애니메이션 시퀀스 이미지에 나타난 배경 시각 요소의 의미에 따른 서브 출력 구간을 산출하는 단계;
    프레임 크기가 조절된 이모티콘 객체 시퀀스 이미지와 관련된 상기 이모티콘 객체 데이터를 이용하여 상기 제1 레이어에서 이모티콘 객체 시퀀스 이미지를 구현하는 단계;
    인식된 각 동작에 대해, 각 애니메이션 시퀀스 이미지에 나타난 배경 시각 요소의 의미가 해당 동작에 미리 연관된 의미에 대응할 경우 상기 애니메이션 시퀀스 이미지와 해당 동작을 매핑하는 단계;
    매핑된 배경 시각 요소의 서브 출력 구간의 시작 지점을 상기 해당 동작의 서브 출력 구간의 시작 지점과 일치하도록 상기 배경 스티커 데이터의 애니메이션 시퀀스 이미지 데이터를 조절하는 단계;
    조절된 애니메이션 시퀀스 이미지 데이터를 포함한 상기 배경 스티커 데이터를 이용하여 상기 제2 레이어에서 상기 배경 스티커의 애니메이션 시퀀스 이미지를 구현하는 단계를 포함하는,
    방법.
  3. 제2항에 있어서,
    단일 동작이 인식되고 상기 배경 스티커가 출력 순서가 서로 상이한 애니메이션 시퀀스 이미지를 포함한 경우에, 만약 각 애니메이션 시퀀스 이미지에 나타난 배경 시각 요소의 의미가 해당 동작에 미리 연관된 의미에 대응하면, 상기 애니메이션 시퀀스 이미지와 해당 동작을 매핑하는 단계는
    상기 복수의 배경 시각 요소와 인식된 단일 동작을 매핑하는 것을 포함하고,
    상기 배경 스티커 데이터의 애니메이션 시퀀스 이미지 데이터를 조절하는 단계는,
    상기 복수의 애니메이션 시퀀스 이미지 중 가장 빠른 출력 순서를 갖는 애니메이션 시퀀스 이미지의 서브 출력 구간의 시작 지점을 상기 해당 동작의 서브 출력 구간의 시작 지점과 일치하도록 상기 배경 스티커 데이터의 애니메이션 시퀀스 이미지 데이터를 조절하는 것을 특징으로 하는,
    방법.
  4. 제2항에 있어서,
    연속된 복수의 동작이 인식되고 상기 배경 스티커가 단일 애니메이션 시퀀스 이미지를 포함한 경우에, 만약 상기 단일 애니메이션 시퀀스 이미지에 나타난 배경 시각 요소의 의미가 각 동작에 미리 연관된 의미에 대응하면, 상기 애니메이션 시퀀스 이미지와 해당 동작을 매핑하는 단계는
    복수의 동작 각각을 상기 단일 애니메이션 시퀀스 이미지에 매핑하는 것을 포함하고,
    상기 배경 스티커 데이터의 애니메이션 시퀀스 이미지 데이터를 조절하는 단계는,
    상기 애니메이션 시퀀스 이미지의 서브 출력 구간의 시작 지점을 상기 연속된 복수의 동작 중 가장 빠른 출력 순서를 갖는 동작의 서브 출력 구간의 시작 지점과 일치하도록 상기 배경 스티커 데이터의 애니메이션 시퀀스 이미지 데이터를 조절하는 것을 특징으로 하는,
    방법.
  5. 제2항에 있어서,
    연속된 복수의 동작이 인식되고 상기 배경 스티커가 복수의 애니메이션 시퀀스 이미지를 포함한 경우에, 만약 상기 단일 애니메이션 시퀀스 이미지에 나타난 배경 시각 요소의 의미가 각 동작에 미리 연관된 의미에 대응하면, 상기 애니메이션 시퀀스 이미지와 해당 동작을 매핑하는 단계는
    복수의 동작 각각을 복수의 애니메이션 시퀀스 이미지와 매핑하는 것을 포함하고,
    상기 배경 스티커 데이터의 애니메이션 시퀀스 이미지 데이터를 조절하는 단계는,
    상기 복수의 애니메이션 시퀀스 이미지 간의 출력 순서를 지정하는 단계;
    인식된 복수의 동작 간의 출력 순서를 지정하는 단계; 및
    각각의 애니메이션 시퀀스 이미지의 서브 출력 구간의 시작 지점을 서로 매핑되고 동일한 출력 순서를 갖는 동작의 서브 출력 구간의 시작 지점과 일치하도록 상기 배경 스티커 데이터의 애니메이션 시퀀스 이미지 데이터를 조절하는 단계를 포함하는 것을 특징으로 하는,
    방법.
  6. 제1항에 있어서,
    상기 배경 시각 요소의 의미가 해당 동작에 미리 연관된 의미에 대응하는 지를 판단하기 위한 상기 배경 시각 요소의 단위는 동일한 애니메이션 효과가 적용된 텍스트 그룹 또는 객체 그룹이고,
    상기 배경 시각 요소의 의미는 감정 유형으로 분류되고,
    상기 배경 시각 요소의 의미가 해당 동작에 미리 연관된 의미에 대응하는 것은, 각각의 동작에 미리 연관된 감정 유형을 기록한 동작 의미 테이블을 이용하여 인식된 해당 동작에 미리 연관된 감정 유형 중 어느 하나의 감정 유형과 상기 배경 시각 요소가 분류된 감정 유형이 일치하는 것을 특징으로 하는,
    방법.
  7. 제2항에 있어서, 상기 방법은,
    상기 사용자 또는 다른 사용자의 메시지의 텍스트를 획득하는 단계 - 상기 메시지는 상기 전자 장치에 설치된 어느 하나의 메신저 어플리케이션을 실행하여 다른 사용자의 전자 장치로 송신된 상기 사용자의 메시지 또는 상기 다른 사용자의 전자 장치로부터 수신한 상기 다른 사용자의 메시지임;를 더 포함하고,
    상기 창작 이모티콘은 상기 메신저 어플리케이션을 통해 상기 다른 사용자의 전자 장치로 전송하기 위해 생성되는 것이고,
    상기 동작의 인식 결과 및 상기 배경 시각 요소의 의미 정보에 기초하여 배경 스티커 및 상기 이모티콘 객체 시퀀스 이미지를 결합한 창작 이모티콘 데이터를 생성하는 단계는,
    창작 이모티콘의 메시지를 전송하기 이전에 획득된 메시지 중 적어도 일부 메시지의 텍스트를 미리 학습된 자연어 처리 모델에 입력하여 각 메시지의 텍스트를 임베딩 처리한 임베딩 벡터를 각각 산출하는 단계;
    상기 적어도 일부 메시지에 대한 임베딩 벡터의 세트를 미리 학습된 텍스트 기반 감정 인식 모델에 입력하여 상기 적어도 일부 메시지에 반영된 사용자의 감정 세기 레벨을 산출하는 단계; 및
    산출된 감정 세기 레벨에 따라서 애니메이션 효과를 조절하거나 배경 시각 요소의 크기를 조절하는 단계;를 더 포함하고,
    상기 배경 스티커 데이터를 이용하여 상기 제2 레이어에서 상기 배경 스티커의 애니메이션 시퀀스 이미지를 구현하는 단계는,
    상기 산출된 감정 세기 레벨에 따라 조절된 배경 스티커 데이터를 이용하여 상기 제2 레이어에서 상기 배경 스티커의 애니메이션 시퀀스 이미지를 구현하는 것을 특징으로 하는,
    방법.
  8. 제7항에 있어서,
    산출된 감정 세기 레벨에 따라서 상기 배경 스티커 데이터의 애니메이션 효과 및 상기 배경 시각 요소 중 적어도 하나를 조절하는 단계는,
    산출된 감정 세기 레벨이 보다 높을수록 애니메이션 속도를 보다 낮은 감정 세기 레벨에서의 애니메이션 속도 보다 증가하도록 상기 배경 스티커 데이터를 조절하거나, 산출된 감정 세기 레벨이 보다 높을수록 애니메이션 효과에 따른 상기 배경 시각 요소의 크기 변화를 보다 낮은 감정 세기 레벨에서의 애니메이션 효과에 따른 배경 시각 요소의 크기 변화 보다 증가시키도록 상기 배경 스티커 데이터를 조절하는 단계;를 포함하는 것을 특징으로 하는,
    방법.
  9. 제7항에 있어서, 상기 텍스트 기반 감정 인식 모델은 입력 텍스트를 자연어 처리하여 임베딩 벡터를 산출하는 자연어 처리 모델, 및 입력 임베딩 벡터를 연산 처리하여 상기 입력 텍스트의 생성할 당시의 사용자가 가진 것으로 예측된 감정 세기 레벨을 산출하는 분류 모델을 포함하고,
    상기 자연어 처리 모델은,
    일련의 메시지의 그룹이 입력될 경우, 연속적으로 입력된 일련의 메시지 각각을 자연어 처리하여 일련의 메시지에 대한 일련의 임베딩 벡터를 산출하고,
    일련의 메시지 내용을 순서대로 조합하여 상기 일련의 메시지의 내용 전체에 대한 텍스트를 획득하며 상기 일련의 메시지의 내용 전체를 자연어 처리하여 일련의 메시지의 내용 전체에 대한 임베딩 벡터를 산출하고, 그리고
    상기 일련의 메시지에 대한 일련의 임베딩 벡터 및 일련의 메시지의 내용 전체에 대한 임베딩 벡터를 결합하여(concatenating) 입력 메시지의 그룹에 대한 단일 임베딩 벡터를 산출하고,
    상기 적어도 일부 메시지에 대한 임베딩 벡터의 세트를 미리 학습된 텍스트 기반 감정 인식 모델에 입력하여 상기 적어도 일부 메시지에 반영된 사용자의 감정 세기 레벨을 산출하는 단계는,
    상기 입력 메시지의 그룹에 대한 단일 임베딩 벡터를 상기 텍스트 기반 감정 인식 모델에 입력하여 상기 입력 메시지의 그룹의 내용 측면과 맥락(context) 측면에서 분석한 감성 세기 레벨을 산출하는 것을 특징으로 하는,
    방법.
  10. 청구항 제1항 내지 제9항 중 어느 하나의 청구항에 따른 이모티콘 서비스에 대한 회원으로 등록한 사용자의 전자 장치에서 메신저 어플리케이션을 통해 전송 가능한 창작 이모티콘을 생성하는 방법을 수행하게 하는 프로그램을 기록한 컴퓨터 판독가능한 기록매체.
PCT/KR2023/019239 2022-12-07 2023-11-27 사용자의 감정을 보다 효과적으로 전달하기 위한 창작 이모티콘을 생성하는 방법 및 이를 수행하는 창작 이모티콘 기반 콘텐츠 서비스 시스템 WO2024122968A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220169348A KR20240085268A (ko) 2022-12-07 2022-12-07 사용자의 감정을 보다 효과적으로 전달하기 위한 창작 이모티콘을 생성하는 방법 및 이를 수행하는 창작 이모티콘 기반 콘텐츠 서비스 시스템
KR10-2022-0169348 2022-12-07

Publications (1)

Publication Number Publication Date
WO2024122968A1 true WO2024122968A1 (ko) 2024-06-13

Family

ID=91379657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/019239 WO2024122968A1 (ko) 2022-12-07 2023-11-27 사용자의 감정을 보다 효과적으로 전달하기 위한 창작 이모티콘을 생성하는 방법 및 이를 수행하는 창작 이모티콘 기반 콘텐츠 서비스 시스템

Country Status (2)

Country Link
KR (1) KR20240085268A (ko)
WO (1) WO2024122968A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040014123A (ko) * 2002-08-06 2004-02-14 윤재민 가상인격체의 감정표현과 동작구현 시스템 및 그 방법
KR100456962B1 (ko) * 2004-08-27 2004-11-10 엔에이치엔(주) 게임 아이템 기능이 결합된 캐릭터 서비스 방법 및 시스템
KR20190089451A (ko) * 2018-01-22 2019-07-31 삼성전자주식회사 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법
KR20210078863A (ko) * 2019-12-19 2021-06-29 주식회사 케이티 아바타 서비스를 제공하는 서버, 방법 및 컴퓨터 프로그램
KR20210155499A (ko) * 2020-06-16 2021-12-23 삼성전자주식회사 전자 장치 및 전자 장치에서 이미지 생성 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040014123A (ko) * 2002-08-06 2004-02-14 윤재민 가상인격체의 감정표현과 동작구현 시스템 및 그 방법
KR100456962B1 (ko) * 2004-08-27 2004-11-10 엔에이치엔(주) 게임 아이템 기능이 결합된 캐릭터 서비스 방법 및 시스템
KR20190089451A (ko) * 2018-01-22 2019-07-31 삼성전자주식회사 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법
KR20210078863A (ko) * 2019-12-19 2021-06-29 주식회사 케이티 아바타 서비스를 제공하는 서버, 방법 및 컴퓨터 프로그램
KR20210155499A (ko) * 2020-06-16 2021-12-23 삼성전자주식회사 전자 장치 및 전자 장치에서 이미지 생성 방법

Also Published As

Publication number Publication date
KR20240085268A (ko) 2024-06-17

Similar Documents

Publication Publication Date Title
WO2020158988A1 (ko) 블록체인으로 관리되는 데이터의 거래 방법 및 그 플랫폼
WO2020032482A1 (ko) 공카드를 이용한 금융거래제공방법 및 시스템
WO2020138928A1 (en) Information processing method, apparatus, electrical device and readable storage medium
WO2013187680A1 (ko) 사용자 단말 장치, 서버 장치 및 이들을 포함하는 시스템과 그 광고 서비스 방법
WO2017209564A1 (ko) 앱 리스트 제공 방법 및 그 장치
WO2020149454A1 (ko) 사용자에 대한 인증을 수행하는 전자 장치 및 그 동작 방법
WO2018101551A1 (ko) 만물 인터넷을 융합한 생활 밀착형 가상현실 비즈니스 플랫폼과 그 운영방법
WO2013067935A1 (zh) 用于对用户身份进行认证的方法、***及其使用的设备
WO2021006505A1 (ko) 전문가 경력 관리 방법, 장치 및 프로그램
WO2023171887A1 (ko) 인비지블실링형 nft 이미지 거래 활성화 장치 및 방법
WO2021071012A1 (ko) 무매체 신원 확인을 통한 상품 구매 서비스 제공 장치 및 방법
WO2020040482A2 (ko) 전문가 플랫폼의 제어 방법, 장치 및 프로그램
WO2020138903A2 (ko) 일정 관리 서비스 시스템 및 방법
WO2024122968A1 (ko) 사용자의 감정을 보다 효과적으로 전달하기 위한 창작 이모티콘을 생성하는 방법 및 이를 수행하는 창작 이모티콘 기반 콘텐츠 서비스 시스템
WO2024122965A1 (ko) 창작 이모티콘의 생성을 지원하는 서버 및 이를 포함한 창작 이모티콘 기반 콘텐츠 서비스 시스템
WO2024122964A1 (ko) 사용자의 전자 장치에서 창작 이모티콘을 생성하는 방법 및 이를 수행하는 창작 이모티콘 기반 콘텐츠 서비스 시스템
WO2021066271A1 (ko) 본인 인증을 수행하는 이동 통신 단말기, 본인 인증 시스템, 및 이동 통신 단말기를 이용한 본인 인증 방법
WO2016153109A1 (ko) 종이책에 보완적인 디지털컨텐츠를 종이책 소유자에게 제공하는 방법 및 시스템
WO2017026651A1 (ko) 전자 상거래 방법
WO2019098685A1 (ko) 네트워크를 통한 사용자 맞춤식 콘텐츠 관련 객체 처리 시스템 및 그 방법
WO2022060161A1 (ko) 이미지 출력기반의 수익형 apc 스마트 시스템
WO2020158990A1 (ko) 스마트 콘트랙트를 통한 디지털 정보 거래 플랫폼
WO2022010303A1 (ko) 법률 컨텐츠 제공을 위한 클라이언트 단말과 프로바이더 단말 간의 매칭 방법
WO2020222533A2 (ko) 지인 할인 코드 기반 쇼핑 관리 제어 시스템 및 지인 할인 코드 기반 쇼핑 관리 제어 방법
WO2024005400A1 (ko) 상품권 nft 연동 서비스 제공 방법 및 시스템