WO2024096394A1 - Electronic device and control method therefor - Google Patents

Electronic device and control method therefor Download PDF

Info

Publication number
WO2024096394A1
WO2024096394A1 PCT/KR2023/016279 KR2023016279W WO2024096394A1 WO 2024096394 A1 WO2024096394 A1 WO 2024096394A1 KR 2023016279 W KR2023016279 W KR 2023016279W WO 2024096394 A1 WO2024096394 A1 WO 2024096394A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
tag
information related
touch gesture
electronic device
Prior art date
Application number
PCT/KR2023/016279
Other languages
French (fr)
Korean (ko)
Inventor
이가희
이교희
김선혜
한지연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2024096394A1 publication Critical patent/WO2024096394A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Definitions

  • This disclosure relates to an electronic device that acquires an image and generates a tag for the image based on the acquired image.
  • Electronic devices that generate tags for images can be used in a variety of applications, such as computers, smartphones, tablet PCs, and laptops.
  • the electronic device can acquire an image by capturing an image displayed on a display or shooting an image using a camera.
  • the electronic device can be controlled to display a tag on the display that can reflect the intention of the user who captured or photographed the acquired image.
  • An electronic device that generates a tag for an image includes a display, a memory, and at least one processor.
  • the at least one processor acquires an image for generating a tag, obtains information related to the image based on the acquired image, and detects a first touch gesture on the image displayed through the display. Based on this, determine an area corresponding to the first touch gesture among the information related to the image, identify information related to the image for the determined area, and based on the information related to the identified image, determine the image Create a tag for .
  • a method of controlling an electronic device that generates a tag for an image comprising: acquiring an image for generating a tag; Based on the acquired image, acquiring information related to the image; Based on a first touch gesture detected on the image displayed through the display, determining an area corresponding to the first touch gesture among information related to the image; identifying information related to the image for the determined area; and generating a tag for the identified image based on information related to the identified image.
  • a computer-readable recording medium storing a program for executing a control method for an electronic device that generates a tag for an image according to an embodiment of the present disclosure, comprising: acquiring an image for generating a tag; Based on the acquired image, acquiring information related to the image; Based on a first touch gesture detected on the image displayed through the display, determining an area corresponding to the first touch gesture among information related to the image; identifying information related to the image for the determined area; and generating a tag for the identified image based on information related to the identified image.
  • FIG. 1 is a diagram for explaining an electronic device according to an embodiment of the present disclosure
  • FIG. 2 is a block diagram showing the configuration of an electronic device according to an embodiment of the present disclosure
  • FIG. 3 is a block diagram illustrating a configuration for recommending content by generating a tag of an electronic device according to an embodiment of the present disclosure
  • 4 to 6 are diagrams for explaining an example of generating a tag according to an embodiment of the present disclosure
  • FIG. 7 to 8 are diagrams for explaining an embodiment of modifying a tag according to an embodiment of the present disclosure.
  • 9 to 10 are diagrams for explaining another embodiment of generating a tag according to an embodiment of the present disclosure.
  • 11 to 13 are diagrams for explaining the matching rate according to an embodiment of the present disclosure.
  • FIG. 14 is a block diagram for explaining the detailed configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 15 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • expressions such as “have,” “may have,” “includes,” or “may include” refer to the presence of the corresponding feature (e.g., component such as numerical value, function, operation, or part). , and does not rule out the existence of additional features.
  • expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B” (1) includes at least one A, (2) includes at least one B, or (3) it may refer to all cases including both at least one A and at least one B.
  • a component e.g., a first component
  • another component e.g., a second component
  • any component may be directly connected to the other component or may be connected through another component (e.g., a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • no other component e.g., a third component
  • the expression “configured to” used in the present disclosure may mean, for example, “suitable for,” “having the capacity to,” depending on the situation. ,” can be used interchangeably with “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured (or set to)” may not necessarily mean “specifically designed to” in hardware.
  • the expression “a device configured to” may mean that the device is “capable of” working with other devices or components.
  • the phrase "processor configured (or set) to perform A, B, and C" refers to a processor dedicated to performing the operations (e.g., an embedded processor), or by executing one or more software programs stored on a memory device.
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software, or as a combination of hardware and software. Additionally, a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module and implemented with at least one processor, except for 'modules' or 'units' that need to be implemented with specific hardware.
  • FIG. 1 is a diagram for explaining an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 may display an image on the display 110 .
  • the electronic device 100 may capture an image displayed on the display 110 based on a user input, or may display an image acquired by shooting with a camera on the display 110. If the image displayed on the display 110 includes information useful to the user, the electronic device 100 may capture the image displayed on the display 110 according to a user input. Alternatively, if a book or other printed document contains information useful to the user, the electronic device 100 may capture the information disclosed in the printed document through user input.
  • the images acquired in this way are stored and stored in memory, but the longer the image storage period, the longer the user forgets the intention or purpose of acquiring the images, making it difficult to utilize useful information. If you recognize objects included in an image and create tags for all recognized objects without creating tags to reflect the intention or purpose of acquiring the image, there is a problem that the intention or purpose of acquiring the image becomes unclear. Additionally, if tags for acquired images are created by hand, there is a problem that time and cost may be incurred. This problem can be solved by creating a tag that can reflect the intention or purpose of acquiring the image.
  • Figure 2 is a block diagram showing the configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 includes a display 110, a memory 120, and at least one processor 160.
  • the configuration of the electronic device 100 shown in FIG. 2 is only an example, and of course, other configurations may be added or some configurations may be omitted.
  • the display 110 can display various information.
  • the display 110 can display not only the image itself but also information related to the image.
  • the display 110 may display tags generated from the video and content recommended from the tags.
  • Such displays 110 include liquid crystal display (LCD) panels, organic light emitting diodes (OLED) panels, active-matrix organic light-emitting diodes (AM-OLED), liquid crystal on silicon (LcoS), and quantum dot (QLED) panels. It may include various types of display panels such as Light-Emitting Diode (DLP), Digital Light Processing (DLP), Plasma Display Panel (PDP) panel, inorganic LED panel, and micro LED panel, but is not limited thereto. Meanwhile, the display 110 may form a touch screen together with a touch panel, or may be made of a flexible panel.
  • DLP Light-Emitting Diode
  • DLP Digital Light Processing
  • PDP Plasma Display Panel
  • the display 110 may form a touch screen together with a touch panel, or may be made of a flexible panel.
  • the memory 120 may store an operating system (OS) for controlling the overall operation of the components of the device 100 and instructions or data related to the components of the electronic device 100.
  • the memory 120 may store images obtained by shooting with a camera or capturing images from the display 110.
  • the memory 120 includes an image acquisition module 310, an image information acquisition module 320, and a touch gesture, as shown in FIG. 3. It may include a determination module 330, an image information identification module 340, an image tag creation module 350, a content recommendation module 360, and a matching rate determination module 370.
  • Such memory 120 may include, for example, at least one of a main memory and an auxiliary memory.
  • the main memory may be implemented using semiconductor storage media such as ROM and/or RAM.
  • ROM may include, for example, conventional ROM, EPROM, EEPROM, and/or MASK-ROM.
  • RAM may include, for example, DRAM and/or SRAM.
  • Auxiliary storage devices include flash memory devices, SD (Secure Digital) cards, solid state drives (SSDs), hard disk drives (HDDs), magnetic drums, compact disks (CDs), and DVDs. ) or an optical recording medium such as a laser disk, magnetic tape, magneto-optical disk, and/or floppy disk, etc. may be implemented using at least one storage medium capable of storing data permanently or semi-permanently.
  • At least one processor 130 may control the electronic device 100 according to at least one instruction stored in the memory 120.
  • at least one processor 130 may acquire an image for generating a tag.
  • at least one processor 130 may obtain information related to the image based on the acquired image. Thereafter, based on the first touch gesture detected on the image displayed through the display, the area corresponding to the first touch gesture among information related to the image may be determined. Additionally, at least one processor 130 may identify information related to the image of the determined area and generate a tag for the image based on the information related to the identified image.
  • At least one processor 130 may distinguish at least one object area included in the image based on the image and identify an object corresponding to the object area. And, information related to the image can be obtained based on the object.
  • At least one processor 130 may obtain at least one object area including an area corresponding to the determined first touch gesture. Additionally, at least one processor 130 may identify information related to the image for the area determined based on the identified object corresponding to at least one object area.
  • At least one processor 130 may display a tag on an image displayed through the display 110 in an area corresponding to the first touch gesture.
  • the at least one processor 130 identifies the second touch gesture in at least one object area including the area corresponding to the first touch gesture, and changes the tag or changes the image based on the second touch gesture. You can edit tags by adding tags.
  • At least one processor 130 may recommend a location related to the tag. Then, at least one processor 130 determines whether the distance between the recommended place and the user's location is less than or equal to a preset distance, and if the distance is less than or equal to the preset distance, displays the recommended place on the display 110. You can.
  • the electronic device 100 may further include a camera.
  • at least one processor 130 may determine whether an image including the user's fashion, the user's makeup, and the user's hairstyle is captured based on the image acquired through the camera.
  • At least one processor 130 may provide a guide to the user by displaying a location on the display where the user's fashion, the user's makeup, and the user's hairstyle will be photographed.
  • at least one processor 130 may acquire an image based on a user's input.
  • information related to the video may include information related to fashion, information related to makeup, and information related to hairstyle.
  • the at least one processor 130 may determine fashion-related information, makeup-related information, and hairstyle-related information. there is.
  • At least one processor 130 includes a plurality of first tags corresponding to information related to fashion, a plurality of second tags corresponding to information related to makeup, and a plurality of third tags corresponding to information related to hairstyle. can be created.
  • the at least one processor 130 selects at least one tag among the plurality of first tags corresponding to the plurality of second tags.
  • a plurality of first images including: Additionally, at least one processor 130 may acquire a plurality of second images including at least one tag among a plurality of third tags corresponding to a plurality of second tags. Additionally, at least one processor 130 may determine the fashion matching rate and the hairstyle matching rate based on the plurality of first tags, the plurality of first images, and the plurality of second images.
  • At least one processor 130 may calculate the frequency of fashion and the frequency of hairstyle based on the plurality of first tags, the plurality of first images, and the plurality of second images. In addition, if the frequency of the fashion is higher than the preset standard, the at least one processor 130 may determine the fashion matching rate to be low, and if the frequency of the hairstyle is higher than the preset standard, the at least one processor 130 may determine the matching rate of the hairstyle to be low. there is.
  • At least one processor 130 generates tags and recommends content through a plurality of configurations will be described in detail with reference to FIG. 3.
  • FIG. 3 is a block diagram illustrating a configuration for recommending content by generating a tag of an electronic device according to an embodiment of the present disclosure.
  • the image acquisition module 310 may acquire an image for generating a tag. Specifically, the image acquisition module 310 may acquire an image by receiving a user input for capturing the screen displayed on the display 110 and storing the screen displayed on the display 110 in the memory 120. In addition, the image acquisition module 310 may acquire an image by receiving a user input for taking a picture of the screen displayed on the display 110 through a camera and storing the screen displayed on the display 110 in the memory 12. there is.
  • the image information acquisition module 320 can obtain information related to the image by identifying whether the acquired image includes the type of object. Specifically, the image information acquisition module 320 may distinguish at least one object area included in the image. That is, before the type of object is identified, the image information acquisition module 320 may first determine the areas occupied by distinct objects included in the image.
  • the image information acquisition module 320 can largely distinguish the object area into a first area 410 and a second area 420 that is distinct from the first area 410. there is.
  • the image information acquisition module 320 may distinguish at least one object area 411, 412, 413, and 414 included in the image area 410.
  • the image information acquisition module 320 may identify an object corresponding to the object area. Specifically, the image information acquisition module 320 may identify the type of object for each distinct object area. That is, the image information acquisition module 320 can identify an object corresponding to the object area using artificial intelligence (AI) or a computer vision algorithm.
  • AI artificial intelligence
  • the image information acquisition module 320 identifies the first area 410 as the image area 510 containing an image, and the second area 420 as the image area 510 containing the text. It can be identified by the text area 520.
  • the image information acquisition module 320 operates at least one hair, face, body, and background included in the image area 510.
  • Each of the object areas 411, 412, 413, and 414 can be identified as a hair area 511, a face area 512, a body area 513, and a background area 514.
  • the image information acquisition module 320 can identify the text included in the text area 520 in keyword units (e.g., 'build perm', 'shoulder length', 'long hair', 'face shape', etc.). there is.
  • the image information acquisition module 320 may generate a tag set for each category for the identified object to generate a tag based on the identified object.
  • the tag set is a set of multiple tags that can be included in the category of the identified object.
  • a set of tags in the hair category may include tags such as long hair, ash khaki, and curl perm.
  • the image information acquisition module 320 when the hair area 511, face area 512, body area 513, and background area 514 are identified in the image area 510, the image information acquisition module 320 generates a tag set of the hair category. , you can create a tag set for the makeup category, a tag set for the fashion category, and a tag set for the location category. Such a tag set can be created from an identified object or stored in the memory 120 and used.
  • the image information acquisition module 320 can acquire the object area, type of identified object, and category tag set as information related to the image.
  • images in which tags included in the related category tag set are generated may be displayed on the display 110 at the same time.
  • a video in which the 'spring camping look' tag included in the fashion category tag set and a video in which the 'camping chair' tag included in the purchase category tag set are generated may be displayed on the display 110 at the same time.
  • the category tag set created in this way can be shared with other users through a communication interface.
  • Such fashion category tag sets, purchase category tag sets, etc. are examples of information related to videos, and are not limited thereto, and a category tag set may be created according to the category of the identified object.
  • the touch gesture determination module 330 may first determine the type of the user's touch gesture received through the display 110. That is, the touch gesture determination module 330 can determine the type of touch gesture, such as tap, long press, or swipe. Additionally, the touch jester determination module 330 can determine the area where the touch jester is performed. Specifically, the touch gesture determination module 330 may obtain coordinates on the display 110 where a touch gesture is made and determine the area where the touch jester is made. Additionally, the touch gesture determination module 330 may obtain coordinates on the display 110 where a touch gesture is made and determine whether a closed curve is drawn. If it is determined that a closed curve is drawn on the display 110 by a touch gesture, an image tag may be generated based on image information within the closed curve.
  • the image information identification module 340 may obtain at least one object area including an area corresponding to the touch gesture. That is, the image information identification module 340 may determine an area where a touch gesture is input on the image displayed on the display 110 and determine at least one object area that includes the area where the touch gesture is input. . As an example, the image information identification module 340 may determine that the first touch gesture 530 input from the user is a long press. In this case, the image information identification module 340 may determine that the area corresponding to the long-pressed area is included in the hair area 511, and obtain the hair area 511 area as the object area.
  • the image information identification module 340 may identify information related to the image for the area corresponding to the touch gesture based on the identified object corresponding to at least one object area.
  • information related to the image may correspond to at least one of three sets: object area, type of identified object, and category tag.
  • the image information identification module 340 may identify information related to 'hair' because the object corresponding to the hair area 511 corresponds to 'hair'. That is, the image information identification module 340 can identify the hair area 511 and obtain an area to display a tag for the corresponding area.
  • the video information identification module 340 generates tags related to 'hair' and identifies 'hair' so that it can be included in the hair category tag set, and identifies the hair style, hair color, hair length, type of perm in the video, You can obtain information related to hair condition, etc.
  • the image tag creation module 350 may generate a tag for the image based on information related to the identified image. That is, the image tag creation module 350 can generate a tag by utilizing information about the object corresponding to the area corresponding to the touch gesture. Additionally, the image tag creation module 350 may display a tag on the image displayed through the display 110 using information about the area where the tag is to be created.
  • the image tag creation module 350 determines that the object area corresponding to the first touch gesture 530 is the hair area 511, and creates a tag within the hair area 511. there is. Additionally, the video tag creation module 350 may display on the display 110 that the generated tag is included in the tag set 600 of the hair category. And, the video tag creation module 530 tags bangs (601), ash brown (602), build perm (603), and middle hair (604) based on information about hair style, hair color, and hair length. can be created. The image tag creation module 350 can display the tags 601, 602, 603, and 604 created in this way on the display 110.
  • the video tag creation module 350 may identify the fashion category tag set as information related to the video. Therefore, the video tag creation module 350 is a tag related to fashion on the video, such as 'half-up, curling iron' tag (711), 'sweatshirt, casual, gray' tag (712), and 'short pants, casual, red' tag. (713) and 'ball cap, red' tag 714 can be displayed on the display 110.
  • the image tag creation module 350 may identify the second touch gesture in at least one object area including an area corresponding to the first touch gesture. At this time, the image tag creation module 350 may change the tag or add a tag to the image based on the second touch gesture. As an example, referring to FIG. 7B, when the second touch gesture 720 input from the user is identified, the video tag creation module 350 adds a tag 722 that can be included in the fashion category tag set, and It can be displayed.
  • the image tag creation module 350 can add or change a tag based on the second touch gesture 720. For example, when a second touch gesture is input for the 'short pants, casual, red' tag 713, the video tag creation module 350 selects 'casual' among the 'short pants, casual, red' tag 713. You can delete it or change it to ‘Overfit’.
  • the video tag creation module 350 may change the category tag set displayed on the display 110 to another category tag set based on the second touch gesture.
  • the image tag creation module 350 creates a set of place category tags according to the swipe direction of the second touch gesture. You can change it to , or you can change it to a context category tag set.
  • the video tag creation module 350 if the two-touch gesture is a rightward swipe 810, the video tag creation module 350 generates the 'windy day, cloudy day, sometimes sunny' tag included in the context category tag set. (811), 'Natural pose' tag (812), and 'Outdoor outing, end of April, with friends' tag (813) can be displayed on the display 110.
  • the content recommendation module 360 may recommend content related to the tag based on the generated tag.
  • the content recommendation module 360 may recommend content related to a tag created based on data stored in the memory 120.
  • the content recommendation module 360 may recommend content related to the tag based on data received from the server through a communication interface.
  • the content recommendation module 360 may transmit the generated tag and user-related information to the server, receive recommended content from the server based on the user-related information and tag, and recommend content related to the tag.
  • information related to the user may include the user's location, the user's gender, the user's interests, etc.
  • Content recommendations related to tags may include recommendations for places, recommendations for places to purchase products, recommendations for poses for taking pictures, etc., depending on the category to which the created tag belongs.
  • the content recommendation module 360 may recommend a place related to bangs. That is, the content recommendation module 360 may recommend a famous hair salon related to bangs or a place that sells hair products related to bangs.
  • the content recommendation module 360 may determine whether the distance between the recommended place and the user's location is less than or equal to a preset distance. Additionally, the content recommendation module 360 may display the recommended location on the display 110 if the distance is less than or equal to a preset distance. That is, when the distance between the hair salon related to the bangs and the user's location is less than a preset distance, the content recommendation module 360 may display on the display 110 that the recommended place related to the bangs is nearby.
  • the disclosure related to this recommendation is by way of example and not limited thereto.
  • 9 to 10 are diagrams for explaining another example of generating a tag according to an embodiment of the present disclosure.
  • the touch gesture determination module 330 may determine that the area corresponding to the first touch gesture 910 is a text area.
  • the image information identification module 340 may generate a purchase category tag set for the object included in the image area as information related to the image based on the object included in the image area and the keyword included in the text area.
  • the video tag creation module 350 can generate product names, brand names, etc. as tags based on keywords extracted from the text area.
  • the content recommendation module 360 can recommend a place where the product can be purchased based on the tag and its category.
  • the touch gesture determination module 330 may determine that the area corresponding to the first touch gesture 1010 is an area within a closed curve.
  • the image information identification module 340 may generate a shooting category tag set as information related to the image based on the objects included in the image area.
  • the video tag creation module 350 can generate a 'sunset' tag, a 'Hangang Park' tag, a 'standing back view' tag, a 'hand on one waist' tag, and a 'thigh up' tag.
  • the content recommendation module 360 can recommend location information and time information about ‘Noeuljin Hangang Park’ based on such tags.
  • the touch gesture determination module 330 may determine that the area corresponding to the first touch gesture is a text area.
  • the image information identification module 340 identifies the object included in the image area as food based on the object included in the image area and the keyword included in the text area, and sets a place category tag set for food related to the image. It can be created with information.
  • the video tag creation module 350 can generate the location of the restaurant, the name of the restaurant, etc. as tags based on keywords extracted from the text area.
  • the content recommendation module 360 can recommend restaurants that sell the food based on these tags and their categories.
  • the touch gesture determination module 330 determines that the area corresponding to the first touch gesture corresponds to the image area
  • the text included in the image Tags can be created with . That is, the image information identification module 340 may identify text included in the image area and generate a place category tag set as information related to the image based on keywords included in the text.
  • the video tag creation module 350 can generate tags such as the location of the restaurant and the name of the restaurant based on keywords extracted from the text area.
  • the content recommendation module 360 can recommend restaurants that sell the food based on these tags and their categories.
  • the matching rate determination module 370 may determine the degree of matching of the user's fashion, the user's makeup, and the user's hairstyle, based on the image acquired through the camera. Specifically, the matching rate determination module 370 may determine whether an image including the user's fashion, the user's makeup, and the user's hairstyle is captured based on the image acquired through the camera.
  • the matching rate determination module 370 may display the location where the user's fashion, user's makeup, and user's hairstyle will be captured on the display 110. In other words, a guide is provided so that the user's fashion, user's makeup, and user's hairstyle can be accurately photographed.
  • the matching rate determination module 370 may acquire an image based on user input. That is, the acquired image includes the user's fashion, the user's makeup, and the user's hairstyle.
  • the matching rate determination module 370 determines the user's fashion and the user's hairstyle. It can be determined whether a video containing makeup and the user's hairstyle is recorded.
  • the matching rate determination module 370 determines the locations 1113, 1114, and 1115 where the user's fashion will be photographed, and the user's fashion.
  • the location where makeup 1112 and the user's hairstyle 1111 will be captured can be displayed on the display 110.
  • the location where the user's accessories will be photographed can be additionally displayed on the display 110. In this way, when the user is located at a location where the user's fashion will be filmed (1113, 1114, 1115), the user's makeup (1112), and the user's hairstyle (1111) will be filmed, and an image according to the user input is captured.
  • the matching rate determination module 370 can acquire an image.
  • the matching rate determination module 370 can determine fashion-related information, makeup-related information, and hairstyle-related information. . That is, fashion-related information may include information about the type of top worn, the type of bottom worn, and the type of bag worn.
  • information related to makeup may include information about the color of the makeup, degree of wear, lip color, etc.
  • information related to the hairstyle may include information about hair length, hair thickness, hair abundance, hair color, etc.
  • the matching rate determination module 370 can determine information about fashion in the form of the above-described fashion category tag set, information about makeup in the form of a makeup category tag set, and information about hairstyle It can be judged by the form of the hairstyle category tag set.
  • the matching rate determination module 370 uses a plurality of first tags corresponding to information related to fashion, a plurality of second tags corresponding to information related to makeup, and a plurality of third tags corresponding to information related to hairstyle. can be created.
  • the matching rate determination module 370 uses a plurality of first tags 1231 and 1232 corresponding to fashion-related information to include 'slim, black, tight, jean, camera bag, small, cross. You can create 'bag, white, price level medium', etc.
  • the matching rate determination module 370 may generate 'cool, oily, no makeup makeup, pink lip' as a plurality of second tags 1210 corresponding to makeup-related information.
  • the matching rate determination module 370 may generate 'wave, natural, black, medium long' as a plurality of third tags 1220 corresponding to information about the hairstyle.
  • the matching rate determination module 370 selects one tag among the plurality of first tags corresponding to the plurality of second tags.
  • a plurality of first images including:
  • the plurality of first tags corresponding to the plurality of second tags are tags that are created together with the plurality of second tags in the same image when the plurality of first tags are generated in a specific image.
  • the matching rate determination module 370 selects at least one tag among the plurality of second tags and the plurality of third tags corresponding to the first touch gesture.
  • a plurality of second images including:
  • the plurality of third tags corresponding to the plurality of second tags are tags that are created together with the plurality of second tags in the same image when the plurality of third tags are generated in a specific image.
  • the matching rate determination module 370 determines a plurality of second tags 1210 related to makeup. ) can be determined to be a plurality of first tags corresponding to a plurality of second tags. And, the matching rate determination module 370 matches the third tag 1220 related to hair, which is also generated when the plurality of second tags 1210 related to makeup, to the plurality of third tags corresponding to the plurality of second tags. You can judge by tag.
  • the plurality of first images and the plurality of second images correspond to images captured by the user and for which a tag has been created. That is, the plurality of first images and the plurality of second images are images containing the user's fashion, the user's hair, and the user's makeup, and the images containing tags related to fashion, tags related to hair, and tags related to makeup are images containing tags related to fashion, tags related to hair, and tags related to makeup. It applies.
  • the matching rate determination module 370 may determine the fashion matching rate and the hairstyle matching rate based on the plurality of first tags, the plurality of first images, and the plurality of second images. That is, the matching rate determination module 370 may determine the matching rate of a fashion based on a plurality of first tags and a plurality of first images, and may determine a hairstyle matching rate based on a plurality of first tags and a plurality of second images. The matching rate can be determined.
  • the fashion matching rate may be calculated based on the ratio of the number of images including a plurality of first tags corresponding to a plurality of second tags divided by the total number of images.
  • the matching rate of the hairstyle may be calculated based on a ratio divided by the number of images including a plurality of third tags corresponding to a plurality of second tags by the total number of images.
  • the matching rate can be determined by reflecting the evaluation of the plurality of first images and the plurality of second images and considering them together. For example, for a photo uploaded to SNS, the matching rate may be determined by reflecting other users' liking (e.g., like, sad, angry, etc.).
  • the matching rate determination module 370 may calculate the frequency of fashion and the frequency of hairstyle based on a plurality of first tags, a plurality of first images, and a plurality of second images. Additionally, the matching rate determination module 370 may determine the fashion matching rate to be low if the frequency of the fashion is greater than a preset standard, and may determine the matching rate of the hairstyle to be low if the frequency of the hairstyle is greater than the preset standard. . On the other hand, the matching rate determination module 370 may determine the fashion matching rate to be high if the frequency of the fashion is below a preset standard, and may determine the matching rate of the hairstyle to be high if the frequency of the hairstyle is below the preset standard. .
  • the matching rate determination module 370 can be displayed on the display 110.
  • the content recommendation module 360 may determine whether the fashion matching rate and the hairstyle matching rate are less than or equal to a preset ratio. For example, when the fashion matching rate is less than or equal to a preset rate, the content recommendation module 360 may acquire a pre-stored image including at least one tag among a plurality of first tags corresponding to the second tag. Additionally, the content recommendation module 360 may recommend fashion based on an image that is determined to have a high matching rate among the acquired pre-stored images.
  • the content recommendation module 360 may obtain a pre-stored image including at least one tag among a plurality of third tags corresponding to the second tag. Additionally, the content recommendation module 360 may recommend a hairstyle based on an image that is determined to have a high matching rate among the acquired pre-stored images.
  • the content recommendation module 360 selects a plurality of matching tags 1210 corresponding to a plurality of second tags 1210. A pre-stored image containing at least one tag among the first tags 1231 can be obtained. Additionally, the content recommendation module 360 may recommend bottoms based on an image that is determined to have a high matching rate among the acquired pre-stored images.
  • the above example is a case where the information about the area corresponding to the first touch is makeup. It is an illustrative description and is not limited thereto, and the information about the area corresponding to the first touch is various such as fashion, hairstyle, accessories, etc. It can be applied easily.
  • the content recommendation module 360 can recommend the user's fashion, hairstyle, and makeup based on the location of places the user frequently visits and preferred fashion, hairstyle, and makeup information for each age group. For example, if the place the user frequently goes is Hangang Park, information on fashion, hairstyle, and makeup preferred by the user's age can be obtained, and based on this, fashion, hairstyle, and makeup at Hangang Park can be recommended. .
  • the matching rate determination module 370 can determine the fashion matching rate, hairstyle matching rate, and makeup matching rate among different users.
  • the content recommendation module 360 determines whether at least one of the fashion matching rate, hairstyle matching rate, and makeup matching rate between different users is below a preset standard. You can judge whether or not. In this way, the content recommendation module 360 may recommend a part to be changed for at least one of fashion, hairstyle, and makeup that is below a preset standard.
  • the judgment module 370 may perform each operation based on an artificial intelligence (AI) model.
  • AI artificial intelligence
  • Figure 14 is a block diagram for explaining the detailed configuration of an electronic device according to an embodiment of the present disclosure.
  • the electronic device 100 includes a display 110, a memory 120, at least one processor 130, at least one sensor 140, a camera 150, an input interface 160, and a speaker. 170 and communication interface 180 may be included.
  • a display 110 a memory 120
  • at least one processor 130 at least one sensor 140
  • a camera 150 a camera
  • input interface 160 an input interface
  • speaker 170 and communication interface 180 may be included.
  • 170 and communication interface 180 may be included.
  • detailed description of parts that overlap with the description in FIG. 2 will be omitted.
  • At least one sensor 140 detects the operating state (e.g., power or temperature) of the electronic device 100 or the external environmental state (e.g., user state), and an electrical signal or data value corresponding to the detected state. can be created. That is, at least one sensor 140 may obtain various information related to the user of the electronic device 100.
  • the operating state e.g., power or temperature
  • the external environmental state e.g., user state
  • the camera 150 can capture still images and moving images.
  • the camera 150 may include one or more lenses, an image sensor, an image signal processor, or a flash.
  • the camera 150 can photograph the user's fashion, the user's makeup, and the user's hairstyle.
  • the input interface 160 includes a circuit and can receive user commands for setting or selecting various functions supported by the electronic device 100.
  • the input interface 160 may include a plurality of buttons and may be implemented as a touch screen that can simultaneously perform the display function.
  • At least one processor 130 may control the operation of the electronic device 100 based on a user command input through the input interface 160.
  • the at least one processor 130 operates on the electronic device 100 based on an on/off command for the electronic device 100 input through the input interface 160, an on/off command for a function of the electronic device 100, etc. (100) can be controlled.
  • Speaker 170 can output audio. Specifically, at least one processor 130 may output various notification sounds or voice guidance messages related to the operation of the electronic device 100 through the speaker 170. In particular, the speaker 170 may output a guidance message to the user about a place recommended to the user based on a tag, or may output a guidance message about fashion, hairstyle, makeup, accessories, etc. with a high matching rate.
  • the communication interface 180 may include a wireless communication interface, a wired communication interface, or an input interface.
  • the wireless communication interface can communicate with various external devices using wireless communication technology or mobile communication technology. These wireless communication technologies include, for example, Bluetooth, Bluetooth Low Energy, CAN communication, Wi-Fi, Wi-Fi Direct, and ultra-wideband communication. (UWB, ultrawide band), Zigbee, IrDA (infrared Data Association), or NFC (Near Field Communication) may be included, and mobile communication technologies include 3GPP and Wi-Max. , LTE (Long Term Evolution), 5G, etc. may be included.
  • a wireless communication interface can be implemented using an antenna, a communication chip, a board, etc. that can transmit electromagnetic waves to the outside or receive electromagnetic waves transmitted from the outside. In particular, an indication of other users' likeability may be received through the communication interface 180, and the matching rate may be determined considering this.
  • FIG. 15 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • control method of an electronic device that generates a tag for an image can acquire an image for generating a tag (S1501).
  • an area corresponding to the first touch gesture among information related to the image may be determined (S1503).
  • a tag for the image can be created (S1505).
  • step S1502 at least one object area included in the image may be distinguished based on the image.
  • an object corresponding to at least one object area can be identified.
  • information related to the image can be obtained based on the object.
  • step S1504 at least one object area including an area corresponding to the determined first touch gesture may be obtained.
  • information related to the image of the area corresponding to the touch gesture may be identified based on the identified object corresponding to at least one object area.
  • the tag can be displayed in the area corresponding to the first touch gesture on the image displayed through the display.
  • the second touch gesture can be identified in at least one object area including the area corresponding to the first touch gesture.
  • the recommended place can be displayed on the display.
  • step S1501 based on the image acquired through the camera, it can be determined whether an image including the user's fashion, the user's makeup, and the user's hairstyle is captured.
  • the location where the user's fashion, user's makeup, and user's hairstyle will be captured can be displayed on the display.
  • images can be acquired based on user input.
  • information related to the video may include information related to fashion, information related to makeup, and information related to hairstyle.
  • the fashion-related information, makeup-related information, and hairstyle-related information can be determined.
  • a plurality of first tags corresponding to fashion-related information, a plurality of second tags corresponding to makeup-related information, and a plurality of third tags corresponding to hairstyle-related information may be generated.
  • a plurality of first images including at least one tag among a plurality of first tags corresponding to a plurality of second tags and A plurality of second images containing at least one tag among a plurality of third tags corresponding to a plurality of second tags may be obtained.
  • the fashion matching rate and the hairstyle matching rate can be determined based on the plurality of first tags, the plurality of first images, and the plurality of second images.
  • the frequency of fashion and the frequency of hairstyle can be calculated based on a plurality of first tags, a plurality of first images, and a plurality of second images.
  • the fashion matching rate may be determined to be low.
  • the matching rate of the hairstyle may be determined to be low.
  • fashion can be recommended based on the image that is judged to have a high matching rate among the acquired pre-stored images.
  • Functions related to artificial intelligence are operated through the processor and memory of the electronic device.
  • the processor may consist of one or multiple processors.
  • one or more processors may include at least one of a Central Processing Unit (CPU), a Graphics Processing Unit (GPU), and a Neural Processing Unit (NPU), but are not limited to the examples of the processors described above.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • NPU Neural Processing Unit
  • CPU is a general-purpose processor that can perform not only general calculations but also artificial intelligence calculations, and can efficiently execute complex programs through a multi-layer cache structure. CPUs are advantageous for serial processing, which allows organic connection between previous and next calculation results through sequential calculations.
  • the general-purpose processor is not limited to the above-described examples, except where specified as the above-described CPU.
  • GPU is a processor for large-scale operations such as floating-point operations used in graphics processing, and can perform large-scale operations in parallel by integrating a large number of cores.
  • GPUs may be more advantageous than CPUs in parallel processing methods such as convolution operations.
  • the GPU can be used as a co-processor to supplement the functions of the CPU.
  • the processor for mass computation is not limited to the above-described example, except for the case specified as the above-described GPU.
  • NPU is a processor specialized in artificial intelligence calculations using artificial neural networks, and each layer that makes up the artificial neural network can be implemented in hardware (e.g., silicon). At this time, the NPU is designed specifically according to the company's requirements, so it has a lower degree of freedom than a CPU or GPU, but can efficiently process artificial intelligence calculations requested by the company. Meanwhile, as a processor specialized for artificial intelligence calculations, NPU can be implemented in various forms such as TPU (Tensor Processing Unit), IPU (Intelligence Processing Unit), and VPU (Vision processing unit).
  • the artificial intelligence processor is not limited to the examples described above, except where specified as the NPU described above.
  • one or more processors may be implemented as a System on Chip (SoC).
  • SoC System on Chip
  • the SoC may further include memory and a network interface such as a bus for data communication between the processor and memory.
  • the electronic device uses some of the processors to perform artificial intelligence-related operations (for example, learning of an artificial intelligence model). or operations related to inference) can be performed.
  • an electronic device can perform operations related to artificial intelligence using at least one of a plurality of processors, a GPU, NPU, VPU, TPU, or hardware accelerator specialized for artificial intelligence operations such as convolution operation, matrix multiplication operation, etc. there is.
  • this is only an example, and of course, calculations related to artificial intelligence can be processed using general-purpose processors such as CPUs.
  • electronic devices can perform calculations on functions related to artificial intelligence using multiple cores (eg, dual core, quad core, etc.) included in one processor.
  • electronic devices can perform artificial intelligence operations such as convolution operations and matrix multiplication operations in parallel using multi-cores included in the processor.
  • One or more processors control input data to be processed according to predefined operation rules or artificial intelligence models stored in memory.
  • Predefined operation rules or artificial intelligence models are characterized by being created through learning.
  • being created through learning means that a predefined operation rule or artificial intelligence model with desired characteristics is created by applying a learning algorithm to a large number of learning data.
  • This learning may be performed on the device itself that performs the artificial intelligence according to the present disclosure, or may be performed through a separate server/system.
  • An artificial intelligence model may be composed of multiple neural network layers. At least one layer has at least one weight value, and the operation of the layer is performed using the operation result of the previous layer and at least one defined operation.
  • Examples of neural networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), and Deep Neural Network (BRDNN).
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Restricted Boltzmann Machine
  • BBM Restricted Boltzmann Machine
  • BBN Deep Belief Network
  • BBN Deep Belief Network
  • BBN Bidirectional Recurrent Deep Neural Network
  • BDN Deep Neural Network
  • BDN Deep Neural Network
  • a learning algorithm is a method of training a target device (eg, a robot) using a large number of learning data so that the target device can make decisions or make predictions on its own.
  • Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, and the learning algorithm in the present disclosure is specified. Except, it is not limited to the examples described above.
  • the various embodiments described above may be implemented as software including instructions stored in a machine-readable storage media (e.g., a computer).
  • the device is a device capable of calling instructions stored in a storage medium and operating according to the called instructions.
  • the device may include the device.
  • a storage medium that can be read by a device may perform a function corresponding to an instruction by using other components under the control of a processor. It may be provided in the form of a (non-transitory) storage medium.
  • 'non-transitory storage medium' simply means that it is a tangible device and does not contain signals (e.g., electromagnetic waves). For example, this term does not distinguish between cases where data is stored semi-permanently in a storage medium and cases where data is stored temporarily.
  • a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online.
  • at least a portion of the computer program product e.g., a downloadable app
  • a machine-readable storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

An electronic device is disclosed. The electronic device for generating a tag for an image, according to the present disclosure, comprises a display, a memory, and at least one processor, which acquires an image for generating a tag, acquires image-related information on the basis of the acquired image, determines a region corresponding to a first touch gesture in the image-related information on the basis of the first touch gesture sensed on the image displayed through the display, identifies image-related information about the determined region, and generates the tag for the image on the basis of the identified image-related information.

Description

전자 장치 및 그의 제어 방법Electronic device and method of controlling the same
본 개시는 영상을 획득하고, 획득된 영상에 기초하여 영상에 대한 태그를 생성하는 전자 장치에 관한 것이다.This disclosure relates to an electronic device that acquires an image and generates a tag for the image based on the acquired image.
영상에 대한 태그를 생성하는 전자 장치는 컴퓨터, 스마트폰, 태블릿 PC, 노트북 등 다양하게 적용되어 이용될 수 있다. 특히, 전자 장치는 디스플레이에 표시된 영상을 캡쳐하거나, 카메라를 통해 영상을 촬영하여 영상을 획득할 수 있다. 전자 장치는 획득한 영상에 대해 캡쳐하거나 촬영한 사용자의 의도를 반영할 수 있는 태그를 디스플레이에 표시하도록 제어할 수 있다.Electronic devices that generate tags for images can be used in a variety of applications, such as computers, smartphones, tablet PCs, and laptops. In particular, the electronic device can acquire an image by capturing an image displayed on a display or shooting an image using a camera. The electronic device can be controlled to display a tag on the display that can reflect the intention of the user who captured or photographed the acquired image.
본 개시의 일 실시예에 따른 영상에 대한 태그를 생성하는 전자 장치에 있어서, 디스플레이, 메모리, 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는, 태그를 생성하기 위한 영상을 획득하고, 상기 획득된 영상에 기초하여, 상기 영상과 관련된 정보를 획득하고, 상기 디스플레이를 통해 표시되는 상기 영상 상에 감지된 제1 터치 제스처에 기초하여, 상기 영상과 관련된 정보 중 상기 제1 터치 제스처와 대응되는 영역을 판단하고, 상기 판단된 영역에 대한 영상과 관련된 정보를 식별하고, 상기 식별된 영상과 관련된 정보에 기초하여, 상기 영상에 대한 태그(Tag)를 생성한다.An electronic device that generates a tag for an image according to an embodiment of the present disclosure includes a display, a memory, and at least one processor. The at least one processor acquires an image for generating a tag, obtains information related to the image based on the acquired image, and detects a first touch gesture on the image displayed through the display. Based on this, determine an area corresponding to the first touch gesture among the information related to the image, identify information related to the image for the determined area, and based on the information related to the identified image, determine the image Create a tag for .
본 개시의 일 실시예에 따른 영상에 대한 태그를 생성하는 전자 장치의 제어 방법에 있어서, 태그를 생성하기 위한 영상을 획득하는 단계; 상기 획득된 영상에 기초하여, 상기 영상과 관련된 정보를 획득하는 단계; 상기 디스플레이를 통해 표시되는 상기 영상 상에 감지된 제1 터치 제스처에 기초하여, 상기 영상과 관련된 정보 중 상기 제1 터치 제스처와 대응되는 영역을 판단하는 단계; 상기 판단된 영역에 대한 영상과 관련된 정보를 식별하는 단계; 및 상기 식별된 영상과 관련된 정보에 기초하여, 상기 영상에 대한 태그(Tag)를 생성하는 단계를 포함한다.A method of controlling an electronic device that generates a tag for an image according to an embodiment of the present disclosure, comprising: acquiring an image for generating a tag; Based on the acquired image, acquiring information related to the image; Based on a first touch gesture detected on the image displayed through the display, determining an area corresponding to the first touch gesture among information related to the image; identifying information related to the image for the determined area; and generating a tag for the identified image based on information related to the identified image.
본 개시의 일 실시예에 따른 영상에 대한 태그를 생성하는 전자 장치의 제어 방법을 실행하기 위한 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체에 있어서, 태그를 생성하기 위한 영상을 획득하는 단계; 상기 획득된 영상에 기초하여, 상기 영상과 관련된 정보를 획득하는 단계; 상기 디스플레이를 통해 표시되는 상기 영상 상에 감지된 제1 터치 제스처에 기초하여, 상기 영상과 관련된 정보 중 상기 제1 터치 제스처와 대응되는 영역을 판단하는 단계; 상기 판단된 영역에 대한 영상과 관련된 정보를 식별하는 단계; 및 상기 식별된 영상과 관련된 정보에 기초하여, 상기 영상에 대한 태그(Tag)를 생성하는 단계를 포함한다.A computer-readable recording medium storing a program for executing a control method for an electronic device that generates a tag for an image according to an embodiment of the present disclosure, comprising: acquiring an image for generating a tag; Based on the acquired image, acquiring information related to the image; Based on a first touch gesture detected on the image displayed through the display, determining an area corresponding to the first touch gesture among information related to the image; identifying information related to the image for the determined area; and generating a tag for the identified image based on information related to the identified image.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면,1 is a diagram for explaining an electronic device according to an embodiment of the present disclosure;
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도,2 is a block diagram showing the configuration of an electronic device according to an embodiment of the present disclosure;
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 태그를 생성하여 컨텐츠를 추천하는 구성을 도시한 블록도,3 is a block diagram illustrating a configuration for recommending content by generating a tag of an electronic device according to an embodiment of the present disclosure;
도 4 내지 6은 본 개시의 일 실시 예에 따른 태그를 생성하는 실시예를 설명하기 위한 도면,4 to 6 are diagrams for explaining an example of generating a tag according to an embodiment of the present disclosure;
도 7 내지 8은 본 개시의 일 실시 예에 따른 태그를 수정하는 실시예를 설명하기 위한 도면,7 to 8 are diagrams for explaining an embodiment of modifying a tag according to an embodiment of the present disclosure;
도 9 내지 10은 본 개시의 일 실시 예에 따른 태그를 생성하는 다른 실시예를 설명하기 위한 도면,9 to 10 are diagrams for explaining another embodiment of generating a tag according to an embodiment of the present disclosure;
도 11 내지 13은 본 개시의 일 실시 예에 따른 매칭률을 설명하기 위한 도면,11 to 13 are diagrams for explaining the matching rate according to an embodiment of the present disclosure;
도 14는 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도,14 is a block diagram for explaining the detailed configuration of an electronic device according to an embodiment of the present disclosure;
도 15는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.FIG. 15 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.Since these embodiments can be modified in various ways and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the scope to specific embodiments, and should be understood to include various modifications, equivalents, and/or alternatives to the embodiments of the present disclosure. In connection with the description of the drawings, similar reference numbers may be used for similar components.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. In describing the present disclosure, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present disclosure, the detailed description thereof will be omitted.
덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.In addition, the following examples may be modified into various other forms, and the scope of the technical idea of the present disclosure is not limited to the following examples. Rather, these embodiments are provided to make the present disclosure more faithful and complete and to completely convey the technical idea of the present disclosure to those skilled in the art.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.The terms used in this disclosure are merely used to describe specific embodiments and are not intended to limit the scope of rights. Singular expressions include plural expressions unless the context clearly dictates otherwise.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다. In the present disclosure, expressions such as “have,” “may have,” “includes,” or “may include” refer to the presence of the corresponding feature (e.g., component such as numerical value, function, operation, or part). , and does not rule out the existence of additional features.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.In the present disclosure, expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together. . For example, “A or B,” “at least one of A and B,” or “at least one of A or B” (1) includes at least one A, (2) includes at least one B, or (3) it may refer to all cases including both at least one A and at least one B.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. Expressions such as “first,” “second,” “first,” or “second,” used in the present disclosure can modify various components regardless of order and/or importance, and can refer to one component. It is only used to distinguish from other components and does not limit the components.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. A component (e.g., a first component) is “(operatively or communicatively) coupled with/to” another component (e.g., a second component). When referred to as being “connected to,” it should be understood that any component may be directly connected to the other component or may be connected through another component (e.g., a third component).
반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.On the other hand, when a component (e.g., a first component) is said to be “directly connected” or “directly connected” to another component (e.g., a second component), It may be understood that no other component (e.g., a third component) exists between other components.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. The expression “configured to” used in the present disclosure may mean, for example, “suitable for,” “having the capacity to,” depending on the situation. ," can be used interchangeably with "designed to," "adapted to," "made to," or "capable of." The term “configured (or set to)” may not necessarily mean “specifically designed to” in hardware.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.Instead, in some contexts, the expression “a device configured to” may mean that the device is “capable of” working with other devices or components. For example, the phrase "processor configured (or set) to perform A, B, and C" refers to a processor dedicated to performing the operations (e.g., an embedded processor), or by executing one or more software programs stored on a memory device. , may refer to a general-purpose processor (e.g., CPU or application processor) capable of performing the corresponding operations.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.In an embodiment, a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software, or as a combination of hardware and software. Additionally, a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module and implemented with at least one processor, except for 'modules' or 'units' that need to be implemented with specific hardware.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다. Meanwhile, various elements and areas in the drawing are schematically drawn. Accordingly, the technical idea of the present invention is not limited by the relative sizes or spacing drawn in the attached drawings.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Hereinafter, with reference to the attached drawings, embodiments according to the present disclosure will be described in detail so that those skilled in the art can easily implement them.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.1 is a diagram for explaining an electronic device according to an embodiment of the present disclosure.
도 1을 참조하면, 전자 장치(100)는 영상을 디스플레이(110)에 표시할 수 있다. 구체적으로, 전자 장치(100)는 사용자 입력에 의해 디스플레이(110)에 표시된 영상을 캡쳐하거나, 카메라에 의해 촬영하여 획득된 영상을 디스플레이(110)에 표시할 수 있다. 디스플레이(110)에 표시된 영상에서 사용자에게 유용한 정보가 포함된 경우, 전자 장치(100)는 사용자 입력에 의해 디스플레이(110)에 표시된 영상을 캡쳐할 수 있다. 또는, 책 기타 인쇄된 문서에서 사용자에게 유용한 정보가 포함된 경우, 전자 장치(100)는 사용자 입력에 의해 인쇄된 문서에 개시된 정보를 촬영할 수 있다. Referring to FIG. 1 , the electronic device 100 may display an image on the display 110 . Specifically, the electronic device 100 may capture an image displayed on the display 110 based on a user input, or may display an image acquired by shooting with a camera on the display 110. If the image displayed on the display 110 includes information useful to the user, the electronic device 100 may capture the image displayed on the display 110 according to a user input. Alternatively, if a book or other printed document contains information useful to the user, the electronic device 100 may capture the information disclosed in the printed document through user input.
이와 같이 획득된 영상은 메모리에 저장하여 보관되는데, 영상의 보관 기간이 오래될수록, 사용자는 영상을 획득한 의도 또는 목적을 잊어버리는 경우가 많아 유용한 정보를 활용하기 어렵게 된다는 문제가 있다. 영상을 획득한 의도 또는 목적을 반영하여 태그를 생성하지 않고 영상에 포함된 객체를 인식하여 인식된 모든 객체에 대한 태그를 생성하는 경우, 영상을 획득한 의도 또는 목적이 불분명하게 된다는 문제가 있다. 또한 획득한 영상에 대한 태그를 사람의 손으로 작성하게 되는 경우, 시간과 비용이 발생할 수 있는 문제가 있다. 이러한 문제는 영상을 획득한 의도 또는 목적이 반영될 수 있는 태그를 생성하여 해결될 수 있다.The images acquired in this way are stored and stored in memory, but the longer the image storage period, the longer the user forgets the intention or purpose of acquiring the images, making it difficult to utilize useful information. If you recognize objects included in an image and create tags for all recognized objects without creating tags to reflect the intention or purpose of acquiring the image, there is a problem that the intention or purpose of acquiring the image becomes unclear. Additionally, if tags for acquired images are created by hand, there is a problem that time and cost may be incurred. This problem can be solved by creating a tag that can reflect the intention or purpose of acquiring the image.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.Figure 2 is a block diagram showing the configuration of an electronic device according to an embodiment of the present disclosure.
도 2를 참조하면, 전자 장치(100)는 디스플레이(110), 메모리(120) 및 적어도 하나의 프로세서(160)를 포함한다. 그러나, 도 2에 도시된 전자 장치(100)의 구성은 일 실시예에 불과할 뿐, 다른 구성이 추가되거나 일부 구성이 생략될 수 있음은 물론이다.Referring to FIG. 2 , the electronic device 100 includes a display 110, a memory 120, and at least one processor 160. However, the configuration of the electronic device 100 shown in FIG. 2 is only an example, and of course, other configurations may be added or some configurations may be omitted.
디스플레이(110)는 다양한 정보를 디스플레이할 수 있다. 특히, 디스플레이(110)는 영상 자체뿐 아니라, 영상과 관련된 정보를 디스플레이할 수 있다. 또한, 디스플레이(110)는 영상에서 생성된 태그와 태그로부터 추천된 컨텐츠를 디스플레이할 수 있다. 이와 같은 디스플레이(110)는 LCD(Liquid Crystal Display) 패널, OLED(Organic Light Emitting Diodes) 패널, AM-OLED(Active-Matrix Organic Light-Emitting Diode), LcoS(Liquid Crystal on Silicon), QLED(Quantum dot Light-Emitting Diode) 및 DLP(Digital Light Processing), PDP(Plasma Display Panel) 패널, 무기 LED 패널, 마이크로 LED 패널 등 다양한 종류의 디스플레이 패널을 포함할 수 있으나, 이에 한정되는 것은 아니다. 한편, 디스플레이(110)는 터치 패널과 함께 터치스크린을 구성할 수도 있으며, 플렉서블(flexible) 패널로 이루어질 수도 있다.The display 110 can display various information. In particular, the display 110 can display not only the image itself but also information related to the image. Additionally, the display 110 may display tags generated from the video and content recommended from the tags. Such displays 110 include liquid crystal display (LCD) panels, organic light emitting diodes (OLED) panels, active-matrix organic light-emitting diodes (AM-OLED), liquid crystal on silicon (LcoS), and quantum dot (QLED) panels. It may include various types of display panels such as Light-Emitting Diode (DLP), Digital Light Processing (DLP), Plasma Display Panel (PDP) panel, inorganic LED panel, and micro LED panel, but is not limited thereto. Meanwhile, the display 110 may form a touch screen together with a touch panel, or may be made of a flexible panel.
메모리(120)는 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 인스트럭션 또는 데이터를 저장할 수 있다. 특히, 메모리(120)는 카메라에 의해 촬영하거나 디스플레이(110) 영상을 캡쳐하여 획득된 영상을 저장할 수 있다. 그리고, 획득된 영상으로부터 태그를 생성하고, 태그와 관련된 컨텐츠를 추천하기 위하여, 메모리(120)는 도 3에 도시된 바와 같이, 영상 획득 모듈(310), 영상 정보 획득 모듈(320), 터치 제스처 판단 모듈(330), 영상 정보 식별 모듈(340), 영상 태그 생성 모듈(350), 컨텐츠 추천 모듈(360) 및 매칭률 판단 모듈(370)을 포함할 수 있다. 이와 같은 메모리(120)는, 예를 들어, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있다. 주기억장치는 롬(ROM) 및/또는 램(RAM)과 같은 반도체 저장 매체를 이용하여 구현된 것일 수 있다. 롬은, 예를 들어, 통상적인 롬, 이피롬(EPROM), 이이피롬(EEPROM) 및/또는 마스크롬(MASK-ROM) 등을 포함할 수 있다. 램은 예를 들어, 디램(DRAM) 및/또는 에스램(SRAM) 등을 포함할 수 있다. 보조기억장치는, 플래시 메모리 장치, SD(Secure Digital) 카드, 솔리드 스테이트 드라이브(SSD, Solid State Drive), 하드 디스크 드라이브(HDD, Hard Disc Drive), 자기 드럼, 컴팩트 디스크(CD), 디브이디(DVD) 또는 레이저 디스크 등과 같은 광 기록 매체(optical media), 자기테이프, 광자기 디스크 및/또는 플로피 디스크 등과 같이 데이터를 영구적 또는 반영구적으로 저장 가능한 적어도 하나의 저장 매체를 이용하여 구현될 수 있다.The memory 120 may store an operating system (OS) for controlling the overall operation of the components of the device 100 and instructions or data related to the components of the electronic device 100. In particular, the memory 120 may store images obtained by shooting with a camera or capturing images from the display 110. In order to create a tag from the acquired image and recommend content related to the tag, the memory 120 includes an image acquisition module 310, an image information acquisition module 320, and a touch gesture, as shown in FIG. 3. It may include a determination module 330, an image information identification module 340, an image tag creation module 350, a content recommendation module 360, and a matching rate determination module 370. Such memory 120 may include, for example, at least one of a main memory and an auxiliary memory. The main memory may be implemented using semiconductor storage media such as ROM and/or RAM. ROM may include, for example, conventional ROM, EPROM, EEPROM, and/or MASK-ROM. RAM may include, for example, DRAM and/or SRAM. Auxiliary storage devices include flash memory devices, SD (Secure Digital) cards, solid state drives (SSDs), hard disk drives (HDDs), magnetic drums, compact disks (CDs), and DVDs. ) or an optical recording medium such as a laser disk, magnetic tape, magneto-optical disk, and/or floppy disk, etc. may be implemented using at least one storage medium capable of storing data permanently or semi-permanently.
적어도 하나의 프로세서(130)는 메모리(120)에 저장된 적어도 하나의 인스트럭션에 따라 전자 장치(100)를 제어할 수 있다. 특히, 적어도 하나의 프로세서(130)는 태그를 생성하기 위한 영상을 획득할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 획득된 영상에 기초하여, 영상과 관련된 정보를 획득할 수 있다. 이후, 디스플레이를 통해 표시되는 영상 상에 감지된 제1 터치 제스처에 기초하여, 영상과 관련된 정보 중 제1 터치 제스처와 대응되는 영역을 판단할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 판단된 영역에 대한 영상과 관련된 정보를 식별하고, 식별된 영상과 관련된 정보에 기초하여 영상에 대한 태그(Tag)를 생성할 수 있다.At least one processor 130 may control the electronic device 100 according to at least one instruction stored in the memory 120. In particular, at least one processor 130 may acquire an image for generating a tag. And, at least one processor 130 may obtain information related to the image based on the acquired image. Thereafter, based on the first touch gesture detected on the image displayed through the display, the area corresponding to the first touch gesture among information related to the image may be determined. Additionally, at least one processor 130 may identify information related to the image of the determined area and generate a tag for the image based on the information related to the identified image.
구체적으로, 적어도 하나의 프로세서(130)는 영상에 기초하여 영상에 포함된 적어도 하나의 객체 영역을 구별하고, 객체 영역에 대응되는 객체를 식별할 수 있다. 그리고, 객체에 기초하여 영상과 관련된 정보를 획득할 수 있다.Specifically, at least one processor 130 may distinguish at least one object area included in the image based on the image and identify an object corresponding to the object area. And, information related to the image can be obtained based on the object.
또한, 적어도 하나의 프로세서(130)는 판단된 제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역을 획득할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 적어도 하나의 객체 영역과 대응되는 식별된 객체에 기초하여 판단된 영역에 대한 영상과 관련된 정보를 식별할 수 있다.Additionally, at least one processor 130 may obtain at least one object area including an area corresponding to the determined first touch gesture. Additionally, at least one processor 130 may identify information related to the image for the area determined based on the identified object corresponding to at least one object area.
그리고, 적어도 하나의 프로세서(130)는 디스플레이(110)를 통해 표시되는 영상 상에 태그를 제1 터치 제스처와 대응되는 영역에 표시할 수 있다. 여기에서, 적어도 하나의 프로세서(130)는 제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역에서 제2 터치 제스처를 식별하고, 제2 터치 제스처에 기초하여 태그를 변경하거나 영상에 대한 태그를 추가하는 방식으로 태그를 수정할 수 있다.Additionally, at least one processor 130 may display a tag on an image displayed through the display 110 in an area corresponding to the first touch gesture. Here, the at least one processor 130 identifies the second touch gesture in at least one object area including the area corresponding to the first touch gesture, and changes the tag or changes the image based on the second touch gesture. You can edit tags by adding tags.
또한, 적어도 하나의 프로세서(130)는, 태그와 관련된 장소를 추천할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 추천된 장소와 사용자의 위치 사이의 거리가 기설정된 거리 이하인지여부를 판단하고, 거리가 기설정된 거리 이하이면, 추천한 장소를 디스플레이(110)에 표시할 수 있다.Additionally, at least one processor 130 may recommend a location related to the tag. Then, at least one processor 130 determines whether the distance between the recommended place and the user's location is less than or equal to a preset distance, and if the distance is less than or equal to the preset distance, displays the recommended place on the display 110. You can.
전자 장치(100)는 카메라를 더 포함할 수 있다. 이때, 적어도 하나의 프로세서(130)는 카메라를 통해 획득된 영상을 기초로, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 촬영되는지 판단할 수 있다. 적어도 하나의 프로세서(130)는 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 촬영될 위치를 디스플레이에 표시하여 사용자에게 가이드를 제공할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 사용자의 입력에 기초하여 영상을 획득할 수 있다.The electronic device 100 may further include a camera. At this time, at least one processor 130 may determine whether an image including the user's fashion, the user's makeup, and the user's hairstyle is captured based on the image acquired through the camera. At least one processor 130 may provide a guide to the user by displaying a location on the display where the user's fashion, the user's makeup, and the user's hairstyle will be photographed. Also, at least one processor 130 may acquire an image based on a user's input.
그리고, 영상과 관련된 정보는 패션과 관련된 정보, 메이크업과 관련된 정보및 헤어스타일과 관련된 정보를 포함할 수 있다. 여기에서, 적어도 하나의 프로세서(130)는 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 획득되면, 패션과 관련된 정보, 메이크업과 관련된 정보 및 헤어스타일과 관련된 정보를 판단할 수 있다. Additionally, information related to the video may include information related to fashion, information related to makeup, and information related to hairstyle. Here, when an image including the user's fashion, the user's makeup, and the user's hairstyle is acquired, the at least one processor 130 may determine fashion-related information, makeup-related information, and hairstyle-related information. there is.
또한, 적어도 하나의 프로세서(130)는 패션과 관련된 정보와 대응되는 복수의 제1 태그, 메이크업과 관련된 정보와 대응되는 복수의 제2 태그 및 헤어스타일과 관련된 정보와 대응되는 복수의 제3 태그를 생성할 수 있다.In addition, at least one processor 130 includes a plurality of first tags corresponding to information related to fashion, a plurality of second tags corresponding to information related to makeup, and a plurality of third tags corresponding to information related to hairstyle. can be created.
한편, 적어도 하나의 프로세서(130)는 제1 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보가 메이크업과 관련된 정보이면, 복수의 제2 태그와 대응되는 복수의 제1 태그 중 적어도 하나의 태그를 포함하는 복수의 제1 영상을 획득할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 복수의 제2 태그와 대응되는 복수의 제3 태그 중 적어도 하나의 태그를 포함하는 복수의 제2 영상을 획득할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 복수의 제1 태그, 복수의 제1 영상 및 복수의 제2 영상에 기초하여 패션의 매칭률 및 헤어스타일의 매칭률을 판단할 수 있다.Meanwhile, if the information related to the image for the area corresponding to the first touch gesture is makeup-related information, the at least one processor 130 selects at least one tag among the plurality of first tags corresponding to the plurality of second tags. A plurality of first images including: Additionally, at least one processor 130 may acquire a plurality of second images including at least one tag among a plurality of third tags corresponding to a plurality of second tags. Additionally, at least one processor 130 may determine the fashion matching rate and the hairstyle matching rate based on the plurality of first tags, the plurality of first images, and the plurality of second images.
또한, 적어도 하나의 프로세서(130)는 복수의 제1 태그, 복수의 제1 영상 및 복수의 제2 영상에 기초하여 패션의 빈도수 및 헤어스타일의 빈도수를 산출할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 패션의 빈도수가 기설정된 기준 이상이면, 패션의 매칭률을 낮게 판단하고, 헤어스타일의 빈도수가 기설정된 기준 이상이면, 헤어스타일의 매칭률을 낮게 판단할 수 있다.Additionally, at least one processor 130 may calculate the frequency of fashion and the frequency of hairstyle based on the plurality of first tags, the plurality of first images, and the plurality of second images. In addition, if the frequency of the fashion is higher than the preset standard, the at least one processor 130 may determine the fashion matching rate to be low, and if the frequency of the hairstyle is higher than the preset standard, the at least one processor 130 may determine the matching rate of the hairstyle to be low. there is.
적어도 하나의 프로세서(130)가 복수의 구성을 통해 태그를 생성하고, 컨텐츠를 추천하는 방법에 대해서는 도 3을 참조하여 상세히 설명하기로 한다.A method by which at least one processor 130 generates tags and recommends content through a plurality of configurations will be described in detail with reference to FIG. 3.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 태그를 생성하여 컨텐츠를 추천하는 구성을 도시한 블록도이다.FIG. 3 is a block diagram illustrating a configuration for recommending content by generating a tag of an electronic device according to an embodiment of the present disclosure.
도 3을 참조하면, 영상 획득 모듈(310)은 태그를 생성하기 위한 영상을 획득할 수 있다. 구체적으로, 영상 획득 모듈(310)은 디스플레이(110)에 표시된 화면을 캡쳐하기 위한 사용자 입력을 수신하여 디스플레이(110)에 표시된 화면을 메모리(120)에 저장하는 방식으로 영상을 획득할 수 있다. 또한, 영상 획득 모듈(310)은 카메라를 통해 디스플레이(110)에 표시된 화면을 촬영하기 위한 사용자 입력을 수신하여 디스플레이(110)에 표시된 화면을 메모리(12)에 저장하는 방식으로 영상을 획득할 수 있다.Referring to FIG. 3, the image acquisition module 310 may acquire an image for generating a tag. Specifically, the image acquisition module 310 may acquire an image by receiving a user input for capturing the screen displayed on the display 110 and storing the screen displayed on the display 110 in the memory 120. In addition, the image acquisition module 310 may acquire an image by receiving a user input for taking a picture of the screen displayed on the display 110 through a camera and storing the screen displayed on the display 110 in the memory 12. there is.
영상 정보 획득 모듈(320)은 획득된 영상에서 객체의 종류를 포함하고 있는지 식별하여 영상과 관련된 정보를 획득할 수 있다. 구체적으로, 영상 정보 획득 모듈(320)은 영상에 포함된 적어도 하나의 객체 영역을 구별할 수 있다. 즉, 객체의 종류가 식별되기 이전에, 영상 정보 획득 모듈(320)은 영상에서 포함된 구별되는 객체들이 영상에서 차지하는 영역에 대해 우선 판단할 수 있다. The image information acquisition module 320 can obtain information related to the image by identifying whether the acquired image includes the type of object. Specifically, the image information acquisition module 320 may distinguish at least one object area included in the image. That is, before the type of object is identified, the image information acquisition module 320 may first determine the areas occupied by distinct objects included in the image.
예를 들어, 도 4에 도시된 바와 같이, 영상 정보 획득 모듈(320)은 객체 영역으로 크게 제1 영역(410) 및 제1 영역(410)과 구분되는 제2 영역(420)으로 구별할 수 있다. 여기에서, 영상 정보 획득 모듈(320)은 이미지 영역(410)에 포함된 적어도 하나의 객체 영역(411, 412, 413, 414)을 구별할 수 있다. For example, as shown in FIG. 4, the image information acquisition module 320 can largely distinguish the object area into a first area 410 and a second area 420 that is distinct from the first area 410. there is. Here, the image information acquisition module 320 may distinguish at least one object area 411, 412, 413, and 414 included in the image area 410.
그리고, 영상 정보 획득 모듈(320)은 객체 영역에 대응되는 객체를 식별할 수 있다. 구체적으로, 영상 정보 획득 모듈(320)은 구별된 객체 영역에 대해 각각 객체의 종류를 식별할 수 있다. 즉, 영상 정보 획득 모듈(320)은 인공지능(AI)또는 컴퓨터 비전 알고리즘을 이용하여 객체 영역에 대응되는 객체를 식별할 수 있다.Additionally, the image information acquisition module 320 may identify an object corresponding to the object area. Specifically, the image information acquisition module 320 may identify the type of object for each distinct object area. That is, the image information acquisition module 320 can identify an object corresponding to the object area using artificial intelligence (AI) or a computer vision algorithm.
예를 들어, 도 5에 도시된 바와 같이, 영상 정보 획득 모듈(320)은 제1 영역(410)을 이미지가 포함된 이미지 영역(510)으로 식별하고, 제2 영역(420)을 텍스트가 포함된 텍스트 영역(520)으로 식별할 수 있다. 여기에서, 영상 정보 획득 모듈(320)은 분류 알고리즘, 인공지능(AI)등을 통해 이미지 영역(510)에서 헤어, 얼굴, 바디, 배경이 식별된 경우, 이미지 영역(510)에 포함된 적어도 하나의 객체 영역(411, 412, 413, 414) 각각을 헤어 영역(511), 얼굴 영역(512), 바디 영역(513) 및 배경 영역(514)으로 식별할 수 있다. 또한, 영상 정보 획득 모듈(320)은 텍스트 영역(520)에 포함된 텍스트를 키워드 단위(예로, '빌드펌', '어깨길이', '긴머리', '얼굴형'등)로 식별할 수 있다. For example, as shown in FIG. 5, the image information acquisition module 320 identifies the first area 410 as the image area 510 containing an image, and the second area 420 as the image area 510 containing the text. It can be identified by the text area 520. Here, when hair, face, body, and background are identified in the image area 510 through a classification algorithm, artificial intelligence (AI), etc., the image information acquisition module 320 operates at least one hair, face, body, and background included in the image area 510. Each of the object areas 411, 412, 413, and 414 can be identified as a hair area 511, a face area 512, a body area 513, and a background area 514. In addition, the image information acquisition module 320 can identify the text included in the text area 520 in keyword units (e.g., 'build perm', 'shoulder length', 'long hair', 'face shape', etc.). there is.
영상 정보 획득 모듈(320)은 식별된 객체에 기초하여 태그를 생성하기 위한 식별된 객체에 대한 카테고리별 태그 셋을 생성할 수 있다. 여기에서 태그 셋은 식별된 객체의 카테고리에 포함될 수 있는 복수의 태그의 집합이다. 예를 들어 헤어 카테고리의 태그 셋은 긴머리, 애쉬 카키, 씨컬 펌 등의 태그가 포함될 수 있다.The image information acquisition module 320 may generate a tag set for each category for the identified object to generate a tag based on the identified object. Here, the tag set is a set of multiple tags that can be included in the category of the identified object. For example, a set of tags in the hair category may include tags such as long hair, ash khaki, and curl perm.
도 5에서 이미지 영역(510)에서 헤어 영역(511), 얼굴 영역(512), 바디 영역(513) 및 배경 영역(514)이 식별된 경우, 영상 정보 획득 모듈(320)은 헤어 카테고리의 태그 셋, 메이크업 카테고리의 태그 셋, 패션 카테고리의 태그 셋, 장소 카테고리의 태그 셋을 생성할 수 있다. 이와 같은 태그 셋은 식별된 객체로부터 생성되거나, 메모리(120)에 저장되어 이용될 수 있다.In FIG. 5 , when the hair area 511, face area 512, body area 513, and background area 514 are identified in the image area 510, the image information acquisition module 320 generates a tag set of the hair category. , you can create a tag set for the makeup category, a tag set for the fashion category, and a tag set for the location category. Such a tag set can be created from an identified object or stored in the memory 120 and used.
이와 같이, 영상 정보 획득 모듈(320)은 객체 영역, 식별된 객체의 종류 및 카테고리 태그 셋을 영상과 관련된 정보로서 획득할 수 있다. In this way, the image information acquisition module 320 can acquire the object area, type of identified object, and category tag set as information related to the image.
또한 이와 같이 생성된 카테고리 태그 셋이 복수인 경우, 연관된 카테고리 태그 셋에 포함된 태그가 생성된 영상이 동시에 디스플레이(110)에 표시될 수 있다. 예를 들어, 패션 카테고리 태그 셋에 포함된 '봄캠핑룩'태그가 생성된 영상 및 구매 카테고리 태그 셋에 포함된 '캠핑의자' 태그가 생성된 영상이 동시에 디스플레이(110)에 표시될 수 있다.Additionally, when there are a plurality of category tag sets created in this way, images in which tags included in the related category tag set are generated may be displayed on the display 110 at the same time. For example, a video in which the 'spring camping look' tag included in the fashion category tag set and a video in which the 'camping chair' tag included in the purchase category tag set are generated may be displayed on the display 110 at the same time.
또한 이와 같이 생성된 카테고리 태그 셋은 통신 인터페이스를 통해 다른 사용자와 공유될 수 있다. Additionally, the category tag set created in this way can be shared with other users through a communication interface.
이와 같은 패션 카테고리 태그셋, 구매 카테고리 태그셋 등은 영상과 관련된 정보 예시로, 이에 한정하지 않으며, 식별된 객체의 카테고리에 따라 카테고리 태그 셋이 생성될 수 있다.Such fashion category tag sets, purchase category tag sets, etc. are examples of information related to videos, and are not limited thereto, and a category tag set may be created according to the category of the identified object.
터치 제스처 판단 모듈(330)은 디스플레이(110)를 통해 수신된 사용자의 터치 제스처의 종류를 우선 판단할 수 있다. 즉, 터치 제스처 판단 모듈(330)은 터치 제스처로 탭(Tap), 롱 프레스(Long press), 스와이프(Swipe) 등 터치 제스처의 종류를 판단할 수 있다. 그리고, 터치 제스터 판단 모듈(330)은 터치 제스터가 이루어지는 영역을 판단할 수 있다. 구체적으로, 터치 제스처 판단 모듈(330)은 터치 제스처가 이루어지는 디스플레이(110)상의 좌표를 획득하여 터치 제스터가 이루어지는 영역을 판단할 수 있다. 또한, 터치 제스처 판단 모듈(330)은 터치 제스처가 이루어지는 디스플레이(110)상의 좌표를 획득하여 폐곡선이 그려지는지 판단할 수 있다. 터치 제스처에 의해 디스플레이(110)상에 폐곡선이 그려지는 것이 판단되면, 폐곡선 내의 영상 정보에 기초하여 영상 태그가 생성될 수 있다.The touch gesture determination module 330 may first determine the type of the user's touch gesture received through the display 110. That is, the touch gesture determination module 330 can determine the type of touch gesture, such as tap, long press, or swipe. Additionally, the touch jester determination module 330 can determine the area where the touch jester is performed. Specifically, the touch gesture determination module 330 may obtain coordinates on the display 110 where a touch gesture is made and determine the area where the touch jester is made. Additionally, the touch gesture determination module 330 may obtain coordinates on the display 110 where a touch gesture is made and determine whether a closed curve is drawn. If it is determined that a closed curve is drawn on the display 110 by a touch gesture, an image tag may be generated based on image information within the closed curve.
영상 정보 식별 모듈(340)은 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역을 획득할 수 있다. 즉, 영상 정보 식별 모듈(340)은 디스플레이(110)에 표시된 영상 상에 입력되는 터치 제스처가 입력되는 영역을 판단하고, 터치 제스처가 입력되는 영역이 포함되는 적어도 하나의 객체 영역을 판단할 수 있다. 일 예로, 영상 정보 식별 모듈(340)은 사용자로부터 입력된 제1 터치 제스처(530)는 롱 프레스로 판단할 수 있다. 이러한 경우, 영상 정보 식별 모듈(340)은 롱 프레스된 영역과 대응되는 영역은 헤어 영역(511)에 포함됨을 판단하여, 객체 영역으로 헤어 영역(511)영역을 획득할 수 있다.The image information identification module 340 may obtain at least one object area including an area corresponding to the touch gesture. That is, the image information identification module 340 may determine an area where a touch gesture is input on the image displayed on the display 110 and determine at least one object area that includes the area where the touch gesture is input. . As an example, the image information identification module 340 may determine that the first touch gesture 530 input from the user is a long press. In this case, the image information identification module 340 may determine that the area corresponding to the long-pressed area is included in the hair area 511, and obtain the hair area 511 area as the object area.
또한, 영상 정보 식별 모듈(340)은 적어도 하나의 객체 영역과 대응되는 식별된 객체에 기초하여 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보를 식별할 수 있다. 여기에서, 영상과 관련된 정보는 객체 영역, 식별된 객체의 종류 및 카테고리 태그 셋 중 적어도 하나에 해당될 수 있다. 일 예로, 영상 정보 식별 모듈(340)은 헤어 영역(511)과 대응되는 객체는 '헤어'에 해당되므로, '헤어'와 관련된 정보를 식별할 수 있다. 즉, 영상 정보 식별 모듈(340)은 헤어 영역(511)을 식별하여 해당 영역을 태그를 표시할 영역을 획득할 수 있다. 또한, 영상 정보 식별 모듈(340)은 '헤어'와 관련된 태그를 생성하여 헤어 카테고리 태그 셋에 포함시킬 수 있도록 '헤어'를 식별하여 영상에서의 헤어 스타일, 헤어 색상, 헤어 길이, 펌의 종류, 헤어의 상태 등과 관련된 정보를 획득할 수 있다.Additionally, the image information identification module 340 may identify information related to the image for the area corresponding to the touch gesture based on the identified object corresponding to at least one object area. Here, information related to the image may correspond to at least one of three sets: object area, type of identified object, and category tag. As an example, the image information identification module 340 may identify information related to 'hair' because the object corresponding to the hair area 511 corresponds to 'hair'. That is, the image information identification module 340 can identify the hair area 511 and obtain an area to display a tag for the corresponding area. In addition, the video information identification module 340 generates tags related to 'hair' and identifies 'hair' so that it can be included in the hair category tag set, and identifies the hair style, hair color, hair length, type of perm in the video, You can obtain information related to hair condition, etc.
영상 태그 생성 모듈(350)은 식별된 영상과 관련된 정보에 기초하여, 영상에 대한 태그를 생성할 수 있다. 즉, 영상 태그 생성 모듈(350)은 터치 제스처와 대응되는 영역에 대응되는 객체에 대한 정보 등을 활용하여 태그를 생성할 수 있다. 또한, 영상 태그 생성 모듈(350)은 태그를 생성할 영역에 대한 정보를 활용하여 디스플레이(110)를 통해 표시되는 영상 상에 태그를 표시할 수 있다.The image tag creation module 350 may generate a tag for the image based on information related to the identified image. That is, the image tag creation module 350 can generate a tag by utilizing information about the object corresponding to the area corresponding to the touch gesture. Additionally, the image tag creation module 350 may display a tag on the image displayed through the display 110 using information about the area where the tag is to be created.
일 예로, 도 6을 참조하면, 영상 태그 생성 모듈(350)은 제1 터치 제스처(530)와 대응되는 객체 영역은 헤어 영역(511)으로 판단하여, 헤어 영역(511)내에 태그를 생성할 수 있다. 또한, 영상 태그 생성 모듈(350)은 생성된 태그는 헤어 카테고리의 태그 셋(600)에 포함됨을 디스플레이(110)에 표시할 수 있다. 그리고, 영상 태그 생성 모듈(530)은 헤어 스타일, 헤어 색상, 헤어 길이 등의 관한 정보를 기초로 앞머리(601), 애쉬 브라운(602), 빌드펌(603) 및 중단발(604)을 태그로 생성할 수 있다. 이와 같이 생성한 태그(601, 602, 603, 604)에 대해, 영상 태그 생성 모듈(350)은 디스플레이(110)에 표시할 수 있다.As an example, referring to FIG. 6, the image tag creation module 350 determines that the object area corresponding to the first touch gesture 530 is the hair area 511, and creates a tag within the hair area 511. there is. Additionally, the video tag creation module 350 may display on the display 110 that the generated tag is included in the tag set 600 of the hair category. And, the video tag creation module 530 tags bangs (601), ash brown (602), build perm (603), and middle hair (604) based on information about hair style, hair color, and hair length. can be created. The image tag creation module 350 can display the tags 601, 602, 603, and 604 created in this way on the display 110.
다른 예로, 도 7a를 참조할 때, 터치 제스처와 대응되는 영역이 패션 영역으로 판단된 경우, 영상 태그 생성 모듈(350)은 패션 카테고리 태그셋을 영상과 관련된 정보로 식별할 수 있다. 따라서 영상 태그 생성 모듈(350)은 영상 상에 패션과 관련된 태그로, '반묶음, 고데기' 태그(711), '맨투맨, 캐주얼, 그레이' 태그(712), '숏팬츠, 캐주얼, 레드'태그(713), '볼캡, 레드' 태그(714)를 디스플레이(110)에 표시할 수 있다. As another example, referring to FIG. 7A, if the area corresponding to the touch gesture is determined to be a fashion area, the video tag creation module 350 may identify the fashion category tag set as information related to the video. Therefore, the video tag creation module 350 is a tag related to fashion on the video, such as 'half-up, curling iron' tag (711), 'sweatshirt, casual, gray' tag (712), and 'short pants, casual, red' tag. (713) and 'ball cap, red' tag 714 can be displayed on the display 110.
영상 태그 생성 모듈(350)은 제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역에서 제2 터치 제스처를 식별할 수 있다. 이 때, 영상 태그 생성 모듈(350)은 제2 터치 제스처에 기초하여 태그를 변경하거나 영상에 대한 태그를 추가할 수 있다. 일 예로, 도 7b를 참조할 때, 사용자로부터 입력된 제2 터치 제스처(720)가 식별되면, 영상 태그 생성 모듈(350)은 패션 카테고리 태그 셋에 포함될 수 있는 태그(722)를 추가하고, 이를 표시할 수 있다. The image tag creation module 350 may identify the second touch gesture in at least one object area including an area corresponding to the first touch gesture. At this time, the image tag creation module 350 may change the tag or add a tag to the image based on the second touch gesture. As an example, referring to FIG. 7B, when the second touch gesture 720 input from the user is identified, the video tag creation module 350 adds a tag 722 that can be included in the fashion category tag set, and It can be displayed.
이와 같이 영상 태그 생성 모듈(350)은 제2 터치 제스처(720)에 기초하여 태그를 추가하거나 태그를 변경할 수 있다. 예를 들어, '숏팬츠, 캐주얼, 레드' 태그(713)에 대하여 제2 터치 제스처가 입력되면, 영상 태그 생성 모듈(350)은 '숏팬츠, 캐주얼, 레드' 태그(713) 중 '캐주얼'을 삭제하거나, '오버핏'으로 변경할 수 있다.In this way, the image tag creation module 350 can add or change a tag based on the second touch gesture 720. For example, when a second touch gesture is input for the 'short pants, casual, red' tag 713, the video tag creation module 350 selects 'casual' among the 'short pants, casual, red' tag 713. You can delete it or change it to ‘Overfit’.
영상 태그 생성 모듈(350)은 제2 터치 제스처에 기초하여 디스플레이(110)에 표시된 카테고리 태그 셋을 다른 카테고리 태그 셋으로 변경할 수 있다. 도 8a를 참조하면, 제1 터치 제스처와 대응되는 영역에 대해 패션 카테고리 태그가 디스플레이(110)에 표시된 후, 영상 태그 생성 모듈(350)은 제2 터치 제스처의 스와이프 방향에 따라 장소 카테고리 태그 셋으로 변경하거나, 컨텍스트 카테고리 태그 셋으로 변경할 수 있다. 도 8b를 참조할 때, 2 터치 제스처가 오른쪽 방향의 스와이프(810)이면, 영상 태그 생성 모듈(350)은 컨텍스트 카테고리 태그 셋에 포함된 '바람많이부는날, 구름많은날, 햇살가끔'태그(811), '자연스러운포즈' 태그(812) 및 '야외 나들이, 4월말, 친구들이랑'태그(813)을 디스플레이(110)에 표시할 수 있다. The video tag creation module 350 may change the category tag set displayed on the display 110 to another category tag set based on the second touch gesture. Referring to FIG. 8A, after the fashion category tag is displayed on the display 110 for the area corresponding to the first touch gesture, the image tag creation module 350 creates a set of place category tags according to the swipe direction of the second touch gesture. You can change it to , or you can change it to a context category tag set. Referring to FIG. 8B, if the two-touch gesture is a rightward swipe 810, the video tag creation module 350 generates the 'windy day, cloudy day, sometimes sunny' tag included in the context category tag set. (811), 'Natural pose' tag (812), and 'Outdoor outing, end of April, with friends' tag (813) can be displayed on the display 110.
컨텐츠 추천 모듈(360)은 생성된 태그에 기초하여 태그와 관련된 컨텐츠를 추천할 수 있다. 컨텐츠 추천 모듈(360)은 메모리(120)에 저장된 데이터에 기초하여 생성된 태그와 관련된 컨텐츠를 추천할 수 있다. 또는, 컨텐츠 추천 모듈(360)은 통신 인터페이스를 통해 서버로부터 수신된 데이터에 기초하여 태그와 관련된 컨텐츠를 추천할 수 있다. 구체적으로, 컨텐츠 추천 모듈(360)은 생성된 태그와 사용자와 관련된 정보를 서버에 전송하고, 사용자와 관련된 정보와 태그에 기초해 추천 컨텐츠를 서버로부터 수신해 태그와 관련된 컨텐츠를 추천할 수 있다. 여기에서, 사용자와 관련된 정보는 사용자의 위치, 사용자의 성별, 사용자의 관심사 등이 포함될 수 있다. 태그와 관련된 컨텐츠 추천은 생성된 태그가 속한 카테고리에 따라 장소에 대한 추천, 제품 구매처에 대한 추천, 사진 촬영하기 위한 포즈에 대한 추천 등이 포함될 수 있다. The content recommendation module 360 may recommend content related to the tag based on the generated tag. The content recommendation module 360 may recommend content related to a tag created based on data stored in the memory 120. Alternatively, the content recommendation module 360 may recommend content related to the tag based on data received from the server through a communication interface. Specifically, the content recommendation module 360 may transmit the generated tag and user-related information to the server, receive recommended content from the server based on the user-related information and tag, and recommend content related to the tag. Here, information related to the user may include the user's location, the user's gender, the user's interests, etc. Content recommendations related to tags may include recommendations for places, recommendations for places to purchase products, recommendations for poses for taking pictures, etc., depending on the category to which the created tag belongs.
일 예로, 생성된 태그가 '앞머리'에 해당하여, 헤어 카테고리 태그셋에 포함된 경우, 컨텐츠 추천 모듈(360)은 앞머리와 관련된 장소를 추천할 수 있다. 즉, 컨텐츠 추천 모듈(360)은 앞머리와 관련된 유명한 미용실을 추천하거나, 앞머리와 관련되 헤어 제품을 파는 곳을 추천할 수 있다. For example, if the generated tag corresponds to 'bangs' and is included in the hair category tag set, the content recommendation module 360 may recommend a place related to bangs. That is, the content recommendation module 360 may recommend a famous hair salon related to bangs or a place that sells hair products related to bangs.
여기에서, 컨텐츠 추천 모듈(360)은 추천된 장소와 사용자의 위치 사이의 거리가 기설정된 거리 이하인지 판단할 수 있다. 그리고, 컨텐츠 추천 모듈(360)은 거리가 기설정된 거리 이하이면, 추천한 장소를 디스플레이(110)에 표시할 수 있다. 즉, 앞머리와 관련된 미용실과 사용자의 위치 사이의 거리가 기설정된 거리 이하일 때, 컨텐츠 추천 모듈(360)은 앞머리와 관련하여 추천한 장소가 근처에 있음을 디스플레이(110)에 표시할 수 있다. 이러한 추천과 관련된 개시는 일 예에 해당하며, 이에 한정되지 않는다.Here, the content recommendation module 360 may determine whether the distance between the recommended place and the user's location is less than or equal to a preset distance. Additionally, the content recommendation module 360 may display the recommended location on the display 110 if the distance is less than or equal to a preset distance. That is, when the distance between the hair salon related to the bangs and the user's location is less than a preset distance, the content recommendation module 360 may display on the display 110 that the recommended place related to the bangs is nearby. The disclosure related to this recommendation is by way of example and not limited thereto.
도 9 내지 10은 본 개시의 일 실시 예에 따른 태그를 생성하는 다른 실시 예를 설명하기 위한 도면이다.9 to 10 are diagrams for explaining another example of generating a tag according to an embodiment of the present disclosure.
도 9를 참조할 때, 터치 제스처 판단 모듈(330)은 제1 터치 제스처(910)에 대응되는 영역은 텍스트 영역으로 판단할 수 있다. 이러한 경우, 영상 정보 식별 모듈(340)은 이미지 영역에 포함된 객체와 텍스트 영역에 포함된 키워드에 기초하여 이미지 영역에 포함된 객체에 대한 구매 카테고리 태그 셋을 영상과 관련된 정보로 생성할 수 있다. 그리고, 영상 태그 생성 모듈(350)은 텍스트 영역에서 추출한 키워드를 기준으로 제품명, 브랜드명 등을 태그로 생성할 수 있다. 컨텐츠 추천 모듈(360)은 이와 같은 태그와 그 카테고리를 기초로 해당 제품을 구매할 수 있는 구매처를 추천할 수 있다.Referring to FIG. 9 , the touch gesture determination module 330 may determine that the area corresponding to the first touch gesture 910 is a text area. In this case, the image information identification module 340 may generate a purchase category tag set for the object included in the image area as information related to the image based on the object included in the image area and the keyword included in the text area. Additionally, the video tag creation module 350 can generate product names, brand names, etc. as tags based on keywords extracted from the text area. The content recommendation module 360 can recommend a place where the product can be purchased based on the tag and its category.
도 10을 참조할 때, 터치 제스처 판단 모듈(330)은 제1 터치 제스처(1010)에 대응되는 영역은 폐곡선 내의 영역으로 판단할 수 있다. 이러한 경우, 영상 정보 식별 모듈(340)은 이미지 영역에 포함된 객체에 기초하여 촬영 카테고리 태그 셋을 영상과 관련된 정보로 생성할 수 있다. 그리고, 영상 태그 생성 모듈(350)은 '노을' 태그, '한강공원' 태그, '서있는뒷모습' 태그, '한쪽허리손' 태그 및 '허벅지위로' 태그를 생성할 수 있다. 컨텐츠 추천 모듈(360)은 이와 같은 태그에 기초해 '노을진 한강 공원'에 대한 위치에 대한 정보 및 시간에 대한 정보를 추천할 수 있다.Referring to FIG. 10 , the touch gesture determination module 330 may determine that the area corresponding to the first touch gesture 1010 is an area within a closed curve. In this case, the image information identification module 340 may generate a shooting category tag set as information related to the image based on the objects included in the image area. Additionally, the video tag creation module 350 can generate a 'sunset' tag, a 'Hangang Park' tag, a 'standing back view' tag, a 'hand on one waist' tag, and a 'thigh up' tag. The content recommendation module 360 can recommend location information and time information about ‘Noeuljin Hangang Park’ based on such tags.
다른 예로, 터치 제스처 판단 모듈(330)은 제1 터치 제스처에 대응되는 영역은 텍스트 영역으로 판단할 수 있다. 이러한 경우, 영상 정보 식별 모듈(340)은 이미지 영역에 포함된 객체와 텍스트 영역에 포함된 키워드에 기초하여 이미지 영역에 포함된 객체가 음식으로 식별하여, 음식에 대한 장소 카테고리 태그 셋을 영상과 관련된 정보로 생성할 수 있다. 그리고, 영상 태그 생성 모듈(350)은 텍스트 영역에서 추출한 키워드를 기준으로 음식점의 위치, 음식점의 명칭 등을 태그로 생성할 수 있다. 컨텐츠 추천 모듈(360)은 이와 같은 태그와 그 카테고리를 기초로 해당 음식을 판매하는 식당을 추천할 수 있다.As another example, the touch gesture determination module 330 may determine that the area corresponding to the first touch gesture is a text area. In this case, the image information identification module 340 identifies the object included in the image area as food based on the object included in the image area and the keyword included in the text area, and sets a place category tag set for food related to the image. It can be created with information. Additionally, the video tag creation module 350 can generate the location of the restaurant, the name of the restaurant, etc. as tags based on keywords extracted from the text area. The content recommendation module 360 can recommend restaurants that sell the food based on these tags and their categories.
다른 예로, 터치 제스처 판단 모듈(330)은 제1 터치 제스처에 대응되는 영역이 이미지 영역에 해당한다고 판단한 경우에도, 이미지에 포함된 객체가 사람이 없고, 텍스트만 포함된 경우, 이미지에 포함된 텍스트로 태그가 생성될 수 있다. 즉, 영상 정보 식별 모듈(340)은 이미지 영역에 포함된 텍스트를 식별하고, 해당 텍스트에 포함된 키워드에 기초하여 장소 카테고리 태그 셋을 영상과 관련된 정보로 생성할 수 있다. 그리고, 영상 태그 생성 모듈(350)은 텍스트 영역에서 추출한 키워드를 기준으로 음식장의 위치, 음식장의 명칭 등을 태그로 생성할 수 있다. 컨텐츠 추천 모듈(360)은 이와 같은 태그와 그 카테고리를 기초로 해당 음식을 판매하는 식당을 추천할 수 있다.As another example, even when the touch gesture determination module 330 determines that the area corresponding to the first touch gesture corresponds to the image area, if the object included in the image contains no people and only text, the text included in the image Tags can be created with . That is, the image information identification module 340 may identify text included in the image area and generate a place category tag set as information related to the image based on keywords included in the text. Additionally, the video tag creation module 350 can generate tags such as the location of the restaurant and the name of the restaurant based on keywords extracted from the text area. The content recommendation module 360 can recommend restaurants that sell the food based on these tags and their categories.
매칭률 판단 모듈(370)은 카메라를 통해 획득된 영상을 기초로, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일 각각의 매칭되는 정도를 판단할 수 있다. 구체적으로, 매칭률 판단 모듈(370)은 카메라를 통해 획득된 영상을 기초로, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 촬영되는지 판단할 수 있다. The matching rate determination module 370 may determine the degree of matching of the user's fashion, the user's makeup, and the user's hairstyle, based on the image acquired through the camera. Specifically, the matching rate determination module 370 may determine whether an image including the user's fashion, the user's makeup, and the user's hairstyle is captured based on the image acquired through the camera.
여기에서, 매칭률 판단 모듈(370)은 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 촬영될 위치를 디스플레이(110)에 표시할 수 있다. 즉, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 정확하게 촬영할 수 있도록 가이드가 제공된다는 것이다.Here, the matching rate determination module 370 may display the location where the user's fashion, user's makeup, and user's hairstyle will be captured on the display 110. In other words, a guide is provided so that the user's fashion, user's makeup, and user's hairstyle can be accurately photographed.
그리고, 매칭률 판단 모듈(370)은 사용자 입력에 기초하여 영상을 획득할 수 있다. 즉, 획득된 영상은 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된다.And, the matching rate determination module 370 may acquire an image based on user input. That is, the acquired image includes the user's fashion, the user's makeup, and the user's hairstyle.
일 예로, 도 11a를 참조하면, 카메라를 통해 획득된 영상에 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일 중 적어도 하나가 포함된 경우, 매칭률 판단 모듈(370)은 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 촬영되는지 판단할 수 있다. As an example, referring to FIG. 11A, when the image acquired through the camera includes at least one of the user's fashion, the user's makeup, and the user's hairstyle, the matching rate determination module 370 determines the user's fashion and the user's hairstyle. It can be determined whether a video containing makeup and the user's hairstyle is recorded.
도 11b를 참조하면, 사용자의 메이크업 및 사용자의 헤어스타일이 정확하게 촬영할 수 있도록 가이드가 제공되기 위해, 매칭률 판단 모듈(370)은 사용자의 패션이 촬영될 위치(1113, 1114, 1115), 사용자의 메이크업(1112) 및 사용자의 헤어스타일(1111)이 촬영될 위치를 디스플레이(110)에 표시할 수 있다. 이에 더하여 사용자의 악세서리가 촬영될 위치를 추가적으로 디스플레이(110)에 표시할 수 있다. 이와 같이 사용자의 패션이 촬영될 위치(1113, 1114, 1115), 사용자의 메이크업(1112) 및 사용자의 헤어스타일(1111)이 촬영될 위치에 사용자가 위치해 있고, 사용자 입력에 따른 영상이 촬영된 경우, 매칭률 판단 모듈(370)은 영상을 획득할 수 있다.Referring to FIG. 11b, in order to provide a guide so that the user's makeup and the user's hairstyle can be accurately photographed, the matching rate determination module 370 determines the locations 1113, 1114, and 1115 where the user's fashion will be photographed, and the user's fashion. The location where makeup 1112 and the user's hairstyle 1111 will be captured can be displayed on the display 110. In addition, the location where the user's accessories will be photographed can be additionally displayed on the display 110. In this way, when the user is located at a location where the user's fashion will be filmed (1113, 1114, 1115), the user's makeup (1112), and the user's hairstyle (1111) will be filmed, and an image according to the user input is captured. , the matching rate determination module 370 can acquire an image.
그리고, 매칭률 판단 모듈(370)은 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 획득되면, 패션과 관련된 정보, 메이크업과 관련된 정보 및 헤어스타일과 관련된 정보를 판단할 수 있다. 즉 패션과 관련된 정보에는 착용된 상의의 종류, 착용된 하의의 종류 및 메고있는 가방의 종류 등에 대한 정보가 포함될 수 있다. 그리고, 메이크업 과 관련된 정보에는 메이크업의 색상, 진항 정도, 입술 색상 등에 대한 정보가 포함될 수 있다. 그리고, 헤어스타일과 관련된 정보에는 헤어의 길이, 헤어의 두께, 헤어가 풍성한 정도, 헤어의 색상 등에 대한 정보가 포함될 수 있다. 매칭률 판단 모듈(370)은 패션에 대한 정보를 상술한 패션 카테고리 태그 셋의 형태로 판단할 수 있고, 메이크업에 대한 정보를 메이크업 카테고리 태그 셋의 형태로 판단할 수 있고, 헤어스타일에 대한 정보는 헤어스타일 카테고리 태그 셋의 형태로 판단할 수 있다.In addition, when an image containing the user's fashion, the user's makeup, and the user's hairstyle is obtained, the matching rate determination module 370 can determine fashion-related information, makeup-related information, and hairstyle-related information. . That is, fashion-related information may include information about the type of top worn, the type of bottom worn, and the type of bag worn. In addition, information related to makeup may include information about the color of the makeup, degree of wear, lip color, etc. Additionally, information related to the hairstyle may include information about hair length, hair thickness, hair abundance, hair color, etc. The matching rate determination module 370 can determine information about fashion in the form of the above-described fashion category tag set, information about makeup in the form of a makeup category tag set, and information about hairstyle It can be judged by the form of the hairstyle category tag set.
그리고, 매칭률 판단 모듈(370)은 패션과 관련된 정보와 대응되는 복수의 제1 태그, 메이크업과 관련된 정보와 대응되는 복수의 제2 태그 및 헤어스타일과 관련된 정보와 대응되는 복수의 제3 태그를 생성할 수 있다. And, the matching rate determination module 370 uses a plurality of first tags corresponding to information related to fashion, a plurality of second tags corresponding to information related to makeup, and a plurality of third tags corresponding to information related to hairstyle. can be created.
일 예로, 도 12를 참조하면, 매칭률 판단 모듈(370)은 패션과 관련된 정보와 대응되는 복수의 제1 태그(1231, 1232)로 'slim, black, tight, jean, camera bag, small, cross bag, white, price level medium' 등을 생성할 수 있다.As an example, referring to FIG. 12, the matching rate determination module 370 uses a plurality of first tags 1231 and 1232 corresponding to fashion-related information to include 'slim, black, tight, jean, camera bag, small, cross. You can create 'bag, white, price level medium', etc.
그리고, 매칭률 판단 모듈(370)은 메이크업과 관련된 정보와 대응되는 복수의 제2 태그(1210)로 'cool, oily, no makeup makeup, pink lip'을 생성할 수 있다.Additionally, the matching rate determination module 370 may generate 'cool, oily, no makeup makeup, pink lip' as a plurality of second tags 1210 corresponding to makeup-related information.
그리고, 매칭률 판단 모듈(370)은 헤어 스타일에 대한 정보에 대응되는 복수의 제3 태그(1220)로 'wave, natural, black, medium long'을 생성할 수 있다.Additionally, the matching rate determination module 370 may generate 'wave, natural, black, medium long' as a plurality of third tags 1220 corresponding to information about the hairstyle.
다음으로, 매칭률 판단 모듈(370)은 제1 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보가 메이크업과 관련된 정보이면, 복수의 제2 태그와 대응되는 복수의 제1 태그 중 하나의 태그를 포함하는 복수의 제1 영상을 획득할 수 있다. 여기에서 복수의 제2 태그와 대응되는 복수의 제1 태그는 특정한 영상에서 복수의 제1 태그가 생성될 때, 동일한 영상에서 복수의 제2 태그가 함께 생성된 태그이다. Next, if the information related to the image for the area corresponding to the first touch gesture is information related to makeup, the matching rate determination module 370 selects one tag among the plurality of first tags corresponding to the plurality of second tags. A plurality of first images including: Here, the plurality of first tags corresponding to the plurality of second tags are tags that are created together with the plurality of second tags in the same image when the plurality of first tags are generated in a specific image.
그리고, 매칭률 판단 모듈(370)은 제1 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보가 메이크업과 관련된 정보이면, 복수의 제2 태그와 대응되는 복수의 제3 태그 중 적어도 하나의 태그를 포함하는 복수의 제2 영상을 획득할 수 있다. 여기에서 복수의 제2 태그와 대응되는 복수의 제3 태그는 특정한 영상에서 복수의 제3 태그가 생성될 때, 동일한 영상에서 복수의 제2 태그가 함께 생성된 태그이다.And, if the information related to the image for the area corresponding to the first touch gesture is information related to makeup, the matching rate determination module 370 selects at least one tag among the plurality of second tags and the plurality of third tags corresponding to the first touch gesture. A plurality of second images including: Here, the plurality of third tags corresponding to the plurality of second tags are tags that are created together with the plurality of second tags in the same image when the plurality of third tags are generated in a specific image.
일 예로, 도 13a를 참조하면, 제1 터치 제스처(1310)와 대응되는 영역에 대한 영상과 관련된 정보가 메이크업과 관련된 경우, 매칭률 판단 모듈(370)은 메이크업과 관련된 복수의 제2 태그(1210)가 생성될 때 함께 생성된 패션과 관련된 제1 태그(1231, 1232)를 복수의 제2 태그와 대응되는 복수의 제1 태그로 판단할 수 있다. 그리고, 매칭률 판단 모듈(370)은 메이크업과 관련된 복수의 제2 태그(1210)가 생성될 때 함께 생성된 헤어와 관련된 제3 태그(1220)를 복수의 제2 태그와 대응되는 복수의 제3 태그로 판단할 수 있다.As an example, referring to FIG. 13A, when the information related to the image for the area corresponding to the first touch gesture 1310 is related to makeup, the matching rate determination module 370 determines a plurality of second tags 1210 related to makeup. ) can be determined to be a plurality of first tags corresponding to a plurality of second tags. And, the matching rate determination module 370 matches the third tag 1220 related to hair, which is also generated when the plurality of second tags 1210 related to makeup, to the plurality of third tags corresponding to the plurality of second tags. You can judge by tag.
여기에서, 복수의 제1 영상 및 복수의 제2 영상은 사용자에 의해 촬영되어 태그가 생성된 영상에 해당된다. 즉, 복수의 제1 영상 및 복수의 제2 영상은 사용자의 패션, 사용자의 헤어, 사용자의 메이크업이 포함된 영상이고, 패션과 관련된 태그, 헤어와 관련된 태그, 메이크업과 관련된 태그가 포함된 영상에 해당한다.Here, the plurality of first images and the plurality of second images correspond to images captured by the user and for which a tag has been created. That is, the plurality of first images and the plurality of second images are images containing the user's fashion, the user's hair, and the user's makeup, and the images containing tags related to fashion, tags related to hair, and tags related to makeup are images containing tags related to fashion, tags related to hair, and tags related to makeup. It applies.
매칭률 판단 모듈(370)은 복수의 제1 태그, 복수의 제1 영상 및 복수의 제2 영상에 기초하여 패션의 매칭률 및 헤어스타일의 매칭률을 판단할 수 있다. 즉, 매칭률 판단 모듈(370)은 복수의 제1 태그와 복수의 제1 영상에 기초하여 패션의 매칭률을 판단할 수 있고, 복수의 제1 태그와 복수의 제2 영상에 기초하여 헤어스타일의 매칭률을 판단할 수 있다. 패션의 매칭률은 복수의 제2 태그와 대응되는 복수의 제1 태그를 포함하는 영상의 수를 전체 영상의 수로 나눈 비율에 기초하여 계산될 수 있다. 또한 헤어스타일의 매칭률은 복수의 제2 태그와 대응되는 복수의 제3 태그를 포함하는 영상의 수를 전체 영상의 수로 나눈 비율에 기초하여 계산될 수 있다. 또한, 복수의 제1 영상과 복수의 제2 영상에 대한 평가를 반영하여 이를 함께 고려해 매칭률을 판단할 수 있다. 일 예로, SNS에 업로된 사진에 대하여, 타 사용자들의 호감도 표시(예로, 좋아요, 슬퍼요, 화나요 등)를 반영하여 매칭률이 판단될 수 있다.The matching rate determination module 370 may determine the fashion matching rate and the hairstyle matching rate based on the plurality of first tags, the plurality of first images, and the plurality of second images. That is, the matching rate determination module 370 may determine the matching rate of a fashion based on a plurality of first tags and a plurality of first images, and may determine a hairstyle matching rate based on a plurality of first tags and a plurality of second images. The matching rate can be determined. The fashion matching rate may be calculated based on the ratio of the number of images including a plurality of first tags corresponding to a plurality of second tags divided by the total number of images. Additionally, the matching rate of the hairstyle may be calculated based on a ratio divided by the number of images including a plurality of third tags corresponding to a plurality of second tags by the total number of images. In addition, the matching rate can be determined by reflecting the evaluation of the plurality of first images and the plurality of second images and considering them together. For example, for a photo uploaded to SNS, the matching rate may be determined by reflecting other users' liking (e.g., like, sad, angry, etc.).
한편, 매칭률 판단 모듈(370)은 복수의 제1 태그, 복수의 제1 영상 및 복수의 제2 영상에 기초하여 패션의 빈도수 및 헤어스타일의 빈도수를 산출할 수 있다. 그리고, 매칭률 판단 모듈(370)은 패션의 빈도수가 기설정된 기준 이상이면, 패션의 매칭률을 낮게 판단하고, 헤어스타일의 빈도수가 기설정된 기준 이상이면 헤어스타일의 매칭률을 낮게 판단할 수 있다. 반면, 매칭률 판단 모듈(370)은 패션의 빈도수가 기설정된 기준 이하이면, 패션의 매칭률을 높게 판단하고, 헤어스타일의 빈도수가 기설정된 기준 이하이면 헤어스타일의 매칭률을 높게 판단할 수 있다.Meanwhile, the matching rate determination module 370 may calculate the frequency of fashion and the frequency of hairstyle based on a plurality of first tags, a plurality of first images, and a plurality of second images. Additionally, the matching rate determination module 370 may determine the fashion matching rate to be low if the frequency of the fashion is greater than a preset standard, and may determine the matching rate of the hairstyle to be low if the frequency of the hairstyle is greater than the preset standard. . On the other hand, the matching rate determination module 370 may determine the fashion matching rate to be high if the frequency of the fashion is below a preset standard, and may determine the matching rate of the hairstyle to be high if the frequency of the hairstyle is below the preset standard. .
이와 같이 매칭률에 대한 예로, 도 13b를 참조하면, 제1 터치 제스처(1310)와 대응되는 영역에 대한 영상과 관련된 정보가 메이크업과 관련된 정보에 해당하여, 패션의 매칭률(1312, 1313, 1314) 및 헤어스타일의 매칭률(1311)이 판단된 경우, 매칭률 판단 모듈(370)은 디스플레이(110)에 표시할 수 있다. As an example of the matching rate, referring to FIG. 13b, the information related to the image for the area corresponding to the first touch gesture 1310 corresponds to information related to makeup, so the fashion matching rate (1312, 1313, 1314) ) and when the matching rate 1311 of the hairstyle is determined, the matching rate determination module 370 can be displayed on the display 110.
이 때, 컨텐츠 추천 모듈(360)은 패션의 매칭률과 헤어스타일의 매칭률이 기설정된 비율 이하인지 판단할 수 있다. 예로, 컨텐츠 추천 모듈(360)은 패션의 매칭률이 기설정된 비율 이하인 경우, 제2 태그와 대응되는 복수의 제1 태그 중 적어도 하나의 태그를 포함하는 기저장된 영상을 획득할 수 있다. 그리고, 컨텐츠 추천 모듈(360)은 획득된 기저장된 영상 중 높은 매칭률이 판단되는 영상을 기초로 패션을 추천할 수 있다.At this time, the content recommendation module 360 may determine whether the fashion matching rate and the hairstyle matching rate are less than or equal to a preset ratio. For example, when the fashion matching rate is less than or equal to a preset rate, the content recommendation module 360 may acquire a pre-stored image including at least one tag among a plurality of first tags corresponding to the second tag. Additionally, the content recommendation module 360 may recommend fashion based on an image that is determined to have a high matching rate among the acquired pre-stored images.
여기에서, 헤어스타일의 매칭률이 기설정된 비율 이하인 경우, 컨텐츠 추천 모듈(360)은 제2 태그와 대응되는 복수의 제3 태그 중 적어도 하나의 태그를 포함하는 기저장된 영상을 획득할 수 있다. 그리고, 컨텐츠 추천 모듈(360)은 획득된 기저장된 영상 중 높은 매칭률이 판단되는 영상을 기초로 헤어스타일을 추천할 수 있다.Here, when the matching rate of the hairstyle is less than or equal to a preset rate, the content recommendation module 360 may obtain a pre-stored image including at least one tag among a plurality of third tags corresponding to the second tag. Additionally, the content recommendation module 360 may recommend a hairstyle based on an image that is determined to have a high matching rate among the acquired pre-stored images.
일 예로, 도 13b를 참조하면, 패션 중 하의의 매칭률(1313)이 3%에 해당하여, 기설정된 비율 이하인 경우, 컨텐츠 추천 모듈(360)은 복수의 제2 태그(1210)와 대응되는 복수의 제1 태그(1231) 중 적어도 하나의 태그를 포함하는 기저장된 영상을 획득할 수 있다. 그리고, 컨텐츠 추천 모듈(360)은 획득된 기저장된 영상 중 높은 매칭률이 판단되는 영상을 기초로 하의를 추천할 수 있다.As an example, referring to FIG. 13b, when the matching rate 1313 of fashion bottoms is 3% and is less than a preset rate, the content recommendation module 360 selects a plurality of matching tags 1210 corresponding to a plurality of second tags 1210. A pre-stored image containing at least one tag among the first tags 1231 can be obtained. Additionally, the content recommendation module 360 may recommend bottoms based on an image that is determined to have a high matching rate among the acquired pre-stored images.
상술한 예시는 제1 터치와 대응되는 영역에 관한 정보가 메이크업인 경우로, 예시적인 설명에 해당하여 이에 한정되지 않으며, 제1 터치와 대응되는 영역에 관한 정보가 패션, 헤어스타일, 악세서리 등 다양하게 적용 될 수 있다.The above example is a case where the information about the area corresponding to the first touch is makeup. It is an illustrative description and is not limited thereto, and the information about the area corresponding to the first touch is various such as fashion, hairstyle, accessories, etc. It can be applied easily.
한편, 컨텐츠 추천 모듈(360)은 사용자가 자주 가는 장소의 위치와 연령별 선호하는 패션, 헤어스타일, 메이크업 정보를 기초로 사용자의 패션, 사용자의 헤어스타일, 사용자의 메이크업 등을 추천 할 수 있다. 예를 들어, 사용자가 자주가는 장소가 한강 공원인 경우, 사용자의 연령이 선호하는 패션, 헤어스타일, 메이크업 정보를 획득하고, 이를 기초로 한강공원에서의 패션, 헤어스타일, 메이크업을 추천할 수 있다.Meanwhile, the content recommendation module 360 can recommend the user's fashion, hairstyle, and makeup based on the location of places the user frequently visits and preferred fashion, hairstyle, and makeup information for each age group. For example, if the place the user frequently goes is Hangang Park, information on fashion, hairstyle, and makeup preferred by the user's age can be obtained, and based on this, fashion, hairstyle, and makeup at Hangang Park can be recommended. .
한편, 매칭률 판단 모듈(370)에서 서로 다른 사용자 사이에서의 패션의 매칭률, 헤어스타일의 매칭률 및 메이크업의 매칭률을 판단할 수 있다. 이와 같이 서로 다른 사용자 사이에서의 매칭률이 계산되면, 컨텐츠 추천 모듈(360)은 서로 다른 사용자 사이의 패션의 매칭률, 헤어스타일의 매칭률 및 메이크업의 매칭률 중 적어도 하나가 기설정된 기준 이하인지 여부를 판단할 수 있다. 이와 같이 컨텐츠 추천 모듈(360)은 기설정된 기준 이하의 패션, 헤어스타일 및 메이크업 중 적어도 하나에 대해 변경할 부분을 추천할 수 있다.Meanwhile, the matching rate determination module 370 can determine the fashion matching rate, hairstyle matching rate, and makeup matching rate among different users. When the matching rate between different users is calculated in this way, the content recommendation module 360 determines whether at least one of the fashion matching rate, hairstyle matching rate, and makeup matching rate between different users is below a preset standard. You can judge whether or not. In this way, the content recommendation module 360 may recommend a part to be changed for at least one of fashion, hairstyle, and makeup that is below a preset standard.
상술한 영상 획득 모듈(310), 영상정보 획득 모듈(320), 터치 제스처 판단 모듈(330), 영상 정보 식별 모듈(340), 영상 태그 생성 모듈(350), 컨텐츠 추천 모듈(360) 및 매칭률 판단 모듈(370)은 인공지능(AI) 모델에 기초하여 각각의 동작이 수행될 수 있다.The above-described image acquisition module 310, image information acquisition module 320, touch gesture judgment module 330, image information identification module 340, image tag creation module 350, content recommendation module 360, and matching rate. The judgment module 370 may perform each operation based on an artificial intelligence (AI) model.
도 14는 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도이다.Figure 14 is a block diagram for explaining the detailed configuration of an electronic device according to an embodiment of the present disclosure.
도 14를 참조하면, 전자 장치(100)은 디스플레이(110), 메모리(120), 적어도 하나의 프로세서(130), 적어도 하나의 센서(140), 카메라(150), 입력 인터페이스(160), 스피커(170) 및 통신 인터페이스(180)가 포함될 수 있다. 이하에서는 도 2에서의 설명과 중복되는 부분에 대한 자세한 설명은 생략하기로 한다. Referring to FIG. 14, the electronic device 100 includes a display 110, a memory 120, at least one processor 130, at least one sensor 140, a camera 150, an input interface 160, and a speaker. 170 and communication interface 180 may be included. Hereinafter, detailed description of parts that overlap with the description in FIG. 2 will be omitted.
적어도 하나의 센서(140)은 전자 장치(100)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 즉, 적어도 하나의 센서(140)는 전자 장치(100)의 사용자와 관련된 다양한 정보를 획득할 수 있다. At least one sensor 140 detects the operating state (e.g., power or temperature) of the electronic device 100 or the external environmental state (e.g., user state), and an electrical signal or data value corresponding to the detected state. can be created. That is, at least one sensor 140 may obtain various information related to the user of the electronic device 100.
특히, 카메라(150)는 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라(150)는 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다. 여기에서, 카메라(150)는 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일을 촬영할 수 있다.In particular, the camera 150 can capture still images and moving images. According to one embodiment, the camera 150 may include one or more lenses, an image sensor, an image signal processor, or a flash. Here, the camera 150 can photograph the user's fashion, the user's makeup, and the user's hairstyle.
입력 인터페이스(160)는 회로를 포함하며, 전자 장치(100)에서 지원하는 각종 기능을 설정 또는 선택하기 위한 사용자 명령을 입력받을 수 있다. 이를 위해, 입력 인터페이스(160)는 복수의 버튼을 포함할 수 있고, 디스플레이의 기능을 동시에 수행할 수 있는 터치 스크린으로 구현될 수도 있다. The input interface 160 includes a circuit and can receive user commands for setting or selecting various functions supported by the electronic device 100. To this end, the input interface 160 may include a plurality of buttons and may be implemented as a touch screen that can simultaneously perform the display function.
이 경우, 적어도 하나의 프로세서(130)는 입력 인터페이스(160)를 통해 입력된 사용자 명령에 기초하여 전자 장치(100)의 동작을 제어할 수 있다. 예를 들어, 적어도 하나의 프로세서(130)는 입력 인터페이스(160)를 통해 입력된 전자 장치(100)의 온/오프 명령, 전자 장치(100)의 기능의 온/오프 명령 등에 기초하여, 전자 장치(100)를 제어할 수 있다.In this case, at least one processor 130 may control the operation of the electronic device 100 based on a user command input through the input interface 160. For example, the at least one processor 130 operates on the electronic device 100 based on an on/off command for the electronic device 100 input through the input interface 160, an on/off command for a function of the electronic device 100, etc. (100) can be controlled.
스피커(170)는 오디오를 출력할 수 있다. 구체적으로, 적어도 하나의 프로세서(130)는 전자 장치 (100)의 동작과 관련된 다양한 알림음 또는 음성 안내 메시지를 스피커(170)를 통해 출력할 수 있다. 특히, 스피커(170)는 사용자에게 태그에 기초하여 추천된 장소에 관한 안내 메시지를 사용자에게 출력하거나, 매칭률이 높은 패션, 헤어스타일, 메이크업, 악세서리 등에 관한 안내 메시지를 출력할 수 있다. Speaker 170 can output audio. Specifically, at least one processor 130 may output various notification sounds or voice guidance messages related to the operation of the electronic device 100 through the speaker 170. In particular, the speaker 170 may output a guidance message to the user about a place recommended to the user based on a tag, or may output a guidance message about fashion, hairstyle, makeup, accessories, etc. with a high matching rate.
통신 인터페이스(180)는, 무선 통신 인터페이스, 유선 통신 인터페이스 또는 입력 인터페이스를 포함할 수 있다. 무선 통신 인터페이스는, 무선 통신 기술이나 이동 통신 기술을 이용하여 각종 외부 장치와 통신을 수행할 수 있다. 이러한 무선 통신 기술로는, 예를 들어, 블루투스(Bluetooth), 저전력 블루투스(Bluetooth Low Energy), 캔(CAN) 통신, 와이 파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 초광대역 통신(UWB, ultrawide band), 지그비(zigbee), 적외선 통신(IrDA, infrared Data Association) 또는 엔에프씨(NFC, Near Field Communication) 등이 포함될 수 있으며, 이동 통신 기술 로는, 3GPP, 와이맥스(Wi-Max), LTE(Long Term Evolution), 5G 등이 포함될 수 있다. 무선 통신 인터페이스는 전자기파를 외부로 송신하거나 또는 외부에서 전달된 전자기파를 수신할 수 있는 안테나, 통신 칩 및 기판 등을 이용하여 구현될 수 있다. 특히, 통신 인터페이스(180)를 통해 타 사용자의 호감도 표시를 수신하고, 이를 고려해 매칭률이 판단될 수 있다.The communication interface 180 may include a wireless communication interface, a wired communication interface, or an input interface. The wireless communication interface can communicate with various external devices using wireless communication technology or mobile communication technology. These wireless communication technologies include, for example, Bluetooth, Bluetooth Low Energy, CAN communication, Wi-Fi, Wi-Fi Direct, and ultra-wideband communication. (UWB, ultrawide band), Zigbee, IrDA (infrared Data Association), or NFC (Near Field Communication) may be included, and mobile communication technologies include 3GPP and Wi-Max. , LTE (Long Term Evolution), 5G, etc. may be included. A wireless communication interface can be implemented using an antenna, a communication chip, a board, etc. that can transmit electromagnetic waves to the outside or receive electromagnetic waves transmitted from the outside. In particular, an indication of other users' likeability may be received through the communication interface 180, and the matching rate may be determined considering this.
도 15는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.FIG. 15 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
도 15를 참조하면, 영상에 대한 태그를 생성하는 전자 장치의 제어 방법은 태그를 생성하기 위한 영상을 획득할 수 있다(S1501).Referring to FIG. 15, the control method of an electronic device that generates a tag for an image can acquire an image for generating a tag (S1501).
그리고, 획득된 영상에 기초하여, 영상과 관련된 정보를 획득할 수 있다(S1502). And, based on the acquired image, information related to the image can be obtained (S1502).
이후, 디스플레이를 통해 표시되는 영상 상에 감지된 제1 터치 제스처에 기초하여, 영상과 관련된 정보 중 제1 터치 제스처와 대응되는 영역을 판단할 수 있다(S1503).Thereafter, based on the first touch gesture detected on the image displayed through the display, an area corresponding to the first touch gesture among information related to the image may be determined (S1503).
다음으로, 판단된 영역과 대응되는 영상과 관련된 정보를 식별할 수 있다(S1504)Next, information related to the image corresponding to the determined area can be identified (S1504)
그리고, 식별된 영상과 관련된 정보에 기초하여, 영상에 대한 태그(Tag)를 생성할 수 있다(S1505).And, based on information related to the identified image, a tag for the image can be created (S1505).
S1502단계는, 영상에 기초하여 영상에 포함된 적어도 하나의 객체 영역을 구별할 수 있다.In step S1502, at least one object area included in the image may be distinguished based on the image.
그리고, 적어도 하나의 객체 영역에 대응되는 객체를 식별할 수 있다.Also, an object corresponding to at least one object area can be identified.
그리고, 객체에 기초하여 영상과 관련된 정보를 획득할 수 있다.And, information related to the image can be obtained based on the object.
S1504단계는, 판단된 제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역을 획득할 수 있다.In step S1504, at least one object area including an area corresponding to the determined first touch gesture may be obtained.
그리고, 적어도 하나의 객체 영역과 대응되는 식별된 객체에 기초하여 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보를 식별할 수 있다.Additionally, information related to the image of the area corresponding to the touch gesture may be identified based on the identified object corresponding to at least one object area.
또한, 디스플레이를 통해 표시되는 영상 상에 태그를 제1 터치 제스처와 대응되는 영역에 표시할 수 있다.Additionally, the tag can be displayed in the area corresponding to the first touch gesture on the image displayed through the display.
여기에서, 제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역에서 제2 터치 제스처를 식별할 수 있다.Here, the second touch gesture can be identified in at least one object area including the area corresponding to the first touch gesture.
그리고, 2 터치 제스처에 기초하여 태그를 변경하거나 영상에 대한 태그를 추가할 수 있다.Also, you can change the tag or add a tag to the video based on the two-touch gesture.
한편, 태그에 기초하여 태그와 관련된 장소를 추천할 수 있다.Meanwhile, based on the tag, a place related to the tag can be recommended.
그리고, 추천된 장소와 사용자의 위치 사이의 거리가 기설정된 거리 이하인지 여부를 판단할 수 있다.Additionally, it may be determined whether the distance between the recommended location and the user's location is less than or equal to a preset distance.
이후, 거리가 기설정된 거리 이하이면, 추천한 장소를 디스플레이에 표시할 수 있다.Afterwards, if the distance is less than the preset distance, the recommended place can be displayed on the display.
한편, S1501단계는, 카메라를 통해 획득된 영상을 기초로, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 촬영되는지 판단할 수 있다.Meanwhile, in step S1501, based on the image acquired through the camera, it can be determined whether an image including the user's fashion, the user's makeup, and the user's hairstyle is captured.
그리고, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 촬영될 위치를 디스플레이에 표시할 수 있다.Additionally, the location where the user's fashion, user's makeup, and user's hairstyle will be captured can be displayed on the display.
또한, 사용자의 입력에 기초하여 영상을 획득할 수 있다.Additionally, images can be acquired based on user input.
여기에서, 영상과 관련된 정보는 패션과 관련된 정보, 메이크업과 관련된 정보및 헤어스타일과 관련된 정보를 포함할 수 있다.Here, information related to the video may include information related to fashion, information related to makeup, and information related to hairstyle.
그리고, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 획득되면, 패션과 관련된 정보, 메이크업과 관련된 정보 및 헤어스타일과 관련된 정보를 판단할 수 있다.And, when an image including the user's fashion, the user's makeup, and the user's hairstyle is obtained, the fashion-related information, makeup-related information, and hairstyle-related information can be determined.
이후, 패션과 관련된 정보와 대응되는 복수의 제1 태그, 메이크업과 관련된 정보와 대응되는 복수의 제2 태그 및 헤어스타일과 관련된 정보와 대응되는 복수의 제3 태그를 생성할 수 있다.Thereafter, a plurality of first tags corresponding to fashion-related information, a plurality of second tags corresponding to makeup-related information, and a plurality of third tags corresponding to hairstyle-related information may be generated.
그리고, 제1 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보가 메이크업과 관련된 정보이면, 복수의 제2 태그와 대응되는 복수의 제1 태그 중 적어도 하나의 태그를 포함하는 복수의 제1 영상 및 복수의 제2 태그와 대응되는 복수의 제3 태그 중 적어도 하나의 태그를 포함하는 복수의 제2 영상을 획득할 수 있다.And, if the information related to the image for the area corresponding to the first touch gesture is information related to makeup, a plurality of first images including at least one tag among a plurality of first tags corresponding to a plurality of second tags and A plurality of second images containing at least one tag among a plurality of third tags corresponding to a plurality of second tags may be obtained.
그리고, 복수의 제1 태그, 복수의 제1 영상 및 복수의 제2 영상에 기초하여 패션의 매칭률 및 헤어스타일의 매칭률을 판단할 수 있다.Also, the fashion matching rate and the hairstyle matching rate can be determined based on the plurality of first tags, the plurality of first images, and the plurality of second images.
한편, 복수의 제1 태그, 복수의 제1 영상 및 복수의 제2 영상에 기초하여 패션의 빈도수 및 헤어스타일의 빈도수를 산출할 수 있다.Meanwhile, the frequency of fashion and the frequency of hairstyle can be calculated based on a plurality of first tags, a plurality of first images, and a plurality of second images.
여기에서, 패션의 빈도수가 기설정된 기준 이상이면, 패션의 매칭률을 낮게 판단할 수 있다.Here, if the frequency of fashion is greater than a preset standard, the fashion matching rate may be determined to be low.
또한, 헤어스타일의 빈도수가 기설정된 기준 이상이면, 헤어스타일의 매칭률을 낮게 판단할 수 있다.Additionally, if the frequency of the hairstyle is greater than a preset standard, the matching rate of the hairstyle may be determined to be low.
그리고, 패션의 매칭률이 기설정된 비율 이하인 경우, 제2 태그와 대응되는 복수의 제1 태그 중 적어도 하나의 태그를 포함하는 기저장된 영상을 획득할 수 있다.And, when the fashion matching rate is less than a preset rate, a pre-stored image including at least one tag among a plurality of first tags corresponding to the second tag can be obtained.
그리고, 획득된 기저장된 영상 중 높은 매칭률이 판단되는 영상을 기초로 패션을 추천할 수 있다.In addition, fashion can be recommended based on the image that is judged to have a high matching rate among the acquired pre-stored images.
본 개시에 따른 인공지능과 관련된 기능은 전자 장치의 프로세서와 메모리를 통해 동작된다.Functions related to artificial intelligence according to the present disclosure are operated through the processor and memory of the electronic device.
프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU(Central Processing Unit), GPU(Graphic Processing Unit), NPU(Neural Processing Unit) 중 적어도 하나를 포함할 수 있으나 전술한 프로세서의 예시에 한정되지 않는다.The processor may consist of one or multiple processors. At this time, one or more processors may include at least one of a Central Processing Unit (CPU), a Graphics Processing Unit (GPU), and a Neural Processing Unit (NPU), but are not limited to the examples of the processors described above.
CPU는 일반 연산뿐만 아니라 인공지능 연산을 수행할 수 있는 범용 프로세서로서, 다계층 캐시(Cache) 구조를 통해 복잡한 프로그램을 효율적으로 실행할 수 있다. CPU는 순차적인 계산을 통해 이전 계산 결과와 다음 계산 결과의 유기적인 연계가 가능하도록 하는 직렬 처리 방식에 유리하다. 범용 프로세서는 전술한 CPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.CPU is a general-purpose processor that can perform not only general calculations but also artificial intelligence calculations, and can efficiently execute complex programs through a multi-layer cache structure. CPUs are advantageous for serial processing, which allows organic connection between previous and next calculation results through sequential calculations. The general-purpose processor is not limited to the above-described examples, except where specified as the above-described CPU.
GPU는 그래픽 처리에 이용되는 부동 소수점 연산 등과 같은 대량 연산을 위한 프로세서로서, 코어를 대량으로 집적하여 대규모 연산을 병렬로 수행할 수 있다. 특히, GPU는 CPU에 비해 컨볼루션(Convolution) 연산 등과 같은 병렬 처리 방식에 유리할 수 있다. 또한, GPU는 CPU의 기능을 보완하기 위한 보조 프로세서(co-processor)로 이용될 수 있다. 대량 연산을 위한 프로세서는 전술한 GPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다. GPU is a processor for large-scale operations such as floating-point operations used in graphics processing, and can perform large-scale operations in parallel by integrating a large number of cores. In particular, GPUs may be more advantageous than CPUs in parallel processing methods such as convolution operations. Additionally, the GPU can be used as a co-processor to supplement the functions of the CPU. The processor for mass computation is not limited to the above-described example, except for the case specified as the above-described GPU.
NPU는 인공 신경망을 이용한 인공지능 연산에 특화된 프로세서로서, 인공 신경망을 구성하는 각 레이어를 하드웨어(예로, 실리콘)로 구현할 수 있다. 이때, NPU는 업체의 요구 사양에 따라 특화되어 설계되므로, CPU나 GPU에 비해 자유도가 낮으나, 업체가 요구하기 위한 인공지능 연산을 효율적으로 처리할 수 있다. 한편, 인공지능 연산에 특화된 프로세서로, NPU 는 TPU(Tensor Processing Unit), IPU(Intelligence Processing Unit), VPU(Vision processing unit) 등과 같은 다양한 형태로 구현 될 수 있다. 인공 지능 프로세서는 전술한 NPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.NPU is a processor specialized in artificial intelligence calculations using artificial neural networks, and each layer that makes up the artificial neural network can be implemented in hardware (e.g., silicon). At this time, the NPU is designed specifically according to the company's requirements, so it has a lower degree of freedom than a CPU or GPU, but can efficiently process artificial intelligence calculations requested by the company. Meanwhile, as a processor specialized for artificial intelligence calculations, NPU can be implemented in various forms such as TPU (Tensor Processing Unit), IPU (Intelligence Processing Unit), and VPU (Vision processing unit). The artificial intelligence processor is not limited to the examples described above, except where specified as the NPU described above.
또한, 하나 또는 복수의 프로세서는 SoC(System on Chip)으로 구현될 수 있다. 이때, SoC에는 하나 또는 복수의 프로세서 이외에 메모리, 및 프로세서와 메모리 사이의 데이터 통신을 위한 버스(Bus)등과 같은 네트워크 인터페이스를 더 포함할 수 있다. Additionally, one or more processors may be implemented as a System on Chip (SoC). At this time, in addition to one or more processors, the SoC may further include memory and a network interface such as a bus for data communication between the processor and memory.
전자 장치에 포함된 SoC(System on Chip)에 복수의 프로세서가 포함된 경우, 전자 장치는 복수의 프로세서 중 일부 프로세서를 이용하여 인공지능과 관련된 연산(예를 들어, 인공지능 모델의 학습(learning)이나 추론(inference)에 관련된 연산)을 수행할 수 있다. 예를 들어, 전자 장치는 복수의 프로세서 중 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공지능 연산에 특화된 GPU, NPU, VPU, TPU, 하드웨어 가속기 중 적어도 하나를 이용하여 인공지능과 관련된 연산을 수행할 수 있다. 다만, 이는 일 실시예에 불과할 뿐, CPU 등과 범용 프로세서를 이용하여 인공지능과 관련된 연산을 처리할 수 있음은 물론이다. If the SoC (System on Chip) included in the electronic device includes a plurality of processors, the electronic device uses some of the processors to perform artificial intelligence-related operations (for example, learning of an artificial intelligence model). or operations related to inference) can be performed. For example, an electronic device can perform operations related to artificial intelligence using at least one of a plurality of processors, a GPU, NPU, VPU, TPU, or hardware accelerator specialized for artificial intelligence operations such as convolution operation, matrix multiplication operation, etc. there is. However, this is only an example, and of course, calculations related to artificial intelligence can be processed using general-purpose processors such as CPUs.
또한, 전자 장치는 하나의 프로세서에 포함된 멀티 코어(예를 들어, 듀얼 코어, 쿼드 코어 등)를 이용하여 인공지능과 관련된 기능에 대한 연산을 수행할 수 있다. 특히, 전자 장치는 프로세서에 포함된 멀티 코어를 이용하여 병렬적으로 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공 지능 연산을 수행할 수 있다. Additionally, electronic devices can perform calculations on functions related to artificial intelligence using multiple cores (eg, dual core, quad core, etc.) included in one processor. In particular, electronic devices can perform artificial intelligence operations such as convolution operations and matrix multiplication operations in parallel using multi-cores included in the processor.
하나 또는 복수의 프로세서는, 메모리에 저장된 기정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. One or more processors control input data to be processed according to predefined operation rules or artificial intelligence models stored in memory. Predefined operation rules or artificial intelligence models are characterized by being created through learning.
여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다. Here, being created through learning means that a predefined operation rule or artificial intelligence model with desired characteristics is created by applying a learning algorithm to a large number of learning data. This learning may be performed on the device itself that performs the artificial intelligence according to the present disclosure, or may be performed through a separate server/system.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 적어도 하나의 레이어는 적어도 하나의 가중치(weight values)를 갖고 있으며, 이전(previous) 레이어의 연산 결과와 적어도 하나의 정의된 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks), Transformer가 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.An artificial intelligence model may be composed of multiple neural network layers. At least one layer has at least one weight value, and the operation of the layer is performed using the operation result of the previous layer and at least one defined operation. Examples of neural networks include Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), and Deep Neural Network (BRDNN). There are Q-Networks (Deep Q-Networks) and Transformer, and the neural network in this disclosure is not limited to the above-described examples except where specified.
학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.A learning algorithm is a method of training a target device (eg, a robot) using a large number of learning data so that the target device can make decisions or make predictions on its own. Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, and the learning algorithm in the present disclosure is specified. Except, it is not limited to the examples described above.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 기기를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.Meanwhile, according to an example of the present disclosure, the various embodiments described above may be implemented as software including instructions stored in a machine-readable storage media (e.g., a computer). The device is a device capable of calling instructions stored in a storage medium and operating according to the called instructions. When the instructions according to the disclosed embodiments are executed by the processor, the device may include the device. A storage medium that can be read by a device may perform a function corresponding to an instruction by using other components under the control of a processor. It may be provided in the form of a (non-transitory) storage medium. Here, 'non-transitory storage medium' simply means that it is a tangible device and does not contain signals (e.g., electromagnetic waves). For example, this term does not distinguish between cases where data is stored semi-permanently in a storage medium and cases where data is stored temporarily. For example, a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, methods according to various embodiments disclosed in this document may be included and provided in a computer program product. Computer program products are commodities and can be traded between sellers and buyers. The computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online. In the case of online distribution, at least a portion of the computer program product (e.g., a downloadable app) is stored on a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In the above, preferred embodiments of the present disclosure have been shown and described, but the present disclosure is not limited to the specific embodiments described above, and may be used in the technical field pertaining to the disclosure without departing from the gist of the disclosure as claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be understood individually from the technical ideas or perspectives of the present disclosure.

Claims (15)

  1. 영상에 대한 태그를 생성하는 전자 장치에 있어서,In the electronic device that generates tags for images,
    디스플레이,display,
    메모리,Memory,
    적어도 하나의 프로세서를 포함하고,Contains at least one processor,
    상기 적어도 하나의 프로세서는,The at least one processor,
    태그를 생성하기 위한 영상을 획득하고,Acquire video to create tags,
    상기 획득된 영상에 기초하여, 상기 영상과 관련된 정보를 획득하고,Based on the acquired image, obtain information related to the image,
    상기 디스플레이를 통해 표시되는 상기 영상 상에 감지된 제1 터치 제스처에 기초하여, 상기 영상과 관련된 정보 중 상기 제1 터치 제스처와 대응되는 영역을 판단하고, Based on the first touch gesture detected on the image displayed through the display, determine an area corresponding to the first touch gesture among information related to the image,
    상기 판단된 영역에 대한 영상과 관련된 정보를 식별하고,Identify information related to the image for the determined area,
    상기 식별된 영상과 관련된 정보에 기초하여, 상기 영상에 대한 태그(Tag)를 생성하는 전자 장치.An electronic device that generates a tag for the identified image based on information related to the identified image.
  2. 제1항에 있어서,According to paragraph 1,
    상기 적어도 하나의 프로세서는,The at least one processor,
    상기 영상에 기초하여 상기 영상에 포함된 적어도 하나의 객체 영역을 구별하고,Distinguishing at least one object area included in the image based on the image,
    상기 객체 영역에 대응되는 객체를 식별하고,Identifying an object corresponding to the object area,
    상기 객체에 기초하여 영상과 관련된 정보를 획득하는 전자 장치.An electronic device that obtains information related to an image based on the object.
  3. 제2항에 있어서,According to paragraph 2,
    상기 적어도 하나의 프로세서는,The at least one processor,
    상기 판단된 제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역을 획득하고,Obtaining at least one object area including an area corresponding to the determined first touch gesture,
    상기 적어도 하나의 객체 영역과 대응되는 상기 식별된 객체에 기초하여 상기 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보를 식별하는 전자 장치.An electronic device that identifies information related to an image of an area corresponding to the touch gesture based on the identified object corresponding to the at least one object area.
  4. 제1항에 있어서,According to paragraph 1,
    상기 적어도 하나의 프로세서는,The at least one processor,
    상기 디스플레이를 통해 표시되는 영상 상에 상기 태그를 제1 터치 제스처와 대응되는 영역에 표시하고,Displaying the tag in an area corresponding to the first touch gesture on the image displayed through the display,
    제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역에서 제2 터치 제스처를 식별하고,Identifying a second touch gesture in at least one object area including an area corresponding to the first touch gesture,
    상기 제2 터치 제스처에 기초하여 상기 태그를 변경하거나 상기 영상에 대한 태그를 추가하는 전자 장치.An electronic device that changes the tag or adds a tag to the image based on the second touch gesture.
  5. 제1항에 있어서,According to paragraph 1,
    상기 적어도 하나의 프로세서는,The at least one processor,
    상기 태그에 기초하여 상기 태그와 관련된 장소를 추천하고,Based on the tag, recommend places related to the tag,
    상기 추천된 장소와 사용자의 위치 사이의 거리가 기설정된 거리 이하인지여부를 판단하고,Determine whether the distance between the recommended place and the user's location is less than or equal to a preset distance,
    상기 거리가 상기 기설정된 거리 이하이면, 상기 추천한 장소를 디스플레이에 표시하는 전자 장치.An electronic device that displays the recommended location on a display if the distance is less than or equal to the preset distance.
  6. 제1항에 있어서,According to paragraph 1,
    카메라를 더 포함하고,Contains more cameras,
    상기 적어도 하나의 프로세서는,The at least one processor,
    카메라를 통해 획득된 영상을 기초로, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 촬영되는지 판단하고,Based on the video acquired through the camera, determine whether a video containing the user's fashion, user's makeup, and user's hairstyle is recorded,
    상기 사용자의 패션, 상기 사용자의 메이크업 및 상기 사용자의 헤어스타일이 촬영될 위치를 디스플레이에 표시하고,Displaying on a display a location where the user's fashion, the user's makeup, and the user's hairstyle will be photographed,
    상기 사용자의 입력에 기초하여 상기 영상을 획득하는 전자 장치.An electronic device that acquires the image based on the user's input.
  7. 제6항에 있어서,According to clause 6,
    상기 영상과 관련된 정보는 패션과 관련된 정보, 메이크업과 관련된 정보및 헤어스타일과 관련된 정보를 포함하고,Information related to the video includes information related to fashion, information related to makeup, and information related to hairstyle,
    상기 적어도 하나의 프로세서는,The at least one processor,
    상기 사용자의 패션, 상기 사용자의 메이크업 및 상기 사용자의 헤어스타일이 포함된 영상이 획득되면, 상기 패션과 관련된 정보, 상기 메이크업과 관련된 정보 및 상기 헤어스타일과 관련된 정보를 판단하고,When an image containing the user's fashion, the user's makeup, and the user's hairstyle is obtained, determine information related to the fashion, information related to the makeup, and information related to the hairstyle,
    상기 패션과 관련된 정보와 대응되는 복수의 제1 태그, 상기 메이크업과 관련된 정보와 대응되는 복수의 제2 태그 및 상기 헤어스타일과 관련된 정보와 대응되는 복수의 제3 태그를 생성하는 전자 장치.An electronic device that generates a plurality of first tags corresponding to the fashion-related information, a plurality of second tags corresponding to the makeup-related information, and a plurality of third tags corresponding to the hairstyle-related information.
  8. 제7항에 있어서,In clause 7,
    상기 적어도 하나의 프로세서는,The at least one processor,
    상기 제1 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보가 상기 메이크업과 관련된 정보이면, 상기 복수의 제2 태그와 대응되는 상기 복수의 제1 태그 중 적어도 하나의 태그를 포함하는 복수의 제1 영상 및 상기 복수의 제2 태그와 대응되는 상기 복수의 제3 태그 중 적어도 하나의 태그를 포함하는 복수의 제2 영상을 획득하고,If the information related to the image for the area corresponding to the first touch gesture is information related to the makeup, a plurality of first tags including at least one tag among the plurality of first tags corresponding to the plurality of second tags Obtaining a plurality of second images including an image and at least one tag among the plurality of third tags corresponding to the plurality of second tags,
    상기 복수의 제1 태그, 상기 복수의 제1 영상 및 상기 복수의 제2 영상에 기초하여 상기 패션의 매칭률 및 상기 헤어스타일의 매칭률을 판단하는 전자 장치.An electronic device that determines the matching rate of the fashion and the matching rate of the hairstyle based on the plurality of first tags, the plurality of first images, and the plurality of second images.
  9. 제8항에 있어서,According to clause 8,
    상기 적어도 하나의 프로세서는,The at least one processor,
    상기 복수의 제1 태그, 상기 복수의 제1 영상 및 상기 복수의 제2 영상에 기초하여 상기 패션의 빈도수 및 상기 헤어스타일의 빈도수를 산출하고,Calculate the frequency of the fashion and the frequency of the hairstyle based on the plurality of first tags, the plurality of first images, and the plurality of second images,
    상기 패션의 빈도수가 기설정된 기준 이상이면, 상기 패션의 매칭률을 낮게 판단하고,If the frequency of the fashion is greater than a preset standard, the matching rate of the fashion is determined to be low,
    상기 헤어스타일의 빈도수가 기설정된 기준 이상이면, 상기 헤어스타일의 매칭률을 낮게 판단하는 전자 장치.An electronic device that determines the matching rate of the hairstyle to be low if the frequency of the hairstyle is greater than a preset standard.
  10. 제8항에 있어서,According to clause 8,
    상기 적어도 하나의 프로세서는,The at least one processor,
    상기 패션의 매칭률이 기설정된 비율 이하인 경우, 상기 제2 태그와 대응되는 상기 복수의 제1 태그 중 적어도 하나의 태그를 포함하는 상기 기저장된 영상을 획득하고,If the fashion matching rate is less than or equal to a preset rate, obtain the pre-stored image including at least one tag among the plurality of first tags corresponding to the second tag,
    상기 획득된 기저장된 영상 중 높은 매칭률이 판단되는 영상을 기초로 패션을 추천하는 전자 장치.An electronic device that recommends fashion based on an image that is determined to have a high matching rate among the acquired pre-stored images.
  11. 영상에 대한 태그를 생성하는 전자 장치의 제어 방법에 있어서,In a method of controlling an electronic device that generates a tag for an image,
    태그를 생성하기 위한 영상을 획득하는 단계;Obtaining an image to create a tag;
    상기 획득된 영상에 기초하여, 상기 영상과 관련된 정보를 획득하는 단계;Based on the acquired image, acquiring information related to the image;
    상기 디스플레이를 통해 표시되는 상기 영상 상에 감지된 제1 터치 제스처에 기초하여, 상기 영상과 관련된 정보 중 상기 제1 터치 제스처와 대응되는 영역을 판단하는 단계;Based on a first touch gesture detected on the image displayed through the display, determining an area corresponding to the first touch gesture among information related to the image;
    상기 판단된 영역에 대한 영상과 관련된 정보를 식별하는 단계; 및identifying information related to the image for the determined area; and
    상기 식별된 영상과 관련된 정보에 기초하여, 상기 영상에 대한 태그(Tag)를 생성하는 단계를 포함하는 전자 장치의 제어 방법.A method of controlling an electronic device including generating a tag for the identified image based on information related to the identified image.
  12. 제11항에 있어서,According to clause 11,
    상기 영상과 관련된 정보를 획득하는 단계는,The step of acquiring information related to the image is,
    상기 영상에 기초하여 상기 영상에 포함된 적어도 하나의 객체 영역을 구별하는 단계;distinguishing at least one object area included in the image based on the image;
    상기 적어도 하나의 객체 영역에 대응되는 객체를 식별하는 단계; 및identifying an object corresponding to the at least one object area; and
    상기 객체에 기초하여 영상과 관련된 정보를 획득하는 단계를 포함하는 전자 장치의 제어 방법.A method of controlling an electronic device including acquiring information related to an image based on the object.
  13. 제12항에 있어서,According to clause 12,
    상기 판단된 영역에 대한 영상과 관련된 정보를 식별하는 단계는,The step of identifying information related to the image for the determined area is:
    상기 판단된 제1 터치 제스처와 대응되는 영역을 포함하는 상기 적어도 하나의 객체 영역을 획득하는 단계; 및Obtaining the at least one object area including an area corresponding to the determined first touch gesture; and
    상기 적어도 하나의 객체 영역과 대응되는 상기 식별된 객체에 기초하여 상기 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보를 식별하는 단계를 포함하는 전자 장치의 제어 방법.A method of controlling an electronic device comprising identifying information related to an image of an area corresponding to the touch gesture based on the identified object corresponding to the at least one object area.
  14. 제11항에 있어서,According to clause 11,
    상기 디스플레이를 통해 표시되는 영상 상에 상기 태그를 제1 터치 제스처와 대응되는 영역에 표시하는 단계;displaying the tag in an area corresponding to a first touch gesture on an image displayed through the display;
    제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역에서 제2 터치 제스처를 식별하는 단계; 및Identifying a second touch gesture in at least one object area including an area corresponding to the first touch gesture; and
    상기 제2 터치 제스처에 기초하여 상기 태그를 변경하거나 상기 영상에 대한 태그를 추가하는 단계를 포함하는 전자 장치의 제어 방법.A method of controlling an electronic device including changing the tag or adding a tag to the image based on the second touch gesture.
  15. 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독가능 기록매체에 있어서, 상기 동작은,A non-transitory computer-readable recording medium storing computer instructions that, when executed by a processor of an electronic device, cause the electronic device to perform an operation, the operation comprising:
    태그를 생성하기 위한 영상을 획득하는 단계;Obtaining an image to create a tag;
    상기 획득된 영상에 기초하여, 상기 영상과 관련된 정보를 획득하는 단계;Based on the acquired image, acquiring information related to the image;
    상기 디스플레이를 통해 표시되는 상기 영상 상에 감지된 제1 터치 제스처에 기초하여, 상기 영상과 관련된 정보 중 상기 제1 터치 제스처와 대응되는 영역을 판단하는 단계;Based on a first touch gesture detected on the image displayed through the display, determining an area corresponding to the first touch gesture among information related to the image;
    상기 판단된 영역에 대한 영상과 관련된 정보를 식별하는 단계; 및identifying information related to the image for the determined area; and
    상기 식별된 영상과 관련된 정보에 기초하여, 상기 영상에 대한 태그(Tag)를 생성하는 단계;를 포함하는 컴퓨터 판독가능 기록매체.A computer-readable recording medium comprising: generating a tag for the identified image based on information related to the identified image.
PCT/KR2023/016279 2022-11-02 2023-10-19 Electronic device and control method therefor WO2024096394A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220144385A KR20240062639A (en) 2022-11-02 2022-11-02 Electric device and the control method thereof
KR10-2022-0144385 2022-11-02

Publications (1)

Publication Number Publication Date
WO2024096394A1 true WO2024096394A1 (en) 2024-05-10

Family

ID=90930944

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/016279 WO2024096394A1 (en) 2022-11-02 2023-10-19 Electronic device and control method therefor

Country Status (2)

Country Link
KR (1) KR20240062639A (en)
WO (1) WO2024096394A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130020065A (en) * 2011-08-18 2013-02-27 엘지전자 주식회사 Mobile device and control method for the same
KR20130060299A (en) * 2010-09-16 2013-06-07 알까뗄 루슨트 Content capture device and methods for automatically tagging content
KR20160111756A (en) * 2015-03-17 2016-09-27 엘지전자 주식회사 Mobile terminal and photo management method thereof
KR20200130636A (en) * 2019-10-01 2020-11-19 (주)엠폴시스템 Method, apparatus and program for refining labeling data
KR20210115467A (en) * 2020-03-13 2021-09-27 네이버 주식회사 Method and system for adding tag to video content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130060299A (en) * 2010-09-16 2013-06-07 알까뗄 루슨트 Content capture device and methods for automatically tagging content
KR20130020065A (en) * 2011-08-18 2013-02-27 엘지전자 주식회사 Mobile device and control method for the same
KR20160111756A (en) * 2015-03-17 2016-09-27 엘지전자 주식회사 Mobile terminal and photo management method thereof
KR20200130636A (en) * 2019-10-01 2020-11-19 (주)엠폴시스템 Method, apparatus and program for refining labeling data
KR20210115467A (en) * 2020-03-13 2021-09-27 네이버 주식회사 Method and system for adding tag to video content

Also Published As

Publication number Publication date
KR20240062639A (en) 2024-05-09

Similar Documents

Publication Publication Date Title
WO2018135881A1 (en) Vision intelligence management for electronic devices
WO2019031714A1 (en) Method and apparatus for recognizing object
WO2020162673A1 (en) Electronic device for providing avatar animation and method thereof
WO2019231130A1 (en) Electronic device and control method therefor
WO2019022472A1 (en) Electronic device and method for controlling the electronic device
WO2019143227A1 (en) Electronic device providing text-related image and method for operating the same
WO2019177344A1 (en) Electronic apparatus and controlling method thereof
WO2018052269A1 (en) Method of displaying images in a multi-dimensional mode based on personalized topics
WO2019172541A1 (en) Electronic apparatus and control method thereof
WO2024025220A1 (en) System for providing online advertisement content platform
WO2021085812A1 (en) Electronic apparatus and method for controlling same
EP3698258A1 (en) Electronic apparatus and controlling method thereof
WO2019190171A1 (en) Electronic device and control method therefor
WO2019151689A1 (en) Electronic device and control method therefor
WO2021251615A1 (en) Electronic device and control method of electronic device
WO2024096394A1 (en) Electronic device and control method therefor
WO2020122513A1 (en) Method for processing two-dimensional image and device for executing method
WO2020050550A1 (en) Methods and systems for performing editing operations on media
WO2020116960A1 (en) Electronic device for generating video comprising character and method thereof
WO2020060012A1 (en) A computer implemented platform for providing contents to an augmented reality device and method thereof
WO2022092487A1 (en) Electronic apparatus and controlling method thereof
WO2021071249A1 (en) Electronic apparatus and control method thereof
WO2021149930A1 (en) Electronic device and story generation method thereof
WO2022124476A1 (en) Electronic device and control method thereof
WO2020175760A1 (en) Electronic device and content generation method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23886091

Country of ref document: EP

Kind code of ref document: A1