KR20240062639A - 전자 장치 및 그의 제어 방법 - Google Patents

전자 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR20240062639A
KR20240062639A KR1020220144385A KR20220144385A KR20240062639A KR 20240062639 A KR20240062639 A KR 20240062639A KR 1020220144385 A KR1020220144385 A KR 1020220144385A KR 20220144385 A KR20220144385 A KR 20220144385A KR 20240062639 A KR20240062639 A KR 20240062639A
Authority
KR
South Korea
Prior art keywords
image
tag
information related
fashion
user
Prior art date
Application number
KR1020220144385A
Other languages
English (en)
Inventor
이가희
이교희
김선혜
한지연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020220144385A priority Critical patent/KR20240062639A/ko
Priority to PCT/KR2023/016279 priority patent/WO2024096394A1/ko
Publication of KR20240062639A publication Critical patent/KR20240062639A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 본개시에 따른 영상에 대한 태그를 생성하는 전자 장치는 디스플레이, 메모리 및 태그를 생성하기 위한 영상을 획득하고, 획득된 영상에 기초하여, 영상과 관련된 정보를 획득하고, 디스플레이를 통해 표시되는 영상 상에 감지된 제1 터치 제스처에 기초하여, 영상과 관련된 정보 중 제1 터치 제스처와 대응되는 영역을 판단하고, 판단된 영역에 대한 영상과 관련된 정보를 식별하고, 식별된 영상과 관련된 정보에 기초하여, 영상에 대한 태그(Tag)를 생성하는 적어도 하나의 프로세서를 포함한다.

Description

전자 장치 및 그의 제어 방법 { ELECTRIC DEVICE AND THE CONTROL METHOD THEREOF }
본 개시는 영상을 획득하고, 획득된 영상에 기초하여 영상에 대한 태그를 생성하는 전자 장치에 관한 것이다.
영상에 대한 태그를 생성하는 전자 장치는 컴퓨터, 스마트폰, 태블릿 PC, 노트북 등 다양하게 적용되어 이용될 수 있다. 특히, 전자 장치는 디스플레이에 표시된 영상을 캡쳐하거나, 카메라를 통해 영상을 촬영하여 영상을 획득할 수 있다. 전자 장치는 획득한 영상에 대해 캡쳐하거나 촬영한 사용자의 의도를 반영할 수 있는 태그를 디스플레이에 표시하도록 제어할 수 있다.
본 개시의 일 실시예에 따른 영상에 대한 태그를 생성하는 전자 장치에 있어서, 디스플레이, 메모리, 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는, 태그를 생성하기 위한 영상을 획득하고, 상기 획득된 영상에 기초하여, 상기 영상과 관련된 정보를 획득하고, 상기 디스플레이를 통해 표시되는 상기 영상 상에 감지된 제1 터치 제스처에 기초하여, 상기 영상과 관련된 정보 중 상기 제1 터치 제스처와 대응되는 영역을 판단하고, 상기 판단된 영역에 대한 영상과 관련된 정보를 식별하고, 상기 식별된 영상과 관련된 정보에 기초하여, 상기 영상에 대한 태그(Tag)를 생성한다.
본 개시의 일 실시예에 따른 영상에 대한 태그를 생성하는 전자 장치의 제어 방법에 있어서, 태그를 생성하기 위한 영상을 획득하는 단계; 상기 획득된 영상에 기초하여, 상기 영상과 관련된 정보를 획득하는 단계; 상기 디스플레이를 통해 표시되는 상기 영상 상에 감지된 제1 터치 제스처에 기초하여, 상기 영상과 관련된 정보 중 상기 제1 터치 제스처와 대응되는 영역을 판단하는 단계; 상기 판단된 영역에 대한 영상과 관련된 정보를 식별하는 단계; 및 상기 식별된 영상과 관련된 정보에 기초하여, 상기 영상에 대한 태그(Tag)를 생성하는 단계를 포함한다.
본 개시의 일 실시예에 따른 영상에 대한 태그를 생성하는 전자 장치의 제어 방법을 실행하기 위한 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체에 있어서, 태그를 생성하기 위한 영상을 획득하는 단계; 상기 획득된 영상에 기초하여, 상기 영상과 관련된 정보를 획득하는 단계; 상기 디스플레이를 통해 표시되는 상기 영상 상에 감지된 제1 터치 제스처에 기초하여, 상기 영상과 관련된 정보 중 상기 제1 터치 제스처와 대응되는 영역을 판단하는 단계; 상기 판단된 영역에 대한 영상과 관련된 정보를 식별하는 단계; 및 상기 식별된 영상과 관련된 정보에 기초하여, 상기 영상에 대한 태그(Tag)를 생성하는 단계를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도,
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 태그를 생성하여 컨텐츠를 추천하는 구성을 도시한 블록도,
도 4 내지 6은 본 개시의 일 실시 예에 따른 태그를 생성하는 실시예를 설명하기 위한 도면,
도 7 내지 8은 본 개시의 일 실시 예에 따른 태그를 수정하는 실시예를 설명하기 위한 도면,
도 9 내지 10은 본 개시의 일 실시 예에 따른 태그를 생성하는 다른 실시예를 설명하기 위한 도면,
도 11 내지 13은 본 개시의 일 실시 예에 따른 매칭률을 설명하기 위한 도면,
도 14는 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도,
도 15는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 전자 장치(100)는 영상을 디스플레이(110)에 표시할 수 있다. 구체적으로, 전자 장치(100)는 사용자 입력에 의해 디스플레이(110)에 표시된 영상을 캡쳐하거나, 카메라에 의해 촬영하여 획득된 영상을 디스플레이(110)에 표시할 수 있다. 디스플레이(110)에 표시된 영상에서 사용자에게 유용한 정보가 포함된 경우, 전자 장치(100)는 사용자 입력에 의해 디스플레이(110)에 표시된 영상을 캡쳐할 수 있다. 또는, 책 기타 인쇄된 문서에서 사용자에게 유용한 정보가 포함된 경우, 전자 장치(100)는 사용자 입력에 의해 인쇄된 문서에 개시된 정보를 촬영할 수 있다.
이와 같이 획득된 영상은 메모리에 저장하여 보관되는데, 영상의 보관 기간이 오래될수록, 사용자는 영상을 획득한 의도 또는 목적을 잊어버리는 경우가 많아 유용한 정보를 활용하기 어렵게 된다는 문제가 있다. 영상을 획득한 의도 또는 목적을 반영하여 태그를 생성하지 않고 영상에 포함된 객체를 인식하여 인식된 모든 객체에 대한 태그를 생성하는 경우, 영상을 획득한 의도 또는 목적이 불분명하게 된다는 문제가 있다. 또한 획득한 영상에 대한 태그를 사람의 손으로 작성하게 되는 경우, 시간과 비용이 발생할 수 있는 문제가 있다. 이러한 문제는 영상을 획득한 의도 또는 목적이 반영될 수 있는 태그를 생성하여 해결될 수 있다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 2를 참조하면, 전자 장치(100)는 디스플레이(110), 메모리(120) 및 적어도 하나의 프로세서(160)를 포함한다. 그러나, 도 2에 도시된 전자 장치(100)의 구성은 일 실시예에 불과할 뿐, 다른 구성이 추가되거나 일부 구성이 생략될 수 있음은 물론이다.
디스플레이(110)는 다양한 정보를 디스플레이할 수 있다. 특히, 디스플레이(110)는 영상 자체뿐 아니라, 영상과 관련된 정보를 디스플레이할 수 있다. 또한, 디스플레이(110)는 영상에서 생성된 태그와 태그로부터 추천된 컨텐츠를 디스플레이할 수 있다. 이와 같은 디스플레이(110)는 LCD(Liquid Crystal Display) 패널, OLED(Organic Light Emitting Diodes) 패널, AM-OLED(Active-Matrix Organic Light-Emitting Diode), LcoS(Liquid Crystal on Silicon), QLED(Quantum dot Light-Emitting Diode) 및 DLP(Digital Light Processing), PDP(Plasma Display Panel) 패널, 무기 LED 패널, 마이크로 LED 패널 등 다양한 종류의 디스플레이 패널을 포함할 수 있으나, 이에 한정되는 것은 아니다. 한편, 디스플레이(110)는 터치 패널과 함께 터치스크린을 구성할 수도 있으며, 플렉서블(flexible) 패널로 이루어질 수도 있다.
메모리(120)는 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 인스트럭션 또는 데이터를 저장할 수 있다. 특히, 메모리(120)는 카메라에 의해 촬영하거나 디스플레이(110) 영상을 캡쳐하여 획득된 영상을 저장할 수 있다. 그리고, 획득된 영상으로부터 태그를 생성하고, 태그와 관련된 컨텐츠를 추천하기 위하여, 메모리(120)는 도 3에 도시된 바와 같이, 영상 획득 모듈(310), 영상 정보 획득 모듈(320), 터치 제스처 판단 모듈(330), 영상 정보 식별 모듈(340), 영상 태그 생성 모듈(350), 컨텐츠 추천 모듈(360) 및 매칭률 판단 모듈(370)을 포함할 수 있다. 이와 같은 메모리(120)는, 예를 들어, 주기억장치 및 보조기억장치 중 적어도 하나를 포함할 수 있다. 주기억장치는 롬(ROM) 및/또는 램(RAM)과 같은 반도체 저장 매체를 이용하여 구현된 것일 수 있다. 롬은, 예를 들어, 통상적인 롬, 이피롬(EPROM), 이이피롬(EEPROM) 및/또는 마스크롬(MASK-ROM) 등을 포함할 수 있다. 램은 예를 들어, 디램(DRAM) 및/또는 에스램(SRAM) 등을 포함할 수 있다. 보조기억장치는, 플래시 메모리 장치, SD(Secure Digital) 카드, 솔리드 스테이트 드라이브(SSD, Solid State Drive), 하드 디스크 드라이브(HDD, Hard Disc Drive), 자기 드럼, 컴팩트 디스크(CD), 디브이디(DVD) 또는 레이저 디스크 등과 같은 광 기록 매체(optical media), 자기테이프, 광자기 디스크 및/또는 플로피 디스크 등과 같이 데이터를 영구적 또는 반영구적으로 저장 가능한 적어도 하나의 저장 매체를 이용하여 구현될 수 있다.
적어도 하나의 프로세서(130)는 메모리(120)에 저장된 적어도 하나의 인스트럭션에 따라 전자 장치(100)를 제어할 수 있다. 특히, 적어도 하나의 프로세서(130)는 태그를 생성하기 위한 영상을 획득할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 획득된 영상에 기초하여, 영상과 관련된 정보를 획득할 수 있다. 이후, 디스플레이를 통해 표시되는 영상 상에 감지된 제1 터치 제스처에 기초하여, 영상과 관련된 정보 중 제1 터치 제스처와 대응되는 영역을 판단할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 판단된 영역에 대한 영상과 관련된 정보를 식별하고, 식별된 영상과 관련된 정보에 기초하여 영상에 대한 태그(Tag)를 생성할 수 있다.
구체적으로, 적어도 하나의 프로세서(130)는 영상에 기초하여 영상에 포함된 적어도 하나의 객체 영역을 구별하고, 객체 영역에 대응되는 객체를 식별할 수 있다. 그리고, 객체에 기초하여 영상과 관련된 정보를 획득할 수 있다.
또한, 적어도 하나의 프로세서(130)는 판단된 제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역을 획득할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 적어도 하나의 객체 영역과 대응되는 식별된 객체에 기초하여 판단된 영역에 대한 영상과 관련된 정보를 식별할 수 있다.
그리고, 적어도 하나의 프로세서(130)는 디스플레이(110)를 통해 표시되는 영상 상에 태그를 제1 터치 제스처와 대응되는 영역에 표시할 수 있다. 여기에서, 적어도 하나의 프로세서(130)는 제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역에서 제2 터치 제스처를 식별하고, 제2 터치 제스처에 기초하여 태그를 변경하거나 영상에 대한 태그를 추가하는 방식으로 태그를 수정할 수 있다.
또한, 적어도 하나의 프로세서(130)는, 태그와 관련된 장소를 추천할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 추천된 장소와 사용자의 위치 사이의 거리가 기설정된 거리 이하인지여부를 판단하고, 거리가 기설정된 거리 이하이면, 추천한 장소를 디스플레이(110)에 표시할 수 있다.
전자 장치(100)는 카메라를 더 포함할 수 있다. 이때, 적어도 하나의 프로세서(130)는 카메라를 통해 획득된 영상을 기초로, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 촬영되는지 판단할 수 있다. 적어도 하나의 프로세서(130)는 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 촬영될 위치를 디스플레이에 표시하여 사용자에게 가이드를 제공할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 사용자의 입력에 기초하여 영상을 획득할 수 있다.
그리고, 영상과 관련된 정보는 패션과 관련된 정보, 메이크업과 관련된 정보및 헤어스타일과 관련된 정보를 포함할 수 있다. 여기에서, 적어도 하나의 프로세서(130)는 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 획득되면, 패션과 관련된 정보, 메이크업과 관련된 정보 및 헤어스타일과 관련된 정보를 판단할 수 있다.
또한, 적어도 하나의 프로세서(130)는 패션과 관련된 정보와 대응되는 복수의 제1 태그, 메이크업과 관련된 정보와 대응되는 복수의 제2 태그 및 헤어스타일과 관련된 정보와 대응되는 복수의 제3 태그를 생성할 수 있다.
한편, 적어도 하나의 프로세서(130)는 제1 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보가 메이크업과 관련된 정보이면, 복수의 제2 태그와 대응되는 복수의 제1 태그 중 적어도 하나의 태그를 포함하는 복수의 제1 영상을 획득할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 복수의 제2 태그와 대응되는 복수의 제3 태그 중 적어도 하나의 태그를 포함하는 복수의 제2 영상을 획득할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 복수의 제1 태그, 복수의 제1 영상 및 복수의 제2 영상에 기초하여 패션의 매칭률 및 헤어스타일의 매칭률을 판단할 수 있다.
또한, 적어도 하나의 프로세서(130)는 복수의 제1 태그, 복수의 제1 영상 및 복수의 제2 영상에 기초하여 패션의 빈도수 및 헤어스타일의 빈도수를 산출할 수 있다. 그리고, 적어도 하나의 프로세서(130)는 패션의 빈도수가 기설정된 기준 이상이면, 패션의 매칭률을 낮게 판단하고, 헤어스타일의 빈도수가 기설정된 기준 이상이면, 헤어스타일의 매칭률을 낮게 판단할 수 있다.
적어도 하나의 프로세서(130)가 복수의 구성을 통해 태그를 생성하고, 컨텐츠를 추천하는 방법에 대해서는 도 3을 참조하여 상세히 설명하기로 한다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 태그를 생성하여 컨텐츠를 추천하는 구성을 도시한 블록도이다.
도 3을 참조하면, 영상 획득 모듈(310)은 태그를 생성하기 위한 영상을 획득할 수 있다. 구체적으로, 영상 획득 모듈(310)은 디스플레이(110)에 표시된 화면을 캡쳐하기 위한 사용자 입력을 수신하여 디스플레이(110)에 표시된 화면을 메모리(120)에 저장하는 방식으로 영상을 획득할 수 있다. 또한, 영상 획득 모듈(310)은 카메라를 통해 디스플레이(110)에 표시된 화면을 촬영하기 위한 사용자 입력을 수신하여 디스플레이(110)에 표시된 화면을 메모리(12)에 저장하는 방식으로 영상을 획득할 수 있다.
영상 정보 획득 모듈(320)은 획득된 영상에서 객체의 종류를 포함하고 있는지 식별하여 영상과 관련된 정보를 획득할 수 있다. 구체적으로, 영상 정보 획득 모듈(320)은 영상에 포함된 적어도 하나의 객체 영역을 구별할 수 있다. 즉, 객체의 종류가 식별되기 이전에, 영상 정보 획득 모듈(320)은 영상에서 포함된 구별되는 객체들이 영상에서 차지하는 영역에 대해 우선 판단할 수 있다.
예를 들어, 도 4에 도시된 바와 같이, 영상 정보 획득 모듈(320)은 객체 영역으로 크게 제1 영역(410) 및 제1 영역(410)과 구분되는 제2 영역(420)으로 구별할 수 있다. 여기에서, 영상 정보 획득 모듈(320)은 이미지 영역(410)에 포함된 적어도 하나의 객체 영역(411, 412, 413, 414)을 구별할 수 있다.
그리고, 영상 정보 획득 모듈(320)은 객체 영역에 대응되는 객체를 식별할 수 있다. 구체적으로, 영상 정보 획득 모듈(320)은 구별된 객체 영역에 대해 각각 객체의 종류를 식별할 수 있다. 즉, 영상 정보 획득 모듈(320)은 인공지능(AI)또는 컴퓨터 비전 알고리즘을 이용하여 객체 영역에 대응되는 객체를 식별할 수 있다.
예를 들어, 도 5에 도시된 바와 같이, 영상 정보 획득 모듈(320)은 제1 영역(410)을 이미지가 포함된 이미지 영역(510)으로 식별하고, 제2 영역(420)을 텍스트가 포함된 텍스트 영역(520)으로 식별할 수 있다. 여기에서, 영상 정보 획득 모듈(320)은 분류 알고리즘, 인공지능(AI)등을 통해 이미지 영역(510)에서 헤어, 얼굴, 바디, 배경이 식별된 경우, 이미지 영역(510)에 포함된 적어도 하나의 객체 영역(411, 412, 413, 414) 각각을 헤어 영역(511), 얼굴 영역(512), 바디 영역(513) 및 배경 영역(514)으로 식별할 수 있다. 또한, 영상 정보 획득 모듈(320)은 텍스트 영역(520)에 포함된 텍스트를 키워드 단위(예로, '빌드펌', '어깨길이', '긴머리', '얼굴형'등)로 식별할 수 있다.
영상 정보 획득 모듈(320)은 식별된 객체에 기초하여 태그를 생성하기 위한 식별된 객체에 대한 카테고리별 태그 셋을 생성할 수 있다. 여기에서 태그 셋은 식별된 객체의 카테고리에 포함될 수 있는 복수의 태그의 집합이다. 예를 들어 헤어 카테고리의 태그 셋은 긴머리, 애쉬 카키, 씨컬 펌 등의 태그가 포함될 수 있다.
도 5에서 이미지 영역(510)에서 헤어 영역(511), 얼굴 영역(512), 바디 영역(513) 및 배경 영역(514)이 식별된 경우, 영상 정보 획득 모듈(320)은 헤어 카테고리의 태그 셋, 메이크업 카테고리의 태그 셋, 패션 카테고리의 태그 셋, 장소 카테고리의 태그 셋을 생성할 수 있다. 이와 같은 태그 셋은 식별된 객체로부터 생성되거나, 메모리(120)에 저장되어 이용될 수 있다.
이와 같이, 영상 정보 획득 모듈(320)은 객체 영역, 식별된 객체의 종류 및 카테고리 태그 셋을 영상과 관련된 정보로서 획득할 수 있다.
또한 이와 같이 생성된 카테고리 태그 셋이 복수인 경우, 연관된 카테고리 태그 셋에 포함된 태그가 생성된 영상이 동시에 디스플레이(110)에 표시될 수 있다. 예를 들어, 패션 카테고리 태그 셋에 포함된 '봄캠핑룩'태그가 생성된 영상 및 구매 카테고리 태그 셋에 포함된 '캠핑의자' 태그가 생성된 영상이 동시에 디스플레이(110)에 표시될 수 있다.
또한 이와 같이 생성된 카테고리 태그 셋은 통신 인터페이스를 통해 다른 사용자와 공유될 수 있다.
이와 같은 패션 카테고리 태그셋, 구매 카테고리 태그셋 등은 영상과 관련된 정보 예시로, 이에 한정하지 않으며, 식별된 객체의 카테고리에 따라 카테고리 태그 셋이 생성될 수 있다.
터치 제스처 판단 모듈(330)은 디스플레이(110)를 통해 수신된 사용자의 터치 제스처의 종류를 우선 판단할 수 있다. 즉, 터치 제스처 판단 모듈(330)은 터치 제스처로 탭(Tap), 롱 프레스(Long press), 스와이프(Swipe) 등 터치 제스처의 종류를 판단할 수 있다. 그리고, 터치 제스터 판단 모듈(330)은 터치 제스터가 이루어지는 영역을 판단할 수 있다. 구체적으로, 터치 제스처 판단 모듈(330)은 터치 제스처가 이루어지는 디스플레이(110)상의 좌표를 획득하여 터치 제스터가 이루어지는 영역을 판단할 수 있다. 또한, 터치 제스처 판단 모듈(330)은 터치 제스처가 이루어지는 디스플레이(110)상의 좌표를 획득하여 폐곡선이 그려지는지 판단할 수 있다. 터치 제스처에 의해 디스플레이(110)상에 폐곡선이 그려지는 것이 판단되면, 폐곡선 내의 영상 정보에 기초하여 영상 태그가 생성될 수 있다.
영상 정보 식별 모듈(340)은 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역을 획득할 수 있다. 즉, 영상 정보 식별 모듈(340)은 디스플레이(110)에 표시된 영상 상에 입력되는 터치 제스처가 입력되는 영역을 판단하고, 터치 제스처가 입력되는 영역이 포함되는 적어도 하나의 객체 영역을 판단할 수 있다. 일 예로, 영상 정보 식별 모듈(340)은 사용자로부터 입력된 제1 터치 제스처(530)는 롱 프레스로 판단할 수 있다. 이러한 경우, 영상 정보 식별 모듈(340)은 롱 프레스된 영역과 대응되는 영역은 헤어 영역(511)에 포함됨을 판단하여, 객체 영역으로 헤어 영역(511)영역을 획득할 수 있다.
또한, 영상 정보 식별 모듈(340)은 적어도 하나의 객체 영역과 대응되는 식별된 객체에 기초하여 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보를 식별할 수 있다. 여기에서, 영상과 관련된 정보는 객체 영역, 식별된 객체의 종류 및 카테고리 태그 셋 중 적어도 하나에 해당될 수 있다. 일 예로, 영상 정보 식별 모듈(340)은 헤어 영역(511)과 대응되는 객체는 '헤어'에 해당되므로, '헤어'와 관련된 정보를 식별할 수 있다. 즉, 영상 정보 식별 모듈(340)은 헤어 영역(511)을 식별하여 해당 영역을 태그를 표시할 영역을 획득할 수 있다. 또한, 영상 정보 식별 모듈(340)은 '헤어'와 관련된 태그를 생성하여 헤어 카테고리 태그 셋에 포함시킬 수 있도록 '헤어'를 식별하여 영상에서의 헤어 스타일, 헤어 색상, 헤어 길이, 펌의 종류, 헤어의 상태 등과 관련된 정보를 획득할 수 있다.
영상 태그 생성 모듈(350)은 식별된 영상과 관련된 정보에 기초하여, 영상에 대한 태그를 생성할 수 있다. 즉, 영상 태그 생성 모듈(350)은 터치 제스처와 대응되는 영역에 대응되는 객체에 대한 정보 등을 활용하여 태그를 생성할 수 있다. 또한, 영상 태그 생성 모듈(350)은 태그를 생성할 영역에 대한 정보를 활용하여 디스플레이(110)를 통해 표시되는 영상 상에 태그를 표시할 수 있다.
일 예로, 도 6을 참조하면, 영상 태그 생성 모듈(350)은 제1 터치 제스처(530)와 대응되는 객체 영역은 헤어 영역(511)으로 판단하여, 헤어 영역(511)내에 태그를 생성할 수 있다. 또한, 영상 태그 생성 모듈(350)은 생성된 태그는 헤어 카테고리의 태그 셋(600)에 포함됨을 디스플레이(110)에 표시할 수 있다. 그리고, 영상 태그 생성 모듈(530)은 헤어 스타일, 헤어 색상, 헤어 길이 등의 관한 정보를 기초로 앞머리(601), 애쉬 브라운(602), 빌드펌(603) 및 중단발(604)을 태그로 생성할 수 있다. 이와 같이 생성한 태그(601, 602, 603, 604)에 대해, 영상 태그 생성 모듈(350)은 디스플레이(110)에 표시할 수 있다.
다른 예로, 도 7a를 참조할 때, 터치 제스처와 대응되는 영역이 패션 영역으로 판단된 경우, 영상 태그 생성 모듈(350)은 패션 카테고리 태그셋을 영상과 관련된 정보로 식별할 수 있다. 따라서 영상 태그 생성 모듈(350)은 영상 상에 패션과 관련된 태그로, '반묶음, 고데기' 태그(711), '맨투맨, 캐주얼, 그레이' 태그(712), '숏팬츠, 캐주얼, 레드'태그(713), '볼캡, 레드' 태그(714)를 디스플레이(110)에 표시할 수 있다.
영상 태그 생성 모듈(350)은 제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역에서 제2 터치 제스처를 식별할 수 있다. 이 때, 영상 태그 생성 모듈(350)은 제2 터치 제스처에 기초하여 태그를 변경하거나 영상에 대한 태그를 추가할 수 있다. 일 예로, 도 7b를 참조할 때, 사용자로부터 입력된 제2 터치 제스처(720)가 식별되면, 영상 태그 생성 모듈(350)은 패션 카테고리 태그 셋에 포함될 수 있는 태그(722)를 추가하고, 이를 표시할 수 있다.
이와 같이 영상 태그 생성 모듈(350)은 제2 터치 제스처(720)에 기초하여 태그를 추가하거나 태그를 변경할 수 있다. 예를 들어, '숏팬츠, 캐주얼, 레드' 태그(713)에 대하여 제2 터치 제스처가 입력되면, 영상 태그 생성 모듈(350)은 '숏팬츠, 캐주얼, 레드' 태그(713) 중 '캐주얼'을 삭제하거나, '오버핏'으로 변경할 수 있다.
영상 태그 생성 모듈(350)은 제2 터치 제스처에 기초하여 디스플레이(110)에 표시된 카테고리 태그 셋을 다른 카테고리 태그 셋으로 변경할 수 있다. 도 8a를 참조하면, 제1 터치 제스처와 대응되는 영역에 대해 패션 카테고리 태그가 디스플레이(110)에 표시된 후, 영상 태그 생성 모듈(350)은 제2 터치 제스처의 스와이프 방향에 따라 장소 카테고리 태그 셋으로 변경하거나, 컨텍스트 카테고리 태그 셋으로 변경할 수 있다. 도 8b를 참조할 때, 2 터치 제스처가 오른쪽 방향의 스와이프(810)이면, 영상 태그 생성 모듈(350)은 컨텍스트 카테고리 태그 셋에 포함된 '바람많이부는날, 구름많은날, 햇살가끔'태그(811), '자연스러운포즈' 태그(812) 및 '야외 나들이, 4월말, 친구들이랑'태그(813)을 디스플레이(110)에 표시할 수 있다.
컨텐츠 추천 모듈(360)은 생성된 태그에 기초하여 태그와 관련된 컨텐츠를 추천할 수 있다. 컨텐츠 추천 모듈(360)은 메모리(120)에 저장된 데이터에 기초하여 생성된 태그와 관련된 컨텐츠를 추천할 수 있다. 또는, 컨텐츠 추천 모듈(360)은 통신 인터페이스를 통해 서버로부터 수신된 데이터에 기초하여 태그와 관련된 컨텐츠를 추천할 수 있다. 구체적으로, 컨텐츠 추천 모듈(360)은 생성된 태그와 사용자와 관련된 정보를 서버에 전송하고, 사용자와 관련된 정보와 태그에 기초해 추천 컨텐츠를 서버로부터 수신해 태그와 관련된 컨텐츠를 추천할 수 있다. 여기에서, 사용자와 관련된 정보는 사용자의 위치, 사용자의 성별, 사용자의 관심사 등이 포함될 수 있다. 태그와 관련된 컨텐츠 추천은 생성된 태그가 속한 카테고리에 따라 장소에 대한 추천, 제품 구매처에 대한 추천, 사진 촬영하기 위한 포즈에 대한 추천 등이 포함될 수 있다.
일 예로, 생성된 태그가 '앞머리'에 해당하여, 헤어 카테고리 태그셋에 포함된 경우, 컨텐츠 추천 모듈(360)은 앞머리와 관련된 장소를 추천할 수 있다. 즉, 컨텐츠 추천 모듈(360)은 앞머리와 관련된 유명한 미용실을 추천하거나, 앞머리와 관련되 헤어 제품을 파는 곳을 추천할 수 있다.
여기에서, 컨텐츠 추천 모듈(360)은 추천된 장소와 사용자의 위치 사이의 거리가 기설정된 거리 이하인지 판단할 수 있다. 그리고, 컨텐츠 추천 모듈(360)은 거리가 기설정된 거리 이하이면, 추천한 장소를 디스플레이(110)에 표시할 수 있다. 즉, 앞머리와 관련된 미용실과 사용자의 위치 사이의 거리가 기설정된 거리 이하일 때, 컨텐츠 추천 모듈(360)은 앞머리와 관련하여 추천한 장소가 근처에 있음을 디스플레이(110)에 표시할 수 있다. 이러한 추천과 관련된 개시는 일 예에 해당하며, 이에 한정되지 않는다.
도 9 내지 10은 본 개시의 일 실시 예에 따른 태그를 생성하는 다른 실시 예를 설명하기 위한 도면이다.
도 9를 참조할 때, 터치 제스처 판단 모듈(330)은 제1 터치 제스처(910)에 대응되는 영역은 텍스트 영역으로 판단할 수 있다. 이러한 경우, 영상 정보 식별 모듈(340)은 이미지 영역에 포함된 객체와 텍스트 영역에 포함된 키워드에 기초하여 이미지 영역에 포함된 객체에 대한 구매 카테고리 태그 셋을 영상과 관련된 정보로 생성할 수 있다. 그리고, 영상 태그 생성 모듈(350)은 텍스트 영역에서 추출한 키워드를 기준으로 제품명, 브랜드명 등을 태그로 생성할 수 있다. 컨텐츠 추천 모듈(360)은 이와 같은 태그와 그 카테고리를 기초로 해당 제품을 구매할 수 있는 구매처를 추천할 수 있다.
도 10을 참조할 때, 터치 제스처 판단 모듈(330)은 제1 터치 제스처(1010)에 대응되는 영역은 폐곡선 내의 영역으로 판단할 수 있다. 이러한 경우, 영상 정보 식별 모듈(340)은 이미지 영역에 포함된 객체에 기초하여 촬영 카테고리 태그 셋을 영상과 관련된 정보로 생성할 수 있다. 그리고, 영상 태그 생성 모듈(350)은 '노을' 태그, '한강공원' 태그, '서있는뒷모습' 태그, '한쪽허리손' 태그 및 '허벅지위로' 태그를 생성할 수 있다. 컨텐츠 추천 모듈(360)은 이와 같은 태그에 기초해 '노을진 한강 공원'에 대한 위치에 대한 정보 및 시간에 대한 정보를 추천할 수 있다.
다른 예로, 터치 제스처 판단 모듈(330)은 제1 터치 제스처에 대응되는 영역은 텍스트 영역으로 판단할 수 있다. 이러한 경우, 영상 정보 식별 모듈(340)은 이미지 영역에 포함된 객체와 텍스트 영역에 포함된 키워드에 기초하여 이미지 영역에 포함된 객체가 음식으로 식별하여, 음식에 대한 장소 카테고리 태그 셋을 영상과 관련된 정보로 생성할 수 있다. 그리고, 영상 태그 생성 모듈(350)은 텍스트 영역에서 추출한 키워드를 기준으로 음식점의 위치, 음식점의 명칭 등을 태그로 생성할 수 있다. 컨텐츠 추천 모듈(360)은 이와 같은 태그와 그 카테고리를 기초로 해당 음식을 판매하는 식당을 추천할 수 있다.
다른 예로, 터치 제스처 판단 모듈(330)은 제1 터치 제스처에 대응되는 영역이 이미지 영역에 해당한다고 판단한 경우에도, 이미지에 포함된 객체가 사람이 없고, 텍스트만 포함된 경우, 이미지에 포함된 텍스트로 태그가 생성될 수 있다. 즉, 영상 정보 식별 모듈(340)은 이미지 영역에 포함된 텍스트를 식별하고, 해당 텍스트에 포함된 키워드에 기초하여 장소 카테고리 태그 셋을 영상과 관련된 정보로 생성할 수 있다. 그리고, 영상 태그 생성 모듈(350)은 텍스트 영역에서 추출한 키워드를 기준으로 음식장의 위치, 음식장의 명칭 등을 태그로 생성할 수 있다. 컨텐츠 추천 모듈(360)은 이와 같은 태그와 그 카테고리를 기초로 해당 음식을 판매하는 식당을 추천할 수 있다.
매칭률 판단 모듈(370)은 카메라를 통해 획득된 영상을 기초로, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일 각각의 매칭되는 정도를 판단할 수 있다. 구체적으로, 매칭률 판단 모듈(370)은 카메라를 통해 획득된 영상을 기초로, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 촬영되는지 판단할 수 있다.
여기에서, 매칭률 판단 모듈(370)은 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 촬영될 위치를 디스플레이(110)에 표시할 수 있다. 즉, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 정확하게 촬영할 수 있도록 가이드가 제공된다는 것이다.
그리고, 매칭률 판단 모듈(370)은 사용자 입력에 기초하여 영상을 획득할 수 있다. 즉, 획득된 영상은 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된다.
일 예로, 도 11a를 참조하면, 카메라를 통해 획득된 영상에 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일 중 적어도 하나가 포함된 경우, 매칭률 판단 모듈(370)은 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 촬영되는지 판단할 수 있다.
도 11b를 참조하면, 사용자의 메이크업 및 사용자의 헤어스타일이 정확하게 촬영할 수 있도록 가이드가 제공되기 위해, 매칭률 판단 모듈(370)은 사용자의 패션이 촬영될 위치(1113, 1114, 1115), 사용자의 메이크업(1112) 및 사용자의 헤어스타일(1111)이 촬영될 위치를 디스플레이(110)에 표시할 수 있다. 이에 더하여 사용자의 악세서리가 촬영될 위치를 추가적으로 디스플레이(110)에 표시할 수 있다. 이와 같이 사용자의 패션이 촬영될 위치(1113, 1114, 1115), 사용자의 메이크업(1112) 및 사용자의 헤어스타일(1111)이 촬영될 위치에 사용자가 위치해 있고, 사용자 입력에 따른 영상이 촬영된 경우, 매칭률 판단 모듈(370)은 영상을 획득할 수 있다.
그리고, 매칭률 판단 모듈(370)은 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 획득되면, 패션과 관련된 정보, 메이크업과 관련된 정보 및 헤어스타일과 관련된 정보를 판단할 수 있다. 즉 패션과 관련된 정보에는 착용된 상의의 종류, 착용된 하의의 종류 및 메고있는 가방의 종류 등에 대한 정보가 포함될 수 있다. 그리고, 메이크업 과 관련된 정보에는 메이크업의 색상, 진항 정도, 입술 색상 등에 대한 정보가 포함될 수 있다. 그리고, 헤어스타일과 관련된 정보에는 헤어의 길이, 헤어의 두께, 헤어가 풍성한 정도, 헤어의 색상 등에 대한 정보가 포함될 수 있다. 매칭률 판단 모듈(370)은 패션에 대한 정보를 상술한 패션 카테고리 태그 셋의 형태로 판단할 수 있고, 메이크업에 대한 정보를 메이크업 카테고리 태그 셋의 형태로 판단할 수 있고, 헤어스타일에 대한 정보는 헤어스타일 카테고리 태그 셋의 형태로 판단할 수 있다.
그리고, 매칭률 판단 모듈(370)은 패션과 관련된 정보와 대응되는 복수의 제1 태그, 메이크업과 관련된 정보와 대응되는 복수의 제2 태그 및 헤어스타일과 관련된 정보와 대응되는 복수의 제3 태그를 생성할 수 있다.
일 예로, 도 12를 참조하면, 매칭률 판단 모듈(370)은 패션과 관련된 정보와 대응되는 복수의 제1 태그(1231, 1232)로 'slim, black, tight, jean, camera bag, small, cross bag, white, price level medium' 등을 생성할 수 있다.
그리고, 매칭률 판단 모듈(370)은 메이크업과 관련된 정보와 대응되는 복수의 제2 태그(1210)로 'cool, oily, no makeup makeup, pink lip'을 생성할 수 있다.
그리고, 매칭률 판단 모듈(370)은 헤어 스타일에 대한 정보에 대응되는 복수의 제3 태그(1220)로 'wave, natural, black, medium long'을 생성할 수 있다.
다음으로, 매칭률 판단 모듈(370)은 제1 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보가 메이크업과 관련된 정보이면, 복수의 제2 태그와 대응되는 복수의 제1 태그 중 하나의 태그를 포함하는 복수의 제1 영상을 획득할 수 있다. 여기에서 복수의 제2 태그와 대응되는 복수의 제1 태그는 특정한 영상에서 복수의 제1 태그가 생성될 때, 동일한 영상에서 복수의 제2 태그가 함께 생성된 태그이다.
그리고, 매칭률 판단 모듈(370)은 제1 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보가 메이크업과 관련된 정보이면, 복수의 제2 태그와 대응되는 복수의 제3 태그 중 적어도 하나의 태그를 포함하는 복수의 제2 영상을 획득할 수 있다. 여기에서 복수의 제2 태그와 대응되는 복수의 제3 태그는 특정한 영상에서 복수의 제3 태그가 생성될 때, 동일한 영상에서 복수의 제2 태그가 함께 생성된 태그이다.
일 예로, 도 13a를 참조하면, 제1 터치 제스처(1310)와 대응되는 영역에 대한 영상과 관련된 정보가 메이크업과 관련된 경우, 매칭률 판단 모듈(370)은 메이크업과 관련된 복수의 제2 태그(1210)가 생성될 때 함께 생성된 패션과 관련된 제1 태그(1231, 1232)를 복수의 제2 태그와 대응되는 복수의 제1 태그로 판단할 수 있다. 그리고, 매칭률 판단 모듈(370)은 메이크업과 관련된 복수의 제2 태그(1210)가 생성될 때 함께 생성된 헤어와 관련된 제3 태그(1220)를 복수의 제2 태그와 대응되는 복수의 제3 태그로 판단할 수 있다.
여기에서, 복수의 제1 영상 및 복수의 제2 영상은 사용자에 의해 촬영되어 태그가 생성된 영상에 해당된다. 즉, 복수의 제1 영상 및 복수의 제2 영상은 사용자의 패션, 사용자의 헤어, 사용자의 메이크업이 포함된 영상이고, 패션과 관련된 태그, 헤어와 관련된 태그, 메이크업과 관련된 태그가 포함된 영상에 해당한다.
매칭률 판단 모듈(370)은 복수의 제1 태그, 복수의 제1 영상 및 복수의 제2 영상에 기초하여 패션의 매칭률 및 헤어스타일의 매칭률을 판단할 수 있다. 즉, 매칭률 판단 모듈(370)은 복수의 제1 태그와 복수의 제1 영상에 기초하여 패션의 매칭률을 판단할 수 있고, 복수의 제1 태그와 복수의 제2 영상에 기초하여 헤어스타일의 매칭률을 판단할 수 있다. 패션의 매칭률은 복수의 제2 태그와 대응되는 복수의 제1 태그를 포함하는 영상의 수를 전체 영상의 수로 나눈 비율에 기초하여 계산될 수 있다. 또한 헤어스타일의 매칭률은 복수의 제2 태그와 대응되는 복수의 제3 태그를 포함하는 영상의 수를 전체 영상의 수로 나눈 비율에 기초하여 계산될 수 있다. 또한, 복수의 제1 영상과 복수의 제2 영상에 대한 평가를 반영하여 이를 함께 고려해 매칭률을 판단할 수 있다. 일 예로, SNS에 업로된 사진에 대하여, 타 사용자들의 호감도 표시(예로, 좋아요, 슬퍼요, 화나요 등)를 반영하여 매칭률이 판단될 수 있다.
한편, 매칭률 판단 모듈(370)은 복수의 제1 태그, 복수의 제1 영상 및 복수의 제2 영상에 기초하여 패션의 빈도수 및 헤어스타일의 빈도수를 산출할 수 있다. 그리고, 매칭률 판단 모듈(370)은 패션의 빈도수가 기설정된 기준 이상이면, 패션의 매칭률을 낮게 판단하고, 헤어스타일의 빈도수가 기설정된 기준 이상이면 헤어스타일의 매칭률을 낮게 판단할 수 있다. 반면, 매칭률 판단 모듈(370)은 패션의 빈도수가 기설정된 기준 이하이면, 패션의 매칭률을 높게 판단하고, 헤어스타일의 빈도수가 기설정된 기준 이하이면 헤어스타일의 매칭률을 높게 판단할 수 있다.
이와 같이 매칭률에 대한 예로, 도 13b를 참조하면, 제1 터치 제스처(1310)와 대응되는 영역에 대한 영상과 관련된 정보가 메이크업과 관련된 정보에 해당하여, 패션의 매칭률(1312, 1313, 1314) 및 헤어스타일의 매칭률(1311)이 판단된 경우, 매칭률 판단 모듈(370)은 디스플레이(110)에 표시할 수 있다.
이 때, 컨텐츠 추천 모듈(360)은 패션의 매칭률과 헤어스타일의 매칭률이 기설정된 비율 이하인지 판단할 수 있다. 예로, 컨텐츠 추천 모듈(360)은 패션의 매칭률이 기설정된 비율 이하인 경우, 제2 태그와 대응되는 복수의 제1 태그 중 적어도 하나의 태그를 포함하는 기저장된 영상을 획득할 수 있다. 그리고, 컨텐츠 추천 모듈(360)은 획득된 기저장된 영상 중 높은 매칭률이 판단되는 영상을 기초로 패션을 추천할 수 있다.
여기에서, 헤어스타일의 매칭률이 기설정된 비율 이하인 경우, 컨텐츠 추천 모듈(360)은 제2 태그와 대응되는 복수의 제3 태그 중 적어도 하나의 태그를 포함하는 기저장된 영상을 획득할 수 있다. 그리고, 컨텐츠 추천 모듈(360)은 획득된 기저장된 영상 중 높은 매칭률이 판단되는 영상을 기초로 헤어스타일을 추천할 수 있다.
일 예로, 도 13b를 참조하면, 패션 중 하의의 매칭률(1313)이 3%에 해당하여, 기설정된 비율 이하인 경우, 컨텐츠 추천 모듈(360)은 복수의 제2 태그(1210)와 대응되는 복수의 제1 태그(1231) 중 적어도 하나의 태그를 포함하는 기저장된 영상을 획득할 수 있다. 그리고, 컨텐츠 추천 모듈(360)은 획득된 기저장된 영상 중 높은 매칭률이 판단되는 영상을 기초로 하의를 추천할 수 있다.
상술한 예시는 제1 터치와 대응되는 영역에 관한 정보가 메이크업인 경우로, 예시적인 설명에 해당하여 이에 한정되지 않으며, 제1 터치와 대응되는 영역에 관한 정보가 패션, 헤어스타일, 악세서리 등 다양하게 적용 될 수 있다.
한편, 컨텐츠 추천 모듈(360)은 사용자가 자주 가는 장소의 위치와 연령별 선호하는 패션, 헤어스타일, 메이크업 정보를 기초로 사용자의 패션, 사용자의 헤어스타일, 사용자의 메이크업 등을 추천 할 수 있다. 예를 들어, 사용자가 자주가는 장소가 한강 공원인 경우, 사용자의 연령이 선호하는 패션, 헤어스타일, 메이크업 정보를 획득하고, 이를 기초로 한강공원에서의 패션, 헤어스타일, 메이크업을 추천할 수 있다.
한편, 매칭률 판단 모듈(370)에서 서로 다른 사용자 사이에서의 패션의 매칭률, 헤어스타일의 매칭률 및 메이크업의 매칭률을 판단할 수 있다. 이와 같이 서로 다른 사용자 사이에서의 매칭률이 계산되면, 컨텐츠 추천 모듈(360)은 서로 다른 사용자 사이의 패션의 매칭률, 헤어스타일의 매칭률 및 메이크업의 매칭률 중 적어도 하나가 기설정된 기준 이하인지 여부를 판단할 수 있다. 이와 같이 컨텐츠 추천 모듈(360)은 기설정된 기준 이하의 패션, 헤어스타일 및 메이크업 중 적어도 하나에 대해 변경할 부분을 추천할 수 있다.
상술한 영상 획득 모듈(310), 영상정보 획득 모듈(320), 터치 제스처 판단 모듈(330), 영상 정보 식별 모듈(340), 영상 태그 생성 모듈(350), 컨텐츠 추천 모듈(360) 및 매칭률 판단 모듈(370)은 인공지능(AI) 모델에 기초하여 각각의 동작이 수행될 수 있다.
도 14는 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도이다.
도 14를 참조하면, 전자 장치(100)은 디스플레이(110), 메모리(120), 적어도 하나의 프로세서(130), 적어도 하나의 센서(140), 카메라(150), 입력 인터페이스(160), 스피커(170) 및 통신 인터페이스(180)가 포함될 수 있다. 이하에서는 도 2에서의 설명과 중복되는 부분에 대한 자세한 설명은 생략하기로 한다.
적어도 하나의 센서(140)은 전자 장치(100)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 즉, 적어도 하나의 센서(140)는 전자 장치(100)의 사용자와 관련된 다양한 정보를 획득할 수 있다.
특히, 카메라(150)는 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라(150)는 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다. 여기에서, 카메라(150)는 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일을 촬영할 수 있다.
입력 인터페이스(160)는 회로를 포함하며, 전자 장치(100)에서 지원하는 각종 기능을 설정 또는 선택하기 위한 사용자 명령을 입력받을 수 있다. 이를 위해, 입력 인터페이스(160)는 복수의 버튼을 포함할 수 있고, 디스플레이의 기능을 동시에 수행할 수 있는 터치 스크린으로 구현될 수도 있다.
이 경우, 적어도 하나의 프로세서(130)는 입력 인터페이스(160)를 통해 입력된 사용자 명령에 기초하여 전자 장치(100)의 동작을 제어할 수 있다. 예를 들어, 적어도 하나의 프로세서(130)는 입력 인터페이스(160)를 통해 입력된 전자 장치(100)의 온/오프 명령, 전자 장치(100)의 기능의 온/오프 명령 등에 기초하여, 전자 장치(100)를 제어할 수 있다.
스피커(170)는 오디오를 출력할 수 있다. 구체적으로, 적어도 하나의 프로세서(130)는 전자 장치 (100)의 동작과 관련된 다양한 알림음 또는 음성 안내 메시지를 스피커(170)를 통해 출력할 수 있다. 특히, 스피커(170)는 사용자에게 태그에 기초하여 추천된 장소에 관한 안내 메시지를 사용자에게 출력하거나, 매칭률이 높은 패션, 헤어스타일, 메이크업, 악세서리 등에 관한 안내 메시지를 출력할 수 있다.
통신 인터페이스(180)는, 무선 통신 인터페이스, 유선 통신 인터페이스 또는 입력 인터페이스를 포함할 수 있다. 무선 통신 인터페이스는, 무선 통신 기술이나 이동 통신 기술을 이용하여 각종 외부 장치와 통신을 수행할 수 있다. 이러한 무선 통신 기술로는, 예를 들어, 블루투스(Bluetooth), 저전력 블루투스(Bluetooth Low Energy), 캔(CAN) 통신, 와이 파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 초광대역 통신(UWB, ultrawide band), 지그비(zigbee), 적외선 통신(IrDA, infrared Data Association) 또는 엔에프씨(NFC, Near Field Communication) 등이 포함될 수 있으며, 이동 통신 기술 로는, 3GPP, 와이맥스(Wi-Max), LTE(Long Term Evolution), 5G 등이 포함될 수 있다. 무선 통신 인터페이스는 전자기파를 외부로 송신하거나 또는 외부에서 전달된 전자기파를 수신할 수 있는 안테나, 통신 칩 및 기판 등을 이용하여 구현될 수 있다. 특히, 통신 인터페이스(180)를 통해 타 사용자의 호감도 표시를 수신하고, 이를 고려해 매칭률이 판단될 수 있다.
도 15는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 15를 참조하면, 영상에 대한 태그를 생성하는 전자 장치의 제어 방법은 태그를 생성하기 위한 영상을 획득할 수 있다(S1501).
그리고, 획득된 영상에 기초하여, 영상과 관련된 정보를 획득할 수 있다(S1502).
이후, 디스플레이를 통해 표시되는 영상 상에 감지된 제1 터치 제스처에 기초하여, 영상과 관련된 정보 중 제1 터치 제스처와 대응되는 영역을 판단할 수 있다(S1503).
다음으로, 판단된 영역과 대응되는 영상과 관련된 정보를 식별할 수 있다(S1504)
그리고, 식별된 영상과 관련된 정보에 기초하여, 영상에 대한 태그(Tag)를 생성할 수 있다(S1505).
S1502단계는, 영상에 기초하여 영상에 포함된 적어도 하나의 객체 영역을 구별할 수 있다.
그리고, 적어도 하나의 객체 영역에 대응되는 객체를 식별할 수 있다.
그리고, 객체에 기초하여 영상과 관련된 정보를 획득할 수 있다.
S1504단계는, 판단된 제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역을 획득할 수 있다.
그리고, 적어도 하나의 객체 영역과 대응되는 식별된 객체에 기초하여 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보를 식별할 수 있다.
또한, 디스플레이를 통해 표시되는 영상 상에 태그를 제1 터치 제스처와 대응되는 영역에 표시할 수 있다.
여기에서, 제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역에서 제2 터치 제스처를 식별할 수 있다.
그리고, 2 터치 제스처에 기초하여 태그를 변경하거나 영상에 대한 태그를 추가할 수 있다.
한편, 태그에 기초하여 태그와 관련된 장소를 추천할 수 있다.
그리고, 추천된 장소와 사용자의 위치 사이의 거리가 기설정된 거리 이하인지 여부를 판단할 수 있다.
이후, 거리가 기설정된 거리 이하이면, 추천한 장소를 디스플레이에 표시할 수 있다.
한편, S1501단계는, 카메라를 통해 획득된 영상을 기초로, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 촬영되는지 판단할 수 있다.
그리고, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 촬영될 위치를 디스플레이에 표시할 수 있다.
또한, 사용자의 입력에 기초하여 영상을 획득할 수 있다.
여기에서, 영상과 관련된 정보는 패션과 관련된 정보, 메이크업과 관련된 정보및 헤어스타일과 관련된 정보를 포함할 수 있다.
그리고, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 획득되면, 패션과 관련된 정보, 메이크업과 관련된 정보 및 헤어스타일과 관련된 정보를 판단할 수 있다.
이후, 패션과 관련된 정보와 대응되는 복수의 제1 태그, 메이크업과 관련된 정보와 대응되는 복수의 제2 태그 및 헤어스타일과 관련된 정보와 대응되는 복수의 제3 태그를 생성할 수 있다.
그리고, 제1 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보가 메이크업과 관련된 정보이면, 복수의 제2 태그와 대응되는 복수의 제1 태그 중 적어도 하나의 태그를 포함하는 복수의 제1 영상 및 복수의 제2 태그와 대응되는 복수의 제3 태그 중 적어도 하나의 태그를 포함하는 복수의 제2 영상을 획득할 수 있다.
그리고, 복수의 제1 태그, 복수의 제1 영상 및 복수의 제2 영상에 기초하여 패션의 매칭률 및 헤어스타일의 매칭률을 판단할 수 있다.
한편, 복수의 제1 태그, 복수의 제1 영상 및 복수의 제2 영상에 기초하여 패션의 빈도수 및 헤어스타일의 빈도수를 산출할 수 있다.
여기에서, 패션의 빈도수가 기설정된 기준 이상이면, 패션의 매칭률을 낮게 판단할 수 있다.
또한, 헤어스타일의 빈도수가 기설정된 기준 이상이면, 헤어스타일의 매칭률을 낮게 판단할 수 있다.
그리고, 패션의 매칭률이 기설정된 비율 이하인 경우, 제2 태그와 대응되는 복수의 제1 태그 중 적어도 하나의 태그를 포함하는 기저장된 영상을 획득할 수 있다.
그리고, 획득된 기저장된 영상 중 높은 매칭률이 판단되는 영상을 기초로 패션을 추천할 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 전자 장치의 프로세서와 메모리를 통해 동작된다.
프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU(Central Processing Unit), GPU(Graphic Processing Unit), NPU(Neural Processing Unit) 중 적어도 하나를 포함할 수 있으나 전술한 프로세서의 예시에 한정되지 않는다.
CPU는 일반 연산뿐만 아니라 인공지능 연산을 수행할 수 있는 범용 프로세서로서, 다계층 캐시(Cache) 구조를 통해 복잡한 프로그램을 효율적으로 실행할 수 있다. CPU는 순차적인 계산을 통해 이전 계산 결과와 다음 계산 결과의 유기적인 연계가 가능하도록 하는 직렬 처리 방식에 유리하다. 범용 프로세서는 전술한 CPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
GPU는 그래픽 처리에 이용되는 부동 소수점 연산 등과 같은 대량 연산을 위한 프로세서로서, 코어를 대량으로 집적하여 대규모 연산을 병렬로 수행할 수 있다. 특히, GPU는 CPU에 비해 컨볼루션(Convolution) 연산 등과 같은 병렬 처리 방식에 유리할 수 있다. 또한, GPU는 CPU의 기능을 보완하기 위한 보조 프로세서(co-processor)로 이용될 수 있다. 대량 연산을 위한 프로세서는 전술한 GPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
NPU는 인공 신경망을 이용한 인공지능 연산에 특화된 프로세서로서, 인공 신경망을 구성하는 각 레이어를 하드웨어(예로, 실리콘)로 구현할 수 있다. 이때, NPU는 업체의 요구 사양에 따라 특화되어 설계되므로, CPU나 GPU에 비해 자유도가 낮으나, 업체가 요구하기 위한 인공지능 연산을 효율적으로 처리할 수 있다. 한편, 인공지능 연산에 특화된 프로세서로, NPU 는 TPU(Tensor Processing Unit), IPU(Intelligence Processing Unit), VPU(Vision processing unit) 등과 같은 다양한 형태로 구현 될 수 있다. 인공 지능 프로세서는 전술한 NPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
또한, 하나 또는 복수의 프로세서는 SoC(System on Chip)으로 구현될 수 있다. 이때, SoC에는 하나 또는 복수의 프로세서 이외에 메모리, 및 프로세서와 메모리 사이의 데이터 통신을 위한 버스(Bus)등과 같은 네트워크 인터페이스를 더 포함할 수 있다.
전자 장치에 포함된 SoC(System on Chip)에 복수의 프로세서가 포함된 경우, 전자 장치는 복수의 프로세서 중 일부 프로세서를 이용하여 인공지능과 관련된 연산(예를 들어, 인공지능 모델의 학습(learning)이나 추론(inference)에 관련된 연산)을 수행할 수 있다. 예를 들어, 전자 장치는 복수의 프로세서 중 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공지능 연산에 특화된 GPU, NPU, VPU, TPU, 하드웨어 가속기 중 적어도 하나를 이용하여 인공지능과 관련된 연산을 수행할 수 있다. 다만, 이는 일 실시예에 불과할 뿐, CPU 등과 범용 프로세서를 이용하여 인공지능과 관련된 연산을 처리할 수 있음은 물론이다.
또한, 전자 장치는 하나의 프로세서에 포함된 멀티 코어(예를 들어, 듀얼 코어, 쿼드 코어 등)를 이용하여 인공지능과 관련된 기능에 대한 연산을 수행할 수 있다. 특히, 전자 장치는 프로세서에 포함된 멀티 코어를 이용하여 병렬적으로 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공 지능 연산을 수행할 수 있다.
하나 또는 복수의 프로세서는, 메모리에 저장된 기정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.
여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 적어도 하나의 레이어는 적어도 하나의 가중치(weight values)dd을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 적어도 하나의 정의된 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks), Transformer가 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 기기를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 디스플레이 120 : 메모리
130 : 적어도 하나의 프로세서

Claims (20)

  1. 영상에 대한 태그를 생성하는 전자 장치에 있어서,
    디스플레이,
    메모리,
    적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    태그를 생성하기 위한 영상을 획득하고,
    상기 획득된 영상에 기초하여, 상기 영상과 관련된 정보를 획득하고,
    상기 디스플레이를 통해 표시되는 상기 영상 상에 감지된 제1 터치 제스처에 기초하여, 상기 영상과 관련된 정보 중 상기 제1 터치 제스처와 대응되는 영역을 판단하고,
    상기 판단된 영역에 대한 영상과 관련된 정보를 식별하고,
    상기 식별된 영상과 관련된 정보에 기초하여, 상기 영상에 대한 태그(Tag)를 생성하는 전자 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 영상에 기초하여 상기 영상에 포함된 적어도 하나의 객체 영역을 구별하고,
    상기 객체 영역에 대응되는 객체를 식별하고,
    상기 객체에 기초하여 영상과 관련된 정보를 획득하는 전자 장치.
  3. 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 판단된 제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역을 획득하고,
    상기 적어도 하나의 객체 영역과 대응되는 상기 식별된 객체에 기초하여 상기 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보를 식별하는 전자 장치.
  4. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 디스플레이를 통해 표시되는 영상 상에 상기 태그를 제1 터치 제스처와 대응되는 영역에 표시하고,
    제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역에서 제2 터치 제스처를 식별하고,
    상기 제2 터치 제스처에 기초하여 상기 태그를 변경하거나 상기 영상에 대한 태그를 추가하는 전자 장치.
  5. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 태그에 기초하여 상기 태그와 관련된 장소를 추천하고,
    상기 추천된 장소와 사용자의 위치 사이의 거리가 기설정된 거리 이하인지여부를 판단하고,
    상기 거리가 상기 기설정된 거리 이하이면, 상기 추천한 장소를 디스플레이에 표시하는 전자 장치.
  6. 제1항에 있어서,
    카메라를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    카메라를 통해 획득된 영상을 기초로, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 촬영되는지 판단하고,
    상기 사용자의 패션, 상기 사용자의 메이크업 및 상기 사용자의 헤어스타일이 촬영될 위치를 디스플레이에 표시하고,
    상기 사용자의 입력에 기초하여 상기 영상을 획득하는 전자 장치.
  7. 제6항에 있어서,
    상기 영상과 관련된 정보는 패션과 관련된 정보, 메이크업과 관련된 정보및 헤어스타일과 관련된 정보를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 사용자의 패션, 상기 사용자의 메이크업 및 상기 사용자의 헤어스타일이 포함된 영상이 획득되면, 상기 패션과 관련된 정보, 상기 메이크업과 관련된 정보 및 상기 헤어스타일과 관련된 정보를 판단하고,
    상기 패션과 관련된 정보와 대응되는 복수의 제1 태그, 상기 메이크업과 관련된 정보와 대응되는 복수의 제2 태그 및 상기 헤어스타일과 관련된 정보와 대응되는 복수의 제3 태그를 생성하는 전자 장치.
  8. 제7항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보가 상기 메이크업과 관련된 정보이면, 상기 복수의 제2 태그와 대응되는 상기 복수의 제1 태그 중 적어도 하나의 태그를 포함하는 복수의 제1 영상 및 상기 복수의 제2 태그와 대응되는 상기 복수의 제3 태그 중 적어도 하나의 태그를 포함하는 복수의 제2 영상을 획득하고,
    상기 복수의 제1 태그, 상기 복수의 제1 영상 및 상기 복수의 제2 영상에 기초하여 상기 패션의 매칭률 및 상기 헤어스타일의 매칭률을 판단하는 전자 장치.
  9. 제8항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 복수의 제1 태그, 상기 복수의 제1 영상 및 상기 복수의 제2 영상에 기초하여 상기 패션의 빈도수 및 상기 헤어스타일의 빈도수를 산출하고,
    상기 패션의 빈도수가 기설정된 기준 이상이면, 상기 패션의 매칭률을 낮게 판단하고,
    상기 헤어스타일의 빈도수가 기설정된 기준 이상이면, 상기 헤어스타일의 매칭률을 낮게 판단하는 전자 장치.
  10. 제8항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 패션의 매칭률이 기설정된 비율 이하인 경우, 상기 제2 태그와 대응되는 상기 복수의 제1 태그 중 적어도 하나의 태그를 포함하는 상기 기저장된 영상을 획득하고,
    상기 획득된 기저장된 영상 중 높은 매칭률이 판단되는 영상을 기초로 패션을 추천하는 전자 장치.
  11. 영상에 대한 태그를 생성하는 전자 장치의 제어 방법에 있어서,
    태그를 생성하기 위한 영상을 획득하는 단계;
    상기 획득된 영상에 기초하여, 상기 영상과 관련된 정보를 획득하는 단계;
    상기 디스플레이를 통해 표시되는 상기 영상 상에 감지된 제1 터치 제스처에 기초하여, 상기 영상과 관련된 정보 중 상기 제1 터치 제스처와 대응되는 영역을 판단하는 단계;
    상기 판단된 영역에 대한 영상과 관련된 정보를 식별하는 단계; 및
    상기 식별된 영상과 관련된 정보에 기초하여, 상기 영상에 대한 태그(Tag)를 생성하는 단계를 포함하는 전자 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 영상과 관련된 정보를 획득하는 단계는,
    상기 영상에 기초하여 상기 영상에 포함된 적어도 하나의 객체 영역을 구별하는 단계;
    상기 적어도 하나의 객체 영역에 대응되는 객체를 식별하는 단계; 및
    상기 객체에 기초하여 영상과 관련된 정보를 획득하는 단계를 포함하는 전자 장치의 제어 방법.
  13. 제12항에 있어서,
    상기 판단된 영역에 대한 영상과 관련된 정보를 식별하는 단계는,
    상기 판단된 제1 터치 제스처와 대응되는 영역을 포함하는 상기 적어도 하나의 객체 영역을 획득하는 단계; 및
    상기 적어도 하나의 객체 영역과 대응되는 상기 식별된 객체에 기초하여 상기 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보를 식별하는 단계를 포함하는 전자 장치의 제어 방법.
  14. 제11항에 있어서,
    상기 디스플레이를 통해 표시되는 영상 상에 상기 태그를 제1 터치 제스처와 대응되는 영역에 표시하는 단계;
    제1 터치 제스처와 대응되는 영역을 포함하는 적어도 하나의 객체 영역에서 제2 터치 제스처를 식별하는 단계; 및
    상기 제2 터치 제스처에 기초하여 상기 태그를 변경하거나 상기 영상에 대한 태그를 추가하는 단계를 포함하는 전자 장치의 제어 방법.
  15. 제11항에 있어서,
    상기 태그에 기초하여 상기 태그와 관련된 장소를 추천하는 단계;
    상기 추천된 장소와 사용자의 위치 사이의 거리가 기설정된 거리 이하인지여부를 판단하는 단계; 및
    상기 거리가 상기 기설정된 거리 이하이면, 상기 추천한 장소를 디스플레이에 표시하는 단계를 포함하는 전자 장치의 제어 방법.
  16. 제11항에 있어서,
    상기 태그를 생성하기 위한 영상을 획득하는 단계는,
    카메라를 통해 획득된 영상을 기초로, 사용자의 패션, 사용자의 메이크업 및 사용자의 헤어스타일이 포함된 영상이 촬영되는지 판단하는 단계;
    상기 사용자의 패션, 상기 사용자의 메이크업 및 상기 사용자의 헤어스타일이 촬영될 위치를 디스플레이에 표시하는 단계; 및
    상기 사용자의 입력에 기초하여 상기 영상을 획득하는 단계를 포함하는 전자 장치의 제어 방법.
  17. 제16항에 있어서,
    상기 영상과 관련된 정보는 패션과 관련된 정보, 메이크업과 관련된 정보및 헤어스타일과 관련된 정보를 포함하고,
    상기 사용자의 패션, 상기 사용자의 메이크업 및 상기 사용자의 헤어스타일이 포함된 영상이 획득되면, 상기 패션과 관련된 정보, 상기 메이크업과 관련된 정보 및 상기 헤어스타일과 관련된 정보를 판단하는 단계; 및
    상기 패션과 관련된 정보와 대응되는 복수의 제1 태그, 상기 메이크업과 관련된 정보와 대응되는 복수의 제2 태그 및 상기 헤어스타일과 관련된 정보와 대응되는 복수의 제3 태그를 생성하는 단계를 포함하는 전자 장치의 제어 방법.
  18. 제17항에 있어서,
    상기 제1 터치 제스처와 대응되는 영역에 대한 영상과 관련된 정보가 상기 메이크업과 관련된 정보이면, 상기 복수의 제2 태그와 대응되는 상기 복수의 제1 태그 중 적어도 하나의 태그를 포함하는 복수의 제1 영상 및 상기 복수의 제2 태그와 대응되는 상기 복수의 제3 태그 중 적어도 하나의 태그를 포함하는 복수의 제2 영상을 획득하는 단계; 및
    상기 복수의 제1 태그, 상기 복수의 제1 영상 및 상기 복수의 제2 영상에 기초하여 상기 패션의 매칭률 및 상기 헤어스타일의 매칭률을 판단하는 단계를 포함하는 전자 장치의 제어 방법.
  19. 제18항에 있어서,
    상기 복수의 제1 태그, 상기 복수의 제1 영상 및 상기 복수의 제2 영상에 기초하여 상기 패션의 빈도수 및 상기 헤어스타일의 빈도수를 산출하는 단계;
    상기 패션의 빈도수가 기설정된 기준 이상이면, 상기 패션의 매칭률을 낮게 판단하는 단계; 및
    상기 헤어스타일의 빈도수가 기설정된 기준 이상이면, 상기 헤어스타일의 매칭률을 낮게 판단하는 단계를 포함하는 전자 장치의 제어 방법.
  20. 제18항에 있어서,
    상기 패션의 매칭률이 기설정된 비율 이하인 경우, 상기 제2 태그와 대응되는 상기 복수의 제1 태그 중 적어도 하나의 태그를 포함하는 상기 기저장된 영상을 획득하는 단계; 및
    상기 획득된 기저장된 영상 중 높은 매칭률이 판단되는 영상을 기초로 패션을 추천하는 단계를 포함하는 전자 장치의 제어 방법.

KR1020220144385A 2022-11-02 2022-11-02 전자 장치 및 그의 제어 방법 KR20240062639A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220144385A KR20240062639A (ko) 2022-11-02 2022-11-02 전자 장치 및 그의 제어 방법
PCT/KR2023/016279 WO2024096394A1 (ko) 2022-11-02 2023-10-19 전자 장치 및 그의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220144385A KR20240062639A (ko) 2022-11-02 2022-11-02 전자 장치 및 그의 제어 방법

Publications (1)

Publication Number Publication Date
KR20240062639A true KR20240062639A (ko) 2024-05-09

Family

ID=90930944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220144385A KR20240062639A (ko) 2022-11-02 2022-11-02 전자 장치 및 그의 제어 방법

Country Status (2)

Country Link
KR (1) KR20240062639A (ko)
WO (1) WO2024096394A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8533192B2 (en) * 2010-09-16 2013-09-10 Alcatel Lucent Content capture device and methods for automatically tagging content
KR101861698B1 (ko) * 2011-08-18 2018-05-28 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
KR20160111756A (ko) * 2015-03-17 2016-09-27 엘지전자 주식회사 이동 단말기 및 그의 사진 관리방법
KR20200130636A (ko) * 2019-10-01 2020-11-19 (주)엠폴시스템 라벨링 데이터 정제방법, 장치 및 프로그램
KR102341209B1 (ko) * 2020-03-13 2021-12-20 네이버 주식회사 동영상 콘텐츠에 대한 태그 삽입 방법 및 시스템

Also Published As

Publication number Publication date
WO2024096394A1 (ko) 2024-05-10

Similar Documents

Publication Publication Date Title
KR102585877B1 (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
US11521339B2 (en) Machine learning in augmented reality content items
US11126140B2 (en) Electronic device, external device capable of being combined with the electronic device, and a display method thereof
KR20230026481A (ko) 메시징 시스템에서의 아바타 의류 업데이트
US20220319127A1 (en) Facial synthesis in augmented reality content for third party applications
US20230146298A1 (en) Messaging system with augmented reality messages
KR102668172B1 (ko) 메시징 시스템에서의 증강 현실 경험을 위한 물리적 제품들의 식별
US20200356760A1 (en) Sequence-of-sequences model for 3d object recognition
US11620829B2 (en) Visual matching with a messaging application
KR20220118545A (ko) 메시징 시스템에서의 캡처후 처리
KR20230127311A (ko) 안경류 디바이스 상에서의 증강 현실 콘텐츠의 기록
US11984114B2 (en) Speech to intent
US20220067812A1 (en) Method and system for providing search results for similar products based on deep-learning
CN110246110A (zh) 图像评估方法、装置及存储介质
EP4396669A1 (en) Conversation guided augmented reality experience
KR20230127316A (ko) 증강 현실 콘텐츠의 포착-후 편집
KR20240062639A (ko) 전자 장치 및 그의 제어 방법
US20220083806A1 (en) Method and system for product search based on image restoration
KR102621076B1 (ko) 인공지능 모델을 이용한 공간인식 기반 화훼상품 추천 관리장치 및 그 방법
US20240073404A1 (en) Controlling and editing presentation of volumetric content
US11972521B2 (en) Multisensorial presentation of volumetric content
US20240071006A1 (en) Mixing and matching volumetric contents for new augmented reality experiences
US11893204B2 (en) Context cards for media supplementation
US20240193982A1 (en) Hand-tracking with ir camera for xr systems
US20230353520A1 (en) Providing post-capture media overlays for post-capture processing in a messaging system