KR20190065013A - Method and application for recommending content through user recognition - Google Patents
Method and application for recommending content through user recognition Download PDFInfo
- Publication number
- KR20190065013A KR20190065013A KR1020170164421A KR20170164421A KR20190065013A KR 20190065013 A KR20190065013 A KR 20190065013A KR 1020170164421 A KR1020170164421 A KR 1020170164421A KR 20170164421 A KR20170164421 A KR 20170164421A KR 20190065013 A KR20190065013 A KR 20190065013A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- content
- screen
- computer
- electronic device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000008451 emotion Effects 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims abstract description 9
- 238000013461 design Methods 0.000 claims description 15
- 230000008921 facial expression Effects 0.000 claims description 5
- 230000000153 supplemental effect Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 사용자화면 인식을 통해 컨텐츠를 추천하는 방법 및 어플리케이션에 관한 것으로, 더욱 상세하게는 사용자화면에 드러난 사용자의 얼굴, 제스쳐 등을 인식함으로써 이에 부합되는 컨텐츠를 자동으로 추천해주는 사용자화면 인식을 통해 컨텐츠를 추천하는 방법 및 어플리케이션에 관한 것이다.BACKGROUND OF THE
카메라가 내장된 사용자 단말 기기가 보편화되고 SNS(Social Network Service)가 인기를 끌면서, 사용자 단말 기기상의 카메라를 활용한 어플리케이션의 보급 또한 함께 활성화되고 있다.A user terminal device with a built-in camera becomes popular, and a social network service (SNS) becomes popular, so that an application using a camera on a user terminal device is also promoted.
그 예로, 카메라에 직접 접근하여 사용자가 촬영한 1차 촬상물 또는 사용자 단말 기기에 내장된 1차 촬상물을 불러와서, 1차 촬상물에 특정 효과를 부여하거나, 1차 촬상물이 포함된 화면에 필터, 스티커 등의 2차 레이어를 덧입혀서 1차 촬상물을 재구성할 수 있는 어플리케이션이 있다.For example, it is possible to directly access the camera to bring in a primary image captured by a user or a primary image captured in a user terminal device to give a specific effect to the primary image, There is an application in which a secondary layer such as a filter or a sticker is applied to reconstruct a primary image.
나아가, 재구성된 촬상물을 사용자들끼리 공유할 수 있는 채널이 포함되어 있는 어플리케이션도 존재한다.Furthermore, there are applications in which a channel that allows users to share reconstructed images is included.
하지만, 종래의 어플리케이션에 의하면, 사용자가 1차 촬상물상에 디자인적 요소를 갖는 화상 컨텐츠를 적용시키기 위해서는 별도의 검색과정을 거쳐야 했으므로, 번거로움이 존재하고, 그 활용에 한계가 있었다.However, according to the conventional application, since the user has to go through a separate search process in order to apply the image content having the design element to the primary image object, there is a hassle and there is a limit to the utilization thereof.
본 발명은 전술한 종래기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 사용자화면에 드러난 사용자의 얼굴, 제스쳐 등을 인식함으로써 이에 부합되는 컨텐츠를 자동으로 추천해주는 사용자화면 인식을 통해 컨텐츠를 추천하는 방법 및 어플리케이션을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems of the prior art and it is an object of the present invention to provide a method and apparatus for recognizing a user's face, And to provide a method and an application.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 측면은 컴퓨터로 구현되는 전자기기와 결합되어 사용자화면 인식을 통해 컨텐츠를 추천하는 방법을 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램에 있어서, 상기 사용자화면 인식을 통해 컨텐츠를 추천하는 방법은, (a) 상기 전자기기의 카메라를 통해 사용자측 화면을 수신하는 사용자화면 수신 단계; (b) 상기 사용자측 화면을 분석하여, 상기 사용자측 화면에 대응되는 감정 키워드를 결정하는 감정 키워드 결정 단계; (c) 미리 저장된 데이터베이스 상에서 상기 감정 키워드를 메타 정보로 포함하는 컨텐츠를 추출하는 컨텐츠 추출 단계; (d) 추출된 상기 컨텐츠를 상기 전자기기의 디스플레이상에 표시하는 컨텐츠 표시 단계; 및 (e) 사용자의 입력을 수신하여, 추천된 상기 컨텐츠 중에서 사용자측 화면에 부가될 부가컨텐츠를 최종 결정하는 부가컨텐츠 결정 단계를 포함하는 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.According to an aspect of the present invention, there is provided a computer program stored in a computer-readable recording medium for executing a method for recommending contents through user screen recognition combined with an electronic device implemented by a computer, A method for recommending content through user screen recognition includes: (a) receiving a user screen through a camera of the electronic device; (b) analyzing the user-side screen to determine the emotion keyword corresponding to the user-side screen; (c) extracting a content including the emotion keyword as meta information on a pre-stored database; (d) displaying the extracted content on a display of the electronic device; And (e) an additional content determination step of receiving input from the user and finally determining additional content to be added to the user-side screen from the recommended content.
일 실시예에 있어서, 상기 사용자측 화면에는 사용자의 표정에 관한 정보 및 사용자의 제스처에 관한 정보 중 어느 하나 이상이 포함되는 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램일 수 있다.In one embodiment, the user-side screen may include a computer program stored in a computer-readable recording medium, the information being related to a user's facial expression and information on a user's gesture.
일 실시예에 있어서, 상기 (a) 단계와 상기 (b) 단계 사이에, 사용자의 입력을 수신하여, 특정 디자인적 요소를 갖는 컨텐츠를 선택받는 단계를 더 포함하고, 상기 컨텐츠는 디자인적 요소를 메타 정보로 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램일 수 있다.In one embodiment, the method further comprises, between the step (a) and the step (b), receiving a user input and selecting content having a specific design element, wherein the content is a design element And may be a computer program stored in a computer-readable recording medium.
일 실시예에 있어서, 상기 컨텐츠는 컴퓨터로 구현되는 전자기기의 디스플레이에 표시되는 것으로서, 전자적 촬상물, 필터 및 디자인적 요소를 갖는 컨텐츠를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램일 수 있다.In one embodiment, the content is displayed on a display of an electronic device embodied in a computer, the content including content having electronic images, filters and design elements. Lt; / RTI >
본 발명의 다른 실시예에 의하면, 컴퓨터로 구현되는 전자기기에서 사용자화면 인식을 통해 컨텐츠를 추천하는 시스템 있어서, 상기 전자기기의 카메라를 통해 사용자측 화면을 수신하는 사용자화면 수신부; 상기 사용자측 화면을 분석하여, 상기 사용자측 화면에 대응되는 감정 키워드를 결정하는 감정 키워드 결정부; 미리 저장된 데이터베이스 상에서 상기 감정 키워드를 메타 정보로 포함하는 컨텐츠를 추출하는 컨텐츠 추출부; 추출된 상기 컨텐츠를 상기 전자기기의 디스플레이상에 표시하는 컨텐츠 표시부; 및 사용자의 입력을 수신하여, 추천된 상기 컨텐츠 중에서 사용자측 화면에 부가될 부가컨텐츠를 최종 결정하는 부가컨텐츠 결정부를 포함하는 사용자화면 인식을 통해 컨텐츠를 추천하는 시스템을 제공한다.According to another embodiment of the present invention, there is provided a system for recommending contents through a user screen recognition in a computer-implemented electronic apparatus, the system comprising: a user screen receiving unit for receiving a user-side screen through a camera of the electronic apparatus; A emotion keyword determining unit for analyzing the user-side screen and determining a emotion keyword corresponding to the user-side screen; A content extracting unit for extracting contents including the emotion keyword as meta information on a pre-stored database; A content display unit for displaying the extracted content on a display of the electronic device; And an additional content determining unit for receiving the input of the user and finally determining the additional content to be added to the user-side screen from the recommended content.
일 실시예에 있어서, 상기 사용자측 화면에는 사용자의 표정에 관한 정보 및 사용자의 제스처에 관한 정보 중 어느 하나 이상이 포함되는 것을 특징으로 하는 사용자화면 인식을 통해 컨텐츠를 추천하는 시스템일 수 있다.In one embodiment, the user-side screen may include at least one of a user's facial expression information and a user's gesture information.
일 실시예에 있어서, 상기 컨텐츠는 컴퓨터로 구현되는 전자기기의 디스플레이에 표시되는 것으로서, 전자적 촬상물, 필터 및 디자인적 요소를 갖는 컨텐츠를 포함하는 것을 특징으로 하는 사용자화면 인식을 통해 컨텐츠를 추천하는 시스템일 수 있다.In one embodiment, the content is displayed on a display of a computer-implemented electronic device, and includes content having electronic images, filters, and design elements. System.
본 발명의 일 측면에 따르면, 사용자화면에 드러난 사용자의 얼굴, 제스쳐 등을 인식함으로써 이에 부합되는 컨텐츠가 자동으로 추천될 수 있다.According to an aspect of the present invention, a content corresponding to the user's face, a gesture, etc. can be automatically recommended.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.It should be understood that the effects of the present invention are not limited to the above effects and include all effects that can be deduced from the detailed description of the present invention or the configuration of the invention described in the claims.
도 1 은 사용자화면 인식을 통해 컨텐츠를 추천하는 방법의 실행주체들을 나타내는 시스템 구성도이다.
도 2 는 사용자화면 인식을 통해 컨텐츠를 추천하는 방법의 순서도이다.
도 3 은 사용자화면 인식을 통해 컨텐츠를 추천하는 방법의 순서도이다.
도 4 및 도 5 는 본 발명의 일 실시예에 의한 사용자화면 인식을 통해 컨텐츠를 추천하는 방법의 구동 화면을 나타낸다.FIG. 1 is a system configuration diagram showing an execution subject of a method for recommending contents through user screen recognition.
2 is a flowchart of a method of recommending contents through user screen recognition.
3 is a flowchart of a method of recommending contents through user screen recognition.
4 and 5 show a driving screen of a method for recommending contents through user screen recognition according to an embodiment of the present invention.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "indirectly connected" . Also, when an element is referred to as "comprising ", it means that it can include other elements, not excluding other elements unless specifically stated otherwise.
실시예들은 컴퓨터 시스템의 운영 체제 상에서 실행되는 응용 프로그램과 연계하여 실행되는 일반적인 상황의 프로그램 모듈로 설명될 것이지만, 당업자라면, 측면들은 또한 다른 프로그램 모듈과 연계하여 구현될 수 있음을 알 수 있을 것이다.Embodiments will be described as program modules in a general situation that are executed in conjunction with an application running on an operating system of a computer system, but those skilled in the art will recognize that aspects may also be implemented in conjunction with other program modules.
일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조, 및 다른 유형의 구조를 포함한다. 또한, 당업자라면, 실시예들은 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 또는 프로그램가능 소비자 전자기기, 미니컴퓨터, 메인프레임 컴퓨터, 및 이에 필적하는 컴퓨팅 디바이스를 포함하는 다른 컴퓨터 시스템 구성으로 실시될 수 있음을 알 것이다. 실시예 들은 또한 통신 네트워크를 통해 링크되는 원격 프로세싱 장치에 의해 태스크들이 수행되는 분산형 컴퓨팅 환경에서도 실시될 수 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 모두에 위치할 수 있다.Generally, program modules include routines, programs, components, data structures, and other types of structures that perform particular tasks or implement particular abstract data types. Those skilled in the art will also appreciate that embodiments may be practiced with other computer system configurations, including handheld devices, multiprocessor systems, microprocessor-based or programmable consumer electronics, minicomputers, mainframe computers, . Embodiments may also be implemented in a distributed computing environment where tasks are performed by a remote processing device that is linked through a communications network. In a distributed computing environment, program modules may be located in both local and remote memory storage devices.
실시예들은 컴퓨터 구현 프로세스(방법), 컴퓨팅 시스템, 또는 컴퓨터 프로그램 제품 또는 컴퓨터 판독가능 매체와 같은 제조 물품으로 구현될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 시스템에 의해 판독가능하고 컴퓨터 또는 컴퓨팅 시스템으로 하여금 예시적인 프로세스(들)를 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램을 인코딩하는 컴퓨터 저장 매체일 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 메모리 장치이다.Embodiments may be embodied in a computer-implemented process (method), a computing system, or an article of manufacture such as a computer program product or a computer-readable medium. The computer program product may be a computer storage medium readable by a computer system and encoding a computer program containing instructions for causing a computer or a computing system to perform the exemplary process (es). The computer readable storage medium is a computer readable memory device.
컴퓨터 판독가능 저장 매체는 예를 들어 휘발성 컴퓨터 메모리, 비휘발성 메모리, 하드 드라이브, 플래시 드라이브, 플로피 디스크 또는 콤팩트 디스크, 및 이에 필적하는 하드웨어 매체 중 하나 이상을 통해 구현될 수 있다.The computer-readable storage medium may be implemented, for example, via one or more of volatile computer memory, non-volatile memory, hard drive, flash drive, floppy disk or compact disk, and a comparable hardware medium.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1 은 사용자화면 인식을 통해 컨텐츠를 추천하는 방법의 실행주체들을 나타내는 시스템 구성도이다.FIG. 1 is a system configuration diagram showing an execution subject of a method for recommending contents through user screen recognition.
도 1 에서 나타내는 바와 같이, 사용자화면 인식을 통해 컨텐츠를 추천하는 방법은 컴퓨터로 구현되는 전자기기와 결합되어 실행될 수 있다.As shown in FIG. 1, a method for recommending contents through user screen recognition can be performed in combination with an electronic device implemented by a computer.
컴퓨터로 구현되는 전자기기는 네트워크를 통해 서버 (100) 에 접속할 수 있는 컴퓨팅 장치나 휴대용 단말기 또는 스마트 TV 등으로 구현될 수 있다.The electronic device implemented by a computer may be implemented as a computing device, a portable terminal, a smart TV, or the like, which can access the
서버 (100) 는 컴퓨팅 장치 (110), 휴대용 단말기 (120, 130, 140) 과 네트워크를 통해 통신하여, 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 또는 복수의 컴퓨터들로 구현될 수 있다.The
일례로, 서버 (100) 는 네트워크를 통해 접속한 전자기기인 컴퓨팅 장치 (110) 및/또는 휴대용 단말기 (120, 130, 140) 로 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우 컴퓨팅 장치 (110) 및/또는 휴대용 단말기 (120, 130, 140) 는 서버(100) 로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다. For example, the
또한 컴퓨팅 장치 (110) 및/또는 휴대용 단말기 (120, 130, 140) 가 포함하는 운영체제(Operating System, OS) 및 적어도 하나의 프로그램(일례로 브라우저나 상기 설치된 어플리케이션)의 제어에 따라 서버(100)에 접속하여 서버(100)가 제공하는 서비스 (일례로 인스턴트 메시징 서비스)나 컨텐츠를 제공받을 수 있다. The
예를 들어, 컴퓨팅 장치 (110) 및/또는 휴대용 단말기 (120, 130, 140) 의 어플리케이션의 제어에 따라 네트워크를 통해 서비스 요청 메시지를 서버 (100) 로 전송하면, 서버 (100) 는 서비스 요청 메시지에 대응하는 코드를 컴퓨팅 장치 (110) 및/또는 휴대용 단말기 (120, 130, 140) 로 전송할 수 있고, 컴퓨팅 장치 (110) 및/또는 휴대용 단말기 (120, 130, 140) 는 어플리케이션의 제어에 따라 코드에 따른 화면을 구성하여 표시함으로써 사용자에게 컨텐츠를 제공할 수 있다.For example, when the service request message is transmitted to the
여기서, 컴퓨팅 장치 (110) 는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함할 수 있다.Here, the
휴대용 단말기 (120, 130, 140) 는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.For example, the
그리고, 본 발명의 일 실시예에 의한 사용자화면 인식을 통해 컨텐츠를 추천하는 방법의 실행주체들은 네트워크를 통해 연결될 수 있다.Executers of the method for recommending contents through user screen recognition according to an embodiment of the present invention can be connected through a network.
네트워크는 유선 및 무선 등과 같은 그 네트워킹 양태를 가리지 않고 구성될 수 있다. 예를 들어, 근거리 통신망(LAN: Local Area Network), 도시권 통신망(MAN: Metropolitan Area Network), 광역 통신망(WAN: Wide Area Network) 등 다양한 통신망으로 구성될 수 있으며, 바람직하게 본 발명에서 말하는 통신망은 전 세계의 국가 간에 서로 연결된 인터넷으로 구성될 수 있다.The network may be configured without regard to its networking aspects, such as wired and wireless. For example, the communication network may be composed of various communication networks such as a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN) It can consist of the Internet connected with the countries of the world.
네트워크는 서버, 클라이언트, 인터넷 서비스 제공자, 및 통신 매체의 임의의 토폴로지를 포함할 수 있다. 본 발명에서 설명하는 실시예들에 따른 시스템은 정적 또는 동적 토폴로지를 가질 수 있다. 네트워크는 기업 네트워크와 같은 보안 네트워크, 무선 개방 네트워크와 같은 비보안 네트워크(unsecure network), 또는 인터넷을 포함할 수 있다. 네트워크는 또한 PSTN(Public Switched Telephone Network) 또는 셀룰러 네트워크와 같은 다른 네트워크를 통해 통신을 조정할 수도 있다. 또한, 네트워크는 블루투스 등과 같은 단거리 무선 네트워크를 포함할 수 있다. 네트워크는 본 명세서에 기술된 구성들 사이의 통신을 제공한다. 예컨대, 네트워크는 음향, RF, 적외선 및 기타 무선 매체와 같은 무선 매체를 포함할 수 있다.A network may include any topology of a server, a client, an Internet service provider, and a communications medium. A system according to embodiments described herein may have a static or dynamic topology. The network may include a secure network, such as a corporate network, an unsecure network, such as a wireless open network, or the Internet. The network may also coordinate communications over other networks, such as a Public Switched Telephone Network (PSTN) or a cellular network. The network may also include a short-range wireless network such as Bluetooth or the like. The network provides communication between the configurations described herein. For example, the network may include wireless media such as acoustic, RF, infrared and other wireless media.
도 2 는 사용자화면 인식을 통해 컨텐츠를 추천하는 방법의 순서도이다.2 is a flowchart of a method of recommending contents through user screen recognition.
도 2 에서 나타내는 바와 같이, 본 발명의 일 실시예에 의한 사용자화면 인식을 통해 컨텐츠를 추천하는 방법은, 사용자화면 수신 단계 (S100), 감정 키워드 결정 단계 (S200), 컨텐츠 추출 단계 (S300), 컨텐츠 표시 단계 (S400) 및 부가컨텐츠 결정 단계 (S500) 를 포함한다.As shown in FIG. 2, a method of recommending contents through user screen recognition according to an embodiment of the present invention includes a user screen receiving step S100, a feeling keyword determination step S200, a content extracting step S300, A content display step S400, and an additional content determination step S500.
사용자화면 수신 단계 (S100) 에서는 전자기기의 카메라를 통해 사용자측 화면이 수신될 수 있다.In the user screen receiving step (SlOO), the user side screen can be received through the camera of the electronic device.
여기서, 사용자측 화면에는 사용자의 표정에 관한 정보 및 사용자의 제스처에 관한 정보 중 어느 하나 이상이 포함될 수 있으나, 이에 한정하는 것은 아니다.Here, the user-side screen may include at least one of information on the user's facial expression and information on the gesture of the user, but the present invention is not limited thereto.
한편, 일 실시예에 의하면, 사용자의 입력을 수신하여, 특정 디자인적 요소를 갖는 컨텐츠를 선택받는 단계가 더 포함될 수 있으며, 이러한 컨텐츠는 디자인적 요소를 메타 정보로 포함할 수 있다.According to an embodiment of the present invention, a step of receiving a user input and selecting a content having a specific design element may be further included, and the content may include a design element as meta information.
따라서, 디자인적 요소를 메타 정보로 하여 목록화된 컨텐츠의 집단이 선택될 수 있다.Therefore, a group of contents can be selected as the meta information of the design element.
또한, 본 발명의 일 실시예에 따른 컨텐츠는 컴퓨터로 구현되는 전자기기의 디스플레이에 표시되는 것으로서, 전자적 촬상물, 필터 및 디자인적 요소를 갖는 화상 데이터일 수 있다.In addition, the contents according to an exemplary embodiment of the present invention may be image data having electronic images, filters, and design elements displayed on a display of a computer-implemented electronic device.
이 때, 사용자의 입력을 받는 장치는 카메라, 마이크, 터치 구동 스크린, 키보드, 마우스 및 이에 필적하는 것들을 포함하는 하드웨어일 수 있다.At this time, the device receiving the input of the user may be a hardware including a camera, a microphone, a touch-driven screen, a keyboard, a mouse, and the like.
사용자의 입력을 받는 장치는 데이터를 검색하기 위해 클라우드 호스트 플랫폼(cloud-hosted platform)과 같은 외부 리소스와 통신할 수 있다. 클라우드 호스트 플랫폼은 데이터 저장소 및 콘텐츠 서버를 포함하는 원격 리소스를 포함할 수 있다.A device receiving user input can communicate with external resources, such as a cloud-hosted platform, to retrieve data. The cloud host platform may include remote resources including a data store and a content server.
또한, 사용자의 입력을 받는 장치는 터치 구동 장치에 더하여, 광학 제스처 캡처, 자이로스코프 입력 장치, 마우스, 키보드, 안구 추적 입력, 및 이에 필적하는 소프트웨어 및/또는 하드웨어 기반 기술과 같은 다른 입력 메카니즘을 통해 달성될 수 있다.In addition to the touch-driven device, the device receiving the user's input may also be coupled to the touch-sensitive device via other input mechanisms such as optical gesture capture, gyroscopic input devices, a mouse, keyboard, eye tracking input, and software and / Can be achieved.
사용자의 입력 동작은 데이터상의 일부 영역을 클릭 (Click) 하거나 드래그 (Drag) 하는 것일 수 있고, 이러한 일부 영역은 단일 영역이거나, 복수개의 데이터 셀을 포함하는 영역일 수 있다.The input operation of the user may be to click or drag a part of the data, and this part of the area may be a single area or an area including a plurality of data cells.
감정 키워드 결정 단계 (S200) 에서는 사용자측 화면을 분석하여, 사용자측 화면에 대응되는 감정 키워드가 결정될 수 있다.In the emotion keyword determination step S200, the emotion keyword corresponding to the user-side screen may be determined by analyzing the user-side screen.
감정 키워드는 도 3 에서 나타내는 바와 같이, 화남, 무서움, 슬픔, 놀람, 웃음으로 구분될 수 있으나, 이에 한정하는 것은 아니다.As shown in FIG. 3, the emotion keyword can be classified into anger, fear, sadness, surprise, and laughter, but is not limited thereto.
컨텐츠 추출 단계 (S300) 에서는 미리 저장된 데이터베이스 상에서 감정 키워드를 메타 정보로 포함하는 컨텐츠가 추출될 수 있다.In the content extracting step (S300), contents including the emotion keyword as meta information may be extracted on a database stored in advance.
즉, 예를 들어 사용자측 화면을 분석한 결과 화남의 감정키워드가 결정되었다면, 데이터베이스에서 화남을 메타 데이터로 갖는 컨텐츠가 추출될 수 있다.That is, for example, if a user's emotional keyword is determined as a result of analyzing a screen on the user side, content having a meta data as a meta data may be extracted from the database.
다른 예로, 만약 사용자의 입력에 의해 특정 디자인적 요소를 메타 정보로 포함한 컨텐츠 집단이 미리 선택되었다면, 상기 집단 내에서 화남을 메타 데이터로 갖는 컨텐츠가 추출될 수 있다.As another example, if a content group including meta information of a specific design element is pre-selected by the user's input, the content having the meta data can be extracted from the group.
컨텐츠 표시 단계 (S400) 에서는 추출된 컨텐츠가 전자기기의 디스플레이상에 표시될 수 있다.In the content display step S400, the extracted content may be displayed on the display of the electronic device.
그리고, 부가컨텐츠 결정 단계 (S500) 에서는 사용자의 입력을 수신하여, 추천된 컨텐츠 중에서 사용자측 화면에 부가될 부가컨텐츠가 최종적으로 결정될 수 있다. In the additional content determination step (S500), the additional content to be added to the user-side screen among the recommended contents may be finally determined by receiving the user's input.
도 4 및 도 5 는 본 발명의 일 실시예에 의한 사용자화면 인식을 통해 컨텐츠를 추천하는 방법의 구동 화면을 나타낸다.4 and 5 show a driving screen of a method for recommending contents through user screen recognition according to an embodiment of the present invention.
도 4 에서 나타내는 바와 같이, 본 발명의 일 실시예에 의한 사용자화면 인식을 통해 컨텐츠를 추천하는 방법에 있어서, 사용자 기본 화면 (200) 상에는 카메라 플래시 작동 여부를 선택하는 플래시조절부 (210), 최종 생성된 컨텐츠의 포스팅 여부를 결정하는 포스팅여부 결정부 (220), 사용자측 화면과 사용자의 반대쪽 화면을 전환할 수 있는 화면 전환부 (230), 사진 촬영을 실행하는 촬영부 (240), 1차 전자적 촬상물상에 적용될 특정 디자인의 화상 스티커 등을 선택할 수 있는 제 1 부가컨텐츠 선택부 (250), 사용자의 감정을 표현할 수 있는 화상 스티커 등을 선택할 수 있는 제 2 부가컨텐츠 선택부 (260), 사용자 기본 화면 (200) 의 배경을 선택할 수 있는 배경 선택부 (270) 및 사용자의 사용내역을 히스토리 형태로 표시하고 표시된 썸네일 중에서 특정 썸네일을 사용자로 하여금 선택할 수 있도록 하는 히스토리 선택부 (280) 를 포함될 수 있다.As shown in FIG. 4, in the method for recommending contents through user screen recognition according to an embodiment of the present invention, a
도 5 에서 나타내는 바와 같이, 본 발명의 일 실시예에 의한 사용자화면 인식을 통해 컨텐츠를 추천하는 방법에 있어서, 컨텐츠 컬렉션 표시화면 (300) 상에는 스티커 표시부 (310) 및 필터 표시부 (320) 가 포함될 수 있다.5, in the method of recommending contents through user screen recognition according to an embodiment of the present invention, a
또한 일 실시예에 의하면, 특정 감정 패키지 (311) 내에 복수의 스티커 모음 (311a, 311b, 311c) 이 포함될 수 있다.According to an embodiment, a plurality of
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included within the scope of the present invention.
S100 : 사용자화면 수신 단계
S200 : 감정 키워드 결정 단계
S300 : 컨텐츠 추출 단계
S400 : 컨텐츠 표시 단계
S500 : 부가컨텐츠 결정 단계S100: User screen receiving step
S200: Emotion keyword determination step
S300: Content extraction step
S400: Content display step
S500: additional content determination step
Claims (7)
상기 사용자화면 인식을 통해 컨텐츠를 추천하는 방법은,
(a) 상기 전자기기의 카메라를 통해 사용자측 화면을 수신하는 사용자화면 수신 단계;
(b) 상기 사용자측 화면을 분석하여, 상기 사용자측 화면에 대응되는 감정 키워드를 결정하는 감정 키워드 결정 단계;
(c) 미리 저장된 데이터베이스 상에서 상기 감정 키워드를 메타 정보로 포함하는 컨텐츠를 추출하는 컨텐츠 추출 단계;
(d) 추출된 상기 컨텐츠를 상기 전자기기의 디스플레이상에 표시하는 컨텐츠 표시 단계; 및
(e) 사용자의 입력을 수신하여, 추천된 상기 컨텐츠 중에서 사용자측 화면에 부가될 부가컨텐츠를 최종 결정하는 부가컨텐츠 결정 단계를 포함하는 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.A computer program stored in a computer-readable recording medium for executing a method for recommending content through user screen recognition in combination with an electronic device implemented by a computer,
The method of recommending content through user screen recognition comprises:
(a) a user screen receiving step of receiving a user-side screen through a camera of the electronic device;
(b) analyzing the user-side screen to determine the emotion keyword corresponding to the user-side screen;
(c) extracting a content including the emotion keyword as meta information on a pre-stored database;
(d) displaying the extracted content on a display of the electronic device; And
(e) a supplemental content determination step of receiving input of a user and finally determining additional content to be added to the user-side screen from the recommended content.
상기 사용자측 화면에는 사용자의 표정에 관한 정보 및 사용자의 제스처에 관한 정보 중 어느 하나 이상이 포함되는 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.The method according to claim 1,
Wherein the user-side screen includes at least one of information on a user's facial expression and information on a gesture of the user.
상기 (a) 단계와 상기 (b) 단계 사이에,
사용자의 입력을 수신하여,
특정 디자인적 요소를 갖는 컨텐츠를 선택받는 단계를 더 포함하고,
상기 컨텐츠는 디자인적 요소를 메타 정보로 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.The method according to claim 1,
Between the step (a) and the step (b)
Upon receipt of the user's input,
Further comprising receiving content having a specific design element,
Wherein the content comprises design elements as meta information. ≪ RTI ID = 0.0 > 31. < / RTI >
상기 컨텐츠는 컴퓨터로 구현되는 전자기기의 디스플레이에 표시되는 것으로서,
전자적 촬상물, 필터 및 디자인적 요소를 갖는 컨텐츠를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.The method according to claim 1,
The content is displayed on a display of an electronic device implemented by a computer,
A computer-readable storage medium having stored thereon an electronic image, a filter, and content having design elements.
상기 전자기기의 카메라를 통해 사용자측 화면을 수신하는 사용자화면 수신부;
상기 사용자측 화면을 분석하여, 상기 사용자측 화면에 대응되는 감정 키워드를 결정하는 감정 키워드 결정부;
미리 저장된 데이터베이스 상에서 상기 감정 키워드를 메타 정보로 포함하는 컨텐츠를 추출하는 컨텐츠 추출부;
추출된 상기 컨텐츠를 상기 전자기기의 디스플레이상에 표시하는 컨텐츠 표시부; 및
사용자의 입력을 수신하여, 추천된 상기 컨텐츠 중에서 사용자측 화면에 부가될 부가컨텐츠를 최종 결정하는 부가컨텐츠 결정부를 포함하는 사용자화면 인식을 통해 컨텐츠를 추천하는 시스템.A system for recommending contents through a user screen recognition in an electronic device implemented by a computer,
A user screen receiving unit for receiving a user side screen through a camera of the electronic device;
A emotion keyword determining unit for analyzing the user-side screen and determining a emotion keyword corresponding to the user-side screen;
A content extracting unit for extracting contents including the emotion keyword as meta information on a pre-stored database;
A content display unit for displaying the extracted content on a display of the electronic device; And
And a supplementary content determining unit for determining a supplementary content to be added to the user-side screen from the recommended content by receiving a user's input.
상기 사용자측 화면에는 사용자의 표정에 관한 정보 및 사용자의 제스처에 관한 정보 중 어느 하나 이상이 포함되는 것을 특징으로 하는 사용자화면 인식을 통해 컨텐츠를 추천하는 시스템.6. The method of claim 5,
Wherein the user side screen includes at least one of information on a user's facial expression and information on a gesture of a user.
상기 컨텐츠는 컴퓨터로 구현되는 전자기기의 디스플레이에 표시되는 것으로서,
전자적 촬상물, 필터 및 디자인적 요소를 갖는 컨텐츠를 포함하는 것을 특징으로 하는 사용자화면 인식을 통해 컨텐츠를 추천하는 시스템.6. The method of claim 5,
The content is displayed on a display of an electronic device implemented by a computer,
An electronic image, an electronic image, a filter, and a design element.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170164421A KR20190065013A (en) | 2017-12-01 | 2017-12-01 | Method and application for recommending content through user recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170164421A KR20190065013A (en) | 2017-12-01 | 2017-12-01 | Method and application for recommending content through user recognition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190065013A true KR20190065013A (en) | 2019-06-11 |
Family
ID=66847082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170164421A KR20190065013A (en) | 2017-12-01 | 2017-12-01 | Method and application for recommending content through user recognition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20190065013A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102269061B1 (en) | 2021-02-03 | 2021-06-24 | 주식회사 문토 | System for recommending providing integrated contents using usage information recognition of applications |
| KR20210086835A (en) | 2019-12-30 | 2021-07-09 | 동국대학교 산학협력단 | Contents recommendation method based on user's emotional state acquired by brainwave analyses |
| US12019792B2 (en) | 2021-03-15 | 2024-06-25 | Samsung Electronics Co., Ltd. | Electronic device for providing alternative content and operating method thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101764998B1 (en) | 2016-02-16 | 2017-08-23 | 라인 가부시키가이샤 | Method and system for filtering image |
-
2017
- 2017-12-01 KR KR1020170164421A patent/KR20190065013A/en not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101764998B1 (en) | 2016-02-16 | 2017-08-23 | 라인 가부시키가이샤 | Method and system for filtering image |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210086835A (en) | 2019-12-30 | 2021-07-09 | 동국대학교 산학협력단 | Contents recommendation method based on user's emotional state acquired by brainwave analyses |
| KR102269061B1 (en) | 2021-02-03 | 2021-06-24 | 주식회사 문토 | System for recommending providing integrated contents using usage information recognition of applications |
| US12019792B2 (en) | 2021-03-15 | 2024-06-25 | Samsung Electronics Co., Ltd. | Electronic device for providing alternative content and operating method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11644953B2 (en) | Techniques for context sensitive illustrated graphical user interface elements | |
| US10762299B1 (en) | Conversational understanding | |
| AU2017232108B9 (en) | Object based contextual menu controls | |
| US10558749B2 (en) | Text prediction using captured image from an image capture device | |
| CN110431514B (en) | System and method for context driven intelligence | |
| US20170272821A1 (en) | Method and system for recording video directly into an html framework | |
| US10621190B2 (en) | Search using drag and drop of assets into a search bar | |
| US20220101161A1 (en) | Probabilistic methods and systems for resolving anonymous user identities based on artificial intelligence | |
| US9032316B1 (en) | Value-based presentation of user-selectable computing actions | |
| CN105045800A (en) | Information search system and method | |
| US20170090705A1 (en) | Conversation and version control for objects in communications | |
| US20150205490A1 (en) | Content selection mechanisms | |
| CN103562908A (en) | File access with different file hosts | |
| JP7393487B2 (en) | Method and system for recommending profile pictures and non-transitory computer-readable storage medium | |
| KR20150106479A (en) | Contents sharing service system, apparatus for contents sharing and contents sharing service providing method thereof | |
| US9438687B2 (en) | Employing presence information in notebook application | |
| KR20190065013A (en) | Method and application for recommending content through user recognition | |
| CN109791545A (en) | The contextual information of resource for the display including image | |
| US11182959B1 (en) | Method and system for providing web content in virtual reality environment | |
| CN109313662B (en) | Deconstruction and presentation of web pages into a native application experience | |
| US10474428B2 (en) | Sorting parsed attachments from communications | |
| KR20200076273A (en) | Method and system for managing image based on interworking face image and messenger account | |
| US10602332B2 (en) | Programming organizational links that propagate to mobile applications | |
| US11531672B1 (en) | Computerized system and method for electronically synchronizing work station sessions over a network | |
| KR102084597B1 (en) | Executing apparatus and method of messenger application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |