KR20140107253A - 관련 콘텐츠를 관찰하기 위한 제스처 기반 태깅 기법 - Google Patents

관련 콘텐츠를 관찰하기 위한 제스처 기반 태깅 기법 Download PDF

Info

Publication number
KR20140107253A
KR20140107253A KR1020147016033A KR20147016033A KR20140107253A KR 20140107253 A KR20140107253 A KR 20140107253A KR 1020147016033 A KR1020147016033 A KR 1020147016033A KR 20147016033 A KR20147016033 A KR 20147016033A KR 20140107253 A KR20140107253 A KR 20140107253A
Authority
KR
South Korea
Prior art keywords
item
user
content
data
tagging
Prior art date
Application number
KR1020147016033A
Other languages
English (en)
Other versions
KR102033189B1 (ko
Inventor
은 형 김
닐 오소티오
존 씨 와이스
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20140107253A publication Critical patent/KR20140107253A/ko
Application granted granted Critical
Publication of KR102033189B1 publication Critical patent/KR102033189B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

사용자가 미디어 콘텐츠 내의 아이템과 관련된 콘텐츠를 보는 것을 가능하게 하기 위한 컴퓨터 판독 가능 매체, 컴퓨터 시스템 및 컴퓨팅 장치가 제공된다. 일 실시예에서, 사용자에게 표시된 미디어 콘텐츠 내에 제공된 아이템에 대한 사용자 관심을 지시하는 태깅 제스처가 검출된다. 그러한 태깅 제스처는 아이템을 갖는 표시된 콘텐츠의 영역을 정의할 수 있다. 태깅 제스처의 검출에 응답하여, 아이템과 관련된 제삼자에 의해 제공되는 광고가 제공된다.

Description

관련 콘텐츠를 관찰하기 위한 제스처 기반 태깅 기법{GESTURE-BASED TAGGING TO VIEW RELATED CONTENT}
사용자에게 제공되는 미디어 콘텐츠 내에 표시되는 아이템과 관련된 콘텐츠를 발견하기 위하여, 사용자는 종종 검색 서비스를 이용한다. 예시적인 인터넷 검색 엔진들이 이 분야에 공지되어 있으며, 예를 들어 널리 알려진 상용 엔진은 워싱턴 레드먼드의 마이크로소프트사에 의해 제공되는 BING 검색 엔진이다. 일반적으로, 사용자가 표시된 미디어 콘텐츠 내에서 관심 있는 아이템을 볼 때, 사용자는 임의의 관련 콘텐츠를 식별하기 위해 먼저 웹 브라우저를 열고, 특정 검색 서비스와 관련된 홈페이지로 내비게이션한다. 이어서, 사용자는 검색 질의를 입력하여, 예를 들어 검색 서비스에 의해 제공되는 검색 박스를 통해 원하는 검색 결과들을 얻을 수 있다. 그러한 검색 프로세스는 시간 소모적이고 비효율적일 수 있다.
본 요약은 미디어 콘텐츠 내의 관심 있는 아이템과 관련된 콘텐츠를 관찰하기 위한 제스처 기반 태깅의 개념들을 소개하며, 이는 아래의 상세한 설명에서 더 설명된다. 본 요약은 청구 발명의 필수적인 특징들을 식별하는 것을 의도하지 않으며, 청구 발명의 범위를 한정하는 데 사용하는 것도 의도하지 않는다.
본원은 미디어 콘텐츠 내에 제공되는 아이템과 관련된 콘텐츠의 관찰을 용이하게 하는 실시예들을 설명한다. 일 실시예에서, 사용자는 태깅될 수 있는 아이템들을 갖는 미디어 콘텐츠를 볼 수 있다. 따라서, 사용자 장치와 관련된 디스플레이 스크린은 비디오와 같은 소정의 미디어 콘텐츠를 표시할 수 있다. 사용자는 제스처를 이용하여 그가 미디어 콘텐츠의 특정 아이템에 관심이 있다는 지시를 제공할 수 있다. 아이템에 대한 관심의 지시에 응답하여, 아이템과 관련된 콘텐츠가 사용자에게 제공될 수 있으며, 따라서 사용자는 그러한 관련 콘텐츠(예로서, 광고, 거래, 아이템 정보, 제안 또는 추천 등)를 쉽게 볼 수 있다. 일부 구현들에서, 특정 아이템과 관련된 콘텐츠는 아이템 및/또는 사용자 데이터의 상황에 따라 선택된다.
본 발명의 실시예들은 아래에서 첨부 도면들을 참조하여 상세히 설명된다. 도면들에서:
도 1은 본 발명의 실시예들을 구현하기에 적합한 예시적인 컴퓨팅 장치의 블록도이다.
도 2는 제스처 기반 태그들을 구현하는 데 사용될 수 있는 사용자 장치를 포함하는 예시적인 환경의 개략도이다.
도 3은 사용자 장치의 디스플레이 상에 제공되는 예시적인 콘텐츠의 개략도이다.
도 4는 본 발명의 실시예들에 따른, 미디어 콘텐츠 내의 특정 아이템에 대한 사용자 포커스를 나타내는 개략도이다.
도 5는 본 발명의 일 실시예에 따른 제스처 기반 태깅의 예시적인 프로세스의 개략도이다.
도 6은 본 발명의 실시예들에 따른 아이템과 연계하여 제공되는 아이템과 관련된 콘텐츠의 개략도이다.
도 7은 본 발명의 일 실시예에 따른 아이템 액션의 예시적인 사용자 선택의 개략도이다.
도 8은 본 발명의 실시예들에 따른 나중에 볼 수 있는 예시적인 광고의 개략도이다.
도 9는 본 발명의 실시예들에 따른 아이템과 연계하여 제공되는 다른 엔티티에 의해 태깅된 아이템과 관련된 콘텐츠의 개략도이다.
도 10은 본 발명의 일 실시예에 따른 태깅 인에이블드 콘텐츠를 생성하는 예시적인 방법을 나타낸다.
도 11은 본 발명의 일 실시예에 따른 아이템을 태깅하는 예시적인 방법을 나타낸다.
도 12는 본 발명의 일 실시예에 따른 제스처 기반 태깅을 이용하여 아이템과 관련된 콘텐츠를 보는 예시적인 방법을 나타낸다.
도 13은 본 발명의 일 실시예에 따른 제스처 기반 태깅을 이용하여 아이템과 관련된 콘텐츠를 식별하는 예시적인 방법을 나타낸다.
도 14는 본 발명의 일 실시예에 따른 제삼자가 아이템 태깅을 개시하여 다른 당사자가 아이템과 관련된 콘텐츠를 볼 수 있게 하는 예시적인 방법을 나타낸다.
도 15는 본 발명의 일 실시예에 따른 제삼자 태깅을 이용하여 아이템과 관련된 콘텐츠를 다른 당사자에게 제공하는 예시적인 방법을 나타낸다.
도 16은 본 발명의 일 실시예에 따른 제삼자 태깅을 이용하여 사용자 장치 상에서 관련 콘텐츠를 보는 예시적인 방법을 나타낸다.
개요
통상적으로, 사용자가 그가 보고 있는 미디어 콘텐츠 내의 아이템과 관련된 소정의 정보를 검색하기를 원하는 경우, 사용자는 웹 브라우저를 열고 검색 서비스에 접속한다. 사용자는 검색 질의를 입력함으로써 검색 엔진에 질의할 수 있다. 그러한 검색 질의는 웹 브라우저 및/또는 웹페이지와 통합되거나 웹 브라우저와 함께 툴바로서 실행되는 검색 박스를 통해, 또는 웹 브라우저를 검색 완료를 위한 플랫폼으로 사용하는 개별 애플리케이션을 통해 입력될 수 있다. 어느 경우에나, 사용자는 검색 질의를 타이핑하거나 잘라서 붙임으로써 검색 질의를 수동으로 입력한다. 다른 기존의 기술들은 사용자로 하여금, 이용 가능한 경우에, 사용자 장치의 음성 인식 기능을 활성화하여, 사용자 장치 또는 검색 서비스의 검색 애플리케이션에 의해 텍스트로 변환되는 음성 명령들 및/또는 음성 입력들을 입력함으로써 검색 질의를 입력하는 것을 가능하게 할 수 있다.
검색 질의의 수신에 응답하여, 검색 서비스는 결과 페이지 상에서 사용자에게 검색 결과들을 반환 및 제공할 수 있다. 사용자가 검색을 변경하기를 원하는 경우, 사용자는 변경된 검색 질의를 텍스트 박스 내에 입력하고, 변경된 검색 질의를 검색 엔진에 제출할 수 있으며, 이어서 검색 엔진은 새로운 검색 결과들을 사용자에게 반환한다. 사용자가 원하는 정보를 발견하면, 사용자는 검색 서비스를 벗어나서, 그가 처음에 보고 있던 미디어 콘텐츠를 보기 위해 복귀한다. 사용자가 검색 결과들을 참조하거나 다른 검색을 수행하는 것이 필요한 경우, 사용자는 미디어 콘텐츠의 관찰과 검색의 수행 사이에서 왔다갔다하여, 보고 있는 미디어 콘텐츠와 관련된 콘텐츠를 식별해야 하며, 따라서 사용자의 미디어 콘텐츠 관찰이 방해된다.
사용자에 의해 사용되는 장치가 다수의 애플리케이션을 동시에 실행하는 제한된 능력을 갖거나 그러한 능력을 갖지 않는 경우에 상황은 더 악화된다. 이러한 문제들은 종종 사용자가 미디어 콘텐츠를 보는 동시에 인터넷 검색을 수행하는 것을 허락하지 않는 이동 장치들에서 특히 치명적이다.
예를 들어, 사용자는 그가 관심을 갖고 있는 특정 모자를 갖는 비디오를 시청하고 있을 수 있다. 그러나, 사용자는 모자의 브랜드 또는 모자를 구매하기 위한 장소를 알지 못할 수 있으며, 따라서 인터넷을 통해 모자를 검색할 수 있다. 사용자는 예를 들어 웹 브라우저를 열고, 검색 엔진에 의해 호스트되는 웹페이지로 가고, 모자에 대한 정보(예로서, 모자를 쓰고 있는 배우, 모자가 제공된 비디오의 제목, 모자의 컬러, 모자의 스타일 등)를 포함하는 질의를 웹페이지에 의해 제공되는 검색 박스 내에 입력하고, 질의를 검색 엔진에 제출할 수 있다. 대안으로서, 사용자는 음성 명령들 및/또는 음성 입력들을 통해 적절한 모자 정보를 검색 애플리케이션에 입력할 수 있다. 그러나, 이동 장치의 디스플레이가 작고, 물리 키보드 및/또는 음성 인식 능력이 없는 경우, 사용자는 이러한 검색 프로세스를 수행하는 것이 어렵다고 느낄 수 있다. 이러한 상황은 모자와 관련된 상세들이 알려지지 않은 경우에 더 악화될 수 있다. 그러한 경우에, 사용자는 모자 제조자와 같은 상세들을 추측할 수 있고, 따라서 부정확한 정보를 얻을 수 있다. 대안으로서, 사용자는 모자의 제조자와 같은 모자에 관한 원하는 정보를 얻기 위해 다양한 검색을 수행하는 것이 필요할 수 있다.
다른 예에서, 사용자는 사용자가 관심을 갖고 있는 아이템을 포함하는 미디어 콘텐츠를 보고 있을 수 있다. 사용자는 아이템에 대한 검색을 수행하기를 원할 수 있다. 검색을 수행하기 위해, 사용자는 전술한 검색 프로세스와 유사하게 아이템을 설명하는 방법을 알고, 이미지의 텍스트 설명을 검색 엔진에 제공하는 것이 필요할 수 있다. 대안으로서, 사용자는 먼저 유사한 이미지를 발견하고 유사한 이미지를 장치의 로컬 메모리에 저장한 후에, 콘텐츠 기반 이미지 검색을 허가하는 검색 엔진에 유사한 이미지를 업로드할 수 있다. 그러나, 두 경우에, 사용자는 검색을 수행하기 위해 다수의 단계를 통과하는 것이 필요하다.
본 명세서는 사용자가 아이템과 관련된 콘텐츠를 볼 수 있게 하기 위한 미디어 콘텐츠 내의 아이템들의 제스처 기반 태깅을 설명한다. 이러한 제스처 기반 태깅은 사용자로 하여금 사용자에 의해 제공되는 제스처에 응답하여 사용자가 보고 있는 미디어 콘텐츠 내에 제공되는 관심 있는 아이템과 관련된 콘텐츠(즉, 데이터 또는 정보)를 보는 것을 가능하게 한다. 일반적으로, 사용자 장치는 디스플레이 스크린을 통해 사용자에게 미디어 콘텐츠를 표시한다. 이러한 미디어 콘텐츠는 사용자 장치를 통해 제공될 수 있는 임의의 미디어 콘텐츠일 수 있다. 예를 들어, 사용자 장치는 사용자에게 비디오 및/또는 오디오를 플레이할 수 있다. 이어서, 사용자 장치는 사용자로부터 특정 아이템과 관련된 콘텐츠를 보기 위한 의도를 지시하는 제스처를 검출할 수 있다. 일부 예들에서, 사용자 장치는 사용자로부터 디스플레이 상에 표시된 콘텐츠 내의 아이템을 정의하거나 지정하는 제스처를 검출할 수 있다. 제스처는 사용자 장치의 터치스크린 또는 터치 패드로의 터치 입력, 사용자 장치의 이미지 캡처 장치에 의해 검출된 신체 움직임 및/또는 마우스 또는 다른 사용자 입력 장치에 의해 수집된 커서의 움직임을 포함할 수 있지만 이에 한정되지 않는다. 일부 예들에서, 제스처는 아이템을 갖는 콘텐츠의 영역을 정의함으로써 아이템을 지정할 수 있다. 예를 들어, 제스처에 의해 정의되는 콘텐츠의 영역은 제스처(예로서, 대체로 원형인 제스처)에 의해 실질적으로 한정되는 아이템을 갖는 영역, 제스처에 의해 터치 또는 오버랩되는 아이템을 갖는 영역 등일 수 있다. 다른 예에서, 제스처는 아이템을 선택함으로써(예로서, 커서 또는 선택기가 아이템 위를 호버링하고/하거나 아이템을 선택함으로써) 아이템을 지정할 수 있다.
추가로 또는 대안으로서, 제스처는 사용자 장치 자체의 움직임을 포함할 수 있다. 사용자 장치의 움직임은 예를 들어 가속도계, 자세 센서, 컴퍼스 등에 의해 검출될 수 있다. 사용자 장치의 움직임은 사용자 장치에 의해 표시되는 아이템과 관련된 콘텐츠를 보기 위한 사용자의 의도를 지시할 수 있으며, 예를 들어 특정 아이템과 관련된 정보에 대한 검색을 유발할 수 있다.
일부 실시예들에서, 사용자 장치는 표시된 콘텐츠 상의 제스처에 의해 정의되는 콘텐츠의 영역의 표현을 표시하여, 사용자에게 제스처의 크기 및 형상의 시각적 피드백을 제공할 수 있다. 콘텐츠의 영역의 표현은 예를 들어 콘텐츠의 영역을 둘러싸는 라인, 콘텐츠의 영역의 하이라이팅 뷰 및/또는 콘텐츠의 영역의 확대 렌즈 뷰를 포함할 수 있다. 일부 예들에서, 아이템을 갖는 콘텐츠의 영역은 제스처에 의해 정의되는 텍스트 정보, 그림 정보, 이미지 정보, 오디오 정보 및/또는 비디오 정보를 포함할 수 있다.
제스처의 완료에 응답하여, 사용자 장치는 관심 있는 아이템과 관련된 태그-아이템 데이터를 인식할 수 있으며, 예를 들어 태그-아이템 데이터에 기초하여, 태깅된 아이템과 관련된 콘텐츠에 대한 검색이 수행되게 할 수 있다. 일부 실시예들에서, 상황 데이터 및/또는 사용자 데이터를 이용하여, 태깅된 아이템과 관련된 콘텐츠를 검색할 수 있다. 예를 들어, 사용자 데이터 및/또는 상황 데이터를 참조 또는 식별하여, 관련 콘텐츠에 대한 검색을 형성하거나, 정밀화하거나, 생성하거나, 변경하거나, 향상시킬 수 있다.
본 명세서에서 설명되는 제스처 기반 태깅 기술들은 사용자가 예를 들어 미디어 콘텐츠 내의 관심 있는 아이템을 정의, 지정 또는 지시하는 제스처를 간단히 입력함으로써 미디어 콘텐츠 내에 제공된 아이템과 관련된 콘텐츠를 중단 없이 보는 것을 가능하게 한다. 이와 관련하여, 사용자는 웹 브라우저를 열고, 검색 엔진에 의해 호스트되는 웹페이지로 내비게이션하고, 예를 들어 타이핑 또는 음성 입력에 의해 검색 질의를 수동으로 입력하지 않고도, 관심 있는 아이템과 관련된 정보를 볼 수 있으며, 따라서 사용자의 검색 및/또는 미디어 관찰 경험이 향상된다. 따라서, 본 명세서에서 설명되는 제스처 기반 태깅 기술들은 사용자가 미디어 콘텐츠를 보고 있는 동안에 정보 검색을 개시하는 프로세스를 능률화 및 간소화하며, 따라서 사용자의 생산성을 향상시킨다.
본 명세서에서 설명되는 본 발명의 실시예들은 미디어 콘텐츠 내의 아이템들과 관련된 콘텐츠의 관찰을 용이하게 하는 컴퓨터 구현 방법을 포함한다. 방법은 컴퓨터 실행 가능 명령어들을 이용하여 구성되는 하나 이상의 프로세서의 제어하에 사용자에게 표시된 미디어 콘텐츠 내에 제공된 아이템에 대한 사용자 관심을 지시하는 태깅 제스처를 검출하는 단계를 포함한다. 태깅 제스처는 아이템을 갖는 표시된 콘텐츠의 영역을 정의한다. 태깅 제스처의 검출에 응답하여, 아이템과 관련된 제삼자에 의해 제공된 광고가 제공된다.
제2 실시예에서, 프로세서에 의해 실행될 때, 액트들을 수행하도록 프로세서를 구성하는 명령어들을 저장하는 하나 이상의 컴퓨터 판독 가능 매체가 제공된다. 액트들은 표시된 미디어 콘텐츠 내에 제공된 아이템을 지시하는 태깅 제스처를 검출하는 액트를 포함한다. 태깅 제스처에 의해 지시된 아이템과 관련된 태그-아이템 데이터가 식별된다. 식별된 태그-아이템 데이터와, 사용자 데이터 및 상황-아이템 데이터 중 적어도 하나를 이용하여 수행될 검색이 개시된다. 태그-아이템 데이터와, 사용자 데이터 및 상황-아이템 데이터 중 적어도 하나에 기초하는 아이템과 관련된 콘텐츠가 수신된다. 관련 콘텐츠가 아이템과 연계하여 제공된다.
제3 실시예에서, 클라이언트 장치는 프로세서, 프로세서와 통신가능하게 결합된 메모리, 및 사용자에게 미디어 콘텐츠를 표시하도록 구성된 디스플레이 스크린을 포함한다. 디스플레이 스크린은 원격 사용자 장치와 관련된 다른 사용자가 사용자에게 표시되고 있는 동일 미디어 콘텐츠 내에 제공된 아이템에 대한 관심을 나타냈다는 지시를 표시한다. 그러한 지시는 미디어 콘텐츠가 사용자에 의해 관찰될 때 표시된다.
다수의 그리고 다양한 구현들 및 실시예들이 아래에 설명된다. 아래의 섹션은 제스처 기반 태깅을 구현하는 데 적합한 예시적인 환경을 설명한다. 아래의 섹션들은 제스처 기반 태깅 기술들의 예시적인 양태들을 설명한다.
예시적인 아키텍처
본 발명의 실시예들의 다양한 양태들은 컴퓨터 또는 다른 기계, 예를 들어 개인 휴대 단말기 또는 다른 핸드헬드 장치에 의해 실행되는 프로그램 모듈들과 같은 컴퓨터 실행 가능 명령어들을 포함하는 컴퓨터 코드 또는 기계 사용 가능 명령어들을 포함하는 컴퓨터 프로그램 제품들과 일반적으로 관련하여 설명될 수 있다. 일반적으로, 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함하는 프로그램 모듈들은 특정 작업들을 수행하거나 특정 추상 데이터 타입들을 구현하는 코드를 지칭한다. 본 발명의 실시예들은 전용 서버, 범용 컴퓨터, 랩탑, 더 특수한 컴퓨팅 장치 등을 포함하는 다양한 시스템 구성들에서 실시될 수 있다. 본 발명은 통신 네트워크를 통해 링크되는 원격 처리 장치들에 의해 작업들이 수행되는 분산 컴퓨팅 환경들에서도 실시될 수 있다.
컴퓨터 판독 가능 매체들은 휘발성 및 비휘발성 매체들, 이동식 및 비이동식 매체들 모두를 포함하며, 데이터베이스, 프로세서 및 다양한 다른 네트워킹된 컴퓨팅 장치들에 의해 판독 가능한 매체들을 고려한다. 한정이 아니라 예로서, 컴퓨터 판독 가능 매체들은 정보를 저장하기 위한 임의의 방법 또는 기술에서 구현되는 매체들을 포함한다. 저장되는 정보의 예들은 컴퓨터 실행 가능 명령어들, 데이터 구조들, 프로그램 모듈들 및 다른 데이터 표현들을 포함한다. 매체 예들은 RAM, ROM, EEPROM, 플래시 메모리 및 기타 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD), 홀로그래픽 매체 및 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 및 기타 자기 저장 장치들을 포함하지만 이에 한정되지 않는다. 이러한 기술들은 데이터를 순간적으로, 일시적으로 또는 영구적으로 저장할 수 있다.
본 발명의 다양한 양태들에 대한 일반적인 상황을 제공하기 위해 본 발명의 다양한 양태들이 구현될 수 있는 예시적인 동작 환경이 아래에 설명된다. 먼저, 도 1을 참조하면, 본 발명의 실시예들을 구현하기 위한 예시적인 동작 환경이 도시되며, 일반적으로 컴퓨팅 장치(100)로서 지시된다. 컴퓨팅 장치(100)는 적절한 컴퓨팅 환경의 일례일 뿐이며, 본 발명의 이용 또는 기능의 범위에 대한 어떠한 한정도 시사하는 것을 의도하지 않는다. 또한, 컴퓨팅 장치(100)는 도시된 컴포넌트들 중 임의의 하나 또는 조합에 관한 어떠한 종속성 또는 요구도 갖지 않는 것으로 해석되어야 한다.
컴퓨팅 장치(100)는 다음 장치들, 즉 메모리(112), 하나 이상의 프로세서(114), 하나 이상의 프레젠테이션 컴포넌트(116), 입출력(I/O) 포트(118), 입출력 컴포넌트(120) 및 예시적인 전원(122)을 직접 또는 간접적으로 결합하는 버스(110)를 포함한다. 버스(110)는 (어드레스 버스, 데이터 버스 또는 이들의 조합과 같은) 하나 이상의 버스일 수 있는 것을 나타낸다. 도 1의 다양한 블록들은 명료화를 위해 라인들로 표시되지만, 실제로는 다양한 컴포넌트들의 묘사는 그렇게 명확하지 않으며, 은유적으로 그러한 라인들은 더 정확하게는 흐리거나 희미할 것이다. 예를 들어, 디스플레이 장치와 같은 프레젠테이션 컴포넌트는 I/O 컴포넌트로서 간주될 수 있다. 또한, 프로세서들은 메모리를 갖는다. 본 발명자들은 그러한 것이 기술의 본질임을 인식하며, 도 1의 도면은 본 발명의 하나 이상의 실시예와 관련하여 사용될 수 있는 예시적인 컴퓨팅 장치를 나타낼 뿐이라는 것을 되풀이한다. "워크스테이션", "서버", "랩탑", "핸드헬드 장치", "태블릿" 등과 같은 카테고리들 사이에는 구별이 이루어지지 않는데, 이는 이들 모두가 도 1의 범위 내에서 고려되고, "컴퓨팅 장치"를 지칭하기 때문이다.
메모리(112)는 휘발성 및/또는 비휘발성 메모리에 저장된 컴퓨터 실행 가능 명령어들(도시되지 않음)을 포함한다. 메모리는 이동식, 비이동식 또는 이들의 조합일 수 있다. 예시적인 하드웨어 장치들은 반도체 메모리, 하드 드라이브, 광 디스크 드라이브 등을 포함한다. 메모리(112)는 컴퓨터 판독 가능 매체의 일례이다. 컴퓨터 판독 가능 매체는 적어도 두 가지 타입의 컴퓨터 판독 가능 매체, 즉 컴퓨터 저장 매체 및 통신 매체를 포함한다.
컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술에서 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체는 상변화 메모리(PRAM), 정적 랜덤 액세스 메모리(SRAM), 동적 랜덤 액세스 메모리(DRAM), 다른 타입의 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전기적으로 소거 및 프로그래밍 가능한 판독 전용 메모리(EEPROM), 플래시 메모리 또는 다른 메모리 기술, 컴팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다기능 디스크(DVD) 또는 다른 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 컴퓨팅 장치에 의해 액세스하기 위한 정보를 저장하는 데 사용될 수 있는 임의의 다른 비송신 매체를 포함하지만 이에 한정되지 않는다.
이와 달리, 통신 매체는 반송파 또는 송신 메커니즘과 같은 피변조 데이터 신호 내에 컴퓨터 판독 가능 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터를 구현할 수 있다. 본 명세서에서 정의될 때, 컴퓨터 저장 매체는 통신 매체를 포함하지 않는다.
컴퓨팅 장치(100)는 메모리(112) 또는 I/O 컴포넌트들(120)과 같은 다양한 엔티티들로부터 데이터를 판독하는, 시스템 버스(110)와 결합된 하나 이상의 프로세서(114)를 포함한다. 일 실시예에서, 하나 이상의 프로세서(114)는 컴퓨터 실행 가능 명령어들을 실행하여, 컴퓨터 실행 가능 명령어들에 의해 정의되는 다양한 작업들 및 방법들을 수행한다. 프레젠테이션 컴포넌트(들)(116)는 시스템 버스(110)에 결합되며, 데이터 지시들을 사용자 또는 다른 장치에 제공한다. 예시적인 프레젠테이션 컴포넌트들(116)은 디스플레이 장치, 스피커, 인쇄 컴포넌트 등을 포함한다.
I/O 포트들(118)은 컴퓨팅 장치(100)가 I/O 컴포넌트들(120)과 같은 다른 장치들에 논리적으로 결합되는 것을 가능하게 하며, 그러한 다른 장치들 중 일부는 내장될 수 있다. 예시적인 컴포넌트들은 마이크, 조이스틱, 게임 패드, 위성 안테나, 스캐너, 프린터, 무선 장치, 키보드, 펜, 음성 입력 장치, 터치 입력 장치, 터치스크린 장치, 상호작용 디스플레이 장치 또는 마우스를 포함한다. I/O 컴포넌트들(120)은 컴퓨팅 장치(100)를 예를 들어 다른 컴퓨팅 장치, 서버, 라우터 등과 같은 원격 장치들에 통신가능하게 접속하는 것을 용이하게 할 수 있는 통신 접속들도 포함할 수 있다.
도 2는 미디어 콘텐츠 내의 아이템들과 관련된 콘텐츠의 관찰을 용이하게 하는 데 사용될 수 있는 예시적인 환경(200)의 개략도이다. 환경(200)은 콘텐츠 제공자(202), 사용자 장치(204), 광고주 장치(206), 네트워크-콘택 장치(208) 및 관련 콘텐츠 시스템(210)을 포함한다. 콘텐츠 제공자(202), 사용자 장치(204), 광고주 장치(206) 및 네트워크-콘택 장치(208)는 예를 들어 근거리 네트워크(LAN), 광역 네트워크(WAN), 인터넷, 셀룰러 네트워크, 피어 대 피어(P2P) 네트워크, 이동 네트워크 또는 네트워크들의 조합과 같은 임의 수의 네트워크를 포함할 수 있는 네트워크 또는 네트워크들의 조합(도시되지 않음)을 통해 통신할 수 있다.
도 2에 도시된 네트워크 환경(200)은 하나의 적절한 네트워크 환경의 일례이며, 본 명세서 전반에서 개시되는 발명들의 실시예들의 이용 또는 기능의 범위에 관한 어떠한 한정도 시사하는 것을 의도하지 않는다. 또한, 예시적인 네트워크 환경(200)은 그 안에 도시된 컴포넌트들 중 임의의 단일 컴포넌트 또는 조합에 관한 어떠한 종속성 또는 요구도 갖지 않는 것으로 해석되어야 한다. 예를 들어, 컴포넌트들 중 하나 이상은 예를 들어 고화질 멀티미디어 인터페이스(HDMI), 디지털 비주얼 인터페이스(DVI) 등을 통해 서로 직접 통신할 수 있다.
콘텐츠 제공자(202)는 태깅 인에이블드 콘텐츠를 제공할 수 있는 임의 종류의 컴퓨팅 장치 또는 장치들일 수 있다. 예를 들어, 콘텐츠 제공자(202)는 도 1을 참조하여 전술한 바와 같은 컴퓨팅 장치(100)와 같은 컴퓨팅 장치일 수 있다. 일 실시예에서, 콘텐츠 제공자(202)는 인터넷과 같은 네트워크를 통해 태깅 인에이블드 콘텐츠를 제공하는 미디어 서버 또는 미디어 서버들의 네트워크이다. 다른 실시예에서, 콘텐츠 제공자(202)는 DVD, 블루레이 디스크(상표) 또는 다른 휴대용 저장 장치 등과 같은 유형적인 형태의 태깅 인에이블드 콘텐츠를 제공한다.
콘텐츠 제공자(202)는 태깅 인에이블드 콘텐츠(212)와 같은 태깅 인에이블드 콘텐츠를 제공하도록 구성된다. 태깅 인에이블드 콘텐츠는 본 명세서에서 사용될 때 태깅될 수 있는 콘텐츠 내에 제공되는 적어도 하나의 아이템을 갖는 미디어 콘텐츠를 지칭한다. 즉, 태깅 인에이블드 콘텐츠는 관련 콘텐츠를 볼 수 있도록 적어도 하나의 태깅 가능한 아이템을 포함하는 미디어 콘텐츠이다. 이와 관련하여, 태깅 인에이블드 콘텐츠는 (예로서, 제스처를 통해) 선택되는 경우에 관련 콘텐츠가 표시되는 미디어 콘텐츠 내의 적어도 하나의 아이템을 포함한다. 따라서, 일부 구현들에서, 태깅 인에이블드 콘텐츠는 관련 콘텐츠를 볼 수 있는 아이템들을 지시하는 메타데이터를 포함할 수 있다. 미디어 콘텐츠는 예를 들어 텔레비전 프로그램, 영화, 주문형 프로그램, 라이브 프로그램, 비디오 클립 등일 수 있다. 사용자에 의해 태깅될 수 있는 미디어 콘텐츠 내에 제공되는 아이템은 태깅 가능 아이템이다. 태그는 특정 아이템이 사용자에게 흥미롭다는 지시 또는 표시를 제공한다. 이러한 방식으로, 아이템의 태깅은 그와 관련된 콘텐츠가 검색되고 제공될 수 있게 한다. 아이템은 미디어 콘텐츠 내에 제공되는 임의의 아이템 또는 아이템들의 조합일 수 있다. 예를 들어, 도 3을 참조하면, 모자(310)는 하나의 아이템일 수 있고, 셔츠(312)는 제2 아이템일 수 있고, 개인(314)은 제3 아이템일 수 있고, 목걸이(316)는 제4 아이템일 수 있고, 기타 등등이다.
알 수 있듯이, 비디오와 같은 태깅 인에이블드 콘텐츠 내의 임의 수의 아이템이 태깅 가능할 수 있다. 예를 들어, 도 3을 계속 참조하면, 모자(310), 셔츠(312), 개인(314) 및 목걸이(316)는 태깅 가능한 아이템들일 수 있는 반면, 개인(318), 모자(320) 및 개인(322)은 태깅 가능한 아이템들이 아닐 수 있다. 즉, 태깅 가능하지 않은 아이템들은 관련 콘텐츠를 볼 수 있도록 아이템에 대한 관심을 지시하기 위해 사용자에 의해 태깅될 수 없다. 일부 예들에서, 태깅 인에이블드 콘텐츠 내의 각각의 아이템은 태깅 가능할 수 있다. 대안으로서, 태깅 인에이블드 콘텐츠 내의 아이템들의 일부가 태깅 가능할 수 있다. 실시예들에서, 태깅 가능한 것으로 간주되거나 지시되는 아이템들은 자동으로 선택될 수 있거나, 예를 들어 미디어 콘텐츠의 저자, 감독, 제공자 또는 작곡가; 광고주 등에 의해 선택될 수 있다.
태깅 인에이블드 콘텐츠는 예를 들어 사용자 장치(204)와 같은 사용자 장치들, 광고주 장치(206)와 같은 광고주 장치들, 네트워크-콘택 장치(208)와 같은 네트워크-콘택 장치(208) 및/또는 관련 콘텐츠 시스템(210)과 같은 관련 콘텐츠 시스템에 제공될 수 있다. 콘텐츠 제공자(202)는 태깅 인에이블드 콘텐츠(212)를 네트워크(도시되지 않음)를 통해 그러한 장치들에 제공할 수 있다. 그러한 태깅 인에이블드 콘텐츠(212)는 다운로드되거나, 스트리밍되거나, 콘텐츠 제공자(202)에 의해 다른 방식으로 제공될 수 있다.
일부 실시예들에서, 콘텐츠 제공자(202)는 태깅 인에이블드 콘텐츠(212)를 생성한다. 다른 실시예들에서는, 다른 엔티티가 태깅 인에이블드 콘텐츠를 생성한다. 태깅 인에이블드 콘텐츠의 생성시에, 미디어 콘텐츠 내의 아이템들이 식별되고 태깅 가능한 것으로 지정되어 태깅 인에이블드 콘텐츠가 생성될 수 있다. 이와 관련하여, 미디어 콘텐츠와 관련된 메타데이터는 태깅 가능 아이템들의 지시를 포함할 수 있다. 일부 실시예들에서, 태깅 인에이블드 콘텐츠와 관련된 메타데이터는 또한 태깅 가능 아이템 또는 태깅 가능 아이템들의 세트와 관련하여 사용자에 의해 취해질 수 있는 하나 이상의 가능한 아이템 액션의 세트를 지시할 수 있다.
사용자 장치(204)는 태깅 인에이블드 콘텐츠를 제공하고, 사용자로 하여금 태깅 인에이블드 콘텐츠와 관련된 아이템과 관련된 콘텐츠를 보는 것을 가능하게 할 수 있는 임의 종류의 컴퓨팅 장치일 수 있다. 예를 들어, 일 실시예에서, 사용자 장치(204)는 도 1을 참조하여 전술한 바와 같은 컴퓨팅 장치(100)와 같은 컴퓨팅 장치일 수 있다. 사용자 장치(204)는 예를 들어 데스크탑 컴퓨터, 노트북 컴퓨터 또는 랩탑 컴퓨터, 넷북, 태블릿 또는 슬레이트 컴퓨터, 표면 컴퓨팅 장치, 전자 서적 판독기 장치, 워크스테이션, 이동 장치(예로서, 스마트폰, 개인 휴대 단말기, 차내(in-car) 내비게이션 장치 등), 게임 콘솔, 셋톱 박스, 텔레비전 또는 이들의 조합과 같은 다양한 전통적인 컴퓨팅 장치들 중 어느 하나로서 구현될 수 있다. 알 수 있듯이, 사용자 장치(204)는 디스플레이 스크린과 관련되며, 따라서 태깅 인에이블드 콘텐츠 및 관련 콘텐츠가 사용자에게 제공될 수 있다. 그러한 디스플레이 스크린은 사용자 장치(204)와 통합되거나 그로부터 떨어질 수 있다.
사용자 장치(204)는 태깅 인에이블드 콘텐츠를 포함하는 미디어 콘텐츠의 제공을 용이하게 하도록 구성된다. 이와 관련하여, 사용자 장치(204)는 태깅 인에이블드 콘텐츠를 제공하며, 따라서 사용자는 콘텐츠를 볼 수 있다.
동작에 있어서, 사용자 장치(204)는 태깅 인에이블드 콘텐츠(212)와 같은 태깅 인에이블드 콘텐츠를 플레이하거나 제공한다. 따라서, 태깅 인에이블드 콘텐츠가 사용자 장치(204)에 의해 소비된다. 한정이 아니라 예로서, 태깅 인에이블드 콘텐츠는 사용자 장치(204)와 관련된 디스플레이 상에 표시될 수 있다. 그러한 디스플레이는 사용자 장치(204)와 통합되거나 그로부터 떨어질 수 있다. 태깅 인에이블드 콘텐츠는 사용자 장치(204) 상에서 웹 브라우저, 이메일 클라이언트 또는 임의의 다른 애플리케이션과 같은 애플리케이션 내에 표시될 수 있다. 추가로 또는 대안으로서, 비디오 및/또는 오디와 같은 태깅 인에이블드 콘텐츠는 사용자 장치(204)의 미디어 플레이어에 의해 플레이될 수 있다. 태깅 인에이블드 콘텐츠는 텍스트, 이미지(들), 사진(들), 오디오 콘텐츠의 시각적 표현 및/또는 비디오를 포함할 수 있다.
사용자 장치(204)는 태깅 특징이 인에이블되는지를 인식하거나 식별한다. 태깅 특징은 사용자가 미디어 콘텐츠 내의 아이템들을 태깅하고/하거나 태깅된 아이템들(예를 들어, 사용자, 광고주, 네트워크 콘택 등을 통해 태깅된 아이템들)과 관련된 콘텐츠를 보는 것을 개시하는 것을 가능하게 한다. 이와 관련하여, 태깅 특징은 사용자가 사용자 또는 제삼자에 의해 태깅된 아이템과 관련된 콘텐츠를 보는 것을 가능하게 한다. 일 실시예에서, 사용자 장치(204)는 사용자 태깅 특징 및/또는 제삼자 태깅 특징이 인에이블되는지를 인식한다. 사용자 태깅 특징은 사용자가 아이템 태깅을 개시하여, 태깅된 아이템들과 관련된 콘텐츠를 보는 것을 가능하게 한다. 제삼자 태깅 특징은 사용자가 광고주 또는 네트워크 콘택과 같은 제삼자에 의해 태깅된 아이템들과 관련된 콘텐츠를 보는 것을 가능하게 한다.
태깅 특징은 예를 들어 사용자 선택을 통해 인에이블될 수 있다. 그러한 실시예에서, 사용자는 사용자 태깅 특징 및/또는 제삼자 태깅 특징을 인에이블하도록 선택할 수 있다. 그러한 태깅 특징들은 예를 들어 미디어 콘텐츠(예로서, 태깅 인에이블드 콘텐츠)의 제공 전에 또는 제공 중에 인에이블될 수 있다. 예를 들어, 미디어 콘텐츠의 제공 전에 또는 제공 중에, 사용자는 사용자 및/또는 사용자와 관련되거나 관계된 제삼자에 의해 태깅된 아이템들과 관련된 콘텐츠의 관찰을 인에이블하도록 선택할 수 있다.
알 수 있듯이, 사용자는 미디어 콘텐츠를 볼 때마다, 사용자 장치에 대한 설정(들)의 구성과 연계하여, 또는 사용자가 필요로 할 때, 하나 또는 양 태깅 특징을 인에이블하도록 선택할 수 있다. 다른 예들에서, 사용자 장치는 하나 또는 양 태깅 특징(즉, 사용자 태깅 특징 및 제삼자 태깅 특징)을 인에이블 또는 디스에이블하는 디폴트 설정을 갖도록 구성될 수 있다.
사용자 태깅 특징이 인에이블될 때, 사용자 장치(204)는 사용자가 아이템들을 태깅하고/하거나 그러한 아이템들과 관련된 콘텐츠를 보는 것을 개시하는 것을 가능하게 한다. 따라서, 사용자 태깅 특징이 인에이블될 때, 사용자 장치(204)는 태깅 제스처들을 검출할 수 있다. 태깅 제스처는 사용자가 관심을 갖는 태깅 가능 아이템을 태깅하기 위해 사용자에 의해 제공되는 지시를 지칭한다. 태깅 가능 아이템은 태깅될 수 있는 태깅 인에이블드 콘텐츠 내에 제공되는 아이템이다. 일부 예들에서, 태깅 가능 아이템은 태깅될 수 있는 디스플레이 상에 표시된 아이템이다. 예를 들어, 앨범 타이틀 섬네일, 영화 포스터 섬네일 등은 일부 예들에서 미디어 콘텐츠 내에 제공되는지의 여부에 관계없이 태깅 가능할 수 있다. 어느 경우에나, 태깅 가능 아이템은 관련 콘텐츠가 식별되고 제공될 수 있는 아이템이다. 알 수 있듯이, 일부 실시예들에서, 태깅 가능 아이템들은 예를 들어 사용자에 의해 시각적으로 또는 청각적으로 인식될 수 있다. 예를 들어, 미디어 콘텐츠 내에서 태깅될 수 있는 아이템들은 강조되거나, 윤곽이 그려지거나, 다른 방식으로 시각적으로 식별될 수 있으며, 따라서 미디어 콘텐츠를 보는 사용자는 태깅될 수 있는 아이템을 쉽게 인식할 수 있다.
사용자는 아이템과 관련된 태깅 제스처를 제공할 수 있다. 즉, 사용자는 그가 관심을 갖고 있는 아이템을 선택하거나, 지정하거나, 다른 방식으로 지시하기 위한 태깅 제스처를 제공할 수 있다. 따라서, 사용자 장치(204)는 사용자 장치(204) 또는 그와 관련된 컴포넌트에 입력된 태깅 제스처들을 검출하도록 구성될 수 있다. 일부 예들에서, 단일 태깅 제스처는 아이템을 선택하고/하거나, (예로서, 아이템을 가진 콘텐츠의 영역을 정의함으로써) 아이템을 정의하며, 지정된 아이템과 관련된 콘텐츠가 획득되게 한다. 예를 들어, 사용자 장치(204)는 비디오를 재생하는 것과 같이 콘텐츠를 소비할 수 있다. 태깅 제스처는 사용자의 하나 이상의 손가락 또는 스타일러스 또는 디지털 펜과 같은 포인팅 장치로부터 입력된 터치를 포함할 수 있다. 사용자 장치(204)는 사용자 장치(204)의 터치스크린, 터치 패드 또는 다른 입출력 인터페이스를 통해 사용자로부터 입력된 터치를 검출할 수 있다. 다른 실시예에서, 태깅 제스처는 사용자의 눈 움직임을 포함할 수 있다. 사용자 장치(204)는 사용자 장치(204)의 이미지 캡처 장치를 통해 눈 움직임을 검출할 수 있다.
또 다른 실시예에서, 태깅 제스처는 신체 또는 신체의 일부, 예로서 손가락, 손, 머리 및/또는 팔의 움직임을 포함할 수 있다. 사용자 장치(204)는 사용자 장치(204)의 카메라, 다른 이미지 캡처 장치 또는 다른 움직임 검출 컴포넌트를 통해 신체 움직임을 검출할 수 있다. 예를 들어, 사용자 장치는 카메라 또는 다른 움직임 검출 인터페이스, 예로서 워싱턴 레드먼드의 마이크로소프트사로부터 둘 다 입수 가능한 Kinect(상표) 움직임 검출 시스템과 함께 구성된 Xbox(등록상표) 게이밍 콘솔을 갖는 게이밍 장치일 수 있다. 사용자 장치는 이미지들 또는 신호들을 수신하고, 사용자 장치가 수신한 이미지들 또는 신호들을 해석하여, 사용자가 어떤 움직임을 수행하고 있는지를 결정할 수 있다. 사용자의 움직임은 관련 콘텐츠에 대한 검색을 트리거하고/하거나, 관련 콘텐츠에 대한 검색의 범위를 정의할 수 있다. 추가로 또는 대안으로서, 관련 콘텐츠에 대한 검색의 범위는 아래에 더 충분히 설명되는 바와 같이 아이템이 표시되고 있는 상황, 사용자와 관련된 데이터 등을 참조하여 결정될 수 있다.
일부 실시예들에서, 태깅 제스처는 사용자에 의해 제어되는 원격 제어기(예로서, 포인터, 조이스틱, 게임 제어기 등)의 움직임 또는 선택을 포함할 수 있다. 사용자 장치(204)는 원격 제어기의 움직임의 정보를 사용자 장치(204)로 전송하는, 원격 제어기에 근접한 검출기를 통해 사용자에 의해 제어되는 원격 제어기의 움직임을 검출할 수 있다.
다른 실시예들에서, 태깅 제스처는 사용자 장치(204)의 입출력 인터페이스에 결합된 마우스, 트랙 볼 또는 다른 입력 장치에 의해 제어되는 커서의 움직임 또는 선택을 포함할 수 있다. 그러한 경우, 사용자 장치(204)는 입력 장치에 의해 제어되는 커서의 움직임을 검출할 수 있다. 커서 또는 선택기는 디스플레이 스크린 상의 위치를 지시하는 이동 가능 심벌을 지칭한다. 디스플레이 스크린 내의 커서 또는 선택기의 움직임 또는 선택은 예를 들어 컴퓨팅 장치에 접속된 마우스, 트랙 볼 등에 의해 제어될 수 있다.
사용자 장치(204)는 또한 음성 명령들 및/또는 입력들을 인식하고, 음성 명령들 및 입력들을 텍스트 입력들로 변환하는 데 사용될 수 있는 음식 인식을 포함할 수 있다. 게다가, 사용자 장치(204)는 이러한 텍스트 입력들을 이용하여 검색 질의 또는 데이터(예로서, 태그-아이템 데이터)를 형성하거나 정밀화할 수 있다. 사용자 장치(204)가 둘 이상의 사용자에 의해 사용될 수 있는 경우, 현재의 사용자가 인식될 수 있고, 현재의 사용자와 관련된 (예를 들어, 한 시간과 같은 사전 정의된 기간 내의) 과거 정보가 질의 또는 데이터를 형성하거나 정밀화하기 위해 검색될 수 있다.
사용자 장치(204)는 사용자가 하나 이상의 제스처를 정의할 수 있게 하는 제스처 학습을 더 포함할 수 있다. 예를 들어, 사용자 장치(204)는 사용자가 아이템 구매, 아이템과 관련된 정보의 검색, 아이템과 관련된 미디어 콘텐츠의 검색, 태깅된 아이템의 저장 등과 같은 다양한 액션들을 개시하기 위한 맞춤 제스처들을 정의하는 것을 가능하게 할 수 있다. 사용자 장치(204)는 이러한 사용자 정의 제스처들 각각에 대한 정보, 예를 들어 곡률, 제스처 속도 등을 수집하여, 사용자 정의 제스처들을 서로 구별할 수 있다.
위의 실시예들에서는 개별 태깅 제스처들이 설명되지만, 태깅 제스처는 전술한 바와 같은 하나 이상의 태깅 제스처의 조합을 포함할 수 있다.
사용자 장치(204)는 사용자에 의한 태깅 제스처의 입력에 응답하여 사용자 장치(204)와 관련된 디스플레이 상의 태깅 제스처의 라인 또는 다른 표현의 표시를 가능하게 하는 제스처 추적을 더 포함할 수 있다. 태깅 제스처의 표현은 선택기의 위치 또는 태깅 제스처의 움직임에 따라 표시될 수 있다. 표현은 사용자가 방금 입력한 제스처의 크기, 형상 및/또는 위치를 지시하는 피드백을 사용자에게 제공한다. 표현은 아이템을 둘러싸는 라인, 아이템의 하이라이팅 뷰, 선택기의 라인 추적 경로, 선택기의 위치의 지시 및/또는 아이템의 확대 렌즈 뷰를 포함할 수 있지만 이에 한정되지 않는다.
미디어 콘텐츠 내의 태깅 가능 아이템 또는 디스플레이 상에 표시된 아이템과 관련된 태깅 제스처의 검출시, 사용자 장치(204)는 사용자에 의해 지시되는 바와 같은 적절한 아이템을 식별하고 태깅하도록 구성된다. 이와 관련하여, 아이템을 태깅하기 위한 지시 또는 제스처의 검출시, 지정된 아이템이 식별되거나 인식된다. 태깅된 아이템은 아이템을 임의의 방식으로 고유하게 식별하거나 지시하는 아이템 식별자를 이용하여 식별될 수 있다. 예를 들어, 아이템 식별자는 아이템의 이름, 주제, 값, 설명 또는 다른 지시자일 수 있다.
일 실시예에서, 아이템을 식별하거나 인식하기 위해, 태깅 인에이블드 콘텐츠와 관련된 메타데이터가 이용될 수 있다. 예를 들어, 메타데이터는 미디어 콘텐츠 내의 특정 프레임, 위치 또는 시간과 관련된 아이템(들)을 지시할 수 있다. 이와 관련하여, 태깅 인에이블드 콘텐츠 내의 1시간 5분 32초의 시간에, 메타데이터는 "모자"가 미디어 콘텐츠 내의 태깅 가능 아이템인 것을 지시할 수 있다. 따라서, 사용자 장치(204) 또는 그의 일부는 미디어 콘텐츠 내의 어떤 포인트에 또는 표시된 콘텐츠 내의 어떤 위치에 관심 있는 선택된 아이템이 존재하는지를 검출할 수 있다. 알 수 있듯이, 그러한 메타데이터는 태깅 인에이블드 콘텐츠와 통합되거나 태깅 인에이블드 콘텐츠로부터 분리될 수 있다.
대안으로서 또는 추가로, 예를 들어 사용자 장치 또는 다른 장치(예로서, 원격 서버)에 의해 아이템을 인식함으로써 아이템이 인식될 수 있다. 예를 들어, 사용자 장치(204)는 아이템의 이미지에 기초하여 아이템을 자체적으로 인식할 수 있다. 따라서, 사용자 장치(204)는 콘텐츠의 영역 또는 태깅 제스처에 의해 정의되는 콘텐츠의 부분 내에서 하나 이상의 아이템을 식별할 수 있는 이미지 인식 모듈(도시되지 않음)을 포함할 수 있다.
다른 예에서, 사용자 장치(204)는 또한 아이템의 이미지 또는 그의 지시를 아이템들의 정보를 검출하고/하거나 제공하는 주어진 웹사이트, 애플리케이션 또는 서비스에 질의로서 제출할 수 있다. 예를 들어, 사용자 장치(204)는 이미지로부터 태깅 제스처에 의해 정의되는 이미지의 부분을 추출하고, 추출된 이미지의 부분을 이미지 검색을 위해 검색 서비스에 제출할 수 있는 이미지 추출 모듈(도시되지 않음)을 포함할 수 있다.
제스처를 통해 선택된 아이템과 같은 관심 있는 아이템의 인식 또는 식별시에, 지정된 아이템이 태깅된다. 따라서, 사용자 장치(204)는 태깅 가능 아이템을 사용자가 관심을 갖는 아이템으로서 인식하거나 지정할 수 있다. 태깅된 아이템은 사용자가 태깅된 아이템과 관련된 콘텐츠를 보는 것을 가능하게 한다. 이와 관련하여, 아이템의 태깅시에, 아이템 태그를 개시한 사용자 또는 제삼자는 아이템과 관련된 콘텐츠를 볼 수 있다. 아이템의 태깅은 특정 아이템이 사용자가 관심을 갖고 있다는 지시를 제공하는 임의의 방식으로 수행될 수 있다. 예를 들어, 아이템 식별자가 태깅된 아이템 리스트 내에 포함될 수 있거나, 아이템 식별자가 태그와 관련될 수 있거나, 아이템 식별자가 태깅된 또는 관심 있는 아이템으로서 달리 지시될 수 있다. 태깅된 아이템 또는 그의 지시는 예를 들어 사용자 장치, 사용자, 미디어 콘텐츠 식별자 등과 연계하여 저장될 수 있다. 따라서, 태깅된 아이템의 아이템 식별자(예로서, 태깅된 아이템 데이터)는 예를 들어 사용자 장치, 관련 콘텐츠 시스템 등과 관련하여 저장될 수 있다. 이와 관련하여, 태깅된 특정 아이템을 식별하는 아이템 식별자가 저장될 수 있다.
관심 있는 아이템(예로서, 아이템을 태깅하는 데 사용되는 아이템 식별자)의 식별에 더하여, 다른 태그-아이템 데이터가 사용자 장치(204)에 의해 인식되거나 식별될 수 있다. 태그-아이템 데이터는 아이템을 설명하거나, 지시하거나, 식별하는 아이템과 관련된 임의의 데이터를 지칭한다. 따라서, 태그-아이템 데이터는 예를 들어 아이템 식별자, 아이템의 설명, 아이템의 상세, 아이템의 요약, 아이템의 표현, 아이템이 미디어 콘텐츠 내에 나타나는 시간 또는 위치, 미디어 콘텐츠의 타이틀 식별자 또는 저자 식별자, 아이템이 태깅된 시간 또는 위치, 아이템과 관련된 이미지 등일 수 있다. 이와 관련하여, 사용자 장치(204)는 아이템과 관련된 임의의 태그-아이템 데이터를 식별하기 위해 사용자에 의해 선택된 아이템을 분석하기 위한 콘텐츠 분석, 아이템과 관련된 임의의 태그-아이템 데이터를 식별하기 위해 미디어 콘텐츠와 관련된 메타데이터를 분석하거나 검토하기 위한 메타데이터 분석, 아이템과 관련된 임의의 태그-아이템 데이터(예를 들어, 태깅 제스처의 위치 또는 시간)를 식별하기 위해 제스처를 분석하기 위한 제스처 분석 등을 수행할 수 있다.
일부 실시예들에서, 사용자 장치(204)는 아이템-상황 데이터를 참조하거나 식별할 수 있다. 즉, 사용자 장치(204)는 아이템-상황 데이터를 액세스, 결정, 식별 또는 인식할 수 있다. 아이템-상황 데이터 또는 상황 데이터는 아이템(예로서, 태깅된 아이템)의 상황을 설명하거나 지시하는 임의의 데이터 또는 정보를 지칭한다. 이와 관련하여, 사용자 장치(204)는 예를 들어 아이템이 제공되는 상황에 관한 신호들을 제공하는 상황 정보를 분석할 수 있다. 한정이 아니라 예로서, 상황 정보는 아이템에 근접하는 콘텐츠, 제공되는 미디어 객체의 타이틀, 표시된 콘텐츠와 관련된 메타데이터(예로서, 태깅된 아이템과 동일한 프레임 내의 다른 아이템들, 미디어 콘텐츠 내의 다른 프레임들 내의 다른 아이템들, 미디어 콘텐츠의 다른 부분들과 관련된 메타데이터, 아이템과 관련된 오디오 등)를 포함할 수 있다. 아이템-상황 데이터는 상황 정보에 적어도 부분적으로 기초하여 더 적합한 질의를 형성함으로써 제공되는 관련 콘텐츠의 적합성을 개선하는 데 사용될 수 있다.
사용자 장치(204)는 아이템과 관련된 임의의 아이템-상황 데이터를 식별하기 위해 사용자에 의해 선택된 아이템의 상황을 분석하기 위한 콘텐츠 분석, 아이템과 관련된 임의의 아이템-상황 데이터를 식별하기 위해 미디어 콘텐츠와 관련된 메타데이터를 분석하거나 검토하기 위한 메타데이터 분석, 아이템과 관련된 임의의 아이템-상황 데이터(예를 들어, 태깅 제스처의 위치 또는 시간)를 식별하기 위해 제스처를 분석하기 위한 제스처 분석 등을 수행할 수 있다. 단지 예로서, 사용자가 "모자" 아이템의 태깅을 개시하는 것으로 가정한다. "모자"를 착용하고 있는 미디어 콘텐츠 내의 배우가 셔츠와 신발도 착용하고 있는 것으로 더 가정한다. 일부 예들에서, 사용자 장치(204)는 장면 또는 프레임을 분석하고, 모자를 착용하고 있는 배우가 모자와 동일한 브랜드를 가진 셔츠와 신발도 착용하고 있다는 것을 인식할 수 있다. 다른 예들에서, 사용자 장치(204)는 배우가 태깅된 "모자"를 착용하고 있는 장면 또는 프레임과 관련된 메타데이터를 검토하고, 메타데이터에 따라, 모자, 셔츠 및 신발이 동일한 브랜드라는 것을 인식할 수 있다.
추가로 또는 대안으로서, 사용자 장치(204)는 사용자 데이터를 참조하거나 식별할 수 있다. 즉, 사용자 장치(204)는 사용자 데이터를 액세스, 결정, 식별 또는 인식할 수 있다. 사용자 데이터는 사용자에 관한 또는 관련된 임의의 데이터 또는 정보를 지칭한다. 사용자 데이터는 사용자 식별자, GPS 데이터와 같은 사용자 장치(204)의 위치, 사용자의 하나 이상의 과거 태그, 액션 및/또는 세션(예로서, 이전에 태깅된 아이템들 또는 태깅된 아이템들을 갖는 미디어 콘텐츠), 사용자에 의해 개시된 액션들, 사용자 장치의 파라미터들 또는 속성들(예로서, 사용자 장치가 이동 장치인지의 여부, 이동 장치의 타입, 장치의 능력(들) 등), 장치와 관련된 가정의 지리 위치, 사용자 인구 통계, 사용자 선호 등을 포함할 수 있지만 이에 한정되지 않는다. 사용자 데이터는 소셜 네트워크들로부터 수집된 소셜 데이터, 사용자의 콘택들, 전화 로그들, 텍스트 메시지 로그들, 관계들 및 멤버쉽들 등을 더 포함할 수 있다. 사용자 데이터는 사용자 장치에 저장된 문서들, 파일들, 이미지들, 사진들, 이메일들 또는 임의의 다른 콘텐츠 또는 데이터도 포함할 수 있다.
사용자 장치(204)는 사용자 데이터를 통합하여 검색 질의 또는 송신되는 데이터를 형성하거나 정밀화하고, 따라서 관련 콘텐츠의 적합성을 개선할 수 있다. 일부 예들에서, 임의의 개인 정보가 검색 질의를 형성하는 데 사용되기 전에, 사용자는 그가 이러한 정보를 공유하기를 원하는지에 대해 프롬프트(prompt)될 수 있고, 이러한 정보를 항상 공유하거나, 이러한 정보를 결코 공유하지 않거나, 정보를 공유하기 전에 매번 프롬프트되기 위한 옵션을 제공받을 수 있다.
한정이 아니라 예로서, 사용자 장치(204)는 태깅된 최근의 아이템들에 기초하여 사용자가 R & B 장르와 관련된 의상에 관심이 있는 것으로 결정할 수 있고, 따라서 사용자가 R & B 장르와 관련된 인스턴트 태깅의 관련 콘텐츠를 보기를 선호할 것으로 추정할 수 있다. 다른 예로서, 사용자 장치가 특정 지리 영역 내에 있는 경우, 사용자는 사용자 장치의 지리 영역(예로서, 로컬 뮤직 스토어)와 관련된 인스턴트 태깅의 관련 콘텐츠에 아마도 관심을 갖고 있는 것으로 추정될 수 있다.
태깅된 아이템 데이터, 상황-아이템 데이터 및/또는 사용자 데이터와 같은 태깅된 아이템과 관련된 데이터의 식별시에, 그러한 데이터는 관련 콘텐츠 시스템(210)으로 (예로서, 질의의 형태로) 전송될 수 있다. 아래에 더 충분히 설명되는 바와 같이, 관련 콘텐츠 시스템(210)은 그러한 데이터를 이용하여, 사용자에게 표시할 아이템(들)과 관련된 콘텐츠를 식별하고 제공할 수 있다. 이와 관련하여, 관련 콘텐츠 시스템(210)은 태깅된 아이템 데이터, 상황-아이템 데이터 및/또는 사용자 데이터를 이용하여, 인스턴트 태깅된 아이템과 관련된 콘텐츠를 식별하고 제공할 수 있다.
본 명세서에서 설명되는 다양한 실시예들은 사용자 장치(204)가 태깅 제스처의 수신에 응답하여 관련 콘텐츠 시스템(210)을 통해 원격 검색(예로서, 인터넷 검색)을 개시할 수 있다는 것을 설명하지만, 본 발명은 원격 검색들로 한정되지 않는다. 일 실시예에서, 사용자 장치(204)는 추가로 또는 대안으로서 콘텐츠의 영역 또는 아이템을 정의하는 태깅 제스처의 수신에 응답하여 로컬 검색을 개시할 수 있다. 다른 실시예들에서, 로컬 검색은 전체 사용자 장치(204)의 로컬 메모리 또는 사용자 장치(204)의 지정된 메모리 또는 폴더 내에서의 검색을 포함할 수 있다.
사용자 장치(204)가 태깅된 아이템(들)과 관련된 콘텐츠(예로서, 관련 콘텐츠 시스템(210)으로부터의 관련 콘텐츠 데이터)를 수신할 때, 관련 콘텐츠 데이터는 사용자에게 제공되고 있는 태깅 인에이블드 콘텐츠와 함께 사용자 장치(204)를 통해 사용자에게 제공될 수 있다. 본 명세서에서 사용될 때, 관련 콘텐츠 데이터 또는 관련 콘텐츠는 태깅된 아이템과 관련된 임의의 정보를 지칭한다. 관련 콘텐츠 데이터는 예를 들어 아이템, 아이템과 관련된 광고들, 아이템과 관련된 제안들 등을 설명하거나 상술하는 정보일 수 있다. 일 실시예에서, 관련 콘텐츠 데이터는 태깅 인에이블드 콘텐츠를 오버레이하며, 따라서 관련 콘텐츠 데이터는 미디어 콘텐츠와 통합된 상태로 보인다. 다른 실시예에서, 태깅 인에이블드 콘텐츠는 관련 콘텐츠 데이터와 미디어 콘텐츠를 통합하도록 변경될 수 있다.
알 수 있듯이, 관련 콘텐츠 데이터는 태깅된 아이템에 대해 임의의 위치에 표시될 수 있다. 일 실시예에서, 관련 콘텐츠 데이터는 태깅된 아이템에 인접하게 또는 그 위에 또는 그 근처에 표시된다. 다른 실시예에서, 관련 콘텐츠 데이터는 디스플레이 스크린 상의 특정 위치에, 예를 들어 우하 코너 등에 표시된다. 또 다른 실시예에서, 관련 콘텐츠 데이터는 미디어 콘텐츠에 기초하여 최적의 위치에 표시된다. 따라서, 일부 예들에서, 사용자 장치는 관련 콘텐츠 데이터 및/또는 아이템 액션들을 표시할 위치를 결정할 수 있다.
일부 실시예들에서, 하나 이상의 아이템 액션이 관련 콘텐츠 데이터와 연계하여 제공될 수 있다. 이와 관련하여, 아이템 액션(들)은 관련 콘텐츠 데이터와 동시에 제공될 수 있다. 대안으로서, 아이템 액션은 관련 콘텐츠 데이터의 표현 위에 제공될 수 있다. 예를 들어, 아이템과 관련된 콘텐츠가 처음에 미디어 콘텐츠 내의 아이템과 관련하여 제공되는 것으로 가정한다. 이제, 사용자가 아이템 또는 관련 콘텐츠 데이터를 선택하는 것으로 가정한다. 이 경우, 이제 아이템 액션(들)이 제공될 수 있다.
아이템 액션은 아이템과 관련하여 취해질 수 있는 임의의 액션의 지시를 지칭한다. 아이템 액션들은 나중에 보거나 구매하기 위해 태깅된 아이템을 저장하는 액션, 태깅된 아이템을 구매하는 액션, 태깅된 아이템에 관한 더 많은 정보를 보는 액션, 태깅된 아이템을 이메일링하는 액션, 태깅된 아이템을 게시하는 액션, 태깅된 아이템에 대한 오디오(예로서, 광고 또는 정보)를 듣는 액션, 아이템의 공유하는 액션 등을 포함하지만 이에 한정되지 않는다.
관련 콘텐츠 데이터와 연계하여 표시되는 특정 아이템 액션들은 제공되는 디폴트 아이템 액션들에 기초할 수 있다. 이와 관련하여, 태깅된 특정 아이템에도 불구하고, 하나 이상의 아이템 액션의 특정 세트가 하나의 아이템과 연계하여 제공될 수 있다. 다른 실시예에서, 표시되는 아이템 액션들은 태깅된 아이템에 대한 이용 가능 액션들을 지시하는 태깅 인에이블드 콘텐츠의 메타데이터를 통해 결정될 수 있다. 그러한 실시예에서, 사용자 장치(204)는 태깅 인에이블드 콘텐츠에 대한 메타데이터에 기초하여 표시할 액션(들)을 식별할 수 있다. 예를 들어, 특정 아이템 또는 아이템들의 세트와 관련된 메타데이터는 사용자가 취할 수 있는 가능한 아이템 액션들을 지정할 수 있다. 또 다른 실시예에서, 표시할 아이템 액션들은 관련 콘텐츠 시스템 또는 다른 컴퓨팅 장치에 의해 결정 또는 식별될 수 있거나, 사용자 과거의 사용자 선호에 기초할 수 있다.
아이템 액션이 관련 콘텐츠 데이터와 연계하여 제공되는 실시예들에서, 사용자 장치(204)는 사용자가 개시하려고 의도하는 액션을 식별, 인식 또는 결정할 수 있다. 그러한 액션 지시는 제스처 태깅에 대해 전술한 방법들과 같은 임의의 방법을 이용하여 사용자에 의해 입력될 수 있다. 예를 들어, 사용자는 개시할 특정 액션을 선택하거나 지시하기 위한 제스처를 수행할 수 있다. 아이템 액션의 선택에 따라, 사용자 장치는 액션을 개시할 수 있다. 예를 들어, 사용자가 "구매" 아이템 액션을 선택하는 것으로 가정한다. 그러한 경우, 사용자 장치는 아이템의 구매(예로서, 아이템을 판매하는 웹사이트에 대한 링킹)를 용이하게 할 수 있다.
알 수 있듯이, 일부 실시예들에서, 사용자에게 제공되는 있는 태깅 인에이블드 콘텐츠는 아이템의 태깅 및/또는 관련 콘텐츠의 관찰과 관련하여 일시 중지될 수 있다. 태깅 인에이블드 콘텐츠의 일시 중지는 태깅 인에이블드 콘텐츠를 일시 중지하기 위한 사용자 지시에 기초하여 발생할 수 있으며, 따라서 사용자는 아이템을 태깅하고/하거나 관련 콘텐츠를 볼 수 있다. 다른 예들에서, 태깅 인에이블드 콘텐츠는 예를 들어 태깅 제스처의 개시의 검출시에 자동으로 일시 중지된다.
도 2의 관련 콘텐츠 시스템(210)은 아이템과 연계하여 제공할 아이템과 관련된 콘텐츠를 식별하거나 결정하도록 구성된다. 관련된 콘텐츠 또는 관련된 콘텐츠 데이터는 임의의 콘텐츠 또는 데이터, 예를 들어 광고들, 아이템을 설명하는 정보, 아이템을 식별하는 정보, 제품 정보, 아이템과 관련된 제안들, 제삼자 태깅 정보 등일 수 있다. 관련 콘텐츠 시스템(210)은 임의 수의 컴퓨팅 장치, 서비스 또는 엔진을 이용하여 관련 콘텐츠를 식별할 수 있다. 도 2는 추천 엔진(220), 검색 엔진(222), 광고 엔진(224) 및 소셜 네트워크 엔진(226)의 사용을 도시한다. 실시예들에 따르면, 그러한 각각의 엔진은 서버 시스템들, 프로그램 모듈들, 가상 기계들, 서버 또는 서버들의 컴포넌트들, 네트워크들 등으로서 구현될 수 있다. 설명의 명료화를 위해, 추천 엔진, 검색 엔진, 광고 엔진 및 소셜 네트워크 엔진이 분리되어 있는 실시예들을 설명하지만, 이것은 본 발명의 범위 내에서 고려되는 다양한 구성들에서는 그렇지 않을 수 있다는 것을 이해한다.
사용자 태깅 특징에 따르면, 사용자 장치(204)는 태깅 제스처에 응답하여 관련 콘텐츠 데이터의 검색을 용이하게 하기 위해 관련 콘텐츠 시스템(210) 또는 그의 부분(들)과 통신한다. 추천 엔진(220), 검색 엔진(222) 및 광고 엔진(224)은 태그-아이템 데이터, 사용자 데이터 및/또는 상황-아이템 데이터를 수신하거나 참조하고, 그러한 데이터를 이용하여 태깅된 아이템과 관련된 콘텐츠를 식별 및 제공하도록 기능한다. 일 실시예에서, 태그-아이템 데이터, 사용자 데이터 및/또는 상황-아이템 데이터는 사용자 장치(204)와 같은 사용자 장치로부터 수신될 수 있다. 예를 들어, 태그-아이템 데이터, 사용자 데이터 및/또는 상황-아이템 데이터는 태깅된 아이템과 관련된 콘텐츠의 검색을 개시하기 위한 검색 질의의 형태로 수신될 수 있다. 다른 실시예에서, 태그-아이템 데이터, 사용자 데이터 및/또는 상황-아이템 데이터는 다른 소스로부터 참조될 수 있다. 예를 들어, 일부 예들에서, 아이템 식별자와 같은 태그-아이템 데이터의 일부 및 사용자 장치 위치와 같은 사용자 데이터의 일부가 사용자 장치(204)로부터 통신될 수 있다. 추가적인 태그-아이템 데이터, 상황-아이템 데이터 및/또는 사용자 데이터가 참조될 수 있다. 예를 들어, 사용자 식별자와 관련된 과거의 태깅 데이터가 관련 콘텐츠 시스템(210) 또는 그의 일부에 의해 저장되고 액세스될 수 있다. 또한, 아이템 식별자는 태깅된 아이템과 관련된 추가적인 정보를 참조하는 데 사용될 수 있다.
일부 예들에서, 사용자 데이터는 사용자 데이터 스토어(228)로부터 참조될 수 있다. 예를 들어, 일부 시예들에서, 사용자 데이터는 이전에 사용자 장치로부터 전송되고, 사용자 데이터 스토어(228) 내에 캡처된다. 그러한 경우, 사용자 데이터는 관련 콘텐츠를 식별하기 위해 참조되고 이용될 수 있다. 알 수 있듯이, 사용자 데이터는 사용자 데이터가 태깅되는 아이템과 연계하여 사용자 장치(204)로부터 통신될 수 있는 경우에도 사용자 데이터 스토어(228)로부터 참조될 수 있다. 예를 들어, 아이템의 태깅시에, 장치 위치와 같은 소정의 사용자 데이터가 사용자 장치로부터 통신될 수 있으며, 사용자 태깅 이력과 같은 다른 사용자 데이터가 사용자 데이터 스토어(228)로부터 참조될 수 있다. 유사하게, 도시되지 않았지만, 태그-아이템 데이터 및/또는 상황-아이템 데이터가 미디어 상황과 관련된 데이터를 포함하는 관련 콘텐츠 시스템(210)과 관련된 데이터 스토어로부터 참조될 수 있다.
설명되는 바와 같이, 추천 엔진(220), 검색 엔진(222) 및/또는 광고 엔진(224)은 (예를 들어, 질의의 형태로) 테그-아이템 데이터, 사용자 데이터 및/또는 아이템-상황 데이터를 이용하여, 더 적절한 관련 콘텐츠를 제공할 수 있다. 예를 들어, 사용자 장치의 위치에 기초하여, 구매 또는 관찰 액션을 완료하기 위해 로컬 스토어에 고유한 광고가 제공될 수 있다. 추가적인 예로서, 사용되는 장치의 파라미터들을 인식하고 이용하여, 가정 적절한 포맷(예로서, HD 품질 광고들, HDTV, 이동 장치 등)의 관련 콘텐츠 데이터를 선택하여 전송할 수 있다.
일부 실시예들에서, 관련 콘텐츠 시스템(210) 또는 그의 일부는 태깅된 아이템(예로서, 아이템 식별자) 및/또는 다른 데이터(예로서, 태그-아이템 데이터, 아이템-상황 데이터 및/또는 사용자 데이터)의 지시를 수신한다. 그러한 데이터는 후속 사용을 위해 관련 콘텐츠 시스템(210)을 통해 저장될 수 있다. 예를 들어, 그러한 데이터는 아래에 더 충분히 설명되는 바와 같이 사용자에 의한 후속 사용을 위해 사용자 데이터 스토어(228)에 저장되고/되거나 제삼자에 의한 사용을 위해 네트워크 데이터 스토어(230)에 저장될 수 있다. 또한, 일부 실시예들에서, 제공을 위해 사용자 장치(204)로 전송되는 관련 콘텐츠도 관련 콘텐츠 시스템(210) 내에 저장될 수 있다. 예를 들어, 그러한 관련 콘텐츠 또는 그의 지시는 사용자에 의한 후속 사용을 위해 사용자 데이터 스토어(228)에 저장되고/되거나 제삼자에 의한 사용을 위해 네트워크 데이터 스토어(230)에 저장될 수 있다.
추천 엔진(220)은 태깅된 아이템에 기초하여 사용자에게 추천되거나 제안되는 관련 콘텐츠를 제공한다. 따라서, 추천 엔진(220)은 예를 들어 아이템 기반 데이터, 아이템-상황 데이터, 사용자 데이터 등에 기초하여 유사한 미디어 콘텐츠, 제품들 또는 서비스들을 추천 또는 제안할 수 있다. 일 실시예에서, 추천 엔진(220)은 사용자 장치(204)로부터 (질의의 형태로) 수신된 태그-아이템 데이터, 아이템-상황 데이터 및/또는 사용자 데이터를 이용하여, 태깅된 아이템과 관련된 추천 또는 제안되는 콘텐츠를 식별 또는 결정할 수 있다. 대안으로서 또는 추가로, 추천 엔진(220)은 (예로서, 질의의 형태로) 사용자 장치(204)로부터 수신된 데이터를 이용하여, 추가적인 데이터(예로서, 태그-아이템 데이터, 아이템-상황 데이터 및/또는 사용자 데이터)를 식별 또는 인식한다. 예를 들어, 추천 엔진(220)은 아이템 식별자 및 사용자 식별자를 수신한 후에 식별자들을 이용하여 다른 태그-아이템 데이터 및 사용자 데이터를 각각 참조하거나 탐색할 수 있다. 이어서, 추천 엔진(220)에 의해 참조되는 데이터는 태깅된 아이템과 관련된 추천 또는 제안되는 콘텐츠를 식별하는 데 사용될 수 있다.
단지 예로서, 추천 엔진(220)은 사용자가 태깅 인에이블드 콘텐츠를 보고 있는 시간, 태깅 인에이블드 콘텐츠를 보는 데 사용되는 장치의 타입 및/또는 사용자가 태깅 인에이블드 콘텐츠를 보고 있는 시간에서의 장치의 위치를 이용하여, 태깅된 아이템과 관련된 추천들을 식별할 수 있다. 태깅된 아이템과 관련된 태깅 인에이블드 콘텐츠를 보는 시간 및 위치에 기초하여, 추천 엔진(220)은 사용자가 관심을 가질 수 있는 영화와 같은 다른 미디어 콘텐츠를 제안 또는 추천할 수 있다. 이와 관련하여, 제안되는 미디어 콘텐츠는 특정 시간에 로컬 영화관에서 상영되고 있는 특정 영화일 수 있다.
알 수 있듯이, 추천 엔진(220)은 콘텐츠 데이터 스토어(236)와 같은 데이터 스토어를 참조하여, 제안 또는 추천되는 콘텐츠를 식별, 참조 또는 탐색할 수 있다. 따라서, 추천 엔진(220)은 콘텐츠 데이터 스토어(236)와 연계하여 (예로서, 질의의 형태로 수신되는) 태그-아이템 데이터, 아이템-상황 데이터 및/또는 사용자 데이터를 이용하여, 사용자 장치(204)의 사용자에 대해 추전 또는 제안되는 콘텐츠(예로서, 미디어 콘텐츠 또는 관련 데이터)를 식별할 수 있다.
검색 엔진(222)은 태깅된 아이템과 관련된 데이터 또는 정보를 제공한다. 이와 관련하여, 검색 엔진(222)은 아이템 기반 데이터, 아이템-상황 데이터, 사용자 데이터 등에 기초하여 태깅된 아이템과 관련된 임의의 상세들을 제공할 수 있다. 일 실시예에서, 검색 엔진(222)은 사용자 장치(204)로부터 수신된 (예로서, 질의 형태의) 태그-아이템 데이터, 아이템-상황 데이터 및/또는 사용자 데이터를 이용하여, 태깅된 아이템과 관련된 콘텐츠를 식별 또는 결정한다. 대안으로서 또는 추가로, 검색 엔진(222)은 (예로서, 질의 형태로) 사용자 장치(240)로부터 수신된 데이터를 이용하여, 추가적인 데이터(예로서, 태그-아이템 데이터, 아이템-상황 데이터 및/또는 사용자 데이터)를 식별 또는 인식한다. 예를 들어, 검색 엔진(222)은 아이템 식별자 및 사용자 식별자를 수신한 후에 식별자들을 이용하여 다른 태그-아이템 데이터 및 사용자 데이터를 각각 참조 또는 탐색할 수 있다. 이어서, 검색 엔진(222)에 의해 참조되는 데이터는 태깅된 아이템과 관련된 콘텐츠를 식별하는 데 사용될 수 있다.
단지 예로서, 검색 엔진(222)은 사용자에 의해 과거에 태깅된 아이템들과 함께 인스턴트 태깅된 아이템의 식별자를 이용하여, 인스턴트 태깅된 아이템과 관련된 콘텐츠를 식별할 수 있다. 현재 태깅된 아이템 및 사용자에 의해 이전에 태깅된 아이템들에 기초하여, 검색 엔진(222)은 인스턴트 태깅된 아이템과 관련된, 그 안에 포함된 검색 결과들 또는 정보를 식별할 수 있다. 이와 관련하여, 검색 엔진(222)에 의해 식별된 관련 콘텐츠 데이터는 태깅된 아이템의 브랜드, 태깅된 아이템에 대한 정보를 포함하는 웹사이트에 대한 URL, 태깅된 아이템이 위치할 수 있는 위치 또는 스토어, 태깅된 아이템의 가격, 태깅된 아이템의 설명, 태깅된 아이템의 상세, 태깅된 아이템의 이미지, 태깅된 아이템과 관련된 오디오 등일 수 있다.
알 수 있듯이, 검색 엔진(222)은 검색 데이터 스토어(234)와 같은 데이터 스토어를 참조하여, 관련 콘텐츠를 식별, 참조 또는 탐색할 수 있다. 따라서, 검색 엔진(222)은 검색 데이터 스토어(234)와 연계하여 (예로서, 질의 형태로 수신된) 태그-아이템 데이터, 아이템-상황 데이터 및/또는 사용자 데이터를 이용하여, 사용자 장치(204)의 사용자에 대한 관련 데이터(예로서, 검색 결과들 또는 그의 부분들)를 식별할 수 있다. 알 수 있듯이, 검색 엔진(222)은 인터넷 검색 엔진의 형태를 가질 수 있다. 예를 들어, 워싱턴 레드먼드의 마이크로소프트사에 의해 제공되는 BING 검색 엔진은 널리 알려진 상용 엔진이다.
광고 엔진(224)은 광고의 형태로 관련 콘텐츠 데이터를 제공한다. 이와 관련하여, 광고 엔진(224)은 제품 또는 서비스를 판매 촉진하는 광고와 관련된 임의의 정보를 제공할 수 있다. 광고는 예를 들어 제품 및/또는 서비스를 제공하는 엔티티의 지시; 제품 및/또는 서비스를 판매 촉진하는 쿠폰, 거래 또는 인센티브 등을 포함한다. 알 수 있듯이, 광고는 광고 엔티티와 같은 제삼자에 의해 제출될 수 있다. 따라서, 광고 엔진(224)은 태깅된 아이템에 대응하는 광고와 관련된 임의의 상세들을 제공할 수 있다. 일 실시예에서, 검색 엔진(222)은 사용자 장치(204)로부터 수신된 (예로서, 질의 형태의) 태그-아이템 데이터, 아이템-상황 데이터 및/또는 사용자 데이터를 이용하여, 태깅된 아이템과 관련된 광고 콘텐츠를 식별 또는 결정한다. 대안으로서 또는 추가로, 광고 엔진(2240은 (예로서, 질의 형태로) 사용자 장치(204)로부터 수신된 데이터를 이용하여, 추가적인 데이터(예로서, 태그-아이템 데이터, 아이템-상황 데이터 및/또는 사용자 데이터)를 식별 또는 인식한다. 예를 들어, 광고 엔진(224)은 아이템 식별자 및 사용자 식별자를 수신한 후에 식별자들을 이용하여 다른 태그-아이템 데이터 및 사용자 데이터를 각각 참조 또는 탐색할 수 있다. 이어서, 광고 엔진(224)에 의해 참조된 데이터는 태깅된 아이템과 관련된 콘텐츠를 식별하는 데 사용될 수 있다.
단지 예로서, 광고 엔진(224)은 사용자에 의해 과거에 태깅된 아이템들과 함께 인스턴트 태깅된 아이템의 식별자를 이용하여, 인스턴트 태깅된 아이템과 관련된 광고를 식별할 수 있다. 현재 태깅된 아이템 및 사용자에 의해 이전에 태깅된 아이템들에 기초하여, 광고 엔진(224)은 인스턴트 태깅된 아이템과 관련된 광고(들)를 식별할 수 있다. 이와 관련하여, 광고 엔진(224)에 의해 식별된 광고는 아이템이 구매될 수 있는 스토어의 지시, 아이템의 판매 촉진, 아이템에 대한 쿠폰 등일 수 있다.
알 수 있듯이, 광고 엔진(224)은 광고 데이터 스토어(232)와 같은 데이터 스토어를 참조하여, 관련 광고들을 식별, 참조 또는 탐색할 수 있다. 따라서, 광고 엔진(224)은 광고 데이터 스토어(232)와 연계하여 (예로서, 질의 형태로 수신된) 태그-아이템 데이터, 아이템-상황 데이터 및/또는 사용자 데이터를 이용하여, 사용자 장치(204)의 사용자에 대한 관련 콘텐츠(예로서, 검색 결과들 또는 그의 부분들)를 식별할 수 있다.
알 수 있듯이, 임의의 수의 엔진을 이용하여, 관련 콘텐츠를 검색할 수 있다. 예를 들어, 사용자 장치(204)는 질의 및/또는 데이터를 임의의 엔진 또는 엔진들의 조합(예로서, 추천 엔진(220), 검색 엔진(222), 광고 엔진(224) 등)으로 전송할 수 있다. 일부 예들에서, 사용자 장치(204)는 관련 콘텐츠를 요청할 엔진 또는 엔진들의 세트를 결정할 수 있다. 다른 예들에서, 관련 콘텐츠 시스템은 관련 콘텐츠를 요청할 엔진 또는 엔진들의 세트를 결정할 수 있다. 그러한 결정은 예를 들어 아이템 또는 아이템의 타입 또는 그와 관련된 메타데이터에 기초하여 이루어질 수 있다.
제삼자 태깅 특징을 참조하면, 전술한 바와 같이, 제삼자 태깅 특징은 사용자 장치(204)에 적용될 수 있다. 그러한 특징의 인에이블은 사용자 장치(204)의 사용자에 의해 지시되거나, 자동으로 적용될 수 있다(예로서, 디폴트 설정). 제삼자 태깅 특징의 구현은 사용자가 제삼자(예로서, 사용자와 다른 개인 또는 엔티티)에 의해 태깅된 아이템들을 인식하는 것을 가능하게 한다. 일반적으로, 제삼자는 사용자 장치로부터 분리된 장치를 이용하여 아이템들을 태깅한다. 일부 예들에서, 제삼자는 광고주이다. 다른 예들에서, 제삼자는 네트워크 콘택이다. 네트워크 콘택은 네트워크 또는 콘택 서비스를 통한 사용자의 콘택인 개인을 지칭한다. 예를 들어, 콘택은 이메일, 어드레스 북, 인스턴트 메시징, 소셜 네트워크 등과 같은 애플리케이션을 통해 사용자와 접속될 수 있다. 일부 실시예들에서, 사용자는 사용자가 관심을 가진 특정 제삼자(들)를 지시할 수 있다. 예를 들어, 사용자는 그가 광고주들로부터, 네트워크 콘택들로부터, 특정 광고주(들)로부터, 특정 네트워크 콘택(들)으로부터, 임의의 광고주 또는 네트워크 콘택(들)으로부터, 기타 등등으로부터 태깅된 아이템들을 보기를 원한다는 것을 지시할 수 있다.
구현에서, 제삼자는 컴퓨팅 장치를 통해 미디어 콘텐츠 내의 아이템들의 태깅을 개시할 수 있다. 이와 관련하여, 태깅 인에이블드 콘텐츠(212)와 같은 태깅 인에이블드 콘텐츠가 제삼자와 관련된 컴퓨팅 장치에 제공된다. 예를 들어, 콘텐츠 제공자(202)는 태깅 인에이블드 콘텐츠(212)를 광고주 장치(206) 및/또는 네트워크 콘택 장치(208)에 제공할 수 있으며, 따라서 대응하는 제삼자는 태깅 인에이블드 콘텐츠 내의 아이템들을 태깅할 수 있다. 예를 들어, 광고주는 광고주 장치(206)를 통해 태깅 인에이블드 콘텐츠 내의 아이템들의 태깅을 개시하고, 네트워크 콘택은 네트워크 콘택 장치(208)를 통해 태깅 인에이블드 콘텐츠 내의 아이템들의 태깅을 개시한다. 제삼자는 예를 들어 사용자 장치(204)의 사용자에 의해 제공되는 태깅 제스처들과 관련하여 위에서 더 충분히 설명된 것과 같은 임의의 방식으로 아이템들을 태깅할 수 있다. 다른 예에서, 제삼자는 태깅 인에이블드 콘텐츠를 사용하지 않고서 태깅된 아이템들을 제공하거나 특정 아이템들을 태깅하기 위한 선호를 지시할 수 있다. 예를 들어, 광고주는 특정 미디어 콘텐츠 내의 임의의 "모자들"을 태깅하고, 임의의 미디어 콘텐츠 내의 임의의 "모자들"을 태깅하는 것 등을 위한 지시를 제공할 수 있다.
제삼자가 아이템에 대한 태그를 개시할 때, 아이템은 아이템 내의 특정 관심 대상을 지시하도록 태깅된다. 일 실시예에서, 태깅된 아이템과 관련된 태그-아이템 데이터가 식별되고, 관련 콘텐츠 시스템(210)에 제공된다. 다른 실시예에서, 태깅된 아이템 또는 그의 지시가 관련 콘텐츠 시스템(210)에 제공된 후에 아이템과 관련된 태그-아이템 데이터를 식별하는 데 사용된다. 유사하게, 제삼자에 의해 태깅된 아이템과 관련된 아이템-상황 데이터 및/또는 제삼자 데이터가 (예로서, 제삼자 장치 또는 관련 콘텐츠 시스템(210)에서) 식별될 수 있다. 제삼자 데이터는 제삼자에 대응하는 임의의 데이터를 지칭한다. 제삼자 데이터는 예를 들어 제삼자 식별자; GPS 데이터와 같은 제삼자 장치의 위치; 제삼자의 하나 이상의 과거 액션들 및/또는 세션들(예로서, 이전에 태깅된 아이템들 또는 태깅된 아이템들을 갖는 미디어 콘텐츠); 제삼자 장치의 파라미터들 또는 속성들(예로서, 장치가 이동 장치인지의 여부, 이동 장치의 타입, 장치의 능력(들) 등); 장치와 관련된 가정의 지리 위치; 제삼자 인구 통계; 제삼자 선호; 제삼자의 소셜 네트워크, 콘택, 전화 로그, 텍스트 메시지 로그, 관계 및 멤버쉽으로부터 수집된 소셜 데이터; 제삼자 장치에 저장된 문서, 파일, 이미지, 사진, 이메일 또는 임의의 다른 콘텐츠 또는 데이터; 제삼자에 의해 취해진 액션(들); 아이템 태깅의 시간 또는 위치; 태깅된 아이템의 제삼자 레이팅; 제삼자에게 제공된 임의의 관련 콘텐츠 등일 수 있다. 사용자 장치와 관련하여 위에서 더 충분히 설명된 바와 같이, 태그-아이템 데이터, 아이템-상황 데이터 및/또는 제삼자 데이터가 식별될 수 있다.
태깅된 아이템 및/또는 태그-아이템 데이터, 제삼자 데이터 및 아이템-상황 데이터의 지시가 관련 콘텐츠 시스템(210)으로 전송되고, 그와 연계하여 저장될 수 있다. 예를 들어, 네트워크 콘택들과 관련된 태깅된 아이템(들)의 지시를 포함하는 태그-아이템 데이터가 네트워크 데이터 스토어(230)에 저장될 수 있으며, 광고주들과 관련된 태깅된 아이템(들)의 지시를 포함하는 태그-아이템 데이터가 광고 데이터 스토어(232)에 저장될 수 있다. 그러한 데이터는 특정 아이템을 태깅한 제삼자의 지시와 연계하여 저장될 수 있다. 일부 예들에서, 제삼자 장치에 의해 수집된 아이템과 관련된 모든 데이터가 저장될 수 있다. 다른 예들에서, 제삼자 장치에 의해 수집된 아이템과 관련된 데이터의 일부가 저장될 수 있다. 예를 들어, 관련 콘텐츠 시스템(210)은 태깅된 아이템의 지시만을 저장할 수 있다. 다른 예들에서, 관련 콘텐츠 시스템(210)은 태깅된 아이템의 지시, 제삼자 데이터 등을 저장할 수 있다.
사용자 장치(204)를 다시 참조하면, 보고 있거나 볼 미디어 콘텐츠의 지시가 관련 콘텐츠 시스템(210)으로 전송될 수 있다. 예를 들어, 사용자가 제삼자 태깅 특징의 인에이블을 지시하고/하거나 볼 미디어 콘텐츠를 선택할 때, 미디어 콘텐츠의 지시가 전송될 수 있다. 그러한 경우에, 관련 콘텐츠 시스템(210)은 사용자가 관심을 가진 임의의 대응하는 제삼자가 사용자 장치(204)에서 사용자가 보고 있는 미디어 콘텐츠 내의 임의의 태깅된 아이템들과 관련되는지를 식별할 수 있다. 예를 들어, 사용자 장치의 사용자가 네트워크 콘택들에 의해 태깅된 아이템들을 보기를 원하는 것으로 가정한다. 그러한 경우, 소셜 네트워크 엔진(226)은 임의의 네트워크 콘택들(또는 특정 네트워크 콘택(들))이 사용자가 보고 있는 미디어 콘텐츠 내의 임의의 태깅된 아이템들과 관련되는지를 식별할 수 있다. 이와 관련하여, 소셜 네트워크 엔진(226)은 네트워크 데이터 스토어(230)에 액세스하여, 네트워크 콘택에 의해 태깅된 임의의 아이템들을 식별할 수 있다. 유사하게, 사용자 장치의 사용자가 광고주들에 의해 태깅된 아이템들을 보기를 원하는 것으로 가정한다. 그러한 경우, 광고 엔진(224)은 임의의 광고주들이 사용자가 보고 있는 미디어 콘텐츠 내의 임의의 아이템들을 태깅했는지를 식별할 수 있다. 이와 관련하여, 광고 엔진(224)은 광고 데이터 스토어(232)에 액세스하여, 광고주에 의해 태깅된 임의의 아이템들을 식별할 수 있다.
적어도 하나의 아이템이 관심 있는 제삼자에 의해 태깅된 것으로 식별될 때, 관련 콘텐츠 시스템(210)은 사용자 장치(204)에 적절한 정보를 제공할 수 있다. 이와 관련하여, 관련 콘텐츠 시스템(210)은 관련 콘텐츠를 사용자 장치(204)에 제공할 수 있다. 그러한 관련 콘텐츠 데이터는 제삼자에 의해 태깅된 아이템에 대응하는 임의의 데이터일 수 있다. 예를 들어, 관련 콘텐츠 데이터는 태깅된 아이템의 지시, 태깅된 아이템의 시간, 태깅된 아이템과 관련하여 제삼자에 의해 취해진 액션, 추천, 검색 결과, 광고, 아이템을 태깅한 제삼자의 지시 등일 수 있다. 일 실시예에서, 사용자 장치(204)에 제공되는 태깅된 아이템과 관련된 콘텐츠는 제삼자에게 제공되는 것과 동일한 콘텐츠일 수 있다. 예를 들어, 네트워크 콘택이 네트워크 콘택 장치(208)를 통해 제1 미디어 콘텐츠 내의 아이템을 태깅하고, 그에 응답하여 태깅된 아이템과 관련된 광고를 보는 것으로 가정한다. 그러한 경우, 관련 콘텐트(예로서, 광고 또는 광고의 지시)가 저장될 수 있으며, 따라서 사용자 장치(204)의 사용자가 제삼자(들)에 의해 태깅된 아이템들을 보기 위한 소망을 지시할 때, 동일한 광고가 제삼자에 의해 태깅된 아이템과 연계하여 사용자가 볼 수 있도록 사용자 장치(204)에 제공된다.
다른 실시예에서, 사용자 장치(204)에 제공되는 태깅된 아이템과 관련된 콘텐츠는 제삼자에게 제공되는 콘텐츠와 무관할 수 있다. 예를 들어, 네트워크 콘택이 네트워크 콘택 장치(208)를 통해 제1 미디어 콘텐츠 내의 아이템을 태깅하고, 이에 응답하여 태깅된 아이템과 관련된 광고를 보는 것으로 가정한다. 이제, 사용자 장치(204)의 사용자가 제삼자(들)에 의해 태깅된 아이템들을 보기를 원하는 것으로 가정한다. 그러한 경우, 제삼자에 의해 태깅된 아이템과 관련된 사용자 장치(204)를 통해 사용자에게 제공되는 광고 또는 다른 데이터는 제삼자에게 제공되는 광고와 다를 수 있다. 사용자 장치(204)의 사용자에게 제공되는 광고는 사용자 장치(204)의 사용자와 더 관련되거나 적합할 수 있다. 이와 관련하여, 관련 콘텐츠 시스템(210)은 사용자 장치(204)의 사용자와 관련된 사용자 데이터를 이용하여, 사용자에 더 고유한 관련 콘텐츠를 (예로서, 추천 엔진, 검색 엔진, 광고 엔진 등을 통해) 식별할 수 있으며, 제삼자에게 제공된 광고는 제삼자의 사용자 데이터(예로서, 제삼자 장치의 위치, 제삼자 장치의 타입 등)에 기초했을 수 있다.
따라서, 그러한 실시예에서, 제삼자 태그들을 보기 위한 의도 또는 요청을 통신하는 것에 더하여, 사용자 데이터 또는 다른 데이터도 사용자 장치(204)로부터 관련 콘텐츠 시스템(210)으로 통신될 수 있다. 대안으로서, 관련 콘텐츠 시스템(210)은 그러한 데이터(예로서, 사용자 데이터 스토어(228)로부터의 사용자 데이터)를 참조할 수 있다.
사용자 장치(204)에 제공되는 제삼자 태깅 데이터는 임의의 데이터일 수 있다. 예를 들어, 제삼자에 의해 태깅된 아이템의 지시(예로서, 아이템 식별자)가 사용자 장치(204)에 제공될 수 있다. 이 경우, "모자" 아이템이 사용자 장치(204)를 통해 재생되는 미디어 콘텐츠 내에서 시각적으로 식별될 수 있으며, 따라서 사용자는 "모자"를 선택하고, 아마도 "네트워크 콘택"이 이 아이템을 태깅했다는 통지를 볼 수 있다. 다른 예에서, 시각적으로 식별된 "모자"를 선택할 때, 관련 콘텐츠가 사용자에게 제공될 수 수 있으며, 그러한 관련 콘텐츠는 제삼자에게 표시되는 것과 동일할 수 있거나, (예로서, 장치의 위치, 장치의 태깅 이력 등과 같은 사용자의 사용자 데이터를 이용하여) 사용자 장치(204)의 사용자에 더 적합할 수 있다. 다른 예에서, 아이템을 태깅한 다수의 친구 또는 특정 친구(들)의 지시가 표시될 수 있다. 또 다른 예에서, 아이템과 관련하여 제삼자에 의해 수행된 액션이 제공될 수 있다(예로서, "아담이 이 아이템을 구매하였다" 또는 "아담이 2011년 9월 22일 오후 12시 15분에 페이스북(등록상표)에 이 모자를 게시하였다"). 이러한 예들은 본 발명의 범위를 한정하는 것으로 의도하지 않으며, 본 발명자들은 임의 수의 데이터가 사용자에게 제공될 수 있다는 것을 안다.
따라서, 사용자 장치(204)가 그러한 관련 콘텐츠 데이터를 수신할 때, 사용자 장치(204)는 보고 있는 미디어 콘텐츠와 관련된 적절한 정보를 표시할 수 있다. 그러한 정보는 미디어 콘텐츠 상에 오버레이되거나 미디어 콘텐츠와 통합될 수 있다. 정보는 디스플레이 스크린 상의 임의의 위치에 제공될 수 있다. 예를 들어, 정보는 디폴트 위치, 결정된 위치, 제삼자에 의해 태깅된 아이템 근처 또는 그에 근접하게 또는 기타 등등에 제공될 수 있다.
알 수 있듯이, 제삼자들에 의해 태깅된 아이템들은 사용자 장치(204)의 사용자에 의해 실시간으로 실현될 수 있다. 이러한 방식으로, 관련 콘텐츠 시스템(210)이 사용자 장치(204)가 특정 미디어 콘텐츠를 보고 있다는 것을 인식할 때 그리고 제삼자와 연계하여 태깅되고 있는 동일 미디어 콘텐츠의 아이템의 지시를 수신할 때, 제삼자에 의해 개시된 태그의 지시가 즉시 사용자 장치(204)에 제공될 수 있다.
대안 구현에서, 제삼자에 의한 태그의 지시를 수신할 때, 관련 콘텐츠 시스템(210)은 태깅된 아이템이 사용자 장치(204)에 적용될 수 있는지를 평가하지 않고서 적절한 데이터를 사용자 장치(204)에 제공할 수 있다. 그러한 구현에서, 사용자 장치(204)는 관련 콘텐츠 데이터(예로서, 태깅된 아이템의 지시)를 수신하고, 데이터를 저장하고/하거나, 그러한 데이터가 현재 재생되는 미디어 콘텐츠에 현재 적용될 수 있는지를 식별할 수 있다.
예시적인 사용 시나리오
도 3-9는 아이템의 제스처 기반 태깅을 이용하여 관련 콘텐츠를 보기 위한 예시적인 가능한 시나리오를 나타낸다. 사용 시나리오들은 편의를 위해 도 2의 예시적인 환경(200)을 참조하여 설명된다. 그러나, 사용 시나리오들은 도 2의 예시적인 환경(200)을 이용한 사용으로 한정되지 않는다.
도 3은 사용자(302)가 디스플레이 스크린(308)과 관련된 클라이언트 장치(306)를 통해 태깅 인에이블드 콘텐츠(304)를 보고 있는 일례를 나타낸다. 제공되는 콘텐츠는 텍스트, 이미지, 오디오 콘텐츠 및/또는 비디오의 표현을 포함할 수 있다. 일부 실시예들에서, 미디어 콘텐츠는 웹 브라우저, 이메일 애플리케이션, 뉴스 애플리케이션 등과 같은 웹 인에이블드 애플리케이션을 통해 표시될 수 있다. 다른 실시예들에서, 애플리케이션은 웹 인에이블되지 않는 애플리케이션일 수 있다. 본 명세서에서 설명되는 제스처 기반 태깅 기술들은 사용자에게 콘텐츠를 표시하거나 제공하는 임의의 애플리케이션에 적용될 수 있다.
이전에, 사용자(302)가 표시되는 콘텐츠에 대해 더 많이 학습하는 데 관심이 있는 경우, 사용자는 그가 현재 보고 있는 콘텐츠를 벗어나거나 최소화하고, 웹 브라우저를 열어서 검색을 수행하거나 다른 컴퓨팅 장치를 이용하여 검색을 수행해야 했을 것이다. 본 명세서에서 설명되는 제스처 기반 태깅 기술들은 사용자가 아이템의 태그를 개시하는 것을 가능하게 하며, 따라서 사용자 또는 제삼자는 태깅된 아이템과 관련된 정보를 볼 수 있다.
도 4에 도시된 바와 같이, 사용자(402)는 미디어 콘텐츠(404) 내의 특정 아이템(410)에 관심이 있다. 도 5는 제스처 기반 태깅의 예시적인 프로세스를 나타내며, 디스플레이(500) 상에 제공된 특정 아이템(510)을 갖는 콘텐츠(514)의 영역을 정의하는 예시적인 태깅 제스처(512)를 나타낸다. 도시된 예에서, 사용자(502)의 태깅 제스처는 타원 움직임 또는 대체로 타원인 움직임, 원형 움직임 또는 대체로 원형인 움직임, 또는 자유 형태로 한정된 움직임과 같이 아이템을 한정하거나 실질적으로 한정하는 형상을 포함한다.
도시된 예에서, 사용자 장치의 제스처 추적 모듈은 사용자(502)에 의한 태깅 제스처(512)의 입력에 응답하여 디스플레이(500) 상에 태깅 제스처의 콘텐츠(514)의 영역의 라인 표현을 렌더링할 수 있다. 태깅 제스처의 표현은 사용자(502)에 의해 입력된 태깅 제스처(512)의 움직임을 근사화하며, 사용자가 방금 입력한 제스처의 크기 및 형상의 시각적 피드백을 사용자에게 제공한다. 전술한 바와 같이, 하이라이팅 및/또는 확대 렌즈와 같은 다른 타입의 시각적 표현들을 사용하여, 태깅될 아이템을 식별할 수 있다.
아이템(510)을 갖는 콘텐츠(514)의 영역은 검색의 범위를 정의할 수 있으며, 검색 질의를 형성하는 데 사용될 수 있다. 형상은 형상이 영역 주위에 완전한 경계를 형성하지 않는 경우에도 영역을 실질적으로 한정한다(예로서, 형상의 시작 및 종료 포인트들 사이에 갭이 존재하며, 따라서 형상은 적어도 부분적으로 한정되지 않는다). 일례에서, 형상은 경계 내의 갭이 제스처의 전체 길이의 일부보다 작은 경우에 영역을 실질적으로 한정한다고 할 것이다. 다른 실시예들에서, 태깅 제스처는 임의의 형상의 움직임을 포함할 수 있다. 태깅 제스처가 영역을 한정하지 않거나 실질적으로 한정하지 않는 경우에, 제스처는 콘텐츠의 영역을 태깅 제스처에 의해 터치되거나 태깅 제스처에 근접하거나 태깅 제스처에 의해 오버랩되거나 태깅 제스처와 관련되는 영역으로서 정의할 수 있다.
콘텐츠(514)의 선택된 영역 내에 표시되는 아이템(510)은 (예로서, 콘텐츠와 관련된 메타데이터를 이용하여) 관련 태그-아이템 데이터와 함께 식별되고, 질의를 형성하는 데 사용될 수 있다. 검색 질의 형성 및/또는 태그-아이템 데이터의 식별의 완료에 응답하여, 사용자 장치는 검색 질의 및/또는 태그-아이템 데이터를 검색 엔진 또는 검색 서비스에 자동으로 제출할 수 있다. 추가로 또는 대안으로서, 사용자 장치는 검색 질의 디스플레이 상에서 사용자에게 제공하고, 사용자에게 검색 질의를 확인 및/또는 변경하도록 요청할 수 있다. 다른 실시예들에서, 사용자 장치는 복수의 잠재적 검색 질의를 사용자에게 제공하고, 사용자로 하여금 검색을 수행하는 데 사용할 복수의 검색 질의 중 하나를 선택하게 할 수 있다. 일부 실시예들에서, 사용자 장치는 또한 사용자로 하여금 디스플레이 상에 제공된 검색 질의 또는 잠재적 검색 질의들을 변경하게 할 수 있다. 사용자 장치는 선택된 검색 질의 또는 변경된 검색 질의를 검색 엔진 또는 검색 서비스에 제출할 수 있다.
일 실시예에서, 관련 콘텐츠 시스템(예로서, 도 2의 검색 엔진(222), 도 2의 추천 엔진(220), 도 2의 광고 엔진(224))은 선택된 아이템(510)과 관련된 콘텐츠를 사용자 장치로 반환할 수 있으며, 이어서 사용자 장치는 관련 콘텐츠를 사용자에게 제공할 수 있다. 관련 콘텐츠 시스템(210)으로부터 관련 콘텐츠 데이터를 수신할 때, 사용자 장치(204)는 관련 콘텐츠를 디스플레이 상에 나타낼 수 있다. 따라서, 도 6에 도시된 바와 같이, 사용자 장치(606)는 태깅 인에이블드 콘텐츠(604)와 관련된 콘텐츠인 관련 콘텐츠 데이터(616)를 표시할 수 있다. 도 6에서, 관련 콘텐츠 데이터(616)는 광고를 포함하지만, 임의의 타입의 데이터일 수 있다. 예를 들어, 관련 콘텐츠는 제안된 제품, 서비스, 아이템; 아이템과 관련된 정보 등일 수 있다.
일부 구현들에서, 관련 콘텐츠는 도 5의 태깅 제스처가 수신된 직후에 표시될 수 있다. 일 실시예에서, 사용자 장치(606)는 표시된 콘텐츠(604)의 일부 상에 관련 콘텐츠 데이터(616)를 오버레이할 수 있다. 이것은 사용자가 이전에 사용한 애플리케이션 또는 작업을 벗어나거나 최소화하지 않고서 관련 콘텐츠를 보는 것을 가능하게 한다. 한정이 아니라 예로서, 관련 콘텐츠 데이터를 포함하는 슬라이드 아웃 윈도가 표시된 콘텐츠의 일부 상에 오버레이될 수 있다. 일부 실시예들에서, 사용자 장치는 태깅 제스처에 의해 정의된 콘텐츠의 영역을 포함하지 않는 표시된 콘텐츠의 일부 상에 관련 콘텐츠를 오버레이할 수 있다. 일 실시예에서, 사용자에게 제공되는 관련 콘텐츠는 관련 콘텐츠 시스템으로부터 수신된 검색 결과들의 간이 버전일 수 있다. 예를 들어, 제공되는 관련 콘텐츠 데이터는 타이틀만을 또는 타이틀과 제한된 수의 문자들을 포함할 수 있다.
관련 콘텐츠를 볼 때, 사용자는 검색의 범위를 확장, 축소, 정밀화, 리포커스 또는 변경하기를 원할 수 있다. 예를 들어, 사용자는 오리지널 태깅 제스처가 사용자가 관련 정보를 원한 아이템을 포함하지 않는 것으로 결정할 수 있다. 그 경우, 사용자는 의도된 아이템을 포함하도록 검색을 확장하기를 원할 수 있다.
단지 예로서, 검색의 범위는 오리지널 태깅 제스처에 더하여 하나 이상의 새로운 태깅 제스처를 검출하는 것에 응답하여 변경될 수 있다. 예를 들어, 사용자는 의도된 아이템을 캡처할 콘텐츠의 제2 영역을 정의하는 제2 태깅 제스처를 수행할 수 있다. 제스처 검출 모듈은 제2 제스처를 검출하고, 제스처 추적 모듈에 표시를 위해 콘텐츠의 제2 영역의 제2 표현을 출력하도록 지시한다. 이어서, 사용자 장치는 콘텐츠의 제1 영역 및/또는 콘텐츠의 제2 영역에 적어도 기초하여 검색 질의 및/또는 태그-아이템 데이터를 재형성할 수 있다. 일부 실시예들에서, 콘텐츠의 제1 영역에 포함된 정보 및 콘텐츠의 제2 영역에 포함된 정보는 새로운 검색 질의의 형성에 있어서 동일한 가중치 또는 상이한 가중치들을 부여받을 수 있다. 다른 실시예들에서, 사용자 장치는 콘텐츠의 제2 영역에 포함된 정보를 이용하여, 오리지널 검색 결과들 내로부터 결과들의 서브세트를 검색함으로써 검색을 정밀화할 수 있다.
도 6에 도시된 바와 같이, 관련 콘텐츠 데이터(616)는 하나 이상의 아이템 액션(618)의 세트와 함께 표시될 수 있다. 아이템 액션들(618)은 선택된 아이템과 연계하여 개시 또는 수행될 수 있는 이용 가능 액션들을 사용자에게 제공한다. 단지 예로서, 선택된 아이템(610)과 관련된 아이템 액션들(618)은 선택시에 후속 사용(예로서, 아이템의 후속 구매, 아이템의 후속 관찰 등)을 위해 아이템의 지시지를 저장할 수 있는 저장 액션 아이템(620)을 포함한다. 선택되는 경우에, 송신 액션 아이템(622)은 아이템의 지시 또는 그와 관련된 관련 콘텐츠를 송신할 수 있다. 예를 들어, 송신 액션 아이템(622)의 선택시에, 아이템의 "애호(like)"가 페이스북(등록상표)에 게시될 수 있거나, 아이템이 이메일 내에서 사용자 또는 다른 콘택 등에게 송신될 수 있다. 그러한 실시예에서, 도 2의 관련 콘텐츠 시스템(210) 또는 사용자 장치(204)는 검색 질의 또는 태그-아이템 데이터를 해석하고, 사용자가 완료하기(예를 들어, 예약을 행하고, 아이템을 구매하는 것 등)를 원할 수 있는 작업을 식별할 수 있다. 관련 콘텐츠 시스템 또는 사용자 장치는 또한 검색 질의를 해석하고, 아이템을 갖는 콘텐츠의 영역과 관련된 상황 정보에 기초하고/하거나 사용자 데이터에 기초하여 사용자가 완료하기를 원할 수 있는 작업을 식별할 수 있다. 예를 들어, 관련 콘텐츠 시스템(210)은 검색 질의 내의 식당의 이름의 식별 및/또는 상황 정보의 식별에 기초하여 사용자가 식당의 위치를 찾고 있다는 것을 식별할 수 있다. 다른 예로서, 사용자 장치는 사용자에 의해 개시된 과거의 액션들 또는 태그들에 기초하여 추천들 및/또는 광고들을 수신 및/또는 제공할 수 있다.
도 7은 참조 번호 724에 의해 지시되는 바와 같은 저장 액션 아이템의 사용자 선택을 나타낸다. 그러한 선택은 임의 수의 방식으로 수행될 수 있다. 예를 들어, 사용자는 태깅 제스처들을 참조하여 전술한 임의의 방법을 이용하여 액션 아이템을 선택할 수 있다. 아이템 또는 그와 관련된 정보의 저장시에, 사용자는 나중에 아이템을 보거나, 아이템과 관련된 액션을 수행할 수 있다.
예를 들어, 도 8에 도시된 바와 같이, 쿠폰 또는 거래와 같은 광고(826)가 나중에(예로서, 사용자가 아이템을 갖는 미디어 콘텐츠를 볼 때) 관찰 및/또는 이용될 수 있다. 알 수 있듯이, 실시예들에서, 사용자는 임의의 사용자 장치(예로서, 이동 장치)를 이용하여 저장된 아이템 또는 그와 관련된 정보를 액세스, 관찰 또는 이용할 수 있다.
이 예를 계속하면, 도 5의 사용자(502)에 의한 태깅 제스처(512)의 검출하고, 이어서 태깅 제스처(512)와 관련된 아이템(510)을 태깅할 때, 다른 개인 또는 엔티티는 아이템과 관련된 콘텐츠를 볼 수 있다. 도 9를 참조하면, 다른 사용자(928)(즉, 태깅 제스처(512)를 수행한 사용자(502)와 다른 사용자)가 사용자(502)에 의해 관찰되고 있거나 이전에 관찰된 미디어 콘텐츠에 대응하는 미디어 콘텐츠(904)를 보고 있는 것으로 가정한다. 또한, 도 5의 사용자(502)에 의해 태깅된 아이템(510)이 미디어 콘텐츠(904) 내에서 사용자(928)에게 아이템(910)으로서 제공되는 것으로 가정한다. 미디어 콘텐츠(504) 내의 아이템(510)이 사용자(928)와 네트워크 콘택인 도 5의 사용자(502)에 의해 태깅된 것을 인식할 때, 사용자 장치(906)는 사용자(928)에 의한 관찰을 위해 아이템(910)과 관련된 콘텐츠(930)를 제공할 수 있다. 도 9는 그러한 관련 콘텐츠(932)를 아이템의 태깅을 개시한 사용자(들)의 지시로서 나타내지만, 그러한 관련 콘텐츠(930)는 임의 타입의 정보일 수 있다. 예를 들어, 도 5의 사용자(502)에 의해 선택되는 아이템(510)에 기초하여 사용자(928)에게 제공되는 관련 콘텐츠(930)는 아이템이 태깅 제스처(예로서, 아이템의 하이라이팅)에 따라 태깅되었다는 시각적 지시, 사용자(502)에게 제공된 콘텐츠와 동일한 아이템과 관련된 콘텐츠(예로서, 동일 광고, 추천, 검색 결과 또는 다른 관련 정보), 사용자(502)에게 제공된 콘텐츠와 다른 아이템과 관련된 콘텐츠(예로서, 상이한 광고, 추천, 검색 결과 또는 다른 관련 정보) 등일 수 있다.
예시적인 방법들
제스처 기반 검색을 수행하기 위한 예시적인 방법들이 도 10-16을 참조하여 설명된다. 이러한 예시적인 방법들은 컴퓨터 실행 가능 명령어들과 일반적으로 관련하여 설명될 수 있다. 일반적으로, 컴퓨터 실행 가능 명령어들은 특정 기능들을 수행하거나 특정 추상 데이터 타입들을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조, 절차, 모듈, 함수 등을 포함할 수 있다. 방법들은 통신 네트워크 또는 통신 클라우드를 통해 링크된 원격 처리 장치들에 의해 기능들이 수행되는 분산 컴퓨팅 환경에서도 실시될 수 있다. 분산 컴퓨팅 환경에서, 컴퓨터 실행 가능 명령어들은 메모리 저장 장치들을 포함하는 로컬 및 원격 컴퓨터 저장 매체들 양자 내에 위치할 수 있다.
예시적인 방법들은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합에서 구현될 수 있는 동작들의 시퀀스를 나타내는 논리 흐름 그래프 내의 블록들의 집합으로서 도시된다. 방법들이 설명되는 순서는 한정으로 해석되는 것을 의도하지 않으며, 임의 수의 설명되는 방법 블록들이 방법들 또는 대안 방법들을 구현하도록 임의의 순서로 결합될 수 있다. 게다가, 본 명세서에서 설명되는 본 발명의 사상 및 범위로부터 벗어나지 않고서 방법들로부터 개별 동작들이 생략될 수 있다. 소프트웨어와 관련하여, 블록들은 하나 이상의 프로세서에 의해 실행될 때 기재된 동작들을 수행하는 컴퓨터 명령어들을 나타낸다.
도 10은 태깅 인에이블드 콘텐츠를 생성하는 예시적인 방법(1000)을 나타낸다. 방법(1000)은 설명의 편의를 위해 도 2의 예시적인 콘텐츠 제공자(202)와 관련하여 설명되지만, 그러한 상황에서 수행되는 것으로 한정되지 않는다.
블록 1002에서, 아이템들을 갖는 미디어 콘텐츠가 참조된다. 참조할 특정 미디어 콘텐츠는 예를 들어 특정 미디어 콘텐츠를 보기 위한 사용자의 선택, 특정 미디어 콘텐츠의 자동 선택 등에 기초할 수 있다. 미디어 콘텐츠는 비디오와 같은 아이템들을 갖는 임의의 미디어 콘텐츠일 수 있다. 블록 1004에서, 적어도 하나의 아이템이 태깅 가능 아이템으로서 지정된다. 블록 1006에서, 태깅 가능 아이템(들)을 갖는 태깅 인에이블드 콘텐츠가 생성된다. 태깅 인에이블드 콘텐츠는 임의의 방식으로 생성될 수 있다. 예를 들어, 일 실시예에서, 미디어 콘텐츠와 관련된 메타데이터가 태깅 가능 아이템들의 지시를 포함하도록 구성될 수 있다. 블록 1008에서, 태깅 인에이블드 콘텐츠가 사용자에 의한 관찰을 위해 제공된다. 일부 실시예들에서, 태깅 인에이블드 콘텐츠는 네트워크를 통해 사용자 장치에 제공되며, 따라서 사용자 장치의 사용자는 태깅 인에이블드 콘텐츠를 볼 수 있다. 그러한 태깅 인에이블드 콘텐츠는 임의 시간에 제공될 수 있다. 예를 들어, 태깅 인에이블드 콘텐츠는 콘텐츠 제공자와 관련하여 저장될 수 있고, 태깅 인에이블드 콘텐츠를 송신하기 위한 사용자 장치로부터의 요청에 기초하여 사용자 장치에 제공될 수 있다. 태깅 인에이블드 콘텐츠는 사용자 장치에서 웹 브라우저 또는 미디어 플레이어와 같은 애플리케이션 내에 표시될 수 있다.
도 11은 아이템을 태깅하는 예시적인 방법(1100)을 나타낸다. 방법(1100)은 설명의 편의를 위해 도 2의 예시적인 사용자 장치(204)와 관련하여 설명되지만, 그러한 상황에서 수행되는 것으로 한정되지 않는다.
블록 1102에서, 태깅 인에이블드 미디어 콘텐츠가 제공된다. 이와 관련하여, 사용자는 태깅 인에이블드 콘텐츠를 볼 수 있다. 일부 예들에서, 태깅 인에이블드 콘텐츠는 태깅에 이용 가능한 아이템을 시각적으로 또는 청각적으로 지시할 수 있다. 예를 들어, 태깅 인에이블드 콘텐츠 내의 태깅 가능 아이템들은 그러한 아이템들과 관련된 콘텐츠가 제공될 수 있다는 것을 지시하기 위해 하이라이팅될 수 있다. 블록 1104에서, 태깅될 아이템을 지시하는 태깅 제스처가 검출된다. 실시예들에서, 태깅 제스처는 사용자가 관심을 갖는 아이템을 갖는 콘텐츠의 영역을 정의할 수 있다. 태깅 제스처는 터치 스크린 또는 터치 패드 상의 터치 입력, 이미지 캡처 장치에 의해 검출되는 신체 움직임 및/또는 사용자 입력 장치에 의해 제어되는 커서의 움직임을 포함할 수 있다. 태깅 제스처에 의해 정의되는 아이템 또는 콘텐츠 영역은 태깅 제스처에 의해 한정되거나 실질적으로 한정되는 영역, 태깅 제스처에 의해 터치되거나 그에 근접하거나 그에 의해 오버랩되는 영역을 포함할 수 있다. 일례에서, 태깅 제스처는 관심 있는 아이템을 한정하거나 실질적으로 한정하는 움직임 또는 실질적으로 원형인 움직임을 포함할 수 있다.
태깅 제스처의 검출에 응답하여, 블록 1106에서, 태깅 제스처에 의해 정의된 콘텐츠의 영역의 표현이 표시된 콘텐츠 상에 표시될 수 있다. 콘텐츠의 영역의 표현은 콘텐츠의 영역을 둘러싸는 라인, 콘텐츠의 영역의 하이라이팅 뷰 및/또는 콘텐츠의 영역의 확대 렌즈 뷰를 포함할 수 있다.
블록 1108에서, 태깅 제스처와 관련된 적어도 하나의 아이템이 식별된다. 이와 관련하여, 관심 있는 아이템이 태깅 인에이블드 미디어 콘텐츠와 관련된 메타데이터를 이용하여 식별될 수 있다. 그러한 메타데이터는 미디어 콘텐츠 내의 특정 위치들에 있는 태깅 가능 아이템들(예로서, 프레임, 시간, 위치 등)을 지시할 수 있다. 이와 관련하여, 태깅 제스처의 위치는 메타데이터에서 지시되는 바와 같은 아이템들의 위치와 매칭될 수 있다. 다른 실시예에서, 아이템은 (예로서, 사용자 장치에 위치하거나 사용자 장치로부터 떨어진) 이미지 인식 모듈을 이용하여 식별될 수 있다.
블록 1110에서, 식별된 아이템(들)이 태깅된다. 이와 관련하여, 선택된 아이템에 대한 사용자 관심의 지시가 지시되거나 지정된다. 예를 들어, 일 실시예에서, 미디어 콘텐츠와 관련된 메타데이터는 특정 아이템에 관심 있다는 것을 지시할 수 있다. 다른 실시예에서, 아이템은 메타데이터로부터 분리된 태그로서 지시될 수 있다. 태깅된 아이템(들)은 태깅된 아이템과 관련된 콘텐츠를 보는 데 사용될 수 있다. 이와 관련하여, 태깅된 아이템을 개시한 사용자 또는 제삼자는 태깅된 아이템과 관련된 콘텐츠를 볼 수 있다. 방법(1100)은 전술한 바와 같은 미디어 콘텐츠 내의 아이템들의 태깅과 관련하여 설명되지만, 태깅된 아이템은 앨범 타이틀 섬네일, 영화 포스터 섬네일 등과 같이 사용자가 관심 있는 디스플레이 상에 표시된 임의의 아이템일 수 있다.
도 12는 아이템과 관련된 콘텐츠를 보기 위해 제스처 기반 태깅을 이용하는 예시적인 방법(1200)을 나타낸다. 방법(1200)은 설명의 편의를 위해 도 2의 예시적인 사용자 장치(204)와 관련하여 설명되지만, 그러한 상황에서 수행되는 것으로 한정되지 않는다.
블록 1210에서, 미디어 콘텐츠를 보기 위한 지시가 수신된다. 블록 1212에서, 사용자 태깅 특징을 인에이블하기 위한 지시가 인식된다. 사용자 태깅 특징은 사용자로 하여금 사용자가 관심 있는 아이템들과 관련된 콘텐츠를 보는 것을 가능하게 한다. 일부 실시예들에서, 사용자는 미디어 콘텐츠를 보기 위한 지시 및/또는 사용자 태깅 특징을 인에이블하기 위한 지시를 제공할 수 있다.
블록 1214에서, 태깅 인에이블드 콘텐츠가 수신된다. 태깅 인에이블드 콘텐츠는 블록 1216에서 예를 들어 사용자 장치를 통해 사용자에게 제공된다. 일부 예들에서, 태깅 인에이블드 콘텐츠는 미디어 콘텐츠 내의 어느 아이템 또는 아이템들이 태깅 가능한지를 시각적으로 또는 청각적으로 구별할 수 있다. 이어서, 블록 1218에서, 태깅 제스처가 검출된다. 태깅 제스처는 사용자가 관심 있는 태깅 인에이블드 콘텐츠 내의 아이템을 지시한다. 이와 관련하여, 태깅 제스처는 사용자가 더 많은 정보를 보거나 액션(예로서, 아이템 구매)을 수행하기를 원하는 아이템을 지시할 수 있다.
블록 1220에서, 사용자가 관심 있는 아이템이 식별된다. 그러한 아이템은 제공된 태깅 인에이블드 콘텐츠와 관련된 메타데이터의 이용, 이미지 검출을 이용하는 이미지의 인식 등을 포함하지만 이에 한정되지 않는 임의의 방식으로 식별될 수 있다. 블록 1222에서, 사용자에 의해 선택 또는 지정된 아이템이 태깅된다. 따라서, 선택된 아이템은 사용자가 관심 있는 것으로 지정된다.
블록 1224에서, 태깅된 아이템과 관련된 태그-아이템 데이터가 참조된다. 그러한 태그-아이템 데이터는 예를 들어 제공된 태깅 인에이블드 콘텐츠 등과 관련된 메타데이터로부터 참조될 수 있다. 블록 1226에서, 태깅된 아이템과 관련된 상황 데이터가 참조된다. 상황 데이터는 태깅된 아이템의 상황을 지시하는 임의의 데이터일 수 있다. 블록 1228에서, 사용자와 관련된 사용자 데이터가 참조된다. 그러한 사용자 데이터는 예를 들어 사용자의 지시, 사용자 장치의 지시, 사용자 장치 위치의 지시 등을 포함할 수 있다.
블록 1230에서, 태그-아이템 데이터, 상황 데이터 및 사용자 데이터를 이용하여, 태깅된 아이템과 관련된 콘텐츠를 획득하기 위한 검색 질의를 형성한다. 일부 실시예들에서, 검색 질의는 참조된 데이터(예로서, 태그-아이템 데이터, 상황 데이터 및 사용자 데이터) 또는 그의 일부이다. 검색 질의는 태깅 제스처에 의해 정의된 콘텐츠의 영역에 기초하여 형성될 수 있다. 검색 질의는 영역 내의 콘텐츠 및 아마도 검색과 관련된 상황 정보 및/또는 사용자 데이터에 기초할 수 있다. 상황 정보는 콘텐츠의 영역에 근접하는 콘텐츠, 표시된 콘텐츠와 관련된 메타데이터 등을 포함할 수 있다.
블록 1232에서, 관련 콘텐츠를 획득하기 위해 검색 질의가 하나 이상의 검색 엔진으로 전송된다. 일 실시예에서, 검색 질의는 도 2의 관련 콘텐츠 시스템(210)으로 전송되며, 이 관련 콘텐츠 시스템은 하나 이상의 검색 엔진을 이용하여 아이템과 관련된 콘텐츠를 식별할 수 있다. 다른 실시예에서, 검색 질의는 예를 들어 원하는 정보의 사용자 선호와 관련된 검색 엔진(들), 특정 엔진(들)의 결정, 디폴트 엔진(들) 등에 기초하여 하나 이상의 특정 엔진으로 전송된다. 검색 질의를 이용하는 검색이 태깅 제스처의 완료에 응답하여 자동으로 수행될 수 있다. 검색 질의는 사용자의 사용자 장치와 분리된 원격 검색 엔진으로 전송될 수 있다. 추가로 또는 대안으로서, 검색은 사용자 장치에서 국지적으로 수행될 수 있다.
블록 1234에서, 태깅된 아이템과 관련된 콘텐츠가 수신된다. 그러한 관련 콘텐츠는 예를 들어 추천 엔진, 검색 엔진, 광고 엔진 등으로부터 제공될 수 있다.
이어서, 블록 1236에서, 관련 콘텐츠가 태깅된 아이템과 연계하여 제공된다. 따라서, 관련 콘텐츠는 태깅 인에이블드 콘텐츠와 연계하여 클라이언트 장치의 디스플레이 상에 표시될 수 있다. 일부 예들에서, 관련 콘텐츠의 배치가 결정될 수 있다. 예를 들어, 사용자 선호 또는 디폴트 위치(예로서, 디스플레이 스크린의 중앙 또는 상부)를 이용하여 검색 결과들의 배치를 결정할 수 있다. 다른 예에서, 검색 결과들의 배치를 위해 선호되는 위치는 관련 콘텐츠와 관련된 아이템의 근처일 수 있다.
관련 콘텐츠는 기간의 경과 및/또는 이벤트의 발생시까지 표시될 수 있다. 한정이 아니라 예로서, 관련 콘텐츠는 관련 콘텐츠의 사용(예로서, 사용자 관찰, 선택 등) 없이 사전 결정된 기간이 경과할 때까지, 사용자가 관련 콘텐츠와 관련된 액션(예로서, 아이템 구매와 같은 아이템 액션의 선택, 아이템 구매 등)을 개시할 때까지 활성으로 유지되거나 디스플레이 스크린 상에 표시될 수 있다. 추가적인 예로서, 은닉 또는 붕괴 지시가 수신될 수 있고, 이는 사용자의 관찰을 방해하지 않고 오리지널 콘텐츠를 효과적으로 표시한다.
일부 실시예들에서, 관련 콘텐츠는 하나 이상의 아이템 액션과 연계하여 표시된다. 그러한 아이템 액션들은 사용자 장치 또는 관련 콘텐츠 시스템에서 식별될 수 있다. 아이템 액션들은 사용자가 태깅된 아이템 또는 관련 콘텐츠와 관련된 액션을 개시하는 것을 가능하게 한다.
도 13은 아이템과 관련된 콘텐츠를 식별하기 위해 제스처 기반 태깅을 이용하는 예시적인 방법(1300)을 나타낸다. 방법(1300)은 도 2의 추천 엔진(220), 검색 엔진(222) 또는 광고 엔진(224)과 같은 예시적인 검색 엔진 또는 검색 서비스와 관련하여 설명되지만, 그러한 상황에서 수행되는 것으로 한정되지 않는다.
먼저, 블록 1310에서, 사용자가 관심 있는 아이템을 지시하는 검색 질의가 사용자 장치로부터 수신된다. 그러한 검색 질의는 태그-아이템 데이터, 상황 데이터 및/또는 사용자 데이터를 포함하거나 그로부터 형성될 수 있다. 블록 1312에서, 사용자와 관련된 사용자 데이터가 참조된다. 예를 들어, 사용자 데이터를 포함하는 데이터 스토어를 이용하여 사용자와 관련된 사용자 데이터를 식별할 수 있다. 블록 1314에서, 검색 질의 및 사용자 데이터의 적어도 일부를 이용하여 관심 있는 아이템과 관련된 콘텐츠를 식별한다. 이와 관련하여, 데이터를 포함하는 데이터 스토어를 이용하여, 관심 있는 아이템과 관련된 콘텐츠를 식별할 수 있다. 블록 1316에서, 아이템 또는 관련 콘텐츠와 연계하여 수행될 수 있는 하나 이상의 액션이 식별된다. 블록 1318에서, 관련 콘텐츠 및 하나 이상의 액션이 사용자 장치로 전송된다.
도 14는 제삼자가 아이템 태깅을 개시하여 다른 당사자가 관련 콘텐츠를 볼 수 있게 하는 예시적인 방법(1400)을 나타낸다. 방법(1400)은 설명의 편의를 위해 도 2의 예시적인 네트워크 콘택 장치(208)와 관련하여 설명되지만, 그러한 상황에서 수행되는 것으로 한정되지 않는다.
블록 1410에서, 태깅 인에이블드 미디어 콘텐츠가 제공된다. 이와 관련하여, 제삼자가 태깅 인에이블드 콘텐츠를 볼 수 있다. 일부 예들에서, 태깅 인에이블드 콘텐츠는 태깅에 이용 가능한 아이템을 시각적으로 또는 청각적으로 지시할 수 있다. 예를 들어, 태깅 인에이블드 콘텐츠 내의 태깅 가능 아이템들은 그러한 아이템들과 관련된 콘텐츠가 제공될 수 있다는 것을 지시하기 위해 하이라이팅될 수 있다. 블록 1412에서, 태깅될 아이템을 지시하는 태깅 제스처가 검출된다. 실시예들에서, 태깅 제스처는 사용자가 관심 있는 아이템을 갖는 콘텐츠의 영역을 정의할 수 있다. 태깅 제스처는 터치스크린 또는 터치 패드 상의 터치 입력, 이미지 캡처 장치에 의해 검출된 신체 움직임 및/또는 사용자 입력 장치에 의해 제어되는 커서의 움직임을 포함할 수 있다. 태깅 제스처에 의해 정의된 아이템 또는 콘텐츠 영역은 태깅 제스처에 의해 한정되거나 실질적으로 한정되는 영역, 태깅 제스처에 의해 터치되거나 그에 인접하거나 그에 의해 오버랩되는 영역을 포함할 수 있다. 일례에서, 태깅 제스처는 관심 있는 아이템을 한정하거나 실질적으로 한정하는 움직임 또는 실질적으로 원형인 움직임을 포함할 수 있다.
블록 1414에서, 태깅 제스처와 관련된 적어도 하나의 아이템이 식별된다. 이와 관련하여, 관심 있는 아이템은 태깅 인에이블드 미디어 콘텐츠와 관련된 메타데이터를 이용하여 식별될 수 있다. 그러한 메타데이터는 미디어 콘텐츠 내의 특정 위치들에 있는 태깅 가능 아이템들(예로서, 프레임, 시간, 위치 등)을 지시할 수 있다. 다른 실시예에서, 아이템은 (예로서, 사용자 장치에 위치하거나 사용자 장치로부터 떨어진) 이미지 인식 모듈을 이용하여 식별될 수 있다.
블록 1416에서, 식별된 아이템(들)이 태깅된다. 이와 관련하여, 선택된 아이템의 제삼자 관심의 지시가 지시되거나 지정된다. 예를 들어, 일 실시예에서, 미디어 콘텐츠와 관련된 메타데이터는 특정 아이템에 관심 있다는 것을 지시할 수 있다. 다른 실시예에서, 아이템은 메타데이터로부터 분리된 태그로서 지시될 수 있다.
블록 1418에서, 태깅된 아이템과 관련된 데이터가 참조된다. 따라서, 태그-아이템 데이터, 아이템-상황 데이터, 제삼자 데이터(예로서, 아이템을 태깅한 제삼자의 식별자) 등이 참조, 식별 또는 결정될 수 있다. 블록 1420에서, 태깅된 아이템의 지시 및 태깅된 아이템과 관련된 참조된 데이터가 처리를 위해 관련 콘텐츠 시스템으로 전송되며, 따라서 다른 당사자가 태깅된 아이템과 관련된 콘텐츠를 볼 수 있다.
도 15는 제삼자 태깅을 이용하여 아이템과 관련된 콘텐츠를 다른 당사자에게 제공하는 예시적인 방법(1500)을 나타낸다. 방법(1500)은 도 2의 추천 엔진(220), 검색 엔진(222) 또는 광고 엔진(224)과 같은 예시적인 검색 엔진 또는 검색 서비스와 관련하여 설명되지만, 그러한 상황에서 수행되는 것으로 한정되지 않는다.
먼저, 블록 1510에서, 제1 사용자가 관심 있는 미디어 콘텐츠 내의 아이템의 지시가 수신된다. 블록 1512에서, 관심 있는 아이템과 관련된 데이터가 수신된다. 그러한 데이터는 예를 들어 제삼자 데이터(예로서, 제1 사용자의 식별자, 관심 있는 아이템에 관하여 제1 사용자에 의해 개시된 액션), 태그-아이템 데이터(예로서, 제1 사용자의 식별자), 아이템-상황 데이터 등일 수 있다. 블록 1514에서, 제1 사용자가 관심 있는 아이템 및 관심 있는 아이템과 관련된 데이터의 지시가 예를 들어 제1 사용자 및/또는 아이템을 포함하는 미디어 콘텐츠와 연계하여 저장 또는 캡처된다.
블록 1516에서, 제2 사용자에 의해 관찰되는 미디어 콘텐츠의 지시가 수신된다. 이어서, 블록 1518에서 지시되는 바와 같이, 제2 사용자와 관련된 다른 엔티티가 미디어 콘텐츠 내의 아이템을 태깅했는지를 결정한다. 일부 예들에서, 그러한 결정은 예를 들어 제2 사용자가 미디어 콘텐츠를 관찰한 이전 시간 이후에 다른 엔티티가 사전 결정된 시간 프레임(예로서, 1주일) 내에 아이템을 태깅한 것 등과 같은 적절한 시간 프레임에 기초하여 이루어질 수 있다. 또한, 일부 구현들에서, 제2 사용자와 관련된 적절한 엔티티의 결정이 이루어질 수 있다. 예를 들어, 태깅 제스처를 수행한 엔티티는 제2 사용자과 관심을 갖는 선호되는 엔티티이다. 그러한 선호들은 디폴트 데이터 또는 사용자에 의해 제출된 선호들에 기초할 수 있다.
제2 사용자와 관련된 다른 엔티티가 미디어 콘텐츠 내의 아이템을 태깅하지 않은 경우, 블록 1520에서, 제2 사용자가 미디어 콘텐츠를 계속 보고 있는지를 결정한다. 그렇지 않은 경우, 방법은 블록 1522에서 종료된다. 그러한 경우, 방법은 블록 1518로 복귀하여, 제2 사용자와 관련된 다른 엔티티가 미디어 콘텐츠 내의 아이템을 태깅하였는지를 계속 결정한다. 그러한 프로세스는 다른 엔티티에 의해 태깅된 아이템들을 제2 사용자에게 실시간으로 통지하는 것을 가능하게 한다.
한편, 제2 사용자와 관련된 다른 엔티티가 미디어 콘텐츠 내의 아이템을 태깅한 경우, 그의 지시가 제2 사용자의 사용자 장치에 제공된다. 이것은 블록 1524에 지시된다. 블록 1526에서, 다른 엔티티에 의해 태깅된 아이템과 관련된 콘텐츠가 식별된다. 그러한 콘텐츠는 다른 엔티티와 관련된 장치로부터 전송된 데이터(예로서, 제삼자 데이터, 태그-아이템 데이터, 아이템-상황 데이터) 및/또는 관련 콘텐츠 시스템에서 결정된 데이터를 포함할 수 있다. 예를 들어, 관련 콘텐츠 시스템은 제2 사용자가 관심을 가질 수 있는 태깅된 아이템과 관련된 콘텐츠를 검색할 수 있다. 따라서, 관련 콘텐츠 시스템은 제2 사용자와 관련된 사용자 데이터를 이용하여, 제2 사용자와 관련될 수 있는 태깅된 아이템과 관련된 콘텐츠를 획득할 수 있다. 태깅된 아이템과 관련된 콘텐츠는 블록 1528에 지시되는 바와 같이 제2 사용자의 사용자 장치에 제공된다. 그러한 관련 콘텐츠는 예를 들어 태깅된 아이템의 지시, 아이템 태깅을 개시한 제삼자의 지시, 아이템과 관련된 제안 또는 추천, 아이템과 관련된 광고 등일 수 있다.
도 16은 사용자 장치 상에서 관련된 콘텐츠를 보기 위해 제삼자 태깅을 이용하는 예시적인 방법(1600)을 나타낸다. 방법(1600)은 도 2의 사용자 장치(204)와 같은 예시적인 사용자 장치와 관련하여 설명되지만, 그러한 상황에서 수행되는 것으로 한정되지 않는다.
먼저, 블록 1610에서, 관찰할 미디어 콘텐츠의 지시가 수신된다. 블록 1612에서, 그러한 지시가 관련 콘텐츠 시스템에 제공된다. 블록 1614에서, 제삼자(들)에 의해 태깅된 아이템들과 관련된 콘텐츠를 보기 위한 지시가 수신된다. 이어서, 블록 1616에서, 그러한 지시가 관련 콘텐츠 시스템에 제공된다. 블록 1618에서, 사용자 데이터가 참조되고, 관련 콘텐츠 시스템에 제공된다. 그러한 사용자 데이터는 사용자의 지시, 사용자에 의해 사용되는 장치의 지시, 사용자에 의해 사용되는 장치의 위치의 지시, 사용자와 관련된 선호들, 사용자에 의해 이전에 태깅된 아이템들 등을 포함할 수 있다.
블록 1620에서 지시되는 바와 같이, 미디어 콘텐츠가 제공된다. 블록 1622에서, 제삼자에 의해 태깅된 미디어 콘텐츠 내의 아이템의 지시가 수신된다. 이어서, 제삼자에 의해 태깅된 아이템이 사용자에 의해 관찰되는 미디어 콘텐츠 내에 그러한 아이템으로서 시각적으로 지시된다. 이것은 블록 1624에 지시된다. 예를 들어, 태깅된 아이템은 하이라이팅되거나, 블링킹되거나, 컬러링되거나, 부분적으로 투명하거나 기타 등등일 수 있다. 블록 1626에서, 아이템과 관련된 정보를 보기 위한 지시가 수신된다. 그러한 지시는 예를 들어 아이템 위에서 커서 또는 선택기를 호버링하거나 아이템과 관련된 선택 또는 제스처를 제공하는 사용자에 의해 제공될 수 있다. 그러한 지시에 응답하여, 블록 1628에서, 아이템과 관련된 콘텐츠가 수신된다. 이어서, 블록 1630에 지시되는 바와 같이, 관련 콘텐츠가 사용자 장치를 통해 표시된다. 수신되고 표시되는 관련 콘텐츠는 예를 들어 아이템을 태깅한 제삼자의 지시, 아이템이 태깅된 시간, 태깅된 아이템과 관련된 정보, 아이템과 관련하여 제삼자에 의해 수행된 액션 등일 수 있다.
방법(1600)은 아이템과 관련된 콘텐츠를 보기 위한 지시를 수신하는 것을 설명하지만, 알 수 있듯이, 그러한 정보를 보기 위한 사용자 지시를 먼저 수신하지 않고서 임의의 관련 콘텐츠가 자동으로 제공될 수 있다. 예를 들어, 태깅된 아이템을 초기에 시각적으로 식별하는 것이 아니라, 관련 콘텐츠가 아이템과 연계하여 초기에 표시될 수 있으며, 따라서 이것은 사용자에 의한 추가적인 액션 없이 사용자에게 자명하다. 일부 예들에서, 관련 콘텐츠의 제1 부분이 표시될 수 있고, 추가적인 관련 콘텐츠를 보기 위한 사용자 지시 시에, 관련 콘텐츠의 제2 부분이 표시될 수 있다. 단지 예로서, 초기에, 아이템을 태깅한 특정 제삼자의 지시가 표시될 수 있다(예로서, "댄이 이 모자를 태깅했다"). 사용자가 제공된 콘텐츠와 관련된 아이템 위를 호버링하거나 선택을 행할 때, 모자에 관한 더 많은 상세(예로서, 모자에 대한 광고; 가격, 브랜드, 이용 가능 컬러 등과 같은 모자에 관한 상세들; 모자를 구매하기 위한 장소의 추천; 동일하거나 유사한 모자를 포함하는 다른 미디어 콘텐츠의 추천 등)가 표시될 수 있다.
본 명세서에서 설명되는 임의의 방법의 임의의 액트는 하나 이상의 컴퓨터 판독 가능 매체에 저장된 명령어들에 기초하여 프로세서 또는 다른 전자 장치에 의해 적어도 부분적으로 구현될 수 있다. 알 수 있듯이, 본 명세서에서 설명되는 방법들의 다양한 실시예들이 이용될 수 있다. 본 명세서에서 설명되는 방법들은 예시적인 것을 의도하며, 본 발명의 범위를 한정하는 것을 의도하지 않는다.
결론
본 발명은 구조적인 특징들 및/또는 방법적인 액트들에 고유한 언어로 설명되었지만, 본 발명은 설명된 특정 특징들 또는 액트들로 반드시 한정되지는 않는다는 것을 이해해야 한다. 오히려, 특정 특징들 및 액트들은 본 발명을 구현하는 예시적인 형태들로서 개시된다.

Claims (15)

  1. 미디어 콘텐츠 내의 아이템과 관련된 콘텐츠의 관찰(view)을 용이하게 하는 컴퓨터 구현 방법으로서,
    컴퓨터 실행 가능 명령어를 이용하여 구성되는 하나 이상의 프로세서의 제어하에,
    사용자에게 표시된 미디어 콘텐츠 내에 제공된 아이템에 대한 사용자 관심을 지시하는 태깅 제스처(tagging gesture)를 검출하는 단계와 - 상기 태깅 제스처는 상기 아이템을 갖는 표시된 콘텐츠의 영역을 정의함 -,
    상기 태깅 제스처의 검출에 응답하여, 상기 아이템과 관련된 제삼자에 의해 제공된 광고를 제공하는 단계
    를 포함하는 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 태깅 제스처를 검출하는 단계는 터치스크린 또는 터치 패드 상에서 터치 입력을 검출하는 단계를 포함하는
    컴퓨터 구현 방법.
  3. 제1항에 있어서,
    상기 태깅 제스처를 검출하는 단계는 이미지 캡처 장치를 이용하여 신체 움직임을 검출하는 단계를 포함하는
    컴퓨터 구현 방법.
  4. 제1항에 있어서,
    상기 태깅 제스처를 검출하는 단계는 사용자 입력 장치에 의해 제어되는 커서의 움직임을 검출하거나 상기 사용자 장치의 움직임을 검출하는 단계를 포함하는
    컴퓨터 구현 방법.
  5. 제1항에 있어서,
    상기 태깅 제스처에 의해 정의되는 표시된 콘텐츠의 상기 영역은 상기 태깅 제스처에 의해 실질적으로 한정되는 영역을 포함하는
    컴퓨터 구현 방법.
  6. 제1항에 있어서,
    상기 태깅 제스처는 상기 미디어 콘텐츠 내의 상기 아이템을 한정하거나 실질적으로 한정하는 움직임을 포함하는
    컴퓨터 구현 방법.
  7. 제1항에 있어서,
    상기 태깅 제스처에 의해 정의되는 콘텐츠의 상기 영역은 상기 태깅 제스처에 의해 터치되거나, 상기 태깅 제스처에 근접하거나 상기 태깅 제스처에 의해 오버랩되는 영역을 포함하는
    컴퓨터 구현 방법.
  8. 제1항에 있어서,
    상기 표시된 콘텐츠 상에 상기 태깅 제스처에 의해 정의되는 콘텐츠의 상기 영역의 표현을 표시하는 단계를 더 포함하고, 콘텐츠의 상기 영역의 상기 표현은 콘텐츠의 상기 영역을 적어도 실질적으로 둘러싸는 라인, 콘텐츠의 상기 영역의 하이라이팅 뷰, 콘텐츠의 상기 영역의 확대 렌즈 뷰 또는 이의 조합을 포함하는
    컴퓨터 구현 방법.
  9. 제1항에 있어서,
    상기 광고는 상기 아이템에 인접하는 상기 표시된 콘텐츠 상에 상기 광고를 오버랩함으로써 제공되는
    컴퓨터 구현 방법.
  10. 제9항에 있어서,
    상기 광고와 함께 하나 이상의 아이템 액션을 제공하는 단계와,
    상기 하나 이상의 액션 중 하나의 액션의 선택을 수신하는 단계와,
    상기 선택된 액션의 수행을 개시하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
  11. 프로세서에 의해 실행될 때, 방법을 수행하도록 상기 프로세서를 구성하는 명령어를 저장하는 하나 이상의 컴퓨터 판독 가능 저장 매체로서,
    상기 방법은
    표시된 미디어 콘텐츠 내에 제공된 아이템을 지시하는 태깅 제스처를 검출하는 단계와,
    상기 태깅 제스처에 의해 지시된 상기 아이템과 관련된 태그-아이템 데이터를 식별하는 단계와,
    상기 식별된 태그-아이템 데이터, 사용자 데이터 및 상황-아이템(context-item) 데이터 중 적어도 하나를 이용하여 수행될 검색을 개시하는 단계와,
    상기 태그-아이템 데이터와, 사용자 데이터 및 상황-아이템 데이터 중 상기 적어도 하나에 기초하는 상기 아이템과 관련된 콘텐츠를 수신하는 단계와,
    상기 관련 콘텐츠를 상기 아이템과 연계하여 제공하는 단계
    를 포함하는 컴퓨터 판독 가능 저장 매체.
  12. 제11항에 있어서,
    상기 태깅 제스처는 상기 표시된 미디어 콘텐츠 내에 제공된 상기 아이템을 실질적으로 한정하는 움직임을 포함하는
    컴퓨터 판독 가능 저장 매체.
  13. 프로세서와,
    상기 프로세서와 통신가능하게 결합된 메모리와,
    사용자에게 미디어 콘텐츠를 표시하도록 구성된 디스플레이 스크린 - 상기 디스플레이 스크린은 원격 사용자 장치와 관련된 다른 사용자가 상기 사용자에게 표시되고 있는 동일 미디어 콘텐츠 내에 제공된 아이템에 대한 관심을 나타냈다는 지시를 표시하고, 상기 지시는 상기 미디어 콘텐츠가 상기 사용자에 의해 관찰될 때 표시됨 -
    을 포함하는 사용자 장치.
  14. 제13항에 있어서,
    상기 사용자 장치로 하여금 원격 장치와 관련된 다른 사용자가 상기 미디어 콘텐츠 내에 제공된 아이템에 대한 관심을 나타냈다는 지시를 표시하는 것을 가능하게 하는 특징 인에이블링 컴포넌트(feature enabling component)를 더 포함하는
    사용자 장치.
  15. 제14항에 있어서,
    상기 사용자 장치는 제삼자가 관심을 갖는 아이템을 보기 위한 상기 사용자로부터의 지시의 수신에 기초하여 원격 장치와 관련된 다른 사용자가 상기 미디어 콘텐츠 내에 제공된 아이템에 대한 관심을 나타냈다는 지시를 표시하도록 인에이블되는
    사용자 장치.
KR1020147016033A 2011-12-13 2012-12-04 관련 콘텐츠를 관찰하기 위한 제스처 기반 태깅 기법 KR102033189B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/324,435 2011-12-13
US13/324,435 US9646313B2 (en) 2011-12-13 2011-12-13 Gesture-based tagging to view related content
PCT/US2012/067663 WO2013090046A1 (en) 2011-12-13 2012-12-04 Gesture-based tagging to view related content

Publications (2)

Publication Number Publication Date
KR20140107253A true KR20140107253A (ko) 2014-09-04
KR102033189B1 KR102033189B1 (ko) 2019-11-08

Family

ID=47928197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147016033A KR102033189B1 (ko) 2011-12-13 2012-12-04 관련 콘텐츠를 관찰하기 위한 제스처 기반 태깅 기법

Country Status (8)

Country Link
US (1) US9646313B2 (ko)
EP (1) EP2791761B1 (ko)
JP (2) JP2015505398A (ko)
KR (1) KR102033189B1 (ko)
CN (1) CN102999630B (ko)
ES (1) ES2743910T3 (ko)
TW (1) TWI573042B (ko)
WO (1) WO2013090046A1 (ko)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210046857A (ko) * 2015-05-27 2021-04-28 애플 인크. 터치 감응형 디바이스 상의 관련 콘텐츠를 사전행동적으로 식별 및 표면화하기 위한 시스템 및 방법
KR20210059013A (ko) * 2016-10-24 2021-05-24 스냅 인코포레이티드 미디어 오버레이들에서의 커스터마이즈된 아바타들의 생성 및 디스플레이
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session
US12014118B2 (en) 2017-05-15 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability
US12026197B2 (en) 2017-05-16 2024-07-02 Apple Inc. Intelligent automated assistant for media exploration

Families Citing this family (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US20130334300A1 (en) * 2011-01-03 2013-12-19 Curt Evans Text-synchronized media utilization and manipulation based on an embedded barcode
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8840013B2 (en) 2011-12-06 2014-09-23 autoGraph, Inc. Consumer self-profiling GUI, analysis and rapid information presentation tools
CN108460632A (zh) 2011-06-06 2018-08-28 恩弗伦斯媒体公司 消费者驱动广告***
US10019730B2 (en) * 2012-08-15 2018-07-10 autoGraph, Inc. Reverse brand sorting tools for interest-graph driven personalization
US9883326B2 (en) 2011-06-06 2018-01-30 autoGraph, Inc. Beacon based privacy centric network communication, sharing, relevancy tools and other tools
US8825763B2 (en) * 2011-12-09 2014-09-02 Facebook, Inc. Bookmarking social networking system content
US20130201161A1 (en) * 2012-02-03 2013-08-08 John E. Dolan Methods, Systems and Apparatus for Digital-Marking-Surface Content-Unit Manipulation
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
KR20140038577A (ko) * 2012-09-11 2014-03-31 한국과학기술연구원 메타데이터를 이용한 콘텐츠 추천
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US10540515B2 (en) 2012-11-09 2020-01-21 autoGraph, Inc. Consumer and brand owner data management tools and consumer privacy tools
US20140157158A1 (en) * 2012-12-03 2014-06-05 Martin Camins System and method for visually identifying user preferences
US9483518B2 (en) 2012-12-18 2016-11-01 Microsoft Technology Licensing, Llc Queryless search based on context
KR102111769B1 (ko) * 2013-02-08 2020-06-08 삼성전자주식회사 추천 패널 제공 방법 및 이를 위한 디바이스, 추천 아이템 제공 방법 및 이를 위한 서버
US9881058B1 (en) 2013-03-14 2018-01-30 Google Inc. Methods, systems, and media for displaying information related to displayed content upon detection of user attention
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10546352B2 (en) * 2013-03-14 2020-01-28 Facebook, Inc. Method for selectively advertising items in an image
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9635404B2 (en) 2013-04-24 2017-04-25 The Nielsen Company (Us), Llc Methods and apparatus to correlate census measurement data with panel data
WO2014186771A1 (en) 2013-05-16 2014-11-20 Nfluence Media, Inc. Privacy sensitive persona management tools
US9672259B2 (en) * 2013-05-29 2017-06-06 Ebay Inc. Methods and systems to refine search information
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2014200728A1 (en) 2013-06-09 2014-12-18 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
CN103440307B (zh) * 2013-08-23 2017-05-24 北京智谷睿拓技术服务有限公司 媒体信息提供方法及装置
KR20150032101A (ko) * 2013-09-17 2015-03-25 삼성전자주식회사 영상표시장치 및 영상표시방법
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
CN103679512B (zh) * 2013-12-19 2017-06-16 深圳市宇恒互动科技开发有限公司 根据用户需求推送广告的可分离控制***与装置
US10067341B1 (en) 2014-02-04 2018-09-04 Intelligent Technologies International, Inc. Enhanced heads-up display system
WO2015149032A1 (en) 2014-03-28 2015-10-01 Brian Roundtree Beacon based privacy centric network communication, sharing, relevancy tools and other tools
KR101598601B1 (ko) * 2014-05-14 2016-03-02 전자부품연구원 상황 기반 서비스 지원 기술
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
JP2016053880A (ja) * 2014-09-04 2016-04-14 株式会社ランディード 車載システム、情報処理方法、およびコンピュータプログラム
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US20160150038A1 (en) * 2014-11-26 2016-05-26 Microsoft Technology Licensing, Llc. Efficiently Discovering and Surfacing Content Attributes
US10222942B1 (en) * 2015-01-22 2019-03-05 Clarifai, Inc. User interface for context labeling of multimedia items
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9826359B2 (en) 2015-05-01 2017-11-21 The Nielsen Company (Us), Llc Methods and apparatus to associate geographic locations with user devices
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US11328590B2 (en) * 2015-10-29 2022-05-10 InterNetwork Media, LLC System and method for internet radio automatic content management
CN106658202A (zh) 2015-10-30 2017-05-10 ***通信集团公司 一种触发互动应用的方法和设备
KR102447907B1 (ko) * 2015-11-05 2022-09-28 삼성전자주식회사 추천 객체를 제공하기 위한 전자 장치 및 방법
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
CN107168599B (zh) * 2016-03-07 2020-05-29 阿里巴巴集团控股有限公司 一种即时通信方法和装置
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10719193B2 (en) * 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
JP7026056B2 (ja) * 2016-06-28 2022-02-25 インテル・コーポレーション ジェスチャ埋め込みビデオ
US10101820B2 (en) 2016-07-21 2018-10-16 International Business Machines Corporation Automated learning and gesture based interest processing
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
KR20190012695A (ko) * 2017-07-28 2019-02-11 양재혁 태그 컨텐츠를 포함하는 정보를 공유하는 광고 방법 및 시스템
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10878047B1 (en) * 2017-09-22 2020-12-29 Amazon Technologies, Inc. Content generation framework
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US11321880B2 (en) 2017-12-22 2022-05-03 Sony Corporation Information processor, information processing method, and program for specifying an important region of an operation target in a moving image
CN111567024B (zh) * 2017-12-26 2022-08-19 尤妮佳股份有限公司 信息收集程序、信息通信终端以及信息收集方法
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11698927B2 (en) * 2018-05-16 2023-07-11 Sony Interactive Entertainment LLC Contextual digital media processing systems and methods
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
CN108694629A (zh) * 2018-08-24 2018-10-23 深圳艺达文化传媒有限公司 电梯广告的播放推荐方法及相关产品
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
JP2023138873A (ja) * 2020-08-21 2023-10-03 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP7253526B2 (ja) * 2020-12-24 2023-04-06 楽天グループ株式会社 情報通信システム、及び情報通信方法
JP7189980B2 (ja) * 2021-02-12 2022-12-14 楽天グループ株式会社 情報通信システム、及び情報通信方法
US11778277B1 (en) * 2021-06-11 2023-10-03 Amazon Technologies, Inc. Digital item processing for video streams
TWI824842B (zh) * 2022-11-23 2023-12-01 國立澎湖科技大學 基於ai邊緣運算之手寫文字教學系統及方法
MX2022015861A (es) * 2022-12-09 2023-04-14 Jose Luis Vite Orozco Sistema para la presentacion, verificacion y metricas de contenido publicitario en pantallas y/o bocinas de establecimientos comerciales.

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010039592A (ja) * 2008-08-01 2010-02-18 Fujifilm Corp 商品購入／販売システムならびにそのシステムを構成する商品販売サーバおよびその動作制御方法
JP2010524110A (ja) * 2007-04-14 2010-07-15 リヴゼイ カール 商品情報のディスプレイ表示及び購買
US20110137753A1 (en) * 2009-12-03 2011-06-09 Armin Moehrle Automated process for segmenting and classifying video objects and auctioning rights to interactive sharable video objects

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835713A (en) 1993-03-19 1998-11-10 Ncr Corporation Remote collaboration system for selectively locking the display at remote computers to prevent annotation of the display by users of the remote computers
US5687254A (en) * 1994-06-06 1997-11-11 Xerox Corporation Searching and Matching unrecognized handwriting
US8429005B2 (en) 1999-09-23 2013-04-23 Activ8Now, Llc Method for determining effectiveness of display of objects in advertising images
US6616533B1 (en) 2000-05-31 2003-09-09 Intel Corporation Providing advertising with video games
JP2005018436A (ja) * 2003-06-26 2005-01-20 Toppan Printing Co Ltd 情報提供システム、情報提供装置、および情報提供方法、並びに情報提供プログラム
US20060136406A1 (en) 2004-12-17 2006-06-22 Erika Reponen Spatial search and selection feature
JP5065049B2 (ja) 2005-01-05 2012-10-31 ヤフー！ インコーポレイテッド デジタルホームサービスを提供するためのフレームワーク
US7774703B2 (en) 2006-02-09 2010-08-10 Microsoft Corporation Virtual shadow awareness for multi-user editors
US20080005074A1 (en) 2006-06-28 2008-01-03 Microsoft Corporation Search over designated content
US8656282B2 (en) 2007-01-31 2014-02-18 Fall Front Wireless Ny, Llc Authoring tool for providing tags associated with items in a video playback
US10003781B2 (en) 2006-08-04 2018-06-19 Gula Consulting Limited Liability Company Displaying tags associated with items in a video playback
US20080091548A1 (en) 2006-09-29 2008-04-17 Kotas Paul A Tag-Driven Concept-Centric Electronic Marketplace
US20080126191A1 (en) 2006-11-08 2008-05-29 Richard Schiavi System and method for tagging, searching for, and presenting items contained within video media assets
US20090119572A1 (en) * 2007-11-02 2009-05-07 Marja-Riitta Koivunen Systems and methods for finding information resources
US20090182644A1 (en) 2008-01-16 2009-07-16 Nicholas Panagopulos Systems and methods for content tagging, content viewing and associated transactions
US9870130B2 (en) 2008-05-13 2018-01-16 Apple Inc. Pushing a user interface to a remote device
US20100009662A1 (en) * 2008-06-20 2010-01-14 Microsoft Corporation Delaying interaction with points of interest discovered based on directional device information
US9269090B2 (en) 2008-08-18 2016-02-23 Nokia Technologies Oy Method, apparatus and computer program product for providing indications regarding recommended content
US20100289753A1 (en) 2009-05-14 2010-11-18 Microsoft Corporation Adjusting organization of media content on display
US8856691B2 (en) * 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US20100312596A1 (en) 2009-06-05 2010-12-09 Mozaik Multimedia, Inc. Ecosystem for smart content tagging and interaction
KR101660271B1 (ko) * 2009-08-21 2016-10-11 삼성전자주식회사 메타데이터 태깅 시스템, 이미지 검색 방법, 디바이스 및 이에 적용되는 제스처 태깅방법
US9407973B2 (en) 2009-12-02 2016-08-02 At&T Intellectual Property I, L.P. System and method to identify an item depicted when media content is displayed
CN102782614B (zh) 2009-12-28 2016-06-01 摩托罗拉*** 用于使用输入手势来关联触摸屏上的对象的方法
KR101647044B1 (ko) * 2010-02-11 2016-08-09 삼성전자 주식회사 휴대 단말기의 화면 표시 방법 및 장치
US20110202603A1 (en) 2010-02-12 2011-08-18 Nokia Corporation Method and apparatus for providing object based media mixing
IT1399695B1 (it) 2010-04-14 2013-04-26 Sisvel Technology Srl Metodo per visualizzare un flusso video secondo un formato personalizzato.
US8379098B2 (en) * 2010-04-21 2013-02-19 Apple Inc. Real time video process control using gestures
US9471700B2 (en) * 2010-05-18 2016-10-18 Tksn Holdings, Llc System and method for monitoring changes in databases and websites
TWM392404U (en) 2010-06-01 2010-11-11 Univ Nat Taipei Technology Hand gesture control system
US8416189B2 (en) * 2010-06-04 2013-04-09 Acer Incorporated Manual human machine interface operation system and method thereof
US20120131454A1 (en) * 2010-11-24 2012-05-24 Siddharth Shah Activating an advertisement by performing gestures on the advertisement
US8179604B1 (en) * 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US8306977B1 (en) * 2011-10-31 2012-11-06 Google Inc. Method and system for tagging of content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010524110A (ja) * 2007-04-14 2010-07-15 リヴゼイ カール 商品情報のディスプレイ表示及び購買
JP2010039592A (ja) * 2008-08-01 2010-02-18 Fujifilm Corp 商品購入／販売システムならびにそのシステムを構成する商品販売サーバおよびその動作制御方法
US20110137753A1 (en) * 2009-12-03 2011-06-09 Armin Moehrle Automated process for segmenting and classifying video objects and auctioning rights to interactive sharable video objects

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US12009007B2 (en) 2013-02-07 2024-06-11 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session
KR20210046857A (ko) * 2015-05-27 2021-04-28 애플 인크. 터치 감응형 디바이스 상의 관련 콘텐츠를 사전행동적으로 식별 및 표면화하기 위한 시스템 및 방법
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
KR20230070317A (ko) * 2016-10-24 2023-05-22 스냅 인코포레이티드 미디어 오버레이들에서의 커스터마이즈된 아바타들의 생성 및 디스플레이
KR20220066425A (ko) * 2016-10-24 2022-05-24 스냅 인코포레이티드 미디어 오버레이들에서의 커스터마이즈된 아바타들의 생성 및 디스플레이
KR20210059013A (ko) * 2016-10-24 2021-05-24 스냅 인코포레이티드 미디어 오버레이들에서의 커스터마이즈된 아바타들의 생성 및 디스플레이
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US12014118B2 (en) 2017-05-15 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability
US12026197B2 (en) 2017-05-16 2024-07-02 Apple Inc. Intelligent automated assistant for media exploration
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones

Also Published As

Publication number Publication date
ES2743910T3 (es) 2020-02-21
EP2791761A4 (en) 2015-09-16
CN102999630A (zh) 2013-03-27
US20130151339A1 (en) 2013-06-13
CN102999630B (zh) 2016-08-03
EP2791761B1 (en) 2019-07-24
JP2015505398A (ja) 2015-02-19
US9646313B2 (en) 2017-05-09
TWI573042B (zh) 2017-03-01
KR102033189B1 (ko) 2019-11-08
TW201337642A (zh) 2013-09-16
JP6363758B2 (ja) 2018-07-25
EP2791761A1 (en) 2014-10-22
JP2017142846A (ja) 2017-08-17
WO2013090046A1 (en) 2013-06-20

Similar Documents

Publication Publication Date Title
JP6363758B2 (ja) 関連コンテンツを見るためのジェスチャー・ベースのタグ付け
US11112867B2 (en) Surfacing related content based on user interaction with currently presented content
US9977835B2 (en) Queryless search based on context
US9760541B2 (en) Systems and methods for delivery techniques of contextualized services on mobile devices
US20130268513A1 (en) Annotations based on hierarchical categories and groups
US9535945B2 (en) Intent based search results associated with a modular search object framework
US9830388B2 (en) Modular search object framework
US20130117105A1 (en) Analyzing and distributing browsing futures in a gesture based user interface
WO2013013057A1 (en) Enhanced world wide web-based communications
US9589296B1 (en) Managing information for items referenced in media content
EP2940607A1 (en) Enhanced search results associated with a modular search object framework
US9619519B1 (en) Determining user interest from non-explicit cues
CN112384912A (zh) 用户创建内容推荐和搜索
US20160048875A1 (en) Entity based search advertising within a modular search object framework
CA3202901A1 (en) Systems and methods for composing a media feed for a target user by selecting media assets that share congruent objects with a secondary content item
WO2014110048A1 (en) Browser interface for accessing supple-mental content associated with content pages
US10628848B2 (en) Entity sponsorship within a modular search object framework
TWI566123B (zh) 多媒體介面成像方法、系統及可穿戴式裝置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant