KR20150030669A - 수신 장치, 정보 처리 방법, 프로그램, 송신 장치 및 애플리케이션 연동 시스템 - Google Patents

수신 장치, 정보 처리 방법, 프로그램, 송신 장치 및 애플리케이션 연동 시스템 Download PDF

Info

Publication number
KR20150030669A
KR20150030669A KR20147035958A KR20147035958A KR20150030669A KR 20150030669 A KR20150030669 A KR 20150030669A KR 20147035958 A KR20147035958 A KR 20147035958A KR 20147035958 A KR20147035958 A KR 20147035958A KR 20150030669 A KR20150030669 A KR 20150030669A
Authority
KR
South Korea
Prior art keywords
content
query
application
user profile
response
Prior art date
Application number
KR20147035958A
Other languages
English (en)
Inventor
야스아키 야마기시
히토시 나카무라
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20150030669A publication Critical patent/KR20150030669A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은, 시청되고 있는 임의의 콘텐츠의 진행에 연동하여, 유저에게 적합한 애플리케이션을 실행시킬 수 있도록 하는 수신 장치, 정보 처리 방법, 프로그램, 송신 장치 및 애플리케이션 연동 시스템에 관한 것이다. 본 발명의 수신 장치는, 재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하는 추출부와, 유저 프로파일 데이터를 생성하는 프로파일 생성부와, 상기 시그니처 데이터 및 상기 유저 프로파일 데이터를 적어도 포함하는 쿼리를 생성해서 송신 장치로 송신하고, 상기 쿼리에 따라서 상기 송신 장치로부터 회신된, 상기 송신 장치에서 상기 유저 프로파일 데이터에 매칭되어 있는 리스펀스를 수신하는 쿼리 생성부와, 수신된 상기 리스펀스에 기초하여, 상기 콘텐츠의 재생에 연동해서 애플리케이션을 취득해서 실행하는 애플리케이션 실행부를 구비한다. 본 발명은, TV 수상기 등에 적용할 수 있다.

Description

수신 장치, 정보 처리 방법, 프로그램, 송신 장치 및 애플리케이션 연동 시스템{RECEPTION DEVICE, INFORMATION PROCESSING METHOD, PROGRAM, TRANSMISSION DEVICE AND APPLICATION LINKING SYSTEM}
본 발명은, 수신 장치, 정보 처리 방법, 프로그램, 송신 장치 및 애플리케이션 연동 시스템에 관한 것으로, 특히 텔레비전 프로그램 등 콘텐츠의 재생에 연동해서 애플리케이션 프로그램을 실행시키는 경우에 사용하기에 적합한 수신 장치, 정보 처리 방법, 프로그램, 송신 장치 및 애플리케이션 연동 시스템에 관한 것이다.
예를 들어, TV(텔레비전) 프로그램의 시청자에 대하여 방송 중인 TV 프로그램(이하, 간단히 프로그램이라고 칭함)에 관련된 정보(출연자, 개요, 다음회 예고 등)나, 프로그램에는 직접 관계되지 않지만 시청자에게 있어서 유익한 정보(뉴스, 일기 예보, 교통 정보 등) 등을 화면 상에 표시하는 것을 생각한다.
이를 실현하기 위해서는, 전용 애플리케이션 프로그램(이하, 애플리케이션이라 약기함)을 취득하고, 기동시키기 위한 커맨드를 프로그램의 진행에 연동해서 TV 수상기 등에 대하여 송신하면 된다. 실제로, 이미 일본이나 유럽 등에 있어서는, TV 방송 신호에 있어서의 데이터 방송용 대역을 이용해서 상기 커맨드나 애플리케이션을 송신함으로써, 이것이 실현되고 있다(예를 들어, 특허문헌 1 참조).
한편, 미국에서는, TV 방송 신호에 데이터 방송용 대역이 설치되어 있지 않고, 그것을 대신하는 방법이 확립되어 있지 않으므로, 프로그램의 진행에 연동해서 애플리케이션을 실행시키는 것이 실현되고 있지 않다.
또한, 미국에서는, TV 수상기에서 TV 방송파를 직접 수신해서 프로그램을 시청하는 세대보다도, CATV나 IPTV 등을 통해서 프로그램을 시청하는 세대 쪽이 많다. CATV나 IPTV에서는 TV 방송 신호로부터 프로그램의 영상 및 음성의 신호만을 추출해서 배신하는 경우가 있으므로, 가령 미국에 있어서의 TV 방송 신호에 데이터 방송용 대역이 설치되었다 하더라도, 애플리케이션에 관한 데이터를 포함시킨 데이터 방송 신호가 수신 장치까지 전송된다는 보증은 없다.
또한 요즘, 방송 중인 프로그램을 시청하고 있는 경우뿐만 아니라, 녹화해서 재생한 프로그램, DVD, BD 등의 패키지 미디어로부터 판독한 영상, 인터넷 상에서 다운로드한 동화상 등 임의의 콘텐츠를 시청하고 있는 경우에 있어서도, 그에 연동해서 애플리케이션을 실행시키고자 하는 요구가 있다.
일본 특허 공개 제2006-50237호 공보
그러나, 임의의 콘텐츠에 연동해서 애플리케이션을 실행시키는 것에 대해서도 당연히 실현되고 있지 않다.
또한, 단순히 콘텐츠에 연동시킬 뿐만 아니라, 콘텐츠를 시청하고 있는 유저에게 적합한 애플리케이션을 실행시키거나, 실행된 애플리케이션으로 유저에게 적합한 정보를 제시하거나 하는 것이 요망되고 있지만, 그 방법은 확립되어 있지 않다.
본 발명은 이러한 상황을 감안하여 이루어진 것으로, 시청되고 있는 임의의 콘텐츠의 진행에 연동하여, 유저에게 적합한 애플리케이션을 실행시킬 수 있도록 하는 것이다.
본 발명의 제1 측면인 수신 장치는, 재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하는 추출부와, 유저 프로파일 데이터를 생성하는 프로파일 생성부와, 상기 시그니처 데이터 및 상기 유저 프로파일 데이터를 적어도 포함하는 쿼리를 생성해서 송신 장치로 송신하고, 상기 쿼리에 따라서 상기 송신 장치로부터 회신된, 상기 송신 장치에서 상기 유저 프로파일 데이터에 매칭되어 있는 리스펀스를 수신하는 쿼리 생성부와, 수신된 상기 리스펀스에 기초하여, 상기 콘텐츠의 재생에 연동해서 애플리케이션을 취득해서 실행하는 애플리케이션 실행부를 구비한다.
상기 생성부는, 유저의 데모그래픽 속성을 포함하는 상기 유저 프로파일 데이터를 생성할 수 있다.
상기 쿼리 생성부는, 상기 추출부에서 상기 시그니처 데이터가 추출될 때마다, 상기 시그니처 데이터 및 상기 유저 프로파일 데이터를 적어도 포함하는 쿼리를 생성해서 송신 장치로 송신하고, 상기 쿼리에 따라서 상기 송신 장치로부터 회신된, 상기 송신 장치에서 상기 유저 프로파일 데이터에 매칭되어 있는 리스펀스를 수신할 수 있다.
상기 프로파일 생성부는 수신 장치의 스펙, 통신망의 폭주 상황 또는 자연 환경 정보 중 적어도 하나를 포함하는 상기 유저 프로파일 데이터를 더 생성할 수 있다.
상기 수신 장치는, 콘텐츠를 재생하는 재생 장치에 내장되고, 상기 재생 장치에서 재생되는 모든 콘텐츠를 상기 추출부에 공급하는 콘텐츠 공급부를 더 구비할 수 있다.
본 발명의 제1 측면인 정보 처리 방법은, 수신 장치의 정보 처리 방법에 있어서, 상기 수신 장치에 의한, 재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하는 추출 스텝과, 유저 프로파일 데이터를 생성하는 프로파일 생성 스텝과, 상기 시그니처 데이터 및 상기 유저 프로파일 데이터를 적어도 포함하는 쿼리를 생성해서 송신 장치로 송신하고, 상기 쿼리에 따라서 상기 송신 장치로부터 회신된, 상기 송신 장치에서 상기 유저 프로파일 데이터에 매칭되어 있는 리스펀스를 수신하는 쿼리 생성 스텝과, 수신된 상기 리스펀스에 기초하여, 상기 콘텐츠의 재생에 연동해서 애플리케이션을 취득해서 실행하는 애플리케이션 실행 스텝을 포함한다.
본 발명의 제1 측면인 프로그램은, 컴퓨터를, 재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하는 추출부와, 유저 프로파일 데이터를 생성하는 프로파일 생성부와, 상기 시그니처 데이터 및 상기 유저 프로파일 데이터를 적어도 포함하는 쿼리를 생성해서 송신 장치로 송신하고, 상기 쿼리에 따라서 상기 송신 장치로부터 회신된, 상기 송신 장치에서 상기 유저 프로파일 데이터에 매칭되어 있는 리스펀스를 수신하는 쿼리 생성부와, 수신된 상기 리스펀스에 기초하여, 상기 콘텐츠의 재생에 연동해서 애플리케이션을 취득해서 실행하는 애플리케이션 실행부로서 기능시킨다.
본 발명의 제1 측면에 있어서는, 재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터가 추출되고, 유저 프로파일 데이터가 생성되고, 상기 시그니처 데이터 및 상기 유저 프로파일 데이터를 적어도 포함하는 쿼리가 생성되어 송신 장치로 송신되고, 상기 쿼리에 따라서 상기 송신 장치로부터 회신된, 상기 송신 장치에서 상기 유저 프로파일 데이터에 매칭되어 있는 리스펀스가 수신된다. 그리고, 수신된 상기 리스펀스에 기초하여, 상기 콘텐츠의 재생에 연동해서 애플리케이션이 취득되어 실행된다.
본 발명의 제2 측면인 송신 장치는, 콘텐츠로부터 추출된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와, 추출원의 상기 콘텐츠를 나타내는 콘텐츠 식별자와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자를 포함하는 관련 메타데이터의 대응 관계를 나타내는 데이터베이스와, 상기 데이터베이스를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정하고, 동정한 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자를 포함하는 관련 메타데이터를 포함하는 리스펀스를 생성해서 상기 수신 장치로 회신하는 리스펀스 생성부와, 회신 전의 상기 리스펀스에 포함되는 관련 메타데이터를, 상기 쿼리에 포함되는 유저 프로파일 데이터에 매칭시키는 매칭부를 구비한다.
상기 매칭부는, 상기 유저 프로파일 데이터에 포함되는 상기 수신 장치의 유저의 데모그래픽 속성에, 회신 전의 상기 리스펀스에 포함되는 관련 메타데이터를 매칭시킬 수 있다.
본 발명의 제2 측면에 있어서는, 콘텐츠로부터 추출된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와, 추출원의 상기 콘텐츠를 나타내는 콘텐츠 식별자와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자를 포함하는 관련 메타데이터의 대응 관계를 나타내는 데이터베이스를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠가 동정되고, 동정된 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자를 포함하는 관련 메타데이터를 포함하는 리스펀스가 생성되어 상기 수신 장치로 회신된다. 또한, 회신 전의 상기 리스펀스에 포함되는 관련 메타데이터는, 상기 쿼리에 포함되는 유저 프로파일 데이터에 매칭된다.
본 발명의 제3 측면인 애플리케이션 연동 시스템은, 콘텐츠의 송신 장치와 수신 장치를 포함하는 애플리케이션 연동 시스템에 있어서, 상기 수신 장치가, 재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하는 추출부와, 유저 프로파일 데이터를 생성하는 프로파일 생성부와, 상기 시그니처 데이터 및 상기 유저 프로파일 데이터를 적어도 포함하는 쿼리를 생성해서 송신 장치로 송신하고, 상기 쿼리에 따라서 상기 송신 장치로부터 회신된, 상기 송신 장치에서 상기 유저 프로파일 데이터에 매칭되어 있는 리스펀스를 수신하는 쿼리 생성부와, 수신된 상기 리스펀스에 기초하여, 상기 콘텐츠의 재생에 연동해서 애플리케이션을 취득해서 실행하는 애플리케이션 실행부를 구비한다. 또한, 상기 송신 장치가, 콘텐츠로부터 추출된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와, 추출원의 상기 콘텐츠를 나타내는 콘텐츠 식별자와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자를 포함하는 관련 메타데이터의 대응 관계를 나타내는 데이터베이스와, 상기 데이터베이스를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정하고, 동정한 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자를 포함하는 관련 메타데이터를 포함하는 리스펀스를 생성해서 상기 수신 장치로 회신하는 리스펀스 생성부와, 회신 전의 상기 리스펀스에 포함되는 관련 메타데이터를, 상기 쿼리에 포함되는 유저 프로파일 데이터에 매칭시키는 매칭부를 구비한다.
본 발명의 제3 측면에 있어서는, 수신 장치에 의해, 재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터가 추출되고, 상기 시그니처 데이터 및 유저 프로파일 데이터를 적어도 포함하는 쿼리가 생성되어 송신 장치로 송신되고, 상기 쿼리에 따라서 상기 송신 장치로부터 회신된, 상기 송신 장치에서 상기 유저 프로파일 데이터에 매칭되어 있는 리스펀스가 수신되고, 수신된 상기 리스펀스에 기초하여, 상기 콘텐츠의 재생에 연동해서 애플리케이션이 취득되어 실행된다. 한편, 송신 장치에 의해, 콘텐츠로부터 추출된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와, 추출원의 상기 콘텐츠를 나타내는 콘텐츠 식별자와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자를 포함하는 관련 메타데이터의 대응 관계를 나타내는 데이터베이스를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠가 동정되고, 동정된 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자를 포함하는 관련 메타데이터를 포함하는 리스펀스가 생성되어 상기 수신 장치로 회신된다. 또한, 회신 전의 상기 리스펀스에 포함되는 관련 메타데이터는, 상기 쿼리에 포함되는 유저 프로파일 데이터에 매칭된다.
본 발명의 제1 측면에 따르면, 시청 중인 콘텐츠의 진행에 연동해서 유저에게 적합한 애플리케이션을 실행할 수 있다.
본 발명의 제2 측면에 따르면, 수신 장치에서 시청 중인 콘텐츠를 동정하고, 그 진행에 연동해서 유저에게 적합한 애플리케이션을 공급할 수 있다.
본 발명의 제3 측면에 따르면, 수신 장치에서 시청 중인 콘텐츠를 동정하고, 그 진행에 연동해서 유저에게 적합한 애플리케이션을 방송 장치로부터 수신 장치로 공급할 수 있다.
도 1은 본 발명의 실시 형태인 애플리케이션 연동 시스템의 구성예를 도시하는 블록도.
도 2는 ACR 서버의 구성예를 도시하는 블록도.
도 3은 ACR 레퍼런스 데이터의 데이터 구조를 도시하는 도면.
도 4는 ACR 쿼리의 데이터 구조를 도시하는 도면.
도 5는 ACR 리스펀스의 데이터 구조를 도시하는 도면.
도 6은 애플리케이션 연동 시스템의 동작을 설명하는 흐름도.
도 7은 컴퓨터의 구성예를 도시하는 블록도.
이하, 본 발명을 실시하기 위한 구체적인 내용(이하, 실시 형태라고 칭함)에 대해서, 도면을 참조하면서 상세하게 설명한다.
[애플리케이션 연동 시스템의 구성예]
도 1은 본 발명의 실시 형태인 애플리케이션 연동 시스템의 구성예를 나타내고 있다.
이 애플리케이션 연동 시스템(10)은 유저가 TV 수상기 등의 화면을 모니터로서 시청하고 있는 콘텐츠를 동정하고, 그 진행에 연동하여, 유저에게 적합한 애플리케이션을 실행시키거나, 실행 중인 애플리케이션에 의해 유저에게 적합한 정보를 제시시키거나 하는 것이다.
여기서, 콘텐츠란, TV 수상기에 의해 수신되는 방송 중인 프로그램에 한정되지 않는다. 예를 들어, 비디오 레코더에 의해 녹화, 재생된 프로그램, 멀티미디어 플레이어에 의해 패키지 미디어로부터 재생된 영화 등의 영상, 인터넷을 통해서 다운로드한 동화상 등 모든 AV 콘텐츠가 포함된다. 또한, 프로그램 사이나 프로그램 도중 등에 삽입되는 커머셜 메세지(이하, CM이라고 칭함)도 콘텐츠에 포함된다.
콘텐츠의 동정에는, 시청하고 있는 콘텐츠로부터 주기적으로 추출하는 시그니처 데이터(특징량)와, 미리 데이터베이스에 등록되어 있는 콘텐츠의 시그니처 데이터를 비교함으로써, 콘텐츠를 동정하는 ACR(Automatic Content Recognition)이 사용된다.
애플리케이션 연동 시스템(10)은 송신 장치(20)와, 방송망(11) 및 쌍방향 통신망(12)을 통해서 송신 장치(20)와 접속되는 복수의 수신 장치(30)로 구성된다. 방송망(11)으로는, TV 방송망, CATV망, IPTV망 등을 가리킨다. 쌍방향 통신망(12)은 인터넷으로 대표되는 IP 통신망을 가리킨다.
각 수신 장치(30)는 TV 수상기 등에 내장된 상태에서 유저의 집 등에 배치되어 있는 것으로 한다.
[송신 장치(20)의 설명]
송신 장치(20)는 콘텐츠 서버(21), 애플리케이션 서버(22), ACR 서버(23) 및 프로파일 매칭 서버(24)로 구성된다.
콘텐츠 서버(21)는 프로그램이나 CM 등의 콘텐츠를, 방송망(11)을 통해서 방송한다. 또한, 콘텐츠 서버(21)는 방송한 콘텐츠와 그에 대응하는 메타데이터를 ACR 서버(23)에 공급한다. 메타데이터에는, 콘텐츠의 진행에 연동해서 실행시키는 애플리케이션을 나타내는 식별자나 그 취득처, 애플리케이션에서 사용하는 데이터 등이 포함된다. 또한, 콘텐츠를 공급하는 대신에, 콘텐츠의 특징을 나타내는 시그니처 데이터를 ACR 서버(23)에 공급하도록 해도 된다.
애플리케이션 서버(22)는 수신 장치(30)로부터의 요구에 따라서, 쌍방향 통신망(12)을 통해서 애플리케이션이나 그 애플리케이션에서 이용하는 데이터를 공급한다.
ACR 서버(23)는 수신 장치(30)측에서 시청될 수 있는 여러가지 콘텐츠 각각으로부터 소정의 샘플링 주기로 추출된 시그니처 데이터에, 콘텐츠 식별자, 애플리케이션 식별자 등을 대응지은 ACR 레퍼런스 데이터를 미리 데이터베이스화해서 유지하고 있다. ACR 서버(23)는 ACR 레퍼런스 데이터의 데이터베이스에 기초하여, 수신 장치(30)로부터 송신되는 ACR 쿼리에 따라서 ACR 리스펀스를 생성, 회신한다.
프로파일 매칭 서버(24)는, ACR 서버(23)에서 ACR 쿼리에 따른 ACR 리스펀스를 생성할 때, ACR 쿼리에 포함되는 수신 장치(30)의 유저 프로파일 데이터에 기초하여, ACR 리스펀스에 저장되는 관련 메타데이터의 매칭과 필터링을 행한다.
또한, 송신 장치(30)를 구성하는 콘텐츠 서버(21), 애플리케이션 서버(22), ACR 서버(23) 및 프로파일 매칭 서버(24)는, 1개소에 집중해서 배치해도 되고, 분산해서 배치해도 된다. 또한, 콘텐츠 서버(21), 애플리케이션 서버(22), ACR 서버(23) 및 프로파일 매칭 서버(24)는, 적절히 조합하여 구성하도록 해도 된다. 또한, ACR 서버(23) 및 프로파일 매칭 서버(24)는 복수 존재해도 된다.
[수신 장치(30)의 설명]
수신 장치(30)는 콘텐츠 렌더러(31), ACR 클라이언트(32), 유저 인터페이스(33), 프로파일 매니저(34) 및 애플리케이션 매니저(35)를 갖는다.
콘텐츠 렌더러(31)는, 수신 장치(30)가 내장되어 있는 TV 수상기 등의 디스플레이에 표시되는 모든 콘텐츠를 취득, 분기해서 ACR 클라이언트(32)에 공급한다. 즉, 콘텐츠 렌더러(31)는 콘텐츠 서버(21)로부터 방송되는 콘텐츠뿐만 아니라, TV 수상기의 각종 입력 단자(HDMI(등록상표) 단자 등)를 통해서 입력되는 콘텐츠도 취득, 분기해서 ACR 클라이언트(32)에 공급한다.
ACR 클라이언트(32)는 콘텐츠 렌더러(31)로부터 입력되는 콘텐츠로부터, 그 콘텐츠의 특징을 나타내는 시그니처 데이터를 소정의 샘플링 주기로 추출한다. 여기서, 시그니처 데이터의 추출 방식은, 송신 장치(20)의 ACR 서버(23)와 같은 추출 방식(후술)을 사용하는 것으로 한다.
또한, ACR 클라이언트(32)는 추출한 시그니처 데이터와 유저 프로파일 데이터를 포함하는 ACR 쿼리를 생성하여, 쌍방향 통신망(12)을 통해서 송신 장치(20)의 ACR 서버(23)로 송신한다. 또한, ACR 클라이언트(32)는 송신한 ACR 쿼리에 따라서 ACR 서버(23)로부터 회신되는 ACR 리스펀스를 수신해서 유지한다. 또한, ACR 클라이언트(32)는 유지한 ACR 리스펀스를 해석하고, 시청 중인 콘텐츠에 대응하는 애플리케이션을 콘텐츠의 진행에 연동해서 애플리케이션 매니저(35)에 실행시킨다.
유저 인터페이스(33)는 유저 자신의 프로파일 데이터의 입력 조작, 재생하는 콘텐츠의 선택 조작, 실행된 애플리케이션에 대한 조작 등을 접수한다.
프로파일 매니저(34)는 유저 인터페이스(33)를 사용해서 입력된 정보, 조작 이력 등에 기초하여, 유저 프로파일 데이터를 생성해서 ACR 클라이언트(32)에 출력한다.
생성되는 유저 프로파일 데이터에는, 유저의 데모그래픽(demographic) 속성(연령, 성별, 직업, 학력, 거주지역, 메일 어드레스, 취미, 기호, 사용 언어, 세대 규모, 콘텐츠의 시청 경향), 수신 장치(30)의 스펙(이용 가능 CODEC의 종류 등), 쌍방향 통신망(12)의 폭주 상황, 자연 환경 정보(날씨, 온도, 습도 등) 등의 항목을 포함할 수 있다.
애플리케이션 매니저(35)는 ACR 클라이언트(32)로부터의 제어에 따라, 시청 중인 콘텐츠에 대응하는 애플리케이션을, 쌍방향 통신망(12)을 통해서 애플리케이션 서버(22)로부터 취득해서 실행한다. 애플리케이션 매니저(35)에서 실행된 애플리케이션은, 관련 메타데이터 취득 API(Application Program Interface)를 사용하여, 실행 중인 애플리케이션에 대응하는 관련 메타데이터를 ACR 클라이언트(32)로부터 취득한다.
[ACR 서버(23)의 상세한 구성예]
도 2는 ACR 서버(23)의 상세한 구성예를 나타내고 있다.
ACR 서버(23)는 콘텐츠 취득부(41), 레퍼런스 시그니처 추출부(42), ACR 데이터베이스(43) 및 ACR 리스펀스 생성부(44)로 구성된다.
콘텐츠 취득부(41)는 콘텐츠 서버(21)가 방송망(11)을 통해서 방송할 예정인 콘텐츠와 그 메타데이터를 콘텐츠 서버(21)로부터 취득하고, 취득한 콘텐츠를 레퍼런스 시그니처 추출부(42)에 공급한다. 또한, 콘텐츠 취득부(41)는 수신 장치(30)측에서 시청될 수 있는 여러가지 콘텐츠와 그 메타데이터를 외부로부터 취득하고, 취득한 콘텐츠를 레퍼런스 시그니처 추출부(42)에 공급한다.
레퍼런스 시그니처 추출부(42)는 콘텐츠 취득부(41)로부터 공급되는 콘텐츠로부터, 그 특징을 나타내는 시그니처 데이터를 소정의 추출 방식을 사용하여, 소정의 샘플링 주기로 추출해서 ACR 데이터베이스(43)에 출력한다. 시그니처 데이터의 추출 방식은, 기존의 임의의 방법을 적용할 수 있다. 예를 들어, 콘텐츠에 미리 매립되어 있는 워터 마크를 추출해서 시그니처 데이터로 하거나, 핑거 프린트를 산출하고, 그것을 시그니처 데이터로 하거나 하도록 해도 된다.
시그니처 데이터로서 핑거 프린트를 사용함으로써, 콘텐츠의 해상도, 애스펙트비, 비트레이트, 부호화 포맷 등이 변환되었다 하더라도, 변환 전과 변환 후에 동일한 시그니처 데이터를 얻을 수 있다. 따라서, 이 시그니처 데이터에 기초하여 콘텐츠의 동정을 행한 경우의 동정 정밀도를 높일 수 있다.
또한, ACR 서버(23)가 복수 존재하는 경우, 그들 레퍼런스 시그니처 추출부(42)에 있어서의 시그니처 데이터의 추출 방식은 반드시 일치할 필요는 없고, ACR 서버(23)마다 임의의 추출 방식을 채용할 수 있다.
ACR 데이터베이스(43)는 레퍼런스 시그니처 추출부(42)로부터 입력되는 각 시그니처 데이터에 대하여 그 추출원의 콘텐츠를 나타내는 콘텐츠 식별자 등을 대응지은 ACR 레퍼런스 데이터를 생성해서 기억한다. 이에 의해, 콘텐츠로부터 추출된 시그니처 데이터가 데이터베이스화된다. ACR 레퍼런스 데이터의 데이터 구조에 대해서는 도 3을 참조하여 후술한다.
ACR 리스펀스 생성부(44)는 ACR 데이터베이스(43)를 참조함으로써, ACR 클라이언트(32)로부터 송신되는 ACR 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정한다. 또한, ACR 리스펀스 생성부(44)는 동정 결과로서의 콘텐츠 식별자, 관련 메타데이터 등을 포함하는 ACR 리스펀스를 생성한다. 또한, ACR 리스펀스 생성부(44)는 ACR 리스펀스에 저장한 관련 메타데이터를, 프로파일 매칭 서버(24)의 제어에 따라서 매칭, 필터링을 행하여, 수신 장치(30)로 송신한다. ACR 리스펀스의 데이터 구조에 대해서는 도 5를 참조하여 후술한다.
[ACR 레퍼런스 데이터의 데이터 구조]
도 3은 ACR 서버(23)의 ACR 데이터베이스(43)에 데이터베이스화되어 있는 ACR 레퍼런스 데이터의 데이터 구조를 나타내고 있다.
ACR 레퍼런스 데이터(50)에 있어서는, 시그니처 데이터(51)에 대하여 콘텐츠 식별자(52), 재생 시각(53) 및 관련 메타데이터(54)가 대응지어져 있다.
시그니처 데이터(51)는 레퍼런스 시그니처 추출부(42)에서 콘텐츠로부터 추출된 것이다. 콘텐츠 식별자(52)는 상기 시그니처 데이터(51)의 추출원의 콘텐츠를 식별하기 위한 정보이다. 재생 시각(53)은 콘텐츠 식별자(52)가 나타내는 콘텐츠로부터 상기 시그니처 데이터(51)가 추출되었을 때의 콘텐츠 진행 타이밍을 나타내는 것이며, 그 콘텐츠의 선두로부터의 경과 시간에 의해 표시된다.
관련 메타데이터(54)에는, 콘텐츠 식별자(82)가 나타내는 콘텐츠의, 재생 시각(83)이 나타내는 콘텐츠의 진행 타이밍에 연동해서 실행해야 할 애플리케이션을 나타내는 애플리케이션 식별자, 그 취득처(애플리케이션 서버(22))를 나타내는 정보, 실행된 그 애플리케이션에 의해 이용되는 각종 데이터가 포함된다.
또한, 관련 메타데이터(54)는 재생 시각(53)이 나타내는 콘텐츠의 진행 타이밍에 따라서 다른 내용으로 해도 된다.
[ACR 쿼리의 데이터 구조]
도 4는 ACR 클라이언트(32)에서 생성되는 ACR 쿼리의 데이터 구조를 나타내고 있다.
ACR 쿼리(60)에는, ACR 쿼리 식별자(61), 추출 방식 식별자(62), 서비스 식별자(63), 시그니처 데이터(64), 로컬 타임 스탬프(65), 유저 프로파일 데이터(66), 발신원 어드레스(67) 및 서명(68)이 포함된다.
ACR 쿼리 식별자(61)는 상기 ACR 쿼리(60)를 일의적으로 특정하기 위한 정보이다. 추출 방식 식별자(62)는 시그니처 데이터(64)를 추출할 때에 사용된 추출 방식을 특정하기 위한 정보이다. 서비스 식별자(63)는 ACR 서버(23)가 복수 존재하는 경우에 있어서, 상기 ACR 쿼리(60)를 송신해서 ACR 리스펀스를 얻는 ACR 서버(23)를 선택하기 위한 정보이다.
시그니처 데이터(64)는 ACR 클라이언트(32)에서 콘텐츠로부터 추출된 것이다. 로컬 타임 스탬프(65)는 콘텐츠로부터 시그니처 데이터(64)가 추출된 타이밍을 나타내는 것이며, 수신 장치(30)의 로컬 시스템 클럭이 나타내는 시각에 의해 표시된다.
유저 프로파일 데이터(66)는 프로파일 매니저(34)에서 생성된 것이다. 발신원 어드레스(67)는 상기 ACR 쿼리(60)를 발신하는 ACR 클라이언트(32)의 쌍방향 통신망(12)에 있어서의 어드레스이며, 상기 ACR 쿼리(60)에 따라서 ACR 서버(23)에서 생성되는 ACR 리스펀스의 회신처를 나타내는 정보로서 이용된다. 서명(68)은 상기 ACR 쿼리(60)의 개찬을 억제하기 위한 것이다. 또한, ACR 쿼리(60)의 전체를 암호화해서 송신하도록 해도 된다.
[ACR 리스펀스의 데이터 구조]
도 5는 ACR 서버(23)의 ACR 리스펀스 생성부(44)에서 생성되는 ACR 리스펀스의 데이터 구조를 나타내고 있다.
또한, 도 5의 A는, ACR 쿼리(60)에 포함되는 시그니처 데이터(64)의 추출원의 콘텐츠를 동정할 수 있는 경우, 즉 수신 장치(30)에서 시청 중인 콘텐츠를 동정할 수 있는 경우의 ACR 리스펀스의 데이터 구조이다. 도 5의 B는 콘텐츠를 동정할 수 없는 경우의 ACR 리스펀스의 데이터 구조이다.
수신 장치(30)에서 시청 중인 콘텐츠가 동정된 경우의 ACR 리스펀스(70)(도 5의 A)에는, ACR 쿼리 식별자(71), 추출 방식 식별자(72), 서비스 식별자(73), 콘텐츠 식별자(74), 재생 시각(75), 로컬 타임 스탬프(76), 관련 메타데이터(77), 발신원 어드레스(78) 및 서명(79)이 포함된다.
한편, 수신 장치(30)에서 시청 중인 콘텐츠가 동정되지 못한 경우의 ACR 리스펀스(70)(도 5의 B)에는, ACR 쿼리 식별자(71), 서비스 식별자(73), 발신원 어드레스(78), 서명(79) 및 동정 실패 플래그(80)가 포함된다.
ACR 쿼리 식별자(71), 추출 방식 식별자(72), 서비스 식별자(73), 로컬 타임 스탬프(76)는 상기 ACR 리스펀스(70)가 생성되는 트리거로 된 ACR 쿼리(60)를 특정하기 위한 것이고, 대응하는 ACR 쿼리(60)의 ACR 쿼리 식별자(61), 추출 방식 식별자(62), 서비스 식별자(63) 및 로컬 타임 스탬프(65)가 인용되어 기술된다.
콘텐츠 식별자(74), 재생 시각(75) 및 관련 메타데이터(77)는 동정 결과를 나타내는 것이며, 대응하는 ACR 레퍼런스 데이터(50)의 콘텐츠 식별자(52), 재생 시각(53) 및 관련 메타데이터(54)가 인용되어 기술된다.
발신원 어드레스(78)는 상기 ACR 리스펀스(70)를 송신하는 ACR 서버(23)의 쌍방향 통신망(12) 상의 어드레스이다. 서명(79)은 상기 ACR 리스펀스(70)의 개찬을 억제하기 위한 것이다. 또한, ACR 리스펀스(70)의 전체를 암호화해서 송신함으로써, 그 개찬을 방지하도록 해도 된다.
동정 실패 플래그(80)는 ACR 서버(23)에서, ACR 클라이언트(32)로부터의 ACR 쿼리(60)에 포함되는 시그니처 데이터(64)의 추출원의 콘텐츠, 즉 수신 장치(30)에서 시청 중인 콘텐츠를 동정하지 못하였음을 나타내는 플래그이다.
[애플리케이션 연동 시스템(10)에 의한 동작]
이어서, 애플리케이션 연동 시스템(10)의 동작에 대해서 설명한다.
도 6은 애플리케이션 연동 시스템(10)의 동작을 설명하는 흐름도이다.
송신 장치(20)는 방송망(11)을 통한 콘텐츠의 송신을 개시하는 전 처리로 하고, 스텝 S11에 있어서, 이 이후에 송신을 개시하는 콘텐츠와 그 관련 메타데이터를 ACR 서버(23)에 공급한다. ACR 서버(23)는 공급된 콘텐츠와 그 관련 메타데이터를 사용해서 ACR 레퍼런스 데이터를 생성하여, ACR 데이터베이스에 등록한다.
이와 같이, 방송하는 콘텐츠에 대응하는 ACR 레퍼런스 데이터가 데이터베이스화된 후, 이후에 설명하는 스텝 S12 내지 S15가 반복된다.
스텝 S12에 있어서, 송신 장치(20)는 방송망(11)을 통한 콘텐츠의 송신을 개시한다.
한편, 수신 장치(30)에 있어서는, 콘텐츠의 수신, 재생의 전 처리로서, 프로파일 매니저(34)가 유저 프로파일 데이터를 생성해서 ACR 클라이언트(32)에 공급한다. 또한, 유저 프로파일 데이터에 포함되는 항목 중, 예를 들어 쌍방향 통신망(12)의 폭주 상황, 자연 환경 정보 등의 동적으로 변화하는 것에 대해서는, 이 이후에 있어서도 수시로 갱신되는 것으로 한다.
수신 장치(30)에 있어서는, 콘텐츠가 재생, 시청되고 있는 동안, 이후에 설명하는 스텝 S22 내지 S25가 반복된다. 또한, 상기 콘텐츠는 콘텐츠 서버(12)가 송신한 것이 아니어도 상관없다.
스텝 S22에 있어서, 콘텐츠 렌더러(31)는, 시청 중인 콘텐츠를 취득, 분기해서 ACR 클라이언트(32)에 출력한다. 스텝 S23에 있어서, ACR 클라이언트(32)는 콘텐츠 렌더러(31)로부터 입력되는 시청 중인 콘텐츠로부터, 소정의 샘플링 주기로 시그니처 데이터를 추출한다.
스텝 S24에 있어서, ACR 클라이언트(32)는 시그니처 데이터를 추출할 때마다, 그 시그니처 데이터와 유저 프로파일 데이터를 포함하는 ACR 쿼리(60)를 생성하여, ACR 서버(23)로 송출한다.
ACR 클라이언트(32)로부터의 ACR 쿼리(60)를 수신한 ACR 서버(23)에서는, 스텝 S13에 있어서, ACR 리스펀스 생성부(44)가 ACR 데이터베이스(43)를 참조하여, 수신한 ACR 쿼리(60)에 포함되는 시그니처 데이터(64)에 대응하는 콘텐츠를 동정한다.
스텝 S14에 있어서, ACR 리스펀스 생성부(44)는 콘텐츠의 동정 결과에 따라서, ACR 리스펀스(70)를 생성한다. 이때, ACR 쿼리(60)에 포함되어 있는 유저 프로파일 데이터(66)에 기초하여, ACR 리스펀스(70)에 포함시키는 관련 메타데이터(77)의 매칭, 필터링을 행한다. 스텝 S15에 있어서, ACR 리스펀스 생성부(44)는 생성한 ACR 리스펀스(70)를 ACR 클라이언트(32)로 송출한다.
ACR 서버(23)로부터의 ACR 리스펀스(70)를 수신한 ACR 클라이언트(32)는 스텝 S25에 있어서, ACR 리스펀스(70)에 포함되는 관련 메타데이터(77)를 해석하고, 시청 중인 콘텐츠의 진행에 연동해서 실행해야 할 애플리케이션을 애플리케이션 매니저(35)에 취득, 실행시킨다.
또한, 수신한 ACR 리스펀스(70)에 포함되는 관련 메타데이터(77)는 이미 ACR 서버(23)에 있어서 유저 프로파일 데이터에 기초하여 매칭, 필터링이 행해지고 있지만, ACR 클라이언트(32)에 있어서 유저 프로파일 데이터에 기초하여 매칭, 필터링을 더 행해도 된다.
애플리케이션 매니저(35)는 애플리케이션 서버(22)로부터 그 애플리케이션을 취득해서 실행한다. 애플리케이션 매니저(35)에서 실행된 애플리케이션은, 관련 메타데이터 취득 API를 사용하여, ACR 클라이언트(32)가 유지하는 ACR 리스펀스(70)로부터 관련 메타데이터(77)를 취득한다.
이상으로 설명한 스텝 S12 내지 S15의 처리 및 스텝 S22 내지 S25의 처리는, 콘텐츠가 시청되고 있는 동안, 반복 실행된다. 이에 의해, 시청 중인 콘텐츠의 진행에 연동함과 함께, 유저에게 적합한 애플리케이션의 동작이 가능해진다.
구체적으로는, 예를 들어 어느 콘텐츠의 내용으로서, 애완 동물에게 먹이를 주는 장면이 존재하는 경우, 유저 프로파일 데이터에 의해 수신 장치(30)의 유저가 고양이를 기르고 있는 것이 판명되면, 그 콘텐츠에 연동해서 실행하는 애플리케이션에 의해, 그 장면에 고양이용 펫 푸드의 커머셜 배너나 구입 사이트 등의 링크 정보를 표시시키는 것이 가능해진다.
또한 예를 들어, 유저 프로파일 데이터에 의해, 수신 장치(30)의 유저 사용 언어가 스페인어라고 판명된 경우, 스페인어 이외의 프로그램이나 CM 등 콘텐츠가 시청되고 있을 때는, 그 콘텐츠에 연동해서 실행하는 애플리케이션에 의해, 스페인어의 자막을 표시시키거나, 스페인어의 해설 음성을 출력시키거나 하는 것이 가능해진다.
또한 예를 들어, 유저 프로파일 데이터에 의해, 수신 장치(30)의 유저의 시청 지역이 판명된 경우, 그 콘텐츠에 연동해서 실행하는 애플리케이션에 의해, 시청 지역에 특화된 정보를 유저에게 제시하는 것이 가능해진다.
또한, 상술한 구체예는, 기존의 기술에 의해서도 실시하는 것은 가능하지만, 실제로 실행하기 위해서는, 유저에게 제시하는 정보를 좁혀가기 위해서, 수신측과 송신측 사이에서 복수회의 트랜잭션이 필요해져서, 유저가 필요로 하는 정보를 빠르게 제시할 수 없다.
그러나, 본 실시 형태의 경우에는, 콘텐츠의 동정을 의뢰하기 위한 ACR 쿼리(60)에 포함시켜서 유저 프로파일 데이터(66)를 송신하고 있으므로, ACR 리스펀스(70)를 생성하는 단계에서, 관련 메타데이터(77)를 수신 장치(70)의 유저에게 적합하게 매칭하거나, 필터링하거나 할 수 있다. 따라서, 유저에게 적합한 정보를 빠르게 유저에게 제시할 수 있다.
그런데, 상술한 일련의 처리를 실행하는 송신 장치(20) 및 수신 장치(30)는 각각을 하드웨어에 의해 구성하는 것 외에, 컴퓨터가 소프트웨어를 실행함으로써 실현할 수도 있다. 이 컴퓨터에는, 전용 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 7은 상술한 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.
이 컴퓨터(100)에 있어서, CPU(Central Processing Unit)(101), ROM(Read Only Memory)(102), RAM(Random Access Memory)(103)은, 버스(104)에 의해 서로 접속되어 있다.
버스(104)에는 또한, 입출력 인터페이스(105)가 접속되어 있다. 입출력 인터페이스(105)에는, 입력부(106), 출력부(107), 기억부(108), 통신부(109) 및 드라이브(110)가 접속되어 있다.
입력부(106)는 키보드, 마우스, 마이크로폰 등을 포함한다. 출력부(107)는 디스플레이, 스피커 등을 포함한다. 기억부(108)는 하드 디스크나 불휘발성 메모리 등을 포함한다. 통신부(109)는 네트워크 인터페이스 등을 포함한다. 드라이브(110)는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등 리무버블 미디어(111)를 구동한다.
이상과 같이 구성되는 컴퓨터(100)에서는, CPU(101)가, 예를 들어 기억부(108)에 기억되어 있는 프로그램을, 입출력 인터페이스(105) 및 버스(104)를 통해서, RAM(103)에 로드해서 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(100)(CPU(101))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(111)에 기록해서 제공할 수 있다. 또한, 프로그램은, 로컬에리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해서 제공할 수 있다.
컴퓨터(100)에서는, 프로그램은, 리무버블 미디어(211)를 드라이브(210)에 장착함으로써, 입출력 인터페이스(105)를 통해서, 기억부(108)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해서, 통신부(109)에서 수신하고, 기억부(108)에 인스톨할 수 있다. 그 외, 프로그램은, ROM(102)이나 기억부(108)에, 미리 인스톨해 둘 수 있다.
또한, 컴퓨터(100)가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로 또는 호출이 행해졌을 때 등 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 발명의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
10 : 애플리케이션 연동 시스템
11 : 방송망
12 : 쌍방향 통신망
20 : 송신 장치
21 : 콘텐츠 서버
22 : 애플리케이션 서버
23 : ACR 서버
24 : 프로파일 매칭 서버
30 : 수신 장치
31 : 콘텐츠 렌더러
32 : ACR 클라이언트
33 : 유저 인터페이스
34 : 프로파일 매니저
35 : 애플리케이션 매니저
41 : 콘텐츠 취득부
42 : 레퍼런스 시그니처 추출부
43 : ACR 데이터베이스
44 : ACR 리스펀스 생성부
50 : ACR 레퍼런스 데이터
60 : ACR 쿼리
66 : 유저 프로파일 데이터
70 : ACR 리스펀스
100 : 컴퓨터
101 : CPU

Claims (10)

  1. 재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하는 추출부와,
    유저 프로파일 데이터를 생성하는 프로파일 생성부와,
    상기 시그니처 데이터 및 상기 유저 프로파일 데이터를 적어도 포함하는 쿼리를 생성해서 송신 장치로 송신하고, 상기 쿼리에 따라서 상기 송신 장치로부터 회신된, 상기 송신 장치에서 상기 유저 프로파일 데이터에 매칭되어 있는 리스펀스를 수신하는 쿼리 생성부와,
    수신된 상기 리스펀스에 기초하여, 상기 콘텐츠의 재생에 연동해서 애플리케이션을 취득해서 실행하는 애플리케이션 실행부
    를 구비하는 수신 장치.
  2. 제1항에 있어서,
    상기 생성부는, 유저의 데모그래픽 속성을 포함하는 상기 유저 프로파일 데이터를 생성하는 수신 장치.
  3. 제2항에 있어서,
    상기 쿼리 생성부는, 상기 추출부에서 상기 시그니처 데이터가 추출될 때마다, 상기 시그니처 데이터 및 상기 유저 프로파일 데이터를 적어도 포함하는 쿼리를 생성해서 송신 장치로 송신하고, 상기 쿼리에 따라서 상기 송신 장치로부터 회신된, 상기 송신 장치에서 상기 유저 프로파일 데이터에 매칭되어 있는 리스펀스를 수신하는 수신 장치.
  4. 제2항에 있어서,
    상기 프로파일 생성부는 수신 장치의 스펙, 통신망의 폭주 상황 또는 자연 환경 정보 중 적어도 하나를 포함하는 상기 유저 프로파일 데이터를 더 생성하는 수신 장치.
  5. 제2항에 있어서,
    상기 수신 장치는, 콘텐츠를 재생하는 재생 장치에 내장되고,
    상기 재생 장치에서 재생되는 모든 콘텐츠를 상기 추출부에 공급하는 콘텐츠 공급부를 더 구비하는 수신 장치.
  6. 수신 장치의 정보 처리 방법에 있어서,
    상기 수신 장치에 의한,
    재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하는 추출 스텝과,
    유저 프로파일 데이터를 생성하는 프로파일 생성 스텝과,
    상기 시그니처 데이터 및 상기 유저 프로파일 데이터를 적어도 포함하는 쿼리를 생성해서 송신 장치로 송신하고, 상기 쿼리에 따라서 상기 송신 장치로부터 회신된, 상기 송신 장치에서 상기 유저 프로파일 데이터에 매칭되어 있는 리스펀스를 수신하는 쿼리 생성 스텝과,
    수신된 상기 리스펀스에 기초하여, 상기 콘텐츠의 재생에 연동해서 애플리케이션을 취득해서 실행하는 애플리케이션 실행 스텝
    을 포함하는 정보 처리 방법.
  7. 컴퓨터를,
    재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하는 추출부와,
    유저 프로파일 데이터를 생성하는 프로파일 생성부와,
    상기 시그니처 데이터 및 상기 유저 프로파일 데이터를 적어도 포함하는 쿼리를 생성해서 송신 장치로 송신하고, 상기 쿼리에 따라서 상기 송신 장치로부터 회신된, 상기 송신 장치에서 상기 유저 프로파일 데이터에 매칭되어 있는 리스펀스를 수신하는 쿼리 생성부와,
    수신된 상기 리스펀스에 기초하여, 상기 콘텐츠의 재생에 연동해서 애플리케이션을 취득해서 실행하는 애플리케이션 실행부
    로서 기능시키는 프로그램.
  8. 콘텐츠로부터 추출된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와, 추출원의 상기 콘텐츠를 나타내는 콘텐츠 식별자와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자를 포함하는 관련 메타데이터의 대응 관계를 나타내는 데이터베이스와,
    상기 데이터베이스를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정하고, 동정한 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자를 포함하는 관련 메타데이터를 포함하는 리스펀스를 생성해서 상기 수신 장치로 회신하는 리스펀스 생성부와,
    회신 전의 상기 리스펀스에 포함되는 관련 메타데이터를, 상기 쿼리에 포함되는 유저 프로파일 데이터에 매칭시키는 매칭부
    를 구비하는 송신 장치.
  9. 제8항에 있어서,
    상기 매칭부는, 상기 유저 프로파일 데이터에 포함되는 상기 수신 장치의 유저의 데모그래픽 속성에, 회신 전의 상기 리스펀스에 포함되는 관련 메타데이터를 매칭시키는 송신 장치.
  10. 콘텐츠의 송신 장치와 수신 장치를 포함하는 애플리케이션 연동 시스템에 있어서,
    상기 수신 장치는,
    재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하는 추출부와,
    유저 프로파일 데이터를 생성하는 프로파일 생성부와,
    상기 시그니처 데이터 및 상기 유저 프로파일 데이터를 적어도 포함하는 쿼리를 생성해서 송신 장치로 송신하고, 상기 쿼리에 따라서 상기 송신 장치로부터 회신된, 상기 송신 장치에서 상기 유저 프로파일 데이터에 매칭되어 있는 리스펀스를 수신하는 쿼리 생성부와,
    수신된 상기 리스펀스에 기초하여, 상기 콘텐츠의 재생에 연동해서 애플리케이션을 취득해서 실행하는 애플리케이션 실행부
    를 구비하고,
    상기 송신 장치는,
    콘텐츠로부터 추출된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와, 추출원의 상기 콘텐츠를 나타내는 콘텐츠 식별자와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자를 포함하는 관련 메타데이터의 대응 관계를 나타내는 데이터베이스와,
    상기 데이터베이스를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정하고, 동정한 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자를 포함하는 관련 메타데이터를 포함하는 리스펀스를 생성해서 상기 수신 장치로 회신하는 리스펀스 생성부와,
    회신 전의 상기 리스펀스에 포함되는 관련 메타데이터를, 상기 쿼리에 포함되는 유저 프로파일 데이터에 매칭시키는 매칭부
    를 구비하는 애플리케이션 연동 시스템.
KR20147035958A 2012-07-12 2013-07-02 수신 장치, 정보 처리 방법, 프로그램, 송신 장치 및 애플리케이션 연동 시스템 KR20150030669A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261670882P 2012-07-12 2012-07-12
US61/670,882 2012-07-12
PCT/JP2013/068147 WO2014010469A1 (ja) 2012-07-12 2013-07-02 受信装置、情報処理方法、プログラム、送信装置、およびアプリケーション連動システム

Publications (1)

Publication Number Publication Date
KR20150030669A true KR20150030669A (ko) 2015-03-20

Family

ID=49915172

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20147035958A KR20150030669A (ko) 2012-07-12 2013-07-02 수신 장치, 정보 처리 방법, 프로그램, 송신 장치 및 애플리케이션 연동 시스템

Country Status (9)

Country Link
US (1) US8966533B2 (ko)
EP (1) EP2874403A4 (ko)
JP (1) JPWO2014010469A1 (ko)
KR (1) KR20150030669A (ko)
CN (1) CN104429092B (ko)
BR (1) BR112015000144A2 (ko)
IN (1) IN2014MN02572A (ko)
RU (1) RU2630432C2 (ko)
WO (1) WO2014010469A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102116679B1 (ko) 2012-03-05 2020-05-29 엘지전자 주식회사 영상 표시 장치 및 그 동작 방법
US10325591B1 (en) * 2014-09-05 2019-06-18 Amazon Technologies, Inc. Identifying and suppressing interfering audio content
US10616639B2 (en) 2016-12-21 2020-04-07 Samsung Electronics Co., Ltd. Display apparatus, content recognizing method thereof, and non-transitory computer readable recording medium
US10575950B2 (en) 2017-04-18 2020-03-03 Twelve, Inc. Hydraulic systems for delivering prosthetic heart valve devices and associated methods

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411725B1 (en) * 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
US20030093790A1 (en) * 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
CN100592788C (zh) 2000-04-14 2010-02-24 日本电信电话株式会社 与广播信息相关的信息取得方法、***和装置
JP3994682B2 (ja) * 2000-04-14 2007-10-24 日本電信電話株式会社 放送情報送受信システム
US20030192060A1 (en) * 2001-01-30 2003-10-09 Levy Kenneth L. Digital watermarking and television services
WO2002062009A1 (en) * 2001-01-30 2002-08-08 Digimarc Corporation Efficient interactive tv
JP4655534B2 (ja) 2004-08-04 2011-03-23 ソニー株式会社 端末装置およびデータ処理方法、プログラム並びに記録媒体
JP4534791B2 (ja) * 2005-02-23 2010-09-01 ソニー株式会社 Ｃｍ検索方法、ｃｍ検索結果受給方法、ｃｍ検索装置、ｃｍ検索結果受給装置及びｃｍ録画予約システム
EP2033444A1 (en) * 2006-06-13 2009-03-11 Koninklijke Philips Electronics N.V. Distribution of ambience and content
US20080066181A1 (en) * 2006-09-07 2008-03-13 Microsoft Corporation DRM aspects of peer-to-peer digital content distribution
US20080112690A1 (en) * 2006-11-09 2008-05-15 Sbc Knowledge Venturses, L.P. Personalized local recorded content
US8667542B1 (en) * 2009-01-05 2014-03-04 Sprint Communications Company L.P. System and method of filtered presentation of broadcast messages by mobile devices
US8458749B2 (en) * 2009-12-02 2013-06-04 At&T Intellectual Property I, Lp System and method for an interactive internet radio application in an internet protocol television system
US9374620B2 (en) 2011-10-21 2016-06-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and interlocked application feed system
US9015785B2 (en) 2011-11-29 2015-04-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and linking application supply system

Also Published As

Publication number Publication date
WO2014010469A1 (ja) 2014-01-16
BR112015000144A2 (pt) 2017-06-27
JPWO2014010469A1 (ja) 2016-06-23
IN2014MN02572A (ko) 2015-07-24
RU2630432C2 (ru) 2017-09-07
US20140020006A1 (en) 2014-01-16
US8966533B2 (en) 2015-02-24
CN104429092B (zh) 2019-02-22
EP2874403A1 (en) 2015-05-20
RU2014152247A (ru) 2016-07-27
EP2874403A4 (en) 2016-03-02
CN104429092A (zh) 2015-03-18

Similar Documents

Publication Publication Date Title
JP6219275B2 (ja) 端末装置、情報処理方法、プログラム、および連動アプリケーション供給システム
JP6219269B2 (ja) 端末装置、情報処理方法、プログラム、および連動アプリケーション供給システム
US9363519B2 (en) Detecting displayed channel using audio/video watermarks
KR102110623B1 (ko) 송신 장치, 정보 처리 방법, 프로그램, 수신 장치 및 애플리케이션 연동 시스템
KR20150084798A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
KR102019286B1 (ko) 단말 장치, 서버 장치, 정보 처리 방법, 프로그램 및 연동 어플리케이션 공급 시스템
KR20180083132A (ko) 전자 장치 및 그 동작방법
KR20150030669A (ko) 수신 장치, 정보 처리 방법, 프로그램, 송신 장치 및 애플리케이션 연동 시스템
JP2009302891A (ja) 情報処理装置
US20230050873A1 (en) Intelligent replacement of video content segments
JP6023518B2 (ja) 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
WITB Written withdrawal of application