KR101371574B1 - 매스 미디어를 위한 사회적 및 상호작용 애플리케이션 - Google Patents

매스 미디어를 위한 사회적 및 상호작용 애플리케이션 Download PDF

Info

Publication number
KR101371574B1
KR101371574B1 KR1020087015739A KR20087015739A KR101371574B1 KR 101371574 B1 KR101371574 B1 KR 101371574B1 KR 1020087015739 A KR1020087015739 A KR 1020087015739A KR 20087015739 A KR20087015739 A KR 20087015739A KR 101371574 B1 KR101371574 B1 KR 101371574B1
Authority
KR
South Korea
Prior art keywords
descriptor
media content
broadcast
client system
media
Prior art date
Application number
KR1020087015739A
Other languages
English (en)
Other versions
KR20080075896A (ko
Inventor
마이클 핀크
슈미트 발루자
미셸 코벨
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38092724&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101371574(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20080075896A publication Critical patent/KR20080075896A/ko
Application granted granted Critical
Publication of KR101371574B1 publication Critical patent/KR101371574B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/372—Programme
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/375—Commercial
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/64—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for providing detail information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17336—Handling of requests in head-ends
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/12—Arrangements for observation, testing or troubleshooting
    • H04H20/14—Arrangements for observation, testing or troubleshooting for monitoring programmes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/90—Aspects of broadcast communication characterised by the use of signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/06—Arrangements for scheduling broadcast services or broadcast-related services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/45—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/66—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on distributors' side
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/76—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet
    • H04H60/78—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by source locations or destination locations
    • H04H60/80—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by source locations or destination locations characterised by transmission among terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/76—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet
    • H04H60/81—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by the transmission system itself
    • H04H60/82—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by the transmission system itself the transmission system being the Internet
    • H04H60/87—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by the transmission system itself the transmission system being the Internet accessed over computer networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 실시간 주변 오디오 및/또는 비디오 식별에 기초하여 매스 미디어를 위한 사회적 및 상호작용 애플리케이션을 제공하는 시스템, 방법, 장치, 사용자 인터페이스 및 컴퓨터 프로그램 제품을 개시한다. 일부 구현에서, 방법은 미디어 방송과 관련된 주변 오디오를 식별하는 기술어를 수신하는 단계, 상기 기술어를 상기 미디어 방송과 관련된 기준 기술어와 비교하는 단계, 상기 비교 결과에 적어도 일부 기초하여 상기 미디어 방송을 위한 등급을 결정하는 단계를 포함한다.
네트워크, 주변, 오디오, 비디오, 식별, 기술어, 비교, 결정, 등급, 방송

Description

매스 미디어를 위한 사회적 및 상호작용 애플리케이션{SOCIAL AND INTERACTIVE APPLICATIONS FOR MASS MEDIA}
본 출원은 2005년 11월 29일에 출원된 미국 가출원 제 60/740,760 호, 발명의 명칭 "환경 기반 전달 방법(Environment-Based Referrals)"에 대해 우선권을 주장하고, 우선권 주장의 기초가 되는 출원은 본 출원에 참조로서 모두 포함되어 있다.
본 출원은 2006년 8월 29일에 출원된 미국 가출원 제 60/823,881 호, 발명의 명칭 "시그니처에 기초한 오디오 식별 방법(Audio Identification Based on Signatures)"에 대해 우선권을 주장하고, 우선권 주장의 기초가 되는 출원은 본 출원에 참조로서 모두 포함되어 있다.
본 발명에서 개시된 구현은 매스 미디어를 위한 사회적 및 상호작용(Interactive) 애플리케이션과 관련된다.
매스 미디어 채널(예를 들어, 텔레비전, 라디오 방송)은 전형적으로 한정된 콘텐츠를 많은 대중에게 제공한다. 반대로, 월드 와이드 웹(World Wide Web)은 소수의 개인만 관심을 가지는 수많은 정보를 제공한다. 종래의 상호작용 텔레비전은 시청자에게 텔레비전과 상호 작용하고 텔레비전 방송과 관련된 콘텐츠 및/또는 서 비스를 수신할 수 있도록 하는 수단을 제공함으로써 이러한 두 통신 매체에 다리를 놓고자 하였다.
종래 상호작용 텔레비전은, 전형적으로, 가입비가 있는 케이블 또는 위성 네트워크를 통해서만 시청자가 이용 가능하다. 상호작용 텔레비전 서비스를 수신하기 위해서, 시청자는 셋톱박스를 빌리거나 구입해야하고 기술자에 의해 셋톱박스를 설치해야 한다. 시청자의 텔레비전은 셋톱박스에 연결되고, 그 결과 시청자는 원격 제어 또는 다른 입력 장비를 사용하여 텔레비전과 상호 작용할 수 있고, 정보, 오락 및 서비스(예를 들어, 광고, 온라인 쇼핑, 형식 및 조사 결과, 게임 및 활동 등)를 수신할 수 있다.
종래 상호작용 텔레비전은 시청자의 텔레비전에 대한 경험을 향상시킬 수 있지만, 상당한 추가적 하드웨어, 또는 텔레비전이나 라디오와 셋톱박스나 컴퓨터 사이의 물리적 연결에 의존하지 않는 매스 미디어를 위한 사회적 및 상호작용 애플리케이션을 위한 필요성이 있다.
종래의 상호작용 텔레비전 시스템에 결여된 사회적 및 상호작용 텔레비전 애플리케이션은 쉬운 방식으로 보완적 정보를 매스 미디어 채널로 제공하는 능력이다. 종래 시스템에서, 매스 미디어에 의해 제공되는 수동적 경험을 감소시키고자 사용자는 컴퓨터에 로그인하고 그러한 정보를 쿼리한다. 추가적으로, 종래 텔레비전 시스템은 사용자가 방송을 보는 시청하는 동안 실시간으로 보완적 정보를 제공할 수 없다.
종래 상호작용 텔레비전 시스템에 결여된 또 다른 사회적 및 상호작용 텔레 비전 애플리케이션은 시청자와 특별한 목적의(Ad Hoc) 사회적 동급자 집단(예를 들어, 토론 그룹, 대화방 등)을 실시간으로 동적 연결하는 능력이다. 시청자가 텔레비전에서 "프렌즈(Friends)" 최신 에피소드를 시청하고 있고, "모니카" 캐릭터가 임신한 사실을 알았다고 가정한다. 시청자는 다른 시청자에 실시간으로 그 장면에 대해 대화하거나, 코멘트를 남기거나, 다른 시청자의 반응을 읽어보고 싶어한다. 한 가지 옵션은 컴퓨터에 로그인하고, 검색 엔진에서 "프렌즈" 또는 다른 관련 검색어를 입력하여, "프렌즈"에 대한 토론 그룹을 찾도록 검색을 수행하는 것이다. 하지만, 시청자에 의해 요청되는 그러한 행동은 매스 미디어에 의해 제공된 수동적 경험을 감소시키고 시청자가 같은 시간에 프로그램을 시청하고 있는 다른 시청자와 동적으로 상호 작용(예를 들어, 코멘트, 대화 등)할 수 없도록 한다.
종래 텔레비전 시스템 및 상호작용 텔레비전 시스템의 다른 결점은 방송 이벤트의 인기를 평가하는 단순한 방법이다. 방송 이벤트의 인기 등급은 사용자, 방송인 및 광고주에게 큰 관심사이다. 이러한 필요성은 닐센®(Nielsen) 등급과 같은 측정 시스템에 의해 일부 해결된다. 하지만, 이러한 등급은 전용 하드웨어의 설치와 시청자의 참여에 의한 협동을 요구한다.
상기한 결점은 실시간 주변 오디오(Audio) 및/또는 비디오(Video) 식별에 기초하여 사회적 및 상호작용의 애플리케이션을 제공하기 위해 본원에 개시된 시스템, 방법, 장치, 사용자 인터페이스 및 컴퓨터 프로그램 제품에 의해 해결된다.
일부 구현에서, 방법은 미디어 방송과 관련된 주변 오디오를 식별하는 기술어(Descriptor)를 수신하는 단계, 상기 기술어를 상기 미디어 방송과 관련된 기준(Reference) 기술어와 비교하는 단계, 상기 비교 결과에 기초하여 상기 미디어 방송과 관련된 개인화된(Personalized) 정보를 수집하는 단계를 포함한다.
일부 구현에서, 방법은 제 1 미디어 방송과 관련된 주변 오디오를 식별하는 제 1 기술어를 수신하는 단계, 제 2 미디어 방송과 관련된 주변 오디오를 식별하는 제 2 기술어를 수신하는 단계, 상기 제 1 및 제 2 미디어 방송이 동일한지 여부를 결정하기 위해 상기 제 1 및 제 2 기술어를 비교하는 단계, 및 상기 비교 결과에 기초하여 개인화된 정보를 수집하는 단계를 포함한다.
일부 구현에서, 방법은 미디어 방송과 관련된 주변 오디오를 탐지하는 단계, 상기 미디어 방송을 식별하는 기술어를 생성하는 단계, 상기 기술어를 네트워크 리소스(Resource)에 송신하는 단계, 및 상기 기술어에 기초하여 상기 네트워크 리소스로부터 수집된 개인화된 정보를 수신하는 단계를 포함한다.
일부 구현에서, 시스템은 기준 기술어의 데이터베이스를 포함한다. 데이터베이스 서버는 상기 데이터베이스 및 클라이언트 시스템에 작동적으로 결합된다. 상기 데이터베이스 서버는 상기 클라이언트 시스템으로부터 기술어를 수신함으로써 미디어 방송과 관련된 주변 오디오를 식별하고, 기술어를 하나 이상의 기준 기술어와 비교하며, 및 상기 비교 결과에 기초하여 상기 미디어 방송과 관련된 개인화된 정보를 수집하도록 설정된다.
일부 구현에서, 시스템은 주변 오디오를 샘플링하기 위해 설정된 오디오 탐지기를 포함한다. 클라이언트 인터페이스는 오디오 탐지기에 작동적으로 결합되고 미디어 방송을 식별하는 기술어를 생성하도록 설정된다. 클라이언트 인터페이스는 네트워크 리소스에 기술어를 송신하고, 수집된 개인화된 정보를 기술어에 기초하여 네트워크 리소스로부터 수신하도록 설정된다.
일부 구현에서, 방법은 미디어 방송과 관련된 주변 오디오를 식별하는 기술어를 수신하는 단계, 상기 기술어를 하나 이상의 기준 기술어와 비교하는 단계, 및 상기 비교 결과에 적어도 일부 기초하여 상기 미디어 방송을 위한 등급을 결정하는 단계를 포함한다.
일부 구현에서, 방법은 미디어 방송과 관련된 주변 오디오를 식별하는 기술어를 생성하는 단계, 상기 기술어에 기초하여 상기 미디어 방송을 위한 등급을 결정하기 위해 등급 제공자에게 상기 기술어를 제공하는 단계, 상기 등급 제공자로부터 상기 등급을 수신하는 단계, 및 상기 등급을 디스플레이 장비에 디스플레이하는 단계를 포함한다.
일부 구현에서, 방법은 미디어 방송으로부터 주변 오디오 단편(Snippet)을 녹음하는 단계, 상기 주변 오디오 단편으로부터 기술어를 생성하는 단계, 및 상기 기술어를 등급 제공자에게 제공하는 단계를 포함한다.
일부 구현에서, 시스템은 기준 기술어의 데이터베이스를 포함한다. 서버는 상기 데이터베이스 및 클라이언트 시스템에 작동적으로 결합된다. 상기 서버는 상기 클라이언트 시스템으로부터 기술어를 수신함으로써 미디어 방송과 관련된 주변 오디오를 식별하고, 상기 수신된 기술어를 하나 이상의 기준 기술어와 비교하며, 및 상기 비교 결과에 적어도 일부 기초하여 상기 미디어 방송을 위한 등급을 결정하도록 설정된다.
일부 구현에서, 시스템은 주변 오디오를 샘플링하기 위해 설정된 오디오 탐지기를 포함한다. 클라이언트 인터페이스는 오디오 탐지기에 작동적으로 결합되고 미디어 방송을 식별하는 기술어를 생성하도록 설정된다. 클라이언트 인터페이스는 네트워크 리소스에 기술어를 송신하고, 기술어에 기초하여 네트워크 리소스로부터 등급 정보를 수신하도록 설정된다.
다른 구현은 시스템, 방법, 장치, 사용자 인터페이스, 및 컴퓨터 프로그램 제품에 관한 것이다.
도 1은 매스 개인화 시스템의 실시예에 대한 블록 다이어그램이다.
도 2는 도 1에 도시된 클라이언트측 인터페이스를 포함하는 주변 오디오 식별 시스템의 실시예를 도시한다.
도 3은 매스 개인화 애플리케이션을 제공하기 위한 과정의 실시예에 대한 순서도이다.
도 4는 오디오 핑거프린트(Fingerprinting) 과정의 실시예에 대한 순서도이다.
도 5는 매스 개인화 애플리케이션과 상호 작용하기 위한 사용자 인터페이스의 실시예를 도시한다.
도 6은 도 1에 도시된 클라이언트측 인터페이스를 구현하기 위한 클라이언트 시스템의 하드웨어 아키텍처의 실시예에 대한 블록 다이어그램이다.
도 7은 반복 탐지 과정의 실시예에 대한 순서도이다.
매스 개인화 애플리케이션
매스 개인화 애플리케이션은 매스 미디어 방송(예를 들어, 텔레비전, 라디오, 영화, 인터넷 방송 등)과 관련된 개인화 및 상호작용 정보를 제공한다. 그러한 애플리케이션은 개인화된 정보 계층, 특별한 목적의 사회적 동급자 집단, 실시간 인기 등급 및 비디오(또는 오디오) 북마크 등을 포함하지만 그에 한정되지는 않는다. 본 출원에서 매스 미디어 예의 일부가 텔레비전 방송의 맥락에서 개시되더라도, 개시된 구현은 라디오 및/또는 음악 방송에 동등하게 적용가능하다.
개인화된 정보 계층은 매스 미디어 채널에 보완적 정보를 제공한다. 개인화된 정보 계층의 예는 패션, 정치, 비즈니스, 건강, 여행 등을 포함하지만 그에 한정되지는 않는다. 예를 들어, 유명인에 대한 새로운 뉴스 세그먼트(Segment)를 시청하는 동안, 텔레비전 스크린 또는 컴퓨터 디스플레이 장비에 패션 계층이 제시되며, 유명인이 뉴스 세그먼트에서 입고 나온 옷과 악세사리와 관련된 정보 및/또는 이미지를 제공한다. 추가적으로, 개인화된 계층은 유명인이 입은 옷을 판매하는 옷 가게로의 링크와 같은, 뉴스 세그먼트와 관련된 제품 또는 서비스를 판촉하는 광고를 포함한다.
특별한 목적의 사회적 동급자 집단은 텔레비전에서 동일한 쇼를 시청하거나 동일한 라디오 방송국을 청취하는 사용자들 사이에 코멘트를 위한 공간을 제공한다. 예를 들어, 최신 CNN 헤드라인을 시청하는 사용자에게 코멘트 매체(예를 들어, 대화방, 메시지보드, 위키 페이지, 비디오 링크 등)가 현재 진행 중인 매스 미디어 방송에 대하여 제공되어 사용자는 다른 시청자와 대화하거나, 코멘트하거나 또는 다른 시청자의 의견을 읽어볼 수 있다.
실시간 인기 등급은 콘텐츠 제공자 및 사용자에게 등급 정보(닐센 등급과 유사함)를 제공한다. 예를 들어, 사용자는 사용자의 사회적 네트워크 및/또는 인구 통계학적으로 유사한 사람들에 의해 시청하거나 청취하는 텔레비전 채널 또는 라디오 방송국의 실시간 인기 등급을 즉시 제공받을 수 있다.
비디오 또는 오디오 북마크는 사용자에게 즐겨찾기(Favorites) 방송 콘텐츠의 개인화된 라이브러리(Library)를 창조하는 쉬운 방법을 제공한다. 예를 들어, 사용자가 컴퓨터 또는 원격 제어 장비에서 버튼을 누르기만 하면 방송 콘텐츠의 주변 오디오 및/또는 비디오 단편이 녹화, 처리 및 저장된다. 나중에 보기를 위해, 단편은 프로그램, 또는 프로그램의 일부분을 참조하기 위한 북마크로 사용될 수 있다. 북마크는 친구들과 공유할 수 있거나 장래 개인적 참조를 위해 저장될 수 있다.
매스 개인화 네트워크
도 1은 매스 개인화 애플리케이션을 제공하기 위한 매스 개인화 시스템(100)의 블록 다이어그램이다. 시스템(100)은 하나 이상의 클라이언트측 인터페이스(102), 오디오 데이터베이스 서버(104) 및 사회적 애플리케이션 서버(106)을 포함하고, 이들 모두는 네트워크(108)를 통해 통신한다(예를 들어, 인터넷, 인트라넷, LAN, 무선 네트워크 등을 통해 통신함).
클라이언트 인터페이스(102)는 사용자가 정보를 입력하고 수신할 수 있도록 하는 임의 장비이며, 디스플레이 장비에 사용자 인터페이스를 제시할 수 있으며, 데스크톱 또는 휴대용 컴퓨터, 전자 장비, 전화기, 이동 전화기, 디스플레이 시스템, 텔레비전, 컴퓨터 모니터, 내비게이션 시스템, 휴대용 미디어 플레이어/레코더, PDA(Personal Digital Assistant), 게임 콘솔, 소형 전자 장비, 및 내장된 전자 장비 또는 설비를 포함하지만 그에 한정되지는 않는다. 클라이언트 인터페이스(102)는 도 2에 따라 더 상세히 설명된다.
일부 구현에서, 클라이언트 인터페이스(102)는 방송 환경(예를 들어, 사용자의 거실)에서 매스 미디어 방송의 주변 오디오를 모니터하고 녹음하기 위한 주변 오디오 탐지기(예를 들어, 마이크)를 포함한다. 하나 이상의 주변 오디오 세그먼트 또는 "단편"은 "오디오 핑거프린트" 또는 "기술어"로 나타내는 분명하고 강력한 통계적 요약(Statistical Summary)으로 전환된다. 일부 구현에서, 기술어는 매스 미디어 방송과 관련하여 미리 생성된 기준 기술어 또는 통계의 데이터베이스와 비교될 수 있는 하나 이상의 오디오 시그니처 구성요소를 포함하는 압축된 파일이다.
음악 식별을 위한 오디오 핑거프린트를 생성하는 기술은 본원에 참조로서 모두 포함되어 있는 Ke, Y., Hoiem, D., Sukthankar, R.(2005), 음악 식별을 위한 컴퓨터 비전, In Proc. Computer Vision and Pattern Recognition(이하 "Ke et al.")에서 설명된다. 일부 구현에서, Ke et al.에서 제안된 음악 식별 접근은, 도 4에 따라 설명된 것처럼 텔레비전 오디오 데이터 및 쿼리를 위한 기술어를 생성하기 위해 선택된다.
웨이블릿(Wavelet)을 사용하여 오디오 기술어를 생성하는 기술은 미국 가특허 출원 제 60/823,881 호, 발명의 명칭 "시그니처에 기초한 오디오 식별 방법"에 설명되어 있다. 이 출원은 효율적으로 매칭될 수 있는 오디오 단편의 컴팩트한(Compact) 기술어/핑거프린트를 창조하기 위해 컴퓨터 비전 기술 및 대규모 데이터 스트림 처리 알고리즘의 조합을 사용하는 기술을 설명한다. 이 기술은 계층적 기능(Function)을 계층적으로 분해(Decompose)하기 위한 공지된 수학적 툴인 웨이블릿을 사용한다.
"시그니처에 기초한 오디오 식별"에서, 탐색(Retrieval) 과정의 구현은 1) 오디오 단편의 주어진 오디오 스펙트럼에서, 평균 d-ms 떨어진 임의 간격으로, 예를 들어, 11.6*w ms 지속시간의 스펙트럼 이미지를 추출한다. 스펙트럼 이미지 각각에 대해, 2) 스펙트럼 이미지의 웨이블릿을 계산하고, 3) 상위 t 개 웨이블릿을 추출하고, 4) 상위 t 개 웨이블릿의 이진 표현을 창조하고, 5) 상위 t 개 웨이블릿의 하위 핑거프린트를 창조하기 위해 최소-해시(Min-hash)를 사용하고, 6) 매칭에 근접한 하위 핑거프린트 세그먼트를 찾기 위해 b 개 빈(Bin)과 l 개 해시의 테이블이 있는 LSH를 사용하고, 7) v 개 매칭보다 적은 하위 핑거프린트를 버리고, 8) 남은 후보 하위 핑거프린트로부터 쿼리 하위 핑거브린트까지의 해밍(Hamming) 거리를 계산하며, 9) 시간에 대해 결합된 매칭을 위해 동적 프로그래밍을 사용한다.
일부 구현에서, 클라이언트측 인터페이스(102)를 식별하기 위한 기술어 및 관련 사용자 식별자("사용자 id")는 네트워크(108)를 통해 오디오 데이터베이스 서버(104)로 전송된다. 오디오 데이터베이스 서버(104)는 기술어와 다수의 기준 기술 어를 비교하는데, 다수의 기준 기술어는 오디오 데이터베이스 서버(104)에 결합된 오디오 데이터베이스(110)에 미리 결정되어 저장된다. 일부 구현에서, 오디오 데이터베이스 서버(104)는 오디오 데이터베이스(110)에 저장된 기준 기술어를 최신 매스 미디어 방송으로부터 계속해서 업데이트한다.
오디오 데이터베이스 서버(104)는 수신된 기술어와 기준 기술어 사이의 가장 좋은 매칭을 결정하고, 가장 좋은 매칭 정보를 사회적 애플리케이션 서버(106)에 전송한다. 매칭 과정은 도 4에 따라 더 상세히 설명된다.
일부 구현에서, 사회적 애플리케이션 서버(106)는 클라이언트측 인터페이스(102)와 관련된 웹-브라우저 연결을 수용한다. 가장 좋은 매칭 정보를 사용하여, 사회적 애플리케이션 서버(106)는 사용자를 위한 개인화된 정보를 수집하고, 개인화된 정보를 클라이언트측 인터페이스(102)에 전송한다. 개인화된 정보는 광고, 개인화된 광고 계층, 인기 등급, 및 코멘트 매체(예를 들어, 특별한 목적의 사회적 동급자 집단, 포럼, 토론 그룹, 비디오 회의 등)와 관련된 정보를 포함할 수 있지만 그에 한정되지는 않는다.
일부 구현에서, 개인화된 정보는 시청자가 실시간으로 시청하는 쇼를 모르는 채로 시청자를 위한 대화방을 창조하기 위해 사용될 수 있다. 대화방은 매칭을 결정하기 위해 클라이언트 시스템으로부터 송신된 데이터 스트림에서 기술어를 직접 비교함으로써 창조될 수 있다. 즉, 대화방은 매칭 기술어를 가진 시청자들 주위에서 창조될 수 있다. 그러한 구현에서, 시청자로부터 수신된 기술어를 기준 기술어와 비교할 필요가 없다.
일부 구현에서, 사회적 애플리케이션 서버(106)는, 클라이언트측 인터페이스(102)에서 구동되는 웹 브라우저(예를 들어, 마이크로소프트의 인터넷 익스플로어™)에 의해 수신 및 디스플레이되는 웹 페이지를 클라이언트측 인터페이스(102)에 서비스한다. 사회적 애플리케이션 서버(106)는 개인화된 콘텐츠를 수집하고 웹 페이지를 클라이언트측 인터페이스(102)에 서비스하는 것을 지원하기 위해 클라이언트측 인터페이스(102) 및/또는 오디오 데이터베이스 서버(104)로부터 사용자 id도 수신한다.
시스템(100)의 다른 구현도 가능함이 명백하다. 예를 들어, 시스템(100)은 다중 오디오 데이터베이스(110), 다중 오디오 데이터베이스 서버(104) 및/또는 다중 사회적 애플리케이션 서버(106)를 포함할 수 있다. 대안으로, 오디오 데이터베이스 서버(104) 및 사회적 애플리케이션 서버(106)는 단일 서버 또는 시스템이거나, 네트워크 리소스 및/또는 서비스의 일부분일 수 있다. 또한 네트워크(108)는 다양한 네트워크 장비(예를 들어, 허브, 라우터 등) 및 매체(예를 들어, 구리선, 광섬유, 라디오 주파수 등)들을 사용하여 다양한 토폴로지(Topology) 및 배열에서 동작적으로 함께 결합된 다중 네트워크 및 링크를 포함할 수 있다. 클라이언트-서버 아키텍처는 본원에서 예시로만 설명된다. 다른 컴퓨터 아키텍처도 가능하다.
주변 오디오 식별 시스템
도 2는 도 1에 도시된 클라이언트측 인터페이스(102)를 포함하는 주변 오디오 식별 시스템(200)을 도시한다. 시스템(200)은 매스 미디어 시스템(202: 예를 들어, 텔레비전 세트, 라디오, 컴퓨터, 전자 장비, 이동 전화기, 게임 콘솔, 네트워 크 설비 등), 주변 오디오 탐지기(204), 클라이언트측 인터페이스(102: 예를 들어, 데스크톱 또는 랩톱 컴퓨터 등) 및 네트워크 접속 장비(206)를 포함한다. 일부 구현에서, 클라이언트측 인터페이스(102)는 도 5에 따라 설명된 것처럼, 사용자가 매스 개인화된 애플리케이션과 상호 작용할 수 있도록 하기 위해 사용자 인터페이스(208)를 제시하는 디스플레이 장비를 포함한다.
동작에서, 매스 미디어 시스템(202)은 주변 오디오 탐지기(204)에 의해 탐지되는 매스 미디어 방송(예를 들어, 텔레비전 오디오)의 주변 오디오를 생성한다. 주변 오디오 탐지기(204)는 주변 오디오를 탐지할 수 있는 어떠한 장비도 될 수 있고, 스탠딩 마이크 및 클라이언트측 인터페이스(102)에 통합된 마이크를 포함한다. 탐지된 주변 오디오는 주변 오디오를 식별하는 기술어를 제공하기 위해 클라이언트측 인터페이스(102)에 의해 인코딩된다. 기술어는 네트워크 접속 장비(206) 및 네트워크(108)의 방식에 의해 오디오 데이터베이스 서버(104)로 송신된다.
일부 구현에서, 클라이언트측 인터페이스(102)에서 구동되는 클라이언트 소프트웨어는 주변 오디오의 n 초(예를 들어, 5 초) 오디오 파일("단편")을 계속해서 모니터하고 녹음한다. 도 4에 따라 설명된 과정에 의해, 단편은 k 비트(예를 들어, 32비트) 인코딩된 기술어의 m 개 프레임(예를 들어, 415 개의 프레임)으로 전환된다. 일부 구현에서, 모니터링 및 녹음은 이벤트 기반이다. 예를 들어, 모니터링 및 녹음은 자동으로 특정 날짜와 특정 시간에(예를 들어, 월요일 저녁 8시), 특정 시간 동안(예를 들어, 저녁 8시에서 9시 사이) 시작될 수 있다. 대안으로, 모니터링 및 녹음은 제어 장비(예를 들어, 원격 제어 등)로부터의 사용자 입력(예를 들어, 마우스 클릭, 기능 키 또는 키 조합)에 응답하여 시작될 수 있다. 일부 구현에서, 주변 오디오는 Ke et al.에 설명된 32 비트/프레임 구별 특징의 스트리밍 변화를 사용하여 인코딩된다.
일부 구현에서, 클라이언트 소프트웨어는 "사이드 바(Side Bar)" 또는 다른 사용자 인터페이스 요소로서 구동된다. 즉, 클라이언트측 인터페이스(102)가 부팅될 때, 주변 오디오 샘플링이 즉시 시작될 수 있고, 전체 웹 브라우저 세션을 개시하지 않고 사이드 바에 디스플레이되는 결과와 함께(옵션) "배경(Background)"에서 구동될 수 있다.
일부 구현에서, 주변 오디오 샘플링은 클라이언트측 인터페이스(102)가 부팅되거나 시청자가 서비스 또는 애플리케이션(예를 들어, 이메일 등)에 로그인할 때 시작될 수 있다.
기술어는 오디오 데이터베이스 서버(104)에 전송된다. 일부 구현에서, Ke et al.에 설명된 것처럼, 기술어는 주변 오디오의 통계적 요약으로 압축된다. 통계적 요약을 전송함으로써, 사용자의 음향 사생활이 보호되는데 이는 통계적 요약은 비가역적, 즉, 원래 오디오를 기술어로부터 복구할 수 없기 때문이다. 따라서, 방송 환경에서 모니터되고 녹음되는 사용자나 다른 개인들에 의한 어떠한 대화도 기술어로부터 재생산될 수 없다. 일부 구현에서, 기술어는 공지된 암호화 기술(예를 들어, 비대칭 또는 대칭 키 암호화, 타원(Elliptic) 암호화 등)을 사용하여 추가적인 사생활 및 보안을 위해 암호화될 수 있다.
일부 구현에서, 기술어는 클라이언트측 인터페이스(102)에서 과정을 모니터 링함으로써 탐지된 트리거 이벤트에 응답하여 쿼리 제출(쿼리 기술어로도 나타냄)로서 오디오 데이터베이스 서버(104)에 전송된다. 예를 들어, 트리거 이벤트는 텔레비전 프로그램의 시작 테마(예를 들어, "세인펠드(Seinfeld)"의 시작 음악) 또는 배우가 말하는 대사가 될 수 있다. 일부 구현에서, 쿼리 기술어는 계속적인 스트리밍 과정의 일부로서 오디오 데이터베이스 서버(104)에 전송될 수 있다. 일부 구현에서, 쿼리 기술어는 사용자 입력(예를 들어, 원격 제어, 마우스 클릭 등)에 응답하여 오디오 데이터베이스 서버(104)에 송신될 수 있다.
매스 개인화 과정
도 3은 매스 개인화 과정(300)의 순서도이다. 과정(300)의 단계는 어떤 특정 순서로 완료되지 않아도 되고, 일부 단계는 다중 작업 처리(Multithread) 또는 병행 처리 환경에서 동시에 수행될 수 있다.
과정(300)은 클라이언트측 인터페이스(예를 들어, 클라이언트측 인터페이스 102)가 방송 환경에서 매스 미디어 방송의 주변 오디오 단편을 모니터하고 녹음할 때 시작된다(302). 녹음된 주변 오디오 단편은 기술어(예를 들어, 압축된 통계적 요약)로 인코딩되고, 오디오 데이터베이스 서버에 쿼리로 전송될 수 있다(304). 오디오 데이터베이스 서버는 가장 잘 매칭되는 후보 기술어를 결정하기 위해 매스 미디어 방송 통계로부터 계산된 기준 기술어의 데이터베이스와 쿼리를 비교한다(308). 후보 기술어는 사용자를 위해 개인화된 정보를 수집하기 위해 후보 기술어를 사용하는 사회적 애플리케이션 서버 또는 다른 네트워크 리소스에 전송된다(310). 예를 들어, 사용자가 텔레비전 쇼 "세인펠드"를 시청하고 있다면, 쇼의 주변 오디오로부터 생성된 쿼리 기술어는 이전의 "세인펠드" 방송으로부터 유도된 기준 기술어와 매칭될 것이다. 따라서, 가장 좋은 매칭 후보 기술어는 "세인펠드"와 관련된 개인화된 정보(예를 들어, 뉴스 스토리, 토론 그룹, 특정 목적의 사회적 동급자 집단 또는 대화방으로의 링크, 광고 등)를 수집하기 위해 사용된다. 일부 구현에서, 도 4에 따라 설명된 것처럼, 후보 기술어의 짧은 목록을 만들기 위해 해싱 기술(예를 들어, 직접 해싱 또는 지역성에 민감한 해싱(Locality Sensitive Hashing))을 사용하여 효율적으로 매칭 절차가 수행된다. 후보 기술어는 Ke et al.에 설명된 것처럼, 인증 절차에서 처리된다.
일부 구현에서, 서로 다른 시청자로부터의 쿼리 기술어는 각각의 쿼리를 기준 기술어의 데이터베이스와 매칭하기보다는 직접 매칭된다. 그러한 실시예는 기준 기술어의 데이터베이스를 사용할 수 없는 경우에 특별한 목적의 사회적 동급자 집단의 창조를 가능하게 한다. 그러한 실시예는 휴대용 전자 장비(예를 들어, 이동 전화기, PDA 등)를 사용하여 동일한 공공 장소(예를 들어, 경기장, 술집 등)에 있는 시청자를 실시간으로 매칭할 수 있다.
인기 등급
일부 구현에서, 실시간 수집 통계는 현재 방송(예를 들어, 쇼, 광고 등)을 시청하는 시청자의 목록으로부터 추측된다. 이러한 통계는 시청자가 다른 애플리케이션을 사용하는 동안 배경에서 수집될 수 있다. 통계는 1) 방송을 시청하는 시청자의 평균 수, 2) 시청자가 방송을 시청한 평균 횟수, 3) 시청자가 시청한 다른 쇼, 4) 시청자의 최소 및 최대 수, 5) 시청자가 방송을 옮길 때 가장 자주 옮겨가 는 것은 무엇인가, 6) 시청자가 방송을 얼마나 오래 시청하는가, 7) 얼마나 자주 시청자가 채널을 바꾸는가, 8) 시청자가 어떤 광고를 시청했는가, 9) 시청자가 방송을 옮겨올 때 어디에서 가장 자주 옮겨오는가 등을 포함할 수 있지만 그에 한정되지는 않는다. 이러한 통계로부터, 하나 이상의 인기 등급이 결정될 수 있다.
인기 등급을 생성하기 위해 사용된 통계는 모니터되는 방송 채널 각각에 카운터(Counter)를 사용하여 생성될 수 있다. 일부 구현에서, 카운터는 인구 통계학적 그룹 데이터 또는 지리적 그룹 데이터와 교차될 수 있다. 방송 진행 중에 인기 등급은 "무엇이 인기인지 보기" 위해 시청자에 의해 사용될 수 있다(예를 들어, 2004년 슈퍼볼 하프타임 공연 중 증가된 등급을 알려줌). 광고주 및 콘텐츠 제공자는 등급에 응답하여 보여주는 자료(Material)를 동적으로 조정하기 위해 인기 등급을 사용할 수도 있다. 이는 특히 광고의 경우에 그러한데, 광고 캠페인에 의해 생성되는 짧은 단위 길이의 다양한 버전의 광고는 시청자 등급 레벨에 맞추어 쉽게 교환되기 때문이다. 통계의 다른 예는 인구 통계학 또는 시간별 텔레비전 방송 대 라디오 방송의 인기, 하루 중 시간대별 인기, 즉 가장 인기 있는 시청/청취 시간, 주어진 영역에서 주부의 수, 특정 쇼 도중 채널 서핑의 양(쇼의 장르, 하루 중 특정 시간), 방송의 볼륨 등을 포함하지만 그에 한정되지는 않는다.
개인화된 정보는 클라이언트측 인터페이스에 전송된다(312). 상기한 광고의 동적 조정처럼, 인기 등급은 다른 과정에 의해 사용을 위한 데이터베이스에 저장될 수도 있다(318). 개인화된 정보는 클라이언트측 인터페이스에서 수신되고(314), 사용자 인터페이스에서 포맷되고 제시된다(316). 개인화된 정보는 사용자 인터페이스에서 사용자에게 제시되는 코멘트 매체(예를 들어, 대화방에서의 문자 메시지)와 관련될 수 있다. 일부 구현에서, 대화방은 하나 이상의 하위 그룹을 포함할 수 있다. 예를 들어, "세인펠드"에 대한 토론 그룹은 "세인펠드 전문가"로 불리는 하위 그룹을 포함하거나, 하위 그룹은 "세인펠드"를 시청하는 20-30세의 여성 등과 같은 특정 인구 통계와 관련된다.
일부 구현에서, 인기 등급을 위한 통계를 생성하기 위해 사용되는 기초(Raw) 정보(예를 들어, 카운터 값)는 사회적 애플리케이션 서버보다는 클라이언트측 인터페이스에서 수집되고 저장된다. 사용자가 온라인일 때마다 및/또는 매스 개인화 애플리케이션을 시작할 때마다 기초 정보가 방송자측으로 전송될 수 있다.
일부 구현에서, BMB(Broadcast Measurement Box)가 클라이언트측 인터페이스에 설치된다. BMB는 셋톱박스와 유사한 단순 하드웨어 장비일 수 있지만 방송 장비에 연결되지는 않는다. 하드웨어가 텔레비전에 설치되어야 하는 닐센 등급 시스템과 달리, BMB는 매스 미디어 시스템 근처이거나 텔레비전 신호 범위 안에 설치될 수 있다. 일부 구현에서, BMB는 자동으로 오디오 단편을 녹음하고, 기술어를 생성하며, 이들을 메모리(예를 들어, 플래시 미디어)에 저장한다. 일부 구현에서, BMB는 사용자가 무슨 방송 시청하고 있는지 지시하기 위해 사용자가 누를 수 있는 하나 이상의 하드웨어 버튼을 옵션으로 포함할 수 있다(닐센 시스템과 유사함). BMB 장비는 저장된 기술어를 수집하기 위해서 때때로 등급 제공자에 의해 선택되거나, 또는 BMB는 네트워크 연결을 통해 하나 이상의 관심 있는 모임에 저장된 기술어를 때때로 방송할 수 있다(예를 들어, 전화기, 인터넷, SMS/캐리어 라디오와 같은 무선 라디오 등).
일부 구현에서, 광고는 광고주에게 다시 보고될 수 있는 광고 효율성을 결정하기 위해 모니터될 수 있다. 예를 들어, 어떤 광고가 시청되었고, 어떤 광고를 건너뛰었는지, 광고의 음량 등을 모니터한다.
일부 구현에서 이미지 캡처(Capture) 장비(예를 들어, 디지털 카메라, 비디오 레코더 등)는 얼마나 많은 시청자가 방송을 시청 또는 청취하는지 측정하기 위해 사용될 수 있다. 예를 들어, 특정 방송 중에 방송 환경에 있는 시청자의 수를 결정하기 위해 다양한 공지된 패턴 매칭 알고리즘이 이미지 또는 일련의 이미지에 적용될 수 있다. 이미지 및/또는 이미지로부터 유도된 데이터는 사용자를 위한 개인화된 정보를 모으거나, 인기 등급을 계산하거나, 또는 다른 목적을 위해 오디오 기술어와 조합하여 사용될 수 있다.
오디오 핑거프린팅 과정
도 4는 오디오 핑거프린팅 과정(400)의 순서도이다. 과정(400)의 단계는 어떤 특정 순서로 완료되지 않아도 되고, 적어도 일부 단계는 다중 작업 처리 또는 병행 처리 환경에서 동시에 수행될 수 있다. 과정(400)에서 클라이언트측 인터페이스(예를 들어, 클라이언트측 인터페이스(102))에서 생성된 쿼리 기술어가 하나 이상의 데이터베이스에 저장된 기준 기술어와 실시간 및 낮은 지연(Low Latency)으로 매칭된다. 과정(400)은 주변 오디오 데이터(예를 들어, 텔레비전 방송으로부터의 주변 오디오 데이터) 및 쿼리를 취급하기 위해 Ke et al.에 의해 제안된 기술을 채택한다.
과정(400)은 클라이언트측 인터페이스에서 주변 오디오 탐지기(예를 들어, 마이크)에 의해 캡처된 매스 미디어 방송의 주변 오디오 단편(예를 들어, 5-6 초의 오디오)을 중복되는 프레임으로 분해함으로써 시작한다(402). 일부 구현에서, 프레임은 수천분의 몇 초 간격(예를 들어, 12 ms 간격)으로 떨어져 있다. Ke et al.에 설명된 것처럼, 프레임 각각은 오디오 노이즈 및 왜곡을 극복하도록 트레인된(Trained) 기술어(예를 들어, 32 비트 기술어)로 전환된다(404). 일부 구현에서, 기술어 각각은 오디오 단편의 식별 통계 요약을 나타낸다.
일부 구현에서, 기술어는 쿼리 단편(쿼리 기술어라고도 나타냄)으로서 오디오 데이터베이스 서버에 전송되며 여기서 기술어가 매스 미디어 방송의 미리 녹음된 오디오 단편의 통계적 요약을 식별하는 기준 기술어의 데이터베이스에 매칭된다(406). 가장 좋은 매칭을 가진 후보 기술어 목록이 결정될 수 있다(408). 쿼리 기술어와 일시적으로 일치하는(Consistent with) 후보 기술어에 쿼리 기술어와 덜 일시적으로 일치하는 후보 기술어보다 더 높은 점수를 매기는 방식으로, 후보 기술어를 점수 매길 수 있다(410). 가장 높은 점수(예를 들어, 충분히 높은 임계치를 넘는 점수)를 가진 후보 기술어가 사회적 애플리케이션 서버에 송신되거나 제공되고(412), 이는 미디어 방송과 관련된 개인화된 정보를 수집하기 위해 사용될 수 있다. 임계치를 사용함으로써, 기술어는 사회적 애플리케이션 서버에 송신되거나 제공되기 전에 충분히 매칭된다(412).
일부 구현에서, 기준 기술어의 데이터베이스는 다양한 미디어 회사에 의해 주어진 방송으로부터 생성될 수 있고, 기술어를 생성하기 위해 색인화되고 사용될 수 있다. 다른 구현에서, 텔레비전 가이드나 다른 메타데이터(Metadata) 및/또는 방송 신호에 내장된 정보를 사용하여 기준 기술어가 생성될 수도 있다.
일부 구현에서, 소리 인식 기술은 어떤 프로그램이 시청되는지 식별하는 것을 돕기 위해 사용될 수 있다. 그러한 기술은 사용자가 단순히 텔레비전 쇼 대신에 뉴스 이벤트에 대해 토론하는 것을 도울 수 있다. 예를 들어, 사용자는 다른 시청자의 채널과 다른 채널에서 우주선 발사를 시청할 수 있고, 그 결과 다른 오디오 신호를 얻을 수 있다(예를 들어, 서로 다른 뉴스진행자 때문에). 소리 인식 기술은 사용자를 코멘트 매체와 링크하기 위해 사용될 수 있는 키워드(예를 들어, 우주선, 발사 등)를 인식하기 위해 사용될 수 있다.
기술어 해싱
Ke et al.은 오디오에 대해 잘 구별되고 컴팩트한 통계를 찾기 위해 컴퓨터 비전 기술을 사용한다. 이 절차는 긍정적 예(x 및 x'는 동일 오디오의 노이즈 버전임) 및 부정적 예(x 및 x'는 서로 다른 오디오로부터 나옴)로 라벨된 쌍을 이용해 트레이닝한다. 이 트레이닝 위상 중에, 부스팅(Boosting)에 기초한 기계-학습 기술은 잘 구별되는 통계를 쌍으로 창조하는 32 개 필터 및 임계치의 조합을 선택하기 위해 라벨된 쌍을 사용한다. 필터는 시간 및 주파수에 대한 1,2 차 미분을 사용하여 분광 진폭(Spectrogram Magnitude)의 변화를 국부화(Localize)한다. 이러한 단순 미분 필터를 사용하는 장점은 본 출원에 참조로서 전체가 포함되어 있는 P. Viola와 M. Jones의 Robust Real-Time Object Detection, International Journal of Computer Vision(2002)에 설명된 통합 이미지 기술을 사용하여 효율적으로 계산될 수 있다는 것이다.
일부 구현에서, 이 32 개 필터의 출력은 각 오디오 프레임에서 필터 당 단일 비트를 제공하는 임계치이다. 이 32 개 임계치 결과는 오디오 프레임의 송신된 기술어만을 형성한다. 인코딩에서의 희박함(Sparsity)은 허가되지 않은 도청으로부터 사용자의 사생활을 보장한다. 추가적으로, 이 32 비트 기술어는 트레이닝 데이터의 오디오 왜곡에 대해 강건하고, 그 결과 긍정적 예(예를 들어, 매칭 프레임)는 작은 해밍 거리(즉, 서로 다른 비트 수로 거리를 측정함)를 가지고 및 부정적 예(예를 들어, 잘못 매칭된 프레임)는 큰 해밍 거리를 가진다. 주목할 점은 더 많은 또는 더 적은 수의 필터가 사용될 수 있고, 필터 당 하나 이상의 비트가 오디오 프레임 각각에 사용될 수 있다는 것이다(예를 들어, 다중 임계치 테스트를 사용하는 더 많은 비트).
일부 구현에서, 32 비트 기술어는 직접 해싱을 위한 해시로 사용된다. 기술어는 균형이 잘 맞는 해시 함수이다. 탐색 비율은 쿼리 기술어 뿐만 아니라 유사한 기술어의 작은 집합(원래 쿼리 기술어로부터 해밍 거리 2까지)을 쿼리함으로써 더 개선된다.
쿼리 내 일시적 일치(Temporal Consistency )
상기한 해싱 절차를 사용하여 쿼리 기술어가 오디오 데이터베이스에 매칭되면, 매칭은 어떤 데이터베이스 복귀 히트(Return Hit)가 정확한 매칭인지를 결정하기 위해 검증된다. 그렇지 않으면, 후보 기술어는 쿼리 기술어와 매칭되지만 잘못된 일시적 구조를 가진 많은 프레임을 가지게 된다.
일부 구현에서, 검증은 특정 쿼리 데이터베이스 오프셋(Offset)에서 매칭에 대한 지원으로서 데이터베이스 히트 각각을 봄으로써 달성된다. 예를 들어, 5 초, 415 프레임 길이의 "세인펠드" 쿼리 단편(q)에 있는 8 개의 기술어(q8)가 1008 번째 데이터베이스 기술어(x1008)를 히트하면, 이는 오디오 데이터베이스에서 5 초 쿼리와 1001부터 1415 프레임 사이에서 후보 매칭을 지원한다. qn 및 x1000+n(1≤n≤415) 사이의 다른 매칭은 동일한 후보 매칭을 지원한다.
일시적 일치에 추가하여, 대화가 주변 오디오를 일시적으로 들리지 않게 했을 때의 프레임을 설명할 필요가 있다. 이는 주변 오디오와 방해하는 소리 사이의 배타적 스위치로 모델링될 수 있다. 쿼리 프레임 (i) 각각에는, 숨겨진 변수 yi가 있다. yi=0이면, 쿼리의 i 번째 프레임은 방해로 모델링되고, yi=1이면, i 번째 프레임은 깨끗한 주변 오디오으로 모델링된다. 극단적인 예(완전히 주변 오디오이거나 완전히 방해임)는 극도로 낮은 정확성에 의해 정당화되고, 두 가정(yi=0 및 yi=1) 각각 하에서 프레임 벡터의 32 개 위치 각각에 대한 추가적인 비트-플롭(Bit-flop) 확률을 제공함으로써 각 오디오 프레임이 32 비트로 제시되고 완화된다. 마지막으로, 주변 오디오만 있는 상태와 방해만 있는 상태 사이에서의 프레임간 천이를, 트레이닝 데이터로부터 유도한 천이 확률을 이용하여 1 차 히든(Hidden) 마르코프 과정으로서 모델링한다. 예를 들어, Ke et al. CVPR 2005에 주어진 66 개 파라미터 확률 모델을 재사용할 수 있다.
쿼리 벡터(q)와 N 개 프레임 오프셋에서의 주변 데이터베이스 벡터(xN) 사이에서 매칭 확률의 최종 모델은,
Figure 112008046480767-pct00001
여기서 <qn,xm>은 32 비트 프레임 벡터 qn과 xm 사이의 비트 차이를 나타낸다. 이 모델은 일시적 일치 제한과 주변/방해 히든 마르코프 모델을 모두 포함한다.
매칭 후의 일치 필터링
사람들은 보통 텔레비전을 시청하면서 다른 사람들과 대화하고, 이는 우연하지만 강력한 음향 방해를 발생시키며, 특히 주변 오디오를 샘플링하기 위해 랩톱 기반 마이크를 사용할 때 그러하다. 대부분의 대화 발성은 2 내지 3 초 길이임을 가정하면, 시청자들 사이의 단순한 소통은 5 초 쿼리로는 인식할 수 없다.
일부 구현에서, 매칭 후 필터링은 이러한 간헐적인 낮은 신뢰도의 미스-매칭을 취급하기 위해 사용된다. 예를 들어, L 초의 예상 체류 시간(즉, 채널 변화 사이의 시간)으로 채널 스위칭하는 시간-연속적 히든 마르코프 모델을 사용할 수 있다. 사회적 애플리케이션 서버(106)는 각 클라이언트 세션과 관련된 상태 정보의 일부로서 최근 과거 내에서 가장 높은 신뢰도("카운트되지 않은" 신뢰도와 함께)의 매칭을 지시한다. 이 정보를 사용하여, 서버(106)는 더 높은 신뢰도를 가진 것에 기초하여 최근 과거로부터 콘텐츠-색인 매칭이나 현재 색인 매칭을 선택한다.
이전 시간 스텝(5 초 전)을 위한 가장 좋은 매칭 및 대수 근사화(Log-likelyhood) 신뢰도 점수를 나타내기 위해 Mh 및 Ch를 사용한다. 다른 관측 없이, 마르코프 모델을 이전의 가장 좋은 매칭에 단순히 적용한다면, 예상은 현재 시간을 위한 가장 좋은 매칭이 5 초 이상 동안 동일한 프로그램 순서라는 것이고, 이 예상의 신뢰도는 Ch-l/L이며, l = 5 초는 쿼리 시간 스텝이다. 대수 근사화에서 l/L의 감소는 길이 l 시간 스텝 동안 채널이 스위칭되지 않는 마르코프 모델 확률(e-l/L)에 대응한다.
대안적인 가정이 현재 쿼리를 위한 오디오 매칭에 의해 생성된다. 현재 오디오 단편을 위한 가장 좋은 매칭을 나타내기 위해 Mo를 사용한다. 즉, 매칭은 오디오 핑거프린팅 과정(400)에 의해 생성된다. Co는 오디오 핑거프린팅 과정(400)에 의해 주어지는 대수 근사화 신뢰도 점수이다.
이 두 매칭(업데이트된 이력 예측 및 현재 단편 관측)이 서로 다른 매칭으로 나타나면, 더 높은 신뢰도 점수가 있는 가정을 선택한다.
Figure 112008046480767-pct00002
여기서, Mo는 관련 콘텐츠를 선택하기 위해 사회적 애플리케이션 서버(106)에 의해 사용되는 매칭이고, Mo와 Co는 Mh와 Ch로서 다음 시간 스텝에 전달된다.
사용자 인터페이스
도 5는 매스 개인화 애플리케이션과 상호 작용하기 위한 사용자 인터페이스(208)의 실시예이다. 사용자 인터페이스(208)는 개인화된 계층 디스플레이 영 역(502), 코멘트 매체 디스플레이 영역(504), 스폰서 링크 디스플레이 영역(506) 및 콘텐츠 디스플레이 영역(508)을 포함한다. 개인화된 계층 디스플레이 영역(502)은 콘텐츠 디스플레이 영역(508)에 보이는 비디오 콘텐츠와 관련된 보완 정보 및/또는 이미지를 제공한다. 개인화된 계층은 내비게이션 바(510)와 입력 장비(예를 들어, 마우스 또는 원격 제어)를 사용하여 내비게이션 될 수 있다. 계층 각각은 내비게이션 바(510)에 관련 라벨을 가진다. 예를 들어, 사용자가 "패션" 라벨을 선택하면, "세인펠드"와 관련된 패션 관련 콘텐츠를 포함하는 패션 계층은 디스플레이 영역(502)에 제시된다.
일부 구현에서, 클라이언트측 인터페이스(102)는 사용자 인터페이스(208)를 제시할 수 있는 디스플레이 장비(210)를 포함한다. 일부 구현에서, 사용자 인터페이스(208)는 사회적 애플리케이션 서버(106)에 의해 서비스되고 디스플레이 장비(210) 화면의 브라우저 창에 제시되는 상호작용 웹 페이지이다. 일부 구현에서, 사용자 인터페이스(208)는 지속적이고, 콘텐츠 매칭 과정에서 사용된 방송 오디오가 시간 이동한 이후의 상호 작용을 위해 사용 가능하다. 일부 구현에서, 사용자 인터페이스(208)는 시간에 대해 또는 트리거 이벤트(예를 들어, 새로운 사람이 대화방에 들어오거나, 광고가 시작되는 것 등)에 응답하여 동적으로 업데이트된다. 예를 들어, 광고가 방송되는 매 시간마다, 스폰서 링크 디스플레이 영역(506)은 광고의 주제와 관련된 새로운 링크(518)로 업데이트될 수 있다.
일부 구현에서, 개인화된 정보 및 스폰서 링크는 나중에 시청자에게 이메일로 전송되거나 사이드 바에 보이게 할 수 있다.
일부 구현에서, 클라이언트측 인터페이스(102)는 사회적 애플리케이션 서버(106)로부터 개인화된 정보를 수신한다. 이 정보는 웹 페이지, 이메일, 게시판, 링크, 쪽지, 대화방, 또는 진행 중인 토론 그룹에 참여하도록 초대, eRoom, 화상 회의나 네트워크 회의, 보이스 콜(예를 들어, Skype®) 등을 포함할 수 있다. 일부 구현에서, 사용자 인터페이스(208)는 이전에 본 방송 또는 영화로부터 코멘트에 대한 접속 및/또는 코멘트에 대한 링크를 제공한다. 예를 들어, 지금 사용자가 "슈렉(Shrek)" DVD를 시청하고 있다면, 과거에 이 영화에 대해 사람들이 말한 것을 보고 싶어할 수 있다.
일부 구현에서, 디스플레이 영역(502)은 방송과 관련된 인기 등급을 디스플레이하기 위해 사용되는 등급 영역(512)을 포함한다. 예를 들어, 디스플레이 영역(512)은 동시에 방송되는 다른 텔레비전 쇼와 비교하여 현재 얼마나 많은 시청자가 "세인펠드"를 시청하고 있는지를 보여줄 수 있다.
일부 구현에서, 코멘트 매체 디스플레이 영역(504)은 다중 사용자가 방송에 대해서 코멘트할 수 있는 대화방 형식의 환경을 제시한다. 일부 구현에서, 디스플레이 영역(504)은 예를 들어, 버튼과 같은 입력 메커니즘(516)을 사용하여 대화방에 전송되는 코멘트를 입력하기 위한 글상자(514)를 포함한다.
스폰서 링크 디스플레이 영역(506)은 방송과 관련된 광고 관련 정보, 이미지 및/또는 링크를 포함한다. 예를 들어, 링크(518) 중 하나는 사용자를 "세인펠드" 상품을 판매하는 웹 사이트로 데려다 준다.
콘텐츠 디스플레이 영역(508)은 방송 콘텐츠가 디스플레이되는 곳이다. 예를 들어, 현재 방송으로부터의 장면이 다른 관련 정보(예를 들어, 에피소드 번호, 제목, 시간표시(Timestamp) 등)와 함께 디스플레이될 수 있다. 일부 구현에서, 디스플레이 영역(508)은 디스플레이된 콘텐츠를 내비게이션하기 위한 제어(520), 예를 들어 스크롤 버튼을 포함한다.
비디오 북마크
일부 구현에서, 버튼(522)은 비디오를 북마크하기 위해 사용될 수 있는 콘텐츠 디스플레이 영역에 포함된다. 예를 들어, 버튼(522)을 클릭함으로써, 디스플레이 영역(508)에 보이는 "세인펠드" 에피소드가 사용자의 즐겨찾기 비디오 라이브러리에 추가되고, 웹 기반 스트리밍 애플리케이션 또는 다른 접속 방법을 통해 사용자 요구에 따라 시청될 수 있다. 콘텐츠 소유자에 의해 설정된 정책에 따라, 이 스트리밍 서비스는 무료 단일-시청 재생을 제공하거나, 콘텐츠 소유자를 위한 대리인으로서 이용료를 수집하거나, 콘텐츠 소유자에게 이용료를 제공하는 광고를 삽입한다.
클라이언트측 인터페이스 하드웨어 아키텍처
도 6은 도 1에 도시된 클라이언트측 인터페이스를 위한 하드웨어 아키텍처(600)를 도시하는 블록 다이어그램이다. 하드웨어 아키텍처(600)가 전형적인 컴퓨터 장비(예를 들어, 개인용 컴퓨터)지만, 개시된 구현은 디스플레이 장비에 사용자 인터페이스를 제시할 수 있는 어떠한 장비에서도 실현될 수 있고, 디스플레이 장비는 데스크톱 또는 휴대용 컴퓨터, 전자 장비, 전화기, 이동 전화기, 디스플레이 시스템, 텔레비전, 컴퓨터 모니터, 내비게이션 시스템, 휴대용 미디어 플레이어/레코더, PDA, 게임 콘솔, 소형 전자 장비, 및 내장된 전자 장비 또는 설비를 포함 하지만 그에 한정되지는 않는다.
일부 구현에서, 시스템(600)은 하나 이상의 프로세서(602, 예를 들어, CPU), 옵션으로 하나 이상의 디스플레이 장비(604, 예를 들어, CRT, LCD 등), 마이크 인터페이스(606), 하나 이상의 네트워크 인터페이스(608, 예를 들어, USB, 이더넷, FireWire® 포트 등), 옵션으로 하나 이상의 입력 장비(610, 예를 들어, 마우스, 키보드 등) 및 하나 이상의 컴퓨터 판독 가능 매체(612)를 포함한다. 이 구성요소 각각은 하나 이상의 버스(614, 예를 들어, EISA, PCI, USB, FireWire®, NuBus, PDS 등)와 작동적으로 결합한다.
일부 구현에서, 디스플레이 장비 또는 입력 장비가 없고, 시스템(600)은 사용자 입력 없이 배경에서 샘플링과 인코딩(예를 들어, 기술어를 생성하는 것 등)만을 수행한다.
"컴퓨터 판독 가능 매체"라는 용어는 실행을 위해 프로세서(602)에 명령어를 제공하는데 관여하는 모든 매체를 나타내며, 비휘발성 미디어(예를 들어, 광학 또는 자기 디스크), 휘발성 미디어(예를 들어, 메모리) 및 송신 미디어를 포함하지만 그에 한정되지는 않는다. 송신 미디어는 동축 케이블, 구리선 및 광섬유를 포함하지만 그에 한정되지는 않는다. 송신 미디어는 음향, 빛 또는 무선 주파수 파동 형식도 전달할 수 있다.
컴퓨터 판독 가능 매체(들)(612)는 운영 시스템(616, 예를 들어, Mac OS®, Windows®, Unix, Linux 등), 네트워크 통신 모듈(618), 클라이언트 소프트웨어(620) 및 하나 이상의 애플리케이션(622)을 더 포함한다. 운영 시스템(616)은 다 중 사용자, 다중 처리, 다중 업무 처리(Multitasking), 다중 작업 처리, 실시간 및 이와 유사한 것들이 될 수 있다. 운영 시스템(616)은 입력 장비(610)로부터 입력을 인식하고, 디스플레이 장비(604)에 출력을 전송하고, 저장 장비(612)의 파일과 디렉토리를 추적하고, 주변 장비(예를 들어, 디스크 드라이브, 프린터, 이미지 캡처 장비 등)를 제어하고, 및 하나 이상의 버스(614)에서 트래픽을 운영하는 것을 포함하지만 그에 한정되지는 않는 기본 업무를 수행한다.
네트워크 통신 모듈(618)은 네트워크 연결을 개설하고 유지하기 위한 다양한 구성요소(예를 들어, TCP/IP, HTTP, 이더넷, USB, FireWire® 등과 같은 통신 프로토콜을 구현하기 위한 소프트웨어)를 포함한다.
클라이언트 소프트웨어(620)는 매스 개인화 애플리케이션의 클라이언트측을 구현하고 도 1-5에 따라 설명된 다양한 클라이언트측 기능(예를 들어 주변 오디오 식별)을 수행하기 위한 다양한 소프트웨어 구성요소를 제공한다. 일부 구현에서, 클라이언트 소프트웨어(620)에 의해 수행되는 과정의 일부 또는 전부는 운영 시스템(616)에 통합될 수 있다. 일부 구현에서, 과정은 적어도 일부가 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 어떠한 조합으로 구현될 수 있다.
다른 애플리케이션(624)은 워드 프로세서, 브라우저, 이메일, 쪽지, 미디어 플레이어, 전화 통신(Telephony) 소프트웨어 등을 포함하지만 그에 한정되지 않는 다른 소프트웨어 애플리케이션을 포함할 수 있다.
광고 및 재방송의 탐지
반복 탐지
검색을 위한 데이터베이스를 준비할 때, 상기한 기술어를 사용하여 반복되는 자료를 미리 플래그(Flag)하는 것을 도울 수 있다. 반복되는 자료는 반복되는 쇼, 광고, 하위 세그먼트(예를 들어, 뉴스 쇼의 주식 시세) 등을 포함할 수 있지만 그에 한정되지 않는다. 이러한 플래그를 사용하여, 반복되는 자료는 검색을 실행하는 사용자의 관심 범위를 넘어서는(예를 들어, 처음 10-20 개의 검색 결과) 모든 다른 자료를 강요하지 않는 방식으로 제시될 수 있다. 이하 설명할 과정(700)은 데이터베이스의 검색 쿼리보다 우선하여 그러한 복제물(Duplicate)을 탐지하는 방식을 제공한다.
비디오 광고 삭제
자료가 검색 및 재생될 수 있도록 하는 것에 대한 방송자(Broadcaster)들의 불만 중 하나는 내장 광고의 재방송이다. 방송자의 입장에서, 이러한 재방송은 생산적이지 못하다. 재방송은 광고주에게 무료 광고를 제공하기 때문에, 광고주가 직접 지불하려는 방송의 가치를 떨어뜨린다. 오래된 광고가 삭제되고 원래 방송자에게 리뷰를 되돌려주는 방식으로 새로운 광고가 되지 않으면, 이전 방송 자료의 다시 보기로부터 이익을 얻을 수 없다. 이하에 설명된 과정(700)은 가능하다면 다른 판별 기준(예를 들어, 지속시간, 볼륨, 시각적 활동, 빈 프레임 묶기 등)과 함께, 반복을 찾음으로써 내장된 광고를 탐지하는 방식을 제공한다.
비디오 요약
비-반복 프로그램 자료의 "요약"(즉, 더 짧은 버전)이 필요하면, 그것을 얻 는 방법은 광고를 제거하고(반복된 자료에 의해 탐지됨) 바로 이전과 이후의 광고 위치로부터 세그먼트를 얻는 것이다. 텔레비전 방송 중에, 프로그램에서 이 위치는 전형적으로 "티저(Teaser)"(광고 이전) 및 "리캡(Recap)"(광고 직후)을 포함한다. 요약이 비-반복되는 및 반복되는 비-광고 자료의 혼합을 포함하는 뉴스 프로그램으로 이루어져 있다면, 반복되는 비-광고 자료는 전형적으로 사운드 바이트(Sound Bite)에 대응한다. 이 세그먼트는 일반적으로 뉴스 내용의 앵커 내레이션(Naration)보다 더 적게 정보에 기여하고, 좋은 삭제 후보이다. 요약이 서사적인 프로그램으로 이루어지면(예를 들어, 영화나 시리즈물), 반복되는 오디오 트랙은 전형적으로 테마 음악, 효과 음악(Mood Music), 또는 무음(Silence)에 대응한다. 이들도 전형적으로 요약 비디오로부터 삭제되기에 좋은 세그먼트이다. 이하에 설명할 과정(700)은 이러한 반복되는 오디오 트랙을 탐지하는 방식을 제공함으로써, 이들이 요약 비디오로부터 삭제될 수 있도록 한다.
반복 탐지 과정
도 7은 반복 탐지 과정(700)의 실시예에 대한 순서도이다. 과정(700)의 어떤 특정 순서로 완료되지 않아도 되고, 적어도 일부 단계는 다중 작업 처리 또는 병행 처리 환경에서 동시에 수행될 수 있다.
과정(700)은 텔레비전 피드(Feed), 비디오 업로드 등과 같은 콘텐츠 집합으로부터 오디오 통계 데이터베이스를 창조함으로써 시작된다(702). 예를 들어, 데이터베이스는 Ke et al.에 설명된 것처럼 32 비트/프레임 기술어를 포함할 수 있다. 쿼리를 데이터베이스로부터 가져오고, 반복이 어디에서 발생하는지 보기 위해 데이 터베이스와 대조(Run against)한다(704). 일부 구현에서, 오디오 통계의 짧은 세그먼트는 쿼리로 가져오고, 가능한 오디오 매칭의 짧은 목록을 만들기 위해 해싱 기술(예를 들어, 직접 해싱 또는 LSH)을 사용하여 비-식별(Non-identity) 매칭(동일하지 않은 매칭)을 체크한다. 이러한 후보 매칭은 Ke et al.에 설명된 것처럼, 예를 들어, 확인 절차에서 처리된다. 확인된 후보 매칭에 대응하는 콘텐츠는 반복되는 콘텐츠로 식별될 수 있다(706).
가장 강력한 비-식별 매칭은 반복되는 자료의 시작점과 종결점을 찾기 위해 시간상 앞, 뒤로 "성장(Grow)한다"(708). 일부 구현에서, 이 단계는 공지된 동적 프로그래밍 기술(예를 들어, 비터비(Viterbi) 디코딩)을 사용하여 이루어질 수 있다. 시간상 앞으로 매칭을 확장할 경우에, 강력한 "시드(Seed)" 매칭의 마지막 시간 슬라이스(Slice)는 "매칭"으로 설정되고, 쿼리와 매칭 사이의 동일한 데이터베이스 오프셋을 위한 제 1 신뢰 가능한 강도 이하 매칭의 마지막 시간 슬라이스는 "매칭되지 않음"으로 설정된다. 일부 구현에서, 두 고정점 사이에서 개별 프레임을 위한 매칭 점수는 상태 천이 내에서 "매칭"으로부터 "매칭되지 않음" 상태로의 단일 천이가 사용되도록 하는 관측 및 1 차 마르코프 모델로 사용된다. 매칭으로부터 매칭되지 않음으로의 천이 확률은 허용된 범위 내에서 천이 위치에 대한 최소한의 지식에 대응하여 1/L로 다소 임의적으로 설정될 수 있고, L은 두 고정점 사이에 있는 프레임의 개수이다. 천이 확률을 선택하기 위한 다른 가능한 방법은 이전 또는 이후의 천이에 대해 추정값을 바이어스하기 위해 매칭 강도 프로필을 사용하는 것이다. 하지만, 이 방법은 매칭 강도가 주기 내에서 이미 관측으로 사용되었기 때문에 동적 프로그래밍 모델을 복잡하게 하고 결과를 향상시킬 가능성이 적다. 시간상 뒤쪽으로 세그먼트 매칭을 성장시키기 위해서 동일한 과정이 사용된다(예를 들어, 전/후를 뒤바꾸고 동일 알고리즘을 실행함).
일부 구현에서, 오디오 큐(Cue)는 더 높은 매칭 정확도를 얻기 위해 비-오디오 정보(예를 들어, 시각적 큐)와 결합된다. 예를 들어, 오디오 매칭으로 찾은 매칭은 단순 시각 유사 메트릭스(Metrics)를 사용하여 확인될 수 있다(710). 이 메트릭스는 색깔 히스토그램(예를 들어, 두 이미지의 유사한 색깔 주파수), 경계의 수 및 분포에 대한 통계 등을 포함할 수 있지만 그에 한정되지는 않는다. 이는 전체 이미지에 걸쳐 계산 필요는 없지만, 이미지의 하위 영역에 대해 계산되고, 타겟(Target) 이미지의 대응하는 하위 영역과 비교될 수 있다.
광고를 찾는 애플리케이션을 위해(모든 형태의 반복되는 자료와 대조됨), 반복되는 자료 탐지의 결과는 광고와 비-광고를 구별하는 것을 목적으로 하는 메트릭스와 결합될 수 있다(712). 이 구별 특징은 지속 시간(예를 들어, 10/15/30 초 스팟이 일반적임), 볼륨(예를 들어, 광고는 주위 프로그램 자료보다 소리가 더 큰 경향이 있고, 반복되는 자료가 다른 측의 자료보다 소리가 더 크면 광고일 가능성이 높음), 시각적 활동(예를 들어, 광고는 장면 사이 및 장면-내부 움직임에서 더 빠른 천이를 가지는 경향이 있고, 반복되는 자료가 다른 측의 자료보다 더 큰 프레임 차이를 가지면 광고일 가능성이 높음), 빈 프레임 묶기(국부적으로 삽입된 광고는 전형적으로 슬롯을 완전히 채우지 않고, 내셔널 피드(National Feed)에 의해 슬롯을 남겨두며, 그 결과 30 초의 몇 배 공간에 빈 프레임과 무음을 발생시킴)와 같은 광고 관습에 의존할 수 있다.
광고가 식별되면, 광고 주위의 자료가 분석될 수 있고 통계가 생성될 수 있다. 예를 들어, 특정 크리에이티브(예를 들어, 이미지, 텍스트)를 사용하여 얼마나 자주 특정 제품이 광고되는지, 또는 특정 세그먼트가 얼마나 자주 방송되는지 등에 대한 통계가 생성될 수 있다. 일부 구현에서, 하나 이상의 옛날 광고는 삭제되거나 새로운 광고로 교체될 수 있다. 광고 탐지 및 교체를 위한 추가적인 기술은 2006년 10월 3-6일에 캐나다 BC에서 열린 IEEE 신호 처리 학회의 멀티미디어 신호 처리에 대한 MMSP 2006 국제 워크샵에서 발표된 M. Covell, S. Baluja, M. Fink의 음향적 및 시각적 반복을 사용한 광고 탐지 및 교체에 설명되고, 이는 본 출원에 전체가 참조로서 포함되어 있다.
일부 구현에서, 콘텐츠의 상세한 구조(예를 들어, 광고 자료가 어디에 삽입되고, 프로그램이 어디에서 반복되는가)에 대한 콘텐츠 소유자로부터의 정보는 과정(700)을 논증하기 위해 사용될 수 있고, 매칭 정확도를 증가시킨다. 일부 구현에서, 비디오 통계가 오디오 대신에 반복을 결정하기 위해 사용될 수 있다. 다른 구현에서, 비디오 및 오디오 통계의 결합이 사용될 수 있다.
오디오 단편 경매
일부 구현에서, 광고주는 광고주가 판매하고자 하는 제품 또는 서비스와 관련된 주변 오디오의 존재와 관련된 경매에 참여할 수 있다. 예를 들어, 다중 광고주가 자신의 제품 또는 서비스와 "세인펠드"와 관련된 오디오 단편 또는 기술어를 관련시키는 권리에 대한 경매에 입찰할 수 있다. 주요 주변 오디오가 존재할 때마 다, 경매의 낙찰자는 시청자에게(예를 들어, 스폰서 링크에) 일부 관련 정보를 제공한다. 일부 구현에서, 광고주는 메타 레벨 기술어를 가지는 주변 오디오 단편에 입찰할 수 있다. 예를 들어, 광고주는 텔레비전 광고와 관련된 오디오(예를 들어, 이는 포드 익스플로어 TV 광고와 관련된 오디오임), 자막(예를 들어, "양키스 야구"라는 자막이 나감), 프로그램 세그먼트 위치(예를 들어, 이 오디오는 "세인펠드"에 15 분, 이전 광고 휴식 후에 3 분, 다음 광고 휴식 전에 1 분 동안 나옴), 낮은 레벨의 음향적 또는 시각적 특성(예를 들어, "배경 음악", "대화 목소리", "폭발하는 것" 등)에 입찰할 수 있다.
일부 구현에서, 하나 이상의 매스 개인화 애플리케이션은 사용자가 다른 웹 사이트(예를 들어, 스폰서 링크)를 검색하는 것처럼 다른 업무를 수행하는 동안 배경에서 실행될 수 있다. 미디어 방송과 관련된 자료(예를 들어, 텔레비전 콘텐츠)는 다른 콘텐츠 소스와 관련된 자료(예를 들어, 웹 사이트 콘텐츠)와 동일한 스폰서 링크 경매에 참여할 수 있다. 예를 들어, 텔레비전 관련 광고는 현재 웹 페이지의 콘텐츠에 대응하는 광고와 혼합될 수 있다.
본 발명에 개시된 구현에 대하여 다양한 수정이 가능하고, 이러한 수정은 이하의 청구범위의 범위 내에 있다.

Claims (60)

  1. 컴퓨터 구현 방법으로서,
    제1 클라이언트 시스템으로부터 미디어 콘텐츠와 관련된 개인화된 정보 계층(personalized information layer)의 사용자 선택을 수신하는 단계;
    상기 제1 클라이언트 시스템에 의해 상기 미디어 콘텐츠로부터 생성되고, 상기 미디어 콘텐츠를 식별하는 제1 기술어(descriptor)를 상기 제1 클라이언트 시스템으로부터 수신하는 단계;
    상기 미디어 콘텐츠를 또한 식별하는 제2 기술어를 제2 클라이언트 시스템으로부터 수신하는 단계;
    상기 미디어 콘텐츠와 관련된 가상 사회 집단(virtual social community)을, 상기 제1 기술어와 상기 제2 기술어에 적어도 부분적으로 기초하여 자동으로 창조하는 단계―여기서, 상기 가상 사회 집단은 상기 미디어 콘텐츠에 액세스한 사용자들 간에 통신을 위한 장소(venue)이고, 상기 가상 사회 집단을 자동으로 창조하는 단계는 상기 미디어 콘텐츠에 액세스하는 상기 사용자들로부터 상기 사회 집단의 참가자들을 자동으로 선택하는 단계를 포함함―;
    상기 가상 사회 집단에서 공유되어야 할 대화 콘텐츠(chat content)를 계속적으로 업데이트하는 단계; 및
    상기 개인화된 정보 계층에서 디스플레이를 위하여, 상기 가상 사회 집단을 상기 제1 클라이언트 시스템에 제공하는 단계를 구비하고,
    상기 방법은 상기 미디어 콘텐츠 방송 동안에 하나 이상의 프로세서에 의해 수행되는 것을 특징으로 하는 방법.
  2. 청구항 1에 있어서,
    상기 가상 사회 집단을 창조하는 단계는 상기 제1 기술어와 상기 제2 기술어 간의 매칭을 식별하는 단계를 포함하고, 상기 매칭을 식별하는 단계는
    상기 수신된 제1 기술어와 제2 기술어를 사용하여 기준 기술어(reference descripor)의 데이터베이스를 쿼리하는 단계; 및
    매칭 판별 기준(Criteria)에 적어도 부분적으로 기초하여, 상기 수신된 제1 기술어와 제2 기술어와 매칭하는 하나 이상의 기준 기술어를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 청구항 1에 있어서,
    상기 미디어 콘텐츠 방송은 텔레비전 방송, 라디오 방송, 영화 방송, 또는 인터넷 방송 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  4. 청구항 1에 있어서,
    상기 개인화된 정보 계층은 보완적 정보(complementary information)를 상기 미디어 콘텐츠에 제공하는 것을 특징으로 하는 방법.
  5. 청구항 1에 있어서,
    상기 가상 사회 집단은 가상 대화방(virtual chat room)을 포함하는 것을 특징으로 하는 방법.
  6. 청구항 5에 있어서,
    상기 가상 대화방의 참가자들은 상기 미디어 콘텐츠를 식별하는 기술어들에 적어도 부분적으로 기초하여 선택되는 것을 특징으로 하는 방법.
  7. 청구항 6에 있어서,
    상기 대화 콘텐츠를 업데이트하는 단계는 상기 선택된 참가자들로부터의 실시간 대화 콘텐츠(real time chat content)를 업데이트하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 컴퓨터 구현 방법으로서,
    클라이언트 시스템에서, 디스플레이 상에 하나 이상의 개인화된 정보 계층을 디스플레이하는 단계―여기서, 상기 개인화된 정보 계층들은 개인화된 정보를 제시하고, 미디어 콘텐츠와 관련됨―;
    상기 하나 이상의 개인화된 정보 계층으로부터 개인화된 정보 계층의 사용자 선택을 수신하는 단계;
    상기 미디어 콘텐츠를 식별하는 기술어―여기서, 기술어는 상기 클라이언트 시스템에 의해 상기 미디어 콘텐츠로부터 생성됨―를 상기 클라이언트 시스템으로부터 네트워크 리소스(network resource)에 송신하는 단계;
    상기 네트워크 리소스로부터 개인화된 정보를 수신하는 단계―여기서, 상기 개인화된 정보는 실시간 대화 콘텐츠가 공유되는 가상 사회 집단을 포함하고, 상기 실시간 대화 콘텐츠는 계속적으로 업데이트 되고, 상기 가상 사회 집단은 상기 기술어 및 다른 클라이언트 시스템으로부터의 다른 기술어에 적어도 부분적으로 기초하여 자동으로 창조되고, 또한 상기 미디어 콘텐츠에 액세스하는 사용자들로부터 자동으로 선택된 참자가들을 포함하고, 상기 다른 기술어도 또한 상기 미디어 콘텐츠를 식별함―; 및
    상기 클라이언트 시스템의 디스플레이 상에, 상기 선택된 개인화된 정보 계층의 상기 개인화된 정보를 디스플레이하는 단계를 구비하고,
    상기 방법은 상기 미디어 콘텐츠 방송 동안에 하나 이상의 프로세서에 의해 수행되는 것을 특징으로 하는 방법.
  9. 청구항 8에 있어서,
    상기 기술어를 송신하는 단계는
    상기 미디어 콘텐츠의 단편(snippet)들을 녹음하는 단계;
    상기 미디어 콘텐츠의 단편들을 중복되는 프레임(overlapping frame)들로 분해하는 단계; 및
    상기 프레임들을 상기 기술어로 전환하는 단계를 포함하고, 상기 기술어는 상기 미디어 콘텐츠의 통계적 요약(statistical summary)들을 식별하는 것을 특징으로 하는 방법.
  10. 청구항 8에 있어서,
    상기 가상 사회 집단은 가상 대화방을 포함하는 것을 특징으로 하는 방법.
  11. 시스템으로서,
    컴퓨터 프로그램 제품을 포함하는 컴퓨터 판독가능 저장 장비; 및
    상기 저장 장비와 상호작용하고, 미디어 방송 동안, 동작들을 수행하기 위해 상기 프로그램 제품을 실행시키는 하나 이상의 프로세서를 구비하고, 상기 동작들은
    클라이언트 시스템으로부터 그 클라이언트 시스템에 디스플레이되고 있는 상기 미디어 방송과 관련된 가상 대화방을 창조하기 위한 요청을 수신하는 단계;
    상기 클라이언트 시스템으로부터 기술어를 수신하는 단계―상기 기술어는 상기 클라이언트 시스템에서 디스플레이되고 있는 상기 미디어 방송을 식별하고, 상기 기술어는 상기 클라이언트 시스템에 의해 상기 미디어 방송으로부터 생성됨―;
    상기 가상 대화방을 자동으로 창조하는 단계로서, 상기 기술어 및 적어도 다른 하나의 기술어에 적어도 부분적으로 기초하여 상기 미디어 콘텐츠에 액세스하는 사용자들로부터 상기 가상 대화방의 참가자들을 자동으로 선택하는 단계를 포함하고, 상기 적어도 다른 하나의 기술어는 상기 미디어 콘텐츠를 또한 식별하는 상기 창조하는 단계;
    디스플레이되고 있는 상기 미디어 방송과 연관된 디스플레이를 위하여, 상기 가상 대화방을 상기 클라이언트 시스템에 제공하는 단계;
    상기 가상 대화방에서 공유되어야 할 대화 콘텐츠로서, 상기 미디어 방송을 식별하는 상기 기술어들에 적어도 부분적으로 기초하여 선택된 상기 참가자들로부터 상기 대화 콘텐츠를 계속적으로 업데이트하는 단계; 및
    상기 가상 대화방에서 디스플레이를 위하여, 상기 업데이트된 대화 콘텐츠를 상기 클라이언트 시스템에 계속적으로 전송하는 단계를 구비하는 것을 특징으로 하는 시스템.
  12. 청구항 11에 있어서,
    상기 기술어는 상기 미디어 방송의 오디오 샘플들로부터 생성되는 것을 특징으로 하는 시스템.
  13. 청구항 8에 있어서,
    상기 가상 사회 집단은 하나 이상의 하위 그룹(subgroup)을 포함하고, 상기 하나 이상의 하위 그룹 중 적어도 하나는 인구 통계학적 정보(demographic information)와 연관되는 것을 특징으로 하는 방법.
  14. 청구항 8에 있어서,
    상기 클라이언트 시스템을 식별하기 위한 클라이언트 시스템 식별자를, 상기 클라이언트 시스템으로부터 상기 네트워크 리소스에 송신하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  15. 청구항 11에 있어서,
    상기 가상 대화방은 하나 이상의 하위 그룹을 포함하는 것을 특징으로 하는 시스템.
  16. 삭제
  17. 삭제
  18. 청구항 11에 있어서,
    상기 기술어는 상기 미디어 방송의 오디오 샘플들로부터 생성되는 것을 특징으로 하는 시스템.
  19. 삭제
  20. 삭제
  21. 삭제
  22. 청구항 11에 있어서,
    상기 수신된 기술어는 암호화(encrypted)된 것을 특징으로 하는 시스템.
  23. 청구항 11에 있어서,
    상기 수신된 기술어는 상기 클라이언트 시스템에서의 트리거(trigger) 이벤트에 응답하여 쿼리 제출로서 데이터베이스 서버에 전송되는 것을 특징으로 하는 시스템.
  24. 청구항 11에 있어서,
    상기 수신된 기술어는 스트리밍(streamig) 과정의 일부로서 데이터베이스 서버에 전송되는 것을 특징으로 하는 시스템.
  25. 삭제
  26. 청구항 11에 있어서,
    상기 참가자들은 동일한 지리적 위치에 있는 것을 특징으로 하는 시스템.
  27. 청구항 11에 있어서,
    상기 동작들은 상기 클라이언트 시스템의 식별자를 수신하는 단계를 더 포함하는 것을 특징으로 하는 시스템.
  28. 청구항 11에 있어서,
    상기 기술어는 상기 미디어 방송의 샘플에 대한 통계적 요약 식별을 나타내는 것을 특징으로 하는 시스템.
  29. 청구항 11에 있어서,
    상기 가상 대화방을 창조하는 단계는 상기 클라이언트 시스템에 의해 생성된 상기 기술어와 일시적(temporally)으로 일치하는 하나 이상의 기준 기술어를 사용하여 매칭을 결정하는 단계를 포함하는 것을 특징으로 하는 시스템.
  30. 시스템으로서,
    컴퓨터 프로그램 제품을 포함하는 컴퓨터 판독가능 저장 장비; 및
    상기 저장 장비와 상호작용하고, 미디어 콘텐츠 방송 동안, 동작들을 수행하기 위하여 상기 프로그램 제품을 실행시키는 하나 이상의 프로세서를 구비하고, 상기 동작들은
    상기 시스템의 디스플레이 장비 상에 상기 미디어 콘텐츠와 코멘트 매체 디스플레이 영역(commenting medium display area)을 디스플레이하는 단계;
    디스플레이되고 있는 상기 미디어 콘텐츠와 관련된 가상 대화방을 창조하기 위한 입력을 수신하는 단계;
    상기 시스템에 의해 상기 미디어 콘텐츠로부터 생성되고, 상기 미디어 콘텐츠를 식별하는 기술어를 네트워크 리소스에 송신하는 단계;
    상기 네트워크 리소스로부터 상기 가상 대화방과 관련된 정보를 수신하는 단계―상기 가상 대화방은 상기 기술어 및 다른 기술어에 적어도 부분적으로 기초하여 상기 미디어 콘텐츠에 액세스하는 사용자들로부터 하나 이상의 프로세서가 자동으로 선택한 참가자들을 포함하고, 상기 다른 기술어도 상기 미디어 콘텐츠를 식별함―;
    상기 코멘트 매체 디스플레이 영역에 디스플레이하기 위하여, 상기 가상 대화방을 제공하는 단계;
    상기 네트워크 리소스로부터 대화 콘텐츠를 수신하는 단계로서, 상기 미디어 콘텐츠를 식별하는 상기 기술어들에 적어도 부분적으로 기초하여 선택된 상기 참가자들로부터 상기 대화 콘텐츠가 계속적으로 업데이트되는 상기 수신하는 단계;
    상기 미디어 콘텐츠와 연관된 가상 대화방에 상기 업데이트된 대화 콘텐츠를 계속적으로 디스플레이하는 단계를 구비하는 것을 특징으로 하는 시스템.
  31. 청구항 30에 있어서,
    상기 디스플레이 장비는 사용자 인터페이스를 디스플레이하고, 상기 사용자 인터페이스는
    상기 가상 대화방을 디스플레이하기 위한 개인화된 정보 계층 디스플레이 영역; 및
    상기 미디어 콘텐츠를 디스플레이하기 위한 콘텐츠 디스플레이 영역을 포함하는 것을 특징으로 하는 시스템.
  32. 청구항 30에 있어서,
    상기 방송은 텔레비전 방송, 라디오 방송, 영화 방송, 또는 인터넷 방송 중 적어도 하나를 포함하는 것을 특징으로 하는 시스템.
  33. 청구항 30에 있어서,
    상기 동작들은 상기 시스템을 식별하기 위한 클라이언트 시스템 식별자를, 상기 시스템으로부터 상기 네트워크 리소스에 송신하는 단계를 더 포함하는 것을 특징으로 하는 시스템.
  34. 청구항 30에 있어서,
    상기 기술어를 송신하는 단계는
    상기 미디어 콘텐츠의 단편들을 녹음하는 단계;
    상기 미디어 콘텐츠의 단편들을 중복되는 프레임들로 분해하는 단계; 및
    상기 프레임들을 상기 기술어로 전환하는 단계를 포함하고, 상기 기술어는 상기 미디어 콘텐츠의 통계적 요약들을 식별하는 것을 특징으로 하는 시스템.
  35. 청구항 30에 있어서,
    상기 기술어는 암호화된 것을 특징으로 하는 시스템.
  36. 청구항 30에 있어서,
    상기 기술어는 사용자 선택에 응답하여 쿼리 제출로서 데이터베이스 서버에 전송되는 것을 특징으로 하는 시스템.
  37. 청구항 36에 있어서,
    상기 미디어 콘텐츠를 식별하는 상기 기술어를 상기 네트워크 리소스에 송신하는 단계는 상기 기술어를 스트리밍 과정의 일부로서 상기 데이터베이스 서버에 전송하는 단계를 포함하는 것을 특징으로 하는 시스템.
  38. 삭제
  39. 프로세서에 의해 실행되었을 때, 상기 프로세서로 하여금 동작들을 실행시키는 명령어들이 저장된 컴퓨터 판독가능 저장 장비로서, 상기 동작들은
    클라이언트 시스템으로부터 상기 클라이언트 시스템의 디스플레이에 디스플레이되고 있는 미디어 방송과 관련된 가상 대화방을 창조하기 위한 요청을 수신하는 단계;
    상기 미디어 콘텐츠를 식별하는 기술어를 상기 클라이언트 시스템으로부터 수신하는 단계―상기 기술어는 상기 클라이언트 시스템에 의해 상기 미디어 콘텐츠로부터 생성됨―;
    상기 가상 대화방을 자동으로 창조하는 단계로서, 상기 기술어 및 적어도 다른 하나의 기술어에 적어도 부분적으로 기초하여 상기 미디어 콘텐츠에 액세스하는 사용자들로부터 상기 가상 대화방의 참가자들을 자동으로 선택하는 단계를 포함하고, 상기 적어도 다른 하나의 기술어는 상기 미디어 콘텐츠를 또한 식별하는 상기 창조하는 단계:
    디스플레이되고 있는 상기 미디어 방송과 연관된 디스플레이를 위하여, 상기 가상 대화방을 상기 클라이언트 시스템에 제공하는 단계;
    상기 가상 대화방에서 공유되어야 할 대화 콘텐츠로서, 상기 미디어 콘텐츠를 식별하는 상기 기술어들에 적어도 부분적으로 기초하여 선택된 상기 참가자들로부터 상기 대화 콘텐츠를 계속적으로 업데이트하는 단계; 및
    상기 가상 대화방에 디스플레이를 위하여, 상기 업데이트된 대화 콘텐츠를 상기 클라이언트 시스템에 계속적으로 전송하는 단계를 구비하고,
    상기 동작들은 상기 미디어 방송 동안에 수행되는 것을 특징으로 하는 저장 장비.
  40. 프로세서에 의해 실행되었을 때, 상기 프로세서로 하여금 동작들을 실행시키는 명령어들이 저장된 컴퓨터 판독가능 저장 장비로서, 상기 동작들은
    클라이언트 시스템에서 디스플레이 상에 미디어 콘텐츠와 코멘트 매체 디스플레이 영역을 디스플레이하는 단계;
    상기 클라이언트 시스템에서 디스플레이되고 있는 상기 미디어 콘텐츠와 관련된 가상 대화방을 창조하기 위한 입력을 상기 클라이언트 시스템에서 수신하는 단계;
    상기 클라이언트 시스템에 의해 상기 미디어 콘덴츠로부터 생성되고, 상기 미디어 콘텐츠를 식별하는 기술어를 네트워크 리소스에 송신하는 단계;
    상기 네트워크 리소스로부터 가상 대화방과 관련된 정보를 수신하는 단계―상기 가상 대화방은 상기 기술어 및 다른 기술어에 적어도 부분적으로 기초하여 상기 미디어 콘텐츠에 액세스한 사용자들로부터 상기 프로세서에 의해 자동으로 선택된 참가자들을 포함하고, 상기 다른 기술어도 미디어 콘텐츠를 식별함―;
    상기 코멘트 매체 디스플레이 영역에 디스플레이하기 위하여, 상기 가상 대화방을 제공하는 단계;
    상기 네트워크 리소스로부터 대화 콘텐츠를 수신하는 단계로서, 상기 미디어 콘텐츠를 식별하는 상기 기술어들에 적어도 부분적으로 기초하여 선택된 상기 참가자들로부터 상기 대화 콘텐츠가 계속적으로 업데이트되는 상기 수신하는 단계; 및
    상기 미디어 콘텐츠와 연관된 상기 가상 대화방에 상기 업데이트된 대화 콘텐츠를 계속적으로 디스플레이하는 단계를 구비하고,
    상기 동작들은 상기 미디어 콘텐츠 방송 동안 수행되는 것을 특징으로 하는 저장 장비.
  41. 삭제
  42. 청구항 40에 있어서,
    상기 동작들은 상기 클라이언트 시스템을 식별하기 위한 클라이언트 시스템 식별자를, 상기 클라이언트 시스템으로부터 상기 네트워크 리소스에 전송하는 단계를 더 포함하는 것을 특징으로 하는 저장 장비.
  43. 청구항 40에 있어서,
    상기 미디어 콘텐츠 방송은 텔레비전 방송, 라디오 방송, 영화 방송, 또는 인터넷 방송 중 적어도 하나를 포함하는 것을 특징으로 하는 저장 장비.
  44. 하나 이상의 컴퓨터에 의해 실행되는 방법으로서, 상기 방법은
    클라이언트 시스템으로부터 그 클라이언트 시스템에 디스플레이되고 있는 미디어 방송과 관련된 가상 대화방을 창조하기 위한 요청을 수신하는 단계;
    상기 클라이언트 시스템으로부터 기술어를 수신하는 단계―상기 기술어는 상기 클라이언트 시스템에서 디스플레이되고 있는 상기 미디어 방송을 식별하고, 상기 기술어는 상기 클라이언트 시스템에 의해 상기 미디어 방송으로부터 생성됨―;
    상기 가상 대화방을 자동으로 창조하는 단계로서, 상기 기술어 및 적어도 다른 하나의 기술어에 적어도 부분적으로 기초하여 상기 미디어 콘텐츠에 액세스하는 사용자들로부터 상기 가상 대화방의 참가자들을 자동으로 선택하는 단계를 포함하고, 상기 적어도 다른 하나의 기술어는 상기 미디어 콘텐츠를 또한 식별하는 상기 창조하는 단계;
    디스플레이되고 있는 상기 미디어 방송과 연관된 디스플레이를 위하여, 상기 가상 대화방을 상기 클라이언트 시스템에 제공하는 단계;
    상기 가상 대화방에서 공유되어야 할 대화 콘텐츠로서, 상기 미디어 방송을 식별하는 상기 기술어들에 적어도 부분적으로 기초하여 선택된 상기 참가자들로부터 상기 대화 콘텐츠를 계속적으로 업데이트하는 단계; 및
    상기 가상 대화방에서 디스플레이를 위하여, 상기 업데이트된 대화 콘텐츠를 상기 클라이언트 시스템에 계속적으로 전송하는 단계를 구비하고,
    상기 방법은 상기 미디어 방송 동안에 수행되는 것을 특징으로 하는 방법.
  45. 하나 이상의 컴퓨터에 의해 실행되는 방법으로서, 상기 방법은
    클라이언트 시스템에서 디스플레이 상에 미디어 콘텐츠와 코멘트 매체 디스플레이 영역을 디스플레이하는 단계;
    상기 클라이언트 시스템에서 디스플레이되고 있는 상기 미디어 콘텐츠와 관련된 가상 대화방을 창조하기 위한 입력을 상기 클라이언트 시스템에서 수신하는 단계;
    상기 클라이언트 시스템에 의해 상기 미디어 콘덴츠로부터 생성되고, 상기 미디어 콘텐츠를 식별하는 기술어를 네트워크 리소스에 송신하는 단계;
    상기 네트워크 리소스로부터 가상 대화방과 관련된 정보를 수신하는 단계―상기 가상 대화방은 상기 기술어 및 다른 기술어에 적어도 부분적으로 기초하여 상기 미디어 콘텐츠에 액세스한 사용자들로부터 프로세서에 의해 자동으로 선택된 참가자들을 포함하고, 상기 다른 기술어도 미디어 콘텐츠를 식별함―;
    상기 코멘트 매체 디스플레이 영역에 디스플레이하기 위하여, 상기 가상 대화방을 제공하는 단계;
    상기 네트워크 리소스로부터 대화 콘텐츠를 수신하는 단계로서, 상기 미디어 콘텐츠를 식별하는 상기 기술어들에 적어도 부분적으로 기초하여 선택된 상기 참가자들로부터 상기 대화 콘텐츠가 계속적으로 업데이트되는 상기 수신하는 단계; 및
    상기 미디어 콘텐츠와 연관된 상기 가상 대화방에 상기 업데이트된 대화 콘텐츠를 계속적으로 디스플레이하는 단계를 구비하고,
    상기 방법은 상기 미디어 방송 동안 수행되는 것을 특징으로 하는 방법.
  46. 청구항 30에 있어서,
    상기 디스플레이 장비는 사용자가 상기 가상 대화방 및 상기 미디어 콘텐츠에 상호작용할 수 있도록 구성되는 것을 특징으로 하는 시스템.
  47. 청구항 11에 있어서,
    상기 방송은 텔레비전 방송, 라디오 방송, 영화 방송, 또는 인터넷 방송 중 적어도 하나를 포함하는 것을 특징으로 하는 시스템.
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
KR1020087015739A 2005-11-29 2006-11-27 매스 미디어를 위한 사회적 및 상호작용 애플리케이션 KR101371574B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US74076005P 2005-11-29 2005-11-29
US60/740,760 2005-11-29
US82388106P 2006-08-29 2006-08-29
US60/823,881 2006-08-29
PCT/US2006/045551 WO2007064641A2 (en) 2005-11-29 2006-11-27 Social and interactive applications for mass media

Publications (2)

Publication Number Publication Date
KR20080075896A KR20080075896A (ko) 2008-08-19
KR101371574B1 true KR101371574B1 (ko) 2014-03-14

Family

ID=38092724

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020087015779A KR20080073357A (ko) 2005-11-29 2006-11-27 방송 미디어에서 반복 콘텐츠 탐지
KR1020087015739A KR101371574B1 (ko) 2005-11-29 2006-11-27 매스 미디어를 위한 사회적 및 상호작용 애플리케이션

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020087015779A KR20080073357A (ko) 2005-11-29 2006-11-27 방송 미디어에서 반복 콘텐츠 탐지

Country Status (10)

Country Link
US (6) US7991770B2 (ko)
EP (3) EP1958362A4 (ko)
JP (3) JP2009518884A (ko)
KR (2) KR20080073357A (ko)
AU (2) AU2006320692A1 (ko)
BR (2) BRPI0619197A2 (ko)
CA (2) CA2631270A1 (ko)
ES (1) ES2386977T3 (ko)
IL (1) IL191814A0 (ko)
WO (2) WO2007064641A2 (ko)

Families Citing this family (435)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834308B1 (en) * 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
US8205237B2 (en) 2000-09-14 2012-06-19 Cox Ingemar J Identifying works, using a sub-linear time search, such as an approximate nearest neighbor search, for initiating a work-based action, such as an action on the internet
US8117281B2 (en) * 2006-11-02 2012-02-14 Addnclick, Inc. Using internet content as a means to establish live social networks by linking internet users to each other who are simultaneously engaged in the same and/or similar content
US7239981B2 (en) 2002-07-26 2007-07-03 Arbitron Inc. Systems and methods for gathering audience measurement data
US8959016B2 (en) 2002-09-27 2015-02-17 The Nielsen Company (Us), Llc Activating functions in processing devices using start codes embedded in audio
US9711153B2 (en) 2002-09-27 2017-07-18 The Nielsen Company (Us), Llc Activating functions in processing devices using encoded audio and detecting audio signatures
US9055239B2 (en) 2003-10-08 2015-06-09 Verance Corporation Signal continuity assessment using embedded watermarks
US10387920B2 (en) 2003-12-23 2019-08-20 Roku, Inc. System and method for offering and billing advertisement opportunities
US10032192B2 (en) * 2003-12-23 2018-07-24 Roku, Inc. Automatic localization of advertisements
US9865017B2 (en) 2003-12-23 2018-01-09 Opentv, Inc. System and method for providing interactive advertisement
US7623823B2 (en) * 2004-08-31 2009-11-24 Integrated Media Measurement, Inc. Detecting and measuring exposure to media content items
US20060224798A1 (en) * 2005-02-22 2006-10-05 Klein Mark D Personal music preference determination based on listening behavior
US20070016918A1 (en) * 2005-05-20 2007-01-18 Alcorn Allan E Detecting and tracking advertisements
US20070118455A1 (en) * 2005-11-18 2007-05-24 Albert William J System and method for directed request for quote
BRPI0619197A2 (pt) * 2005-11-29 2011-09-20 Google Inc detecção de conteúdo de repetição em mìdia de difusão
US8132103B1 (en) * 2006-07-19 2012-03-06 Aol Inc. Audio and/or video scene detection and retrieval
US8751502B2 (en) * 2005-11-29 2014-06-10 Aol Inc. Visually-represented results to search queries in rich media content
US20070136741A1 (en) * 2005-12-09 2007-06-14 Keith Stattenfield Methods and systems for processing content
US20070162761A1 (en) 2005-12-23 2007-07-12 Davis Bruce L Methods and Systems to Help Detect Identity Fraud
US20150082342A1 (en) * 2006-06-15 2015-03-19 Social Commenting, Llc System and method for viewers to comment on television content for display on remote websites using a web browser
US8019162B2 (en) * 2006-06-20 2011-09-13 The Nielsen Company (Us), Llc Methods and apparatus for detecting on-screen media sources
US7831531B1 (en) 2006-06-22 2010-11-09 Google Inc. Approximate hashing functions for finding similar content
WO2008011631A2 (en) * 2006-07-21 2008-01-24 Videoegg, Inc. Systems and methods for interaction prompt initiated video advertising
US8732019B2 (en) * 2006-07-21 2014-05-20 Say Media, Inc. Non-expanding interactive advertisement
US9208500B2 (en) * 2006-07-21 2015-12-08 Microsoft Technology Licensing, Llc Fixed position multi-state interactive advertisement
US20090018920A1 (en) 2006-07-21 2009-01-15 Videoegg, Inc. Interaction Prompt for Interactive Advertising
US8411977B1 (en) 2006-08-29 2013-04-02 Google Inc. Audio identification using wavelet-based signatures
US8707459B2 (en) 2007-01-19 2014-04-22 Digimarc Corporation Determination of originality of content
US8010511B2 (en) 2006-08-29 2011-08-30 Attributor Corporation Content monitoring and compliance enforcement
US9654447B2 (en) 2006-08-29 2017-05-16 Digimarc Corporation Customized handling of copied content based on owner-specified similarity thresholds
US8738749B2 (en) 2006-08-29 2014-05-27 Digimarc Corporation Content monitoring and host compliance evaluation
US8615778B1 (en) 2006-09-28 2013-12-24 Qurio Holdings, Inc. Personalized broadcast system
US7895275B1 (en) * 2006-09-28 2011-02-22 Qurio Holdings, Inc. System and method providing quality based peer review and distribution of digital content
AU2007316477A1 (en) * 2006-11-03 2008-05-15 Google Inc. Content management system
US8301658B2 (en) 2006-11-03 2012-10-30 Google Inc. Site directed management of audio components of uploaded video files
US8310985B2 (en) * 2006-11-13 2012-11-13 Joseph Harb Interactive radio advertising and social networking
US8718538B2 (en) * 2006-11-13 2014-05-06 Joseph Harb Real-time remote purchase-list capture system
US8391155B2 (en) * 2006-11-13 2013-03-05 Joseph Harb Digital content download associated with corresponding radio broadcast items
US8462645B1 (en) 2006-11-13 2013-06-11 Joseph Harb Interactive advertising system, business methods and software
US8296195B2 (en) * 2006-11-13 2012-10-23 Joseph Harb Broadcast programming data capture
US9456250B2 (en) * 2006-12-15 2016-09-27 At&T Intellectual Property I, L.P. Automatic rating optimization
US9179200B2 (en) 2007-03-14 2015-11-03 Digimarc Corporation Method and system for determining content treatment
US10242415B2 (en) 2006-12-20 2019-03-26 Digimarc Corporation Method and system for determining content treatment
US8356039B2 (en) * 2006-12-21 2013-01-15 Yahoo! Inc. Providing multiple media items to a consumer via a simplified consumer interaction
US7890874B2 (en) * 2007-02-23 2011-02-15 Dkcm, Inc. Systems and methods for interactively displaying user images
JP4281819B2 (ja) * 2007-04-02 2009-06-17 ソニー株式会社 撮像画像データ処理装置、視聴情報生成装置、視聴情報生成システム、撮像画像データ処理方法、視聴情報生成方法
US10489795B2 (en) 2007-04-23 2019-11-26 The Nielsen Company (Us), Llc Determining relative effectiveness of media content items
US20080265631A1 (en) * 2007-04-30 2008-10-30 Foremost Groups, Inc. Folding ottoman
CN101681194A (zh) * 2007-05-02 2010-03-24 谷歌公司 用于基于Web的视频播放器的用户界面
JP5337147B2 (ja) * 2007-05-03 2013-11-06 グーグル インコーポレイテッド デジタルコンテンツ投稿の換金化
US8094872B1 (en) 2007-05-09 2012-01-10 Google Inc. Three-dimensional wavelet based video fingerprinting
CN101681381B (zh) * 2007-06-06 2012-11-07 杜比实验室特许公司 使用多搜索组合改善音频/视频指纹搜索精确度
US7840502B2 (en) * 2007-06-13 2010-11-23 Microsoft Corporation Classification of images as advertisement images or non-advertisement images of web pages
US8611422B1 (en) 2007-06-19 2013-12-17 Google Inc. Endpoint based video fingerprinting
US20090021474A1 (en) * 2007-07-17 2009-01-22 Motorola, Inc. System and method for displaying status information of a multimedia broadcast receiver on an ambient device
US8620878B2 (en) * 2007-07-19 2013-12-31 Ustream, Inc. System and method of distributing multimedia content
WO2009018168A2 (en) * 2007-07-27 2009-02-05 Synergy Sports Technology, Llc Using a website containing video playlists as input to a download manager
US8238669B2 (en) * 2007-08-22 2012-08-07 Google Inc. Detection and classification of matches between time-based media
US8447032B1 (en) 2007-08-22 2013-05-21 Google Inc. Generation of min-hash signatures
US9633505B2 (en) * 2007-09-07 2017-04-25 Veritone, Inc. System and method for on-demand delivery of audio content for use with entertainment creatives
US20090089326A1 (en) * 2007-09-28 2009-04-02 Yahoo!, Inc. Method and apparatus for providing multimedia content optimization
US8332883B2 (en) 2007-10-02 2012-12-11 The Nielsen Company (Us), Llc Providing actionable insights based on physiological responses from viewers of media
US8521766B1 (en) 2007-11-12 2013-08-27 W Leo Hoarty Systems and methods for providing information discovery and retrieval
US20090150919A1 (en) * 2007-11-30 2009-06-11 Lee Michael J Correlating Media Instance Information With Physiological Responses From Participating Subjects
US8938747B2 (en) * 2007-12-06 2015-01-20 At&T Intellectual Property I, L.P. Rating multimedia programs accessed from a provider network
US20090164590A1 (en) * 2007-12-20 2009-06-25 G-Snap!, Inc. Apparatus and method for providing real-time event updates
US20090164569A1 (en) * 2007-12-20 2009-06-25 Garcia Richard L Apparatus and Method for Providing Real-Time Event Updates
US8806021B2 (en) * 2008-01-28 2014-08-12 Sony Corporation Methods, portable electronic devices, systems and computer program products for automatically creating social networking services (SNS)
US8874076B2 (en) * 2008-02-15 2014-10-28 Alcatel Lucent Method to allow community-identity based communications using mobile phones
US8184953B1 (en) * 2008-02-22 2012-05-22 Google Inc. Selection of hash lookup keys for efficient retrieval
US9043483B2 (en) * 2008-03-17 2015-05-26 International Business Machines Corporation View selection in a vehicle-to-vehicle network
WO2009116856A2 (en) * 2008-03-18 2009-09-24 Civolution B.V. Generating statistics of popular content
US20090259519A1 (en) * 2008-04-14 2009-10-15 Microsoft Corporation Advertisements Targeted to Social Groups that Establish Program Popularity
US8344233B2 (en) 2008-05-07 2013-01-01 Microsoft Corporation Scalable music recommendation by search
US8650094B2 (en) * 2008-05-07 2014-02-11 Microsoft Corporation Music recommendation using emotional allocation modeling
WO2009140759A1 (en) * 2008-05-22 2009-11-26 Unify4Life Corporation Interactive event guide with enhanced features
WO2009149063A1 (en) * 2008-06-02 2009-12-10 Azuki Systems, Inc. Media mashup system
US20090307061A1 (en) * 2008-06-10 2009-12-10 Integrated Media Measurement, Inc. Measuring Exposure To Media
US20090307084A1 (en) * 2008-06-10 2009-12-10 Integrated Media Measurement, Inc. Measuring Exposure To Media Across Multiple Media Delivery Mechanisms
US20090319571A1 (en) * 2008-06-23 2009-12-24 Itel Llc Video indexing
US8380564B2 (en) * 2008-07-30 2013-02-19 At&T Intellectual Property I, Lp System and method for internet protocol television product placement data
US20150026707A1 (en) * 2008-08-12 2015-01-22 Iheartmedia Management Services, Inc. Audience response determination to digital-media content
US20100043021A1 (en) * 2008-08-12 2010-02-18 Clear Channel Management Services, Inc. Determining audience response to broadcast content
US20170034586A1 (en) * 2008-10-08 2017-02-02 Wakingapp Ltd. System for content matching and triggering for reality-virtuality continuum-based environment and methods thereof
US8359205B2 (en) 2008-10-24 2013-01-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8121830B2 (en) 2008-10-24 2012-02-21 The Nielsen Company (Us), Llc Methods and apparatus to extract data encoded in media content
US9667365B2 (en) 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8516533B2 (en) 2008-11-07 2013-08-20 Digimarc Corporation Second screen methods and arrangements
US20100205628A1 (en) * 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
US9788043B2 (en) * 2008-11-07 2017-10-10 Digimarc Corporation Content interaction methods and systems employing portable devices
US9355554B2 (en) * 2008-11-21 2016-05-31 Lenovo (Singapore) Pte. Ltd. System and method for identifying media and providing additional media content
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
JP4887348B2 (ja) * 2008-11-27 2012-02-29 ヤフー株式会社 イベント情報提供装置およびイベント情報提供方法
JP4775671B2 (ja) * 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20100226526A1 (en) * 2008-12-31 2010-09-09 Modro Sierra K Mobile media, devices, and signaling
US8929719B2 (en) * 2009-01-02 2015-01-06 Harris Technology, Llc Frame correlating content determination
EP2384565B1 (en) * 2009-01-30 2018-09-26 Hewlett-Packard Development Company, L.P. Methods and systems for establishing collaborative communications between devices using ambient audio
US8918333B2 (en) 2009-02-23 2014-12-23 Joseph Harb Method, system and apparatus for interactive radio advertising
US9088757B2 (en) * 2009-03-25 2015-07-21 Eloy Technology, Llc Method and system for socially ranking programs
US20100251279A1 (en) * 2009-03-26 2010-09-30 Clear Channel Management Services, Inc. Delivering content related to a commercial media program
CN102365871A (zh) * 2009-04-03 2012-02-29 日本电气株式会社 分配***、分配方法、变换装置及程序
DE102009017315B3 (de) * 2009-04-16 2010-10-28 Freie Universität Berlin Verfahren zur Datenbereitstellung auf mobilen Endgeräten und mobiles Endgerät zur Durchführung des Verfahrens
CN102625982B (zh) * 2009-05-01 2015-03-18 尼尔森（美国）有限公司 提供与主要广播媒体内容关联的辅助内容的方法、装置和制品
WO2010132806A2 (en) * 2009-05-14 2010-11-18 Brand Affinity Technologies, Inc. System and method for on-demand delivery of audio content for use with entertainment creatives
US20100319015A1 (en) * 2009-06-15 2010-12-16 Richard Anthony Remington Method and system for removing advertising content from television or radio content
WO2011004370A1 (en) * 2009-07-09 2011-01-13 Carfosget Holdings, Ltd. Method and apparatus for interactive audio
US8407287B2 (en) 2009-07-14 2013-03-26 Radvision Ltd. Systems, methods, and media for identifying and associating user devices with media cues
CA3041557C (en) 2009-07-16 2022-03-22 Bluefin Labs, Inc. Estimating and displaying social interest in time-based media
US8229219B1 (en) * 2009-08-06 2012-07-24 Google Inc. Full-length video fingerprinting
NZ581850A (en) * 2009-08-27 2011-12-22 Eyemagnet Ltd Informational content scheduling system and method
US8704854B2 (en) * 2009-09-14 2014-04-22 Tivo Inc. Multifunction multimedia device
US8290918B1 (en) 2009-09-29 2012-10-16 Google Inc. Robust hashing of digital media data
US8161071B2 (en) 2009-09-30 2012-04-17 United Video Properties, Inc. Systems and methods for audio asset storage and management
US8677400B2 (en) 2009-09-30 2014-03-18 United Video Properties, Inc. Systems and methods for identifying audio content using an interactive media guidance application
US8245249B2 (en) * 2009-10-09 2012-08-14 The Nielson Company (Us), Llc Methods and apparatus to adjust signature matching results for audience measurement
US8428955B2 (en) * 2009-10-13 2013-04-23 Rovi Technologies Corporation Adjusting recorder timing
US20110085781A1 (en) * 2009-10-13 2011-04-14 Rovi Technologies Corporation Content recorder timing alignment
US8533760B1 (en) * 2009-10-20 2013-09-10 Arris Enterprises, Inc. Reduced latency channel switching for IPTV
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US9218530B2 (en) 2010-11-04 2015-12-22 Digimarc Corporation Smartphone-based methods and systems
US9830605B2 (en) * 2009-10-30 2017-11-28 At&T Intellectual Property I, L.P. Apparatus and method for product marketing
WO2011054377A1 (en) * 2009-11-03 2011-05-12 Telefonaktiebolaget Lm Ericsson (Publ) Streaming with optional broadcast delivery of data segments
US8566876B2 (en) 2009-11-04 2013-10-22 At&T Intellectual Property I, Lp System and method for interacting with social networking in an internet protocol television system
US8682145B2 (en) * 2009-12-04 2014-03-25 Tivo Inc. Recording system based on multimedia content fingerprints
US20110137976A1 (en) * 2009-12-04 2011-06-09 Bob Poniatowski Multifunction Multimedia Device
US8625033B1 (en) 2010-02-01 2014-01-07 Google Inc. Large-scale matching of audio and video
US8355910B2 (en) 2010-03-30 2013-01-15 The Nielsen Company (Us), Llc Methods and apparatus for audio watermarking a substantially silent media content presentation
US8560583B2 (en) * 2010-04-01 2013-10-15 Sony Computer Entertainment Inc. Media fingerprinting for social networking
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US9185458B2 (en) * 2010-04-02 2015-11-10 Yahoo! Inc. Signal-driven interactive television
US20110251971A1 (en) * 2010-04-08 2011-10-13 International Business Machines Corporation System and method for facilitating real-time collaboration in a customer support environment
US20110251885A1 (en) * 2010-04-09 2011-10-13 Alcatel-Lucent Canada Differentiated experience for user generated content (UGC) based on popularity
US8265928B2 (en) * 2010-04-14 2012-09-11 Google Inc. Geotagged environmental audio for enhanced speech recognition accuracy
EP2559237A1 (en) * 2010-04-14 2013-02-20 Sven Riethmueller Platform-independent interactivity with media broadcasts
US9729344B2 (en) * 2010-04-30 2017-08-08 Mitel Networks Corporation Integrating a trigger button module into a mass audio notification system
US9026034B2 (en) 2010-05-04 2015-05-05 Project Oda, Inc. Automatic detection of broadcast programming
US9634855B2 (en) 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
US8819714B2 (en) * 2010-05-19 2014-08-26 Cisco Technology, Inc. Ratings and quality measurements for digital broadcast viewers
US8649573B1 (en) * 2010-06-14 2014-02-11 Adobe Systems Incorporated Method and apparatus for summarizing video data
US8730354B2 (en) 2010-07-13 2014-05-20 Sony Computer Entertainment Inc Overlay video content on a mobile device
US9143699B2 (en) 2010-07-13 2015-09-22 Sony Computer Entertainment Inc. Overlay non-video content on a mobile device
US9159165B2 (en) 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US9814977B2 (en) 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
US9832441B2 (en) 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
US20120020647A1 (en) * 2010-07-21 2012-01-26 Rovi Technologies Corporation Filtering repeated content
EA201001465A1 (ru) * 2010-07-29 2012-02-28 Виктор Никифорович БОРЩОВ Функциональная модель содействия в решении государственных задач на основе информационных технологий
US8744860B2 (en) 2010-08-02 2014-06-03 At&T Intellectual Property I, L.P. Apparatus and method for providing messages in a social network
US8732697B2 (en) 2010-08-04 2014-05-20 Premkumar Jonnala System, method and apparatus for managing applications on a device
GB2483370B (en) 2010-09-05 2015-03-25 Mobile Res Labs Ltd A system and method for engaging a person in the presence of ambient audio
US8494851B2 (en) * 2010-09-13 2013-07-23 International Business Machines Corporation System and method for contextual social network communications during phone conversation
KR20120034378A (ko) * 2010-10-01 2012-04-12 엔에이치엔(주) 사운드 인식을 통한 광고 정보 제공 시스템 및 방법
US8606293B2 (en) 2010-10-05 2013-12-10 Qualcomm Incorporated Mobile device location estimation using environmental information
JP5987227B2 (ja) * 2010-10-25 2016-09-07 サムスン エレクトロニクス カンパニー リミテッド ソーシャル・ネットワーク基盤のｔｖ放送コンテンツ共有方法及びｔｖ放送コンテンツ共有サーバ、ソーシャル・ネットワーク基盤のｔｖ放送コンテンツ共有サービスを受信する方法及びｔｖデバイス
US8667520B2 (en) 2011-07-06 2014-03-04 Symphony Advanced Media Mobile content tracking platform methods
US20120136466A1 (en) * 2010-11-28 2012-05-31 Aron Weiss System and method for identifying a broadcast source of ambient audio
US8483725B2 (en) 2010-12-03 2013-07-09 Qualcomm Incorporated Method and apparatus for determining location of mobile device
US9542203B2 (en) 2010-12-06 2017-01-10 Microsoft Technology Licensing, Llc Universal dock for context sensitive computing device
US8923770B2 (en) 2010-12-09 2014-12-30 Microsoft Corporation Cognitive use of multiple regulatory domains
US8792429B2 (en) * 2010-12-14 2014-07-29 Microsoft Corporation Direct connection with side channel control
US9294545B2 (en) 2010-12-16 2016-03-22 Microsoft Technology Licensing, Llc Fast join of peer to peer group with power saving mode
US8948382B2 (en) 2010-12-16 2015-02-03 Microsoft Corporation Secure protocol for peer-to-peer network
US8971841B2 (en) 2010-12-17 2015-03-03 Microsoft Corporation Operating system supporting cost aware applications
US10089592B2 (en) 2010-12-29 2018-10-02 Comcast Cable Communications, Llc Measuring video asset viewing
US10945011B2 (en) 2010-12-29 2021-03-09 Comcast Cable Communications, Llc Measuring video viewing
WO2012091935A1 (en) * 2010-12-30 2012-07-05 Dolby Laboratories Licensing Corporation Repetition detection in media data
US20120189140A1 (en) * 2011-01-21 2012-07-26 Apple Inc. Audio-sharing network
US10440402B2 (en) 2011-01-26 2019-10-08 Afterlive.tv Inc Method and system for generating highlights from scored data streams
US10382509B2 (en) * 2011-01-28 2019-08-13 Amazon Technologies, Inc. Audio-based application architecture
US20120200667A1 (en) * 2011-02-08 2012-08-09 Gay Michael F Systems and methods to facilitate interactions with virtual content
US9325953B2 (en) * 2011-02-14 2016-04-26 Disney Enterprises, Inc. System and method for synchronizing on-air commercial programming with interactive applications
US8543454B2 (en) * 2011-02-18 2013-09-24 Bluefin Labs, Inc. Generating audience response metrics and ratings from social interest in time-based media
KR101069090B1 (ko) * 2011-03-03 2011-09-30 송석명 조립식 경조사용 쌀 화환
US20120224711A1 (en) * 2011-03-04 2012-09-06 Qualcomm Incorporated Method and apparatus for grouping client devices based on context similarity
US9143571B2 (en) * 2011-03-04 2015-09-22 Qualcomm Incorporated Method and apparatus for identifying mobile devices in similar sound environment
US20140026157A1 (en) * 2011-04-11 2014-01-23 Tao Wang Face recognition control and social networking
KR101799443B1 (ko) * 2011-05-02 2017-11-20 삼성전자주식회사 영상 컨텐츠 시청 확인 방법 및 이를 적용한 방송수신장치, 그리고 서버
US8917823B1 (en) 2011-05-26 2014-12-23 Google Inc. Transcribing and navigating a response system
US9762967B2 (en) * 2011-06-14 2017-09-12 Comcast Cable Communications, Llc System and method for presenting content with time based metadata
US9160837B2 (en) 2011-06-29 2015-10-13 Gracenote, Inc. Interactive streaming content apparatus, systems and methods
US8732739B2 (en) 2011-07-18 2014-05-20 Viggle Inc. System and method for tracking and rewarding media and entertainment usage including substantially real time rewards
KR101786974B1 (ko) * 2011-07-29 2017-10-18 네이버 주식회사 사운드를 이용한 소셜 네트워크 서비스 제공 장치 및 방법
US8861937B2 (en) 2011-08-31 2014-10-14 The Nielsen Company (Us), Llc Methods and apparatus to access media
US9443518B1 (en) * 2011-08-31 2016-09-13 Google Inc. Text transcript generation from a communication session
US8689255B1 (en) * 2011-09-07 2014-04-01 Imdb.Com, Inc. Synchronizing video content with extrinsic data
WO2013040533A1 (en) * 2011-09-16 2013-03-21 Umami Co. Second screen interactive platform
CN102611921A (zh) * 2011-09-16 2012-07-25 李世平 一种收视数据采集方法及***
US9113202B1 (en) 2011-09-21 2015-08-18 Google Inc. Inverted client-side fingerprinting and matching
US8824645B2 (en) * 2011-09-30 2014-09-02 Verizon Patent And Licensing Inc. Video messaging systems and methods
US9223893B2 (en) 2011-10-14 2015-12-29 Digimarc Corporation Updating social graph data using physical objects identified from images captured by smartphone
US9402099B2 (en) 2011-10-14 2016-07-26 Digimarc Corporation Arrangements employing content identification and/or distribution identification data
US20130254159A1 (en) * 2011-10-25 2013-09-26 Clip Interactive, Llc Apparatus, system, and method for digital audio services
US11599915B1 (en) 2011-10-25 2023-03-07 Auddia Inc. Apparatus, system, and method for audio based browser cookies
US8966525B2 (en) * 2011-11-08 2015-02-24 Verizon Patent And Licensing Inc. Contextual information between television and user device
KR20130055748A (ko) * 2011-11-21 2013-05-29 한국전자통신연구원 콘텐츠 추천 시스템 및 방법
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
US8806528B1 (en) * 2011-12-02 2014-08-12 Adobe Systems Incorporated Mediating digital program insertion for linear streaming media
US10645433B1 (en) 2013-08-29 2020-05-05 Comcast Cable Communications, Llc Measuring video-content viewing
US10440428B2 (en) 2013-01-13 2019-10-08 Comcast Cable Communications, Llc Measuring video-program-viewing activity
US8645485B1 (en) * 2012-01-30 2014-02-04 Google Inc. Social based aggregation of related media content
US9143742B1 (en) * 2012-01-30 2015-09-22 Google Inc. Automated aggregation of related media content
US8510770B1 (en) * 2012-02-03 2013-08-13 Google Inc. Predicting live programs
WO2013119171A2 (en) * 2012-02-09 2013-08-15 Ipxtend Ab Search for media material
US8838609B1 (en) 2012-10-10 2014-09-16 Google Inc. IDF weighting of LSH bands for live reference ingestion
US9684715B1 (en) * 2012-03-08 2017-06-20 Google Inc. Audio identification using ordinal transformation
EP2642484A1 (en) * 2012-03-23 2013-09-25 Thomson Licensing Method for setting a watching level for an audiovisual content
US9301016B2 (en) 2012-04-05 2016-03-29 Facebook, Inc. Sharing television and video programming through social networking
US9516360B2 (en) * 2012-04-12 2016-12-06 Qualcomm Incorporated Estimating demographic statistics of media viewership via context aware mobile devices
US10292022B2 (en) * 2012-04-24 2019-05-14 Ascension Intellectual Properties Llc Media echoing and social networking device and method
US8904446B2 (en) * 2012-05-30 2014-12-02 Verizon Patent And Licensing Inc. Method and apparatus for indexing content within a media stream
US11023520B1 (en) 2012-06-01 2021-06-01 Google Llc Background audio identification for query disambiguation
KR20130139675A (ko) * 2012-06-13 2013-12-23 삼성전자주식회사 서버 기반의 프로파일 생성 방법, 관리 방법, 시스템 및 장치
US9251406B2 (en) * 2012-06-20 2016-02-02 Yahoo! Inc. Method and system for detecting users' emotions when experiencing a media program
US8843952B2 (en) * 2012-06-28 2014-09-23 Google Inc. Determining TV program information based on analysis of audio fingerprints
US9113203B2 (en) 2012-06-28 2015-08-18 Google Inc. Generating a sequence of audio fingerprints at a set top box
US8689250B2 (en) * 2012-06-29 2014-04-01 International Business Machines Corporation Crowd sourced, content aware smarter television systems
US20140013342A1 (en) * 2012-07-05 2014-01-09 Comcast Cable Communications, Llc Media Content Redirection
CN102831894B (zh) * 2012-08-09 2014-07-09 华为终端有限公司 指令处理方法、装置和***
GB201214842D0 (en) * 2012-08-21 2012-10-03 Omnifone Ltd Content tracker
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
JP6102124B2 (ja) * 2012-08-24 2017-03-29 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US8843951B1 (en) * 2012-08-27 2014-09-23 Google Inc. User behavior indicator
US9113128B1 (en) 2012-08-31 2015-08-18 Amazon Technologies, Inc. Timeline interface for video content
US9571606B2 (en) * 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
US8726304B2 (en) 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
US9661361B2 (en) * 2012-09-19 2017-05-23 Google Inc. Systems and methods for live media content matching
US20140089815A1 (en) * 2012-09-21 2014-03-27 Google Inc. Sharing Content-Synchronized Ratings
US9081778B2 (en) 2012-09-25 2015-07-14 Audible Magic Corporation Using digital fingerprints to associate data with a work
US8826316B2 (en) 2012-10-22 2014-09-02 The Nielsen Company (Us), Llc Systems and methods for configuring media devices utilizing audio codes or signatures
US9027048B2 (en) * 2012-11-14 2015-05-05 Bank Of America Corporation Automatic deal or promotion offering based on audio cues
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9389745B1 (en) 2012-12-10 2016-07-12 Amazon Technologies, Inc. Providing content via multiple display devices
WO2014099272A1 (en) * 2012-12-17 2014-06-26 Thismoment, Inc. Systems and methods for interactive advertisements with distributed engagement channels
US9529907B2 (en) * 2012-12-31 2016-12-27 Google Inc. Hold back and real time ranking of results in a streaming matching system
KR101369475B1 (ko) * 2013-01-23 2014-03-06 (주)엔써즈 방송 시청률 조사 시스템 및 방법
US9256269B2 (en) * 2013-02-20 2016-02-09 Sony Computer Entertainment Inc. Speech recognition system for performing analysis to a non-tactile inputs and generating confidence scores and based on the confidence scores transitioning the system from a first power state to a second power state
US9311640B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods and arrangements for smartphone payments and transactions
US9344759B2 (en) * 2013-03-05 2016-05-17 Google Inc. Associating audio tracks of an album with video content
KR101277523B1 (ko) * 2013-03-08 2013-06-21 (주) 에이노드 사운드 신호 기반의 로컬 인터랙티브 플랫폼 시스템, 이를 이용한 로컬 인터랙티브 서비스 제공 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
US9307337B2 (en) 2013-03-11 2016-04-05 Arris Enterprises, Inc. Systems and methods for interactive broadcast content
US20140258373A1 (en) 2013-03-11 2014-09-11 Say Media, Inc. Systems and Methods for Managing and Publishing Managed Content
US9301070B2 (en) 2013-03-11 2016-03-29 Arris Enterprises, Inc. Signature matching of corrupted audio signal
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9258597B1 (en) 2013-03-13 2016-02-09 Google Inc. System and method for obtaining information relating to video images
US9247309B2 (en) * 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
US9262794B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
US9268880B2 (en) 2013-03-14 2016-02-23 Google Inc. Using recent media consumption to select query suggestions
US9705728B2 (en) 2013-03-15 2017-07-11 Google Inc. Methods, systems, and media for media transmission and management
US9588675B2 (en) 2013-03-15 2017-03-07 Google Inc. Document scale and position optimization
WO2014158193A1 (en) * 2013-03-29 2014-10-02 Hewlett-Packard Development Company, L.P. Silence signatures of audio signals
US9210119B2 (en) 2013-03-29 2015-12-08 Garret J. LoPorto Automated triggering of a broadcast
US9123330B1 (en) * 2013-05-01 2015-09-01 Google Inc. Large-scale speaker identification
US9460201B2 (en) 2013-05-06 2016-10-04 Iheartmedia Management Services, Inc. Unordered matching of audio fingerprints
US9817911B2 (en) * 2013-05-10 2017-11-14 Excalibur Ip, Llc Method and system for displaying content relating to a subject matter of a displayed media program
US9871606B1 (en) 2013-05-13 2018-01-16 Twitter, Inc. Identification of concurrently broadcast time-based media
FR3006525B1 (fr) * 2013-06-04 2016-10-14 Visiware Synchronisation de contenus multimedia sur deuxieme ecran
US9485089B2 (en) 2013-06-20 2016-11-01 Verance Corporation Stego key management
US11019300B1 (en) 2013-06-26 2021-05-25 Amazon Technologies, Inc. Providing soundtrack information during playback of video content
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US10063450B2 (en) 2013-07-26 2018-08-28 Opentv, Inc. Measuring response trends in a digital television network
US20150039321A1 (en) 2013-07-31 2015-02-05 Arbitron Inc. Apparatus, System and Method for Reading Codes From Digital Audio on a Processing Device
US9711152B2 (en) 2013-07-31 2017-07-18 The Nielsen Company (Us), Llc Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio
US9542488B2 (en) 2013-08-02 2017-01-10 Google Inc. Associating audio tracks with video content
CN103618953B (zh) * 2013-08-15 2016-09-14 北京中视广信科技有限公司 基于音频特征的广播电视节目标识与识别的方法及***
MX349609B (es) * 2013-09-13 2017-08-04 Arris Entpr Llc Segmentacion de contenido de video basado en contenido.
US10506305B1 (en) * 2013-09-18 2019-12-10 Cox Communications, Inc. Updating content URL for non-linear video content
KR102095888B1 (ko) 2013-10-07 2020-04-01 삼성전자주식회사 방송 시청 패턴 정보를 제공하는 사용자 단말 장치, 서버 및 시청 패턴 정보 제공 방법
US9292174B1 (en) * 2013-10-30 2016-03-22 Cox Communications, Inc. Content check-in
EP2876890A1 (en) * 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
US9438967B2 (en) * 2013-11-25 2016-09-06 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
US9426525B2 (en) 2013-12-31 2016-08-23 The Nielsen Company (Us), Llc. Methods and apparatus to count people in an audience
US9491522B1 (en) 2013-12-31 2016-11-08 Google Inc. Methods, systems, and media for presenting supplemental content relating to media content on a content interface based on state information that indicates a subsequent visit to the content interface
US10002191B2 (en) 2013-12-31 2018-06-19 Google Llc Methods, systems, and media for generating search results based on contextual information
US9456237B2 (en) 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
IN2014MU00140A (ko) 2014-01-15 2015-08-28 Whats On India Media Private Ltd
FR3016720B1 (fr) * 2014-01-20 2016-02-05 Tdf Procede et systeme de delivrance de coupons de reduction et de gestion desdits coupons.
WO2015123201A1 (en) * 2014-02-11 2015-08-20 The Nielsen Company (Us), Llc Methods and apparatus to calculate video-on-demand and dynamically inserted advertisement viewing probability
CN106170988A (zh) 2014-03-13 2016-11-30 凡瑞斯公司 使用嵌入式代码的交互式内容获取
US10504200B2 (en) 2014-03-13 2019-12-10 Verance Corporation Metadata acquisition using embedded watermarks
WO2015159303A2 (en) * 2014-04-02 2015-10-22 Whats On India Media Private Limited A method and system for customer management
US9438940B2 (en) * 2014-04-07 2016-09-06 The Nielsen Company (Us), Llc Methods and apparatus to identify media using hash keys
EP3073730A4 (en) 2014-04-27 2017-08-16 LG Electronics Inc. Broadcast signal transmitting apparatus, broadcast signal receiving apparatus, method for transmitting broadcast signal, and method for receiving broadcast signal
CN104023247B (zh) * 2014-05-29 2015-07-29 腾讯科技（深圳）有限公司 获取、推送信息的方法和装置以及信息交互***
US9838759B2 (en) 2014-06-20 2017-12-05 Google Inc. Displaying information related to content playing on a device
US9805125B2 (en) 2014-06-20 2017-10-31 Google Inc. Displaying a summary of media content items
US10206014B2 (en) 2014-06-20 2019-02-12 Google Llc Clarifying audible verbal information in video content
US9946769B2 (en) 2014-06-20 2018-04-17 Google Llc Displaying information related to spoken dialogue in content playing on a device
US9858922B2 (en) 2014-06-23 2018-01-02 Google Inc. Caching speech recognition scores
US9639911B2 (en) 2014-08-20 2017-05-02 Verance Corporation Watermark detection using a multiplicity of predicted patterns
US10325591B1 (en) * 2014-09-05 2019-06-18 Amazon Technologies, Inc. Identifying and suppressing interfering audio content
US20160073148A1 (en) * 2014-09-09 2016-03-10 Verance Corporation Media customization based on environmental sensing
US9736503B1 (en) * 2014-09-12 2017-08-15 Google Inc. Optimizing timing of display of a mid-roll video advertisement based on viewer retention data
US9402111B2 (en) 2014-09-17 2016-07-26 Ispot.Tv, Inc. Television audience measurement method and apparatus
US10602236B2 (en) 2014-09-17 2020-03-24 Ispot.Tv, Inc. Unique content sequence identification method and apparatus
US9497505B2 (en) 2014-09-30 2016-11-15 The Nielsen Company (Us), Llc Systems and methods to verify and/or correct media lineup information
US9299347B1 (en) 2014-10-22 2016-03-29 Google Inc. Speech recognition using associative mapping
US9942602B2 (en) 2014-11-25 2018-04-10 Verance Corporation Watermark detection and metadata delivery associated with a primary content
WO2016086047A1 (en) 2014-11-25 2016-06-02 Verance Corporation Enhanced metadata and content delivery using watermarks
CN104394436B (zh) * 2014-11-28 2018-06-26 北京国双科技有限公司 网络电视直播电视频道的收视率的监测方法和装置
FR3030177B1 (fr) * 2014-12-16 2016-12-30 Stmicroelectronics Rousset Dispositif electronique comprenant un module de reveil d'un appareil electronique distinct d'un coeur de traitement
WO2016100916A1 (en) 2014-12-18 2016-06-23 Verance Corporation Service signaling recovery for multimedia content using embedded watermarks
US10499108B2 (en) * 2015-01-30 2019-12-03 Sharp Kabushiki Kaisha System for service usage reporting
US10219039B2 (en) 2015-03-09 2019-02-26 The Nielsen Company (Us), Llc Methods and apparatus to assign viewers to media meter data
US10015541B2 (en) 2015-03-25 2018-07-03 Cisco Technology, Inc. Storing and retrieval heuristics
US9578394B2 (en) 2015-03-25 2017-02-21 Cisco Technology, Inc. Video signature creation and matching
US9705936B2 (en) 2015-04-24 2017-07-11 Mersive Technologies, Inc. System and method for interactive and real-time visualization of distributed media
US10257567B2 (en) 2015-04-30 2019-04-09 Verance Corporation Watermark based content recognition improvements
US10362371B2 (en) * 2015-05-26 2019-07-23 Lg Electronics Inc. Broadcasting signal transmitting apparatus, broadcasting signal receiving apparatus, broadcasting signal transmitting method, and broadcasting signal receiving method
US20180139472A1 (en) * 2015-06-15 2018-05-17 Piksel, Inc. Controlling delivery of captured streams
CN104936035B (zh) 2015-06-19 2018-04-17 腾讯科技（北京）有限公司 一种弹幕处理方法及***
US11481652B2 (en) * 2015-06-23 2022-10-25 Gregory Knox System and method for recommendations in ubiquituous computing environments
US9786270B2 (en) 2015-07-09 2017-10-10 Google Inc. Generating acoustic models
US10477285B2 (en) 2015-07-20 2019-11-12 Verance Corporation Watermark-based data recovery for content with multiple alternative components
US9854304B2 (en) 2015-09-28 2017-12-26 Rovi Guides, Inc. Systems and methods for identifying a source of media content based on a log of fingerprints
US9699504B2 (en) * 2015-09-28 2017-07-04 Rovi Guides, Inc. Systems and methods for identifying a source of media content based on a log of content identifiers
US10062413B2 (en) * 2015-10-16 2018-08-28 Tribune Broadcasting Company, Llc Media-production system with social media content interface feature
US20170140795A1 (en) * 2015-11-18 2017-05-18 International Business Machines Corporation Intelligent segment marking in recordings
US10349141B2 (en) 2015-11-19 2019-07-09 Google Llc Reminders of media content referenced in other media content
US10229672B1 (en) 2015-12-31 2019-03-12 Google Llc Training acoustic models using connectionist temporal classification
WO2017119604A1 (ko) * 2016-01-08 2017-07-13 주식회사 아이플래테아 시청률 산출 서버, 시청률 산출 방법, 및 시청률 산출 리모트 장치
US10034053B1 (en) 2016-01-25 2018-07-24 Google Llc Polls for media program moments
US20170214954A1 (en) * 2016-01-25 2017-07-27 Google Inc. Media Program Moments Guide
KR102468763B1 (ko) * 2016-02-05 2022-11-18 삼성전자 주식회사 영상처리장치 및 그 제어방법
US10776823B2 (en) 2016-02-09 2020-09-15 Comcast Cable Communications, Llc Collection analysis and use of viewer behavior
US9930406B2 (en) 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US9924222B2 (en) * 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
US10063918B2 (en) 2016-02-29 2018-08-28 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on single-match
US10433026B2 (en) * 2016-02-29 2019-10-01 MyTeamsCalls LLC Systems and methods for customized live-streaming commentary
CN105657326A (zh) * 2016-03-02 2016-06-08 掌赢信息科技（上海）有限公司 一种群视频通话方法、装置及***
US10956484B1 (en) 2016-03-11 2021-03-23 Gracenote, Inc. Method to differentiate and classify fingerprints using fingerprint neighborhood analysis
US9918128B2 (en) * 2016-04-08 2018-03-13 Orange Content categorization using facial expression recognition, with improved detection of moments of interest
WO2017184648A1 (en) 2016-04-18 2017-10-26 Verance Corporation System and method for signaling security and database population
CN106170104B (zh) * 2016-07-01 2019-03-08 广州华多网络科技有限公司 视频精彩片段的确定方法、装置和服务器
US20180018973A1 (en) 2016-07-15 2018-01-18 Google Inc. Speaker verification
GB2556023B (en) * 2016-08-15 2022-02-09 Intrasonics Sarl Audio matching
US10171879B2 (en) * 2016-10-04 2019-01-01 International Business Machines Corporation Contextual alerting for broadcast content
US10108718B2 (en) 2016-11-02 2018-10-23 Alphonso Inc. System and method for detecting repeating content, including commercials, in a video data stream
US10419141B2 (en) 2016-12-09 2019-09-17 The Nielsen Company (Us), Llc Estimating volume of switching among television programs for an audience measurement panel
US10075767B2 (en) * 2016-12-12 2018-09-11 Facebook, Inc. Broadcast content view analysis based on ambient audio recording
US10791355B2 (en) 2016-12-20 2020-09-29 The Nielsen Company (Us), Llc Methods and apparatus to determine probabilistic media viewing metrics
US10405012B2 (en) * 2016-12-25 2019-09-03 Synamedia Limited Cloud DVR Optimization
US11044520B2 (en) * 2016-12-29 2021-06-22 Telefonaktiebolaget Lm Ericsson (Publ) Handling of video segments in a video stream
WO2018125590A1 (en) * 2016-12-30 2018-07-05 Tivo Solutions Inc. Advanced trick-play modes for streaming video
US10462514B2 (en) 2017-03-29 2019-10-29 The Nielsen Company (Us), Llc Interactive overlays to determine viewer data
WO2018237191A1 (en) 2017-06-21 2018-12-27 Verance Corporation ACQUISITION AND TREATMENT OF METADATA BASED ON A WATERMARK
US9980004B1 (en) * 2017-06-30 2018-05-22 Paypal, Inc. Display level content blocker
US10440413B2 (en) * 2017-07-31 2019-10-08 The Nielsen Company (Us), Llc Methods and apparatus to perform media device asset qualification
US10706840B2 (en) 2017-08-18 2020-07-07 Google Llc Encoder-decoder models for sequence to sequence mapping
US10764639B2 (en) * 2017-09-09 2020-09-01 Telegenic, Inc. Overlaying aggregated media content with additional services based on a context
US10805693B2 (en) * 2017-09-12 2020-10-13 Irdeto B.V. Device and method for GPU-based watermarking
US10264297B1 (en) * 2017-09-13 2019-04-16 Perfect Sense, Inc. Time-based content synchronization
US10621256B2 (en) * 2017-09-29 2020-04-14 Facebook, Inc. Determining a rate for sampling information describing presentation of content based on previously received information describing presentation of content
WO2019089028A1 (en) * 2017-11-02 2019-05-09 Bretherton Peter Method and system for real-time broadcast audience engagement
US11140450B2 (en) * 2017-11-28 2021-10-05 Rovi Guides, Inc. Methods and systems for recommending content in context of a conversation
US10715860B1 (en) * 2017-11-29 2020-07-14 Twitch Interactive, Inc. Video stream with additional content areas
US10924809B2 (en) 2017-12-05 2021-02-16 Silicon Beach Media II, Inc. Systems and methods for unified presentation of on-demand, live, social or market content
US10631035B2 (en) 2017-12-05 2020-04-21 Silicon Beach Media II, LLC Systems and methods for unified compensation, presentation, and sharing of on-demand, live, social or market content
US10783573B2 (en) 2017-12-05 2020-09-22 Silicon Beach Media II, LLC Systems and methods for unified presentation and sharing of on-demand, live, or social activity monitoring content
US10567828B2 (en) * 2017-12-05 2020-02-18 Silicon Beach Media II, LLC Systems and methods for unified presentation of a smart bar on interfaces including on-demand, live, social or market content
US11146845B2 (en) 2017-12-05 2021-10-12 Relola Inc. Systems and methods for unified presentation of synchronized on-demand, live, social or market content
US10817855B2 (en) 2017-12-05 2020-10-27 Silicon Beach Media II, LLC Systems and methods for unified presentation and sharing of on-demand, live, social or market content
US10531165B1 (en) 2017-12-11 2020-01-07 Amazon Technologies, Inc. Embedded content synchronization
US10412442B1 (en) 2017-12-11 2019-09-10 Amazon Technologies, Inc. Embedded content input and timing
US10715855B1 (en) * 2017-12-20 2020-07-14 Groupon, Inc. Method, system, and apparatus for programmatically generating a channel incrementality ratio
US10848792B2 (en) * 2018-03-05 2020-11-24 Maestro Interactive, Inc. System and method for providing audience-targeted content triggered by events during program
US10346474B1 (en) * 2018-03-30 2019-07-09 Alphonso Inc. System and method for detecting repeating content, including commercials, in a video data stream using audio-based and video-based automated content recognition
US10966001B2 (en) * 2018-04-05 2021-03-30 Tvu Networks Corporation Remote cloud-based video production system in an environment where there is network delay
US11463747B2 (en) 2018-04-05 2022-10-04 Tvu Networks Corporation Systems and methods for real time control of a remote video production with multiple streams
US11212431B2 (en) 2018-04-06 2021-12-28 Tvu Networks Corporation Methods and apparatus for remotely controlling a camera in an environment with communication latency
US11468149B2 (en) 2018-04-17 2022-10-11 Verance Corporation Device authentication in collaborative content screening
US20200007934A1 (en) * 2018-06-29 2020-01-02 Advocates, Inc. Machine-learning based systems and methods for analyzing and distributing multimedia content
US10771828B2 (en) * 2018-09-18 2020-09-08 Free Stream Media Corp. Content consensus management
US10929878B2 (en) * 2018-10-19 2021-02-23 International Business Machines Corporation Targeted content identification and tracing
US11477502B2 (en) * 2018-11-08 2022-10-18 Nippon Telegraph And Telephone Corporation Distribution design support method, distribution design support apparatus and program
US10868620B2 (en) * 2018-12-26 2020-12-15 The Nielsen Company (Us), Llc Methods and apparatus for optimizing station reference fingerprint loading using reference watermarks
US10848836B2 (en) * 2018-12-28 2020-11-24 Dish Network L.L.C. Wager information based prioritized live event display system
US10803480B2 (en) 2019-01-07 2020-10-13 Alphonso Inc. Bidding agent with optimized reach limitation
US10873785B2 (en) * 2019-01-07 2020-12-22 Alphonso Inc. Content recommendation system and method-based implicit ratings
US11151609B2 (en) 2019-01-07 2021-10-19 Alphonso Inc. Closed loop attribution
US11037205B2 (en) 2019-01-07 2021-06-15 Alphonso Inc. Bidding agent using ad opportunity source to limit ad reach
CN109547843B (zh) * 2019-02-01 2022-05-17 腾讯音乐娱乐科技（深圳）有限公司 对音视频进行处理的方法和装置
US10856041B2 (en) * 2019-03-18 2020-12-01 Disney Enterprises, Inc. Content promotion using a conversational agent
US11259058B2 (en) * 2019-03-25 2022-02-22 Apple Inc. Use of rendered media to assess delays in media distribution systems
US11785194B2 (en) 2019-04-19 2023-10-10 Microsoft Technology Licensing, Llc Contextually-aware control of a user interface displaying a video and related user text
US11026000B2 (en) * 2019-04-19 2021-06-01 Microsoft Technology Licensing, Llc Previewing video content referenced by typed hyperlinks in comments
US11678031B2 (en) 2019-04-19 2023-06-13 Microsoft Technology Licensing, Llc Authoring comments including typed hyperlinks that reference video content
US11234049B2 (en) * 2019-06-24 2022-01-25 The Nielsen Company (Us), Llc Use of steganographically-encoded time information as basis to control implementation of dynamic content modification
US11051057B2 (en) * 2019-06-24 2021-06-29 The Nielsen Company (Us), Llc Use of steganographically-encoded time information as basis to establish a time offset, to facilitate taking content-related action
US10834466B1 (en) * 2019-08-02 2020-11-10 International Business Machines Corporation Virtual interactivity for a broadcast content-delivery medium
US11627361B2 (en) * 2019-10-14 2023-04-11 Meta Platforms, Inc. Method to acoustically detect a state of an external media device using an identification signal
CN112995759A (zh) * 2019-12-13 2021-06-18 腾讯科技（北京）有限公司 互动业务处理方法、***、装置、设备及存储介质
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11991419B2 (en) 2020-01-30 2024-05-21 Snap Inc. Selecting avatars to be included in the video being generated on demand
US11284144B2 (en) * 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
EP4096798A1 (en) 2020-01-30 2022-12-07 Snap Inc. System for generating media content items on demand
EP3903501A2 (en) 2020-03-13 2021-11-03 Google LLC Media content casting in network-connected television devices
GB2597334A (en) 2020-07-17 2022-01-26 Playrcart Ltd A media player
US11284139B1 (en) * 2020-09-10 2022-03-22 Hulu, LLC Stateless re-discovery of identity using watermarking of a video stream
US11974024B2 (en) * 2020-09-11 2024-04-30 Sling TV L.L.C. Automated program promotion detection in a video streaming system
US11922967B2 (en) 2020-10-08 2024-03-05 Gracenote, Inc. System and method for podcast repetitive content detection
US11317128B1 (en) * 2020-10-23 2022-04-26 Synamedia Limited Systems, methods, and devices for media content tamper protection and detection
US11445042B2 (en) 2020-12-02 2022-09-13 International Business Machines Corporation Correlating multiple media sources for personalized media content
US10998006B1 (en) * 2020-12-08 2021-05-04 Turku University of Applied Sciences Ltd Method and system for producing binaural immersive audio for audio-visual content
US20220210488A1 (en) * 2020-12-30 2022-06-30 Comcast Cable Communications, Llc Method and system for detecting and managing similar content
US11722741B2 (en) 2021-02-08 2023-08-08 Verance Corporation System and method for tracking content timeline in the presence of playback rate changes
US11809481B2 (en) 2021-02-17 2023-11-07 International Business Machines Corporation Content generation based on multi-source content analysis
US11589100B1 (en) * 2021-03-31 2023-02-21 Amazon Technologies, Inc. On-demand issuance private keys for encrypted video transmission
US11580982B1 (en) 2021-05-25 2023-02-14 Amazon Technologies, Inc. Receiving voice samples from listeners of media programs
US11586344B1 (en) 2021-06-07 2023-02-21 Amazon Technologies, Inc. Synchronizing media content streams for live broadcasts and listener interactivity
US11792143B1 (en) 2021-06-21 2023-10-17 Amazon Technologies, Inc. Presenting relevant chat messages to listeners of media programs
US11792467B1 (en) 2021-06-22 2023-10-17 Amazon Technologies, Inc. Selecting media to complement group communication experiences
US11683558B2 (en) * 2021-06-29 2023-06-20 The Nielsen Company (Us), Llc Methods and apparatus to determine the speed-up of media programs using speech recognition
US11470130B1 (en) 2021-06-30 2022-10-11 Amazon Technologies, Inc. Creating media content streams from listener interactions
US11496776B1 (en) * 2021-07-19 2022-11-08 Intrado Corporation Database layer caching for video communications
CN114286169B (zh) * 2021-08-31 2023-06-20 腾讯科技（深圳）有限公司 视频生成方法、装置、终端、服务器及存储介质
US11687576B1 (en) 2021-09-03 2023-06-27 Amazon Technologies, Inc. Summarizing content of live media programs
US11463772B1 (en) 2021-09-30 2022-10-04 Amazon Technologies, Inc. Selecting advertisements for media programs by matching brands to creators
US11785299B1 (en) 2021-09-30 2023-10-10 Amazon Technologies, Inc. Selecting advertisements for media programs and establishing favorable conditions for advertisements
US11831943B2 (en) * 2021-10-26 2023-11-28 Apple Inc. Synchronized playback of media content
US11785272B1 (en) 2021-12-03 2023-10-10 Amazon Technologies, Inc. Selecting times or durations of advertisements during episodes of media programs
US11916981B1 (en) 2021-12-08 2024-02-27 Amazon Technologies, Inc. Evaluating listeners who request to join a media program
US11791920B1 (en) 2021-12-10 2023-10-17 Amazon Technologies, Inc. Recommending media to listeners based on patterns of activity
US11785278B1 (en) * 2022-03-18 2023-10-10 Comcast Cable Communications, Llc Methods and systems for synchronization of closed captions with content output
US11910044B1 (en) * 2022-06-30 2024-02-20 Amazon Technologies, Inc. Systems and methods for switching the processing of a live content stream to another datacenter

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209204A (ja) 2000-04-14 2002-07-26 Nippon Telegr & Teleph Corp <Ntt> 放送情報に関連した情報の取得方法及びシステム並びに装置
US20050147256A1 (en) 2003-12-30 2005-07-07 Peters Geoffrey W. Automated presentation of entertainment content in response to received ambient audio

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4811399A (en) 1984-12-31 1989-03-07 Itt Defense Communications, A Division Of Itt Corporation Apparatus and method for automatic speech recognition
DE69031842T2 (de) 1989-02-20 1998-04-16 Fujitsu Ltd Lernsystem und Lernverfahren für eine Datenverarbeitungsvorrichtung
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US6044365A (en) * 1993-09-01 2000-03-28 Onkor, Ltd. System for indexing and retrieving graphic and sound data
EP0872120A1 (en) * 1995-03-07 1998-10-21 Interval Research Corporation System and method for selective recording of information
US5706364A (en) * 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
US7562392B1 (en) * 1999-05-19 2009-07-14 Digimarc Corporation Methods of interacting with audio and ambient music
US20030093790A1 (en) * 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
DK128796A (da) * 1996-11-14 1998-05-15 Jan Meyrowitsch Metode til objektivisering af subjektive klassifikationer
US7587323B2 (en) * 2001-12-14 2009-09-08 At&T Intellectual Property I, L.P. System and method for developing tailored content
US7802276B2 (en) * 1997-01-06 2010-09-21 At&T Intellectual Property I, L.P. Systems, methods and products for assessing subscriber content access
US6157746A (en) * 1997-02-12 2000-12-05 Sarnoff Corporation Apparatus and method for encoding wavelet trees generated by a wavelet-based coding method
US5870744A (en) * 1997-06-30 1999-02-09 Intel Corporation Virtual people networking
US6553404B2 (en) * 1997-08-08 2003-04-22 Prn Corporation Digital system
EP1043854B1 (en) * 1998-05-12 2008-01-02 Nielsen Media Research, Inc. Audience measurement system for digital television
US6182186B1 (en) * 1998-06-30 2001-01-30 Sun Microsystems, Inc. Method and apparatus that utilizes lock states to lock resources
US6529526B1 (en) * 1998-07-13 2003-03-04 Thomson Licensing S.A. System for processing programs and program content rating information derived from multiple broadcast sources
US6471521B1 (en) * 1998-07-31 2002-10-29 Athenium, L.L.C. System for implementing collaborative training and online learning over a computer network and related techniques
US7178106B2 (en) * 1999-04-21 2007-02-13 Sonic Solutions, A California Corporation Presentation of media content from multiple media sources
US6895514B1 (en) 1999-06-25 2005-05-17 Lucent Technologies Inc. Method and apparatus for achieving secure password access
US6604239B1 (en) * 1999-06-25 2003-08-05 Eyescene Inc. System and method for virtual television program rating
US7120871B1 (en) * 1999-09-15 2006-10-10 Actv, Inc. Enhanced video programming system and method utilizing a web page staging area
US7174293B2 (en) 1999-09-21 2007-02-06 Iceberg Industries Llc Audio identification system and method
KR100353798B1 (ko) * 1999-12-01 2002-09-26 주식회사 코난테크놀로지 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법
DE19962281A1 (de) 1999-12-23 2001-06-28 Philips Corp Intellectual Pty Röntgenuntersuchungsgerät
US6892191B1 (en) 2000-02-07 2005-05-10 Koninklijke Philips Electronics N.V. Multi-feature combination generation and classification effectiveness evaluation using genetic algorithms
US6879967B1 (en) 2000-03-24 2005-04-12 Ricoh Co., Ltd. Method and apparatus for open data collection
US6636848B1 (en) * 2000-05-31 2003-10-21 International Business Machines Corporation Information search using knowledge agents
US6763339B2 (en) 2000-06-26 2004-07-13 The Regents Of The University Of California Biologically-based signal processing system applied to noise removal for signal extraction
US6751601B2 (en) 2000-07-21 2004-06-15 Pablo Zegers Method and a system for solving dynamic problems using the dynamical system architecture
WO2002008951A1 (de) * 2000-07-22 2002-01-31 Abb Research Ltd. System und verfahren zur generierung eines xml-basierten fehlermodells
US7853664B1 (en) 2000-07-31 2010-12-14 Landmark Digital Services Llc Method and system for purchasing pre-recorded music
IL139368A (en) 2000-10-30 2006-12-10 Nova Measuring Instr Ltd Process control for microlithography
US7375304B2 (en) 2001-01-25 2008-05-20 Lincoln Global, Inc. System and method providing automated welding notification
US7330717B2 (en) 2001-02-23 2008-02-12 Lucent Technologies Inc. Rule-based system and method for managing the provisioning of user applications on limited-resource and/or wireless devices
US20020133499A1 (en) 2001-03-13 2002-09-19 Sean Ward System and method for acoustic fingerprinting
JP4340398B2 (ja) * 2001-05-15 2009-10-07 日本放送協会 双方向型放送視聴システム
US20020194585A1 (en) * 2001-06-15 2002-12-19 Connelly Jay H. Methods and apparatus for providing ranking feedback for content in a broadcast system
EP1421521A2 (en) * 2001-07-31 2004-05-26 Gracenote, Inc. Multiple step identification of recordings
JP4165685B2 (ja) * 2001-08-09 2008-10-15 ヤマハ株式会社 コンテンツ販売サーバ及びプログラム
FR2831981B1 (fr) * 2001-11-08 2005-07-08 Cit Alcatel Procede et dispositif d'analyse d'alarmes provenant d'un reseau de communication
JP2003150529A (ja) * 2001-11-19 2003-05-23 Hitachi Ltd 情報交換方法、情報交換端末装置、情報交換サーバ装置、プログラム
JP2003163911A (ja) * 2001-11-22 2003-06-06 Nippon Telegr & Teleph Corp <Ntt> 好感度情報に基づく映像再生制御方法、映像再生制御システム、サーバ装置、クライアント装置、並びに、映像再生制御プログラム及びその記録媒体
US7065544B2 (en) * 2001-11-29 2006-06-20 Hewlett-Packard Development Company, L.P. System and method for detecting repetitions in a multimedia stream
JP3872980B2 (ja) * 2001-12-12 2007-01-24 松下電器産業株式会社 情報再生装置
US6585521B1 (en) * 2001-12-21 2003-07-01 Hewlett-Packard Development Company, L.P. Video indexing based on viewers' behavior and emotion feedback
US7038619B2 (en) * 2001-12-31 2006-05-02 Rdp Associates, Incorporated Satellite positioning system enabled media measurement system and method
WO2003096669A2 (en) 2002-05-10 2003-11-20 Reisman Richard R Method and apparatus for browsing using multiple coordinated device
US7665035B2 (en) * 2002-05-20 2010-02-16 Gateway, Inc. Content selection apparatus, system, and method
JP2003345729A (ja) * 2002-05-24 2003-12-05 Matsushita Electric Ind Co Ltd テレビチャットシステム、テレビチャット端末装置、テレビチャットサーバ、テレビチャットサービス提供方法、およびプログラム
US20030225833A1 (en) * 2002-05-31 2003-12-04 Paul Pilat Establishing multiparty communications based on common attributes
US6766523B2 (en) * 2002-05-31 2004-07-20 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
US8046787B2 (en) * 2002-05-31 2011-10-25 Opentv, Inc. Method and system for the storage, viewing management, and delivery of targeted advertising
JP2004015087A (ja) * 2002-06-03 2004-01-15 Matsushita Electric Ind Co Ltd 視聴者参加型双方向通信サービスシステム
US7107207B2 (en) * 2002-06-19 2006-09-12 Microsoft Corporation Training machine learning by sequential conditional generalized iterative scaling
CN100426861C (zh) 2002-07-01 2008-10-15 微软公司 对嵌于媒介流中的重复对象提供用户控制的***和方法
JP2004037721A (ja) * 2002-07-02 2004-02-05 Pioneer Electronic Corp 音声応答システム、音声応答プログラム及びそのための記憶媒体
JP2004049438A (ja) 2002-07-18 2004-02-19 Olympia:Kk メダル振り分け機構を備えた遊技機及びメダル振り分け方法並びに記録媒体及びプログラム
JP2004159192A (ja) * 2002-11-07 2004-06-03 Nippon Telegr & Teleph Corp <Ntt> 映像要約方法及びプログラム及び映像要約プログラムを格納した記憶媒体
US7930716B2 (en) * 2002-12-31 2011-04-19 Actv Inc. Techniques for reinsertion of local market advertising in digital video from a bypass source
JP2004213570A (ja) * 2003-01-08 2004-07-29 Sony Corp 情報提供方法
JP2004235694A (ja) * 2003-01-28 2004-08-19 Mitsubishi Electric Corp サーバ装置および放送受信機
US7913279B2 (en) * 2003-01-31 2011-03-22 Microsoft Corporation Global listings format (GLF) for multimedia programming content and electronic program guide (EPG) information
US20050009620A1 (en) 2003-02-14 2005-01-13 Hodgetts George W. Golf club shaft with adjustable flex
US20040216041A1 (en) * 2003-04-24 2004-10-28 Amir Ajizadeh System and methods in interactive television and radio ratings through the internet and the telephone
JP2005107529A (ja) * 2003-09-25 2005-04-21 Ricoh Co Ltd 時間ベースメディアのための印刷可能表現
US7788696B2 (en) * 2003-10-15 2010-08-31 Microsoft Corporation Inferring information about media stream objects
JP2005167349A (ja) * 2003-11-28 2005-06-23 Matsushita Electric Ind Co Ltd 番組コンテンツ送出装置
JP4466055B2 (ja) * 2003-11-28 2010-05-26 ソニー株式会社 コミュニケーションシステム、コミュニケーション方法、端末装置、情報提示方法、メッセージ交換装置およびメッセージ交換方法
US7281219B2 (en) 2003-12-05 2007-10-09 International Business Machines Corporation Blended learning experience tool and method
WO2005079510A2 (en) * 2004-02-17 2005-09-01 Auditude.Com, Inc. Generation of a media content database by correlating repeating media content in media streams
US7197502B2 (en) * 2004-02-18 2007-03-27 Friendly Polynomials, Inc. Machine-implemented activity management system using asynchronously shared activity data objects and journal data items
US8229751B2 (en) * 2004-02-26 2012-07-24 Mediaguide, Inc. Method and apparatus for automatic detection and identification of unidentified Broadcast audio or video signals
US7546086B2 (en) * 2004-05-07 2009-06-09 Telefonaktiebolaget L M Ericsson (Publ) Ad-hoc messaging between wireless devices
US20060080356A1 (en) 2004-10-13 2006-04-13 Microsoft Corporation System and method for inferring similarities between media objects
US7472096B2 (en) * 2005-07-18 2008-12-30 Microsoft Corporation Training a learning system with arbitrary cost functions
BRPI0619197A2 (pt) 2005-11-29 2011-09-20 Google Inc detecção de conteúdo de repetição em mìdia de difusão
US7617164B2 (en) 2006-03-17 2009-11-10 Microsoft Corporation Efficiency of training for ranking systems based on pairwise training with aggregated gradients
US7831531B1 (en) 2006-06-22 2010-11-09 Google Inc. Approximate hashing functions for finding similar content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209204A (ja) 2000-04-14 2002-07-26 Nippon Telegr & Teleph Corp <Ntt> 放送情報に関連した情報の取得方法及びシステム並びに装置
US20050147256A1 (en) 2003-12-30 2005-07-07 Peters Geoffrey W. Automated presentation of entertainment content in response to received ambient audio

Also Published As

Publication number Publication date
EP1955458A2 (en) 2008-08-13
ES2386977T3 (es) 2012-09-10
US20070130580A1 (en) 2007-06-07
EP1958362A2 (en) 2008-08-20
BRPI0619388A2 (pt) 2011-10-04
CA2631151A1 (en) 2007-06-07
WO2007064640A3 (en) 2007-12-06
US20150156542A1 (en) 2015-06-04
WO2007064641A2 (en) 2007-06-07
US20070124756A1 (en) 2007-05-31
KR20080073357A (ko) 2008-08-08
WO2007064641A3 (en) 2009-05-14
EP1955458B1 (en) 2012-07-11
EP1986145A1 (en) 2008-10-29
AU2006320692A1 (en) 2007-06-07
JP6161249B2 (ja) 2017-07-12
BRPI0619197A2 (pt) 2011-09-20
EP1958362A4 (en) 2010-03-17
US7991770B2 (en) 2011-08-02
AU2006320693B2 (en) 2012-03-01
US20120059845A1 (en) 2012-03-08
CA2631270A1 (en) 2007-06-07
KR20080075896A (ko) 2008-08-19
US8700641B2 (en) 2014-04-15
EP1955458A4 (en) 2010-03-17
US20070143778A1 (en) 2007-06-21
US8442125B2 (en) 2013-05-14
WO2007064640A2 (en) 2007-06-07
US20170366847A1 (en) 2017-12-21
US8479225B2 (en) 2013-07-02
CA2631151C (en) 2015-10-13
JP2009524273A (ja) 2009-06-25
JP2009518884A (ja) 2009-05-07
AU2006320693A1 (en) 2007-06-07
IL191814A0 (en) 2008-12-29
JP2013009436A (ja) 2013-01-10

Similar Documents

Publication Publication Date Title
KR101371574B1 (ko) 매스 미디어를 위한 사회적 및 상호작용 애플리케이션
CN101517550B (zh) 大众传媒的社会性和交互式应用
US7788696B2 (en) Inferring information about media stream objects
US8751690B2 (en) Tracking time-based selection of search results
US20130097190A1 (en) Supplementing synchronization with programming metadata
US11223433B1 (en) Identification of concurrently broadcast time-based media

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180226

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190222

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 7