JP7295110B2 - 会話との関連でコンテンツを推奨する方法およびシステム - Google Patents

会話との関連でコンテンツを推奨する方法およびシステム Download PDF

Info

Publication number
JP7295110B2
JP7295110B2 JP2020528892A JP2020528892A JP7295110B2 JP 7295110 B2 JP7295110 B2 JP 7295110B2 JP 2020528892 A JP2020528892 A JP 2020528892A JP 2020528892 A JP2020528892 A JP 2020528892A JP 7295110 B2 JP7295110 B2 JP 7295110B2
Authority
JP
Japan
Prior art keywords
media guidance
content
guidance application
user
conversation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020528892A
Other languages
English (en)
Other versions
JP2021505046A5 (ja
JP2021505046A (ja
Inventor
アレクシス イェルトン,
アビジート シャルマ,
ピーター ブーンストラ,
Original Assignee
ロヴィ ガイズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ロヴィ ガイズ, インコーポレイテッド filed Critical ロヴィ ガイズ, インコーポレイテッド
Publication of JP2021505046A publication Critical patent/JP2021505046A/ja
Publication of JP2021505046A5 publication Critical patent/JP2021505046A5/ja
Application granted granted Critical
Publication of JP7295110B2 publication Critical patent/JP7295110B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4821End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

音声起動型パーソナルアシスタントが、時として、コンテンツを調整し、ユーザと接続する方法を見出すために使用される。ユーザは、音声コマンドをアシスタントに提供することができ、アシスタントは、応答する。時として、ユーザ群が、映画等のメディアコンテンツ、または特に興味深い場面について議論していることもある。典型的なシステムは、ユーザのうちの1人が、クエリを提供し、または検索を実施して、会話に関連する何らかのものを見出すことを要求し、それは、会話を中断させ得る。そのような相互作用は、非効率的であり、ユーザのメディア消費の楽しみを奪う。
クエリを形成し、検索結果を解析する努力は別として、ユーザは、その会話に関連性のあるコンテンツを検索すべき場所を把握していないこともある。コンテンツソースを解明しようとすること、特定の着目メディアアセットを識別すること、そのアセットを表示することは、おそらく、特に会話を魅力的および
動的に保つことにおいて所望されない。
本開示は、音声起動型パーソナルアシスタントを説明し、それは、会話を聴取し、会話における適切な挿入点においてコンテンツを自動的に提供するメディアガイドアプリケーションの側面であり得る。例えば、パーソナルアシスタントは、テレビ聴取モードおよび通常モードを有し得る。テレビ聴取モードであり、ユーザが最近のフットボールの試合について別のユーザと会話していることもあるとき、システムは、ユーザが議論している試合の側面を自動的に識別し、試合のクリップを自動的に見出して生成する。システムは、会話中にクリップを提示し、クリップを会話の関連性のある部分にする。さらなる例において、ユーザが、メディアアセットまたはシリーズ、例えば、Game of Thrones(GOT)における特定の場面について議論している場合、パーソナルアシスタントは、議論されている場面を再生し得る。システムは、会話に基づいて、検索すべき1つ以上のソースを選択することもできる。例えば、ユーザ群がバイラルコンテンツについて話している場合、システムは、ソーシャルメディアソースのみを検索し得るが、ユーザ群がスポーツイベントについて話している場合、システムは、スポーツソースを最初に検索し、次いで、関連性のあるコンテンツに関して二次ソース(例えば、ソーシャルメディア)を検索し得る。
故に、(例えば、ユーザ機器を用いて)複数のユーザ間の会話を監視することによって、会話との関連でコンテンツを推奨するメディアガイドアプリケーションを提供するためのシステムおよび方法が、提供される。メディアガイドアプリケーションは、ウェイクワードを受信することなく、会話におけるキーワードを自動的に検出し、会話中にユーザに提示するために、キーワードのうちの1つに合致するコンテンツを検索する。ウェイクワードを受信することなく、メディアガイドアプリケーションは、コンテンツをユーザに自動的に提示する。本明細書で使用されるようなウェイクワードは、メディアガイドアプリケーションが所定のアクションで応答するように構成された認識されるコマンドワードである。
メディアガイドアプリケーションは、(例えば、ユーザ機器を用いて)複数のユーザ間の会話を監視することによって、会話との関連でコンテンツを推奨する。口頭会話が継続しているとき、メディアガイドアプリケーションは、口頭会話における言葉を処理し、口頭会話における言葉からキーワードを選択的に読み出す。メディアガイドアプリケーションは、選択的に読み出されたキーワードに基づいて、ウェイクワードを受信することなく、口頭会話におけるキーワードを検出する。メディアガイドアプリケーションは、複数のクリップの各々に関連付けられたメタデータを検出されたキーワードと比較することと、(例えば、比較することに基づいて)クリップのうちの別のものに関連付けられたメタデータより多くのキーワードに合致するメタデータを有する複数のクリップのうちのクリップを選択することとによって、キーワードのうちの1つに合致するクリップに関して、複数のクリップを検索する。メディアガイドアプリケーションは、ウェイクワードを受信することなく、口頭会話中にクリップをユーザに自動的に提示する。複数のクリップの各々は、いくつかの実装では、閾値持続時間未満であり得る。
いくつかの実施形態において、メディアガイドアプリケーションは、2人以上のユーザの間の会話において検出されたキーワードに関連付けられたコンテンツタイプを識別し、識別されたコンテンツタイプに基づいて、検索すべきコンテンツソースを選択する。例えば、キーワードが言葉「フットボール」を含んでいた場合、メディアガイドアプリケーションは、言葉「フットボール」に基づいて、コンテンツタイプをスポーツクリップとして識別し得る。故に、コンテンツタイプをスポーツクリップとして識別することによって、メディアガイドアプリケーションは、例えば、スポーツをテーマにしたメディアソースから、スポーツ関連コンテンツをより効率的に検索および/または見つけ得る。
いくつかの実施形態において、メディアガイドアプリケーションは、口頭会話処理ウィンドウを生成し、ウィンドウの開始時間に先立って検出された言葉が破棄されるように、会話処理ウィンドウ内で検出される口頭会話における言葉を一時的に記憶する。会話処理ウィンドウは、会話が起こって処理される期間、および関連性のあるコンテンツの提示を指す。会話が検出されると、メディアガイドアプリケーションは、会話処理ウィンドウを開始し、例えば、会話が依然として起こっている間、ウィンドウを維持し得る。
いくつかの実施形態において、メディアガイドアプリケーションは、聴取モードをアクティブにし、監視することは、聴取モードがアクティブであるときに実施され、聴取モードが無効にされているとき、実施されない。故に、聴取モードは、メディアガイドアプリケーションが「盗み聞き」しているときを定義するために使用され得る。例えば、メディアガイドアプリケーションは、会話が存在していないとき、メディアガイドアプリケーションが処理リソースを無駄にしていないように、あるオーディオ入力が検出されるときのみ、発話のためのオーディオ信号を処理し始め得る。
いくつかの実施形態において、キーワードは、メディアアセットにおけるセグメントに関し得、複数の検索されたクリップの各々は、メディアアセットの場面におけるコンテンツを表す。例えば、セグメントは、場面全体またはその一部であり得る。さらなる例において、セグメントは、スポーツイベントにおけるプレーを特徴とするメディアアセットの一部であり得る。
いくつかの実施形態において、メディアガイドアプリケーションは、ユーザ機器上で現在提示されているコンテンツを変更し、クリップを提示することによって、口頭会話中にコンテンツをユーザに自動的に提示する。例えば、ユーザは、最初に、ユーザデバイス上で番組を鑑賞しており、次いで、番組が再生し続けている間に会話し始め得る。メディアガイドアプリケーションは、会話との関連で関連性のあるクリップを提示し、最初に再生していた番組を提示することを止め得る。
いくつかの実施形態において、メディアガイドアプリケーションは、会話におけるキーワードを検出することに応答して、クリップが選択されたという指示を伴うクリップとともに検出されたキーワードのうちのいくつかを提示する。例えば、関連性のあるクリップとともに、メディアガイドアプリケーションは、ユーザが、クリップが再生されている理由を認識し得るように、キーワードテキストを表示し得る。これは、例えば、1つ以上のキーワードが誤っていて(例えば、誤って処理する)、クリップに関連性がなかった場合、特に有用であり得る。キーワードを表示することは、ユーザフィードバックとしての役割も果たし、メディアガイドアプリケーションがユーザと相互作用することに役立ち得る。例えば、メディアガイドアプリケーションは、追加の言葉を能動的に発するようにユーザをプロンプトし、(例えば、より関連性のあるキーワードを追加することによって)キーワード検索を精緻化または調整し得るキーワードを表示し得る。
いくつかの実施形態において、メディアガイドアプリケーションは、複数のユーザの各々のユーザプロファイルに合致する口頭会話における言葉を識別することによって、キーワードを選択的に読み出す。ユーザのプロファイルは、例えば、ユーザ選好(例えば、お気に入りの番組、お気に入りのジャンル、お気に入りの女優)、ユーザの視聴履歴、ユーザのメディア消費に関連付けられた共通キーワード、個人情報、会話に関連性があり得る他のユーザの名前、またはユーザについての他の情報等の情報を含み得る。例えば、メディアガイドアプリケーションは、「Jamie」および「Jon」等の会話における言葉を識別し、ユーザのプロファイルのうちの1つにアクセスし、Game of Thrones(GOT)をお気に入りの番組として識別し得る。故に、メディアガイドアプリケーションは、「Jamie」および「Jon」をGOTの中の登場人物として認識し、「Game of Thrones」をキーワードに追加するか、または、Game of Thronesクリップの中からキーワードを検索し得る。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
会話との関連でコンテンツを推奨する方法であって、前記方法は、
ユーザ機器を用いて、複数のユーザ間の会話を監視することと、
ウェイクワードを受信することなく、前記会話におけるキーワードを検出することと、
前記キーワードのうちの1つに合致するコンテンツを検索することと、
前記ウェイクワードを受信することなく、前記コンテンツを前記ユーザに自動的に提示することと
を含む、方法。
(項目2)
会話との関連でコンテンツを推奨する方法であって、前記方法は、
ユーザ機器を用いて、複数のユーザ間の口頭会話を監視することと、
前記口頭会話が継続しているとき、前記口頭会話における言葉を処理し、前記口頭会話における前記言葉からキーワードを選択的に読み出すことと、
前記選択的に読み出されたキーワードに基づいて、ウェイクワードを受信することなく、前記口頭会話における前記キーワードを検出することと、
前記キーワードのうちの1つに合致するクリップに関して、複数のクリップを検索することであって、前記複数のクリップを検索することは、
前記複数のクリップの各々に関連付けられたメタデータを前記検出されたキーワードと比較することと、
前記比較することに基づいて、前記クリップのうちの別のものに関連付けられたメタデータより多くの前記キーワードに合致するメタデータを有する前記複数のクリップのうちのクリップを選択することと
による、ことと、
前記ウェイクワードを受信することなく、前記口頭会話中に前記クリップを前記ユーザに自動的に提示することと
を含む、方法。
(項目3)
前記検出されたキーワードに関連付けられたコンテンツタイプを識別することと、
前記識別されたコンテンツタイプに基づいて、検索すべきコンテンツソースを選択することと
をさらに含む、項目2に記載の方法。
(項目4)
口頭会話処理ウィンドウを生成することと、
前記ウィンドウの開始時間に先立って検出された言葉が破棄されるように、前記会話処理ウィンドウ内で検出される前記口頭会話における言葉を一時的に記憶することと
をさらに含む、項目2に記載の方法。
(項目5)
聴取モードをアクティブにすることをさらに含み、前記監視することは、前記聴取モードがアクティブであるときに実施され、前記聴取モードが無効にされているとき、実施されない、項目2に記載の方法。
(項目6)
前記複数のクリップの各々は、閾値持続時間未満である、項目2に記載の方法。
(項目7)
前記キーワードは、メディアアセットにおけるセグメントに関連しており、前記複数のクリップの各々は、前記メディアアセットの場面におけるコンテンツを表す、項目2に記載の方法。
(項目8)
前記セグメントは、スポーツイベントにおけるプレーを特徴とする前記メディアアセットの場面または一部である、項目7に記載の方法。
(項目9)
前記口頭会話中に前記コンテンツを前記ユーザに自動的に提示することは、前記ユーザ機器上で現在提示されているコンテンツを変更し、前記クリップを提示することを含む、項目2に記載の方法。
(項目10)
前記会話における前記キーワードを検出することに応答して、前記クリップが選択されたという指示を伴う前記クリップと共に前記検出されたキーワードのうちのいくつかを提示することをさらに含む、項目2に記載の方法。
(項目11)
キーワードを選択的に読み出すことは、前記複数のユーザの各々のユーザプロファイルに合致する前記口頭会話における言葉を識別することを含む、項目2に記載の方法。
(項目12)
会話との関連でコンテンツを推奨するためのシステムであって、前記方法は、
複数のユーザ間の口頭会話を監視するように構成された聴取デバイスと、
制御回路と
を備え、
前記制御回路は、
前記口頭会話が継続しているとき、前記口頭会話における言葉を処理し、前記口頭会話における前記言葉からキーワードを選択的に読み出すことと、
前記選択的に読み出されたキーワードに基づいて、ウェイクワードを受信することなく、前記口頭会話における前記キーワードを検出することと、
前記キーワードのうちの1つに合致するクリップに関して、複数のクリップを検索することであって、前記複数のクリップを検索することは、
前記複数のクリップの各々に関連付けられたメタデータを前記検出されたキーワードと比較することと、
前記比較することに基づいて、前記クリップのうちの別のものに関連付けられたメタデータより多くの前記キーワードに合致するメタデータを有する前記複数のクリップのうちのクリップを選択することと
による、ことと、
前記ウェイクワードを受信することなく、前記口頭会話中に前記クリップを前記ユーザに自動的に提示することと
を行うように構成されている、システム。
(項目13)
前記制御回路は、
前記検出されたキーワードに関連付けられたコンテンツタイプを識別することと、
前記識別されたコンテンツタイプに基づいて、検索すべきコンテンツソースを選択することと
を行うようにさらに構成されている、項目12に記載のシステム。
(項目14)
前記制御回路は、
口頭会話処理ウィンドウを生成することと、
前記ウィンドウの開始時間に先立って検出された言葉が破棄されるように、前記会話処理ウィンドウ内で検出される前記口頭会話における言葉を一時的に記憶することと
を行うようにさらに構成されている、項目12に記載のシステム。
(項目15)
前記制御回路は、聴取モードをアクティブにするようにさらに構成され、前記制御回路は、前記聴取モードがアクティブであるとき、前記複数のユーザ間の前記口頭会話を監視し、前記聴取モードが無効にされているとき、前記複数のユーザ間の前記口頭会話を監視しないようにさらに構成されている、項目12に記載のシステム。
(項目16)
前記複数のクリップの各々は、閾値持続時間未満である、項目12に記載のシステム。
(項目17)
前記キーワードは、メディアアセットにおけるセグメントに関連しており、前記複数のクリップの各々は、前記メディアアセットの場面におけるコンテンツを表す、項目12に記載のシステム。
(項目18)
前記セグメントは、スポーツイベントにおけるプレーを特徴とする前記メディアアセットの場面または一部である、項目17に記載のシステム。
(項目19)
前記制御回路は、前記ユーザ機器上で現在提示されているコンテンツを変更し、前記クリップを提示するようにさらに構成されている、項目12に記載のシステム。
(項目20)
前記制御回路は、前記会話における前記キーワードを検出することに応答して、前記クリップが選択されたという指示を伴う前記クリップと共に前記検出されたキーワードのうちのいくつかを提示するようにさらに構成されている、項目12に記載のシステム。
(項目21)
前記制御回路は、前記複数のユーザの各々のユーザプロファイルに合致する前記口頭会話における言葉を識別するようにさらに構成されている、項目12に記載のシステム。
(項目22)
会話との関連でコンテンツを推奨するための非一過性のコンピュータ読み取り可能な命令を備えている非一過性のコンピュータ読み取り可能な媒体であって、前記非一過性のコンピュータ読み取り可能な命令は、
ユーザ機器を用いて、複数のユーザ間の口頭会話を監視するための命令と、
前記口頭会話が継続しているとき、前記口頭会話における言葉を処理し、前記口頭会話における前記言葉からキーワードを選択的に読み出すための命令と、
前記選択的に読み出されたキーワードに基づいて、ウェイクワードを受信することなく、前記口頭会話における前記キーワードを検出するための命令と、
前記キーワードのうちの1つに合致するクリップに関して、複数のクリップを検索するための命令であって、前記複数のクリップを検索することは、
前記複数のクリップの各々に関連付けられたメタデータを前記検出されたキーワードと比較することと、
前記比較することに基づいて、前記クリップのうちの別のものに関連付けられたメタデータより多くの前記キーワードに合致するメタデータを有する前記複数のクリップのうちのクリップを選択することと
による、命令と、
前記ウェイクワードを受信することなく、前記口頭会話中に前記クリップを前記ユーザに自動的に提示するための命令と
を備えている、非一過性のコンピュータ読み取り可能な媒体。
(項目23)
前記検出されたキーワードに関連付けられたコンテンツタイプを識別するための命令と、
前記識別されたコンテンツタイプに基づいて、検索すべきコンテンツソースを選択するための命令と
をさらに備えている、項目22に記載の非一過性のコンピュータ読み取り可能な媒体。
(項目24)
口頭会話処理ウィンドウを生成するための命令と、
前記ウィンドウの開始時間に先立って検出された言葉が破棄されるように、前記会話処理ウィンドウ内で検出される前記口頭会話における言葉を一時的に記憶するための命令と
をさらに備えている、項目22に記載の非一過性のコンピュータ読み取り可能な媒体。
(項目25)
聴取モードをアクティブにするための命令をさらに備え、前記監視することは、前記聴取モードがアクティブであるときに実施され、前記聴取モードが無効にされているとき、実施されない、項目22に記載の非一過性のコンピュータ読み取り可能な媒体。
(項目26)
前記複数のクリップの各々は、閾値持続時間未満である、項目22に記載の非一過性のコンピュータ読み取り可能な媒体。
(項目27)
前記キーワードは、メディアアセットにおけるセグメントに関連しており、前記複数のクリップの各々は、前記メディアアセットの場面におけるコンテンツを表す、項目22に記載の非一過性のコンピュータ読み取り可能な媒体。
(項目28)
前記セグメントは、スポーツイベントにおけるプレーを特徴とする前記メディアアセットの場面または一部である、項目27に記載の非一過性のコンピュータ読み取り可能な媒体。
(項目29)
前記口頭会話中に前記コンテンツを前記ユーザに自動的に提示するための前記命令は、前記ユーザ機器上で現在提示されているコンテンツを変更し、前記クリップを提示するための命令を備えている、項目22に記載の非一過性のコンピュータ読み取り可能な媒体。
(項目30)
前記会話における前記キーワードを検出することに応答して、前記クリップが選択されたという指示を伴う前記クリップと共に前記検出されたキーワードのうちのいくつかを提示するための命令をさらに備えている、項目22に記載の非一過性のコンピュータ読み取り可能な媒体。
(項目31)
キーワードを選択的に読み出すための前記命令は、前記複数のユーザの各々のユーザプロファイルに合致する前記口頭会話における言葉を識別するための命令を備えている、項目22に記載の非一過性のコンピュータ読み取り可能な媒体。
(項目32)
会話との関連でコンテンツを推奨するための装置であって、前記装置は、
ユーザ機器を用いて、複数のユーザ間の口頭会話を監視する手段と、
前記口頭会話が継続しているとき、前記口頭会話における言葉を処理し、前記口頭会話における前記言葉からキーワードを選択的に読み出す手段と、
前記選択的に読み出されたキーワードに基づいて、ウェイクワードを受信することなく、前記口頭会話における前記キーワードを検出する手段と、
前記キーワードのうちの1つに合致するクリップに関して、複数のクリップを検索する手段であって、前記複数のクリップを検索することは、
前記複数のクリップの各々に関連付けられたメタデータを前記検出されたキーワードと比較することと、
前記比較することに基づいて、前記クリップのうちの別のものに関連付けられたメタデータより多くの前記キーワードに合致するメタデータを有する前記複数のクリップのうちのクリップを選択することと、
による、手段と、
前記ウェイクワードを受信することなく、前記口頭会話中に前記クリップを前記ユーザに自動的に提示する手段と
を備えている、装置。
(項目33)
前記検出されたキーワードに関連付けられたコンテンツタイプを識別する手段と、
前記識別されたコンテンツタイプに基づいて、検索すべきコンテンツソースを選択する手段と
をさらに備えている、項目32に記載の装置。
(項目34)
口頭会話処理ウィンドウを生成する手段と、
前記ウィンドウの開始時間に先立って検出された言葉が破棄されるように、前記会話処理ウィンドウ内で検出される前記口頭会話における言葉を一時的に記憶する手段と
をさらに備えている、項目32に記載の装置。
(項目35)
聴取モードをアクティブにする手段をさらに備え、前記監視することは、前記聴取モードがアクティブであるときに実施され、前記聴取モードが無効にされているとき、実施されない、項目32に記載の装置。
(項目36)
前記複数のクリップの各々は、閾値持続時間未満である、項目32に記載の装置。
(項目37)
前記キーワードは、メディアアセットにおけるセグメントに関連しており、前記複数のクリップの各々は、前記メディアアセットの場面におけるコンテンツを表す、項目32に記載の装置。
(項目38)
前記セグメントは、スポーツイベントにおけるプレーを特徴とする前記メディアアセットの場面または一部である、項目37に記載の装置。
(項目39)
前記ユーザ機器上で現在提示されているコンテンツを変更し、前記クリップを提示する手段をさらに備えている、項目32に記載の装置。
(項目40)
前記会話における前記キーワードを検出することに応答して、前記クリップが選択されたという指示を伴う前記クリップと共に前記検出されたキーワードのうちのいくつかを提示する手段をさらに備えている、項目32に記載の装置。
(項目41)
前記複数のユーザの各々のユーザプロファイルに合致する前記口頭会話における言葉を識別する手段をさらに備えている、項目32に記載の装置。
(項目42)
会話との関連でコンテンツを推奨する方法であって、前記方法は、
ユーザ機器を用いて、複数のユーザ間の口頭会話を監視することと、
前記口頭会話が継続しているとき、前記口頭会話における言葉を処理し、前記口頭会話における前記言葉からキーワードを選択的に読み出すことと、
前記選択的に読み出されたキーワードに基づいて、ウェイクワードを受信することなく、前記口頭会話における前記キーワードを検出することと、
前記キーワードのうちの1つに合致するクリップに関して、複数のクリップを検索することであって、前記複数のクリップを検索することは、
前記複数のクリップの各々に関連付けられたメタデータを前記検出されたキーワードと比較することと、
前記比較することに基づいて、前記クリップのうちの別のものに関連付けられたメタデータより多くの前記キーワードに合致するメタデータを有する前記複数のクリップのうちのクリップを選択することと
による、ことと、
前記ウェイクワードを受信することなく、前記口頭会話中に前記クリップを前記ユーザに自動的に提示することと
を含む、方法。
(項目43)
前記検出されたキーワードに関連付けられたコンテンツタイプを識別することと、
前記識別されたコンテンツタイプに基づいて、検索すべきコンテンツソースを選択することと
をさらに含む、項目42に記載の方法。
(項目44)
口頭会話処理ウィンドウを生成することと、
前記ウィンドウの開始時間に先立って検出された言葉が破棄されるように、前記会話処理ウィンドウ内で検出される前記口頭会話における言葉を一時的に記憶することと
をさらに含む、項目42-43のいずれか1項に記載の方法。
(項目45)
聴取モードをアクティブにすることをさらに含み、前記監視することは、前記聴取モードがアクティブであるときに実施され、前記聴取モードが無効にされているとき、実施されない、項目42-44のいずれか1項に記載の方法。
(項目46)
前記複数のクリップの各々は、閾値持続時間未満である、項目42-45に記載の方法。
(項目47)
前記キーワードは、メディアアセットにおけるセグメントに関連しており、前記複数のクリップの各々は、前記メディアアセットの場面におけるコンテンツを表す、項目42-46のいずれか1項に記載の方法。
(項目48)
前記セグメントは、スポーツイベントにおけるプレーを特徴とする前記メディアアセットの場面または一部である、項目42-47のいずれか1項に記載の方法。
(項目49)
前記口頭会話中に前記コンテンツを前記ユーザに自動的に提示することは、前記ユーザ機器上で現在提示されているコンテンツを変更し、前記クリップを提示することを含む、項目42-48のいずれか1項に記載の方法。
(項目50)
前記会話における前記キーワードを検出することに応答して、前記クリップが選択されたという指示を伴う前記クリップと共に前記検出されたキーワードのうちのいくつかを提示することをさらに含む、項目42-49のいずれか1項に記載の方法。
(項目51)
キーワードを選択的に読み出すことは、前記複数のユーザの各々のユーザプロファイルに合致する前記口頭会話における言葉を識別することを含む、項目42-50のいずれか1項に記載の方法。
本開示の上記および他の目的および利点は、同様の参照文字が全体を通して同様の部分を指す添付の図面と併せて考慮される以下の発明を実施するための形態の検討から明白となるであろう。
図1は、本開示のいくつかの実施形態による会話との関連でコンテンツを推奨することの例証的実施形態を示す。
図2は、本開示のいくつかの実施形態による会話との関連でコンテンツを推奨することの例証的実施形態を示す。
図3は、本開示のいくつかの実施形態によるメディアガイドアプリケーションリスト項目および他のメディアガイド情報を提供するために使用され得る表示画面の例証的実施形態を示す。
図4は、本開示のいくつかの実施形態によるメディアガイドアプリケーションリスト項目を提供するために使用され得る表示画面の別の例証的実施形態を示す。
図5は、本開示のいくつかの実施形態による例証的デバイスのブロック図である。
図6は、本開示のいくつかの実施形態による例証的メディアシステムのブロック図である。
図7は、本開示のいくつかの実施形態による会話との関連でコンテンツを推奨するための例証的プロセスのフローチャートである。
図8は、本開示のいくつかの実施形態による会話との関連でコンテンツを推奨するための例証的プロセスのフローチャートである。
図9は、本開示のいくつかの実施形態による会話との関連でコンテンツを推奨するための例証的プロセスのフローチャートである。
図10は、本開示のいくつかの実施形態による会話との関連でコンテンツを推奨するための例証的プロセスのフローチャートである。
本開示は、音声起動型パーソナルアシスタントを説明し、それは、会話を聴取し、会話における適切な挿入点においてコンテンツを自動的に提供するメディアガイドアプリケーションの側面であり得る。例えば、パーソナルアシスタントは、テレビ聴取モードおよび通常モードを有し得る。テレビ聴取モードであり、ユーザが最近のフットボールの試合について別のユーザと会話していることもあるとき、システムは、ユーザが議論している試合の側面を自動的に識別し、試合のクリップを自動的に見出して生成する。システムは、会話中にクリップを提示し、クリップを会話の関連性のある部分にする。さらなる例において、ユーザが、メディアアセットまたはシリーズ、例えば、Game of Thrones(GOT)における特定の場面について議論している場合、パーソナルアシスタントは、議論されている場面を再生し得る。システムは、会話に基づいて、検索すべき1つ以上のソースを選択することもできる。例えば、ユーザ群がバイラルコンテンツについて話している場合、システムは、ソーシャルメディアソースのみを検索し得るが、ユーザ群がスポーツイベントについて話している場合、システムは、最初に、スポーツソースを検索し、次いで、関連性のあるコンテンツに関して二次ソース(例えば、ソーシャルメディア)を検索し得る。
図1は、本開示のいくつかの実施形態による会話100との関連でコンテンツを推奨することの例証的実施形態を示す。メディアガイドアプリケーションは、ディスプレイデバイス110(例えば、テレビ)に結合されたユーザデバイス102を用いて、ユーザ130とユーザ140との間の会話100を監視し得る。ユーザデバイス102は、オーディオ入力デバイス(すなわち、オーディオ信号を検出するためにデバイス内に統合されたマイクロホン)を含む。ディスプレイデバイス110に結合された別個のデバイスとして例証的に示されているが、ユーザデバイス(例えば、ユーザデバイス102)は、代替として、または加えて、携帯電話、コンピュータ、統合型ディスプレイおよび処理回路(例えば、スマートTV)、または本開示の図5-6の説明による任意の他の好適なデバイスを含み得る。ユーザ130およびユーザ140は、所与のメディアアセット(例えば、Game of Thrones(GOT))について、より具体的に、Jon Snow(すなわち、Game of Thronesの中の登場人物)が最新のエピソードの中で生きているかどうかについての会話に関わり合い得る。例えば、例証的会話100の例が、下で示される。
(例証的会話100の例1)
ユーザ130:「最新のGOTエピソードを見た?」
ユーザ140:「いいえ、何が起きたの?聞いたところでは、JonSnowが-」
ユーザ130(割り込む):「ええっ!Jon Snowに何が起こったか言わないで!」
ユーザ140:「彼は生きていると思うよ。」
会話100が開始する(例えば、ユーザデバイス102が会話100からオーディオ信号を検出する)と、メディアアプリケーションは、発話を処理し始め得る。例えば、メディアガイドアプリケーションは、口頭会話処理ウィンドウをインスタンス化し、メモリにオーディオ信号を記憶し始め得る。さらに、口頭処理ウィンドウは、会話100の全体に持続し得る。例証的会話100は、2人のユーザ(ユーザ130およびユーザ140)と、例えば、5秒の発話とを含む。5秒の発話の中から、メディアガイドアプリケーションは、1つ以上のキーワードを識別し得る。例えば、メディアガイドアプリケーションは、会話100の例1では、「GOT」、「エピソード」、「Jon」、「Snow」、「生きている」、「起こった」、および「最新の」を言葉として識別し得る。いくつかの実施形態において、メディアガイドアプリケーションは、ソーシャルメディア上でトレンドであり得るキーワード「Jon Snowが生きている」を識別し得る。故に、メディアガイドアプリケーションは、例えば、関連性のあるコンテンツを検索するとき、ソーシャルメディアのみをコンテンツソースと見なし得る。例えば、いくつかのソーシャルメディアサービスは、それらのネットワーク内でトレンドであるキーワードまたはコンテンツを提示し得る。例えば、FacebookまたはTwitterが、現在トレンドである話題、コンテンツ、サイト、または情報を提示し得る。メディアガイドアプリケーションは、ソーシャルメディアネットワークにアクセスし、(例えば、キーワードに基づいて)トレンドであるものを識別し得る。さらなる例において、メディアガイドアプリケーションは、第三者サービスにクエリを行い、トレンドの識別についての情報を配信し、トレンドの識別を記憶し、編成し、分類し、または、管理し得る。さらなる例において、メディアガイドアプリケーションは、(例えば、ログインしている場合)ユーザ130および140のソーシャルメディアアカウントにアクセスし、トレンドであるものを決定し得る。
さらに、例証的会話100は、ユーザ130および140が表示画面104上で番組をすでに鑑賞している間に起こり得る。メディアガイドアプリケーションは、例証的な図2に示されるように、表示画面104を管理し、関連性のあるコンテンツをユーザ130および140に提示し得る。
図2は、本開示のいくつかの実施形態による会話100との関連でコンテンツを推奨することの例証的実施形態を示す。会話100を検出することに応答して、メディアガイドアプリケーションは、例えば、オプションバー222、キーワード表示224、コンテンツリスト項目226、およびビデオ領域228を含み得る会話処理表示220を生成し得る。メディアガイドアプリケーションは、表示104の要素を含む表示204、および会話処理表示220を生成し得る。オプションバー222は、検索オプション(例えば、複数のクリップを検索することを精緻化し、限定し、または、それに影響を及ぼすため)、選択基準(例えば、選好を適用するため、または、選択されたクリップに影響を及ぼすため)、表示オプション(例えば、オーバーレイ、フル画面、または分割画面として会話処理表示220を提示すること、既に表示された番組を一時停止すること、会話処理表示220を閉じること)、任意の他の好適なオプション、またはそれらの任意の組み合わせを含み得る。キーワード表示224は、会話100から識別される1つ以上の表示されたキーワードを含み得る。キーワード表示224は、全ての識別されたキーワード、いくつかの識別されたキーワード、コンテンツの検索を実施することにおいて使用された全てのキーワード、コンテンツの検索を実施することにおいて使用されたいくつかのキーワード、任意の他の好適なキーワード群、またはそれらの任意の組み合わせを提示し得る。コンテンツリスト項目226は、1つ以上のメディアアセットリスト項目(例えば、リストにおけるインデックス、他の識別子、またはタイトル等のインジケータとともに表示される)を含み得る。ビデオ領域228は、再生可能なクリップを含み得る。例えば、再生、一時停止、停止、巻戻し、早送り、スクロール、または他の好適なオプション等の任意の好適な再生オプションが、ビデオ領域228の一部として含まれ得る。
図2に例証的に示されるように、会話100は、関連性のあるクリップがビデオ領域228内に提示されているとき、依然として進行中である。メディアガイドアプリケーションは、会話を向上させるために、または会話を減退させないために会話100中に関連性のあるクリップを提供するように構成され得る。故に、ユーザ130およびユーザ140がGOTについて会話しているとき、ユーザは、メディアガイドアプリケーションに能動的に注意を払う必要、検索を開始する必要、検索結果を解析する必要、または、会話100から気を逸らせる必要はない。メディアガイドアプリケーションは、ウェイクワードを要求しないことによって、したがって、例えば、ユーザからコマンド入力を受信することなく、キーワード検出、コンテンツ検索、コンテンツ選択、およびコンテンツ提示を実施し得る。いくつかの状況において、メディアガイドアプリケーションは、ユーザ130および140がクリップが提示されるまでおそらく気付くことなく、会話の処理を実施し得る。故に、メディアガイドアプリケーションは、補完的入力を会話に提供し、おそらく、さらなる会話を活気づけ得る。いくつかの実施形態において、メディアガイドアプリケーションは、オーディオ入力が閾値を下回る(例えば、オーディオ信号エネルギーが閾値を下回る、オーディオ信号振幅が閾値を下回る)期間を識別することによって、会話の一時中断または中断を検出し得る。自然な会話は、一時中断(例えば、より静かな、またはあまり頻繁ではない会話)、中断(例えば、会話がない)、発話者の間の切り替え(例えば、交代で話すこと)、割り込み、および複数の人々が同時に話すことを含み得る。故に、メディアガイドアプリケーションは、(例えば、あまり押し付けがましくないように)会話の検出された一時中断または中断の間にクリップを提示し得る。いくつかの実施形態において、メディアガイドアプリケーションは、(例えば、一時中断または中断中ではなく)活発な会話中にクリップを提示し得る。例えば、活発な会話中のクリップの提示は、より容易かつ適時に会話に適合し得る。
別の例(すなわち、例2)が、参考として会話100を使用して、下で提供される。
(例証的会話100の例2)
ユーザ130:「ああ、Detroit Lionsが大好き!」
ユーザ140:「そうだね、昨夜のあの試合は素晴らしかった」
ユーザ130:「ええっ!完全に見逃してしまった、どっちが勝ったの?」
ユーザ140:「気にしないで、でもすごいインターセプトが最後にあったよ!」
会話100の例2は、メディアガイドアプリケーションがスポート関連として認識し得るキーワード「Detroit Lions」、「試合」、「昨夜」、および「インターセプト」を含む。メディアガイドアプリケーションは、認識された言葉を既知の言葉と比較し、キーワードを分類し得る。例えば、メディアガイドアプリケーションは、コンテンツタイプおよびコンテンツソースを記憶したデータベース(例えば、メディアガイドデータソース618)を検索し得る。好適な検索クエリにおいてキーワードを提供することによって、メディアガイドアプリケーションは、(例えば、任意の好適な検索技法を使用して)データベースを検索し、コンテンツタイプおよびコンテンツソースを読み出し得る。故に、そのような状況下で、メディアガイドアプリケーションは、いくつかの実施形態において、スポーツハイライトを提供、分類、または記憶するコンテンツソースを優先的に選択し得る。さらに、メディアガイドアプリケーションは、キーワード「昨夜」を時間および日付に関連するものとして認識し得る。例えば、メディアガイドアプリケーションは、会話100の日付および時間を考慮し、故に、午後5時以降の時間(例えば、「昨夜」に対応する)で、現在の日付の1日前の関連付けられた日付を伴うクリップを検索し得る。故に、検索に使用されるキーワードは、会話からの識別された言葉への逐語的な合致であり得るが、そうである必要はない。いくつかの実施形態において、メディアガイドアプリケーションは、発話処理を使用して、会話全体を言葉に変換し、次いで、変換された会話の全テキスト検索を実施し、キーワードを識別し得る。いくつかの実施形態において、メディアガイドアプリケーションは、会話が処理を開始するために終了する必要がないように、会話内セグメントにおいて会話をテキストに変換し、セグメントからの言葉を処理し得る。
メディアガイドアプリケーションは、会話100のために好適である口頭会話処理ウィンドウを使用して、(例えば、図1-2および図7-10との関連で)本明細書に開示される例証的ステップを実施し得る。故に、メディアガイドアプリケーションは、発話を認識し、キーワードを識別し、キーワードに基づいてコンテンツを検索し、コンテンツを選択し、規定の時間量でコンテンツを提示し得る。故に、メディアガイドアプリケーションは、会話(例えば、会話100)との関連で、任意の好適な時間スケールで本明細書に開示される例証的ステップを実施し得る。口頭会話処理ウィンドウの時間スケール(例えば、ウィンドウの持続時間)は、事前決定され得、会話自体(例えば、会話の長さ、会話の話題、会話の参加者)、メディアガイドアプリケーションのアクションを実施する機器(例えば、利用可能なメモリおよび処理能力)、ユーザ規定時間スケール、所定の時間スケール、関連性のあるコンテンツの長さ(例えば、フットボールのプレーは、最大10秒の典型的時間スケールを有するフットボールの試合は、数時間の典型的な時間スケールを有し得る)に依存し得る。
例えば、図1-2を参照すると、会話100を検出することから関連性のあるクリップを提示することまでの経過時間は、数秒である場合、または10秒である場合でさえ、会話100は、おそらく、依然として進行中、または「新鮮」であり得る。いくつかの状況において、経過時間が(例えば、会話100の開始から、または会話100の終了から)1分であった場合、会話100は、クリップから少ない利益を受け得るが、他の状況下では、1分は、依然として会話100の持続時間内に入る。経過時間が1時間であった場合、ユーザ130または140の一方または両方が、(有用なクリップの提示または記憶が、依然として所望され得るが)、もはや存在していないこともある。
双方向メディアガイドアプリケーションは、双方向メディアガイドアプリケーションがガイドを提供するコンテンツに応じて、種々の形態をとり得る。1つの典型的なタイプのメディアガイドアプリケーションは、双方向テレビ番組ガイドである。双方向テレビ番組ガイド(時として、電子番組ガイドと称される)は、とりわけ、ユーザが、多くのタイプのコンテンツまたはメディアアセット間をナビゲートし、それを見つけることを可能にする周知のガイドアプリケーションである。双方向メディアガイドアプリケーションは、ユーザが、コンテンツ間をナビゲートし、それを見つけ、選択することを可能にするグラフィカルユーザインターフェース画面を生成し得る。本明細書で参照されるように、用語「メディアアセット」および「コンテンツ」は、テレビ番組のみならず、有料番組、オンデマンド番組(ビデオオンデマンド(VOD)システムにおけるような)、インターネットコンテンツ(例えば、ストリーミングコンテンツ、ダウンロード可能コンテンツ、ウェブキャスト等)、ビデオクリップ、オーディオ、コンテンツ情報、写真、回転画像、ドキュメント、再生リスト、ウェブサイト、記事、書籍、電子書籍、ブログ、チャットセッション、ソーシャルメディア、アプリケーション、ゲーム、および/または任意の他のメディアもしくはマルチメディア、および/またはそれらの組み合わせ等の電子的に消費可能なユーザアセットを意味すると理解されたい。ガイドアプリケーションは、ユーザが、コンテンツ間をナビゲートし、それを見つけることも可能にする。本明細書で参照されるように、用語「マルチメディア」は、上で説明される少なくとも2つの異なるコンテンツ形態、例えば、テキスト、オーディオ、画像、ビデオ、または双方向コンテンツ形態を利用するコンテンツを意味すると理解されたい。コンテンツは、ユーザ機器デバイスによって、録画、再生、表示、またはアクセスされ得るが、それは、ライブパーフォーマンスの一部であることもできる。
いくつかの実施形態において、メディアガイドアプリケーションは、音声起動型電子アシスタント(また、「音声起動型パーソナルアシスタント」または「電子アシスタント」)を含み得る。電子アシスタントは、例えば、音声コマンドを受信すること、および話された言葉および語句を認識すること等の発話認識が可能であり得る。電子アシスタントは、発話を認識すること、話すこと(例えば、音声メッセージを出力すること)、発話を分析すること(例えば、言葉を検出すること、語句を検出すること、話している人を検出すること)、メディアコンテンツを管理すること、メディアコンテンツをユーザに提示すること、ユーザの会話への応答を管理すること、任意の他の好適なアクションを実施してコンテンツの管理を支援すること、または、それらの任意の組み合わせを行うように構成され得る。例えば、電子アシスタントは、発話においてパターンを検出し、電子アシスタントの所望されるアクションを示し得る1つ以上のウェイクワードを認識し得る。例証的に、ユーザが、例えば、「起きて」と話し得、電子アシスタントが、発話認識を開始し得る。いくつかの実施形態において、電子アシスタントは、ウェイクワードの発言、またはコマンドが所望されるという他の指示(例えば、ユーザによる)なしに、発話を認識し得る。
本明細書に議論される実施形態のいずれかを実施するためのメディアガイドアプリケーションおよび/または任意の命令は、コンピュータ読み取り可能な媒体上にエンコードされ得る。コンピュータ読み取り可能な媒体は、データを記憶することが可能な任意の媒体を含む。コンピュータ読み取り可能な媒体は、限定ではないが、電気もしくは電磁信号の伝搬を含む一過性であり得るか、または、限定ではないが、ハードディスク、フロッピー(登録商標)ディスク、USBドライブ、DVD、CD、メディアカード、レジスタメモリ、プロセッサキャッシュ、ランダムアクセスメモリ(「RAM」)等の揮発性および不揮発性コンピュータメモリもしくは記憶デバイスを含む非一過性であり得る。
インターネット、モバイルコンピューティング、および高速無線ネットワークの出現に伴って、ユーザは、従来は使用しなかったユーザ機器デバイス上でメディアにアクセスしている。本明細書で参照されるように、語句「ユーザ機器デバイス」、「ユーザ機器」、「ユーザデバイス」、「電子デバイス」、「電子機器」、「メディア機器デバイス」、または「メディアデバイス」は、テレビ、スマートTV、セットトップボックス、衛星テレビに対応するための統合型受信機デコーダ(IRD)、デジタル記憶デバイス、デジタルメディア受信機(DMR)、デジタルメディアアダプタ(DMA)、ストリーミングメディアデバイス、DVDプレーヤ、DVDレコーダ、接続型DVD、ローカルメディアサーバ、BLU-RAY(登録商標)プレーヤ、BLU-RAY(登録商標)レコーダ、パーソナルコンピュータ(PC)、ラップトップコンピュータ、タブレットコンピュータ、ウェブTVボックス、パーソナルコンピュータテレビ(PC/TV)、PCメディアサーバ、PCメディアセンター、ハンドヘルドコンピュータ、固定電話、携帯情報端末(PDA)、携帯電話、ポータブルビデオプレーヤ、ポータブル音楽プレーヤ、ポータブルゲーム機、スマートフォン、または任意の他のテレビ機器、コンピューティング機器、もしくは無線デバイス、および/またはそれらの組み合わせ等の上で説明されるコンテンツにアクセスするための任意のデバイスを意味すると理解されたい。いくつかの実施形態において、ユーザ機器デバイスは、正面画面および裏面画面、複数の正面画面、または複数の角度付き画面を有し得る。いくつかの実施形態において、ユーザ機器デバイスは、正面カメラおよび/または裏面カメラを有し得る。これらのユーザ機器デバイス上で、ユーザは、テレビを通して利用可能な同じコンテンツ間をナビゲートし、それを見つけることが可能であり得る。その結果として、メディアガイドは、これらのデバイス上でも利用可能であり得る。提供されるガイドは、テレビのみを通して利用可能なコンテンツ、他のタイプのユーザ機器デバイスのうちの1つ以上のもののみを通して利用可能なコンテンツ、もしくはテレビおよび他のタイプのユーザ機器デバイスのうちの1つ以上のものの両方を通して利用可能なコンテンツのためのものであり得る。メディアガイドアプリケーションは、ユーザ機器デバイス上で、オンラインアプリケーション(すなわち、ウェブサイト上で提供される)として、または独立型アプリケーションもしくはクライアントとして提供され得る。メディアガイドアプリケーションを実装し得る種々のデバイスおよびプラットフォームは、下でより詳細に説明される。
メディアガイドアプリケーションの機能のうちの1つは、メディアガイドデータをユーザに提供することである。本明細書で参照されるように、語句「メディアガイドデータ」または「ガイドデータ」は、コンテンツに関連する任意のデータもしくはガイドアプリケーションを動作させることにおいて使用されるデータを意味すると理解されたい。例えば、ガイドデータは、番組情報、ガイドアプリケーション設定値、ユーザ選好、ユーザプロファイル情報、メディアリスト項目、メディア関連情報(例えば、放送時間、放送チャネル、タイトル、内容、評価情報(例えば、ペアレンタルコントロール評価、批評家の評価等)、ジャンルまたはカテゴリ情報、俳優情報、放送会社またはプロバイダのロゴのロゴデータ等)、メディア形式(例えば、標準解像度、高解像度、3D等)、オンデマンド情報、ブログ、ウェブサイト、およびユーザが所望のコンテンツ選択間をナビゲートし、それを見つけるために役立つ任意の他のタイプのガイドデータを含み得る。
図3-4は、メディアガイドデータを提供するために使用され得る例証的表示画面を示す。図3-4に示される表示画面は、任意の好適なユーザ機器デバイスまたはプラットフォーム上に実装され得る。図3-4の表示は、フル画面表示として図示されているが、それらは、表示されているコンテンツ上に完全または部分的にオーバーレイされることもある。ユーザは、表示画面に提供された選択可能なオプション(例えば、メニューオプション、リスト項目オプション、アイコン、ハイパーリンク等)を選択することによって、またはリモートコントロールもしくは他のユーザ入力インターフェースまたはデバイス上の専用ボタン(例えば、「ガイド」ボタン)を押すことによって、コンテンツ情報にアクセスする要望を示し得る。ユーザの指示に応答して、メディアガイドアプリケーションは、グリッド内の時間およびチャネル別、時間別、チャネル別、ソース別、コンテンツタイプ別、カテゴリ別(例えば、映画、スポーツ、ニュース、子供向け、または他の番組カテゴリ)、または他の所定、ユーザ定義、もしくは他の編成基準等のいくつかの方法のうちの1つにおいて編成されたメディアガイドデータを表示画面に提供し得る。
図3は、単一表示内の異なるタイプのコンテンツへのアクセスも可能にする時間およびチャネル別に配列された番組リスト項目表示300の例証的グリッドを示す。表示300は、以下を含み得る:(1)各チャネル/コンテンツタイプ識別子(列内のセル)が利用可能な異なるチャネルまたはコンテンツのタイプを識別するチャネル/コンテンツタイプ識別子304の列、および、(2)各時間識別子(行内のセル)が番組の時間帯を識別する時間識別子306の行を伴うグリッド302。グリッド302は、番組リスト項目308等の番組リスト項目のセルも含み、各リスト項目は、リスト項目の関連チャネルおよび時間の上に提供される番組のタイトルを提供する。ユーザ入力デバイスを用いて、ユーザは、ハイライト領域310を移動させることによって番組リスト項目を選択することができる。ハイライト領域310によって選択される番組リスト項目に関する情報が、番組情報領域312内に提供され得る。領域312は、例えば、番組タイトル、番組内容、番組が提供される時間(該当する場合)、番組が放送されるチャネル(該当する場合)、番組の評価、および他の所望の情報を含み得る。
線形番組(例えば、所定の時間に複数のユーザ機器デバイスに伝送されるようにスケジュールされ、スケジュールに従って提供されるコンテンツ)にアクセスを提供することに加えて、メディアガイドアプリケーションは、非線形番組(例えば、任意の時間においてユーザ機器デバイスにアクセス可能であり、スケジュールに従って提供されないコンテンツ)へのアクセスも提供する。非線形番組は、オンデマンドコンテンツ(例えば、VOD)、インターネットコンテンツ(例えば、ストリーミングメディア、ダウンロード可能メディア等)、ローカルで記憶されたコンテンツ(例えば、上で説明される任意のユーザ機器デバイスまたは他の記憶デバイス上に記憶されたコンテンツ)、または時間的制約のない他のコンテンツを含む異なるコンテンツソースからのコンテンツを含み得る。オンデマンドコンテンツは、映画または特定のコンテンツプロバイダ(例えば、「The Sopranos」や「Curb Your Enthusiasm」を提供するHBO On Demand)によって提供される任意の他のコンテンツを含み得る。HBO ON DEMANDは、Time Warner Company L. P. et al.によって所有されるサービスマークであり、THE SOPRANOSおよびCURB YOUR ENTHUSIASMは、Home Box Office,Inc.によって所有される商標である。インターネットコンテンツは、チャットセッションまたはウェブキャスト等のウェブイベント、もしくはインターネットウェブサイトまたは他のインターネットアクセス(例えば、FTP)を通して、ストリーミングコンテンツまたはダウンロード可能なコンテンツとしてオンデマンドで利用可能なコンテンツを含み得る。
グリッド302は、オンデマンドリスト項目314、録画コンテンツリスト項目316、およびインターネットコンテンツリスト項目318を含む非線形番組のメディアガイドデータを提供し得る。異なるタイプのコンテンツソースからのコンテンツのためのメディアガイドデータを組み合わせる表示は、時として、「混合メディア」表示と称されることもある。表示300と異なる表示され得るメディアガイドデータのタイプの種々の順列は、ユーザ選択またはガイドアプリケーション定義に基づき得る(例えば、録画および放送リスト項目のみの表示、オンデマンドおよび放送リスト項目のみの表示等)。例証されるように、リスト項目314、316、および318は、これらのリスト項目の選択が、それぞれ、オンデマンドリスト項目、録画リスト項目、またはインターネットリスト項目専用の表示へのアクセスを提供し得ることを示すために、グリッド302内に表示される時間帯全体に及ぶものとして示されている。いくつかの実施形態において、これらのコンテンツタイプのリスト項目は、グリッド302に直接含まれ得る。ユーザがナビゲーションアイコン320のうちの1つを選択することに応答して、追加のメディアガイドデータが表示され得る。(ユーザ入力デバイス上の矢印キーを押すことは、ナビゲーションアイコン320を選択することと同様に表示に影響を及ぼし得る)。
表示300は、ビデオ領域322およびオプション領域324も含み得る。ビデオ領域322は、ユーザが、ユーザに現在利用可能である番組、今後利用可能となる番組、もしくは利用可能であった番組を視聴および/またはプレビューすることを可能にし得る。ビデオ領域322のコンテンツは、グリッド302に表示されるリスト項目のうちの1つに対応するか、または、それから独立し得る。ビデオ領域を含むグリッド表示は、時として、ピクチャインガイド(PIG)表示と称されることもある。PIG表示およびそれらの機能性は、2003年5月13日に発行されたSatterfield et al.の米国特許第6,564,378号、および2001年5月29日に発行されたYuen et al.の米国特許第6,239,794号(それらの全体として参照することによって本明細書に組み込まれる)でより詳細に説明されている。PIG表示は、本明細書に説明される実施形態の他のメディアガイドアプリケーション表示画面に含まれ得る。
オプション領域324は、ユーザが、異なるタイプのコンテンツ、メディアガイドアプリケーション表示、および/またはメディアガイドアプリケーション特徴にアクセスすることを可能にし得る。オプション領域324は、表示300(および本明細書に説明される他の表示画面)の一部であり得るか、または、画面上のオプションを選択すること、もしくはユーザ入力デバイス上の専用または割り当て可能ボタンを押すことによって、ユーザによって呼び出され得る。オプション領域324内の選択可能オプションは、グリッド302内の番組リスト項目に関連する特徴に関し得るか、または、メインメニュー表示から利用可能なオプションを含み得る。番組リスト項目に関連する特徴は、他の放送時間または番組の受信方法の検索、番組の録画、番組の連続録画の有効化、番組および/またはチャネルをお気に入りとして設定、番組の購入、もしくは他の特徴を含み得る。メインメニュー表示から利用可能なオプションは、検索オプション、VODオプション、ペアレンタルコントロールオプション、インターネットオプション、クラウドベースのオプション、デバイス同期オプション、第2の画面デバイスオプション、種々のタイプのメディアガイドデータ表示にアクセスするオプション、プレミアムサービスをサブスクライブするオプション、ユーザのプロファイルを編集するオプション、ブラウザオーバーレイにアクセスするオプション、または他のオプションを含み得る。
メディアガイドアプリケーションは、ユーザの選好に基づいて個人化され得る。個人化されたメディアガイドアプリケーションは、ユーザが、メディアガイドアプリケーションを用いて個人化された「体験」を生成するように、表示および特徴をカスタマイズすることを可能にする。この個人化された体験は、ユーザがこれらのカスタマイズを入力することを可能にすることによって、および/または種々のユーザ選好を決定するようにメディアガイドアプリケーションがユーザアクティビティを監視することによって、生成され得る。ユーザは、ログインすることによって、または別様にガイドアプリケーションに対して自らを識別することによって、それらの個人化されたガイドアプリケーションにアクセスし得る。メディアガイドアプリケーションのカスタマイズは、ユーザプロファイルに従って作成され得る。カスタマイズは、提示方式(例えば、表示の色方式、テキストのフォントサイズ等)、表示されるコンテンツリスト項目の側面(例えば、HDTV番組のみまたは3D番組のみ、お気に入りチャネル選択に基づいたユーザ指定の放送チャネル、チャネルの表示の並び替え、推奨コンテンツ等)、所望の録画特徴(例えば、特定のユーザに対する録画または連続録画、録画品質等)、ペアレンタルコントロール設定、インターネットコンテンツのカスタマイズされた提示(例えば、ソーシャルメディアコンテンツ、電子メール、電子的に配信された記事等の提示)、および他の所望のカスタマイズを変更することを含み得る。
メディアガイドアプリケーションは、ユーザが、ユーザプロファイル情報を提供することを可能にし得るか、または、ユーザプロファイル情報を自動的にコンパイルし得る。メディアガイドアプリケーションは、例えば、ユーザがアクセスするコンテンツ、および/またはユーザがガイドアプリケーションと行い得る他の相互作用を監視し得る。加えて、メディアガイドアプリケーションは、特定のユーザに関連する他のユーザプロファイルの全体または一部を取得し(例えば、www.Tivo.com等のユーザがアクセスするインターネット上の他のウェブサイトから、ユーザがアクセスする他のメディアガイドアプリケーションから、ユーザがアクセスする他の双方向アプリケーションから、ユーザの別のユーザ機器デバイスから等)、および/またはメディアガイドアプリケーションがアクセスし得る他のソースから、ユーザについての情報を取得し得る。結果として、ユーザは、ユーザの異なるユーザ機器デバイスにわたって、統一されたガイドアプリケーション体験を提供されることができる。このタイプのユーザ体験は、図6に関連して下でより詳細に説明される。追加の個人化されたメディアガイドアプリケーション特徴は、2005年7月11日に出願されたEllis et al.の米国特許出願公開第2005/0251827号、2007年1月16日に発行されたBoyer et al.の米国特許第7,165,098号、および2002年2月21日に出願されたEllis et al.の米国特許出願公開第2002/0174430号(それらの全体として参照することによって本明細書に組み込まれる)でより詳細に説明されている。
メディアガイドを提供するための別の表示配列が、図4に示されている。ビデオモザイク表示400は、コンテンツのタイプ、ジャンル、および/または他の編成基準に基づいて編成されたコンテンツ情報のための選択可能オプション402を含む。表示400では、テレビリスト項目オプション404が選択され、したがって、リスト項目406、408、410、および412を放送番組リスト項目として提供する。表示400では、リスト項目は、カバーアート、コンテンツからの静止画像、ビデオクリップのプレビュー、コンテンツからのライブビデオ、またはリスト項目中のメディアガイドデータによって記述されているコンテンツをユーザに示す他のタイプのコンテンツを含むグラフィック画像を提供し得る。グラフィックリスト項目の各々は、リスト項目に関連付けられたコンテンツに関するさらなる情報を提供するためのテキストも伴い得る。例えば、リスト項目408は、メディア部分414およびテキスト部分416を含む2つ以上の部分を含み得る。メディア部分414および/またはテキスト部分416は、コンテンツをフル画面で視聴するために、またはメディア部分414に表示されるコンテンツに関連する情報を閲覧するために(例えば、ビデオが表示されるチャネルのリスト項目を閲覧するように)、選択可能であり得る。
表示400内のリスト項目は、異なるサイズである(すなわち、リスト項目406は、リスト項目408、410、および412より大きい)が、所望に応じて、全てのリスト項目が同じサイズであり得る。リスト項目は、コンテンツプロバイダの所望に応じて、またはユーザ選好に基づいて、ユーザの関心の程度を示すために、またはあるコンテンツを強調するために、異なるサイズであるか、またはグラフィック的に強調され得る。コンテンツリスト項目をグラフィック的に強調するための種々のシステムおよび方法は、例えば、2009年11月12日に出願されたYatesの米国特許出願公開第2010/0153885号(その全体として参照することによって本明細書に組み込まれる)に議論されている。
ユーザは、そのユーザ機器デバイスのうちの1つ以上のものから、コンテンツおよびメディアガイドアプリケーション(および、上および下で説明されるその表示画面)にアクセスし得る。図5は、例証的ユーザ機器デバイス500の汎用実施形態を示す。ユーザ機器デバイスのより具体的な実装は、図6に関連して下で議論される。ユーザ機器デバイス500は、入出力(以下「I/O」)パス502を介して、コンテンツおよびデータを受信し得る。I/Oパス502は、処理回路506および記憶装置508を含む制御回路504に、コンテンツ(例えば、放送番組、オンデマンド番組、インターネットコンテンツ、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を経由して利用可能なコンテンツ、および/または他のコンテンツ)およびデータを提供し得る。制御回路504は、I/Oパス502を使用して、コマンド、要求、および他の好適なデータを送受信するために使用され得る。I/Oパス502は、制御回路504(具体的に、処理回路506)を1つ以上の通信パス(下で説明される)に接続し得る。I/O機能は、これらの通信パスのうちの1つ以上のものによって提供され得るが、図面が複雑になり過ぎることを回避するため、図5では単一パスとして示されている。
制御回路504は、処理回路506等の任意の好適な処理回路に基づき得る。本明細書で参照されるように、処理回路は、1つ以上のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)等に基づく回路を意味すると理解され、マルチコアプロセッサ(例えば、デュアルコア、クアドコア、ヘクサコア、または任意の好適な数のコア)またはスーパーコンピュータを含み得る。いくつかの実施形態において、処理回路は、複数の別個のプロセッサまたは処理ユニット、例えば、複数の同じタイプの処理ユニット(例えば、2つのIntel Core i7プロセッサ)または複数の異なるプロセッサ(例えば、Intel Core i5プロセッサおよびIntel Core i7プロセッサ)にわたって分散され得る。いくつかの実施形態において、制御回路504は、メモリ(すなわち、記憶装置508)に記憶されたメディアガイドアプリケーションに対する命令を実行する。具体的に、制御回路504は、メディアガイドアプリケーションによって、上および下で議論される機能を果たすように命令され得る。例えば、メディアガイドアプリケーションは、制御回路504に、メディアガイド表示を生成するための命令を提供し得る。いくつかの実装では、制御回路504によって実施される任意のアクションは、メディアガイドアプリケーションから受信される命令に基づき得る。
クライアントサーバベースの実施形態において、制御回路504は、ガイドアプリケーションサーバまたは他のネットワークもしくはサーバと通信するための好適な通信回路を含み得る。上で述べられる機能性を実施するための命令は、ガイドアプリケーションサーバ上に記憶され得る。通信回路は、ケーブルモデム、総合デジタル通信網(ISDN)モデム、デジタルサブスクライバ回線(DSL)モデム、電話モデム、イーサネット(登録商標)カード、または他の機器との通信用の無線モデム、もしくは任意の他の好適な通信回路を含み得る。そのような通信は、インターネットまたは任意の他の好適な通信ネットワークもしくはパスを伴い得る(図6に関連してより詳細に説明される)。加えて、通信回路は、ユーザ機器デバイスのピアツーピア通信、または互いに遠隔の場所にあるユーザ機器デバイスの通信を可能にする回路を含み得る(下でより詳細に説明される)。
メモリは、制御回路504の一部である、記憶装置508として提供される電子記憶デバイスであり得る。本明細書で参照されるように、語句「電子記憶デバイス」または「記憶デバイス」は、ランダムアクセスメモリ、読み取り専用メモリ、ハードドライブ、光学ドライブ、デジタルビデオディスク(DVD)レコーダ、コンパクトディスク(CD)レコーダ、BLU-RAY(登録商標)ディスク(BD)レコーダ、BLU-RAY(登録商標) 3Dディスクレコーダ、デジタルビデオレコーダ(DVR、または時として、パーソナルビデオレコーダもしくはPVRと呼ばれる)、ソリッドステートデバイス、量子記憶デバイス、ゲームコンソール、ゲームメディア、または任意の他の好適な固定もしくはリムーバブル記憶デバイス、および/またはそれらの任意の組み合わせ等の電子データ、コンピュータソフトウェア、もしくはファームウェアを記憶するための任意のデバイスを意味すると理解されたい。記憶装置508は、本明細書に説明される種々のタイプのコンテンツ、および上で説明されるメディアガイドデータを記憶するために使用され得る。不揮発性メモリも、(例えば、ブートアップルーチンおよび他の命令を起動するために)使用され得る。図6に関連して説明されるクラウドベースの記憶装置が、記憶装置508を補完するために使用されるか、または、記憶装置508の代わりに使用され得る。
制御回路504は、1つ以上のアナログチューナ、1つ以上のMPEG-2デコーダ、もしくは他のデジタルデコード回路、高解像度チューナ、または任意の他の好適な同調もしくはビデオ回路、またはそのような回路の組み合わせ等のビデオ生成回路および同調回路を含み得る。(例えば、記憶するために、無線、アナログ、またはデジタル信号をMPEG信号に変換するための)エンコード回路も、提供され得る。制御回路504は、コンテンツをユーザ機器500の好ましい出力形式に上方変換および下方変換するためのスケーリング回路も含み得る。回路504は、デジタル信号とアナログ信号との間で変換するためのデジタル/アナログ変換回路およびアナログ/デジタル変換回路を含み得る。同調およびエンコード回路は、コンテンツを受信して表示するか、再生するか、または、録画するために、ユーザ機器デバイスによって使用され得る。同調およびエンコード回路は、ガイドデータを受信するためにも使用され得る。例えば、同調、ビデオ生成、エンコード、デコード、暗号化、解読、スケーリング、およびアナログ/デジタル回路を含む本明細書に説明される回路は、1つ以上の汎用もしくは特殊プロセッサ上で起動するソフトウェアを使用して実装され得る。複数のチューナが、同時同調機能(例えば、視聴および録画機能、ピクチャインピクチャ(PIP)機能、多重チューナ録画機能等)に対処するように提供され得る。記憶装置508が、ユーザ機器500とは別のデバイスとして提供される場合、同調およびエンコード回路(複数のチューナを含む)は、記憶装置508に関連付けられ得る。
ユーザは、ユーザ入力インターフェース510を使用して、命令を制御回路504に送信し得る。ユーザ入力インターフェース510は、リモートコントロール、マウス、トラックボール、キーパッド、キーボード、タッチスクリーン、タッチパッド、スタイラス入力、ジョイスティック、音声認識インターフェース、または他のユーザ入力インターフェース等の任意の好適なユーザインターフェースであり得る。ディスプレイ512は、独立型デバイスとして提供されるか、または、ユーザ機器デバイス500の他の要素と統合され得る。例えば、ディスプレイ512は、タッチスクリーンまたはタッチセンサ式ディスプレイであり得る。そのような状況において、ユーザ入力インターフェース510は、ディスプレイ512と統合されるか、または、組み合わせられ得る。ディスプレイ512は、モニタ、テレビ、モバイルデバイス用液晶ディスプレイ(LCD)、非晶質シリコンディスプレイ、低温ポリシリコンディスプレイ、電子インクディスプレイ、電気泳動ディスプレイ、アクティブマトリクスディスプレイ、エレクトロウェッティングディスプレイ、電気流体ディスプレイ、ブラウン管ディスプレイ、発光ダイオードディスプレイ、エレクトロルミネセントディスプレイ、プラズマディスプレイパネル、高性能アドレッシングディスプレイ、薄膜トランジスタディスプレイ、有機発光ダイオードディスプレイ、表面伝導型電子放出素子ディスプレイ(SED)、レーザテレビ、カーボンナノチューブ、量子ドットディスプレイ、干渉変調器ディスプレイ、もしくは視覚的画像を表示するための任意の他の好適な機器のうちの1つ以上のものであり得る。いくつかの実施形態において、ディスプレイ512は、HDTV対応型であり得る。いくつかの実施形態において、ディスプレイ512は、3Dディスプレイであり得、双方向メディアガイドアプリケーションおよび任意の好適なコンテンツは、3Dで表示され得る。ビデオカードまたはグラフィックカードは、ディスプレイ512への出力を生成し得る。ビデオカードは、3Dシーンおよび2Dグラフィックのレンダリング加速、MPEG-2/MPEG-4デコード、TV出力、または複数のモニタを接続する能力等の種々の機能を提供し得る。ビデオカードは、制御回路504に関連する上で説明される任意の処理回路であり得る。ビデオカードは、制御回路504と統合され得る。スピーカ514は、ユーザ機器デバイス500の他の要素と統合されたものとして提供され得るか、または、独立型ユニットであり得る。ディスプレイ512上に表示されるビデオおよび他のコンテンツのオーディオコンポーネントは、スピーカ514を通して再生され得る。いくつかの実施形態において、オーディオは、スピーカ514を介して音声を処理および出力する、受信機(図示せず)に配布され得る。
ガイドアプリケーションは、任意の好適なアーキテクチャを使用して実装され得る。例えば、それは、ユーザ機器デバイス500上で完全に実装される独立型アプリケーションであり得る。そのようなアプローチでは、アプリケーションの命令は、ローカルで(例えば、記憶装置508内に)記憶され、アプリケーションによって使用するためのデータは、周期的にダウンロードされる(例えば、帯域外フィードから、インターネットリソースから、または別の好適なアプローチを使用して)。制御回路504は、記憶装置508からアプリケーションの命令を読み出し、本明細書に議論される表示のうちのいずれかを生成するための命令を処理し得る。処理された命令に基づいて、制御回路504は、入力が入力インターフェース510から受信されるときに実施するアクションを決定し得る。例えば、表示上のカーソルの上/下への移動は、入力インターフェース510が上/下ボタンが選択されたことを示すとき、処理された命令によって示され得る。
いくつかの実施形態において、メディアガイドアプリケーションは、クライアントサーバベースのアプリケーションである。ユーザ機器デバイス500上に実装されるシックまたはシンクライアントによって使用するためのデータは、ユーザ機器デバイス500の遠隔にあるサーバに要求を発行することによって、オンデマンドで読み出される。クライアントサーバベースのガイドアプリケーションの一例において、制御回路504は、遠隔サーバによって提供されるウェブページを解釈するウェブブラウザを起動する。例えば、遠隔サーバは、記憶デバイス内にアプリケーションのための命令を記憶し得る。遠隔サーバは、回路(例えば、制御回路504)を使用して、記憶された命令を処理し、上および下で議論される表示を生成し得る。クライアントデバイスは、遠隔サーバによって生成される表示を受信し得、表示のコンテンツを機器デバイス500上にローカルで表示し得る。このように、命令の処理が、サーバによって遠隔で実施される一方、結果として生じる表示は、機器デバイス500上にローカルで提供される。機器デバイス500は、入力インターフェース510を介して、ユーザからの入力を受信し、対応する表示を処理および生成するために、それらの入力を遠隔サーバに伝送し得る。例えば、機器デバイス500は、上/下ボタンが入力インターフェース510を介して選択されたことを示す通信を遠隔サーバに伝送し得る。遠隔サーバは、その入力に従って命令を処理し、入力に対応するアプリケーションの表示を生成し得る(例えば、カーソルを上/下に移動させる表示)。生成された表示は、次いで、ユーザへの提示のために、機器デバイス500に伝送される。
いくつかの実施形態において、メディアガイドアプリケーションは、インタープリタまたは仮想マシン(制御回路504によって起動される)によって、ダウンロードされ、解釈または別様に起動される。いくつかの実施形態において、ガイドアプリケーションは、ETVバイナリ交換形式(ETV Binary Interchange Format/EBIF)でエンコードされ、好適なフィードの一部として制御回路504によって受信され、制御回路504上で起動するユーザエージェントによって解釈され得る。例えば、ガイドアプリケーションは、EBIFアプリケーションであり得る。いくつかの実施形態において、ガイドアプリケーションは、制御回路504によって実行されるローカル仮想マシンまたは他の好適なミドルウェアによって受信および起動される一連のJAVA(登録商標)ベースのファイルによって定義され得る。そのような実施形態のうちのいくつか(例えば、MPEG-2または他のデジタルメディアエンコードスキームを採用するもの)では、ガイドアプリケーションは、例えば、番組のMPEGオーディオおよびビデオパケットを用いたMPEG-2オブジェクトカルーセルにおいてエンコードおよび伝送され得る。
オーディオ入力デバイス520は、マイクロホン、または環境(例えば、会話している近傍のユーザ)からオーディオ信号を受信し、オーディオ信号を、電子信号、光学信号、処理および通信され得る任意の他の信号、もしくはそれらの任意の組み合わせに変換し得る他の好適なデバイスを含み得る。オーディオ入力デバイス520は、ワイヤコイルタイプマイクロホン、容量マイクロホン、圧電マイクロホン、前置増幅器、信号増幅器、信号調整器、フィルタ、任意の他の好適なコンポーネント、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態において、オーディオ入力デバイス520は、オーディオ信号を処理し、(例えば、さらなる処理のために)処理された信号を制御回路506に通信するための処理回路を含み得る。いくつかの実施形態において、オーディオ入力デバイス520は、(例えば、音波を電気または光学信号に変換するための)機構を含み得、信号の大部分の実質的処理は、制御回路506によって実施される。例えば、オーディオ入力デバイス520は、マイクロホンと、対応する電気信号を制御回路506に伝送するための増幅器とを含み得、制御回路506は、発話認識、音声認識を実施するか、または、別様に口頭会話を処理し得る。いくつかの実施形態において、オーディオ入力デバイス520は、ユーザデバイスの一部として統合され得る(例えば、内蔵マイクロホン)。例えば、図1を参照すると、ユーザデバイス102は、発話を検出するための統合型マイクロホンを含み得る。
図5のユーザ機器デバイス500は、ユーザテレビ機器602、ユーザコンピュータ機器604、無線ユーザ通信デバイス606、または非ポータブルゲーム機等のコンテンツにアクセスするために好適な任意の他のタイプのユーザ機器として、図6のシステム600に実装されることができる。簡単にするために、これらのデバイスは、本明細書では総称して、ユーザ機器またはユーザ機器デバイスと称され得、上で説明されるユーザ機器デバイスに実質的に類似し得る。メディアガイドアプリケーションが実装され得るユーザ機器デバイスは、独立型デバイスとして機能し得るか、または、デバイスのネットワークの一部であり得る。デバイスの種々のネットワーク構成が実装され得、下でより詳細に議論される。
図5に関連して上で説明されるシステム特徴のうちの少なくともいくつかを利用するユーザ機器デバイスは、単に、ユーザテレビ機器602、ユーザコンピュータ機器604、または無線ユーザ通信デバイス606として分類されないこともある。例えば、ユーザテレビ機器602は、いくつかのユーザコンピュータ機器604のように、インターネットコンテンツへのアクセスを可能にするインターネット対応型であり得る一方、ユーザコンピュータ機器604は、あるテレビ機器602のように、テレビ番組へのアクセスを可能にするチューナを含み得る。メディアガイドアプリケーションは、種々の異なるタイプのユーザ機器上で同一レイアウトを有し得るか、または、ユーザ機器の表示能力に合わせられ得る。例えば、ユーザコンピュータ機器604上で、ガイドアプリケーションは、ウェブブラウザによってアクセスされるウェブサイトとして提供され得る。別の例において、ガイドアプリケーションは、無線ユーザ通信デバイス606用に縮小され得る。
システム600では、典型的に、各タイプのユーザ機器デバイスが2つ以上存在するが、図面が複雑になり過ぎることを回避するために、各々のために1つのみが図6に示されている。加えて、各ユーザは、2つ以上のタイプのユーザ機器デバイスを利用し得、各タイプのユーザ機器デバイスのうちの2つ以上のものも利用し得る。
いくつかの実施形態において、ユーザ機器デバイス(例えば、ユーザテレビ機器602、ユーザコンピュータ機器604、無線ユーザ通信デバイス606)は、「第2の画面デバイス」と称され得る。例えば、第2の画面デバイスは、第1のユーザ機器デバイス上に提示されるコンテンツを補完し得る。第2の画面デバイス上に提示されるコンテンツは、第1のデバイス上に提示されるコンテンツを補完する任意の好適なコンテンツであり得る。いくつかの実施形態において、第2の画面デバイスは、第1のデバイスの設定および表示選好を調節するためのインターフェースを提供する。いくつかの実施形態において、第2の画面デバイスは、他の第2の画面デバイスと相互作用するか、または、ソーシャルネットワークと相互作用するために構成される。第2の画面デバイスは、第1のデバイスと同じ部屋内に、第1のデバイスと異なる部屋であるが同じ家または建物内に、または、第1のデバイスと異なる建物内に位置することができる。
ユーザは、家庭内デバイスおよび遠隔デバイスにわたって一貫したメディアガイドアプリケーション設定を維持するように、種々の設定を設定することもある。設定は、本明細書に説明されるそれらのみならず、お気に入りのチャネルおよび番組、番組を推奨するためにガイドアプリケーションが利用する番組選好、表示選好、および他の望ましいガイド設定も含む。例えば、ユーザが、そのオフィスのパーソナルコンピュータ上で、例えば、ウェブサイトwww.Tivo.comの上で、チャネルをお気に入りとして設定した場合、同じチャネルが、ユーザの家庭内デバイス(例えば、ユーザテレビ機器およびユーザコンピュータ機器)上で、および、所望に応じて、ユーザのモバイルデバイス上でお気に入りとして表示されるであろう。したがって、同一または異なるタイプのユーザ機器デバイスであるかどうかにかかわらず、1つのユーザ機器デバイス上で行われる変更は、別のユーザ機器デバイス上のガイド体験を変更することができる。加えて、行われる変更は、ユーザによって入力される設定、およびガイドアプリケーションによって監視されるユーザアクティビティに基づき得る。
ユーザ機器デバイスは、通信ネットワーク614に結合され得る。すなわち、ユーザテレビ機器602、ユーザコンピュータ機器604、および無線ユーザ通信デバイス606は、それぞれ、通信パス608、610、および612を介して、通信ネットワーク614に結合される。通信ネットワーク614は、インターネット、携帯電話ネットワーク、モバイルボイスまたはデータネットワーク(例えば、4GまたはLTEネットワーク)、ケーブルネットワーク、公衆交換電話ネットワーク、または他のタイプの通信ネットワーク、もしくは通信ネットワークの組み合わせを含む1つ以上のネットワークであり得る。パス608、610、および612は、別個または一緒に、衛星パス、光ファイバパス、ケーブルパス、インターネット通信をサポートするパス(例えば、IPTV)、フリースペース接続(例えば、放送または他の無線信号用)、もしくは任意の他の好適な有線または無線通信パス、もしくはそのようなパスの組み合わせ等の1つ以上の通信パスを含み得る。パス612は、図6に示される例示的実施形態において、無線パスであることを示すために破線で描かれ、パス608および610は、有線パスであることを示すために実線として描かれている(しかし、これらのパスは、所望に応じて、無線パスであり得る)。ユーザ機器デバイスとの通信は、これらの通信パスのうちの1つ以上のものによって提供され得るが、図6では、図面が複雑になり過ぎることを回避するために、単一パスとして示されている。
通信パスは、ユーザ機器デバイス間に描かれていないが、これらのデバイスは、パス608、610、および612に関連して上で説明されるそれらのみならず、USBケーブル、IEEE 1394ケーブル、無線パス(例えば、Bluetooth(登録商標)、赤外線、IEEE 802-11x等)等の他の短距離ポイントツーポイント通信パス、もしくは有線または無線パスを介した他の短距離通信等の通信パスを介して、互いに直接通信し得る。BLUETOOTH(登録商標)は、Bluetooth(登録商標) SIG,INC.によって所有される認証マークである。ユーザ機器デバイスはまた、通信ネットワーク614を介した間接パスを通して、互いに直接通信し得る。
システム600は、それぞれ、通信パス620および622を介して、通信ネットワーク614に結合されたコンテンツソース616およびメディアガイドデータソース618を含む。パス620および622は、パス608、610、および612に関連して上で説明される通信パスのうちのいずれかを含み得る。コンテンツソース616およびメディアガイドデータソース618との通信は、1つ以上の通信パスを介して交信され得るが、図6では、図面が複雑になり過ぎることを回避するために、単一パスとして示される。加えて、コンテンツソース616およびメディアガイドデータソース618の各々が2つ以上存在し得るが、図6では、図面が複雑になり過ぎることを回避するために、各々のために1つのみが示されている。(異なるタイプのこれらのソースの各々が下で議論される)。所望に応じて、コンテンツソース616およびメディアガイドデータソース618は、1つのソースデバイスとして統合され得る。ソース616および618と、ユーザ機器デバイス602、604、および606との間の通信は、通信ネットワーク614を通したものとして示されるが、いくつかの実施形態において、ソース616および618は、パス608、610、および612に関連して上で説明されるそれ等の通信パス(図示せず)を介して、ユーザ機器デバイス602、604、および606と直接通信し得る。
システム600は、通信パス626を介して通信ネットワーク614に結合された広告ソース624も含み得る。パス626は、パス608、610、および612に関連して上で説明される通信パスのうちのいずれかを含み得る。広告ソース624は、特定のユーザに伝送する広告およびその状況を決定するための広告論理を含み得る。例えば、ケーブルオペレータは、特定のチャネル上の特定のタイムスロット中に広告を挿入する権利を有し得る。したがって、広告ソース624は、これらのタイムスロット中に広告をユーザに伝送し得る。別の例として、広告ソースは、特定の番組を視聴することが把握されているユーザの人口統計(例えば、リアリティ番組を視聴する10代の若者)に基づいて、広告を標的化し得る。さらに別の例として、広告ソースは、メディアアセットを視聴するユーザ機器の場所(例えば、東海岸または西海岸)に応じて、異なる広告を提供し得る。
いくつかの実施形態において、広告ソース624は、標的化された広告を提供するために、ユーザに関連付けられた広告好適性スコアを含むユーザ情報を維持するように構成され得る。加えて、または代替として、広告ソース624に関連付けられたサーバは、広告好適性スコアを導出するために使用され得る未加工情報を記憶するように構成され得る。いくつかの実施形態において、広告ソース624は、未加工情報に関して要求を別のデバイスに伝送し、広告好適性スコアを計算し得る。広告ソース624は、特定のユーザ(例えば、ユーザの第1のサブセット、第2のサブセット、または第3のサブセット)のための広告好適性スコアを更新し、標的製品の広告を適切なユーザに伝送し得る。
コンテンツソース616は、テレビ配信施設、ケーブルシステムヘッドエンド、衛星配信施設、番組ソース(例えば、NBC、ABC、HBO等のテレビ放送会社)、中間配信施設および/またはサーバ、インターネットプロバイダ、オンデマンドメディアサーバ、および他のコンテンツプロバイダを含む1つ以上のタイプのコンテンツ配信機器を含み得る。NBCは、National Broadcasting Company,Inc.によって所有される商標であり、ABCは、American Broadcasting Company,INC.によって所有される商標であり、HBOは、Home Box Office,Inc.によって所有される商標である。コンテンツソース616は、コンテンツの発信元であることも(例えば、テレビ放送会社、ウェブキャストプロバイダ等)、コンテンツの発信元でないこともある(例えば、オンデマンドコンテンツプロバイダ、ダウンロード用放送番組のコンテンツのインターネットプロバイダ等)。コンテンツソース616は、ケーブルソース、衛星プロバイダ、オンデマンドプロバイダ、インターネットプロバイダ、オーバーザトップコンテンツプロバイダ、または他のコンテンツのプロバイダを含み得る。コンテンツソース616は、ユーザ機器デバイスのうちのいずれかから遠隔の場所にある、異なるタイプのコンテンツ(ユーザによって選択されるビデオコンテンツを含む)を記憶するために使用される遠隔メディアサーバを含み得る。コンテンツの遠隔記憶のため、および遠隔に記憶されたコンテンツをユーザ機器に提供するためのシステムならびに方法は、2010年7月20日に発行されたEllis et al.の米国特許第7,761,892号(その全体として参照することによって本明細書に組み込まれる)に関連して、より詳細に議論されている。
メディアガイドデータソース618は、上で説明されるメディアガイドデータ等のメディアガイドデータを提供し得る。メディアガイドデータは、任意の好適なアプローチを使用して、ユーザ機器デバイスに提供され得る。いくつかの実施形態において、ガイドアプリケーションは、データフィード(例えば、継続フィードまたはトリクルフィード)を介して、番組ガイドデータを受信する、独立型双方向テレビ番組ガイドであり得る。番組スケジュールデータおよび他のガイドデータは、テレビチャネルのサイドバンド上で、帯域内デジタル信号を使用して、帯域外デジタル信号を使用して、または任意の他の好適なデータ伝送技術によって、ユーザ機器に提供され得る。番組スケジュールデータおよび他のメディアガイドデータは、複数のアナログまたはデジタルテレビチャネル上でユーザ機器に提供され得る。
いくつかの実施形態において、メディアガイドデータソース618からのガイドデータは、クライアントサーバアプローチを使用して、ユーザの機器に提供され得る。例えば、ユーザ機器デバイスは、メディアガイドデータをサーバからプルし得るか、または、サーバは、メディアガイドデータをユーザ機器デバイスにプッシュし得る。いくつかの実施形態において、ユーザの機器上に常駐するガイドアプリケーションクライアントは、必要に応じて、例えば、ガイドデータが古くなっているとき、または、ユーザ機器デバイスが、データを受信する要求をユーザから受信するとき、ソース618とセッションを開始し、ガイドデータを取得し得る。メディアガイドは、任意の好適な頻度で(例えば、継続的に、毎日、ユーザ規定期間で、システム規定期間で、ユーザ機器からの要求に応答して等)ユーザ機器に提供され得る。メディアガイドデータソース618は、ユーザ機器デバイス602、604、および606に、メディアガイドアプリケーション自体、またはメディアガイドアプリケーションのソフトウェア更新を提供し得る。
いくつかの実施形態において、メディアガイドデータは、視聴者データを含み得る。例えば、視聴者データは、現在および/または履歴ユーザアクティビティ情報(例えば、ユーザが典型的に鑑賞するコンテンツ、ユーザがコンテンツを鑑賞する時刻、ユーザがソーシャルネットワークと相互作用するかどうか、ユーザがソーシャルネットワークと相互作用し、情報をポストする時間、ユーザが典型的に鑑賞するコンテンツのタイプ(例えば、有料TVまたは無料TV)、気分、脳の活動情報等)を含み得る。メディアガイドデータはまた、サブスクリプションデータを含み得る。例えば、サブスクリプションデータは、所与のユーザがサブスクライブするソースもしくはサービスおよび/または所与のユーザが以前にサブスクライブしていたが、後にアクセスを打ち切ったソースもしくはサービス(例えば、ユーザがプレミアムチャネルをサブスクライブしているかどうか、ユーザがプレミアムレベルのサービスを追加したかどうか、ユーザがインターネット速度を加速させたかどうか)を識別し得る。いくつかの実施形態において、視聴者データおよび/またはサブスクリプションデータは、1年を上回る期間の間の所与のユーザのパターンを識別し得る。メディアガイドデータは、所与のユーザがサービス/ソースへのアクセスを打ち切るであろう可能性を示すスコアを生成するために使用されるモデル(例えば、残存者モデル)を含み得る。例えば、メディアガイドアプリケーションは、所与のユーザが特定のサービスまたはソースへのアクセスを打ち切るであろうかどうかの可能性を示す値またはスコアを生成するためのモデルを使用して、サブスクリプションデータとともに視聴者データを処理し得る。特に、より高いスコアは、ユーザが特定のサービスまたはソースへのアクセスを打ち切るであろう、より高いレベルの信頼性を示し得る。スコアに基づいて、メディアガイドアプリケーションは、ユーザがアクセスを打ち切る可能性が高いであろうものとしてスコアによって示される特定のサービスまたはソースをユーザが維持するように勧誘する宣伝を生成し得る。
メディアガイドアプリケーションは、例えば、ユーザ機器デバイス上に実装される独立型アプリケーションであり得る。例えば、メディアガイドアプリケーションは、記憶装置508に記憶され、ユーザ機器デバイス500の制御回路504によって実行され得るソフトウェアまたは実行可能命令の組として実装され得る。いくつかの実施形態において、メディアガイドアプリケーションは、クライアント-サーバアプリケーションであり得、その場合、クライアントアプリケーションのみが、ユーザ機器デバイス上に常駐し、サーバアプリケーションは、遠隔サーバ上に常駐する。例えば、メディアガイドアプリケーションは、部分的に、ユーザ機器デバイス500の制御回路504上のクライアントアプリケーションとして、および遠隔サーバの制御回路上で起動するサーバアプリケーション(例えば、メディアガイドデータソース618)として部分的に遠隔サーバ上で、実装され得る。遠隔サーバの制御回路(メディアガイドデータソース618等)によって実行されると、メディアガイドアプリケーションは、制御回路に、ガイドアプリケーション表示を生成し、生成された表示をユーザ機器デバイスに伝送するように命令し得る。サーバアプリケーションは、メディアガイドデータソース618の制御回路に、ユーザ機器上での記憶のためのデータを伝送するように命令し得る。クライアントアプリケーションは、受信用ユーザ機器の制御回路に、ガイドアプリケーション表示を生成するように命令し得る。
ユーザ機器デバイス602、604、および606に配信されるコンテンツおよび/またはメディアガイドデータは、オーバーザトップ(OTT)コンテンツであり得る。OTTコンテンツ配信は、上で説明される任意のユーザ機器デバイスを含むインターネット対応型ユーザデバイスが、ケーブルまたは衛星接続を経由して受信されるコンテンツに加えて、上で説明される任意のコンテンツを含むインターネットを経由して転送されるコンテンツを受信することを可能にする。OTTコンテンツは、インターネットサービスプロバイダ(ISP)によって提供されるインターネット接続を介して配信されるが、第三者も、コンテンツを配布する。ISPは、視聴能力、著作権、またはコンテンツの再配布に責任がない場合があり、OTTコンテンツプロバイダによって提供されるIPパケットのみを転送し得る。OTTコンテンツプロバイダの例は、IPパケットを介してオーディオおよびビデオを提供するYOUTUBE(登録商標)、NETFLIX、ならびにHULUを含む。Youtube(登録商標)は、Google Inc.によって所有される商標であり、Netflixは、Netflix,Inc.によって所有される商標であり、Huluは、Hulu,LLC.によって所有される商標である。OTTコンテンツプロバイダは、加えて、または代替として、上で説明されるメディアガイドデータを提供し得る。コンテンツおよび/またはメディアガイドデータに加えて、OTTコンテンツのプロバイダは、メディアガイドアプリケーション(例えば、ウェブベースのアプリケーションまたはクラウドベースのアプリケーション)を配布することができるか、または、コンテンツは、ユーザ機器デバイス上に記憶されたメディアガイドアプリケーションによって表示されることができる。
メディアガイドシステム600は、いくつかのアプローチまたはネットワーク構成を例証することを意図しており、それによって、ユーザ機器デバイスおよびコンテンツおよびガイドデータのソースは、コンテンツにアクセスし、メディアガイドを提供する目的のために、互いに通信し得る。本明細書に説明される実施形態は、これらのアプローチのうちのいずれか1つまたは一部において、もしくはコンテンツを配信し、メディアガイドを提供するための他のアプローチを採用するシステムにおいて、適用され得る。以下の4つのアプローチは、図6の汎用例の具体的例証を提供する。
あるアプローチでは、ユーザ機器デバイスは、ホームネットワーク内で互いに通信し得る。ユーザ機器デバイスは、上で説明される短距離ポイントツーポイント通信方式を介して、ホームネットワーク上に提供されるハブまたは他の類似デバイスを通した間接パスを介して、もしくは通信ネットワーク614を介して、互いに直接通信することができる。1つの家庭内の複数の個人の各々が、ホームネットワーク上の異なるユーザ機器デバイスを動作させ得る。結果として、種々のメディアガイド情報または設定が、異なるユーザ機器デバイスの間で通信されることが望ましくあり得る。例えば、2005年7月11日に出願されたEllis et al.の米国特許公開第2005/0251827号でより詳細に説明されるように、ホームネットワーク内の異なるユーザ機器デバイス上で、ユーザが一貫したメディアガイドアプリケーション設定を維持することが望ましくあり得る。ホームネットワーク内の異なるタイプのユーザ機器デバイスも、互いに通信し、コンテンツを伝送し得る。例えば、ユーザは、ユーザコンピュータ機器からポータブルビデオプレーヤまたはポータブル音楽プレーヤにコンテンツを伝送し得る。
第2のアプローチでは、ユーザは、複数のタイプのユーザ機器を有し得、それによって、コンテンツにアクセスし、メディアガイドを取得する。例えば、一部のユーザは、家庭内およびモバイルデバイスによってアクセスされるホームネットワークを有し得る。ユーザは、遠隔デバイス上に実装されるメディアガイドアプリケーションを介して、家庭内デバイスを制御し得る。例えば、ユーザは、そのオフィスのパーソナルコンピュータ、またはPDAもしくはウェブ対応携帯電話等のモバイルデバイスを介して、ウェブサイト上のオンラインメディアガイドアプリケーションにアクセスし得る。ユーザは、オンラインガイドアプリケーション上で種々の設定(例えば、録画、リマインダ、または他の設定)を設定して、ユーザの家庭内機器を制御し得る。オンラインガイドは、直接、またはユーザの家庭内機器上のメディアガイドアプリケーションと通信することによって、ユーザの機器を制御し得る。ユーザ機器デバイスが互いに遠隔の場所にあるユーザ機器デバイスの通信のための種々のシステムおよび方法は、例えば、Ellis et al.の2011年10月25日に発行された米国特許第8,046,801号(その全体を参照することによって本明細書に組み込まれる)に議論されている。
第3のアプローチでは、家庭内外のユーザ機器デバイスのユーザは、コンテンツソース616と直接通信し、コンテンツにアクセスするために、そのメディアガイドアプリケーションを使用することができる。具体的に、家庭内では、ユーザテレビ機器602およびユーザコンピュータ機器604のユーザは、メディアガイドアプリケーションにアクセスし、所望のコンテンツ間をナビゲートし、それを見つけ得る。ユーザは、無線ユーザ通信デバイス606も使用して、家庭外のメディアガイドアプリケーションにアクセスし、所望のコンテンツ間をナビゲートし、それを見つけ得る。
第4のアプローチでは、ユーザ機器デバイスは、クラウドコンピューティング環境内で動作し、クラウドサービスにアクセスし得る。クラウドコンピューティング環境では、コンテンツ共有、記憶、または配布のための種々のタイプのコンピューティングサービス(例えば、ビデオ共有サイトまたはソーシャルネットワーキングサイト)が、「クラウド」と称されるネットワークアクセス可能コンピューティングおよび記憶リソースの集合によって提供される。例えば、クラウドは、通信ネットワーク614を介したインターネット等のネットワークを介して接続される種々のタイプのユーザおよびデバイスにクラウドベースのサービスを提供する中央にまたは分散場所に位置し得るサーバコンピューティングデバイスの集合を含むことができる。これらのクラウドリソースは、1つ以上のコンテンツソース616および1つ以上のメディアガイドデータソース618を含み得る。加えて、または代替として、遠隔コンピューティングサイトは、ユーザテレビ機器602、ユーザコンピュータ機器604、および無線ユーザ通信デバイス606等の他のユーザ機器デバイスを含み得る。例えば、他のユーザ機器デバイスは、ビデオの記憶されたコピーまたはストリーミングされたビデオへのアクセスを提供し得る。そのような実施形態において、ユーザ機器デバイスは、中央サーバと通信することなく、ピアツーピア様式で動作し得る。
クラウドは、ユーザ機器デバイスのために、他の例の中でもとりわけ、コンテンツ記憶、コンテンツ共有、またはソーシャルネットワーキングサービス等のサービスへのアクセス、および、上で説明される任意のコンテンツへのアクセスを提供する。サービスは、クラウドコンピューティングサービスプロバイダを通して、またはオンラインサービスの他のプロバイダを通して、クラウド内で提供されることができる。例えば、クラウドベースのサービスは、コンテンツ記憶サービス、コンテンツ共有サイト、ソーシャルネットワーキングサイト、または他のサービスを含むことができ、それを介して、ユーザ供給コンテンツは、接続されたデバイス上で他者によって視聴するために配布される。これらのクラウドベースのサービスは、ユーザ機器デバイスが、コンテンツをローカルで記憶し、ローカルで記憶されたコンテンツにアクセスするのではなく、コンテンツをクラウドに記憶し、コンテンツをクラウドから受信することを可能にし得る。
ユーザは、カムコーダ、ビデオモード付きデジタルカメラ、オーディオレコーダ、携帯電話、およびハンドヘルドコンピューティングデバイス等の種々のコンテンツ捕捉デバイスを使用して、コンテンツを録画し得る。ユーザは、直接、例えば、ユーザコンピュータ機器604から、またはコンテンツ捕捉特徴を有する無線ユーザ通信デバイス606からのいずれかにおいて、クラウド上のコンテンツ記憶サービスにコンテンツをアップロードすることができる。代替として、ユーザは、最初に、コンテンツをユーザコンピュータ機器604等のユーザ機器デバイスに転送することができる。コンテンツを記憶するユーザ機器デバイスは、通信ネットワーク614上のデータ伝送サービスを使用して、コンテンツをクラウドにアップロードする。いくつかの実施形態において、ユーザ機器デバイス自体が、クラウドリソースであり、他のユーザ機器デバイスは、直接、ユーザがコンテンツを記憶したユーザ機器デバイスから、コンテンツにアクセスすることができる。
クラウドリソースは、例えば、ウェブブラウザ、メディアガイドアプリケーション、デスクトップアプリケーション、モバイルアプリケーション、および/またはそれらのアクセスアプリケーションの任意の組み合わせを使用して、ユーザ機器デバイスによってアクセスされ得る。ユーザ機器デバイスは、アプリケーション配信のために、クラウドコンピューティングに依拠するクラウドクライアントであり得るか、または、ユーザ機器デバイスは、クラウドリソースにアクセスすることなく、ある機能性を有し得る。例えば、ユーザ機器デバイス上で起動するいくつかのアプリケーションは、クラウドアプリケーション、すなわち、インターネットを経由してサービスとして配信されるアプリケーションであり得る一方、他のアプリケーションは、ユーザ機器デバイス上に記憶され、起動され得る。いくつかの実施形態において、ユーザデバイスは、コンテンツを複数のクラウドリソースから同時に受信し得る。例えば、ユーザデバイスは、オーディオを1つのクラウドリソースからストリーミングする一方で、コンテンツを第2のクラウドリソースからダウンロードすることができる。または、ユーザデバイスは、より効率的なダウンロードのために、コンテンツを複数のクラウドリソースからダウンロードすることができる。いくつかの実施形態において、ユーザ機器デバイスは、図5に関連して説明される処理回路によって実施される処理動作等の処理動作のために、クラウドリソースを使用することができる。
本明細書で参照されるように、用語「~に応答して」は、「~の結果として開始される」ことを指す。例えば、第2のアクションに応答して実施されている第1のアクションは、第1のアクションと第2のアクションとの間に介在ステップを含み得る。本明細書で参照されるように、用語「~に直接応答して」は、「~によって引き起こされる」ことを指す。例えば、第2のアクションに直接応答して実施されている第1のアクションは、第1のアクションと第2のアクションとの間に介在ステップを含まないこともある。
図7は、本開示のいくつかの実施形態による会話との関連でコンテンツを推奨するための例証的プロセス700のフローチャートである。例えば、メディアガイドアプリケーションは、プロセス700の要素を実行するように制御回路604に命令し得る。
プロセス700またはその任意のステップは、図5-6に示されるデバイスのうちのいずれかの上で実施されるか、または、それによって提供され得ることに留意されたい。
例えば、プロセス704は、ウェイクワードを受信することなく、口頭会話におけるキーワードを検出するために、ユーザデバイス(例えば、ユーザ機器デバイス602、604、および/または606(図6))上で実装されるメディアガイドアプリケーションによって命令されるように、制御回路506(図5)によって実行され得る。加えて、プロセス700の1つ以上のステップが、本明細書に説明される任意の他のプロセスもしくは実施形態の1つ以上のステップに組み込まれるか、または、それらと組み合わせられ得る。
ステップ702は、メディアガイドアプリケーションが、ユーザ機器を用いて、複数のユーザ間の口頭会話を監視することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、発話を検出し、故に、発話からの受信されたオーディオ信号を記録し得る。メディアガイドアプリケーションは、任意の好適な発話認識アルゴリズムを適用し、会話の言葉、語句、音、声(例えば、ユーザが話している)、または他の可聴部分を識別し得る。例えば、メディアガイドアプリケーションは、ニューラルネットワーク技法、隠れマルコフモデル(HMM)技法、パターン認識(例えば、発話を基準と比較すること)、動的タイムワーピング(DTW)ベースの技法(例えば、ユーザをユーザと、またはユーザを基準と比較すること)、バイオメトリック技法(例えば、異なる発話者を区別するための)、任意の他の好適な発話認識技法、任意の他の好適な発話者識別技法、またはそれらの任意の組み合わせを使用し得る。
ステップ704は、メディアガイドアプリケーションが、ウェイクワードを受信することなく、口頭会話におけるキーワードを検出することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、ステップ702において認識される複数の言葉からキーワードを検出し得る。例えば、メディアガイドアプリケーションは、ウェイクワードではない名詞(例えば、「ボート」)、固有名詞(例えば、「Staten Island Ferry」)、短い語句(例えば、「カーチェイス」)、動詞、形容詞、副詞、またはそれらの任意の組み合わせを検出し得る。さらなる例において、メディアガイドアプリケーションは、ステップ702および704を同時に実施し、会話から直接認識されるキーワードを検出し得る。キーワードは、単一の言葉、一連の言葉(例えば、語句)、固有名詞、名詞、動詞、1つ以上の言葉の任意の他の集合、またはそれらの任意の組み合わせを含み得る。
ステップ706は、メディアガイドアプリケーションが、キーワード(例えば、ステップ704において検出されるキーワード)のうちの1つに合致するコンテンツを検索することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、複数のメディアアセットからメタデータのクエリを行い、関連性のあるコンテンツを見出し得る。ステップ706は、メディアガイドデータソース618、ユーザコンピュータ機器604、ユーザテレビ機器602、無線ユーザ通信デバイス606、またはそれらの任意の組み合わせによって実施され得る。例えば、ユーザテレビ機器602は、会話を監視し、キーワードを検出し(例えば、ステップ702および704)、次いで、通信ネットワーク614を介してクエリをメディアガイドデータソース618に送信し、ステップ706の検索を実施し得る。故に、この例証的例において、メディアガイドデータソース618は、検索キーワードに対応するメタデータを有する複数のメディアアセットを識別し得る。さらに、メディアガイドデータソース618は、複数のメディアアセットのリストおよびアセット自体をユーザテレビ機器602に提供し得る。
ステップ708は、メディアガイドアプリケーションが、自動的に、ウェイクワードを受信することなく、コンテンツをユーザに提示することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、表示画面を生成することによって、ディスプレイデバイス上に再生可能なクリップを提示し得る。いくつかの実施形態において、メディアガイドアプリケーションは、2つ以上のクリップを表示のために利用可能にし得る。例えば、メディアガイドアプリケーションは、関連性のあるクリップのリストを提示し、クリップを選択するユーザ入力を受信することに基づいて、リストのクリップのうちの1つを再生し得る。
図7のステップまたは説明は、本開示の任意の他の実施形態と共に使用され得ることが想定される。加えて、図7に関連して説明されるステップおよび説明は、本開示の目的を促すために、代替順序で、または並行して、行われ得る。例えば、これらのステップの各々は、システムまたは方法の遅延を低減させるように、または、速度を増加させるように任意の順序で、または並行して、もしくは実質的に同時に実施され得る。これらのステップのうちのいずれかは、飛ばされるか、または、プロセスから省略されることもある。さらに、図5-6に関連して議論されるデバイスまたは機器のうちのいずれかは、図7のステップのうちの1つ以上のものを実施するために使用され得ることに留意されたい。
図8は、本開示のいくつかの実施形態による会話との関連でコンテンツを推奨するための例証的プロセス800のフローチャートである。例えば、メディアガイドアプリケーションは、プロセス800の要素を実行するように制御回路604に命令し得る。
プロセス800またはその任意のステップは、図5-6に示されるデバイスのうちのいずれかの上で実施されるか、または、それによって提供され得ることに留意されたい。例えば、プロセス804は、口頭会話における言葉を処理し、口頭会話からキーワードを選択的に読み出すために、ユーザデバイス(例えば、ユーザ機器デバイス602、604、および/または606(図6))上で実装されるメディアガイドアプリケーションによって命令されるように、制御回路506(図5)によって実行され得る。加えて、プロセス800の1つ以上のステップが、本明細書に説明される任意の他のプロセスもしくは実施形態の1つ以上のステップに組み込まれるか、または、それらと組み合わせられ得る。
ステップ802は、メディアガイドアプリケーションが、ユーザ機器を用いて、複数のユーザ間の口頭会話を監視することを含み得る。口頭会話を監視することは、例えば、会話を識別すること(例えば、少なくとも2人の異なるユーザからのオーディオ信号を識別すること)、オーディオ入力デバイス520から収集されるオーディオデータを記録すること、発話の検出に応答すること、または会話を監視するための任意の他の好適なアクションを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、例えば、メディアガイドアプリケーションがオーディオ信号を処理する聴取モードに入り、会話が開始したかどうか、キーワードの内容、および関連性のあるコンテンツに関して決定を行い得る。メディアガイドアプリケーションは、例えば、所定のスケジュールで、任意のユーザが話しているという決定時、特定のユーザ(例えば、ログインしたアカウントユーザ)が話しているという決定時、2人以上のユーザが話しているという決定時、人気の番組中、大いに期待され、サブスクライブされたイベント中、スポーツの試合中、聴取モードに入り得る。例えば、メディアガイドアプリケーションは、人気のテレビ番組のシーズンプレミアを提示するとき、聴取モードに入り得る。いくつかの実施形態において、メディアガイドアプリケーションは、ユーザデバイスが電源を入れられる(例えば、オンにされる)度にオーディオ信号を処理し得る。例えば、図1を参照して、ユーザデバイス102は、検出可能な発話に関してオーディオ信号を連続的に監視し得るメディアガイドアプリケーションをホストし得る。
口頭会話は、時として、2人以上の人の間の発話相互作用として定義されることを理解されたい。しかしながら、単一のユーザは、自分と会話するか(例えば、独り言を言う)、または、聴衆に発言を行い得る。いくつかの状況において、例えば、メディアガイドアプリケーションは、任意のそのような発話が会話であることを決定し得る。例えば、メディアガイドアプリケーションは、ユーザが「良いプレーだ、Steph Curry、チームよ、行け」等のコメントをディスプレイデバイスに行うことを会話と見なし得る。さらなる例において、メディアガイドアプリケーションは、(例えば、音声認識を使用して)話しているユーザの数を決定し得る。さらなる例において、メディアガイドアプリケーションは、単一のユーザ(例えば、会話を再現し、複数の声を真似するユーザ)の複数の声の中から区別し得る。
ステップ804は、メディアガイドアプリケーションが、口頭会話が継続しているとき、口頭会話における言葉を処理し、口頭会話からキーワードを選択的に読み出すことを含み得る。メディアガイドアプリケーションは、任意の好適な言葉検出技法、発話検出技法、パターン認識技法、信号処理技法、またはそれらの任意の組み合わせを使用して、言葉を処理し得る。例えば、メディアガイドアプリケーションは、一連の信号テンプレートをオーディオ信号の一部と比較し、合致が存在するかどうか(例えば、特定の言葉がオーディオ信号に含まれるかどうか)を見出し得る。さらなる例において、メディアガイドアプリケーションは、学習技法を適用し、会話における言葉をより良好に認識し得る。例えば、メディアガイドアプリケーションは、複数の会話との関連で複数のコンテンツ推奨についてユーザからフィードバックを収集し、故に、推奨を行うための訓練セットとして過去のデータを使用し得る。
ステップ806は、メディアガイドアプリケーションが、選択的に読み出されたキーワードに基づいて、ウェイクワードを受信することなく、口頭会話におけるキーワードを検出することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、ステップ804および806を組み合わせ、発話信号からキーワードを検出し得る。いくつかの実施形態において、メディアガイドアプリケーションは、会話からの言葉を最初に処理し、次いで、処理された言葉の中からキーワードを検出し得る。いくつかの実施形態において、メディアガイドアプリケーションは、ステップ804の各読み出されたキーワードを考慮し、ステップ808における検索のために使用すべきキーワードを検出し得る。
ステップ808は、メディアガイドアプリケーションが、(例えば、ステップ806の)キーワードのうちの1つに合致するクリップに関して、複数のクリップを検索することを含み得る。メディアガイドアプリケーションは、例えば、ステップ806の検出されたキーワードの中から各キーワードに合致するメタデータを検索し得る。例えば、メディアガイドアプリケーションは、(例えば、フィールドおよびブール演算子を使用して)全てのキーワードを含むクエリを生成し、メディアコンテンツデータベース(例えば、メディアガイドデータソース618)にクエリを行い得る。いくつかの実施形態において、メディアガイドアプリケーションは、少なくとも1つのキーワードに合致する複数のクリップを記憶すること、各それぞれのクリップに対応する複数のリンクを記憶すること、各それぞれのクリップに対応するメタデータを記憶すること、または、検索に起因する複数のクリップのインジケータを記憶することを行い得る。いくつかの実施形態において、メディアガイドアプリケーションは、ステップ808におけるコンテンツソースを識別し、コンテンツの検索を補助し得る。例えば、メディアガイドアプリケーションは、スポーツに関連付けられたキーワードを検出し得、故に、スポーツハイライトおよび記録のデータベースの中からクリップを検索し得る。スポーツのための例証的コンテンツソースは、例えば、YouTube(登録商標)、SkySports、NBCSports、ESPN、または他のソースを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、コンテンツソースと、コンテンツソースについての情報を証明する付随するメタデータとを含み得るデータベース(例えば、メディアガイドデータソース618)にアクセスし得る。メディアガイドアプリケーションは、クエリを生成してデータベースを検索するか、または、任意の他のデータベース検索技法を使用し、キーワードに対応する1つ以上のコンテンツソースを読み出し得る。
ステップ810は、メディアガイドアプリケーションが、複数のクリップの各々に関連付けられたメタデータを検出されたキーワードと比較することを含み得る。いくつかの実施形態において、メタデータは、記述的メタデータ(例えば、コンテンツタイトル、クリップに登場する俳優、監督、ジャンル、クリップの評価、クリップの人気)、構造メタデータ(例えば、クリップの持続時間、クリップにアクセスするためのパラメータ、関連性のあるクリップの部分)、管理メタデータ(例えば、許可、ファイルサイズ、ファイルタイプ)、任意の他の好適なメタデータ、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、ステップ808と810とを組み合わせ、各クリップのためのメタデータを使用して、複数のクリップを検索し得る。
ステップ812は、メディアガイドアプリケーションが、(例えば、ステップ810の)比較することに基づいて、クリップのうちの別のものに関連付けられたメタデータより多くのキーワードに合致するメタデータを有する複数のクリップのうちのクリップを選択することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、クリップに対応するメタデータに合致するキーワードの数を決定すること、クリップのためのメタデータに合致する最長キーワードの長さを決定すること、クリップの選択を補助し得る任意の他の決定を実施すること、または、それらの任意の組み合わせを行い得る。いくつかの実施形態において、メディアガイドアプリケーションは、1つ以上の補助選択基準に基づいて、クリップを選択し得る。例えば、メディアガイドアプリケーションは、複数のクリップの各々の人気を考慮し、少なくとも部分的に人気に基づいてクリップを選択し得る(例えば、より曖昧なクリップより比較的に人気のあるクリップを選択する)。
ステップ814は、メディアガイドアプリケーションが、ウェイクワードを受信することなく、口頭会話中にクリップをユーザに自動的に提示することを含み得る。メディアガイドアプリケーションは、会話を検出し、キーワードを識別し、キーワードに基づいてクリップを検索することに応答して、特定のアクションを引き起こすどんな明示的コマンドワードまたは指示発言もなしに、クリップを提示し得る。例えば、メディアガイドアプリケーションは、ユーザがステップ802から812の実施を認識することすらなく、会話中にクリップをユーザに提示し得る。故に、メディアガイドアプリケーションは、コンテンツ推奨を開始するために会話が停止することを要求しない。
図8のステップまたは説明は、本開示の任意の他の実施形態と共に使用され得ることが想定される。加えて、図8に関連して説明されるステップおよび説明は、本開示の目的を促すために、代替順序で、または並行して、行われ得る。例えば、これらのステップの各々は、システムまたは方法の遅延を低減させるように、または、速度を増加させるように任意の順序で、または並行して、もしくは実質的に同時に実施され得る。これらのステップのうちのいずれかは、飛ばされるか、または、プロセスから省略されることもある。さらに、図5-6に関連して議論されるデバイスまたは機器のうちのいずれかは、図8のステップのうちの1つ以上のものを実施するために使用され得ることに留意されたい。
図9は、本開示のいくつかの実施形態による会話との関連でコンテンツを推奨するための例証的プロセス900のフローチャートである。例えば、メディアガイドアプリケーションは、プロセス900の要素を実行するように制御回路604に命令し得る。
プロセス900またはその任意のステップは、図5-6に示されるデバイスのうちのいずれかの上で実施されるか、または、それによって提供され得ることに留意されたい。例えば、プロセス902は、口頭会話における言葉を処理し、口頭会話からキーワードを選択的に読み出すために、ユーザデバイス(例えば、ユーザ機器デバイス602、604、および/または606(図6))上で実装されるメディアガイドアプリケーションによって命令されるように、制御回路506(図5)によって実行され得る。加えて、プロセス900の1つ以上のステップが、本明細書に説明される任意の他のプロセスもしくは実施形態の1つ以上のステップに組み込まれるか、または、それらと組み合わせられ得る。
ステップ902は、メディアガイドアプリケーションが、聴取モードに入るように構成されたるデバイスのモードを決定することを含み得る。モードは、例えば、「スリープモード」、「聴取モード」、「非聴取モード」、「オン」、「オフ」、「処理」(例えば、ビジー)、「準備完了」、または任意の他の好適なインジケータによって示されるデバイスの任意の好適な状態を含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、ステップ902の一部としてモードに入り得る。例えば、メディアガイドアプリケーションは、メディアガイドアプリケーションがまだ聴取モードではないことを決定する場合、聴取モードをアクティブにし得る。いくつかの実施形態において、メディアガイドアプリケーションは、メモリにおけるモード値にアクセスし、モードを決定し得る。例えば、メディアガイドアプリケーションは、メモリに、モードに対応する変数を記憶し得(例えば、聴取モードは、00として記憶される)、メディアガイドアプリケーションは、変数にアクセスし、値に基づいてモードを決定し得る(例えば、変数値が00である場合、デバイスは聴取モードである)。いくつかの実施形態において、メディアガイドアプリケーションは、メモリにおけるモードフラグにアクセスし、モードを決定し得る。例えば、メディアガイドアプリケーションは、聴取モードフラグにアクセスし得、そのフラグ値が1である場合、メディアガイドアプリケーションは、デバイスが聴取モードであることを決定する。
ステップ904は、メディアガイドアプリケーションが、聴取モードがアクティブにされているかどうかを決定することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、メモリにおけるモードフラグを識別し、聴取モードがアクティブにされているかどうかを決定し得る。いくつかの実施形態において、メディアガイドアプリケーションは、会話が進行中であるかどうかをチェックし、リスト項目モードがアクティブにされていることを決定し得る。例えば、メディアガイドアプリケーションは、所定の間隔で発話を検出し得、発話が検出される場合、メディアガイドアプリケーションは、聴取モードをアクティブにし得る。さらなる例において、メディアガイドアプリケーションは、常に、オーディオ入力デバイスをアクティブにし得、発話が検出される場合、メディアガイドアプリケーションは、聴取モードをアクティブにし得る。いくつかの実施形態において、メディアガイドアプリケーションは、ユーザ入力を受信し、聴取モードをアクティブにするか、または、発話が検出される場合に聴取モードをアクティブにするように準備され得る。
メディアガイドアプリケーションが、聴取モードがアクティブにされないことを決定する場合、メディアガイドアプリケーションは、ステップ902に進み得る。いくつかの実施形態において、メディアガイドアプリケーションは、会話が検出されるまで、ステップ902と904との間でループし得る。メディアガイドアプリケーションが、聴取モードがアクティブにされていることを決定する場合、メディアガイドアプリケーションは、ステップ906に進み得る。
ステップ906は、メディアガイドアプリケーションが、口頭会話における言葉を検出することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、会話中に録音されたオーディオの断片(すなわち、短い持続時間)を記憶し、断片を処理し得る。いくつかの実施形態において、メディアガイドアプリケーションは、会話の比較的に大部分(例えば、10秒を上回る)をオーディオファイルとして記憶し、ファイルを処理し得る。いくつかの実施形態において、メディアガイドアプリケーションは、連続した計算を使用することによって、発話を処理し、言葉を検出し得る。例えば、ウェーブレット変換が、リアルタイムで発話に対して実施され得、発話パターン(例えば、それは、言葉を識別するために基準と比較され得る)のわずかに時間遅延したとしても連続的な計算を提供する。いくつかの実施形態において、メディアガイドアプリケーションは、本開示によると、言葉のみならず、言葉を発したユーザも検出し得る。
ステップ908は、メディアガイドアプリケーションが、検出された言葉を会話において検出された言葉のリストに追加することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、メモリに言葉を記憶し得る。例えば、メディアガイドアプリケーションは、ASCII文字の集合(すなわち、8ビットコード)、パターン(例えば、言葉に合致させるために使用される発話信号基準を示す)、識別子(例えば、言葉のためのコード)、文字列、任意の他のデータタイプ、またはそれらの任意の組み合わせとして、メモリに言葉を記憶し得る。いくつかの実施形態において、メディアガイドアプリケーションは、言葉が検出されると、それらをメモリに追加し得る。例えば、メディアガイドアプリケーションは、前に検出された言葉の文字列に新たに検出された言葉を付加するか、新たに検出された言葉を前に検出された言葉のセルアレイに追加するか(例えば、セルアレイサイズを1だけ増加させる)、新たに検出された言葉に対応する新しい変数を作成するか、新たに作成された言葉に対応する新しいファイルを作成するか、または、別様にステップ906において検出される1つ以上の言葉を記憶し得る。
ステップ910は、メディアガイドアプリケーションが、検出された言葉のためのタイムスタンプを決定することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、開始時間、停止時間、発言時間(例えば、言葉が発せられた絶対時間)、処理時間(例えば、パターン合致が見出されたとき)、記憶時間(例えば、言葉がメモリに書き込まれたとき)、現在の時間(例えば、タイムスタンプ決定の時間)、会話における時間的位置に対する言葉に対応する任意の他の好適な時間、またはそれらの任意の組み合わせを決定し得る。タイムスタンプは、日付、12時間の時刻、24時間の時刻、あるイベントに対する経過時間、他の言葉に対する相対時間的位置、いくつかの時間ステップ(例えば、10マイクロ秒時間ステップとして表される100ミリ秒)、時間の任意の他の決定メトリック、またはそれらの任意の組み合わせを含み得る。例えば、タイムスタンプは、「5:17:15PM 10/18/2017」、「会話の開始から7秒」、「会話の開始から0.0001日」、または「会話の終了から10時間ステップ」を含み得る。さらなる例において、タイムスタンプは、「会話の中の6.5~7.6秒」等の時間範囲を含み得る。いくつかの実施形態において、タイムスタンプは、加えて、会話における言葉の持続時間を示す「700ミリ秒」等の持続時間を含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、言葉の開始時間、および会話における他の言葉と比較した言葉の相対位置を決定することによって、タイムスタンプを決定し得る。例えば、メディアガイドアプリケーションは、会話開始時間として会話の第8の言葉のためのタイムスタンプ、および数字「8」を決定し得る。さらなる例において、メディアガイドアプリケーションは、会話停止時間を決定し、言葉のためのタイムスタンプを決定し得る。
ステップ912は、メディアガイドアプリケーションが、各処理された言葉のタイムスタンプを会話監視ウィンドウの開始時間と比較することを含み得る。メディアガイドアプリケーションは、会話が検出されるとすぐに、言葉が検出されるとすぐに(例えば、ステップ906において)、聴取モードがアクティブにされるとすぐに(例えば、ステップ904において)、会話監視ウィンドウが所望されることを示すユーザ入力を受信することに基づいて、任意の他の好適な時間、またはそれらの任意の組み合わせで、会話監視ウィンドウを生成し得る。いくつかの実施形態において、メディアガイドアプリケーションは、言葉のためのタイムスタンプが会話の開始後の時間に対応するかどうかを決定し得る。例えば、メディアガイドアプリケーションは、会話が、2017年10月19日の午後5:45:10に開始したこと、および、言葉に関連付けられたタイムスタンプが2017年10月19日の午後5:45:14に対応し、それが、会話の中へ4秒であることを決定し得る。いくつかの実施形態において、メディアガイドアプリケーションは、ステップ910および912を同時に(または単一のステップとして)実施するが、会話監視ウィンドウの開始時間に対するタイムスタンプを決定し得る。
ステップ914は、メディアガイドアプリケーションが、タイムスタンプが開始時間の閾値内であるかどうかを決定することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、会話の言葉に対応するタイムスタンプと、会話の開始に対応するタイムスタンプとの間の差異を決定し得る。いくつかの実施形態において、メディアガイドアプリケーションは、メモリ制約(例えば、10秒の会話のためのみに十分なメモリを配分すること)に基づいて、閾値を決定し得る。いくつかの実施形態において、メディアガイドアプリケーションは、閾値を示すユーザ入力を受信し得る。例えば、メディアガイドアプリケーションは、会話の開始時間の10秒以内の言葉のみを会話の一部と見なすためのユーザコマンドを受信し得る。いくつかの実施形態において、メディアガイドアプリケーションは、少なくとも部分的に、言葉のタイムスタンプ、会話監視ウィンドウの開始時間、受信されたユーザ入力、閾値、会話の決定された一時中断(例えば、一時中断が検出される場合、一時中断の前の言葉を閾値外と見なす)、任意の他の好適な決定または情報、もしくはそれらの任意の組み合わせに基づいて、ステップ914の決定を実施し得る。メディアガイドアプリケーションは、ステップ914を実施し、言葉が会話に関連性があるかどうか、または、おそらく、新しい会話監視ウィンドウが好ましいかどうかを決定し得る。
メディアガイドアプリケーションが、タイムスタンプが開始時間の閾値内であることを決定する(例えば、図9のステップ914から「はい」経路)場合、メディアガイドアプリケーションは、ステップ916に進み得る。ステップ916は、メディアガイドアプリケーションが、会話処理ウィンドウ内で検出される口頭会話における言葉を一時的に記憶することを含み得、それによって、ウィンドウの開始時間に先立って検出された言葉は、破棄される。
メディアガイドアプリケーションが、タイムスタンプが開始時間の閾値内ではないことを決定する(例えば、図9のステップ914から「いいえ」経路)場合、メディアガイドアプリケーションは、ステップ918に進み得る。ステップ918は、メディアガイドアプリケーションが、開始時間に対して閾値より古い(例えば、開始時間の閾値内ではない)タイムスタンプを伴う言葉を除去することを含み得る。
ステップ920は、メディアガイドアプリケーションが、複数のユーザの各々のユーザプロファイルに合致する口頭会話における言葉を識別することを含み得る。複数のユーザは、口頭会話に関わり合う1人以上のユーザ、ユーザデバイスに関連付けられた1人以上のユーザ、特定のサービスをサブスクライブする(例えば、音声起動型パーソナルアシスタントを有することをサブスクライブした、またはHuluをサブスクライブした)1人以上のユーザ、メディアガイドアプリケーションにログインしている1人以上のユーザ、ユーザのうちの1人以上を識別するユーザ入力を受信することによって識別される1人以上のユーザ、任意の他の関連性のあるユーザ、またはそれらの任意の組み合わせを含み得る。
ステップ922は、メディアガイドアプリケーションが、選択的に読み出されたキーワードに基づいて、ウェイクワードを受信することなく、口頭会話におけるキーワードを検出することを含み得る。メディアガイドアプリケーションは、ウェイクワードを受信することなく、会話との関連で関連性のあるコンテンツを提供し得る。メディアガイドアプリケーションは、任意の好適な発話認識技法、音声認識技法、またはそれらの組み合わせを適用し、会話におけるキーワードを検出し得る。例えば、図1-2を参照して、メディアガイドは、ユーザ130または140のいずれかが口頭コマンドをメディアガイドアプリケーションに与えることなく、会話100の開始時に口頭会話処理ウィンドウを開始し得る。メディアガイドアプリケーションは、任意の言葉が会話で話されると、会話を処理し始め得る。故に、ユーザ130が「今から聴取モードを開始、ユーザデバイス102」を発した場合、ユーザデバイス102は、発言の言葉を識別し、関連性のあるコンテンツを検索するためのキーワードを識別し得る。メディアガイドアプリケーションのアクションは、この状況において、任意の他の発言に関して同一であり得る。故に、メディアガイドアプリケーションは、好適なステップを実施し始めるために、ユーザからの口頭コマンド(例えば、ウェイクワード)を要求しない。
ステップ924は、メディアガイドアプリケーションが、キーワードのうちの1つに合致するクリップに関して、複数のクリップを検索することを含み得る。メディアガイドアプリケーションが1つ以上のキーワードを識別すると、メディアガイドアプリケーションは、ステップ924に進み、1つ以上のキーワードに基づいて検索を実施し得る。メディアガイドアプリケーションは、任意の好適な検索技法を適用し、合致に関して複数のクリップを検索し得る。例えば、メディアガイドアプリケーションは、複数のクリップに関連付けられたメタデータを読み出し、キーワード・メタデータ合致検索を実施し得る。さらなる例において、メディアガイドアプリケーションは、データベースにアクセスし、1つ以上のキーワードを使用して検索を実施し得る。さらなる例において、メディアガイドアプリケーションは、コンテンツソースを識別し、次いで、コンテンツソースに関して利用可能なコンテンツの検索を実施し得る。
ステップ926は、メディアガイドアプリケーションが、複数のクリップの各々に関連付けられたメタデータを検出されたキーワードと比較することを含み得る。例えば、メディアガイドアプリケーションは、クリップに対応する記述的メタデータをキーワードの各々と比較し得る。メディアガイドアプリケーションは、数値比較を可能にするために、比較メトリック(例えば、複数のクリップのうちの各クリップがキーワードに合致する程度)を生成し得る。例えば、メディアガイドアプリケーションは、クリップに対応するメタデータに合致するキーワードの数を算出し得る。さらなる例において、メディアガイドアプリケーションは、各クリップに対応するメタデータにおける語句に合致するキーワードにおける最長の合致する一連の言葉(例えば、語句)を算出し得る。
ステップ928は、メディアガイドアプリケーションが、比較することに基づいて、クリップのうちの別のものに関連付けられたメタデータより多くのキーワードに合致するメタデータを有する複数のクリップのうちのクリップを選択することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、クリップに対応するメタデータに合致するキーワードの数を決定すること、クリップのためのメタデータに合致する最長キーワードの長さを決定すること、クリップの選択を補助し得る任意の他の決定を実施すること、または、それらの任意の組み合わせを行い得る。いくつかの実施形態において、メディアガイドアプリケーションは、1つ以上の補助選択基準に基づいて、クリップを選択し得る。例えば、メディアガイドアプリケーションは、複数のクリップの各々のために利用可能なソースを考慮し、少なくとも部分的にソースに基づいてクリップを選択し得る(例えば、より曖昧なソースより比較的に人気のあるソースを選択する)。
ステップ930は、メディアガイドアプリケーションが、ユーザ機器上で現在提示されているコンテンツを自動的に変更し、クリップを提示することを含み得る。いくつかの状況において、会話は、メディアガイドアプリケーションがコンテンツをすでに提示している間に起こり得る。いくつかのそのような状況において、メディアガイドアプリケーションは、例えば、すでに再生されているコンテンツをステップ928において選択されたクリップと置換し得る。メディアガイドアプリケーションは、オーバーレイ、分割画面、ピクチャインピクチャ、選択されたクリップとの完全置換、または他の表示変更を適用し、選択されたクリップを会話に関わり合っているユーザに提示し得る。
ステップ932は、メディアガイドアプリケーションが、会話におけるキーワードを検出することに応答して、クリップが選択されたという指示を伴うクリップとともに検出されたキーワードのうちのいくつかを提示することを含み得る。いくつかの実施形態において、関連性のあるクリップとともに、メディアガイドアプリケーションは、クリップを選択することにおいて使用された1つ以上のキーワードを提示し得る。メディアガイドアプリケーションは、クリップと同じ表示領域または異なる表示領域に1つ以上のキーワードを提示し得る。いくつかの実施形態において、メディアガイドアプリケーションは、複数のキーワードのうちの一部(例えば、最も人気のあるキーワード、最も記述的なキーワード、最も検索を精緻化するキーワード)を提示し得る。いくつかの実施形態において、メディアガイドアプリケーションは、キーワードとともに追加の情報を提示し得る。例えば、メディアガイドアプリケーションは、各キーワードを発したユーザ、1つ以上の代替キーワード(例えば、キーワードが誤って選択された場合、または言葉が誤って検出された場合)、会話の名称、または会話に関連性のある他の情報を提示し得る。
ステップ934は、メディアガイドアプリケーションが口頭会話ウィンドウ(例えば、本明細書では会話処理ウィンドウとも称される)を生成することを含み得る。口頭会話ウィンドウは、持続時間、開始時間および終了時間、言葉の数、発話が会話に対応するときを識別するための任意の他の好適なメトリック、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態において、口頭会話ウィンドウは、会話の時間の長さを示し得る。いくつかの実施形態において、メディアガイドアプリケーションは、口頭会話ウィンドウを生成し、会話の範囲(例えば、それが開始したとき、およびそれが終了したとき)を定義し得る。故に、いくつかの実施形態において、メディアガイドアプリケーションは、例えば、口頭会話処理ウィンドウ内で検出されるその発話のみに発話の処理を限定し得る。例証的フローチャート900における最後のステップとして示されるが、ステップ934は、任意の好適な時点に実施され得、任意の好適な時間に及び得ることを理解されたい。例えば、メディアガイドアプリケーションは、会話の開始時間、および会話処理ウィンドウの開始時間を決定し得る。さらに、メディアガイドアプリケーションは、例えば、開始時間を決定することに対する以降の時間に(例えば、会話が終了するとき、または所定の時間の長さの後に)、口頭会話ウィンドウのための停止時間を決定し得る。
図9のステップまたは説明は、本開示の任意の他の実施形態と共に使用され得ることが想定される。加えて、図9に関連して説明されるステップおよび説明は、本開示の目的を促すために、代替順序で、または並行して、行われ得る。例えば、これらのステップの各々は、システムまたは方法の遅延を低減させるように、または、速度を増加させるように任意の順序で、または並行して、もしくは実質的に同時に実施され得る。これらのステップのうちのいずれかは、飛ばされるか、または、プロセスから省略されることもある。さらに、図5-6に関連して議論されるデバイスまたは機器のうちのいずれかは、図9のステップのうちの1つ以上のものを実施するために使用され得ることに留意されたい。
図10は、本開示のいくつかの実施形態による会話との関連でコンテンツを推奨するための例証的プロセス1000のフローチャートである。例えば、メディアガイドアプリケーションは、プロセス1000の要素を実行するように制御回路604に命令し得る。
プロセス1000またはその任意のステップは、図5-6に示されるデバイスのうちのいずれかの上で実施されるか、または、それによって提供され得ることに留意されたい。例えば、プロセス1014は、コンテンツソースを選択するために、ユーザデバイス(例えば、ユーザ機器デバイス602、604、および/または606(図6))上で実装されるメディアガイドアプリケーションによって命令されるように、制御回路506(図5)によって実行され得る。加えて、プロセス1000の1つ以上のステップが、本明細書に説明される任意の他のプロセスもしくは実施形態の1つ以上のステップに組み込まれるか、または、それらと組み合わせられ得る。
ステップ1002は、メディアガイドアプリケーションが聴取モードに入るステップを含み得る。メディアガイドアプリケーションは、例えば、オーディオ入力デバイス(例えば、マイクロホン)をアクティブにすること、オーディオ信号を記録し始めること、オーディオ信号を処理し始めること、1つ以上のユーザアカウントにアクセスすること(例えば、ユーザ情報にアクセスするために)、会話監視表示を表示のために生成すること、メモリに記憶されたフラグ値(例えば、聴取モードであるときに値1に設定された聴取モードフラグ)を更新すること、任意の他の好適なアクションを実施すること、または、それらの任意の組み合わせを行い得る。いくつかの実施形態において、メディアガイドアプリケーションは、それが聴取モードに入ったという指示をユーザに提供し得る。例えば、メディアガイドアプリケーションは、色を変化させること、オンにすること、オフにすること、薄暗くすること、明るくすること、点滅すること、または、外観を変化させることをデバイス(例えば、ユーザ機器デバイス)上のLEDに行わせ、聴取モードに入ることを示し得る。さらなる例において、メディアガイドアプリケーションは、(例えば、スピーカ514を使用して)オーディオメッセージを生成し、聴取モードがアクティブであることをユーザに警告し得る。
ステップ1004は、メディアガイドアプリケーションが、発話が検出されたかどうかを決定することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、所定の間隔で発話を検出し得る。いくつかの実施形態において、メディアガイドアプリケーションは、発話を検出および認識するが、必ずしも音声コマンドに応答しないように構成され得る。例えば、いくつかの実施形態において、メディアガイドアプリケーションは、言葉を検出、認識、および記憶するが、音声コマンドではなく、ユーザ機器(例えば、テレビのリモート、マウス、キーボード、ユーザデバイス上のボタン)から受信されるコマンドのみに応答し得る。故に、いくつかの実施形態において、メディアガイドアプリケーションは、会話を聴取および処理し得るが、ウェイクワードを認識することも、それに応答することもない。
ステップ1004において、メディアガイドアプリケーションが、発話が検出されなかったことを決定する場合、メディアガイドアプリケーションは、進行すべき方法についてさらなる決定を行い得る。さらに、メディアガイドアプリケーションは、例証的フローチャート1000のステップのうちのいずれかを実施し、発話が検出されるかどうかを決定し得る。例えば、メディアガイドアプリケーションは、所定の期間後、ステップ1004においてタイムアウトし得る(例えば、10秒間会話がないことは、「検出されない」ことを意味する)。さらなる例において、ステップ1002および1004は、発話が検出されるときのみ、メディアガイドアプリケーションが聴取モードに入るように、図10に示されるものから逆の順序で実施され得る。さらなる例において、メディアガイドアプリケーションは、会話が進行中であることを示すために、少なくとも2つの声がステップ1004において認識されることを要求し得る。さらなる例において、ステップ1004および1006は、1つ以上のキーワードが識別されるときのみ、メディアガイドアプリケーションが聴取モードに入るように、図10に示されるものから逆の順序で実施され得る。さらなる例において、メディアガイドアプリケーションは、オーディオ信号を処理し(例えば、窓付き高速フーリエ変換、ウェーブレット変換)、ある好適な周波数帯域内の信号エネルギー(例えば、スペクトル強度またはスペクトル密度)が、閾値を上回る(発話を示し得る)ときを決定し得る。さらなる例において、メディアガイドアプリケーションは、発話認識計算および音声認識計算をオーディオ信号に適用し、言葉が認識されるときを決定し得る。
ステップ1006は、メディアガイドアプリケーションが、例えば、言葉、語句、名称、場所、チャネル、メディアアセットタイトル、または他のキーワード等のキーワードを識別することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、発話における言葉を識別し、それらの言葉のうちのいくつかをキーワードとして選択し得る。例えば、メディアガイドアプリケーションは、言葉を識別し、これらの言葉の中から、前置詞ではない言葉を選択し得る。さらなる例において、メディアガイドアプリケーションは、長さが少なくとも3文字である言葉のみをキーワードとして識別し得る。さらなる例において、メディアガイドアプリケーションは、関連性のあるコンテンツの潜在的検索分野を絞ることに役立ち得る(例えば、より記述的であり、より多くの関連性を提供するために)2つ以上の言葉を含む語句として、キーワードを識別し得る。メディアガイドアプリケーションは、任意の好適な基準を使用し、会話からキーワードを識別し得る。
ステップ1008は、メディアガイドアプリケーションが、1つ以上のユーザプロファイルにアクセスし、言葉を識別することを含み得る。発話から言葉を識別することに加えて、メディアガイドアプリケーションは、ユーザのプロファイルからの情報をさらに使用し、関連性のあるコンテンツを提供し得る。例えば、メディアガイドアプリケーションは、キーワード「Detroit」、「フットボール」、および「試合」を識別し、ユーザのプロファイルにアクセスし、それらがDVRに記憶された「Detroit Lions」の試合を有することを決定し得る。故に、メディアガイドアプリケーションは、キーワード「Detroit」、「フットボール」、および「試合」に付随する言葉「Lions」を識別し、会話の関連性のある情報をより完全に捕捉し得る。さらなる例において、メディアガイドアプリケーションは、発話からのキーワード、およびキーワードを発したユーザを識別し、それぞれのユーザのプロファイルにアクセスし、言葉を識別し得る。ユーザのプロファイルから識別される言葉は、鑑賞されたメディアコンテンツのタイトル、お気に入りの番組のタイトル、購入されたメディアコンテンツのタイトル、推奨されたメディアコンテンツのタイトル、個人情報(例えば、ユーザが住む市、ユーザが住む州、人口統計情報)、ユーザのお気に入りまたは最も鑑賞したジャンルの名称、ユーザに関連付けられた前の会話キーワード、ユーザのプロファイルに関連付けられた任意の他の言葉、もしくはそれらの任意の組み合わせを含み得る。
ステップ1010は、メディアガイドアプリケーションがメモリに言葉を記憶することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、タイムスタンプ、会話情報、ユーザ情報、任意の他の好適な情報、またはそれらの任意の組み合わせとともに、言葉を記憶し得る。メディアガイドアプリケーションは、任意の好適なフォーマットおよび構造で言葉を記憶し得る。
ステップ1012は、メディアガイドアプリケーションがキーワードに関連付けられたコンテンツタイプを識別することを含み得る。コンテンツタイプは、例えば、映画のクリップ、スポーツコンテストのクリップ(例えば、スポーツの試合からのハイライト)、エピソードメディアアセットからのクリップ(例えば、テレビ番組からの場面)、メディアコンテンツの任意の他の好適な分類、それらの任意の細分、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態において、コンテンツタイプは、コンテンツタイプの特徴づけ分類を含み得る。例えば、メディアガイドアプリケーションは、コンテンツタイプをジャンルとして識別し得る。いくつかの実施形態において、コンテンツタイプは、クリップの長さ(例えば、短いリップ、長いクリップ、場面、予告編)を含み得る。例えば、メディアガイドアプリケーションは、コンテンツタイプを「長さが30秒未満のクリップ」として識別し得る。メディアガイドアプリケーションは、コンテンツタイプを識別し、進行中の会話に関連性があるコンテンツを識別することを補助する、潜在的検索分野を縮小する、潜在的コンテンツソース分野を縮小する、会話に付随する持続時間範囲内のコンテンツを提供するか、または、別様に会話との関連でコンテンツを提供することを補助し得る。
ステップ1014は、メディアガイドアプリケーションがコンテンツソースを選択することを含み得る。コンテンツソースは、コンテンツプロバイダ、コンテンツサブスクリプションサービス、メディアガイドデータソース618、コンテンツサーバ、オンデマンドコンテンツサービス、オンラインビデオサービス、任意の他の好適なコンテンツ提供ソース、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、1人以上のユーザのサブスクリプション(例えば、ユーザがHuluをサブスクライブする)に基づいて、コンテンツソースを選択し得る。いくつかの実施形態において、メディアガイドアプリケーションは、1人以上のユーザがログインしている1つ以上のコンテンツソース(例えば、ユーザが、YouTube(登録商標)アカウントにログインし得るユーザが、HBO GOにログインし得る)に基づいて、コンテンツソースを選択し得る。
ステップ1016は、メディアガイドアプリケーションが、1つ以上のキーワードを識別すること、およびコンテンツタイプを識別することのうちの少なくとも1つに基づいて、クリップを検索することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、識別されたキーワードをソースに伝送することによって、コンテンツソース(例えば、ステップ1014において選択されるコンテンツソース)にクエリを行い得る。いくつかの実施形態において、メディアガイドアプリケーションは、コンテンツソースからメタデータを読み出し、1つ以上のキーワードとメタデータに含まれる言葉との間の合致を検索し得る。故に、メディアガイドアプリケーションは、検索されたメタデータに基づいて、コンテンツを読み出し得る。いくつかの実施形態において、メディアガイドアプリケーションは、キーワードのうちのいずれか、全て、またはサブセットを使用して、2つ以上の検索を実施し得る。例えば、メディアガイドアプリケーションは、所望の数の検索結果を標的化し得、キーワードおよび1つ以上の検索フィルタを適用し、所望の検索結果の数(例えば、結果の閾値範囲内である、結果の閾値数を上回る、または結果の閾値数を下回る)を達成し得る。メディアガイドアプリケーションは、任意の好適な検索技法、データベーススキーマ、クエリ言語、論理演算子、検索のタイプ、検索フィルタ、検索エンジン、任意の他の好適なツール、またはそれらの任意の組み合わせを適用し得る。例えば、メディアガイドアプリケーションは、ブール論理(例えば、第1のキーワードおよび第2のキーワード)、語句検索(例えば、合致「月曜夜のフットボール」)、切り捨て、ワイルドカード(例えば、「」がワイルドカードである合致「の試合」)、メタデータフィールド検索(例えば、タイトルフィールドを検索する、キーワードフィールドを検索するか、または、他の検索技法を適用し得る。ステップ1016は、メディアガイドアプリケーションが、メディアコンテンツに対応する任意の好適なメタデータまたは他の好適なコンテンツ情報を読み出すことを含み得る。
いくつかの実施形態において、メディアガイドアプリケーションは、フローチャート1000のステップ1036によって示されるように、1つ以上の補助検索基準を決定し得る。補助検索基準は、検索フィルタの基準、閾値、ユーザプロファイル基準(例えば、適用されるペアレンタルコントロール、お気に入りのサービス、サブスクライブされたサービス)、ユーザ定義基準(例えば、検索するキーワードの数、考慮する検索
結果の数等の検索パラメータを定義する)、任意の他の好適な基準、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、ユーザのプロファイル(例えば、ステップ1008においてアクセスされる)から情報を適用し、フィルタを適用することによって検索を精緻化し得る。
ステップ1018は、メディアガイドアプリケーションが、識別されたキーワードに合致する各クリップの関連性スコアを算出することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、ステップ1016において識別されたキーワード合致の数を合計することによって、関連性スコアを算出し得る。いくつかの実施形態において、メディアガイドアプリケーションは、検索のために算出されたデータを記憶し得る。例えば、メディアガイドアプリケーションは、各キーワードのためのいくつかのキーワード・メタデータ合致を算出し得る(例えば、検索結果のクリップ#2に関連付けられたデータが、3つのキーワードに合致した)。さらなる例において、メディアガイドアプリケーションは、メタデータに合致した会話(例えば、いくつかの言葉)からの最長語句を算出し、語句長を記憶し得る。例証的な表1は、検索結果、検索情報、および関連性スコアのリスト項目を示す。表1に示される例証的例において、検索情報は、合致したキーワードの数、合致した最長語句の長さ、および人気スコアを含む。例証的な表1は、3つの検索結果スコア(例えば、表1の数字の行)の平均として算出される例示的関連性スコアを含む。
Figure 0007295110000001
表1の計算は、例証的であり、任意の好適な関連性スコアが、任意の好適な検索情報に基づいて算出され得る。例えば、関連性スコアは、和、積、加重和、平均、1つ以上のスコアを入力としてとり得る関数、1つ以上のスコアを入力としてとり得るアルゴリズム、任意の他の好適な計算、もしくはそれらの任意の組み合わせ(例えば、加重和等)に基づき得る。さらなる例において、メディアガイドアプリケーションは、複数の関連性スコア(例えば、2つ以上の)を算出し、好適な方法でスコアを組み合わせ得る。さらなる例において、メディアガイドアプリケーションは、複数の関連性スコアを算出し、組み合わせることなく複数の関連性スコアを記憶し得る。
検索情報は、例えば、合致したキーワードの数(例えば、クリップあたり)、合致した最長語句の長さ、人気スコア(例えば、視聴の数、ユーザ評価)、コンテンツソーススコア(例えば、ユーザレビューに基づく、既知の信頼性に基づく、ユーザがソースへのアクセスを許可するサブスクリプションを有するかどうかに基づく)、検索結果の間の以前のメンバーシップ(例えば、繰り返しまたは定期的な会話の話題)、クリップを提供するために利用可能なソースの数、クリップの関連性を示し得る任意の他のメトリック、またはそれらの任意の組み合わせを含み得る。
ステップ1020は、メディアガイドアプリケーションが、1つ以上のそれぞれのクリップに対応する1つ以上の関連性スコアが閾値を超えるかどうかを決定することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、連続的に各クリップおよび対応する関連性スコアを考慮し、スコアを閾値と比較し、関連性決定(すなわち、クリップに関連性があるか)を行い得る。例えば、10個のクリップを伴う検索結果リストに関して、メディアガイドアプリケーションは、ステップ1020を10回実施し得る。いくつかの実施形態において、メディアガイドアプリケーションは、検索結果から複数のクリップを考慮し、クリップのそれぞれの関連性スコアを閾値と比較し、関連性決定を行い得る。例えば、メディアガイドアプリケーションは、閾値のベクトルとベクトル比較を実施し、それによって、比較的により統合されたアクションとしてステップ1020を実施し得る。いくつかの実施形態において、メディアガイドアプリケーションは、ステップ1018および1020を組み合わせ得る。例えば、メディアガイドアプリケーションは、ステップ1018において関連性スコアを算出し得、それは、ステップ1020からの閾値との比較を含む。いくつかの実施形態において、メディアガイドアプリケーションは、ステップ1020を省略し得る。例えば、メディアガイドアプリケーションは、各クリップのための関連性スコアを算出し、閾値といずれとの比較も行わないこともある(例えば、ステップ1026に進む)。
メディアガイドアプリケーションが、ステップ1020において関連性スコアが閾値を超えないことを決定する場合、メディアガイドアプリケーションは、ステップ1022に進み得る。ステップ1022は、メディアガイドアプリケーションが、識別されたキーワードに合致するクリップのうちの1つ以上のクリップの次の群を選択することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、各々がクリップに対応し、クリップの対応する関連性スコアが閾値を超えるかどうか(例えば、0のフラグ値は、超えないことを意味し、1のフラグ値は、超えることを意味する)を示すそれぞれのフラグを記憶し得る。いくつかの実施形態において、メディアガイドアプリケーションは、検索結果のリスト全体がステップ1020において評価されるまで、ステップ1020および1022を繰り返し得る。いくつかの実施形態において、ステップ1020からの結果として生じるクリップのリスト(例えば、検索結果の数と等しい、またはそれ未満である)が、ステップ1026におけるさらなる処理のために、メモリに記憶され得る。
ステップ1026は、メディアガイドアプリケーションが最も関連性のあるクリップを選択することを含み得る。最も関連性のあるクリップを選択することは、例えば、ステップ1020からの結果として生じるクリップのリストの最大関連性スコアを識別することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、2つ以上の最も関連性のあるクリップを選択し得る。例えば、メディアガイドアプリケーションは、最も関連性のあるクリップのみならず、第2および第3の最も関連性のあるクリップも選択し得る(例えば、代替として、またはバックアップとして、もしくは選択可能なオプションをユーザに提供するために)。
いくつかの実施形態において、メディアガイドアプリケーションは、ステップ1024に示されるように、少なくとも部分的に1つ以上の補助選択基準に基づいて、最も関連性のあるクリップを選択し得る。ステップ1024は、メディアガイドアプリケーションが補助選択基準を決定することを含み得る。補助選択基準は、例えば、ユーザアクセス(例えば、コンテンツへのペアレンタルコントロール限定)、好ましいコンテンツソース(例えば、HBOからのクリップがある場合、それを選択する)、好ましいクリップ持続時間(例えば、クリップが10秒未満である場合、それを優先的に選択する)、クリップフォーマット、任意の他の好適な基準、またはそれらの任意の組み合わせを含み得る。
いくつかの実施形態において、メディアガイドアプリケーションは、もはや着目されない検索結果からタイトルを排除し得る。いくつかの実施形態において、メディアガイドアプリケーションは、会話からオーディオ合図(例えば、指示コマンドに限定されない)を検出し、有用性のためにガイドコンテンツを最適化し得る。例えば、メディアガイドアプリケーションは、会話において、「これ以上NBCの番組を見せないで」または「映画The Hangoverが本当に嫌い」を検出し、これらの発言に基づくキーワードを使用して、検索結果を除去するか、または、新しいキーワードを生成し得る。いくつかの実施形態において、メディアガイドアプリケーションは、決定木またはランダムフォレスト等のモデルを使用し、検出された言葉に基づいてキーワードを決定し得る。例えば、会話から言葉「映画The Hangoverが本当に嫌い」を識別すると、メディアガイドアプリケーションは、キーワード「嫌い」および「Hangover」を生成し、検索結果から映画The Hangoverまたはそのクリップを除去し得る。さらなる例において、メディアガイドアプリケーションは、言葉「Hangover」を記憶し、言葉を使用して検索結果を精緻化し得る(例えば、言葉「Hangover」を含むタイトルを有するクリップを除外しないブール)。
ステップ1028は、メディアガイドアプリケーションが会話処理表示を生成することを含み得る。ステップ1028は、例証的フローチャート1000の他のステップと、任意の好適な順序で実施され得る。例えば、メディアガイドアプリケーションは、関わり合っているモードまたは会話にかかわらず常に表示される会話処理表示を生成し得る。さらなる例において、メディアガイドアプリケーションは、発話がステップ1004において検出される場合、会話処理表示を生成し得る。メディアガイドアプリケーションは、任意の好適な時間に会話処理表示を生成し得る。いくつかの実施形態において、メディアガイドアプリケーションは、新しい会話が検出される場合、会話表示をリフレッシュ、改定、置換、または別様に更新し得る。例えば、メディアガイドアプリケーションは、新しい会話を識別し、特に、新しい会話のキーワードが古い会話のキーワードと異なる場合、会話処理表示を新しいものと置換し得る。いくつかの実施形態において、メディアガイドアプリケーションは、発話が検出されているときのみ、およびその後の所定の時間、会話処理表示を生成および維持し得る(例えば、口頭会話処理ウィンドウ)。
いくつかの状況において、メディアガイドアプリケーションは、会話情報および関連性のあるクリップを提示するとともに、会話に先立って提示されていたコンテンツを管理し得る。例証的ステップ1030、1032、および1034は、いくつかのそのような提示の説明を含む。メディアガイドアプリケーションは、ステップ1030、1032、および1034のうちのいずれか、またはそれらの任意の組み合わせを実施し、関連性のあるコンテンツを進行中の会話に提供し得る。メディアガイドアプリケーションは、ステップ1032および1034のうちのいずれかを省略し、または選択的に実施し、関連性のあるコンテンツを進行中の会話に提供し得る。
ステップ1030は、メディアガイドアプリケーションが最も関連性のあるクリップを提示することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、会話処理表示の領域において最も関連性のあるクリップを提示し得る。いくつかの実施形態において、メディアガイドアプリケーションは、最も関連性のあるクリップを自動再生し得る(例えば、クリップを再生し始めるためのユーザ入力を待たない)。いくつかの実施形態において、メディアガイドアプリケーションは、クリップを再生し始めるためのユーザ入力を待ち得る。例えば、メディアガイドアプリケーションは、開始ボタンまたは再生ボタンを提供し、ボタンのユーザ選択を受信すると、クリップを再生し始め得る。
ステップ1032は、メディアガイドアプリケーションが会話情報を提示することを含み得る。いくつかの実施形態において、メディアガイドアプリケーションは、会話処理表示において会話情報を提示し得る。会話情報は、例えば、識別されたキーワード、識別されたユーザ(例えば、会話に関わり合っているユーザ)、会話開始時間、会話停止時間、会話持続時間、会話識別子(例えば、「Detroit Lionsの試合についての火曜日の雑談」)、任意の他の好適な情報、またはそれらの任意の組み合わせ等のキーワードの発言に関する情報を含み得る。会話情報は、例えば、1つ以上のコンテンツリスト項目(例えば、関連性のあるクリップに対応する)、コンテンツソース識別、コンテンツタイプ識別(例えば、映画のクリップ、コマーシャル、スポーツの試合からのクリップ)、任意の他の好適な情報、またはそれらの任意の組み合わせ等の関連性のあるコンテンツに関する情報を含み得る。
ステップ1034は、メディアガイドアプリケーションが前に表示されていたメディアコンテンツを管理することを含み得る。いくつかの状況において、メディアガイドアプリケーションは、メディアコンテンツ、メディアコンテンツのリスト項目を提示していること、または会話が検出されたときに表示を生成していることもある。いくつかのそのような状況において、メディアガイドアプリケーションは、前に表示されたコンテンツを一時停止し得る。例えば、ユーザ群がThe Simpsonsを鑑賞していることもあり、次いで、Gameof Thronesについて会話し始めることもある。この例に関して、いくつかの実施形態において、メディアガイドアプリケーションは、The Simpsonsを一時停止し、会話情報、関連性のあるクリップ、およびユーザのリストを含み得る会話監視表示を提示し得る。この例に関して、いくつかの実施形態において、メディアガイドアプリケーションは、対応するオーディオがミュートされた状態でThe Simpsonsを提示し続け、会話情報、および関連性のあるクリップ(例えば、再生するときに付随するオーディオ)を含み得る会話監視表示(例えば、オーバーレイ)を提示し得る。この例に関して、いくつかの実施形態において、メディアガイドアプリケーションは、選択可能なオプションをユーザに提示し、前に存在したコンテンツ(すなわち、この例ではThe Simpsons)または関連性のあるクリップ(すなわち、この例ではGame of Thronesからの関連性のあるクリップ)を鑑賞し続けることを好むであろうかどうかを示し得る。この例に関して、いくつかの実施形態において、メディアガイドアプリケーションは、前に表示されたコンテンツのサイズを縮小し、会話処理表示(例えば、分割画面)を可能にし得る。メディアガイドアプリケーションは、会話との関連で関連性のあるクリップを提示することに応答して、提示されていたコンテンツの任意の好適な側面を停止すること、一時停止すること、ミュートすること、その表示サイズを縮小すること、オーバーレイすること、オーバーレイして不鮮明にすること、表示から除去すること、または、管理することを行い得る。
例えば、ステップ1030からの関連性のあるクリップ以外に管理するコンテンツがない状況において、ステップ1034は、省略され得る。
図10のステップまたは説明は、本開示の任意の他の実施形態と共に使用され得ることが想定される。加えて、図10に関連して説明されるステップおよび説明は、本開示の目的を促すために、代替順序で、または並行して、行われ得る。例えば、これらのステップの各々は、システムまたは方法の遅延を低減させるように、または、速度を増加させるように任意の順序で、または並行して、もしくは実質的に同時に実施され得る。これらのステップのうちのいずれかは、飛ばされるか、または、プロセスから省略されることもある。さらに、図5-6に関連して議論されるデバイスまたは機器のうちのいずれかは、図10のステップのうちの1つ以上のものを実施するために使用され得ることに留意されたい。
本開示の上で説明される実施形態は、限定ではなく、例証の目的のために提示され、本開示は、続く請求項のみによって限定される。加えて、図5-6に関連して議論されるデバイスまたは機器のうちのいずれかが、それぞれ、図7-10のプロセス700-1000の中のステップのうちの1つ以上のものを実施するために使用され得ることに留意されたい。さらに、いずれか1つの実施形態で説明される特徴および限定は、本明細書の任意の他の実施形態に適用され得、一実施形態に関するフローチャートまたは例は、好適な様式で任意の他の実施形態と組み合わせられること、異なる順序で行われること、追加のステップと実施されること、省略されたステップと実施されること、または、並行して行われ得ることに留意されたい。例えば、これらのステップの各々は、システムまたは方法の遅延を低減させるように、または、速度を増加させるように任意の順序で、または並行して、もしくは実質的に同時に実施され得る。加えて、本明細書に説明されるシステムおよび方法は、リアルタイムで実施され得る。上で説明されるシステムおよび/または方法が他のシステムおよび/または方法に適用されるか、または、それらに従って使用され得ることにも留意されたい。

Claims (9)

  1. 会話との関連でコンテンツを推奨する方法であって、前記方法は、
    ユーザ機器を用いて、複数のユーザ間の口頭会話を監視することと、
    口頭会話処理ウィンドウを生成することと、
    前記口頭会話処理ウィンドウの開始時間に先立って検出された言葉が破棄されるように、前記口頭会話処理ウィンドウ内で検出される前記口頭会話における言葉を一時的に記憶することと、
    前記口頭会話が継続しているとき、前記口頭会話における言葉を処理し、前記口頭会話における前記言葉からキーワードを選択的に読み出すことと、
    前記選択的に読み出されたキーワードに基づいて、ウェイクワードを受信することなく、前記口頭会話における前記キーワードを検出することと、
    前記キーワードのうちの1つに合致するクリップに関して、複数のクリップを検索することであって、前記複数のクリップを検索することは、
    前記複数のクリップの各々に関連付けられたメタデータを前記検出されたキーワードと比較することと、
    前記比較することに基づいて、前記クリップのうちの別のものに関連付けられたメタデータより多くの前記キーワードに合致するメタデータを有する前記複数のクリップのうちのクリップを選択することと
    による、ことと、
    前記ウェイクワードを受信することなく、前記口頭会話中に前記クリップを前記ユーザに自動的に提示することと
    を含む、方法。
  2. 前記検出されたキーワードに関連付けられたコンテンツタイプを識別することと、
    前記識別されたコンテンツタイプに基づいて、検索すべきコンテンツソースを選択することと
    をさらに含む、請求項1に記載の方法。
  3. 聴取モードをアクティブにすることをさらに含み、前記監視することは、前記聴取モードがアクティブであるときに実施され、前記聴取モードが無効にされているとき、実施されない、請求項1-のいずれか1項に記載の方法。
  4. 前記複数のクリップの各々は、閾値持続時間未満である、請求項1-のいずれか1項に記載の方法。
  5. 前記キーワードは、メディアアセットにおけるセグメントに関連しており、前記複数のクリップの各々は、前記メディアアセットの場面におけるコンテンツを表す、請求項1-のいずれか1項に記載の方法。
  6. 前記セグメントは、スポーツイベントにおけるプレーを特徴とする前記メディアアセットの場面または一部である、請求項に記載の方法。
  7. 前記口頭会話中に前記コンテンツを前記ユーザに自動的に提示することは、前記ユーザ機器上で現在提示されているコンテンツを変更し、前記クリップを提示することを含む、請求項1-のいずれか1項に記載の方法。
  8. 前記会話における前記キーワードを検出することに応答して、前記クリップが選択されたという指示を伴う前記クリップと共に前記検出されたキーワードのうちのいくつかを提示することをさらに含む、請求項1-のいずれか1項に記載の方法。
  9. キーワードを選択的に読み出すことは、前記複数のユーザの各々のユーザプロファイルに合致する前記口頭会話における言葉を識別することを含む、請求項1-のいずれか1項に記載の方法。
JP2020528892A 2017-11-28 2018-06-22 会話との関連でコンテンツを推奨する方法およびシステム Active JP7295110B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/824,788 US11140450B2 (en) 2017-11-28 2017-11-28 Methods and systems for recommending content in context of a conversation
US15/824,788 2017-11-28
PCT/US2018/038965 WO2019108257A1 (en) 2017-11-28 2018-06-22 Methods and systems for recommending content in context of a conversation

Publications (3)

Publication Number Publication Date
JP2021505046A JP2021505046A (ja) 2021-02-15
JP2021505046A5 JP2021505046A5 (ja) 2021-08-05
JP7295110B2 true JP7295110B2 (ja) 2023-06-20

Family

ID=63015017

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020528892A Active JP7295110B2 (ja) 2017-11-28 2018-06-22 会話との関連でコンテンツを推奨する方法およびシステム

Country Status (7)

Country Link
US (3) US11140450B2 (ja)
JP (1) JP7295110B2 (ja)
KR (1) KR102581116B1 (ja)
CN (1) CN111433845B (ja)
AR (1) AR113590A1 (ja)
CA (1) CA3081859A1 (ja)
WO (1) WO2019108257A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10123058B1 (en) 2017-05-08 2018-11-06 DISH Technologies L.L.C. Systems and methods for facilitating seamless flow content splicing
US11115717B2 (en) * 2017-10-13 2021-09-07 Dish Network L.L.C. Content receiver control based on intra-content metrics and viewing pattern detection
US11140450B2 (en) 2017-11-28 2021-10-05 Rovi Guides, Inc. Methods and systems for recommending content in context of a conversation
CN110637300B (zh) * 2018-04-25 2023-09-19 谷歌有限责任公司 在联网环境中延迟的双因素认证
WO2020005207A1 (en) * 2018-06-26 2020-01-02 Rovi Guides, Inc. Augmented display from conversational monitoring
US10269376B1 (en) * 2018-06-28 2019-04-23 Invoca, Inc. Desired signal spotting in noisy, flawed environments
US10616649B2 (en) * 2018-07-19 2020-04-07 Rovi Guides, Inc. Providing recommendations based on passive microphone detections
US10832659B2 (en) 2018-08-31 2020-11-10 International Business Machines Corporation Intent authoring using weak supervision and co-training for automated response systems
US20200097499A1 (en) * 2018-09-26 2020-03-26 Rovi Guides, Inc. Systems and methods for generating query suggestions
JP2022028094A (ja) * 2018-12-21 2022-02-15 ソニーグループ株式会社 情報処理装置、制御方法、情報処理端末、情報処理方法
KR20200084413A (ko) * 2018-12-21 2020-07-13 삼성전자주식회사 컴퓨팅 장치 및 그 동작 방법
US11106875B2 (en) 2019-05-20 2021-08-31 International Business Machines Corporation Evaluation framework for intent authoring processes
US11025990B2 (en) * 2019-06-17 2021-06-01 Rovi Guides, Inc. Search and recommendation of media assets through conversational use of catchphrases
US11227593B2 (en) * 2019-06-28 2022-01-18 Rovi Guides, Inc. Systems and methods for disambiguating a voice search query based on gestures
WO2021022333A1 (en) * 2019-08-05 2021-02-11 Hoppr Ltd A method and system for providing content to a media playing device
CN110767234B (zh) * 2019-10-31 2022-12-23 抖音视界有限公司 音频信息处理方法、装置、电子设备及存储介质
US11380306B2 (en) 2019-10-31 2022-07-05 International Business Machines Corporation Iterative intent building utilizing dynamic scheduling of batch utterance expansion methods
WO2021091526A1 (en) * 2019-11-04 2021-05-14 Google Llc Using video clips as dictionary usage examples
US11977849B2 (en) * 2020-04-24 2024-05-07 Rajiv Trehan Artificial intelligence (AI) based automated conversation assistance system and method thereof
US11277663B2 (en) * 2020-05-18 2022-03-15 Mercury Analytics, LLC Systems and methods for providing survey data
CN111611492A (zh) * 2020-05-26 2020-09-01 北京字节跳动网络技术有限公司 一种触发搜索的方法、装置、电子设备及存储介质
US11190641B1 (en) 2020-09-30 2021-11-30 Capital One Services, Llc Automated agent behavior recommendations for call quality improvement
KR20220091068A (ko) * 2020-12-23 2022-06-30 삼성전자주식회사 음성 기반 콘텐츠 제공 방법 및 그 전자 장치
KR20220118698A (ko) * 2021-02-19 2022-08-26 삼성전자주식회사 사용자와 대화하는 인공 지능 에이전트 서비스를 지원하는 전자 장치
EP4220628A4 (en) 2021-02-19 2024-05-22 Samsung Electronics Co., Ltd. ELECTRONIC SERVICE SUPPORT DEVICE FOR ARTIFICIAL INTELLIGENCE (AI) AGENT TALKING WITH USER
US11978449B2 (en) 2021-03-02 2024-05-07 Samsung Electronics Co., Ltd. Electronic device for processing user utterance and operation method therefor
WO2022208254A1 (en) * 2021-04-01 2022-10-06 Symmetrics Tech Matrix Pvt Ltd. Method of performing actions from an on-going conversation window and a user interface thereof
CN113676764B (zh) * 2021-08-04 2023-12-05 深圳康佳电子科技有限公司 一种屏幕分屏显示方法、装置及存储介质
CA3228869A1 (en) * 2021-08-31 2023-03-09 Christopher Landry Dynamic labeling of and generating indications of real-time communication sessions
CN113704440B (zh) * 2021-09-06 2022-02-18 中国计量大学 一种基于物品图网络中路径表征的会话推荐方法
CN116205200A (zh) * 2021-11-30 2023-06-02 腾讯科技(深圳)有限公司 视频封面的生成方法、装置、设备、介质及程序产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316710A (ja) 2002-04-23 2003-11-07 Fujitsu Ltd コンテンツ配信方法及びその方法における処理をコンピュータに行なわせるためのプログラム
JP2008171173A (ja) 2007-01-11 2008-07-24 Nippon Telegr & Teleph Corp <Ntt> 文書検索方法および装置、プログラム
JP2009088687A (ja) 2007-09-27 2009-04-23 Fujifilm Corp アルバム作成装置
JP2011180271A (ja) 2010-02-26 2011-09-15 Daiichikosho Co Ltd クレイドルを介してホストシステムに接続されるカラオケ選曲予約装置
JP2015052745A (ja) 2013-09-09 2015-03-19 Necパーソナルコンピュータ株式会社 情報処理装置、制御方法、及びプログラム
JP2015084504A (ja) 2013-09-19 2015-04-30 パナソニックIpマネジメント株式会社 信号記録装置、カメラレコーダおよび信号処理装置
JP2015146574A (ja) 2004-04-07 2015-08-13 ヴィジブル ワールド インコーポレイテッド 映像選択のための表示ガイドの方法及びシステム
JP2015162233A (ja) 2014-02-28 2015-09-07 日本電信電話株式会社 収束判定装置、方法、及びプログラム

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6239794B1 (en) 1994-08-31 2001-05-29 E Guide, Inc. Method and system for simultaneously displaying a television program and information about the program
US5553221A (en) * 1995-03-20 1996-09-03 International Business Machine Corporation System and method for enabling the creation of personalized movie presentations and personalized movie collections
US6658662B1 (en) * 1997-06-30 2003-12-02 Sun Microsystems, Inc. Retrieving information from a broadcast signal
US6564378B1 (en) 1997-12-08 2003-05-13 United Video Properties, Inc. Program guide system with browsing display
CN1867068A (zh) 1998-07-14 2006-11-22 联合视频制品公司 交互式电视节目导视***及其方法
AR020608A1 (es) 1998-07-17 2002-05-22 United Video Properties Inc Un metodo y una disposicion para suministrar a un usuario acceso remoto a una guia de programacion interactiva por un enlace de acceso remoto
CA2865444C (en) 1998-07-17 2017-11-28 United Video Properties, Inc. Interactive television program guide system having multiple devices within a household
US7165098B1 (en) 1998-11-10 2007-01-16 United Video Properties, Inc. On-line schedule system with personalization features
WO2000054168A2 (en) * 1999-03-05 2000-09-14 Canon Kabushiki Kaisha Database annotation and retrieval
KR20020027382A (ko) 2000-05-03 2002-04-13 요트.게.아. 롤페즈 콘텐트 정보의 의미론에 따른 음성 명령
US7000242B1 (en) * 2000-07-31 2006-02-14 Jeff Haber Directing internet shopping traffic and tracking revenues generated as a result thereof
KR101548473B1 (ko) 2001-02-21 2015-08-28 로비 가이드스, 인크. 개인용 비디오 녹화 특징을 갖는 대화식 프로그램 가이드를 위한 시스템 및 방법
US20020133562A1 (en) * 2001-03-13 2002-09-19 Newnam Scott G. System and method for operating internet-based events
US20020170068A1 (en) * 2001-03-19 2002-11-14 Rafey Richter A. Virtual and condensed television programs
US7035468B2 (en) * 2001-04-20 2006-04-25 Front Porch Digital Inc. Methods and apparatus for archiving, indexing and accessing audio and video data
US7110664B2 (en) * 2001-04-20 2006-09-19 Front Porch Digital, Inc. Methods and apparatus for indexing and archiving encoded audio-video data
US20020162117A1 (en) * 2001-04-26 2002-10-31 Martin Pearson System and method for broadcast-synchronized interactive content interrelated to broadcast content
US7886003B2 (en) * 2001-07-06 2011-02-08 Ericsson Television, Inc. System and method for creating interactive events
US7908628B2 (en) * 2001-08-03 2011-03-15 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator content coding and formatting
JP3762926B2 (ja) * 2001-08-28 2006-04-05 松下電器産業株式会社 放送受信方法、放送システム、プログラム及び記録媒体
US7092888B1 (en) * 2001-10-26 2006-08-15 Verizon Corporate Services Group Inc. Unsupervised training in natural language call routing
US7996232B2 (en) * 2001-12-03 2011-08-09 Rodriguez Arturo A Recognition of voice-activated commands
AU2003280513A1 (en) * 2002-07-01 2004-01-19 Microsoft Corporation A system and method for providing user control over repeating objects embedded in a stream
US7774815B1 (en) * 2002-09-30 2010-08-10 Arris Group, Inc. Context-sensitive interactive television ticker
KR20120038000A (ko) 2004-01-20 2012-04-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 대화의 주제를 결정하고 관련 콘텐트를 획득 및 제시하는 방법 및 시스템
US20050188411A1 (en) * 2004-02-19 2005-08-25 Sony Corporation System and method for providing content list in response to selected closed caption word
US20070124788A1 (en) * 2004-11-25 2007-05-31 Erland Wittkoter Appliance and method for client-sided synchronization of audio/video content and external data
JP2008535317A (ja) * 2005-03-23 2008-08-28 アルカテル−ルーセント デジタルマルチメディアコンテンツに関してネットワークノードからプレイリスト検索を達成するためのシステムおよび方法
JP4779481B2 (ja) * 2005-07-19 2011-09-28 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8024768B2 (en) * 2005-09-15 2011-09-20 Penthera Partners, Inc. Broadcasting video content to devices having different video presentation capabilities
US7801910B2 (en) * 2005-11-09 2010-09-21 Ramp Holdings, Inc. Method and apparatus for timed tagging of media content
BRPI0619388A2 (pt) * 2005-11-29 2011-10-04 Google Inc aplicações sociais e interativas para mìdia de massa
US20100153885A1 (en) 2005-12-29 2010-06-17 Rovi Technologies Corporation Systems and methods for interacting with advanced displays provided by an interactive media guidance application
US8209724B2 (en) * 2007-04-25 2012-06-26 Samsung Electronics Co., Ltd. Method and system for providing access to information of potential interest to a user
US8115869B2 (en) * 2007-02-28 2012-02-14 Samsung Electronics Co., Ltd. Method and system for extracting relevant information from content metadata
US8412021B2 (en) * 2007-05-18 2013-04-02 Fall Front Wireless Ny, Llc Video player user interface
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080091713A1 (en) * 2006-10-16 2008-04-17 Candelore Brant L Capture of television metadata via OCR
US7689613B2 (en) * 2006-10-23 2010-03-30 Sony Corporation OCR input to search engine
US8296808B2 (en) * 2006-10-23 2012-10-23 Sony Corporation Metadata from image recognition
US7814524B2 (en) * 2007-02-14 2010-10-12 Sony Corporation Capture of configuration and service provider data via OCR
JP2008162233A (ja) 2007-01-04 2008-07-17 National Printing Bureau 真偽判別印刷物、該印刷物の真偽判別方法及び真偽判別システム
US8000972B2 (en) * 2007-10-26 2011-08-16 Sony Corporation Remote controller with speech recognition
EP2109313B1 (en) * 2008-04-09 2016-01-13 Sony Computer Entertainment Europe Limited Television receiver and method
US8079054B1 (en) * 2008-04-14 2011-12-13 Adobe Systems Incorporated Location for secondary content based on data differential
US20090293081A1 (en) * 2008-05-22 2009-11-26 At&T Delaware Intellectual Property, Inc. Methods and computer program products for performing searches at a plurality of content storing locations
US8423363B2 (en) * 2009-01-13 2013-04-16 CRIM (Centre de Recherche Informatique de Montréal) Identifying keyword occurrences in audio data
US20100316131A1 (en) * 2009-06-12 2010-12-16 Motorola, Inc. Macroblock level no-reference objective quality estimation of video
US9014546B2 (en) * 2009-09-23 2015-04-21 Rovi Guides, Inc. Systems and methods for automatically detecting users within detection regions of media devices
WO2011053271A1 (en) * 2009-10-29 2011-05-05 Thomson Licensing Multiple-screen interactive screen architecture
US8818175B2 (en) * 2010-03-08 2014-08-26 Vumanity Media, Inc. Generation of composited video programming
US8572488B2 (en) * 2010-03-29 2013-10-29 Avid Technology, Inc. Spot dialog editor
US20110283189A1 (en) * 2010-05-12 2011-11-17 Rovi Technologies Corporation Systems and methods for adjusting media guide interaction modes
WO2011146276A2 (en) * 2010-05-19 2011-11-24 Google Inc. Television related searching
US8359020B2 (en) 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
US20120095997A1 (en) * 2010-10-18 2012-04-19 Microsoft Corporation Providing contextual hints associated with a user session
US9462340B1 (en) * 2011-10-13 2016-10-04 Trevor Mathurin Voice/manual activated and integrated audio/video multi-media, multi-interface system
US8812527B2 (en) * 2011-11-29 2014-08-19 International Business Machines Corporation Automatically recommending asynchronous discussion forum posts during a real-time collaboration
KR101878488B1 (ko) 2011-12-20 2018-08-20 한국전자통신연구원 대화 연관 컨텐츠 제공 방법 및 장치
WO2013115235A1 (ja) * 2012-02-03 2013-08-08 シャープ株式会社 出力システム、出力システムの制御方法、制御プログラム、および記録媒体
US8612211B1 (en) * 2012-09-10 2013-12-17 Google Inc. Speech recognition and summarization
US9369670B2 (en) * 2012-12-19 2016-06-14 Rabbit, Inc. Audio video streaming system and method
JP2014126600A (ja) * 2012-12-25 2014-07-07 Panasonic Corp 音声認識装置、音声認識方法、およびテレビ
US20140278834A1 (en) * 2013-03-14 2014-09-18 Armchair Sports Productions Inc. Voting on actions for an event
KR101456974B1 (ko) * 2013-05-21 2014-10-31 삼성전자 주식회사 사용자 단말기, 음성인식 서버 및 음성인식 가이드 방법
BR112016006860B8 (pt) * 2013-09-13 2023-01-10 Arris Entpr Inc Aparelho e método para criar um único fluxo de dados de informações combinadas para renderização em um dispositivo de computação do cliente
US9510030B2 (en) * 2014-02-13 2016-11-29 Piksel, Inc. Delivering media content to a content consuming user
US10206014B2 (en) * 2014-06-20 2019-02-12 Google Llc Clarifying audible verbal information in video content
US9728229B2 (en) 2015-09-24 2017-08-08 International Business Machines Corporation Searching video content to fit a script
CN106021600B (zh) * 2016-06-12 2018-03-09 腾讯科技(深圳)有限公司 信息提示方法及装置
US10796697B2 (en) * 2017-01-31 2020-10-06 Microsoft Technology Licensing, Llc Associating meetings with projects using characteristic keywords
CN107222757A (zh) * 2017-07-05 2017-09-29 深圳创维数字技术有限公司 一种语音搜索方法、机顶盒、存储介质、服务器和***
US11140450B2 (en) 2017-11-28 2021-10-05 Rovi Guides, Inc. Methods and systems for recommending content in context of a conversation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003316710A (ja) 2002-04-23 2003-11-07 Fujitsu Ltd コンテンツ配信方法及びその方法における処理をコンピュータに行なわせるためのプログラム
JP2015146574A (ja) 2004-04-07 2015-08-13 ヴィジブル ワールド インコーポレイテッド 映像選択のための表示ガイドの方法及びシステム
JP2008171173A (ja) 2007-01-11 2008-07-24 Nippon Telegr & Teleph Corp <Ntt> 文書検索方法および装置、プログラム
JP2009088687A (ja) 2007-09-27 2009-04-23 Fujifilm Corp アルバム作成装置
JP2011180271A (ja) 2010-02-26 2011-09-15 Daiichikosho Co Ltd クレイドルを介してホストシステムに接続されるカラオケ選曲予約装置
JP2015052745A (ja) 2013-09-09 2015-03-19 Necパーソナルコンピュータ株式会社 情報処理装置、制御方法、及びプログラム
JP2015084504A (ja) 2013-09-19 2015-04-30 パナソニックIpマネジメント株式会社 信号記録装置、カメラレコーダおよび信号処理装置
JP2015162233A (ja) 2014-02-28 2015-09-07 日本電信電話株式会社 収束判定装置、方法、及びプログラム

Also Published As

Publication number Publication date
US11140450B2 (en) 2021-10-05
CN111433845B (zh) 2024-04-12
US20210400349A1 (en) 2021-12-23
US11716514B2 (en) 2023-08-01
WO2019108257A1 (en) 2019-06-06
CN111433845A (zh) 2020-07-17
US20190166403A1 (en) 2019-05-30
CA3081859A1 (en) 2019-06-06
US20230328325A1 (en) 2023-10-12
KR20200094162A (ko) 2020-08-06
AR113590A1 (es) 2020-05-20
JP2021505046A (ja) 2021-02-15
KR102581116B1 (ko) 2023-09-21

Similar Documents

Publication Publication Date Title
JP7295110B2 (ja) 会話との関連でコンテンツを推奨する方法およびシステム
US11024296B2 (en) Systems and methods for conversations with devices about media using interruptions and changes of subjects
US11860915B2 (en) Systems and methods for automatic program recommendations based on user interactions
US11481187B2 (en) Systems and methods for generating a volume-based response for multiple voice-operated user devices
US11822606B2 (en) Systems and methods for updating search results based on a conversation
US11375287B2 (en) Systems and methods for gamification of real-time instructional commentating
US11758234B2 (en) Systems and methods for creating an asynchronous social watching experience among users
US11960516B2 (en) Methods and systems for playing back indexed conversations based on the presence of other people
US10691733B2 (en) Methods and systems for replying to queries based on indexed conversations and context
JP7275134B2 (ja) メディアアセットの再生に無関係である口頭コマンドに応答して、メディアアセットの再生を修正するためのシステムおよび方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210622

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220722

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221021

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230608

R150 Certificate of patent or registration of utility model

Ref document number: 7295110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150