JP2021122125A - 動画による音楽サービス - Google Patents

動画による音楽サービス Download PDF

Info

Publication number
JP2021122125A
JP2021122125A JP2021073981A JP2021073981A JP2021122125A JP 2021122125 A JP2021122125 A JP 2021122125A JP 2021073981 A JP2021073981 A JP 2021073981A JP 2021073981 A JP2021073981 A JP 2021073981A JP 2021122125 A JP2021122125 A JP 2021122125A
Authority
JP
Japan
Prior art keywords
audio content
content
data
reference audio
main audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021073981A
Other languages
English (en)
Other versions
JP7227298B2 (ja
Inventor
マルクス ケイ クレマー
K Cremer Markus
マルクス ケイ クレマー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gracenote Inc
Original Assignee
Gracenote Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gracenote Inc filed Critical Gracenote Inc
Publication of JP2021122125A publication Critical patent/JP2021122125A/ja
Priority to JP2023018484A priority Critical patent/JP2023063298A/ja
Application granted granted Critical
Publication of JP7227298B2 publication Critical patent/JP7227298B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

【課題】動画コンテンツの提示を音声コンテンツの提示と組み合わせること。【解決手段】音声コンテンツと共に動画コンテンツを提供する技術が開示される。いくつかの例としての実施形態では、コンピュータ実装システムは、主要な音声コンテンツを受信することと、少なくとも1つの基準音声コンテンツとの主要な音声コンテンツの比較に基づいて、少なくとも1つの基準音声コンテンツが予め定められた類似閾値を満たすと判定することと、少なくとも1つの基準音声コンテンツの各々の1つに対し、動画コンテンツが、少なくとも1つの基準音声コンテンツの1つと関連して記憶されており、かつ主要な音声コンテンツと関連して記憶されていないことに基づいて、動画コンテンツを識別することと、デバイス上での主要な音声コンテンツの提示と同時に、識別された動画コンテンツをデバイス上で表示させることと、を含む動作を実行するように構成される。【選択図】図1

Description

関連出願の相互参照
本出願は、その全体を参照することによって以下に組み込まれる、2017年3月31日に出願された米国特許出願第15/475,488号に対する優先権を主張する。
本出願は概して、データ処理の技術分野に関し、様々な実施形態では、音声コンテンツと共に動画コンテンツを提供する方法及びシステムに関する。
音声コンテンツの提示は、対応する動画コンテンツを欠くことが多い。動画コンテンツの提示をそのような音声コンテンツの提示と組み合わせることは、それに限定されないが、どの動画コンテンツを使用するか、及びどのように動画コンテンツを音声コンテンツと組み合わせるかを判定することを含む、多くの技術的課題を提起する。
本開示のいくつかの実施形態は、同一の符号が同様の要素を示す、添付図面の図において限定ではなく、例として表される。
いくつかの例としての実施形態に従った、音声コンテンツと共に動画コンテンツを提供するのに適切なネットワーク環境を表すブロック図である。 いくつかの例としての実施形態に従った、複数の基準音声コンテンツとの主要な音声コンテンツの比較を表す。 いくつかの例としての実施形態に従った、主要な音声コンテンツとの動画コンテンツの同期を表す概念図である。 いくつかの例としての実施形態に従った、主要な音声コンテンツとの動画コンテンツの同期を表す概念図である。 いくつかの例としての実施形態に従った、主要な音声コンテンツとの異なる動画コンテンツの同期を表す概念図である。 いくつかの例としての実施形態に従った、主要な音声コンテンツとの異なる動画コンテンツの同期を表す概念図である。 いくつかの例としての実施形態に従った、音声コンテンツと共に動画コンテンツを提供する方法を表すフローチャートである。 いくつかの例としての実施形態に従った、デバイス上での音声コンテンツの提示と同時に動画コンテンツをデバイス上で表示させる方法を表すフローチャートである。 いくつかの例としての実施形態に従った、モバイルデバイスを表すブロック図である。 いくつかの例としての実施形態に従った、本明細書で説明される方法論が実行されることができる例としてのコンピュータシステムのブロック図である。
音声コンテンツと共に動画コンテンツを提供する例としての方法及びシステムが開示される。以下の説明では、説明を目的として、例としての実施形態の完全な理解を提供するために、多くの特定の詳細が示される。しかしながら、本実施形態がそれらの特定の詳細なしに実施されてもよいことが当業者にとって明らかである。
いくつかの例としての実施形態では、コンピュータにより実行される方法は、主要な音声コンテンツを受信することと、少なくとも1つの基準音声コンテンツとの主要な音声コンテンツの比較に基づいて、少なくとも1つの基準音声コンテンツが予め定められた類似閾値を満たすと判定することと、少なくとも1つの基準音声コンテンツの各々の1つに対し、動画コンテンツが、少なくとも1つの基準音声コンテンツの1つと関連して記憶されており、かつ主要な音声コンテンツと関連して記憶されていないことに基づいて、動画コンテンツを識別することと、デバイス上での主要な音声コンテンツの提示と同時に、識別された動画コンテンツをデバイス上で表示させることと、を含む。いくつかの例としての実施形態では、主要な音声コンテンツは、音楽を含む。
いくつかの例としての実施形態では、比較は、少なくとも1つの基準音声コンテンツのフィンガープリントデータとの主要な音声コンテンツのフィンガープリントデータの比較を含む。
いくつかの例としての実施形態では、動画コンテンツの識別は更に、デバイスと関連付けられたユーザのプロファイルに基づいている。
いくつかの例としての実施形態では、デバイス上での主要な音声コンテンツの提示と同時に、識別された動画コンテンツをデバイス上で表示させることは、少なくとも1つの基準音声コンテンツのデータを主要な音声コンテンツのデータと同期することと、主要な音声コンテンツのデータとの少なくとも1つの基準音声コンテンツのデータの同期に基づいて、識別された動画コンテンツを主要な音声コンテンツと同期することと、を含む。いくつかの例としての実施形態では、主要な音声コンテンツのデータとの少なくとも1つの基準音声コンテンツのデータの同期は、主要な音声コンテンツのフィンガープリントとの少なくとも1つの基準音声コンテンツのフィンガープリントデータの比較に基づいている。
いくつかの例としての実施形態では、少なくとも1つの基準音声コンテンツは、少なくとも2つの基準音声コンテンツを含み、少なくとも2つの基準音声コンテンツの各々の1つは、異なる動画コンテンツと関連して記憶され、識別された動画コンテンツは、異なる動画コンテンツの各々の一部を含む。
本明細書で開示される方法または実施形態は、1つ以上のモジュール(例えば、ハードウェアモジュールまたはソフトウェアモジュール)を有するコンピュータシステムとして実装されることができる。そのようなモジュールは、コンピュータシステムの1つ以上のプロセッサによって実行されることができる。本明細書で開示される方法または実施形態は、1つ以上のプロセッサによって実行されるとき、1つ以上のプロセッサに命令を実行させるマシン可読媒体に記憶された命令として具体化されることができる。
図1は、いくつかの例としての実施形態に従った、音声コンテンツと共に動画コンテンツを提供するのに適切なネットワーク環境100を表すブロック図である。ネットワーク環境100は、コンテンツプロバイダ110、1つ以上のデバイス130、及び1つ以上のデータソース140(例えば、データソース140−1〜データソース140−N)を含み、それらの全ては、ネットワーク120を介して相互に通信可能に結合される。コンテンツプロバイダ110、デバイス(複数可)130、及びデータソース(複数可)140は各々、図8に関して以下で説明されるように、全体的にまたは部分的にコンピュータシステムにおいて実装されてもよい。
また、図1に示されるのは、ユーザ132である。ユーザ132は、人間ユーザ(例えば、人間)、マシンユーザ(例えば、デバイス130と対話するようにソフトウェアプログラムによって構成されたコンピュータ)、またはそれらのいずれかの適切な組み合わせ(例えば、マシンによって補助される人間もしくは人間によって監督されるマシン)であってもよい。ユーザ132は、ネットワーク環境100の一部ではないが、デバイス130と関連付けられ、デバイス130のユーザであってもよい。例えば、デバイス130は、ユーザ132に属するデスクトップコンピュータ、車両コンピュータ、タブレットコンピュータ、ナビゲーションデバイス、ポータブルメディアデバイス、またはスマートフォンであってもよい。
図1に示されるマシン、プロバイダ、モジュール、データベース、デバイス、またはデータソースのいずれかは、そのマシン、プロバイダ、モジュール、データベース、デバイス、またはデータソースについて本明細書で説明される機能のうちの1つ以上を実行するように、特殊目的コンピュータとなるようにソフトウェアによって修正された(例えば、構成またはプログラムされた)コンピュータにおいて実装されてもよい。例えば、本明細書で説明される方法論のうちのいずれか1つ以上を実装することが可能なコンピュータシステムは、図8に関して以下で議論される。本明細書で使用されるように、「データベース」は、データストレージリソースであり、テキストファイル、テーブル、スプレッドシート、関係データベース(例えば、オブジェクト関係データベース)、トリプルストア、階層データストア、またはそれらのいずれかの適切な組み合わせとして構造化されたデータを記憶してもよい。その上、図1に表されるデータベース、デバイス、またはデータソースのうちのいずれか2つ以上は、単一のマシンに組み合わされてもよく、いずれかの単一のデータベース、デバイス、またはデータソースについて本明細書で説明される機能は、複数のデータベース、デバイス、またはデータソースの間で更に分割されてもよい。
ネットワーク120は、マシン、データベース、及びデバイスの間または中での通信を可能にするいずれかのネットワークであってもよい。したがって、ネットワーク120は、有線ネットワーク、無線ネットワーク(例えば、モバイルもしくはセルラネットワーク)、またはそれらのいずれかの適切な組み合わせであってもよい。ネットワーク120は、プライベートネットワーク、パブリックネットワーク(例えば、インターネット)、またはそれらのいずれかの適切な組み合わせを構成する1つ以上の部分を含んでもよい。したがって、ネットワーク120は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、携帯電話ネットワーク(例えば、セルラネットワーク)、有線電話ネットワーク(例えば、旧来型電話システム(POTS)ネットワーク)、無線データネットワーク(例えば、WiFiネットワークもしくはWiMaxネットワーク)、またはそれらのいずれかの適切な組み合わせを組み込む1つ以上の部分を含んでもよい。ネットワーク190のいずれかの1つ以上の部分は、伝送媒体を介して情報を通信してもよい。本明細書で使用されるように、「伝送媒体」は、マシンによる実行のための命令を記憶、符号化、または実行する能力を有し、そのようなソフトウェアの通信を促進するように、デジタルもしくはアナログ通信信号または他の無形媒体を含む、いずれかの無形媒体を含むものと考えられるべきである。
コンテンツプロバイダ110は、デバイス130などのデバイスに音声コンテンツ及びビデオコンテンツを提供するように構成されたコンピュータシステムを含む。いくつかの例としての実施形態では、コンテンツプロバイダ110は、基準判定モジュール112、ビデオ識別モジュール114、提示モジュール116、及び1つ以上のデータベース118のうちの1つ以上のいずれかの組み合わせを含む。いくつかの例としての実施形態では、モジュール112、114、及び116、並びにデータベース(複数可)118は、メモリ及び少なくとも1つのプロセッサを有するマシンに存在する。いくつかの例としての実施形態では、モジュール112、114、及び116、並びにデータベース(複数可)118は、同一のマシンに存在するが、他の例としての実施形態では、モジュール112、114、及び116、並びにデータベース(複数可)118のうちの1つ以上は、ネットワーク120などのネットワークを介して相互に通信する別個のリモートマシンに存在する。
いくつかの例としての実施形態では、基準判定モジュール112は、主要な音声コンテンツを受信するように構成される。音声コンテンツは、単一の歌の記録などの音楽を含んでもよい。しかしながら、他のタイプの音声コンテンツも本開示の範囲内にあることが考慮される。いくつかの例としての実施形態では、基準判定モジュール112は、基準音声コンテンツとの主要な音声コンテンツの比較に基づいて、予め定められた類似閾値を満たす少なくとも1つの基準音声コンテンツを識別し、またはそれ以外の方法により判定するように構成される。例えば、基準判定モジュール112は、予め定められた類似閾値を満たす基準音声コンテンツについて、データベース(複数可)118に記憶された複数の基準音声コンテンツを検索してもよい。加えて、または代わりに、基準判定モジュール112は、予め定められた類似閾値を満たす基準音声コンテンツについて、1つ以上の外部データソース140を検索してもよい。外部データソース140は、コンテンツプロバイダ110とは別個であり、独立したデータソースを含んでもよい。
いくつかの例としての実施形態では、基準音声コンテンツとの主要な音声コンテンツの比較は、基準音声コンテンツのデータとの主要な音声コンテンツのデータの比較を含む。比較されるデータは、対応する音声コンテンツを一意に識別し、または特徴付けるフィンガープリントデータを含んでもよい。図2は、いくつかの例としての実施形態に従った、複数の基準音声コンテンツとの主要な音声コンテンツの比較を表す。図2では、主要な音声コンテンツ210のフィンガープリントデータ212は、複数の基準音声コンテンツ220(例えば、基準音声コンテンツ220−1、…、基準音声コンテンツ220−N)の複数のフィンガープリントデータ222(例えば、フィンガープリントデータ222−1、…、フィンガープリントデータ222−N)と比較される。いくつかの例としての実施形態では、各々の比較は、主要な音声コンテンツと基準音声コンテンツとの間の類似のレベルを示す対応する統計データを生成する。そのような統計データの1つの実施例は、ビット誤り率である。しかしながら、他の統計データも本開示の範囲内にあることが考慮される。いくつかの例としての実施形態では、基準判定モジュール112は、基準音声コンテンツ220に対応する統計データが予め定められた閾値を満たすかどうかを判定する。
いくつかの例としての実施形態では、基準判定モジュール112は、主要な音声コンテンツ210のフィンガープリントデータ212と基準音声コンテンツ220のフィンガープリントデータ222との間の正確なフィンガープリントの一致を、予め定められた閾値として使用する。例えば、基準判定モジュール112は、音声記録の1つのバージョン(例えば、圧縮されたまたはノイズのある)を悪化していない同一の音声記録のバージョンと一致させるように複数の基準音声コンテンツ220を検索する。
いくつかの例としての実施形態では、基準判定モジュール112は、主要な音声コンテンツ210のフィンガープリントデータ212と基準音声コンテンツ220のフィンガープリントデータ222との間のファジーなフィンガープリントの一致を、予め定められた閾値として使用するように構成される。例えば、基準判定モジュール112は、複数の基準音声コンテンツ220を検索してもよく、歌の記録(または、演劇の実演もしくはナレーションなど)を同一の歌(または、演劇の実演もしくはナレーションなど)の異なる実演または記録と一致させてもよい。
いくつかの例としての実施形態では、基準判定モジュール112は、主要な音声コンテンツ210及び基準音声コンテンツ220のそのような音声特性の和音、リズム特徴、及び楽器の開始など、音声特性の間の一致を、予め定められた閾値として使用するように構成される。例えば、基準判定モジュール112は、複数の基準音声コンテンツ220を検索してもよく、2つの異なる歌のリズム特徴の間の高レベルの類似の判定に基づいて2つの異なる歌を一致させることなど、異なる音声記録の音声特性の間の特定のレベルの類似に単純に基づいて、1つの音声記録を別の音声記録と一致させてもよい。
いくつかの例としての実施形態では、類似閾値を満たすと判定された基準音声コンテンツ220のうちの1つ以上に対し、ビデオ識別モジュール114は、動画コンテンツが、基準音声コンテンツと関連して記憶されており、かつ主要な音声コンテンツと関連して記憶されていないことに基づいて、動画コンテンツを識別する。いくつかの例としての実施形態では、ビデオ識別モジュール114は、主要な音声コンテンツ及び識別された動画コンテンツの組み合わせが提示されるデバイス130と関連付けられたユーザ132のプロファイルにも基づいて、動画コンテンツを識別するように構成される。いくつかの例としての実施形態では、ユーザプロファイルは、データベース(複数可)118に記憶される。ユーザ132のプロファイルは、ユーザ132によって聞かれる音声コンテンツの履歴、ユーザ132が特定のタイプまたはカテゴリの音声コンテンツを好むインジケーション、音声コンテンツの購入履歴、ユーザ132によって参照される動画コンテンツの履歴、ユーザ132が特定のタイプまたはカテゴリの動画を好むインジケーション、及びユーザ132に関する人口動態情報(例えば、性別、年齢、地理的位置)のうちの1つ以上のいずれかの組み合わせを含んでもよい。特定のタイプの音声コンテンツまたは特定のタイプのビデオコンテンツについての潜在的な好みを示す他のタイプの情報も、ユーザ132のプロファイルに含まれてもよい。いくつかの異なる動画コンテンツが類似閾値を満たすシナリオでは、ビデオ識別モジュール114は、どの動画コンテンツがユーザ132に最も関連するかどうかの判定に基づいて、1つ以上の動画コンテンツを選択するためにユーザ132のプロファイルを使用してもよい。
いくつかの例としての実施形態では、提示モジュール116は、デバイス132上での主要な音声コンテンツの提示と同時に、デバイス130上でビデオ識別モジュール114によって識別された動画コンテンツを表示させるように構成される。主要な音声コンテンツが歌を含むいくつかの例としての実施形態では、コンテンツプロバイダ110はよって、コンテンツプロバイダ110が音楽ビデオを記憶していた歌についての音楽ビデオを動的に生成している。
いくつかの例としての実施形態では、提示モジュール116は、基準音声コンテンツのデータを主要な音声コンテンツのデータと同期し、次いで、主要な音声コンテンツのデータとの基準音声コンテンツのデータの同期に基づいて、識別された動画コンテンツを主要な音声コンテンツと同期するように構成される。いくつかの例としての実施形態では、主要な音声コンテンツのデータとの基準音声コンテンツのデータの同期は、主要な音声コンテンツのフィンガープリントデータとの基準音声コンテンツのフィンガープリントデータの比較に基づいている。
図3A〜3Bは、いくつかの例としての実施形態に従った、主要な音声コンテンツとの動画コンテンツの同期を表す概念図である。図3Aでは、主要な音声コンテンツ210は、音声セグメント310−1、310−2、310−3、及び310−4から構成されるとして示され、基準音声コンテンツ220は、音声セグメント320−1、320−2、320−3、及び320−4から構成されるとして示される。基準音声コンテンツ220はまた、ビデオセグメント322−1、322−2、322−3、及び322−4から構成されるとして示される、動画コンテンツ320と関連して記憶されるとして示される。他のセグメント化構成も本開示の範囲内にあることが考慮される。図3Aでは、主要な音声コンテンツ210の音声セグメント310及び基準音声コンテンツ220の音声セグメント320は、提示モジュール116がそれらを同期した結果として、それらのそれぞれのタイムスタンプに従って時間ドメインに沿って調節される。同様に、動画コンテンツ320のビデオセグメント322は、それが関連付けられる基準音声コンテンツ220の音声セグメント320と調節される。
図3Bでは、主要な音声コンテンツ210の音声セグメント310との基準音声コンテンツ220の音声セグメント320の同期と共に、基準音声コンテンツ220の音声セグメント320との動画コンテンツ320のビデオセグメント322の同期を使用して、提示モジュール116は、動画コンテンツ320のビデオセグメント322を主要な音声コンテンツ210の音声セグメント310と同期する。
いくつかの例としての実施形態では、複数の異なる基準音声コンテンツと関連付けられた複数の異なる動画コンテンツからの部分は、主要な音声コンテンツと組み合わされる。図4A〜4Bは、いくつかの例としての実施形態に従った、主要な音声コンテンツとの異なる動画コンテンツの同期を表す概念図である。図4Aでは、図3Aと同様に、主要な音声コンテンツ210は、音声セグメント310−1、310−2、310−3、及び310−4から構成されるとして示され、基準音声コンテンツ220は、音声セグメント320−1、320−2、320−3、及び320−4から構成されるとして示される。基準音声コンテンツ220はまた、ビデオセグメント322−1、322−2、322−3、及び322−4から構成されるとして示される、動画コンテンツ320と関連して記憶されるとして示される。主要な音声コンテンツ210の音声セグメント310及び基準音声コンテンツ220の音声セグメント320は、提示モジュール116がそれらを同期した結果として、それらのそれぞれのタイムスタンプに従って時間ドメインに沿って調節される。同様に、動画コンテンツ320のビデオセグメント322は、それが関連付けられる基準音声コンテンツ220の音声セグメント320と調節される。
加えて、図4Aでは、別の基準音声コンテンツ420は、音声セグメント420−1、420−2、420−3、及び420−4から構成されるとして示される。基準音声コンテンツ420はまた、ビデオセグメント422−1、422−2、422−3、及び422−4から構成されるとして示される、動画コンテンツ420と関連して記憶されるとして示される。基準音声コンテンツ420の音声セグメント420−1、420−2、420−3、及び420−4、並びにビデオセグメント422−1、422−2、422−3、及び422−4は、主要な音声コンテンツ210の音声セグメント310−1、310−2、310−3、及び310−4と調節される。
同期を使用して、提示モジュール116は、動画コンテンツ320の部分及び動画コンテンツ420の部分から動画コンテンツ425を生成する。結果として、ビデオセグメント322−1は、音声セグメント310−1と同期され、ビデオセグメント322−2は、音声セグメント310−2と同期され、ビデオセグメント422−3は、音声セグメント310−3と同期され、ビデオセグメント422−4は、音声セグメント310−4と同期される。
いくつかの例としての実施形態では、提示モジュール116は、主要な音声コンテンツ210の音声セグメント310と基準音声コンテンツ220の音声セグメント320との間の正確なフィンガープリントの一致に基づいて、主要な音声コンテンツ210の音声セグメント310を基準音声コンテンツ220の音声セグメント320と同期するように構成される。例えば、提示モジュール116は、音声記録の1つのバージョン(例えば、圧縮されたまたはノイズのある)と悪化していない同一の音声記録のバージョンとの間の一致に基づいて、主要な音声コンテンツ210の音声セグメント310を基準音声コンテンツ220の音声セグメント320と同期してもよい。
いくつかの例としての実施形態では、提示モジュール116は、主要な音声コンテンツ210の音声セグメント310と基準音声コンテンツ220の音声セグメント320との間のファジーなフィンガープリントの一致に基づいて、主要な音声コンテンツ210の音声セグメント310を基準音声コンテンツ220の音声セグメント320と同期するように構成される。例えば、提示モジュール116は、歌の記録(または、演劇の実演もしくはナレーションなど)と同一の歌(または、演劇の実演もしくはナレーションなど)の異なる実演または記録との間の一致に基づいて、主要な音声コンテンツ210の音声セグメント310を基準音声コンテンツ220の音声セグメント320と同期してもよい。
いくつかの例としての実施形態では、提示モジュール116は、和音、リズム特徴、及び楽器の開始など、主要な音声コンテンツ210の音声セグメント310の音声特性と基準音声コンテンツ220の音声セグメント320のそのような音声特性との間の一致を使用して、主要な音声コンテンツ210の音声セグメント310を基準音声コンテンツ220の音声セグメント320と同期するように構成される。例えば、提示モジュール116は、2つの異なる歌のリズム特徴の間の高レベルの類似の判定に基づいて2つの異なる歌を同期することなど、異なる音声記録の音声特性の間の特定のレベルの類似に基づいて、主要な音声コンテンツ210の音声セグメント310を基準音声コンテンツ220の音声セグメント320と同期してもよい。
いくつかの例としての実施形態では、ビデオ識別モジュール114及び提示モジュール116は、同一の主要な音声コンテンツと同時に同期及び表示する異なる動画コンテンツを識別し、それによって、1つの再生から次の再生への同一の主要な音声コンテンツについてのビデオ経験を変更するように構成される。主要な音声コンテンツの1つの提示から次の提示へのビデオ経験における変化は、別のビデオセグメントまたは別のシーンについての1つのビデオセグメントまたは1つのシーンをスワップアウトすると共に、1つの提示から次の提示への少なくとも1つのビデオセグメントまたは1つのシーンを維持することによってなど、部分的であってもよい。代わりに、主要な音声コンテンツの1つの提示から次の提示へのビデオ経験における変化は、主要な音声コンテンツの提示のために使用されるビデオセグメントの全てを主要な音声コンテンツの後続の提示のための完全に異なるビデオセグメントと置き換えることによってなど、全体的であってもよい。例えば、ある日付に、歌の全体的な生の実演をカバーするビデオコンテンツは、主要な音声コンテンツと同時に同期及び表示されてもよく、次いで、後日に、スタジオでの同一の歌の全体的な実演をカバーするビデオコンテンツ(例えば、生の実演とは異なる)は、歌の全体的な生の実演をカバーするビデオコンテンツの代わりに同一の主要な音声コンテンツと同時に同期及び表示されてもよい。ビデオ経験のそのような変化は、ビデオコンテンツの人気度における検出された変化(例えば、日々のビデオコンテンツのYouTube(登録商標)のビューの総数における変化)に基づいてもよく、または主要な音声コンテンツと共にビデオコンテンツを提示されることになるユーザの好みもしくは振る舞いにおける検出された変化(例えば、YouTube(登録商標)上でのビデオコンテンツのユーザの参照する習慣における変化)に基づいてもよく、またはランダムであってもよい。他の因子がビデオコンテンツを1つの提示から別の提示に変更させるために使用されてもよいことが考慮される。
図5は、いくつかの例としての実施形態に従った、音声コンテンツと共に動画コンテンツを提供する方法500を表すフローチャートである。方法500は、ハードウェア(例えば、回路、専用ロジック、プログラム可能ロジック、マイクロコードなど)、ソフトウェア(例えば、処理デバイス上で稼働する命令)、またはそれらの組み合わせを含むことができる処理ロジックによって実行されることができる。1つの例としての実施形態では、方法500は、図1のコンテンツプロバイダ110、またはその構成要素もしくはモジュールのうちの1つ以上のいずれかの組み合わせによって実行される。
動作510において、コンテンツプロバイダ110は、主要な音声コンテンツを受信する。いくつかの例としての実施形態では、主要な音声コンテンツは、音楽(例えば、歌)を含む。動作520において、コンテンツプロバイダ110は、少なくとも1つの基準音声コンテンツとの主要な音声コンテンツの比較に基づいて、少なくとも1つの基準音声コンテンツが予め定められた類似閾値を満たすと判定する。いくつかの例としての実施形態では、比較は、少なくとも1つの基準音声コンテンツのフィンガープリントデータとの主要な音声コンテンツのフィンガープリントデータの比較を含む。動作530において、少なくとも1つの基準音声コンテンツの各々の1つに対し、コンテンツプロバイダ110は、動画コンテンツが、少なくとも1つの基準音声コンテンツの1つと関連して記憶されており、かつ主要な音声コンテンツと関連して記憶されていないことに基づいて、動画コンテンツを識別する。いくつかの例としての実施形態では、動画コンテンツの識別は更に、デバイスと関連付けられたユーザのプロファイルに基づいている。動作540において、コンテンツプロバイダ110は、デバイス上での主要な音声コンテンツの提示と同時に、識別された動画コンテンツをデバイス上で表示させる。本開示内で説明される他の特徴のいずれかが方法500に組み込まれることができることが考慮される。
図6は、いくつかの例としての実施形態に従った、デバイス上での音声コンテンツの提示と同時に、動画コンテンツをデバイス上で表示させる方法600を表すフローチャートである。方法600は、ハードウェア(例えば、回路、専用ロジック、プログラム可能ロジック、マイクロコードなど)、ソフトウェア(例えば、処理デバイス上で稼働する命令)、またはそれらの組み合わせを含むことができる処理ロジックによって実行されることができる。1つの例としての実施形態では、方法600は、図1のコンテンツプロバイダ110、またはその構成要素もしくはモジュールのうちの1つ以上のいずれかの組み合わせによって実行される。
動作610において、コンテンツプロバイダは、少なくとも1つの基準音声コンテンツのデータを主要な音声コンテンツのデータと同期する。動作620において、コンテンツプロバイダ110は、主要な音声コンテンツのデータとの少なくとも1つの基準音声コンテンツのデータの同期に基づいて、識別された動画コンテンツを主要な音声コンテンツと同期する。いくつかの例としての実施形態では、主要な音声コンテンツのデータとの少なくとも1つの基準音声コンテンツのデータの同期は、主要な音声コンテンツのフィンガープリントデータとの少なくとも1つの基準音声コンテンツのフィンガープリントデータの比較に基づいている。本開示内で説明される他の特徴のいずれかが方法600に組み込まれることができることが考慮される。
例としてのモバイルデバイス
図7は、例としての実施形態に従った、モバイルデバイス700を表すブロック図である。モバイルデバイス700は、プロセッサ702を含むことができる。プロセッサ702は、モバイルデバイス700に適切な、様々な異なるタイプの商業的に利用可能なプロセッサ(例えば、XScaleアーキテクチャマイクロプロセッサ、Interlocked Pipeline Stages(MIPS)アーキテクチャプロセッサを有さないマイクロプロセッサ、または別のタイプのプロセッサ)のいずれかとすることができる。ランダムアクセスメモリ(RAM)、フラッシュメモリ、または他のタイプのメモリなどのメモリ704は典型的には、プロセッサ702にアクセス可能である。メモリ704は、オペレーティングシステム(OS)706と共に、ユーザにLBSを提供することができるモバイルロケーション対応アプリケーションなどのアプリケーションプログラム708を記憶するように適合されることができる。プロセッサ702は、直接または適切な仲介ハードウェアを介してのいずれかで、ディスプレイ710、並びにキーパッド、タッチパネルセンサ、及びマイクロフォンなどの1つ以上の入力/出力(I/O)デバイス712に結合されることができる。同様に、いくつかの実施形態では、プロセッサ702は、アンテナ716とインタフェースする送受信機714に結合されることができる。送受信機714は、モバイルデバイス700の性質に応じて、アンテナ716を介してセルラネットワーク信号、無線データ信号、または他のタイプの信号の送信及び受信の両方をするように構成されることができる。更に、いくつかの構成では、GPS受信機718は、GPS信号を受信するためにアンテナ716も利用することができる。
モジュール、構成要素、及びロジック
ロジック、またはいくつかの構成要素、モジュール、もしくは機構として特定の実施形態が本明細書で説明される。モジュールは、ソフトウェアモジュール(例えば、マシン可読媒体上でもしくは伝送信号において具体化されたコード)、またはハードウェアモジュールのいずれかを構成することができる。ハードウェアモジュールは、特定の動作を実行する能力を有する有形単位であり、特定の方式において構成または配置されることができる。例としての実施形態では、1つ以上のコンピュータシステム(例えば、スタンドアロン、クライアント、もしくはサーバコンピュータシステム)、またはコンピュータシステムの1つ以上のハードウェアモジュール(例えば、プロセッサもしくはプロセッサのグループ)は、本明細書で説明されるような特定の動作を実行するように動作するハードウェアモジュールとしてソフトウェア(例えば、アプリケーションまたはアプリケーション部分)によって構成されることができる。
様々な実施形態では、ハードウェアモジュールは、機械的にまたは電気的に実装されることができる。例えば、ハードウェアモジュールは、特定の動作を実行するように永続的に構成された専用回路またはロジック(例えば、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)などの特殊目的プロセッサのような)を含むことができる。ハードウェアモジュールはまた、特定の動作を実行するようにソフトウェアによって一時的に構成されたプログラム可能ロジックまたは回路(例えば、汎用プロセッサまたは他のプログラム可能プロセッサ内に組み込まれるような)を含むことができる。専用且つ永続的に構成された回路、または一時的に構成された回路(例えば、ソフトウェアによって構成された)においてハードウェアモジュールを機械的に実装する決定は、コスト及び時間の考慮事項によって導出されることができることが認識される。
したがって、用語「ハードウェアモジュール」は、有形エンティティを包含すること、エンティティは、特定の方式において動作し、及び/または本明細書で説明される特定の動作を実行するように物理的に構築され、永続的に構成され(例えば、ハードウェアに組み込まれた)、または一時的に構成される(例えば、プログラムされた)ことを理解されるべきである。ハードウェアモジュールが一時的に構成される(例えば、プログラムされる)実施形態を考慮すると、ハードウェアモジュールの各々は、時間内にいずれかの1つのインスタンスにおいて構成またはインスタンス化される必要はない。例えば、ハードウェアモジュールがソフトウェアを使用して構成された汎用プロセッサを含む場合、汎用プロセッサは、異なる時にそれぞれの異なるハードウェアモジュールとして構成されることができる。したがって、ソフトウェアは、例えば、時間の1つのインスタンスにおいて特定のハードウェアモジュールを構築し、時間の異なるインスタンスにおいて異なるハードウェアモジュールを構築するようにプロセッサを構成することができる。
ハードウェアモジュールは、他のハードウェアモジュールに情報を提供し、他のハードウェアモジュールから情報を受信することができる。したがって、説明されるハードウェアモジュールは、通信可能に結合されると見なされることができる。そのようなハードウェアモジュールの複数が同時に存在する場合、通信は、ハードウェアモジュールを接続する信号伝送を通じて(例えば、適切な回路及びバスを通じて)達成されることができる。複数のハードウェアモジュールが異なる時に構成またはインスタンス化される実施形態では、そのようなハードウェアモジュールの間の通信は、例えば、複数のハードウェアモジュールがアクセスを有するメモリ構造内の情報の記憶及び取り出しを通じて達成されることができる。例えば、1つのハードウェアモジュールは、それが通信可能に結合されるメモリデバイスにおいて動作を実行し、その動作の出力を記憶することができる。更なるハードウェアモジュールが次いで、後に、記憶された出力を取り出し及び処理するためにメモリデバイスにアクセスすることができる。ハードウェアモジュールはまた、入力または出力デバイスとの通信を開始することができ、リソース(例えば、情報の集合)に対して動作することができる。
本明細書で説明される例としての方法の様々な動作は、関連する動作を実行するように一時的に構成され(例えば、ソフトウェアによって)、または永続的に構成された1つ以上のプロセッサに少なくとも部分的によって実行されることができる。一時的または永続的に構成されるかどうかに関わらず、そのようなプロセッサは、1つ以上の動作または機能を実行するように動作するプロセッサ実施モジュールを構成することができる。本明細書で言及されるモジュールは、いくつかの例としての実施形態では、プロセッサ実装モジュールを含むことができる。
同様に、本明細書で説明される方法は、少なくとも部分的にプロセッサによって実装されることができる。例えば、方法の動作の少なくともいくつかは、1つ以上のプロセッサまたはプロセッサ実装モジュールによって実行されることができる。特定の動作の実行は、単一のマシン内にあるだけでなく、いくつかのマシンにわたって配備される、1つ以上のプロセッサの間で分散されることができる。いくつかの例としての実施形態では、プロセッサまたはプロセッサ(複数)は、単一のロケーションに位置することができる(例えば、ホーム環境内、オフィス環境内、またはサーバファームとして)と共に、他の実施形態では、プロセッサは、いくつかのロケーションにわたって分散されることができる。
1つ以上のプロセッサはまた、「クラウドコンピューティング」環境において、または「ソフトウェアアズアサービス」(SaaS)として関連する動作の実行をサポートするように動作することができる。例えば、動作の少なくともいくつかは、コンピュータのグループによって実行されることができ(プロセッサを含むマシンの実施例として)、それらの動作は、ネットワークを介して、及び1つ以上の適切なインタフェース(例えば、API)を介してアクセス可能である。
例としての実施形態は、デジタル電子回路において、またはコンピュータハードウェア、ファームウェア、ソフトウェア、もしくはそれらの組み合わせにおいて実装されることができる。例としての実施形態は、コンピュータプログラム製品、例えば、情報搬送波、例えば、データ処理装置、例えば、プログラム可能プロセッサ、コンピュータ、または複数のコンピュータによる実行のための、またはその動作を制御するためのマシン可読媒体において有形的に具体化されたコンピュータプログラムを使用して実装されることができる。
コンピュータプログラムは、コンパイル言語またはインタープリタ言語を含むいずれかの形式のプログラミング言語において記述されることができ、スタンドアロンプログラムとして、またはモジュール、サブルーチン、もしくはコンピューティング環境における使用に適切な他のユニットとしてを含む、いずれかの形式において配備されることができる。コンピュータプログラムは、1つのサイトにおいて1つのコンピュータ上もしくは複数のコンピュータ上で実行されるように配備されることができ、または複数のサイトにわたって分散されることができ、通信ネットワークによって相互接続されることができる。
例としての実施形態では、動作は、入力データに関して動作し、出力を生成することによって機能を実行するようにコンピュータプログラムを実行する1つ以上のプログラム可能プロセッサによって実行されることができる。方法の動作はまた、特殊目的論理回路(例えば、FPGAまたはASIC)によって実行されることができ、例としての実施形態の装置は、特殊目的論理回路として実装されることができる。
コンピューティングシステムは、クライアント及びサーバを含むことができる。クライアント及びサーバは概して、相互にリモートであり、典型的には、通信ネットワークを通じて相互作用する。クライアント及びサーバの関係は、それぞれのコンピュータ上で稼働し、相互にクライアント−サーバ関係を有するコンピュータプログラムを理由に生じる。プログラム可能コンピューティングシステムを配備する実施形態では、ハードウェア及びソフトウェアアーキテクチャの両方を考える価値があることが認識される。特に、永続的に構成されたハードウェア(例えば、ASIC)において、一時的に構成されたハードウェア(例えば、ソフトウェア及びプログラム可能プロセッサの組み合わせ)において、または永続的及び一時的に構成されたハードウェアの組み合わせにおいて特定の機能性を実装するかどうかの選択が設計選択とすることができることが認識される。以下は、様々な例としての実施形態において配備されることができるハードウェア(例えば、マシン)及びソフトウェアアーキテクチャが示される。
図8は、例としての実施形態に従った、本明細書で議論される方法論のいずれか1つ以上をマシンに実行させる命令824が実行されることができる、例としての形式にあるコンピュータシステム800のマシンのブロック図である。代替的な実施形態では、マシンは、スタンドアロンデバイスとして動作し、または他のマシンに接続されることができる(例えば、ネットワーク化される)。ネットワーク化された配備では、マシンは、サーバ−クライアントネットワーク環境内でサーバもしくはクライアントマシンの能力において、またはピアツーピア(もしくは分散)ネットワーク環境内でピアマシンとして動作することができる。マシンは、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、携帯情報端末(PDA)、携帯電話、ウェブアプライアンス、ネットワークルータ、スイッチもしくはブリッジ、またはそのマシンによって取られることになるアクションを指定する命令を実行する(順番に、もしくは他の場合)能力を有するいずれかのマシンとすることができる。更に、単一のマシンが表されるが、用語「マシン」は、本明細書で議論される方法論のいずれか1つ以上を実行するように命令のセット(または、複数のセット)を個々にまたは共同して実行するマシンのいずれかの集合も含むと考えられるべきである。
例としてのコンピュータシステム800は、バス808を介して相互に通信する、プロセッサ802(例えば、中央処理装置(CPU)、グラフィックプロセシングユニット(GPU)、もしくはその両方)、メインメモリ804、及び静的メモリ806を含む。コンピュータシステム800は更に、ビデオディスプレイユニット810(例えば、液晶ディスプレイ(LCD)または陰極線管(CRT))を含むことができる。コンピュータシステム800はまた、英数字入力デバイス812(例えば、キーボード)、ユーザインタフェース(UI)ナビゲーション(または、カーソル制御)デバイス814(例えば、マウス)、ディスクドライブユニット816、信号生成デバイス818(例えば、スピーカ)、及びネットワークインタフェースデバイス820を含む。
ディスクドライブユニット816は、本明細書で説明される方法論もしくは機能のいずれか1つ以上を具体化し、または方法論もしくは機能によって利用されるデータ構造及び命令824(例えば、ソフトウェア)の1つ以上のセットが記憶されたマシン可読媒体822を含む。命令824は、マシン可読媒体も構成するコンピュータシステム800、メインメモリ804、及びプロセッサ802によるその実行の間にメインメモリ804内及び/またはプロセッサ802内に完全にまたは少なくとも部分的に存在することもできる。命令824はまた、静的メモリ806内に完全にまたは少なくとも部分的に存在することができる。
マシン可読媒体822が単一の媒体であるものと例としての実施形態において示されるが、用語「マシン可読媒体」は、1つ以上の命令824またはデータ構造を記憶する単一の媒体または複数の媒体(例えば、集中化もしくは分散データベース、及び/または関連するキャッシュ及びサーバ)を含むことができる。用語「マシン可読媒体」はまた、マシンによる実行のための命令を記憶、符号化、もしくは搬送する能力を有し、マシンに、本実施形態の方法論のいずれか1つ以上を実行させ、またはそのような命令によって利用され、もしくはそのような命令と関連付けられたデータ構造を記憶、符号化、もしくは搬送する能力を有するいずれかの有形媒体を含むものと考えられるべきである。したがって、用語「マシン可読媒体」は、ソリッドステートメモリ、並びに光学及び磁気媒体を含むがそれらに限定されないと考えられるべきである。マシン可読媒体の特定の実施例は、例として、半導体メモリデバイス(例えば、消去可能プログラム可能リードオンリメモリ(EPROM)、電気的消去可能リードオンリメモリ(EEPROM)、及びフラッシュメモリデバイス)、内部ハードディスク及び着脱可能ディスクなどの磁気ディスク、磁気光学ディスク、並びにコンパクトディスクリードオンリメモリ(CD−ROM)及びデジタル多用途ディスク(または、デジタルビデオディスク)リードオンリメモリ(DVD−ROM)ディスクを含む、不揮発性メモリを含む。
命令824は更に、伝送媒体を使用して、通信ネットワーク826を通じて伝送または受信されることができる。命令824は、ネットワークインタフェースデバイス820及びいくつかの周知の転送プロトコル(例えば、HTTP)のいずれか1つを使用して伝送されることができる。通信ネットワークの実施例は、LAN、WAN、インターネット、携帯電話ネットワーク、POTSネットワーク、並びに無線データネットワーク(例えば、WiFi及びWiMAXネットワーク)を含む。用語「伝送媒体」は、マシンによる実行のための命令を記憶、符号化、もしくは搬送する能力を有するいずれかの無形媒体を含むものと考えられるべきであり、デジタルもしくはアナログ通信信号、またはそのようなソフトウェアの通信を促進する他の無形媒体を含む。
特定の例としての実施形態を参照して実施形態が説明されてきたが、本開示のより広い趣旨及び範囲から逸脱することなく、それらの実施形態に様々な修正及び変更が行われることができることが明白である。したがって、明細書及び図面は、限定的な意味ではなく例示的であると見なされることになる。その一部を形成する添付図面は、例示として、限定ではなく、主題が実施されることができる特定の実施形態を示す。表される実施形態は、当業者が本明細書に開示される教示を実施することを可能にするように十分に詳細に説明される。本開示の範囲から逸脱することなく、構造的及び論理的な置き換え及び変更が行われることができるように、それらから他の実施形態が利用及び導出されることができる。したがって、この詳細な説明は、限定的な意味において考えられず、様々な実施形態の範囲は、添付の特許請求の範囲によって権利が与えられるのと同様の完全な範囲と共に、そのような特許請求の範囲によってのみ定義される。
特定の実施形態が本明細書で表され、及び説明されてきたが、同一の目的を達成するように計算されたいずれかの配置が、示された特定の実施形態に対して置き換えられることができることが認識されるべきである。本開示は、様々な実施形態のいずれか及び全ての適合または変形を網羅することが意図される。上記実施形態の組み合わせ、及び本明細書で特に説明されていない他の実施形態は、上記説明を参照すると、当業者にとって明らかである。

Claims (20)

  1. 主要な音声コンテンツを受信することと、
    少なくとも1つのハードウェアプロセッサによって、少なくとも1つの基準音声コンテンツとの前記主要な音声コンテンツの比較に基づいて、前記少なくとも1つの基準音声コンテンツが予め定められた類似閾値を満たすと判定することと、
    前記少なくとも1つの基準音声コンテンツの各々の1つに対し、動画コンテンツが、前記少なくとも1つの基準音声コンテンツの前記1つと関連して記憶されており、かつ前記主要な音声コンテンツと関連して記憶されていないことに基づいて、前記動画コンテンツを識別することと、
    デバイス上での前記主要な音声コンテンツの提示と同時に、識別された前記動画コンテンツを前記デバイス上で表示させることと、
    を含む、コンピュータにより実行される方法。
  2. 前記主要な音声コンテンツは、音楽を含む、請求項1に記載のコンピュータにより実行される方法。
  3. 前記比較は、前記少なくとも1つの基準音声コンテンツのフィンガープリントデータとの前記主要な音声コンテンツのフィンガープリントデータの比較を含む、請求項1に記載のコンピュータにより実行される方法。
  4. 前記動画コンテンツの識別は更に、前記デバイスと関連付けられたユーザのプロファイルに基づいている、請求項1に記載のコンピュータにより実行される方法。
  5. 前記デバイス上での前記主要な音声コンテンツの前記提示と同時に、識別された前記動画コンテンツを前記デバイス上で表示させることは、
    前記少なくとも1つの基準音声コンテンツのデータを前記主要な音声コンテンツのデータと同期することと、
    前記主要な音声コンテンツの前記データとの前記少なくとも1つの基準音声コンテンツの前記データの同期に基づいて、識別された前記動画コンテンツを前記主要な音声コンテンツと同期することと、を含む、
    請求項1に記載のコンピュータにより実行される方法。
  6. 前記主要な音声コンテンツの前記データとの前記少なくとも1つの基準音声コンテンツの前記データの同期は、前記主要な音声コンテンツのフィンガープリントデータとの前記少なくとも1つの基準音声コンテンツのフィンガープリントデータの比較に基づいている、請求項5に記載のコンピュータにより実行される方法。
  7. 前記少なくとも1つの基準音声コンテンツは、少なくとも2つの基準音声コンテンツを含み、前記少なくとも2つの基準音声コンテンツの各々の1つは、異なる動画コンテンツと関連して記憶され、識別された前記動画コンテンツは、前記異なる動画コンテンツの各々の一部を含む、請求項1に記載のコンピュータにより実行される方法。
  8. 少なくとも1つのプロセッサと、
    実行可能命令を記憶した非一時的コンピュータ可読媒体と、を含み、前記実行可能命令は、実行されるとき、前記少なくとも1つのプロセッサに、
    主要な音声コンテンツを受信することと、
    少なくとも1つの基準音声コンテンツとの前記主要な音声コンテンツの比較に基づいて、前記少なくとも1つの基準音声コンテンツが予め定められた類似閾値を満たすと判定することと、
    前記少なくとも1つの基準音声コンテンツの各々の1つに対し、動画コンテンツが、前記少なくとも1つの基準音声コンテンツの前記1つと関連して記憶されており、かつ前記主要な音声コンテンツと関連して記憶されていないことに基づいて、前記動画コンテンツを識別することと、
    デバイス上での前記主要な音声コンテンツの提示と同時に、識別された前記動画コンテンツを前記デバイス上で表示させることと、
    を含む動作を実行させる、システム。
  9. 前記主要な音声コンテンツは、音楽を含む、請求項8に記載のシステム。
  10. 前記比較は、前記少なくとも1つの基準音声コンテンツのフィンガープリントデータとの前記主要な音声コンテンツのフィンガープリントデータの比較を含む、請求項8に記載のシステム。
  11. 前記動画コンテンツの識別は更に、前記デバイスと関連付けられたユーザのプロファイルに基づいている、請求項8に記載のシステム。
  12. 前記デバイス上での前記主要な音声コンテンツの前記提示と同時に、識別された前記動画コンテンツを前記デバイス上で表示させることは、
    前記少なくとも1つの基準音声コンテンツのデータを前記主要な音声コンテンツのデータと同期することと、
    前記主要な音声コンテンツの前記データとの前記少なくとも1つの基準音声コンテンツの前記データの同期に基づいて、識別された前記動画コンテンツを前記主要な音声コンテンツと同期することと、を含む、
    請求項8に記載のシステム。
  13. 前記主要な音声コンテンツの前記データとの前記少なくとも1つの基準音声コンテンツの前記データの同期は、前記主要な音声コンテンツのフィンガープリントデータとの前記少なくとも1つの基準音声コンテンツのフィンガープリントデータの比較に基づいている、請求項12に記載のシステム。
  14. 前記少なくとも1つの基準音声コンテンツは、少なくとも2つの基準音声コンテンツを含み、前記少なくとも2つの基準音声コンテンツの各々の1つは、異なる動画コンテンツと関連して記憶され、識別された前記動画コンテンツは、前記異なる動画コンテンツの各々の一部を含む、請求項8に記載のシステム。
  15. 命令のセットを有形的に具体化した非一時的マシン可読記憶媒体であって、前記命令のセットは、少なくとも1つのプロセッサによって実行されるとき、前記少なくとも1つのプロセッサに、
    主要な音声コンテンツを受信することと、
    少なくとも1つのハードウェアプロセッサによって、少なくとも1つの基準音声コンテンツとの前記主要な音声コンテンツの比較に基づいて、前記少なくとも1つの基準音声コンテンツが予め定められた類似閾値を満たすと判定することと、
    前記少なくとも1つの基準音声コンテンツの各々の1つに対し、動画コンテンツが、前記少なくとも1つの基準音声コンテンツの前記1つと関連して記憶されており、かつ前記主要な音声コンテンツと関連して記憶されていないことに基づいて、前記動画コンテンツを識別することと、
    デバイス上での前記主要な音声コンテンツの提示と同時に、識別された前記動画コンテンツを前記デバイス上で表示させることと、
    を含む動作を実行させる、非一時的マシン可読記憶媒体。
  16. 前記比較は、前記少なくとも1つの基準音声コンテンツのフィンガープリントデータとの前記主要な音声コンテンツのフィンガープリントデータの比較を含む、請求項15に記載の非一時的マシン可読記憶媒体。
  17. 前記動画コンテンツの識別は更に、前記デバイスと関連付けられたユーザのプロファイルに基づいている、請求項15に記載の非一時的マシン可読記憶媒体。
  18. 前記デバイス上での前記主要な音声コンテンツの前記提示と同時に、識別された前記動画コンテンツを前記デバイス上で表示させることは、
    前記少なくとも1つの基準音声コンテンツのデータを前記主要な音声コンテンツのデータと同期することと、
    前記主要な音声コンテンツの前記データとの前記少なくとも1つの基準音声コンテンツの前記データの同期に基づいて、識別された前記動画コンテンツを前記主要な音声コンテンツと同期することと、を含む、
    請求項15に記載の非一時的マシン可読記憶媒体。
  19. 前記主要な音声コンテンツの前記データとの前記少なくとも1つの基準音声コンテンツの前記データの同期は、前記主要な音声コンテンツのフィンガープリントデータとの前記少なくとも1つの基準音声コンテンツのフィンガープリントデータの比較に基づいている、請求項18に記載の非一時的マシン可読記憶媒体。
  20. 前記少なくとも1つの基準音声コンテンツは、少なくとも2つの基準音声コンテンツを含み、前記少なくとも2つの基準音声コンテンツの各々の1つは、異なる動画コンテンツと関連して記憶され、識別された前記動画コンテンツは、前記異なる動画コンテンツの各々の一部を含む、請求項15に記載の非一時的マシン可読記憶媒体。
JP2021073981A 2017-03-31 2021-04-26 動画による音楽サービス Active JP7227298B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023018484A JP2023063298A (ja) 2017-03-31 2023-02-09 動画による音楽サービス

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/475,488 2017-03-31
US15/475,488 US10462512B2 (en) 2017-03-31 2017-03-31 Music service with motion video
JP2019553961A JP6876825B2 (ja) 2017-03-31 2018-03-30 動画による音楽サービス

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019553961A Division JP6876825B2 (ja) 2017-03-31 2018-03-30 動画による音楽サービス

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023018484A Division JP2023063298A (ja) 2017-03-31 2023-02-09 動画による音楽サービス

Publications (2)

Publication Number Publication Date
JP2021122125A true JP2021122125A (ja) 2021-08-26
JP7227298B2 JP7227298B2 (ja) 2023-02-21

Family

ID=63671266

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019553961A Active JP6876825B2 (ja) 2017-03-31 2018-03-30 動画による音楽サービス
JP2021073981A Active JP7227298B2 (ja) 2017-03-31 2021-04-26 動画による音楽サービス
JP2023018484A Pending JP2023063298A (ja) 2017-03-31 2023-02-09 動画による音楽サービス

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019553961A Active JP6876825B2 (ja) 2017-03-31 2018-03-30 動画による音楽サービス

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023018484A Pending JP2023063298A (ja) 2017-03-31 2023-02-09 動画による音楽サービス

Country Status (6)

Country Link
US (5) US10462512B2 (ja)
EP (1) EP3603089A4 (ja)
JP (3) JP6876825B2 (ja)
KR (7) KR102426468B1 (ja)
CN (2) CN110476433B (ja)
WO (1) WO2018183841A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10462512B2 (en) * 2017-03-31 2019-10-29 Gracenote, Inc. Music service with motion video
US11455497B2 (en) * 2018-07-23 2022-09-27 Accenture Global Solutions Limited Information transition management platform
KR102215256B1 (ko) * 2019-11-18 2021-02-15 주식회사 인공지능연구원 동기화된 음성과 동작을 지원하는 멀티미디어 저작 장치 및 그 방법
KR20230037385A (ko) * 2021-09-09 2023-03-16 삼성전자주식회사 동영상을 촬영하는 전자 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005506643A (ja) * 2000-12-22 2005-03-03 ミュビー テクノロジーズ ピーティーイー エルティーディー メディアプロダクションシステムとその方法
JP2013131871A (ja) * 2011-12-20 2013-07-04 Sharp Corp 編集装置、遠隔制御装置、テレビジョン受像機、特定音声信号、編集システム、編集方法、プログラム、および、記録媒体
JP2015025984A (ja) * 2013-07-29 2015-02-05 ブラザー工業株式会社 カラオケ投稿システム、カラオケ装置及び複合動画作成方法
US20150373231A1 (en) * 2014-06-23 2015-12-24 Adobe Systems Incorporated Video synchronization based on an audio cue
JP2017038152A (ja) * 2015-08-07 2017-02-16 ヤマハ株式会社 映像処理装置および映像処理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10133333C1 (de) * 2001-07-10 2002-12-05 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Erzeugen eines Fingerabdrucks und Verfahren und Vorrichtung zum Identifizieren eines Audiosignals
CN100521781C (zh) * 2003-07-25 2009-07-29 皇家飞利浦电子股份有限公司 生成并检测用于同步音频和视频的指纹的方法和设备
KR100686521B1 (ko) * 2005-09-23 2007-02-26 한국정보통신대학교 산학협력단 비디오 및 메타데이터의 통합을 위한 비디오 멀티미디어응용 파일 형식의 인코딩/디코딩 방법 및 시스템
US20100027663A1 (en) * 2008-07-29 2010-02-04 Qualcomm Incorporated Intellegent frame skipping in video coding based on similarity metric in compressed domain
US8887190B2 (en) * 2009-05-28 2014-11-11 Harris Corporation Multimedia system generating audio trigger markers synchronized with video source data and related methods
US8843584B2 (en) * 2011-06-02 2014-09-23 Google Inc. Methods for displaying content on a second device that is related to the content playing on a first device
US20160277808A1 (en) 2011-08-08 2016-09-22 Lei Yu System and method for interactive second screen
JP2014531142A (ja) 2011-08-16 2014-11-20 デスティニーソフトウェアプロダクションズ インク スクリプトをベースとするビデオ・レンダリング
US8717499B2 (en) 2011-09-02 2014-05-06 Dialogic Corporation Audio video offset detector
KR20130055748A (ko) * 2011-11-21 2013-05-29 한국전자통신연구원 콘텐츠 추천 시스템 및 방법
US9609395B2 (en) * 2012-03-26 2017-03-28 Max Abecassis Second screen subtitles function
EP2868109B1 (en) * 2012-06-28 2016-08-17 Google, Inc. Generating a sequence of audio fingerprints at a set top box
WO2014018652A2 (en) * 2012-07-24 2014-01-30 Adam Polak Media synchronization
US20150301718A1 (en) * 2014-04-18 2015-10-22 Google Inc. Methods, systems, and media for presenting music items relating to media content
US20160066064A1 (en) * 2014-08-28 2016-03-03 Dozo LLP Clip Start Point
US20160065641A1 (en) * 2014-08-28 2016-03-03 Beau Ner Chesluk Global Distribution Model
US20160165227A1 (en) 2014-12-04 2016-06-09 Arris Enterprises, Inc. Detection of audio to video synchronization errors
US10521672B2 (en) * 2014-12-31 2019-12-31 Opentv, Inc. Identifying and categorizing contextual data for media
EP3142118A1 (en) 2015-09-10 2017-03-15 Luis Solsona Sagrado Synchronizing audio and video components of an audio-visual transmission signal
US10462512B2 (en) * 2017-03-31 2019-10-29 Gracenote, Inc. Music service with motion video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005506643A (ja) * 2000-12-22 2005-03-03 ミュビー テクノロジーズ ピーティーイー エルティーディー メディアプロダクションシステムとその方法
JP2013131871A (ja) * 2011-12-20 2013-07-04 Sharp Corp 編集装置、遠隔制御装置、テレビジョン受像機、特定音声信号、編集システム、編集方法、プログラム、および、記録媒体
JP2015025984A (ja) * 2013-07-29 2015-02-05 ブラザー工業株式会社 カラオケ投稿システム、カラオケ装置及び複合動画作成方法
US20150373231A1 (en) * 2014-06-23 2015-12-24 Adobe Systems Incorporated Video synchronization based on an audio cue
JP2017038152A (ja) * 2015-08-07 2017-02-16 ヤマハ株式会社 映像処理装置および映像処理方法

Also Published As

Publication number Publication date
KR102426468B1 (ko) 2022-07-29
US10897644B2 (en) 2021-01-19
US11240551B2 (en) 2022-02-01
US20240048793A1 (en) 2024-02-08
US10462512B2 (en) 2019-10-29
JP2020512789A (ja) 2020-04-23
KR20210088014A (ko) 2021-07-13
JP6876825B2 (ja) 2021-05-26
KR102312686B1 (ko) 2021-10-15
KR20200009128A (ko) 2020-01-29
JP7227298B2 (ja) 2023-02-21
CN112616081A (zh) 2021-04-06
CN110476433B (zh) 2020-12-18
KR20210125612A (ko) 2021-10-18
KR102540087B1 (ko) 2023-06-05
US20210120304A1 (en) 2021-04-22
US11770578B2 (en) 2023-09-26
KR102069106B1 (ko) 2020-01-22
KR102242226B1 (ko) 2021-04-21
JP2023063298A (ja) 2023-05-09
EP3603089A4 (en) 2020-10-21
WO2018183841A1 (en) 2018-10-04
KR102275586B1 (ko) 2021-07-12
EP3603089A1 (en) 2020-02-05
KR20220109482A (ko) 2022-08-04
US20200014971A1 (en) 2020-01-09
KR20210044316A (ko) 2021-04-22
KR20190117772A (ko) 2019-10-16
US20180288471A1 (en) 2018-10-04
KR20210010647A (ko) 2021-01-27
CN110476433A (zh) 2019-11-19
US20220132203A1 (en) 2022-04-28
KR102207075B1 (ko) 2021-01-26

Similar Documents

Publication Publication Date Title
JP2021122125A (ja) 動画による音楽サービス
US20150325236A1 (en) Context specific language model scale factors
WO2017071578A1 (zh) 搜索方法、装置、***以及搜索结果调序依据的确定方法
EP2946311A2 (en) Accumulation of real-time crowd sourced data for inferring metadata about entities
CN110019934A (zh) 识别视频的相关性
US20160255025A1 (en) Systems, methods and computer readable media for communicating in a network using a multimedia file
US9911063B1 (en) Identifying images using pre-loaded image identifiers
CN110633252B (zh) 基于区块链的数据处理方法、装置、***以及电子设备
US10019987B2 (en) Audible proximity messaging
US20160357773A1 (en) Media suggestions based on presence
US11218377B2 (en) Prediction of loss of network connection and caching of content
US9953033B2 (en) Wireless content synchronization
US20130254194A1 (en) Providing setting recommendations to a communication device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230209

R150 Certificate of patent or registration of utility model

Ref document number: 7227298

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150