JP6522014B2 - ビデオリモートコメンタリー同期方法及びシステム並びにターミナルデバイス - Google Patents

ビデオリモートコメンタリー同期方法及びシステム並びにターミナルデバイス Download PDF

Info

Publication number
JP6522014B2
JP6522014B2 JP2016572554A JP2016572554A JP6522014B2 JP 6522014 B2 JP6522014 B2 JP 6522014B2 JP 2016572554 A JP2016572554 A JP 2016572554A JP 2016572554 A JP2016572554 A JP 2016572554A JP 6522014 B2 JP6522014 B2 JP 6522014B2
Authority
JP
Japan
Prior art keywords
sequence number
video
audio
commentary
tuple
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016572554A
Other languages
English (en)
Other versions
JP2017521922A (ja
Inventor
シュウ・シャオミン
リー・ジュンミング
Original Assignee
テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド filed Critical テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Publication of JP2017521922A publication Critical patent/JP2017521922A/ja
Application granted granted Critical
Publication of JP6522014B2 publication Critical patent/JP6522014B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本開示は通信の技術分野に関連し、特に、ビデオリモートコメンタリー(video remote-commentary)同期方法及びシステム並びにターミナルデバイスに関連する。
スポーツやエンターテーメントの分野では、コメンテーターが解説を与える状況が存在する。例えば、フットボールの試合の最中に、生放送のコメンタリーだけでなく、記録コメンタリーも存在する場合がある。
コメンテーターは、スポーツ/出来事を解説、紹介及び分析することに長けている者であり、たいていはTV/放送マルチメディアで雇われる。エレクトロニックスポーツゲーム(e-sports games)の発展とともに、現在、eスポーツでコメンタリーを与えることに従事する者も、コメンテーターとして言及される。
スポーツコメンテーターは、未知の世界から、コメントされる対象の場所(palace)へ我々を導くだけでなく、コメントされる対象について我々を熱中させるようにも導く。コメンタリーは、実生活の中に広く存在する。
コメンタリーを有するビデオは、次の処理パーツを含む：1.ライブビデオを取得すること；2.コメンタリーの音声を取得すること；3.ビデオと音声とを同期させること。
現在のビデオコメンタリーの実現方法は、次のとおりである：コメンテーターがビデオを視聴している場合に、ビデオに関するコメンタリーを与えるためにコメンテーターが一同に集められ、これは、一般に、コメンタリーを記録する際に行われる；或いは、ビデオを取得する状況で、コメンテーターがビデオを視聴してビデオに関するコメンタリーを与え、ビデオの取得とコメンタリー音声の取得とが同時に実行され、これは、概して、例えばフットボールの試合の生放送のようなライブコメンタリーで行われる。
上記の方法によれば、コメンテーターを集めることが必要とされ、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーは、実現できない。
本発明の実施形態は、ビデオリモートコメンタリー同期方法及びシステム並びにターミナルデバイスを提供し、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。
ビデオリモートコメンタリー同期方法は：
コメントされるビデオデータを受信し、コメントされるビデオデータのビデオシーケンス番号を判定するステップ；
前記コメントされるビデオデータを再生し、コメンタリー音声を取得し、前記コメンタリー音声の音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を判定するステップ；及び
ビデオ再生側が、ビデオを再生しながら、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って、前記コメンタリー音声を再生するように、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係を、前記ビデオ再生側に送信するステップ；
を含んでもよい。
ビデオリモートコメンタリー同期方法は：
コメントされるビデオデータとしてライブビデオを取得するステップ；
前記ビデオデータからライブ音声を取得し、前記ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として使用し、前記グローバル基準シーケンス番号に従ってビデオデータのビデオシーケンス番号を判定するステップ；及び
前記グローバル基準シーケンス番号及び前記ビデオシーケンス番号を含む第1相互関係の2タプルを生成し、前記第1相互関係の2タプルを含むビデオデータを、ビデオコメンタリー側に送信するステップ；
を含んでもよい。
ビデオリモートコメンタリー同期方法は：
ビデオデータと、前記ビデオデータに対応するコメンタリー音声とを受信するステップであって、前記ビデオデータはビデオシーケンス番号を有し、前記コメンタリー音声は音声シーケンス番号を有する、ステップ；
前記音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を受信するステップ；及び
前記ビデオデータが再生される場合に、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って、前記コメンタリー音声を再生するステップ；
を含んでもよい。
ターミナルデバイスは：
コメントされるビデオデータを受信するように構成されるビデオ受信ユニット；
前記ビデオ受信ユニットにより受信される前記ビデオデータを再生するように構成されるビデオ再生ユニット；
コメンタリー音声を取得するように構成される音声取得ユニット；
前記ビデオ受信ユニットにより受信されるコメントされるビデオデータのビデオシーケンス番号を判定し；音声取得ユニットにより取得された前記コメンタリー音声の音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を判定するように構成されるシーケンス番号判定ユニット；及び
前記ビデオ再生側が、ビデオの再生中に、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って前記コメンタリー音声を再生するように、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係を前記ビデオ再生側に送信するように構成されるシーケンス番号送信ユニット；
を含んでもよい。
ターミナルデバイスは：
コメントされるビデオデータとしてライブビデオを取得するように構成されるビデオ取得ユニット；
前記ビデオデータからライブ音声を取得し、前記ライブ音声のシーケンス番号をグローバル基準シーケンス番号として使用し、前記グローバル基準シーケンス番号に従って前記ビデオデータのビデオシーケンス番号を判定するように構成されるシーケンス番号判定ユニット；
前記グローバル基準シーケンス番号と前記ビデオシーケンス番号とを含む第1相互関係の2タプルを生成するように構成される2タプル生成ユニット；及び
前記第1相互関係の2タプルを含む前記ビデオデータをビデオコメンタリー側に送信するように構成される2タプル送信ユニット；
を含んでもよい。
ターミナルデバイスは：
ビデオシーケンス番号を有するビデオデータと、前記ビデオデータに対応する、音声シーケンス番号を有するコメンタリー音声とを受信し；及び、前記音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を受信するように構成されるデータ受信ユニット；及び
前記ビデオデータが再生される場合に、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って前記コメンタリー音声を再生するように構成される再生ユニット；
を含んでもよい。
ビデオリモートコメンタリー同期システムは：
ビデオ取得ターミナルと、コメンタリーターミナルと、再生ターミナル903とを、通信可能に接続された状態で包含し、
前記ビデオ取得ターミナルは本発明の実施形態により提供されるビデオを取得する何れか任意のターミナルデバイスであり、前記コメンタリーターミナルは本発明の実施形態により提供される何れか任意のコメンタリー側のターミナルデバイスであり、前記再生ターミナルは、本発明の実施形態により提供されるビデオ再生側の何れか任意のターミナルデバイスであってよい。
本発明の実施形態は以下の利点を有することが、上記の技術的手段から理解できる：なぜなら、ビデオシーケンス番号と音声シーケンス番号との間の対応関係を、ビデオの再生側(video playback end)が受信するように、ビデオシーケンス番号と音声シーケンス番号とに関連するオペレーションを、ビデオコメンタリー側(video commentary end)が実行するからである。ビデオコメンタリー側の数によらず、ビデオコメンタリー側は、互いに独立し且つ互いに邪魔し合うことなく、また、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。
本発明の実施形態による技術的解決手段を説明するため、以下、実施形態を説明するために必要とされる添付図面を簡単に説明する。明らかに、以下の説明において添付図面は本発明の単なる一実施形態を示しているに過ぎず、当業者は、創作的な能力を発揮することなく、添付図面の実施形態から他の実施形態を把握できる。
本発明の実施形態による方法の概略的なフローチャート。
本発明の実施形態による方法の概略的なフローチャート。
本発明の実施形態による方法の概略的なフローチャート。
本発明の実施形態によるビデオ再生同期を説明するための図。
本発明の実施形態によるターミナルデバイスの概略的な構造を示す図。
本発明の実施形態によるターミナルデバイスの概略的な構造を示す図。
本発明の実施形態によるターミナルデバイスの概略的な構造を示す図。
本発明の実施形態によるターミナルデバイスの概略的な構造を示す図。
本発明の実施形態によるシステムの概略的な構造を示す図。
本発明の実施形態によるシステムの概略的な構造を示す図。
本発明の実施形態によるターミナルデバイスの概略的な構造を示す図。
本開示の対象、技術的解決手段及び利点を更に明らかにするため、本開示は、以下、得添付図面を参照しながら詳細に説明される。明らかに、説明される実施形態は、本発明による全ての実施形態ではなくその一部に過ぎない。創作的能力を発揮することなく本発明の実施形態に基づいて当業者が把握できる他の全ての実施形態は、本開示の保護範囲内に属する。
本発明の実施形態は、図1に示されるようなビデオコメンタリー同期方法を提供し、その方法は以下のステップ101ないし103を含む：
101：コメントされるビデオデータを受信し、コメントされるビデオデータのビデオシーケンス番号を判定する。
ビデオシーケンス番号は、ビデオスライスを表現するシーケンス番号である。ビデオスライスの順番は、例えば、ビデオフレームのようなビデオシーケンス番号に従って判定されてもよい。ビデオフレームのフレーム番号が、ビデオシーケンス番号として使用されてもよい。
102：コメントされるビデオデータを再生し、コメンタリー音声を取得し、コメンタリー音声の音声シーケンス番号とビデオシーケンス番号との間の対応関係を判定する。
この実施形態はコメンタリー側で実現されるので、コメンテーターのためにビデオデータを再生する必要がある。コメンテーターは、視聴(又は鑑賞)したビデオ画像についてコメントし、これによりコメンテーター音声を作成する。コメンタリー音声はコメンタリー側のコメンタリーターミナルにより取得される。音声シーケンス番号は、音声スライスを表現するシーケンス番号である。音声スライスの順番は、例えば、音声フレームのような音声シーケンス番号に従って判定されてもよい。音声フレームのフレーム番号が音声シーケンス番号として使用されてもよい。
103：音声シーケンス番号とビデオシーケンス番号との間の対応関係を、ビデオ再生側に送信し、それにより、ビデオ再生側は、ビデオを再生しながら、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する。
ビデオ再生側が、音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信するように、ビデオコメンタリーは、ビデオシーケンス番号及び音声シーケンス番号に関連するオペレーションを実行する。ビデオコメンタリー側の数によらず、ビデオコメンタリー側は互いに独立し且つ互いに邪魔することはなく、更に、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。この解決手段は、事前録画(又は記録)するコメンタリーだけでなく、生放送のコメンタリーにも適用可能である。
本発明の実施形態は、例えば次のように、ビデオシーケンス番号の判定法についての選択的な方法の説明を更に提供する：コメントされるビデオデータを受信し、コメントされるビデオデータのビデオシーケンス番号を判定することは：
グローバル基準シーケンス番号とビデオシーケンス番号との2個の要素から成る組(2つ一組又は2タプル)の第1相互関係を、ビデオデータにより含めることであって、前記ビデオデータにおけるライブ音声のシーケンス番号が前記グローバル基準シーケンス番号であり、前記ビデオデータの前記ビデオシーケンス番号は前記グローバル基準シーケンス番号に従って判定される、こと；及び
第1相互関係の2タプルに従って、コメントされるビデオデータのビデオシーケンス番号を判定すること；を含む。
本発明のこの実施形態では、基準としてのシーケンス番号は、ライブ音声をセグメント化することにより取得されるシーケンス番号であるが、ビデオデータをセグメント化することにより取得されるシーケンス番号が、基準のシーケンス番号として使用されてもよく、或いは、あるシーケンス番号が基準として新たに追加されてもよく、本発明は、上記の実施形態に限定されない。
本発明の実施形態は、例えば次のように、対応関係の表現形式及び音声シーケンス番号の決定法についての選択的な方法の説明を更に提供する：コメンタリー音声の音声シーケンス番号とビデオシーケンス番号との間の対応関係を判定することは：
第1相互関係の2タプルにおいて、前記グローバル基準シーケンス番号に従ってコメンタリー音声の音声シーケンス番号を判定すること；及び
グローバル基準シーケンス番号と前記音声シーケンス番号とを含む第2相互関係の2タプルを生成すること；を含んでもよい。
上記の実施形態の実現手段に関し、本発明の実施形態は、次のように、音声シーケンス番号と音声シーケンス番号との間の対応関係を送信する仕方を提供してもよい：音声シーケンス番号とビデオシーケンス番号との間の対応関係を、ビデオ再生側に送信することは：
第1相互関係の2タプル及び第2相互関係の2タプルをビデオ再生側に送信すること；を含む。
本発明の実施形態において、第1相互関係の2タプル及び第2相互関係の2タプルは、3つ組み(又はトリプレット)に統合されてもよく、トリプレットは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、音声シーケンス番号とを含む。すなわち、第1相互関係の2タプルは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、未指定の(unassignment)シーケンスとを含み；第2相互関係の2タプルにおける新たに決定される音声シーケンス番号は、トリプレットにおける未指定のシーケンスで満たされるようにしてもよい。すなわち、本発明の実施形態は上記の例に限定されない。音声シーケンス番号及びビデオシーケンス番号の間の対応関係を決定するために使用されることが可能な何れの実現方法も、本発明の実施形態の実現に影響を及ぼさない。
本発明の実施形態は、図2に示されるような別のビデオリモートコメンタリー同期方法を更に提供し、本方法は、以下のステップ201ないし203を含む：
201：コメントされるビデオデータとしてライブビデオを取得する。
202：ビデオデータからライブ音声を取得し、ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として使用し、グローバル基準シーケンス番号に従ってビデオデータのビデオシーケンス番号を判定する。
203：グローバル基準シーケンス番号及びビデオシーケンス番号を含む第1相互関係の2タプルを生成し、第1相互関係の2タプルを含むビデオデータを、ビデオコメンタリー側に送信する。
上記の記述に関し、本発明の一実施形態では、第1相互関係の2タプルにおけるグローバル基準シーケンス番号は、第2相互関係の2タプルを生成するために使用されている。しかしながら、第1相互関係の2タプル及び第2相互関係の2タプルは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、音声シーケンス番号とを含む3つ組(トリプレット)に統合されてもよい。すなわち、第1相互関係の2タプルは、実際には、グローバル基準シーケンス番号と、ビデオシーケンス番号と、未指定のシーケンスとを含み；第2相互関係の2タプルにおける新たに判定される音声シーケンス番号は、トリプレットにおける未指定のシーケンスで満たされる。すなわち、この方法が使用される場合、トリプレットに1つの未指定シーケンスが存在する。実際には、このトリプレットは2タプルと等価であると考えてもよい。これらの相違は、コメンタリー側が未指定シーケンスに対する値を指定するか、或いは、指定するためにシーケンスが新たに追加されるかという点にある。すなわち、本発明の実施形態の実現は、上記の形態に限定されない。ライブ音声のシーケンス番号及びビデオシーケンス番号の間の対応関係を決定するために使用されることが可能な何れの実現方法も、本発明の実施形態の実現に影響を及ぼさない。
本発明の実施形態は、ビデオ取得側を利用することによって実現されてもよい。相互関係の2タプルを利用することにより、ビデオデータの順序と、再生順序と、ビデオ及び音声の対応関係とが識別され、そのため、ビデオコメンタリー側にとっては、コメンタリー音声の順序をマークし、その順序に従ってコメンタリー音声とビデオとの間の対応関係をマークすることが有益である。ビデオコメンタリー側の数によらず、ビデオコメンタリー側は、互いに独立し且つ互いに邪魔し合うことなく、また、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。この解決手段は、事前に記録するコメンタリーだけでなく、生放送のコメンタリーにも適用可能である。
本発明の実施形態は、グローバル基準シーケンス番号の取得の仕方を更に提供し、それは具体的には次のようなものである：ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として使用することは、取得されたライブ音声をデータスライスにセグメント化し、ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として取得すること；を含む。
本発明の実施形態に関し、基準としてのシーケンス番号は、ライブ音声をセグメント化することにより取得されるシーケンス番号であるが、ビデオデータをセグメント化することにより取得されるシーケンス番号が、基準シーケンス番号として使用されてもよく、或いは、あるシーケンス番号が基準として新たに追加されてもよく、本発明は実施形態に限定されない。
本発明の実施形態は、図3に示されるように別のビデオリモートコメンタリー同期方法を更に提供し、本方法は、以下のようなステップ301ないし303を含む：
301：ビデオデータと、ビデオデータに対応するコメンタリー音声とを受信する。ビデオデータはビデオシーケンス番号を有し、コメンタリー音声は音声シーケンス番号を有する。
本発明のこの実施形態では、ビデオデータはコメンタリー側のコメンタリー端末からのものであってもよいし、ビデオ取得側からのものであってもよく、ビデオ取得側ではビデオデータはサーバを介して転送され、本発明は実施形態に限定されない。
302：音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信する。
本発明のこの実施形態では、音声シーケンス番号とビデオシーケンス番号との間の対応関係は、コメンタリー側のコメンタリー端末によって、ビデオ再生側のビデオ再生デバイスに直接的に送信されてもよいし、また、サーバに転送されてサーバから均一に送信(又はブロードキャスト)されてもよく、本発明は実施形態に限定されない。
303：ビデオデータが再生される場合に、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する。
本発明のこの実施形態では、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信するので、ビデオコメンタリー側の数によらず、ビデオコメンタリー側は互いに独立し且つ互いに邪魔することはなく、更に、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。この解決手段は、事前録画(又は記録)するコメンタリーだけでなく、生放送のコメンタリーにも適用可能である。
本発明の実施形態は、複数のコメンタリー音声が存在する場合の処理方法を更に提供し、その方法は具体的には次のようなものである：2つ又はそれ以上のコメンタリー音源が存在する場合に、本方法は：
所定のルールに従って、現在再生されているコメンタリー音声を選択又は切り替えること；
を更に含む。
複数のコメンタリー音声が存在する場合、選択及び切替ルールの決め方は、技術者により適宜設定されてよく、例えば、各コメンタリー側の優先度が前もって設定され、その優先度に従って現在再生されるように音声が選択されてもよい。本発明の実施形態は特定のルールに限定されない。
本発明の実施形態は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に対する具体的な決定方法を更に提供し、それは例えば次のようなものである：音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信することは：
第1相互関係の2タプル及び第2相互関係の2タプルを受信すること；
を含み、第1相互関係の2タプルはグローバル基準シーケンス番号とビデオシーケンス番号とを含み、第2相互関係の2タプルはグローバル基準シーケンス番号と音声シーケンス番号とを含み、ビデオデータにおけるライブ音声のシーケンス番号がグローバル基準シーケンス番号であり、ビデオデータのビデオシーケンス番号は、グローバル基準シーケンス番号に従って決定され、音声シーケンス番号はグローバル基準シーケンス番号に従って決定される。
本発明の実施形態に関し、基準としてのシーケンス番号は、ライブ音声をセグメント化することにより取得されるシーケンス番号であるが、ビデオデータをセグメント化することにより取得されるシーケンス番号が、基準シーケンス番号として使用されてもよく、或いは、あるシーケンス番号が基準として新たに追加されてもよく、本発明は上記の実施形態に限定されない。
本発明の実施形態において、第1相互関係の2タプル及び第2相互関係の2タプルは、3つ組み(又はトリプレット)に統合されてもよく、トリプレットは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、音声シーケンス番号とを含む。すなわち、第1相互関係の2タプルは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、未指定のシーケンスとを含み；第2相互関係の2タプルにおける新たに決定される音声シーケンス番号は、トリプレットにおける未指定のシーケンスで満たされるようにしてもよい。すなわち、本発明の実施形態は上記の例に限定されない。音声シーケンス番号及びビデオシーケンス番号の間の対応関係を決定するために使用されることが可能な何れの実現方法も、本発明の実施形態の実現性に影響しない。
相互関係の2タプルを2つ使用する実現手段に基づいて、本発明の実施形態は次のように実現される特定の音声再生プロセスをさらに提供する：ビデオデータが再生される場合に、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生することは：
ビデオデータが再生される場合に、現在のビデオ画像のシーケンス番号を取得し、第1相互関係の2タプルに従って、現在のビデオ画像のシーケンス番号に対応するグローバル基準シーケンス番号を取得し、取得したグローバル基準シーケンス番号に対応する音声シーケンス番号を、第2相互関係の2タプルに従って取得すること；
取得したグローバル基準シーケンス番号に対応するライブ音声を判別し、取得した音声シーケンス番号に対応するコメンタリー音声を判別すること；及び
現在のビデオ画像が再生される場合に、判別されたライブ音声及び判別されたコメンタリー音声を再生すること；を含んでもよい。
複数のコメンテーターが同時にコメントし、関連する同期情報を運ぶために2つの2タプルが使用される具体例を利用して、以下、実施形態が説明される。
本発明の実施形態は、ビデオライブ放送中に複数のリモートコメンタリーを同期させることに関する方法を提供し、そのため、ユーザは、ライブ放送を視聴しているときに、遠隔的に同時に複数の者から与えられるコメンタリーを聴くことができ、遠隔した複数のコメンタリーの同期及びスイッチングを簡易化することを実現し、これにより、視聴者にとって優れた視聴体感をもたらす。
本発明のこの実施形態の実現は、主に3つの段階に分けられる：
第1段階：基準シーケンス番号がライブ放送に従って生成され、具体的には以下のステップを含む：
1. ビデオ取得デバイスがライブ音声及びビデオデータをリアルタイムに取得する。
2. ライブ音声ストリームがデータスライスにセグメント化され、グローバル基準シーケンス番号が生成される。
3. ライブビデオストリームのビデオシーケンス(VideoSequence)番号が、「基準シーケンス(BaseSequence)」に従って生成され、この場合において、生成ルールは次のような相互関係の2タプルシーケンスであってもよい：
<VideoSequence.idx, BaseSequence.idx>…;
4. 「BaseSequence」及び「VideoSequence」を搬送する音声及びビデオ、並びに相互関係は、バックグラウンドサーバーライブ(background server live)にアップロードされ、目前の視聴者及び遠方の視聴者を含む全てのユーザにプッシュされる。
第2段階：リモートコメンタリーの音声シーケンス番号の生成は、具体的には以下のステップを含む：
1. リモートコメンテーターがビデオ画像を視聴し、そのビデオ画像に対する同期コメンタリーを与え；コメンタリー端末が音声を取得する。
2. コメンタリー端末の側において、コメンタリー音声の音声シーケンス番号とビデオのビデオシーケンス番号とが、「BaseSequence」を当てにすることによって生成され、生成ルールは、次のように、相互関係の2タプルのシーケンスであってもよい；
<CommentVoiceSequence.idx, BaseSequence.idx>…
<CommentVideoSequence.idx, BaseSequence.idx>…;
3. コメンタリー端末は、「CommentVoiceSequence」と、「CommentVideoSequence」と、「BaseSequence」についての相互関係の2タプルとを、バックグラウンドサーバにアップロードし、バックグラウンドサーバによって、「CommentVoiceSequence」と、「CommentVideoSequence」と、「BaseSequence」についての相互関係の2タプルとが全てのユーザにプッシュされる。
第3段階：ライブ放送ビデオを視聴するユーザに関し、コメンタリー同期方法は、具体的には以下のステップを含む：
1. 図4を参照すると、ユーザがビデオを視聴する場合に、図4に示されるT1，T2，T3，T4，T5のような「BaseSequence」のタイムライン及び所定のバッファ期間に従って、再生は安定的にプッシュされる。
図4には、上段ないし下段において左側に向かう4つの矢印がある。前者2つは、取得されるライブビデオに関連し、グローバル基準シーケンス番号(ライブ音声のシーケンス番号)とビデオシーケンス番号(ライブビデオのシーケンス番号)とに分割される；後者の2つはコメンタリー側のビデオデータであり、音声シーケンス番号(コメンタリー音声のシーケンス番号)とビデオシーケンス番号(コメンタリー音声に対応するビデオシーケンス番号)とを含む。
2. 再生は、与えられた2タプル(projected 2-tuple)の関連性に依存する。
<CommentVoiceSequence.idx, BaseSequence.idx>…
<CommentVideoSequence.idx, BaseSequence.idx>…;
例えば図中の時点T2のような「BaseSequence.idx」の時点において、コメンタリー音声及びコメンタリービデオの存在が、相互関係に従って検出された場合、コメンタリーが再生される。
3. 複数のコメンタリーが存在し、処理ルールは一貫している。
4. 複数のコメンタリーは切り替えられ、例えば、コメンタリーAはコメンタリーBに切り替えられ、ルールに従って処理される；切り替えるというコンセプトがない場合には、コメンタリー再生ストリームAが停止され、コメンタリー再生ストリームBが受信され、コメンタリー再生ストリームBが「BaseSequence.idx」に合致する場合、コメンタリーBが再生され始める。
上記の実現方法によれば、複数の場所に存在するコメンテーターの同期の問題が軽減される。更に、標準化された処理方法を利用することにより、各々のアンカースイッチ(anchor switch)の間に相互関係はなく、そのため、サービスの流ちょうさや、コードの簡明化が保証され、と同時に、2回目のバッファリングや一時停止がビデオの再生中に生じなくなる。
本発明の実施形態は図5に示されるようなターミナルデバイスを提供し、そのデバイスは：
コメントされるビデオデータを受信するように構成されるビデオ受信ユニット501；
ビデオ受信ユニット501により受信されるビデオデータを再生するように構成されるビデオ再生ユニット502；
コメンタリー音声を取得するように構成される音声取得ユニット503；
ビデオ受信ユニット501により受信されるコメントされるビデオデータのビデオシーケンス番号を判定し；音声取得ユニット503；により取得されたコメンタリー音声の音声シーケンス番号とビデオシーケンス番号との間の対応関係を判定するように構成されるシーケンス番号判定ユニット504；及び
ビデオ再生側が、ビデオの再生中に、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従ってコメンタリー音声を再生するように、音声シーケンス番号とビデオシーケンス番号との間の対応関係をビデオ再生側に送信するように構成されるシーケンス番号送信ユニット505；を含むデバイスである。
ビデオシーケンス番号はビデオスライスを表現するシーケンス番号である。ビデオスライスの順序は、例えばビデオフレームのようなビデオシーケンス番号に従って決定されてもよい。ビデオフレームのフレーム番号はビデオシーケンス番号として使用されてよい。
この実施形態はコメンタリー側で実現されているので、コメンテーターに対してビデオデータを再生する必要がある。コメンテーターは、視聴したビデオ画像についてコメントし、これにより、コメンタリー音声を作成する。コメンタリー音声は、コメンタリー側のコメンタリー端末により取得される。音声シーケンス番号は、音声スライスを表現するシーケンス番号である。音声スライスの順序は、例えば音声フレームのような音声シーケンス番号に従って決定されてもよい。音声フレームのフレーム番号は、音声シーケンス番号として使用されてもよい。
本発明の実施形態では、ビデオコメンタリー側が、ビデオシーケンス番号及び音声シーケンス番号に関連するオペレーションを実行し、そのため、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信する。ビデオコメンタリー側の数によらず、ビデオコメンタリー側は、互いに独立し且つ互いに邪魔し合うことなく、また、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。この解決手段は、事前に記録するコメンタリーだけでなく、生放送のコメンタリーにも適用可能である。
本発明の実施形態は、例えば次のような特徴を利用することにより、ビデオシーケンス番号の判定の仕方に対する選択的な方法をもたらし、その特徴は：
グローバル基準シーケンス番号とビデオシーケンス番号とを含む第1相互関係の2タプルを含むビデオデータを受信するように構成されるビデオ受信ユニットであって、ビデオデータのライブ音声のシーケンス番号がグローバル基準シーケンス番号であり、ビデオデータのビデオシーケンス番号はグローバル基準シーケンス番号に従って決定される、ビデオ受信ユニット；及び
第1相互関係の2タプルに従って、コメントされるビデオデータのビデオシーケンス番号を決定するように構成されるシーケンス番号判定ユニット504；を含む。
本発明の実施形態に関し、基準としてのシーケンス番号は、ライブ音声をセグメント化することにより取得されるシーケンス番号であるが、ビデオデータをセグメント化することにより取得されるシーケンス番号が、基準シーケンス番号として使用されてもよく、或いは、あるシーケンス番号が基準として新たに追加されてもよく、本発明は上記の実施形態に限定されない。
本発明の実施形態は、例えば次のようにして、対応関係の表現形式と音声シーケンス番号の決定法に対する選択的な方法を提供し、その選択的な特徴は：第1相互関係の2タプルにおいてグローバル基準シーケンス番号に従ってコメンタリー音声の音声シーケンス番号を判定し；及び、グローバル基準シーケンス番号と音声シーケンス番号とを含む第2相互関係の2タプルを生成するように構成されるシーケンス番号判定ユニット504；を含む。
上記の実施形態の実現手段に基づいて、本発明のこの実施形態は、音声シーケンス番号とビデオシーケンス番号との間の対応関係を送信することについて更なる特徴を提供し、その特徴は：第1相互関係の2タプルと第2相互関係の2タプルとをビデオ再生側に送信するように構成されるシーケンス番号送信ユニット505；を含む。
本発明の実施形態において、第1相互関係の2タプル及び第2相互関係の2タプルは、3つ組み(又はトリプレット)に統合されてもよく、トリプレットは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、ボイスシーケンス番号とを含む。すなわち、第1相互関係の2タプルは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、未指定のシーケンスとを含み；第2相互関係の2タプルにおける新たに決定されるボイスシーケンス番号は、トリプレットにおける未指定のシーケンスで満たされるようにしてもよい。すなわち、本発明の実施形態は上記の例に限定されない。ボイスシーケンス番号及びビデオシーケンス番号の間の対応関係を決定するために使用されることが可能な何れの実現方法も、本発明の実施形態の実現に影響を及ぼさない。
本発明の実施形態は図6に示されるような別のターミナルデバイスを更に提供し、そのデバイスは：
コメントされるビデオデータとしてライブビデオを取得するように構成されるビデオ取得ユニット601；
ビデオデータからライブ音声を取得し、ライブ音声のシーケンス番号をグローバル基準シーケンス番号として使用し、グローバル基準シーケンス番号に従ってビデオデータのビデオシーケンス番号を判定するように構成されるシーケンス番号判定ユニット602；
グローバル基準シーケンス番号とビデオシーケンス番号とを含む第1相互関係の2タプルを生成するように構成される2タプル生成ユニット603；及び
第1相互関係の2タプルを含むビデオデータをビデオコメンタリー側に送信するように構成される2タプル送信ユニット604；
を含むデバイスである。
上記の実施形態の記述に基づいて、本発明のこの実施形態では、第1相互関係の2タプルのグローバル基準シーケンス番号が、第2相互関係の2タプルを生成するために使用される。しかしながら、第1相互関係の2タプル及び第2相互関係の2タプルはトリプレットに統合されてもよく、トリプレットは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、ボイスシーケンス番号とを含む。すなわち、第1相互関係の2タプルは、実際に、グローバル基準シーケンス番号と、ビデオシーケンス番号と、未指定のシーケンスとを含み；第2相互関係の2タプルにおける新たに決定されるボイスシーケンス番号は、トリプレットにおける未指定のシーケンスで満たされるようにしてもよい。従って、この方法が使用される場合、トリプレットの中に1つの未指定シーケンスが存在する。実際には、このトリプレットは2タプルと等価であると考えられてよい。これらの相違は、コメンタリー側が未指定シーケンスに対する値を指定するか、或いは、指定するためにシーケンスが新たに追加されるかという点にある。すなわち、本発明の実施形態の実現は、上記の形態に限定されない。ライブ音声のシーケンス番号及びビデオシーケンス番号の間の対応関係を決定するために使用されることが可能な何れの実現方法も、本発明の実施形態の実現に影響を及ぼさない。
本発明の実施形態は、ビデオ取得側を利用することにより実現される。相互関係の2タプルを利用することにより、ビデオデータの順序と、再生順序と、ビデオ及び音声の対応関係とが識別され、そのため、コメンタリー音声の順序と、その順序に従うビデオ及びコメンタリー音声の間の対応関係とをマークすることが、ビデオコメンタリー側にとって有益である。ビデオコメンタリー側の数によらず、ビデオコメンタリー側は、互いに独立し且つ互いに邪魔し合うことなく、また、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。この解決手段は、事前に記録するコメンタリーだけでなく、生放送のコメンタリーにも適用可能である。
本発明の実施形態はグローバル基準シーケンス番号を取得する特徴を更に提供し、その特徴は具体的には：取得されたライブ音声をデータスライスにセグメント化し、ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として取得するように構成されるシーケンス番号判定ユニット602；である。
本発明の実施形態に関し、基準としてのシーケンス番号は、ライブ音声をセグメント化することにより取得されるシーケンス番号であるが、ビデオデータをセグメント化することにより取得されるシーケンス番号が、基準シーケンス番号として使用されてもよく、或いは、あるシーケンス番号が基準として新たに追加されてもよく、本発明は上記の実施形態に限定されない。
本発明の実施形態は図7に示されるような別のターミナルデバイスを更に提供し、そのデバイスは：
ビデオシーケンス番号を有するビデオデータと、ビデオデータに対応する、音声シーケンス番号を有するコメンタリー音声とを受信し；及び、音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信するように構成されるデータ受信ユニット701；及び
ビデオデータが再生される場合に、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従ってコメンタリー音声を再生するように構成される再生ユニット702；
を有するデバイスである。
本発明のこの実施形態では、ビデオデータはコメンタリー側のコメンタリー端末からのものであってもよいし、ビデオ取得側からのものであってもよく、ビデオ取得側ではビデオデータはサーバを介して転送され、本発明は実施形態に限定されない。
本発明のこの実施形態では、音声シーケンス番号とビデオシーケンス番号との間の対応関係は、コメンタリー側のコメンタリー端末によって、ビデオ再生側のビデオ再生デバイスに直接的に送信されてもよいし、また、サーバに転送されてサーバから均一に送信(又はブロードキャスト)されてもよく、本発明は実施形態に限定されない。
本発明の実施形態では、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信し、ビデオコメンタリー側の数によらず、ビデオコメンタリー側は、互いに独立し且つ互いに邪魔し合うことなく、また、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。この解決手段は、事前に記録するコメンタリーだけでなく、生放送のコメンタリーにも適用可能である。
本発明の実施形態は、複数のコメンタリー音声が存在する場合の処理手段を更に提供し、その手段は、具体的には図8に示されるようなターミナルデバイスであり、そのデバイスは：
2つ以上のコメンタリー音源が存在する場合に、所定のルールに従って、現在再生されているコメンタリー音声を選択又は切り替えるように構成される再生制御ユニット801；を更に含むデバイスである。
複数のコメンタリー音声が存在する場合、選択及び切替ルールの決め方は、技術者により適宜設定されてよく、例えば、各コメンタリー側の優先度が前もって設定され、その優先度に従って現在再生されるように音声が選択されてもよい。本発明の実施形態は特定のルールに限定されない。
本発明の実施形態は、音声シーケンス番号とビデオシーケンス番号との間の対応関係の具体的に決める手段を次のように更に提供し、その手段は：
第1相互関係の2タプル及び第2相互関係の2タプルを受信するように構成されるデータ受信ユニット701；であり、第1相互関係の2タプルはグローバル基準シーケンス番号とビデオシーケンス番号とを含み、第2相互関係の2タプルはグローバル基準シーケンス番号と音声シーケンス番号とを含み、ビデオデータにおけるライブ音声のシーケンス番号はグローバル基準シーケンス番号であり、ビデオデータのビデオシーケンス番号はグローバル基準シーケンス番号に従って判定され、音声シーケンス番号はグローバル基準シーケンス番号に従って判定される。
本発明の実施形態に関し、基準としてのシーケンス番号は、ライブ音声をセグメント化することにより取得されるシーケンス番号であるが、ビデオデータをセグメント化することにより取得されるシーケンス番号が、基準シーケンス番号として使用されてもよく、或いは、あるシーケンス番号が基準として新たに追加されてもよく、本発明は上記の実施形態に限定されない。
本発明の実施形態において、第1相互関係の2タプル及び第2相互関係の2タプルは、トリプレットに統合されてもよく、トリプレットは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、ボイスシーケンス番号とを含む。すなわち、第1相互関係の2タプルは、グローバル基準シーケンス番号と、ビデオシーケンス番号と、未指定のシーケンスとを含み；第2相互関係の2タプルにおける新たに決定されるボイスシーケンス番号は、トリプレットにおける未指定のシーケンスで満たされるようにしてもよい。すなわち、本発明の実施形態は上記の例に限定されない。ボイスシーケンス番号及びビデオシーケンス番号の間の対応関係を決定するために使用されることが可能な何れの実現方法も、本発明の実施形態の実現に影響を及ぼさない。
相互関係の2タプルが2つ使用される実現手段に基づいて、本発明の実施形態は次のような手段により実現される具体的な音声再生プロセスを提供し、その手段は：
ビデオデータが再生される場合に、現在のビデオ画像のシーケンス番号を取得し；
第1相互関係の2タプルに従って現在のビデオ画像のシーケンス番号に対応するグローバル基準シーケンス番号を取得し；
取得したグローバル基準シーケンス番号に対応する音声シーケンス番号を、第2相互関係の2タプルに従って取得し；
取得したグローバル基準シーケンス番号に対応するライブ音声を判定し；
取得した音声シーケンス番号に対応するコメンタリー音声を判定し；及び
現在のビデオ画像が再生される場合に、判定したライブ音声及び判定したコメンタリー音声を再生するように構成される再生ユニット702である。
本発明の実施形態は、図9に示されるようなビデオリモートコメンタリー同期システムを更に提供し、そのシステムは：
ビデオ取得ターミナル901と、コメンタリーターミナル902と、再生ターミナル903とを含み、それらは通信手段で接続されており、
ビデオ取得ターミナル901は、本発明の実施形態により提供される、ビデオを取得する何れか任意のターミナルデバイスであり、コメンタリーターミナル902は、本発明の実施形態により提供される、コメンタリー側の何れか任意のターミナルデバイスであり、再生ターミナル903は、本発明の実施形態により提供される、ビデオ再生側の何れか任意のターミナルデバイスである。
ビデオコメンタリー側はビデオシーケンス番号及び音声シーケンス番号に関連するオペレーションを実行し、そのため、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係を受信する。ビデオコメンタリー側の数によらず、ビデオコメンタリー側は、互いに独立し且つ互いに邪魔し合うことなく、また、ビデオ再生側は、音声シーケンス番号とビデオシーケンス番号との間の対応関係に従って、コメンタリー音声を再生する時点を判断することができ、複数のコメンテーターによるリモートコメンタリーの同期、及び、同一ビデオに対する複数のコメンテーターによるリモートコメンタリーを実現する。
更に、図10に示されるようなシステムは、サーバ1001を更に含む：
サーバ1001は、ビデオ取得ターミナル901及びコメンタリーターミナル902の間で、及び、コメンタリーターミナル902及び再生ターミナル903の間でデータを転送するために、ビデオ取得ターミナル901、コメンタリーターミナル902及び再生ターミナル903と通信コネクションを個別的に設定する。
選択的に、2つ又はそれ以上のコメンタリーターミナル902が存在してもよい。再生ターミナル903の数は、1以上の任意の数であってよいことが理解される。
本発明の実施形態は別のターミナルデバイスを更に提供する。図11に示されるように、記述の簡明化のため、本発明の実施形態に関連する部分のみが示されている。記述されていない具体的な技術的詳細については、本開示の方法の実施形態の部分を参照されたい。ターミナルは、モバイルフォン、タブレットコンピュータ、パーソナルディジタルアシスタント(PDA)、ポイントオブセールス(POS)、車載コンピュータ等のような任意の端末装置であってよい。例えば、ターミナルデバイスは移動電話機である。
図11は、本発明の実施形態による端末に関連するモバイルフォンの部分的な構造のブロック図である。図11を参照すると、モバイルフォンは、無線周波数(RF)回路1110、メモリ1120、入力ユニット1130、ディスプレイユニット1140、センサ1150、オーディオ回路1160、ワイヤレスフィデリティ(WiFi)モジュール1170、プロセッサ1180及び電源1190のようなコンポーネントを含んでいる。図11に示されるモバイルフォンの構造はモバイルフォンに対する限定を構成するものではないこと、モバイルフォンは図示されたものより多いコンポーネント又は少ないコンポーネントを含んでよいこと、幾つかのコンポーネントが組み合わされてもよいこと、或いは、異なるコンポーネントの配置が使用されてもよいことを、当業者は理解するであろう。
以下、図11を参照しながらモバイルフォンのコンポーネントを具体的に説明する。
RF回路1110は、情報の送受信プロセス又は呼び出しプロセスの最中に、信号を送受信するように構成される。特に、RF回路1110は、基地局からダウンリンク情報を受信し、ダウンリンク情報をプロセッサ1180へ処理のために供給し、関連するアップリンクデータを基地局へ送信する。一般に、RF回路1110は、アンテナ、少なくとも1つの増幅器、トランシーバ、カプラ、低雑音増幅器(LNA)及びデュプレクサ等を含んでよいが、これらに限定されない。更に、RF回路1110は、無線通信によりネットワーク及び他の装置と通信してもよい。無線通信は任意の通信規格又はプロトコルを利用してもよく、通信規格等は、限定ではないが、GSM(登録商標)(Global System for Mobile communications)、GPRS(General Packet Radio Service)、CDMA(Code Division Multiple Access)、WCDMA（登録商標）(Wideband Code Division Multiple Access)、LTE(Long Term Evolution)、電子メール(e-mail)、SMS(Short Messaging Service)等を含む。
メモリ1120はソフトウェアプログラム及びモジュールを保存するように構成される。プロセッサ1180は、メモリ1120に保存されるモジュール及びソフトウェアプログラムを実行し、モバイルフォンの様々なデータ処理及び様々な機能アプリケーションを実現する。メモリ1120は、主に、プログラムストレージ領域吐データストレージ領域とを含む。プログラムストレージ領域は、オペレーティングシステム、少なくとも1つの機能により必要とされるアプリケーションプログラム(例えば、音声再生機能及び画像表示機能)等を保存してもよい。データ保存領域は、モバイルフォンを利用することにより作成されたデータ(例えば、オーディオデータ及びアドレスブック)等を保存してもよい。更に、メモリ1120は、高速ランダムアクセスメモリを含んでもよいし、少なくとも1つの磁気ディスクストレージデバイス等のような不揮発性メモリ、フラッシュメモリ、又は、他の揮発性ソリッドステートストレージデバイスを含んでもよい。
入力ユニット1130は、入力される数字又はキャラクタ情報を受信し、モバイルフォンのユーザ設定及び機能制御に関連して入力されるキーボード信号を生成するように構成される。具体的には、入力ユニット1130はタッチパネル1131及び他の入力デバイス1132を含んでよい。タッチスクリーンとして言及されてもよいタッチパネル1131は、タッチパネルの場所又はその近辺のタッチ操作を収集し(例えば、指又はスタイラスのような適切な何らかのオブジェクト又はアクセサリを利用することにより、タッチパネル1131の場所又はその近辺におけるユーザの操作等のような動作を収集し)、所定のプログラムに従って、対応するコネクション装置を駆動する。選択的に、タッチパネル1131は、タッチ検出装置及びタッチコントローラのような2つの部分を含んでもよい。タッチ検出装置は、ユーザが触れた位置を検出し、タッチ操作によって生成される信号を検出し、その信号をタッチコントローラに転送する。タッチコントローラは、タッチ検出装置からタッチ情報を受信し、タッチ情報を接触点の座標に変換し、接触点の座標をプロセッサ1180に送信する。更に、タッチコントローラは、プロセッサ1180から送信されるコマンドを受信して実行する。更に、タッチパネル1131は、抵抗型、容量型、赤外線型又は表面弾性波型のタッチパネルであってもよい。タッチパネル1131に加えて、入力ユニット1130は、他の入力デバイス1132を更に含んでもよい。具体的には、他の入力デバイス1132は、限定ではないが、物理的なキーボード、ファンクションキー(例えば、ボリュームコントロールキー又はスイッチキー)、トラックボール、マウス及びジョイスティックのうちの1つ以上を含んでもよい。
ディスプレイユニット1140は、ユーザにより入力された情報又はユーザのために提供される情報を表示するように構成される。ディスプレイユニット1140は、表示パネル1141を含んでもよい。選択的に、表示パネル1141は、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)等を利用することにより構成されてもよい。更に、タッチパネル1131は表示パネル1141をカバーしてもよい。タッチパネル1131の場所又はその近辺でタッチ操作を検出した後に、タッチパネル1131は、タッチイベントのタイプを判定するために、そのタッチ操作をプロセッサ1180に転送する。次に、プロセッサ1180は、タッチイベントのタイプに応じてディスプレイパネル1141に、対応する視覚的な出力を提供する。図11では、タッチパネル1131及び表示パネル1141は、モバイルフォンの入力及び出力機能を実現するための2つの別個のパーツとして使用されているが、一実施形態では、タッチパネル1131及び表示パネル1141は、モバイルフォンの入力及び出力機能を実現するように統合されてもよい。
モバイルフォンは、光センサ、モーションセンサ及びその他のセンサのような少なくとも1つのセンサ1150を更に含んでもよい。具体的には、光センサは周囲光センサ及び近接センサを含んでもよい。周囲光センサは、周囲光の輝度に応じて表示パネル1141の明るさを調整するために使用されてもよい。近接センサは、モバイルフォンが耳元から動かされた場合に、表示パネル1141及び/又はバックライトをスイッチオフするために使用されてもよい。モーションセンサの一種として、加速度センサは、様々な方向の加速度の大きさを検出し(一般的には、3つの軸方向)、静止している場合には重力の向き及び大きさを検出し、モバイルフォンの姿勢を認識するアプリケーション(例えば、ランドスケープ方向とポートレート方向との間で切替を行うこと、関連するゲーム、磁力計の姿勢較正など)や、振動認識(例えば、歩数計及びノック)に関連するファンクション等に適用する。ジャイロスコープ、気圧計、湿度計、温度計及び赤外線センサ等のような、モバイルフォンに組み込まれてよい他のセンサが存在してもよいが、ここでは説明されない。
オーディオ回路1160、拡声スピーカ1161及びマイクロフォン1162は、ユーザとモバイルフォンとの間のオーディオインターフェースを提供する。オーディオ回路1160は、受信したオーディオデータを電気信号に変換し、電気信号を拡声スピーカ1161に送信してもよい。拡声スピーカ1161は、電気信号を、出力のための音声信号に変換する。一方、マイクロフォン1162は、収集した音声信号を電気信号に変換する。オーディオ回路1160は、電気信号を受信し、電気信号をオーディオデータに変換し、オーディオデータを、処理用のプロセッサ1180に出力する。そして、プロセッサ1180は、RF回路1110を利用することにより、例えば他のモバイルフォンへオーディオデータを送信し、或いは、更なる処理のために、オーディオデータをメモリ1120へ出力する。
WiFiは短距離無線通信技術に属する。モバイルフォンは、WiFiモジュール1170を利用することにより、ユーザが、電子メールを送受信すること、ウェブページを閲覧すること、ストリーミングメディアにアクセスすること等を支援し、WiFiモジュールは、無線ブロードバンドインターネットアクセスをユーザに提供する。図11はWiFiモジュール1170しか示していないが、WiFiモジュールはモバイルフォンの必須要素ではなく、本開示の本質的な目的が変更されない限り、必要に応じて、WiFiモジュールは省略されてもよいことが、理解されるであろう。
プロセッサ1180は、モバイルフォンのコントロールセンタであり、様々なインターフェース及びラインを利用することにより、モバイルフォンの様々なパーツに接続される。メモリ1120に保存されるモジュール及び/又はソフトウェアプログラムを動作又は実行することにより、プロセッサ1180は、モバイルフォンの様々な機能及びデータ処理を実行し、これにより、モバイルフォンにおける全体的なモニタリングを実行する。選択的に、プロセッサ1180は1つ又は複数の処理ユニットを含んでもよい。好ましくは、プロセッサ1180はアプリケーションプロセッサ及びモデムを統合している。アプリケーションプロセッサは、主に、オペレーティングシステム、ユーザインターフェース、アプリケーションプログラム等を処理してもよい。モデムは、主に、無線通信を処理してもよい。上記のモデムはプロセッサ1180に統合されなくてもよいことが、理解される。
モバイルフォンは、コンポーネントに電力を供給するために電源1190(例えば、バッテリ)を更に含む。好ましくは、電源は、電力管理システムを利用することによりプロセッサ1180に論理的に接続されてもよく、これにより、充電、放電、及び、電力消費管理システムを利用することによる電力消費管理などの機能を実行する。
図示されてはいないが、モバイルフォンは、カメラ、ブルートゥース(登録商標)モジュール等を更に含んでもよく、これらについて本願で詳細には説明されない。
本発明の一実施形態では、端末に包含されるプロセッサ1180は、方法の実施形態において、再生端末、コメンタリー端末又はビデオ取得端末に関連するステップを実行するように制御してもよい。
ターミナルデバイスについての上記の実施形態では、ターミナルデバイスに含まれる全てのユニットは、単に機能的な論理に従って分割されているに過ぎず、対応する機能が実現可能である限り、ユニットの区分けは上記の分け方に限定されないことに、留意すべきである。更に、機能ユニットの具体的な名称は、単に互いを区別しているに過ぎず、本開示の保護範囲を限定するようには意図されていない。
更に、上記の方法の実施形態におけるステップの全部又は一部は、関連するハードウェアを指示するプログラムによって実現されてよいことを、当業者は理解するであろう。対応するプログラムは、コンピュータ読み取り可能な記憶媒体に保存されてもよい。上記のストレージ媒体は、リードオンリメモリ、磁気ディスク、光ディスク等であってもよい。
上記の記述は、単に、本開示による具体的な実現方法であるにすぎず、本開示による保護範囲を限定するようには意図されていない。本発明の実施形態において開示される技術的範囲に属する当業者に容易に把握される任意の変形及び置換は、本開示の保護範囲内に属する。すなわち、本開示の保護範囲は特許請求の範囲の保護範囲に委ねられる。

Claims (17)

  1. ビデオリモートコメンタリー同期方法であって：
    コメントされるビデオデータを受信し、コメントされるビデオデータのビデオシーケンス番号を判定するステップ；
    前記コメントされるビデオデータを再生し、コメンタリー音声を取得し、前記コメンタリー音声の音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を判定するステップ；及び
    ビデオ再生側が、ビデオを再生しながら、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って、前記コメンタリー音声を再生するように、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係を、前記ビデオ再生側に送信するステップ；
    を有し、前記コメントされるビデオデータを受信し、コメントされるビデオデータのビデオシーケンス番号を判定することが：
    グローバル基準シーケンス番号と前記ビデオシーケンス番号との第１相互関係の２タプルを、前記ビデオデータにより構成することであって、前記ビデオデータにおけるライブ音声のシーケンス番号が前記グローバル基準シーケンス番号であり、前記ビデオデータの前記ビデオシーケンス番号は前記グローバル基準シーケンス番号に従って判定される、こと；及び
    前記第１相互関係の２タプルに従って、前記コメントされるビデオデータのビデオシーケンス番号を判定すること；
    を含む、方法。
  2. 前記コメンタリー音声の音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係を判定することは：
    前記第１相互関係の２タプルにおいて、前記グローバル基準シーケンス番号に従ってコメンタリー音声の音声シーケンス番号を判定すること；及び
    前記グローバル基準シーケンス番号と前記音声シーケンス番号とを含む第２相互関係の２タプルを生成すること；
    を含む請求項１に記載の方法。
  3. 前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係を、前記ビデオ再生側に送信することは：
    前記第１相互関係の２タプル及び前記第２相互関係の２タプルをビデオ再生側に送信すること；
    を含む請求項２に記載の方法。
  4. ビデオリモートコメンタリー同期方法であって：
    コメントされるビデオデータとしてライブビデオを取得するステップ；
    前記ビデオデータからライブ音声を取得し、前記ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として使用し、前記グローバル基準シーケンス番号に従ってビデオデータのビデオシーケンス番号を判定するステップ；及び
    前記グローバル基準シーケンス番号及び前記ビデオシーケンス番号を含む第１相互関係の２タプルを生成し、前記第１相互関係の２タプルを含むビデオデータを、ビデオコメンタリー側に送信するステップ；
    を含む方法。
  5. 前記ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として使用することは：
    取得されたライブ音声をデータスライスにセグメント化し、前記ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として取得すること；
    を含む請求項４に記載の方法。
  6. ビデオリモートコメンタリー同期方法であって：
    ビデオデータと、前記ビデオデータに対応するコメンタリー音声とを受信するステップであって、前記ビデオデータはビデオシーケンス番号を有し、前記コメンタリー音声は音声シーケンス番号を有する、ステップ；
    前記音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を受信するステップ；及び
    前記ビデオデータが再生される場合に、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って、前記コメンタリー音声を再生するステップ；
    を有し、２つ又はそれ以上のコメンタリー音源が存在する場合に、本方法は：
    所定のルールに従って、現在再生されているコメンタリー音声を選択又は切り替えるステップ；
    を更に含み、前記音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を受信することは：
    第１相互関係の２タプル及び第２相互関係の２タプルを受信すること；
    を含み、前記第１相互関係の２タプルはグローバル基準シーケンス番号と前記ビデオシーケンス番号とを含み、前記第２相互関係の２タプルは前記グローバル基準シーケンス番号と前記音声シーケンス番号とを含み、前記ビデオデータにおけるライブ音声のシーケンス番号が前記グローバル基準シーケンス番号であり、前記ビデオデータの前記ビデオシーケンス番号は、前記グローバル基準シーケンス番号に従って判定され、前記音声シーケンス番号は前記グローバル基準シーケンス番号に従って判定される、方法。
  7. 前記ビデオデータが再生される場合に、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って、前記コメンタリー音声を再生することは：
    前記ビデオデータが再生される場合に、現在のビデオ画像のシーケンス番号を取得し、前記第１相互関係の２タプルに従って、前記現在のビデオ画像の前記シーケンス番号に対応するグローバル基準シーケンス番号を取得し、取得したグローバル基準シーケンス番号に対応する音声シーケンス番号を、前記第２相互関係の２タプルに従って取得すること；
    取得したグローバル基準シーケンス番号に対応するライブ音声を判定し、取得した音声シーケンス番号に対応するコメンタリー音声を判定すること；及び
    前記現在のビデオ画像が再生される場合に、判定されたライブ音声及び判定されたコメンタリー音声を再生すること；
    を含む請求項６に記載の方法。
  8. １つ又は複数のプロセッサ；
    メモリ；及び
    前記メモリに保存され、前記１つ又は複数のプロセッサにより実行される複数のプログラムモジュール；
    を有するターミナルデバイスであって、前記複数のプログラムモジュールは：
    コメントされるビデオデータを受信するように構成されるビデオ受信ユニット；
    前記ビデオ受信ユニットにより受信される前記ビデオデータを再生するように構成されるビデオ再生ユニット；
    コメンタリー音声を取得するように構成される音声取得ユニット；
    前記ビデオ受信ユニットにより受信されるコメントされるビデオデータのビデオシーケンス番号を判定し；音声取得ユニットにより取得された前記コメンタリー音声の音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を判定するように構成されるシーケンス番号判定ユニット；及び
    ビデオ再生側が、ビデオの再生中に、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って前記コメンタリー音声を再生するように、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係を前記ビデオ再生側に送信するように構成されるシーケンス番号送信ユニット；
    を含み、前記ビデオ受信ユニットは、グローバル基準シーケンス番号と前記ビデオシーケンス番号とを含む第１相互関係の２タプルを含む前記ビデオデータを受信するように構成され、前記ビデオデータのライブ音声のシーケンス番号がグローバル基準シーケンス番号であり、前記ビデオデータの前記ビデオシーケンス番号は前記グローバル基準シーケンス番号に従って判定され；及び
    前記シーケンス番号判定ユニットは、前記第１相互関係の２タプルに従って、コメントされるビデオデータのビデオシーケンス番号を判定するように構成される、ターミナルデバイス。
  9. 前記シーケンス番号判定ユニットは、前記第１相互関係の２タプルにおいて前記グローバル基準シーケンス番号に従って前記コメンタリー音声の音声シーケンス番号を判定し；及び、前記グローバル基準シーケンス番号と前記音声シーケンス番号とを含む第２相互関係の２タプルを生成するように構成される、請求項８に記載のターミナルデバイス。
  10. 前記シーケンス番号判定ユニットは、前記第１相互関係の２タプルと前記第２相互関係の２タプルとをビデオ再生側に送信するように構成される；
    請求項９に記載のターミナルデバイス。
  11. １つ又は複数のプロセッサ；
    メモリ；及び
    前記メモリに保存され、前記１つ又は複数のプロセッサにより実行される複数のプログラムモジュール；
    を有するターミナルデバイスであって、前記複数のプログラムモジュールは：
    コメントされるビデオデータとしてライブビデオを取得するように構成されるビデオ取得ユニット；
    前記ビデオデータからライブ音声を取得し、前記ライブ音声のシーケンス番号をグローバル基準シーケンス番号として使用し、前記グローバル基準シーケンス番号に従って前記ビデオデータのビデオシーケンス番号を判定するように構成されるシーケンス番号判定ユニット；
    前記グローバル基準シーケンス番号と前記ビデオシーケンス番号とを含む第１相互関係の２タプルを生成するように構成される２タプル生成ユニット；及び
    前記第１相互関係の２タプルを含む前記ビデオデータをビデオコメンタリー側に送信するように構成される２タプル送信ユニット；
    を含むターミナルデバイス。
  12. 前記シーケンス番号判定ユニットは、取得されたライブ音声をデータスライスにセグメント化し、前記ライブ音声のシーケンス番号を、グローバル基準シーケンス番号として取得するように構成される；
    請求項１１に記載のターミナルデバイス。
  13. １つ又は複数のプロセッサ；
    メモリ；及び
    前記メモリに保存され、前記１つ又は複数のプロセッサにより実行される複数のプログラムモジュール；
    を有するターミナルデバイスであって、前記複数のプログラムモジュールは：
    ビデオシーケンス番号を有するビデオデータと、前記ビデオデータに対応する、音声シーケンス番号を有するコメンタリー音声とを受信し；及び、前記音声シーケンス番号と前記ビデオシーケンス番号との間の対応関係を受信するように構成されるデータ受信ユニット；及び
    前記ビデオデータが再生される場合に、前記音声シーケンス番号と前記ビデオシーケンス番号との間の前記対応関係に従って前記コメンタリー音声を再生するように構成される再生ユニット；
    を有し、２つ以上のコメンタリー音源が存在する場合に、所定のルールに従って、現在再生されているコメンタリー音声を選択又は切り替えるように構成される再生制御ユニット；
    を更に有し、前記データ受信ユニットは、第１相互関係の２タプル及び第２相互関係の２タプルを受信するように構成され、前記第１相互関係の２タプルはグローバル基準シーケンス番号と前記ビデオシーケンス番号とを含み、前記第２相互関係の２タプルは前記グローバル基準シーケンス番号と前記音声シーケンス番号とを含み、前記ビデオデータにおけるライブ音声のシーケンス番号は前記グローバル基準シーケンス番号であり、前記ビデオデータの前記ビデオシーケンス番号は前記グローバル基準シーケンス番号に従って判定され、前記音声シーケンス番号は前記グローバル基準シーケンス番号に従って判定される、ターミナルデバイス。
  14. 前記再生ユニットは、
    ビデオデータが再生される場合に、現在のビデオ画像のシーケンス番号を取得し；
    前記第１相互関係の２タプルに従って前記現在のビデオ画像の前記シーケンス番号に対応するグローバル基準シーケンス番号を取得し；
    取得したグローバル基準シーケンス番号に対応する音声シーケンス番号を、前記第２相互関係の２タプルに従って取得し；
    取得したグローバル基準シーケンス番号に対応するライブ音声を判定し；
    取得した音声シーケンス番号に対応するコメンタリー音声を判定し；及び
    現在のビデオ画像が再生される場合に、判定したライブ音声及び判定したコメンタリー音声を再生する；
    ように構成される、請求項１３に記載のターミナルデバイス。
  15. ビデオリモートコメンタリー同期システムであって：
    ビデオ取得ターミナルとコメンタリーターミナルと再生ターミナルとを、通信可能に接続された状態で有し、
    前記ビデオ取得ターミナルは請求項１１又は１２に記載のターミナルデバイスであり、前記コメンタリーターミナルは請求項８ないし１０のうちの何れか一項に記載のターミナルデバイスであり、前記再生ターミナルは、請求項１３又は１４のうちの何れか一項に記載のターミナルデバイスである、システム。
  16. 前記システムはサーバを更に有し、前記サーバは：
    前記ビデオ取得ターミナル及び前記コメンタリーターミナルの間で、及び、前記コメンタリーターミナル及び前記再生ターミナルの間でデータを転送するために、前記ビデオ取得ターミナル、前記コメンタリーターミナル及び前記再生ターミナルと通信コネクションを個別的に設定する；
    請求項１５に記載のシステム。
  17. ２つ又はそれ以上のコメンタリーターミナルが存在している請求項１５又は１６に記載のシステム。
JP2016572554A 2014-06-10 2015-06-10 ビデオリモートコメンタリー同期方法及びシステム並びにターミナルデバイス Active JP6522014B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410255532.XA CN104135667B (zh) 2014-06-10 2014-06-10 一种视频异地解说同步方法、终端设备,及***
CN201410255532.X 2014-06-10
PCT/CN2015/081192 WO2015188755A1 (en) 2014-06-10 2015-06-10 Video remote-commentary synchronization method and system, and terminal device

Publications (2)

Publication Number Publication Date
JP2017521922A JP2017521922A (ja) 2017-08-03
JP6522014B2 true JP6522014B2 (ja) 2019-05-29

Family

ID=51808177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016572554A Active JP6522014B2 (ja) 2014-06-10 2015-06-10 ビデオリモートコメンタリー同期方法及びシステム並びにターミナルデバイス

Country Status (5)

Country Link
US (1) US9924205B2 (ja)
JP (1) JP6522014B2 (ja)
KR (1) KR101878279B1 (ja)
CN (1) CN104135667B (ja)
WO (1) WO2015188755A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104135667B (zh) 2014-06-10 2015-06-24 腾讯科技（深圳）有限公司 一种视频异地解说同步方法、终端设备,及***
CN105025314B (zh) * 2015-07-15 2016-11-16 腾讯科技（深圳）有限公司 多媒体直播方法与装置
CN105049912A (zh) * 2015-08-07 2015-11-11 虎扑（上海）文化传播股份有限公司 一种视频信号的处理方法及电子设备
CN108141564B (zh) * 2015-09-25 2021-11-09 深圳市大疆创新科技有限公司 用于视频广播的***和方法
CN105898605A (zh) * 2016-04-29 2016-08-24 乐视控股（北京）有限公司 一种实现平民解说的方法及装置
CN106101738A (zh) * 2016-07-04 2016-11-09 合网络技术（北京）有限公司 音频播放方法和装置
CN107071502B (zh) * 2017-01-24 2020-04-07 百度在线网络技术（北京）有限公司 视频播放方法和装置
WO2018184199A1 (en) * 2017-04-07 2018-10-11 Microsoft Technology Licensing, Llc Voice forwarding in automated chatting
US10237584B2 (en) 2017-04-17 2019-03-19 Sony Interactive Entertainment LLC Real-time incorporation of user-generated content into third-party content streams
CN113965811B (zh) * 2017-12-12 2023-03-28 腾讯科技（深圳）有限公司 播放控制方法和装置、存储介质及电子装置
US10887646B2 (en) 2018-08-17 2021-01-05 Kiswe Mobile Inc. Live streaming with multiple remote commentators
US11051050B2 (en) 2018-08-17 2021-06-29 Kiswe Mobile Inc. Live streaming with live video production and commentary
CN109769132B (zh) * 2019-01-15 2021-02-02 北京中视广信科技有限公司 一种基于帧同步的多路远程直播视频解说方法
CN109618178A (zh) * 2019-01-21 2019-04-12 北京奇艺世纪科技有限公司 一种直播方法、装置及***
CN110392273B (zh) * 2019-07-16 2023-08-08 北京达佳互联信息技术有限公司 音视频处理的方法、装置、电子设备及存储介质
CN110505489A (zh) * 2019-08-08 2019-11-26 咪咕视讯科技有限公司 视频处理方法、通信设备及计算机可读存储介质
CN111477244B (zh) * 2020-04-13 2023-09-22 南京邮电大学 一种面向用户的自定义体育赛事解说增强方法
CN112437316A (zh) * 2020-10-15 2021-03-02 北京三快在线科技有限公司 即时消息与直播视频流同步播放的方法、装置
CN112383794B (zh) * 2020-12-01 2023-10-20 咪咕互动娱乐有限公司 直播方法、直播***、服务器和计算机存储介质
CN112839235B (zh) * 2020-12-30 2023-04-07 北京达佳互联信息技术有限公司 显示方法、评论发送方法、视频帧推送方法及相关设备
CN113630630B (zh) * 2021-08-09 2023-08-15 咪咕数字传媒有限公司 一种视频解说配音信息的处理方法、装置及设备
CN116506689B (zh) * 2023-06-28 2023-09-26 央视频融媒体发展有限公司 适用于在线视频的多路实时解说智能化实现方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0771278B2 (ja) 1988-07-12 1995-07-31 三菱電機株式会社 パケットテレビ会議端末
JPH09219851A (ja) 1996-02-09 1997-08-19 Nec Corp 多地点ビデオ会議制御方法及び装置
JPH10210409A (ja) 1997-01-16 1998-08-07 Sony Corp 半導体メモリを用いた画像および音声記録装置および記録再生装置
JP4089017B2 (ja) 1997-09-02 2008-05-21 ソニー株式会社 デジタル記録媒体におけるアフターレコーディング方法及び装置並びにそのデジタル記録媒体の再生方法及び装置
US20020122112A1 (en) 1998-04-10 2002-09-05 Raoul Mallart Group-wise video conferencing uses 3d-graphics model of broadcast event
EP1734527A4 (en) * 2004-04-06 2007-06-13 Matsushita Electric Ind Co Ltd AUDIOWIEDERGABEANORDNUNG, AUDIOWIEDRGABEMETHODE AND PROGRAM
US20080028023A1 (en) * 2006-07-26 2008-01-31 Voicetribe Llc. Sharing commentaries synchronized with video content
JP2008288935A (ja) 2007-05-18 2008-11-27 Panasonic Corp 音声処理装置
US20090170603A1 (en) * 2007-12-28 2009-07-02 Yahoo! Inc. Sports community commentary
US8244105B2 (en) 2008-03-20 2012-08-14 Verna Ip Holdings, Llc Talking replay
US9055271B2 (en) 2008-03-20 2015-06-09 Verna Ip Holdings, Llc System and methods providing sports event related media to internet-enabled devices synchronized with a live broadcast of the sports event
JP2010232716A (ja) 2009-03-25 2010-10-14 Nec Corp ビデオコンテンツ受信装置、コメント交換システム、コメントデータの生成方法およびプログラム
JP5381434B2 (ja) 2009-07-13 2014-01-08 日本電気株式会社 コンテンツ処理装置
KR101090356B1 (ko) 2009-12-28 2011-12-13 주식회사 더블유코퍼레이션 오디오 신호 및 비디오 신호의 동기화 오차 보정 방법 및 장치
KR20120007763A (ko) 2010-07-15 2012-01-25 에스케이플래닛 주식회사 운동 경기의 중계 방송 제공 방법 및 시스템
KR101841313B1 (ko) * 2010-09-22 2018-03-22 톰슨 라이센싱 멀티미디어 흐름 처리 방법 및 대응하는 장치
KR101828639B1 (ko) 2010-10-15 2018-03-22 톰슨 라이센싱 멀티미디어 흐름을 동기화시키기 위한 방법 및 대응하는 장치
US8744237B2 (en) 2011-06-20 2014-06-03 Microsoft Corporation Providing video presentation commentary
CN102325173B (zh) * 2011-08-30 2013-12-11 重庆抛物线信息技术有限责任公司 一种混音视频共享方法及***
CN102427507B (zh) * 2011-09-30 2014-03-05 北京航空航天大学 一种基于事件模型的足球视频集锦自动合成方法
CN104135667B (zh) 2014-06-10 2015-06-24 腾讯科技（深圳）有限公司 一种视频异地解说同步方法、终端设备,及***

Also Published As

Publication number Publication date
KR101878279B1 (ko) 2018-07-13
CN104135667B (zh) 2015-06-24
WO2015188755A1 (en) 2015-12-17
JP2017521922A (ja) 2017-08-03
KR20170009981A (ko) 2017-01-25
US20170142451A1 (en) 2017-05-18
US9924205B2 (en) 2018-03-20
CN104135667A (zh) 2014-11-05

Similar Documents

Publication Publication Date Title
JP6522014B2 (ja) ビデオリモートコメンタリー同期方法及びシステム並びにターミナルデバイス
WO2018192415A1 (zh) 数据的直播方法、相关设备及***
WO2017008627A1 (zh) 多媒体直播方法、装置和***
WO2016177296A1 (zh) 一种生成视频的方法和装置
US8606183B2 (en) Method and apparatus for remote controlling bluetooth device
WO2017076143A1 (zh) 视频的直播流转点播数据的方法、装置及***
CN107707828B (zh) 一种视频处理方法及移动终端
TWI547159B (zh) 媒體內容分享方法和終端設備及內容分享系統
CN106254903B (zh) 一种多媒体数据的同步播放方法、装置及***
WO2015014140A1 (zh) 录音方法、播放方法、装置、终端及***
JP2017528009A (ja) マルチメディアファイルを再生するための方法及び装置
CN103686246B (zh) 传输流视频选时播放方法、装置、设备及***
WO2017215661A1 (zh) 一种场景音效的控制方法、及电子设备
CN104159136A (zh) 互动信息的获取方法、终端、服务器及***
CN103391473A (zh) 一种提供及获取音视频的方法和装置
CN109168038A (zh) 一种资源的处理方法、装置及设备
CN106506437B (zh) 一种音频数据处理方法，及设备
CN106448714A (zh) 一种播放设备的同步播放方法、装置及***
CN110087149A (zh) 一种视频图像分享方法、装置及移动终端
CN110536175A (zh) 一种码率切换方法和装置
CN103458286A (zh) 一种进行电视频道切换的方法和装置
CN108476339A (zh) 一种遥控方法和终端
CN110531852A (zh) 信息处理方法及电子设备
CN103581762A (zh) 一种播放网络视频的方法、装置及终端设备
US10666588B2 (en) Method for sharing media content, terminal device, and content sharing system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190423

R150 Certificate of patent or registration of utility model

Ref document number: 6522014

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250