JP2017528009A - マルチメディアファイルを再生するための方法及び装置 - Google Patents

マルチメディアファイルを再生するための方法及び装置 Download PDF

Info

Publication number
JP2017528009A
JP2017528009A JP2016525066A JP2016525066A JP2017528009A JP 2017528009 A JP2017528009 A JP 2017528009A JP 2016525066 A JP2016525066 A JP 2016525066A JP 2016525066 A JP2016525066 A JP 2016525066A JP 2017528009 A JP2017528009 A JP 2017528009A
Authority
JP
Japan
Prior art keywords
data packet
video
audio
time stamp
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016525066A
Other languages
English (en)
Other versions
JP6626440B2 (ja
Inventor
カンシー タン，
カンシー タン，
シエンジョー ウェイ，
シエンジョー ウェイ，
ゲー マー，
ゲー マー，
Original Assignee
シャオミ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャオミ・インコーポレイテッド filed Critical シャオミ・インコーポレイテッド
Publication of JP2017528009A publication Critical patent/JP2017528009A/ja
Application granted granted Critical
Publication of JP6626440B2 publication Critical patent/JP6626440B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【解決手段】本開示は、マルチメディアファイルを再生するための方法及び装置に関する。本方法は、データ検査識別子を保持した第１の音声データパケットを音声再生装置に送信し、データ検査識別子を保持した第１の映像データパケットを映像再生装置に送信し、音声再生装置がデータ検査識別子を受信すると音声再生装置により第１のタイムスタンプを返信し、映像再生装置がデータ検査識別子を受信すると映像再生装置により第２のタイムスタンプを返信し、第２の音声データパケットと第２の映像データパケットとを同時に再生するように、第１のタイムスタンプ及び第２のタイムスタンプに基づいてそれぞれ第２の音声データパケットをマルチメディア再生装置から音声再生装置に送信し、第２の映像データパケットをマルチメディア再生装置から映像再生装置に送信することを含む。このようにして、マルチメディアファイルの再生中の音声データと映像データの非同期の問題を解決できる。【選択図】図１

Description

本出願は、２０１５年６月１７日付けで中国国家知識産権局に出願された中国特許出願番号ＣＮ２０１５１０３３７３２０．０に基づき優先権を主張し、その全ての内容を本明細書において援用する。
本開示はコンピュータ技術の分野に関するものであり、特にマルチメディアファイルを再生するための方法及び装置に関する。
技術がますます発展した結果、音声データパケットと映像データパケットを含むマルチメディアファイルを再生できるコンピュータ、携帯電話、及びタブレットＰＣなど、再生機能を有するマルチメディア再生装置がますます多く存在している。マルチメディア再生装置がマルチメディアファイルを再生するとき、マルチメディア再生装置はマルチメディアファイルを再生するためにマルチメディアファイルに含まれる音声データパケットを音声再生装置に送信し、マルチメディアファイルに含まれる映像データパケットを映像再生装置に送信する必要がある。例えば、マルチメディア再生装置はコンピュータであり、該コンピュータがマルチメディアファイルを再生するとき、コンピュータのホスト、すなわち中央処理装置（ＣＰＵ）は、マルチメディアファイルを再生するためにマルチメディアファイルに含まれる音声データパケットをＣＰＵに接続されたサウンドボックスに送信し、マルチメディアファイルに含まれる映像データパケットをＣＰＵに接続された表示装置に送信する必要がある。
関連技術における問題を解決するために、本開示はマルチメディアファイルを再生するための方法及び装置を提示する。
本開示の第１の側面の実施形態によると、マルチメディアファイルを再生するための方法が提供され、本方法は、
前記マルチメディアファイルに含まれデータ検査識別子を保持した第１の音声データパケットを音声再生装置に送信し、前記音声再生装置は前記データ検査識別子に基づいて、前記音声再生装置が前記第１の音声データパケットを受信したときのタイムスタンプである第１のタイムスタンプを返信し、
前記マルチメディアファイルに含まれ前記データ検査識別子を保持した第１の映像データパケットを映像再生装置に送信し、前記映像再生装置は前記データ検査識別子に基づいて、前記映像再生装置が前記第１の映像データパケットを受信したときのタイムスタンプである第２のタイムスタンプを返信し、
前記第１のタイムスタンプ及び前記第２のタイムスタンプを受信すると、前記第１の音声データパケットの後に送信される音声データパケットである第２の音声データパケットと、前記第１の映像データパケットの後に送信される映像データパケットである第２の映像データパケットとを同時に再生するように、前記第１のタイムスタンプ及び第２のタイムスタンプに基づいてそれぞれ前記第２の音声データパケットを前記音声再生装置に送信し、前記第２の映像データパケットを前記映像再生装置に送信する、ことを含む。
第１の側面と組み合わされ、第１の側面に基づいた第１の態様では、前記マルチメディアファイルに含まれる第１の音声データパケットを音声再生装置に送信する前に、本方法は、
前記マルチメディアファイルに含まれる音声データパケットから周期的に１つの音声データパケットを取得し、かつ、前記マルチメディアファイルに含まれる映像データパケットから周期的に１つの映像データパケットを取得し、
取得した音声データパケットに前記データ検査識別子を追加して前記第１の音声データパケットを取得し、かつ、取得した映像データパケットに前記データ検査識別子を追加して前記第１の映像データパケットを取得する、ことを更に含む。
第１の側面に基づいた第１の態様と組み合わされ、第１の側面に基づいた第２の態様では、取得した音声データパケットに前記データ検査識別子を追加して前記第１の音声データパケットを取得し、かつ、取得した映像データパケットに前記データ検査識別子を追加して前記第１の映像データパケットを取得する前に、本方法は、
特定のフォーマットに基づいて前記データ検査識別子をカプセル化することを更に含む。
第１の側面と組み合わされ、第１の側面に基づいた第３の態様では、前記第１のタイムスタンプ及び前記第２のタイムスタンプに基づいてそれぞれ第２の音声データパケットを前記音声再生装置に送信し、第２の映像データパケットを前記映像再生装置に送信することが、
前記第１のタイムスタンプ及び前記第１の音声データパケットの送信時刻に基づいて前記第１の音声データパケットの送信時間間隔を決定して音声送信時間間隔を取得し、
前記第２のタイムスタンプ及び前記第１の映像データパケットの送信時刻に基づいて前記第１の映像データパケットの送信時間間隔を決定して映像送信時間間隔を取得し、
前記音声送信時間間隔及び前記映像送信時間間隔に基づいてそれぞれ前記第２の音声データパケットを前記音声再生装置に送信し、前記第２の映像データパケットを前記映像再生装置に送信する、ことを含む。
本開示の第２の側面の実施形態によれば、マルチメディアファイルを再生するための装置が提供され、本装置は、
前記マルチメディアファイルに含まれデータ検査識別子を保持した第１の音声データパケットを音声再生装置に送信するよう構成された第１の送信モジュールであって、前記音声再生装置は前記データ検査識別子に基づいて、前記音声再生装置が前記第１の音声データパケットを受信したときのタイムスタンプである第１のタイムスタンプを返信する前記第１の送信モジュールと、
前記マルチメディアファイルに含まれ前記データ検査識別子を保持した第１の映像データパケットを映像再生装置に送信するよう構成された第２の送信モジュールであって、前記映像再生装置は前記データ検査識別子に基づいて、前記映像再生装置が前記第１の映像データパケットを受信したときのタイムスタンプである第２のタイムスタンプを返信する前記第２の送信モジュールと、
前記第１のタイムスタンプ及び前記第２のタイムスタンプを受信すると、前記第１の音声データパケットの後に送信される音声データパケットである第２の音声データパケットと、前記第１の映像データパケットの後に送信される映像データパケットである前記第２の映像データパケットとが同時に再生されるように、前記第１のタイムスタンプ及び前記第２のタイムスタンプに基づいてそれぞれ第２の音声データパケットを前記音声再生装置に送信し、第２の映像データパケットを前記映像再生装置に送信するよう構成された第３の送信モジュールと、を含む。
第２の側面と組み合わされ、第２の側面に基づいた第１の態様では、本装置は、
前記マルチメディアファイルに含まれる音声データパケットから周期的に１つの音声データパケットを取得し、かつ、前記マルチメディアファイルに含まれる映像データパケットから周期的に１つの映像データパケットを取得するよう構成された取得モジュールと、
取得した音声データパケットに前記データ検査識別子を追加して前記第１の音声データパケットを取得し、かつ、取得した映像データパケットに前記データ検査識別子を追加して前記第１の映像データパケットを取得するよう構成された追加モジュールと、を更に含む。
第２の側面に基づいた第１の態様と組み合わされ、第２の側面に基づいた第２の態様では、本装置は、
特定のフォーマットに基づいて前記データ検査識別子をカプセル化するよう構成されたカプセル化モジュールを更に含む。
第２の側面と組み合わされ、第２の側面に基づいた第３の態様では、第３の送信モジュールは、
前記第１のタイムスタンプ及び前記第１の音声データパケットの送信時刻に基づいて前記第１の音声データパケットの送信時間間隔を決定して音声送信時間間隔を取得するよう構成された第１の決定ユニットと、
前記第２のタイムスタンプ及び前記第１の映像データパケットの送信時刻に基づいて前記第１の映像データパケットの送信時間間隔を決定して映像送信時間間隔を取得するよう構成された第２の決定ユニットと、
前記音声送信時間間隔及び前記映像送信時間間隔に基づいてそれぞれ前記第２の音声データパケットを前記音声再生装置に送信し、前記第２の映像データパケットを前記映像再生装置に送信するよう構成された送信ユニットと、を含む。
本開示の第３の側面の実施形態によれば、マルチメディアファイルを再生するための装置が提供され、本装置は、
プロセッサと、
前記プロセッサにより実行可能な命令を記憶するよう構成されたメモリと、を含み、前記プロセッサは、
前記マルチメディアファイルに含まれデータ検査識別子を保持した第１の音声データパケットを音声再生装置に送信し、前記音声再生装置は前記データ検査識別子に基づいて、前記音声再生装置が前記第１の音声データパケットを受信したときのタイムスタンプである第１のタイムスタンプを返信し、
前記マルチメディアファイルに含まれ前記データ検査識別子を保持した第１の映像データパケットを映像再生装置に送信し、前記映像再生装置は前記データ検査識別子に基づいて、前記映像再生装置が前記第１の映像データパケットを受信したときのタイムスタンプである第２のタイムスタンプを返信し、
前記第１のタイムスタンプ及び前記第２のタイムスタンプを受信すると、前記第１の音声データパケットの後に送信される音声データパケットである第２の音声データパケットと、前記第１の映像データパケットの後に送信される映像データパケットである第２の映像データパケットとを同時に再生するように、前記第１のタイムスタンプ及び前記第２のタイムスタンプに基づいてそれぞれ前記第２の音声データパケットを前記音声再生装置に送信し、前記第２の映像データパケットを前記映像再生装置に送信する、ように構成されている。
本開示に提示される技術的な解決策は以下の有益な効果を奏し得る。マルチメディア再生装置は、第１の音声データパケットを音声再生装置に送信し、第１の映像データパケットを映像再生装置に送信し、第１の音声データパケットと第１の映像データパケットの各々は、データ検査識別子を保持しており、音声再生装置がデータ検査識別子を受信すると、音声再生装置は第１のタイムスタンプを返信し、映像再生装置がデータ検査識別子を受信すると、映像再生装置は第２のタイムスタンプを返信し、そして第１のタイムスタンプ及び第２のタイムスタンプに基づいてそれぞれマルチメディア再生装置が第２の音声データパケットを音声再生装置に送信し、第２の映像データパケットを映像再生装置に送信し、それにより、第２の音声データパケットと第２の映像データパケットとを同時に再生する。このようにして、マルチメディアファイルの再生中における音声データと映像データの非同期の問題を解決することができる。
上記一般的な記載及び以下の詳細な記載は説明のための例示であり、本開示を限定するものと解釈すべきでないことを理解すべきである。
本明細書に組み込まれ、その一部を構成している添付の図面は、本発明と矛盾のない実施形態を説明し、本明細書とともに本発明の原理を説明するのに有用である。
図１は実施形態に係るマルチメディアファイルを再生するための方法のフローチャートである。
図２は実施形態に係るマルチメディアファイルを再生するための別の方法のフローチャートである。
図３は実施形態に係るマルチメディアファイルを再生するための装置のブロック図である。
図４は実施形態に係るマルチメディアファイルを再生するための別の装置のブロック図である。
図５は実施形態に係るマルチメディアファイルを再生するための更に別の装置のブロック図である。
図６は実施形態に係る第３の送信モジュールのブロック図である。
図７は実施形態に係るマルチメディアファイルを再生するための別の装置のブロック図である。
以下、添付図面に例示された実施形態を詳細に参照する。以下の記載では添付図面を参照するが、異なる図面における同一の数字は、他に別段の記載がなければ、同一又は類似の要素を表す。実施形態の以下の記載に示された態様は、本発明と矛盾しないすべての態様を表しているわけではない。むしろ、それらは特許請求の範囲に記載の本発明に関連した態様と矛盾しない装置及び方法の単なる例である。
図１は、実施形態に係るマルチメディアファイルを再生するための方法のフローチャートであり、図１に示すように、本方法は以下のステップを含む。
ステップ１０１では、マルチメディアファイルに含まれデータ検査識別子を保持した第１の音声データパケットを音声再生装置に送信し、音声再生装置はデータ検査識別子に基づいて、音声再生装置が第１の音声データパケットを受信したときのタイムスタンプである第１のタイムスタンプを返信する。
ステップ１０２では、マルチメディアファイルに含まれデータ検査識別子を保持した第１の映像データパケットを映像再生装置に送信し、映像再生装置はデータ検査識別子に基づいて、映像再生装置が第１の映像データパケットを受信したときのタイムスタンプである第２のタイムスタンプを返信する。
ステップ１０３では、第１のタイムスタンプ及び第２のタイムスタンプを受信すると、第１の音声データパケットの後に送信される音声データパケットである第２の音声データパケットと、第１の映像データパケットの後に送信される映像データパケットである第２の映像データパケットとが同時に再生されるように、第１のタイムスタンプ及び第２のタイムスタンプに基づいてそれぞれ第２の音声データパケットを音声再生装置に送信し、第２の映像データパケットを映像再生装置に送信する。
本開示の実施形態では、マルチメディア再生装置は、第１の音声データパケットを音声再生装置に送信し、第１の映像データパケットを映像再生装置に送信し、第１の音声データパケット及び第１の映像データパケットの各々がデータ検査識別子を保持しており、音声再生装置がデータ検査識別子を受信すると、音声再生装置は第１のタイムスタンプを返信し、映像再生装置がデータ検査識別子を受信すると、映像再生装置は第２のタイムスタンプを返信し、そしてマルチメディア再生装置は第１のタイムスタンプ及び第２のタイムスタンプに基づいてそれぞれ第２の音声データパケットを音声再生装置に送信し、第２の映像データパケットを映像再生装置に送信し、それにより、第２の音声データパケットと第２の映像データパケットとを同時に再生する。このようにして、マルチメディアファイルを再生するときの音声データと映像データとの非同期の問題を解決することができる。
本開示の別の実施形態では、マルチメディアファイルに含まれる第１の音声データパケットを音声再生装置に送信する前に、本方法は、
マルチメディアファイルに含まれる音声データパケットから周期的に１つの音声データパケットを取得し、かつ、マルチメディアファイルに含まれる映像データパケットから周期的に１つの映像データパケットを取得し、
取得した音声データパケットにデータ検査識別子を追加して第１の音声データパケットを取得し、かつ、取得した映像データパケットにデータ検査識別子を追加して第１の映像データパケットを取得する、ことを更に含む。
本開示の別の実施形態では、取得した音声データパケットにデータ検査識別子を追加して第１の音声データパケットを取得し、かつ、取得した映像データパケットにデータ検査識別子を追加して第１の映像データパケットを取得する前に、本方法は、
特定のフォーマットに基づいてデータ検査識別子をカプセル化することを更に含む。
本開示の別の実施形態では、第１のタイムスタンプ及び第２のタイムスタンプに基づいてそれぞれ第２の音声データパケットを音声再生装置に送信し、第２の映像データパケットを映像再生装置に送信することが、
第１のタイムスタンプ及び第１の音声データパケットの送信時刻に基づいて第１の音声データパケットの送信時間間隔を決定して音声送信時間間隔を取得し、
第２のタイムスタンプ及び第１の映像データパケットの送信時刻に基づいて第１の映像データパケットの送信時間間隔を決定して映像送信時間間隔を取得し、
音声送信時間間隔及び映像送信時間間隔に基づいてそれぞれ第２の音声データパケットを音声再生装置に送信し、第２の映像データパケットを映像再生装置に送信する、ことを含む。
本開示の別の実施形態は、上記別の技術的解決策を何らかの形で組み合わせることにより実現可能であり、本明細書では詳細に説明しない。
図２は、実施形態に係るマルチメディアファイルを再生するための別の方法のフローチャートであり、図２に示すように、本方法は以下のステップを含む。
ステップ２０１では、マルチメディア再生装置が、マルチメディアファイルに含まれデータ検査識別子を保持した第１の音声データパケットを音声再生装置に送信する。
マルチメディア再生装置がマルチメディアファイル再生命令を受信すると、マルチメディア再生装置は、マルチメディアファイルを再生するために、マルチメディアファイルに含まれる音声データパケットを音声再生装置に送信し、マルチメディアファイルに含まれる映像データパケットを映像再生装置に送信する。マルチメディア再生装置によるマルチメディアファイルの再生過程で音声再生装置により再生される音声データが、映像再生装置により再生される映像データと確実に同調するように、マルチメディア再生装置が、マルチメディアファイルに含まれる複数の音声データパケットから１つの音声データパケット（現在再生されるべき音声データパケット）を取得し、取得した音声データパケットにデータ検査識別子を追加して第１の音声データパケットを取得し、次いで、マルチメディア再生装置が第１の音声データパケットを音声再生装置に送信するようにしてもよい。
マルチメディアファイル再生命令は、マルチメディアファイルを再生するために用いられ、例えば、再生キーを押下する、再生ボタンをマウスでクリックする、タッチスクリーンをクリックするなど、ユーザによる命令動作を介して開始されるものであるが、本開示においては限定されない。
第１の音声データパケットに保持されたデータ検査識別子は、音声再生装置から第１の音声データパケットの受信時刻を取得するのに用いられ、データ検査識別子を用いることで、第１の音声データパケットの送信時間を短縮できるので、音声データパケットと映像データパケットを同時に再生する効率が改善されることに留意されたい。
さらに、データ検査識別子が音声再生装置に安全に送信されることを保証するために、マルチメディア再生装置は、取得した音声データパケットにデータ検査識別子を追加する前に、特定のフォーマットに基づいてデータ検査識別子をカプセル化してもよい。
例えば、データ検査識別子をＩＤ１とし、特定のフォーマットを＃データ検査識別子＃とすると、該特定のフォーマットに基づいてマルチメディア再生装置によりデータ検査識別子ＩＤ１をカプセル化した後のカプセル化された結果は、＃ＩＤ１＃となる。
音声再生装置はサウンドボックス、増幅器、マルチメディアコンソール、拡声器などであるが、本開示において限定されないことに留意されたい。
ステップ２０２では、音声再生装置が第１の音声データパケットを受信すると、音声再生装置は、第１の音声データパケットに保持されたデータ検査識別子に基づいて、音声再生装置が第１の音声データパケットを受信したときのタイムスタンプである第１のタイムスタンプをマルチメディア再生装置に送信する。
音声再生装置が第１の音声データパケットを受信すると、音声再生装置は、第１の音声データパケットがデータ検査識別子を保持していることを確認し、保持している場合、音声再生装置は、音声再生装置の現在の時刻を取得し、取得した現在の時刻を第１の音声データパケットの受信時刻として決定することができる。受信時刻の送信安全性を保証するために、音声再生装置は第１の音声データパケットの受信時刻を第１のタイムスタンプに変換し、第１のタイムスタンプをマルチメディア再生装置に送信する。
さらに、マルチメディア再生装置は、第１の音声データパケットを送信するとき特定のフォーマットに基づいて第１の音声データパケットに保持されたデータ検査識別子をカプセル化しているので、音声再生装置は、第１の音声データパケットに保持されたデータ検査識別子を取得するために、第１の音声データパケットを受信したとき、特定のフォーマットに基づいて第１の音声データパケットに保持されたデータ検査識別子を分析する必要がある。
例えば、音声再生装置が第１の音声データパケットに保持されたデータ検査識別子として＃ＩＤ１＃を受信すると、音声再生装置は、データ検査識別子としてＩＤ１を取得するために、カプセル化においてマルチメディア再生装置により用いられた特定のフォーマットに基づいて＃ＩＤ１＃を分析する。
ステップ２０３では、マルチメディア再生装置が、マルチメディアファイルに含まれデータ検査識別子を保持した第１の映像データパケットを映像再生装置に送信する。
マルチメディア再生装置によるマルチメディアファイルの再生過程で音声再生装置により再生される音声データが、映像再生装置により再生される映像データと確実に同調するように、マルチメディア再生装置が、マルチメディアファイルに含まれる複数の映像データパケットから１つの映像データパケット（現在再生されるべき映像データパケット）を取得し、取得した映像データパケットにデータ検査識別子を追加して第１の映像データパケットを取得し、次いで、マルチメディア再生装置が第１の映像データパケットを映像再生装置に送信するようにしてもよい。
第１の映像再生データパケットに保持されたデータ検査識別子は、映像再生装置から第１の映像データパケットの受信時刻を取得するのに用いられ、データ検査識別子を用いることで、第１の映像再生データパケットの送信時間が短縮でき、それにより、音声データパケットと映像データパケットを同時に再生する効率が改善されることに留意されたい。
さらに、データ検査識別子が映像再生装置に安全に送信されることを保証するために、マルチメディア再生装置は、取得した映像データパケットにデータ検査識別子を追加する前に、特定のフォーマットに基づいてデータ検査識別子をカプセル化してもよい。
マルチメディア再生装置によりデータ検査識別子をカプセル化する具体的な操作は、ステップ２０１のものと同様であるので、ここでは詳細に記載しない。
映像再生装置は、例えば携帯電話の表示装置やタブレットＰＣの表示装置などマルチメディア再生装置の表示装置だけでなく、例えばデスクトップ型コンピュータの表示装置やテレビ受像機の表示装置などの独立した表示装置でもよく、本開示において限定されないことに留意されたい。
ステップ２０４では、映像再生装置が第１の映像データパケットを受信すると、映像再生装置は、第１の映像データパケットに保持されたデータ検査識別子に基づいて、映像再生装置が第１の映像データパケットを受信したときのタイムスタンプである第２のタイムスタンプをマルチメディア再生装置に返信する。
映像再生装置が第１の映像データパケットを受信すると、映像再生装置は、第１の映像データパケットがデータ検査識別子を保持していることを確認し、保持している場合、映像再生装置は映像再生装置の現在の時刻を取得し、取得した現在の時刻を第１の映像データパケットの受信時刻として決定することができる。受信時刻の送信安全性を保証するために、映像再生装置は第１の映像データパケットの受信時刻を第２のタイムスタンプに変換し、第２のタイムスタンプをマルチメディア再生装置に送信する。
また、マルチメディア再生装置は、第１の映像データパケットを送信するとき特定のフォーマットに基づいて第１の映像データパケットに保持されたデータ検査識別子をカプセル化しているので、映像再生装置は、第１の映像データパケットに保持されたデータ検査識別子を取得するために、第１の映像データパケットを受信したとき、該特定のフォーマットに基づいて第１の映像データパケットに保持されたデータ検査識別子を分析する必要がある。
第１の映像データパケットに保持されたデータ検査識別子を映像再生装置により分析する具体的な操作は、ステップ２０２の操作と同様であるので、ここでは詳細に記載しない。
また、音声再生装置と映像再生装置とは性能に差があり、音声データパケットの送信時間は映像データパケットの送信時間と等しくないので、マルチメディア再生装置がマルチメディアファイルを再生するとき、音声データと映像データの再生が同期しない現象が起こり得る。このような現象を回避し、マルチメディア再生装置の負担が増すのを防ぐために、マルチメディア再生装置は、マルチメディアファイルに含まれる音声データパケットから１つの音声データパケットを周期的に取得し、取得した音声データパケットにデータ検査識別子を追加して第１の音声データパケットを取得し、次いで、第１の音声データパケットを音声再生装置に周期的に送信し、音声再生装置が第１のタイムスタンプを周期的に返信するようし、同様に、マルチメディア再生装置がマルチメディアファイルに含まれる映像データパケットから１つの映像データパケットを周期的に取得し、取得した映像データパケットにデータ検査識別子を追加して第１の映像データパケットを取得し、次いで、第１の映像データパケットを映像再生装置に周期的に送信し、映像再生装置が第２のタイムスタンプを周期的に返信するようにし、それにより、マルチメディアファイルの再生中における音声データと映像データの再生が同期しない現象を解消することができる。
音声再生装置及び映像再生装置の各々は、データラインを介してマルチメディア再生装置に接続されてもよく、該データラインは、本開示において限定されるものではないが、単方向−双方向通信によりサポートされたデータライン、又は全二重通信によりサポートされたデータライン、例えばＨＤＭＩ（高精細度マルチメディアインターフェース）やＵＳＢ（ユニバーサルシリーズバス）でもよいことに注意すべきである。
ステップ２０５では、マルチメディア再生装置は、第１のタイムスタンプ及び第２のタイムスタンプを受信すると、第１の音声データパケットの後に送信される音声データパケットである第２の音声データパケットと、第１の映像データパケットの後に送信される映像データパケットである第２の映像データパケットとが同時に再生されるように、第１のタイムスタンプ及び第２のタイムスタンプに基づいてそれぞれ第２の音声データパケットを音声再生装置に送信し、第２の映像データパケットを映像再生装置に送信する。
マルチメディア再生装置が第１のタイムスタンプ及び第２のタイムスタンプを受信すると、マルチメディア再生装置は、第１のタイムスタンプ及び第１の音声データパケットの送信時刻に基づいて、送信時間間隔を決定して音声送信時間間隔を取得する。同様に、マルチメディア再生装置は、第２のタイムスタンプ及び第１の映像データパケットの送信時刻に基づいて、第１の映像データパケットの送信時間間隔を決定して映像送信時間間隔を取得する。マルチメディア再生装置は、音声送信時間間隔及び映像送信時間間隔に基づいてそれぞれ、第２の音声データパケットを音声再生装置に送信し、第２の映像データパケットを映像再生装置に送信する。
マルチメディア再生装置は、第１のタイムスタンプ及び第１の音声データパケットの送信時刻に基づいて、第１の音声データパケットの送信時間間隔を次のように決定して音声送信時間間隔を取得することができる。マルチメディア再生装置は、第１の音声データパケットの受信時刻を取得するために第１のタイムスタンプを変換し、第１の音声データパケットの受信時刻と第１の音声データパケットの送信時刻との差を計算し、その差を第１の音声データパケットの送信時間間隔として決定する。同様に、マルチメディア再生装置は、第２のタイムスタンプ及び第１の映像データパケットの送信時刻に基づいて、第１の映像データパケットの送信時間間隔を次のように決定して映像送信時間間隔を取得することができる。マルチメディア再生装置は、第１の映像データパケットの受信時刻を取得するために第２のタイムスタンプを変換し、第１の映像データパケットの受信時刻と第１の映像データパケットの送信時刻との差を計算し、その差を第１の映像データパケットの送信時間間隔として決定する。
さらに、第１のタイムスタンプ及び第２のタイムスタンプを受信すると第１のタイムスタンプ及び第２のタイムスタンプに基づいてそれぞれ、第２の音声データパケットを音声再生装置に送信し、第２の映像データパケットを映像再生装置に送信して、第２の音声データパケットと第２の映像データパケットを同時に再生するために、マルチメディア再生装置により実行される動作は、以下の状況（１）−（３）を含み得る。
（１）音声送信時間間隔が映像送信時間間隔より大きい場合、第１の音声データパケットの送信時間が第１の映像データパケットの送信時間より長く、遅延時間は映像送信時間間隔と音声送信時間間隔との差を計算することにより取得されることが分かる。よって、マルチメディア再生装置は、まず第２の音声データパケットを音声再生装置に送信し、一方で、マルチメディア再生装置は、第２の音声データパケットの送信時刻から計時を開始し、マルチメディア再生装置は、計時している時間が遅延時間に達したなら、第２の映像データパケットを映像再生装置に送信し、それにより、第２の音声データパケットと第２の映像データパケットを同時に再生することができる。
例えば、第１の音声データパケットの音声送信時間間隔が１秒であり、第１の映像データパケットの映像送信時間間隔が０．５秒のとき、第１の音声データパケットの送信時間は第１の映像データパケットの送信時間より長く、遅延時間は映像送信時間間隔と音声送信時間間隔との差を計算することにより、０．５秒であることが分かる。したがって、マルチメディア再生装置は、まず第２の音声データパケットを音声再生装置に送信し、一方で、マルチメディア再生装置は、第２の音声データパケットの送信時刻から計時を開始し、次いで、マルチメディア再生装置は、計時している時間が遅延時間の０．５秒に達したなら、第２の映像データパケットを映像再生装置に送信し、これにより、第２の音声データパケットと第２の映像データパケットを同時に再生することができる。
（２）音声送信時間間隔が映像送信時間間隔より小さい場合、第１の音声データパケットの送信時間が第１の映像データパケットの送信時間より短く、遅延時間は音声送信時間間隔と映像送信時間間隔との差を計算することにより取得されることが分かる。したがって、マルチメディア再生装置は、まず第２の映像データパケットを映像再生装置に送信し、一方で、マルチメディア再生装置は、第２の映像データパケットの送信時刻から計時を開始し、次いで、マルチメディア再生装置は、計時している時間が遅延時間に達したならば、第２の音声データパケットを音声再生装置に送信し、それにより、第２の音声データパケットと第２の映像データパケットを同時に再生することができる。
例えば、第１の音声データパケットの音声送信時間間隔が０．５秒であり、第１の映像データパケットの映像送信時間間隔が１秒のとき、第１の音声データパケットの送信時間は第１の映像データパケットの送信時間より短く、遅延時間は映像送信時間間隔と音声送信時間間隔との差を計算することにより、０．５秒であることが分かる。したがって、マルチメディア再生装置は、まず第２の映像データパケットを映像再生装置に送信し、一方で、マルチメディア再生装置は、第２の映像データパケットの送信時刻から計時を開始し、次いで、マルチメディア再生装置は、計時している時間が遅延時間の０．５秒に達したならば、第２の音声データパケットを音声再生装置に送信し、それにより、第２の音声データパケットと第２の映像データパケットを同時に再生することができる。
（３）音声送信時間間隔が映像送信時間間隔に等しい場合、第１の音声データパケットの送信時間が第１の映像データパケットの送信時間に等しいことが分かる。したがって、マルチメディア再生装置は、第２の映像データパケットを映像再生装置に送信しつつ、第２の音声データパケットを音声再生装置に送信して、第２の音声データパケットと第２の映像データパケットを同時に再生することができる。
例えば、第１の音声データパケットの音声送信時間間隔が０．５秒であり、第１の映像データパケットの映像送信時間間隔が０．５秒のとき、マルチメディア再生装置は、第１の音声データパケットの送信時間が第１の映像データパケットの送信時間に等しいことを確認し、それにより、マルチメディア再生装置は、第２の音声データパケットを音声再生装置に送信し、同時に第２の映像データパケットを映像再生装置に送信して第２の音声データパケットと第２の映像データパケットを同時に再生することができる。
本開示の実施形態では、マルチメディア再生装置は、第１の音声データパケットを音声再生装置に送信し、第１の映像データパケットを映像再生装置に送信し、第１の音声データパケット及び第１の映像データパケットの各々はデータ検査識別子を保持しており、音声再生装置がデータ検査識別子を受信すると、音声再生装置は第１のタイムスタンプを返信し、映像再生装置がデータ検査識別子を受信すると、映像再生装置は第２のタイムスタンプを返信し、次いで、マルチメディア再生装置は、第１のタイムスタンプ及び第２のタイムスタンプに基づいてそれぞれ第２の音声データパケットを音声再生装置に送信し、第２の映像データパケットを映像再生装置に送信し、それにより、第２の音声データパケットと第２の映像データパケットとを同時に再生する。このようにして、マルチメディアファイルを再生中における音声データと映像データの非同期の問題を解決することができる。データ検査識別子が周期的に送られるので、マルチメディア再生装置は、マルチメディアファイルを再生中に音声データと映像データの非同期の問題を周期的に調整することができ、一方、マルチメディア再生装置の他の動作は影響を受けないので、マルチメディア再生装置によりマルチメディアファイルを再生中にリアルタイムの調整により生じる負担を回避することができる。
図３は、実施形態に係るマルチメディアファイルを再生するための装置のブロック図である。図３に示すように、本装置は第１の送信モジュール３０１、第２の送信モジュール３０２、及び第３の送信モジュール３０３を含む。
第１の送信モジュール３０１は、マルチメディアファイルに含まれデータ検査識別子を保持した第１の音声データパケットを音声再生装置に送信するように構成され、音声再生装置は、データ検査識別子に基づいて、音声再生装置が第１の音声データパケットを受信したときのタイムスタンプである第１のタイムスタンプを返信する。
第２の送信モジュール３０２は、マルチメディアファイルに含まれデータ検査識別子を保持した第１の映像データパケットを映像再生装置に送信するように構成され、映像再生装置は、データ検査識別子に基づいて、映像再生装置が第１の映像データパケットを受信したときのタイムスタンプである第２のタイムスタンプを返信する。
第３の送信モジュール３０３は、第１のタイムスタンプ及び第２のタイムスタンプが受信されると、第１の音声データパケットの後に送信される音声データパケットである第２の音声データパケットと、第１の映像データパケットの後に送信される映像データパケットである第２の映像データパケットとが同時に再生されるように、第１のタイムスタンプ及び第２のタイムスタンプに基づいてそれぞれ第２の音声データパケットを音声再生装置に送信し、第２の映像データパケットを映像再生装置に送信するように構成されている。
図４に示す本開示の別の実施形態では、本装置は取得モジュール３０４と追加モジュール３０５とを更に含む。
取得モジュール３０４は、マルチメディアファイルに含まれる音声データパケットから周期的に１つの音声データパケットを取得し、また、マルチメディアファイルに含まれる映像データパケットから周期的に１つの映像データパケットを取得するように構成されている。
追加モジュール３０５は、取得した音声データパケットにデータ検査識別子を追加して第１の音声データパケットを取得し、また、取得した映像データパケットにデータ検査識別子を追加して第１の映像データパケットを取得するように構成されている。
図５に示す本開示の別の実施形態では、本装置はカプセル化モジュール３０６を更に含む。
カプセル化モジュール３０６は、特定のフォーマットに基づいてデータ検査識別子をカプセル化するように構成されている。
図６に示す本開示の別の実施形態では、第３の送信モジュール３０３は、第１の決定ユニット３０３１、第２の決定ユニット３０３２、及び送信ユニット３０３３を含む。
第１の決定ユニット３０３１は、第１のタイムスタンプ及び第１の音声データパケットの送信時刻に基づいて、第１の音声データパケットの送信時間間隔を決定して音声送信時間間隔を取得するように構成されている。
第２の決定ユニット３０３２は、第２のタイムスタンプ及び第１の映像データパケットの送信時刻に基づいて、第１の映像データパケットの送信時間間隔を決定して映像送信時間間隔を取得するように構成されている。
送信ユニット３０３３は、音声送信時間間隔及び映像送信時間間隔に基づいてそれぞれ第２の音声データパケットを音声再生装置に送信し、第２の映像データパケットを映像再生装置に送信するように構成されている。
本開示の実施形態では、マルチメディア再生装置は、第１の音声データパケットを音声再生装置に送信し、第１の映像データパケットを映像再生装置に送信し、第１の音声データパケット及び第１の映像データパケットの各々がデータ検査識別子を保持しており、音声再生装置がデータ検査識別子を受信すると、音声再生装置は、第１のタイムスタンプを返信し、映像再生装置がデータ検査識別子を受信すると、映像再生装置は、第２のタイムスタンプを返信し、次いで、マルチメディア再生装置は、第１のタイムスタンプ及び第２のタイムスタンプに基づいてそれぞれ、第２の音声データパケットを音声再生装置に送信し、第２の映像データパケットを映像再生装置に送信し、それにより、第２の音声データパケットと第２の映像データパケットとを同時に再生する。このようにして、マルチメディアファイルの再生中における音声データと映像データの非同期の問題を解決することができる。データ検査識別子は周期的に送られるので、マルチメディア再生装置は、マルチメディアファイルを再生中に音声データと映像データの非同期の問題を周期的に調整することができ、一方、マルチメディア再生装置の他の動作は影響を受けないので、マルチメディア再生装置によりマルチメディアファイルを再生中にリアルタイムの調整により生じる負担を回避することができる。
上記実施形態における装置に関し、装置内の個別のモジュールの特定の動作モードについては、方法に関する実施形態において詳細に説明したので、ここでは詳細に記載しない。
図７は、実施形態に係るマルチメディアファイルを再生するための装置７００のブロック図である。例えば、装置７００は携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレット装置、フィットネス装置、パーソナルデジタルアシスタントＰＤＡなどでもよい。
図７を参照すると、装置７００は次の１以上の構成要素、すなわち、処理コンポーネント７０２、メモリ７０４、電源コンポーネント７０６、マルチメディアコンポーネント７０８、オーディオコンポーネント７１０、入出力（Ｉ／Ｏ）インタフェース７１２、センサコンポーネント７１４、及び通信コンポーネント７１６を含んでもよい。
一般に、処理コンポーネント７０２は、表示装置に関連した動作、通話、データ通信、カメラ動作、及び記録動作など装置７００のすべての動作を制御する。処理コンポーネント７０２は１又は複数のプロセッサ７２０を含み、命令を実行して上記方法における全て又は一部のステップを実行する。また、処理コンポーネント７０２は、処理コンポーネント７０２と他の構成要素との相互作用を容易にする１又は複数のモジュールを含んでもよい。例えば、処理コンポーネント７０２は、マルチメディアコンポーネント７０８と処理コンポーネント７０２との相互作用を容易にするためのマルチメディアモジュールを含んでもよい。
メモリ７０４は、装置７００の動作をサポートする種々のタイプのデータを記憶するよう構成されている。このようなデータの例として、装置７００上で動作するアプリケーション又は方法のための命令、連絡先データ、電話帳データ、メッセージ、画像、映像などが挙げられる。メモリ７０４は、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気又は光ディスクなど、任意の種類の揮発性又は不揮発性メモリ装置、又はそれらの組合せを用いて実現することができる。
電源コンポーネント７０６は、装置７００の種々の構成要素に電力を供給する。電源コンポーネント７０６は、電力管理システム、１以上の電源、並びに装置７００内での電力の生成、管理、及び分配に関連した他の任意の構成要素を含むことができる。
マルチメディアコンポーネント７０８は、装置７００とユーザとの間で出力インタフェースを与えるスクリーンを含む。幾つかの実施形態では、スクリーンは、液晶表示装置（ＬＣＤ）やタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合には、スクリーンは、ユーザから入力信号を受け取るタッチスクリーンとして実現できる。タッチパネルは、タッチパネル上でのタッチ、スワイプ、及び他のジェスチャーを感知するために１又は複数のタッチセンサを含む。タッチセンサは、タッチ又はスワイプ動作の境界を感知するだけでなく、タッチ又はスワイプ動作に関連した持続時間及び圧力も感知するようにしてもよい。幾つかの実施形態では、マルチメディアコンポーネント７０８は、フロントカメラ及び／又はリアカメラを含む。フロントカメラ及びリアカメラは、装置７００が撮影モードや映像モードなど、動作モードにある間は、外部のマルチメディアデータを受信するようにしてもよい。フロントカメラ及びリアカメラの各々は、固定された光学レンズシステムとするか、又はフォーカスや光学ズームが可能なようにしてもよい。
オーディオコンポーネント７１０は、音声信号を出力及び／又は入力するように構成されている。例えば、オーディオコンポーネント７１０は、インテリジェントな装置７００が電話モード、録音モード、及び音声認識モードなどの動作モードにあるとき、外部の音声信号を受信するように構成されたマイクロホン（ＭＩＣ）を含む。受信した音声信号は、更にメモリ７０４に記憶され、又は通信コンポーネント７１６を介して送信される。幾つかの実施形態では、オーディオコンポーネント７１０は音声信号を出力するためにスピーカを更に含む。
Ｉ／Ｏインタフェース７１２は、キーボード、クリックホイール、ボタンなど、処理コンポーネント７０２及び周辺インタフェースモジュールのためのインタフェースを提供する。ボタンとしては、限定するものではないが、ホームボタン、音量ボタン、スタートボタン、及びロック用ボタンを挙げることができる。
センサコンポーネント７１４は、１又は複数のセンサを含み、装置７００の種々の態様のステータス評価を提供する。例えば、センサコンポーネント７１４は装置７００の開閉ステータス、及び構成要素（例えば、装置７００の表示装置やキーパッド）の相対的な位置を検出することができる。センサコンポーネント７１４はまた、装置７００又は装置７００の構成要素の位置の変化、装置７００とユーザの接触の有無、装置７００の配置方向又は加速度／減速度、及び装置７００の温度変化を検出してもよい。センサコンポーネント７１４は、物理的な接触なしで近くの物体の存在を検出するように構成された近接センサを含んでもよい。センサコンポーネント７１４はまた、画像化アプリケーションで使用するためにＣＭＯＳ又はＣＣＤ画像センサなどの光センサを含んでもよい。幾つかの実施形態では、センサコンポーネント７１４は加速度計センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、又は温度センサを含んでもよい。
通信コンポーネント７１６は、装置７００と他の装置との間での有線又は無線通信を容易にするように構成されている。装置７００は、ＷＩＦＩ、２Ｇ、若しくは３Ｇ、又はそれらの組合せなどの通信規格に基づいて無線ネットワークとアクセスすることができる。典型的な一実施形態では、通信コンポーネント７１６は、外部の放送管理システムから放送チャンネルを介して放送信号又は放送関連情報を受信する。典型的な一実施形態では、通信コンポーネント７１６は、短距離通信を容易にするために近距離無線通信（ＮＦＣ）モジュールを更に含む。例えば、ＮＦＣモジュールは、無線自動識別（ＲＦＩＤ）技術、赤外線通信（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術、及びその他の技術に基づいて実現してもよい。
典型的な実施形態では、装置７００は、１又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は上記方法を実施するための他の電子コンポーネントにより実現してもよい。
典型的な実施形態では、命令を含んだメモリ７０４など、命令を含んだ非一時的なコンピュータ読み取り可能な記録媒体も提供される。上記命令は、上記方法を実行するために装置７００内のプロセッサ７２０により実行することができる。例えば、非一時的なコンピュータ読み取り可能な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などでもよい。
携帯端末のプロセッサによる実行時に、マルチメディアファイルを再生するための方法を携帯端末に実行させる命令を格納した非一時的なコンピュータ読み取り可能な記録媒体であり、該方法は、
前記マルチメディアファイルに含まれデータ検査識別子を保持した第１の音声データパケットを音声再生装置に送信し、前記音声再生装置は前記データ検査識別子に基づいて、前記音声再生装置が前記第１の音声データパケットを受信したときのタイムスタンプである第１のタイムスタンプを返信し、
前記マルチメディアファイルに含まれ前記データ検査識別子を保持した第１の映像データパケットを映像再生装置に送信し、前記映像再生装置は前記データ検査識別子に基づいて、前記映像再生装置が前記第１の映像データパケットを受信したときのタイムスタンプである第２のタイムスタンプを返信し、
前記第１のタイムスタンプ及び前記第２のタイムスタンプを受信すると、前記第１の音声データパケットの後に送信される音声データパケットである第２の音声データパケットと、前記第１の映像データパケットの後に送信される映像データパケットである第２の映像データパケットとを同時に再生するように、前記第１のタイムスタンプ及び第２のタイムスタンプに基づいてそれぞれ前記第２の音声データパケットを前記音声再生装置に送信し、前記第２の映像データパケットを前記映像再生装置に送信する、ことを含む。
本開示の別の実施形態では、前記マルチメディアファイルに含まれる第１の音声データパケットを音声再生装置に送信する前に、本方法は、
前記マルチメディアファイルに含まれる音声データパケットから周期的に１つの音声データパケットを取得し、かつ、前記マルチメディアファイルに含まれる映像データパケットから周期的に１つの映像データパケットを取得し、
取得した音声データパケットに前記データ検査識別子を追加して前記第１の音声データパケットを取得し、かつ、取得した映像データパケットに前記データ検査識別子を追加して前記第１の映像データパケットを取得する、ことを更に含む。
本開示の別の実施形態では、取得した音声データパケットに前記データ検査識別子を追加して前記第１の音声データパケットを取得し、かつ、取得した映像データパケットに前記データ検査識別子を追加して前記第１の映像データパケットを取得する前に、本方法は、
特定のフォーマットに基づいて前記データ検査識別子をカプセル化することを更に含む。
本開示の別の実施形態では、前記第１のタイムスタンプ及び前記第２のタイムスタンプに基づいてそれぞれ第２の音声データパケットを前記音声再生装置に送信し、第２の映像データパケットを前記映像再生装置に送信することが、
前記第１のタイムスタンプ及び前記第１の音声データパケットの送信時刻に基づいて前記第１の音声データパケットの送信時間間隔を決定して音声送信時間間隔を取得し、
前記第２のタイムスタンプ及び前記第１の映像データパケットの送信時刻に基づいて前記第１の映像データパケットの送信時間間隔を決定して映像送信時間間隔を取得し、
前記音声送信時間間隔及び前記映像送信時間間隔に基づいてそれぞれ前記第２の音声データパケットを前記音声再生装置に送信し、前記第２の映像データパケットを前記映像再生装置に送信する、ことを含む。
本開示の実施形態では、マルチメディア再生装置は第１の音声データパケットを音声再生装置に送信し、第１の映像データパケットを映像再生装置に送信し、第１の音声データパケットと第１の映像データパケットの各々がデータ検査識別子を保持しており、音声再生装置がデータ検査識別子を受信すると、音声再生装置は第１のタイムスタンプを返信し、映像再生装置がデータ検査識別子を受信すると、映像再生装置は第２のタイムスタンプを返信し、次いで、マルチメディア再生装置は第１のタイムスタンプ及び第２のタイムスタンプに基づいてそれぞれ第２の音声データパケットを音声再生装置に送信し、第２の映像データパケットを映像再生装置に送信し、それにより、第２の音声データパケットと第２の映像データパケットとを同時に再生する。このようにして、マルチメディアファイルの再生中における音声データと映像データの非同期の問題を解決することができる。
本発明の他の実施形態は、本明細書を考慮に入れて本明細書に開示された本発明を実施することで当業者には明らかになるであろう。本出願は、本発明の一般的な原理に従い、かつ、当技術における既知又は通常の実施の範囲内にあるような本開示からの逸脱を含めて、本発明の変形、使用又は適応を包含するよう意図される。本明細書及び実施形態は単なる例示と見なされ、本発明の真の範囲及び精神は特許請求の範囲により示されることが意図される。
本発明は上記で説明し添付図面に図示された厳密な構成に限定されず、本発明の範囲を逸脱することなく様々な改変及び変更を行うことができることが分かるであろう。本発明の範囲は特許請求の範囲によってのみ限定されることが意図される。

Claims (9)

  1. マルチメディアファイルを再生するための方法であって、
    前記マルチメディアファイルに含まれデータ検査識別子を保持した第１の音声データパケットを音声再生装置に送信し、前記音声再生装置は前記データ検査識別子に基づいて、前記音声再生装置が前記第１の音声データパケットを受信したときのタイムスタンプである第１のタイムスタンプを返信し、
    前記マルチメディアファイルに含まれ前記データ検査識別子を保持した第１の映像データパケットを映像再生装置に送信し、前記映像再生装置は前記データ検査識別子に基づいて、前記映像再生装置が前記第１の映像データパケットを受信したときのタイムスタンプである第２のタイムスタンプを返信し、
    前記第１のタイムスタンプ及び前記第２のタイムスタンプを受信すると、前記第１の音声データパケットの後に送信される音声データパケットである第２の音声データパケットと、前記第１の映像データパケットの後に送信される映像データパケットである第２の映像データパケットとを同時に再生するように、前記第１のタイムスタンプ及び第２のタイムスタンプに基づいてそれぞれ前記第２の音声データパケットを前記音声再生装置に送信し、前記第２の映像データパケットを前記映像再生装置に送信する、
    ことを含むマルチメディアファイルを再生するための方法。
  2. 前記マルチメディアファイルに含まれる第１の音声データパケットを音声再生装置に送信する前に、
    前記マルチメディアファイルに含まれる音声データパケットから周期的に１つの音声データパケットを取得し、かつ、前記マルチメディアファイルに含まれる映像データパケットから周期的に１つの映像データパケットを取得し、
    取得した音声データパケットに前記データ検査識別子を追加して前記第１の音声データパケットを取得し、かつ、取得した映像データパケットに前記データ検査識別子を追加して前記第１の映像データパケットを取得する、
    ことを更に含む請求項１に記載の方法。
  3. 取得した音声データパケットに前記データ検査識別子を追加して前記第１の音声データパケットを取得し、かつ、取得した映像データパケットに前記データ検査識別子を追加して前記第１の映像データパケットを取得する前に、
    特定のフォーマットに基づいて前記データ検査識別子をカプセル化することを更に含む請求項２に記載の方法。
  4. 前記第１のタイムスタンプ及び前記第２のタイムスタンプに基づいてそれぞれ第２の音声データパケットを前記音声再生装置に送信し、第２の映像データパケットを前記映像再生装置に送信することが、
    前記第１のタイムスタンプ及び前記第１の音声データパケットの送信時刻に基づいて前記第１の音声データパケットの送信時間間隔を決定して音声送信時間間隔を取得し、
    前記第２のタイムスタンプ及び前記第１の映像データパケットの送信時刻に基づいて前記第１の映像データパケットの送信時間間隔を決定して映像送信時間間隔を取得し、
    前記音声送信時間間隔及び前記映像送信時間間隔に基づいてそれぞれ前記第２の音声データパケットを前記音声再生装置に送信し、前記第２の映像データパケットを前記映像再生装置に送信する、
    ことを含む請求項１に記載の方法。
  5. マルチメディアファイルを再生するための装置であって、
    前記マルチメディアファイルに含まれデータ検査識別子を保持した第１の音声データパケットを音声再生装置に送信するよう構成された第１の送信モジュールであって、前記音声再生装置は前記データ検査識別子に基づいて、前記音声再生装置が前記第１の音声データパケットを受信したときのタイムスタンプである第１のタイムスタンプを返信する前記第１の送信モジュールと、
    前記マルチメディアファイルに含まれ前記データ検査識別子を保持した第１の映像データパケットを映像再生装置に送信するよう構成された第２の送信モジュールであって、前記映像再生装置は前記データ検査識別子に基づいて、前記映像再生装置が前記第１の映像データパケットを受信したときのタイムスタンプである第２のタイムスタンプを返信する前記第２の送信モジュールと、
    前記第１のタイムスタンプ及び前記第２のタイムスタンプを受信すると、前記第１の音声データパケットの後に送信される音声データパケットである第２の音声データパケットと、前記第１の映像データパケットの後に送信される映像データパケットである前記第２の映像データパケットとが同時に再生されるように、前記第１のタイムスタンプ及び前記第２のタイムスタンプに基づいてそれぞれ第２の音声データパケットを前記音声再生装置に送信し、第２の映像データパケットを前記映像再生装置に送信するよう構成された第３の送信モジュールと、
    を含むマルチメディアファイルを再生するための装置。
  6. 前記マルチメディアファイルに含まれる音声データパケットから周期的に１つの音声データパケットを取得し、かつ、前記マルチメディアファイルに含まれる映像データパケットから周期的に１つの映像データパケットを取得するよう構成された取得モジュールと、
    取得した音声データパケットに前記データ検査識別子を追加して前記第１の音声データパケットを取得し、かつ、取得した映像データパケットに前記データ検査識別子を追加して前記第１の映像データパケットを取得するよう構成された追加モジュールと、
    を更に含む請求項５に記載の装置。
  7. 特定のフォーマットに基づいて前記データ検査識別子をカプセル化するよう構成されたカプセル化モジュールを更に含む請求項６に記載の装置。
  8. 前記第３の送信モジュールは、
    前記第１のタイムスタンプ及び前記第１の音声データパケットの送信時刻に基づいて前記第１の音声データパケットの送信時間間隔を決定して音声送信時間間隔を取得するよう構成された第１の決定ユニットと、
    前記第２のタイムスタンプ及び前記第１の映像データパケットの送信時刻に基づいて前記第１の映像データパケットの送信時間間隔を決定して映像送信時間間隔を取得するよう構成された第２の決定ユニットと、
    前記音声送信時間間隔及び前記映像送信時間間隔に基づいてそれぞれ前記第２の音声データパケットを前記音声再生装置に送信し、前記第２の映像データパケットを前記映像再生装置に送信するよう構成された送信ユニットと、
    を含む請求項５に記載の装置。
  9. マルチメディアファイルを再生するための装置であって、
    プロセッサと、
    前記プロセッサにより実行可能な命令を記憶するよう構成されたメモリと、を含み、前記プロセッサは、
    前記マルチメディアファイルに含まれデータ検査識別子を保持した第１の音声データパケットを音声再生装置に送信し、前記音声再生装置は前記データ検査識別子に基づいて、前記音声再生装置が前記第１の音声データパケットを受信したときのタイムスタンプである第１のタイムスタンプを返信し、
    前記マルチメディアファイルに含まれ前記データ検査識別子を保持した第１の映像データパケットを映像再生装置に送信し、前記映像再生装置は前記データ検査識別子に基づいて、前記映像再生装置が前記第１の映像データパケットを受信したときのタイムスタンプである第２のタイムスタンプを返信し、
    前記第１のタイムスタンプ及び前記第２のタイムスタンプを受信すると、前記第１の音声データパケットの後に送信される音声データパケットである第２の音声データパケットと、前記第１の映像データパケットの後に送信される映像データパケットである第２の映像データパケットとを同時に再生するように、前記第１のタイムスタンプ及び前記第２のタイムスタンプに基づいてそれぞれ前記第２の音声データパケットを前記音声再生装置に送信し、前記第２の映像データパケットを前記映像再生装置に送信する、
    ように構成された装置。
JP2016525066A 2015-06-17 2015-11-23 マルチメディアファイルを再生するための方法及び装置 Active JP6626440B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510337320.0A CN104980820B (zh) 2015-06-17 2015-06-17 多媒体文件播放方法及装置
CN201510337320.0 2015-06-17
PCT/CN2015/095330 WO2016201888A1 (zh) 2015-06-17 2015-11-23 多媒体文件播放方法及装置

Publications (2)

Publication Number Publication Date
JP2017528009A true JP2017528009A (ja) 2017-09-21
JP6626440B2 JP6626440B2 (ja) 2019-12-25

Family

ID=54276822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016525066A Active JP6626440B2 (ja) 2015-06-17 2015-11-23 マルチメディアファイルを再生するための方法及び装置

Country Status (7)

Country Link
US (1) US9961393B2 (ja)
EP (1) EP3107086A1 (ja)
JP (1) JP6626440B2 (ja)
CN (1) CN104980820B (ja)
MX (1) MX370893B (ja)
RU (1) RU2643192C1 (ja)
WO (1) WO2016201888A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980820B (zh) 2015-06-17 2018-09-18 小米科技有限责任公司 多媒体文件播放方法及装置
CN107948904B (zh) * 2017-12-26 2020-10-02 深圳Tcl新技术有限公司 音箱老化试验的方法、装置及计算机可读存储介质
CN108495239B (zh) * 2018-01-17 2020-09-29 深圳聚点互动科技有限公司 多设备间音频精确同步播放的方法、装置、设备及存储介质
US10993274B2 (en) 2018-03-30 2021-04-27 Apple Inc. Pairing devices by proxy
US11297369B2 (en) 2018-03-30 2022-04-05 Apple Inc. Remotely controlling playback devices
CN108377406B (zh) * 2018-04-24 2020-12-22 海信视像科技股份有限公司 一种调整音画同步的方法及装置
US10614857B2 (en) * 2018-07-02 2020-04-07 Apple Inc. Calibrating media playback channels for synchronized presentation
CN109819303B (zh) * 2019-03-06 2021-04-23 Oppo广东移动通信有限公司 数据输出方法及相关设备
CN110673813B (zh) * 2019-09-29 2023-04-07 阿波罗智联(北京)科技有限公司 一种数据处理方法、装置、电子设备和介质
CN111263206B (zh) * 2020-02-13 2022-06-10 Tcl移动通信科技（宁波）有限公司 多媒体信息的同步播放方法、装置、存储介质及移动终端
CN111428059A (zh) * 2020-03-19 2020-07-17 威比网络科技(上海)有限公司 关联音频的多媒体数据播放方法、装置、电子设备、存储介质
RU203858U1 (ru) * 2020-08-05 2021-04-23 Общество с ограниченной ответственностью "Витрина ТВ" Устройство отображения и воспроизведения аудиовизуального контента
CN111957039A (zh) * 2020-09-04 2020-11-20 Oppo（重庆）智能科技有限公司 一种游戏特效实现方法、装置及计算机可读存储介质
CN112235597B (zh) * 2020-09-17 2022-07-29 深圳市捷视飞通科技股份有限公司 流媒体直播音视频同步保护方法、装置、计算机设备
CN115426514A (zh) * 2022-07-22 2022-12-02 北京罗克维尔斯科技有限公司 跨设备音视频同步方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193868A (ja) * 2002-12-10 2004-07-08 Alps Electric Co Ltd 無線送受信システム及び無線送受信方法
JP2004282667A (ja) * 2003-03-19 2004-10-07 Matsushita Electric Ind Co Ltd 再生同期ずれ補正機能を備えた送信機及び受信機、並びにそれらを有する伝送装置
WO2006064689A1 (ja) * 2004-12-16 2006-06-22 Matsushita Electric Industrial Co., Ltd. 無線通信システム
WO2006118106A1 (ja) * 2005-04-28 2006-11-09 Matsushita Electric Industrial Co., Ltd. リップシンク補正装置及びリップシンク補正方法
WO2009115121A2 (en) * 2008-03-19 2009-09-24 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for measuring audio-video time skew and end-to-end delay
JP2014127213A (ja) * 2012-12-25 2014-07-07 Pioneer Electronic Corp 同期再生制御装置及び同期再生制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0000873D0 (en) * 2000-01-14 2000-03-08 Koninkl Philips Electronics Nv Interconnection of audio/video devices
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data
DE602004008936T2 (de) * 2003-07-25 2008-06-19 Koninklijke Philips Electronics N.V. Verfahren und einrichtung zur erzeugung und erkennung von fingerabdrücken zur synchronisierung von audio und video
KR100651894B1 (ko) * 2004-07-23 2006-12-06 엘지전자 주식회사 영상기기 및 그 제어방법
JP4544190B2 (ja) * 2006-03-31 2010-09-15 ソニー株式会社 映像音声処理システム、映像処理装置、音声処理装置、映像音声の出力装置および映像と音声の同期処理方法
CN101212588A (zh) * 2006-12-29 2008-07-02 明基电通股份有限公司 可同步播放视频信号及音频信号的音像播放***及其方法
WO2008129408A2 (en) * 2007-04-23 2008-10-30 Nokia Corporation Usage of feedback information for multimedia sessions
US8514705B2 (en) * 2007-10-23 2013-08-20 Koninklijke Kpn N.V. Method and system for synchronizing a group of end-terminals
WO2009104869A1 (en) * 2008-02-20 2009-08-27 Electronics And Telecommunications Research Institute Method and apparatus for svc video and aac audio synchronization using npt
EP2270801B1 (en) * 2008-04-16 2018-12-05 Panasonic Intellectual Property Management Co., Ltd. Recording medium, recording device, recording method, and reproduction device
US8505054B1 (en) * 2009-12-18 2013-08-06 Joseph F. Kirley System, device, and method for distributing audio signals for an audio/video presentation
EP3627798A1 (en) * 2010-01-27 2020-03-25 Koninklijke KPN N.V. Method, system and device for synchronization of media streams
US9094564B2 (en) * 2010-05-07 2015-07-28 Microsoft Technology Licensing, Llc Clock synchronization for shared media playback
EP2801162B1 (en) * 2012-01-04 2016-12-07 Marvell World Trade Ltd. Method and apparatus for communicating time information between time-aware devices
EP2670157B1 (en) * 2012-06-01 2019-10-02 Koninklijke KPN N.V. Fingerprint-based inter-destination media synchronization
CN103905880A (zh) * 2014-03-13 2014-07-02 北京奇艺世纪科技有限公司 音视频数据的播放方法、智能电视和移动设备
CN104980820B (zh) * 2015-06-17 2018-09-18 小米科技有限责任公司 多媒体文件播放方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193868A (ja) * 2002-12-10 2004-07-08 Alps Electric Co Ltd 無線送受信システム及び無線送受信方法
JP2004282667A (ja) * 2003-03-19 2004-10-07 Matsushita Electric Ind Co Ltd 再生同期ずれ補正機能を備えた送信機及び受信機、並びにそれらを有する伝送装置
WO2006064689A1 (ja) * 2004-12-16 2006-06-22 Matsushita Electric Industrial Co., Ltd. 無線通信システム
WO2006118106A1 (ja) * 2005-04-28 2006-11-09 Matsushita Electric Industrial Co., Ltd. リップシンク補正装置及びリップシンク補正方法
WO2009115121A2 (en) * 2008-03-19 2009-09-24 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for measuring audio-video time skew and end-to-end delay
JP2014127213A (ja) * 2012-12-25 2014-07-07 Pioneer Electronic Corp 同期再生制御装置及び同期再生制御方法

Also Published As

Publication number Publication date
CN104980820B (zh) 2018-09-18
MX2017005370A (es) 2017-06-21
JP6626440B2 (ja) 2019-12-25
RU2643192C1 (ru) 2018-01-31
US20160373801A1 (en) 2016-12-22
MX370893B (es) 2020-01-09
US9961393B2 (en) 2018-05-01
WO2016201888A1 (zh) 2016-12-22
EP3107086A1 (en) 2016-12-21
CN104980820A (zh) 2015-10-14

Similar Documents

Publication Publication Date Title
JP6626440B2 (ja) マルチメディアファイルを再生するための方法及び装置
JP6385459B2 (ja) オーディオの再生のための制御方法及び装置
EP2928169B1 (en) Method for voice calling, method for voice playing and devices thereof
RU2648262C2 (ru) Способ и устройство для выполнения синхронизации мультимедийных данных
JP2016535351A (ja) 動画情報共有方法、装置、プログラム、及び記録媒体
WO2021185244A1 (zh) 一种设备交互的方法和电子设备
JP6385429B2 (ja) ストリーム・メディア・データを再生する方法および装置
CN112969096A (zh) 媒体播放方法及装置、电子设备
CN105338389A (zh) 控制智能电视的方法和装置
WO2016015403A1 (zh) 一种接入wi-fi网络的方法及装置
KR102063463B1 (ko) 멀티미디어 정보 재생 방법 및 시스템, 표준화 서버, 생방송 단말기
WO2016155304A1 (zh) 无线访问接入点的控制方法及装置
WO2022135527A1 (zh) 一种视频录制方法及电子设备
JP2017528929A (ja) イベント通知方法及び装置
CN106792024B (zh) 多媒体信息的分享方法及装置
WO2016119493A1 (zh) 接入网络的方法及装置
CN104391711A (zh) 一种设置屏幕保护的方法及装置
CN105163391A (zh) 数据传输方法、终端及无线访问接入点
CN113660513A (zh) 同步播放时间的方法、装置及存储介质
CN114007101B (zh) 融合显示设备的处理方法、设备及存储介质
US11689690B2 (en) Method and device for audio and video synchronization
US20230297324A1 (en) Audio Control Method, System, and Electronic Device
CN113709539A (zh) 媒体文件输出方法及装置、设备、存储介质
CN117597730A (zh) 一种音箱播放控制方法、音箱播放控制装置及存储介质
CN114866836A (zh) 视频处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191129

R150 Certificate of patent or registration of utility model

Ref document number: 6626440

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250