JP3063841B2 - オーディオ・ビデオ同期再生装置 - Google Patents

オーディオ・ビデオ同期再生装置

Info

Publication number
JP3063841B2
JP3063841B2 JP32405297A JP32405297A JP3063841B2 JP 3063841 B2 JP3063841 B2 JP 3063841B2 JP 32405297 A JP32405297 A JP 32405297A JP 32405297 A JP32405297 A JP 32405297A JP 3063841 B2 JP3063841 B2 JP 3063841B2
Authority
JP
Japan
Prior art keywords
video
audio
data
time stamp
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32405297A
Other languages
English (en)
Other versions
JPH11164256A (ja
Inventor
卓也 森下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP32405297A priority Critical patent/JP3063841B2/ja
Priority to US09/199,476 priority patent/US6510279B1/en
Priority to EP19980250414 priority patent/EP0920219B1/en
Priority to DE1998618401 priority patent/DE69818401T2/de
Publication of JPH11164256A publication Critical patent/JPH11164256A/ja
Application granted granted Critical
Publication of JP3063841B2 publication Critical patent/JP3063841B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、オーディオデータ
とビデオデータとに基きオーディオ・ビデオを同期再生
するオーディオ・ビデオ同期再生装置及び方法に関す
る。
【0002】
【従来の技術】この種の技術は、例えば特開平06−3
43065号公報および特開平09−149411号公
報に記載されている。またDVD−ROMやCD−RO
Mやハードディスクなどの記録媒体にデジタル記録され
たオーディオデータとビデオデータを読みとりCRTモ
ニタやスピーカなどにて再生するオーディオ・ビデオ同
期再生装置の一例が特願平09−001922号にて提
案されている。ここでは、そのオーディオ・ビデオ同期
再生装置について説明する。
【0003】図8を参照すると、そのオーディオ・ビデ
オ同期再生装置は、デジタル圧縮符号化されたオーディ
オ・ビデオデータを格納するデータ記録装置101と、
データ記録装置からデータを読み出し、多重化されて記
録されているオーディオ・ビデオデータを分離するAV
分離部102と、AV分離部102によって分離された
ビデオデータの伸張処理を行うビデオ処理部103と、
AV分離部102によって分離されたオーディオデータ
の伸張処理を行うオーディオ処理部104と、オーディ
オとビデオの同期制御を行うAV同期制御部105と、
伸張されたビデオデータを表示するCRTモニタ106
と、伸張されたオーディオデータを再生するスピーカ1
07とを含んでいる。
【0004】
【発明が解決しようとする課題】しかしながら図8のオ
ーディオ・ビデオ同期再生装置は、オーディオ処理系と
ビデオ処理系の基準時間が全く独立しているデータの再
生を考慮していない。
【0005】また、ビデオデータに含まれるタイムスタ
ンプとビデオフレームの枚数とに不整合がある場合に、
期待される再生結果と異なる再生となる。その理由は、
オーディオデータまたはビデオデータに含まれるタイム
スタンプを使用していないためである。
【0006】更にオーディオとビデオの同期合わせのた
めの基準時間の精度が十分でない場合がある。その理由
は、オーディオデータの処理量をそのまま基準時間とし
ていることにある。基準時間の精度が十分でないと、オ
ーディオデータの処理量の取得精度が悪い場合が生じ
る。結果として、オーディオとビデオの同期の精度も悪
くなるという問題がある。
【0007】それ故に本発明の目的は、オーディオとビ
デオの処理を独立して行い、基準となる処理時間が異な
るデータ上で正確なAV同期を可能にするオーディオ・
ビデオ同期再生装置及び方法を提供することにある。
【0008】
【課題を解決するための手段】本発明によれば、ビデオ
データを処理してビデオ表示制御信号とビデオタイムス
タンプとを出力するビデオ処理部と、前記ビデオ表示制
御信号に応じてビデオ表示を行うビデオ表示装置と、オ
ーディオデータを処理してオーディオ再生制御信号とオ
ーディオデータの処理量とを出力するオーディオ処理部
と、前記オーディオ再生制御信号に応じてオーディオ再
生を行うオーディオ再生装置と、前記ビデオタイムスタ
ンプを検出するビデオタイムスタンプ検出部と、前記オ
ーディオデータの処理量に基きオーディオタイムスタン
プ相当量を算出するオーディオタイムスタンプ算出部
と、前記ビデオタイムスタンプと前記オーディオタイム
スタンプ相当量とを比較し、前記ビデオデータと前記オ
ーディオデータとの前後関係を表す比較結果信号を生成
するタイムスタンプ比較部と、前記比較結果信号に応じ
て前記ビデオ処理部の動作を制御するビデオ表示制御手
段とを含み、前記ビデオ表示制御手段は、前記比較結果
信号が前記ビデオデータの遅れを表すときにビデオスキ
ップ指示信号を生成するビデオスキップ制御部と、前記
比較結果信号が前記オーディオデータの遅れを表すとき
にビデオリピート指示信号を生成するビデオリピート制
御部とを有し、前記ビデオ処理部は、前記ビデオスキッ
プ指示信号に応じて前記ビデオデータの処理をスキップ
し、前記ビデオリピート指示信号に応じて前記ビデオデ
ータの処理をストップするものであることを特徴とする
オーディオ・ビデオ同期再生装置が得られる。
【0009】さらに、ファイル装置から読み出したデー
タから前記ビデオデータを分離し前記ビデオ処理部に供
給するビデオ分離部と、前記ファイル装置から読み出し
たデータから前記オーディオデータを分離し前記オーデ
ィオ処理部に供給するオーディオ分離部とを含でもよ
い。
【0010】
【0011】好ましくは、前記オーディオタイムスタン
プ算出部は、数2式にて前記オーディオタイムスタンプ
相当量を算出するものである。
【0012】
【数2】オーディオタイムスタンプ相当値=オーディオ
データの処理量÷(サンプリング周波数×量子化ビット
数×チャンネル数) 好ましくは、前記オーディオタイムスタンプ算出部は、
前記ビデオタイムスタンプが再生開始直後に連続でない
場合に前記オーディオタイムスタンプ相当値を補正する
手段を備える。
【0013】前記オーディオデータの処理量は、再生時
間に換算してビデオ1フレームの再生時間の整数倍に相
当する値であるとよい。
【0014】
【0015】
【0016】
【発明の実施の形態】まず図1を参照して、本発明の第
1の実施の形態に係るオーディオ・ビデオ同期再生装置
について説明する。
【0017】このオーディオ・ビデオ同期再生装置は、
CD−ROMドライブやDVD−ROMドライブやハー
ドディスクドライブ等のファイル装置1と、ファイル装
置1からデータを読み出しビデオデータおよびオーディ
オデータおよびその他のデータに分離するAV分離部2
と、AV分離部2が分離したビデオデータを処理するビ
デオ処理部3と、ビデオ処理部3で処理されたビデオデ
ータを表示するCRTディスプレイ等のビデオ表示装置
4と、ビデオデータとオーディオデータの同期再生制御
を行うAV同期制御部5と、AV分離部2が分離したオ
ーディオデータを処理するオーディオ処理部6と、オー
ディオ処理部6で処理されたオーディオデータを再生す
るオーディオ再生装置7とを含む。ファイル装置1は、
複数のファイル装置A,B,Cを備えているが、その数
に特に制限は無く、単数でも良い。
【0018】AV分離部2は、ファイル装置1の中から
ビデオデータとオーディオデータを読み出すファイル装
置AまたはB又はCを選択しデータを読み出すファイル
装置選択部21と、読み出されたデータからビデオデー
タのみを分離するビデオ分離部22と、オーディオデー
タのみを分離するオーディオ分離部23とを備える。
【0019】ビデオ処理部3は、圧縮ビデオ記憶装置3
1と、ビデオデコーダ32と、ビデオフレーム記憶装置
33と、ビデオ表示制御部34とを備える。圧縮ビデオ
記憶装置31は、ビデオ分離部22が分離したビデオデ
ータを格納する。ビデオデコーダ32は、圧縮ビデオ記
憶装置31に格納されたビデオデータが圧縮されている
場合に伸長処理を行い、1フレーム単位でビデオフレー
ム記憶装置33に伸長されたビデオデータを格納する。
ビデオ表示制御部34は、伸長されたビデオデータに付
加されたビデオタイムスタンプを基準時間とし、ビデオ
表示装置4にフレーム単位で伸長されたビデオデータを
転送する。
【0020】AV同期制御部5は、ビデオタイムスタン
プ検出部51と、オーディオタイムスタンプ算出部52
と、タイムスタンプ比較部53と、ビデオスキップ制御
部54と、ビデオリピート制御部55とを備える。ビデ
オタイムスタンプ検出部51は、ビデオデコーダ32よ
り現在処理中のビデオデータのビデオタイムスタンプを
取得する。オーディオタイムスタンプ算出部52は、オ
ーディオ再生制御部64からこれまで再生したオーディ
オデータの処理量を取得し、オーディオタイムスタンプ
相当値に換算する。タイムスタンプ比較部53は、ビデ
オタイムスタンプとオーディオタイムスタンプ相当値を
比較し比較結果信号を生成する。その比較結果信号に応
じて、ビデオスキップ制御部54またはビデオリピート
制御部55はビデオフレームの表示を制御する。ビデオ
スキップ制御部54及びビデオリピート制御部55は合
わせてビデオ表示制御手段を構成する。
【0021】オーディオ処理部6は、圧縮オーディオ記
憶装置61と、オーディオデコーダ62と、オーディオ
記憶装置63と、オーディオ再生制御部64とを備え
る。圧縮オーディオ記憶装置61は、オーディオ分離部
23が分離したオーディオデータを格納する。オーディ
オデコーダ62は、圧縮オーディオ記憶装置61に格納
されたオーディオデータが圧縮されている場合に伸長処
理を行い、オーディオ記憶装置63に伸長されたオーデ
ィオデータを格納する。オーディオ再生制御部64は伸
長されたオーディオデータをオーディオ再生装置7に転
送する。
【0022】次に図2をも参照して、図1のオーディオ
・ビデオ同期再生装置の動作について詳細に説明する。
【0023】ビデオ処理部3およびAV同期制御部5お
よびオーディオ処理部6はお互いに独立して動作する。
これらの機能を実現する手段はハードウェア/ソフトウ
ェアを問わず、また、ソフトウェアのみの時分割処理に
よるマルチタスク処理による実現等でも構わない。
【0024】ファイル装置選択部21はビデオデータ・
オーディオデータそれぞれについて操作者等が指定した
ファイル装置をファイル装置1の中から選択し、ビデオ
分離部22とオーディオ分離部23に送る。ビデオ分離
部22は、ファイル装置1より読み出した圧縮データか
ら圧縮ビデオデータを分離し、圧縮ビデオデータを圧縮
ビデオ記憶装置31に格納する(ステップA1)。この
時、再生開始直後であれば、最初のビデオタイムスタン
プを検索し、タイムスタンプ比較部53に送る。
【0025】ビデオ表示制御部34は、ビデオリピート
制御部55からビデオリピートの指示、即ち、ビデオリ
ピート指示信号が来ているか否かをチェックする(ステ
ップA2)。ビデオリピートの指示が来ていた場合は、
ビデオ表示装置4に現在表示しているビデオフレームを
指定された時間表示させ続ける(ステップA4)。
【0026】次にビデオ表示制御部34は、ビデオスキ
ップ制御部54からビデオスキップの指示、即ち、ビデ
オスキップ指示信号が来ているか否かをチェックする
(ステップA2)。ビデオスキップの指示が来ていた場
合は、指定された時間分のビデオ伸長処理をスキップす
るようにビデオデコーダ32に指示する(ステップA
5)。
【0027】ビデオデコーダ32は、圧縮ビデオ記憶装
置31に格納された圧縮ビデオデータを伸長し、ビデオ
フレーム記憶装置33に格納する(ステップA6)。ま
たこの時、ビデオデコーダ32は、ビデオデータ中のビ
デオタイムスタンプを抽出し、ビデオタイムスタンプ検
出部51にビデオタイムスタンプを通知する(ステップ
A7)。AV同期制御部6はこのビデオスタンプ通知を
受けてAV同期処理を開始する。ビデオ表示制御部34
は伸長されたビデオデータをビデオ表示装置4に表示す
る(ステップA8)。ステップA1からA8までを全て
のビデオデータ処理が終わるまで繰り返す(ステップA
9)。
【0028】次に図1に加えて図3をも参照して、オー
ディオ処理部6の動作を説明する。
【0029】オーディオ分離部23は、ファイル装置1
より読み出した圧縮データから圧縮オーディオデータを
分離し、圧縮オーディオデータを圧縮オーディオ記憶装
置61に格納する(ステップB1)。この時、再生開始
直後であれば、最初のオーディオタイムスタンプを検索
し、タイムスタンプ比較部53に送る。
【0030】オーディオデコーダ62は、圧縮オーディ
オ記憶装置61に格納された圧縮オーディオデータを伸
長し、オーディオ記憶装置63に格納する(ステップB
2)。オーディオ再生制御部64は、オーディオ記憶装
置63に格納されたオーディオデータをオーディオ再生
装置7で再生する(ステップB3)。ステップB1から
B3までを全てのオーディオデータ処理が終わるまで繰
り返す(ステップB4)。
【0031】図2に加えて図4をも参照して、AV同期
制御部5の動作を説明する。
【0032】ビデオタイムスタンプ検出部51は、ビデ
オデコーダ32より現在処理中のビデオデータのビデオ
タイムスタンプを取得する(ステップC1)。オーディ
オタイムスタンプ算出部52は、オーディオ再生制御部
64からこれまで再生したオーディオデータの処理量を
取得し(ステップC2)、オーディオタイムスタンプ相
当値に換算する(ステップC3)。
【0033】オーディオタイムスタンプ相当値は再生開
始よりこれまでに再生したオーディオデータの処理量と
サンプリング周波数、量子化ビット数、チャンネル数よ
り数3式で求めることができる。
【0034】
【数3】オーディオタイムスタンプ相当値=オーディオ
データの処理量÷(サンプリング周波数×量子化ビット
数×チャンネル数) ここで、サンプリング周波数、量子化ビット数、チャン
ネル数はいずれも、オーディオ再生装置7で再生するオ
ーディオのフォーマットから取得する。
【0035】例えば、オーディオのサンプリング周波数
が48KHz、量子化ビット数が16ビット、チャンネ
ル数が2チャンネル、データ量の単位がバイト( 8ビッ
ト)、タイムスタンプの単位が90KHz(ビデオの圧
縮方式がMPEG方式の場合)とすると、実際の変換式
は、数4式のとおりとなる。
【0036】
【数4】オーディオタイムスタンプ相当値=データ量×
8×90000÷(48000×16×2) 次にタイムスタンプ比較部53は、再生を開始して最初
の同期制御かを判定する(ステップC4)。最初の同期
制御の場合、オーディオタイムスタンプ算出部52は、
補正値aを算出する(ステップC6)。補正値aは、数
5式で求められる。
【0037】
【数5】補正値a=ビデオデータ中の最初のタイムスタ
ンプ−オーディオタイムスタンプ相当値 この補正値aはオーディオデータを途中から再生する場
合とビデオデータとオーディオデータの基準時間が異な
る場合に必要となる。
【0038】再生を開始して最初の同期制御で無い場
合、タイムスタンプ比較部53は、前回保存したビデオ
タイムスタンプと現在のビデオタイムスタンプを比較す
る(ステップC5)。前回のタイムスタンプの方が現在
のタイムスタンプよりも大きい場合、オーディオタイム
スタンプ算出部52は、補正値bを算出する(ステップ
C7)。補正値bは、数6式で求められる。
【0039】
【数6】補正値b=現在のビデオタイムスタンプ−オー
ディオタイムスタンプ相当値 この補正値bはタイムスタンプが単調増加でないデータ
を再生する際にAV同期をとる場合に必要となる。
【0040】タイムスタンプ比較部53は、現在のビデ
オタイムスタンプを記憶しておく(ステップC8)。こ
の値は、次回処理時にステップA5で前回のビデオタイ
ムスタンプとして使用される。
【0041】タイムスタンプ比較部53は、オーディオ
タイムスタンプ相当値の値を補正値a、補正値bを使用
して補正する(ステップC9)。補正されたオーディオ
タイムスタンプは、数7式のとおりとなる。
【0042】
【数7】オーディオタイムスタンプ=オーディオタイム
スタンプ相当値+補正値a−補正値b 次にタイムスタンプ比較部53は、補正されたオーディ
オタイムスタンプとビデオタイムスタンプとを比較する
(ステップC10)。ビデオタイムスタンプとオーディ
オタイムスタンプが等しい場合は、ビデオとオーディオ
の同期がとれているため何もしない。なお、ここでの比
較は頻繁に同期あわせ処理が行われるのを防ぐため、あ
る程度の幅(例えばビデオ数フレーム分の再生時間)を
持たせて処理するものとする。ビデオタイムスタンプが
オーディオタイムスタンプより小さい場合は、ビデオの
処理が遅れているのでビデオスキップ制御部54は、ビ
デオデコーダ32およびビデオ表示制御部34に対して
ビデオの伸長処理と表示更新処理を遅れている時間だけ
飛ばすように指示する(ステップC11)。ビデオタイ
ムスタンプがオーディオタイムスタンプより大きい場合
は、ビデオの処理が進んでいるので、ビデオリピート制
御部55は、ビデオデコーダ32およびビデオ表示制御
部に対してビデオの伸長処理と表示更新処理を進んでい
る時間だけ一時停止するように指示する(ステップC1
2)。
【0043】図1に示したオーディオ・ビデオ同期再生
装置によると、オーディオ処理系とビデオ処理系が全く
独立なデータ上で正確なAV同期を実現することが可能
である。その理由は、オーディオデータの処理量をビデ
オ処理系のタイムスタンプに相当する値に換算するオー
ディオタイムスタンプ算出部52を備えているためであ
る。
【0044】またタイムスタンプが等間隔でなかったり
単調増加でない場合にも再生を途切れさせることなしに
連続して処理することが可能である。その理由は、タイ
ムスタンプ比較部53を備えているためである。
【0045】次に、図5を参照して、本発明の第2の実
施の形態に係るオーディオ・ビデオ同期再生装置につい
て説明する。図1と同様な部分には同じ符号を付して説
明を省略する。図5のオーディオ・ビデオ同期再生装置
において、オーディオ処理部6は、さらにオーディオ再
生終了通知部65を有する。
【0046】図5に加えて図6をも参照して、オーディ
オ処理部6を説明する。
【0047】最初にオーディオ再生制御部64は、一回
の再生処理で処理するオーディオデータ再生サイズ(=
ビデオ1フレーム分の再生時間に相当するデータ量)を
オーディオ再生フォーマットとビデオのフレームレート
から数8式にしたがって求める(ステップD1)。
【0048】
【数8】オーディオデータ再生サイズ=サンプリング周
波数×量子化ビット数×チャンネル数÷フレームレート 例えば、オーディオのサンプリング周波数が48KH
z、量子化ビット数が16ビット、チャンネル数が2チ
ャンネル、データ量の単位がバイト( 8ビット)、ビデ
オのフレームレートが30フレーム/秒の場合は、
【0049】
【数9】オーディオデータ再生サイズ=48000×1
6÷8×2÷30=6400(バイト) となる。
【0050】オーディオ再生制御部64はこうして求め
られたサイズのオーディオバッファを1ブロックとし、
オーディオ記憶装置63上に複数個確保する(ステップ
D2)。
【0051】オーディオデコーダ62は、確保されたオ
ーディオバッファを全て埋める分だけ圧縮オーディオデ
ータを伸長し、オーディオ記憶装置63に格納する(ス
テップD3)。オーディオ再生制御部64は伸長された
オーディオデータをブロック単位でオーディオ再生装置
7に送りオーディオ再生を開始する(ステップD4)。
【0052】オーディオ再生制御部64は、1ブロック
のオーディオデータ再生処理が終了するのを待つ(ステ
ップD5)。オーディオ再生終了通知部65は、1ブロ
ック分のオーディオデータ(=ビデオ1フレーム分のオ
ーディオデータ)処理が終了したことをオーディオタイ
ムスタンプ算出部52に通知する(ステップD6)。さ
らに全てのオーディオデータの処理が終了か否かを判断
する(ステップD7)。
【0053】オーディオデータの処理が終了していない
ときには、オーディオ分離部23は、ファイル装置1よ
り読み出した圧縮データから圧縮オーディオデータを分
離し、圧縮オーディオデータを圧縮オーディオ記憶装置
61に格納する(ステップD8)。
【0054】オーディオデコーダ62は、圧縮オーディ
オ記憶装置61に格納された圧縮オーディオデータを1
ブロック分伸長し、オーディオ記憶装置63に格納する
(ステップD9)。オーディオ再生制御部64は、オー
ディオ記憶装置63に格納されたオーディオデータをオ
ーディオ再生装置7で再生する(ステップD10)。ス
テップD5からD10までを全てのオーディオデータ処
理が終わるまで繰り返す(ステップD7)。
【0055】図5に加えて図7をも参照して、AV同期
制御部5の動作を説明する。
【0056】AV同期制御部5はオーディオ再生終了通
知部65から1ブロック分のオーディオデータの処理終
了通知を受けて処理を開始する。オーディオタイムスタ
ンプ算出部52は、オーディオ再生制御部64からこれ
まで再生したオーディオデータの量を取得し(ステップ
E1)、オーディオタイムスタンプ相当値に換算する
(ステップE2)。換算式は前出の数3式及び数4式で
求められる。こうして換算したオーディオタイムスタン
プ相当値は、必ずビデオ1フレーム再生時間の整数倍と
なる。このためオーディオ再生時間を基準とした正確な
AV同期処理が可能である。
【0057】ビデオタイムスタンプ検出部51は、ビデ
オデコーダ32より現在処理中のビデオデータのビデオ
タイムスタンプを取得する(ステップE3)。
【0058】以下のステップC4からC12までの動作
は図1のオーディオ・ビデオ同期再生装置と同じである
ため説明を省略する。
【0059】またビデオ処理部3の動作は図1のオーデ
ィオ・ビデオ同期再生装置と同じであるため説明を省略
する。
【0060】図5のオーディオ・ビデオ同期再生装置で
は図1のものと比べ、これまで再生したオーディオデー
タの処理量を取得できないあるいは取得できても精度が
悪いシステム上でも正確なAV同期を実現することが可
能である。その理由は、ビデオ1フレームの再生時間の
整数倍に相当する基準時間を正確に取得することを可能
にするオーディオ再生終了通知部を備えているためであ
る。
【0061】
【発明の効果】本発明によると、オーディオデータの処
理量をビデオ処理系のタイムスタンプに相当する値に換
算しているため、オーディオとビデオで基準時間が異な
るデータでもAV同期をとることが可能である。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係るオーディオ・
ビデオ同期再生装置のブロック図。
【図2】図1のオーディオ・ビデオ同期再生装置の動作
を説明するためのフローチャート。
【図3】図1のオーディオ・ビデオ同期再生装置に含ま
れたオーディオ処理部の動作を説明するためのフローチ
ャート。
【図4】図1のオーディオ・ビデオ同期再生装置に含ま
れたAV同期制御部のAV同期制御一回分の動作を示し
たフローチャート。
【図5】本発明の第2の実施の形態に係るオーディオ・
ビデオ同期再生装置のブロック図。
【図6】図5のオーディオ・ビデオ同期再生装置に含ま
れたオーディオ処理部の動作を説明するためのフローチ
ャート。
【図7】図5のオーディオ・ビデオ同期再生装置に含ま
れたAV同期制御部の動作を説明するためのフローチャ
ート。
【図8】特願平09−001922号にて提案されてい
るオーディオ・ビデオ同期再生装置のブロック図。
【符号の説明】
1,A,B,C ファイル装置 2 AV分離部 21 ファイル装置選択部 22 ビデオ分離部 23 オーディオ分離部 3 ビデオ処理部 31 圧縮ビデオ記憶装置 32 ビデオデコーダ 33 ビデオフレーム記憶装置 34 ビデオ表示制御部 4 ビデオ表示装置 5 AV同期制御部 51 ビデオタイムスタンプ検出部 52 オーディオタイムスタンプ算出部 53 タイムスタンプ比較部 54 ビデオスキップ制御部 55 ビデオリピート制御部 6 オーディオ処理部 61 圧縮オーディオ記憶装置 62 オーディオデコーダ 63 オーディオ記憶装置 64 オーディオ再生制御部 7 オーディオ再生装置 101 データ記録装置 102 AV分離部 103 ビデオ処理部 104 オーディオ処理部 105 AV同期制御部 106 CRTモニタ 107 スピーカ
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/91 - 5/956 H04N 7/24 - 7/68 G11B 20/10 - 20/12

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 ビデオデータを処理してビデオ表示制御
    信号とビデオタイムスタンプとを出力するビデオ処理部
    と、前記ビデオ表示制御信号に応じてビデオ表示を行う
    ビデオ表示装置と、オーディオデータを処理してオーデ
    ィオ再生制御信号とオーディオデータの処理量とを出力
    するオーディオ処理部と、前記オーディオ再生制御信号
    に応じてオーディオ再生を行うオーディオ再生装置と、
    前記ビデオタイムスタンプを検出するビデオタイムスタ
    ンプ検出部と、前記オーディオデータの処理量に基きオ
    ーディオタイムスタンプ相当量を算出するオーディオタ
    イムスタンプ算出部と、前記ビデオタイムスタンプと前
    記オーディオタイムスタンプ相当量とを比較し、前記ビ
    デオデータと前記オーディオデータとの前後関係を表す
    比較結果信号を生成するタイムスタンプ比較部と、前記
    比較結果信号に応じて前記ビデオ処理部の動作を制御す
    るビデオ表示制御手段とを含み、前記ビデオ表示制御手
    段は、前記比較結果信号が前記ビデオデータの遅れを表
    すときにビデオスキップ指示信号を生成するビデオスキ
    ップ制御部と、前記比較結果信号が前記オーディオデー
    タの遅れを表すときにビデオリピート指示信号を生成す
    るビデオリピート制御部とを有し、前記ビデオ処理部
    は、前記ビデオスキップ指示信号に応じて前記ビデオデ
    ータの処理をスキップし、前記ビデオリピート指示信号
    に応じて前記ビデオデータの処理をストップするもので
    あることを特徴とするオーディオ・ビデオ同期再生装
    置。
  2. 【請求項2】 さらに、ファイル装置から読み出したデ
    ータから前記ビデオデータを分離し前記ビデオ処理部に
    供給するビデオ分離部と、前記ファイル装置から読み出
    したデータから前記オーディオデータを分離し前記オー
    ディオ処理部に供給するオーディオ分離部とを含む請求
    項1記載のオーディオ・ビデオ同期再生装置。
  3. 【請求項3】 前記オーディオタイムスタンプ算出部
    は、数1式にて前記オーディオタイムスタンプ相当量を
    算出するものである請求項1又は2記載のオーディオ・
    ビデオ同期再生装置。 【数1】オーディオタイムスタンプ相当値=オーディオ
    データの処理量÷(サンプリング周波数×量子化ビット
    数×チャンネル数)
  4. 【請求項4】 前記オーディオタイムスタンプ算出部
    は、前記ビデオタイムスタンプが再生開始直後に連続で
    ない場合に前記オーディオタイムスタンプ相当値を補正
    する手段を備えた請求項記載のオーディオ・ビデオ同
    期再生装置。
  5. 【請求項5】 前記オーディオデータの処理量は、再生
    時間に換算してビデオ1フレームの再生時間の整数倍に
    相当する値である請求項記載のオーディオ・ビデオ同
    期再生装置。
JP32405297A 1997-11-26 1997-11-26 オーディオ・ビデオ同期再生装置 Expired - Fee Related JP3063841B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP32405297A JP3063841B2 (ja) 1997-11-26 1997-11-26 オーディオ・ビデオ同期再生装置
US09/199,476 US6510279B1 (en) 1997-11-26 1998-11-25 Audio/video synchronous reproducer enabling accurate synchronization between audio and video and a method of audio/video synchronous reproduction
EP19980250414 EP0920219B1 (en) 1997-11-26 1998-11-26 Audio/video synchronous reproducer enabling accurate synchronization between audio and video data and a method of audio/video synchronous reproduction
DE1998618401 DE69818401T2 (de) 1997-11-26 1998-11-26 Synchrones Audio-/Videowiedergabegerät, welches genaue Synchronisation zwischen Audio- und Videodaten ermöglicht und Verfahren zur synchronen Audio/Videowiedergabe

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32405297A JP3063841B2 (ja) 1997-11-26 1997-11-26 オーディオ・ビデオ同期再生装置

Publications (2)

Publication Number Publication Date
JPH11164256A JPH11164256A (ja) 1999-06-18
JP3063841B2 true JP3063841B2 (ja) 2000-07-12

Family

ID=18161622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32405297A Expired - Fee Related JP3063841B2 (ja) 1997-11-26 1997-11-26 オーディオ・ビデオ同期再生装置

Country Status (4)

Country Link
US (1) US6510279B1 (ja)
EP (1) EP0920219B1 (ja)
JP (1) JP3063841B2 (ja)
DE (1) DE69818401T2 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4421156B2 (ja) 1999-10-29 2010-02-24 富士通株式会社 画像再生装置および画像記録再生装置
JP2001231035A (ja) * 2000-02-14 2001-08-24 Nec Corp 復号同期制御装置、復号装置、及び復号同期制御方法
US6751404B1 (en) * 2000-04-13 2004-06-15 Forgent Networks, Inc. Method and apparatus for detecting processor congestion during audio and video decode
US6802019B1 (en) * 2000-06-15 2004-10-05 Genesys Conferencing, Ltd. Method and system for synchronizing data
US7149686B1 (en) * 2000-06-23 2006-12-12 International Business Machines Corporation System and method for eliminating synchronization errors in electronic audiovisual transmissions and presentations
WO2003034725A1 (fr) * 2001-10-18 2003-04-24 Matsushita Electric Industrial Co., Ltd. Appareil et procede de reproduction video/audio, programme et support correspondants
US6850284B2 (en) * 2002-08-27 2005-02-01 Motorola, Inc. Method and apparatus for decoding audio and video information
JP3731658B2 (ja) 2002-09-06 2006-01-05 船井電機株式会社 光ディスク再生装置
JP4162454B2 (ja) 2002-09-10 2008-10-08 三洋電機株式会社 データ処理装置
US8331456B2 (en) * 2002-09-27 2012-12-11 Broadcom Corporation System and method for audio and visual synchronization
US7567746B2 (en) * 2003-03-19 2009-07-28 Panasonic Corporation Data processing device
JP2005051631A (ja) * 2003-07-30 2005-02-24 Sony Corp プログラム、データ処理方法およびその装置
DE602004009560T2 (de) * 2004-07-22 2008-08-21 Harman Becker Automotive Systems Gmbh Datenübertragungssynchronisationsschema
KR100693690B1 (ko) 2005-06-02 2007-03-09 주식회사 대우일렉트로닉스 영상 재생 시스템의 데이터 동기화 방법
CN100442858C (zh) * 2005-10-11 2008-12-10 华为技术有限公司 分组网络中多媒体实时传输的唇同步方法及其装置
US20100215335A1 (en) * 2005-11-30 2010-08-26 Adc Technology Inc. Reproduction device
JP2007151019A (ja) * 2005-11-30 2007-06-14 Toshiba Corp マルチavストリームの再生方法および再生装置
JP2007193555A (ja) * 2006-01-19 2007-08-02 Sony Corp 編集装置および方法、プログラム、並びに記録媒体
JP2007316322A (ja) * 2006-05-25 2007-12-06 Kawai Musical Instr Mfg Co Ltd データ編集装置及びデータ編集用コンピュータプログラム
TWI314017B (en) * 2006-07-12 2009-08-21 Quanta Comp Inc System and method for synchronizing video frames and audio frames
TWI338508B (en) * 2006-12-20 2011-03-01 Ind Tech Res Inst Method and apparatus for audio/video synchronization
US7765315B2 (en) * 2007-01-08 2010-07-27 Apple Inc. Time synchronization of multiple time-based data streams with independent clocks
KR100864009B1 (ko) 2007-04-02 2008-10-16 주식회사 대우일렉트로닉스 오디오/비디오 동기화 방법
KR101138396B1 (ko) 2007-09-11 2012-04-26 삼성전자주식회사 Iptv 단말기에서 컨텐츠 재생 방법 및 장치
US8515257B2 (en) * 2007-10-17 2013-08-20 International Business Machines Corporation Automatic announcer voice attenuation in a presentation of a televised sporting event
US8890874B2 (en) * 2007-12-14 2014-11-18 Microsoft Corporation Changing visual content communication
US9571901B2 (en) 2007-12-28 2017-02-14 Intel Corporation Synchronizing audio and video frames
HUE041788T2 (hu) * 2008-10-06 2019-05-28 Ericsson Telefon Ab L M Eljárás és berendezés igazított többcsatornás hang szállítására
CN101771865B (zh) * 2009-01-07 2011-11-16 财团法人工业技术研究院 影音控制响应及频宽调适方法、服务器
KR101672253B1 (ko) * 2010-12-14 2016-11-03 삼성전자주식회사 휴대용 단말기에서 스트리밍 서비스를 제공하기 위한 장치 및 방법
CN103621102B (zh) 2011-05-12 2017-05-03 英特尔公司 用于音频与视频同步的方法、装置及***
KR20130134130A (ko) * 2012-05-30 2013-12-10 한국전자통신연구원 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법
CN103648011B (zh) * 2013-11-29 2017-03-15 乐视致新电子科技(天津)有限公司 一种基于hls协议的音视频同步装置和方法
CN110995959B (zh) * 2019-12-31 2022-06-17 安博思华智能科技有限责任公司 一种同步双屏显示信息的方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3255308B2 (ja) * 1992-12-18 2002-02-12 ソニー株式会社 データ再生装置
JPH06343065A (ja) 1993-02-26 1994-12-13 Sony Corp デコーディングシステム、デマルチプレクス方法および信号処理方法
US5396497A (en) 1993-02-26 1995-03-07 Sony Corporation Synchronization of audio/video information
US5481543A (en) 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
US5467139A (en) 1993-09-30 1995-11-14 Thomson Consumer Electronics, Inc. Muting apparatus for a compressed audio/video signal receiver
US5594660A (en) 1994-09-30 1997-01-14 Cirrus Logic, Inc. Programmable audio-video synchronization method and apparatus for multimedia systems
JP3133630B2 (ja) 1994-11-30 2001-02-13 三洋電機株式会社 Mpegシステムデコーダ
KR0136460B1 (ko) 1994-12-24 1998-05-15 이헌조 가변비트율 부호화 장치의 데이타 인터리빙방법
JP2838985B2 (ja) 1995-06-22 1998-12-16 日本電気株式会社 オーディオビデオ符号復号化装置およびオーディオビデオ符号復号化方法
JPH09149411A (ja) 1995-11-24 1997-06-06 Ekushingu:Kk 復号化装置
JP3106987B2 (ja) 1997-01-09 2000-11-06 日本電気株式会社 オーディオ・ビデオ同期再生装置

Also Published As

Publication number Publication date
EP0920219B1 (en) 2003-09-24
EP0920219A3 (en) 2001-05-02
DE69818401T2 (de) 2004-07-01
US6510279B1 (en) 2003-01-21
JPH11164256A (ja) 1999-06-18
DE69818401D1 (de) 2003-10-30
EP0920219A2 (en) 1999-06-02

Similar Documents

Publication Publication Date Title
JP3063841B2 (ja) オーディオ・ビデオ同期再生装置
JP3063838B2 (ja) オーディオ・ビデオ同期再生装置および方法
US6512884B1 (en) Method and apparatus for synchronized play back of audio-video signals
JP3106987B2 (ja) オーディオ・ビデオ同期再生装置
JP3215087B2 (ja) オーディオとビデオの同期方法及びデジタルビデオプロセッサ
JP3039624B2 (ja) オーディオ・ビデオ同期再生装置
KR100290331B1 (ko) 오디오-비디오 신호의 동기 재생 장치
JP3104681B2 (ja) オーディオ・ビデオ同期再生方法および装置
US20040133926A1 (en) Additional information inserting apparatus and method
JP2000078531A (ja) オ―ディオデ―タ編集方法、編集システム
JP3159098B2 (ja) 画像と音声の同期再生装置
JP2002320193A (ja) データ処理装置及びデータ処理方法、並びに、番組長伸縮装置及び番組長伸縮方法
US20050069289A1 (en) Transport stream recording/editing device and recording/editing method
JP2001309303A (ja) リアルタイム録画再生装置
JP3039472B2 (ja) 画像と音声の再生装置
JP3496603B2 (ja) Av同期再生方法及びその装置並びに情報記録媒体
US7043136B2 (en) Program length extending or shortening device and method, and program length adjusting system
JPH10164512A (ja) データ処理同期装置
JPH10145733A (ja) 動画像信号の記録再生方法
JP3165661B2 (ja) 音声同期再生装置
JPH0744850U (ja) 画像処理装置
JPH11284953A (ja) 映像信号符号化システム及び映像信号符号化装置
JP2003032623A (ja) 動画情報規格変換時の同期処理方式
JPH09107521A (ja) 映像/音声信号圧縮方法およびその装置
JPH06284373A (ja) 画像蓄積装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20000405

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090512

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 12

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 12

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 12

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140512

Year of fee payment: 14

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees