JP2006254298A - 動画再生装置及び動画再生方法 - Google Patents

Abstract

【課題】 従来トランスポートストリーム内のＰＣＲによってＳＴＣに不連続が発生すると、出力する画像データのＰＴＳとの一致がとれなくなるため、固定周期でのビデオデータの出力処理、デコード処理を行う。しかし、ビデオデータの表示間隔が動的に変化する場合には、再生品位が低下する。
【解決手段】 ＰＴＳとＳＴＣの差分をＳＴＣ／ＰＴＳ比較器５０２にて算出し、ある閾値以下の場合は、不連続がないと判断し、ＳＴＣ／ＰＴＳ比較器５０２からＳＴＣとＰＴＳが一致タイミングで出力制御指示を行う。差分がある閾値以上の場合、不連続が発生したと判断し、表示間隔計算器５０４で算出した前フレームと次フレーム間の差分、すなわち表示間隔を算出し、表示間隔をもとに出力制御指示を行う。
【選択図】 図５

Description

本発明は、デジタルＢＳ放送、デジタルＣＳ放送や地上波デジタル放送で送られるＭＰＥＧ２−ＴＳのストリームを再生する際に、ビデオとオーディオとを同期再生させるのに用いて好適な動画再生装置及び動画再生方法に関するもので、特に、ＭＰＥＧ２−ＴＳのストリームやＰＣＲの連続性が途切れたような場合のビデオ再生における対処に係わる。

日本のデジタル放送は、ＡＲＩＢ（Association of Radio Industrial and Businesses）の規格に基づいて行われている。このＡＲＩＢの規格は、ヨーロッパのＤＶＢ（Digital Video Broadcasting）方式の規格を基に作成されたもので、ＭＰＥＧ（Moving Picture Coding Experts Group）２−ＴＳ（Transport Stream）のシステムで、映像及び音声を放送するものである。

ＭＰＥＧ２−ＴＳでは、１８８バイトの固定長のＴＳパケットが複数個集まって、ＴＳストリームが構成される。この１８８バイトのＴＳパケットの長さは、ＡＴＭ（Asynchronous Transfer Mode）セル長との整合性を考慮して決定されている。

ＴＳパケットは、４バイトの固定長のパケットヘッダと、可変長のアダプテーションフィールド及びペイロードで構成される。パケットヘッダには、ＰＩＤ（パケット識別子）や各種のフラグが定義されている。このＰＩＤにより、ＴＳパケットの種類が識別される。

ビデオやオーディオなどの個別ストリームが収められたＰＥＳ（Packetized Elementary Stream）パケットは、同じＰＩＤ番号を持つ複数のＴＳパケットに分割されて伝送される。ビデオの符号化には、例えばＭＰＥＧ２方式や１セグメント放送規格におけるＭＰＥＧ４−ＡＶＣ／Ｈ．２６４方式が用いられる。オーディオの符号化は、例えば、ＡＡＣ（MPEG2 Advanced Audio Coding）方式が用いられている。

また、字幕などのデータが納められたＰＥＳパケットも、ビデオやオーディオのパケットと同様に、複数のＴＳパケットに分割されて伝送される。

このようなＭＰＥＧ２−ＴＳでは、ＳＴＣ（System Time Clock）の時間を合わすために、所定時間毎に、ＰＣＲ（Program Clock Reference）が送られる。

すなわち、ＴＳパケットには、アダプテーションフィールドが含まれているものがある。アダプテーションフィールドは、個別ストリームに関する付加情報を伝送するためのもので、ここには、オプショナルフィールドに、６バイトのＰＣＲが配される。

受信機側では、システムクロックであるＳＴＣ（System Time Clock）は、ＳＴＣカウンタでカウントされる。このＳＴＣカウンタの時刻は、ＰＣＲの時刻に基づいて校正される。

ＭＰＥＧ２−ＴＳでは、ＡＶ（オーディオ・ビデオ）同期をとるために、アクセスユニット毎（例えば、ビデオの場合にはピクチャ毎、オーディオの場合にはオーディオフレーム毎）にタイムスタンプが付加される。これらのアクセスユニットがＰＥＳ化され、このＰＥＳパケットのヘッダに、再生時刻を指定するＰＴＳ（Presentation Time Stamp）が付加される。

このＰＴＳの時刻は、ＳＴＣの値で記述される。受信機側では、ＳＴＣの値は、送信側からのＰＣＲと同期して進められる。このＳＴＣのカウント値とＰＴＳの値とが比較され、ＳＴＣのカウント値とＰＴＳの値とが一致したら、表示処理やデコード処理が開始される。これにより、ＳＴＣとの同期再生が行われる。

このように、ＭＰＥＧ２−ＴＳでは、ＰＣＲに同期して進められるＳＴＣのカウント値と、ビデオ及びオーディオのＰＥＳパケットに付加されて送られてくるＰＴＳの値とを比較し、ビデオ、オーディオそれぞれがＳＴＣのカウント値とＰＴＳの値が一致するタイミングで表示処理やデコード処理を開始することにより、ＡＶ同期再生を実現している。

送信側より、符号化・多重化したＴＳを送信し、受信側でこれを復号再生処理する際、ＴＳが連続して伝送される場合には問題はないが、不連続が起こった場合や、ＰＣＲが不連続な場合は、ＴＳパケットの不連続の検出、またはＰＣＲの不連続検出を行い、前記検出のあったときはＳＴＣの値を校正し、それ以降は校正後のＳＴＣを用いて処理を行うことで対応していた。

しかし、校正したＳＴＣを用いて直ちに表示やデコードを開始する、すなわち直ぐにデコーダのＳＴＣとして使用すると、バッファに一時蓄積したデータの中に、校正する前のＳＴＣを用いるべきデータと、校正後のＳＴＣを用いるべきデータとが混在する場合には、校正する前のＳＴＣを用いるべきデータのＰＴＳとＳＴＣが大きく異なるようになる。ＰＴＳとＳＴＣが大きく異なると時間が過ぎてもＰＴＳの値とＳＴＣカウンタの値とが一致しないことになり、バッファがオーバーフローを起こし、再生が停止する。

これら課題に対し、特許文献１では、ＰＥＳパケットを蓄えるバッファの容量を監視し、オーバーフローが検出されたら、ＡＶ非同期で再生を行うようにしている。ここでＡＶ非同期再生とは、オーディオデータはオーディオの１フレーム周期で、出力処理やデコード開始処理を行い、ビデオデータはあらかじめ決めた固定周期で、出力処理やデコード開始処理を行う方法である。すなわち、バッファのオーバーフローが検出されたら、ＰＴＳとＳＴＣを比較し、一致したタイミングで出力処理やデコード開始処理を行うことを止め、ビデオやオーディオの各々の周期でデコード処理、出力処理を行っている。その結果、ＡＶ同期はとれなくなるものの、バッファのオーバーフローはなくなり再生不能になるという事態は回避できる。

また、ＡＶ非同期モードへの遷移条件として、ＳＴＣとＰＴＳを比較し、差の絶対値が所定の閾値以上になった場合に、ＡＶ非同期モードで再生を行うようにする手法（特許文献２）もある。
特開２００３−１０１９６２号公報 特開２００２−２０４４０４号公報

上記従来技術に示した、不連続が起こった場合やＰＣＲが不連続な場合のＡＶ非同期モード再生は、オーディオデータの場合、フレーム周期で連続して出力されるために、ＳＴＣとＰＴＳとを、一致させなくても違和感はない。また、ビデオデータの場合も、既存のデジタル放送（ＢＳデジタル放送や地上波デジタル放送）のようにビデオ画像の表示間隔が固定である場合は、ＡＶ非同期モード再生時の固定周期をビデオ画像の表示間隔と合わせて、デコード処理や表示処理を行っていけばよい。

しかしながら、現在放送が予定されている１セグデジタル放送のように、モバイル環境下での利用を目的としているようなビデオデータの場合、転送ビットレートを抑えるため、表示間隔は送信側で動的に変化させることがある。このように動的に表示間隔が変化する場合、上記ＡＶ非同期再生モードのように、あらかじめ決めた固定の周期で出力処理、デコード処理を行うと、オーディオデータと大きく同期ずれが発生する結果となり、リップシンクがとれないため再生品位を激しく劣化させる。

本発明は、かかる問題点に鑑みてなされたものであり、ＭＰＥＧ２−ＴＳストリームにおけるＴＳパケットが不連続、またはＰＣＲが不連続であった場合に、ビデオデータの表示間隔が動的に変化するような状況でも、同期ずれをなくし、送信側の意図に沿った再生を実現する動画再生装置及び動画再生方法を提供することを目的とする。

本発明の動画再生装置は、ビデオデータ、及びオーディオデータと、時間情報とが多重化された伝送データを入力とし、前記時間情報にはシステム基準時刻と再生時刻とを含み、前記再生時刻と前記システム基準時刻とを比較し、前記システム基準時刻が前記再生時刻と一致したら再生する動画再生装置において、前記システム基準時刻と前記再生時刻の差分値を計算し、前記差分値がある閾値以下かどうかを判断し、前記差分値が０になれば再生指示を出力する比較器と、前回出力したフレームの再生時刻と次回出力するフレームの再生時刻の差分から、フレームの表示時間を計算し、表示時間が経過すると再生指示を出力する表示間隔計算器とを備え、前記差分値がある閾値以下の場合には、前記比較器の再生指示により再生を行い、前記差分値がある閾値以上である場合には、前記表示間隔計算器の表示指示をもとに再生を行うことを特徴とするものである。

本発明の動画再生方法は、システム基準時刻と再生時刻の差分値を計算し、前記差分値がある閾値以下かどうかを判断し、前記差分値が０になれば再生指示を出力する比較ステップと、前回出力したフレームの再生時刻と次回出力するフレームの再生時刻の差分から、フレームの表示時間を計算し、表示時間が経過すると再生指示を出力する表示間隔計算ステップとを含み、前記差分値がある閾値以下の場合には、前記比較ステップの再生指示により再生を行い、前記差分値がある閾値以上である場合には、前記表示間隔計算ステップの表示指示をもとに再生を行うことを特徴とするものである。

本発明の動画再生装置及び動画再生方法によると、ＳＴＣの不連続が発生した場合で、かつビデオデータの表示間隔が動的に変化する場合でも、正確に表示間隔を守りながら表示を継続することができる。

本発明の動画再生装置は、伝送データにおけるプログラム基準時刻とシステム基準時刻との差分を計算し、差分値がある閾値以下の場合には、前記システム基準時刻の校正を行い、ある閾値より大きい場合には前記システム基準時刻の校正を行わないことを特徴とするＳＴＣ校正制御部と、システム基準時刻、またはシステム基準時刻と前記差分値との加算値と、前記再生時刻とを比較し、前記加算値が前記再生時刻に近似する場合は、前記システム基準時刻の校正指示を出力する同期制御部とを備えたことを特徴とするものである。

本発明の動画再生方法は、伝送データにおけるプログラム基準時刻とシステム基準時刻との差分を計算し、差分値がある閾値以下の場合には、前記システム基準時刻の校正を行い、ある閾値より大きい場合には前記システム基準時刻の校正を行わないＳＴＣ校正制御ステップと、システム基準時刻、またはシステム基準時刻と前記差分値との加算値と、再生時刻とを比較し、前記加算値が前記再生時刻に近似する場合は、前記システム基準時刻の校正指示を出力する同期制御ステップとを含むことを特徴とするものである。

本発明の動画再生装置及び動画再生方法によると、ＳＴＣの不連続が発生した場合、ＳＴＣ校正を制御することにより、本来参照すべきＳＴＣカウント値となり、ＳＴＣ同期制御を行うことができる。

本発明の動画再生装置は、伝送データにおけるフレームの再生時刻を取得し、フレーム間の再生時刻の差分値を算出し、前記差分値がある閾値より大きい場合、前記差分値を保持する再生時刻オフセット算出部と、前記再生時刻とシステム基準時刻の差分値がある閾値以下かどうか判断し、差分値が０になれば再生指示を出力し、かつ、前記差分値がある閾値以上である場合、前記システム基準時刻から前記フレーム間の時刻情報の差分値を差し引いて前記再生時刻を比較し、差分値が０になれば再生指示を出力する同期制御部とを備えたことを特徴とするものである。

本発明の動画再生方法は、伝送データにおけるフレームの再生時刻を取得し、フレーム間の再生時刻の差分値を算出し、前記差分値がある閾値より大きい場合、前記差分値を保持する再生時刻オフセット算出ステップと、前記再生時刻とシステム基準時刻の差分値がある閾値以下かどうか判断し、差分値が０になれば再生指示を出力し、かつ、前記差分値がある閾値以上である場合、前記システム基準時刻から前記フレーム間の時刻情報の差分値を差し引いて前記再生時刻を比較し、差分値が０になれば再生指示を出力する同期制御ステップとを含むことを特徴とするものである。

本発明の動画再生装置及び動画再生方法によると、ＳＴＣの不連続が発生した場合、ＳＴＣカウント値にＰＴＳオフセット分減算して参照することにより、本来参照すべきＳＴＣカウント値となり、再生状態において画像の乱れが生じないシームレスな再生を行うことができる。

本発明によれば、画像の表示間隔を算出し、表示間隔をもとに出力制御指示を行うことにより、ＳＴＣの不連続が発生した場合で、かつビデオデータの表示間隔が動的に変化する場合でも、正確に表示間隔を守りながら表示を継続することが可能になり、再生品位が向上する。

また、ＳＴＣカウント値の校正を行い、同期制御を行うことにより、再生状態において画像の乱れが生じないシームレスな再生を行うことができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
本発明の実施の形態１について、図１ないし図６を用いて説明する。

図１は実施の形態１による動画再生装置の構成を示す図である。

図１において、入力端子１００に、ＭＰＥＧ２−ＴＳのストリームが供給される。入力端子１００からＭＰＥＧ２−ＴＳのストリームは、デマルチプレクサ１０１に供給され、デマルチプレクサ１０１により、所望のビデオＰＥＳパケットとオーディオＰＥＳパケットとが分離される。

デマルチプレクサ１０１により分離されたビデオＰＥＳパケットは、ビデオバッファ１０３に供給される。また、デマルチプレクサ１０１により分離されたオーディオＰＥＳパケットは、オーディオバッファ１１０に供給される。

さらに、デマルチプレクサ１０１により、所定タイミング毎のＴＳパケットのアダプテーションフィールドにあるＰＣＲの値が抽出される。

ここで、図２を用いて、ＭＰＥＧ２−ＴＳストリームのデータ構造を説明する。図２において、２００はＭＰＥＧ２−ＴＳストリームである。ＭＰＥＧ２−ＴＳストリーム２００は、１８８バイト固定長の複数のＴＳパケット２０３から構成される。ＭＰＥＧ２−ＴＳパケット２０３はヘッダ２０４とペイロード２０５とからなる。

ヘッダ２０４はＭＰＥＧ２−ＴＳパケット２０３の先頭を示すシンクワード２０６と、ＭＰＥＧ２−ＴＳパケット２０３内のデータ識別子であるＰＩＤ２０７と、ペイロード２０５が有効かどうかを示すアダプテーションフィールドコントロール２０８と、アダプテーションフィールド２０９と、その他の制御フラグ等（図示せず）から構成される。

ＰＣＲはＭＰＥＧ２−ＴＳパケット２０３のアダプテーションフィールド２０９に付加され、ＰＭＴ（プログラムマップテーブル）内から取得したＰＣＲ用のＰＩＤ番号がＰＩＤ２０７に付加されている。

ＭＰＥＧ２−ＴＳストリームには、所定時間毎に、ＰＣＲが付加される。デマルチプレクサ１０１は、ＰＩＤ２０７を取得し、ＰＣＲが付加されていることを示すＰＩＤ番号と一致した場合、アダプテーションフィールド２０９からＰＣＲを抽出する。抽出されたＰＣＲは、ＳＴＣカウンタ１０２に供給される。

なお、入力端子１００に供給されるＭＰＥＧ２−ＴＳは、例えば、地上波デジタル放送或いはＢＳデジタル放送、ＣＳデジタル放送の受信信号を復調して形成される。また、ＭＰＥＧ２−ＴＳのストリームを直接磁気テープやＨＤＤ(Hard Disk Drive)に記録再生する記録再生装置が知られている。入力端子１００には、このような記録再生装置から再生されたＴＳストリームが供給される場合もある。

ＳＴＣカウンタ１０２は、同期基準カウンタとして動作する。例えば、４２ビットのカウンタである。このＳＴＣカウンタ１０２は、所定時間毎に送られてくるＰＣＲの値を初期値として、例えば２７ＭＨｚのステップでカウントされる。このＳＴＣカウンタ１０２の出力は、ビデオ同期制御部１０９及びオーディオ同期制御部１１６に供給される。

デマルチプレクサ１０１で分離されたビデオＰＥＳパケットは、ビデオバッファ１０３に一旦蓄積される。このビデオバッファ１０３に蓄積されたビデオＰＥＳパケットは、フレームバッファ１０５に１フレーム分の空き容量ができたら、すなわち、デコード画像がビデオ出力制御部１０６から出力されたら、ビデオデコーダ１０４に供給される。

ビデオデコーダ１０４では、ビデオＰＥＳパケット内のＰＥＳヘッダから再生時間情報であるＰＴＳと、ＰＥＳパケットデータからビデオ符号化データを抽出する。

ここで、図３を用いて、ＰＥＳパケットのデータ構造を説明する。ＰＥＳパケット３００は、ＰＥＳパケットの先頭を示すパケットスタートコードプリフィックス３０３と、ＰＥＳパケットデータ３０７に含まれるストリームを識別するためのストリームＩＤ３０４と、ＰＥＳパケットの長さを示すＰＥＳパケット長３０５と、ＰＥＳヘッダ３０６と、ストリームデータが格納されるＰＥＳパケットデータ３０７とから構成される。

さらに、ＰＥＳヘッダ３０６には、オプションフィールド３０８とその他の制御フラグ等（図示せず）から構成される。このオプションフィールド３０８内には、ＰＥＳパケットデータ３０７に含まれるストリームの再生時刻情報であるＰＴＳ３０９が格納されている。

ビデオデコーダ１０４は、ＰＥＳパケットデータ３０７内のビデオデータと、ＰＥＳヘッダ３０６のオプションフィールド３０８内のＰＴＳ３０９を抽出する。抽出されたＰＥＳパケットデータは、例えば、ＭＰＥＧ４−ＡＶＣ／Ｈ．２６４方式やＭＰＥＧ４方式の画像復号化処理が行われ、画像データとしてフレームバッファ１０５に格納される。抽出されたＰＴＳはビデオＰＴＳ情報蓄積部１０８に格納される。

ビデオＰＴＳ情報蓄積部１０８は、ビデオデコーダ１０４から取得したＰＴＳとフレームバッファ１０５に格納されている画像データとを対応させながら蓄積を行っている。蓄積されたＰＴＳは画像データが出力されると削除される。さらに、次回出力を行う画像データのＰＴＳをビデオ同期制御部１０９へ出力する。

ビデオ同期制御部１０９はＳＴＣとＰＴＳを比較し、画像出力条件を満たした場合、ビデオ出力制御部１０６に対し出力制御指示を行う。出力制御指示を受けたビデオ出力制御部１０６は、フレームバッファ１０５から画像データを取得し、モニタ１０７へ出力する。

なお、画像出力条件については、後に詳細に説明する。

一方、デマルチプレクサ１０１で分離されたオーディオＰＥＳパケットは、オーディオバッファ１１０に一旦蓄積される。このオーディオバッファ１１０に蓄積されたオーディオＰＥＳパケットは、ＰＣＭバッファ１１２に１フレーム分の空き容量ができたら、すなわち、デコードＰＣＭデータがオーディオ出力制御１１３から出力されたら、オーディオデコーダ１１１に供給される。

オーディオデコーダ１１１では、まず、オーディオＰＥＳパケット内のＰＥＳヘッダから再生時間情報であるＰＴＳと、ＰＥＳパケットデータからオーディオ符号化データを取得する。抽出されたＰＥＳパケットデータは、例えば、ＡＡＣ方式などの復号化処理が行われ、ＰＣＭデータとしてＰＣＭバッファ１１２に格納される。抽出されたＰＴＳはオーディオＰＴＳ情報蓄積部１１５に格納される。

オーディオＰＴＳ情報蓄積部１１５は、オーディオデコーダ１１１から取得したＰＴＳとＰＣＭバッファ１１２に格納されているＰＣＭデータとを対応させながら蓄積を行っている。蓄積されたＰＴＳはＰＣＭデータが出力されると削除される。さらに、次回出力を行うＰＣＭデータのＰＴＳをオーディオ同期制御部１１６へ出力する。

オーディオ同期制御部１１６はＳＴＣとＰＴＳを比較し、出力条件を満たした場合、オーディオ出力制御部１１３に対し出力制御を行う。出力指示を受けたオーディオ出力制御部１１３は、ＰＣＭバッファ１１２からＰＣＭデータを取得し、スピーカ１１４へ出力する。

なお、ここで抽出されているＰＴＳはビデオとオーディオでは異なるものである。

次に、本実施の形態１におけるビデオ部のＳＴＣ同期制御について、図４、図５、図６を参照して詳細に説明する。

図５は、図１におけるビデオ同期制御部１０９の構成を示すものである。なお、オーディオ同期制御部１１６の構成（図示せず）とは異なる。

図５において、ビデオ同期制御部１０９は、ＳＴＣとＰＴＳの比較処理と比較結果より出力制御指示を出力するＳＴＣ／ＰＴＳ比較器５０２と、前回表示したフレームのＰＴＳを保持する遅延器５０３と、次回表示フレームのＰＴＳと前回表示したフレームのＰＴＳを比較し表示間隔を計算し、計算結果を出力する表示間隔計算器５０４と、表示間隔計算器５０４からの計算結果を初期値とし、ＰＴＳと同じクロック周期でデクリメントを行い、カウント値が０になったタイミングで表示制御指示を行うカウンタ５０６と、ＳＴＣとＰＴＳの比較結果からの判断によって、ＳＴＣ／ＰＴＳ比較器５０２からの表示制御指示とカウンタ５０６からの表示制御指示を選択するセレクタ５０５とから構成されている。

ＳＴＣ／ＰＴＳ比較器５０２における、ＳＴＣとＰＴＳの比較処理では、ＰＴＳとＳＴＣの差分値の絶対値、すなわち、
｜ＰＴＳ−ＳＴＣ｜
を計算し、差分値がある閾値（Threshold）よりも小さい、すなわち、
｜ＰＴＳ−ＳＴＣ｜＜Threshold
かどうかを判断する。

上記不等号が正しい場合は、セレクタ５０５をＳＴＣ／ＰＴＳ比較器５０２の出力制御指示が選択されるように切り替え制御を行う。さらに、再度ＳＴＣのカウント値を取得しＰＴＳの比較を、差分値が０になるまで繰り返す。差分値が０になったタイミングで出力制御指示を出力する。

上記不等号が誤りである場合、すなわち閾値より大きい場合は、セレクタ５０５をカウンタ５０６からの出力制御指示が選択されるように切り替え制御を行う。

次に、ビデオ同期制御部１０９の動作を、通常動作時とＳＴＣに不連続が発生する場合とに分けて説明する。

入力端子５００からは次回表示するフレームのＰＴＳが入力され、入力端子５０１からは現在のＳＴＣのカウント値が入力される。ただし、ＳＴＣのカウント値は入力されるときに、ＰＴＳと同じ単位、例えば９０ｋＨｚ単位に変換されているものとする。

通常動作時の場合、すなわち、ＭＰＥＧ２−ＴＳストリームが連続、またはＰＣＲが連続の場合は、図４（ａ）に示すように、ＳＴＣは連続で変化し、ＰＴＳも同様ＳＴＣに追従して変化する。

まず、ＳＴＣ／ＰＴＳ比較器５０２はＳＴＣのカウント値とＰＴＳの差分値｜ＰＴＳ−ＳＴＣ｜を計算する。差分値が、あるThresholdよりも小さい｜ＰＴＳ−ＳＴＣ｜＜Threshold場合、ＳＴＣとＰＴＳが一致するまで、すなわち差分値が０になるまでＳＴＣのカウント値の取得とＰＴＳとの比較を繰り返し、差分値が０になったタイミングで、表示制御指示をセレクタ５０５へ出力する。このとき、セレクタ５０５は、｜ＰＴＳ−ＳＴＣ｜＜Thresholdが成立したため、ＳＴＣ／ＰＴＳ比較器５０２の出力制御指示を選択する。すなわちＢ側を選択している。

これによりＳＴＣ同期制御のビデオ出力制御が可能となる。

ＭＰＥＧ２−ＴＳストリームが不連続、またはＰＣＲが不連続の場合、ＳＴＣはＰＣＲが更新された時点で、図４（ｂ）に示すように、途中で不連続な状態が発生する。しかし、ＰＴＳは少し遅れてＳＴＣに追従するため、ＰＴＳとＳＴＣとが大きく離れている区間、ＡＢ区間（図４（ｂ）ではＰＴＳはＳＴＣに対して遅れている）が発生する。このＡＢ区間では、ＳＴＣ／ＰＴＳ比較器５０２で計算する差分値｜ＰＴＳ−ＳＴＣ｜がThresholdよりも大きい、すなわち、
｜ＰＴＳ−ＳＴＣ｜＞Threshold
であり、制御不能と判断し、セレクタ５０５をカウンタ５０６の出力制御指示に切り替える。すなわちＡ側を選択する。

一方、表示間隔計算器５０４は、前回出力したフレームのＰＴＳと次回出力するＰＴＳの差分値、
｜ＰＴＳ（ｎ）−ＰＴＳ（ｎ−１）｜
すなわち前回出力したフレームの表示時間を計算し、結果をカウンタ５０６へ出力する。カウンタ５０６はこの表示時間を初期値として、ＰＴＳと同じ単位のクロック周期でデクリメントを行い、０になったタイミング、すなわち、前回出力中の画像の表示期間が完了した時点で、次のフレームの出力指示を行う。これにより、ＳＴＣとＰＴＳが同期していない場合でも、適切な表示間隔でフレームを出力することが可能となる。

ＡＢ区間が終わった次のフレーム、図４（ｂ）のＰＴＳ（ｂ＋１）では、ＰＴＳはＳＴＣに追従し始めたので、差分値｜ＰＴＳ−ＳＴＣ｜はThresholdより小さくなる。結果、セレクタ５０５をＢ側であるＳＴＣ／ＰＴＳ比較器５０２に切替え、再びＳＴＣ／ＰＴＳ比較器５０２からの出力制御指示が行われるようになる。すなわち、ＳＴＣと同期したで画像出力が行われるようになる。

ビデオ部のＳＴＣ同期制御の処理シーケンスを、図６のフローチャートを参照して説明する。

まず、ステップ６０１で次回出力するフレームのＰＴＳをビデオＰＴＳ情報蓄積部１０８から取得する。ステップ６０２で現在のＳＴＣのカウント値を取得する。ステップ６０３で取得したＰＴＳとＳＴＣの差分値を計算する。ステップ６０４でその差分値がある閾値（Threshold）より大きいかどうかを判断する。

差分値がThresholdより小さい場合、ステップ６０５へ進み、セレクタ５０５がＰＴＳ／ＳＴＣ比較器５０２の出力を選択するように設定する。ステップ６０６で再度現在のＳＴＣのカウント値を取得し、ステップ６０７でＰＴＳとＳＴＣの差分値を計算する。差分値が０より大きければ、ステップ６０６へ戻り、差分値が０になれば、ＰＴＳとＳＴＣが一致したため、ビデオ出力制御部１０６へ出力制御指示を行う（ステップ６０８）。

ステップ６０４で差分値がThresholdより大きい場合、ステップ６０９へ進み、保存しておいた前回出力を行ったフレームのＰＴＳと次回表示を行うフレームのＰＴＳとの差分、ＰＴＳ（ｎ）−ＰＴＳ（ｎ−１）を計算し、表示間隔を算出する。ステップ６１０では、算出された表示間隔を初期値としてカウンタにセットする。ステップ６１１では、カウンタはカウント値の１デクリメントを行う。ステップ６１２でカウンタが０かどうかを判断し、０でない場合はステップ６１１へ戻る。カウンタが０になった場合、ステップ６１３で表示指示を行う。

最後に、表示指示が完了した時点で、ステップ６１４で表示指示を行った現在のフレームのＰＴＳを、次回の表示間隔算出のために保存する。保存完了後、再度ステップ６０１へ戻り、次のフレームの表示を行うための処理を行う。

以上を繰り返すことにより、表示を継続する。

このように構成された動画再生装置及び動画再生方法によれば、ＭＰＥＧ２−ＴＳストリームが不連続、またはＰＣＲが不連続による、ＳＴＣの不連続が発生した場合で、かつビデオデータの表示間隔が動的に変化する場合でも、正確に表示間隔を守りながら表示を継続することが可能になり、再生品位が向上する。

（実施の形態２）
本発明の実施の形態２について、図７ないし図１０を用いて説明する。

図７は実施の形態２による動画再生装置の構成を示す図である。図７は、図１に示した実施の形態１の動画再生装置の構成において、ＰＣＲ−ＳＴＣ校正制御部７１７と、ＳＴＣ校正指示出力を行うビデオ同期制御部７０９を備えたものである。なお、図１と同一部分には同一符号を付してその説明を省略する。

同期基準カウンタとして動作するＳＴＣカウンタ１０２は、所定時間毎に送られてくるＰＣＲの値により、ＳＴＣのカウント値が校正される。送られてくるＰＣＲが不連続であった場合に、ビデオ同期制御部７０９で参照するＳＴＣが不連続な状態となり、ＳＴＣ同期制御が不可能となる。

そのため、ＳＴＣ校正のタイミングを制御するＰＣＲ−ＳＴＣ校正制御部７１７、ビデオ同期制御部７０９を備えることにより、ＰＣＲが不連続であった場合でもＳＴＣ同期制御を行うことができる。

次に、ＰＣＲ−ＳＴＣ校正制御部７１７、ビデオ同期制御部７０９について、説明する。

ＰＣＲ−ＳＴＣ校正制御部７１７は、デマルチプレクサ１０１から出力されたＰＣＲと現在のＳＴＣとの差分値の絶対値、すなわち、
｜ＰＣＲ−ＳＴＣ｜
を計算し保持する。

また、ビデオ同期制御部７０９からＰＣＲ−ＳＴＣ校正制御部７１７に対し、ＳＴＣのカウント値校正指示制御が行われると、ＳＴＣのカウント値が校正される。

ビデオ同期制御部７０９は、ＳＴＣとＰＴＳとの差分値｜ＳＴＣ−ＰＴＳ｜と、ＰＣＲ−ＳＴＣ差分情報にＳＴＣを加算した値ＳＴＣ＋｜ＰＣＲ−ＳＴＣ｜とＰＴＳとの差分値｜ＳＴＣ＋｜ＰＣＲ−ＳＴＣ｜−ＰＴＳ｜を比較し、画像出力条件を満たした場合、ビデオ出力制御部１０６に対し出力指示制御を行う。

ＰＣＲ−ＳＴＣ校正制御部７１７の動作を説明する。デマルチプレクサ１０１により抽出されたＰＣＲと現在のＳＴＣのカウント値との差分値の絶対値、すなわち、
｜ＰＣＲ−ＳＴＣ｜
を計算し、差分値が、ある閾値(Threshold)以下、すなわち、
｜ＰＣＲ−ＳＴＣ｜≦Threshold
かどうかを判断する。

上記不等号が正しい場合は、ＳＴＣのカウント値をＰＣＲの値に校正する。

上記不等号が誤りである場合、すなわち閾値より大きい場合は、ＳＴＣの校正を行わない。

ビデオ同期制御部７０９の動作を説明する。

ＳＴＣとＰＴＳとの差分を計算し、ＰＴＳ−ＳＴＣ差分値｜ＰＴＳ−ＳＴＣ｜を抽出し、前記差分値と、ＳＴＣにＰＣＲ−ＳＴＣ差分値｜ＰＣＲ−ＳＴＣ｜を加算した値とＰＴＳとの差分値｜ＳＴＣ＋｜ＰＣＲ−ＳＴＣ｜−ＰＴＳ｜とを比較し、前者が後者以下、すなわち、
｜ＰＴＳ−ＳＴＣ｜≦｜ＳＴＣ＋｜ＰＣＲ−ＳＴＣ｜−ＰＴＳ｜
の場合、ＳＴＣとＰＴＳが一致するまで、すなわち０になるまで待ち、ビデオ出力制御部１０６に対し出力制御指示を行う。

一方、
｜ＰＴＳ−ＳＴＣ｜＞｜ＳＴＣ＋｜ＰＣＲ−ＳＴＣ｜−ＰＴＳ｜
が成立する場合は、ＰＣＲ−ＳＴＣ校正制御部７１７に対し、ＳＴＣ＋｜ＰＣＲ−ＳＴＣ｜の値をＳＴＣのカウント値に設定する校正指示制御を行う。ＳＴＣの校正後、ＳＴＣとＰＴＳが一致するまで待ち、ビデオ出力制御部１０６に対し出力指示を行う。

次に、図７におけるＰＣＲ−ＳＴＣ校正制御部７１７、及びビデオ同期制御部７０９の処理シーケンスを、図８、図９、図１０を参照し説明する。

図８は、ＰＣＲ−ＳＴＣ校正制御部７１７におけるＳＴＣ校正制御のフローチャートである。

図８において、まず、ステップ８０１で現在のＳＴＣのカウント値を取得する。

デマルチプレクサ７０１から供給されたＰＣＲとステップ８０１で取得したＳＴＣを減算することで、ステップ８０２で、ＰＣＲ−ＳＴＣ差分値の絶対値｜ＰＣＲ−ＳＴＣ｜を設定する。

ステップ８０３で、設定したＰＣＲ−ＳＴＣ差分値の絶対値｜ＰＣＲ−ＳＴＣ｜が、ある所定の閾値以上か否かを判断する。所定の閾値未満である場合は、ステップ８０４でＳＴＣをＰＣＲの値に校正し、ステップ８０５でＰＣＲ−ＳＴＣ差分値｜ＰＣＲ−ＳＴＣ｜をクリアし、終了する。ステップ８０３で所定の閾値以上である場合は、ＰＣＲの値をＳＴＣに校正せずに、ステップ８０５でＰＣＲ−ＳＴＣ差分値｜ＰＣＲ−ＳＴＣ｜をクリアし、終了する。

図９は、ＰＣＲ−ＳＴＣ校正制御部７１７におけるＳＴＣ校正指示制御のフローチャートである。

図９において、まず、ステップ９０１で現在のＳＴＣのカウント値を取得する。次にステップ９０２で、ＰＣＲ−ＳＴＣ差分値の絶対値｜ＰＣＲ−ＳＴＣ｜をＳＴＣのカウント値に加算し、ステップ９０３でＳＴＣのカウント値の校正を行う。

図１０は、ビデオ同期制御部７０９での処理を示すフローチャートである。

図１０において、まずステップ１００１で、次に表示するフレームのＰＴＳを取得する。ステップ１００２でより現在のＳＴＣのカウンタ値を取得する。ステップ１００３でＰＣＲ−ＳＴＣ校正制御部７１７で取得したＰＣＲ−ＳＴＣ差分値の絶対値｜ＰＣＲ−ＳＴＣ｜を参照する。また、ステップ１００２で取得したＳＴＣのカウント値にＰＣＲ−ＳＴＣ差分値の絶対値｜ＰＣＲ−ＳＴＣ｜を加算する。ここでいうＰＣＲ−ＳＴＣ差分値の絶対値｜ＰＣＲ−ＳＴＣ｜は、ＰＣＲ−ＳＴＣ校正制御部７１７で抽出した値である。

ステップ１００４では、ＰＴＳ―ＳＴＣ差分値の絶対値｜ＰＴＳ−ＳＴＣ｜と、ＳＴＣにＰＣＲ−ＳＴＣ差分値の絶対値｜ＰＣＲ−ＳＴＣ｜を加算した値からＰＴＳを減算した値とを比較する。

ステップ１００４で比較した結果が、
｜ＰＴＳ−ＳＴＣ｜≦ＳＴＣ＋｜ＰＣＲ−ＳＴＣ｜−ＰＴＳ
の場合、ステップ１００５で再度、現在のＳＴＣを取得し、ステップ１００６で差分値が０になるまで待ち、０になれば一致した為、ステップ１００７でビデオ出力制御部１０６へ出力指示を行う。

ステップ１００４で比較した結果が、
｜ＰＴＳ−ＳＴＣ｜＞ＳＴＣ＋｜ＰＣＲ−ＳＴＣ｜−ＰＴＳ
の場合、ステップ１００８でＰＣＲ−ＳＴＣ校正制御部７１７に対しＳＴＣ校正指示を行う。ＳＴＣ校正後、ステップ１００５以降のステップを行う。

以上を繰り返すことにより、表示を継続する。

このように構成された動画再生装置及び動画再生方法によれば、ＭＰＥＧ２−ＴＳストリームが不連続、またはＰＣＲが不連続によるＳＴＣ不連続が発生した場合でも、ＳＴＣ校正を制御することにより、本来参照すべきＳＴＣカウント値となり、ＳＴＣ同期制御を行うことができる。

（実施の形態３）
本発明の実施の形態３について、図１１ないし図１３を用いて説明する。

図１１は実施の形態３による動画再生装置の構成を示す図である。図１１は、図１に示した実施の形態１の動画再生装置の構成において、ＰＴＳオフセット算出部１１１７を備えたものである。なお、図１と同一部分には同一符号を付してその説明を省略する。

ＰＴＳオフセット算出部１１１７は、デマルチプレクサ１０１からビデオバッファ１０３に送られるビデオデータのＰＴＳをウオッチしていき、変化点を検出し、ＰＴＳオフセットを算出する。

図１２は、ビデオデータが再生される時刻を示すＰＴＳの値の相互の関係を、横軸を経過時間、縦軸をＰＴＳとして示したものである。ＰＴＳオフセット算出部１１１７は、ＰＴＳ３０９（図３）の値をウオッチしていき、現フレームにおけるＰＴＳと前フレームのＰＴＳの差分値の絶対値、すなわち、
｜ＰＴＳ（ｒ）−ＰＴＳ（ｒ−１）｜ （rを現フレーム番号とする）
を計算し、差分値がある閾値（Threshold1）よりも大きい、すなわち、
｜ＰＴＳ（ｒ）−ＰＴＳ（ｒ−１）｜＞Threshold1
である場合、変化点とする。
ここで、ＰＴＳの保持手段としては、遅延器を用いて実現する。図１２では、Ａ点を変化点とする。変化点Ａの現フレームのＰＴＳと前フレームのＰＴＳの差分値の絶対値、すなわち、
｜ＰＴＳ（ｒ）−ＰＴＳ（ｒ−１）｜
をＰＴＳオフセットとする。

ビデオ同期制御部１０９は、ＳＴＣとＰＴＳの差分値の絶対値、すなわち、
｜ＰＴＳ−ＳＴＣ｜
を計算し、差分値がある閾値（Threshold2）よりも小さい、すなわち、
｜ＰＴＳ−ＳＴＣ｜＜Threshold2
かどうかを判断する。ここで、閾値Threshold1と閾値Threshold2は、同じとする。

上記不等号が正しい場合は、ＳＴＣのカウント値を取得しＰＴＳの比較を、差分値が０になるまで繰り返す。差分値が０になったタイミングで表示制御指示を出力する。

上記不等号が誤りである場合、すなわち閾値より大きい場合は、ＳＴＣのカウント値とＰＴＳオフセット算出部１１１７からＰＴＳオフセットを取得し、ＳＴＣカウント値をＰＴＳオフセットの差分値の絶対値、すなわち、
｜ＳＴＣのカウント値−ＰＴＳオフセット｜
を算出し、この値とＰＴＳの比較を０になるまで繰り返す。差分値が０になったタイミングで表示制御指示を出力する。

ビデオ部のＳＴＣ同期制御の処理シーケンスを図１３のフローチャートを参照して説明する。

まず、ステップ１３０１で、デマルチプレクサ１０１からビデオバッファ１０３に送られるＰＴＳをウオッチしていき、変化点を検出し、現フレームにおけるＰＴＳと前フレームのＰＴＳの差分値の絶対値、ＰＴＳオフセット｜ＰＴＳ（ｒ）−ＰＴＳ（ｒ−１）｜を算出する。ステップ１３０２で現在のＳＴＣのカウント値を取得する。ステップ１３０３で取得したＰＴＳとＳＴＣの差分値を計算する。ステップ１３０４でその差分値がある閾値（Threshold）より大きいかどうかを判断する。

差分値がThresholdより小さい場合、ステップ１３０５へ進み、現在のＳＴＣのカウント値を取得し、ステップ１３０６でＰＴＳとＳＴＣの差分値を計算する。差分値が０より大きければ、ステップ１３０５へ戻り、差分値が０になれば、ＰＴＳとＳＴＣが一致したため、ビデオ出力制御部１０６へ出力制御指示を行う（ステップ１３０７）。

ステップ１３０４で差分値がThresholdより大きい場合、ステップ１３０８へ進み、ＰＴＳオフセット算出部の算出したＰＴＳオフセットを取得し、ＳＴＣカウント値をＰＴＳオフセットの差分値とＰＴＳの差分値を計算する（ステップ１３０９）。ステップ１３１０で、差分値が０より大きければ、ステップ１３０９へ戻り、差分値が０になれば、ＰＴＳとＳＴＣが一致したため、ビデオ出力制御部１０６へ出力制御指示を行う（ステップ１３０７）。

このように構成された動画再生装置及び動画再生方法によれば、ＭＰＥＧ２−ＴＳストリームが不連続、またはＰＣＲが不連続によるＳＴＣの不連続が発生した場合で、ＳＴＣカウント値にＰＴＳオフセット分減算して参照することにより、本来参照すべきＳＴＣカウント値となり、再生状態において画像の乱れが生じないシームレスな再生を行うことができる。

本発明にかかる動画再生装置及び動画再生方法は、デジタルＢＳ放送、デジタルＣＳ放送や地上波デジタル放送で送られるＭＰＥＧ２−ＴＳのストリームを再生する際に有用である。

本発明の実施の形態１に係る動画再生装置の構成を示すブロック図 本発明の実施の形態１に係るＭＰＥＧ２−ＴＳストリームのデータ構造図 本発明の実施の形態１に係るＰＥＳパケットのデータ構造図 本発明の実施の形態１に係るＰＴＳとＳＴＣの関係図 本発明の実施の形態１に係るビデオ同期制御部の構成を示すブロック図 本発明の実施の形態１に係る同期制御におけるフローチャート 本発明の実施の形態２に係る動画再生装置の構成を示すブロック図 本発明の実施の形態２に係るＳＴＣ校正制御におけるフローチャート 本発明の実施の形態２に係るＳＴＣ校正指示制御におけるフローチャート 本発明の実施の形態２に係る同期制御におけるフローチャート 本発明の実施の形態３に係る動画再生装置の構成を示すブロック図 本発明の実施の形態３に係るＰＴＳと時間の関係図 本発明の実施の形態３に係る同期制御におけるフローチャート

符号の説明

１００，５００，５０１ 入力端子
１０１ デマルチプレクサ
１０２ ＳＴＣ
１０３ ビデオバッファ
１０４ ビデオデコーダ
１０５ フレームバッファ
１０６ ビデオ出力制御部
１０７ モニタ
１０８ ビデオＰＴＳ情報蓄積部
１０９，７０９ ビデオ同期制御部
１１０ オーディオバッファ
１１１ オーディオデコーダ
１１２ ＰＣＭバッファ
１１３ オーディオ出力制御部
１１４ スピーカ
１１５ オーディオＰＴＳ情報蓄積部
１１６ オーディオ同期制御部
５０２ ＳＴＣ／ＰＴＳ比較器
５０３ 遅延器
５０４ 表示間隔計算器
５０５ セレクタ
５０６ カウンタ
７１７ ＰＣＲ−ＳＴＣ校正制御部
１１１７ ＰＴＳオフセット算出部

Claims (6)

1. ビデオデータ、及びオーディオデータと、時間情報とが多重化された伝送データを入力とし、前記時間情報にはシステム基準時刻と再生時刻とを含み、前記再生時刻と前記システム基準時刻とを比較し、前記システム基準時刻が前記再生時刻と一致したら再生する動画再生装置において、
   前記システム基準時刻と前記再生時刻の差分値を計算し、前記差分値がある閾値以下かどうかを判断し、前記差分値が０になれば再生指示を出力する比較器と、
   前回出力したフレームの再生時刻と次回出力するフレームの再生時刻の差分から、フレームの表示時間を計算し、表示時間が経過すると再生指示を出力する表示間隔計算器とを備え、
   前記差分値がある閾値以下の場合には、前記比較器の再生指示により再生を行い、前記差分値がある閾値以上である場合には、前記表示間隔計算器の表示指示をもとに再生を行うことを特徴とする動画再生装置。
2. 伝送データにおけるプログラム基準時刻とシステム基準時刻との差分を計算し、差分値がある閾値以下の場合には、前記システム基準時刻の校正を行い、ある閾値より大きい場合には前記システム基準時刻の校正を行わないことを特徴とするＳＴＣ校正制御部と、
   システム基準時刻、またはシステム基準時刻と前記差分値との加算値と、前記再生時刻とを比較し、前記加算値が前記再生時刻に近似する場合は、前記システム基準時刻の校正指示を出力する同期制御部とを備えたことを特徴とする動画再生装置。
3. 伝送データにおけるフレームの再生時刻を取得し、フレーム間の再生時刻の差分値を算出し、前記差分値がある閾値より大きい場合、前記差分値を保持する再生時刻オフセット算出部と、
   前記再生時刻とシステム基準時刻の差分値がある閾値以下かどうか判断し、差分値が０になれば再生指示を出力し、かつ、前記差分値がある閾値以上である場合、前記システム基準時刻から前記フレーム間の時刻情報の差分値を差し引いて前記再生時刻を比較し、差分値が０になれば再生指示を出力する同期制御部とを備えたことを特徴とする動画再生装置。
4. システム基準時刻と再生時刻の差分値を計算し、前記差分値がある閾値以下かどうかを判断し、前記差分値が０になれば再生指示を出力する比較ステップと、
   前回出力したフレームの再生時刻と次回出力するフレームの再生時刻の差分から、フレームの表示時間を計算し、表示時間が経過すると再生指示を出力する表示間隔計算ステップとを含み、
   前記差分値がある閾値以下の場合には、前記比較ステップの再生指示により再生を行い、前記差分値がある閾値以上である場合には、前記表示間隔計算ステップの表示指示をもとに再生を行うことを特徴とする動画再生方法。
5. 伝送データにおけるプログラム基準時刻とシステム基準時刻との差分を計算し、差分値がある閾値以下の場合には、前記システム基準時刻の校正を行い、ある閾値より大きい場合には前記システム基準時刻の校正を行わないＳＴＣ校正制御ステップと、
   システム基準時刻、またはシステム基準時刻と前記差分値との加算値と、再生時刻とを比較し、前記加算値が前記再生時刻に近似する場合は、前記システム基準時刻の校正指示を出力する同期制御ステップとを含むことを特徴とする動画再生方法。
6. 伝送データにおけるフレームの再生時刻を取得し、フレーム間の再生時刻の差分値を算出し、前記差分値がある閾値より大きい場合、前記差分値を保持する再生時刻オフセット算出ステップと、
   前記再生時刻とシステム基準時刻の差分値がある閾値以下かどうか判断し、差分値が０になれば再生指示を出力し、かつ、前記差分値がある閾値以上である場合、前記システム基準時刻から前記フレーム間の時刻情報の差分値を差し引いて前記再生時刻を比較し、差分値が０になれば再生指示を出力する同期制御ステップとを含むことを特徴とする動画再生方法。

Images