JP4208398B2 - 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置 - Google Patents
動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置 Download PDFInfo
- Publication number
- JP4208398B2 JP4208398B2 JP2000305604A JP2000305604A JP4208398B2 JP 4208398 B2 JP4208398 B2 JP 4208398B2 JP 2000305604 A JP2000305604 A JP 2000305604A JP 2000305604 A JP2000305604 A JP 2000305604A JP 4208398 B2 JP4208398 B2 JP 4208398B2
- Authority
- JP
- Japan
- Prior art keywords
- time information
- bit stream
- decoding
- frame
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
- H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば互いに関連したオーディオ信号及び動画像信号を別個に圧縮して多重したマルチメディア情報を受信し、分離、伸張したオーディオ信号及び動画像信号を、同期をとって再生するマルチメディア情報受信装置に係り、特に動画像信号復号再生装置の改良に関する。
【０００２】
【従来の技術】
一般に、オーディオ信号及び動画像信号を多重したマルチメディア情報を伝送するマルチメディア情報伝送システムにあっては、送信側ではオーディオ、動画像それぞれの符号化処理部において両者の同期を取って処理する必要があり、受信側ではオーディオと動画像の再生タイミングが一致するように復号化処理部において両者の出力を同期させなければない。このようにオーディオと動画像の同期を可能とするために、国際標準の符号化方式であるＭＰＥＧ（Moving Pictures Experts Group）−１及びＭＰＥＧ−２等では、プレゼンテーションタイムスタンプ（ＰＴＳ：Presentation Time Stamp）という再生出力時刻管理情報を使い、復号器のシステムタイムクロック（ＳＴＣ：System Time Clock）という基準同期時刻がタイムスタンプ（ＰＴＳ）で管理される時刻に一致した時に、オーディオ信号、動画像信号をそれぞれ再生出力することが規定されている。
【０００３】
例えば、ＭＰＥＧ−２システムでは、オーディオ信号と動画像信号を多重する場合に、オーディオ信号、動画像信号を符号化したビットストリームをグループ化し、可変長の長さでパケット化してＰＥＳ（Packetized Elementary Stream）と呼ばれるパケットを生成する。このとき、各ＰＥＳパケット中に１つのタイムスタンプ（ＰＴＳ）を付加する。１つのＰＥＳパケット中に複数フレームの動画像ビットストリームが存在する場合には、最初のフレームに対応するタイムスタンプ（ＰＴＳ）だけを付加する。このため、残りのフレームに関してはタイムスタンプ（ＰＴＳ）が存在しない。
【０００４】
但し、ＭＰＥＧ−２の動画像符号化方式では、１フレームの動画像ビットストリーム長が長いため、１つのＰＥＳパケット中に複数のフレームの動画像ビットストリームが存在することはほとんどない。また、フレーム間隔が一定であるため、個々のフレームのタイムスタンプ（ＰＴＳ）が存在しなくても、最初のフレームのタイムスタンプ（ＰＴＳ）から表示時刻をほぼ正確に推定することが可能である。
【０００５】
一方、現在、動画像符号化方式として、伝送速度が低い移動体通信（無線通信）等での利用を想定したＭＰＥＧ−４の規格制定が進められている。このＭＰＥＧ−４ビデオ符号化方式では、ビットストリーム内の各VOP（フレーム）のヘッダに各VOPに対する再生時刻を示すタイムスタンプを付加する事が規定されている。ただし、このタイムスタンプはシステムタイムクロックではなく、ビデオ独自の制度のクロックで表された値である。
【０００６】
ここで、１つのＰＥＳパケットで１フレームの動画像ビットストリームをパケット化したとする。この場合、１フレームの動画像ビットストリーム長が短い場合にはＰＥＳパケット長も短くなる。ところが、ＰＥＳパケット内にフレームに対応する実データ３３ビットのタイムスタンプ（ＰＴＳ）を付加するため、パケット長に対してオーバヘッド（多重化のための追加データ）が大きくなり、全体の伝送効率が低下してしまう。
【０００７】
そこで、１つのＰＥＳパケットで複数のフレームの動画像ビットストリームをパケット化し、そのＰＥＳパケット中に最初のフレームに対応するタイムスタンプ（ＰＴＳ）のみを付加することが考えられる。しかしながら、ＭＰＥＧ−４ではフレーム間隔が一定になるとは限らない。この場合、ＰＥＳパケット中に最初のフレーム以外のタイムスタンプ（ＰＴＳ）が存在しないことから、残りのフレームに関しては正確な再生時刻がわからなくなってしまうことになる。
【０００８】
【発明が解決しようとする課題】
以上述べたように、伝送速度が低い移動体通信等での利用を想定したＭＰＥＧ−４では、動画像ビットストリームを１フレーム毎にＰＥＳパケット化した場合には、パケット中にフレームに対応するタイムスタンプ（ＰＴＳ）を付加すると、パケット長に対してオーバヘッドが大きくなってしまう。また、複数フレームの動画像ビットストリームをパケット化し、そのパケット中に先頭フレームに対応するタイムスタンプ（ＰＴＳ）のみを付加した場合には、他のフレームについては正確な再生時刻がわからなくなってしまう。
【０００９】
本発明は、上記の問題を解決するためになされたもので、１フレームの動画像ビットストリーム長が可変であり、全てのフレームの動画像ビットストリームに動画像自身の時刻管理情報が付加される動画像符号化方式が採用され、１フレームの動画像ビットストリーム毎にパケット化されている場合、複数フレームの動画像ビットストリームがまとめられてパケット化されている場合のいずれの場合でも、全フレームの動画像ビットストリームの正確な再生時刻を求めることのできる動画像復号再生装置と、この装置を用いて動画像と音声を正確に同期再生することのできるマルチメディア情報受信装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために本発明には、動画像信号を符号化した動画像ビットストリームのフレームヘッダに動画像ビットストリーム内部時刻管理情報を付加し、１または複数のフレームの動画像ビットストリームをパケット化し、そのパケット中に少なくとも１以上のフレームに対応する再生時刻管理情報を付加して伝送するシステムの動画像復号再生装置において、前記再生時刻管理情報が付加されているフレームの動画像ビットストリームについては、その復号動画像信号を前記再生時刻管理情報で指定される再生時刻に出力し、前記再生時刻管理情報が付加されていないフレームの動画像ビットストリームについては、そのフレーム以前にある最初の再生時刻管理情報とそのフレームの動画像ビットストリームのヘッダに付加されている動画像ビットストリーム内部時刻管理情報から再生時刻を求め、この再生時刻にそのフレームの復号動画像信号を出力することを特徴とする。
【００１１】
具体的には、前記パケットから前記動画像ビットストリーム及び再生時刻管理情報を分離する分離部と、この分離部で分離された動画像ビットストリーム及び再生時刻管理情報を蓄積する入力バッファ部と、この入力バッファ部から１フレーム毎に動画像ビットストリーム及び再生時刻管理情報を読み出して復号し、そのフレームヘッダに付加された復号時刻管理情報により指定される復号時刻情報と、そのフレームに対応する再生時刻管理情報があるときはその情報により指定される再生時刻情報を出力する動画像信号復号部と、この動画像信号復号部で復号された動画像信号を記憶するフレームメモリ部と、このフレームメモリ部に記憶された動画像信号を再生指示に従って出力する画像出力部と、前記動画像復号部から動画像信号独立時刻情報、再生時刻情報を受け取り、前記再生時刻情報があるフレームについてはその情報で指定される再生時刻に前記画像出力部に動画像信号を出力するように指示し、前記再生時刻情報がないフレームについてはそのフレーム以前にある最初の再生時刻管理情報とそのフレームの動画像ビットストリームのヘッダに付加されている動画像ビットストリーム内部時刻管理情報から再生時刻を求め、この再生時刻に前記画像出力部に動画像信号を出力するように指示する時間制御部とを具備することを特徴とする。
【００１２】
上記構成によれば、１フレームの動画像ビットストリーム長が可変であり、全てのフレームの動画像ビットストリームに動画像自身の時刻管理情報が付加される動画像符号化方式が採用され、１フレームの動画像ビットストリーム毎にパケット化されている場合、複数フレームの動画像ビットストリームがまとめられてパケット化されている場合のいずれの場合でも、全フレームの動画像ビットストリームの正確な再生時刻を求めることが可能となる。
【００１３】
前記再生時刻は、システムが持つ基準時刻により管理するものとする。これにより、他の再生信号との同期を図ることができる。
【００１４】
前記パケット中に複数のフレームに対応する再生時刻管理情報が付加されているときは、前記再生時刻管理情報が付加されたフレームの復号動画像信号を選択的に出力するものとする。これにより、再生時刻管理情報が付加されているフレームでのランダムアクセスが可能となる。
【００１５】
また、本発明に係るマルチメディア情報受信装置は、互いに関連する動画像信号及び音声信号をそれぞれ符号化した動画像ビットストリーム及び音声ビットストリームを、それぞれパケット化し多重して生成されたマルチメディア情報を伝送するシステムに用いられる装置であって、前記マルチメディア情報の動画像パケットについては、前記動画像ビットストリームのフレームヘッダに動画像ビットストリーム内部時刻管理情報が付加され、１または複数のフレームの動画像ビットストリームがパケット化され、そのパケット中に前記音声信号の再生と同期をとるために少なくとも１以上のフレームに対応する再生時刻管理情報が付加されているとき、前記マルチメディア情報の各パケットから動画像ビットストリーム、音声ビットストリーム、音声、動画像各々に対する再生時刻管理情報をそれぞれ分離する分離部と、この分離部で分離された音声ビットストリームを復号し、復号された音声信号を音声に対する再生時刻管理情報に基づいて再生出力する音声復号再生部と、前記分離部で分離された動画像ビットストリーム及び動画像に対する再生時刻管理情報を取り込んで、前記再生時刻管理情報が付加されているフレームの動画像ビットストリームについては、その復号動画像信号を前記再生時刻管理情報で指定される再生時刻に出力し、前記再生時刻管理情報が付加されていないフレームの動画像ビットストリームについては、そのフレーム以前にある最初の再生時刻管理情報とそのフレームの動画像ビットストリームのヘッダに付加されている動画像ビットストリーム内部時刻管理情報から再生時刻を求め、この再生時刻にそのフレームの復号動画像信号を出力する動画像復号再生部とを具備することを特徴とする。
【００１６】
特に、前記動画像復号再生部は、前記分離部で分離された動画像ビットストリーム及び再生時刻管理情報を蓄積する入力バッファ部と、この入力バッファ部から１フレーム毎に動画像ビットストリーム及び再生時刻管理情報を読み出して復号し、そのフレームヘッダに付加された動画像ビットストリーム内部時刻管理情報により指定される復号時刻情報と、そのフレームに対応する再生時刻管理情報があるときはその情報により指定される再生時刻情報を出力する動画像信号復号部と、この動画像信号復号部で復号された動画像信号を記憶するフレームメモリ部と、このフレームメモリ部に記憶された動画像信号を再生指示に従って出力する画像出力部と、前記動画像信号復号部から動画像独立時刻情報、再生時刻情報を受け取り、前記再生時刻情報があるフレームについてはその情報で指定される再生時刻に前記画像出力部に動画像信号を出力するように指示し、前記再生時刻情報がないフレームについてはそのフレーム以前にある最初の再生時刻管理情報とそのフレームの動画像ビットストリームのヘッダに付加されている動画像ビットストリーム内部時刻管理情報から再生時刻を求め、この再生時刻に前記画像出力部に動画像信号を出力するように指示する時間制御部とを備えることを特徴とする。
【００１７】
上記構成によれば、マルチメディア情報を構成するパケットに動画像ビットストリームを含み、１フレームの動画像ビットストリーム長が可変であり、全てのフレームの動画像ビットストリームに動画像自身の時刻管理情報が付加される動画像符号化方式が採用されているとき、１フレームの動画像ビットストリーム毎にパケット化されている場合、複数フレームの動画像ビットストリームがまとめられてパケット化されている場合のいずれの場合でも、全フレームの動画像ビットストリームの正確な再生時刻を求めることが可能となる。
【００１８】
前記再生時刻は、システムが持つ基準時刻により管理するものとする。これにより、動画像信号の再生を音声信号と再生と同期させることが可能となる。
【００１９】
前記パケット中に複数のフレームに対応する再生時刻管理情報が付加されているとき、前記再生時刻管理情報が付加されたフレームの復号動画像信号を選択的に出力するようにする。これにより、再生時刻管理情報が付加されているフレームでのランダムアクセスが可能となる。
【００２０】
すなわち、本発明は、例えばＭＰＥＧ−４を動画像符号化方式として採用する場合、動画像ビットストリームのヘッダ情報内にフレームの動画像ビットストリーム内部時刻管理情報が挿入されていることを利用し、１フレームに対して、フレームの再生用タイムスタンプがシステムパケットに付加されている場合は、タイムスタンプを再生時刻情報として採用し、フレームの再生用タイムスタンプが付加されていない場合は、動画像ビットストリームのヘッダ情報内にある復号時刻情報を採用することを特徴とするものである。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２２】
図１は本発明に係るマルチメディア情報受信装置の一実施形態として、携帯電話機に本発明を適用した場合の全体構成を示すブロック図である。この携帯電話機ＭＳは、無線部１と、ベースバンド部２と、入出力部３と、電源部４とから構成される。
【００２３】
同図において、基地局（図示せず）から移動通信システム用の無線回線を介して到来した無線周波信号は、アンテナ１１で受信されたのちアンテナ共用器（ＤＵＰ）１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は、高周波増幅器、周波数変換器及び復調器を備える。そして、上記無線信号を低雑音増幅器で低雑音増幅したのち、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局部発振信号とミキシングして受信中間周波信号又は受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調する。復調方式としては、例えばＱＰＳＫ方式に対応した直交復調方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局部発振信号周波数は、ベースバンド部２に設けられた主制御部２１から指示される。
【００２４】
上記復調器から出力された復調信号はベースバンド部２に入力される。ベースバンド部２は、主制御部２１と、多重分離部２２と、音声符号復号部（以後音声コーデックと呼称する）２３と、画像処理部２４と、ＬＣＤ制御部２５と、システムタイムクロック部（ＳＴＣ部）２６とを備えている。システムタイムクロックとは、受信側内部の基準クロックで、例えば２７ＭＨｚのクロックであり、位相を調整して受信側との同期をとることができるようになっている。
【００２５】
上記復調信号は、主制御部２１において制御情報であるかマルチメディア情報であるかが識別され、マルチメディア情報であれば多重分離部２２に供給されてここで音声データと画像データとに分離され、それぞれタイムスタンプと共に出力される。
【００２６】
音声データは音声コーデック２３に供給され、音声復号された後、システムタイムクロック部２６から供給されるクロックと音声パケットに付加されているタイムスタンプ（ＰＴＳ）に基づいて入出力部３のスピーカ３２から出力される。また、画像データは画像処理部２４に供給され、画像復号された後、システムタイムクロック部２６から供給されるクロックと画像データパケットに付加されているタイムスタンプ（ＰＴＳ）に基づいてＬＣＤ制御部２５を介して入出力部３のＬＣＤ３４に供給され表示される。
【００２７】
尚、上記ＬＣＤ３４には、主制御部２１から出力された自装置の動作状態を表す種々情報、例えば電話帳や受信電界強度検出値、バッテリの残量なども表示される。
【００２８】
一方、入出力部３のマイクロホン３１から出力されたユーザの送話音声信号は、ベースバンド部２の音声コーデック２３に入力され、ここで音声符号化されたのち多重分離部２２に入力される。またカメラ（ＣＡＭ）３３から出力された画像信号は、ベースバンド部２の画像処理部２４に入力され、ここでＭＰＥＧ−４による画像符号化処理が施された後、上記多重分離部２２に入力される。多重分離部２２では、上記符号化された音声データと画像データとがＭＰＥＧ−２システムで規定される所定のフォーマットで多重化される。この多重化された送信データは主制御部２１から無線部１の送信回路（ＴＸ）１５に入力される。
【００２９】
送信回路１５は、変調器、周波数変換器及び送信電力増幅器を備える。上記送信データは、変調器でディジタル変調されたのち、周波数変換器により周波数シンセサイザ１４から発生された送信局部発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としては、ＱＰＳＫ方式が用いられる。そして、この生成された送信無線周波信号は、送信電力増幅器で所定の送信レベルに増幅されたのち、アンテナ共用器１２を介してアンテナ１１に供給され、このアンテナ１１から図示しない基地局に向け送信される。
【００３０】
尚、電源部４には、リチウムイオン電池等のバッテリ４１と、このバッテリ４１を充電するための充電回路４２と、電圧生成回路（ＰＳ）４３とが設けられている。電圧生成回路４３は、例えばＤＣ／ＤＣコンバータからなり、バッテリ４１の出力電圧をもとに所定の電源電圧Ｖccを生成する。
【００３１】
また入出力部４には、操作時及び通信時にＬＣＤ３４及びキー入力部３５を照明するための照明器３６が設けられている。この照明器３６は、例えばバックライト又はイルミネーションと呼ばれる。
【００３２】
また主制御部２１は、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどからなる内部メモリを備えたもので、無線チャネルの接続制御や通信リンク確立後の通信制御等、通常の制御機能を備えている。
【００３３】
図２は、上記画像処理部２４に本発明を適用した場合の具体的な構成を示すブロック図である。
【００３４】
図２において、上記カメラ３３から出力された動画像信号は、画像入力部２４１でディジタル化された後、フレームメモリ２４２に記憶される。動画像信号符号化部２４３は、フレームメモリ２４２に記憶された動画像データをＭＰＥＧ−４の動画像符号化方式で圧縮符号化し、フレーム毎にヘッダ情報としてタイムスタンプを付加して動画像ビットストリームを生成する。この動画像符号化部２４３から出力される動画像ビットストリームは出力バッファ２４４を介して多重分離部２２に供給され、音声コーデック２３で符号化されたマイク入力の音声ビットストリームとＭＰＥＧ−２システムに準拠した形式で多重されて、マルチメディア情報として送信される。
【００３５】
ここで、上記多重分離部２２では、１フレーム毎、または複数フレーム毎にパケット化してＰＥＳパケットを生成する。このとき、ＰＥＳパケット中に音声と同期した再生出力用のタイムスタンプ（ＰＴＳ）が付加される。その方法としては、動画像ビットストリームをVOP（フレーム）単位でPESパケット化する場合と、複数のVOPフレーム単位でPESパケット化する場合がある。
【００３６】
また、上記多重分離部２２では、ＰＥＳパケットを固定長のＴＳ（Transport Stream）パケットに変換する。このＴＳパケットのヘッダには、送信側と受信側のシステムクロックの時刻同期を図るためのシステム時刻参照値（PＣＲ：Program Clock Reference）が付加される。
【００３７】
上記のようにして生成されたマルチメディア情報が受信された場合、多重分離部２２は受信したＴＳパケットからＰＥＳパケットを復元し、各ＰＥＳパケットから音声ビットストリームと動画像ビットストリームとを分離し、音声ビットストリームを音声コーデック２３に送出してスピーカ３２に再生させ、動画像ビットストリームを画像処理部２４に送出する。このとき、ＰＥＳパケット中に付加されたタイムスタンプ（ＰＴＳ）を動画像ビットストリームに付加しておく。
【００３８】
この付加の方法は、例えば動画像ビットストリームをフレーム単位でＰＥＳパケットとする場合に、図３（ａ）に示すように全てのＶＯＰヘッダ情報（ＶＯＰスタートコード）の前にタイムスタンプ（ＰＴＳ）を付加する方法、ｎフレームの動画像ビットストリームをまとめてＰＥＳパケットとする場合に、図３（ｂ）に示すように最初のＶＯＰヘッダ情報の前にのみタイムスタンプ（ＰＴＳ）を付加する方法、図３（ｃ）に示すように途中のＶＯＰヘッダ情報の前にもタイムスタンプ（ＰＴＳ）を付加する方法がある。尚、図３において、ＶＯＰデータは１フレーム分の動画像ビットストリームを意味する。
【００３９】
また、多重分離部２２は受信したＴＳパケットのシステム時刻参照値（PＣＲ）をSTC部２６へ送る。STC部は、送られたPCRから自身のクロックを送信側に同期した形に補正し、音声コーデック２３、画像処理部２４に供給し、同期再生の基準とさせる。
【００４０】
画像処理部２４では、多重分離部２２からの動画像ビットストリーム及びタイムスタンプ（ＰＴＳ）は入力バッファ２４５に蓄積される。動画像信号復号部２４６は入力バッファ２４５に蓄えられた動画像ビットストリーム及びタイムスタンプ（ＰＴＳ）を復号し、復号されたフレームに対応したタイムスタンプ（ＰＴＳ）及び動画像ビットストリームのヘッダ情報に含まれる再生時刻を示すタイムスタンプの情報を時間制御部２４７に与え、復号した画像データをフレームメモリ２４８に蓄える。
【００４１】
また、多重分離部２２から与えられるSCRにより補正されたシステムタイムクロック（ＳＴＣ）は時間制御部２４７に与えられる。この時間制御部２４７はシステムタイムクロック（ＳＴＣ）が動画像信号復号部２４６からの再生出力用タイムスタンプ（ＰＴＳ）と一致した時刻または動画像自身用のタイムスタンプに相当する時間だけ過ぎた時刻に画像出力部２４９へ画像データの出力要求を送出する。
【００４２】
画像出力部２４９は、時間制御部２４７から出力要求を受け付けると、フレームメモリ２４８から画像データを読み出し、ＬＣＤ制御部２５を通じてＬＣＤ３４に表示させ、時間制御部２４７へ出力完了通知を送出する。時間制御部２４７は画像出力部２４９から出力完了通知を受け付けると、入力バッファ２４５ヘの読み出し要求を送出し、動画像信号復号部２４６に次のフレームの復号を開始させる。
【００４３】
上記構成による画像処理部２４において、以下、本発明による動画像再生処理として第１乃至第３の実施形態を説明する。
【００４４】
まず、第１の実施形態として、フレーム毎にＰＥＳパケットが構成され、図３（ａ）に示すように全てのＶＯＰヘッダ情報（ＶＯＰスタートコード）の前にタイムスタンプ（ＰＴＳ）が付加されている場合を考える。図４に本実施形態の画像データ出力タイミング図を示す。
【００４５】
各ＰＥＳパケット中に付加されたタイムスタンプをそれぞれＰＴＳ＃０，ＰＴＳ＃１…とし、それから得られる再生時刻をＴＳ０，ＴＳ１…する。この場合、全てのフレームについてタイムスタンプ（ＰＴＳ）が得られるので、システムタイムクロック（ＳＴＣ）によって示される時刻ｔがｔ≧ＴＳ０（＝Ｔ０）でフレーム♯０の画像（ＶＯＰデータの復号出力画像）を表示し、ｔ≧ＴＳ１（＝Ｔ１）でフレーム♯１の画像を表示する。
【００４６】
次に、本発明の第２の実施形態として、ｎ個のフレームをまとめてＰＥＳパケットを構成し、図３（ｂ）に示すように最初のＶＯＰヘッダ情報の前にのみタイムスタンプ（ＰＴＳ）が付加されている場合を考える。図５に本実施形態の画像データ出力タイミング図を示す。
【００４７】
先頭フレーム♯０のＶＯＰヘッダ情報の前に付加された再生用タイムスタンプＰＴＳ＃０による時刻をＴＳ０、フレーム♯０のＶＯＰヘッダ情報内のタイムスタンプB−ＴＳ＃０による時刻をＴＢ０、次のフレーム♯１のＶOＰヘッダ情報内のタイムスタンプB−ＴＳ＃１による時刻をＴＢ１とする。
【００４８】
まず、フレーム♯０については再生時刻ＴＳ０を決めるタイムスタンプＰＴＳ＃１が得られるので、基準時刻ｔがｔ≧ＴＳ０（＝Ｔ０）でフレーム♯０の画像を表示する。次に、フレーム＃１については再生用タイムスタンプＰＴＳが得られないので、フレーム＃１のＶＯＰヘッダ情報中の復号用タイムスタンプＢ−ＴＳ＃１を利用する。この場合、フレーム♯１の表示時刻Ｔ１を
Ｔ１＝ＴＳ０＋（ＴＢ１−ＴＢ０）
とし、ｔ≧Ｔ１でフレーム＃１の画像を表示する。以後、同様にして、最終的にフレーム＃ｎのＶＯＰヘッダ情報内の復号用タイムスタンプＢ−ＴＳ＃ｎによる時刻をＴＢｎとすると、フレーム＃ｎの表示時刻Ｔｎ（ｎはｎ≧１の整数）は
Ｔｎ＝ＴＳ０＋（ＴＢｎ−ＴＢ０）
となり、ｔ≧Ｔｎでフレーム＃ｎの画像を表示する。
【００４９】
この実施形態の場合、ＴＳ０が動画像を表示するための初期遅延時間と考えることができるので、オーディオ信号と動画像信号間で同期を取って多重化するシステムにおいて、初期遅延時間を正確に設定することが可能となる。
【００５０】
本発明の第３の実施形態として、ｎ個のフレームをまとめてＰＥＳパケットを構成し、図３（ｃ）に示すように、途中のＶＯＰヘッダ情報の前にもタイムスタンプ情報が付加されている場合を考える。この途中のＶＯＰヘッダ情報の前というのは、例えば、２秒間等の一定時間間隔でのＶＯＰヘッダ情報の前でもよく、Ｉピクチャ（Ｉ−ＶＯＰ）のＶＯＰヘッダ情報の前としてもよい。また、ＭＰＥG−４の動画像ビットストリームは、Configuration Information（ＣＩ）と呼ばれる部分とElementary Stream（ＥＳ）と呼ばれる２つの部分に大別され、ＣＩはＥＳに対して少なくとも１つ存在するが、動画像ビットストリーム内にＣＩは何度挿入されてもよく、このＣＩが挿入された後のＶＯＰヘッダ情報の前としてもよい。
【００５１】
図６に本実施形態の画像データ出力タイミング図を示す。例えば第２に実施形態のようにフレーム＃０にタイムスタンプ（ＰＴＳ０）が付加され、さらにフレーム＃ｍ（ｍは１＜ｍ＜ｎの整数）のＶOＰヘッダ情報の前にタイムスタンプ（ＴＳｍ）が付加されていた場合、フレーム＃ｍ-1の表示時刻をＴｍ-1、フレーム＃ｍの表示時刻をＴｍ、フレーム＃ｎの表示時刻をＴｎとすると、
Ｔｍ-１＝ＴＳ０＋（ＴＢｍ-１−ＴＢ０）
Ｔｍ＝ＴＳｍ
Ｔｎ＝ＴＳｍ＋（ＴＢｎ−ＴＢｍ）
とする。この場合、フレーム＃ｍ-１では、フレーム＃０の再生用タイムスタンプＰＴＳ＃０による時刻ＴＳ０とフレーム＃ｍ-１のＶＯＰヘッダ情報内の復号用タイムスタンプＢ−ＴＳ＃ｍ-１による時刻ＴＢｍ-１を基準として表示時刻を計算し、ｔ≧Ｔｍ-１でフレーム＃ｍ-１の画像を表示する。また、フレーム＃ｍでは、再生用タイムスタンプＰＴＳ＃ｍによる時刻ＴＳｍを表示時刻とし、ｔ≧Ｔｍでフレーム＃ｍの画像を表示する。また、フレーム＃ｎでは、フレーム＃ｍの再生用タイムスタンプＰＴＳｍとフレーム＃ｎのＶＯＰヘッダ情報内の時間情報による時刻ＴＢｎを基準として表示時刻を計算し、ｔ≧Ｔｎでフレーム＃ｎの画像を表示する。
【００５２】
この実施形態の場合、特に移動体通信（無線通信）等の伝送品質に低い伝送路で利用したとき、動画像ビットストリーム内のタイムスタンプに誤りが混入され、誤った時刻情報で画像が表示されてしまうことが考えられるが、ＰＥＳパケットの途中で付加された再生用タイムスタンプ（ＰＴＳ）を表示時刻とすることにより、誤った時刻情報がより信頼性の高いシステム時刻情報にリセットされることになる。
【００５３】
また、本実施形態のように、タイムスタンプ情報を動画像ビットストリーム内の途中に挿入する場合、動画像ビットストリーム内のタイムスタンプ情報を検索し、その時点から復号することが可能となるため、動画像ビットストリーム内のタイムスタンプ情報が付加されたフレームに対してランダムアクセスが可能となる。
【００５４】
したがって、以上の実施形態による画像処理部の復号再生処理構成によれば、フレーム毎に再生用タイムスタンプ（ＰＴＳ）が動画像ビットストリームに付加されている場合は、動画像ビットストリームのヘッダ情報に付加されているタイムスタンプではなく、再生用タイムスタンプ（ＰＴＳ）を再生時刻情報として採用し、再生用タイムスタンプ（ＰＴＳ）が動画像ビットストリームに付加されていない場合は、動画像ビットストリームのヘッダ情報に付加されているタイムスタンプからフレームの再生時刻情報を換算するようにしているので、必ずしもフレーム毎にタイムスタンプを持つ必要がなくなり、動画像信号の１フレームに対するオーバヘッドを軽減することが可能となる。また、初期遅延時間の設定及び再生用タイムスタンプ（ＰＴＳ）情報が付加されたフレームでのランダムアクセスが可能という効果も得られる。
【００５５】
尚、以上の実施形態は、本発明を携帯電話機の画像処理部に適用した場合の例であるが、本発明はこれに限定されるものではなく、ＭＰＥＧ−４システムまたはこれに類似する規格を採用するマルチメディア情報伝送システムの受信装置にも適用可能である。
【００５６】
【発明の効果】
以上のように、１フレームの動画像ビットストリーム長が可変であり、全てのフレームの動画像ビットストリームに復号用の時刻管理情報が付加される動画像符号化方式が採用され、１フレームの動画像ビットストリーム毎にパケット化されている場合、複数フレームの動画像ビットストリームがまとめられてパケット化されている場合のいずれの場合でも、全フレームの動画像ビットストリームの正確な再生時刻を求めることのできる動画像復号再生装置と、この装置を用いて動画像と音声を正確に同期再生することのできるマルチメディア情報受信装置を提供することができる。
【図面の簡単な説明】
【図１】 本発明に係るマルチメディア情報受信装置の一実施形態として、携帯電話機に本発明を適用した場合の全体構成を示すブロック図。
【図２】 図１の画像処理部に本発明を適用した場合の具体的な構成を示すブロック図。
【図３】 図１の多重分離部において、ＰＥＳパケット生成の際に、動画像ビットストリームに再生用タイムスタンプを付加する３種類の方法を説明するための動画像ビットストリーム構成を示す図。
【図４】 本発明の第１の実施形態を説明するための画像データ出力タイミング図。
【図５】 本発明の第２の実施形態を説明するための画像データ出力タイミング図。
【図６】 本発明の第３の実施形態を説明するための画像データ出力タイミング図。
【符号の説明】
ＭＳ…携帯電話機
１…無線部
１１…アンテナ
１２…アンテナ共用器（ＤＵＰ）
１３…受信回路（ＲＸ）
１４…周波数シンセサイザ（ＳＹＮ）
１５…送信回路（ＴＸ）
２…ベースバンド部
２１…主制御部
２２…多重分離部
２３…音声符号復号部（音声コーデック）
２４…画像処理部
２４１…画像入力部
２４２…フレームメモリ
２４３…動画像信号符号化部
２４４…出力バッファ
２４５…入力バッファ
２４６…動画像信号復号部
２４７…時間制御部
２４８…フレームメモリ
２４９…画像出力部
２５…ＬＣＤ制御部
２６…システムタイムクロック部（ＳＴＣ部）
３…入出力部
３１…マイクロホン
３２…スピーカ
３３…カメラ（ＣＡＭ）
３４…ＬＣＤ
３５…キー入力部
３６…照明器
４…電源部
４１…バッテリ
４２…充電回路
４３…電圧生成回路（ＰＳ）
【発明の属する技術分野】
本発明は、例えば互いに関連したオーディオ信号及び動画像信号を別個に圧縮して多重したマルチメディア情報を受信し、分離、伸張したオーディオ信号及び動画像信号を、同期をとって再生するマルチメディア情報受信装置に係り、特に動画像信号復号再生装置の改良に関する。
【０００２】
【従来の技術】
一般に、オーディオ信号及び動画像信号を多重したマルチメディア情報を伝送するマルチメディア情報伝送システムにあっては、送信側ではオーディオ、動画像それぞれの符号化処理部において両者の同期を取って処理する必要があり、受信側ではオーディオと動画像の再生タイミングが一致するように復号化処理部において両者の出力を同期させなければない。このようにオーディオと動画像の同期を可能とするために、国際標準の符号化方式であるＭＰＥＧ（Moving Pictures Experts Group）−１及びＭＰＥＧ−２等では、プレゼンテーションタイムスタンプ（ＰＴＳ：Presentation Time Stamp）という再生出力時刻管理情報を使い、復号器のシステムタイムクロック（ＳＴＣ：System Time Clock）という基準同期時刻がタイムスタンプ（ＰＴＳ）で管理される時刻に一致した時に、オーディオ信号、動画像信号をそれぞれ再生出力することが規定されている。
【０００３】
例えば、ＭＰＥＧ−２システムでは、オーディオ信号と動画像信号を多重する場合に、オーディオ信号、動画像信号を符号化したビットストリームをグループ化し、可変長の長さでパケット化してＰＥＳ（Packetized Elementary Stream）と呼ばれるパケットを生成する。このとき、各ＰＥＳパケット中に１つのタイムスタンプ（ＰＴＳ）を付加する。１つのＰＥＳパケット中に複数フレームの動画像ビットストリームが存在する場合には、最初のフレームに対応するタイムスタンプ（ＰＴＳ）だけを付加する。このため、残りのフレームに関してはタイムスタンプ（ＰＴＳ）が存在しない。
【０００４】
但し、ＭＰＥＧ−２の動画像符号化方式では、１フレームの動画像ビットストリーム長が長いため、１つのＰＥＳパケット中に複数のフレームの動画像ビットストリームが存在することはほとんどない。また、フレーム間隔が一定であるため、個々のフレームのタイムスタンプ（ＰＴＳ）が存在しなくても、最初のフレームのタイムスタンプ（ＰＴＳ）から表示時刻をほぼ正確に推定することが可能である。
【０００５】
一方、現在、動画像符号化方式として、伝送速度が低い移動体通信（無線通信）等での利用を想定したＭＰＥＧ−４の規格制定が進められている。このＭＰＥＧ−４ビデオ符号化方式では、ビットストリーム内の各VOP（フレーム）のヘッダに各VOPに対する再生時刻を示すタイムスタンプを付加する事が規定されている。ただし、このタイムスタンプはシステムタイムクロックではなく、ビデオ独自の制度のクロックで表された値である。
【０００６】
ここで、１つのＰＥＳパケットで１フレームの動画像ビットストリームをパケット化したとする。この場合、１フレームの動画像ビットストリーム長が短い場合にはＰＥＳパケット長も短くなる。ところが、ＰＥＳパケット内にフレームに対応する実データ３３ビットのタイムスタンプ（ＰＴＳ）を付加するため、パケット長に対してオーバヘッド（多重化のための追加データ）が大きくなり、全体の伝送効率が低下してしまう。
【０００７】
そこで、１つのＰＥＳパケットで複数のフレームの動画像ビットストリームをパケット化し、そのＰＥＳパケット中に最初のフレームに対応するタイムスタンプ（ＰＴＳ）のみを付加することが考えられる。しかしながら、ＭＰＥＧ−４ではフレーム間隔が一定になるとは限らない。この場合、ＰＥＳパケット中に最初のフレーム以外のタイムスタンプ（ＰＴＳ）が存在しないことから、残りのフレームに関しては正確な再生時刻がわからなくなってしまうことになる。
【０００８】
【発明が解決しようとする課題】
以上述べたように、伝送速度が低い移動体通信等での利用を想定したＭＰＥＧ−４では、動画像ビットストリームを１フレーム毎にＰＥＳパケット化した場合には、パケット中にフレームに対応するタイムスタンプ（ＰＴＳ）を付加すると、パケット長に対してオーバヘッドが大きくなってしまう。また、複数フレームの動画像ビットストリームをパケット化し、そのパケット中に先頭フレームに対応するタイムスタンプ（ＰＴＳ）のみを付加した場合には、他のフレームについては正確な再生時刻がわからなくなってしまう。
【０００９】
本発明は、上記の問題を解決するためになされたもので、１フレームの動画像ビットストリーム長が可変であり、全てのフレームの動画像ビットストリームに動画像自身の時刻管理情報が付加される動画像符号化方式が採用され、１フレームの動画像ビットストリーム毎にパケット化されている場合、複数フレームの動画像ビットストリームがまとめられてパケット化されている場合のいずれの場合でも、全フレームの動画像ビットストリームの正確な再生時刻を求めることのできる動画像復号再生装置と、この装置を用いて動画像と音声を正確に同期再生することのできるマルチメディア情報受信装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために本発明には、動画像信号を符号化した動画像ビットストリームのフレームヘッダに動画像ビットストリーム内部時刻管理情報を付加し、１または複数のフレームの動画像ビットストリームをパケット化し、そのパケット中に少なくとも１以上のフレームに対応する再生時刻管理情報を付加して伝送するシステムの動画像復号再生装置において、前記再生時刻管理情報が付加されているフレームの動画像ビットストリームについては、その復号動画像信号を前記再生時刻管理情報で指定される再生時刻に出力し、前記再生時刻管理情報が付加されていないフレームの動画像ビットストリームについては、そのフレーム以前にある最初の再生時刻管理情報とそのフレームの動画像ビットストリームのヘッダに付加されている動画像ビットストリーム内部時刻管理情報から再生時刻を求め、この再生時刻にそのフレームの復号動画像信号を出力することを特徴とする。
【００１１】
具体的には、前記パケットから前記動画像ビットストリーム及び再生時刻管理情報を分離する分離部と、この分離部で分離された動画像ビットストリーム及び再生時刻管理情報を蓄積する入力バッファ部と、この入力バッファ部から１フレーム毎に動画像ビットストリーム及び再生時刻管理情報を読み出して復号し、そのフレームヘッダに付加された復号時刻管理情報により指定される復号時刻情報と、そのフレームに対応する再生時刻管理情報があるときはその情報により指定される再生時刻情報を出力する動画像信号復号部と、この動画像信号復号部で復号された動画像信号を記憶するフレームメモリ部と、このフレームメモリ部に記憶された動画像信号を再生指示に従って出力する画像出力部と、前記動画像復号部から動画像信号独立時刻情報、再生時刻情報を受け取り、前記再生時刻情報があるフレームについてはその情報で指定される再生時刻に前記画像出力部に動画像信号を出力するように指示し、前記再生時刻情報がないフレームについてはそのフレーム以前にある最初の再生時刻管理情報とそのフレームの動画像ビットストリームのヘッダに付加されている動画像ビットストリーム内部時刻管理情報から再生時刻を求め、この再生時刻に前記画像出力部に動画像信号を出力するように指示する時間制御部とを具備することを特徴とする。
【００１２】
上記構成によれば、１フレームの動画像ビットストリーム長が可変であり、全てのフレームの動画像ビットストリームに動画像自身の時刻管理情報が付加される動画像符号化方式が採用され、１フレームの動画像ビットストリーム毎にパケット化されている場合、複数フレームの動画像ビットストリームがまとめられてパケット化されている場合のいずれの場合でも、全フレームの動画像ビットストリームの正確な再生時刻を求めることが可能となる。
【００１３】
前記再生時刻は、システムが持つ基準時刻により管理するものとする。これにより、他の再生信号との同期を図ることができる。
【００１４】
前記パケット中に複数のフレームに対応する再生時刻管理情報が付加されているときは、前記再生時刻管理情報が付加されたフレームの復号動画像信号を選択的に出力するものとする。これにより、再生時刻管理情報が付加されているフレームでのランダムアクセスが可能となる。
【００１５】
また、本発明に係るマルチメディア情報受信装置は、互いに関連する動画像信号及び音声信号をそれぞれ符号化した動画像ビットストリーム及び音声ビットストリームを、それぞれパケット化し多重して生成されたマルチメディア情報を伝送するシステムに用いられる装置であって、前記マルチメディア情報の動画像パケットについては、前記動画像ビットストリームのフレームヘッダに動画像ビットストリーム内部時刻管理情報が付加され、１または複数のフレームの動画像ビットストリームがパケット化され、そのパケット中に前記音声信号の再生と同期をとるために少なくとも１以上のフレームに対応する再生時刻管理情報が付加されているとき、前記マルチメディア情報の各パケットから動画像ビットストリーム、音声ビットストリーム、音声、動画像各々に対する再生時刻管理情報をそれぞれ分離する分離部と、この分離部で分離された音声ビットストリームを復号し、復号された音声信号を音声に対する再生時刻管理情報に基づいて再生出力する音声復号再生部と、前記分離部で分離された動画像ビットストリーム及び動画像に対する再生時刻管理情報を取り込んで、前記再生時刻管理情報が付加されているフレームの動画像ビットストリームについては、その復号動画像信号を前記再生時刻管理情報で指定される再生時刻に出力し、前記再生時刻管理情報が付加されていないフレームの動画像ビットストリームについては、そのフレーム以前にある最初の再生時刻管理情報とそのフレームの動画像ビットストリームのヘッダに付加されている動画像ビットストリーム内部時刻管理情報から再生時刻を求め、この再生時刻にそのフレームの復号動画像信号を出力する動画像復号再生部とを具備することを特徴とする。
【００１６】
特に、前記動画像復号再生部は、前記分離部で分離された動画像ビットストリーム及び再生時刻管理情報を蓄積する入力バッファ部と、この入力バッファ部から１フレーム毎に動画像ビットストリーム及び再生時刻管理情報を読み出して復号し、そのフレームヘッダに付加された動画像ビットストリーム内部時刻管理情報により指定される復号時刻情報と、そのフレームに対応する再生時刻管理情報があるときはその情報により指定される再生時刻情報を出力する動画像信号復号部と、この動画像信号復号部で復号された動画像信号を記憶するフレームメモリ部と、このフレームメモリ部に記憶された動画像信号を再生指示に従って出力する画像出力部と、前記動画像信号復号部から動画像独立時刻情報、再生時刻情報を受け取り、前記再生時刻情報があるフレームについてはその情報で指定される再生時刻に前記画像出力部に動画像信号を出力するように指示し、前記再生時刻情報がないフレームについてはそのフレーム以前にある最初の再生時刻管理情報とそのフレームの動画像ビットストリームのヘッダに付加されている動画像ビットストリーム内部時刻管理情報から再生時刻を求め、この再生時刻に前記画像出力部に動画像信号を出力するように指示する時間制御部とを備えることを特徴とする。
【００１７】
上記構成によれば、マルチメディア情報を構成するパケットに動画像ビットストリームを含み、１フレームの動画像ビットストリーム長が可変であり、全てのフレームの動画像ビットストリームに動画像自身の時刻管理情報が付加される動画像符号化方式が採用されているとき、１フレームの動画像ビットストリーム毎にパケット化されている場合、複数フレームの動画像ビットストリームがまとめられてパケット化されている場合のいずれの場合でも、全フレームの動画像ビットストリームの正確な再生時刻を求めることが可能となる。
【００１８】
前記再生時刻は、システムが持つ基準時刻により管理するものとする。これにより、動画像信号の再生を音声信号と再生と同期させることが可能となる。
【００１９】
前記パケット中に複数のフレームに対応する再生時刻管理情報が付加されているとき、前記再生時刻管理情報が付加されたフレームの復号動画像信号を選択的に出力するようにする。これにより、再生時刻管理情報が付加されているフレームでのランダムアクセスが可能となる。
【００２０】
すなわち、本発明は、例えばＭＰＥＧ−４を動画像符号化方式として採用する場合、動画像ビットストリームのヘッダ情報内にフレームの動画像ビットストリーム内部時刻管理情報が挿入されていることを利用し、１フレームに対して、フレームの再生用タイムスタンプがシステムパケットに付加されている場合は、タイムスタンプを再生時刻情報として採用し、フレームの再生用タイムスタンプが付加されていない場合は、動画像ビットストリームのヘッダ情報内にある復号時刻情報を採用することを特徴とするものである。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２２】
図１は本発明に係るマルチメディア情報受信装置の一実施形態として、携帯電話機に本発明を適用した場合の全体構成を示すブロック図である。この携帯電話機ＭＳは、無線部１と、ベースバンド部２と、入出力部３と、電源部４とから構成される。
【００２３】
同図において、基地局（図示せず）から移動通信システム用の無線回線を介して到来した無線周波信号は、アンテナ１１で受信されたのちアンテナ共用器（ＤＵＰ）１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は、高周波増幅器、周波数変換器及び復調器を備える。そして、上記無線信号を低雑音増幅器で低雑音増幅したのち、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局部発振信号とミキシングして受信中間周波信号又は受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調する。復調方式としては、例えばＱＰＳＫ方式に対応した直交復調方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局部発振信号周波数は、ベースバンド部２に設けられた主制御部２１から指示される。
【００２４】
上記復調器から出力された復調信号はベースバンド部２に入力される。ベースバンド部２は、主制御部２１と、多重分離部２２と、音声符号復号部（以後音声コーデックと呼称する）２３と、画像処理部２４と、ＬＣＤ制御部２５と、システムタイムクロック部（ＳＴＣ部）２６とを備えている。システムタイムクロックとは、受信側内部の基準クロックで、例えば２７ＭＨｚのクロックであり、位相を調整して受信側との同期をとることができるようになっている。
【００２５】
上記復調信号は、主制御部２１において制御情報であるかマルチメディア情報であるかが識別され、マルチメディア情報であれば多重分離部２２に供給されてここで音声データと画像データとに分離され、それぞれタイムスタンプと共に出力される。
【００２６】
音声データは音声コーデック２３に供給され、音声復号された後、システムタイムクロック部２６から供給されるクロックと音声パケットに付加されているタイムスタンプ（ＰＴＳ）に基づいて入出力部３のスピーカ３２から出力される。また、画像データは画像処理部２４に供給され、画像復号された後、システムタイムクロック部２６から供給されるクロックと画像データパケットに付加されているタイムスタンプ（ＰＴＳ）に基づいてＬＣＤ制御部２５を介して入出力部３のＬＣＤ３４に供給され表示される。
【００２７】
尚、上記ＬＣＤ３４には、主制御部２１から出力された自装置の動作状態を表す種々情報、例えば電話帳や受信電界強度検出値、バッテリの残量なども表示される。
【００２８】
一方、入出力部３のマイクロホン３１から出力されたユーザの送話音声信号は、ベースバンド部２の音声コーデック２３に入力され、ここで音声符号化されたのち多重分離部２２に入力される。またカメラ（ＣＡＭ）３３から出力された画像信号は、ベースバンド部２の画像処理部２４に入力され、ここでＭＰＥＧ−４による画像符号化処理が施された後、上記多重分離部２２に入力される。多重分離部２２では、上記符号化された音声データと画像データとがＭＰＥＧ−２システムで規定される所定のフォーマットで多重化される。この多重化された送信データは主制御部２１から無線部１の送信回路（ＴＸ）１５に入力される。
【００２９】
送信回路１５は、変調器、周波数変換器及び送信電力増幅器を備える。上記送信データは、変調器でディジタル変調されたのち、周波数変換器により周波数シンセサイザ１４から発生された送信局部発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としては、ＱＰＳＫ方式が用いられる。そして、この生成された送信無線周波信号は、送信電力増幅器で所定の送信レベルに増幅されたのち、アンテナ共用器１２を介してアンテナ１１に供給され、このアンテナ１１から図示しない基地局に向け送信される。
【００３０】
尚、電源部４には、リチウムイオン電池等のバッテリ４１と、このバッテリ４１を充電するための充電回路４２と、電圧生成回路（ＰＳ）４３とが設けられている。電圧生成回路４３は、例えばＤＣ／ＤＣコンバータからなり、バッテリ４１の出力電圧をもとに所定の電源電圧Ｖccを生成する。
【００３１】
また入出力部４には、操作時及び通信時にＬＣＤ３４及びキー入力部３５を照明するための照明器３６が設けられている。この照明器３６は、例えばバックライト又はイルミネーションと呼ばれる。
【００３２】
また主制御部２１は、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどからなる内部メモリを備えたもので、無線チャネルの接続制御や通信リンク確立後の通信制御等、通常の制御機能を備えている。
【００３３】
図２は、上記画像処理部２４に本発明を適用した場合の具体的な構成を示すブロック図である。
【００３４】
図２において、上記カメラ３３から出力された動画像信号は、画像入力部２４１でディジタル化された後、フレームメモリ２４２に記憶される。動画像信号符号化部２４３は、フレームメモリ２４２に記憶された動画像データをＭＰＥＧ−４の動画像符号化方式で圧縮符号化し、フレーム毎にヘッダ情報としてタイムスタンプを付加して動画像ビットストリームを生成する。この動画像符号化部２４３から出力される動画像ビットストリームは出力バッファ２４４を介して多重分離部２２に供給され、音声コーデック２３で符号化されたマイク入力の音声ビットストリームとＭＰＥＧ−２システムに準拠した形式で多重されて、マルチメディア情報として送信される。
【００３５】
ここで、上記多重分離部２２では、１フレーム毎、または複数フレーム毎にパケット化してＰＥＳパケットを生成する。このとき、ＰＥＳパケット中に音声と同期した再生出力用のタイムスタンプ（ＰＴＳ）が付加される。その方法としては、動画像ビットストリームをVOP（フレーム）単位でPESパケット化する場合と、複数のVOPフレーム単位でPESパケット化する場合がある。
【００３６】
また、上記多重分離部２２では、ＰＥＳパケットを固定長のＴＳ（Transport Stream）パケットに変換する。このＴＳパケットのヘッダには、送信側と受信側のシステムクロックの時刻同期を図るためのシステム時刻参照値（PＣＲ：Program Clock Reference）が付加される。
【００３７】
上記のようにして生成されたマルチメディア情報が受信された場合、多重分離部２２は受信したＴＳパケットからＰＥＳパケットを復元し、各ＰＥＳパケットから音声ビットストリームと動画像ビットストリームとを分離し、音声ビットストリームを音声コーデック２３に送出してスピーカ３２に再生させ、動画像ビットストリームを画像処理部２４に送出する。このとき、ＰＥＳパケット中に付加されたタイムスタンプ（ＰＴＳ）を動画像ビットストリームに付加しておく。
【００３８】
この付加の方法は、例えば動画像ビットストリームをフレーム単位でＰＥＳパケットとする場合に、図３（ａ）に示すように全てのＶＯＰヘッダ情報（ＶＯＰスタートコード）の前にタイムスタンプ（ＰＴＳ）を付加する方法、ｎフレームの動画像ビットストリームをまとめてＰＥＳパケットとする場合に、図３（ｂ）に示すように最初のＶＯＰヘッダ情報の前にのみタイムスタンプ（ＰＴＳ）を付加する方法、図３（ｃ）に示すように途中のＶＯＰヘッダ情報の前にもタイムスタンプ（ＰＴＳ）を付加する方法がある。尚、図３において、ＶＯＰデータは１フレーム分の動画像ビットストリームを意味する。
【００３９】
また、多重分離部２２は受信したＴＳパケットのシステム時刻参照値（PＣＲ）をSTC部２６へ送る。STC部は、送られたPCRから自身のクロックを送信側に同期した形に補正し、音声コーデック２３、画像処理部２４に供給し、同期再生の基準とさせる。
【００４０】
画像処理部２４では、多重分離部２２からの動画像ビットストリーム及びタイムスタンプ（ＰＴＳ）は入力バッファ２４５に蓄積される。動画像信号復号部２４６は入力バッファ２４５に蓄えられた動画像ビットストリーム及びタイムスタンプ（ＰＴＳ）を復号し、復号されたフレームに対応したタイムスタンプ（ＰＴＳ）及び動画像ビットストリームのヘッダ情報に含まれる再生時刻を示すタイムスタンプの情報を時間制御部２４７に与え、復号した画像データをフレームメモリ２４８に蓄える。
【００４１】
また、多重分離部２２から与えられるSCRにより補正されたシステムタイムクロック（ＳＴＣ）は時間制御部２４７に与えられる。この時間制御部２４７はシステムタイムクロック（ＳＴＣ）が動画像信号復号部２４６からの再生出力用タイムスタンプ（ＰＴＳ）と一致した時刻または動画像自身用のタイムスタンプに相当する時間だけ過ぎた時刻に画像出力部２４９へ画像データの出力要求を送出する。
【００４２】
画像出力部２４９は、時間制御部２４７から出力要求を受け付けると、フレームメモリ２４８から画像データを読み出し、ＬＣＤ制御部２５を通じてＬＣＤ３４に表示させ、時間制御部２４７へ出力完了通知を送出する。時間制御部２４７は画像出力部２４９から出力完了通知を受け付けると、入力バッファ２４５ヘの読み出し要求を送出し、動画像信号復号部２４６に次のフレームの復号を開始させる。
【００４３】
上記構成による画像処理部２４において、以下、本発明による動画像再生処理として第１乃至第３の実施形態を説明する。
【００４４】
まず、第１の実施形態として、フレーム毎にＰＥＳパケットが構成され、図３（ａ）に示すように全てのＶＯＰヘッダ情報（ＶＯＰスタートコード）の前にタイムスタンプ（ＰＴＳ）が付加されている場合を考える。図４に本実施形態の画像データ出力タイミング図を示す。
【００４５】
各ＰＥＳパケット中に付加されたタイムスタンプをそれぞれＰＴＳ＃０，ＰＴＳ＃１…とし、それから得られる再生時刻をＴＳ０，ＴＳ１…する。この場合、全てのフレームについてタイムスタンプ（ＰＴＳ）が得られるので、システムタイムクロック（ＳＴＣ）によって示される時刻ｔがｔ≧ＴＳ０（＝Ｔ０）でフレーム♯０の画像（ＶＯＰデータの復号出力画像）を表示し、ｔ≧ＴＳ１（＝Ｔ１）でフレーム♯１の画像を表示する。
【００４６】
次に、本発明の第２の実施形態として、ｎ個のフレームをまとめてＰＥＳパケットを構成し、図３（ｂ）に示すように最初のＶＯＰヘッダ情報の前にのみタイムスタンプ（ＰＴＳ）が付加されている場合を考える。図５に本実施形態の画像データ出力タイミング図を示す。
【００４７】
先頭フレーム♯０のＶＯＰヘッダ情報の前に付加された再生用タイムスタンプＰＴＳ＃０による時刻をＴＳ０、フレーム♯０のＶＯＰヘッダ情報内のタイムスタンプB−ＴＳ＃０による時刻をＴＢ０、次のフレーム♯１のＶOＰヘッダ情報内のタイムスタンプB−ＴＳ＃１による時刻をＴＢ１とする。
【００４８】
まず、フレーム♯０については再生時刻ＴＳ０を決めるタイムスタンプＰＴＳ＃１が得られるので、基準時刻ｔがｔ≧ＴＳ０（＝Ｔ０）でフレーム♯０の画像を表示する。次に、フレーム＃１については再生用タイムスタンプＰＴＳが得られないので、フレーム＃１のＶＯＰヘッダ情報中の復号用タイムスタンプＢ−ＴＳ＃１を利用する。この場合、フレーム♯１の表示時刻Ｔ１を
Ｔ１＝ＴＳ０＋（ＴＢ１−ＴＢ０）
とし、ｔ≧Ｔ１でフレーム＃１の画像を表示する。以後、同様にして、最終的にフレーム＃ｎのＶＯＰヘッダ情報内の復号用タイムスタンプＢ−ＴＳ＃ｎによる時刻をＴＢｎとすると、フレーム＃ｎの表示時刻Ｔｎ（ｎはｎ≧１の整数）は
Ｔｎ＝ＴＳ０＋（ＴＢｎ−ＴＢ０）
となり、ｔ≧Ｔｎでフレーム＃ｎの画像を表示する。
【００４９】
この実施形態の場合、ＴＳ０が動画像を表示するための初期遅延時間と考えることができるので、オーディオ信号と動画像信号間で同期を取って多重化するシステムにおいて、初期遅延時間を正確に設定することが可能となる。
【００５０】
本発明の第３の実施形態として、ｎ個のフレームをまとめてＰＥＳパケットを構成し、図３（ｃ）に示すように、途中のＶＯＰヘッダ情報の前にもタイムスタンプ情報が付加されている場合を考える。この途中のＶＯＰヘッダ情報の前というのは、例えば、２秒間等の一定時間間隔でのＶＯＰヘッダ情報の前でもよく、Ｉピクチャ（Ｉ−ＶＯＰ）のＶＯＰヘッダ情報の前としてもよい。また、ＭＰＥG−４の動画像ビットストリームは、Configuration Information（ＣＩ）と呼ばれる部分とElementary Stream（ＥＳ）と呼ばれる２つの部分に大別され、ＣＩはＥＳに対して少なくとも１つ存在するが、動画像ビットストリーム内にＣＩは何度挿入されてもよく、このＣＩが挿入された後のＶＯＰヘッダ情報の前としてもよい。
【００５１】
図６に本実施形態の画像データ出力タイミング図を示す。例えば第２に実施形態のようにフレーム＃０にタイムスタンプ（ＰＴＳ０）が付加され、さらにフレーム＃ｍ（ｍは１＜ｍ＜ｎの整数）のＶOＰヘッダ情報の前にタイムスタンプ（ＴＳｍ）が付加されていた場合、フレーム＃ｍ-1の表示時刻をＴｍ-1、フレーム＃ｍの表示時刻をＴｍ、フレーム＃ｎの表示時刻をＴｎとすると、
Ｔｍ-１＝ＴＳ０＋（ＴＢｍ-１−ＴＢ０）
Ｔｍ＝ＴＳｍ
Ｔｎ＝ＴＳｍ＋（ＴＢｎ−ＴＢｍ）
とする。この場合、フレーム＃ｍ-１では、フレーム＃０の再生用タイムスタンプＰＴＳ＃０による時刻ＴＳ０とフレーム＃ｍ-１のＶＯＰヘッダ情報内の復号用タイムスタンプＢ−ＴＳ＃ｍ-１による時刻ＴＢｍ-１を基準として表示時刻を計算し、ｔ≧Ｔｍ-１でフレーム＃ｍ-１の画像を表示する。また、フレーム＃ｍでは、再生用タイムスタンプＰＴＳ＃ｍによる時刻ＴＳｍを表示時刻とし、ｔ≧Ｔｍでフレーム＃ｍの画像を表示する。また、フレーム＃ｎでは、フレーム＃ｍの再生用タイムスタンプＰＴＳｍとフレーム＃ｎのＶＯＰヘッダ情報内の時間情報による時刻ＴＢｎを基準として表示時刻を計算し、ｔ≧Ｔｎでフレーム＃ｎの画像を表示する。
【００５２】
この実施形態の場合、特に移動体通信（無線通信）等の伝送品質に低い伝送路で利用したとき、動画像ビットストリーム内のタイムスタンプに誤りが混入され、誤った時刻情報で画像が表示されてしまうことが考えられるが、ＰＥＳパケットの途中で付加された再生用タイムスタンプ（ＰＴＳ）を表示時刻とすることにより、誤った時刻情報がより信頼性の高いシステム時刻情報にリセットされることになる。
【００５３】
また、本実施形態のように、タイムスタンプ情報を動画像ビットストリーム内の途中に挿入する場合、動画像ビットストリーム内のタイムスタンプ情報を検索し、その時点から復号することが可能となるため、動画像ビットストリーム内のタイムスタンプ情報が付加されたフレームに対してランダムアクセスが可能となる。
【００５４】
したがって、以上の実施形態による画像処理部の復号再生処理構成によれば、フレーム毎に再生用タイムスタンプ（ＰＴＳ）が動画像ビットストリームに付加されている場合は、動画像ビットストリームのヘッダ情報に付加されているタイムスタンプではなく、再生用タイムスタンプ（ＰＴＳ）を再生時刻情報として採用し、再生用タイムスタンプ（ＰＴＳ）が動画像ビットストリームに付加されていない場合は、動画像ビットストリームのヘッダ情報に付加されているタイムスタンプからフレームの再生時刻情報を換算するようにしているので、必ずしもフレーム毎にタイムスタンプを持つ必要がなくなり、動画像信号の１フレームに対するオーバヘッドを軽減することが可能となる。また、初期遅延時間の設定及び再生用タイムスタンプ（ＰＴＳ）情報が付加されたフレームでのランダムアクセスが可能という効果も得られる。
【００５５】
尚、以上の実施形態は、本発明を携帯電話機の画像処理部に適用した場合の例であるが、本発明はこれに限定されるものではなく、ＭＰＥＧ−４システムまたはこれに類似する規格を採用するマルチメディア情報伝送システムの受信装置にも適用可能である。
【００５６】
【発明の効果】
以上のように、１フレームの動画像ビットストリーム長が可変であり、全てのフレームの動画像ビットストリームに復号用の時刻管理情報が付加される動画像符号化方式が採用され、１フレームの動画像ビットストリーム毎にパケット化されている場合、複数フレームの動画像ビットストリームがまとめられてパケット化されている場合のいずれの場合でも、全フレームの動画像ビットストリームの正確な再生時刻を求めることのできる動画像復号再生装置と、この装置を用いて動画像と音声を正確に同期再生することのできるマルチメディア情報受信装置を提供することができる。
【図面の簡単な説明】
【図１】 本発明に係るマルチメディア情報受信装置の一実施形態として、携帯電話機に本発明を適用した場合の全体構成を示すブロック図。
【図２】 図１の画像処理部に本発明を適用した場合の具体的な構成を示すブロック図。
【図３】 図１の多重分離部において、ＰＥＳパケット生成の際に、動画像ビットストリームに再生用タイムスタンプを付加する３種類の方法を説明するための動画像ビットストリーム構成を示す図。
【図４】 本発明の第１の実施形態を説明するための画像データ出力タイミング図。
【図５】 本発明の第２の実施形態を説明するための画像データ出力タイミング図。
【図６】 本発明の第３の実施形態を説明するための画像データ出力タイミング図。
【符号の説明】
ＭＳ…携帯電話機
１…無線部
１１…アンテナ
１２…アンテナ共用器（ＤＵＰ）
１３…受信回路（ＲＸ）
１４…周波数シンセサイザ（ＳＹＮ）
１５…送信回路（ＴＸ）
２…ベースバンド部
２１…主制御部
２２…多重分離部
２３…音声符号復号部（音声コーデック）
２４…画像処理部
２４１…画像入力部
２４２…フレームメモリ
２４３…動画像信号符号化部
２４４…出力バッファ
２４５…入力バッファ
２４６…動画像信号復号部
２４７…時間制御部
２４８…フレームメモリ
２４９…画像出力部
２５…ＬＣＤ制御部
２６…システムタイムクロック部（ＳＴＣ部）
３…入出力部
３１…マイクロホン
３２…スピーカ
３３…カメラ（ＣＡＭ）
３４…ＬＣＤ
３５…キー入力部
３６…照明器
４…電源部
４１…バッテリ
４２…充電回路
４３…電圧生成回路（ＰＳ）
Claims (12)
- 受信した動画像パケット収容される動画像を再生する動画像復号再生装置において、
前記動画像パケットを、第１の復号用時刻情報を含むヘッダを伴う第１のビットストリーム、第２の復号用時刻情報を含むヘッダを伴う第２のビットストリーム、及び前記第１のビットストリームの再生タイミングを示す再生時刻情報に分離する分離部と、
前記第１のビットストリーム及び第２のビットストリームを、それぞれ第１の画像フレーム及び第２の画像フレームに復号する復号部と、
前記復号された第１の画像フレーム及び第２の画像フレームを出力する出力部と、
前記出力部に対し、前記再生時刻情報に基づいて前記第１の画像フレームを出力するように制御し、前記再生時刻情報に前記第２の復号用時刻情報と前記第１の復号用時刻情報との差分を加算して前記第２のビットストリームの再生タイミングを示す再生時刻情報を求め、当該再生時刻情報に基づいて前記第２の画像フレームを出力するように制御する制御部と
を具備することを特徴とする動画像復号再生装置。 - 前記再生時刻情報は、前記動画像パケットのヘッダ部分に含まれていることを特徴とする請求項１に記載の動画像復号再生装置。
- 前記動画像は、１フレームのビットストリーム長が可変であり、前記第１の画像フレームと前記第２の画像フレームとは、そのフレーム間隔が一定でないことを特徴とする請求項１記載の動画像復号再生装置。
- 符号化された動画像を含むＰＥＳ（Packetized Elementary Stream）パケットを受信し、前記動画像を再生する動画像復号再生装置において、
前記ＰＥＳパケットを、第１の復号用時刻情報を含むヘッダを伴う第１のビットストリーム、第２の復号用時刻情報を含むヘッダを伴う第２のビットストリーム、及び前記第１のビットストリームの再生タイミングを示す再生時刻情報に分離する分離部と、
前記第１のビットストリーム及び第２のビットストリームを、それぞれ第１の画像フレーム及び第２の画像フレームに復号する復号部と、
前記復号された第１の画像フレーム及び第２の画像フレームを出力する出力部と、
前記出力部に対し、前記再生時刻情報に基づいて前記第１の画像フレームを出力するように制御し、前記再生時刻情報に前記第２の復号用時刻情報と前記第１の復号用時刻情報との差分を加算して前記第２のビットストリームの再生タイミングを示す再生時刻情報を求め、当該再生時刻情報に基づいて前記第２の画像フレームを出力するように制御する制御部と
を具備することを特徴とする動画像復号再生装置。 - 前記再生時刻情報は、前記ＰＥＳパケットのヘッダ部分に含まれていることを特徴とする請求項４に記載の動画像復号再生装置。
- 前記動画像は、１フレームのビットストリーム長が可変であり、前記第１の画像フレームと前記第２の画像フレームとは、そのフレーム間隔が一定でないことを特徴とする請求項４記載の動画像復号再生装置。
- 受信した動画像パケットに収容される動画像を再生する方法において、
前記動画像パケットを、第１の復号用時刻情報を含むヘッダを伴う第１のビットストリーム、第２の復号用時刻情報を含むヘッダを伴う第２のビットストリーム、及び前記第１のビットストリームの再生タイミングを示す再生時刻情報に分離し、
前記第１のビットストリーム及び第２のビットストリームをそれぞれ第１の画像フレーム及び第２の画像フレームに復号し、
前記再生時刻情報に基づいて前記復号された第１の画像フレームを出力し、
前記再生時刻情報に前記第２の復号用時刻情報と前記第１の復号用時刻情報との差分を加算して前記第２のビットストリームの再生タイミングを示す再生時刻情報を求め、当該再生時刻情報に基づいて前記復号された第２の画像フレームを出力することを特徴とする動画像復号再生方法。 - 前記再生時刻情報は、前記動画像パケットのヘッダ部分に含まれていることを特徴とする請求項７に記載の動画像復号再生方法。
- 前記動画像は、１フレームのビットストリーム長が可変であり、前記第１の画像フレームと前記第２の画像フレームとは、そのフレーム間隔が一定でないことを特徴とする請求項７記載の動画像復号再生方法。
- 動画像信号と音声信号をそれぞれ符号化して得られる動画像ビットストリームと音声ビットストリームをパケット化すると共に、パケット化で得た動画像パケット及び音声パケットのヘッダにそれぞれ再生タイミングを示す再生時刻情報を付加し、多重化することによって形成されるマルチメディア情報を受信するマルチメディア情報受信装置において、
前記受信したマルチメディア情報から動画像パケット及び音声パケットを分離するパケット分離部と、
前記動画像パケットから前記動画像ビットストリームを復号し、前記再生時刻情報に基づいて再生出力する動画像復号再生部と、
前記音声パケットから前記音声ビットストリームを復号し、前記再生時刻情報に基づいて再生出力する音声復号再生部とを具備し、
前記動画像復号再生部は、
前記動画像パケットを、第１の復号用時刻情報を含むヘッダを伴う第１のビットストリーム、第２の復号用時刻情報を含むヘッダを伴う第２のビットストリーム、及び前記再生時刻情報に分離し、
前記第１のビットストリーム及び第２のビットストリームをそれぞれ第１の画像フレーム及び第２の画像フレームに復号し、
前記再生時刻情報に基づいて前記復号された第１の画像フレームを出力し、前記再生時刻情報に前記第２の復号用時刻情報と前記第１の復号用時刻情報との差分を加算して前記第２のビットストリームの再生タイミングを示す再生時刻情報を求め、当該再生時刻情報に基づいて前記復号された第２の画像フレームを出力することを特徴とするマルチメディア情報受信装置。 - 前記動画像復号再生部は、前記動画像パケットが前記第１のビットストリーム及び第２のビットストリームを含んでいるときに、前記再生時刻情報に前記第２の復号用時刻情報と前記第１の復号用時刻情報との差分を加算して再生時刻情報を求めることを特徴とする請求項１０に記載のマルチメディア情報受信装置。
- 前記動画像は、１フレームのビットストリーム長が可変であり、前記第１の画像フレームと前記第２の画像フレームとは、そのフレーム間隔が一定でないことを特徴とする請求項１０記載のマルチメディア情報受信装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000305604A JP4208398B2 (ja) | 2000-10-05 | 2000-10-05 | 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置 |
| US09/969,636 US6862045B2 (en) | 2000-10-05 | 2001-10-04 | Moving image decoding and reproducing apparatus, moving image decoding and reproducing method, time control method, computer program product for decoding and reproducing moving image and multimedia information receiving apparatus |
| EP20010123292 EP1195996B1 (en) | 2000-10-05 | 2001-10-05 | Apparatus, method and computer program product for decoding and reproducing moving images, time control method and multimedia information receiving apparatus |
| DE60135617T DE60135617D1 (de) | 2000-10-05 | 2001-10-05 | Vorrichtung, Verfahren und Computerprogrammprodukt zur Dekodierung und zum Reproduzieren von bewegten Bildern, Zeitkontrollverfahren und Empfänger für Multimediainformationen |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000305604A JP4208398B2 (ja) | 2000-10-05 | 2000-10-05 | 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002118844A JP2002118844A (ja) | 2002-04-19 |
| JP2002118844A5 JP2002118844A5 (ja) | 2009-01-08 |
| JP4208398B2 true JP4208398B2 (ja) | 2009-01-14 |
Family
ID=18786430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000305604A Expired - Fee Related JP4208398B2 (ja) | 2000-10-05 | 2000-10-05 | 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6862045B2 (ja) |
| EP (1) | EP1195996B1 (ja) |
| JP (1) | JP4208398B2 (ja) |
| DE (1) | DE60135617D1 (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4612171B2 (ja) * | 2000-10-27 | 2011-01-12 | 株式会社東芝 | 動画像復号再生モジュールと再生時刻管理プログラムとマルチメディア情報受信装置 |
| JP4806888B2 (ja) | 2002-07-19 | 2011-11-02 | ソニー株式会社 | 復号化装置及び復号化方法 |
| JP3958141B2 (ja) * | 2002-07-31 | 2007-08-15 | キヤノン株式会社 | 画像処理装置 |
| US7408660B1 (en) | 2002-08-08 | 2008-08-05 | Sprint Spectrum L.P. | Method and system for managing delivery of digital image files to image processing labs |
| US7466362B2 (en) * | 2002-10-22 | 2008-12-16 | Broadcom Corporation | Data rate management system and method for A/V decoder |
| JP2004221900A (ja) * | 2003-01-14 | 2004-08-05 | Sony Corp | 画像情報復号装置及び画像情報復号方法 |
| JP2004364211A (ja) * | 2003-06-09 | 2004-12-24 | Matsushita Electric Ind Co Ltd | 動画像復号化装置 |
| US7613344B2 (en) * | 2003-12-08 | 2009-11-03 | Electronics And Telecommunications Research Institute | System and method for encoding and decoding an image using bitstream map and recording medium thereof |
| CN1317637C (zh) * | 2004-01-20 | 2007-05-23 | 无敌科技股份有限公司 | 声音与影像的同步方法 |
| US7525578B1 (en) | 2004-08-26 | 2009-04-28 | Sprint Spectrum L.P. | Dual-location tagging of digital image files |
| US7424310B1 (en) | 2004-08-26 | 2008-09-09 | Sprint Spectrum L.P. | System, method, and apparatus for automatic transmission of recently captured images |
| US7196718B1 (en) | 2004-08-26 | 2007-03-27 | Sprint Spectrum L.P. | Method and apparatus for transmission of digital image to destination associated with voice call participant |
| US7424282B2 (en) * | 2004-08-26 | 2008-09-09 | Sprint Spectrum L.P. | Method and system for delivering photos to called destinations |
| TWI273567B (en) * | 2004-08-30 | 2007-02-11 | Lite On It Corp | Method for editing video stream |
| WO2006025584A1 (ja) * | 2004-09-02 | 2006-03-09 | Sony Corporation | コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム |
| JP4511952B2 (ja) * | 2005-01-07 | 2010-07-28 | 日本放送協会 | メディア再生装置 |
| JP2006279672A (ja) * | 2005-03-30 | 2006-10-12 | Leader Electronics Corp | ネットワークに接続可能な波形表示装置 |
| WO2006127510A2 (en) * | 2005-05-21 | 2006-11-30 | Kula Media Group | Media distribution over a network |
| JP4991129B2 (ja) * | 2005-07-19 | 2012-08-01 | Ｎｅｃディスプレイソリューションズ株式会社 | 映像音声再生装置および映像音声再生方法 |
| KR101226178B1 (ko) * | 2007-03-27 | 2013-01-24 | 삼성전자주식회사 | 비디오 데이터 디스플레이 방법 및 장치 |
| JP4891204B2 (ja) | 2007-11-16 | 2012-03-07 | キヤノン株式会社 | 映像処理装置、映像処理方法、映像処理プログラム及び記憶媒体 |
| JP2010187116A (ja) * | 2009-02-10 | 2010-08-26 | Toshiba Corp | 動画処理装置 |
| CN106162182B (zh) | 2015-03-25 | 2019-08-30 | 杭州海康威视数字技术股份有限公司 | 一种视频编码码流的播放控制方法及*** |
| JP6724581B2 (ja) * | 2016-06-15 | 2020-07-15 | 富士通株式会社 | 画像符号化装置、方法、及びプログラム |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5815634A (en) * | 1994-09-30 | 1998-09-29 | Cirrus Logic, Inc. | Stream synchronization method and apparatus for MPEG playback system |
| US5771075A (en) * | 1994-12-08 | 1998-06-23 | Lg Electronics Inc. | Audio/video synchronizer |
| US6148135A (en) * | 1996-01-29 | 2000-11-14 | Mitsubishi Denki Kabushiki Kaisha | Video and audio reproducing device and video decoding device |
| JP3130464B2 (ja) * | 1996-02-02 | 2001-01-31 | ローム株式会社 | データ復号装置 |
| JP2848326B2 (ja) * | 1996-03-28 | 1999-01-20 | 日本電気株式会社 | Ｍｐｅｇ符号化画像復号装置 |
| JP2872104B2 (ja) | 1996-05-14 | 1999-03-17 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | タイムスタンプ付加装置および方法、並びにそれを用いた動画像圧縮伸張伝送システムおよび方法 |
| CN1292598C (zh) * | 1996-07-05 | 2006-12-27 | 松下电器产业株式会社 | 对多个视象物面作显示时间标记和同步的方法 |
| JP2970558B2 (ja) * | 1996-10-25 | 1999-11-02 | 日本電気株式会社 | オーディオ／ビデオ／コンピュータグラフィクス同期再生合成方式及び方法 |
| JP3106987B2 (ja) * | 1997-01-09 | 2000-11-06 | 日本電気株式会社 | オーディオ・ビデオ同期再生装置 |
| ES2323358T3 (es) * | 1997-04-01 | 2009-07-14 | Sony Corporation | Codificador de imagenes, metodo de codificacion de imagenes, descodificador de imagenes, metodo de descodificacion de imagenes, y medio de distribucion. |
| US5959684A (en) * | 1997-07-28 | 1999-09-28 | Sony Corporation | Method and apparatus for audio-video synchronizing |
| WO1999021367A1 (fr) * | 1997-10-20 | 1999-04-29 | Mitsubishi Denki Kabushiki Kaisha | Codeur et decodeur d'image |
| JP3232052B2 (ja) * | 1997-10-31 | 2001-11-26 | 松下電器産業株式会社 | 画像復号化方法 |
| JP3593883B2 (ja) * | 1998-05-15 | 2004-11-24 | 株式会社日立製作所 | 映像ストリーム送受信システム |
| JP4319268B2 (ja) * | 1998-08-07 | 2009-08-26 | 富士通株式会社 | 動画像復号方法及び装置 |
| US6016166A (en) * | 1998-08-31 | 2000-01-18 | Lucent Technologies Inc. | Method and apparatus for adaptive synchronization of digital video and audio playback in a multimedia playback system |
| US6363207B1 (en) * | 1998-10-22 | 2002-03-26 | Sony Corporation | Method and apparatus for a virtual system time clock for digital audio/video processor |
| ID24586A (id) * | 1998-12-21 | 2000-07-27 | Matsushita Electric Ind Co Ltd | Perangkat dan metode penyelarasan waktu dengan menggunakan modul basis waktu dan resolusi peningkatan waktu |
| US6429902B1 (en) * | 1999-12-07 | 2002-08-06 | Lsi Logic Corporation | Method and apparatus for audio and video end-to-end synchronization |
-
2000
- 2000-10-05 JP JP2000305604A patent/JP4208398B2/ja not_active Expired - Fee Related
-
2001
- 2001-10-04 US US09/969,636 patent/US6862045B2/en not_active Expired - Lifetime
- 2001-10-05 EP EP20010123292 patent/EP1195996B1/en not_active Expired - Lifetime
- 2001-10-05 DE DE60135617T patent/DE60135617D1/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002118844A (ja) | 2002-04-19 |
| DE60135617D1 (de) | 2008-10-16 |
| US6862045B2 (en) | 2005-03-01 |
| EP1195996B1 (en) | 2008-09-03 |
| EP1195996A2 (en) | 2002-04-10 |
| EP1195996A3 (en) | 2005-03-30 |
| US20020041336A1 (en) | 2002-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4208398B2 (ja) | 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置 | |
| JP4612171B2 (ja) | 動画像復号再生モジュールと再生時刻管理プログラムとマルチメディア情報受信装置 | |
| US6987767B2 (en) | Multiplexer, multimedia communication apparatus and time stamp generation method | |
| US7656947B2 (en) | Synchronization device and synchronization method in digital broadcast receiver | |
| JPH11205696A (ja) | 映像伝送装置及び映像伝送方法 | |
| US8842218B2 (en) | Video/audio data output device and method | |
| WO2010116588A1 (ja) | デジタルテレビ放送再生装置およびその再生方法 | |
| JP4563375B2 (ja) | ビーコンパケットを用いるデジタルビデオ同期方法および装置 | |
| JP5092493B2 (ja) | 受信プログラム、受信装置、通信システム、及び、通信方法 | |
| JP5032179B2 (ja) | ストリーム再生装置及びメディアデータ復号方法 | |
| JP4192766B2 (ja) | 受信装置および方法、記録媒体、並びにプログラム | |
| KR100698182B1 (ko) | 디지털 방송 시스템의 ａｖ 출력 방법 및 장치 | |
| JP2006121601A (ja) | トランスポートストリーム切換装置 | |
| JP2004015553A (ja) | 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置 | |
| JP4682159B2 (ja) | ストリーム再生装置 | |
| JP2000059325A (ja) | 遅延時間測定装置 | |
| JP2006330541A (ja) | 音声受信再生装置 | |
| JP4660377B2 (ja) | 無線映像送信装置、映像送信装置、無線映像受信装置、映像受信装置、無線映像送受信システム及び映像送受信システム | |
| JP3671969B2 (ja) | データ多重方法及び多重データ復号方法 | |
| JPH099215A (ja) | データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置 | |
| JP2005020429A (ja) | ストリーム受信装置、ストリーム送信装置およびストリーム送受信システム | |
| JP2008099209A (ja) | コンテンツ再生装置とその再生タイミング同期方法 | |
| JP2004266599A (ja) | 送信側端末、受信側端末 | |
| KR20080058993A (ko) | 디지털 방송수신기의 표시장치 및 방법 | |
| JP2002353922A (ja) | デジタル放送番組中継送出システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070926 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071225 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20071225 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20080117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081021 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111031 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121031 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131031 Year of fee payment: 5 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| LAPS | Cancellation because of no payment of annual fees |