JP3888848B2 - 画像復号装置 - Google Patents
画像復号装置 Download PDFInfo
- Publication number
- JP3888848B2 JP3888848B2 JP2000352124A JP2000352124A JP3888848B2 JP 3888848 B2 JP3888848 B2 JP 3888848B2 JP 2000352124 A JP2000352124 A JP 2000352124A JP 2000352124 A JP2000352124 A JP 2000352124A JP 3888848 B2 JP3888848 B2 JP 3888848B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- display
- decoding
- image
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【発明の属する技術分野】
本発明は、フレーム内予測およびフレーム間予測により符号化された動画像を復号して表示する画像復号装置に関するものである。
【0002】
【従来の技術】
動画像の符号化方式は、国際標準化機関により、MPEG-1、MPEG-2、MPEG-4等の規格が制定されている。これらは、いずれも動き補償付きフレーム間予測とDCTによりフレーム内予測を組み合わせたハイブリッド符号化になっている。
【0003】
これらのMPEG規格においては、復号に必用な技術の集合であるプロファイルと、フレーム画像の大きさやビットレートなどの復号器が備えなければならない能力の集合であるレベルが規定されている。復号器の能力は、このプロファイルとレベルの組み合わせにより規定される。
【0004】
図4は従来の画像復号装置の概略構成を示すブロック図である。図4において、401は復号処理部であり、入力されたビットストリームをフレーム単位で復号して復号フレーム画像に変換し、復号画像格納メモリ402へ格納する。
【0005】
復号画像格納メモリ402に格納されたフレーム画像は、復号処理部401において次のフレームの復号時にフレーム間予測にも使用される。403は表示変換処理部であり、復号画像格納メモリ402に格納された復号画像を表示のためのデータへ変換し、表示フレームメモリ404へ格納する。
【0006】
405は表示回路であり、表示フレームメモリ404に格納されている画像を表示走査のタイミングで読み出して、表示信号に変換し出力する。表示回路405による表示メモリの走査による読み出しは、通常表示変換処理部403によるフレームメモリの書き換え処理が見えないように行う必要があるため、表示メモリの走査の開始を示す垂直同期信号に同期して表示用フレームメモリを更新する必要がある。
【0007】
また、表示変換処理部403による表示変換処理が、表示回路405が画像表示用フレームメモリ404を走査するより遅い場合には、表示用フレームメモリ404は2フレーム分のメモリを用意し、一方のフレームメモリを表示している間に、もう一方のフレームメモリの書き換えを行い、書き換えが完了したら、表示用のフレームメモリと書き換え用のフレームメモリを入れ替えるデュアルバッファ構成にする必要がある。
【0008】
この場合、復号および表示変換のための処理の過程において、表示の垂直同期に対し同期を取る必要があるが、入力データが復号装置のレベルを満たしている場合には、復号処理と表示変換処理にかかる合計の時間は、所定時間以下を保証できるため、符号化の開始を表示時間の所定時間前の垂直同期に同期して開始すれば、正常な表示が可能となる。
【0009】
406は制御部であり、復号装置の処理の状態やユーザー操作等の復号装置の動作に必要な信号を監視し、各回路を制御する。表示変換処理部403では、表示用回路が対応する画素アスペクトレシオと異なる復号画像を表示回路の対応するアスペクトレシオへの変換や、表示装置が対応しない画像サイズの復号画像を表示装置対応する画像サイズへの変換、復号画像からブロックノイズなど符号化に特有の視覚上の妨害を軽減するためのフィルタ処理などを行う。
【0010】
図5は従来の復号装置において復号可能なデータが入力された場合の動作を示すタイミングチャートである。また、図6は従来の復号装置において復号可能なレベルを上回る符号データが入力された場合の復号処理および表示変換処理の様子を示すタイミングチャートである。それぞれのタイミングチャートにおける各欄の意味について以下説明を行う。
【0011】
垂直同期の欄は、縦線が垂直同期信号のタイミングを示す。表示回路405はこの同期信号にしたがってフレームの表示処理を行う。本来の表示フレームは、入力された符号データに指定されているフレームデータの表示タイミングを示す。
【0012】
復号処理の欄は、それぞれのフレームの復号動作が行われているタイミングを示す。表示変換処理の欄は、表示変換処理部403で処理が行われているタイミングと処理を行っているフレームを示す。実際の表示フレームの欄は、実際に表示回路405で表示されるフレームと表示されるタイミングを示す。
【0013】
図5においては、復号処理と表示変換処理との合計時間が復号装置の想定している最大の処理時間である2フレームを下回っているため、正常にデコードおよび表示が行われている。
【0014】
一方、図6においては、復号処理と表示変換処理との合計時間が復号装置の想定している最大の処理時間である2フレーム期間を上回る時間がかかっているため、復号を開始してから表示フレームの切り替えタイミングである2フレーム期間を過ぎてしまい、実際に表示が切り替わるのは、符号化開始から3フレーム期間過ぎた時点になる。
【0015】
次の垂直同期のタイミングで表示を切り替えた時点で次の画像の復号を開始するため、画像の表示されるタイミングが符号で指定されたタイミングに対し実際の表示がどんどん遅れていく現象が起きる。この結果、音声と画像との同期がずれていったり、また、符号化時に想定しているタイミングで符号データが消費されないため、符号バッファがあふれる等の現象が生じ、再生に破綻をきたす。
【0016】
したがって、復号開始以前に入力の符号データのプロファイル及びレベル等をチェックし、復号装置の想定しているレベルを超える符号データは復号を開始しないといった処理を行っている。
【0017】
【発明が解決しようとする課題】
上述した従来の画像復号装置では、レベルの規定を上回る画像符号が入力された場合、正常な画像を出力できない。しかしながら、レベルを上回る符号を入力された場合でも、完全な表示はできなくても画像の内容の確認が可能な程度の簡易再生でも良いから画像を表示したいという要求がある。
【0018】
本発明は、上記課題に鑑みてなされたものであり、復号装置のレベルを上回るフレームレートの画像データが入力された場合でも、簡易表示することが可能な画像復号装置を提供するものである。
【0019】
【課題を解決するための手段】
本願の第1の発明は、フレーム内予測およびフレーム間予測により符号化された画像を復号して復号画像を表示する画像復号装置であって、各フレーム毎に符号化データで指定されているフレーム表示時刻を求める手段と、前記フレームの復号開始時点を示す開始時刻を得る手段と、各フレームの符号化データを処理する第1乃至第3の手段を備え、前記フレーム表示時刻から前記開始時刻を引いた値が、フレームの復号に要する時間と復号画像の表示変換に要する時間の和よりも大きいときに、前記第1の手段で前記符号化データを処理し、前記フレーム表示時刻から前記開始時刻を引いた値が、フレームの復号に要する時間より大きくかつフレームの復号に要する時間と復号画像の表示変換に要する時間の和より小さいときに、前記第2の手段で前記符号化データを処理し、前記フレーム表示時刻から前記開始時刻を引いた値が、フレームの復号に要する時間より小さいときに、前記第3の手段で前記符号化データを処理し、前記第1の手段はフレームの復号処理と表示変換処理を行い、前記第2の手段はフレームの復号処理を行うが表示変換処理を行わず、
前記第3の手段はフレームの復号処理と表示変換処理を行わずに次のフレーム内予測フレームまでの符号化データを破棄することを特徴とする。
【0021】
【発明の実施の形態】
以下、本発明の一実施形態を、図1乃至図3とともに詳細に説明する。
【0022】
図1は本実施形態における概略構成を示すプロック図である。図1において、図4と同じ符号を付したブロックは、上述の従来例と同一動作を行う部分であるため、その詳細な説明は省略する。本実施形態の画像復号装置は、制御部406に代えて制御部506を備えたものである。
【0023】
図2は本実施形態におけるレベルを超えた画像が入力された場合の復号処理及び表示変換処理のシーケンスを示すタイミングチャートである。各欄の意味は上述の従来例で示したタイミングチャートと同一であるので、その説明は省略する。
【0024】
すなわち、図6とともに上述した従来例における動作との違いは、図1における制御部506と図4における制御部406との動作の違いによるものである。
【0025】
図3は制御部506の動作を示すフローチャートである。以下では、制御部506の状態遷移とそれぞれの状態における復号処理及び表示変換処理の制御に関する制御部506の動作について、図3のフローチャートにより説明する。
【0026】
(1)状態S1フレーム1の復号処理開始時点において、1フレーム分の復号時間の予測値T1と、1フレーム分の表示変換処理時間の予測値T2とを、ビットレートや復号画像の画像サイズおよび表示変換処理の処理画素数や処理内容を元にそれぞれ求める(S601)。
【0027】
求めたそれぞれの処理時間と、符号データから求めたそのフレームを表示しなければならない時間であるtd、および、フレームの復号開始時点の時間t1とすると、復号処理および表示変換処理に使用できる時間であるtd−t1を求めTthとする(S602)。
【0028】
T1+T2 < Tthであれば、状態S2に遷移する。T1 < Tth < T1+T2であれば、状態S3へ遷移する。T1 > Tthであれば、状態S4に移行する。
【0029】
(2)状態S2
制御部506は、復号処理と表示処理の両方が可能であると判断し、復号処理部401へ復号処理の開始するよう制御する(S603)。復号処理部401は復号処理が終了したら、それを制御部506へ通知する。復号処理の終了の通知を受けて制御部506は次に表示変換処理部403へ変換処理の開始するよう制御する(S604)。
【0030】
表示変換処理部403は変換処理が終了したら制御部506へ通知する。制御部506はそのフレームの表示タイミングに一番近い垂直同期信号まで待って表示の切り替えを行い(S605)、状態S1へ遷移する。
【0031】
(3)状態S3
制御部506は、復号処理部401へ復号の開始を行うように制御し、復号処理の終了が復号処理部1から通知されるのを待つ(S606)。復号処理部401は復号が終了したら、それを制御部506へ通知する。制御部506は復号の終了の通知により状態S1へ移行する。
【0032】
(4)状態S4
制御部506は、復号処理部401に対し、次のフレーム内予測フレームまで、符号データを破棄する動作になるよう制御する(S607)。次のフレーム内予測フレームが見つかったら、状態S1へ遷移する。
【0033】
制御部506は、上記のような状態遷移を繰り返すことにより、図2のタイミングチャートに示すような動作を行う。従って、表示がスキップされる画面数を減らし、効率的な処理を行うことが可能であり、簡易表示ではあるが、画像の内容を確認することができる。
【0034】
【発明の効果】
本発明の画像復号装置は、上記のような構成としているので、入力されたビットストリームがレベルにより規定された上限を超える入力であった場合でも、すべてのフレームが表示されるわけではないが、一応の表示が可能となり、画像の内容の確認が可能になる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る画像復号装置の概略構成を示すブロック図である。
【図2】本発明の一実施形態において、レベルを上回るフレームレートの符号データが入力された場合の、復号処理、表示変換および表示される表示画像のシーケンスを示すタイミングチャートである。
【図3】本発明の一実施形態における制御部506の動作を示すフローチャートである。
【図4】従来の画像復号装置の概略構成を示すブロック図である。
【図5】従来の画像復号装置において、レベル内の符号データを入力した場合の復号処理、表示変換および表示される表示画像のシーケンスを示すタイミングチャートである。
【図6】従来の画像復号装置において、レベルを上回るフレームレートの符号データが入力された場合の復号処理、表示変換および表示される表示画像のシーケンスを示すタイミングチャートである。
【符号の説明】
401 復号処理部
402 復号画像格納メモリ
403 表示変換処理部
404 表示フレームメモリ
405 表示回路
506 制御部
Claims (1)
- フレーム内予測およびフレーム間予測により符号化された画像を復号して復号画像を表示する画像復号装置であって、
各フレーム毎に符号化データで指定されているフレーム表示時刻を求める手段と、
前記フレームの復号開始時点を示す開始時刻を得る手段と、
各フレームの符号化データを処理する第1乃至第3の手段と、を備え、
前記フレーム表示時刻から前記開始時刻を引いた値が、フレームの復号に要する時間と復号画像の表示変換に要する時間の和よりも大きいときに、前記第1の手段で前記符号化データを処理し、
前記フレーム表示時刻から前記開始時刻を引いた値が、フレームの復号に要する時間より大きくかつフレームの復号に要する時間と復号画像の表示変換に要する時間の和より小さいときに、前記第2の手段で前記符号化データを処理し、
前記フレーム表示時刻から前記開始時刻を引いた値が、フレームの復号に要する時間より小さいときに、前記第3の手段で前記符号化データを処理し、
前記第1の手段はフレームの復号処理と表示変換処理を行い、
前記第2の手段はフレームの復号処理を行うが表示変換処理を行わず、
前記第3の手段はフレームの復号処理と表示変換処理を行わずに次のフレーム内予測フレームまでの符号化データを破棄することを特徴とする画像復号装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000352124A JP3888848B2 (ja) | 2000-11-20 | 2000-11-20 | 画像復号装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000352124A JP3888848B2 (ja) | 2000-11-20 | 2000-11-20 | 画像復号装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006152025A Division JP2006311587A (ja) | 2006-05-31 | 2006-05-31 | 画像復号装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002159011A JP2002159011A (ja) | 2002-05-31 |
JP3888848B2 true JP3888848B2 (ja) | 2007-03-07 |
Family
ID=18825070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000352124A Expired - Fee Related JP3888848B2 (ja) | 2000-11-20 | 2000-11-20 | 画像復号装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3888848B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5515046B2 (ja) * | 2010-01-29 | 2014-06-11 | 株式会社大一商会 | 遊技機 |
CN102884788B (zh) * | 2010-04-28 | 2016-06-08 | 富士通株式会社 | 动态图像输出装置、动态图像输出方法以及动态图像输出程序 |
JP5509262B2 (ja) * | 2012-06-06 | 2014-06-04 | 株式会社東芝 | 映像処理装置、映像圧縮符号化装置、映像復号再生装置及び映像再生方法 |
JP6756228B2 (ja) | 2016-10-07 | 2020-09-16 | 株式会社デンソー | 車載表示制御装置 |
-
2000
- 2000-11-20 JP JP2000352124A patent/JP3888848B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002159011A (ja) | 2002-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3395166B2 (ja) | 統合ビデオ復号化システム、フレーム・バッファ、符号化ストリーム処理方法、フレーム・バッファ割当て方法及び記憶媒体 | |
AU2004250927B2 (en) | Decoding method and apparatus enabling fast channel change of compressed video | |
JP3228874B2 (ja) | 圧縮ディジタルビデオビットストリーム分割方法及び装置、並びにその復号方法及び装置 | |
CN100539697C (zh) | 视频处理方法 | |
KR19990057102A (ko) | 비디오 디코더 | |
KR100215824B1 (ko) | 엠펙 디코더의 프레임 메모리 및 영상 데이타 디코딩방법 | |
JP3888848B2 (ja) | 画像復号装置 | |
JP4010617B2 (ja) | 画像復号化装置及び画像復号化方法 | |
JP2005124091A (ja) | 復号装置及び復号方法 | |
JP2001285868A (ja) | 動画像符号列切替装置及び動画像符号列切替方法 | |
JP2006311587A (ja) | 画像復号装置 | |
JP4289055B2 (ja) | トランスコーダおよびこれを用いた記録再生装置 | |
JP4433319B2 (ja) | 信号再生装置 | |
JP2002171530A (ja) | スーパーインポーズ機能を備えた再符号化装置および方法 | |
KR100252810B1 (ko) | 엠펙디코더 | |
JP2000032475A (ja) | 動画像再生装置 | |
JPH0898142A (ja) | 画像再生装置 | |
JP2002152743A (ja) | 動画像復号装置 | |
JP2005236386A (ja) | 画像処理装置 | |
JP3928301B2 (ja) | 画像表示方法及び装置 | |
KR100425136B1 (ko) | 비디오 디코딩 시스템 | |
JP2000078521A (ja) | 画像復号表示装置 | |
JPH08149464A (ja) | フレームレート変換機能付き画像復号装置 | |
JP2005080122A (ja) | 画像復号化装置 | |
JPH0898141A (ja) | 画像再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051228 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20051228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061128 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091208 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101208 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101208 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111208 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111208 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121208 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121208 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |