JP4361755B2 - Moving image processing apparatus, program, storage medium, and moving image processing method - Google Patents
Moving image processing apparatus, program, storage medium, and moving image processing method Download PDFInfo
- Publication number
- JP4361755B2 JP4361755B2 JP2003129807A JP2003129807A JP4361755B2 JP 4361755 B2 JP4361755 B2 JP 4361755B2 JP 2003129807 A JP2003129807 A JP 2003129807A JP 2003129807 A JP2003129807 A JP 2003129807A JP 4361755 B2 JP4361755 B2 JP 4361755B2
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- time
- frame
- quality
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理装置、プログラム、記憶媒体および動画像処理方法に関する。
【0002】
【従来の技術】
一般に、デジタル動画像データの伝送・蓄積を行う場合には、デジタル動画像圧縮伸長技術を用いて数10分の1に圧縮処理し、伝送レートや蓄積容量の負荷を低減するようにしている。このようなデジタル動画像圧縮伸長技術としては、動画像専用のMPEG1/MPEG2/MPEG4や、静止画像を連続したフレームとして扱うMotion JPEGが用いられている。
【0003】
MPEG方式とMotion静止画像方式の違いは、後者がフレーム内符号化だけを行うのに対し、前者は同一フレーム内の画像ばかりではなく、異なるフレーム間画像においても相関をとり、より圧縮率を上げることができることにある。一方、各々のフレームを独立に扱う後者の方式は、前者に比較して、フレーム毎の編集が可能であり、また、通信時のエラーが他フレームに及ぶこともない。このように、MPEG方式、Motion静止画像方式は、各々特長を持っている。そして、アプリケーション毎に、適宜、方式が使い分けられている。
【0004】
また、近年においては、後者のMotion静止画像の符号化については、離散ウェーブレット変換を用いて画像データを圧縮符号化するようにしたMotion JPEG2000という新しい方式が規格化されつつある。
【0005】
ところで、MPEG方式やMotion静止画像方式に代表される多くの符号化方式では画像をブロック単位で処理するため、その復号画像にはブロックノイズやエッジノイズといった劣化が生じる。ブロックノイズとは、本来の画像の絵柄にはないブロックパターン状の幾何学模様が見える歪みである。また、エッジノイズはエッジ付近に生じるリンギング状の歪み(モスキートノイズともいう)である。
【0006】
そこで、従来においては、このような符号化方式固有のノイズを除去するポストフィルタが提案されている。このポストフィルタは、概略的には、復号画像信号を平滑化して、ブロック間の境界部における高域成分を取り除く等の処理を行うものである。
【0007】
しかしながら、上述したようなポストフィルタによるフィルタ処理は比較的多くの演算量を必要とするため、フィルタ処理に時間がかかり、結果的に再生処理の遅れが引き起こされる場合がある。特に、マイクロプロセッサベースでソフトウェアデコードを行うシステムでは、動きの激しい場面においては復号処理そのものにプロセッサ資源が占有されてしまうので、それによってプロセッサ負荷が高くなり、再生処理の遅れが多々引き起こされることになる。再生処理の遅れは、音声と同期して動画像の復号・再生をソフトウェアによって行う場合に特に顕在化され、音声とのずれや、コマ落ちなどの問題が生じることになる。
【0008】
すなわち、動画像の再生処理に遅れが生じた場合には、通常、その遅れを解消するために、いくつかのフレームに関する復号処理を省くというフレームスキップが行われる。これにより、コマ落ちが発生し、ギクシャクとした再生画像となってしまう。特に、高圧縮率、高画質の画像が得られるMotion JPEG2000方式においては、Motion JPEGの画像処理に比べると多くの演算量を必要とするため、コマ落ちが顕著になる。
【0009】
そこで、このような問題を解決すべく、特許文献1に記載されているデジタル動画像圧縮・伸張処理を用いたリアルタイム録画再生装置においては、フレームレート制御部を持つことにより、圧縮時に処理が間に合わない場合は補間処理を行い、伸張時に処理が間に合わない場合はコマ落とし処理を行うようにし、特に伸張時のコマ落としは、圧縮時に補間処理を行ったフレームを優先的にコマ落とし処理する技術が開示されている。
【0010】
【特許文献1】
特開2001-309303公報
【0011】
【発明が解決しようとする課題】
しかしながら、上述したような特許文献1に開示された技術によれば、圧縮時の補間処理は実質的には間引き処理であり、結果的にはフレームレートを低下させるため、コマ落としによりフレームレートを低下させて処理のリアルタイム性を確保しているにすぎず、表示される動画像は動きが滑らかでない画像となってしまうという問題がある。
【0012】
本発明の目的は、再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行うことができる動画像処理装置、プログラム、記憶媒体および動画像処理方法を提供することである。
【0013】
【課題を解決するための手段】
本発明の動画像処理装置は、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理装置において、前記動画像データを構成するフレームデータを1フレーム毎に順次取り出すフレーム分離手段と、このフレーム分離手段により取り出されたフレームデータをデコード処理するデコード手段と、前記デコード手段による1フレームデータのデコード処理時間を取得するデコード時間検出手段と、前記デコード時間検出手段から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出手段と、前記品質パラメータ算出手段により算出された品質パラメータに対応する前記品質/時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定手段と、前記デコード手段によりデコード処理を行った際のデコード処理時間を前記デコード時間検出手段から取得し、取得したデコード処理時間に基づいて前記デコード品質/時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新手段と、前記デコード手段に対し、前記品質パラメータ算出手段により算出された品質パラメータを更新するデコード品質更新手段と、前記フレーム分離手段に対し、前記フレーム位置決定手段により決定されたフレーム位置を指示するフレーム位置更新手段と、を備える。
【0019】
また、本発明に係る動画像処理装置において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理装置において、前記動画像データを構成するフレームデータを1フレーム毎に順次取り出すフレーム分離手段と、このフレーム分離手段により取り出されたフレームデータをデコード処理するデコード手段と、前記デコード手段による1フレームデータのデコード処理時間を取得するデコード時間検出手段と、前記デコード時間検出手段から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出手段と、前記品質パラメータ算出手段により算出された品質パラメータに対応する前記品質/時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定手段と、前記デコード手段に対し、前記品質パラメータ算出手段により算出された品質パラメータを更新するデコード品質更新手段と、前記フレーム分離手段に対し、前記フレーム位置決定手段により決定されたフレーム位置を指示するフレーム位置更新手段とを有し、各品質における前記予測デコード時間は、前記品質/時間関係情報テーブルの前記デコード処理時間情報に含まれる、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される。
【0021】
また、本発明に係る他の動画像処理装置において、前記品質/時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る1フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有してもよい。
【0023】
また、本発明に係る他の動画像処理装置において、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化手段と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新手段と、を備えてもよい。
【0025】
また、本発明に係る他の動画像処理装置において、前記予測デコード時間更新手段は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら2つの平均値の変化比が所定の値より大きい場合は、前記直近の複数フレームのデコード処理時間の平均値を前記予測デコード時間とし、前記変化比が所定の値以下の場合は、前記それ以外の複数フレームのデコード処理時間の平均値を前記予測デコード時間として更新する。
【0027】
また、本発明に係る他の動画像処理装置において、前記品質パラメータ算出手段は、前記フレーム分離手段で取り出された1フレーム分のフレームデータのサイズを取得する圧縮データ量検出手段と、前記圧縮データ量検出手段により取得されるフレームのフレームデータのサイズよりも次に取得されるフレームのフレームデータのサイズの方が大きい場合、品質を下げるように品質パラメータを補正する変動傾向補正手段と、を備えてもよい。
【0029】
また、本発明に係る他の動画像処理装置において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、Motion JPEG2000方式であってもよい。
【0031】
また、本発明に係るプログラムは、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データの再生をコンピュータに実行させるプログラムであって、前記コンピュータに、前記動画像データを構成するフレームデータを1フレーム毎に順次取り出すフレーム分離機能と、このフレーム分離機能により取り出されたフレームデータをデコード処理するデコード機能と、前記デコード機能による1フレームデータのデコード処理時間を取得するデコード時間検出機能と、前記デコード時間検出機能から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出機能と、前記品質パラメータ算出機能により算出された品質パラメータに対応する前記品質/時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定機能と、前記デコード機能によりデコード処理を行った際のデコード処理時間を前記デコード時間検出機能から取得し、取得したデコード処理時間に基づいて前記デコード品質/時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新機能と、前記デコード機能に対し、前記品質パラメータ算出機能により算出された品質パラメータを更新するデコード品質更新機能と、前記フレーム分離機能に対し、前記フレーム位置決定機能により決定されたフレーム位置を指示するフレーム位置更新機能と、を実行させる。
【0037】
また、本発明に係るプログラムにおいて、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データの再生をコンピュータに実行させるプログラムであって、前記コンピュータに、前記動画像データを構成するフレームデータを1フレーム毎に順次取り出すフレーム分離機能と、このフレーム分離機能により取り出されたフレームデータをデコード処理するデコード機能と、
前記デコード機能による1フレームデータのデコード処理時間を取得するデコード時間検出機能と、前記デコード時間検出機能から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出機能と、前記品質パラメータ算出機能により算出された品質パラメータに対応する前記品質/時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定機能と、前記デコード機能に対し、前記品質パラメータ算出機能により算出された品質パラメータを更新するデコード品質更新機能と、
前記フレーム分離機能に対し、前記フレーム位置決定機能により決定されたフレーム位置を指示するフレーム位置更新機能と、を実行させ、各品質における前記予測デコード時間は、前記品質/時間関係情報テーブルの前記デコード処理時間情報に含まれる、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される。
【0039】
また、本発明に係る他のプログラムにおいて、前記品質/時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る1フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有してもよい。
【0041】
また、本発明に係る他のプログラムにおいて、前記統計情報更新機能は、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化機能と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新機能と、を前記コンピュータに実行させてもよい。
【0043】
また、本発明に係る他のプログラムにおいて、前記予測デコード時間更新機能は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら2つの平均値の変化比が所定の値より大きい場合は、前記直近の複数フレームのデコード処理時間の平均値を前記予測デコード時間とし、前記変化比が所定の値以下の場合は、前記それ以外の複数フレームのデコード処理時間の平均値を前記予測デコード時間として更新してもよい。
【0045】
また、本発明に係る他のプログラムにおいて、前記品質パラメータ算出機能は、前記フレーム分離機能で取り出された1フレーム分のフレームデータのサイズを取得する圧縮データ量検出機能と、前記圧縮データ量検出手段により取得されるフレームのフレームデータのサイズよりも次に取得されるフレームのフレームデータのサイズの方が大きい場合、品質を下げるように品質パラメータを補正する変動傾向補正機能と、を前記コンピュータに実行させる。
【0047】
また、本発明に係る他のプログラムにおいて、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、Motion JPEG2000方式であってもよい。
【0049】
また、本発明に係るコンピュータに読取り可能な記憶媒体は、本発明に係るプログラムを記憶している。
【0051】
また、本発明に係る動画像処理方法は、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理方法であって、前記動画像データを構成するフレームデータを1フレーム毎に順次取り出すフレーム分離工程と、このフレーム分離工程により取り出されたフレームデータをデコード処理するデコード工程と、前記デコード工程による1フレームデータのデコード処理時間を取得するデコード時間検出工程と、前記デコード時間検出工程により取得されたデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出工程と、前記品質パラメータ算出工程により算出された品質パラメータに対応する前記品質/時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定工程と、前記デコード工程によりデコード処理を行った際のデコード処理時間を前記デコード時間検出工程から取得し、取得したデコード処理時間に基づいて前記デコード品質/時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新工程と、前記デコード工程に対し、前記品質パラメータ算出工程により算出された品質パラメータを更新するデコード品質更新工程と、前記フレーム分離工程に対し、前記フレーム位置決定工程により決定されたフレーム位置を指示するフレーム位置更新工程と、をコンピュータの処理制御により行なう。
【0057】
また、本発明に係る動画像処理方法において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理方法であって、前記動画像データを構成するフレームデータを1フレーム毎に順次取り出すフレーム分離工程と、このフレーム分離工程により取り出されたフレームデータをデコード処理するデコード工程と、前記デコード工程による1フレームデータのデコード処理時間を取得するデコード時間検出工程と、前記デコード時間検出工程により取得されたデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出工程と、前記品質パラメータ算出工程により算出された品質パラメータに対応する前記品質/時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定工程と、前記デコード工程に対し、前記品質パラメータ算出工程により算出された品質パラメータを更新するデコード品質更新工程と、前記フレーム分離工程に対し、前記フレーム位置決定工程により決定されたフレーム位置を指示するフレーム位置更新工程と、をコンピュータの処理制御により行ない、各品質における前記予測デコード時間は、前記品質/時間関係情報テーブルの前記デコード処理時間情報に含まれる、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される。
【0059】
また、本発明に係る他の動画像処理方法において、前記品質/時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る1フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有してもよい。
【0061】
また、本発明に係る他の動画像処理方法において、前記統計情報更新工程は、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化工程と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新工程と、をコンピュータの処理制御により行なってもよい。
【0063】
また、本発明に係る他の動画像処理方法において、前記予測デコード時間更新工程は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら2つの平均値の変化比が所定の値より大きい場合は、前記直近の複数フレームのデコード処理時間の平均値を前記予測デコード時間とし、前記変化比が所定の値以下の場合は、前記それ以外の複数フレームのデコード処理時間の平均値を前記予測デコード時間として更新してもよい。
【0065】
また、本発明に係る他の動画像処理方法において、前記品質パラメータ算出工程は、前記フレーム分離工程で取り出された1フレーム分のフレームデータのサイズを取得する圧縮データ量検出工程と、前記圧縮データ量検出工程により取得されるフレームのフレームデータのサイズよりも次に取得されるフレームのフレームデータのサイズの方が大きい場合、品質を下げるように品質パラメータを補正する変動傾向補正工程と、をコンピュータの処理制御により行なう。
【0067】
また、本発明に係る他の動画像処理方法において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、Motion JPEG2000方式であってもよい。
【0069】
【発明の実施の形態】
本発明の実施の一形態を図1ないし図18に基づいて説明する。
【0070】
最初に、本発明の前提となる「階層符号化アルゴリズム」及び「JPEG2000アルゴリズム」の概要について説明する。
【0071】
図1は、JPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。このシステムは、色空間変換・逆変換部101、2次元ウェーブレット変換・逆変換部102、量子化・逆量子化部103、エントロピー符号化・復号化部104、タグ処理部105の各機能ブロックにより構成されている。
【0072】
このシステムが従来のJPEGアルゴリズムと比較して最も大きく異なる点の一つは変換方式である。JPEGでは離散コサイン変換(DCT:Discrete Cosine Transform)を用いているのに対し、この階層符号化アルゴリズムでは、2次元ウェーブレット変換・逆変換部102において、離散ウェーブレット変換(DWT:Discrete Wavelet Transform)を用いている。DWTはDCTに比べて、高圧縮領域における画質が良いという長所を有し、この点が、JPEGの後継アルゴリズムであるJPEG2000でDWTが採用された大きな理由の一つとなっている。
【0073】
また、他の大きな相違点は、この階層符号化アルゴリズムでは、システムの最終段に符号形成を行うために、タグ処理部105の機能ブロックが追加されていることである。このタグ処理部105で、画像の圧縮動作時には圧縮データが符号列データとして生成され、伸長動作時には伸長に必要な符号列データの解釈が行われる。そして、符号列データによって、JPEG2000は様々な便利な機能を実現できるようになった。例えば、ブロック・ベースでのDWTにおけるオクターブ分割に対応した任意の階層(デコンポジション・レベル)で、静止画像の圧縮伸長動作を自由に停止させることができるようになる(後述する図3参照)。
【0074】
原画像の入出力部分には、色空間変換・逆変換101が接続される場合が多い。例えば、原色系のR(赤)/G(緑)/B(青)の各コンポーネントからなるRGB表色系や、補色系のY(黄)/M(マゼンタ)/C(シアン)の各コンポーネントからなるYMC表色系から、YUVあるいはYCbCr表色系への変換又は逆変換を行う部分がこれに相当する。
【0075】
次に、JPEG2000アルゴリズムについて説明する。
【0076】
カラー画像は、一般に、図2に示すように、原画像の各コンポーネント111(ここではRGB原色系)が、矩形をした領域によって分割される。この分割された矩形領域は、一般にブロックあるいはタイルと呼ばれているものであるが、JPEG2000では、タイルと呼ぶことが一般的であるため、以下、このような分割された矩形領域をタイルと記述することにする(図2の例では、各コンポーネント111が縦横4×4、合計16個の矩形のタイル112に分割されている)。このような個々のタイル112(図2の例で、R00,R01,…,R15/G00,G01,…,G15/B00,B01,…,B15)が、画像データの圧縮伸長プロセスを実行する際の基本単位となる。従って、画像データの圧縮伸長動作は、コンポーネント毎、また、タイル112毎に、独立に行われる。
【0077】
画像データの符号化時には、各コンポーネント111の各タイル112のデータが、図1の色空間変換・逆変換部101に入力され、色空間変換を施された後、2次元ウェーブレット変換部102で2次元ウェーブレット変換(順変換)が施されて、周波数帯に空間分割される。
【0078】
図3には、デコンポジション・レベル数が3の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像(0LL)(デコンポジション・レベル0)に対して、2次元ウェーブレット変換を施し、デコンポジション・レベル1に示すサブバンド(1LL,1HL,1LH,1HH)を分離する。そして引き続き、この階層における低周波成分1LLに対して、2次元ウェーブレット変換を施し、デコンポジション・レベル2に示すサブバンド(2LL,2HL,2LH,2HH)を分離する。順次同様に、低周波成分2LLに対しても、2次元ウェーブレット変換を施し、デコンポジション・レベル3に示すサブバンド(3LL,3HL,3LH,3HH)を分離する。図3では、各デコンポジション・レベルにおいて符号化の対象となるサブバンドを、網掛けで表してある。例えば、デコンポジション・レベル数を3としたとき、網掛けで示したサブバンド(3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HH)が符号化対象となり、3LLサブバンドは符号化されない。
【0079】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図1に示す量子化・逆量子化部103で対象ビット周辺のビットからコンテキストが生成される。
【0080】
この量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図4に示したように、一つのプレシンクトは、空間的に一致した3つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【0081】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、JPEG2000では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。
【0082】
ここで、図5はビットプレーンに順位付けする手順の一例を示す説明図である。図5に示すように、この例は、原画像(32×32画素)を16×16画素のタイル4つで分割した場合で、デコンポジション・レベル1のプレシンクトとコード・ブロックの大きさは、各々8×8画素と4×4画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられており、この例では、プレンシクトが番号0から3まで、コード・ブロックが番号0から3まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆(5,3)フィルタでウェーブレット変換を行い、デコンポジション・レベル1のウェーブレット係数値を求めている。
【0083】
また、タイル0/プレシンクト3/コード・ブロック3について、代表的な「レイヤ」構成の概念の一例を示す説明図も図5に併せて示す。変換後のコード・ブロックは、サブバンド(1LL,1HL,1LH,1HH)に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【0084】
レイヤの構造は、ウェーブレット係数値を横方向(ビットプレーン方向)から見ると理解し易い。1つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ0,1,2,3は、各々、1,3,1,3のビットプレーンから成っている。そして、LSB(Least Significant Bit:最下位ビット)に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、MSB(Most Significant Bit:最上位ビット)に近いレイヤは最後まで量子化されずに残ることになる。LSBに近いレイヤから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【0085】
図1に示すエントロピー符号化・復号化部104では、コンテキストと対象ビットから確率推定によって、各コンポーネント111のタイル112に対する符号化を行う。こうして、原画像の全てのコンポーネント111について、タイル112単位で符号化処理が行われる。最後にタグ処理部105は、エントロピー符号化・復号化部104からの全符号化データを1本の符号列データに結合するとともに、それにタグを付加する処理を行う。
【0086】
図6には、この符号列データの1フレーム分の概略構成を示している。この符号列データの先頭と各タイルの符号データ(bit stream)の先頭にはヘッダ(メインヘッダ(Main header)、タイル境界位置情報等であるタイルパートヘッダ(tile part header))と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。なお、メインヘッダ(Main header)には、符号化パラメータや量子化パラメータが記述されている。そして、符号列データの終端には、再びタグ(end of codestream)が置かれる。また、図7は、符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコード・ストリーム構造を示すものである。図7に示すように、タイルによる分割処理を行っても、あるいはタイルによる分割処理を行わなくても、同様のパケット列構造を持つことになる。
【0087】
一方、符号化データの復号化時には、画像データの符号化時とは逆に、各コンポーネント111の各タイル112の符号列データから画像データを生成する。この場合、タグ処理部105は、外部より入力した符号列データに付加されたタグ情報を解釈し、符号列データを各コンポーネント111の各タイル112の符号列データに分解し、その各コンポーネント111の各タイル112の符号列データ毎に復号化処理(伸長処理)を行う。このとき、符号列データ内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部103で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部104で、このコンテキストと符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを2次元ウェーブレット変換・逆変換部102で2次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部101によって元の表色系の画像データに変換される。
【0088】
以上が、「JPEG2000アルゴリズム」の概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものが、「Motion JPEG2000アルゴリズム」である。すなわち、「Motion JPEG2000」は、図8に示すように、1フレームのJPEG2000画像を所定のフレームレート(単位時間に再生するフレーム数)で連続して表示することにより、動画像にするものである。
【0089】
以下、本発明の実施の一形態について説明する。なお、ここでは、Motion JPEG2000を代表とする動画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【0090】
図9は、本実施の形態に係る動画像出力システム1の全体構成を示すブロック図である。図9に示すように、動画像出力システム1は、圧縮動画像データを動画像処理装置3に対して入力する入力装置2と、入力装置2から入力した圧縮動画像データを伸長する動画像処理装置3と、動画像処理装置3で伸長された動画像データを出力する出力装置4とからなる。
【0091】
入力装置2は、具体的には、動画像処理装置3へ圧縮動画像データを送信する各種通信インターフェイス、圧縮動画像データを記憶する記憶装置、動画像を入力するビデオカメラなどの動画像入力装置などである。入力装置2から動画像処理装置3へと出力される圧縮動画像データは、「Motion JPEG2000アルゴリズム」に従って圧縮符号化されたMotion JPEG2000データである。
【0092】
出力装置4は、具体的には、動画像処理装置3で伸長された動画像データを受信する各種通信インターフェイス、伸長された動画像を表示するLCD(Liquid Crystal Display),CRT(Cathode Ray Tube)などのディスプレイなどである。
【0093】
次に、動画像処理装置3について詳細に説明する。図10は、本実施の形態における動画像処理装置3のモジュール構成図である。動画像処理装置3は、いわゆるパーソナルコンピュータであって、情報処理を行うCPU(Central Processing Unit)11、情報を格納するROM(Read Only Memory)12及びRAM(Random Access Memory)13等の一次記憶装置14、後述する圧縮符号を記憶する記憶部であるHDD(Hard Disk Drive)15等の二次記憶装置16、情報を保管したり外部に情報を配布したり外部から情報を入手するためのCD−ROMドライブ等のリムーバブルディスク装置17、入力装置2や出力装置4と通信により情報を伝達するためのネットワークインターフェース18、処理経過や結果等を操作者に表示するCRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等の表示装置19、並びに操作者がCPU11に命令や情報等を入力するためのキーボード20、マウス等のポインティングディバイス21等から構成されており、これらの各部間で送受信されるデータをバスコントローラ22が調停して動作する。なお、本実施の形態においては、動画像処理装置3の表示装置19が出力装置4として機能するものとする。
【0094】
このような動画像処理装置3では、ユーザが電源を投入するとCPU11がROM12内のローダーというプログラムを起動させ、HDD15よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをRAM13に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Windows(登録商標)、UNIX(登録商標)等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
【0095】
ここで、動画像処理装置3は、アプリケーションプログラムとして、動画処理プログラムをHDD15に記憶している。この意味で、HDD15は、動画処理プログラムを記憶する記憶媒体として機能する。
【0096】
また、一般的には、動画像処理装置3のHDD15等の二次記憶装置16にインストールされる動作プログラムは、CD−ROMやDVD−ROM等の光情報記録メディアやFD等の磁気メディア等に記録され、この記録された動作プログラムがHDD15等の二次記憶装置16にインストールされる。このため、CD−ROM等の光情報記録メディアやFD等の磁気メディア等の可搬性を有する記憶媒体も、動画処理プログラムを記憶する記憶媒体となり得る。さらには、動画処理プログラムは、例えばネットワークインターフェース18を介して外部から取り込まれ、HDD15等の二次記憶装置16にインストールされても良い。
【0097】
動画像処理装置3は、オペレーティングシステム上で動作する動画処理プログラムが起動すると、この動画処理プログラムに従い、CPU11が各種の演算処理を実行して各部を集中的に制御する。動画像処理装置3のCPU11が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。
【0098】
ここで、動画像処理装置3のCPU11が実行する各種の演算処理により実現される機能について説明する。図11に示すように、動画像処理装置3においては、フレーム分離手段31、デコード手段として機能するJPEG2000デコーダ32、圧縮データ量検出手段33、フレーム位置更新手段34、デコード品質更新手段35、デコード時間検出手段36、統計情報更新手段37、判定手段38の各機能が、CPU11が実行する各種の演算処理により実現されている。なお、リアルタイム性が重要視される場合には、処理を高速化する必要がある。そのためには、論理回路(図示せず)を別途設け、論理回路の動作により各種機能を実現するようにするのが望ましい。また、CPU11は動画処理プログラムに従って動作することで、RAM13にデコード品質/時間関係情報テーブル39を形成する。
【0099】
フレーム分離手段31は、入力装置2から出力されたMotion JPEG2000データを構成するフレームデータをフレーム位置更新手段34からの指示に基づいて順次取り出す。
【0100】
JPEG2000デコーダ32は、Motion JPEG2000データを構成するフレームデータをデコード品質更新手段35により指定された品質パラメータに従ってデコード(伸長)処理を行う。ここで、品質パラメータは、デコード(伸長)処理の際のデコード品質を決定するものであって、デコードパラメータ(JPEG2000のレイヤ、トランケーション値、レベルなど)を単一または複合的に変更することでデコード品質を決定する。
【0101】
圧縮データ量検出手段33は、フレーム分離手段31で取り出された1フレーム分のフレームデータのサイズを取得する。
【0102】
フレーム位置更新手段34は、フレーム分離手段31に対して、次に処理するフレーム位置を指定されたコマ数だけスキップすることを指示する。
【0103】
デコード品質更新手段35は、JPEG2000デコーダ32に対して、デコード(伸長)処理の際の品質パラメータを更新する。
【0104】
デコード時間検出手段36は、JPEG2000デコーダ32が1フレームのデータをデコード(伸長)処理する際にかかった処理時間を取得する。
【0105】
デコード品質/時間関係情報テーブル39は、図12に示すように、Motion JPEG2000データのデコード品質を変更する品質パラメータを高品質から低品質の順に変更可能な段数分(N)テーブル状にしたものであり、JPEG2000デコーダ32に指示する品質パラメータの組み合わせだけエントリを持ち、特定のエントリ内の情報はインデックスにより指示可能とされている。図12に示すように、デコード品質/時間関係情報テーブル39は、テーブル中のエントリに、それぞれ最高品質を“1”としたデコード時間(デコード(伸長)処理時間)の予想比率値(R)を有している(あらかじめ測定した実行値を基に算出)。また、テーブル中のエントリには、実行中のデコード時間履歴(TH)とその代表値となる予測デコード時間(TS)も有している。予測デコード時間(TS)は、最高品質を“1”とした時のデコード時間比率(R)の値を基に初期化され、デコード(伸長)処理が行われている際に逐次更新される。このように、各品質での予測されるデコード処理時間が予測デコード時間として規定されていることにより、品質パラメータに応じたデコード処理の予想時間の決定が容易になる。また、デコード時間履歴(TH)は、リスト形式の領域であり、過去数十フレームの実測値を格納している。これにより、デコード処理時間の過去の実測値に基づいて品質パラメータに応じたデコード処理の予想時間を決定することが可能になる。すなわち、この情報を加味して予測デコード時間(TS)の更新が行われることになる。
【0106】
統計情報更新手段37は、デコード(伸長)処理を行った際の実デコード時間を記録し、以後に使用するデコード品質/時間関係情報テーブル39の予測デコード時間(TS)を更新する。より具体的には、図13に示すように、例えば30(フレーム/sec)の動画にて1秒分の情報を保持する場合では、情報を初めて処理する際に(ステップS1のY)、デコード品質/時間関係情報テーブル39の予測デコード時間(TS)とデコード時間履歴(TH)の30エントリを初期化する(ステップS2,S3:初期化手段)。なお、ステップS2,S3におけるデコード品質/時間関係情報テーブル39の予測デコード時間(TS)とデコード時間履歴(TH)の初期化は、予め用意された標準画像をデコード(伸長)したデコード(伸長)処理時間に基づいて行われる。
【0107】
以降の処理では(ステップS1のN)、今回のデコード(伸長)処理の処理時間の実測値をデコード時間履歴(TH)に登録し(ステップS4)、過去の統計情報に基づいてデコード品質/時間関係情報テーブル39の予測デコード時間(TS)を更新する予測デコード時間更新処理を行う(ステップS5:予測デコード時間更新手段)。
【0108】
予測デコード時間更新処理は、より詳細には、図14に示すように、デコード品質/時間関係情報テーブル39の該当するインデックスのデコード時間履歴(TH)から直前3フレームのデコード(伸長)時間の平均値(NA)を算出し(ステップS11)、デコード品質/時間関係情報テーブル39の該当するインデックスのデコード時間履歴(TH)から直前の3フレームを除いた27フレームのデコード(伸長)時間の平均値(FA)を算出する(ステップS12)。
【0109】
次いで、直前の3フレームのデコード(伸長)時間の平均値(NA)と直前の3フレームを除いた27フレームのデコード(伸長)時間の平均値(FA)とを比較し(ステップS13)、平均値(NA)と平均値(FA)の変化比が所定の値(例えば、10%)より大きくない場合には(ステップS13のN)、予測デコード時間(TS)に27フレームのデコード(伸長)時間の平均値(FA)を指定して(ステップS14)、新たな予測デコード時間(TS)とする。一方、平均値(NA)と平均値(FA)の変化比が所定の値より大きい場合には(ステップS13のY)、予測デコード時間(TS)に直前の3フレームのデコード(伸長)時間の平均値(NA)を指定して(ステップS15)、新たな予測デコード時間(TS)とする。
【0110】
ここで、図15は直前の3フレームのデコード(伸長)時間の平均値(NA)と直前の3フレームを除いた27フレームのデコード(伸長)時間の平均値(FA)との比較を例示的に示す説明図である。図15に示すように、時間A地点ではFAとNAとの変化比は約4%であるため、予測デコード時間(TS)に27フレームのデコード(伸長)時間の平均値(FA)の31.4msを採用する。時間B地点ではFAとNAとの変化比は約1%であるため、予測デコード時間(TS)に27フレームのデコード(伸長)時間の平均値(FA)の31.4msを採用する。時間C地点ではFAとNAとの変化比は約20%であるため、予測デコード時間(TS)に直前の3フレームのデコード(伸長)時間の平均値(NA)の38.0msを採用する。すなわち、直前の1つのサンプルや直前の3フレームのデコード(伸長)時間の平均値(NA)のみの評価であると
32.7ms→31.7ms→38.0ms
と頻繁に値が変化することになるが、このような評価方法によれば、小さな変動に対しては揺れが少なく、大きな変動にも対応できる。
【0111】
以上により、デコード品質/時間関係情報テーブル39の予測デコード時間(TS)が更新される。
【0112】
判定手段38は、デコード時間検出手段36から取得したデコード処理時間と圧縮データ量検出手段33から得た圧縮されたフレームデータサイズを基に品質パラメータを算出し、算出した品質パラメータをデコード品質更新手段35に出力する。すなわち、判定手段38は、品質パラメータ算出手段及びフレーム位置決定手段として機能するものである。より具体的には、図16に示すように、JPEG2000デコーダ32が1フレームのデータをデコード(伸長)処理する際にかかった処理時間をデコード時間検出手段36から取得し(ステップS21)、該当フレームの表示時間(一般に、1/フレームレート 秒)から前回のフレーム表示での超過時間を差し引いた時間と、ステップS21で取得したデコード処理時間とを比較する(ステップS22)。例えば、30(フレーム/sec)の動画の場合では、デコード処理時間がフレーム表示間隔時間33msより大きいか否かを判断する。
【0113】
ステップS21で取得したデコード処理時間が、該当フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合には(ステップS22のY)、新しい品質パラメータを算出する品質パラメータ算出処理を実行する(ステップS23)。
【0114】
ここで、品質パラメータ算出処理について図17を参照しつつ説明する。図17に示すように、デコード品質/時間関係情報テーブル39を参照するためのインデックスnを最高品質のインデックス(n←1)に初期化する(ステップS31)。
【0115】
続くステップS32においては、インデックスnのデコード品質/時間関係情報テーブル39にある予測デコード時間(TS)がフレーム表示間隔より小さいか否かを判定する。
【0116】
インデックスnのデコード品質/時間関係情報テーブル39にある予測デコード時間(TS)がフレーム表示間隔より小さくない場合には(ステップS32のN)、ステップS33に進む。
【0117】
ステップS33においては、品質値が所定の最低品質値を下回っているか否か判定する。
【0118】
品質値が所定の最低品質値を下回っていない場合には(ステップS33のN)、現在の品質値を示すインデックスnを“1”インクリメントし(ステップS34)、ステップS32に戻る。
【0119】
一方、インデックスnのデコード品質/時間関係情報テーブル39にある予測デコード時間(TS)がフレーム表示間隔より小さい場合(ステップS32のY)、または、品質値が所定の最低品質値を下回っている場合には(ステップS33のY)、ステップS35に進み、変動傾向補正処理(変動傾向補正手段)を実行する。
【0120】
ここで、変動傾向補正処理について図18を参照しつつ説明する。図18に示すように、圧縮データ量検出手段33から今回のフレームの圧縮されたデータサイズを取得するとともに(ステップS41)、圧縮データ量検出手段33から次にデコード(伸長)処理するフレームの圧縮されたデータサイズを取得し(ステップS42)、両者を比較する(ステップS43)。
【0121】
そして、今回のフレームのデータサイズよりも次にデコード(伸長)処理するフレームの圧縮されたデータサイズの方が大きいと判定した場合には(ステップS43のY)、ステップS44に進み、品質パラメータのインデックスnを“1”インクリメントし、変動傾向補正処理を終了する。すなわち、今回のフレームのデータサイズよりも次にデコード(伸長)処理するフレームの圧縮されたデータサイズの方が大きいと判定した場合には(ステップS43のY)、品質を下げるようにしたものである。
【0122】
このように変動傾向補正処理を行うことにより、デコード(伸長)処理するフレームの圧縮されたデータサイズの増加/減少傾向に応じて、次に処理すべきフレームの品質パラメータを補正することが可能になる。
【0123】
ここに、これから処理される予定のフレームのフレームデータのサイズに基づく直近のフレームのフレームデータに対するサイズの増減に応じて、品質パラメータが補正されることにより、フレームレートを確実に維持するための安全策がとられる。
【0124】
変動傾向補正処理(ステップS35)が終了すると、最終的に決定したインデックスnに対応する品質パラメータを算出する。
【0125】
以上により、品質パラメータ算出処理(ステップS23)が終了する。これにより、フレームのデコード(伸長)処理を行った処理時間の統計情報とフレーム圧縮量の変動傾向からフレーム表示時間を超えない範囲で処理可能な品質パラメータの最高品質値を得ることができる。
【0126】
品質パラメータ算出処理(ステップS23)が終了すると、ステップS24に進み、品質パラメータを品質パラメータ算出処理(ステップS23)で算出された新しい品質パラメータで更新する。ここで更新される品質パラメータは、品質を下げるものである。
【0127】
次いで、ステップS25に進み、更新された新しい品質パラメータでのデコード処理時間の予想値と該当フレームの表示時間とを比較する。
【0128】
デコード予想時間がフレーム表示時間より大きいと判定した場合には(ステップS25のY)、ステップS26に進み、コマ落としを指示する。例えば、30(フレーム/sec)の動画の場合では、デコード予想時間がフレーム表示間隔時間33msより大きい場合に、コマ落としを指示するものである。なお、コマ落としは、更新された新しい品質パラメータでのデコード処理時間の予想値を包含する時間分だけ次のフレーム位置を更新する。
【0129】
また、デコード予想時間がフレーム表示時間より大きくないと判定した場合には(ステップS25のN)、そのまま処理を終了する。
【0130】
一方、ステップS21で取得したデコード処理時間が、該当フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きくない場合には(ステップS22のN)、前回の品質パラメータの更新から所定時間経過しているか否かを判定する(ステップS27)。ここで、所定時間としては、1秒程度が望ましい。
【0131】
前回の品質パラメータの更新から所定時間経過している場合には(ステップS27のY)、ステップS28に進み、品質パラメータを直前の状態より1段上げ、更新を指示する。ここで更新される品質パラメータは、品質を上げるものである。このように品質パラメータを1段ずつ上げていくのは、急激に画像品質が変化するのを防止するためである。例えば、30(フレーム/sec)の動画の場合では、デコード処理時間がフレーム表示間隔時間33msより小さい場合が継続する場合は1秒ごとに品質パラメータを1段ずつ上げていくことになる。
【0132】
また、前回の品質パラメータの更新から所定時間経過していない場合には(ステップS27のN)、そのまま処理を終了する。
【0133】
以上のような判定手段38における処理により、実際にデコード(伸長)処理を行った処理時間に基づいて以後のフレームデコード(伸長)処理のための品質パラメータの更新及びコマ落とし指示を制御することが可能になる。
【0134】
次に、上述した各種機能による一連の処理の流れについて説明する。入力装置2から出力されたMotion JPEG2000データは、フレーム位置更新手段34からの指示に基づいてフレーム分離手段31でフレーム毎に切り出されて単一のフレームデータとして取り出される。フレーム分離手段31で取り出されたフレームデータは、デコード品質更新手段35により指定された品質パラメータに従ってJPEG2000デコーダ32でデコード(伸長)処理を施される。JPEG2000デコーダ32でデコード(伸長)処理を施された動画像データは、出力装置4(表示装置19)に順次出力され、出力装置4(表示装置19)に映像が表示される。
【0135】
一方、デコード時間検出手段36によってフレームデータのデコード(伸長)処理時間が取得されると、このフレームデータのデコード(伸長)処理時間に基づいて判定手段38により品質パラメータが算出され、デコード品質更新手段35によりJPEG2000デコーダ32に対して新しい品質パラメータが与えられ、以降のデコード時の品質パラメータが更新される。例えば、30(フレーム/sec)の動画の場合では、デコード処理時間がフレーム表示間隔時間33msより大きく、次のフレームの表示が間に合わないと判断した場合には、デコード品質/時間関係情報テーブル39を参照し、以後のフレーム表示間隔時間に間に合うと予想される予想デコード時間が33ms未満の品質パラメータに品質パラメータを下げる。加えて、算出された品質パラメータが所定の品位を下回る場合には、品質パラメータを所定の値に固定する。この場合に、フレーム表示間隔時間33msに間に合わないと判断される場合は、フレーム位置更新手段34によってフレーム分離手段31に対してコマ落としが指示される。
【0136】
統計情報更新手段37は、デコード時間検出手段36によって取得したフレームデータのデコード(伸長)処理時間に基づいて、デコード品質/時間関係情報テーブル39を更新する。
【0137】
ここに、デコード手段であるJPEG2000デコーダ32はフレーム分離手段31により取り出されたフレームデータを品質パラメータに基づいてデコード処理するが、品質パラメータはデコード時間検出手段36により取得された1フレームデータのデコード処理時間に基づいて品質パラメータ算出手段として機能する判定手段38により算出されてデコード品質更新手段35によりJPEG2000デコーダ32に対して更新される。また、フレーム位置決定手段として機能する判定手段38により品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置が決定され、フレーム位置更新手段34によりフレーム分離手段31に対して決定された次に処理するフレーム位置が指示される。これにより、伸長処理能力に応じて適応的に画像品質を制御することが可能になり、原則的にはフレームレートを維持したままで品質を調整することで再生の時間遅延によるコマ落ちを発生させることのないリアルタイム伸長処理が可能になる。また、フレームレートを落とさざるを得ない場合であっても、できるだけ画像品質とフレームレートを維持することが可能になる。すなわち、再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行うことができる。
【0138】
なお、本実施の形態においては、動画像処理装置3としてパーソナルコンピュータを適用したが、これに限るものではない。例えば、携帯情報端末(PDA)や携帯電話などを動画像処理装置3として適用することもできる。
【0139】
【発明の効果】
本発明に係る動画像処理装置によれば、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理装置において、
前記動画像データを構成するフレームデータを1フレーム毎に順次取り出すフレーム分離手段と、 このフレーム分離手段により取り出されたフレームデータをデコード処理するデコード手段と、前記デコード手段による1フレームデータのデコード処理時間を取得するデコード時間検出手段と、前記デコード時間検出手段から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出手段と、前記品質パラメータ算出手段により算出された品質パラメータに対応する前記品質/時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定手段と、前記デコード手段によりデコード処理を行った際のデコード処理時間を前記デコード時間検出手段から取得し、取得したデコード処理時間に基づいて前記デコード品質/時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新手段と、前記デコード手段に対し、前記品質パラメータ算出手段により算出された品質パラメータを更新するデコード品質更新手段と、前記フレーム分離手段に対し、前記フレーム位置決定手段により決定されたフレーム位置を指示するフレーム位置更新手段と、を備えることにより、伸長処理能力に応じて適応的に画像品質を制御することができるので、原則的にはフレームレートを維持したままで品質を調整することで再生の時間遅延によるコマ落ちを発生させることのないリアルタイム伸長処理ができ、また、フレームレートを落とさざるを得ない場合であっても、できるだけ画像品質とフレームレートを維持することができる。すなわち、再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行うことができる。
また、本発明に係る動画像処理装置において、前記品質パラメータ算出手段は、デコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルを用いて品質パラメータを算出することにより、品質パラメータの算出を容易にすることができる。
また、本発明に係る動画像処理装置において、前記デコード手段によりデコード処理を行った際のデコード処理時間を前記デコード時間検出手段から取得し、取得したデコード処理時間に基づいて前記デコード品質/時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新手段を備えることにより、精度を高めることができる。
【0142】
また、本発明に係る他の動画像処理において、前記品質/時間関係情報テーブルの前記デコード処理時間情報は、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される各品質での予測されるデコード処理時間である予測デコード時間を有していることにより、各品質での予測されるデコード処理時間を予測デコード時間として規定することができるので、品質パラメータに応じたデコード処理の予想時間の決定を容易に行うことができる。
【0143】
また、本発明に係る他の動画像処理装置において、前記品質/時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る1フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有していることにより、デコード処理時間の過去の実測値に基づいて品質パラメータに応じたデコード処理の予想時間を決定することができる。
【0144】
また、本発明に係る他の動画像処理装置において、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化手段と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新手段と、を備えることにより、予測されるデコード処理時間である予測デコード時間を、標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化し、デコード処理時間の過去の実測値に基づいて確実に更新することができる。
【0145】
また、本発明に係る他の動画像処理装置において、前記予測デコード時間更新手段は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら2つの平均値の変化比が所定の値より大きい場合は、前記直近の複数フレームのデコード処理時間の平均値を前記予測デコード時間とし、前記変化比が所定の値以下の場合は、前記それ以外の複数フレームのデコード処理時間の平均値を前記予測デコード時間として更新することにより、小さな変動に対しては揺れを少なくし、大きな変動にも対応することができる。
【0146】
また、本発明に係る他の動画像処理装置において、前記品質パラメータ算出手段は、前記フレーム分離手段で取り出された1フレーム分のフレームデータのサイズを取得する圧縮データ量検出手段と、フレームのフレームデータのサイズよりも次に取得されるフレームのフレームデータのサイズの方が大きい場合、品質を下げるように品質パラメータを補正する変動傾向補正手段と、を備えることにより、これから処理される予定のフレームのフレームデータのサイズに基づく直近のフレームのフレームデータに対するサイズの増減に応じて、品質パラメータを補正することにより、フレームレートを確実に維持するための安全策をとることができる。
【0147】
また、本発明に係る他の動画像処理装置において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、Motion JPEG2000方式であることにより、高圧縮率、高画質の動画像を得ることができる。
【0148】
また、本発明に係るプログラムによれば、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データの再生をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記動画像データを構成するフレームデータを1フレーム毎に順次取り出すフレーム分離機能と、このフレーム分離機能により取り出されたフレームデータをデコード処理するデコード機能と、前記デコード機能による1フレームデータのデコード処理時間を取得するデコード時間検出機能と、前記デコード時間検出機能から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出機能と、前記品質パラメータ算出機能により算出された品質パラメータに対応する前記品質/時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定機能と、前記デコード機能によりデコード処理を行った際のデコード処理時間を前記デコード時間検出機能から取得し、取得したデコード処理時間に基づいて前記デコード品質/時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新機能と、前記デコード機能に対し、前記品質パラメータ算出機能により算出された品質パラメータを更新するデコード品質更新機能と、前記フレーム分離機能に対し、前記フレーム位置決定機能により決定されたフレーム位置を指示するフレーム位置更新機能と、を実行させ、デコード機能はフレーム分離機能により取り出されたフレームデータを品質パラメータに基づいてデコード処理するが、品質パラメータをデコード時間検出機能により取得された1フレームデータのデコード処理時間に基づいて品質パラメータ算出機能により算出し、デコード品質更新機能によりデコード機能に対して更新し、また、フレーム位置決定機能により品質パラメータ算出機能により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定し、フレーム位置更新機能によりフレーム分離機能に対して決定された次に処理するフレーム位置を指示することにより、伸長処理能力に応じて適応的に画像品質を制御することができるので、原則的にはフレームレートを維持したままで品質を調整することで再生の時間遅延によるコマ落ちを発生させることのないリアルタイム伸長処理ができ、また、フレームレートを落とさざるを得ない場合であっても、できるだけ画像品質とフレームレートを維持することができる。すなわち、再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行うことができる。
また、本発明に係るプログラムにおいて、前記品質パラメータ算出機能は、デコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルを用いて品質パラメータを算出することにより、品質パラメータの算出を容易にすることができる。
また、本発明に係るプログラムにおいて、前記デコード機能によりデコード処理を行った際のデコード処理時間を前記デコード時間検出機能から取得し、取得したデコード処理時間に基づいて前記デコード品質/時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新機能を前記コンピュータに実行させることにより、精度を高めることができる。
【0151】
また、本発明に係る他のプログラムにおいて、前記品質/時間関係情報テーブルの前記デコード処理時間情報は、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される各品質での予測されるデコード処理時間である予測デコード時間を有していることにより、各品質での予測されるデコード処理時間を予測デコード時間として規定することができるので、品質パラメータに応じたデコード処理の予想時間の決定を容易に行うことができる。
【0152】
また、本発明に係る他のプログラムにおいて、前記品質/時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る1フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有していることにより、デコード処理時間の過去の実測値に基づいて品質パラメータに応じたデコード処理の予想時間を決定することができる。
【0153】
また、本発明に係る他のプログラムにおいて、前記統計情報更新機能は、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化機能と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新機能と、を前記コンピュータに実行させることにより、予測されるデコード処理時間である予測デコード時間を、標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化し、デコード処理時間の過去の実測値に基づいて確実に更新することができる。
【0154】
また、本発明に係る他のプログラムにおいて、前記予測デコード時間更新機能は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら2つの平均値の変化比が所定の値より大きい場合は、前記直近の複数フレームのデコード処理時間の平均値を前記予測デコード時間とし、前記変化比が所定の値以下の場合は、前記それ以外の複数フレームのデコード処理時間の平均値を前記予測デコード時間として更新することにより、小さな変動に対しては揺れを少なくし、大きな変動にも対応することができる。
【0155】
また、本発明に係る他のプログラムにおいて、前記品質パラメータ算出機能は、前記フレーム分離機能で取り出された1フレーム分のフレームデータのサイズを取得する圧縮データ量検出機能と、フレームのフレームデータのサイズよりも次に取得されるフレームのフレームデータのサイズの方が大きい場合、品質を下げるように品質パラメータを補正する変動傾向補正機能と、を前記コンピュータに実行させることにより、これから処理される予定のフレームのフレームデータのサイズに基づく直近のフレームのフレームデータに対するサイズの増減に応じて、品質パラメータを補正することにより、フレームレートを確実に維持するための安全策をとることができる。
【0156】
また、本発明に係る他のプログラムにおいて、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、Motion JPEG2000方式であることにより、高圧縮率、高画質の動画像を得ることができる。
【0157】
また、本発明に係るコンピュータに読取り可能な記憶媒体によれば、本発明に係るプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、プログラムの発明と同様の作用効果を得ることができる。
【0158】
また、本発明に係る動画像処理方法によれば、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式を用いて圧縮された動画像データを再生する動画像処理方法であって、前記動画像データを構成するフレームデータを1フレーム毎に順次取り出すフレーム分離工程と、このフレーム分離工程により取り出されたフレームデータをデコード処理するデコード工程と、前記デコード工程による1フレームデータのデコード処理時間を取得するデコード時間検出工程と、前記デコード時間検出工程により取得されたデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出工程と、前記品質パラメータ算出工程により算出された品質パラメータに対応する前記品質/時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定工程と、前記デコード工程によりデコード処理を行った際のデコード処理時間を前記デコード時間検出工程から取得し、取得したデコード処理時間に基づいて前記デコード品質/時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新工程と、前記デコード工程に対し、前記品質パラメータ算出工程により算出された品質パラメータを更新するデコード品質更新工程と、前記フレーム分離工程に対し、前記フレーム位置決定工程により決定されたフレーム位置を指示するフレーム位置更新工程と、をコンピュータの処理制御により行ない、デコード工程はフレーム分離工程により取り出されたフレームデータを品質パラメータに基づいてデコード処理するが、品質パラメータをデコード時間検出工程により取得された1フレームデータのデコード処理時間に基づいて品質パラメータ算出工程により算出し、デコード品質更新工程によりデコード工程に対して更新し、また、フレーム位置決定工程により品質パラメータ算出工程により算出された品質パラメータに応じたデコード処理の予想時間と該当フレームの実際のデコード処理時間とに基づいて次に処理するフレーム位置を決定し、フレーム位置更新工程によりフレーム分離工程に対して決定された次に処理するフレーム位置を指示することにより、伸長処理能力に応じて適応的に画像品質を制御することができるので、原則的にはフレームレートを維持したままで品質を調整することで再生の時間遅延によるコマ落ちを発生させることのないリアルタイム伸長処理ができ、また、フレームレートを落とさざるを得ない場合であっても、できるだけ画像品質とフレームレートを維持することができる。すなわち、再生の時間遅延によるコマ落ちをできるだけ発生させることなく滑らかな動画再生を行うことができる。
また、本発明に係る動画像処理方法前記品質パラメータ算出工程は、デコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルを用いて品質パラメータを算出することにより、品質パラメータの算出を容易にすることができる。
また、本発明に係る動画像処理方法において、前記デコード工程によりデコード処理を行った際のデコード処理時間を前記デコード時間検出工程から取得し、取得したデコード処理時間に基づいて前記デコード品質/時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新工程をコンピュータの処理制御により行なうことにより、精度を高めることができる。
【0161】
また、本発明に係る他の動画像処理方法において、前記品質/時間関係情報テーブルの前記デコード処理時間情報は、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出される各品質での予測されるデコード処理時間である予測デコード時間を有していることにより、各品質での予測されるデコード処理時間を予測デコード時間として規定することができるので、品質パラメータに応じたデコード処理の予想時間の決定を容易に行うことができる。
【0162】
また、本発明に係る他の動画像処理方法において、前記品質/時間関係情報テーブルの前記デコード処理時間情報は、複数のフレームに係る1フレームデータあたりのデコード処理時間の過去の実測値を保持するデコード時間履歴を有していることにより、デコード処理時間の過去の実測値に基づいて品質パラメータに応じたデコード処理の予想時間を決定することができる。
【0163】
また、本発明に係る他の動画像処理方法において、前記統計情報更新工程は、前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化工程と、前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新工程と、をコンピュータの処理制御により行なうことにより、予測されるデコード処理時間である予測デコード時間を、標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化し、デコード処理時間の過去の実測値に基づいて確実に更新することができる。
【0164】
また、本発明に係る他の動画像処理方法において、前記予測デコード時間更新工程は、前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら2つの平均値の変化比が所定の値より大きい場合は、前記直近の複数フレームのデコード処理時間の平均値を前記予測デコード時間とし、前記変化比が所定の値以下の場合は、前記それ以外の複数フレームのデコード処理時間の平均値を前記予測デコード時間として更新することにより、小さな変動に対しては揺れを少なくし、大きな変動にも対応することができる。
【0165】
また、本発明に係る他の動画像処理方法において、前記品質パラメータ算出工程は、前記フレーム分離工程で取り出された1フレーム分のフレームデータのサイズを取得する圧縮データ量検出工程と、フレームのフレームデータのサイズよりも次に取得されるフレームのフレームデータのサイズの方が大きい場合、品質を下げるように品質パラメータを補正する変動傾向補正工程と、をコンピュータの処理制御により行なうことにより、これから処理される予定のフレームのフレームデータのサイズに基づく直近のフレームのフレームデータに対するサイズの増減に応じて、品質パラメータを補正することにより、フレームレートを確実に維持するための安全策をとることができる。
【0166】
また、本発明に係る他の動画像処理方法において、フレーム内情報のみによる画像圧縮処理を行うデジタル動画像圧縮方式は、Motion JPEG2000方式であることにより、高圧縮率、高画質の動画像を得ることができる。
【図面の簡単な説明】
【図1】本発明の前提となるJPEG2000方式の基本となる階層符号化アルゴリズムを実現するシステムの機能ブロック図である。
【図2】原画像の各コンポーネントの分割された矩形領域を示す説明図である。
【図3】デコンポジション・レベル数が3の場合の、各デコンポジション・レベルにおけるサブバンドを示す説明図である。
【図4】プレシンクトを示す説明図である。
【図5】ビットプレーンに順位付けする手順の一例を示す説明図である。
【図6】符号列データの1フレーム分の概略構成を示す説明図である。
【図7】符号化されたウェーブレット係数値が収容されたパケットをサブバンド毎に表わしたコード・ストリーム構造を示す説明図である。
【図8】 Motion JPEG2000の概念を示す説明図である。
【図9】本発明の実施の一形態の動画像出力システムの全体構成を示すブロック図である。
【図10】動画像処理装置のモジュール構成図である。
【図11】動画処理プログラムに基づいてCPUが実行する処理により実現される機能を示す機能ブロック図である。
【図12】デコード品質/時間関係情報テーブルを模式的に示す説明図である。
【図13】統計情報更新手段における処理の流れを示すフローチャートである。
【図14】予測デコード時間更新処理の流れを示すフローチャートである。
【図15】直前の3フレームのデコード(伸長)時間の平均値(NA)と直前の3フレームを除いた27フレームのデコード(伸長)時間の平均値(FA)との比較を例示的に示す説明図である。
【図16】判定手段における処理の流れを示すフローチャートである。
【図17】品質パラメータ算出処理の流れを示すフローチャートである。
【図18】変動傾向補正処理の流れを示すフローチャートである。
【符号の説明】
3 動画像処理装置
15 記憶媒体
31 フレーム分離手段
32 デコード手段
33 圧縮データ量検出手段
34 フレーム位置更新手段
35 デコード品質更新手段
36 デコード時間検出手段
37 統計情報更新手段
38 品質パラメータ算出手段、フレーム位置決定手段
39 品質/時間関係情報テーブル[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image processing apparatus, a program, a storage medium, and a moving image processing method for reproducing moving image data compressed using a digital moving image compression method that performs image compression processing using only intra-frame information.
[0002]
[Prior art]
In general, when digital moving image data is transmitted / stored, it is compressed to several tenths using a digital moving image compression / decompression technique to reduce the load on the transmission rate and storage capacity. As such digital moving image compression / decompression technology, MPEG1 / MPEG2 / MPEG4 dedicated to moving images and Motion JPEG that handles still images as continuous frames are used.
[0003]
The difference between the MPEG method and the motion still image method is that the latter only performs intra-frame coding, whereas the former correlates not only images within the same frame but also images between different frames, thus increasing the compression rate. There is in being able to. On the other hand, in the latter method in which each frame is handled independently, editing for each frame is possible as compared with the former, and an error during communication does not reach other frames. As described above, the MPEG method and the Motion still image method have their respective features. The method is properly used for each application.
[0004]
In recent years, a new method called Motion JPEG2000, in which image data is compressed and encoded using discrete wavelet transform, is being standardized for encoding the latter Motion still image.
[0005]
By the way, in many encoding methods represented by the MPEG method and the motion still image method, an image is processed in units of blocks, so that the decoded image is deteriorated such as block noise and edge noise. Block noise is a distortion in which a block pattern-like geometric pattern that does not exist in the original image pattern can be seen. Edge noise is ringing-like distortion (also referred to as mosquito noise) generated near the edge.
[0006]
Therefore, conventionally, a post filter for removing such noise specific to the encoding method has been proposed. This post filter generally performs processing such as smoothing the decoded image signal and removing high-frequency components at the boundary between blocks.
[0007]
However, since the filter processing using the post filter as described above requires a relatively large amount of calculation, the filter processing takes time, and as a result, the reproduction processing may be delayed. In particular, in a microprocessor-based software decoding system, processor resources are occupied by the decoding process itself in a scene where motion is intense, which increases the processor load and causes many delays in the reproduction process. Become. The delay in reproduction processing becomes particularly apparent when software decodes and reproduces a moving image in synchronization with audio, and causes problems such as deviation from audio and frame dropping.
[0008]
That is, when a delay occurs in the moving image playback process, frame skip is usually performed in order to eliminate the delay in order to eliminate the delay. As a result, frame dropping occurs, resulting in a jerky reproduced image. In particular, in the Motion JPEG 2000 system, which can obtain a high-compression rate and high-quality image, a larger amount of computation is required compared to the image processing of Motion JPEG, so frame dropping becomes remarkable.
[0009]
Therefore, in order to solve such a problem, the real-time recording / playback apparatus using the digital moving image compression / decompression process described in
[0010]
[Patent Document 1]
JP 2001-309303 JP
[0011]
[Problems to be solved by the invention]
However, according to the technique disclosed in
[0012]
An object of the present invention is to provide a moving image processing apparatus, a program, a storage medium, and a moving image processing method capable of performing smooth moving image reproduction without causing frame dropping due to reproduction time delay as much as possible.
[0013]
[Means for Solving the Problems]
The moving image processing apparatus of the present invention is a moving image processing apparatus that reproduces moving image data compressed using a digital moving image compression method that performs image compression processing based only on intra-frame information. Frame separation means for sequentially extracting data for each frame; decoding means for decoding the frame data extracted by the frame separation means; and decoding time detection means for obtaining the decoding processing time of one frame data by the decoding means; , When the decoding processing time acquired from the decoding time detecting means is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculating means for calculating a quality parameter; and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating means and a frame display time are compared, and the prediction When the decoding time is longer, a frame position determination unit that determines a position ahead of the time including the predicted decoding time as a frame position to be processed next, and a decoding process when the decoding unit performs the decoding process Statistical information updating means for obtaining time from the decoding time detection means and updating decoding processing time information in the decoding quality / time relation information table based on the obtained decoding processing time; and for the decoding means, the quality parameter Update the quality parameters calculated by the calculation means It includes a code quality updating means, with respect to the frame separating means, and a frame position update means for indicating the determined frame position by said frame position determining means.
[0019]
In the moving image processing apparatus according to the present invention, in the moving image processing apparatus that reproduces moving image data compressed using a digital moving image compression method that performs image compression processing using only intra-frame information, the moving image data is stored in the moving image processing apparatus. Frame separating means for sequentially extracting frame data constituting each frame, decoding means for decoding the frame data extracted by the frame separating means, and decoding time for obtaining a decoding processing time of one frame data by the decoding means Detection means; When the decoding processing time acquired from the decoding time detecting means is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculating means for calculating a quality parameter; and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating means and a frame display time are compared, and the prediction When the decoding time is longer, a frame position determining means for determining a position ahead of the time including the predicted decoding time as a frame position to be processed next, and the quality parameter calculating means for the decoding means Decoding quality update means for updating the quality parameter, and frame position update means for indicating the frame position determined by the frame position determination means to the frame separation means, and the predicted decoding time for each quality Is the decoding of the quality / time relation information table. Process included in the time information, is calculated according to the ratio value predefined ratio of decoding processing time in each quality for decoding processing time at the highest quality.
[0021]
Further, according to the present invention In the moving image processing apparatus, the decoding processing time information of the quality / time relation information table has a decoding time history that holds past measured values of decoding processing time per frame data related to a plurality of frames. Good .
[0023]
Further, according to the present invention In the moving image processing apparatus, initialization means for initializing the prediction decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image; and the prediction decoding based on the decoding time history Predictive decoding time update means for updating time May .
[0025]
Further, according to the present invention In the moving image processing apparatus, the predictive decoding time update means obtains an average of the decoding processing times of the most recent plural frames held in the decoding time history and an average of the decoding processing times of the other plural frames, Change ratio of these two average values Is larger than a predetermined value, the average value of the decoding processing times of the most recent plural frames is set as the predicted decoding time, and when the change ratio is equal to or smaller than a predetermined value, the decoding processing times of the other plural frames are set. The average value of The prediction decoding time is updated.
[0027]
Further, according to the present invention In the moving image processing apparatus, the quality parameter calculating means includes a compressed data amount detecting means for acquiring the size of one frame of frame data extracted by the frame separating means, Above Acquired by the compressed data amount detection means Reduce the quality if the frame data size of the next frame to be acquired is larger than the frame data size of the frame. And a fluctuation tendency correction means for correcting the quality parameter. May .
[0029]
Further, according to the present invention In the moving image processing apparatus, the digital moving image compression method for performing the image compression process using only the information in the frame is the Motion JPEG2000 method. May .
[0031]
A program according to the present invention is a program that causes a computer to reproduce moving image data compressed using a digital moving image compression method that performs image compression processing based only on intra-frame information. A frame separation function for sequentially extracting frame data constituting the moving image data for each frame, a decoding function for decoding the frame data extracted by the frame separation function, and a decoding processing time of one frame data by the decoding function Decode time detection function to obtain, When the decoding processing time acquired from the decoding time detection function is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculation function for calculating a quality parameter, and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculation function and a frame display time, and When the decoding time is longer, a frame position determination function for determining a position ahead of the time including the predicted decoding time as a frame position to be processed next, and a decoding process when the decoding process is performed by the decoding function A statistical information update function for acquiring time from the decoding time detection function and updating decoding processing time information in the decoding quality / time relation information table based on the acquired decoding processing time; and for the decoding function, the quality parameter Update the quality parameters calculated by the calculation function Code quality update function, relative to the frame separation function, to execute a frame position update function of instructing the determined frame position by said frame position determining function.
[0037]
Further, in the program according to the present invention, there is provided a program for causing a computer to reproduce moving image data compressed using a digital moving image compression method that performs image compression processing based only on intra-frame information. A frame separation function for sequentially extracting frame data constituting the moving image data for each frame; a decoding function for decoding the frame data extracted by the frame separation function;
A decoding time detection function for acquiring a decoding processing time of one frame data by the decoding function; When the decoding processing time acquired from the decoding time detection function is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculation function for calculating a quality parameter, and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculation function and a frame display time, and When the decoding time is longer, a frame position determination function for determining the position ahead of the time including the predicted decoding time as a frame position to be processed next, and the quality parameter calculation function for the decoding function Decode quality update function to update the quality parameters
A frame position update function for instructing the frame position determined by the frame position determination function to the frame separation function, and the predicted decoding time at each quality is the decoding of the quality / time relation information table The ratio of the decoding processing time in each quality to the decoding processing time in the highest quality included in the processing time information is calculated according to a predetermined ratio value.
[0039]
Further, according to the present invention In the program, the decoding processing time information of the quality / time relation information table has a decoding time history that holds past actual measurement values of decoding processing time per frame data related to a plurality of frames. Good .
[0041]
Further, according to the present invention In the program, the statistical information update function is based on an initialization function that initializes the predicted decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image, and on the decoding time history. And causing the computer to execute a predictive decode time update function for updating the predictive decode time. May .
[0043]
Further, according to the present invention In the program, the predictive decoding time update function obtains an average of decoding processing times of the most recent plurality of frames held in the decoding time history and an average of decoding processing times of other frames, and the two Change ratio of average value Is larger than a predetermined value, the average value of the decoding processing times of the most recent plural frames is set as the predicted decoding time, and when the change ratio is equal to or smaller than a predetermined value, the decoding processing times of the other plural frames are set. The average value of Updated as the predicted decoding time May .
[0045]
Further, according to the present invention In the program, the quality parameter calculation function includes a compressed data amount detection function for acquiring a size of frame data for one frame extracted by the frame separation function; Above Acquired by the compressed data amount detection means Reduce the quality if the frame data size of the next frame to be acquired is larger than the frame data size of the frame. The computer is caused to execute a fluctuation tendency correction function for correcting the quality parameter.
[0047]
Further, according to the present invention In the program, the digital video compression method that performs image compression processing using only the information in the frame is the Motion JPEG2000 method. May .
[0049]
Further, according to the present invention Computer-readable storage media According to the present invention I remember the program.
[0051]
The moving image processing method according to the present invention is a moving image processing method for reproducing moving image data compressed using a digital moving image compression method for performing image compression processing using only intra-frame information, A frame separation step for sequentially extracting frame data constituting the data for each frame, a decoding step for decoding the frame data extracted by the frame separation step, and a decoding processing time of one frame data by the decoding step Decoding time detection step; When the decoding processing time acquired by the decoding time detecting step is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculation step for calculating a quality parameter, and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculation step and a frame display time are compared, and the prediction When the decoding time is longer, a frame position determination step for determining the position ahead of the time including the predicted decoding time as a frame position to be processed next, and a decoding processing when the decoding processing is performed by the decoding step A statistical information update step of acquiring time from the decoding time detection step and updating decoding processing time information of the decoding quality / time relation information table based on the acquired decoding processing time; and for the decoding step, the quality parameter Update the quality parameters calculated by the calculation process And code quality update step, relative to the frame separating step, and a frame position update step of indicating the frame position determined by said frame position determining step, is carried out by the processing control of the computer.
[0057]
The moving image processing method according to the present invention is a moving image processing method for reproducing moving image data compressed using a digital moving image compression method for performing image compression processing using only intra-frame information. A frame separation step for sequentially extracting frame data constituting the data for each frame, a decoding step for decoding the frame data extracted by the frame separation step, and a decoding processing time of one frame data by the decoding step Decoding time detection step; When the decoding processing time acquired by the decoding time detecting step is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculation step for calculating a quality parameter, and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculation step and a frame display time are compared, and the prediction When the decoding time is longer, a frame position determination step for determining a position ahead of the time including the predicted decoding time as a frame position to be processed next, and the quality parameter calculation step for the decoding step The quality control unit performs a decoding quality update process for updating the quality parameters performed, and a frame position update process for instructing the frame position determined by the frame position determination process to the frame separation process by computer processing control. The predicted decoding time at is the quality / Contained in the decoding processing time information between related information table, is calculated according to the ratio value predefined ratio of decoding processing time in each quality for decoding processing time at the highest quality.
[0059]
Further, according to the present invention In the moving image processing method, the decoding processing time information of the quality / time relation information table has a decoding time history that holds past measured values of decoding processing time per frame data related to a plurality of frames. Good .
[0061]
Further, according to the present invention In the moving image processing method, the statistical information update step includes an initialization step of initializing the predicted decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image, and the decoding time A predictive decode time update step of updating the predictive decode time based on a history, by computer processing control. May .
[0063]
Further, according to the present invention In the moving image processing method, the predicted decoding time update step obtains an average of the decoding processing times of the most recent frames held in the decoding time history and an average of the decoding processing times of the other frames. Change ratio of these two average values Is larger than a predetermined value, the average value of the decoding processing times of the most recent plural frames is set as the predicted decoding time, and when the change ratio is equal to or smaller than a predetermined value, the decoding processing times of the other plural frames are set. The average value of Updated as the predicted decoding time May .
[0065]
Further, according to the present invention In the moving image processing method, the quality parameter calculation step includes a compressed data amount detection step of acquiring a size of frame data for one frame extracted in the frame separation step; Above Acquired by the compressed data amount detection process Reduce the quality if the frame data size of the next frame to be acquired is larger than the frame data size of the frame. The fluctuation tendency correction step for correcting the quality parameter is performed by computer processing control.
[0067]
Further, according to the present invention In the moving image processing method, the digital moving image compression method for performing image compression processing using only the information in the frame is the Motion JPEG2000 method. May .
[0069]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of the present invention will be described with reference to FIGS.
[0070]
First, an outline of the “hierarchical encoding algorithm” and the “JPEG2000 algorithm” which are the premise of the present invention will be described.
[0071]
FIG. 1 is a functional block diagram of a system that implements a hierarchical encoding algorithm that is the basis of the JPEG2000 system. This system includes color space transform /
[0072]
One of the biggest differences between this system and the conventional JPEG algorithm is the conversion method. In JPEG, discrete cosine transform (DCT) is used. In this hierarchical coding algorithm, the two-dimensional wavelet transform /
[0073]
Another major difference is that in this hierarchical encoding algorithm, a functional block of the
[0074]
In many cases, color space conversion /
[0075]
Next, the JPEG2000 algorithm will be described.
[0076]
As shown in FIG. 2, in a color image, each component 111 (RGB primary color system here) of an original image is generally divided by a rectangular area. This divided rectangular area is generally called a block or tile, but in JPEG2000, it is generally called a tile. Therefore, such a divided rectangular area is hereinafter referred to as a tile. (In the example of FIG. 2, each component 111 is divided into a total of 16
[0077]
At the time of encoding image data, the data of each
[0078]
FIG. 3 shows subbands at each decomposition level when the number of decomposition levels is three. That is, the tile original image (0LL) (decomposition level 0) obtained by the tile division of the original image is subjected to two-dimensional wavelet transform, and the subbands (1LL, 1HL, 1LH shown in the decomposition level 1) , 1HH). Subsequently, the low-frequency component 1LL in this hierarchy is subjected to two-dimensional wavelet transformation to separate the subbands (2LL, 2HL, 2LH, 2HH) indicated by the
[0079]
Next, the bits to be encoded are determined in the specified encoding order, and the context is generated from the bits around the target bits by the quantization /
[0080]
The wavelet coefficients that have undergone the quantization process are divided into non-overlapping rectangles called “precincts” for each subband. This was introduced to use memory efficiently in implementation. As shown in FIG. 4, one precinct consists of three rectangular regions that are spatially coincident. Further, each precinct is divided into non-overlapping rectangular “code blocks”. This is the basic unit for entropy coding.
[0081]
The coefficient values after wavelet transform can be quantized and encoded as they are, but in JPEG2000, in order to increase the encoding efficiency, the coefficient values are decomposed into “bit plane” units, and each pixel or code block is divided. Ranking can be performed on “bitplanes”.
[0082]
Here, FIG. 5 is an explanatory diagram showing an example of a procedure for ranking the bit planes. As shown in FIG. 5, this example is a case where the original image (32 × 32 pixels) is divided into four 16 × 16 pixel tiles, and the size of the precinct and code block at the
[0083]
An explanatory diagram showing an example of the concept of a typical “layer” configuration for
[0084]
The layer structure is easy to understand when the wavelet coefficient values are viewed from the horizontal direction (bit plane direction). One layer is composed of an arbitrary number of bit planes. In this example, layers 0, 1, 2, and 3 are made up of bit planes of 1, 3, 1, and 3, respectively. A layer including a bit plane closer to LSB (Least Significant Bit) is subject to quantization first. Conversely, a layer closer to MSB (Most Significant Bit) is quantized to the end. It will remain without being. A method of discarding from a layer close to the LSB is called truncation, and the quantization rate can be finely controlled.
[0085]
The entropy encoding /
[0086]
FIG. 6 shows a schematic configuration for one frame of the code string data. Tag information called a header (main header, tile part header which is tile boundary position information, etc.) is provided at the head of the code string data and the head of the code data (bit stream) of each tile. Appended, followed by the encoded data for each tile. In the main header, coding parameters and quantization parameters are described. A tag (end of codestream) is placed again at the end of the code string data. FIG. 7 shows a code stream structure in which packets containing encoded wavelet coefficient values are represented for each subband. As shown in FIG. 7, the same packet string structure is obtained regardless of whether the tile division process is performed or the tile division process is not performed.
[0087]
On the other hand, when the encoded data is decoded, the image data is generated from the code string data of each
[0088]
The above is the outline of the “JPEG2000 algorithm”, and the “Motion JPEG2000 algorithm” is an extension of a still image, that is, a method for a single frame to a plurality of frames. That is, “Motion JPEG2000”, as shown in FIG. 8, is a moving image by continuously displaying a JPEG2000 image of one frame at a predetermined frame rate (the number of frames reproduced per unit time). .
[0089]
Hereinafter, an embodiment of the present invention will be described. Here, an example relating to a moving image compression / decompression technique typified by Motion JPEG2000 will be described. Needless to say, the present invention is not limited to the contents of the following description.
[0090]
FIG. 9 is a block diagram showing an overall configuration of the moving
[0091]
Specifically, the
[0092]
Specifically, the
[0093]
Next, the moving
[0094]
In such a moving
[0095]
Here, the moving
[0096]
In general, an operation program installed in the
[0097]
In the moving
[0098]
Here, functions realized by various arithmetic processes executed by the CPU 11 of the moving
[0099]
The
[0100]
The
[0101]
The compressed data
[0102]
The frame position update means 34 instructs the frame separation means 31 to skip the frame position to be processed next by the designated number of frames.
[0103]
The decode quality update means 35 updates the quality parameter at the time of decoding (decompression) processing to the
[0104]
The decoding time detection means 36 acquires the processing time taken when the
[0105]
As shown in FIG. 12, the decode quality / time relationship information table 39 is a table in which the quality parameters for changing the decode quality of Motion JPEG2000 data are set in the number of stages (N) that can be changed in order from high quality to low quality. Yes, only the combination of quality parameters instructed to the
[0106]
The statistical
[0107]
In the subsequent processing (N in step S1), the actual value of the processing time of the current decoding (decompression) processing is registered in the decoding time history (TH) (step S4), and the decoding quality / time is based on the past statistical information. Prediction decoding time update processing for updating the prediction decoding time (TS) in the relationship information table 39 is performed (step S5: prediction decoding time updating means).
[0108]
More specifically, as shown in FIG. 14, the predicted decoding time update process is performed by averaging the decoding (decompression) times of the previous three frames from the decoding time history (TH) of the corresponding index in the decoding quality / time relation information table 39. The value (NA) is calculated (step S11), and the average value of the decoding (decompression) times of 27 frames excluding the previous three frames from the decoding time history (TH) of the corresponding index in the decoding quality / time relation information table 39 (FA) is calculated (step S12).
[0109]
Next, the average value (NA) of the decoding (decompression) time of the previous three frames is compared with the average value (FA) of the decoding (decompression) time of 27 frames excluding the previous three frames (step S13), and the average When the change ratio between the value (NA) and the average value (FA) is not larger than a predetermined value (for example, 10%) (N in Step S13), 27 frames are decoded (expanded) in the predicted decoding time (TS). An average value (FA) of time is designated (step S14) and set as a new prediction decoding time (TS). On the other hand, when the change ratio between the average value (NA) and the average value (FA) is larger than the predetermined value (Y in step S13), the decoding (decompression) time of the immediately preceding three frames is predicted in the predicted decoding time (TS). An average value (NA) is designated (step S15), and a new prediction decoding time (TS) is set.
[0110]
Here, FIG. 15 exemplifies a comparison between the average value (NA) of the decoding (decompression) time of the last three frames and the average value (FA) of the decoding (decompression) time of 27 frames excluding the previous three frames. It is explanatory drawing shown in. As shown in FIG. 15, since the change ratio between FA and NA is about 4% at time point A, 31. of the average value (FA) of the decoding (decompression) time of 27 frames in the predicted decoding time (TS). Adopt 4ms. Since the change ratio of FA and NA is about 1% at the point of time B, 31.4 ms, which is the average value (FA) of the decoding (decompression) time of 27 frames, is adopted as the predicted decoding time (TS). Since the change ratio between FA and NA is about 20% at time point C, 38.0 ms, which is the average value (NA) of the decoding (decompression) times of the immediately preceding three frames, is adopted as the predicted decoding time (TS). That is, the evaluation is only the average value (NA) of the decoding (decompression) time of the immediately preceding one sample or the immediately preceding three frames.
32.7ms → 31.7ms → 38.0ms
However, according to such an evaluation method, there is little fluctuation for small fluctuations, and large fluctuations can be dealt with.
[0111]
As a result, the predicted decoding time (TS) in the decoding quality / time relation information table 39 is updated.
[0112]
The determining means 38 calculates a quality parameter based on the decoding processing time acquired from the decoding
[0113]
If the decoding process time acquired in step S21 is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the corresponding frame (Y in step S22), the quality parameter calculation process for calculating a new quality parameter Is executed (step S23).
[0114]
Here, the quality parameter calculation processing will be described with reference to FIG. As shown in FIG. 17, the index n for referring to the decoding quality / time relation information table 39 is initialized to the highest quality index (n ← 1) (step S31).
[0115]
In the subsequent step S32, it is determined whether or not the predicted decoding time (TS) in the decoding quality / time relation information table 39 of the index n is smaller than the frame display interval.
[0116]
When the predicted decoding time (TS) in the decoding quality / time relation information table 39 of the index n is not smaller than the frame display interval (N in step S32), the process proceeds to step S33.
[0117]
In step S33, it is determined whether or not the quality value is below a predetermined minimum quality value.
[0118]
If the quality value is not lower than the predetermined minimum quality value (N in step S33), the index n indicating the current quality value is incremented by “1” (step S34), and the process returns to step S32.
[0119]
On the other hand, when the predicted decoding time (TS) in the decoding quality / time relation information table 39 of index n is smaller than the frame display interval (Y in step S32), or when the quality value is below a predetermined minimum quality value. (Y in step S33), the process proceeds to step S35, and fluctuation tendency correction processing (fluctuation tendency correction means) is executed.
[0120]
Here, the fluctuation tendency correction processing will be described with reference to FIG. As shown in FIG. 18, the compressed data size of the current frame is acquired from the compressed data amount detection means 33 (step S41), and the next compressed (decompressed) frame is compressed from the compressed data amount detection means 33. The obtained data size is acquired (step S42), and both are compared (step S43).
[0121]
When it is determined that the compressed data size of the next frame to be decoded (decompressed) is larger than the data size of the current frame (Y in step S43), the process proceeds to step S44, and the quality parameter The index n is incremented by “1”, and the fluctuation tendency correction process is terminated. That is, when it is determined that the compressed data size of the next frame to be decoded (decompressed) is larger than the data size of the current frame (Y in step S43), the quality is lowered. is there.
[0122]
By performing the fluctuation tendency correction process in this way, it is possible to correct the quality parameter of the frame to be processed next in accordance with the increasing / decreasing tendency of the compressed data size of the frame to be decoded (decompressed). Become.
[0123]
Here, the quality parameter is corrected according to the increase / decrease in size of the frame data of the latest frame based on the size of the frame data of the frame to be processed from now on, so that the safety for ensuring the frame rate is maintained. Measures are taken.
[0124]
When the fluctuation tendency correction process (step S35) ends, the quality parameter corresponding to the finally determined index n is calculated.
[0125]
Thus, the quality parameter calculation process (step S23) ends. As a result, the highest quality value of the quality parameter that can be processed within the range not exceeding the frame display time can be obtained from the statistical information of the processing time when the frame decoding (decompression) processing is performed and the fluctuation tendency of the frame compression amount.
[0126]
When the quality parameter calculation process (step S23) ends, the process proceeds to step S24, and the quality parameter is updated with the new quality parameter calculated in the quality parameter calculation process (step S23). The quality parameter updated here lowers the quality.
[0127]
In step S25, the predicted value of the decoding process time with the updated new quality parameter is compared with the display time of the corresponding frame.
[0128]
If it is determined that the predicted decode time is longer than the frame display time (Y in step S25), the process proceeds to step S26, and a frame drop is instructed. For example, in the case of a 30 (frame / sec) moving image, a frame drop is instructed when the predicted decoding time is longer than the frame
[0129]
If it is determined that the predicted decoding time is not longer than the frame display time (N in step S25), the process is terminated as it is.
[0130]
On the other hand, when the decoding processing time acquired in step S21 is not longer than the time obtained by subtracting the excess time in the previous frame display from the display time of the corresponding frame (N in step S22), the update from the previous quality parameter update is performed. It is determined whether or not a predetermined time has elapsed (step S27). Here, the predetermined time is preferably about 1 second.
[0131]
If a predetermined time has elapsed since the previous update of the quality parameter (Y in step S27), the process proceeds to step S28, and the quality parameter is increased by one level from the previous state, and an update is instructed. The quality parameter updated here increases the quality. The reason for increasing the quality parameter step by step is to prevent the image quality from changing suddenly. For example, in the case of a moving image of 30 (frame / sec), if the case where the decoding processing time is shorter than the frame
[0132]
If the predetermined time has not elapsed since the previous quality parameter update (N in step S27), the process is terminated as it is.
[0133]
By the processing in the
[0134]
Next, a flow of a series of processes using the various functions described above will be described. Motion JPEG2000 data output from the
[0135]
On the other hand, when the decoding (decompression) processing time of the frame data is acquired by the decoding
[0136]
The statistical
[0137]
Here, the
[0138]
In the present embodiment, a personal computer is applied as the moving
[0139]
【The invention's effect】
According to the moving image processing apparatus of the present invention, in the moving image processing apparatus that reproduces moving image data compressed using a digital moving image compression method that performs image compression processing based only on in-frame information,
Frame separation means for sequentially taking out frame data constituting the moving image data for each frame, decoding means for decoding the frame data extracted by the frame separation means, and decoding processing time of one frame data by the decoding means Decoding time detection means for obtaining When the decoding processing time acquired from the decoding time detecting means is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculating means for calculating a quality parameter; and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating means and a frame display time are compared, and the prediction When the decoding time is longer, a frame position determination unit that determines a position ahead of the time including the predicted decoding time as a frame position to be processed next, and a decoding process when the decoding unit performs the decoding process Statistical information updating means for obtaining time from the decoding time detection means and updating decoding processing time information in the decoding quality / time relation information table based on the obtained decoding processing time; and for the decoding means, the quality parameter Update the quality parameters calculated by the calculation means Code quality update means, and frame position update means for indicating the frame position determined by the frame position determination means to the frame separation means, so that the image quality can be adaptively adjusted according to the decompression processing capability. Since it can be controlled, in principle, by adjusting the quality while maintaining the frame rate, it is possible to perform real-time decompression processing that does not cause frame dropping due to playback time delay, and the frame rate can be reduced. Even if it is not obtained, the image quality and the frame rate can be maintained as much as possible. That is, smooth moving image reproduction can be performed without causing frame dropping due to reproduction time delay as much as possible.
Further, in the moving image processing apparatus according to the present invention, the quality parameter calculating means calculates the quality parameter using a quality / time relation information table that stores and holds the decoding processing time information and the quality parameter in association with each other, Quality parameters can be easily calculated.
Further, in the moving image processing apparatus according to the present invention, the decoding processing time when the decoding process is performed by the decoding unit is acquired from the decoding time detecting unit, and the decoding quality / time relationship is obtained based on the acquired decoding processing time. By providing statistical information updating means for updating the decoding processing time information of the information table, the accuracy can be improved.
[0142]
Further, according to the present invention In the moving image processing, the decoding processing time information of the quality / time relation information table has each quality calculated according to a ratio value that predetermines the ratio of the decoding processing time in each quality to the decoding processing time in the highest quality. By having a predicted decoding time that is a predicted decoding processing time, it is possible to define a predicted decoding processing time for each quality as a predicted decoding time. The expected time can be easily determined.
[0143]
Further, according to the present invention In the moving image processing apparatus, the decoding processing time information of the quality / time relation information table has a decoding time history that holds past measured values of decoding processing time per frame data related to a plurality of frames. As a result, it is possible to determine the expected decoding processing time corresponding to the quality parameter based on the past actual measurement value of the decoding processing time.
[0144]
Further, according to the present invention In the moving image processing apparatus, initialization means for initializing the prediction decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image; and the prediction decoding based on the decoding time history A predictive decoding time updating means for updating the time, thereby initializing the predicted decoding time, which is the predicted decoding processing time, based on the decoding processing time obtained by decoding the compressed data of the standard image. Can be reliably updated based on past actual measured values.
[0145]
Further, according to the present invention In the moving image processing apparatus, the predictive decoding time update means obtains an average of the decoding processing times of the most recent plural frames held in the decoding time history and an average of the decoding processing times of the other plural frames, Change ratio of these two average values Is larger than a predetermined value, the average value of the decoding processing times of the most recent plural frames is set as the predicted decoding time, and when the change ratio is equal to or smaller than a predetermined value, the decoding processing times of the other plural frames are set. The average value of By updating the prediction decoding time, fluctuations can be reduced for small fluctuations and large fluctuations can be dealt with.
[0146]
Further, according to the present invention In the moving image processing apparatus, the quality parameter calculating means includes a compressed data amount detecting means for acquiring the size of one frame of frame data extracted by the frame separating means, Reduce the quality if the frame data size of the next frame to be acquired is larger than the frame data size of the frame. And a fluctuation tendency correction unit that corrects the quality parameter, thereby correcting the quality parameter according to the increase / decrease in size of the frame data of the latest frame based on the size of the frame data of the frame to be processed from now on. Thus, it is possible to take a safety measure for reliably maintaining the frame rate.
[0147]
Further, according to the present invention In the moving image processing apparatus, a digital moving image compression method that performs image compression processing using only intra-frame information is the Motion JPEG2000 method, so that a moving image with a high compression rate and high image quality can be obtained.
[0148]
According to the program of the present invention, there is provided a program for causing a computer to execute reproduction of moving image data compressed using a digital moving image compression method that performs image compression processing using only intra-frame information. ,
A frame separation function for sequentially extracting frame data constituting the moving image data for each frame, a decoding function for decoding the frame data extracted by the frame separation function, and a decoding processing time of one frame data by the decoding function Decode time detection function to get the When the decoding processing time acquired from the decoding time detection function is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculation function for calculating a quality parameter, and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculation function and a frame display time, and When the decoding time is longer, a frame position determination function for determining a position ahead of the time including the predicted decoding time as a frame position to be processed next, and a decoding process when the decoding process is performed by the decoding function A statistical information update function for acquiring time from the decoding time detection function and updating decoding processing time information in the decoding quality / time relation information table based on the acquired decoding processing time; and for the decoding function, the quality parameter Update the quality parameters calculated by the calculation function A code quality update function, and a frame position update function for instructing the frame position determined by the frame position determination function to the frame separation function, and a decoding function that reads the frame data extracted by the frame separation function. Decoding processing is performed based on the quality parameter, but the quality parameter is calculated by the quality parameter calculation function based on the decoding processing time of one frame data acquired by the decoding time detection function, and updated to the decoding function by the decoding quality update function In addition, the frame position determination function determines the frame position to be processed next based on the expected decoding time according to the quality parameter calculated by the quality parameter calculation function and the actual decoding time of the corresponding frame, Frame position update function By instructing the frame position to be processed next to the frame separation function, the image quality can be controlled adaptively according to the decompression processing capability, so in principle the frame rate is maintained. By adjusting the quality with, you can perform real-time decompression processing that does not cause frame dropping due to playback time delay, and even when the frame rate must be reduced, maintain the image quality and frame rate as much as possible can do. That is, smooth moving image reproduction can be performed without causing frame dropping due to reproduction time delay as much as possible.
In the program according to the present invention, the quality parameter calculation function calculates a quality parameter by calculating a quality parameter using a quality / time relation information table that stores and holds the decoding processing time information and the quality parameter in association with each other. Calculation can be facilitated.
Further, in the program according to the present invention, the decoding processing time when the decoding process is performed by the decoding function is acquired from the decoding time detection function, and the decoding quality / time relation information table is obtained based on the acquired decoding processing time. The accuracy can be improved by causing the computer to execute a statistical information update function for updating the decoding processing time information.
[0151]
Further, according to the present invention In the program, the decoding processing time information of the quality / time relation information table is a prediction at each quality calculated according to a ratio value that predetermines a ratio of the decoding processing time at each quality to the decoding processing time at the highest quality. By having the predicted decoding time that is the decoded decoding processing time, the predicted decoding processing time at each quality can be defined as the predicted decoding time, so the expected decoding processing time according to the quality parameter Can be easily determined.
[0152]
Further, according to the present invention In the program, the decoding processing time information in the quality / time relation information table has a decoding time history that holds past actual measurement values of decoding processing time per frame data related to a plurality of frames. Based on the past actual measurement value of the decoding processing time, the expected decoding processing time according to the quality parameter can be determined.
[0153]
Further, according to the present invention In the program, the statistical information update function is based on an initialization function that initializes the predicted decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image, and on the decoding time history. The predicted decoding time update function for updating the predicted decoding time is executed by the computer, so that the predicted decoding time, which is the predicted decoding processing time, is changed to the decoding processing time obtained by decoding the compressed data of the standard image. Based on the actual measurement value of the decoding processing time, it can be surely updated.
[0154]
Further, according to the present invention In the program, the predictive decoding time update function obtains an average of decoding processing times of the most recent plurality of frames held in the decoding time history and an average of decoding processing times of other frames, and the two Change ratio of average value Is larger than a predetermined value, the average value of the decoding processing times of the most recent plural frames is set as the predicted decoding time, and when the change ratio is equal to or smaller than a predetermined value, the decoding processing times of the other plural frames are set. The average value of By updating the prediction decoding time, fluctuations can be reduced for small fluctuations and large fluctuations can be dealt with.
[0155]
Further, according to the present invention In the program, the quality parameter calculation function includes a compressed data amount detection function for acquiring a size of frame data for one frame extracted by the frame separation function; Reduce the quality if the frame data size of the next frame to be acquired is larger than the frame data size of the frame. By causing the computer to execute a fluctuation tendency correction function that corrects the quality parameter, the quality parameter according to the increase / decrease in the size of the frame data of the latest frame based on the size of the frame data of the frame to be processed from now on By correcting the above, it is possible to take a safety measure for reliably maintaining the frame rate.
[0156]
Further, according to the present invention In the program, a digital moving image compression method that performs image compression processing based only on intra-frame information is the Motion JPEG 2000 method, so that a moving image with a high compression rate and high image quality can be obtained.
[0157]
Further, according to the present invention According to a computer-readable storage medium, According to the present invention By storing the program, by causing the computer to read the program stored in this storage medium, program The same effect as that of the present invention can be obtained.
[0158]
Further, according to the moving image processing method of the present invention, there is provided a moving image processing method for reproducing moving image data compressed using a digital moving image compression method for performing image compression processing using only intra-frame information, A frame separation step for sequentially extracting frame data constituting the moving image data for each frame, a decoding step for decoding the frame data extracted by this frame separation step, and a decoding processing time of one frame data by the decoding step A decoding time detection step to be acquired; When the decoding processing time acquired by the decoding time detecting step is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, A quality / time relationship information table that associates and stores decoding processing time information including a predicted decoding time of decoding processing and a quality parameter Can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the frame is less than the frame display interval A quality parameter calculation step for calculating a quality parameter, and a prediction decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculation step and a frame display time are compared, and the prediction When the decoding time is longer, a frame position determination step for determining the position ahead of the time including the predicted decoding time as a frame position to be processed next, and a decoding processing when the decoding processing is performed by the decoding step A statistical information update step of acquiring time from the decoding time detection step and updating decoding processing time information of the decoding quality / time relation information table based on the acquired decoding processing time; and for the decoding step, the quality parameter Update the quality parameters calculated by the calculation process A code quality updating step and a frame position updating step for instructing the frame position determined in the frame position determining step with respect to the frame separating step are performed by computer processing control, and the decoding step is taken out by the frame separating step. The decoded frame data is decoded based on the quality parameter, but the quality parameter is calculated by the quality parameter calculation step based on the decoding processing time of one frame data acquired by the decoding time detection step, and is decoded by the decoding quality update step. The frame position to be processed next based on the expected decoding time according to the quality parameter calculated by the quality parameter calculation step and the actual decoding time of the corresponding frame by the frame position determination step. Decide By instructing the frame position to be processed next determined for the frame separation process by the frame position update process, the image quality can be controlled adaptively according to the decompression processing capability. By adjusting the quality while maintaining the rate, it is possible to perform real-time decompression processing without causing frame dropping due to playback time delay, and even when the frame rate must be reduced, the image quality is as much as possible And the frame rate can be maintained. That is, smooth moving image reproduction can be performed without causing frame dropping due to reproduction time delay as much as possible.
In the moving image processing method according to the present invention, the quality parameter calculating step calculates the quality parameter by calculating the quality parameter using a quality / time relation information table that stores and holds the decoding processing time information and the quality parameter in association with each other. Can be easily calculated.
Further, in the moving image processing method according to the present invention, the decoding processing time when the decoding processing is performed by the decoding step is acquired from the decoding time detecting step, and the decoding quality / time relationship is obtained based on the acquired decoding processing time. The accuracy can be improved by performing the statistical information update process for updating the decoding processing time information of the information table by the process control of the computer.
[0161]
Further, according to the present invention In the moving image processing method, the decoding processing time information of the quality / time relationship information table is calculated according to a ratio value that predetermines a ratio of decoding processing time in each quality to decoding processing time in the highest quality. By having a predicted decoding time that is a predicted decoding processing time at, it is possible to define the predicted decoding processing time at each quality as the predicted decoding time, so the decoding processing according to the quality parameter The expected time can be easily determined.
[0162]
Further, according to the present invention In the moving image processing method, the decoding processing time information in the quality / time relationship information table has a decoding time history that holds past actual measurement values of decoding processing time per frame data related to a plurality of frames. As a result, it is possible to determine the expected decoding processing time corresponding to the quality parameter based on the past actual measurement value of the decoding processing time.
[0163]
Further, according to the present invention In the moving image processing method, the statistical information update step includes an initialization step of initializing the predicted decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image, and the decoding time The predicted decoding time updating step for updating the predicted decoding time based on the history is performed by computer processing control, so that the predicted decoding time that is the predicted decoding processing time is decoded from the compressed data of the standard image Initialization is performed based on the decoding processing time, and updating can be performed reliably based on past actual measurement values of the decoding processing time.
[0164]
Further, according to the present invention In the moving image processing method, the predicted decoding time update step obtains an average of the decoding processing times of the most recent frames held in the decoding time history and an average of the decoding processing times of the other frames. Change ratio of these two average values Is larger than a predetermined value, the average value of the decoding processing times of the most recent plural frames is set as the predicted decoding time, and when the change ratio is equal to or smaller than a predetermined value, the decoding processing times of the other plural frames are set. The average value of By updating the prediction decoding time, fluctuations can be reduced for small fluctuations and large fluctuations can be dealt with.
[0165]
Further, according to the present invention In the moving image processing method, the quality parameter calculation step includes a compressed data amount detection step of acquiring a size of frame data for one frame extracted in the frame separation step; Reduce the quality if the frame data size of the next frame to be acquired is larger than the frame data size of the frame. The fluctuation tendency correction step for correcting the quality parameter is performed by computer processing control, so that the quality can be increased according to the increase / decrease in size of the frame data of the most recent frame based on the size of the frame data of the frame to be processed. By correcting the parameters, safety measures can be taken to ensure that the frame rate is maintained.
[0166]
Further, according to the present invention In the moving image processing method, a digital moving image compression method that performs image compression processing using only intra-frame information is the Motion JPEG2000 method, and thus a moving image with a high compression rate and high image quality can be obtained.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of a system that realizes a hierarchical encoding algorithm that is the basis of the JPEG2000 system that is a premise of the present invention.
FIG. 2 is an explanatory diagram showing a divided rectangular area of each component of the original image.
FIG. 3 is an explanatory diagram showing subbands at each decomposition level when the number of decomposition levels is 3. FIG.
FIG. 4 is an explanatory diagram showing a precinct.
FIG. 5 is an explanatory diagram showing an example of a procedure for ranking bit planes;
FIG. 6 is an explanatory diagram illustrating a schematic configuration of one frame of code string data.
FIG. 7 is an explanatory diagram showing a code stream structure representing a packet containing encoded wavelet coefficient values for each subband.
FIG. 8 is an explanatory diagram showing the concept of Motion JPEG2000.
FIG. 9 is a block diagram showing an overall configuration of a moving image output system according to an embodiment of the present invention.
FIG. 10 is a module configuration diagram of the moving image processing apparatus.
FIG. 11 is a functional block diagram illustrating functions realized by processing executed by a CPU based on a moving image processing program.
FIG. 12 is an explanatory diagram schematically showing a decoding quality / time relation information table.
FIG. 13 is a flowchart showing a flow of processing in statistical information updating means.
FIG. 14 is a flowchart showing a flow of predicted decoding time update processing.
FIG. 15 exemplarily shows a comparison between an average value (NA) of decoding (decompression) times of the last three frames and an average value (FA) of decoding (decompression) times of 27 frames excluding the previous three frames. It is explanatory drawing.
FIG. 16 is a flowchart showing a flow of processing in a determination unit.
FIG. 17 is a flowchart showing a flow of quality parameter calculation processing.
FIG. 18 is a flowchart showing a flow of a fluctuation tendency correction process.
[Explanation of symbols]
3 Moving image processing device
15 storage media
31 Frame separation means
32 Decoding means
33 Compressed data amount detection means
34 Frame position update means
35 Decoding quality update means
36 Decoding time detection means
37 Statistical information update means
38 Quality parameter calculation means, frame position determination means
39 Quality / time related information table
Claims (22)
前記動画像データを構成するフレームデータを1フレーム毎に順次取り出すフレーム分離手段と、
このフレーム分離手段により取り出されたフレームデータをデコード処理するデコード手段と、
前記デコード手段による1フレームデータのデコード処理時間を取得するデコード時間検出手段と、
前記デコード時間検出手段から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出手段と、
前記品質パラメータ算出手段により算出された品質パラメータに対応する前記品質/時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定手段と、
前記デコード手段によりデコード処理を行った際のデコード処理時間を前記デコード時間検出手段から取得し、取得したデコード処理時間に基づいて前記デコード品質/時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新手段と、
前記デコード手段に対し、前記品質パラメータ算出手段により算出された品質パラメータを更新するデコード品質更新手段と、
前記フレーム分離手段に対し、前記フレーム位置決定手段により決定されたフレーム位置を指示するフレーム位置更新手段と、
を備えることを特徴とする動画像処理装置。In a moving image processing apparatus that reproduces moving image data compressed using a digital moving image compression method that performs image compression processing based only on in-frame information,
Frame separation means for sequentially extracting frame data constituting the moving image data for each frame;
Decoding means for decoding the frame data extracted by the frame separating means;
Decoding time detection means for obtaining a decoding processing time of one frame data by the decoding means;
Decoding processing time information including the predicted decoding time of decoding processing and quality when the decoding processing time acquired from the decoding time detecting means is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame A quality parameter that can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the quality / time relation information table that stores and holds the parameter in association is smaller than the frame display interval Quality parameter calculation means for calculating
The predicted decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating means is compared with the frame display time. If the predicted decoding time is larger, the predicted decoding Frame position determination means for determining a position including the time ahead as a frame position to be processed next;
Statistical information for acquiring the decoding processing time when the decoding means performs decoding processing from the decoding time detecting means, and updating the decoding processing time information in the decoding quality / time relation information table based on the acquired decoding processing time Update means;
Decoding quality update means for updating the quality parameter calculated by the quality parameter calculation means for the decoding means;
Frame position updating means for indicating the frame position determined by the frame position determining means to the frame separating means;
A moving image processing apparatus comprising:
前記動画像データを構成するフレームデータを1フレーム毎に順次取り出すフレーム分離手段と、
このフレーム分離手段により取り出されたフレームデータをデコード処理するデコード手段と、
前記デコード手段による1フレームデータのデコード処理時間を取得するデコード時間検出手段と、
前記デコード時間検出手段から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出手段と、
前記品質パラメータ算出手段により算出された品質パラメータに対応する前記品質/時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定手段と、
前記デコード手段に対し、前記品質パラメータ算出手段により算出された品質パラメータを更新するデコード品質更新手段と、
前記フレーム分離手段に対し、前記フレーム位置決定手段により決定されたフレーム位置を指示するフレーム位置更新手段とを有し、
各品質における前記予測デコード時間は、前記品質/時間関係情報テーブルの前記デコード処理時間情報に含まれる、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出されることを特徴とする動画像処理装置。In a moving image processing apparatus that reproduces moving image data compressed using a digital moving image compression method that performs image compression processing based only on in-frame information,
Frame separation means for sequentially extracting frame data constituting the moving image data for each frame;
Decoding means for decoding the frame data extracted by the frame separating means;
Decoding time detection means for obtaining a decoding processing time of one frame data by the decoding means;
Decoding processing time information including the predicted decoding time of decoding processing and quality when the decoding processing time acquired from the decoding time detecting means is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame A quality parameter that can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the quality / time relation information table that stores and holds the parameter in association is smaller than the frame display interval Quality parameter calculation means for calculating
The predicted decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating means is compared with the frame display time. If the predicted decoding time is larger, the predicted decoding Frame position determination means for determining a position including the time ahead as a frame position to be processed next;
Decoding quality update means for updating the quality parameter calculated by the quality parameter calculation means for the decoding means;
Frame position update means for indicating the frame position determined by the frame position determination means to the frame separation means;
The predicted decoding time for each quality is in accordance with a ratio value that predetermines the ratio of the decoding processing time for each quality to the decoding processing time for the highest quality included in the decoding processing time information of the quality / time relationship information table. A moving image processing apparatus characterized by being calculated.
前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化手段と、
前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新手段と、
を備えることを特徴とする請求項3記載の動画像処理装置。The statistical information updating means includes
Initialization means for initializing the predicted decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image;
Predictive decode time update means for updating the predictive decode time based on the decode time history;
The moving image processing apparatus according to claim 3, further comprising:
前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら2つの平均値の変化比が所定の値より大きい場合は、前記直近の複数フレームのデコード処理時間の平均値を前記予測デコード時間とし、前記変化比が所定の値以下の場合は、前記それ以外の複数フレームのデコード処理時間の平均値を前記予測デコード時間として更新する、
ことを特徴とする請求項4記載の動画像処理装置。The predictive decoding time update means includes
The average of the decoding processing times of the latest plural frames held in the decoding time history and the average of the decoding processing times of the other plural frames are obtained, and the change ratio of these two average values is larger than a predetermined value. In this case, an average value of the decoding processing times of the most recent plurality of frames is set as the predicted decoding time. Update as decoding time,
The moving image processing apparatus according to claim 4.
前記フレーム分離手段で取り出された1フレーム分のフレームデータのサイズを取得する圧縮データ量検出手段と、
前記圧縮データ量検出手段により取得されるフレームのフレームデータのサイズよりも次に取得されるフレームのフレームデータのサイズの方が大きい場合、品質を下げるように品質パラメータを補正する変動傾向補正手段と、
を備えることを特徴とする請求項1ないし5のいずれか一記載の動画像処理装置。The quality parameter calculation means includes
Compressed data amount detection means for obtaining the size of frame data for one frame taken out by the frame separation means;
Fluctuation tendency correcting means for correcting the quality parameter so as to lower the quality when the size of the frame data of the next acquired frame is larger than the size of the frame data of the frame acquired by the compressed data amount detecting means; ,
The moving image processing apparatus according to claim 1, further comprising:
前記動画像データを構成するフレームデータを1フレーム毎に順次取り出すフレーム分離機能と、
このフレーム分離機能により取り出されたフレームデータをデコード処理するデコード機能と、
前記デコード機能による1フレームデータのデコード処理時間を取得するデコード時間検出機能と、
前記デコード時間検出機能から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出機能と、
前記品質パラメータ算出機能により算出された品質パラメータに対応する前記品質/時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定機能と、
前記デコード機能によりデコード処理を行った際のデコード処理時間を前記デコード時間検出機能から取得し、取得したデコード処理時間に基づいて前記デコード品質/時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新機能と、
前記デコード機能に対し、前記品質パラメータ算出機能により算出された品質パラメータを更新するデコード品質更新機能と、
前記フレーム分離機能に対し、前記フレーム位置決定機能により決定されたフレーム位置を指示するフレーム位置更新機能と、
を実行させることを特徴とするプログラム。A program for causing a computer to reproduce moving image data compressed using a digital moving image compression method that performs image compression processing based only on in-frame information.
A frame separation function for sequentially extracting frame data constituting the moving image data for each frame;
A decoding function for decoding the frame data extracted by the frame separation function;
A decoding time detection function for acquiring a decoding processing time of one frame data by the decoding function;
Decoding processing time information and quality including predicted decoding time of decoding processing when the decoding processing time acquired from the decoding time detection function is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame A quality parameter that can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the quality / time relation information table that stores and holds the parameter in association is smaller than the frame display interval A quality parameter calculation function for calculating
When the predicted decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating function is compared with the frame display time, and the predicted decoding time is larger, the predicted decoding A frame position determination function for determining a position including the time ahead as a frame position to be processed next;
Statistical information for acquiring the decoding processing time when the decoding processing is performed by the decoding function from the decoding time detecting function, and updating the decoding processing time information of the decoding quality / time relation information table based on the acquired decoding processing time Update function,
For the decoding function, a decoding quality update function for updating the quality parameter calculated by the quality parameter calculation function;
A frame position update function for indicating the frame position determined by the frame position determination function to the frame separation function;
A program characterized by having executed.
前記動画像データを構成するフレームデータを1フレーム毎に順次取り出すフレーム分離機能と、
このフレーム分離機能により取り出されたフレームデータをデコード処理するデコード機能と、
前記デコード機能による1フレームデータのデコード処理時間を取得するデコード時間検出機能と、
前記デコード時間検出機能から取得したデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出機能と、
前記品質パラメータ算出機能により算出された品質パラメータに対応する前記品質/時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定機能と、
前記デコード機能に対し、前記品質パラメータ算出機能により算出された品質パラメータを更新するデコード品質更新機能と、
前記フレーム分離機能に対し、前記フレーム位置決定機能により決定されたフレーム位置を指示するフレーム位置更新機能と、を実行させ、
各品質における前記予測デコード時間は、前記品質/時間関係情報テーブルの前記デコード処理時間情報に含まれる、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出されることを特徴とするプログラム。A program for causing a computer to reproduce moving image data compressed using a digital moving image compression method that performs image compression processing based only on in-frame information.
A frame separation function for sequentially extracting frame data constituting the moving image data for each frame;
A decoding function for decoding the frame data extracted by the frame separation function;
A decoding time detection function for acquiring a decoding processing time of one frame data by the decoding function;
Decoding processing time information and quality including predicted decoding time of decoding processing when the decoding processing time acquired from the decoding time detection function is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame A quality parameter that can be processed within a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the quality / time relation information table that stores and holds the parameter in association is smaller than the frame display interval A quality parameter calculation function for calculating
When the predicted decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating function is compared with the frame display time, and the predicted decoding time is larger, the predicted decoding A frame position determination function for determining a position including the time ahead as a frame position to be processed next;
For the decoding function, a decoding quality update function for updating the quality parameter calculated by the quality parameter calculation function;
Causing the frame separation function to execute a frame position update function that indicates a frame position determined by the frame position determination function;
The predicted decoding time for each quality is in accordance with a ratio value that predetermines the ratio of the decoding processing time for each quality to the decoding processing time for the highest quality included in the decoding processing time information of the quality / time relationship information table. A program characterized by being calculated.
前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化機能と、
前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新機能と、
を前記コンピュータに実行させることを特徴とする請求項10記載のプログラム。The statistical information update function
An initialization function for initializing the predicted decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image;
A predicted decoding time update function for updating the predicted decoding time based on the decoding time history;
The program according to claim 10, wherein the computer is executed.
前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら2つの平均値の変化比が所定の値より大きい場合は、前記直近の複数フレームのデコード処理時間の平均値を前記予測デコード時間とし、前記変化比が所定の値以下の場合は、前記それ以外の複数フレームのデコード処理時間の平均値を前記予測デコード時間として更新する、
ことを特徴とする請求項11記載のプログラム。The predicted decoding time update function is:
The average of the decoding processing times of the latest plural frames held in the decoding time history and the average of the decoding processing times of the other plural frames are obtained, and the change ratio of these two average values is larger than a predetermined value. In this case, an average value of the decoding processing times of the most recent plurality of frames is set as the predicted decoding time. Update as decoding time,
12. The program according to claim 11, wherein:
前記フレーム分離機能で取り出された1フレーム分のフレームデータのサイズを取得する圧縮データ量検出機能と、
前記圧縮データ量検出機能により取得されるフレームのフレームデータのサイズよりも次に取得されるフレームのフレームデータのサイズの方が大きい場合、品質を下げるように品質パラメータを補正する変動傾向補正機能と、
を前記コンピュータに実行させることを特徴とする請求項8ないし12のいずれか一記載のプログラム。The quality parameter calculation function is:
A compressed data amount detection function for obtaining the size of frame data for one frame taken out by the frame separation function;
A variation tendency correction function for correcting a quality parameter so as to lower the quality when the size of the frame data of the next frame to be acquired is larger than the size of the frame data of the frame acquired by the compressed data amount detection function ,
13. The program according to claim 8, wherein the program is executed by the computer.
前記動画像データを構成するフレームデータを1フレーム毎に順次取り出すフレーム分離工程と、
このフレーム分離工程により取り出されたフレームデータをデコード処理するデコード工程と、
前記デコード工程による1フレームデータのデコード処理時間を取得するデコード時間検出工程と、
前記デコード時間検出工程により取得されたデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出工程と、
前記品質パラメータ算出工程により算出された品質パラメータに対応する前記品質/時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定工程と、
前記デコード工程によりデコード処理を行った際のデコード処理時間を前記デコード時間検出工程から取得し、取得したデコード処理時間に基づいて前記デコード品質/時間関係情報テーブルのデコード処理時間情報を更新する統計情報更新工程と、
前記デコード工程に対し、前記品質パラメータ算出工程により算出された品質パラメータを更新するデコード品質更新工程と、
前記フレーム分離工程に対し、前記フレーム位置決定工程により決定されたフレーム位置を指示するフレーム位置更新工程と、
をコンピュータの処理制御により行なうことを特徴とする動画像処理方法。A moving image processing method for reproducing moving image data compressed using a digital moving image compression method that performs image compression processing based only on in-frame information,
A frame separation step of sequentially extracting frame data constituting the moving image data for each frame;
A decoding step for decoding the frame data extracted by the frame separation step;
A decoding time detection step of acquiring a decoding processing time of one frame data by the decoding step;
When the decoding processing time acquired by the decoding time detection step is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, the decoding processing time information including the predicted decoding time of the decoding processing; Quality that can be processed in a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the quality / time relation information table that is stored and held in association with the quality parameter is smaller than the frame display interval A quality parameter calculation step for calculating parameters;
The predicted decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating step is compared with the frame display time. When the predicted decoding time is larger, the predicted decoding A frame position determination step for determining a position ahead of time including time as a frame position to be processed next;
Statistical information for acquiring the decoding processing time when the decoding processing is performed in the decoding step from the decoding time detecting step, and updating the decoding processing time information in the decoding quality / time relation information table based on the acquired decoding processing time Update process;
A decoding quality update step for updating the quality parameter calculated by the quality parameter calculation step with respect to the decoding step,
A frame position update step for indicating the frame position determined by the frame position determination step with respect to the frame separation step;
Is performed by computer processing control.
前記動画像データを構成するフレームデータを1フレーム毎に順次取り出すフレーム分離工程と、
このフレーム分離工程により取り出されたフレームデータをデコード処理するデコード工程と、
前記デコード工程による1フレームデータのデコード処理時間を取得するデコード時間検出工程と、
前記デコード時間検出工程により取得されたデコード処理時間が、前記フレームの表示時間から前回のフレーム表示での超過時間を差し引いた時間より大きい場合に、デコード処理の予測デコード時間を含むデコード処理時間情報と品質パラメータとを関連付けて記憶保持する品質/時間関係情報テーブルに含まれる該予測デコード時間がフレーム表示間隔より小さいか否かを判定することにより、前記フレーム表示時間を超えない範囲で処理可能な品質パラメータを算出する品質パラメータ算出工程と、
前記品質パラメータ算出工程により算出された品質パラメータに対応する前記品質/時間関係情報テーブルに記憶される予測デコード時間とフレーム表示時間とを比較し、前記予測デコード時間の方が大きい場合、前記予測デコード時間を包含する時間分先の位置を、次に処理するフレーム位置として決定するフレーム位置決定工程と、前記デコード工程に対し、前記品質パラメータ算出工程により算出された品質パラメータを更新するデコード品質更新工程と、
前記フレーム分離工程に対し、前記フレーム位置決定工程により決定されたフレーム位置を指示するフレーム位置更新工程と、をコンピュータの処理制御により行ない、
各品質における前記予測デコード時間は、前記品質/時間関係情報テーブルの前記デコード処理時間情報に含まれる、最高品質におけるデコード処理時間に対する各品質におけるデコード処理時間の比率を予め規定した比率値に応じて算出されることを特徴とする動画像処理方法。A moving image processing method for reproducing moving image data compressed using a digital moving image compression method that performs image compression processing based only on in-frame information,
A frame separation step of sequentially extracting frame data constituting the moving image data for each frame;
A decoding step for decoding the frame data extracted by the frame separation step;
A decoding time detection step of acquiring a decoding processing time of one frame data by the decoding step;
When the decoding processing time acquired by the decoding time detection step is larger than the time obtained by subtracting the excess time in the previous frame display from the display time of the frame, the decoding processing time information including the predicted decoding time of the decoding processing; Quality that can be processed in a range not exceeding the frame display time by determining whether or not the predicted decoding time included in the quality / time relation information table that is stored and held in association with the quality parameter is smaller than the frame display interval A quality parameter calculation step for calculating parameters;
The predicted decoding time stored in the quality / time relation information table corresponding to the quality parameter calculated by the quality parameter calculating step is compared with the frame display time. When the predicted decoding time is larger, the predicted decoding A frame position determining step for determining a position including a time ahead as a frame position to be processed next; and a decoding quality updating step for updating the quality parameter calculated by the quality parameter calculating step with respect to the decoding step When,
For the frame separation step, a frame position update step for indicating the frame position determined by the frame position determination step is performed by processing control of a computer,
The predicted decoding time at each quality is in accordance with a ratio value that predetermines the ratio of the decoding processing time at each quality to the decoding processing time at the highest quality included in the decoding processing time information of the quality / time relation information table A moving image processing method characterized by being calculated.
前記予測デコード時間と前記デコード時間履歴とを標準画像の圧縮データをデコード処理したデコード処理時間に基づいて初期化する初期化工程と、
前記デコード時間履歴に基づいて前記予測デコード時間を更新する予測デコード時間更新工程と、
をコンピュータの処理制御により行なうことを特徴とする請求項18記載の動画像処理方法。The statistical information update step includes:
An initialization step of initializing the predicted decoding time and the decoding time history based on a decoding processing time obtained by decoding compressed data of a standard image;
A predicted decoding time update step of updating the predicted decoding time based on the decoding time history;
19. The moving image processing method according to claim 18, wherein the processing is performed by computer processing control.
前記デコード時間履歴が保持している直近の複数フレームのデコード処理時間の平均と、それ以外の複数フレームのデコード処理時間の平均とを求め、これら2つの平均値の変化比が所定の値より大きい場合は、前記直近の複数フレームのデコード処理時間の平均値を前記予測デコード時間とし、前記変化比が所定の値以下の場合は、前記それ以外の複数フレームのデコード処理時間の平均値を前記予測デコード時間として更新する、
ことを特徴とする請求項19記載の動画像処理方法。The predicted decoding time update step includes:
The average of the decoding processing times of the latest plural frames held in the decoding time history and the average of the decoding processing times of the other plural frames are obtained, and the change ratio of these two average values is larger than a predetermined value. In this case, an average value of the decoding processing times of the most recent plurality of frames is set as the predicted decoding time. Update as decoding time,
The moving image processing method according to claim 19.
前記フレーム分離工程で取り出された1フレーム分のフレームデータのサイズを取得する圧縮データ量検出工程と、
前記圧縮データ量検出工程により取得されるフレームのフレームデータのサイズよりも次に取得されるフレームのフレームデータのサイズの方が大きい場合、品質を下げるように品質パラメータを補正する変動傾向補正工程と、
をコンピュータの処理制御により行うことを特徴とする請求項16ないし20のいずれか一記載の動画像処理方法。The quality parameter calculation step includes
A compressed data amount detection step of acquiring the size of frame data for one frame taken out in the frame separation step;
A variation tendency correction step of correcting the quality parameter so as to lower the quality when the size of the frame data of the next acquired frame is larger than the size of the frame data of the frame acquired by the compressed data amount detection step; ,
21. The moving image processing method according to any one of claims 16 to 20, wherein the processing is performed by computer processing control.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003129807A JP4361755B2 (en) | 2003-05-08 | 2003-05-08 | Moving image processing apparatus, program, storage medium, and moving image processing method |
US10/840,368 US7433524B2 (en) | 2003-05-08 | 2004-05-07 | Processing system with frame rate and image quality optimized |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003129807A JP4361755B2 (en) | 2003-05-08 | 2003-05-08 | Moving image processing apparatus, program, storage medium, and moving image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004336404A JP2004336404A (en) | 2004-11-25 |
JP4361755B2 true JP4361755B2 (en) | 2009-11-11 |
Family
ID=33505504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003129807A Expired - Fee Related JP4361755B2 (en) | 2003-05-08 | 2003-05-08 | Moving image processing apparatus, program, storage medium, and moving image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4361755B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4371120B2 (en) | 2006-05-16 | 2009-11-25 | ソニー株式会社 | Image processing apparatus, image processing method, program, and recording medium |
JP2014176034A (en) | 2013-03-12 | 2014-09-22 | Ricoh Co Ltd | Video transmission device |
WO2020116205A1 (en) * | 2018-12-07 | 2020-06-11 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, information processing method, and program |
-
2003
- 2003-05-08 JP JP2003129807A patent/JP4361755B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004336404A (en) | 2004-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8000542B2 (en) | Apparatus and method for processing image data based on object movement speed within a frame | |
US20160198162A1 (en) | Quantization Method and Apparatus in Encoding/Decoding | |
JP4392783B2 (en) | Movie reproduction system, movie transmission device, movie transmission method, program, and recording medium | |
JP4350342B2 (en) | Image processing apparatus, image recording apparatus, camera system, program, storage medium, and image processing method | |
JP2007142614A (en) | Image processing apparatus and method, program, and information recording medium | |
US7957604B2 (en) | Moving image coding apparatus, moving image decoding apparatus, control method therefor, and computer-readable storage medium | |
US7433524B2 (en) | Processing system with frame rate and image quality optimized | |
JP3952459B2 (en) | Image processing apparatus, program, storage medium, and image processing method | |
JP4190157B2 (en) | Image data transmitting apparatus and image data receiving apparatus | |
JP4361755B2 (en) | Moving image processing apparatus, program, storage medium, and moving image processing method | |
JP4145086B2 (en) | Image decoding apparatus, image processing apparatus, moving image display system, program, storage medium, and image decoding method | |
JP2004336405A (en) | Dynamic image processing apparatus, program, storage medium, and dynamic image processing method | |
JP4489474B2 (en) | Image processing apparatus, program, and recording medium | |
JP4124436B2 (en) | Motion estimation device, program, storage medium, and motion estimation method | |
JP3954459B2 (en) | Moving image processing apparatus, moving image processing method, and surveillance camera system | |
JP2002369202A (en) | Image compression device, image expansion device, image compressing method, image expanding method, program and recording medium stored with the program | |
JP4118049B2 (en) | Image processing apparatus and method | |
JP4040404B2 (en) | Code string conversion apparatus and method, image processing apparatus, and image recording apparatus | |
JP2004056260A (en) | Image decoder, image processor, program, recording medium and image decoding method | |
JP2004096695A (en) | Image processing apparatus, image display device, program, storage medium, and image processing method | |
JP2003339047A (en) | Image compression device, image decompression device, image compression/decompression device, image compression method, image decompression method, program, and recording medium recording the program | |
JP3987425B2 (en) | Image decompression apparatus, program, storage medium, and image decompression method | |
JP2004236226A (en) | Method and apparatus for image decompressing, program, and storage medium | |
JP2004234565A (en) | Displacement correction device, image processor, program, storage medium, and displacement correction method | |
JP4093870B2 (en) | Image processing apparatus, program, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041012 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051021 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060417 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060905 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090317 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090811 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090813 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120821 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120821 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130821 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |