JP2006324755A - 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 動画像データの圧縮、復元における画質低下を防止し、圧縮率を高めた符号化を実現する装置および方法を提供する。
【解決手段】 動画像データを構成するフレーム毎にブロック分割を行い、各ブロックにおける被写体移動量に応じて空間方向、時間方向少なくともいずれかの間引き処理を実行し、間引き処理後の画素データを含むパックブロックを生成する構成において、元画像の画素位置に対応した相対位置を持つパックブロックを生成する。画像復元においては、元画像の画素位置に対応した画素位置を持つパックブロックに基づいて、フレーム順に画素位置を並べた初期パックブロックを復元して各フレーム画素を復元する。本構成により、例えばＭＰＥＧ等の符号化処理を行なう際、パックブロックの画像データが元画像に近い滑らかな画像となり、圧縮率を高めた符号化処理が可能となる。
【選択図】 図１９

Description

本発明は、動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。特に、動画像の圧縮および伸張処理を実行する構成において、人間の視覚特性を利用した適切な圧縮、伸張を行なうことにより、効率的なデータ量の削減を実現し、画質劣化を最小限に抑え、高品質な画像復元を実現可能とした動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。

動画像データは、フラッシュメモリ、ハードディスク、ＤＶＤなどの記憶媒体への保存、あるいはネットワークを介した配信などにおいて、データ量を削減するためのデータ変換、すなわち圧縮処理が行なわれる。特に、近年、動画像データの高品質化、例えばＨＤ（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ）データなど、データ品質の改善が進んでおり、このデータの高品質化に伴ってデータ量が急激に増大している。このような状況において、動画像データの圧縮、復元処理における圧縮効率の改善や、復元データの品質劣化防止に関する技術について多くの検討、研究がなされている。

動画像のデータ量の圧縮方法としては、ＭＰＥＧなどのインターフレーム符号化とイントラフレーム符号化を組み合わせた動画像符号化が代表的である。ところで、ＭＰＥＧによる動画像符号化の符号化効率を向上するために、動画像に対して前処理を行う手法が数多く提案されている。

例えば、特許文献１は、順次走査方式の動画像の画素を半数に間引くことにより飛び越し走査方式の動画像へと変換した後に圧縮することで、画質の劣化を抑えつつ符号化効率の向上を可能とした構成を開示している。また、特許文献２は、前処理としてローパスフィルタを画像に適用することで、符号化後のブロック歪みの発生を抑制した構成を開示している。

しかし、これらの従来技術に開示されたデータ圧縮方法においては、以下のような問題がある。
（１）特許文献１（特開２０００−３２４７０）に開示された方式では、前処理終了時点でデータ量を半分にすることが可能で最終的な符号化効率の大幅な向上が期待できるが、動画の局所的な特性、すなわち、動きのある領域と無い領域の特徴を利用せずに一様な間引きを行っているため、画像全体に対して均一な劣化を生じさせてしまう。
（２）特許文献２（特開２００１−３５２５４６）の方式は、特に低ビットレートで符号化した場合に発生するブロック歪みの抑制を意図したものであり、高ビットレートの符号化時にこの手法を適用することで符号化効率の向上や画質の劣化の抑制が可能であるとは限らない。

そこで、本出願人は、先に出願済みの特願２００３−４１２５０１において、この問題点を解決し、高品質な画像圧縮復元を実現する動画像変換装置を提案した。この動画像変換装置は、人間の視覚特性を鑑みて、動画像の微小領域毎に移動速度情報に応じて最適なフレームレートと空間解像度を決定してデータ量の圧縮を行う構成であり、人間の視覚系における時間積分機能を利用し、動被写体を目で追いかけるときに生じる超解像効果に基づいて、移動量に応じて移動方向に空間的な間引き処理を行うことでデータ量の削減を行う構成である。なお、この動画像変換装置についての詳細は後述する。

しかしながら、この特願２００３−４１２５０１において提案したデータ圧縮方法を用いて、一般的な符号化手法（ＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等）を組み合わせて符号化・復号を行うと、以下のような問題が発生する場合がある。
（１）超解像効果を利用して画質を劣化させた場合、一般的な符号化手法では圧縮率が向上しない。
（２）超解像効果を利用して画質を劣化させた場合、高フレームレート動画像のままで一般的な符号化手法で圧縮した場合、圧縮率が向上しない。
このように、特願２００３−４１２５０１において提案したデータ圧縮方法は、ＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等の一般的な符号化手法と組み合わせた場合、圧縮率が向上しないという問題点がある。
特開２０００−３２４７０号公報 特開２００１−３５２５４６号公報

上述のように、いくつかの従来技術において、画像の劣化を抑えつつ符号化効率の向上を図る構成が開示されているが、これまでに開示されている圧縮方法では、圧縮画像データを復元し、再生した場合の画質劣化を十分に抑えるには至っていない。

本発明は、上記の問題に鑑みてなされたものであり、人間の視覚特性を利用した適切な圧縮、伸張を行なうことにより、効率的なデータ量の削減を実現し、画質劣化を最小限に抑え、高品質な画像復元を実現可能とした動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。

さらに、本発明は、特願２００３−４１２５０１において提案したデータ圧縮方法、すなわち、動画像の微小領域毎に移動速度情報に応じて最適なフレームレートと空間解像度を決定してデータ量の圧縮を行う構成と、一般的な符号化手法（ＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等）とを組み合わせて、動画像データの符号化・復号を行う構成において、人間の視覚特性を利用した適切な圧縮、伸張を行うことにより、効率的なデータ量の削減を実現するとともに、画質劣化を最小限に抑え、高品質な画像復元を実現可能とした動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
前記ブロック分割部の分割したブロックデータと、前記移動量検出部の検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理部と、
前記ブロック処理部の間引き処理データを入力し、間引き後の画素データからなるブロックとしてのパックブロックを生成するパック処理部とを有し、
前記パック処理部は、
前記パックブロックの構成画素各々の相対的な位置を、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックを生成する処理を実行する構成であることを特徴とする動画像変換装置にある。

さらに、本発明の動画像変換装置の一実施態様において、前記パック処理部は、前記ブロック処理部において、空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックを、画素位置補正対象ブロックとして選択し、選択した連続ブロックについて位置補正を行なったパックブロックを生成する構成であることを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記パック処理部は、パックブロック構成画素について、元画像上の相対画素位置を算出し、算出した相対画素位置に基づくソート処理による位置補正を行なったパックブロックを生成する構成を有することを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記パック処理部は、パックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行する構成であることを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記動画像変換装置は、さらに、前記パック処理部の生成したパックブロックを入力して符号化処理を実行する符号化部を有する構成であることを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記動画像変換装置は、さらに、前記ブロック処理部における処理態様情報を含むサイド情報を生成し、出力する構成を有することを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記サイド情報には、ブロック対応の間引き処理態様情報、およびブロック対応の移動量情報を含むことを特徴とする。

さらに、本発明の第２の側面は、
動画像変換データの復元処理を実行する動画像復元装置であり、
間引き処理データに基づいて生成されたパックブロックの復元処理としてのアンパック処理を実行するアンパック処理部を有し、
前記アンパック処理部は、
変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックに基づいて、フレーム順に画素位置を並べた初期パックブロックを復元し、復元した初期パックブロックに基づいて、パック以前の各フレーム対応画素から構成される複数ブロックの生成処理を行なう構成であることを特徴とする動画像復元装置にある。

さらに、本発明の動画像復元装置の一実施態様において、前記アンパック処理部は、空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックに対応するパックブロックを、画素位置補正対象ブロックとして選択し、選択したパックブロックについて、フレーム順に画素位置を並べた初期パックブロックを復元する処理を実行する構成であることを特徴とする。

さらに、本発明の動画像復元装置の一実施態様において、前記アンパック処理部は、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの構成画素に対応して設定された相対画素位置ｘを入力し、相対画素位置ｘの値について昇順または降順のソート処理を実行し、該ソート処理の結果として位置変更のあった相対画素位置ｘに対応するパックブロックの画素位置を同様に変更することで、フレーム順に画素位置を並べた初期パックブロックの復元を行なう構成であることを特徴とする。

さらに、本発明の動画像復元装置の一実施態様において、前記アンパック処理部は、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行し、フレーム順に画素位置を並べた初期パックブロックの復元を行なう構成であることを特徴とする。

さらに、本発明の動画像復元装置の一実施態様において、前記動画像復元装置は、さらに、動画像変換装置が、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックに基づいて符号化した符号化データを復号する復号部を有し、前記アンパック処理部は、前記復号部の復号したパックブロックを入力してアンパック処理を実行する構成であることを特徴とする。

さらに、本発明の動画像復元装置の一実施態様において、前記アンパック処理部は、動画像変換装置において実行されたブロック対応の間引き処理態様情報、およびブロック対応の移動量情報を入力して、アンパック処理態様を決定する構成を有することを特徴とする。

さらに、本発明の第３の側面は、
動画像変換データの復元処理を実行する動画像復元装置であり、
変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックを入力し、該パックブロックに基づくフレームレート変換処理を実行するブロック処理部を有し、
前記ブロック処理部は、
入力したパックブロックからなるフレームデータを生成する構成であり、入力パックブロックのフレーム数を増加させる必要がある場合に、パックブロックの生成元としてのブロックに対応する移動量情報に基づいてパックブロックを移動させたパックブロックからなる新規フレームを生成してフレームレートを変換した動画像データを生成する処理を実行する構成を有することを特徴とする動画像復元装置にある。

さらに、本発明の動画像復元装置の一実施態様において、前記動画像復元装置は、さらに、前記パックブロックを構成データとするフレームレート変換動画像データに対するぼかし処理を実行するフィルタ処理部を有する構成であることを特徴とする。

さらに、本発明の第４の側面は、
動画像データのデータ変換処理を実行する動画像変換方法であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて分割されたブロックデータと、前記移動量検出ステップにおいて検出された移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップと、
前記ブロック処理ステップによって生成された間引き処理データを入力し、間引き後の画素データからなるブロックとしてのパックブロックを生成するパック処理ステップとを有し、
前記パック処理ステップは、
前記パックブロックの構成画素各々の相対的な位置を、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックを生成する処理を実行するステップを含むことを特徴とする動画像変換方法にある。

さらに、本発明の動画像変換方法の一実施態様において、前記パック処理ステップは、前記ブロック処理ステップにおいて、空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックを、画素位置補正対象ブロックとして選択し、選択した連続ブロックについて位置補正を行なったパックブロックを生成するステップを含むことを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記パック処理ステップは、パックブロック構成画素について、元画像上の相対画素位置を算出し、算出した相対画素位置に基づくソート処理による位置補正を行なったパックブロックを生成するステップを含むことを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記パック処理ステップは、パックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行するステップを含むことを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記動画像変換方法は、さらに、前記パック処理ステップにおいて生成したパックブロックを入力して符号化処理を実行する符号化ステップを有することを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記動画像変換方法は、さらに、前記ブロック処理ステップにおける処理態様情報を含むサイド情報を生成し、出力するステップを有することを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記サイド情報には、ブロック対応の間引き処理態様情報、およびブロック対応の移動量情報を含むことを特徴とする。

さらに、本発明の第５の側面は、
動画像変換データの復元処理を実行する動画像復元方法であり、
間引き処理データに基づいて生成されたパックブロックの復元処理としてのアンパック処理を実行するアンパック処理ステップを有し、
前記アンパック処理ステップは、
変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックに基づいて、フレーム順に画素位置を並べた初期パックブロックを復元し、復元した初期パックブロックに基づいて、パック以前の各フレーム対応画素から構成される複数ブロックの生成処理を行なうステップであることを特徴とする動画像復元方法にある。

さらに、本発明の動画像復元方法の一実施態様において、前記アンパック処理ステップは、空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックに対応するパックブロックを、画素位置補正対象ブロックとして選択し、選択したパックブロックについて、フレーム順に画素位置を並べた初期パックブロックを復元する処理を実行するステップを含むことを特徴とする。

さらに、本発明の動画像復元方法の一実施態様において、前記アンパック処理ステップは、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの構成画素に対応して設定された相対画素位置ｘを入力し、相対画素位置ｘの値について昇順または降順のソート処理を実行し、該ソート処理の結果として位置変更のあった相対画素位置ｘに対応するパックブロックの画素位置を同様に変更することで、フレーム順に画素位置を並べた初期パックブロックの復元を行なうステップを含むことを特徴とする。

さらに、本発明の動画像復元方法の一実施態様において、前記アンパック処理ステップは、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行し、フレーム順に画素位置を並べた初期パックブロックの復元を行なうステップを含むことを特徴とする。

さらに、本発明の動画像復元方法の一実施態様において、前記動画像復元方法は、さらに、動画像変換装置が、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックに基づいて符号化した符号化データを復号する復号ステップを有し、前記アンパック処理ステップは、前記復号ステップにおいて復号したパックブロックを入力してアンパック処理を実行することを特徴とする。

さらに、本発明の動画像復元方法の一実施態様において、前記アンパック処理ステップは、動画像変換装置において実行されたブロック対応の間引き処理態様情報、およびブロック対応の移動量情報を入力して、アンパック処理態様を決定するステップを含むことを特徴とする。

さらに、本発明の第６の側面は、
動画像変換データの復元処理を実行する動画像復元方法であり、
変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックを入力し、該パックブロックに基づくフレームレート変換処理を実行するブロック処理ステップを有し、
前記ブロック処理ステップは、
入力したパックブロックからなるフレームデータの生成処理を実行するステップであり、入力パックブロックのフレーム数を増加させる必要がある場合に、パックブロックの生成元としてのブロックに対応する移動量情報に基づいてパックブロックを移動させたパックブロックからなる新規フレームを生成してフレームレートを変換した動画像データを生成する処理を実行することを特徴とする動画像復元方法にある。

さらに、本発明の動画像復元方法の一実施態様において、前記動画像復元方法は、さらに、前記パックブロックを構成データとするフレームレート変換動画像データに対するぼかし処理を実行するフィルタ処理ステップを有することを特徴とする。

さらに、本発明の第７の側面は、
動画像データのデータ変換処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて分割されたブロックデータと、前記移動量検出ステップにおいて検出された移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップと、
前記ブロック処理ステップによって生成された間引き処理データを入力し、間引き後の画素データからなるブロックとしてのパックブロックを生成するパック処理ステップとを有し、
前記パック処理ステップは、
前記パックブロックの構成画素各々の相対的な位置を、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックを生成する処理を実行するステップを含むことを特徴とするコンピュータ・プログラムにある。

さらに、本発明の第８の側面は、
動画像変換データの復元処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
間引き処理データに基づいて生成されたパックブロックの復元処理としてのアンパック処理を実行するアンパック処理ステップを有し、
前記アンパック処理ステップは、
変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックに基づいて、フレーム順に画素位置を並べた初期パックブロックを復元し、復元した初期パックブロックに基づいて、パック以前の各フレーム対応画素から構成される複数ブロックの生成処理を行なうステップであることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の動画像変換装置および方法によれば、動画像データを構成するフレーム毎にブロック分割を行い、各ブロックにおける被写体移動量に応じて空間方向、時間方向少なくともいずれかの間引き処理を実行し、間引き処理後の画素データを含むパックブロックを生成する構成において、元画像の画素位置に対応した相対位置を持つパックブロックを生成する構成としたので、例えばＭＰＥＧやＭｏｔｉｏｎ ＪＰＥＧ等の符号化処理を行なう際、パックブロックの画像データが元画像に近い滑らかな画像となり、圧縮率を高めた符号化処理が可能となり、間引き処理後のパックブロックに起因する圧縮率低下を抑制することが可能となり、高圧縮率の符号化データを生成することができる。

また、本発明の動画像復元装置および方法によれば、元画像の画素位置に対応した相対的な画素位置を持つパックブロックに基づいて、フレーム順に画素位置を並べた初期パックブロックを復元し、復元した初期パックブロックに基づいて、パック以前の各フレーム対応画素から構成される複数ブロックの生成処理を行なうアンパック処理部を構成したので、上述の動画像変換装置において生成した画素位置の補正されたパックブロックを正しく復元して正確なフレームデータを生成することが可能となる。

以下、図面を参照しながら、本発明の動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムの構成について説明する。なお、説明は、以下の項目に従って行なう。
（１）超解像効果を利用した動画像変換装置の基本構成
（２）本発明に従った動画像圧縮処理を実行する装置および方法
（３）本発明に従った動画像伸張処理を実行する装置および方法
（４）本発明に従った、低フレームレートデバイスのための動画像伸長処理を実行する装置および方法

［（１）超解像効果を利用した動画像変換装置の基本構成］
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特願２００３−４１２５０１号に詳細を記載しているものであり、画像を小領域（ブロック）に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。

図１に特願２００３−４１２５０１号に記載した動画像変換装置１０の構成例を示す。この動画像変換装置１０は、超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量の削減を行うことができる構成としたものである。

なお、超解像効果とは、観測者が、空間方向に離散的にサンプリングされた移動被写体を追従視する際に、表示画素数以上の解像度を知覚するという視覚的効果である。これは、人間は、ある時間内に呈示された複数の画像が加算されたものを知覚するという視覚特性を持つためである。この特性は、ブロックの法則として知られる視覚の時間的積分機能に起因しており、例えば、"視覚情報ハンドブック，日本視覚学会編，ｐｐ．２１９−２２０"などに記載されている。ブロックの法則が成り立つ積分時間は、背景光の強度などの呈示条件によって変化するが、およそ２５ｍｓ乃至１００ｍｓであるという報告がある。

図１に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行うことにより、画質劣化を観測者が知覚しないようにデータを削減する圧縮を行う構成としたものである。図１の動画像変換装置１０の構成について説明する。

ブロック分割部１１は、入力された動画像の各フレームを、所定画素の区分領域としてのブロックに分割し移動量検出部１２に供給する。移動量検出部１２は、ブロック分割部１１から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３に送信する。ブロック処理部１３は、移動量検出部１２から供給されたブロックに対して、その移動量に応じた動画像変換処理、すなわち圧縮処理を施し、データ量を削減する。ブロック処理部１３は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４に供給する。出力部１４は、ブロック処理部１３から供給された、データ量が削減されたブロックについてのデータを、ストリームデータとしてまとめて出力する。

次に、図２を参照して、各部の詳細について説明する。ブロック分割部１１の画像蓄積部２１には、動画像変換装置１０に供給された動画像のフレームが入力される。画像蓄積部２１は、入力されたフレームを蓄積する。画像蓄積部２１は、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部２２に供給するとともに、Ｎ枚のフレームの中のＭ番目に記憶したフレーム（以下、Ｍ番目のフレームと称する）を、移動量検出部１２（移動量検出部３１）に供給する。例えば、Ｎ＝４とする。

ブロック分割部２２は、画像蓄積部２１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ（例えば８×８、１６×１６）のブロックに分割し、移動量検出部１２（ブロック分配部３２）に出力する。ブロック分割部２２はまた、Ｎ枚のフレームの中の、画像蓄積部２１でＰ番目に記憶されたフレーム（以下、Ｐ番目のフレームと称する）の各ブロックを移動量検出部１２（移動量検出部３１）に供給する。Ｐ番目のフレームは、Ｍ番目のフレームと異なるフレームである。

次に、移動量検出部１２について説明する。移動量検出部１２の移動量検出部３１は、ブロック分割部１１のブロック分割部２２から供給されたＰ番目のフレームの各ブロックの動きベクトルを、画像蓄積部２１から供給されたＭ番目のフレームを参照して例えばフレーム間のブロックマッチング処理を実行して検出し、検出した動きベクトルをブロック分配部３２に供給する。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表している。なお、移動量検出部３１は、移動量検出の精度を向上させるために画像を拡大し、拡大画像を適用した移動量検出を行なう構成としてもよい。

移動量検出部１２のブロック分配部３２には、ブロック分割部２２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部３１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部３２は、供給されたＮ個のブロックと移動量を、ブロック処理部１３の、その移動量に対応する処理を行うブロック処理部５１乃至５３の中のいずかに供給する。

具体的にはブロック分配部３２は、移動量検出部３１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル（画素）以上である場合、ブロック分割部２２から供給されたＮ個のブロックと移動量検出部３１から供給された移動量を、ブロック処理部５１に出力する。また、１フレーム間の水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ１ピクセル以上の場合、ブロック分配部３２は、Ｎ個のブロックと移動量を、ブロック処理部５３に出力する。移動量がそのほかの場合には、ブロック分配部３２は、Ｎ個のブロックと移動量をブロック処理部５２に供給する。

すなわちブロック分配部３２は、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部５１〜５３に、ブロック画像を分配する。

次に、ブロック処理部１３の詳細を説明する。ブロック処理部１３は、上述したように３個のブロック処理部５１乃至５３で構成されている。ブロック処理部５１は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル以上である場合のＮ個のブロック）に対して、画素数を、同様にブロック分配部３２から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。

具体的には、１フレーム間の水平方向の移動量が２ピクセル（画素）以上である場合、ブロック処理部５１は、処理対象のブロックが図３（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち１つの画素値のみを選択して代表値とする。図３（ｂ）の例では、Ｐ_００乃至Ｐ_３０の４画素のうちＰ_１０のみを代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ_０１乃至Ｐ_３１の４画素に対してはＰ_１１を代表値（標本点）とし、Ｐ_０２乃至Ｐ_３２の４画素に対してはＰ_１２を代表値（標本点）とし、Ｐ_０３乃至Ｐ_３３の４画素に対してはＰ_１３を代表値（標本点）とする。

１フレーム間の垂直方向の移動量が２ピクセル以上である場合、ブロック処理部５１は、ブロックが図３（ａ）に示すように４×４ピクセルで構成されているとき、垂直方向の４画素のうち１つの画素値を標本点として有効とする。図３（ｃ）の例では、Ｐ_００乃至Ｐ_０３の４画素のうちＰ_０１のみを標本点として有効にする。その他の画素値は無効とする。同様に、Ｐ_１０乃至Ｐ_１３の４画素に対してはＰ_１１を標本点とし、Ｐ_２０乃至Ｐ_２３の４画素に対してはＰ_２１を標本点とし、Ｐ_３０乃至Ｐ_３３の４画素に対してはＰ_３１を標本点とする。

ブロック処理部５１は、このような空間方向間引き処理を、供給された連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ＝４個のブロックに対してそれぞれ施すので、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部５１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。

次に、図２に示すブロック処理部５２の実行する処理について説明する。図２に示すブロック処理部５２は、移動量検出部１２のブロック分配部３２から供給された連続するＮ枚のフレームのそれぞれの同一位置ある合計Ｎブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。

具体的にはブロック処理部５２は、図４に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢｉ）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。ブロック処理部５２は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４に供給する。選択された１つのブロックの画素データが４フレームに対応する標本点データとなる。

ブロック処理部５３は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間方向間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行う。

ブロック処理部５３は、ブロック処理部５１における間引き処理とは異なり、図５に示すように、１フレーム間の水平方向の移動量が１ピクセル以上で、２ピクセル未満である場合、ブロック処理部５３は、処理対象のブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち２つの画素値のみを選択して代表値とする。図５（ｂ）の例では、Ｐ_００乃至Ｐ_３０の４画素のうちＰ_００とＰ_２０のみを代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ_０１乃至Ｐ_３１の４画素に対してはＰ_０１とＰ_２１のみを代表値（標本点）とし、Ｐ_０２乃至Ｐ_３２の４画素に対してはＰ_０２とＰ_２２のみ代表値（標本点）とし、Ｐ_０３乃至Ｐ_３３の４画素に対してはＰ_０３とＰ_２３のみ代表値（標本点）とする。

１フレーム間の垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合、ブロック処理部５３は、処理対象ブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、垂直方向の４画素のうち２つの画素値を有効とする。図５（ｃ）の例では、Ｐ_００乃至Ｐ_０３の４画素のうちＰ_００およびＰ_０２を代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ_１０乃至Ｐ_１３の４画素に対してはＰ_１０およびＰ_１２を代表値（標本点）とし、Ｐ_２０乃至Ｐ_２３の４画素に対してはＰ_２０およびＰ_２２を代表値（標本点）とし、Ｐ_３０乃至Ｐ_３３の４画素に対してはＰ_３０およびＰ_３２を代表値（標本点）とする。

さらにブロック処理部５３は、フレーム数の間引き処理を行う。具体的にはブロック処理部５３は、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックに対して、その中の２つのブロックを有効にするフレーム数の間引き処理を実行する。フレーム数の間引き処理においては、ブロック処理部５３は、ブロック処理部５２における間引き処理と異なり、図６に示すように、連続する４枚のフレームＦ１乃至Ｆ４のぞれぞれの同一位置にある合計４個のブロックＢｉを、その中のいずれか２つ（図の例では、フレームＦ１、Ｆ３の２個のブロック）にするフレーム数の間引き（２フレーム間のフレーム数の間引き）を行う。選択された２つのブロックの画素データが４フレームに対応する標本点データとなる。この場合、図５を参照して説明した空間方向の間引きにおいて、すでに１ブロックに８つの標本点選択が実行済みであり、２ブロックから総計１６の標本点が選択され、これらが４フレームに対応する標本点データとして設定されることになる。

ブロック処理部５３は、図５を参照して説明したデータ量を１／２とする空間方向間引き処理と、図６を参照して説明したデータ量を１／２とする時間方向間引き処理を、供給された４個のブロックに対して施すので、結果として４個のブロックのデータ量が（１／２）×（１／２）＝１／４に削減される。ブロック処理部５３は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。

出力部１４は、ブロック処理部１３のブロック処理部５１乃至５３のそれぞれから供給された、データ量が削減されたＮ個のブロックについてのデータからストリームデータを生成する。

本出願人は、先に出願済みの特願２００３−４１２５０１において、上述した動画像変換装置を提案した、この動画像変換装置は、人間の視覚特性を鑑みて、動画像の微小領域毎に移動速度情報に応じて最適なフレームレートと空間解像度を決定してデータ量の圧縮を行う構成であり、人間の視覚系における時間積分機能を利用し、動被写体を目で追いかけるときに生じる超解像効果に基づいて、移動量に応じて移動方向に空間的な間引き処理を行うことでデータ量の削減を行う構成である。

［（２）本発明に従った動画像圧縮処理を実行する装置および方法］
上述の動画像変換装置におけるデータ圧縮方法において、時間方向間引きを行なうと、以下のような問題が発生する場合がある。

上述の動画像変換装置におけるデータ圧縮方法において、例えばＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等の一般的な符号化手法を組み合わせて符号化・復号を行うと、以下のような問題が発生する場合がある。
（１）超解像効果を利用して画質を劣化させた場合、一般的な符号化手法では圧縮率が向上しない。
（２）超解像効果を利用して画質を劣化させた場合、高フレームレート動画像のままで一般的な符号化手法で圧縮した場合、圧縮率が向上しない。

以下、上記問題点を解決したデータ圧縮を実現する本発明に従った動画像圧縮処理を実行する装置および方法について説明する。

本実施形態における動画像変換装置の概略構成について説明する。図７は、本発明の一実施形態としての動画像変換装置の構成を示すブロック図である。図７に示すように、本実施形態の動画像変換装置１００は、ブロック分割部１１０、移動量検出部１２０、ブロック処理部１３０、パック処理部１４０、出力部１５０を有する。

ブロック分割部１１０、移動量検出部１２０、およびブロック処理部１３０は、先に、図１を参照して説明した特願２００３−４１２５０１号に記載した動画像変換装置１０のブロック分割部１１、移動量検出部１２、ブロック処理部１３と、ほぼ同様の構成を有し、同様の処理を実行する。すなわち、動画像変換装置１００は、処理対象となる動画像データを入力し、ブロック分割部１１０において、動画像を構成するフレーム毎に所定領域のブロックに分割し、移動量検出部１２０に供給する。

移動量検出部１２０は、ブロック分割部１１０から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３０に送信する。ブロック処理部１３０は、移動量検出部１２０から供給されたブロックに対して、その移動量に応じた動画像変換処理、すなわち移動量に応じて空間方向間引き処理、または時間方向間引き処理、または空間および時間方向間引き処理によるデータ圧縮処理を施し、データ量を削減する。データ量を削減されたブロックはパック処理部１４０において、データ量の削減したブロックをＭフレームごとにまとめられ、フレームレートをＲ／Ｍに変換する。なお、入力した動画像のオリジナルフレームレートをＲ、パック処理部においてまとめるフレーム数をＭとする。

ブロック処理部１３０、パック処理部１４０において、データ量が削減されフレームレートがＲ／Ｍに変換されたブロックを、出力部１５０に供給する。出力部１５０は、パック処理部１４０から供給された、データ量が削減されフレームレートがＲ／Ｍに変換されたブロックデータを、フレーム単位で合成して、ストリームデータとしてまとめて、ＭＰＥＧ圧縮等の動画の圧縮を行うことのできる既存の符号化器へ出力する。

次に、本実施形態の動画像変換装置１００のブロック分割部１１０、移動量検出部１２０およびブロック処理部１３０およびパック処理部１４０の構成について図８を参照して説明する。図８は本実施形態における動画像変換装置１００のブロック分割部１１０、移動量検出部１２０およびブロック処理部１３０およびパック処理部１４０の構成を示すブロック図である。

処理対象となる動画像は、ブロック分割部１１０内の画像蓄積部１１１において、Ｎフレーム分蓄積される。なお、本実施例ではＮ＝４である。蓄積されたフレームはブロック分割部１１２においてある大きさのブロック、例えば８ｐｉｘｅｌ×８ｐｉｘｅｌや１６ｐｉｘｅｌ×１６ｐｉｘｅｌ等のブロックに分解され、ブロック分配部３２に送られる。また、この時の分割されたフレームのブロックサイズは移動量検出部３１へ送られる。

移動量検出部１２１は、画像蓄積部１１１に蓄積されたフレームの内Ｍ番目とＭ＋Ｌ番目のフレームを取得し、ブロック分割部１１２からのフレームが分割されたブロックのサイズに合せたブロック単位で、既存の手法、例えばブロックマッチング手法等を用いてフレームの各々のブロックに関する動きベクトルを検出する。なお、本実施例では、Ｍ＝２、Ｌ＝１とした処理例として説明する。すなわちＮ＝４フレームを１つの処理単位として、４フレーム中のＭ＝２番目のフレームと、Ｍ＋Ｌ＝２＋１＝３番目のフレームの各々のピクセル位置の対応するブロックとのブロックマッチングを実行して動きベクトルを検出し、この動きベクトルに基づいてブロックに含まれる被写体の移動量を算出する。

さらに、移動量検出部１２１において検出された移動量を復号に使用するため、移動量検出部１２１の検出した移動量情報は、出力２０２にて出力部１５０に出力し、後述の符号化器において符号化される動画像と共に符号化する。なお、移動量を示す値は使用した動きベクトル検出手法やエラー低減手法に応じて様々な値が適用可能である。

また、本実施例では、移動量検出部１２１は、上述したように、Ｎフレーム中の連続する２フレーム（Ｍ＝２と、Ｍ＋Ｌ＝２＋１＝３）を用いたブロックマッチングによって移動量を算出する構成としたが、移動量検出部１２１の実行する移動量検出処理は、その他のフレーム選択などその他の手法を適用した処理として実行してもよい。さらに、２フレームに基づく移動量検出構成ではなく、Ｎフレーム中の全フレームという選択も含むどのようなフレームの組み合わせに基づいて移動量を算出しても良い。

ブロック分配部１２２は、各ブロックに対して異なる圧縮処理を行うブロック処理部１３１〜１３３へブロックを振り分ける処理を実行する。ブロック分配部１２２の入力は移動量検出部１２１から出力される各々の処理単位のＮフレームに対応するブロックの移動量と、ブロック分割部１１２から出力されるブロックに分割されたＮフレーム分の画像データである。

ブロック分配部１２２は入力されたＮフレーム分のブロックを、各ブロックの移動量に従い、ブロック処理部１３１〜１３３のいずれかに出力する。さらに、ブロック分配条件を復号に使用する場合には、ブロック分配条件を、例えばブロック分配フラグとして設定し、出力２０１として出力部１５０出力し、後述の符号化器において符号化される動画像と共に符号化する。

ブロック分配部１２２は、ブロックの分配条件として移動量検出部１２１の検出した移動量情報を適用する。本実施例では、１フレーム間の水平または垂直方向移動量のうち値の大きい方が２ピクセルを超えた場合には空間方向間引き処理を実行するブロック処理部ａ１３１、１フレーム間の水平または垂直方向移動量のうち値の大きい方が２ピクセル未満、かつ１ピクセル以上の場合には時間方向および空間方向の間引き処理を実行するブロック処理部ｃ１３３へ出力し、そのほかの場合、すなわち、１フレーム間の水平または垂直方向移動量のうち値の大きい方が１ピクセル未満の場合には時間方向間引き処理を実行するブロック処理部ｂ１３２へ出力する。なお、ブロック分配部１２２における出力先決定のための上記条件はあくまでも本実施例のための一例であり、他の条件を適用してもよい。

前述したように、ブロック処理部１３０内の各々のブロック処理部１３１〜１３３は、ブロック分配部１２２から処理対象となるブロックデータと対応する移動量情報を受け取り、データ圧縮処理としての間引き処理を実行する。

ブロック処理部ａ１３１は入力されたブロックの画素数を、処理対象ブロックデータと同時に入力された対応する移動量に応じて空間間引き処理を実行する。本実施例では、水平方向の移動量が２ピクセル以上であるときにはブロック内の画素を１ｘ４ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる４つの画素の内いずれかの値にすることで画素数の間引きを実現している。また、垂直方向の移動量が２ピクセル以上であるときにはブロック内の画素を４ｘ１ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる４つの画素の内いずれかの値にする。これらの処理は、先に図３を参照して説明した処理と同様の処理である。さらに垂直・水平方向の移動量がともに２ピクセル以上であるときには、ブロック内の画素を２ｘ２ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる４つの画素の内いずれかの値にする。

本来、４画素の値を全て同一にすることは著しい画質の劣化を招くが、ブロック処理部ａ１３１は、１フレーム間の水平または垂直方向移動量のうち値の大きい方が２ピクセルを超えたブロックについてのみ、これらの空間間引きを行う構成であり、前述のブロックの法則として知られる視覚の時間的積分機能に起因して、超解像効果がもたらされ、観測者が、空間方向に離散的にサンプリングされた移動被写体を追従視する際に、表示画素数以上の解像度を知覚するという視覚的効果が発生し、観測者は、ほとんど画質の劣化を感ずることがない。すなわち、ブロックが十分な高速で移動しており、かつ動画像のフレームレートが十分大きければ、画質の劣化を人間が知覚することはできない。

ブロック処理部ｂ１３２は入力されたブロックのフレーム数の間引き処理、すなわち時間方向の間引き処理を実行する。入力されるブロックはＮフレーム画像中の同一位置ブロックＮ個である。本実施例では、あるブロックの水平方向、垂直方向の移動量がともに１ピクセル未満であった場合、入力された４個のブロックの全画素値を４個のブロックのうちいずれかのブロックの値にする。この処理は、先に図４を参照して説明した処理に相当する。

ブロック処理部ｃ１３３は入力されたブロックの画素数とフレーム数の間引きを実行する。すなわち空間間引き処理と、時間方向の間引き処理との両者を実行する。基本的な動作はブロック処理部ａ１３１の空間間引き処理と、ブロック処理部ｂ１３２の時間方向間引き処理とを組み合わせた処理を実行する。

ブロック処理部ｃ１３３は、画素数の間引き量とフレーム数の間引き量が、ブロック処理部ａ１３１の空間間引き処理と、ブロック処理部ｂ１３２の時間方向間引き処理とは異なる。まず空間間引きとしての画素数の間引き量に関しては、ブロック処理部ａ１３１のように４ピクセル単位で行うのではなく２ピクセル単位で行われる。つまりブロック処理部ａ１３１においては１ｘ４、４ｘ１、２ｘ２の３通りの間引き方法が存在したが、ブロック処理部ｃ１３３の実行する空間間引き処理は、１ｘ２および２ｘ１の２通りのみが存在する。すなわち、水平方向の移動量が１〜２ピクセルである場合、ブロック内の画素を１ｘ２ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる２つの画素の内いずれかの値にすることで画素数の間引きを実現している。また、垂直方向の移動量が１〜２ピクセルであるときにはブロック内の画素を２ｘ１ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる２つの画素の内いずれかの値にする。この処理は、先に、図５を参照して説明した処理に相当する。

また、ブロック処理部ｃ１３３は、時間方向の間引き処理、すなわち、フレーム数の間引きも実行するが、ブロック処理部ｂ１３２のように４フレーム単位で行うのではなく２フレーム単位で行うということに違いがある。この処理は、先に図６を参照して説明した処理に相当する。

ブロック処理部１３１〜１３３において間引き処理が施されデータ量が削減されたブロックは、パック処理部１４１〜１４３に送られる。パック処理部では各間引き処理に合せて、ブロックをＭフレームごとにまとめ、フレームレートをＲ／Ｍに変換し出力部１５０へブロックを出力する。なお、入力した動画像のオリジナルフレームレートをＲ、パック処理部においてまとめるフレーム数をＭとする。

続いて、パック処理部１４０の実行する処理について説明する。なお、本実施例では、パック処理部においてまとめるフレーム数：Ｍを、Ｍ＝４とし、フレームレートを１／４にする場合について説明する。

パック処理部ａ１４１、パック処理部ｂ１４２、パック処理部ｃ１４３はそれぞれ異なる動作をおこなう。まず第１のパック処理部ａ１４１の処理について図９を用いて説明する。

パック処理部ａ１４１の入力はブロック処理部ａ１３１の出力である。ブロック処理部ａ１３１の出力は画素の空間間引き処理を施された連続する４フレームそれぞれから得られた４つのブロックである。すなわち、図３を参照して説明した態様での空間間引きが実行された４つのブロックである。

これらのブロックは図９においてブロック２２１〜２２４として表記している。これらブロック内部の１ｘ４画素、例えば図９における画素２３１〜２３４では、ブロック処理部ａ１３１による空間間引きがなされ、全て同じ値に変換されている。具体的には、ブロック２４１の１ｘ４画素の画素値は全てｐ１であり、他のブロック２４２〜２４４に関しても同様である。第１のパック処理部ａ１４１は、これら４つの画素値ｐ１〜ｐ４によって一つの１ｘ４画素の領域を構成することでフレーム数を１／４にする処理を行う。

すなわち、図９におけるブロック２２５はパック処理部ａ１４１の出力であり、ある１ｘ４画素からなる画素領域２３５の画素値はｐ１からｐ４によって構成される。以上はブロック処理装置が水平方向の間引き処理、つまり、１ｘ４画素に対する間引き処理を行った場合であり、４ｘ１画素、２ｘ２画素の場合においても同様のパック処理がパック処理部ａ１４１によって行われる。

次に、第２のパック処理部ｂ１４２の処理について説明する。パック処理部ｂ１４２への入力はパック処理部ａ１４１と同様に連続する４フレームから得られる４つのブロックであるが、パック処理部ａ１４１と異なり、これらのブロックは、時間方向の間引きがなされたフレーム対応のブロック（図４参照）であり、選択された代表画素値は、フレーム共通であり、完全に同一な画素値を持つブロックとなる。従って、４つのブロックのうち適当な１つのブロックをパック処理部ｂ１４２の出力とするパック処理を実行する。

続いて、第３のパック処理部ｃ１４３の処理について、図１０を参照して説明する。パック処理部ｃ１４３への入力は他のパック処理装置と同様に連続する４フレームから得られる４つのブロックである。これらは、空間間引きと時間間引きの施されたブロックである。図１０に示すように、これらのブロックのうち１番目と２番目のフレームから得られるブロック、すなわち、ブロック２４１とブロック２４２は同一の画素値（Ｐ１）２５１、２５２をもつ。また３番目と４番目のフレームから得られるブロック、すなわち、ブロック２４３とブロック２４４も同一の画素値（Ｐ３）２５３、２５４をもつ。

パック処理部ｃ１４３は、２番目のフレーム対応のブロック２４２と、３番目のフレームから得られるブロック２４３の２つのブロックを用いて、パック処理を実行する。図９を参照して説明したパック処理部ａ１４１は、４画素単位での処理を実行したが、パック処理部ｃ１４３は、２画素単位の処理となる。すなわち、図１０の画素２５１〜２５４に示すように、隣接する２画素が同じ値となっており、これらの画素を画素２５５のように並べて出力ブロック２４５を構成することでフレームレートを１／４にすることができる。なお、図１０では１ｘ２画素単位での間引き処理について示したが、２ｘ１画素単位で処理を行う場合も同様である。

なお、図９に示す例においては画素値ｐ１〜ｐ４を左から順に並べることで画素領域２３５を構成し、図１０に示す例においては、図１０の出力ブロック２４５の画素２５５ではｐ２を左にｐ３を右に配置する設定としたが、画素値を並べる順序については、様々な手法が適用でき、上記パックアルゴリズムと、復号側において実行するアンパック処理のアルゴリズムが整合していればよい。また、本実施例で採用したパックアルゴリズムについては詳細を後述する。

次に、本実施形態における出力部１５０の構成について図１１を参照して説明する。図１１は本実施形態における出力部１５０の構成および、出力部１５０に対する入力、出力部１５０からの出力構成を示すブロック図である。

動画像データは、ブロック処理部１３０で、処理対象ブロックに基づいて検出された各移動量に応じて、空間方向間引き、時間方向間引き、空間および時間方向間引きのいずれかの異なる態様で間引き処理がなされた後、パック処理部１４１〜１４３においてパック処理がなされ、出力部１５０内のブロック合成部１５１に入力され、フレームレートがＲ／Ｍであるフレーム画像へ合成される。なお、入力した動画像のオリジナルフレームレートがＲ、パック処理部においてまとめるフレーム数がＭである。

ブロック合成部１５１において、合成された画像はブロック毎に異なる圧縮処理としての間引き処理が行われ、かつ、フレームレートがＲ／Ｍになった画像フレームデータであり、その合成画像は画像符号化部１７０に送られ符号化される。動画像符号化部１７０の実行する符号化処理は、ＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等の一般的な符号化手法による符号化である。

ブロック合成部１５１の役割は、パック処理部１４１〜１４３によって処理されたブロックデータを、画像符号化部１７０による符号化処理を実行可能な動画像として合成することにある。本実施例では、ブロック処理部１３１〜１３３においてデータを１／４に削減しているので、処理されたブロックを元のフレームレートの１／４にフレームレートのフレームに再構成し６０ｆｐｓの動画像として符号化を行う。ただし、これらのフレームレート値とデータの削減割合は、本実施例のための一例に過ぎず、実際はどのようなフレームレートであっても良い。

移動量検出部１２０のブロック分配部１２２から出力されたブロック分配条件、例えばブロック分配フラグである出力２０１と、移動量検出部１２１の検出した移動量情報である出力２０２は、出力部１５０のサイド情報合成部１５２に入力される。サイド情報合成部１５２は、これらのブロック分配フラグ、移動量情報を含むデータを、サイド情報符号化部１８０において符号化可能なデータ構成に合成する処理を実行する。

本実施例では、各ブロックがブロック処理部１３１〜１３３のどの間引き処理が実行されたかを示すブロック分配フラグと、そのブロックの動きベクトルの方向と、動きベクトルの速度を複数の範囲に分割してどの範囲の速度であるかを示す動きベクトル速度フラグを、サイド情報として符号化する。この時の本実施例における動きベクトル速度フラグの範囲は後述する。なお、符号化されるサイド情報は本実施例のための一例に過ぎず、復号側で復号時に必要な情報が含まれていればどのような情報を符号化してもよい。

画像符号化部１７０では、入力されたフレームを一般的な符号化手法、例えばＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等により画像を符号化し復号側へ伝送する。サイド情報符号化部１８０では、入力されたフレームを一般的な符号化手法、例えば、ＬＺＨ、Ｚｉｐ等により符号化し復号側へ伝送する。ただし、サイド情報に関しては、Ｌｏｓｓｙな符号化を行ってもかまわないが、Ｌｏｓｓ Ｌｅｓｓ符号化を行うことが望ましい。なお、符号化されるサイド情報は、符号化された画像情報に埋め込んでもよいし、画像情報とは別に復号側へ伝送してもよい。

［パック処理の詳細］
続いて、本実施例における動画像変換装置におけるパック処理部１４０の詳細について説明する。なお、本実施例では、パック処理部においてまとめるフレーム数Ｍを、Ｍ＝４とし、フレームレートを１／４にする処理例について説明する。

前述の通り、パック処理部１４０はブロック処理部１３０において間引かれたブロックを入力し、ブロックをＭフレームごとにまとめ、フレームレートをＲ／Ｍに変換する。ここで、図１２に示す画像を処理対象とする入力画像として、間引き処理およびパック処理を実行した場合について説明する。図１２に示す入力画像はある１つのフレームの４ブロックの画像を示している。１つのブロックは４×４ピクセルである。

この画像に表示される被写体が左方向へ２ピクセル／フレームの速度で移動している場合、横方向の２ブロック（４×８ピクセル分）について、前述のパック処理に基づいて処理を行った場合について考察する。

空間間引き処理対象の２ブロックを図１３に示す。ここで、フレーム１〜４のブロックの画像データは、各フレーム間で、２ピクセルずつ左に移動する移動被写体をデータとして持つ動画像データである。すなわち、画像が２ピクセル／フレームで左に動く画像データである。これらのブロックはブロック処理部１３１において空間方向間引き処理が実行される。

ブロック処理部１３１において空間方向間引き処理が実行された結果が、図１４に示すデータであり、各ブロックの画素データは、代表画素（標本点）によって、横方向のデータ量が１／４に削減される。間引かれた画素は前述のパック処理によってフレームレートがＲ／Ｍに変換される。

パック処理部によるパック処理結果のデータを図１５に示す。図１５は、Ｍ＝４としフレームレートを１／４にする場合の例であるため、４フレーム分の２ブロック（４×８ピクセル分）が図１５に示す１フレーム分の２ブロック（４×８ピクセル分）になっている。
ここで、図１２の元画像と図１５のパック処理結果を比べてみる。すると、図１５のパック処理結果としてのブロックＡとブロックＢの境界のピクセル、すなわち、ブロックＡ側の画素Ｐ７０〜Ｐ７３からなる画素データ列３０２と、ブロックＢ側のＰ５０〜Ｐ５３からなる画素データ列３０１が、図１２に示す元画像の横方向の順序と入れ替わってしまっていることがわかる。

図１２に示す元画像では、画素データ列３０１は、画素データ列３０２の左側に位置するが、間引き処理とパック処理を行なった結果データである図１５に示すデータでは、画素データ列３０１は、画素データ列３０２の右側に位置する構成となっており、これらの画素データ列の位置が入れ替わってしまっている。

先に、図１１を参照して説明した本実施例の動画像変換装置の構成では、パック処理部１４０においてパックされた画像は一般的な符号化手法（ＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等）により符号化処理が実行される。このような一般的な符号化処理では、近接する画素の画素値の変化が少ない滑らかな画像データほど圧縮率が高まり、近接する画素の画素値の変化が大きい画像データでは、圧縮率が低下するという一般的な性質を持つ。従って、この図１５に示すパック処理結果画像のように、元画像の画素順を変化させてしまった画像では、画素値の不自然な変化が発生することになり、一般的な符号化手法（ＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等）を適用した場合に、圧縮率を低下させる原因となる。

本発明の動画像変換装置では、このように圧縮率に悪影響を及ぼすことのない処理を実現する。

まず、間引き処理とパック処理によって生成されたパック後のパックブロックにおける画素列の入れ替えの発生状況について解析する。図１５に示すパック後のパックブロック中の各画素列が図１２に示す元画像のどの画素列にあたるのかを算出する。元画像の移動速度をｖピクセル／フレームとした時、間引き処理とパック処理によって生成されたパック後のパックブロックに設定される各画素列の元画像における相対画素位置ｘを算出する。

ｖ：処理対象画像の移動速度，ｖ＝ピクセル／フレーム
ｍ：処理対象となった元画像のフレーム番号，ｍ＝０，１，２，・・
ｎ：パックブロックのブロック番号（０，１，２・・）
ｍは、時間的に先行するものから０，１，２・・のフレーム番号を設定し、ｎは、移動方向に沿って、０，１，２，のブロック番号を付与する。なお、１つのパックブロックは、１つの間引き処理およびパック処理単位の画素データによって構成されるブロックである。
このようなパラメータを設定したとき、間引き処理とパック処理によって生成されたパック後のパックブロックに設定される各画素列の元画像における相対画素位置ｘは、次式（数式１）によって算出される値となる。
ｘ＝ｍ×ｖ＋４×ｎ・・・（数式１）

図１６を参照して、上記数式１を用いた相対画素位置ｘの具体的な算出処理例について説明する。図１６（ａ）は、図１２に示すと同様の間引き、パック処理前の１つのフレームにおける元画像データである。この画像データは、図１２〜図１５を参照して説明した処理によって生成したパックブロックが図１６（ｂ）に示すブロックであり、図１６（ｂ）は図１５に示すと同様のパックブロックである。

図１６（ａ）に示す元画像データは、図１３を参照して説明したように、２ピクセル／フレームの移動速度で水平方向に移動している。すなわち、
ｖ＝２
である。

パックブロックは２つのブロックからなる。すなわち、
パックブロック番号ｎ＝０、
パックブロック番号ｎ＝１
である。

また、パックブロックに格納される処理フレームは、図１３、図１４を参照して説明したようにフレーム１〜４の各フレームの代表画素（標本点）である。ここで、
フレーム１：フレーム番号ｍ＝０
フレーム２：フレーム番号ｍ＝１
フレーム３：フレーム番号ｍ＝２
フレーム４：フレーム番号ｍ＝３
とする。

図１６（ｂ）に示すパックブロックｎ＝０と、パックブロックｎ＝１には、それぞれフレーム番号ｍ＝０〜４の画素データが格納されている。すなわち、パックブロックの左から、各画素列に対応するパックブロックｎと、フレーム番号ｍの値は、
（１）パックブロックｎ＝０、フレームｍ＝０
（２）パックブロックｎ＝０、フレームｍ＝１
（３）パックブロックｎ＝０、フレームｍ＝２
（４）パックブロックｎ＝０、フレームｍ＝３
（５）パックブロックｎ＝１、フレームｍ＝０
（６）パックブロックｎ＝１、フレームｍ＝１
（７）パックブロックｎ＝１、フレームｍ＝２
（８）パックブロックｎ＝１、フレームｍ＝３
となる。

これらの８つの画素列の各々について、図１６（ａ）に示す元画像データのどの位置にあったかを示す相対画素位置ｘを上記式（数式１）を用いて算出した結果を図１７に示す。なお、移動速度ｖ＝２ピクセル／フレームとした。
（１）ｎ＝０，ｍ＝０：ｘ＝０×２＋４×０＝０
（２）ｎ＝０，ｍ＝１：ｘ＝１×２＋４×０＝２
（３）ｎ＝０，ｍ＝２：ｘ＝２×２＋４×０＝４
（４）ｎ＝０，ｍ＝３：ｘ＝３×２＋４×０＝６
（５）ｎ＝１，ｍ＝０：ｘ＝０×２＋４×１＝４
（６）ｎ＝１，ｍ＝１：ｘ＝１×２＋４×１＝６
（７）ｎ＝１，ｍ＝２：ｘ＝２×２＋４×１＝８
（８）ｎ＝１，ｍ＝３：ｘ＝３×２＋４×１＝１０
となる。これらの対応を示すと、図１６の点線矢印で示す対応となる。

パックフレーム数４として、パックブロックを２とした場合の、移動速度ｖと相対画素位置ｘとの対応関係を示すグラフを図１８に示す。図１８において、実線が第１フレーム（ｍ＝０）の各パックブロック（ｎ＝０，１）における代表画素（標本点）、点線が第２フレーム（ｍ＝１）の各パックブロック（ｎ＝０，１）における代表画素（標本点）、破線が第３フレーム（ｍ＝２）の各パックブロック（ｎ＝０，１）における代表画素（標本点）、一点鎖線が第４フレーム（ｍ＝３）の各パックブロック（ｎ＝０，１）における代表画素（標本点）についての移動速度ｖと相対画素位置ｘとの対応関係を示している。

パックされた１つのブロックには４フレーム（ｍ＝０〜３）の代表画素が含まれているため、元画像の移動速度が上がるにつれて１つのブロック内のパックされた画素間の元画像上での距離が離れていくことがグラフから読み取れる。

また、パックされた１つのブロックにはかならず第一フレームの画素が含まれており、ゆえに、元画像の移動速度に依存せずに、その画素は隣のパックされた１つのブロックの第一フレーム画素とＭ＝４の場合４ピクセル離れていることがグラフから読み取れる。

図１８のグラフ上に示すＡ〜Ｅは、各ラインが交差するポイントを示している。この交差ポイントより上において、元画像の画素列と、パックブロックの画素列が入れ替わる。例えばポイントＡは、移動速度ｖ＝２において示されるポイントであるが、
移動速度ｖ＜２では、
ｎ＝１，ｍ＝０の画素列は、ｎ＝０，ｍ＝２の画素列より右側に位置しているが、
移動速度ｖ≧２では、
ｎ＝１，ｍ＝０の画素列は、ｎ＝０，ｍ＝２の画素列より左側に位置することになる。
すなわち、この移動速度ｖ＝２以上で、画素列の入れ替わりが発生してしまうことになる。
他のポイントＢ〜Ｅも同様の現象が発生するポイントを示している。

グラフからも読み取れるように、間引き処理およびパック処理を実行する元画像の移動速度が上がるにつれて、パックブロック内の画素列と、元画像の画素列位置の入れ替わりがより多く発生することが読み取れる。

そこで、本発明に従った動画像変換装置では、例えば図１０を参照して説明したようなパック処理によって生成したパックブロックについて、パックブロックの構成画素の画素位置を検証する。すなわち、パックブロック構成画素の画素位置と元画像の画素位置との入れ替わりの発生の有無を検証し、入れ替わっている画素が存在する場合には、パックブロックの画素位置を元画像の画素位置に対応するように変更する補正処理（ソート処理）を実行する構成とした。この補正処理後のパックブロックをＭＰＥＧ等の符号化手段に出力して符号化する構成とすることで、圧縮効率の高い圧縮データの生成が可能となる。すなわち、パックブロックの画素位置変化を補正し、パック処理後の画素順を元画像に近づけたパック処理を行う構成とした。

本実施形態における動画像変換装置のパック処理部１４０、すなわちソート処理を実行するパック処理部の詳細構成について、以下、説明する。なお、パックブロックにおける画素位置が元画像の画素位置と入れ替わる場合は、間引き処理として空間方向間引き処理を実行している場合のみである。すなわち時間方向間引き処理を実行してパック処理を行なう場合は、間引き処理単位とする複数フレームから１つのフレームのみの構成画素を適用してパックブロックを生成するので画素データの入れ替われは発生しない。

すなわち、図８に示す空間方向間引き処理を実行するブロック処理部ａ１３１の間引き処理データについてのパック処理を実行するパック処理部ａ１４１と、空間方向および時間方向間引き処理を実行するブロック処理部１３３の間引き処理データについてのパック処理を実行するパック処理部ｃ１４３において、パックブロックにおける画素位置が元画像の画素位置と入れ替わる可能性があり、これらの２つのパック処理部において、必要に応じてパックブロックのソート処理を行なう。以下、パック処理部ａ１４１とパック処理部ｃ１４３の構成及び処理について、順次、説明する。

［画素ソーティングを適用したパック処理］
まず、空間方向間引き処理を実行するブロック処理部ａ１３１の間引き処理データについてのパック処理を実行するパック処理部ａ１４１の構成及び処理について、図１９を参照して説明する。

図１９は、空間方向間引き処理を実行するブロック処理部ａ１３１の間引き処理データについてのパック処理を実行するパック処理部ａ１４１の構成の詳細を示すブロック図である。

パック処理部ａ１４１のブロック分配部３５１には、ブロック処理部ａ１３１の間引き処理データ、すなわち、空間方向間引き処理を実行されたブロックデータが入力され、さらに、図８に示す移動量検出部１２１の検出情報としてのブロック対応の移動量を示す動きベクトル情報が入力される。

ブロック分配部３５１に入力された空間方向間引き後のブロックは動きベクトルと共に、ブロック分配部３５１内の図示されないブロック・動きベクトル保存部に蓄えられる。ブロック分配部３５１はブロック・動きベクトル保存部に蓄えられたブロックのうち、左右方向に動いているブロックは水平方向１／４間引き連続ブロック抽出部３５２へ、上下方向に動いているブロックは垂直方向１／４間引き連続ブロック抽出部３５３へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルも、各ブロックに対応する属性情報としてペアで出力される。

水平方向１／４間引き連続ブロック抽出部３５２は、水平方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素ソーティングパック処理部３５４へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルも、各ブロックに対応する属性情報としてペアで出力される。ブロック内画素ソーティングパック処理部３５４においては、画素列のソート処理が実行される。なお、ここで処理対象となるブロックは、間引き処理のなされたブロックの組であり、この例の場合は、ブロック分配部３５１において水平方向の移動量を持つブロックを対象として空間方向間引きのなされたブロックが水平方向に２つ以上連続しているもののみが対象となる。

本実施例では、画像が２ピクセル／フレーム以上で移動しているブロックが、ブロック処理部１３１において空間方向間引き処理の対象として選択されるブロックである。このような空間間引き処理対象ブロックであり、かつ移動方向が水平方向である連続ブロックが、ブロック内画素ソーティングパック処理部３５４において処理されるブロックとなる。例えば、図２０に示すように、間引き処理単位が４フレーム単位である場合、フレーム１〜３において、ブロックｋが２ピクセル／フレーム以上の水平方向の移動量を持つブロックとして、ブロック分配部３５１において空間間引き処理が実行され、ブロックｋに水平方向に隣接するブロックｋ＋１も２ピクセル／フレーム以上の水平方向の移動量を持つブロックとして、ブロック分配部３５１において空間間引き処理が実行された場合、これらのブロックｋ，ｋ＋１についての間引き処理結果が、ブロック内画素ソーティングパック処理部３５４へ入力される。これは、先に図１４を参照して説明した各フレーム毎の間引き処理のなされた結果が、ブロック内画素ソーティングパック処理部３５４へ入力されることに相当する。

また、垂直方向１／４間引き連続ブロック抽出部３５３は、垂直方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素ソーティングパック処理部３５５へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルも、各ブロックに対応する属性情報としてペアで出力される。ブロック内画素ソーティングパック処理部３５５においては、画素列のソート処理が実行される。なお、ここで処理対象となるブロックは、間引き処理のなされたブロックの組であり、この例の場合は、ブロック分配部３５１において垂直方向の移動量を持つブロックを対象として空間方向間引きのなされたブロックが垂直方向に２つ以上連続しているもののみが対象となる。

本実施例では、画像が２ピクセル／フレーム以上で移動しているブロックが、ブロック処理部１３１において空間方向間引き処理の対象として選択されるブロックである。このような空間間引き処理対象ブロックであり、かつ移動方向が垂直方向である連続ブロックが、ブロック内画素ソーティングパック処理部３５５において処理されるブロックとなる。例えば、図２１に示すように、間引き処理単位が４フレーム単位である場合、フレーム１〜３において、ブロックｋが２ピクセル／フレーム以上で垂直方向に移動量を持つブロックとして、ブロック分配部３５１において空間間引き処理が実行され、ブロックｋに垂直方向に隣接するブロックｒも２ピクセル／フレーム以上で垂直方向に移動しているブロックとして、ブロック分配部３５１において空間間引き処理が実行された場合、これらのブロックｋ，ｒについての間引き処理結果が、ブロック内画素ソーティングパック処理部３５５へ入力される。

図２０や、図２１に示す連続ブロック以外のブロックについては、ソート処理対象ブロックとせず、パック処理部３５６に入力され、ソート処理を伴わないパック処理が実行されることになる。パック処理部３５６は入力されたブロックを、先に、図９を参照して説明したように、間引き結果画素データとしての代表画素を集積するパック処理を実行してパックブロックを生成し、出力部１５０のブロック合成部１５１へ出力する。

水平方向の連続ブロックについてのソートおよびパック処理を実行するブロック内画素ソーティングパック処理部３５４は入力されたブロックから生成されるパックブロックに含まれる画素位置変化を補正するソート処理を含むパック処理を実行してパックブロックの生成処理を行い、ブロック合成部１５１へ出力する。ブロック内画素ソーティングパック処理部３５４の構成および処理について図２２に示す。

図２２に示すブロック内画素ソーティングパック処理部３５４は、入力された、連続している間引かれたブロックをブロック保存部３６１に一旦保存する。ブロック内画素相対位置算出処理部３６２は、ペアで入力されたブロックの動きベクトルを適用して、前述の数式１、すなわち、
ｖ：処理対象画像の移動速度，ｖ＝ピクセル／フレーム
ｍ：処理対象となった元画像のフレーム番号，ｍ＝０，１，２，・・
ｎ：パックブロックのブロック番号（０，１，２・・）
としたとき、パックブロックに設定される各画素列の元画像における相対画素位置ｘを、
ｘ＝ｍ×ｖ＋４×ｎ
として求める数式１に基づいて、先頭のパックされたブロックからの元画像上での相対画素位置ｘを算出し、算出した値、相対画素位置ｘを、ブロック内画素相対位置保存部３６４に一旦保存する。

前述の図１４で示した間引きブロックを処理対象としたときの、パックブロックに含められる各フレームの代表画素の相対画素位置ｘの値の算出例について、図２３に示す。間引き処理およびパック処理単位の連続フレーム１〜４の、水平方向に連続している間引かれたブロックに対して、ブロック内画素相対位置算出処理部３６２は前述の数式１（ｘ＝ｍ×ｖ＋４×ｎ）を用いて、各フレームの代表画素列についての相対画素位置ｘを計算する。

例えば、フレーム１についての各代表画素列の相対画素位置ｘの値は、
（１ａ）ｎ＝０，ｍ＝０：ｘ＝０×２＋４×０＝０
（１ｂ）ｎ＝１，ｍ＝０：ｘ＝０×２＋４×１＝４
となり、
また、フレーム２についての各代表画素列の相対画素位置ｘの値は、
（２ａ）ｎ＝０，ｍ＝１：ｘ＝１×２＋４×０＝２
（２ｂ）ｎ＝１，ｍ＝１：ｘ＝１×２＋４×１＝６
また、フレーム３についての各代表画素列の相対画素位置ｘの値は、
（３ａ）ｎ＝０，ｍ＝２：ｘ＝２×２＋４×０＝４
（３ｂ）ｎ＝１，ｍ＝２：ｘ＝２×２＋４×１＝８
また、フレーム４についての各代表画素列の相対画素位置ｘの値は、
（４ａ）ｎ＝０，ｍ＝３：ｘ＝３×２＋４×０＝６
（４ｂ）ｎ＝１，ｍ＝３：ｘ＝３×２＋４×１＝１０
となる。
なお、これらの相対画素位置ｘについて、元画像との対応は、先に説明した図１６の点線矢印で示す対応となる。

ブロック保存部３６１に保存された連続している間引かれたブロックは、まず、パック処理部３６３において、通常のパック処理、すなわち、先に図９を参照して説明したパック処理が行われる。図２３に示す隣接する２ブロックについての間引き処理結果に対してパック処理を実行して生成した初期的なパックブロックの例を図２４（Ａ）に示す。

図２４（Ａ）に示す例では、初期パックブロックに、ブロック内画素相対位置算出処理部３６２が算出した各フレームの代表画素列についての相対画素位置ｘ情報を対応付けて示している。初期パックブロックは、フレーム順に画素位置を並べたパックブロックである。なお、図２４（Ａ）に示す初期パックブロックは、先に図１６（ｂ）を参照して説明したと同様の画素配列であり、元画像（図１６（ａ）参照）と比較した場合、画素位置の入れ替えが発生している。

パック処理部３６３におけるパック処理によって生成されるパックブロックは、図２４（Ａ）に示す初期パックブロックであり、この初期パックブロックはソーティング部３６５に入力される。ソーティング部３６５は、この初期パックブロックを入力するとともに、プロック内画素相対位置保存部３６４から、相対位置情報ｘを入力する。ソーティング部３６５は、相対画素位置ｘに基づいて、初期パックブロックの各画素列のソーティングを行う。すなわち図２４（Ａ）に示す初期パックブロックの各画素列に対応する相対画素位置ｘを左から昇順に並べるソート処理を実行する。

このソート処理の結果、図２４（Ｂ）に示すパックブロックが生成される。このように、ソーティング部３６５は、入力された初期パックブロックの画素列に対応する相対位置情報ｘをキーとして画素列ソーティングを行う。この結果、例えば図２４に示すパックブロックの例では、４列目と５列目の画素列が入れ替わり、画素位置変化の補正が行われた図２４（Ｂ）に示すパックブロックが生成される。

なお、図２４に示す処理例は、元画像が左に動いている場合の処理例であるが、相対画素位置ｘをキーとして昇順または降順にソーティングを行うことにより、元画像の動き方向は、左右いずれの方向に動いている場合でも同様の処理によって対応できる。また、垂直方向に動いているブロックを処理対象とするブロック内画素ソーティングパック処理部３５５においては、上述の左右方向を上下方向に、画素行のソーティングを垂直方向の相対位置ｙをキーとして適用したソート処理を実行することにより、同様のソート処理によって、元画像に対応した相対位置を持つパックブロックを生成することができる。

続いて、空間方向間引きと時間方向間引きが行われたブロックのパック処理について説明する。所定の移動量、本実施例では、水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ１ピクセル以上の場合に、ブロック処理部１３３（図８参照）において、空間方向間引きと時間方向間引きが行われる。この処理は、先に図５、図６を参照して説明した処理である。

このような、空間方向間引きと時間方向間引きが行われたブロックは、図８に示すパック処理部ｃ１４３において、ソート処理を伴うパック処理が実行される。パック処理部ｃ１４３の構成、処理について、図２５を参照して説明する。

図２５は、空間および時間方向間引き処理を実行するブロック処理部ｃ１３３の間引き処理データについてのパック処理を実行するパック処理部ｃ１４３の構成の詳細を示すブロック図である。

パック処理部ｃ１４３のブロック分配部３７１には、ブロック処理部ｃ１３３の間引き処理データ、すなわち、空間および時間方向間引き処理を実行されたブロックデータが入力され、さらに、図８に示す移動量検出部１２１の検出情報としてのブロック対応の移動量を示す動きベクトル情報が入力される。

ブロック分配部３７１に入力された空間方向間引き後のブロックは動きベクトルと共に、ブロック分配部３７１内の図示されないブロック・動きベクトル保存部に蓄えられる。ブロック分配部３７１はブロック・動きベクトル保存部に蓄えられたブロックのうち、左右方向に動いているブロックは水平方向１／２間引き連続ブロック抽出部３７２へ、上下方向に動いているブロックは垂直方向１／２間引き連続ブロック抽出部３７３へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルも、各ブロックに対応する属性情報としてペアで出力される。

水平方向１／２間引き連続ブロック抽出部３７２は、水平方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素ソーティングパック処理部３７４へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルも、各ブロックに対応する属性情報としてペアで出力される。ブロック内画素ソーティングパック処理部３７４においては、画素列のソート処理が実行される。なお、ここで処理対象となるブロックは、間引き処理のなされたブロックの組であり、この例の場合は、ブロック分配部３７１において水平方向の移動量を持つブロックを対象として空間方向間引きのなされたブロックが水平方向に２つ以上連続しているもののみが対象となる。

本実施例では、画像が１〜２ピクセル／フレームで移動しているブロックが、ブロック処理部１３３において間引き処理の対象として選択されるブロックである。このような間引き処理対象ブロックであり、かつ移動方向が水平方向である連続ブロックが、ブロック内画素ソーティングパック処理部３７４において処理されるブロックとなる。これは、先に図２０を参照して説明したブロックと同様である。ただし移動量が異なるものとなる。

また、垂直方向１／２間引き連続ブロック抽出部３７３は、垂直方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素ソーティングパック処理部３７５へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルも、各ブロックに対応する属性情報としてペアで出力される。ブロック内画素ソーティングパック処理部３７５においては、画素列のソート処理が実行される。なお、ここで処理対象となるブロックは、間引き処理のなされたブロックの組であり、この例の場合は、ブロック分配部３７１において垂直方向の移動量を持つブロックを対象として空間方向間引きのなされたブロックが垂直方向に２つ以上連続しているもののみが対象となる。これは、先に図２１を参照して説明したブロックと同様である。ただし移動量が異なるものとなる。

図２０や、図２１に示す連続ブロック以外のブロックについては、ソート処理対象ブロックとせず、パック処理部３７６に入力され、ソート処理を伴わないパック処理が実行されることになる。パック処理部３７６は入力されたブロックを、先に、図１０を参照して説明したように、間引き結果画素データとしての代表画素を集積するパック処理を実行してパックブロックを生成し、出力部１５０のブロック合成部１５１へ出力する。

水平方向の連続ブロックについてのソートおよびパック処理を実行するブロック内画素ソーティングパック処理部３７４は入力されたブロックから生成されるパックブロックに含まれる画素位置変化を補正するソート処理を含むパック処理を実行してパックブロックの生成処理を行い、ブロック合成部１５１へ出力する。ブロック内画素ソーティングパック処理部３７４の構成および処理について、先に、ブロック内画素ソーティングパック処理部３５４の構成として説明した図２２を参照して説明する。

図２２は前述の空間方向間引きのみが行われたブロックのためのソーティングパック処理部３５４の構成を説明するために用いた図であるが、処理の構成は空間方向間引きと時間方向間引きが行われたブロックが行われたブロックのためのソーティングパック処理部３７４と同様であるため、同じ図を用いて説明を行う。

図２２に示すブロック内画素ソーティングパック処理部３７４は、入力された、連続している空間間引きが行われたブロックをブロック保存部３６１に一旦保存する。この時、ペアで入力されたブロックの動きベクトルは、相対画素位置ｘを算出する数式に基づいて、先頭のパックされたブロックからの元画像上での相対画素位置ｘをブロック内画素相対位置算出処理部３６２において求め、ブロック内画素相対位置保存部３６４に一旦保存する。

ここで、空間方向間引きと時間方向間引きが行われたブロックの場合、元画像上での相対画素位置ｘを求める式が空間方向間引きのみの場合の数式１（ｘ＝ｍ×ｖ＋４×ｎ）と異なり、
ｖ：処理対象画像の移動速度，ｖ＝ピクセル／フレーム
ｍ：処理対象となった元画像のフレーム番号，ｍ＝０，１，２，・・
ｎ：パックブロックのブロック番号（０，１，２・・）
ｐ：パックブロックにおけるブロック内相対位置
としたとき、パックブロックに設定される各画素列の元画像における相対画素位置ｘは、
ｘ＝ｍ×ｖ＋４×ｎ＋ｐ・・・（数式２）
として示される。

この相対画素位置ｘの算出具体例を、前述の図１２で示した、左方向へ２ピクセル／フレームの速度で移動している場合の横方向の２ブロック（４×８ピクセル分）について、空間方向間引きと時間方向間引きが行われた場合の間引きブロックを図２６に示し、図２６に基づいて説明する。

図２６には、フレーム１〜４の隣接２ブロックを示し、空間方向間引きと時間方向間引きが行われた結果データを示している。時間方向間引き処理によって、フレーム２、フレーム４は間引かれ、さらに、フレーム１、フレーム３において、空間方向間引きとして、水平方向１／２間引きを行なった結果を示している。

間引き処理およびパック処理単位の連続フレーム１〜４中、パックブロックに残る画素列を持つフレーム１とフレーム３の各画素列について、ブロック内画素相対位置算出処理部３６２は前述の数式２（ｘ＝ｍ×ｖ＋４×ｎ＋ｐ）を用いて、各フレームの代表画素列についての相対画素位置ｘを計算する。なお、計算例はｖ＝２とする。

例えば、フレーム１についての各代表画素列の相対画素位置ｘの値は、
（１ａ）ｎ＝０，ｍ＝０，ｐ＝０：ｘ＝０×２＋４×０＋０＝０
（１ｂ）ｎ＝０，ｍ＝０，ｐ＝２：ｘ＝０×２＋４×０＋２＝２
（１ｃ）ｎ＝１，ｍ＝０，ｐ＝０：ｘ＝０×２＋４×１＋０＝４
（１ｄ）ｎ＝１，ｍ＝０，ｐ＝２：ｘ＝０×２＋４×１＋２＝６
となり、
また、フレーム３についての各代表画素列の相対画素位置ｘの値は、
（３ａ）ｎ＝０，ｍ＝２，ｐ＝０：ｘ＝２×２＋４×０＋０＝４
（３ｂ）ｎ＝０，ｍ＝２，ｐ＝２：ｘ＝２×２＋４×０＋２＝６
（３ｃ）ｎ＝１，ｍ＝２，ｐ＝０：ｘ＝２×２＋４×１＋０＝８
（３ｄ）ｎ＝１，ｍ＝２，ｐ＝２：ｘ＝２×２＋４×１＋２＝１０
となる。

ブロック保存部３６１に保存された連続している間引かれたブロックは、パック処理部３６３において、通常のパック処理、すなわち、前述の、図１０を参照して説明したパック処理が行なわれる。図２６に示す隣接する２ブロックについての間引き処理結果に対してパック処理を実行して生成した初期的なパックブロックの例を図２７（Ａ）に示す。

図２７（Ａ）に示す例では、初期パックブロックに、ブロック内画素相対位置算出処理部３６２が算出した各フレームの代表画素列についての相対画素位置ｘ情報を対応付けて示している。図２７（Ａ）に示す初期パックブロックは、画素位置の入れ替えが発生している。

パック処理部３６３におけるパック処理によって生成されるパックブロックは、図２７（Ａ）に示す初期パックブロックであり、この初期パックブロックはソーティング部３６５に入力される。ソーティング部３６５は、この初期パックブロックを入力するとともに、プロック内画素相対位置保存部３６４から、相対位置情報ｘを入力する。ソーティング部３６５は、相対画素位置ｘに基づいて、初期パックブロックの各画素列のソーティングを行う。すなわち図２７（Ａ）に示す初期パックブロックの各画素列に対応する相対画素位置ｘを左から昇順に並べるソート処理を実行する。

このソート処理の結果、図２７（Ｂ）に示すパックブロックが生成される。このように、ソーティング部３６５は、入力された初期パックブロックの画素列に対応する相対位置情報ｘをキーとして画素列ソーティングを行う。この結果、例えば図２７に示すパックブロックの例では、４列目と５列目の画素列が入れ替わり、画素位置変化の補正が行われた図２７（Ｂ）に示すパックブロックが生成される。

なお、図２７に示す処理例は、元画像が左に動いている場合の処理例であるが、相対画素位置ｘをキーとして昇順または降順にソーティングを行うことにより、元画像の動き方向は、左右いずれの方向に動いている場合でも同様の処理によって対応できる。また、垂直方向に動いているブロックを処理対象とするブロック内画素ソーティングパック処理部３７５においては、上述の左右方向を上下方向に、画素行のソーティングを垂直方向の相対位置ｙをキーとして適用したソート処理を実行することにより、同様のソート処理によって、元画像に対応した相対位置を持つパックブロックを生成することができる。

なお、上述のソーティング手法は、特定の手法に依存しないので、クイックソートやマージソート等の既存の手法を用いればよい。

［空間方向間引が行われたブロックの画素列交換に基づくパック処理］
続いて、元画像に対してのパック後画像の画素位置変化を補正し、パック処理後の画素順を元画像に近づけたパック処理について、本実施例におけるもう一つの手法について説明する。この処理は、前述の実施例と比較して、視覚上問題の無い領域に関して完璧な画素位置変化の補正を行わないことにより、前述の実施例で採用したソーティング処理を省き、処理パフォーマンスを改善した処理である。

まず、基本的な考え方について説明する。先に図１８を参照して説明した移動量と相対画素位置ｘとの相関を示すグラフは、隣接ブロック数が２つの場合のグラフであるが、同じグラフを隣接ブロック数を４つとした場合についてプロットしたグラフを図２８に示す。

前述の図１８のグラフと同様、図２８に示すグラフも、移動量ｖと相対画素位置ｘとの相関を示すグラフであり、縦軸に移動量ｖ、横軸が元画像上での相対画素位置ｘを表している。図１８を参照して説明したように、各ラインが交差するポイントは、元画像上での相対画素位置ｘが入れ替わっている点を示している。例えば交点Ｐはパックされた３番目のブロックの４番目の画素列と４番目のブロックの３番目の画素列の、元画像上での相対画素位置ｘが、入れ替わっている点を示している。

ここで、各ラインの交点について注目してみると、交点が存在する元画像の移動速度は離散値をとることが読み取れる。例えば画像の移動速度が４．０ピクセル／フレームの位置では交点が存在し、次の交点が存在する速度は、画像の移動速度６．０ピクセル／フレームの位置となる。

これら交点の存在する元画像の移動速度において、複数のパックされたブロックの各画素列の元画像上での順序が入れ替わるのであるから、図２８のグラフに示される、交点の存在しない元画像の移動速度の範囲、例えば、図に示す速度範囲、
速度範囲Ａ：ｖ＝４〜６フレーム／ピクセル
の速度範囲では、複数のパックされたブロックの各画素列の元画像上での順序は変化しないことになる。
速度範囲Ｂにおいても、複数のパックされたブロックの各画素列の元画像上での順序は変化しない。このように、パックブロックにおいて画素列の入れ替えが発生する速度は離散的に存在する。

このように一定の移動速度ｖでのみパックブロックにおいて画素列の入れ替えが発生する。この理論から、元画像上での相対画素位置ｘを求めなくても、対象となる複数のパックされたブロックの各画素列の元画像上での順序は、それらブロックが切り出された元画像の移動速度がどの範囲であるかの情報に基づいて、パックブロックの画素配列を推定することが可能ということになる。

パックブロックに設定される画素列の配列が解析されれば、上述の相対画素位置ｘを算出し、相対画素位置ｘに基づくソーティング処理を行なうことなく、複数のパックされたブロックの各画素列画素列を、移動速度ｖに基づいて、画素位置入れ替え処理態様を決定し、決定態様に従って、パックブロックに設定された画素を並び替えるだけで、元画像上の順序に合せたパックブロックを生成することができる。

この手法によれば、前述の実施例で採用した相対画素位置ｘの算出処理および、相対画素位置ｘの値に基づくソーティング処理を省き、処理パフォーマンスを改善した処理を行うことが可能となる。

図８に示す画像変換装置のパック処理部１４１において、間引き処理およびパック処理単位としてのブロックに対応する移動速度ｖに基づいて、パックブロックの画素位置交換を伴うパック処理（以降、画素列交換パック処理）を実行する場合の、パック処理部１４１の構成と処理について、図２９を参照して説明する。

各移動量に応じて異なる態様で間引き処理がなされた後、空間方向間引きのみが行われたブロックは図２９のブロック分配部３８１にブロックの動きベクトルと共に入力される。入力されたブロックは動きベクトルと共に、ブロック分配部３８１内の図示されないブロック・動きベクトル保存部に蓄えられる。また、動きベクトルは画素列交換フラグ生成部３８４へ入力され、入力されたブロックは画素列交換フラグ生成部３８４内の図示されない動きベクトル保存部に蓄えられる。

ブロック分配部３８１は蓄えられたブロックのうち、左右方向に動いているブロックは水平方向１／４間引き連続ブロック抽出部３８２へ、上下方向に動いているブロックは垂直方向１／４間引き連続ブロック抽出部３８３へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルもペアで出力される。

画素列交換フラグ生成部３８４は、ブロックの動きベクトルに基づいて移動速度ｖ（ピクセル／フレーム）を取得し、移動速度ｖが、図２８に示す移動量ｖと相対画素位置ｘの相関グラフにおいて、画素列の変動を起こさないどの速度範囲に対応するかを判定し、その判定結果を画素列交換フラグとして生成する。本実施例では、図３０に示すように、各速度範囲に対応するフラグを設定する。すなわち、処理対象ブロックに対応する移動速度ｖ各々について、
（１）０≦ｖ＜２．７５→フラグＡ
（２）２．７５≦ｖ＜４．０→フラグＢ
（３）４．０≦ｖ＜６．０→フラグＣ
（４）６．０≦ｖ→フラグＤ
これら４種類のフラグを移動速度ｖに対応付けて設定する。

ここで、図２９で示される図８のパック処理部ａ１４１には、時間方向間引きのみの処理、または、時間方向および空間方向の間引き処理が行われるブロックは入力されないため、ｖ＜２．７５の範囲は一まとめのフラグとした。また、６．０≦ｖの範囲は、画像の動きが早い場合、動きぼけが発生するか、または、元々その領域が狭いため、一まとめとした。なお、さらに移動速度に応じて細分化したフラグ設定としてもよい。

図２９に示すパック処理部１４１の水平方向１／４間引き連続ブロック抽出部３８２は、水平方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素−画素列交換処理部３８５へ出力する。この時、出力されたブロックに対応するブロックの画素列交換フラグも画素列交換フラグ生成部３８４からペアで出力される。また、連続していないブロックはパック処理部３８７へ出力する。

同様に垂直方向１／４間引き連続ブロック抽出部３８３は、垂直方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素ソーティングパック処理部３８６へ出力する。この時、出力されたブロックに対応するブロックの画素列交換フラグも画素列交換フラグ生成部３８４からペアで出力される。また、連続していないブロックはパック処理部３８７へ出力する。

パック処理部３８７は入力されたブロックを、前述の、図９に示すパック処理手法に従ってパック処理を行いブロック合成部１５１へ出力する。

ブロック内画素−画素列交換処理部３８５は、入力されたブロックを、前述の、画素列の並び替えを利用した元画像に対してのパック後画像の画素位置変化を補正するパック処理を用いてパック処理を行い、ブロック合成部１５１へ出力する。ブロック内画素−画素列交換処理部３８５の構成および処理について図３１を参照して説明する。

図３１に示すブロック内画素−画素列交換処理部３８５は、入力された、連続している間引かれたブロックをブロック保存部４０１に一旦保存する。ブロック保存部４０１に保存された連続している間引かれたブロックは、パック処理部４０２において、前述の、図９に示すパック処理手法に従ってパック処理が行われる。

パック処理が行われたブロックは、ブロック分配部４０３において、前述の画素列交換フラグ生成部で生成された画素列交換フラグ（Ａ〜Ｄ）に従って、ブロック内画素−画素列交換処理部４０４〜４０６へ分配される。本実施例における分配条件は次の通りである。

（１）０≦ｖ＜２．７５→フラグＡ→処理部Ａ４０４
（２）２．７５≦ｖ＜４．０→フラグＢ→処理部Ｂ４０５
（３）４．０≦ｖ＜６．０→フラグＣ→処理部Ｃ４０６
（４）６．０≦ｖ→フラグＤ→処理部Ｃ４０６

ここで、元画像移動速度領域ＣとＤを同一の画素列交換処理部Ｃ４０６で画素列交換処理を行っている。これは、画像の動きが早い場合、動きぼけが発生するか、または、元々その領域が狭いため、同一の処理でも不具合は発生しないからである。もちろん、各フラグに応じて異なる別の処理を実行する構成としてもかまわない。

ブロック内画素−画素列交換処理部４０４〜４０６へ分配されたブロックは、ブロック内画素−画素列交換処理部４０４〜４０６内で、それぞれ、元画像の相対画素位置に従った画素配列となるように画素列交換処理が行なわれたパックブロックが生成される。このときの画素交換処理態様は、元画像の移動速度ｖに基づいて決定される。これらのブロック内画素−画素列交換処理部４０４〜４０６内で生成されたパックブロックが、画素位置補正済みのパックブロックとして出力される。

ブロック内画素−画素列交換処理部Ａ４０４に入力されるパックブロックは、１／４空間方向間引き処理が実行され、図３１に示すパック処理部４０２において、前述の図９に示すパック処理手法に従ってパック処理が行われたパックブロックであり、移動速度ｖが、
０≦ｖ＜２．７５
の範囲にあるパックブロックである。

ブロック内画素−画素列交換処理部Ｂ４０５に入力されるパックブロックは、１／４空間方向間引き処理が実行され、図３１に示すパック処理部４０２において、前述の図９に示すパック処理手法に従ってパック処理が行われたパックブロックであり、移動速度ｖが、
２．７５≦ｖ＜４．０
の範囲にあるパックブロックである。

ブロック内画素−画素列交換処理部Ｃ４０６に入力されるパックブロックは、１／４空間方向間引き処理が実行され、図３１に示すパック処理部４０２において、前述の図９に示すパック処理手法に従ってパック処理が行われたパックブロックであり、移動速度ｖが、
４．０≦ｖ
の範囲にあるパックブロックである。

ブロック内画素−画素列交換処理部Ａ４０４、ブロック内画素−画素列交換処理部Ｂ４０５、ブロック内画素−画素列交換処理部Ｃ４０６各々の構成および処理について、図３２以下を参照して説明する。図３２に示すように、ブロック内画素−画素列交換処理部Ａ４０４、ブロック内画素−画素列交換処理部Ｂ４０５、ブロック内画素−画素列交換処理部Ｃ４０６は、それぞれ異なる態様の画素交換規則に従った画素列交換処理を実行する１以上の画素列交換処理部α４１１〜ζ４１６の組み合わせによって構成される。各画素列交換処理部α４１１〜ζ４１６は、それぞれが異なる画素列交換規則に従った画素列交換処理を実行する。

ブロック内画素−画素列交換処理部Ａ４０４に入力されたパックブロックは、画素列交換処理部α４１１、および画素列交換処理部β４１２において、それぞれ異なる画素交換規則に従って画素列交換処理が実行され、
ブロック内画素−画素列交換処理部Ｂ４０５に入力されたパックブロックは、画素列交換処理部α４１１、画素列交換処理部β４１２、および画素列交換処理部γ４１３において、それぞれ異なる画素交換規則に従って画素列交換処理が実行され、
ブロック内画素−画素列交換処理部Ｃ４０６に入力されたパックブロックは、画素列交換処理部δ４１４、画素列交換処理部α４１１、画素列交換処理部ε４１５、および画素列交換処理部ζ４１６において、それぞれ異なる画素交換規則に従って画素列交換処理が実行される。
これらの各画素列交換処理部の複合的な画素列交換処理によって、元画像の持つ相対的な画素配列に対応した画素配列を持つ補正されたパックブロックが生成されて出力される。

以下、各画素列交換処理部α４１１〜ζ４１６に対応付けられた画素列交換規則に従って実行される画素列交換処理について説明する。

（画素列交換処理部α）
まず、画素列交換処理部α４１１の実行する画素列交換処理について図３３を参照して説明する。画素列交換処理部α４１１では、連続したブロックの各境界をはさんで２ピクセル分の画素列の交換処理が行われる。図３３には、２つの水平方向に連続するパックブロックを示す。

図３３（Ａ）は、先に図２０を参照して説明した水平方向に隣接するブロックに基づいて、図３１に示すパック処理部４０２が、先に図９を参照して説明した基本的な間引き画素のパック処理に基づいて生成した初期的なパックブロックであり、図３３（Ｂ）は、画素列交換処理部α４１１の実行する画素列交換処理の結果として生成されるパックブロックである。

各パックブロックは、ブロック番号を左からＰＢ０，ＰＢ１・・として設定し、各パックブロックの列を左からＬ０，Ｌ１，Ｌ２，Ｌ３として示している。画素列交換処理部α４１１の実行する画素列交換処理は、図に示すように、隣接した２つのブロックＰＢｎ，ＰＢｎ＋１の境界２ピクセル分の画素列、すなわち、パックブロックＰＢｎの画素列Ｌ２，Ｌ３と、パックブロックＰＢｎ＋１の画素列Ｌ０，Ｌ１を入れ替える処理である。

画素列交換処理部α４１１は、画素列交換処理部α４１１に入力される連続ブロック全てについて、このような画素列交換規則（α）に従った画素列交換処理を実行する。

（画素列交換処理部β）
次に、画素列交換処理部β４１２の実行する画素列交換処理について図３４を参照して説明する。画素列交換処理部β４１２では、連続したブロックの各境界をはさんで１ピクセル分の画素列の交換処理が行われる。図３４に２つの水平方向に連続するパックブロックを示す。（Ａ）が画素列交換処理前、（Ｂ）が画素列交換処理後のパックブロックである。

画素列交換処理部β４１２の実行する画素列交換処理は、図に示すように、隣接した２つのブロックＰＢｎ，ＰＢｎ＋１の境界１ピクセル分の画素列、すなわち、パックブロックＰＢｎの画素列Ｌ３と、パックブロックＰＢｎ＋１の画素列Ｌ０を入れ替える処理である。画素列交換処理部β４１２は、画素列交換処理部β４１２に入力される連続ブロック全てについて、このような画素列交換規則（β）に従った画素列交換処理を実行する。

（画素列交換処理部γ）
次に、画素列交換処理部γ４１３の実行する画素列交換処理について図３５を参照して説明する。画素列交換処理部γ４１３では、連続したブロック中の先頭と最後のブロック以外のブロックについて、ブロック内画素中心の２ピクセル分の画素列交換処理が行われる。図３５に連続したブロック中の先頭と最後のブロック以外のパックブロックを示す。（Ａ）が画素列交換処理前、（Ｂ）が画素列交換処理後のパックブロックである。

画素列交換処理部γ４１３の実行する画素列交換処理は、図に示すように、連続したブロック中の先頭と最後のブロック以外のブロックについて、ブロック内画素中心の２ピクセル分の画素列交換処理が行われる。ブロックＰＢｎの左または右には、隣接するブロックが存在する。

画素列交換処理部β４１２の実行する画素列交換処理は、図に示すように、パックブロックＰＢｎの画素列Ｌ１と画素列Ｌ２を入れ替える処理である。画素列交換処理部γ４１３は、画素列交換処理部γ４１３に入力される連続ブロック全てについて、このような画素列交換規則（γ）に従った画素列交換処理を実行する。

（画素列交換処理部δ）
次に、画素列交換処理部δ４１４の実行する画素列交換処理について図３６を参照して説明する。画素列交換処理部δ４１４では、連続したブロックの各境界をはさんで３ピクセル分の画素列の交換処理が行われる。図３６に２つの水平方向に連続するパックブロックを示す。（Ａ）が画素列交換処理前、（Ｂ）が画素列交換処理後のパックブロックである。

画素列交換処理部δ４１４の実行する画素列交換処理は、図に示すように、隣接した２つのブロックＰＢｎ，ＰＢｎ＋１の境界３ピクセル分の画素列、すなわち、パックブロックＰＢｎの画素列Ｌ１〜Ｌ３と、パックブロックＰＢｎ＋１の画素列Ｌ０〜Ｌ２を入れ替える処理である。画素列交換処理部δ４１４は、画素列交換処理部δ４１４に入力される連続ブロック全てについて、このような画素列交換規則（δ）に従った画素列交換処理を実行する。

（画素列交換処理部ε）
次に、画素列交換処理部ε４１５の実行する画素列交換処理について図３７を参照して説明する。画素列交換処理部ε４１５では、連続したブロックの各境界をはさんで４ピクセル分の画素列のローテイト処理が行われる。図３７に２つの水平方向に連続するパックブロックを示す。（Ａ）が画素列交換処理前、（Ｂ）が画素列交換処理後のパックブロックである。

画素列交換処理部ε４１５の実行する画素列交換処理は、図に示すように、隣接した２つのブロックＰＢｎ，ＰＢｎ＋１の各境界をはさんで４ピクセル分の画素列のローテイト処理、すなわち、パックブロックＰＢｎの画素列Ｌ１〜Ｌ３と、パックブロックＰＢｎ＋１の画素列Ｌ０の４列の画素列を１列分ローテーションする処理である。このローテイト処理は、パックブロックＰＢｎの画素列Ｌ２，Ｌ３と、パックブロックＰＢｎ＋１の画素列Ｌ０を左にシフトし、パックブロックＰＢｎの画素列Ｌ１をシフトによって空いた箇所に入れる処理である。つまり、
画素列：ＰＢ０−Ｌ１→画素列：ＰＢ１−Ｌ０、
画素列：ＰＢ０−Ｌ２→画素列：ＰＢ０−Ｌ１、
画素列：ＰＢ０−Ｌ３→画素列：ＰＢ０−Ｌ２、
画素列：ＰＢ１−Ｌ０→画素列：ＰＢ０−Ｌ３、
のローテーション態様での画素列交換処理が行なわれる。画素列交換処理部ε４１５は、画素列交換処理部ε４１５に入力される連続ブロック全てについて、このような画素列交換規則（ε）に従った画素列交換処理を実行する。

（画素列交換処理部ζ）
次に、画素列交換処理部ζ４１６の実行する画素列交換処理について図３８を参照して説明する。画素列交換処理部ζ４１６では、連続したブロック中最後のブロックの１つ前のブロックに対して、ブロック内画素最後の２ピクセル分の画素列交換処理が行われる。図３８に連続したブロック中最後のブロックの１つ前のブロックＰＢｎを示す。（Ａ）が画素列交換処理前、（Ｂ）が画素列交換処理後のパックブロックである。

画素列交換処理部ζ４１６の実行する画素列交換処理は、図に示すように、連続したブロック中最後のブロックの１つ前のブロックに対する、ブロック内画素最後の２ピクセル分の画素列交換処理である。ブロックＰＢｎの右に隣接するブロックが１つのみ存在する。

画素列交換処理部ζ４１６の実行する画素列交換処理は、図に示すように、パックブロックＰＢｎの画素列Ｌ２と画素列Ｌ３を入れ替える処理である。画素列交換処理部ζ４１６は、画素列交換処理部ζ４１６に入力される連続ブロック全てについて、このような画素列交換規則（ζ）に従った画素列交換処理を実行する。

なお、これまでに説明した画素列交換処理部α〜ζの画素列交換処理は、元画像が左に動いている場合の処理例である。右に動いている場合は、上述の処理の方向を変更することで対応可能である。あるいは、図３１に示すパック処理部４０２におけるパック処理列を上述した場合と逆の列順でパックする構成とすれば、画素列交換処理部α〜ζの画素列交換処理態様を変更する必要がない。

また、画像が、垂直方向に動いているブロックを処理対象とする場合は、上述の画素列交換処理部α〜ζの画素列交換処理は、９０度回転して、各ブロックの行の交換を実行する構成とすればよい。例えば、左方向を上方向、右方向を下方向に変えることにより、同様の画素交換によって、元画像の相対位置に対応した画素配置を持つパックブロックを生成することができる。

［空間方向間引きと時間方向間引きが行われたブロックの画素列交換に基づくパック処理］
続いて、空間方向間引きと時間方向間引きが行われたブロックのパック処理、すなわち、図８に示す動画像変換装置におけるパック処理部ｃ１４３において、上述と同様、移動速度ｖに応じて、所定の画素列交換規則を適用してパックブロックを生成する処理について説明する。

先に、１／４空間方向間引きが実行された場合の移動速度ｖとパックブロックにおける画素位置の元画像に対する相対画素位置ｘの相関について図２８を参照して説明した。すなわち、移動量ｖと相対画素位置ｘとの相関を示すグラフである。１／２空間方向間引きと時間方向間引きが行われて生成されるパックブロックについて、同様移動量ｖと相対画素位置ｘとの相関を示すグラフを図３９に示す。

縦軸に移動量ｖ、横軸が元画像上での相対画素位置ｘを表している。図１８を参照して説明したように、各ラインが交差するポイントは、元画像上での相対画素位置ｘが入れ替わっている点を示している。例えば交点Ｐなどが、パックされたブロックの画素列が元画像上の位置と入れ替わっている点を示している。

このような交点は、先に図２８を参照して説明した１／４空間間引きに基づいて生成したパックブロックと同様、元画像の移動速度がある速度である場合にのみ発生する。図３９に示すラインａ，ｂに対応する移動速度の場合である。

このグラフから判るように、空間方向間引きと時間方向間引きが行われたブロックについても空間方向間引きのみが行われたブロックと同様に、交点の存在しない元画像の移動速度の範囲（Ａ，Ｂ，Ｃ）では、複数のパックされたブロックの各画素列の元画像上での順序は変化しない。

従って、空間方向間引きと時間方向間引きが行われたブロックのパック処理についても、空間方向間引きのみが行われたブロックと同様、移動速度ｖに応じて予め定めた画素交換処理によって、パックブロックの画素配置を元画像の画素配置の相対位置関係と同様の位置に設定する処理を行うことができ、前述の実施例で採用したソーティング処理を省き、処理パフォーマンスを改善した処理を行うことが可能となる。

図８のパック処理部１４３について、移動速度ｖに応じて予め定めた画素交換処理によって、パックブロックの画素配置を元画像の画素配置の相対位置関係と同様の位置に設定する処理を行う構成としたパック処理部の構成、処理について、図４０以下を参照して説明する。

各移動量に応じて異なる態様で間引き処理がなされた後、空間方向および時間方向間引きが行われたブロックは図４０のブロック分配部４３１にブロックの動きベクトルと共に入力される。入力されたブロックは動きベクトルと共に、ブロック分配部４３１内の図示されないブロック・動きベクトル保存部に蓄えられる。また、動きベクトルは画素列交換フラグ生成部４３４へ入力され、入力されたブロックは画素列交換フラグ生成部４３４内の図示されない動きベクトル保存部に蓄えられる。

ブロック分配部４３１は蓄えられたブロックのうち、左右方向に動いているブロックは水平方向１／２間引き連続ブロック抽出部４３２へ、上下方向に動いているブロックは垂直方向１／２間引き連続ブロック抽出部４３３へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルもペアで出力される。

画素列交換フラグ生成部４３４は、前述の空間方向間引きのみのパック処理と同様に、ブロックの動きベクトルに基づいて移動速度ｖ（ピクセル／フレーム）を取得し、移動速度ｖが、図３９に示す移動量ｖと相対画素位置ｘの相関グラフにおいて、画素列の変動を起こさないどの速度範囲に対応するかを判定し、その判定結果を画素列交換フラグとして生成する。本実施例では、図４１に示すように、各速度範囲に対応するフラグを設定する。すなわち、処理対象ブロックに対応する移動速度ｖ各々について、
（１）０≦ｖ＜１．５→フラグＥ
（２）１．５≦ｖ＜２．０→フラグＦ
これら２種類のフラグを移動速度ｖに対応付けて設定する。

ここで、図４０で示される図８のパック処理部ｃ１４３には、時間方向間引きのみの処理、または、空間方向の間引き処理のみが行われるブロックは入力されない。本実施例では、元画像のブロックに基づいて計測される移動速度ｖが、１〜２ピクセル／フレームの範囲のブロックのみが、空間および時間方向間引き処理対象としているので、パック処理部ｃ１４３に入力されるブロックに存在する移動速度の範囲はｖ＝１．０〜２．０であり、図３９に示される交点発生ポイントは、速度＝ｂ＝１．５ピクセル／フレームのみとなる。したがって、画素交換の処理態様は、
（１）０≦ｖ＜１．５
（２）１．５≦ｖ＜２
の２つの処理態様を設定するのみで対応可能であり、これらの移動速度に応じてフラグを２つ設定する構成とした。なお、さらに移動速度に応じて細分化したフラグ設定としてもよい。

図４０に示す水平方向１／２間引き連続ブロック抽出部４３２は、水平方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素−画素列交換処理部４３５へ出力する。この時、出力されたブロックに対応するブロックの画素列交換フラグも画素列交換フラグ生成部４３４からペアで出力される。また、連続していないブロックはパック処理部４３７へ出力する。

同様に垂直方向１／２間引き連続ブロック抽出部４３３は、垂直方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素ソーティングパック処理部４３６へ出力する。この時、出力されたブロックに対応するブロックの画素列交換フラグも画素列交換フラグ生成部４３４からペアで出力される。また、連続していないブロックはパック処理部４３７へ出力する。

パック処理部４３７は入力されたブロックを、前述の、図１０を用いて説明されたパック処理を用いてパック処理を行いブロック合成部１５１へ出力する。

ブロック内画素−画素列交換処理部４３５は入力されたブロックを、前述の、画素列の並び替えを利用した元画像に対してのパック後画像の画素位置変化を補正するパック処理を用いてパック処理を行い、ブロック合成部１５１へ出力する。ブロック内画素−画素列交換処理部４３５の構成および処理について図４２を参照して説明する。

図４２に示すブロック内画素−画素列交換処理部４３５は、入力された、連続している間引かれたブロックをブロック保存部４４１に一旦保存する。ブロック保存部４４１に保存された連続している間引かれたブロックは、パック処理部４４２において、前述の、図１０を用いて説明されたパック処理を用いてパック処理が行われる。

パック処理が行われたブロックは、ブロック分配部４４３において、前述の画素列交換フラグ生成部で生成された画素列交換フラグに従って、ブロック内画素−画素列交換処理部４４４、４４５へ分配される。本実施例における分配条件は次表の通りである。
（１）０≦ｖ＜１．５→フラグＥ→処理部Ｅ４４４
（２）１．５≦ｖ＜２．０→フラグＢ→処理部Ｆ４４５

ブロック内画素−画素列交換処理部４４４、４４５へ分配されたブロックは、ブロック内画素−画素列交換処理部４４４、４４５内で、それぞれ、元画像の相対画素位置に従った画素配列となるように画素列交換処理が行なわれたパックブロックが生成される。このときの画素交換処理態様は、元画像の移動速度ｖに基づいて決定される。これらのブロック内画素−画素列交換処理部４４４、４４５内で生成されたパックブロックが、画素位置補正済みのパックブロックとして出力される。

ブロック内画素−画素列交換処理部Ｅ４４４に入力されるパックブロックは、１／２空間方向間引きおよび時間方向間引き処理が実行され、図４２に示すパック処理部４４２において、前述の図１０に示すパック処理手法に従ってパック処理が行われたパックブロックであり、移動速度ｖが、
０≦ｖ＜１．５
の範囲にあるパックブロックである。

ブロック内画素−画素列交換処理部Ｆ４４５に入力されるパックブロックは、１／２空間方向間引きおよび時間方向間引き処理が実行され、図４２に示すパック処理部４４２において、前述の図１０に示すパック処理手法に従ってパック処理が行われたパックブロックであり、移動速度ｖが、
１．５≦ｖ＜２．０
の範囲にあるパックブロックである。

ブロック内画素−画素列交換処理部Ｅ４４４、およびブロック内画素−画素列交換処理部Ｆ４４５の構成および処理について、図４３を参照して説明する。図４３に示すように、ブロック内画素−画素列交換処理部Ｅ４４４、ブロック内画素−画素列交換処理部Ｆ４４５には、それぞれ異なる態様の画素交換規則に従った画素列交換処理を実行する１以上の画素列交換処理部α４１１〜β４１２の組み合わせによって構成される。各画素列交換処理部α４１１〜β４１２は、それぞれが異なる画素列交換規則に従った画素列交換処理を実行する。

ブロック内画素−画素列交換処理部Ｅ４４４に入力されたパックブロックは、画素列交換処理部β４１２において、予め設定された画素交換規則に従って画素列交換処理が実行され、ブロック内画素−画素列交換処理部Ｅ４４５に入力されたパックブロックは、画素列交換処理部α４１１、画素列交換処理部β４１２において、それぞれ異なる画素交換規則に従って画素列交換処理が実行される。
これらの各画素列交換処理部の複合的な画素列交換処理によって、元画像の持つ相対的な画素配列に対応した画素配列を持つ補正されたパックブロックが生成されて出力される。

画素列交換処理部β４１２の処理は、先に、図３４を参照して説明した画素列交換処理であり、画素列交換処理部α４１１の処理は、先に、図３３を参照して説明した画素列交換処理である。

なお、前述したように、図３３、図３４に示す画素列交換処理部α，βの画素列交換処理は、元画像が左に動いている場合の処理例である。右に動いている場合は、上述の処理の方向を変更することで対応可能である。あるいは、図４２に示すパック処理部４４２におけるパック処理列を上述した場合と逆の列順でパックする構成とすれば、画素列交換処理部α，βの画素列交換処理態様を変更する必要がない。

また、画像が、垂直方向に動いているブロックを処理対象とする場合は、上述の画素列交換処理部α，βの画素列交換処理は、９０度回転して、各ブロックの行の交換を実行する構成とすればよい。例えば、左方向を上方向、右方向を下方向に変えることにより、同様の画素交換によって、元画像の相対位置に対応した画素配置を持つパックブロックを生成することができる。

以上、説明したように、本実施例における動画像変換装置においては、パック処理時に画素順の補正を行うことにより、パック後の画像を元画像の画素順と近づける構成として、そのパックブロックを後段の一般的な符号化手法（ＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等）により符号化する構成としたので、パックブロックを元画像に近い滑らかな画像データとすることが可能であり、ＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等の符号化における圧縮率を高め、より高いデータ削減を実現することができる。

［（３）本発明に従った動画像伸張処理を実行する装置および方法］
次に、図４４以下を参照して動画像伸張処理を実行する動画像復元装置の構成および処理について説明する。図４４は、動画像復元装置の概略構成を示すブロック図である。

本実施形態の動画像復元装置は、先に説明した「（１）超解像効果を利用した動画像変換装置の基本構成」や、［（２）本発明に従った動画像圧縮処理を実行する装置および方法］に従って、ブロックの移動量に応じた空間間引きや時間方向間引き処理を実行し、さらにパック処理によるパックブロックがなされた後、ＭＰＥＧ，Ｍｏｔｉｏｎ Ｊｐｅｇ等の符号化処理のなされた圧縮符号化データの復号、伸張処理を実行する装置である。

図４４に示す動画像復元装置は、符号化された動画像データおよびサイド情報を入力して、復号部５１０にて復号する。符号化された動画像データは、前述した相対画素位置ｘに基づくソート処理あるいは移動速度ｖに基づく画素交換処理を適用して生成されたパックブロックを含むブロックの符号化データであり、サイド情報は、各ブロックに対応する間引き、パック処理などの処理態様を示すブロック分配フラグ、移動量情報を含むデータである。

復号部５１０は、例えばＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等の一般的な符号化手法により符号化された符号化データの復号処理により、動画像データの復号処理を実行する。また、サイド情報については、例えばＬＺＨ、Ｚｉｐ等の一般的な符号化手法により符号化された符号化データの復号処理を行なう。もちろん、各々の復号処理態様は符号化側の符号化態様と対応する処理とされる。

ブロック分割部５２０は、復号された動画像の各フレームを、所定画素の区分領域としてのブロックに分割し、復号されたサイド情報と共にブロック処理部５３０に供給する。この時のブロックサイズは符号化時にブロック分割されたサイズと合せておかなければならない。

ブロック処理部５３０は、符号化側のパック処理によりＲ／Ｍにフレームレートを変換されたブロックに逆の処理（以降、アンパック処理と呼ぶ）を行うことにより元のフレームレートＲの動画像を生成し、復号された動画像として出力する。この時の各ブロックにおけるアンパック処理は、復号部５１０により復号されたサイド情報に基づいて、符号化時に行われたパック処理を元に戻すアンパック処理を行わなければならない。また、ブロック処理部５３０から出力される復号された動画像は、符号化側で説明された、人間の視覚特性に基づいて劣化された動画像である。

本実施形態の動画像復元装置における復号部５１０およびブロック分割部５２０およびブロック処理部５３０の構成について、図４５を参照して説明する。図４５は本実施形態における復号部５１０およびブロック分割部５２０およびブロック処理部５３０の構成を示すブロック図である。

動画像復元装置に入力された符号化された動画像およびサイド情報は、復号部５１０内の動画像復号部５１１によって動画像が、サイド情報復号部５１２によってサイド情報が、復号される。復号された動画像、サイド情報はブロック分割部５２０においてある大きさのブロック、例えば８ｐｉｘｅｌ×８ｐｉｘｅｌや１６ｐｉｘｅｌ×１６ｐｉｘｅｌ等のブロックに分解され、ブロック分割部５２０内の図示されない保存領域に１フレーム分保存される。１フレーム分復号され分割された動画像およびサイド情報は、ブロック処理部５３０のブロック分配部５３１に送られる。

ブロック分配部５３１は、各ブロックに対して異なるアンパック処理を行うアンパック処理部５３２〜５３４へブロックを振り分ける処理を実行する。ブロック分配部５３１の入力は、復号部から出力されてきたサイド情報と、ブロック分割部５２０から出力されるブロックに分割された１フレーム分の画像データである。

ブロック分配部５３１が、入力された１フレーム分のブロックを、サイド情報に従って、アンパック処理部５３２〜５３４のいずれかに出力する時、サイド情報を元に、符号化側で行われたパック処理を戻すアンパック処理に振り分けなければならない。

本実施例では、サイド情報に図８に示す画像圧縮符号化を行なう動画像変換装置におけるブロック処理部１３１〜１３３のどの処理部に分配されたかを示すブロック分配フラグを含めている。ブロック分配部５３１は、この分配フラグに基づいて、ブロックを各アンパック処理部５３２〜５３３に振り分ける。ブロック処理部１３１で空間方向間引き処理がなされたブロックはアンパック処理部５３２、ブロック処理部１３２で時間方向間引き処理がなされたブロックはアンパック処理部５３３、ブロック処理部１３３で空間および時間方向間引き処理のなされたブロックはアンパック処理部５３４へ振り分けられる。

アンパック処理部５３２〜５３４は、符号化側のパック処理によりＲ／Ｍにフレームレートを変換されたブロックを入力し、入力されたブロックにアンパック処理を行うことにより元のフレームレートＲのブロックに変換する。本実施例では、図８に示す動画像変換装置におけるパック処理部１４１でパックされたブロックはアンパック処理部５３２、パック処理部１４２でパックされたブロックはアンパック処理部５３３、パック処理部１４３でパックされたブロックはアンパック処理部５３４においてアンパック処理が行われる。

アンパック処理部５３２〜５３４の処理により元のフレームレートＲに変換されたブロックは、ブロック合成部５３５において、フレームレートがＲであるフレーム画像へ合成される。本実施例では、Ｒ＝２４０ｆｐｓ、Ｍ＝４であるので、入力された２４０／４＝６０ｆｐｓの動画像の１フレームから４フレーム分のフレーム画像へ合成される。つまり、ブロック合成部４１０７の役割は表示可能な元の高フレームレート動画像として合成することにある。

ブロック分割部５２０の別の構成例を図４６に示す。図４６に示すブロック分割部５２０は、移動量検出部５２２およびサイド情報合成部５２３を有する点が、図４５に示す構成と異なる点である。この構成は、何らかの理由、例えば圧縮率をより上げたい場合等において、サイド情報が復号側へ伝送されない場合に対応する構成である。

図４６に示すブロック分割部５２１においては、まず、符号化された動画像データを入力し、図４５を参照して説明したブロック分割部５２０と同様の処理によって、ある大きさのブロック、例えば８ｐｉｘｅｌ×８ｐｉｘｅｌや１６ｐｉｘｅｌ×１６ｐｉｘｅｌ等のブロックに分解し、ブロック分割部５２１内の図示されない保存領域に１フレーム分保存する。ブロック分割された画像は、図４５に示すブロック処理部５３０内のブロック分配部５３１へ出力される。

また、図４６に示す構成では、復号された動画像データは、移動量検出部５２２にも入力され移動量検出部５２２内の図示されない画像保存部に、移動量を検出するために必要な数の画像を保存する。移動量検出部５２２は、保存画像からある大きさのブロック、例えば８ｐｉｘｅｌ×８ｐｉｘｅｌや１６ｐｉｘｅｌ×１６ｐｉｘｅｌ等のブロック単位の移動量を求め、求められた移動量を１フレーム分サイド情報合成部５２３へ出力する。この時のブロックサイズは、ブロック分割部５２１で分割されるブロックサイズと同じとする。

サイド情報合成部５２３は、入力された各ブロックの移動ベクトルを元にサイド情報を生成し、図４５に示すブロック処理部５３０のブロック分配部５３１へ出力する。この時、サイド情報を生成するルールは、符号化側と合せなければならない。

次に、図４５に示すブロック処理部５３０に構成された各アンパック処理部ａ５３２〜ｃ５３４の構成、および処理について説明する。アンパック処理部ａ５３２〜ｃ５３４は、それぞれ、図８に示した動画像変換装置におけるパック処理部ａ１４１〜ｃ１４３に対応しており、パック処理部ａ１４１〜ｃ１４３によってパック処理されたブロックをアンパックして元に戻す動作を行う。

各アンパック処理部ａ５３２〜ｃ５３４におけるアンパック処理は、前述した動画像変換装置におけるパック処理部ａ１４１〜ｃ１４３の処理と同様、相対画素位置ｘに基づくソーティング処理に対応する処理を実行してアンパックを行なう構成と、ブロックの移動速度ｖに基づいて予め定められた画素交換規則に従った画素交換処理を実行したパック処理に対応するアンパック処理の２つの処理態様がある。以下、これらの２つの処理態様について、順次、説明する。

［相対画素位置ｘに基づくソーティング処理に対応するアンパック処理］
まず、相対画素位置ｘに基づくソーティング処理に対応するアンパック処理について説明する。図８に示した動画像変換装置におけるパック処理部ａ１４１に対応する、アンパック処理部ａ５３２の構成および処理について、図４７を参照して説明する。

アンパック処理部ａ５３２の入力は、ブロック分配部５３１から出力されたブロック、すなわち、図８に示した動画像変換装置におけるパック処理部ａ１４１において４フレームから得られた４つのブロックを１つにパックしたブロックである。すなわち空間方向間引きのみがなされた間引きデータに対応するパックブロックである。

このパックブロックは、先に、図１９を参照して説明した通り、図１９におけるブロック内画素ソーティングパック処理部３５４、３５５、パック処理部３５６において、４フレームから得られた４つのブロックを１つにパックしたブロックである。

アンパック処理部ａ５３２に入力された、パックされたブロックは、ブロック分配部５３１に入力される。入力されたブロックは、サイド情報と共に、ブロック分配部内の図示されないブロック・サイド情報保存部に蓄えられる。ブロック分配部５３１は蓄えられたブロックのうち、左右方向に動いているブロックは水平方向１／４間引き連続ブロック抽出部５５１へ、上下方向に動いているブロックは垂直方向１／４間引き連続ブロック抽出部５５２へ出力する。この時、出力されたブロックに対応するブロックのサイド情報もペアで出力される。

水平方向１／４間引き連続ブロック抽出部５５１は、水平方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素ソーティングアンパック処理部５５３へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルもペアで出力される。また、連続していないブロックはアンパック処理部５５５へ出力する。

同様に垂直方向１／４間引き連続ブロック抽出部５５２は、垂直方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素ソーティングアンパック処理部５５４へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルもペアで出力される。また、連続していないブロックはアンパック処理部５５５へ出力する。

これらのブロック分配部５３１と水平方向１／４間引き連続ブロック抽出部５５１と垂直方向１／４間引き連続ブロック抽出部５５２による、ブロックの分配結果は、図８、図１９で説明されたパック処理における分配結果と同一になることが望ましい。

アンパック処理部５５５に入力されるパックされたブロックは、図９において示すブロック２２５に相当するブロックである。このブロックの内部の１×４画素、例えば図９におけるブロック２２５の画素２３５は、図１９に示した動画像変換装置におけるパック処理部３５６においてパックされた４フレーム分の画素ｐ１〜ｐ４である。アンパック処理部５５５はこの４つの画素ｐ１〜ｐ４を４フレーム分のブロックに拡張することでフレーム数を４倍にする。

すなわち、図９におけるブロック２２５がアンパック処理部５５５の入力であり、アンパック処理部５５５はブロック２２５を４フレーム分に拡張して、図９に示すブロック２２１〜２２４の４つのブロックを構成し出力する。以上はブロック処理装置が水平方向の間引き処理、つまり、１ｘ４画素に対する間引き処理が行われた場合であり、垂直方向の間引き処理である４ｘ１画素の間引き処理が行われたブロックにおいても同様のアンパック処理がアンパック処理部５５５によって行われる。

なお、アンパック処理部５５５が想定するパックされたブロックの画素ｐ１〜ｐ４の順序は、図１９に示した動画像変換装置におけるパック処理部３５６において処理した際の画素順と一致させることが必要である。

ソーティングアンパック処理部５５３に入力されるパックされたブロックは、相対画素位置情報ｘに基づく画素位置のソーティング処理が実行されたブロックであり、１／４空間間引きがなされ、かつ水平方向の画素位置が画素位置情報ｘに基づいてソートされたパックブロックである。これは、例えば、先に説明した図２４（Ｂ）に示すパックブロックである。

このパックブロックの内部の画素、例えば図２４（Ｂ）に示すパックブロックに含まれる画素Ｐ１０〜ＰＢ３は、図１９に示した動画像変換装置におけるブロック内画素ソーティングパック処理部３５４においてパックされた４フレーム分の画素Ｐ１０〜ＰＢ３である。ブロック内画素ソーティングアンパック処理５５３はこれらの画素Ｐ１０〜ＰＢ３を４フレーム分のブロックに拡張することでフレーム数を４倍にする。すなわち、図２４（Ｂ）に示すパックブロックがブロック内画素ソーティングアンパック処理部５５３の入力であり、ブロック内画素ソーティングアンパック処理部５５３は図２４（Ｂ）に示すパックブロックを４フレーム分に拡張して図２３に示すフレーム１〜４のブロックを生成して出力する。このブロック内画素ソーティングアンパック処理部５５３の構成および処理について図４８を参照して説明する。

図４８に示すブロック内画素ソーティングアンパック処理５５３は、動画像変換装置において説明した図２２に示すブロック内画素ソーティングパック処理部３５４の処理を逆に行い、画素位置変化の補正が行われたブロックを元に戻す処理を行う。

このブロック内画素ソーティングアンパック処理部５５３の実行する処理について、図４９を参照して説明する。図４９（Ａ）は、相対画素位置ｘに基づくソーティンングを伴うパック処理によって生成されたパックブロック、すなわちソート後パックブロックであり、図２４（Ｂ）のパックブロックに相当する。図４９（Ｂ）は相対画素位置ｘに基づくソーティンングを行なう前の初期的なパックブロック、すなわちソート前パックブロックであり、図２４（Ａ）のパックブロックに相当する。これは、フレーム順に画素位置を並べた初期パックブロックである。

図４９（Ｃ）は、前述の空間間引きされパックされる前のブロックを示すブロックであり、図２３の各フレーム対応の間引きされたブロックデータに相当する。図４８に示すブロック内画素ソーティングアンパック処理５５３は、図４９（Ａ）のパックブロックに基づいて、図４９（Ｃ）の各フレーム対応の空間間引きデータからなるブロックを復元する。

ブロック内画素ソーティングアンパック処理部５５３に入力される図４９（Ａ）に示すソート後パックブロックを、図４９（Ｃ）に示す４フレームの各ブロックに戻すには、まず、ソーティング前の初期的なパックブロック、すなわち、図４９（Ｂ）に示すソート前パックブロック、すなわち、フレーム順に画素位置を並べた初期パックブロックに戻すことが必要である。図４９（Ｂ）に示すソート前パックブロックから図４９（Ｃ）に示すフレーム対応のブロックに戻す処理は、予め定められたアンパック処理のルールに基づいて実行される。

図４９（Ａ）に示すソート後パックブロックを、図４９（Ｂ）に示すソート前の初期的なパックブロックに戻す処理について説明する。まず、図４８に示すブロック内画素ソーティングアンパック処理部５５３のブロック内画素相対位置算出部５６２は、入力されたサイド情報から、サイド情報に含まれるブロックの移動速度ｖを抽出し、ブロック内画素相対位置算出部５６２において、前述の数式１、すなわち、
ｖ：処理対象画像の移動速度，ｖ＝ピクセル／フレーム
ｍ：処理対象となった元画像のフレーム番号，ｍ＝０，１，２，・・
ｎ：パックブロックのブロック番号（０，１，２・・）
としたとき、パックブロックに設定される各画素列の元画像における相対画素位置ｘを、
ｘ＝ｍ×ｖ＋４×ｎ
として求める数式１に基づいて、先頭のパックされたブロックからの元画像上での相対画素位置ｘを求め、この算出した相対画素位置ｘをブロック内画素相対位置保存部５６３に格納する。

相対位置ソーティング部５６４は、この相対画素位置ｘを相対画素位置ｘの値に基づいてソート処理を行なう。図５０（１）に相対位置ソーティング部５６４の実行する相対画素位置ｘのソート処理例を示す。図５０（１ａ）に示す相対画素位置ｘの算出データは、動画像変換装置におけるソーティングパック処理に際して算出した相対画素位置ｘと同一の値となる。すなわち、図４９（Ｂ）に示すソート前パックブロックの各画素列対応の相対画素位置ｘと同一の値となる。パック処理に際しては、この図４９（Ｂ）に示す相対画素位置ｘを、例えば昇順にソートして図４９（Ａ）に示すソートされたパックブロックを生成していた。

アンパック処理部５５３では、まず、相対位置ソーティング部５６４において、図５０（１ａ）に示す相対画素位置ｘを相対画素位置ｘの値に基づいてソート処理を行なう。ソート処理の実行に際して、各相対画素位置ｘに対応する位置データとして、ブロック位置情報を対応付けておく。図５０（１ａ）に示す相対画素位置ｘの下部に示す１〜７のデータである。

相対位置ソーティング部５６４では、相対画素位置ｘを相対画素位置ｘの値に基づいてソート処理を行なう際、このブロック位置情報を対応付けたままソートする。ソート結果が、図５０（１ｂ）に示す結果となる。

次に、相対位置ソーティング部５６４のソート結果として得られたブロック位置情報をパックブロックソーティング部５６５に入力し、パックブロックソーティング部５６５は、ブロック保存部５６１から入力する連続ブロックについて、このブロック位置情報をブロックの各画素列に対応付けて、このブロック位置情報に基づくソート処理を実行する。図５０（２ａ）のバックブロックをブロック位置情報に基づいてソートする。

このソート処理の結果、ブロック位置情報＝３と４が入れ替えられることになる。結果として、図５０（２ｂ）に示すソート結果が得られる。このソート結果は、図４９（Ｂ）に示すソート前パックブロックと同一の画素配置を有する。パックブロックソーティング部５６５は、このソート結果として得られたパックブロックをアンパック処理部５６６に出力する。

このように、アンパック処理部５５３では、まず、パック処理部３５４と同様、ブロックの移動速度ｖから、画素相対位置ｘを算出する。次に、画素相対位置ｘにブロック位置情報を対応付けて相対画素位置ｘのソートを実行し、このソート処理によって得られたブロック位置情報をパックブロックに対応付けてブロック位置情報に基づいて、パックブロックのソートを実行することで、ソート前のパックブロックを取得する。

アンパック処理部５６６は、前述のアンパック処理部５５５と同じ処理を行い、元のフレームレートにブロックを変換する。なお、上述した処理例は元画像が左に動いている場合についての処理例であるが、相対位置ソーティング部５６４におけるソーティング時に、相対画素位置ｘをキーとして昇順または降順にソーティングを行うことにより、元画像が右に動いている場合でも同様の処理によって対応できる。また、垂直方向に動いているブロックを処理対象とする場合には、上述したソート処理を上下方向に実行して、画素行のソーティングを垂直方向の相対位置ｙをキーとして行なう設定とした処理によって対応できる。

次に、１／２空間間間引き、１／２時間間引き処理ブロックについてのソートパックブロックのアンパック処理を実行する図４５のアンパック処理部ｃ５３４の構成および処理について、図５１以下を参照して説明する。

アンパック処理部ｃ５３４の入力は、ブロック分配部５３１から出力されたブロック、すなわち、図８に示した動画像変換装置におけるパック処理部ｃ１４３において４フレームから得られた４つのブロックを１つにパックしたブロックである。このパックされたブロックは。図２５に示すパック処理部ｃ１４３におけるブロック内画素ソーティングパック処理部３７４、３７５、パック処理部３７６において、４フレームから得られた４つのブロックを１つにパックしたブロックである。

アンパック処理部ｃ５３４に入力された、パックされたブロックは、ブロック分配部５３１に入力される。入力されたブロックは、サイド情報と共に、ブロック分配部内の図示されないブロック・サイド情報保存部に蓄えられる。ブロック分配部５３１は蓄えられたブロックのうち、左右方向に動いているブロックは水平方向１／２間引き連続ブロック抽出部５７１へ、上下方向に動いているブロックは垂直方向１／２間引き連続ブロック抽出部５７２へ出力する。この時、出力されたブロックに対応するブロックのサイド情報もペアで出力される。

水平方向１／２間引き連続ブロック抽出部５７１は、水平方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素ソーティングアンパック処理部５７３へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルもペアで出力される。また、連続していないブロックはアンパック処理部５７５へ出力する。

同様に垂直方向１／２間引き連続ブロック抽出部５７２は、垂直方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素ソーティングアンパック処理部５７４へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルもペアで出力される。また、連続していないブロックはアンパック処理部５７５へ出力する。

これらのブロック分配部５３１と水平方向１／２間引き連続ブロック抽出部５７１と垂直方向１／２間引き連続ブロック抽出部５７２による、ブロックの分配結果は、図８、図２５で説明されたパック処理における分配結果と同一になることが望ましい。

アンパック処理部５７５に入力されるパックされたブロックは、図１０において示すブロック２４５である。このブロックの内部の１×２画素、例えば図１０におけるブロック２４５の画素２５５は、図２５に示した動画像変換装置におけるパック処理部３７６においてパックされた４フレーム分の画素ｐ１、ｐ３である。アンパック処理部５７５はこの２つの画素ｐ１、ｐ３を４フレーム分のブロックに拡張することでフレーム数を２倍にする。

すなわち、図１０におけるブロック２４５がアンパック処理部５７５の入力であり、アンパック処理部５７５はブロック２４５を４フレーム分に拡張してブロック２４１〜２４４の４つのブロックを構成し出力する。以上はブロック処理装置が水平方向の間引き処理、つまり、１ｘ２画素に対する間引き処理が行われた場合であり、垂直方向の間引き処理である２ｘ１画素の間引き処理が行われたブロックにおいても同様のアンパック処理がアンパック処理部５７５によって行われる。

なお、アンパック処理部５７５が想定するパックされたブロックの画素ｐ１、ｐ３の順序は、図２５に示した動画像変換装置におけるパック処理部３７６において処理した際の画素順と一致させることが必要である。

ソーティングアンパック処理部５７３に入力されるパックされたブロックは、相対画素位置情報ｘに基づく画素位置のソーティング処理が実行されたブロックであり、１／２空間間引きと時間間引きがなされ、かつ水平方向の画素位置が画素位置情報ｘに基づいてソートされたパックブロックである。これは、例えば、先に説明した図２７（Ｂ）において示すパックブロックである。

このブロックの内部の画素、例えば図２７（Ｂ）におけるパックブロックの画素Ｐ００〜ＰＡ３は、図２５に示した動画像変換装置におけるブロック内画素ソーティングパック処理部３７４においてパックされた４フレーム分の画素Ｐ００〜ＰＡ３である。ブロック内画素ソーティングアンパック処理部５７３はこれらの画素Ｐ００〜ＰＡ３を４フレーム分のブロックに拡張することでフレーム数を４倍にする。すなわち、図２７（Ｂ）に示すパックブロックがブロック内画素ソーティングアンパック処理部５７３の入力であり、ブロック内画素ソーティングアンパック処理部５７３は図２７（Ｂ）に示すパックブロックを４フレーム分に拡張して図２６に示すフレーム１〜４のブロックを生成し出力する。このブロック内画素ソーティングアンパック処理５７３の構成および処理について図５２を参照して説明する。

図５２に示すブロック内画素ソーティングアンパック処理５７３は、前述の空間方向間引きのみが行われたブロックのためのブロック内画素ソーティングアンパック処理部５５３と同様の構成を有している。

図５２に示すブロック内画素ソーティングアンパック処理部５７３は、動画像変換装置において説明した図２２に示すブロック内画素ソーティングパック処理部の処理を逆に行い、画素位置変化の補正が行われたブロックを元に戻す処理を行う。

このブロック内画素ソーティングアンパック処理部５７３の実行する処理について、図５３を参照して説明する。図５３（Ａ）は、相対画素位置ｘに基づくソーティンングを伴うパック処理によって生成されたパックブロック、すなわちソート後パックブロックであり、図２７（Ｂ）のパックブロックに相当する。図５３（Ｂ）は相対画素位置ｘに基づくソーティンングを行なう前の初期的なパックブロック、すなわちソート前パックブロックであり、図２７（Ａ）のパックブロックに相当する。

図５３（Ｃ）は、前述の空間間引きされパックされる前のブロックを示すブロックであり、図２６の各フレーム対応の間引きされたブロックデータに相当する。図５２に示すブロック内画素ソーティングアンパック処理５７３は、図５３（Ａ）のパックブロックに基づいて、図５３（Ｃ）の各フレーム対応の空間間引きデータからなるブロックを復元する。

ブロック内画素ソーティングアンパック処理部５７３に入力される図５３（Ａ）に示すソート後パックブロックを、図５３（Ｃ）に示す４フレームの各ブロックに戻すには、まず、ソーティング前の初期的なパックブロック、すなわち、図５３（Ｂ）に示すソート前パックブロックに戻すことが必要である。図５３（Ｂ）に示すソート前パックブロックから図５３（Ｃ）に示すフレーム対応のブロックに戻す処理は、予め定められたアンパック処理のルールに基づいて実行される。

図５３（Ａ）に示すソート後パックブロックを、図５３（Ｂ）に示すソート前の初期的なパックブロックに戻す処理について説明する。まず、図５２に示すブロック内画素ソーティングアンパック処理部５７３のブロック内画素相対位置算出部５８２は、入力されたサイド情報から、サイド情報に含まれるブロックの移動速度ｖを抽出し、ブロック内画素相対位置算出部５８２において、前述の数式２、すなわち、
ｖ：処理対象画像の移動速度，ｖ＝ピクセル／フレーム
ｍ：処理対象となった元画像のフレーム番号，ｍ＝０，１，２，・・
ｎ：パックブロックのブロック番号（０，１，２・・）
ｐ：パックブロックにおけるブロック内相対位置
としたとき、パックブロックに設定される各画素列の元画像における相対画素位置ｘを、
ｘ＝ｍ×ｖ＋４×ｎ＋ｐ
として求める数式２に基づいて、先頭のパックされたブロックからの元画像上での相対画素位置ｘを求め、この算出した相対画素位置ｘをブロック内画素相対位置保存部５８３に格納する。

相対位置ソーティング部５８４は、この相対画素位置ｘを相対画素位置ｘの値に基づいてソート処理を行なう。図５４（１）に相対位置ソーティング部５８４の実行する相対画素位置ｘのソート処理例を示す。図５４（１ａ）に示す相対画素位置ｘの算出データは、動画像変換装置におけるソーティングパック処理に際して算出した相対画素位置ｘと同一の値となる。すなわち、図５３（Ｂ）に示すソート前パックブロックの各画素列対応の相対画素位置ｘと同一の値となる。パック処理に際しては、この図５３（Ｂ）に示す相対画素位置ｘを、例えば昇順にソートして図５３（Ａ）に示すソートされたパックブロックを生成していた。

アンパック処理部５７３では、まず、相対位置ソーティング部５８４において、図５４（１ａ）に示す相対画素位置ｘを相対画素位置ｘの値に基づいてソート処理を行なう。ソート処理の実行に際して、各相対画素位置ｘに対応する位置データとして、ブロック位置情報を対応付けておく。図５４（１ａ）に示す相対画素位置ｘの下部に示す１〜７のデータである。

相対位置ソーティング部５８４では、相対画素位置ｘを相対画素位置ｘの値に基づいてソート処理を行なう際、このブロック位置情報を対応付けたままソートする。ソート結果が、図５４（１ｂ）に示す結果となる。

次に、相対位置ソーティング部５８４のソート結果として得られたブロック位置情報をパックブロックソーティング部５８５に入力し、パックブロックソーティング部５８５は、ブロック保存部５８１から入力する連続ブロックについて、このブロック位置情報をブロックの各画素列に対応付けて、このブロック位置情報に基づくソート処理を実行する。図５４（２ａ）のバックブロックをブロック位置情報に基づいてソートする。

このソート処理の結果、ブロック位置情報＝３と４が入れ替えられることになる。結果として、図５４（２ｂ）に示すソート結果が得られる。このソート結果は、図５３（Ｂ）に示すソート前パックブロックと同一の画素配置を有する。パックブロックソーティング部５８５は、このソート結果として得られたパックブロックをアンパック処理部５８６に出力する。

このように、アンパック処理部５７３では、まず、パック処理部３７４と同様、ブロックの移動速度ｖから、画素相対位置ｘを算出する。次に、画素相対位置ｘにブロック位置情報を対応付けて相対画素位置ｘのソートを実行し、このソート処理によって得られたブロック位置情報をパックブロックに対応付けてブロック位置情報に基づいて、パックブロックのソートを実行することで、ソート前のパックブロックを取得する。

アンパック処理部５８６は、前述のアンパック処理部５７５と同じ処理を行い、元のフレームレートにブロックを変換する。なお、上述した処理例は元画像が左に動いている場合についての処理例であるが、相対位置ソーティング部５８４におけるソーティング時に、相対画素位置ｘをキーとして昇順または降順にソーティングを行うことにより、元画像が右に動いている場合でも同様の処理によって対応できる。また、垂直方向に動いているブロックを処理対象とする場合には、上述したソート処理を上下方向に実行して、画素行のソーティングを垂直方向の相対位置ｙをキーとして行なう設定とした処理によって対応できる。

なお、上述のソーティング手法は、特定の手法に依存しないので、クイックソートやマージソート等の既存の手法を用いればよい。

［画素交換を使用したアンパック処理の詳細説明］
先に、動画像復元装置の説明において図２８〜図４３を参照してブロックに対応する移動速度ｖに基づいて予め定めた画素交換規則を適用して画素交換を行いパックブロックを生成する処理について説明したが、以下、このパック処理に対応して動画像復元装置側で実行するアンパック処理（以降、画素列交換アンパック）について説明する。

図２８〜図４３を用いて説明されたパック処理においては、相対画素位置ｘの値に基づくソーティング処理を実行することなく、パックブロックにおける画素列を交換することにより、パックブロックの画素を、元画像の相対的な画素位置と同様の配置にする処理を行っている。動画像復元装置側で、このパックブロックを、画素位置補正を行なう前の初期的なパックブロックに戻すにはパック処理側で行われた画素列の交換処理と逆の処理を行う。

［空間方向間引が行われたブロックの画素列交換に基づくアンパック処理］
まず、図８に示した動画像変換装置におけるパック処理部ａ１４１に対応するアンパック処理を行なうのは、図４５に示す動画像復元装置のブロック処理部５３０におけるアンパック処理部ａ５３２である。アンパック処理部ａ５３２の構成および処理について、図５５を参照して説明する。図５５のアンパック処理部ａ５３２は、図８に示した動画像変換装置におけるパック処理部ａ１４１、すなわち図１９に示すパック処理部ａ１４１においてパック処理のなされたパックブロックのアンパックを実行する。

アンパック処理部ａ５３２の入力は、ブロック分配部５３１から出力されたブロック、すなわち、図８に示した動画像変換装置におけるパック処理部ａ１４１において４フレームから得られた４つのブロックを１つにパックしたブロックである。すなわち空間方向間引きのみがなされた間引きデータに対応するパックブロックである。

このパックブロックは、先に、図１９を参照して説明した通り、図１９におけるブロック内画素ソーティングパック処理部３５４、３５５、パック処理部３５６において、４フレームから得られた４つのブロックを１つにパックしたブロックである。

アンパック処理部ａ５３２に入力された、パックされたブロックは、ブロック分配部５３１に入力される。入力されたブロックは、サイド情報と共に、ブロック分配部内の図示されないブロック・サイド情報保存部に蓄えられる。ブロック分配部５３１は蓄えられたブロックのうち、左右方向に動いているブロックは水平方向１／４間引き連続ブロック抽出部６０１へ、上下方向に動いているブロックは垂直方向１／４間引き連続ブロック抽出部６０２へ出力する。この時、出力されたブロックに対応するブロックのサイド情報もペアで出力される。

水平方向１／４間引き連続ブロック抽出部６０１は、水平方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素−画素列交換アンパック処理部６０３へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルもペアで出力される。また、連続していないブロックはアンパック処理部６０５へ出力する。

同様に垂直方向１／４間引き連続ブロック抽出部６０２は、垂直方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素−画素列交換アンパック処理部６０４へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルもペアで出力される。また、連続していないブロックはアンパック処理部６０５へ出力する。

これらのブロック分配部５３１と水平方向１／４間引き連続ブロック抽出部６０１と垂直方向１／４間引き連続ブロック抽出部６０２による、ブロックの分配結果は、図８と図２４を用いて説明されたパック処理における分配結果と同一になることが望ましい。

アンパック処理部６０５に入力されるパックされたブロックは、図９において示すブロック２２５に相当するブロックである。このブロックの内部の１×４画素、例えば図９におけるブロック２２５の画素２３５は、図１９に示した動画像変換装置におけるパック処理部３５６においてパックされた４フレーム分の画素ｐ１〜ｐ４である。アンパック処理部５５５はこの４つの画素ｐ１〜ｐ４を４フレーム分のブロックに拡張することでフレーム数を４倍にするアンパック処理を行い、ブロック合成部５３５へ出力する。

ブロック内画素−画素列交換アンパック処理部６０３は、ブロックの移動速度ｖに基づいて予め設定された画素交換規則に従って画素列交換処理のなされたパックブロックである。ブロック内画素−画素列アンパック処理部６０３は、これらのパックブロックに対して、アンパック処理を行い、ブロック合成部５３５へ出力する。ブロック内画素−画素列交換アンパック処理部６０３の構成および処理について、図５６を参照して説明する。

図５６に示すブロック内画素−画素列交換アンパック処理部６０３は、入力された画素位置補正が行われたパックされたブロックをブロック保存部６２１に一旦保存する。続いて、ブロック分配部６２３において、入力されたサイド情報からサイド情報に含まれるブロックの移動速度ｖを抽出し、移動速度ｖから求められる画素列交換フラグに従って、アンパック処理対象のパックブロックを各ブロック内画素列交換アンパック処理部６２４〜６２６へ分配する。分配条件はパック時と同じことが望ましい。

先に説明したパックブロックの生成時の条件は、図３０に示した条件である。アンパック処理部６０３は、この条件に合わせた処理を行なう。すなわち、移動速度ｖから求められる画素列交換フラグ（Ａ〜Ｄ）に従って、ブロック内画素−画素列交換アンパック処理部６２４〜６２６へ以下のように分配する。
（１）０≦ｖ＜２．７５→フラグＡ→アンパック処理部Ａ６２４
（２）２．７５≦ｖ＜４．０→フラグＢ→アンパック処理部Ｂ６２５
（３）４．０≦ｖ＜６．０→フラグＣ→アンパック処理部Ｃ６２６
（４）６．０≦ｖ→フラグＤ→アンパック処理部Ｃ６２６

ブロック内画素列交換アンパック処理部Ａ６２４〜Ｃ６２６へ分配されたブロックは、ブロック内画素列交換アンパック処理部Ａ６２４〜Ｃ６２６内で、パック時と逆の画素列交換処理が行われ、画素順が元にもどされる。その後、画素位置補正前かつパック後のブロックとして出力される。

ブロック内画素列交換アンパック処理部Ａ６２４に入力されるパックブロックは、１／４空間方向間引き処理が実行され、図３１に示すパック処理部４０２において、前述の図９に示すパック処理手法に従ってパック処理が行われ、さらに、図３１に示すブロック内画素−画素列交換処理部Ａ４０４において画素列交換のなされたパックブロックであり、移動速度ｖが、
０≦ｖ＜２．７５
の範囲にあるパックブロックである。

ブロック内画素列交換アンパック処理部Ｂ６２５に入力されるパックブロックは、１／４空間方向間引き処理が実行され、図３１に示すパック処理部４０２において、前述の図９に示すパック処理手法に従ってパック処理が行われ、さらに、図３１に示すブロック内画素−画素列交換処理部Ｂ４０５において画素列交換のなされたパックブロックであり、移動速度ｖが、
２．７５≦ｖ＜４．０
の範囲にあるパックブロックである。

ブロック内画素列交換アンパック処理部Ｃ６２６に入力されるパックブロックは、１／４空間方向間引き処理が実行され、図３１に示すパック処理部４０２において、前述の図９に示すパック処理手法に従ってパック処理が行われ、さらに、図３１に示すブロック内画素−画素列交換処理部Ｃ４０６において画素列交換のなされたパックブロックであり、移動速度ｖが、
４．０≦ｖ
の範囲にあるパックブロックである。

ブロック内画素列交換アンパック処理部Ａ６２４、ブロック内画素列交換アンパック処理部Ｂ６２５、ブロック内画素列交換アンパック処理部Ｃ６２６各々の構成および処理について、図５７以下を参照して説明する。図５７に示すように、ブロック内画素列交換アンパック処理部Ａ６２４、ブロック内画素列交換アンパック処理部Ｂ６２５、ブロック内画素列交換アンパック処理部Ｃ６２６は、それぞれ異なる態様の画素交換規則に従った画素列交換処理を実行する１以上の画素列交換処理部α６４１〜ζ６４６の組み合わせによって構成される。各画素列交換処理部α６４１〜ζ６４６は、それぞれが異なる画素列交換規則に従った画素列交換処理を実行する。

これらの各画素列交換処理部α６４１〜ζ６４６の各々は、先に動画像変換装置の説明において示した図３２に示す各画素列交換処理部α４１１〜ζ４１６と同様の処理を実行する。すなわち、
各画素列交換処理部α６４１は、図３３を参照して説明した画素交換規則に従った画素交換処理、
各画素列交換処理部β６４２は、図３４を参照して説明した画素交換規則に従った画素交換処理、
各画素列交換処理部γ６４３は、図３５を参照して説明した画素交換規則に従った画素交換処理、
各画素列交換処理部δ６４４は、図３６を参照して説明した画素交換規則に従った画素交換処理、
各画素列交換処理部ε６４５は、図３７を参照して説明した画素交換規則に従った画素交換処理、
各画素列交換処理部ζ６４６は、図３８を参照して説明した画素交換規則に従った画素交換処理、
これらの処理を各々実行する。

図５７の処理構成は、図３２に示す構成と逆順の処理を実行する構成となっている。このように、ブロック内画素列交換アンパック処理部Ａ６２４、ブロック内画素列交換アンパック処理部Ｂ６２５、ブロック内画素列交換アンパック処理部Ｃ６２６各々は、前述のパック処理時の構成を示す図３２と逆の処理を行うことによりパックブロックの画素順を元に戻す処理を行なう。

アンパック処理部６２７は、図５１に示すアンパック処理部５７５と同様の処理、すなわち、図９において示すブロック２２５を各ブロック内画素列交換アンパック処理部から入力して、４つの画素ｐ１〜ｐ４を４フレーム分のブロックに拡張することでフレーム数を４倍にするアンパック処理を行い、ブロック合成部５３５へ出力する。

なお、動画像変換装置におけるパック処理と同様、各画素交換規則を適用した処理例は、元画像が左に動いている場合の処理例である。右に動いている場合は、処理の方向を変更することで対応可能である。また、画像が、垂直方向に動いているブロックを処理対象とする場合は、画素列交換処理部α〜ζ画素列交換処理を、９０度回転して、各ブロックの行の交換を実行する構成とすればよい。例えば、左方向を上方向、右方向を下方向に変えることにより、同様の画素交換によって、元画像の相対位置に対応した画素配置を持つパックブロックを生成することができる。

［空間方向間引きと時間方向間引きが行われたブロックの画素列交換に基づくアンパック処理］
続いて、空間方向間引きと時間方向間引きが行われたブロックに対応するパックブロックに対するアンパック処理、すなわち、図８に示す動画像変換装置におけるパック処理部ｃ１４３において、上述と同様、移動速度ｖに応じて、所定の画素列交換規則を適用して生成されたパックブロックについてのアンパック処理について、図５８を参照して説明する。

空間方向間引きと時間方向間引きが行われたブロックのパック処理についても、空間方向間引きのみが行われたブロックと同様、移動速度ｖに応じて予め定めた画素交換処理によって、パックブロックの画素配置を元画像の画素配置の相対位置関係と同様の位置に設定する処理を行うことができることを、図３９〜図４３を参照して説明した。以下、このようなパックブロックに対して実行するアンパック処理について説明する。

アンパック処理部ｃ５３４の入力は、ブロック分配部５３１から出力されたブロック、すなわち、図８に示した動画像変換装置におけるパック処理部ｃ１４３において４フレームから得られた４つのブロックを１つにパックしたブロックである。すなわち、空間方向と時間方向の間引き処理結果に基づいて生成されたパックブロックであり、ブロック対応の移動速度ｖに基づく画素交換規則に従って画素交換のなされたパックブロックである。

このパックされたブロックは。図４０に示すパック処理部ｃ１４３におけるブロック内画素−画素列交換パック処理部４３５、４３６、パック処理部４３７において、４フレームから得られた４つのブロックを１つにパックしたブロックである。

アンパック処理部ｃ５３４に入力された、パックされたブロックは、ブロック分配部５３１に入力される。入力されたブロックは、サイド情報と共に、ブロック分配部内の図示されないブロック・サイド情報保存部に蓄えられる。ブロック分配部５３１は蓄えられたブロックのうち、左右方向に動いているブロックは水平方向１／２間引き連続ブロック抽出部６５１へ、上下方向に動いているブロックは垂直方向１／２間引き連続ブロック抽出部６５２へ出力する。この時、出力されたブロックに対応するブロックのサイド情報もペアで出力される。

水平方向１／２間引き連続ブロック抽出部６５１は、水平方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素−画素列交換アンパック処理部６５３へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルもペアで出力される。また、連続していないブロックはアンパック処理部６５５へ出力する。

同様に垂直方向１／２間引き連続ブロック抽出部６５２は、垂直方向に２ブロック以上連続しているブロックを検出し、２ブロック以上連続しているブロックをブロック内画素−画素列交換アンパック処理部６５４へ出力する。この時、出力されたブロックに対応するブロックの動きベクトルもペアで出力される。また、連続していないブロックはアンパック処理部６５５へ出力する。

これらのブロック分配部５３１と水平方向１／２間引き連続ブロック抽出部６５１と垂直方向１／２間引き連続ブロック抽出部６５２による、ブロックの分配結果は、図８と図４０を用いて説明されたパック処理における分配結果と同一になることが望ましい。

アンパック処理部６５５に入力されるパックブロックは、図１０において示すブロック２４５である。このブロックの内部の１×２画素、例えば図１０におけるブロック２４５の画素２５５は、図２５に示した動画像変換装置におけるパック処理部３７６においてパックされた４フレーム分の画素ｐ１、ｐ３である。アンパック処理部６５５はこの２つの画素ｐ１、ｐ３を４フレーム分のブロックに拡張することでフレーム数を２倍にして、ブロック合成部５３５へ出力する。

ブロック内画素−画素列交換アンパック処理部６５３は、ブロックの移動速度ｖに基づいて予め設定された画素交換規則に従って画素列交換処理のなされたパックブロックである。ブロック内画素−画素列アンパック処理部６５３は、これらのパックブロックに対して、アンパック処理を行い、ブロック合成部５３５へ出力する。ブロック内画素−画素列交換アンパック処理部６５３の構成および処理について、図５９を参照して説明する。

図５９に示すブロック内画素−画素列交換アンパック処理部６５３は、入力された画素位置補正が行われたパックされたブロックをブロック保存部６６１に一旦保存する。続いて、ブロック分配部６６３において、入力されたサイド情報からサイド情報に含まれるブロックの移動速度ｖを抽出し、移動速度ｖから求められる画素列交換フラグに従って、アンパック処理対象のパックブロックを各ブロック内画素列交換アンパック処理部６６４〜６６５へ分配する。分配条件はパック時と同じことが望ましい。

先に説明したパックブロックの生成時の条件は、図４１に示した条件である。アンパック処理部６５３は、この条件に合わせた処理を行なう。すなわち、移動速度ｖから求められる画素列交換フラグ（Ｅ，Ｆ）に従って、ブロック内画素−画素列交換アンパック処理部６６４〜６６５へ以下のように分配する。
（１）０≦ｖ＜１．５→フラグＥ→アンパック処理部Ｅ６６４
（２）１．５≦ｖ＜２．０→フラグＢ→アンパック処理部Ｆ６６５

ブロック内画素列交換アンパック処理部６６４、６６５へ分配されたブロックは、ブロック内画素列交換アンパック処理部６６４、６６５内で、パック時と逆の画素列交換処理が行われ、画素順が元にもどされる。その後、画素位置補正前かつパック後のブロックとして出力される。

ブロック内画素列交換アンパック処理部Ｅ６６４に入力されるパックブロックは、１／２空間方向および時間方向間引き処理が実行され、図３１に示すパック処理部４０２において、前述の図１０に示すパック処理手法に従ってパック処理が行われ、さらに、図４２に示すブロック内画素−画素列交換処理部Ｅ４４４において画素列交換のなされたパックブロックであり、移動速度ｖが、
０≦ｖ＜１．５
の範囲にあるパックブロックである。

ブロック内画素列交換アンパック処理部Ｆ６６５に入力されるパックブロックは、１／２空間方向および時間方向間引き処理が実行され、図３１に示すパック処理部４０２において、前述の図１０に示すパック処理手法に従ってパック処理が行われ、さらに、図４２に示すブロック内画素−画素列交換処理部Ｆ４４５において画素列交換のなされたパックブロックであり、移動速度ｖが、
１．５≦ｖ＜２．０
の範囲にあるパックブロックである。

ブロック内画素列交換アンパック処理部Ｅ６６４、ブロック内画素列交換アンパック処理部Ｆ６６５各々の構成および処理について、図６０以下を参照して説明する。図６０に示すように、ブロック内画素列交換アンパック処理部Ｅ６６４、ブロック内画素列交換アンパック処理部Ｆ６６５は、それぞれ異なる態様の画素交換規則に従った画素列交換処理を実行する１以上の画素列交換処理部α６４１〜β６４２の組み合わせによって構成される。各画素列交換処理部α６４１〜β６４２は、それぞれが異なる画素列交換規則に従った画素列交換処理を実行する。

これらの各画素列交換処理部α６４１〜β６４２の各々は、先に動画像変換装置の説明において示した図４３に示す各画素列交換処理部α４１１〜β６４２と同様の処理を実行する。すなわち、
各画素列交換処理部α６４１は、図３３を参照して説明した画素交換規則に従った画素交換処理、
各画素列交換処理部β６４２は、図３４を参照して説明した画素交換規則に従った画素交換処理、
これらの処理を各々実行する。

図６０の処理構成は、図４３に示す構成と逆順の処理を実行する構成となっている。このように、ブロック内画素列交換アンパック処理部Ｅ６５４、ブロック内画素列交換アンパック処理部Ｆ６５５の各々は、前述のパック処理時の構成を示す図４３と逆の処理を行うことによりパックブロックの画素順を元に戻す処理を行なう。

アンパック処理部６６６は、図５８に示すアンパック処理部６５５と同様の処理、すなわち、図１０において示すブロック２４５を各ブロック内画素列交換アンパック処理部から入力して、２つの画素ｐ１、ｐ３を４フレーム分のブロックに拡張することでフレーム数を２倍にして、ブロック合成部５３５へ出力する。

なお、動画像変換装置におけるパック処理と同様、各画素交換規則を適用した処理例は、元画像が左に動いている場合の処理例である。右に動いている場合は、処理の方向を変更することで対応可能である。また、画像が、垂直方向に動いているブロックを処理対象とする場合は、画素列交換処理部α〜ζ画素列交換処理を、９０度回転して、各ブロックの行の交換を実行する構成とすればよい。例えば、左方向を上方向、右方向を下方向に変えることにより、同様の画素交換によって、元画像の相対位置に対応した画素配置を持つパックブロックを生成することができる。

［（４）本発明に従った、低フレームレートデバイスのための動画像伸張処理を実行する装置および方法］
次に、低フレームレートデバイスのための動画像伸張処理を実行する装置および方法について説明する。

先の項目［（３）本発明に従った動画像伸張処理を実行する装置および方法］において説明した実施例は、復号側の表示デバイスが高フレームレート表示に対応している場合に、最適な復元画像を表示デバイスに表示することが可能である。しかしながら、表示デバイスが高フレームレートに対応しているデバイスでない場合には、高フレームレートの画像データを低フレームレートの画像データに対応させることが必要となる。

以下では、このような動画像伸張処理を実行する装置および方法について説明する。なお、この実施例で説明する動画像復元装置も、先に、［（２）本発明に従った動画像圧縮処理を実行する装置および方法］において説明した処理に従って生成されたデータ、すなわち、ブロックの移動量に応じた空間間引き、時間方向間引き処理を実行した圧縮符号化データについての復号、伸張処理を実行する。

先に、［（２）本発明に従った動画像圧縮処理を実行する装置および方法］において説明したパック処理、すなわち、「パック後画像の画素位置の変化を補正しパック処理後の画素順を元画像に近づけたパック処理」では、パック処理後の画素順を元画像に近づける処理を実行して、ＭＰＥＧなどのデータ圧縮処理における圧縮率を向上させていることを説明した。上述した動画像変換装置におけるパック処理は元画像のフレームレートＲの動画像をＲ／Ｍにするとともに、画素位置の補正処理によりパック後の画素順を元画像に近い位置としたパックブロックを生成している。なお、入力した動画像のオリジナルフレームレートがＲ、パック処理部においてまとめるフレーム数がＭである。

従って、上述した動画像変換装置において実行されるパック処理後のパックブロックとして出力される動画像の各フレームは、フレームレートＲの動画像をＲ／Ｍに間引いた時のフレームに近い画像になっていることになる。

本実施例における動画像復元装置の構成および処理について、図６１以下を参照して説明する。図６１は、本実施例に係る動画像復元装置の概略構成を示すブロック図である。

図６１に示す動画像復元装置は、符号化された動画像データおよびサイド情報を入力して、復号部７１０にて復号する。符号化された動画像データは、前述した相対画素位置ｘに基づくソート処理あるいは移動速度ｖに基づく画素交換処理を適用して生成されたパックブロックを含むブロックの符号化データであり、サイド情報は、各ブロックに対応する間引き、パック処理などの処理態様を示すブロック分配フラグ、移動量情報を含むデータである。

復号部７１０は、例えばＭＰＥＧ、Ｍｏｔｉｏｎ Ｊｐｅｇ等の一般的な符号化手法により符号化された符号化データの復号処理により、動画像データの復号処理を実行する。また、サイド情報については、例えばＬＺＨ、Ｚｉｐ等の一般的な符号化手法により符号化された符号化データの復号処理を行なう。もちろん、各々の復号処理態様は符号化側の符号化態様と対応する処理とされる。

ブロック分割部７２０は、復号された動画像の各フレームを、所定画素の区分領域としてのブロックに分割し、復号されたサイド情報と共にブロック処理部５８０３に供給する。この時のブロックサイズは符号化時にブロック分割されたサイズと合せておかなければならない。

ブロック処理部７３０は、符号化側のパック処理によりＲ／Ｍにフレームレートを変換されたブロックを所望のフレームレートに変換し、フィルタ処理により人間の視覚的な不自然さを除去し、復号された動画像として出力する。この時、各ブロックにおけるフレームレート変換処理およびフィルタ処理は、復号部７１０により復号されたサイド情報に基づいて、適切な処理を行うことが望ましい。また、ブロック処理部７３０から出力される復号された動画像は、元動画像に近い動画像である。

本実施形態の動画像復元装置における復号部７１０およびブロック分割部７２０およびブロック処理部７３０の構成について、図６２を参照して説明する。図６２は本実施形態における復号部７１０およびブロック分割部７２０およびブロック処理部７３０の構成を示すブロック図である

動画像復元装置に入力された符号化された動画像およびサイド情報は、復号部７１０内の動画像復号部７１１によって動画像が、サイド情報復号部７１２によってサイド情報が、復号される。復号された動画像、サイド情報はブロック分割部７２０においてある大きさのブロック、例えば８ｐｉｘｅｌ×８ｐｉｘｅｌや１６ｐｉｘｅｌ×１６ｐｉｘｅｌ等のブロックに分解され、ブロック分割部７２０内の図示されない保存領域に１フレーム分保存される。１フレーム分復号され分割された動画像およびサイド情報は、ブロック処理部７３０のブロック分配部７３１に送られる。

ブロック分配部７３１は、各ブロックに対して異なるフレームレート処理を行うフレームレート変換処理部７３２〜７３４へブロックを振り分ける処理を実行する。ブロック分配部７３１の入力は、復号部７１０から出力されてきたサイド情報と、ブロック分割部７２０から出力されるブロックに分割された１フレーム分の画像データである。

図６２には、ブロック分配部７３１が、入力された１フレーム分のブロックをサイド情報に従って分配するフレームレート変換処理部７３２〜７３４を３つ示してあるが、フレームレート変換処理部の構成数は、この数に限定されるものではない。例えば、より細かくブロックを区分して各区分ブロック毎に対応した処理を行なう場合は、フレームレート変換処理部を増やしてもよいし、また、簡略化して１つのフレームレート変換処理部で処理を行う構成でもかまわない。

サイド情報には、先に説明したように、動画像変換装置側の処理態様、すなわち、図８におけるブロック処理部１３１〜１３３およびパック処理部１４１〜１４３のいずれの処理部での処理が行なわれたかを示すブロック分配フラグが含まれている。ブロック分配部７３１は、この分配フラグに基づいて、ブロックをフレームレート変換処理部７３２〜７３４に振り分ける。ブロック処理部１３１で空間方向間引き処理がなされたブロックはフレームレート変換処理部７３２、ブロック処理部１３２で時間方向間引き処理がなされたブロックはフレームレート変換処理部７３３、ブロック処理部１３３で空間および時間方向間引き処理のなされたブロックはフレームレート変換処理部７３４へ振り分けられる。

フレームレート変換処理部７３２〜７３４は、符号化側のパック処理によりＲ／Ｍにフレームレートを変換されたブロックを入力し、入力されたブロックにフレームレート変換処理およびフィルタ処理を行うことにより所望のフレームレートのブロックに変換する。本実施例では、図８に示す動画像変換装置におけるパック処理部１４１でパックされたブロックはフレームレート変換処理部７３２、パック処理部１４２でパックされたブロックはフレームレート変換処理部７３３、パック処理部１４３でパックされたブロックはフレームレート変換処理部７３４においてフレームレート変換処理およびフィルタ処理が行われる。

フレームレート変換処理部７３２〜７３４において所望のフレームレートに変換されたブロックは、ブロック合成部７３５により所望のフレームレートを持つフレーム画像へ合成される。一実施例として６０ｆｐｓのフレーム画像へ合成する場合について説明する。つまり、ブロック合成部７３５は、低フレームレートデバイスにおいても表示可能なフレームレート動画像を生成して出力することにある。

フレームレート変換処理部７３２〜７３４は、それぞれ、図８に示した動画像変換装置におけるパック処理部ａ１４１〜ｃ１４３によって生成されたパックブロックに対応した処理を実行する。すなわち、パック処理部ａ１４１〜ｃ１４３によってパック処理されたブロックのフレームレート変換処理を行う。

図６３に、フレームレート変換処理部７３２〜７３４の構成を示す。フレームレート変換処理部７３２〜７３４の入力は、ブロック分配部７３１から出力されたブロック、すなわち、図８に示した動画像変換装置におけるパック処理部において４フレームから得られた間引き処理データに基づく４つのブロックを１つにパックしたブロックであり、前述の相対画素位置ｘに基づくソーティング処理あるいはブロック対応の移動速度ｖに基づく画素位置交換規則に従って、パックブロック中の画素位置を元画像における画素位置と相対的に同じ配列としたパックブロックである。

すなわち、入力した動画像のオリジナルフレームレートをＲ、パック処理部において１つにまとめるフレーム数をＭとした場合、フレームレートがＲ／Ｍに変換されたパックブロックである。このパックブロックは、変換後のフレームレートＳとの比較により異なった処理がなされる。

Ｒ／Ｍ＞＝Ｓの場合、フレームレート変換処理部へ入力されたブロックはブロック保存部７５２へ入力され、保存される。Ｒ／Ｍ＜Ｓの場合、入力されたブロックはブロック移動処理部７５１とブロック保存部７５２の双方へ入力される。

ブロック移動処理部７５１では、Ｒ／Ｍ＜Ｓの時に入力されたブロックでは足りないフレーム上のブロックを、サイド情報から得られる入力されたブロックの移動速度および方向を用いて入力されたブロックを移動させることにより生成し、新しいブロックとしてブロック保存部７５２へ出力する。

ブロック移動処理部７５１での処理の具体例を図６４を参照して説明する。Ｓ＝（Ｒ／Ｍ）×２の場合を例として説明する。ブロック移動処理部７５１に入力されたブロックを８５１、８５２とし、各ブロック８５１，８５２のフレームをＰフレーム８１１、Ｐ＋１フレーム８１２とした時、Ｒ／Ｍ＜Ｓの場合、出力画像をフレームレートＳとするためには、入力されたフレーム数をＳまで、増やす必要がある。

図６４に示す画像の場合、Ｓ＝（Ｒ／Ｍ）×２であるので、フレームＰ８１１、フレームＰ＋１８１２の間にフレームＰ＋０．５，８１３としての中間フレームを増やす必要がある。

そこで、ブロック移動処理部７５１は入力されたブロックに基づいて、新しいフレームを生成し、生成フレームにブロックを設定する。サイド情報から得られる入力ブロックに対応する移動速度および方向を用いてブロック移動量分だけ移動させたブロックを生成フレームに設定する。図６４（Ｂ）がブロック移動量分だけ移動させたブロックを新規生成フレーム８２３として追加して生成したフレームレートＳの画像に相当する。

すなわち、フレーム８２１上のブロック８５１を、ブロック対応の移動量８７１分だけ移動させた追加フレーム８２３を生成する。追加フレーム８２３には、フレーム８２１上の入力されたブロック８５１を移動量８７１分だけ移動させたブロック８７２が示されている。

なお、サイド情報から得られる入力されたブロックの移動速度は変換後のフレームレートの速度に合せて補正されていなければならない。本実施例では、出力するフレームレートＳの画像において、フレームＰ８２１、フレームＰ＋１，８２２は、入力フレームＰ８１１、フレームＰ＋１，８１２と同様のフレームとして設定し、各々のフレーム上のブロック８６１、８６２は、入力ブロック８５１，８５２と同じものとした。

生成されたブロック８７２は、新しいブロックとしてブロック保存部７５２において、フレーム順に保存され、フィルタ処理部７５３において視覚的な不自然さを除去する。フィルタ処理部７５３では、Ｒ／Ｍ＜Ｓの場合、フレームを時間軸方向にフィルタリングすることによりフレームを間引き、変換後のフレームレートＳへの変換も行う。

フィルタ処理部７５３においては主にローパスフィルタが用いられるが、本実施例においてはローパスフィルタの特別な場合であるブラー処理、すなわちぼかし処理を行った。本実施例におけるブラー処理は、下式（数式３）に従って、入力画素値から出力画素値算出する処理として実行される。

上記式において、ｉｎ（）はブロック保存部７５２から出力されたフィルタ処理部７５３の入力画素、ｏｕｔ（）は出力画素、ｆはフレーム番号ｘ、ｙはフレーム内画素座標値、ｍｏｄは剰余演算子である。

なお、フィルタ処理部７５３のフィルタ処理は、空間方向間引きの実行されたブロック、すなわち、図６２に示すフレームレート変換処理部ａ７３２と、フレームレート変換処理部ｃ７３４に対して入力されたブロックのみを対象としてよい。フレームレート変換処理部７３３（図６２参照）に入力されるブロックについては、ブロックの移動量が、水平方向、垂直方向の移動量がともに１ピクセル未満のブロックであるため、Ｎフレームにわたるブロックの移動量が小さく、またパック処理も時間方向のフレーム間引きのみブロックに基づくパック処理が行われているため、フィルタ処理の必要性はない。なお、フィルタ処理は数式３で示したフィルタ処理以外のローパスフィルタ処理でも問題はない。

以上のように、本実施例の動画像復元装置および方法によれば、動画像データを構成するフレーム毎にブロック分割を行い、各ブロックにおける被写体移動量を検出し、移動量に基づいて決定した態様の空間方向間引き処理または時間方向間引き処理の少なくともいずれかの間引き処理を実行し、元画像と同様の相対位置を持つ画素位置としたパックブロックを入力して復元を行なう構成において、元画像と同様の相対位置を持つ画素位置としたパックブロックに基づいて、出力フレームレートに対応する動画像データを生成する構成としたので、低フレームレートデバイスにおいても出力表示可能な動画像伸張処理を実行することが可能となる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の動画像変換装置および方法によれば、動画像データを構成するフレーム毎にブロック分割を行い、各ブロックにおける被写体移動量に応じて空間方向、時間方向少なくともいずれかの間引き処理を実行し、間引き処理後の画素データを含むパックブロックを生成する構成において、元画像の画素位置に対応した相対位置を持つパックブロックを生成する構成としたので、例えばＭＰＥＧやＭｏｔｉｏｎ ＪＰＥＧ等の符号化処理を行なう際、パックブロックの画像データが元画像に近い滑らかな画像となり、圧縮率を高めた符号化処理が可能となり、間引き処理後のパックブロックに起因する圧縮率低下を抑制することが可能となり、高圧縮率の符号化データを生成することができる。

また、本発明の動画像復元装置および方法によれば、元画像の画素位置に対応した相対的な画素位置を持つパックブロックに基づいて、フレーム順に画素位置を並べた初期パックブロックを復元し、復元した初期パックブロックに基づいて、パック以前の各フレーム対応画素から構成される複数ブロックの生成処理を行なうアンパック処理部を構成したので、上述の動画像変換装置において生成した画素位置の補正されたパックブロックを正しく復元して正確なフレームデータを生成することが可能となる。

超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成を示す図である。 超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成の詳細を示す図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 本発明の動画像変換装置の構成を示す図である。 本発明の動画像変換装置におけるブロック分割手段と、ブロック処理部の構成を示す図である。 動画像変換装置のパック処理部の処理の具体例について説明する図である。 動画像変換装置のパック処理部の処理の具体例について説明する図である。 動画像変換装置の出力部の構成を示す図である。 動画像変換装置の処理対象となる画像データのブロック構成例について説明する図である。 移動する被写体を含むブロックについて説明する図である。 ブロック処理部において空間方向間引き処理が実行された結果を示す図である。 パック処理部によるパック処理結果のデータを示す図である。 上記数式１を用いた相対画素位置ｘの具体的な算出処理例について説明する図である。 相対画素位置ｘを数式１を用いて算出した結果を示す図である。 ブロックを２とした場合の移動速度ｖと相対画素位置ｘとの対応関係グラフを示す図である。 空間方向間引き処理を実行するブロック処理部ａ１３１の間引き処理データについてのパック処理を実行するパック処理部ａ１４１の構成の詳細を示すブロック図である。 ブロック内画素ソーティングパック処理部３５４において処理されるブロックの例について説明する図である。 ブロック内画素ソーティングパック処理部３５５において処理されるブロックの例について説明する図である。 ブロック内画素ソーティングパック処理部３５４の構成および処理について説明する図である。 パックブロックに含められる各フレームの代表画素の相対画素位置ｘの値の算出例について説明する図である。 図２３に示す隣接する２ブロックについての間引き処理結果に対してパック処理を実行して生成した初期的なパックブロックとソート結果の例を示す図である。 パック処理部ｃ１４３の構成、処理について説明する図である。 左方向へ２ピクセル／フレームの速度で移動している場合の横方向の２ブロック（４×８ピクセル分）について、空間方向間引きと時間方向間引きが行われた場合の間引きブロックに対する相対画素位置ｘの算出例を示す図である。 図２６に示す隣接する２ブロックについての間引き処理結果に対してパック処理を実行して生成した初期的なパックブロックとソート結果を示す図である。 隣接ブロック数を４つとした場合の移動速度ｖと相対画素位置ｘとの対応関係グラフを示す図である。 パックブロックの画素位置交換を伴うパック処理（以降、画素列交換パック処理）を実行する場合の、パック処理部１４１の構成と処理について説明する図である。 画素列交換フラグの設定例を示す図である。 ブロック内画素−画素列交換処理部３８５の構成および処理について説明する図である。 ブロック内画素−画素列交換処理部の構成および処理について説明する図である。 画素列交換処理部α４１１の実行する画素列交換処理について説明する図である。 画素列交換処理部β４１２の実行する画素列交換処理について説明する図である。 画素列交換処理部γ４１３の実行する画素列交換処理について説明する図である。 画素列交換処理部δ４１４の実行する画素列交換処理について説明する図である。 画素列交換処理部ε４１５の実行する画素列交換処理について説明する図である。 画素列交換処理部ζ４１６の実行する画素列交換処理について説明する図である。 １／２空間方向間引きと時間方向間引きが行われて生成されるパックブロックについて、同様移動量ｖと相対画素位置ｘとの相関グラフを示す図である。 移動速度ｖに応じて予め定めた画素交換処理によって、パックブロックの画素配置を元画像の画素配置の相対位置関係と同様の位置に設定する処理を行う構成としたパック処理部の構成、処理について示す図である。 画素列交換フラグの設定例を示す図である。 ブロック内画素−画素列交換処理部４３５の構成および処理について説明する図である。 ブロック内画素−画素列交換処理部の構成および処理について説明する図である。 動画像伸張処理を実行する動画像復元装置の構成および処理について説明する図である。 動画像復元装置における復号部５１０およびブロック分割部５２０およびブロック処理部５３０の構成について説明する図である。 ブロック分割部５２０の別の構成例を示す図である。 アンパック処理部ａ５３２の構成および処理について説明する図である。 ブロック内画素ソーティングアンパック処理部５５３の構成および処理について説明する図である。 ブロック内画素ソーティングアンパック処理部５５３の実行する処理について説明する図である。 ブロック内画素ソーティングアンパック処理部５５３の実行する処理について説明する図である。 アンパック処理部ｃ５３４の構成および処理について説明する図である。 ブロック内画素ソーティングアンパック処理５７３の構成および処理について説明する図である。 ブロック内画素ソーティングアンパック処理部５７３の実行する処理について説明する図である。 ブロック内画素ソーティングアンパック処理部５７３の実行する処理について説明する図である。 アンパック処理部ａ５３２の構成および処理について説明する図である。 ブロック内画素−画素列交換アンパック処理部６０３の構成および処理について説明する図である。 ブロック内画素列交換アンパック処理部各々の構成および処理について説明する図である。 アンパック処理部ｃ５３４の構成および処理について説明する図である。 ブロック内画素−画素列交換アンパック処理部６５３の構成および処理について説明する図である。 ブロック内画素列交換アンパック処理部各々の構成および処理について、示す図である。 低フレームレートデバイスのための動画像復元を実行する動画像復元装置の構成および処理について説明する図である。 動画像復元装置における復号部７１０およびブロック分割部７２０およびブロック処理部７３０の構成について説明する図である。 フレームレート変換処理部７３２〜７３４の構成を示す図である。 ブロック移動処理部７５１での処理の具体例を示す図である。

符号の説明

１０ 画像変換装置
１１ ブロック分割部
１２ 移動量検出部
１３ ブロック処理部
１４ 出力部
２１ 画像蓄積部
２２ ブロック分割部
３１ 移動量検出部
３２ ブロック分配部
５１〜５３ ブロック処理部
１００ 動画像変換装置
１１０ ブロック分割部
１１１ 画像蓄積部
１１２ ブロック分割部
１２０ 移動量検出部
１２１ 移動量検出部
１２２ ブロック分配部
１３０ ブロック処理部
１３１〜１３４ ブロック処理部ａ〜ｃ
１４０ パック処理部
１４１〜１４３ パック処理部ａ〜ｃ
１５０ 出力部
１５１ ブロック合成部
１５２ サイド情報合成部
１７０ 画像符号化部
１８０ サイド情報符号化部
３５１ ブロック分配部
３５２ 水平方向１／４間引き連続ブロック抽出部
３５３ 垂直方向１／４間引き連続ブロック抽出部
３５４〜３５５ ブロック内画素ソーティングパック処理部
３５５ パック処理部
３６１ ブロック保存部
３６２ ブロック内画素相対位置算出処理部
３６３ パック処理部
３６４ ブロック内画素相対位置保存部
３６５ ソーティング部
３７１ ブロック分配部
３７２ 水平方向１／２間引き連続ブロック抽出部
３７３ 垂直方向１／２間引き連続ブロック抽出部
３７４〜３７５ ブロック内画素ソーティングパック処理部
３７５ パック処理部
３８１ ブロック分配部
３８２ 水平方向１／４間引き連続ブロック抽出部
３８３ 垂直方向１／４間引き連続ブロック抽出部
３８４ 画素列交換フラグ生成部
３８５〜３８６ ブロック内画素−画素列交換パック処理部
３８７ パック処理部
４０１ ブロック保存部
４０２ パック処理部
４０３ ブロック分配部
４０４〜４０６ ブロック内画素−画素列交換処理部
４１１〜４１６ 画素列交換処理部
４３１ ブロック分配部
４３２ 水平方向１／２間引き連続ブロック抽出部
４３３ 垂直方向１／２間引き連続ブロック抽出部
４３４ 画素列交換フラグ生成部
４３５〜４３６ ブロック内画素−画素列交換パック処理部
４３７ パック処理部
４４１ ブロック保存部
４４２ パック処理部
４４３ ブロック分配部
４４４〜４４５ ブロック内画素−画素列交換処理部
５１０ 復号部
５１１ 動画像復号部
５１２ サイド情報復号部
５２０ ブロック分割部
５２１ ブロック分割部
５２２ 移動量検出部
５２３ サイド情報合成部
５３０ ブロック処理部
５３１ ブロック分割部
５３２〜５３４ アンパック処理部
５３５ ブロック合成部
５５１ 水平方向１／４間引き連続ブロック抽出部
５５２ 垂直方向１／４間引き連続ブロック抽出部
５５３〜５５５ アンパック処理部
５６１ ブロック保存部
５６２ ブロック内画素相対位置算出部
５６３ ブロック内画素相対位置保存部
５６４ 相対位置ソーティング部
５６５ パックブロックソーティング部
５６６ アンパック処理部
５７１ 水平方向１／２間引き連続ブロック抽出部
５７２ 垂直方向１／２間引き連続ブロック抽出部
５２３〜５２５ アンパック処理部
５８１ ブロック保存部
５８２ ブロック内画素相対位置算出部
５８３ ブロック内画素相対位置保存部
５８４ 相対位置ソーティング部
５８５ パックブロックソーティング部
５８６ アンパック処理部
６０１ 水平方向１／４間引き連続ブロック抽出部
６０２ 垂直方向１／４間引き連続ブロック抽出部
６０３〜６０４ ブロック内画素−画素列交換アンパック処理部
６０５ アンパック処理部
６２１ ブロック保存部
６２３ ブロック分配部
６２４〜６２６ ブロック内画素列交換アンパック処理部
６２７ アンパック処理部
６４１〜６４６ 画素列交換処理部
６５１ 水平方向１／２間引き連続ブロック抽出部
６５２ 垂直方向１／２間引き連続ブロック抽出部
６５３〜６５４ ブロック内画素−画素列交換アンパック処理部
６５５ アンパック処理部
６６１ ブロック保存部
６６３ ブロック分配部
６６４〜６６５ ブロック内画素列交換アンパック処理部
６６６ アンパック処理部
７１０ 復号部
７１１ 動画像復号部
７１２ サイド情報復号部
７２０ ブロック分割部
７３０ ブロック処理部
７３１ ブロック分配部
７３２〜７３４ フレームレート交換処理部
７３５ ブロック合成部
７５１ ブロック移動処理部
７５２ ブロック保存部
７５３ フィルタ処理部

Claims (32)

1. 動画像データのデータ変換処理を実行する動画像変換装置であり、
   動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
   前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
   前記ブロック分割部の分割したブロックデータと、前記移動量検出部の検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理部と、
   前記ブロック処理部の間引き処理データを入力し、間引き後の画素データからなるブロックとしてのパックブロックを生成するパック処理部とを有し、
   前記パック処理部は、
   前記パックブロックの構成画素各々の相対的な位置を、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックを生成する処理を実行する構成であることを特徴とする動画像変換装置。
2. 前記パック処理部は、
   前記ブロック処理部において、空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックを、画素位置補正対象ブロックとして選択し、選択した連続ブロックについて位置補正を行なったパックブロックを生成する構成であることを特徴とする請求項１に記載の動画像変換装置。
3. 前記パック処理部は、
   パックブロック構成画素について、元画像上の相対画素位置を算出し、算出した相対画素位置に基づくソート処理による位置補正を行なったパックブロックを生成する構成を有することを特徴とする請求項１に記載の動画像変換装置。
4. 前記パック処理部は、
   パックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
5. 前記動画像変換装置は、さらに、
   前記パック処理部の生成したパックブロックを入力して符号化処理を実行する符号化部を有する構成であることを特徴とする請求項１に記載の動画像変換装置。
6. 前記動画像変換装置は、さらに、
   前記ブロック処理部における処理態様情報を含むサイド情報を生成し、出力する構成を有することを特徴とする請求項１に記載の動画像変換装置。
7. 前記サイド情報には、
   ブロック対応の間引き処理態様情報、およびブロック対応の移動量情報を含むことを特徴とする請求項６に記載の動画像変換装置。
8. 動画像変換データの復元処理を実行する動画像復元装置であり、
   間引き処理データに基づいて生成されたパックブロックの復元処理としてのアンパック処理を実行するアンパック処理部を有し、
   前記アンパック処理部は、
   変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックに基づいて、フレーム順に画素位置を並べた初期パックブロックを復元し、復元した初期パックブロックに基づいて、パック以前の各フレーム対応画素から構成される複数ブロックの生成処理を行なう構成であることを特徴とする動画像復元装置。
9. 前記アンパック処理部は、
   空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックに対応するパックブロックを、画素位置補正対象ブロックとして選択し、選択したパックブロックについて、フレーム順に画素位置を並べた初期パックブロックを復元する処理を実行する構成であることを特徴とする請求項８に記載の動画像復元装置。
10. 前記アンパック処理部は、
    変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの構成画素に対応して設定された相対画素位置ｘを入力し、相対画素位置ｘの値について昇順または降順のソート処理を実行し、該ソート処理の結果として位置変更のあった相対画素位置ｘに対応するパックブロックの画素位置を同様に変更することで、フレーム順に画素位置を並べた初期パックブロックの復元を行なう構成であることを特徴とする請求項８に記載の動画像復元装置。
11. 前記アンパック処理部は、
    変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行し、フレーム順に画素位置を並べた初期パックブロックの復元を行なう構成であることを特徴とする請求項８に記載の動画像復元装置。
12. 前記動画像復元装置は、さらに、
    動画像変換装置が、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックに基づいて符号化した符号化データを復号する復号部を有し、
    前記アンパック処理部は、前記復号部の復号したパックブロックを入力してアンパック処理を実行する構成であることを特徴とする請求項８に記載の動画像復元装置。
13. 前記アンパック処理部は、
    動画像変換装置において実行されたブロック対応の間引き処理態様情報、およびブロック対応の移動量情報を入力して、アンパック処理態様を決定する構成を有することを特徴とする請求項８に記載の動画像復元装置。
14. 動画像変換データの復元処理を実行する動画像復元装置であり、
    変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックを入力し、該パックブロックに基づくフレームレート変換処理を実行するブロック処理部を有し、
    前記ブロック処理部は、
    入力したパックブロックからなるフレームデータを生成する構成であり、入力パックブロックのフレーム数を増加させる必要がある場合に、パックブロックの生成元としてのブロックに対応する移動量情報に基づいてパックブロックを移動させたパックブロックからなる新規フレームを生成してフレームレートを変換した動画像データを生成する処理を実行する構成を有することを特徴とする動画像復元装置。
15. 前記動画像復元装置は、さらに、
    前記パックブロックを構成データとするフレームレート変換動画像データに対するぼかし処理を実行するフィルタ処理部を有する構成であることを特徴とする請求項１４に記載の動画像復元装置。
16. 動画像データのデータ変換処理を実行する動画像変換方法であり、
    動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
    前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
    前記ブロック分割ステップにおいて分割されたブロックデータと、前記移動量検出ステップにおいて検出された移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップと、
    前記ブロック処理ステップによって生成された間引き処理データを入力し、間引き後の画素データからなるブロックとしてのパックブロックを生成するパック処理ステップとを有し、
    前記パック処理ステップは、
    前記パックブロックの構成画素各々の相対的な位置を、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックを生成する処理を実行するステップを含むことを特徴とする動画像変換方法。
17. 前記パック処理ステップは、
    前記ブロック処理ステップにおいて、空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックを、画素位置補正対象ブロックとして選択し、選択した連続ブロックについて位置補正を行なったパックブロックを生成するステップを含むことを特徴とする請求項１６に記載の動画像変換方法。
18. 前記パック処理ステップは、
    パックブロック構成画素について、元画像上の相対画素位置を算出し、算出した相対画素位置に基づくソート処理による位置補正を行なったパックブロックを生成するステップを含むことを特徴とする請求項１６に記載の動画像変換方法。
19. 前記パック処理ステップは、
    パックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行するステップを含むことを特徴とする請求項１６に記載の動画像変換方法。
20. 前記動画像変換方法は、さらに、
    前記パック処理ステップにおいて生成したパックブロックを入力して符号化処理を実行する符号化ステップを有することを特徴とする請求項１６に記載の動画像変換方法。
21. 前記動画像変換方法は、さらに、
    前記ブロック処理ステップにおける処理態様情報を含むサイド情報を生成し、出力するステップを有することを特徴とする請求項１６に記載の動画像変換方法。
22. 前記サイド情報には、
    ブロック対応の間引き処理態様情報、およびブロック対応の移動量情報を含むことを特徴とする請求項２１に記載の動画像変換方法。
23. 動画像変換データの復元処理を実行する動画像復元方法であり、
    間引き処理データに基づいて生成されたパックブロックの復元処理としてのアンパック処理を実行するアンパック処理ステップを有し、
    前記アンパック処理ステップは、
    変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックに基づいて、フレーム順に画素位置を並べた初期パックブロックを復元し、復元した初期パックブロックに基づいて、パック以前の各フレーム対応画素から構成される複数ブロックの生成処理を行なうステップであることを特徴とする動画像復元方法。
24. 前記アンパック処理ステップは、
    空間方向間引き処理を含む同一の処理態様に基づく間引き処理がなされ、かつ連続位置にある複数の連続ブロックに対応するパックブロックを、画素位置補正対象ブロックとして選択し、選択したパックブロックについて、フレーム順に画素位置を並べた初期パックブロックを復元する処理を実行するステップを含むことを特徴とする請求項２３に記載の動画像復元方法。
25. 前記アンパック処理ステップは、
    変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの構成画素に対応して設定された相対画素位置ｘを入力し、相対画素位置ｘの値について昇順または降順のソート処理を実行し、該ソート処理の結果として位置変更のあった相対画素位置ｘに対応するパックブロックの画素位置を同様に変更することで、フレーム順に画素位置を並べた初期パックブロックの復元を行なうステップを含むことを特徴とする請求項２３に記載の動画像復元方法。
26. 前記アンパック処理ステップは、
    変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックの生成元としてのブロックに対応する移動速度に応じて予め設定された画素交換規則を適用してパックブロック構成画素の位置補正を実行し、フレーム順に画素位置を並べた初期パックブロックの復元を行なうステップを含むことを特徴とする請求項２３に記載の動画像復元方法。
27. 前記動画像復元方法は、さらに、
    動画像変換装置が、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックに基づいて符号化した符号化データを復号する復号ステップを有し、
    前記アンパック処理ステップは、前記復号ステップにおいて復号したパックブロックを入力してアンパック処理を実行することを特徴とする請求項２３に記載の動画像復元方法。
28. 前記アンパック処理ステップは、
    動画像変換装置において実行されたブロック対応の間引き処理態様情報、およびブロック対応の移動量情報を入力して、アンパック処理態様を決定するステップを含むことを特徴とする請求項２３に記載の動画像復元方法。
29. 動画像変換データの復元処理を実行する動画像復元方法であり、
    変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックを入力し、該パックブロックに基づくフレームレート変換処理を実行するブロック処理ステップを有し、
    前記ブロック処理ステップは、
    入力したパックブロックからなるフレームデータの生成処理を実行するステップであり、入力パックブロックのフレーム数を増加させる必要がある場合に、パックブロックの生成元としてのブロックに対応する移動量情報に基づいてパックブロックを移動させたパックブロックからなる新規フレームを生成してフレームレートを変換した動画像データを生成する処理を実行することを特徴とする動画像復元方法。
30. 前記動画像復元方法は、さらに、
    前記パックブロックを構成データとするフレームレート変換動画像データに対するぼかし処理を実行するフィルタ処理ステップを有することを特徴とする請求項２９に記載の動画像復元方法。
31. 動画像データのデータ変換処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
    動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
    前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
    前記ブロック分割ステップにおいて分割されたブロックデータと、前記移動量検出ステップにおいて検出された移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップと、
    前記ブロック処理ステップによって生成された間引き処理データを入力し、間引き後の画素データからなるブロックとしてのパックブロックを生成するパック処理ステップとを有し、
    前記パック処理ステップは、
    前記パックブロックの構成画素各々の相対的な位置を、変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックを生成する処理を実行するステップを含むことを特徴とするコンピュータ・プログラム。
32. 動画像変換データの復元処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
    間引き処理データに基づいて生成されたパックブロックの復元処理としてのアンパック処理を実行するアンパック処理ステップを有し、
    前記アンパック処理ステップは、
    変換処理前の元画像を構成する画素の相対的位置と同様の位置としたパックブロックに基づいて、フレーム順に画素位置を並べた初期パックブロックを復元し、復元した初期パックブロックに基づいて、パック以前の各フレーム対応画素から構成される複数ブロックの生成処理を行なうステップであることを特徴とするコンピュータ・プログラム。

Images