JP2006310921A - 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】 動画像データの圧縮、復元における画質低下を防止した装置および方法を提供する。
【解決手段】 動画像データを構成するブロックにおける被写体移動量を検出し、検出した移動量に基づいて、空間方向間引き処理、または、時間方向間引き処理、または複合的な間引き処理を実行する。特に、時間方向間引きを実行する際に、処理対象の１つ前の間引き処理単位フレームに属するブロックに基づいて検出された過去フレーム対応移動量を入力し、該過去フレーム対応移動量に基づいて、時間方向間引きにおいてデータとして残すブロック対応フレームを決定して、決定したフレーム対応のブロックデータを残す時間方向間引き処理を実行する。本構成により、復元画像に本来存在しない移動被写体が表示されるといった画像劣化を低減させることが可能となり、高品質な画像圧縮、復元が実現される。
【選択図】 図３５

Description

本発明は、動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラムに関する。特に動画像データのデータ圧縮処理として実行されるデータ変換において、画質劣化を抑え高品質なデータ変換を可能とした動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラムに関する。

動画像データは、ハードディスク、ＤＶＤなどの記憶媒体への保存、あるいはネットワークを介した配信などにおいて、データ量を削減するためのデータ変換、すなわち圧縮処理が行なわれる。特に、近年、動画像データの高品質化、例えばＨＤ（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ）データなど、データ品質の改善が進んでおり、このデータの高品質化に伴ってデータ量が急激に増大している。このような状況において、動画像データの圧縮、復元処理における圧縮効率の改善や、復元データの品質劣化防止に関する技術について多くの検討、研究がなされている。

動画像の圧縮処理方法としては、例えば動画像データを構成する画像フレームの構成画素の間引き処理、すなわち空間方向の間引き処理と、フレームレートを間引く処理、すなわち時間方向の間引き処理などが知られている。

このようなデータ変換によるデータ量削減により記憶媒体への保存やネットワークを介したデータ転送が効率的に行なわれるという利点がある。しかしながら、圧縮されたデータを復元し再生する場合、画質の劣化が発生してしまうという問題がある。特にオリジナルデータが高精細画像である場合には、その品質劣化がより顕著になってしまう。

このような画質劣化をいかに低減するかについては様々な検討がなされている。例えば、特許文献１には、画像の明るさの情報に基づくパラメータを設定し、画像の明るさに従って圧縮態様を変更する画像圧縮処理構成を開示している。また、特許文献２には、画面を複数の領域に分割し、領域毎に圧縮態様を変更した圧縮処理構成を開示している。
特開２００３−１６９２８４号公報 特開２００２−２７４６６号公報

上述のように、いくつかの従来技術において、処理対象画像から求められる様々な特性に基づいて圧縮態様を変更し、データ品質を高める構成が開示されているが、これまでに開示されている圧縮方法では、圧縮画像データを復元し、再生した場合の画質劣化を十分に抑えるには至っていない。

特に、動画像データは、被写体の動きの大きい部分、小さい部分、静止している部分など、様々な動きデータを含むデータであり、これらの異なる動きに対応させてデータ品質を損なうことなく適切な圧縮処理を行い、データ復元、再生を行なった場合の品質劣化を認識させないようにすることの困難性が高いという問題がある。

本発明は、このような問題点に鑑みてなされたものであり、画像の各領域の特徴、特に被写体の動きに対応した最適な圧縮処理態様を決定し、決定した態様に従って各領域毎に最適な態様でデータ変換処理を行なう構成とすることで品質劣化の極めて少ない圧縮および復元を可能とした動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
前記移動量検出部の検出した移動量情報を入力し、該移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれを実行するかを決定し、間引き処理を実行するブロック処理部に間引き処理対象ブロックデータを供給する処理を実行するブロック分配部と、
ブロックデータを入力し、入力ブロックに対応する移動量に応じて、空間方向間引き処理、時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかを実行するブロック処理部とを有し、
前記ブロック処理部は、
入力ブロックに対する時間方向間引き処理の実行に際して、処理対象ブロックとピクセル位置が対応し、かつ処理対象の１つ前の間引き処理単位フレームに属するブロックに基づいて前記移動量検出部の検出した過去フレーム対応移動量を入力し、該過去フレーム対応移動量に基づいて、時間方向間引きにおいてデータとして残すブロック対応フレームを決定するフレーム決定部と、
前記フレーム決定部の決定したフレーム対応のブロックデータを残す時間方向間引き処理を実行する時間方向間引き処理部と、
を有する構成であることを特徴とする動画像変換装置にある。

さらに、本発明の動画像変換装置の一実施態様において、前記フレーム決定部は、前記過去フレーム対応移動量が、予め定めた閾値Ｕ以上である場合、すなわち、過去フレーム対応移動量≧閾値Ｕである場合は、時間方向間引き処理対象ブロックの属するフレーム（ｎ〜ｎ＋Ｎ−１）の最後のフレーム（ｎ＋Ｎ−１）を時間方向間引きにおいてデータとして残すブロック対応フレームとして決定し、過去フレーム対応移動量＜閾値Ｕである場合は、時間方向間引き処理対象ブロックの属するフレーム（ｎ〜ｎ＋Ｎ−１）の先頭のフレーム（ｎ）を時間方向間引きにおいてデータとして残すブロック対応フレームとして決定する処理を実行する構成であり、前記時間方向間引き処理部は、前記フレーム決定部の決定したフレーム対応のブロックデータを残す時間方向間引き処理を実行する構成であることを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記移動量検出部は、間引き処理実行単位となる複数の連続フレーム（ｎ〜ｎ＋Ｎ−１）におけるピクセル位置の対応するＮ個の複数ブロックから、最後のフレーム（ｎ＋Ｎ−１）に属するブロックに基づいて移動量を検出する処理を実行し、前記フレーム決定部は、前記移動量検出部が、最後のフレーム（ｎ＋Ｎ−１）に属するブロックに基づいて検出した移動量を過去フレーム対応移動量として入力し、入力した過去フレーム対応移動量に基づいて、時間方向間引きにおいてデータとして残すブロック対応フレームを決定する処理を実行する構成であることを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記移動量検出部は、間引き処理実行単位となる複数の連続フレーム（ｎ〜ｎ＋Ｎ−１）におけるピクセル位置の対応するＮ個の複数ブロックから、最後のフレーム（ｎ＋Ｎ−１）に属するブロックに基づいて移動量Ａを検出する処理を実行するとともに、前記最後のフレーム（ｎ＋Ｎ−１）以外のフレームに属するブロックに基づいて移動量Ｂを検出し、前記移動量Ａおよび移動量Ｂを含むデータに基づいて前記ブロック処理部に出力する出力移動量を算出する処理を実行する構成であることを特徴とする。

さらに、本発明の動画像変換装置の一実施態様において、前記ブロック分配部は、前記移動量検出部の検出した移動量情報に基づいて、間引き処理態様を決定する構成であり、前記移動量をＶｔ、予め定めた２つの閾値Ｖａ、Ｖｂ、ただしＶａ＞Ｖｂである設定において、移動量：Ｖｔ≧Ｖａである場合、間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向間引き処理として決定し、移動量：Ｖｔ＜Ｖｂである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を時間方向間引き処理として決定し、移動量Ｖｔが、Ｖｂ≦Ｖｔ＜Ｖａである場合、間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向および時間方向間引き処理として決定する構成であることを特徴とする。

さらに、本発明の第２の側面は、
動画像データのデータ変換処理を実行する動画像変換方法であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記移動量検出ステップにおいての検出した移動量情報を入力し、該移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれを実行するかを決定し、間引き処理を実行するブロック処理部に間引き処理対象ブロックデータを供給する処理を実行するブロック分配ステップと、
ブロックデータを入力し、入力ブロックに対応する移動量に応じて、空間方向間引き処理、時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかを実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
入力ブロックに対する時間方向間引き処理の実行に際して、処理対象ブロックとピクセル位置が対応し、かつ処理対象の１つ前の間引き処理単位フレームに属するブロックに基づいて検出された過去フレーム対応移動量を入力し、該過去フレーム対応移動量に基づいて、時間方向間引きにおいてデータとして残すブロック対応フレームを決定するフレーム決定ステップと、
前記フレーム決定ステップにおいて決定したフレーム対応のブロックデータを残す時間方向間引き処理を実行する時間方向間引き処理ステップとを有することを特徴とする動画像変換方法にある。

さらに、本発明の動画像変換方法の一実施態様において、前記フレーム決定ステップは、前記過去フレーム対応移動量が、予め定めた閾値Ｕ以上である場合、すなわち、過去フレーム対応移動量≧閾値Ｕである場合は、時間方向間引き処理対象ブロックの属するフレーム（ｎ〜ｎ＋Ｎ−１）の最後のフレーム（ｎ＋Ｎ−１）を時間方向間引きにおいてデータとして残すブロック対応フレームとして決定し、過去フレーム対応移動量＜閾値Ｕである場合は、時間方向間引き処理対象ブロックの属するフレーム（ｎ〜ｎ＋Ｎ−１）の先頭のフレーム（ｎ）を時間方向間引きにおいてデータとして残すブロック対応フレームとして決定する処理を実行し、前記時間方向間引き処理ステップは、前記フレーム決定ステップにおいて決定したフレーム対応のブロックデータを残す時間方向間引き処理を実行することを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記移動量検出ステップは、間引き処理実行単位となる複数の連続フレーム（ｎ〜ｎ＋Ｎ−１）におけるピクセル位置の対応するＮ個の複数ブロックから、最後のフレーム（ｎ＋Ｎ−１）に属するブロックに基づいて移動量を検出する処理を実行し、前記フレーム決定ステップは、前記移動量検出ステップにおいて最後のフレーム（ｎ＋Ｎ−１）に属するブロックに基づいて検出した移動量を過去フレーム対応移動量として入力し、入力した過去フレーム対応移動量に基づいて、時間方向間引きにおいてデータとして残すブロック対応フレームを決定する処理を実行することを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記移動量検出ステップは、間引き処理実行単位となる複数の連続フレーム（ｎ〜ｎ＋Ｎ−１）におけるピクセル位置の対応するＮ個の複数ブロックから、最後のフレーム（ｎ＋Ｎ−１）に属するブロックに基づいて移動量Ａを検出する処理を実行するとともに、前記最後のフレーム（ｎ＋Ｎ−１）以外のフレームに属するブロックに基づいて移動量Ｂを検出し、前記移動量Ａおよび移動量Ｂを含むデータに基づいて前記ブロック処理部に出力する出力移動量を算出する処理を実行することを特徴とする。

さらに、本発明の動画像変換方法の一実施態様において、前記ブロック分配ステップは、前記移動量検出ステップにおいて検出した移動量情報に基づいて、間引き処理態様を決定するステップを含み、前記移動量をＶｔ、予め定めた２つの閾値Ｖａ、Ｖｂ、ただしＶａ＞Ｖｂである設定において、移動量：Ｖｔ≧Ｖａである場合、間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向間引き処理として決定し、移動量：Ｖｔ＜Ｖｂである場合、間引き処理実行単位となる複数の連続フレームについての実行処理を時間方向間引き処理として決定し、移動量Ｖｔが、Ｖｂ≦Ｖｔ＜Ｖａである場合、間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向および時間方向間引き処理として決定することを特徴とする。

さらに、本発明の第３の側面は、
動画像データのデータ変換処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記移動量検出ステップにおいての検出した移動量情報を入力し、該移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれを実行するかを決定し、間引き処理を実行するブロック処理部に間引き処理対象ブロックデータを供給する処理を実行するブロック分配ステップと、
ブロックデータを入力し、入力ブロックに対応する移動量に応じて、空間方向間引き処理、時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかを実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
入力ブロックに対する時間方向間引き処理の実行に際して、処理対象ブロックとピクセル位置が対応し、かつ処理対象の１つ前の間引き処理単位フレームに属するブロックに基づいて検出された過去フレーム対応移動量を入力し、該過去フレーム対応移動量に基づいて、時間方向間引きにおいてデータとして残すブロック対応フレームを決定するフレーム決定ステップと、
前記フレーム決定ステップにおいて決定したフレーム対応のブロックデータを残す時間方向間引き処理を実行する時間方向間引き処理ステップとを有することを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、画像の各領域の特徴、特に被写体の動きに対応した最適な圧縮処理態様を決定し、決定した態様にしたがって領域ごとに最適な態様でデータ変換処理を行う構成とすることで品質劣化のきわめて少ない圧縮および復元が可能となる。特に、本発明の構成においては、時間方向間引きを実行する際に、処理対象の１つ前の間引き処理単位フレームに属するブロックに基づいて検出された過去フレーム対応移動量を入力し、該過去フレーム対応移動量に基づいて、時間方向間引きにおいてデータとして残すブロック対応フレームを決定して、決定したフレーム対応のブロックデータを残す時間方向間引き処理を実行する構成としたので、復元画像に、本来存在しない移動被写体が表示されるといった画像劣化を低減させることが可能となり、高品質な画像圧縮、復元を可能としたデータ変換が実現される。

特に、本発明の構成によれば、過去フレーム対応移動量に基づいて、時間方向間引きにおいてデータとして残すブロック対応フレームを決定して、決定したフレーム対応のブロックデータを残す時間方向間引き処理を実行する構成としたので、時間方向間引き処理対象ブロックに移動被写体がごく少量含まれるような場合、復元画像に、本来存在しない移動被写体が表示されるといったことがなくなり、高品質な画像圧縮、復元を可能としたデータ変換が実現される。

以下、図面を参照しながら、本発明の動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムの構成について説明する。なお、説明は、以下の項目に従って行なう。
（１）超解像効果を利用した動画像変換装置の基本構成
（２）改良した間引き処理を実行する動画像変換装置の構成

［（１）超解像効果を利用した動画像変換装置の基本構成］
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特願２００３−４１２５０１号に詳細を記載しているものであり、画像を小領域に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。

図１に特願２００３−４１２５０１号に記載した動画像変換装置１０の構成例を示す。この動画像変換装置１０は、超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量の削減を行うことができる構成としたものである。

なお、超解像効果とは、観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性に基づいて実現される視覚的効果である。人の視覚は刺激を知覚すると、その刺激を、その刺激の呈示が終了した後もある時間記憶するという機能（感覚記憶機能と称する）を有している。この時間については１０ｍｓ乃至２００ｍｓであるという報告が多数されている。この機能は、アイコニックメモリー、あるいは視覚的持続などとも呼ばれ、例えば、"視覚情報ハンドブック，日本視覚学界編，ｐｐ．２２９−２３０"などに記載されている。なお、超解像効果は、人間の視覚機能における時間的積分機能および感覚記憶機能が複雑に関係して引き起こされていると考えられる。

図１に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行うことにより、画質劣化を観測者が知覚しないようにデータを削減する圧縮を行う構成としたものである。図１の動画像変換装置１０の構成について説明する。

ブロック分割部１１は、入力された動画像の各フレームを、所定画素の区分領域としてのブロックに分割し移動量検出部１２に供給する。移動量検出部１２は、ブロック分割部１１から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３に送信する。ブロック処理部１３は、移動量検出部１２から供給されたブロックに対して、その移動量に応じた動画像変換処理、すなわち圧縮処理を施し、データ量を削減する。ブロック処理部１３は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４に供給する。出力部１４は、ブロック処理部１３から供給された、データ量が削減されたブロックについてのデータを、ストリームデータとしてまとめて出力する。復元部１５は出力部１４から出力される圧縮データを入力して、伸長処理による復元処理を実行して再生可能な動画像データを生成する。

次に、図２を参照して、復元部１５を除く各部の詳細について説明する。ブロック分割部１１の画像蓄積部２１には、動画像変換装置１０に供給された動画像のフレームが入力される。画像蓄積部２１は、入力されたフレームを蓄積する。画像蓄積部２１は、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部２２に供給するとともに、Ｎ枚のフレームの中のＭ番目に記憶したフレーム（以下、Ｍ番目のフレームと称する）を、移動量検出部１２（移動量検出部３１）に供給する。例えば、Ｎ＝４とする。

ブロック分割部２２は、画像蓄積部２１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ（例えば８×８、１６×１６）のブロックに分割し、移動量検出部１２（ブロック分配部３２）に出力する。ブロック分割部２２はまた、Ｎ枚のフレームの中の、画像蓄積部２１でＰ番目に記憶されたフレーム（以下、Ｐ番目のフレームと称する）の各ブロックを移動量検出部１２（移動量検出部３１）に供給する。Ｐ番目のフレームは、Ｍ番目のフレームと異なるフレームである。

次に、移動量検出部１２について説明する。移動量検出部１２の移動量検出部３１は、ブロック分割部１１のブロック分割部２２から供給されたＰ番目のフレームの各ブロックの動きベクトルを、画像蓄積部２１から供給されたＭ番目のフレームを参照して例えばフレーム間のブロックマッチング処理を実行して検出し、検出した動きベクトルをブロック分配部３２に供給する。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表している。なお、移動量検出部３１は、移動量検出の精度を向上させるために画像を拡大し、拡大画像を適用した移動量検出を行なう構成としてもよい。

移動量検出部１２のブロック分配部３２には、ブロック分割部２２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部３１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部３２は、供給されたＮ個のブロックと移動量を、ブロック処理部１３の、その移動量に対応する処理を行うブロック処理部５１乃至５３の中のいずかに供給する。

具体的にはブロック分配部３２は、移動量検出部３１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル（画素）以上である場合、ブロック分割部２２から供給されたＮ個のブロックと移動量検出部３１から供給された移動量を、ブロック処理部５１に出力する。また、１フレーム間の水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ１ピクセル以上の場合、ブロック分配部３２は、Ｎ個のブロックと移動量を、ブロック処理部５３に出力する。移動量がそのほかの場合には、ブロック分配部３２は、Ｎ個のブロックと移動量をブロック処理部５２に供給する。

すなわちブロック分配部３２は、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部５１〜５３に、ブロック画像を分配する。

なお、分配先決定のためのこの条件はあくまでも一例であり、他の条件で分配先を決定してもよい。

次に、ブロック処理部１３の詳細を説明する。ブロック処理部１３は、上述したように３個のブロック処理部５１乃至５３で構成されている。ブロック処理部５１は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル以上である場合のＮ個のブロック）に対して、画素数を、同様にブロック分配部３２から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。

具体的には、１フレーム間の水平方向の移動量が２ピクセル（画素）以上である場合、ブロック処理部５１は、ブロックが８×８ピクセルで構成されているとき、図３に示すように、ブロック内の画素を、１×４ピクセル単位の集合に分割する。さらにブロック処理部５１は、図４に示すように、１×４ピクセルの各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）に設定する画素数の間引き（４画素間の画素数の間引き）（間引き量４の間引き）を行う。

１フレーム間の垂直方向の移動量が２ピクセル以上である場合、ブロック処理部５１は、図５に示すように、ブロック内の画素を、４×１ピクセル単位の集合に分割し、図６に示すように、各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）にする画素数の間引きを行う。

また１フレーム間の垂直および水平方向の移動量がともに２ピクセル以上である場合、ブロック処理部５１は、図７に示すように、ブロック内の画素を、２×２ピクセル単位の集合に分割し、図８に示すように、各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）にする画素数の間引きを行う。

ブロック処理部５１は、このような空間方向間引き処理を、供給された４個のブロックに対してそれぞれ施すので、隣接した４画素毎に１画素のデータ量に削減され、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部５１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。

なお、各集合の画素値を、図４の例では、１×４ピクセルの中の左端の画素値ｐ１、図６の例では、４×１ピクセルの中の上端の画素値ｐ１、図８の例では、２×２ピクセルの中の左上隅の画素値ｐ１に設定する構成としたが、ｐ１乃至ｐ４のいずれの画素値に設定する構成としてもよい。また画素値ｐ１乃至ｐ４を用いた計算、例えば平均値などによって算出される画素値に設定してもよい。

次に、図２に示すブロック処理部５２の実行する処理について説明する。図２に示すブロック処理部５２は、移動量検出部１２のブロック分配部３２から供給された連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。

具体的にはブロック処理部５２は、図９に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢｉ）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。ブロック処理部５２は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４に供給する。

ブロック処理部５３は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間方向間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行う。

ブロック処理部５３は、ブロック処理部５１における間引き処理とは異なり、図１０および図１１に示すように、各集合の画素値ｐ１乃至ｐ４を、その中のいずれか２個の画素値（この例の場合、ｐ１、ｐ３）にする画素数の間引き（間引き量２の間引き）を行う。

すなわちブロック処理部５１では、１×４、４×１、または２×２の３通りの画素数の間引きが行われるが、ブロック処理部５３では、１×２または２×１の２通りの画素数の間引きが行われる。

フレーム数の間引き処理においては、ブロック処理部５３は、ブロック処理部５２における間引き処理と異なり、図１２に示すように、連続する４枚のフレームＦ１乃至Ｆ４のぞれぞれの同一位置にある合計４個のブロックＢｉを、その中のいずれか２つ（図の例では、フレームＦ１、Ｆ３の２個のブロック）にするフレーム数の間引きを行う（２フレーム間のフレーム数の間引き）を行う。

ブロック処理部５３は、このようなデータ量を１／２とする空間方向間引き処理と、データ量を１／２とする時間方向間引き処理を、供給された４個のブロックに対して施すので、結果として４個のブロックのデータ量が（１／２）×（１／２）＝１／４に削減される。ブロック処理部５３は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。

出力部１４は、ブロック処理部５１乃至５３より得られる、ブロックに関するデータおよび各ブロックにどのような処理が施されたかを示す情報をストリームデータとして構成し出力する。

続いて、図１３以下を参照して図１に示す復元部１５の構成および処理について説明する。復元部１５は図１３に示すようにブロック分配部６１、ブロック拡張部６２乃至６４、合成部６５から構成される。

復元部１５のブロック分配部６１には上述の出力部１４から得られたストリームデータが入力される。このストリームデータは、直前までの処理によって生成された変換（圧縮）データと、復元に必要となる属性データを含む。属性データには、各ブロックに関する情報と各ブロックに施された処理の具体的内容に関する情報が含まれる。各ブロックに施された処理の具体的内容とは、空間方向間引き処理、時間方向間引き処理、空間方向間引き処理と時間方向間引き処理の両方を含む処理の何れが実行されたか、また空間間引き処理において実行された間引き処理は水平方向のものであるのか垂直方向のものであるのかなどの情報である。

ブロック分配部６１は入力された属性情報に含まれる各ブロックの処理内容に基づいて、ブロック拡張部６２乃至６４のいずれかへ、復元処理対象となる変換データとその各ブロックに施された処理の具体的内容を示す属性情報とを送る。

具体的には、図１、図２に示す動画像変換装置１０においてブロックがブロック処理部５１で処理されたデータである場合は、分配部６１はブロック拡張部６２へ空間間引きされた各ブロックデータと、空間間引きの方向などの情報を送る。

また、動画像変換装置１０のブロック処理部５２で処理されたデータである場合は、ブロック拡張部６３へ同様の情報を送る。ブロック処理部５３で処理されたならば、ブロック拡張部６４へ同様の情報を送る。各ブロックに施された処理に関する情報、および各ブロックに関する情報は動画像を復元するために十分な情報であればどのようなものであってもよい。

ブロック拡張部６２は、動画像変換装置１０のブロック処理部５１において空間方向に間引き処理を施されたデータの拡張処理を実行する。分配部６１から入力された空間間引きの方向に関する情報に基づいて、図１４乃至図１６に示す態様でのデータ拡張処理を実行し、ブロックを再構成する。また、再構成されたブロックを合成部６５へと出力する。

図１４乃至図１６に示す処理について説明する。図１４は動画像変換装置１０のブロック処理部５１において、水平方向の間引き処理（図３、図４参照）を施された場合の復元部１５のブロック拡張部６２による処理を示している。例えば、元のブロックの大きさが８ｘ８であった場合、ブロック拡張部６２にはその１／４の１６画素分のデータが送られている。この各画素のデータに関して、図１４（ａ）に示すように、１つの画素データを水平方向４画素に展開する処理を行うことで、１画素を１ｘ４画素に拡張する。なお、図１４（ａ）に示す処理例は入力された画素の画素値をそのまま４画素分の画素値として配置することで拡張を行う例であるが、入力された他の画素の値を含む複数の画素値に基づく演算による結果を配置しても構わない。

続いて、水平方向の間引きが施された場合には、ブロック拡張部６２は、図１４（ｂ）に示した処理を行う。すなわち、１画素を１ｘ４画素に拡張する処理をブロック拡張部６２に入力された１６画素分について実行し、各１６画素各々に対して実行された１６組の１ｘ４画素の集合を、図１４（ｂ）に示すように配置する。この処理によって、ブロック拡張部６２は、入力１６画素から８ｘ８のブロックを復元し、結果を合成部６５に出力する。

図１５は動画像変換装置１０のブロック処理部５１において、垂直方向の間引き処理（図５、図６参照）を施された場合の復元部１５のブロック拡張部６２による処理を示している。例えば、元のブロックの大きさが８ｘ８であった場合、ブロック拡張部６２にはその１／４の１６画素分のデータが送られている。この各画素のデータに関して、図１５（ａ）の処理を行うことで、１画素を４ｘ１画素に拡張する。すなわち、図１５（ａ）に示すように、１つの画素データを垂直方向４画素に展開する処理を行うことで、１画素を１ｘ４画素に拡張する。

続いて、垂直方向の間引きが施された場合には、ブロック拡張部６２は、図１５（ｂ）に示した処理を行う。すなわち、１画素を１ｘ４画素に拡張する処理をブロック拡張部６２に入力された１６画素分について実行し、各１６画素各々に対して実行された１６組の１ｘ４画素の集合を、図１５（ｂ）に示すように配置する。この処理によって、ブロック拡張部６２は、入力１６画素から８ｘ８のブロックを復元し、結果を合成部６５に出力する。

図１６は動画像変換装置１０のブロック処理部５１において、水平垂直方向の間引き処理（図７、図８参照）を施された場合の復元部１５のブロック拡張部６２による処理を示している。例えば、元のブロックの大きさが８ｘ８であった場合、ブロック拡張部６２にはその１／４の１６画素分のデータが送られている。この各画素のデータに関して、図１６（ａ）の処理を行うことで、１画素を２ｘ２画素に拡張する。すなわち、図１６（ａ）に示すように、１つの画素データを水平垂直方向２ｘ２画素に展開する処理を行うことで、１画素を２ｘ２画素に拡張する。

続いて、水平垂直方向の間引きが施された場合には、ブロック拡張部６２は、図１６（ｂ）に示した処理を行う。すなわち、１画素を２ｘ２画素に拡張する処理をブロック拡張部６２に入力された１６画素分について実行し、各１６画素各々に対して実行された１６組の２ｘ２画素の集合を、図１６（ｂ）に示すように配置する。この処理によって、ブロック拡張部６２は、入力１６画素から８ｘ８のブロックを復元し、結果を合成部６５に出力する。

次に、ブロック拡張部６３の処理について説明する。ブロック拡張部６３は、動画像変換装置１０のブロック処理部５２において、時間方向の間引き処理を施されたデータの拡張処理を実行する。

ブロック拡張部６３は、図１７に示すように１つのフレームのブロックデータに基づいて、時間軸方向に連続する複数フレームのブロックデータを生成する。具体的には、ブロック拡張部６３は初期値０のカウンタを持ち、このカウンタは、１フレームの復元が終了するたびに１加算され、値が４（＝Ｎ（ただし間引き量ｍ＝４の場合））に達した時に０へとリセットされる。

データ分配部６１から拡張対象のデータがブロック拡張部６３へ入力されたとき、ブロック拡張部６３は、そのブロックをデータ拡張部６３のメモリに格納し、間引き量に応じて設定されているカウンタ上限値にいたるまで、メモリに格納したブロックデータの複製として複数のフレームデータ対応のブロックデータを生成し、合成部６５へ出力する。図１７に示す例では、間引き量ｍ＝４の場合であり、１つのブロックデータから４つのフレーム対応のブロックデータを生成して合成部６５へ出力する。

次に、ブロック拡張部６４の処理について説明する。ブロック拡張部６４は、動画像変換装置１０のブロック処理部５３において、空間方向および時間方向の間引き処理を施されたデータの拡張処理を実行する。空間方向および時間方向の拡張処理は何れを先に実行してもよい。

ブロック拡張部６４において実行する時間方向の拡張処理は、図１８のような処理を行う。具体的には、ブロック拡張部６４は、初期値０のカウンタを持ち、このカウンタは、１フレームの復元が終了するたびに１加算され、値が２（＝Ｎ／２（ただし時間方向間引き量ｍ＝２の場合））に達したときに０へとリセットされる。

データ分配部６１から拡張対象のデータがブロック拡張部６４に入力されたとき、ブロック拡張部６４は、そのブロックをデータ拡張部６４のメモリに格納し、間引き量に応じて設定されているカウンタ上限値に至るまで、メモリに格納したブロックデータの複製として複数のフレームデータ対応のブロックデータを生成し、合成部６５へ出力する。図１８に示す例では、時間方向間引き量ｍ＝２の場合であり、１つのブロックデータから２つのフレーム対応のブロックデータを生成する。

引き続き、ブロック拡張部６４において実行する空間方向の拡張処理について説明する。ブロック拡張部６４は、分配部６１から入力された空間間引きの方向などの情報に基づいて、図１９および図２０に示す態様でのデータ拡張処理を実行し、ブロックを再構成する。

図１９および図２０の処理について説明する。図１９は動画像変換装置１０のブロック処理部５３において、水平方向の間引き処理を施された場合の復元部１５のブロック拡張部６４による処理を示している。例えば、元のブロックの大きさが８ｘ８であった場合、ブロック拡張部６４にはその１／２の３２画素分のデータが送られている。この各２画素のデータに対応して、図１９の（ａ）の処理を行うことで、２画素を１ｘ４画素に拡張する。すなわち、図１９（ａ）に示すように、１つの画素データを水平方向２画素に展開する処理を行うことで、２画素を１ｘ４画素に拡張する。

続いて、水平方向の間引きが施された場合には、ブロック拡張部６４は、図１９（ｂ）に示した処理を行う。すなわち、２画素を１ｘ４画素に拡張する処理をブロック拡張部６４に入力された３２画素分について実行し、各３２画素各々に対して実行された１６組の１ｘ４画素の集合を、図１９（ｂ）に示すように配置する。この処理によって、ブロック拡張部６４は、入力３２画素から８ｘ８のブロックを復元し、結果を合成部６５に出力する。

図２０は動画像変換装置１０のブロック処理部５３において、垂直方向の間引き処理を施された場合の復元部１５のブロック拡張部６４による処理を示している。例えば、元のブロックの大きさが８ｘ８であった場合、ブロック拡張部６４にはその１／２の３２画素分のデータが送られている。この各２画素のデータに対応して、図２０の（ａ）の処理を行うことで、２画素を４ｘ１画素に拡張する。

続いて、垂直方向の間引きが施された場合には、ブロック拡張部６４は、図２０（ｂ）に示した処理を行う。すなわち、２画素を４ｘ１画素に拡張する処理をブロック拡張部６４に入力された３２画素分について実行し、各３２画素各々に対して実行された１６組の４ｘ１画素の集合を、図２０（ｂ）に示すように配置する。この処理によって、ブロック拡張部６４は、入力３２画素から８ｘ８のブロックを復元し、結果を合成部６５に出力する。

合成部６５はブロック拡張部６２〜６４から入力されたブロックが１フレーム全体を表現できる量に達した時に、ブロックを適切に配置することで１フレームを復元し、復元された１フレームを出力する。

このように、図１に示す動画像変換装置１０は、入力された動画像を、そのデータ量が削減された動画像（圧縮データ）に変換する処理を行なうものであるが、その際、所定の視覚特性に基づいて実現される超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者に知覚させないようにした装置である。

具体的には、ブロック分配部３２が、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、最適なフレームレートおよび空間解像度にしたがった画像データ変換を実行するブロック処理部５１〜５３に供給して、各ブロック処理部５１〜５３において異なる態様のデータ変換処理を実行する構成としたものであり、本構成により、画質劣化を観測者に知覚させることのない動画像変換処理を実現している。なお、超解像効果とは、前述したように観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性に基づいて実現される視覚的効果であり、人間の視覚機能における時間的積分機能および感覚記憶機能が複雑に関係して引き起こされているものと考えられており、図１に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行う構成を有する。

なお、人間の視覚特性および超解像効果に関する原理や説明等は、特願２００３−４１２５０１において詳しく解説がなされている。特願２００３−４１２５０１に説明されている超解像効果の発生条件を以下に説明する。

間引き量ｍ（ピクセル）の画素数間引きを行った場合に超解像効果が発生するには、間引きによる１次乃至ｍ−１次の折り返し成分が全て打ち消される必要がある。ｋ（＝１、２、・・・、ｍ−１）次の折り返し成分が打ち消される条件は、下記式（式１）、（式２）を満足することである。

上記式において、φ_ｔは画素数の間引きにおけるサンプリング位置のずれ量であり、時間ｔ（＝０、１Ｔ、２Ｔ、・・・）、信号の移動速度ｖ、時間間隔（フレームレートの逆数）Ｔ、を用いて、下記式（式３）によって定義される値である。

なお、上記式において、サンプリング位置が右にずれる場合を正としている（この条件は、特願２００３−４１２５０１に開示している設定とは異なる）。

間引き量ｍ、小領域の移動量ｖという条件下で上記式（式１）および（式２）が満たされれば超解像効果が発生し、画質の劣化は観測者に知覚されにくい。

［（２）改良した間引き処理を実行する動画像変換装置の構成］
上述した本発明の動画像変換装置は、特願２００３−４１２５０１に記載された動画像変換装置と同様、図１に示す移動量検出部１２のブロック分配部３２に、ブロック分割部２２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部３１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部３２は、供給されたＮ個のブロックと移動量を、ブロック処理部１３の、その移動量に対応する処理を行うブロック処理部５１乃至５３の中のいずかに供給する。

特願２００３−４１２５０１に記載された動画像変換装置では、間引き処理対象のブロックをブロック処理部５１乃至５３のいずれかに供給し、ブロックに対する間引き処理を行っているため、あるブロックの中の全ての画素に対して同じ間引き処理、すなわち、空間方向間引き、または時間方向間引き、または空間および時間方向間引きのいずれか１つの態様での間引き処理が、所定の間引き処理単位フレーム数：Ｎフレームに対して統一的に施されていた。

しかしながら、ブロック内の被写体の動きは一様とは限らない。つまり、ひとつのブロックの中に複数の動き、すなわち、それぞれが異なる移動速度で異なる方向に動く被写体が含まれる場合や、静止被写体と移動被写体が混在する場合などがある。しかし、特願２００３−４１２５０１に記載された動画像変換装置では、所定の間引き処理単位フレーム数：Ｎフレームに対して決定された処理態様に従って、ブロック中の全ての画素に対して同じ間引き処理を施すため、ブロック内の画像要素まで考慮すると、本来の被写体の動きに適していない間引き処理が施される部分が発生することがある。

本来の被写体の動きに適していない間引き処理を施した場合、大きな画質の劣化が発生する。ひとつのブロックが高速に移動する被写体の一部と、ほとんど移動しない背景を共に含む場合、特に顕著な画質劣化が観察される。

図２１を参照して画質劣化の具体例について説明する。図２１はある動画像の一部を時間的に連続するフレーム０〜３の４フレーム分切り取った画像を示している。斜線で示した被写体７１が右へ移動しており、その他の部分は背景である。左側の４フレームが（Ａ）間引き処理前の状態である。これらの４フレームの点線で示したブロック７２に対して時間間引きを行った場合の結果を示したものが右側に示す（Ｂ）間引き処理後復元データの４フレームである。この時間間引きでは、フレーム０にあるデータを他のフレーム１〜３にコピーする処理を実行した。ブロック７２以外の部分は適切な処理が施されたと仮定している。図から明らかなように右側の（Ｂ）間引き処理後復元データの４フレームを見ると、本来存在するはずのない移動中の被写体７１の一部分のデータが４フレーム間に渡ってブロック７２の位置に留まっている。このように、一律の間引き処理を実行した結果、画像の構成そのものが変化してしまうような画質の劣化が発生する場合がある。

このように、フレーム間でブロック内の移動量が変化する場合は、本来はブロックの各フレームにおける移動量に合わせて間引き処理を施すべきである。ところが、上述した構成の動画像変換装置１０では、所定の間引き処理単位フレーム数：Ｎフレームに対して決定された処理態様に従って、ブロック中の全ての画素に対して同じ間引き処理を施す構成であるので、図２１を参照して説明したように画像の構成そのものが変化してしまうような画質の劣化が発生する場合がある。

各フレームの移動量に従って適用する間引き処理の種類を変えることも可能ではあるが、フレーム毎に間引き処理態様を変更する構成にしてしまうと、圧縮効率が著しく低下し、上述した構成のように、データ量を１／Ｎに削減できるという特徴が失われる。

例えば図２１に示す動画像からなるフレーム構成において、ブロック７２については、４フレーム間に渡って時間間引きではなく空間間引きを施すべきである。上述した動画像変換装置の間引き態様決定処理では、例えば、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル（画素）以上である場合、空間方向間引きを実行する構成とし、このような条件を満たさないブロックに対して時間方向間引き、あるいは、空間方向と時間方向間引きの複合処理を行なう構成としていたが、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル（画素）未満である場合でも、所定の条件を満足する場合には、空間方向間引きを行なう構成とすることで、画質劣化を抑制した間引き処理、復号処理が可能となる。

つまり、移動体を含むブロックにおいて時間間引きを施したときに起こる画質劣化、すなわち、図２１を参照して説明したような本来その位置にあるべきではない被写体が現れてしまうような状況と比較すると空間間引きを施した場合の方が劣化の度合いが大幅に少ない。

図２１の状況で点線のブロック７２に対して空間間引き処理の適用を実現するには、例えば、４フレームの各ブロックについて施すべき間引き処理を順に調べ、空間間引き処理を適用することが望ましいブロックが現れた場合は、その４フレームのブロックには空間間引き処理を施すことに決めるなどの方法が考えられる。

ところが、図２２に示したような例においては、上記のような方法を用いても時間間引きが施されてしまう可能性が高い。図２２は図２１と同様の状況を示している。すなわち被写体７３が右方向に移動している。図２１と比べた場合、点線で囲まれたブロック７４が移動している被写体（斜線）を含む割合が少ない。一般に移動量としてはブロックマッチングにより検出した動きベクトルが用いられる。ブロック内に複数の動きが存在する場合、ブロックマッチングによる動きベクトルの検出結果はブロックの中に含まれる複数の被写体のうち、多くの場合、最も面積（画素数）の多い被写体の動きベクトルとなる。

つまり、図２２に示す例において、点線のブロック７４では、フレーム１乃至フレーム３はもとより、フレーム０においても移動量の検出の結果として得られる動きベクトルの大きさは、ほぼ０に近く、動いていないと判断され、時間方向の間引き処理が施される可能性が非常に高い。しかし、図２２の場合でも移動被写体の一部を含むブロックに対して時間間引き処理を行ってしまうと、図２１と同様に、図２２の右側に示す（Ｂ）間引き処理後復元データのデータに示すように、ブロック７４内に移動被写体が固定して表示される結果になってしまう。つまり、移動被写体が存在しないはずの箇所に動被写体の一部分が数フレーム間存在することになり、非常に目立つ画質劣化となる。

このように、上述した動画像変換装置のように一律の条件で決定した間引き処理を行なうと、移動する被写体の移動速度や移動被写体の面積が小さいブロックに対して時間間引きが行なわれることになり、結果として、図２１、図２２に示すような移動被写体が固定して表示されてしまうといった画質劣化を起こす可能性がある。このような問題点を解決する画像変換装置の構成および処理について、以下、説明する。

本発明の画像変換装置では、例えば、異なる速度で移動する領域間の境界部分で発生する画質劣化を抑制するデータ削減（圧縮）処理が実現される。動画像変換装置１００の構成を、図２３を参照して説明する。図２３に示す動画像変換装置１００は、先に図１を参照して説明した動画像変換装置１０と同様、人間の視覚特性による超解像効果を利用することにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量を削減することを可能としたものであり、さらに、異なる速度で移動する領域間の境界部分で発生する画質劣化を抑止したデータ削減を可能としたものである。

図２３の動画像変換装置１００の構成について説明する。図２３に示す動画像変換装置１００は、先に図１を参照して説明した動画像変換装置１０と同様、人間の視覚特性による超解像効果を利用することにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量を削減することを可能としたものであり、さらに、異なる速度で移動する領域間の境界部分で発生する画質劣化を抑止したデータ削減を可能としたものである。

図２３に示す動画像変換装置１００の基本的な構成は、先に図１を参照して説明した構成とほぼ同様である。ブロック分割部１１０は、入力された動画像の各フレームをブロックに分割し、移動量検出部１２０に供給する。移動量検出部１２０は、ブロック分割部１１０から供給されたブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３０に送信する。ブロック処理部１３０は、移動量検出部１２０から供給されたブロックに対して、その移動量に応じた動画像変換処理を施し、データ量を削減する。ブロック処理部１３０は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４０に供給する。出力部１４０は、ブロック処理部１３０から供給された、データ量が削減されたブロックについてのデータを、例えば、ストリームデータなどとしてまとめて出力する。

次に、図２４を参照して、各部の詳細を説明する。はじめにブロック分割部１１０について説明する。ブロック分割部１１０の画像蓄積部１１１には、動画像変換装置１００に供給された動画像のフレームが入力される。画像蓄積部１１１は、入力されたフレームを蓄積する。画像蓄積部１１１は、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部１１２および移動量検出部１２１に供給する。

ブロック分割部１１２は、画像蓄積部１１１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ（例えば４ｘ４、８ｘ８）のブロックに分割し、移動量検出部１２０のブロック分配部１２２および移動量検出部１２１に出力する。

次に、移動量検出部１２０について説明する。移動量検出部１２０の移動量検出部１２１はブロック分割部１１０のブロック分割部１１２から供給されたＮ個のブロックのうち最も未来のものに対する動きベクトルを、画像蓄積部１１１から過去に供給された、Ｍ（Ｍは整数）フレーム前のフレームを参照して、例えばフレーム間のブロックマッチング処理を実行して検出する。この検出された動きベクトルの持つ大きさに相当する移動量を移動量Ａとする。その移動量Ａをブロック分配部１２２、ブロック処理部１３１および１３３に供給する。

図２５を参照して、移動量検出部１２１の実行する処理について説明する。移動量検出部１２１はブロック分割部１１０のブロック分割部１１２から供給されたＮ個のブロック、すなわち、間引き処理単位フレーム数Ｎに相当するＮ個のブロックのうち最も未来のものに対する動きベクトルを検出する。図２５に示す例ではＮ＝４であり、フレームｎ〜ｎ＋３に対応する同一位置にある４ブロックについて処理を行う場合、最も未来のもの、すなわちフレームｎ＋３に属するブロックに基づいて動きベクトルを検出する。

画像蓄積部１１１に蓄積されたＭ（Ｍは整数）フレーム前のフレーム（フレームｎ＋３−Ｍ）を参照して、フレームｎ＋３と、フレームｎ＋３−Ｍとのフレーム間のブロックマッチング処理を実行して動きベクトルを求め、動きベクトルの大きさに相当する移動量を算出し、これを移動量Ａとする。この移動量Ａをブロック分配部１２２、ブロック処理部１３１および１３３に供給する。さらに、この移動量Ａを移動量検出部１２１内のメモリである移動量検出部メモリ１２３に格納する。このメモリに格納された移動量Ａは、ブロック処理部１３２における時間間引き処理において利用される。この処理については後述する。

なお、動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表す。移動量を検出する手段はブロックマッチング以外のものでも構わない。

上述した処理例は、移動量検出部１２１が、間引き処理単位としてのＮフレーム中の時間的に最終となるフレームのみを適用して移動量Ａを算出し、これらを空間方向間引き処理を実行するブロック処理部１３１および空間方向および時間方向間引き処理を実行するブロック処理部１３３に提供する構成であるが、間引き処理単位としてのＮフレーム中の時間的に最終となるフレームを適用して求める移動量Ａの他に、他のフレームに基づいて第２の移動量（移動量Ｂ）を算出し、これらの複数の移動量からブロック処理部１３１およびブロック処理部１３３に提供する出力移動量を決定する構成としてもよい。

この処理例について、図２６を参照して説明する。図２６に示す例では、移動量検出部１２１はブロック分割部１１０のブロック分割部１１２から供給されたＮ個のブロック、すなわち、間引き処理単位フレーム数Ｎに相当するＮ個のブロックのうち最も未来のフレームｎ＋３と、画像蓄積部１１１に蓄積されたＭ（Ｍは整数）フレーム前のフレーム（フレームｎ＋３−Ｍ）を参照して、フレームｎ＋３と、フレームｎ＋３−Ｍとのフレーム間のブロックマッチング処理を実行して移動量Ａを算出するとともに、間引き処理単位フレーム数Ｎに相当するＮ個のブロックに含まれるその他のフレームのブロックに基づいて、第２の移動量Ｂを算出する。図に示す例では、フレームｎ＋１を選択し、フレームｎ＋１と、フレームｎ＋１−Ｍとのフレーム間のブロックマッチング処理を実行して移動量Ｂを算出する。

このように、移動量Ａに加え移動量Ｂを求めた場合は、例えば平均化処理などにより、移動量Ａと移動量Ｂから１つの出力移動量を生成し、その出力移動量をブロック分配部１２２、ブロック処理部１３１および１３３に供給する。なお、この場合も、最終フレームに基づいて算出した移動量Ａは、移動量検出部メモリ１２３に格納する。このメモリに格納された移動量Ａは、ブロック処理部１３２における時間間引き処理において利用される。

移動量検出部１２０のブロック分配部１２２には、ブロック分割部１１２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部１２１から、上述した処理によって検出された移動量、すなわち移動量Ａあるいは移動量Ａとその他の移動量Ｂに基づいて算出された移動量情報が供給される。ブロック分配部１２２は、供給されたＮ個のブロックと、移動量検出部１２１から入力した移動量を、ブロック処理部１３０の、その移動量に対応する処理を行うブロック処理部１３１乃至１３３の中のいずかに供給する。

具体的にはブロック分配部１２２は、移動量検出部１２１から供給された移動量情報に基づいて、ブロック分割部１１２から供給されたＮ個のブロックと移動量検出部１２１から供給された移動量情報の入力先を決定する。すなわち、ブロック処理部１３１〜１３３のいずれかに決定し、決定先にＮ個のブロックを入力し、ブロック処理部１３１またはブロック処理部１３３にブロックを入力する場合は、移動量情報も併せて入力する。

具体的には、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル（画素）以上である場合は、ブロック分割部１１２から供給されたＮ個のブロックと移動量検出部１２１から供給された移動量を、空間方向間引き処理を実行するブロック処理部１３１に出力する。

また、１フレーム間の水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ１ピクセル以上の場合、ブロック分配部１２２は、Ｎ個のブロックと移動量を、ブロック処理部１３３に出力する。移動量がその他の場合に、ブロック分配部１２２は、Ｎ個のブロックをブロック処理部１３２に供給する。

すなわちブロック分配部１２２は、移動量検出部１２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部１３１〜１３３に、ブロック画像を分配する。なお、分配先決定のためのこの条件はあくまでも一例であり、他の条件で分配先を決定してもよい。

ブロック分配部１２２の実行する間引き態様決定処理を一般化して説明すると以下のようになる。移動量検出部１２１から入力する移動量をＶｔ、予め定めた２つの閾値Ｖａ、Ｖｂ、ただしＶａ＞Ｖｂとした設定において、
移動量：Ｖｔ≧Ｖａである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向間引き処理として決定し、
移動量：Ｖｔ＜Ｖｂである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を時間方向間引き処理として決定し、
移動量Ｖｔが、Ｖｂ≦Ｖｔ＜Ｖａである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向および時間方向間引き処理として決定する。

次に、ブロック処理部１３０の詳細を説明する。ブロック処理部１３０は、上述したように３個のブロック処理部１３１乃至１３３で構成されている。ブロック処理部１３１は動画像変換装置１０のブロック処理部５１と、ブロック処理部１３３は動画像変換装置１０のブロック処理部５３とそれぞれ同一の処理を実行する。

すなわち、ブロック処理部１３１は、移動量検出部１２０のブロック分配部１２２から供給された、連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル以上である場合のＮ個のブロック）に対して、画素数を、同様にブロック分配部１２２から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。

具体的には、１フレーム間の水平方向の移動量が垂直方向の移動量より大きく、さらに２ピクセル（画素）以上である場合、ブロック処理部１３１は、ブロックが例えば８×８ピクセルで構成されているとき、図３に示すように、ブロック内の画素を、１×４ピクセル単位の集合に分割する。さらにブロック処理部１３１は、図４に示すように、１×４ピクセルの各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）に設定する画素数の間引き（４画素間の画素数の間引き）（間引き量４の間引き）を行う。

１フレーム間の垂直方向の移動量が水平方向の移動量より大きく、さらに２ピクセル以上である場合、ブロック処理部１３１は、図５に示すように、ブロック内の画素を、４×１ピクセル単位の集合に分割し、図６に示すように、各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）にする画素数の間引きを行う。

ブロック処理部１３１は、このような空間方向間引き処理を、供給された４個のブロックに対してそれぞれ施すので、隣接した４画素毎に１画素のデータ量に削減され、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部１３１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４０に供給する。

また、ブロック処理部１３３は、移動量検出部１２０のブロック分配部１２２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間方向間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行う。

ブロック処理部１３３は、ブロック処理部１３１における間引き処理とは異なり、図１０および図１１に示すように、各集合の画素値ｐ１乃至ｐ４を、その中のいずれか２個の画素値（この例の場合、ｐ１、ｐ３）にする画素数の間引き（間引き量２の間引き）を行う。

すなわちブロック処理部５１では、１×４、４×１、または２×２の３通りの画素数の間引きが行われるが、ブロック処理部１３３では、１×２または２×１の２通りの画素数の間引きが行われる。

フレーム数の間引き処理においては、ブロック処理部１３３は、図１２に示すように、連続する４枚のフレームＦ１乃至Ｆ４のぞれぞれの同一位置にある合計４個のブロックＢｉを、その中のいずれか２つ（図の例では、フレームＦ１、Ｆ３の２個のブロック）にするフレーム数の間引きを行う（２フレーム間のフレーム数の間引き）を行う。

ブロック処理部１３３は、このようなデータ量を１／２とする空間方向間引き処理と、データ量を１／２とする時間方向間引き処理を、供給された４個のブロックに対して施すので、結果として４個のブロックのデータ量が（１／２）×（１／２）＝１／４に削減される。ブロック処理部１３３は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４０に供給する。

このように、空間方向間引きを実行するブロック処理部１３１は動画像変換装置１０のブロック処理部５１と同様の処理を実行し、空間方向および時間方向の間引きを実行するブロック処理部１３３は動画像変換装置１０のブロック処理部５３と同様の処理を実行する。

時間方向間引き処理を実行するブロック処理部１３２は、前述の動画像変換装置１０のブロック処理部５２とは異なる処理を実行する。以下、ブロック処理部１３２の構成および処理の詳細について説明する。

ブロック処理部１３２は、移動量検出部１２０のブロック分配部１２２から供給された連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。

図２７を参照して、時間方向間引き処理を実行するブロック処理部１３２の詳細構成と処理について説明する。ブロック処理部１３２は時間方向間引き処理フレーム決定部１５１、および時間方向間引き処理部１５２を有する。

間引き処理単位フレーム数：ＮをＮ＝４とした場合、ブロック時間方向間引き処理部１５２は、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置にある４個のブロックＢｉのうちいずれかのブロックの画像データのみを残すフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。図２８乃至図３１を参照して時間方向間引き処理の具体例を説明する。図２８は間引き処理単位フレーム数：ＮをＮ＝４とした場合、１つの処理単位に含まれる連続する４枚のフレームＦ１乃至Ｆ４から、フレームＦ１のみを残す構成とした時間方向間引き処理例、図２９はフレームＦ２のみを残す構成とした時間方向間引き処理例、図３０はフレームＦ３のみを残す構成とした時間方向間引き処理例、図３１はフレームＦ４のみを残す構成とした時間方向間引き処理例である。いずれのフレームを残すかは、図２７に示す時間方向間引き処理フレーム決定部１５１が、間引き処理単位フレームの各ブロックの組ごとに決定する。

時間方向間引き処理フレーム決定部１５１は、現在処理中のＮフレームのブロックの組に関して、時間方向間引き処理において残すフレームを選択フレームとして決定し、時間方向間引き処理部１５２に対して、決定した選択フレーム情報を出力する。

時間方向間引き処理フレーム決定部１５１は、現在処理中のブロックと同じ位置の過去のフレームに対応する移動量情報、すなわち、過去フレーム対応移動量（移動量Ａ）を、移動量検出部１２１から入力する。図２５、図２６を参照して説明したように、移動量検出部１２１は、各間引き処理単位フレームの各ブロックの組毎に、移動量Ａを算出し、これを移動量検出部メモリ１２３に格納している。時間方向間引き処理フレーム決定部１５１は、現在処理中のブロックと同じ位置の過去のフレームに対応する移動量情報（移動量Ａ）である過去フレーム対応移動量を移動量検出部メモリ１２３から取得する。なお、過去のフレームとは、現在処理中のＮフレームをフレームｎ、フレームｎ＋１、・・・、フレームｎ＋Ｎ−１とすると、フレームｎ−１を指す。

すなわち、移動量検出部１２１の移動量検出部メモリ１２３には、時間方向間引き処理を実行するブロック処理部１３２において、現在処理中のブロックの属する間引き処理単位フレーム群の１つ前の間引き処理単位フレーム群の最終フレームに相当するブロックの移動量Ａが、過去フレーム対応移動量として格納されており、ブロック処理部１３２の時間方向間引き処理フレーム決定部１５１は、この１つ前の処理単位相当する過去フレーム対応移動量（移動量Ａ）を取得して、時間方向間引き処理において、データとして残す選択フレームを決定する。

時間方向間引き処理フレーム決定部１５１は、移動量検出部１２１の移動量検出部メモリ１２３から取得した過去フレーム対応移動量情報に基づいて、時間方向間引き処理において残すフレームを以下のように決定する。
（１）１つ前の処理単位に含まれる過去フレームに基づいて算出した移動量（移動量Ａ）の絶対値Ｖが、基準速度Ｕ＝１ピクセル／フレーム未満だった場合は、フレームｎを残すフレームとする。
（２）上記以外の場合はフレームｎ＋Ｎ−１を残すフレームとする。

すなわち、過去フレーム対応移動量（移動量Ａ）が、予め定めた閾値［基準速度Ｕ＝１ピクセル／フレーム］より小さい移動量である場合は、処理中のＮフレームのうち最も過去のフレームをデータとして残す選択フレームとして決定し、過去の移動量Ａが、予め定めた閾値［基準速度Ｕ＝１ピクセル／フレーム］以上の移動量である場合は、Ｎフレームの内、最も未来のフレームをデータとして残す選択フレームとする。なお基準速度Ｕはこの例では１ピクセル／フレームとしたが他の速度であっても構わない。

このように、ブロック処理部１３２は、時間方向間引きにおいて残すフレームを過去のブロックの移動量に基づいて、動的に変化させて異なる態様の時間間引き処理を実行する。

このような過去のフレームに基づいて検出された移動量の大きさによって、時間方向間引き処理の態様を変更する処理による効果について図３２乃至図３４を用いて説明する。なお、図３２乃至図３３は、先に説明した図２１、図２２と同様に、斜線で示した部分が移動被写体９１であり、その他の部分が背景となっている。

図３２には、（Ａ）間引き処理前、（Ｂ）間引き処理後復元データの各フレームの画像を示している。なお、ここで実行する間引き処理は時間方向間引き処理であり、Ｎ＝４として、４枚のフレームから１つのフレームデータを選択フレームとして残し、復元処理において、その選択フレームのデータを他のフレームにコピーする処理を実行している。なお、この処理は、フレームに含まれるブロック単位で個別に実行される。

図３２には、（Ａ）間引き処理前のフレームとして、処理単位（Ｎ＝４）に属するフレーム０〜３と、フレーム０の１つ前のフレーム、フレーム−１を示している。（Ｂ）間引き処理後のフレームとしては、処理単位（Ｎ＝４）に属するフレーム０〜３を示している。

先に図２７他を参照して説明したように本発明の動画像変換装置１００では、あるブロックに時間方向間引き処理を施す場合、１つ前の間引き処理単位に属する最終フレームに基づいて検出された移動量Ａが、移動量検出部メモリ１２３から取得されて、その移動量Ａに基づいて、時間方向間引きにおいて残す選択フレームを決定する。

図３２に示す画像データ例の場合、（Ａ）間引き処理前のフレーム−１のブロック９２内の大半を移動被写体が占めている。このような構成では、ブロック９２から算出される移動量は大きい値（１ピクセル／フレーム以上）となることが予想できる。

時間方向間引き処理を実行するブロック処理部１３２は、間引き処理対象のフレーム０からフレーム３の４フレームの各ブロックデータ２００〜２０３のうち、どのフレームのブロックデータを選択フレームとして残すかを判定する際、ブロック９２から算出される移動量に基づく決定処理を行なうことになる。

前述したように、時間方向間引き処理フレーム決定部１５１は、
（１）１つ前の処理単位に含まれる過去フレームに基づいて算出した過去フレーム対応移動量（移動量Ａ）の絶対値Ｖが、基準速度Ｕ＝１ピクセル／フレーム未満だった場合は、フレームｎを残すフレームとする。
（２）上記以外の場合はフレームｎ＋Ｎ−１を残すフレームとする。
これらの処理に従って、選択フレームを決定する。

図３２の例では、ブロック９２から算出される移動量は大きい値（１ピクセル／フレーム以上）となり、従って、時間方向間引き処理を実行するブロック処理部１３２は、間引き処理対象のフレーム０からフレーム３の４フレームの各ブロック２００〜２０３のうち、最も未来のフレームであるフレーム３に属するブロック２０３を残す時間間引きを実行する。

この間引き処理データを、復元した結果が、図３２の右部に示す（Ｂ）間引き処理後復元データである。各フレーム０〜３のブロック２１０〜２１３のすべてには、（Ａ）間引き処理前のフレーム３のブロック２０３と同様のデータ、すなわち、背景データのみからなる画像データによって構成されるデータが復元される。フレーム０において移動被写体９１（斜線）の一部に欠けが生じているが、先に説明した図２２の（Ｂ）間引き処理後復元データのように４フレーム間に渡って動被写体の欠片が一ヶ所に留まるようなことはなく、画像劣化が抑制され、オリジナル画像に近い良好な動画像データの復元が実現される。

さらに、図３３、図３４を参照して、異なる動きを持つ移動被写体を含む動画像データに対する処理例について説明する。図３３、図３４においては、斜線で示した移動被写体９３が左方向へ移動している動画像のフレーム０〜３を示している。図３３は、従来の時間方向間引き処理、すなわち過去フレームの移動量に基づく残すフレームを選択する処理を実行しない場合であり、図３４は、過去フレームの移動量に基づく残すフレームを選択する処理を実行した場合の画像データを示している。

図３３の処理例では、フレーム０〜３のブロック２２０〜２２３に対する時間方向間引きにおいて、仮にフレーム３のブロック２２３を残した時間間引きをおこなってしまうと、図３３の右部に示す（Ｂ）間引き処理後復元データのフレーム０〜３に含まれるブロック２３０〜２３３には、フレーム３のブロック２２３のデータと同様、移動被写体の一部を含む画像データが表示されることになる。この結果、例えば、フレーム０などでは、突然離れた部分にあるはずの移動被写体９３の一部ブロック２３０の内部に表示されてしまう。

一方、上述した処理、すなわち、過去フレームの移動量に基づいて、時間方向間引き処理において残すフレームを選択する処理を実行した場合は、図３４に示す結果となる。

図３４に示す画像データ例の場合、（Ａ）間引き処理前のフレーム−１のブロック９５内には移動被写体が含まれない。このような構成では、ブロック９５から算出される移動量は小さい値（１ピクセル／フレーム未満）となることが予想できる。

時間方向間引き処理を実行するブロック処理部１３２は、間引き処理対象のフレーム０からフレーム３の４フレームの各ブロックデータ２００〜２０３のうち、どのフレームのブロックデータを選択フレームとして残すかを判定する際、ブロック９５から算出される移動量に基づく決定処理を行なうことになる。

前述したように、時間方向間引き処理フレーム決定部１５１は、
（１）１つ前の処理単位に含まれる過去フレームに基づいて算出した移動量（移動量Ａ）の絶対値Ｖが、基準速度Ｕ＝１ピクセル／フレーム未満だった場合は、フレームｎを残すフレームとする。
（２）上記以外の場合はフレームｎ＋Ｎ−１を残すフレームとする。
これらの処理に従って、選択フレームを決定する。

図３４の例では、ブロック９５から算出される移動量は小さい値（１ピクセル／フレーム未満）となり、従って、時間方向間引き処理を実行するブロック処理部１３２は、間引き処理対象のフレーム０からフレーム３の４フレームの各ブロック２４０〜２４３のうち、最も時間的に古いフレームであるフレーム０に属するブロック２４０を残す時間方向間引きを実行する。

この間引き処理データを、復元した結果が、図３４の右部に示す（Ｂ）間引き処理後復元データである。各フレーム０〜３のブロック２５０〜２５３のすべてには、（Ａ）間引き処理前のフレーム０のブロック２４０と同様のデータ、すなわち、背景データのみからなる画像データによって構成されるデータが復元される。フレーム３において移動被写体９３（斜線）の一部に欠けが生じているが、先に説明した図２２の（Ｂ）間引き処理後復元データのように４フレーム間に渡って動被写体の欠片が一ヶ所に留まるようなことはなく、画像劣化が抑制され、オリジナル画像に近い良好な動画像データの復元が実現される。

ブロック処理部１３２は、このような時間方向間引き処理により、データ量が１／Ｎに削減されたＮ個のブロックについてのデータ（１個のブロック）を、出力部１４０に供給する。出力部１４０、復元部１５０についてはそれぞれ、先に説明した動画像変換装置１０の出力部１４、復元部１５と同一の処理を実行する構成であるので説明は省略する。

図３５に時間方向間引き処理を実行するブロック処理部１３２の処理シーケンスを説明するフローチャートを示す。このフローチャートに従って、ブロック処理部１３２の処理手順について説明する。

まず、ステップＳ１０１において、ブロック処理部１３２は、移動量検出部１２０から、時間方向間引き処理対象となるブロックデータを入力する。基本的にブロック処理部１３２に入力されるブロックは、移動量検出部１２０において、時間方向間引き処理が最適であると判定されたブロックである。具体的には、例えば、移動量検出部１２０は、移動量をＶｔ、予め定めた２つの閾値Ｖａ、Ｖｂ、ただしＶａ＞Ｖｂとした設定において、
移動量：Ｖｔ≧Ｖａである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向間引き処理として決定し、
移動量：Ｖｔ＜Ｖｂである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を時間方向間引き処理として決定し、
移動量Ｖｔが、Ｖｂ≦Ｖｔ＜Ｖａである場合、
間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向および時間方向間引き処理として決定する処理を実行しており、
時間方向間引き処理を実行するブロック処理部１３２には、
移動量：Ｖｔ＜Ｖｂであると判定された間引き処理単位フレームに含まれるブロックが入力されることになる。ここでは処理単位フレーム数をＮとし、フレームｎ〜ｎ＋Ｎに属するＮ個のブロックが入力されたとする。

ステップＳ１０２では、１処理単位前の間引き処理単位の対応ブロックに基づいて検出された移動量Ａを入力する。図２５〜図２７を参照して説明したように、移動量検出部１２０においては、各処理単位の最終フレームに属するブロックに基づいて移動量Ａを算出し、これを移動量検出部メモリ１２３に格納している。ブロック処理部１３２は、このメモリ１２３に格納された１つ前の処理単位の移動量Ａを入力する。

ステップＳ１０３では、移動量Ａと、予め定めた閾値Ｕとの比較を実行する。
前述したように、ブロック処理部１３２の時間方向間引き処理フレーム決定部１５１は、
（１）１つ前の処理単位に含まれる過去フレームに基づいて算出した過去フレーム対応移動量（移動量Ａ）の絶対値Ｖが、基準速度Ｕ＝１ピクセル／フレーム未満だった場合は、フレームｎを残すフレームとする。
（２）上記以外の場合はフレームｎ＋Ｎ−１を残すフレームとする。
これらの処理に従って、選択フレームを決定する。

ステップＳ１０３において、過去フレーム対応移動量Ａ≧閾値Ｕである場合は、ステップＳ１０４に進む。この処理は、上記の（１）の処理に相当する。すなわち、ステップＳ１０４では、時間方向間引き処理フレーム決定部１５１は、処理フレームの最後のフレーム、すなわちフレームｎ＋Ｎ−１を残すフレームとしてこのフレームに対応するブロックを選択ブロックとする。

一方、ステップＳ１０３において、過去フレーム対応移動量Ａ≧閾値Ｕでない場合は、ステップＳ１０５に進む。この処理は、上記の（２）の処理に相当する。すなわち、ステップＳ１０５では、時間方向間引き処理フレーム決定部１５１は、処理フレームの先頭のフレーム、すなわちフレームｎを残すフレームとしてこのフレームに対応するブロックを選択ブロックとする。

ステップＳ１０６では、ブロック処理部１３２における時間方向間引き処理部１５２が、選択フレームに対応するブロックデータのみを残す時間方向間引き処理を実行し、処理を終了する。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、画像の各領域の特徴、特に被写体の動きに対応した最適な圧縮処理態様を決定し、決定した態様にしたがって領域ごとに最適な態様でデータ変換処理を行う構成とすることで品質劣化のきわめて少ない圧縮および復元が可能となる。特に、本発明の構成においては、時間方向間引きを実行する際に、処理対象の１つ前の間引き処理単位フレームに属するブロックに基づいて検出された過去フレーム対応移動量を入力し、該過去フレーム対応移動量に基づいて、時間方向間引きにおいてデータとして残すブロック対応フレームを決定して、決定したフレーム対応のブロックデータを残す時間方向間引き処理を実行する構成としたので、復元画像に、本来存在しない移動被写体が表示されるといった画像劣化を低減させることが可能となり、高品質な画像圧縮、復元を可能としたデータ変換が実現される。

特に、本発明の構成によれば、過去フレーム対応移動量に基づいて、時間方向間引きにおいてデータとして残すブロック対応フレームを決定して、決定したフレーム対応のブロックデータを残す時間方向間引き処理を実行する構成としたので、時間方向間引き処理対象ブロックに移動被写体がごく少量含まれるような場合、復元画像に、本来存在しない移動被写体が表示されるといったことがなくなり、高品質な画像圧縮、復元を可能としたデータ変換が実現される。

超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成を示す図である。 超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成の詳細を示す図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 間引き処理により生成された圧縮データの復元を実行する復元部の構成を示すブロック図である。 復元部におけるブロック拡張部の処理について説明する図である。 復元部におけるブロック拡張部の処理について説明する図である。 復元部におけるブロック拡張部の処理について説明する図である。 復元部におけるブロック拡張部の処理について説明する図である。 復元部におけるブロック拡張部の処理について説明する図である。 復元部におけるブロック拡張部の処理について説明する図である。 復元部におけるブロック拡張部の処理について説明する図である。 時間方向間引き処理を実行した場合の問題点について説明する図である。 時間方向間引き処理を実行した場合の問題点について説明する図である。 本発明の超解像効果を利用したデータ変換を実行する画像変換装置の構成例について説明する図である。 超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成の詳細を示す図である。 移動量検出部の実行する移動量検出処理の一例について説明する図である。 移動量検出部の実行する移動量検出処理の一例について説明する図である。 時間方向間引き処理を実行するブロック処理部の構成および処理について説明する図である。 時間方向間引き処理の実行態様の一例について説明する図である。 時間方向間引き処理の実行態様の一例について説明する図である。 時間方向間引き処理の実行態様の一例について説明する図である。 時間方向間引き処理の実行態様の一例について説明する図である。 本発明の処理に従った時間方向間引き処理の処理例について説明する図である。 時間方向間引き処理の処理例について説明する図である。 本発明の処理に従った時間方向間引き処理の処理例について説明する図である。 時間方向間引き処理を実行するブロック処理部の処理シーケンスについて説明するフローチャートを示す図である。

符号の説明

１０ 画像変換装置
１１ ブロック分割部
１２ 移動量検出部
１３ ブロック処理部
１４ 出力部
１５ 復元部
２１ 画像蓄積部
２２ ブロック分割部
３１ 移動量検出部
３２ ブロック分配部
５１〜５３ ブロック処理部
６１ ブロック分配部
６２〜６４ ブロック拡張部
６５ 合成部
７１ 移動被写体
７２ ブロック
７３ 移動被写体
７４ ブロック
９１ 移動被写体
９２ ブロック
９３ 移動被写体
９５ ブロック
１００ 画像変換装置
１１０ ブロック分割部
１１１ 画像蓄積部
１１２ ブロック分割部
１２０ 移動量検出部
１２１ 移動量検出部
１２２ ブロック分配部
１２３ 移動量検出部メモリ
１３０ ブロック処理部
１３１〜１３３ ブロック処理部
１４０ 出力部
１５０ 復元部
１５１ 時間方向間引き処理フレーム決定部
１５２ 時間方向間引き処理部
２００〜２０３ ブロック
２１０〜２１３ ブロック
２２０〜２２３ ブロック
２３０〜２３３ ブロック
２４０〜２４３ ブロック
２５０〜２５３ ブロック

Claims (11)

1. 動画像データのデータ変換処理を実行する動画像変換装置であり、
   動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
   前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
   前記移動量検出部の検出した移動量情報を入力し、該移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれを実行するかを決定し、間引き処理を実行するブロック処理部に間引き処理対象ブロックデータを供給する処理を実行するブロック分配部と、
   ブロックデータを入力し、入力ブロックに対応する移動量に応じて、空間方向間引き処理、時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかを実行するブロック処理部とを有し、
   前記ブロック処理部は、
   入力ブロックに対する時間方向間引き処理の実行に際して、処理対象ブロックとピクセル位置が対応し、かつ処理対象の１つ前の間引き処理単位フレームに属するブロックに基づいて前記移動量検出部の検出した過去フレーム対応移動量を入力し、該過去フレーム対応移動量に基づいて、時間方向間引きにおいてデータとして残すブロック対応フレームを決定するフレーム決定部と、
   前記フレーム決定部の決定したフレーム対応のブロックデータを残す時間方向間引き処理を実行する時間方向間引き処理部と、
   を有する構成であることを特徴とする動画像変換装置。
2. 前記フレーム決定部は、
   前記過去フレーム対応移動量が、予め定めた閾値Ｕ以上である場合、すなわち、
   過去フレーム対応移動量≧閾値Ｕ
   である場合は、
   時間方向間引き処理対象ブロックの属するフレーム（ｎ〜ｎ＋Ｎ−１）の最後のフレーム（ｎ＋Ｎ−１）を時間方向間引きにおいてデータとして残すブロック対応フレームとして決定し、
   過去フレーム対応移動量＜閾値Ｕ
   である場合は、
   時間方向間引き処理対象ブロックの属するフレーム（ｎ〜ｎ＋Ｎ−１）の先頭のフレーム（ｎ）を時間方向間引きにおいてデータとして残すブロック対応フレームとして決定する処理を実行する構成であり、
   前記時間方向間引き処理部は、
   前記フレーム決定部の決定したフレーム対応のブロックデータを残す時間方向間引き処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
3. 前記移動量検出部は、
   間引き処理実行単位となる複数の連続フレーム（ｎ〜ｎ＋Ｎ−１）におけるピクセル位置の対応するＮ個の複数ブロックから、最後のフレーム（ｎ＋Ｎ−１）に属するブロックに基づいて移動量を検出する処理を実行し、
   前記フレーム決定部は、
   前記移動量検出部が、最後のフレーム（ｎ＋Ｎ−１）に属するブロックに基づいて検出した移動量を過去フレーム対応移動量として入力し、入力した過去フレーム対応移動量に基づいて、時間方向間引きにおいてデータとして残すブロック対応フレームを決定する処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
4. 前記移動量検出部は、
   間引き処理実行単位となる複数の連続フレーム（ｎ〜ｎ＋Ｎ−１）におけるピクセル位置の対応するＮ個の複数ブロックから、最後のフレーム（ｎ＋Ｎ−１）に属するブロックに基づいて移動量Ａを検出する処理を実行するとともに、
   前記最後のフレーム（ｎ＋Ｎ−１）以外のフレームに属するブロックに基づいて移動量Ｂを検出し、前記移動量Ａおよび移動量Ｂを含むデータに基づいて前記ブロック処理部に出力する出力移動量を算出する処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
5. 前記ブロック分配部は、
   前記移動量検出部の検出した移動量情報に基づいて、間引き処理態様を決定する構成であり、
   前記移動量をＶｔ、予め定めた２つの閾値Ｖａ、Ｖｂ、ただしＶａ＞Ｖｂである設定において、
   移動量：Ｖｔ≧Ｖａである場合、
   間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向間引き処理として決定し、
   移動量：Ｖｔ＜Ｖｂである場合、
   間引き処理実行単位となる複数の連続フレームについての実行処理を時間方向間引き処理として決定し、
   移動量Ｖｔが、Ｖｂ≦Ｖｔ＜Ｖａである場合、
   間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向および時間方向間引き処理として決定する構成であることを特徴とする請求項１に記載の動画像変換装置。
6. 動画像データのデータ変換処理を実行する動画像変換方法であり、
   動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
   前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
   前記移動量検出ステップにおいての検出した移動量情報を入力し、該移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれを実行するかを決定し、間引き処理を実行するブロック処理部に間引き処理対象ブロックデータを供給する処理を実行するブロック分配ステップと、
   ブロックデータを入力し、入力ブロックに対応する移動量に応じて、空間方向間引き処理、時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかを実行するブロック処理ステップとを有し、
   前記ブロック処理ステップは、
   入力ブロックに対する時間方向間引き処理の実行に際して、処理対象ブロックとピクセル位置が対応し、かつ処理対象の１つ前の間引き処理単位フレームに属するブロックに基づいて検出された過去フレーム対応移動量を入力し、該過去フレーム対応移動量に基づいて、時間方向間引きにおいてデータとして残すブロック対応フレームを決定するフレーム決定ステップと、
   前記フレーム決定ステップにおいて決定したフレーム対応のブロックデータを残す時間方向間引き処理を実行する時間方向間引き処理ステップとを有することを特徴とする動画像変換方法。
7. 前記フレーム決定ステップは、
   前記過去フレーム対応移動量が、予め定めた閾値Ｕ以上である場合、すなわち、
   過去フレーム対応移動量≧閾値Ｕ
   である場合は、
   時間方向間引き処理対象ブロックの属するフレーム（ｎ〜ｎ＋Ｎ−１）の最後のフレーム（ｎ＋Ｎ−１）を時間方向間引きにおいてデータとして残すブロック対応フレームとして決定し、
   過去フレーム対応移動量＜閾値Ｕ
   である場合は、
   時間方向間引き処理対象ブロックの属するフレーム（ｎ〜ｎ＋Ｎ−１）の先頭のフレーム（ｎ）を時間方向間引きにおいてデータとして残すブロック対応フレームとして決定する処理を実行し、
   前記時間方向間引き処理ステップは、
   前記フレーム決定ステップにおいて決定したフレーム対応のブロックデータを残す時間方向間引き処理を実行することを特徴とする請求項６に記載の動画像変換方法。
8. 前記移動量検出ステップは、
   間引き処理実行単位となる複数の連続フレーム（ｎ〜ｎ＋Ｎ−１）におけるピクセル位置の対応するＮ個の複数ブロックから、最後のフレーム（ｎ＋Ｎ−１）に属するブロックに基づいて移動量を検出する処理を実行し、
   前記フレーム決定ステップは、
   前記移動量検出ステップにおいて最後のフレーム（ｎ＋Ｎ−１）に属するブロックに基づいて検出した移動量を過去フレーム対応移動量として入力し、入力した過去フレーム対応移動量に基づいて、時間方向間引きにおいてデータとして残すブロック対応フレームを決定する処理を実行することを特徴とする請求項６に記載の動画像変換方法。
9. 前記移動量検出ステップは、
   間引き処理実行単位となる複数の連続フレーム（ｎ〜ｎ＋Ｎ−１）におけるピクセル位置の対応するＮ個の複数ブロックから、最後のフレーム（ｎ＋Ｎ−１）に属するブロックに基づいて移動量Ａを検出する処理を実行するとともに、
   前記最後のフレーム（ｎ＋Ｎ−１）以外のフレームに属するブロックに基づいて移動量Ｂを検出し、前記移動量Ａおよび移動量Ｂを含むデータに基づいて前記ブロック処理部に出力する出力移動量を算出する処理を実行することを特徴とする請求項６に記載の動画像変換方法。
10. 前記ブロック分配ステップは、
    前記移動量検出ステップにおいて検出した移動量情報に基づいて、間引き処理態様を決定するステップを含み、
    前記移動量をＶｔ、予め定めた２つの閾値Ｖａ、Ｖｂ、ただしＶａ＞Ｖｂである設定において、
    移動量：Ｖｔ≧Ｖａである場合、
    間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向間引き処理として決定し、
    移動量：Ｖｔ＜Ｖｂである場合、
    間引き処理実行単位となる複数の連続フレームについての実行処理を時間方向間引き処理として決定し、
    移動量Ｖｔが、Ｖｂ≦Ｖｔ＜Ｖａである場合、
    間引き処理実行単位となる複数の連続フレームについての実行処理を空間方向および時間方向間引き処理として決定することを特徴とする請求項６に記載の動画像変換方法。
11. 動画像データのデータ変換処理をコンピュータ上で実行させるコンピュータ・プログラムであり、
    動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
    前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
    前記移動量検出ステップにおいての検出した移動量情報を入力し、該移動量情報に基づいて、間引き処理実行単位となる複数の連続フレームについて、空間方向間引き処理、または時間方向間引き処理、または空間方向および時間方向間引き処理のいずれを実行するかを決定し、間引き処理を実行するブロック処理部に間引き処理対象ブロックデータを供給する処理を実行するブロック分配ステップと、
    ブロックデータを入力し、入力ブロックに対応する移動量に応じて、空間方向間引き処理、時間方向間引き処理、または空間方向および時間方向間引き処理のいずれかを実行するブロック処理ステップとを有し、
    前記ブロック処理ステップは、
    入力ブロックに対する時間方向間引き処理の実行に際して、処理対象ブロックとピクセル位置が対応し、かつ処理対象の１つ前の間引き処理単位フレームに属するブロックに基づいて検出された過去フレーム対応移動量を入力し、該過去フレーム対応移動量に基づいて、時間方向間引きにおいてデータとして残すブロック対応フレームを決定するフレーム決定ステップと、
    前記フレーム決定ステップにおいて決定したフレーム対応のブロックデータを残す時間方向間引き処理を実行する時間方向間引き処理ステップとを有することを特徴とするコンピュータ・プログラム。

Images