JP2006005904A - 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム - Google Patents

動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP2006005904A
JP2006005904A JP2005052678A JP2005052678A JP2006005904A JP 2006005904 A JP2006005904 A JP 2006005904A JP 2005052678 A JP2005052678 A JP 2005052678A JP 2005052678 A JP2005052678 A JP 2005052678A JP 2006005904 A JP2006005904 A JP 2006005904A
Authority
JP
Japan
Prior art keywords
thinning
block
processing
data
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005052678A
Other languages
English (en)
Other versions
JP4552691B2 (ja
Inventor
Seiji Kobayashi
誠司 小林
Yasutaka Hirasawa
康孝 平澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005052678A priority Critical patent/JP4552691B2/ja
Publication of JP2006005904A publication Critical patent/JP2006005904A/ja
Application granted granted Critical
Publication of JP4552691B2 publication Critical patent/JP4552691B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】 動画像データの圧縮、復元における画質低下を防止した装置および方法を提供する。
【解決手段】 動画像データを構成するブロックにおける被写体移動量を検出し、検出した移動量に基づいて、標本点固定型の空間方向間引き処理、または、標本点移動型の空間方向間引き処理を実行する。ブロック解析により取得した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値未満である場合に、標本点移動型の間引き処理を実行することにより、超解像効果を発生させることを可能な仮想的な被写体の速度を設定した空間方向間引きが可能となり、画質低下を防止したデータ変換が実現される。
【選択図】 図１４

Description

本発明は、動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。特に動画像データのデータ圧縮処理として実行されるデータ変換において、画質劣化を抑え高品質なデータ変換を可能とするとともに、圧縮された変換データからの高品質な画像データ復元を可能とした動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。
動画像データは、ハードディスク、ＤＶＤなどの記憶媒体への保存、あるいはネットワークを介した配信などにおいて、データ量を削減するためのデータ変換、すなわち圧縮処理が行なわれる。特に、近年、動画像データの高品質化、例えばＨＤ（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ）データなど、データ品質の改善が進んでおり、このデータの高品質化に伴ってデータ量が急激に増大している。このような状況において、動画像データの圧縮、復元処理における圧縮効率の改善や、復元データの品質劣化防止に関する技術について多くの検討、研究がなされている。
動画像の圧縮処理方法としては、例えば動画像データを構成する画像フレームの構成画素の間引き処理、すなわち空間方向の間引き処理と、フレームレートを間引く処理、すなわち時間方向の間引き処理などが知られている。
このようなデータ変換によるデータ量削減により記憶媒体への保存やネットワークを介したデータ転送が効率的に行なわれるという利点がある。しかしながら、圧縮されたデータを復元し再生する場合、画質の劣化が発生してしまうという問題がある。特にオリジナルデータが高精細画像である場合には、その品質劣化がより顕著になってしまう。
このような画質劣化をいかに低減するかについては様々な検討がなされている。例えば、特許文献１には、画像の明るさの情報に基づくパラメータを設定し、画像の明るさに従って圧縮態様を変更する画像圧縮処理構成を開示している。また、特許文献２には、画面を複数の領域に分割し、領域毎に圧縮態様を変更した圧縮処理構成を開示している。
特開２００３−１６９２８４号公報 特開２００２−２７４６６号公報
上述のように、いくつかの従来技術において、処理対象画像から求められる様々な特性に基づいて圧縮態様を変更し、データ品質を高める構成が開示されているが、これまでに開示されている圧縮方法では、圧縮画像データを復元し、再生した場合の画質劣化を十分に抑えるには至っていない。
特に、動画像データは、被写体の動きの大きい部分、小さい部分、静止している部分など、様々な動きデータを含むデータであり、これらの異なる動きに対応させてデータ品質を損なうことなく適切な圧縮処理を行い、データ復元、再生を行なった場合の品質劣化を認識させないようにすることの困難性が高いという問題がある。
本発明は、このような問題点に鑑みてなされたものであり、画像の各領域の特徴、特に被写体の動きに対応した最適な圧縮処理態様を決定し、決定した態様に従って各領域毎に最適な態様でデータ変換処理を行なう構成とすることで品質劣化の極めて少ない圧縮および復元を可能とした動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第１の側面は、
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
前記ブロック分割部の分割したブロックデータと、前記移動量検出部の検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理部とを有し、
前記ブロック処理部は、
前記移動量情報に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定部と、
前記間引き態様決定部の決定に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行部と、
を有する構成であることを特徴とする動画像変換装置にある。
さらに、本発明の動画像変換装置の一実施態様において、前記間引き態様決定部は、さらに、標本点移動型の空間方向間引きにおける処理態様として、フレームの進行に従った標本点移動方向を決定する構成であり、前記間引き処理実行部は、前記間引き態様決定部の決定した方向への標本点移動処理を伴う標本点移動型の空間方向間引き処理を実行する構成であることを特徴とする。
さらに、本発明の動画像変換装置の一実施態様において、前記間引き態様決定部は、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データに従った間引き態様決定処理を行なう構成であり、前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値以上である場合は標本点固定型の間引き処理の実行を決定し、前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値未満である場合は標本点移動型の間引き処理の実行を決定する構成であることを特徴とする。
さらに、本発明の動画像変換装置の一実施態様において、前記間引き態様決定部は、さらに、前記間引き態様決定部による過去のフレームに対する間引き態様決定結果を保持するメモリを有し、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データおよび過去のフレームに対する間引き態様決定結果に従った間引き態様決定処理を行う構成であり、前記過去のフレームに対する間引き態様決定結果が標本点固定型の間引き処理であり、かつ前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ１以上である場合は標本点固定型の間引き処理の実行を決定し、前記過去のフレームに対する間引き態様決定結果が標本点固定型の間引き処理であり、かつ前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ１未満である場合は標本点移動型の間引き処理の実行を決定し、前記過去のフレームに対する間引き態様決定結果が標本点移動型の間引き処理であり、かつ前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ２未満である場合は標本点移動型の間引き処理の実行を決定し、前記過去のフレームに対する間引き態様決定結果が標本点移動型の間引き処理であり、かつ前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ２以上である場合は標本点固定型の間引き処理の実行を決定する構成であることを特徴とする。
さらに、本発明の動画像変換装置の一実施態様において、前記ブロック処理部は、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて画質評価値が予め定めた基準評価値以上となる移動速度の領域に、標本点移動型の間引き処理によって生ずる仮想的な被写体の移動速度が設定されるように標本点の移動態様を設定した空間間引き処理を実行する構成であることを特徴とする。
さらに、本発明の動画像変換装置の一実施態様において、前記ブロック処理部は、さらに、前記ブロック処理部による過去のフレームに対する空間間引き処理の際の標本点の移動態様を保持するメモリを有し、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて、前記過去のフレームに対する空間間引きの際の標本点の移動態様に応じた仮想的な被写体の移動速度に対応する画質評価値が予め定めた基準評価値Ｔ３以上である場合は、前記過去のフレームに対する空間間引きの際の標本点の移動態様を設定した空間間引き処理を実行し、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて、前記過去のフレームに対する空間間引きの際の標本点の移動態様に応じた仮想的な被写体の移動速度に対応する画質評価値が予め定めた基準評価値Ｔ３を下回る場合は、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて画質評価値が予め定めた基準評価値Ｔ４以上となる移動速度の領域に標本点移動型の間引き処理によって生ずる仮想的な被写体の移動速度が設定されるように標本点の移動態様を設定した空間間引き処理を実行する構成であることを特徴とする。
さらに、本発明の動画像変換装置の一実施態様において、前記ブロック処理部は、前記移動量情報に基づいて、（ａ）空間方向間引き処理のみ、または、（ｂ）空間方向間引き処理と時間方向間引き処理、または、（ｃ）時間方向間引き処理のみ、上記（ａ）乃至（ｃ）のいずれかの態様での間引き処理を実行する構成であることを特徴とする。
さらに、本発明の動画像変換装置の一実施態様において、前記移動量検出部は、異なるフレームの対応ブロックに基づく動きベクトルを検出する処理を実行し、前記ブロック処理部は、前記動きベクトルに基づいて間引き態様を決定し、決定した態様に従った間引き処理を実行する構成であることを特徴とする。
さらに、本発明の第２の側面は、
動画像変換データの復元処理を実行する動画像復元装置であり、
動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張部と、
前記ブロック拡張部におけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成部とを有し、
前記ブロック拡張部は、
前記動画像変換データの生成において実行された標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理、または時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
前記合成部は、
ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する構成であることを特徴とする動画像復元装置にある。
さらに、本発明の動画像復元装置の一実施態様において、前記合成部は、前記ブロック拡張部において復元されたブロックが、標本点移動型の空間方向間引き処理のなされたブロックである場合、フレームの進行に従ってブロック位置をずらせて配置する処理を実行する構成であることを特徴とする。
さらに、本発明の動画像復元装置の一実施態様において、前記合成部は、前記ブロック拡張部において復元されたブロックが、標本点移動型の空間方向間引き処理のなされたブロックである場合、フレームの進行に従ってブロック位置をずらせて配置する処理を実行するとともに、ブロック配置により発生する画素隙間または重複画素の画素値を決定する画素値補正処理を実行する構成であることを特徴とする。
さらに、本発明の第３の側面は、
動画像データのデータ変換処理を実行する動画像変換方法であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて生成したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
前記移動量情報に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定ステップと、
前記間引き態様決定ステップにおける決定情報に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行ステップと、
を有することを特徴とする動画像変換方法にある。
さらに、本発明の動画像変換方法の一実施態様において、前記間引き態様決定ステップは、標本点移動型の空間方向間引きにおける処理態様として、フレームの進行に従った標本点移動方向を決定するステップを有し、前記間引き処理実行ステップは、前記間引き態様決定ステップにおいて決定した方向への標本点移動処理を伴う標本点移動型の空間方向間引き処理を実行することを特徴とする。
さらに、本発明の動画像変換方法の一実施態様において、前記間引き態様決定ステップは、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データに従った間引き態様決定処理を実行し、前記移動量検出ステップにおいて検出された移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値以上である場合は標本点固定型の間引き処理の実行を決定し、前記移動量検出ステップにおいて検出された移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値未満である場合は標本点移動型の間引き処理の実行を決定することを特徴とする。
さらに、本発明の動画像変換方法の一実施態様において、前記間引き態様決定ステップは、さらに、前記間引き態様決定ステップによる過去のフレームに対する間引き態様決定結果を保持し、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データおよび過去のフレームに対する間引き態様決定結果に従った間引き態様決定処理を実行し、前記過去のフレームに対する間引き態様決定結果が標本点固定型の間引き処理であり、かつ前記移動量検出ステップの検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ１以上である場合は標本点固定型の間引き処理の実行を決定し、前記過去のフレームに対する間引き態様決定結果が標本点固定型の間引き処理であり、かつ前記移動量検出ステップの検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ１未満である場合は標本点移動型の間引き処理の実行を決定し、前記過去のフレームに対する間引き態様決定結果が標本点移動型の間引き処理であり、かつ前記移動量検出ステップの検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ２未満である場合は標本点移動型の間引き処理の実行を決定し、前記過去のフレームに対する間引き態様決定結果が標本点移動型の間引き処理であり、かつ前記移動量検出ステップの検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ２以上である場合は標本点固定型の間引き処理の実行を決定することを特徴とする。
さらに、本発明の動画像変換方法の一実施態様において、前記ブロック処理ステップは、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて画質評価値が予め定めた基準評価値以上となる移動速度の領域に、標本点移動型の間引き処理によって生ずる仮想的な被写体の移動速度が設定されるように標本点の移動態様を設定した空間間引き処理を実行することを特徴とする。
さらに、本発明の動画像変換方法の一実施態様において、前記ブロック処理ステップは、さらに、前記ブロック処理ステップによる過去のフレームに対する空間間引き処理の際の標本点の移動態様を保持し、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて、前記過去のフレームに対する空間間引きの際の標本点の移動態様に応じた仮想的な被写体の移動速度に対応する画質評価値が予め定めた基準評価値Ｔ３以上である場合は、前記過去のフレームに対する空間間引きの際の標本点の移動態様を設定した空間間引き処理を実行し、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて、前記過去のフレームに対する空間間引きの際の標本点の移動態様に応じた仮想的な被写体の移動速度に対応する画質評価値が予め定めた基準評価値Ｔ３を下回る場合は、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて画質評価値が予め定めた基準評価値Ｔ４以上となる移動速度の領域に標本点移動型の間引き処理によって生ずる仮想的な被写体の移動速度が設定されるように標本点の移動態様を設定した空間間引き処理を実行することを特徴とする。
さらに、本発明の動画像変換方法の一実施態様において、前記ブロック処理ステップは、前記移動量情報に基づいて、（ａ）空間方向間引き処理のみ、または、（ｂ）空間方向間引き処理と時間方向間引き処理、または、（ｃ）時間方向間引き処理のみ、上記（ａ）乃至（ｃ）のいずれかの態様での間引き処理を実行することを特徴とする。
さらに、本発明の動画像変換方法の一実施態様において、前記移動量検出ステップは、異なるフレームの対応ブロックに基づく動きベクトルを検出する処理を実行し、前記ブロック処理ステップは、前記動きベクトルに基づいて間引き態様を決定し、決定した態様に従った間引き処理を実行することを特徴とする。
さらに、本発明の第４の側面は、
動画像変換データの復元処理を実行する動画像復元方法であり、
動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張ステップと、
前記ブロック拡張ステップにおけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成ステップとを有し、
前記ブロック拡張ステップは、
前記動画像変換データの生成において実行された標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理、または時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
前記合成ステップは、
ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成するステップであることを特徴とする動画像復元方法にある。
さらに、本発明の動画像復元方法の一実施態様において、前記合成ステップは、前記ブロック拡張ステップにおいて復元されたブロックが、標本点移動型の空間方向間引き処理のなされたブロックである場合、フレームの進行に従ってブロック位置をずらせて配置する処理を実行することを特徴とする。
さらに、本発明の動画像復元方法の一実施態様において、前記合成ステップは、前記ブロック拡張ステップにおいて復元されたブロックが、標本点移動型の空間方向間引き処理のなされたブロックである場合、フレームの進行に従ってブロック位置をずらせて配置する処理を実行するとともに、ブロック配置により発生する画素隙間または重複画素の画素値を決定する画素値補正処理を実行するステップを含むことを特徴とする。
さらに、本発明の第５の側面は、
動画像データのデータ変換処理を実行するコンピュータ・プログラムであり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて生成したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
前記移動量情報に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定ステップと、
前記間引き態様決定ステップにおける決定情報に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
さらに、本発明の第６の側面は、
動画像データのデータ変換処理を実行するコンピュータ・プログラムであり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて生成したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
前記移動量情報および過去の間引き態様に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定ステップと、
前記間引き態様決定ステップにおける決定情報および過去の決定情報に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行ステップと、
を有することを特徴とするコンピュータ・プログラム。
さらに、本発明の第７の側面は、
動画像変換データの復元処理を実行するコンピュータ・プログラムであり、
動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張ステップと、
前記ブロック拡張ステップにおけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成ステップとを有し、
前記ブロック拡張ステップは、
前記動画像変換データの生成において実行された標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理、または時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
前記合成ステップは、
ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成するステップであることを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の構成によれば、画像の各領域の特徴、特に被写体の動きに対応した最適な圧縮処理態様を決定し、決定した態様に従って各領域毎に最適な態様でデータ変換処理を行なう構成とすることで品質劣化の極めて少ない圧縮および復元が可能となる。
本発明の構成においては、動画像データを構成するブロックにおける被写体移動量を検出し、検出した移動量に基づいて、標本点固定型の空間方向間引き処理、または、標本点移動型の空間方向間引き処理を実行する。標本点移動型の空間方向間引きにより、仮想的な被写体の速度設定に基づいて超解像効果を発生させることが可能となり、画質劣化を抑制したデータ変換が実現される。
本発明の構成によれば、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データに従った間引き態様決定処理を実行し、処理対象ブロックの移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値以上である場合は標本点固定型の間引き処理を実行し、移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値未満である場合は標本点移動型の間引き処理を実行することにより、仮想的な被写体速度を設定することが可能となり、処理対象ブロックの様々な移動量に対して超解像効果を発生させた画質劣化を低減したデータ変換が可能となる。
さらに、本発明の構成によれば、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理、または時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する動画像復元装置を構成し、標本点移動型の空間方向間引き処理を行なった場合の復元ブロックを標本点移動態様に応じて変更して配置する構成としたので、オリジナル画像に近い高品質画像の復元が実現される。
以下、図面を参照しながら、本発明の動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムの構成について説明する。なお、説明は、以下の項目に従って行なう。
（１）超解像効果を利用した動画像変換装置の基本構成
（２）改良した間引き処理を実行する動画像変換装置の構成
（３）動画像復元装置および動画像復元方法について
［（１）超解像効果を利用した動画像変換装置の基本構成］
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特願２００３−４１２５０１号に詳細を記載しているものであり、画像を小領域に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。
図１に特願２００３−４１２５０１号に記載した動画像変換装置１０の構成例を示す。この動画像変換装置１０は、超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量の削減を行うことができる構成としたものである。
なお、超解像効果とは、観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性に基づいて実現される視覚的効果である。人の視覚は刺激を知覚すると、その刺激を、その刺激の呈示が終了した後もある時間記憶するという機能（感覚記憶機能と称する）を有している。この時間については１０ｍｓ乃至２００ｍｓであるという報告が多数されている。この機能は、アイコニックメモリー、あるいは視覚的持続などとも呼ばれ、例えば、"視覚情報ハンドブック，日本視覚学界編，ｐｐ．２２９−２３０"などに記載されている。なお、超解像効果は、人間の視覚機能における時間的積分機能および感覚記憶機能が複雑に関係して引き起こされていると考えられる。
図１に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行うことにより、画質劣化を観測者が知覚しないようにデータを削減する圧縮を行う構成としたものである。図１の動画像変換装置１０の構成について説明する。
ブロック分割部１１は、入力された動画像の各フレームを、所定画素の区分領域としてのブロックに分割し移動量検出部１２に供給する。移動量検出部１２は、ブロック分割部１１から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３に送信する。ブロック処理部１３は、移動量検出部１２から供給されたブロックに対して、その移動量に応じた動画像変換処理、すなわち圧縮処理を施し、データ量を削減する。ブロック処理部１３は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４に供給する。出力部１４は、ブロック処理部１３から供給された、データ量が削減されたブロックについてのデータを、ストリームデータとしてまとめて出力する。
次に、図２を参照して、各部の詳細について説明する。ブロック分割部１１の画像蓄積部２１には、動画像変換装置１０に供給された動画像のフレームが入力される。画像蓄積部２１は、入力されたフレームを蓄積する。画像蓄積部２１は、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部２２に供給するとともに、Ｎ枚のフレームの中のＭ番目に記憶したフレーム（以下、Ｍ番目のフレームと称する）を、移動量検出部１２（移動量検出部３１）に供給する。例えば、Ｎ＝４とする。
ブロック分割部２２は、画像蓄積部２１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ（例えば８×８、１６×１６）のブロックに分割し、移動量検出部１２（ブロック分配部３２）に出力する。ブロック分割部２２はまた、Ｎ枚のフレームの中の、画像蓄積部２１でＰ番目に記憶されたフレーム（以下、Ｐ番目のフレームと称する）の各ブロックを移動量検出部１２（移動量検出部３１）に供給する。Ｐ番目のフレームは、Ｍ番目のフレームと異なるフレームである。
次に、移動量検出部１２について説明する。移動量検出部１２の移動量検出部３１は、ブロック分割部１１のブロック分割部２２から供給されたＰ番目のフレームの各ブロックの動きベクトルを、画像蓄積部２１から供給されたＭ番目のフレームを参照して例えばフレーム間のブロックマッチング処理を実行して検出し、検出した動きベクトルをブロック分配部３２に供給する。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表している。なお、移動量検出部３１は、移動量検出の精度を向上させるために画像を拡大し、拡大画像を適用した移動量検出を行なう構成としてもよい。
移動量検出部１２のブロック分配部３２には、ブロック分割部２２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部３１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部３２は、供給されたＮ個のブロックと移動量を、ブロック処理部１３の、その移動量に対応する処理を行うブロック処理部５１乃至５３の中のいずかに供給する。
具体的にはブロック分配部３２は、移動量検出部３１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル（画素）以上である場合、ブロック分割部２２から供給されたＮ個のブロックと移動量検出部３１から供給された移動量を、ブロック処理部５１に出力する。また、１フレーム間の水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ１ピクセル以上の場合、ブロック分配部３２は、Ｎ個のブロックと移動量を、ブロック処理部５３に出力する。移動量がそのほかの場合には、ブロック分配部３２は、Ｎ個のブロックと移動量をブロック処理部５２に供給する。
すなわちブロック分配部３２は、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部５１〜５３に、ブロック画像を分配する。
なお、分配先決定のためのこの条件はあくまでも一例であり、他の条件で分配先を決定してもよい。
次に、ブロック処理部１３の詳細を説明する。ブロック処理部１３は、上述したように３個のブロック処理部５１乃至５３で構成されている。ブロック処理部５１は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル以上である場合のＮ個のブロック）に対して、画素数を、同様にブロック分配部３２から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。
具体的には、１フレーム間の水平方向の移動量が２ピクセル（画素）以上である場合、ブロック処理部５１は、ブロックが８×８ピクセルで構成されているとき、図３に示すように、ブロック内の画素を、１×４ピクセル単位の集合に分割する。さらにブロック処理部５１は、図４に示すように、１×４ピクセルの各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）に設定する画素数の間引き（４画素間の画素数の間引き）（間引き量４の間引き）を行う。
１フレーム間の垂直方向の移動量が２ピクセル以上である場合、ブロック処理部５１は、図５に示すように、ブロック内の画素を、４×１ピクセル単位の集合に分割し、図６に示すように、各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）にする画素数の間引きを行う。
また１フレーム間の垂直および水平方向の移動量がともに２ピクセル以上である場合、ブロック処理部５１は、図７に示すように、ブロック内の画素を、２×２ピクセル単位の集合に分割し、図８に示すように、各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）にする画素数の間引きを行う。
ブロック処理部５１は、このような空間方向間引き処理を、供給された４個のブロックに対してそれぞれ施すので、隣接した４画素毎に１画素のデータ量に削減され、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部５１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。
なお、各集合の画素値を、図４の例では、１×４ピクセルの中の左端の画素値ｐ１、図６の例では、４×１ピクセルの中の上端の画素値ｐ１、図８の例では、２×２ピクセルの中の左上隅の画素値ｐ１に設定する構成としたが、ｐ１乃至ｐ４のいずれの画素値に設定する構成としてもよい。また画素値ｐ１乃至ｐ４を用いた計算、例えば平均値などによって算出される画素値に設定してもよい。
次に、図２に示すブロック処理部５２の実行する処理について説明する。図２に示すブロック処理部５２は、移動量検出部１２のブロック分配部３２から供給された連続するＮ枚のフレームのそれぞれの同一位置ある合計Ｎブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。
具体的にはブロック処理部５２は、図９に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢｉ）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。ブロック処理部５２は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４に供給する。
ブロック処理部５３は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間方向間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行う。
ブロック処理部５３は、ブロック処理部５１における間引き処理とは異なり、図１０および図１１に示すように、各集合の画素値ｐ１乃至ｐ４を、その中のいずれか２個の画素値（この例の場合、ｐ１、ｐ３）にする画素数の間引き（間引き量２の間引き）を行う。
すなわちブロック処理部５１では、１×４、４×１、または２×２の３通りの画素数の間引きが行われるが、ブロック処理部５３では、１×２または２×１の２通りの画素数の間引きが行われる。
フレーム数の間引き処理においては、ブロック処理部５３は、ブロック処理部５２における間引き処理と異なり、図１２に示すように、連続する４枚のフレームＦ１乃至Ｆ４のぞれぞれの同一位置にある合計４個のブロックＢｉを、その中のいずれか２つ（図の例では、フレームＦ１、Ｆ３の２個のブロック）にするフレーム数の間引きを行う（２フレーム間のフレーム数の間引き）を行う。
ブロック処理部５３は、このようなデータ量を１／２とする空間方向間引き処理と、データ量を１／２とする時間方向間引き処理を、供給された４個のブロックに対して施すので、結果として４個のブロックのデータ量が（１／２）×（１／２）＝１／４に削減される。ブロック処理部５３は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。
このように、図１に示す動画像変換装置１０は、入力された動画像を、そのデータ量が削減された動画像（圧縮データ）に変換する処理を行なうものであるが、その際、所定の視覚特性に基づいて実現される超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者に知覚させないようにした装置である。
具体的には、ブロック分配部３２が、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、最適なフレームレートおよび空間解像度にしたがった画像データ変換を実行するブロック処理部５１〜５３に供給して、各ブロック処理部５１〜５３において異なる態様のデータ変換処理を実行する構成としたものであり、本構成により、画質劣化を観測者に知覚させることのない動画像変換処理を実現している。なお、超解像効果とは、前述したように観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性に基づいて実現される視覚的効果であり、人間の視覚機能における時間的積分機能および感覚記憶機能が複雑に関係して引き起こされているものと考えられており、図１に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行う構成を有する。
なお、人間の視覚特性および超解像効果に関する原理や説明等は、特願２００３−４１２５０１において詳しく解説がなされている。特願２００３−４１２５０１に説明されている超解像効果の発生条件を以下に説明する。
間引き量ｍ（ピクセル）の画素数間引きを行った場合に超解像効果が発生するには、間引きによる１次乃至ｍ−１次の折り返し成分が全て打ち消される必要がある。ｋ（＝１、２、・・・、ｍ−１）次の折り返し成分が打ち消される条件は、下記式（式１）、（式２）を満足することである。
Figure 2006005904
上記式において、φｔは画素数の間引きにおけるサンプリング位置のずれ量であり、時間ｔ（＝０、１Ｔ、２Ｔ、・・・）、信号の移動速度ｖ、時間間隔（フレームレートの逆数）Ｔ、を用いて、下記式（式３）によって定義される値である。
Figure 2006005904
なお、上記式において、サンプリング位置が右にずれる場合を正としている（この条件は、特願２００３−４１２５０１に開示している設定とは異なる）。
間引き量ｍ、小領域の移動量ｖという条件下で上記式（式１）および（式２）が満たされれば超解像効果が発生し、画質の劣化は観測者に知覚されにくい。
図１乃至図１２を参照して説明した動画像変換装置１０は、間引き量４の画素数間引きを行う際の小領域の１フレーム間の移動速度の条件を、水平または垂直方向に２ピクセル以上と設定していた。ところが、例えば移動速度が１フレームにつき４ピクセル、すなわち小領域の移動量ｖ＝４であった場合に、間引き量ｍ＝４とすると、上記式（式３）のサンプリング位置のずれ量：φｔが取り得る値は０以上の整数のみとなる。
つまり上記式（式１）は全てのｋの場合において満たされることはなく、超解像効果は発生しない。同様に、
間引き量ｍ＝２、小領域の移動量ｖ＝１の場合、
間引き量ｍ＝４、小領域の移動量ｖ＝２の場合、
などの設定においても上記式（式１）は全てのｋの場合において満たされることはなく、超解像効果は得られず画質は大幅に劣化する。すなわち、図１乃至図１２を参照して説明した動画像変換装置１０は、間引き量ｍ、小領域の移動量ｖの各値が特定の条件を満足する場合には、超解像効果を奏し、データ量の削減による画質劣化を観測者に知覚させないことが可能となるが、間引き量ｍ、小領域の移動量ｖの各値が特定の条件を満足しない場合には、超解像効果を発生させず、画質劣化を招いてしまう。以下、この問題点を解決した構成について説明する。
［（２）改良した間引き処理を実行する動画像変換装置の構成］
以下、上述の動画像変換装置の問題点を解決し、改良した間引き処理を実行することにより、超解像効果の発生しないケースを削減し、画質劣化を抑制したデータ削減（圧縮処理）を実現する動画像変換装置について説明する。
動画像変換装置１００の構成を、図１３を参照して説明する。図１３に示す動画像変換装置１００は、先に図１を参照して説明した動画像変換装置１０と同様、人間の視覚特性による超解像効果を利用することにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量を削減することを可能としたものであり、さらに、間引き量ｍ、小領域の移動量ｖの各値が特定の条件を満足するか否かに関わらず、超解像効果を発生させて画質劣化を起こすことのないデータ削減を可能としたものである。
図１３の動画像変換装置１００の構成について説明する。ブロック分割部１１０は、入力された動画像の各フレームをブロックに分割し、移動量検出部１２０に供給する。移動量検出部１２０は、ブロック分割部１１０から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３０に送信する。ブロック処理部１３０は、移動量検出部１２０から供給されたブロックに対して、その移動量に応じた動画像変換処理を施し、データ量を削減する。ブロック処理部１３０は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４０に供給する。出力部１４０は、ブロック処理部１３０から供給された、データ量が削減されたブロックについてのデータを、例えば、ストリームデータなどとしてまとめて出力する。
次に、図１４を参照して、各部の詳細を説明する。はじめにブロック分割部１１０について説明する。ブロック分割部１１０の画像蓄積部１１１には、動画像変換装置１００に供給された動画像のフレームが入力される。画像蓄積部１１１は、入力されたフレームを蓄積する。画像蓄積部１１１は、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部１１２に供給するとともに、Ｎ枚のフレームの中のＭ番目に記憶したフレーム（以下、Ｍ番目のフレームと称する）を、移動量検出部１２０の移動量検出部１２１に供給する。なお例えば、Ｎ＝４とする。
ブロック分割部１１２は、画像蓄積部１１１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ（例えば８×８、１６×１６）のブロックに分割し、移動量検出部１２０のブロック分配部１２２に出力する。ブロック分割部１１２はまた、Ｎ枚のフレームの中の、画像蓄積部１１１でＰ番目に記憶されたフレーム（以下、Ｐ番目のフレームと称する）の各ブロックを移動量検出部１２０の移動量検出部１２１に供給する。Ｐ番目のフレームは、Ｍ番目のフレームと異なるフレームである。
次に、移動量検出部１２０について説明する。移動量検出部１２０の移動量検出部１２１は、ブロック分割部１１０のブロック分割部１１２から供給されたＰ番目のフレームの各ブロックの動きベクトルを、画像蓄積部１１１から供給されたＭ番目のフレームを参照して例えばフレーム間のブロックマッチング処理を実行して検出し、検出した動きベクトルをブロック分配部１２２、ブロック処理部１３１および１３２に供給する。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表している。例えば、Ｍ＝２で、Ｐ＝３とした場合、動きベクトルは、１フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表すことになる。なお、動きベクトルの検出はブロックマッチングによる検出のみならず他の方法を適用してもよい。
移動量検出部１２０のブロック分配部１２２には、ブロック分割部１１２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部１２１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部１２２は、供給されたＮ個のブロックを、ブロック処理部１３０の、その移動量に対応する処理を行うブロック処理部１３１乃至１３３（以下、個々に区別する必要がない場合、単に、ブロック処理部１３０と称する）の中のいずかに供給する。
具体的にはブロック分配部１２２は、移動量検出部１２１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）のどちらか大きいほうの移動量が２ピクセル以上である場合、ブロック分割部１１２から供給されたＮ個のブロックを、ブロック処理部１３１に出力する。また、１フレーム間の水平方向と垂直方向のどちらか大きいほうの移動量が２ピクセル未満で、かつ１ピクセル以上の場合、ブロック分配部１２２は、Ｎ個のブロックを、ブロック処理部１３２に出力する。移動量が、その他の場合には、ブロック分配部１２２は、Ｎ個のブロックをブロック処理部１３３に供給する。
すなわち、
（ａ）移動量≧２ピクセル／フレーム：ブロック処理部１３１（空間方向間引き処理）
（ｂ）２ピクセル／フレーム＞移動量≧１ピクセル／フレーム：ブロック処理部１３２（時間・空間方向間引き処理）
（ｃ）１ピクセル／フレーム＞移動量：ブロック処理部１３３（時間方向間引き処理）
上記（ａ）〜（ｃ）に処理ブロックを出力する。
移動量≧２ピクセルの場合は、ブロック処理部１３１において空間方向間引き処理を実行し、２ピクセル＞移動量≧１ピクセルの場合は、ブロック処理部１３２において時間・空間方向間引き処理を実行し、１ピクセル＞移動量の場合は、ブロック処理部１３３において時間方向間引き処理を実行することになる。
このように、ブロック分配部１２２は、移動量検出部１２１から供給された移動量に基づき、変換に最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部１３１〜１３３ブロック画像を分配する処理を実行する。なお、分配先決定のためのこの条件はあくまでも一例であり、他の条件で分配先を決定してもよい。
例えば、移動量検出部１２１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）のどちらか大きいほうの移動量が２ピクセル以上である場合、ブロック分割部１１２から供給されたＮ個のブロックを、ブロック処理部１３１に出力し、また、１フレーム間の水平方向と垂直方向のどちらか大きいほうの移動量が２ピクセル未満の場合、Ｎ個のブロックを、ブロック処理部１３３に出力するような条件を設定することで、ブロック処理部１３２の処理を一切行わないことも可能となる。
次にブロック処理部１３０について説明する。ブロック処理部１３０は、この例の場合、３個のブロック処理部１３１乃至１３３で構成されている。
ブロック処理部１３１は、移動量検出部１２０のブロック分配部１２２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル／フレーム以上である場合のＮ個のブロック）に対して、画素数を、移動量検出部１３１から供給された水平方向または垂直方向どちらか大きいほうの移動量に応じて間引く処理（空間方向間引き処理）を行う。すなわち、移動量≧２ピクセルのＮ個のブロックに対して空間方向間引き処理を実行する。
１フレーム間の水平方向の移動量が２ピクセル以上である場合、ブロック処理部１３１は、例えばブロックが８×８ピクセルで構成されている場合、図１５（ａ）に示すように、ブロック内の画素を、１×４ピクセル単位の集合に分割する。
さらに、ブロック処理部１３１は、図１５（ｂ）、図１６、図１７のいずれかの態様で、１×４ピクセルの各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値にする画素数の間引き（４画素間の画素数の間引き）（間引き量４の間引き）を行う。
図１５（ｂ）に示す間引き処理は、先に動画像変換装置の基本構成における処理例として、図４を参照して説明した間引き処理と同様の処理であり、連続するＮ枚のフレーム（ｋ〜ｋ＋３）のすべてのフレームにおいて、同一の画素位置の画素値を代表画素値、すなわち標本点（図の例では標本点＝ｐ１）として、４つの画素の画素値として設定する間引き処理である。
図１６および図１７に示す間引き処理は、連続するＮ枚のフレーム（ｋ〜ｋ＋３）において、同一の画素位置を標本点とする設定ではなく、各フレーム毎に異なる画素位置の画素を標本点とし、フレーム毎に異なる位置の画素値を各フレームの４つの画素の画素値として設定する間引き処理である。
図１６に示す間引き処理は、ｋ〜ｋ＋３番目にある４フレームにおいて、それぞれ同一位置にある４つの水平方向の画素の画素値ｐ１〜ｐ４について、
ｋ番目のフレーム：標本点＝ｐ１
ｋ＋１番目のフレーム：標本点＝ｐ２
ｋ＋２番目のフレーム：標本点＝ｐ３
ｋ＋３番目のフレーム：標本点＝ｐ４
のように、フレームの進行に応じて、標本点の画素位置を右方向に１画素ずつ変更して設定した間引き処理である。
図１７に示す間引き処理は、ｋ〜ｋ＋３番目にある４フレームにおいて、それぞれ同一位置にある４つの水平方向の画素の画素値ｐ１〜ｐ４について、
ｋ番目のフレーム：標本点＝ｐ４
ｋ＋１番目のフレーム：標本点＝ｐ３
ｋ＋２番目のフレーム：標本点＝ｐ２
ｋ＋３番目のフレーム：標本点＝ｐ１
のように、フレームの進行に応じて、標本点の画素位置を左方向に１画素ずつ変更して設定した間引き処理である。
このように図１６、図１７に示す間引き処理は、連続するＮ枚のフレーム（ｋ〜ｋ＋３）において、同一の画素位置ではなく、異なる画素位置の画素値を各フレームの４つの画素の画素値として設定する間引き処理である。
ブロック処理部１３１は、移動量検出部１２０の移動量検出部１２１から供給された移動量情報に応じて、図１５〜図１７に示す３つの間引き処理のいずれかを選択して実行する。
ブロック処理部１３１の詳細構成を図１８に示す。ブロック処理部１３１は、間引き処理態様決定部１５１と、間引き処理実行部１５２を有する。間引き処理態様決定部１５１は、移動量検出部１２１から、移動量情報を入力する。なお、前述したように、ブロック処理部１３１へ入力されるブロックは、移動量≧２ピクセル／フレームのブロックであり、ブロック処理部１３１の間引き処理態様決定部１５１へ入力される移動量情報は、２ピクセル／フレーム以上の移動量情報となる。
間引き処理態様決定部１５１は、移動量の値に基づいて、先に説明した図１５、図１６、図１７のいずれの態様での間引き処理を実行するかを決定する。この決定手法の詳細については後述する。間引き処理実行部１５２は、間引き処理態様決定部１５１の決定に従って図１５、図１６、図１７のいずれかの態様での間引き処理を実行する。
図１６あるいは図１７に示されているように標本点位置を各フレームに応じて変更して間引き処理を行なう効果について説明する。なお、以下、このように標本点位置を各フレームに応じて変更して実行する間引き処理を［標本点移動型の間引き処理］あるいは［間引き位置の変更処理］と呼ぶ。なお、［標本点移動型の間引き処理］においても、図１６のように標本点位置をフレームの進行に従って右方向へずらす処理を右方向へずらす間引き位置の変更処理と、図１７のように、標本点位置をフレームの進行に従って左方向へずらす処理を左方向へずらす間引き位置の変更処理の２つの態様がある。
間引き位置の変更処理は、動画像変換装置の基本構成において説明した数式（式３）に示されている標本点のずれ量φｔをフレーム毎に１／ｍ加算（右にずらす場合（図１６））、または１／ｍ減算（左にずらす場合（図１７））することに等しい。なお、ｍは間引き量（ｍピクセル）である。
間引き位置の変更処理を行なった場合の新たな標本点のずれ量φ'ｔは、下記数式（式４）として示される。
Figure 2006005904
上記数式（式４）から、被写体の進行方向に標本点の位置をずらすことは被写体の移動速度を減速することと、進行方向と逆に位置をずらすことは移動速度を加速することと信号処理の理論上の意味は等価であることがわかる。これは、もちろん実際の映像上で被写体の移動速度が変化することを意味するわけではない。以下、図１９を用いて具体的な処理例について説明する。
図１９は被写体（ｋ番目のフレームのｐ１〜ｐ５間の５画素）２０１が４フレーム（フレームｋ〜ｋ＋３）の間に（Ａ）移動していないという状況、（Ｂ）水平方向に速度ｖ＝１ピクセル／フレームで移動しているという状況を示している。
図１３、図１４に示す動画像変換装置１００のブロック処理部１３１には、本来、１フレーム間の水平方向の移動量が２ピクセル以上のブロックが入力されることになるので、図１９に示す（Ａ）、（Ｂ）のようなフレームデータの入力は行なわれないが、１フレーム間の水平方向の移動量が２ピクセル以上のデータにおいて、移動量に応じて図１５、図１６、図１７に示す間引き処理のいずれかの処理が実行されることになる。すなわち、移動量に応じて［間引き位置の変更処理］を行なう場合と行なわない場合が生じる。
図１９を参照して、［間引き位置の変更処理］を行なう場合と行なわない場合の処理について説明する。例えば、（Ａ）移動していないという状況において、図１５に示す固定標本点の間引き処理を実行し、（Ｂ）水平方向に速度ｖ＝１ピクセル／フレームで移動しているという状況において、図１６に示す標本点をフレーム毎に移動させる［間引き位置の変更処理］、すなわち標本点移動型の間引き処理を行なったとする。
図１９（Ａ）に示すように被写体が移動していないという状況において、間引き量＝４、すなわち４画素間の画素末間引きを行なったとすると、図１５を参照して説明した固定標本点の間引き処理を実行した場合、各４ピクセル毎の出力値は全てのフレームにおいてｐ１とｐ５の画素であり、固定位置の画素値となる。一方、図１９（Ｂ）に示すように、水平方向に速度ｖ＝１ピクセル／フレームで被写体が移動しているという状況において、図１６を参照して説明した標本点をフレーム毎に移動させる［間引き位置の変更処理］を行なったとすると、各４ピクセルに対応する各フレームの出力値は、図１９（Ｂ）に示す通り、
ｋ番目のフレーム：ｐ１，ｐ５
ｋ＋１番目のフレーム：ｐ２，ｐ６
ｋ＋２番目のフレーム：ｐ３，ｐ７
ｋ＋３番目のフレーム：ｐ４，ｐ８
となる。
結果として、図１９（Ｂ）１ピクセル／フレームの移動被写体と、図１９（Ａ）移動しない被写体において、各フレームの出力値が一致することになる。すなわち移動量ｖ＝１ピクセル／フレームの被写体を含む動画像に対して図１６を参照して説明した標本点をフレーム毎に移動させる［間引き位置の変更処理］を施した出力と、移動速度がｖ−１＝０の被写体（Ａ）に図１５の処理、すなわち、固定標本点を適用した間引き処理を施した出力とが一致していることがわかる。つまり、移動している被写体に図１６の処理を施すことは、その移動速度を１減速した被写体に図１５の処理を施すことと等しいことが確認できる。
結局、間引き位置の変更処理によって、被写体の移動速度を仮想的に加速または減速することが可能となる。図１乃至図１２を参照して説明した動画像変換装置１０は、間引き量ｍ、小領域の移動量ｖの各値が特定の条件を満足する場合にのみ超解像効果を奏し、間引き量ｍ、小領域の移動量ｖの各値が特定の条件を満足せず、画質劣化を招くという問題があったが、図１３以下の本実施例において説明する動画像変換装置１００は、ブロック処理部１３０において、移動量に基づいて間引き処理態様を変更して、仮想的に被写体の移動速度を超解像効果が発生する速度へと変更して間引き処理を実行する構成としたので、図１乃至図１２を参照して説明した動画像変換装置１０において超解像効果の得られないデータであっても超解像効果を得ることができ、画質劣化の少ない画像変換（圧縮）が実現される。
次に、具体的にどのような速度で被写体が移動しているときに超解像効果が起こらないのかを確認する。図２０は、様々なフレームあたりの移動量としての移動速度：ｖを持つ被写体を含む動画像データに対して図１５の固定標本点間引き処理（４画素の間引き処理）を行い、その結果得られる変換（圧縮）画像を、再度、復元（伸張）して得られる画像データの画質の良否データを示している。横軸が被写体のフレームあたりの移動量としての移動速度：ｖ（ピクセル／フレーム）であり、縦軸が画質評価値を示している。すなわち、横軸に示した移動量で被写体を右方向に移動させた際の画質の主観評価実験の結果の傾向を示すグラフであり、グラフ中に示す曲線が画質評価曲線２０５である。画質の良否判定基準として、図２０中にＴで示す基準評価値を設定し、基準評価値Ｔ以上の評価を得た場合を良好な画質とする。
フレームあたりの移動量としての移動速度：ｖ＝Ｐ（ピクセル／フレーム）〜Ｑ（ピクセル／フレーム）を持つ様々な被写体に対して、図１５を参照して説明した固定標本点間引き処理（４画素の間引き処理）を行って、基準評価値Ｔ以上の評価を得た領域が、図２０の領域Ａである。領域Ａ以外の領域Ｂは、基準評価値Ｔ未満の評価を得た領域である。
基準評価値Ｔ以上の評価を得た領域、すなわち図２０の領域Ａは、被写体のフレームあたりの移動量としての移動速度：ｖが、ａ〜ｂ，ｃ〜ｄ，ｅ〜の範囲にある場合であり、これらの移動量を持つ場合には、図１５を参照して説明した固定標本点間引き処理を適用した場合であっても良好な画質となり、超解像効果が損なわれることのない間引きが実現されたと判断される。一方、図２０の領域Ｂ、すなわち、被写体のフレームあたりの移動量としての移動速度：ｖが、ａ〜ｂ，ｃ〜ｄ，ｅ〜以外の範囲にある場合は、基準評価値Ｔ未満の画質となり、超解像効果の発生しない、もしくは十分でない領域であると考えられる。
この評価結果に基づいて、被写体の移動速度が図２０の領域Ｂの速度に対応する場合に、間引き位置の変更処理によって被写体の移動速度を概念的に加速あるいは減速する。すなわち、例えば図１６、図１７に示すような間引き位置の変更処理を実行する。この結果として、図１９を参照して説明したように、領域Ａの速度で移動する場合と同様の出力が得られ、超解像効果を伴う良好な画質が得られることになる。
図２１に示す領域Ｂ−１、Ｂ−２は図２０に示した領域Ｂの一部である。すなわち、基準評価値Ｔ未満の画質領域であり、超解像効果の発生しない、もしくは十分でない被写体移動速度：ｖを持つ領域であると考えられる領域である。領域Ｂ−１、Ｂ−２の速度で被写体が移動している場合には、仮想的に被写体を加速（＋Δｖ１，＋Δｖ２）する処理を行なうことで、つまり被写体の進行方向とは逆の方向に間引き位置を変更する処理を行う（例えば、被写体が右に移動していれば図１７に示すようにフレームの進行に伴い標本点位置を左に移動させる処理を行う）ことで、図２１の領域Ｂ−１を図２１の領域Ｃ−１に移動させ、図２１の領域Ｂ−２を図２１の領域Ｃ−２に移動させたと同様の効果を得ることができ、結果として、被写体の仮想的なフレームあたりの移動量としての移動速度：ｖを、基準評価値Ｔ以上となる画質領域（図２１のＣ−１，Ｃ−２）に設定することが可能となる。すなわち、図１７に示すようにフレームの進行に伴い標本点位置を左に移動させる間引き処理を実行することで、画質劣化の少ない画像変換（圧縮）が実現される。
同様に、図２２の領域Ｂ−３の速度で被写体が移動している場合、仮想的に被写体を減速（−Δｖ３）する処理を行なうことで、つまり進行方向と同じ方向に間引き位置変更を行う（例えば右に移動していれば図１６の処理をおこなう）ことで図２２の領域Ｂ−３を図２２の領域Ｃ−３に移動させ、結果として、被写体の仮想的なフレームあたりの移動量としての移動速度：ｖを、基準評価値Ｔ以上となる画質領域（図２２のＣ−３）に設定することが可能となる。すなわち、図１６に示すようにフレームの進行に伴い標本点位置を右に移動させる間引き処理を実行することで、画質劣化の少ない画像変換（圧縮）が実現される。
なお、図１３、図１４に示す本構成例における動画像変換装置１００では水平または垂直方向の１フレームあたりの移動量が２ピクセル以上の場合のみ、ブロック処理部１３１において、空間方向の４画素間引き処理が行われるので、図２０〜図２２において示したグラフにおいて、移動速度：ｖが２ピクセル／フレーム以下の部分は処理対象とはならないが、前述したように、ブロック分配部１２２がブロック処理部１３０の各ブロック処理部１３１〜１３３にブロックを送る際の条件は一例にすぎず、移動量が２ピクセルに満たなくてもブロック分配部１２２がブロック処理部１３１にブロックを送る構成として、図１５〜図１７を参照して説明したいずれかの間引き態様を選択して空間間引きを行なう構成とすることも可能であるので考慮に加えた。
なお、図２０〜図２２において示した画質評価曲線は、あくまでも主観評価による１実験の結果に基づいて設定した評価曲線を示すものであり、画質評価の方法は様々な方法が適用可能であり、その結果に基づいて間引き処理態様の決定を行なう構成としてもよい。
移動量が２ピクセル／フレーム以上のブロックデータの処理を実行する図１４に示すブロック処理部１３１は、図１８に示す間引き処理態様決定部１５１において、移動量検出部からの移動量情報に基づいて、
（ａ）標本点固定の間引き処理（図１５参照）
（ｂ）標本点位置をフレームの進行に従って右方向へずらす間引き処理（図１６参照）
（ｃ）標本点位置をフレームの進行に従って左方向へずらす間引き処理（図１７参照）
のいずれを実行するかを決定し、図１８に示す間引き処理実行部１５２において決定した処理態様の間引き処理を実行する。
図１８に示す間引き処理態様決定部１５１における間引き処理態様の決定に際しては、例えば図２０〜図２２に示した画質評価曲線に基づく決定処理を行なう。すなわち、画質評価曲線が基準評価値Ｔ以上の画質が維持される移動速度領域である場合は、（ａ）標本点固定の間引き処理（図１５参照）を実行し、画質評価曲線が基準評価値Ｔ未満の画質になる移動速度領域においては、（ｂ）標本点位置をフレームの進行に従って右方向へずらす間引き処理（図１６参照）、または、（ｃ）標本点位置をフレームの進行に従って左方向へずらす間引き処理（図１７参照）のいずれかを行なう構成として、仮想的な移動量が、画質評価曲線が基準評価値Ｔ以上の画質が維持される移動量領域に入る設定とする。
図１８に示す間引き処理態様決定部１５１において、移動量検出部からの移動量情報に基づいて、決定する間引き処理態様の決定例を図２３に示す。図２３の決定例は、図２０〜図２２に示す画質評価曲線に基づいて処理態様を決定した例を示している。
図２３（ａ）、（ｂ）は、
移動速度：２ピクセル／フレーム≦移動量＜ｃピクセル／フレーム、
移動速度：ｆピクセル／フレーム≦移動量＜ｅピクセル／フレームのいずれかで、かつ、
移動方向：右
の場合であり、この場合には、
標本点位置をフレームの進行に従って左方向へずらす間引き処理（図１７参照）を実行するこの処理は仮想的な加速処理であり、図２１の領域Ｂ−１からＣ−１へ移す処理、または領域Ｂ−２からＣ−２へ移す処理に相当する。
図２３（ｃ）、（ｄ）は、
移動速度：２ピクセル／フレーム≦移動量＜ｃピクセル／フレーム、
移動速度：ｆピクセル／フレーム≦移動量＜ｅピクセル／フレームのいずれかで、かつ、
移動方向：左
の場合であり、この場合には、
標本点位置をフレームの進行に従って右方向へずらす間引き処理（図１６参照）を実行するこの処理も仮想的な加速処理であり、図２１の領域Ｂ−１からＣ−１へ移す処理、または領域Ｂ−２からＣ−２へ移す処理に相当する。
図２３（ｅ）は、
移動速度：ｄピクセル／フレーム≦移動量＜ｆピクセル／フレームで、かつ、
移動方向：右
の場合であり、この場合には、
標本点位置をフレームの進行に従って右方向へずらす間引き処理（図１６参照）を実行する。この処理は仮想的な減速処理であり、図２２の領域Ｂ−３からＣ−３へ移す処理に相当する。
図２３（ｆ）は、
移動速度：ｄピクセル／フレーム≦移動量＜ｆピクセル／フレームで、かつ、
移動方向：左
の場合であり、この場合には、
標本点位置をフレームの進行に従って左方向へずらす間引き処理（図１７参照）を実行する。この処理は仮想的な減速処理であり、図２２の領域Ｂ−３からＣ−３へ移す処理に相当する。
図２３（ｇ）は、
上記以外の移動速度、すなわち、
移動速度：ｃピクセル／フレーム≦移動量＜ｄピクセル／フレーム、
移動速度：ｅピクセル／フレーム≦移動量、のいずれかで、
移動方向：左または右
の場合であり、この場合には、
標本点位置をフレームの進行に従ってずらす間引き処理ではなく固定標本点とした間引き処理（図１５参照）を実行する。この処理は、図２０の領域Ａに対応する移動量を持つ被写体を有するブロックの処理に相当する。
上述の処理例は、水平方向の移動量を持つブロックの処理例であるが、垂直方向の移動量を持つブロックの処理においても同様の処理、すなわち、図１４に示すブロック処理部１３１は、図１８に示す間引き処理態様決定部１５１において、移動量検出部からの移動量情報に基づいて、
（ａ）標本点固定の間引き処理（図２４（ｂ）参照）
（ｂ）標本点位置をフレームの進行に従って下方向へずらす間引き処理（図２５参照）
（ｃ）標本点位置をフレームの進行に従って上方向へずらす間引き処理（図２６参照）
のいずれを実行するかを決定し、図１８に示す間引き処理実行部１５２において決定した処理態様の間引き処理を実行する。
１フレーム間の垂直方向の移動量が２ピクセル以上である場合、ブロック処理部１３１は、例えばブロックが８×８ピクセルで構成されている場合、図２４（ａ）に示すように、ブロック内の画素を、１×４ピクセル単位の集合に分割し、ブロック処理部１３１は、図２４（ｂ）、図２５、図２６のいずれかの態様で、１×４ピクセルの各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値にする画素数の間引き（４画素間の画素数の間引き）（間引き量４の間引き）を行う。
このときの、図１８に示す間引き処理態様決定部１５１における間引き処理態様の決定に際しては、図２０〜図２２に示したグラフの横軸を垂直方向の移動量として想定した画質評価曲線に基づく決定処理を行なう。すなわち、画質評価曲線が基準評価値Ｔ以上の画質が維持される移動速度領域である場合は、（ａ）標本点固定の間引き処理（図２４参照）を実行し、画質評価曲線が基準評価値Ｔ未満の画質になる移動速度領域においては、（ｂ）標本点位置をフレームの進行に従って下方向へずらす間引き処理（図２５参照）、または、（ｃ）標本点位置をフレームの進行に従って上方向へずらす間引き処理（図２６参照）のいずれかを行なう構成として、仮想的な移動量が、画質評価曲線が基準評価値Ｔ以上の画質が維持される移動量領域に入る設定とする。
図２０〜図２２に示す画質評価曲線を適用して間引き処理態様を決定する場合の処理ブロックに含まれる被写体のフレームあたりの移動量としての移動速度：ｖと処理態様をまとめた表を図２７（ａ）に示す。図２７（ｂ）は、図２７（ａ）の処理１〜３を説明する表である。
図２７（ａ）の内容について説明する。
２≦ｖ＜ｃの場合は、
処理３：被写体の進行方向と逆の方向に間引き位置変更を行なう。
ｃ≦ｖ＜ｄの場合は、
処理１：間引き位置の変更を行なわない。
ｄ≦ｖ＜ｆの場合は、
処理２：被写体の進行方向と同じ方向に間引き位置変更を行なう。
ｆ≦ｖ＜ｅの場合は、
処理３：被写体の進行方向と逆の方向に間引き位置変更を行なう。
ｅ≦ｖの場合は、
処理１：間引き位置の変更を行なわない。
このように、処理ブロックに含まれる被写体のフレームあたりの移動量としての移動速度：ｖに応じて間引き処理態様を変更することにより、被写体の仮想的な移動速度が、すべて図２０に示す領域Ａに設定されることになり、基準画質評価値Ｔ以上の画質の保証された画像変換が実行されることになる。
ブロック処理部１３１は、このように、処理ブロックに含まれる被写体のフレームあたりの移動量としての移動速度：ｖに応じて異なる間引き処理を実行し、出力部１４０（図１３、図１４参照）に出力する。ブロック処理部１３１は、間引き量４の場合、空間方向間引き処理を、供給された４個のブロックに対してそれぞれ施すので（隣接した４画素毎に１画素選択されるので）、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部１３１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。
なお、上述した実施例は、ブロック処理部１３１において実行する間引き量ｍ＝４、フレーム数Ｎ＝４としたパラメータ設定例として説明したが、これらのパラメータの値は、その他の値を適用することも可能である。ただし、図２０〜図２２を参照して説明した被写体の移動速度と画質との関係、画質評価曲線２０５は、間引き量ｍ＝４とした場合の例であり、パラメータを変更した場合は、画質評価曲線は異なるものとなり、パラメータに応じた画質評価曲線を求め、求めた画質評価曲線に基づく間引き態様決定処理を行なうことが必要となる。
また、標本点を固定とした場合の間引き処理について、図１５を参照して説明した水平方向移動の場合の例では、１×４ピクセルの中の左端の画素値ｐ１を選択し、図２４を参照して説明した垂直方向移動の場合の例では、１×４ピクセルの中の上端の画素値ｐ１を選択したが他の位置の画素であってもかまわない。また、標本点を移動させる間引き処理例として説明した図１６、図１７の例では、１×４ピクセルの中の左端または右端の画素値ｐ１から始まり右または左方向へ標本となる画素を移動したが、他の位置から始まってもかまわない。図２５、図２６における垂直方向の場合においても同様である。
さらに、前述の例では１つの基準評価値Ｔを定めて基準評価値Ｔを上回るかどうかにより標本点固定型の空間間引き処理を行うか標本点移動型の空間間引き処理を行うか、また標本点移動型の空間間引き処理を行う場合間引き位置をどのように移動するかを決定していたが、図１８の構成を図２８のように変更し、さらに許容速度変化量Δｖ１〜Δｖ９（≧０）を設定し、図２９を参照して空間間引き方法を決定することで空間間引きの方法のフレーム間における変化を安定させることができる。空間間引きの方法が時間の経過と共に頻繁に変化するとは、そのブロックに施される処理が頻繁に変動することを意味し、そのような状況においては画質の劣化が発生する可能性が考えられるが、上述のような構成（図２８）および許容速度変化量（Δｖ１〜Δｖ９）を用いることで上記のような画質の劣化を抑制することが可能となる。以下に図２８の構成を用いた場合の空間間引きの方法の決定の流れを説明する。
図２８は図１８の移動量検出部１２１と間引き処理態様決定部１５１との間にメモリ１５３を新たに接続した構成となっている。このメモリ１５３を用いることで間引き処理態様決定部１５１は現在処理中のフレームにおける移動量ｖに加えて過去のフレームの移動量ｐを入力とすることができる。ここで、間引き処理態様決定部１５１の処理について、図２９を参照して説明する。間引き処理態様決定部１５１は、以下のように間引き処理態様を決定する。
まず間引き処理態様決定部１５１はメモリ１５３からの入力である直前のフレームのブロックに関する移動量ｐを参照する。
移動量ｐが、
（１）２≦ｐ＜ｃの場合、
間引き処理態様決定部１５１は移動量検出部１２１から入力された現在のフレームのブロックの移動量ｖが２−Δｖ１≦ｖ＜ｃ＋Δｖ２であれば図２９に示されているように処理３（被写体の進行方向と逆の方向に間引き位置変更）を行うよう決定する。移動量ｐが上記条件を満たさない場合、図２７に示した基準を参照して処理を決定する。
また、移動量ｐが、
（２） ｃ≦ｐ＜ｄの場合、
間引き処理態様決定部１５１は移動量検出部１２１から入力された現在のフレームのブロックの移動量ｖがｃ−Δｖ３≦ｖ＜ｄ＋Δｖ４であれば図２９に示されているように処理１（間引き位置の変更を行わない）を行うよう決定する。移動量ｐが上記条件を満たさない場合、図２７に示した基準を参照して処理を決定する。
また、移動量ｐが、
（３）ｄ≦ｐ＜ｆの場合、
間引き処理態様決定部１５１は移動量検出部１２１から入力された現在のフレームのブロックの移動量ｖがｄ−Δｖ５≦ｖ＜ｆ＋Δｖ６であれば図２９に示されているように処理２（被写体の進行方向と同じ方向に間引き位置変更）を行うよう決定する。移動量ｐが上記条件を満たさない場合、図２７に示した基準を参照して処理を決定する。
また、移動量ｐが、
（４）ｆ≦ｐ＜ｅの場合、
間引き処理態様決定部１５１は移動量検出部１２１から入力された現在のフレームのブロックの移動量ｖがｆ−Δｖ７≦ｖ＜ｅ＋Δｖ８であれば図２９に示されているように処理３（被写体の進行方向と逆の方向に間引き位置変更）を行うよう決定する。移動量ｐが上記条件を満たさない場合、図２７に示した基準を参照して処理を決定する。
また、移動量ｐが、
（５）ｅ≦ｐの場合、
間引き処理態様決定部１５１は移動量検出部１２１から入力された現在のフレームのブロックの移動量ｖがｅ−Δｖ９≦ｖであれば図２９に示されているように処理１（間引き位置の変更を行わない）を行うよう決定する。移動量ｐが上記条件を満たさない場合、図２７に示した基準を参照して処理を決定する。
上記のように間引き処理態様決定部１５１が間引き処理の方法を決定する際に過去の処理方法と同じ処理に関しては、その処理方法が適用される速度の範囲を広げることで、間引き方法が時間と共に頻繁に変動することを抑制することも可能である。
許容速度変化量Δｖ１〜Δｖ９に関しては任意の方法で決定することが可能であるが、例えば図３０に示すように基準評価値Ｔ以外の新たな基準評価値Ｔ１を設定し、これに基づき許容速度変化量を設定する方法がある。具体的にはΔｖ３、Δｖ４を決定する場合は、評価値がＴ１となるｃ及びｄの近傍の速度をそれぞれｃ'、ｄ'とし、ｃとｃ'、ｄとｄ'の差分の絶対値をそれぞれΔｖ３、Δｖ４と設定する。
図２８を参照して、上述の処理を実行するブロック処理部１３１の構成および処理について説明する。メモリ１５３は、間引き態様決定部１５１による過去のフレームに対する間引き態様決定結果を保持する。間引き態様決定部１５１は、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データおよび過去のフレームに対する間引き態様決定結果に従った間引き態様決定処理を行う。
すなわち、間引き態様決定部１５１は、過去のフレームに対する間引き態様決定結果が標本点固定型の間引き処理であり、かつ移動量検出部１２１の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ１以上である場合は標本点固定型の間引き処理の実行を決定し、過去のフレームに対する間引き態様決定結果が標本点固定型の間引き処理であり、かつ移動量検出部１２１の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ１未満である場合は標本点移動型の間引き処理の実行を決定し、過去のフレームに対する間引き態様決定結果が標本点移動型の間引き処理であり、かつ移動量検出部１２１の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ２未満である場合は標本点移動型の間引き処理の実行を決定し、過去のフレームに対する間引き態様決定結果が標本点移動型の間引き処理であり、かつ移動量検出部１２１の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ２以上である場合は標本点固定型の間引き処理の実行を決定する。
また、メモリ１５３は、ブロック処理部１３１による過去のフレームに対する空間間引き処理の際の標本点の移動態様を保持する。ブロック処理部１３１は、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて、過去のフレームに対する空間間引きの際の標本点の移動態様に応じた仮想的な被写体の移動速度に対応する画質評価値が予め定めた基準評価値Ｔ３以上である場合は、過去のフレームに対する空間間引きの際の標本点の移動態様を設定した空間間引き処理を実行し、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて、過去のフレームに対する空間間引きの際の標本点の移動態様に応じた仮想的な被写体の移動速度に対応する画質評価値が予め定めた基準評価値Ｔ３を下回る場合は、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて画質評価値が予め定めた基準評価値Ｔ４以上となる移動速度の領域に標本点移動型の間引き処理によって生ずる仮想的な被写体の移動速度が設定されるように標本点の移動態様を設定した空間間引き処理を実行する。
続いて、ブロック処理部１３２の説明の前に、ブロック処理部１３３の動作を、具体的に説明する。
ブロック処理部１３３は、移動量検出部１２０のブロック分配部１２２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。
具体的にはブロック処理部１３３は、図３１に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢｉ）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。
ブロック処理部１３３は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４０に供給する。なお、ここでは、Ｎ＝４の場合を例として説明したが、Ｎが他の値であっても同様な処理が行われる。
この例の場合、図３１に示すように、４個のフレームＦ１乃至Ｆ４のそれぞれのブロックＢｉのうち、フレームＦ１のブロックＢｉが出力される例を示したが、他のフレームのブロックが出力されるようにしてもよい。またフレームＦ１乃至Ｆ４を用いた演算によって新たに得られたブロックが出力されるようにしてもよい。
次に、ブロック処理部１３２の動作を、具体的に説明する。ブロック処理部１３２は、移動量検出部１２０のブロック分配部１２２から供給された、連続するＮ枚のフレームのそれぞれの同一位置ある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間方向間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行うものである。
ブロック処理部１３２に供給されるブロックのフレームあたりの移動量としての移動速度：ｖ＝１〜２は、数式（式１）、（式２）満足する。すなわち、超解像効果を得るための条件を満たしている。しかしながら、先に図１〜図１２を参照して説明したと同様の標本点固定とした間引き処理を実行してしまうと、画質劣化が知覚される場合があることがわかっている。
そこで、ブロック処理部１３２は、間引き量ｍ＝４ではなく、間引き量ｍ＝２とした間引き処理を実行し、さらに、ブロック処理部１３１における間引き処理と同様の、標本点固定型の間引き処理と標本点移動型の間引き処理を、被写体移動速度に応じて適宜選択して実行する。
間引き量ｍ＝２とした場合の、標本点固定型の間引き処理と標本点移動型の間引き処理の態様を図３２〜図３７を参照して説明する。
図３２〜図３４は、水平方向のフレームあたりの移動量としての移動速度：ｖ＝１〜２ピクセル／フレームである場合のブロック処理部１３２の間引き処理例であり、
図３２は、標本点固定型の間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、その中のいずれか２個の画素値（この例の場合、ｐ１、ｐ３）にする画素数の間引き（２画素間の画素数の間引き）、すなわち、間引き量ｍ＝２の間引き処理例である。
図３３は、標本点移動型の間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、先行フレーム（ｋ，ｋ＋１）については、画素値ｐ１、ｐ３に設定し、後続フレーム（ｋ＋２，ｋ＋３）については、画素値ｐ２、ｐ４に設定する間引き処理である。図３４も、標本点移動型の間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、先行フレーム（ｋ，ｋ＋１）については、画素値ｐ２、ｐ４に設定し、後続フレーム（ｋ＋２，ｋ＋３）については、画素値ｐ１、ｐ３に設定する間引き処理である。
図３５〜図３７は、垂直方向のフレームあたりの移動量としての移動速度：ｖ＝１〜２ピクセル／フレームである場合のブロック処理部１３２の間引き処理例であり、
図３５は、標本点固定型の間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、その中のいずれか２個の画素値（この例の場合、ｐ１、ｐ３）にする画素数の間引き（２画素間の画素数の間引き）、すなわち、間引き量ｍ＝２の間引き処理例である。
図３６は、標本点移動型の間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、先行フレーム（ｋ，ｋ＋１）については、画素値ｐ１、ｐ３に設定し、後続フレーム（ｋ＋２，ｋ＋３）については、画素値ｐ２、ｐ４に設定する間引き処理である。図３７も、標本点移動型の間引き処理であり、各フレーム（ｋ〜ｋ＋３）の画素値ｐ１乃至ｐ４を、先行フレーム（ｋ，ｋ＋１）については、画素値ｐ２、ｐ４に設定し、後続フレーム（ｋ＋２，ｋ＋３）については、画素値ｐ１、ｐ３に設定する間引き処理である。
ブロック処理部１３２も、ブロック処理部１３１と同様、先に説明した図１８の構成を持つ。すなわち、ブロック処理部１３２は、間引き処理態様決定部１５１と、間引き処理実行部１５２を有する。間引き処理態様決定部１５１は、移動量検出部１２１から、移動量情報を入力する。なお、前述したように、ブロック処理部１３２へ入力されるブロックは、フレームあたりの移動量としての移動速度：ｖ＝１〜２ピクセル／フレームであるブロックであり、ブロック処理部１３２の間引き処理態様決定部１５１へ入力される移動量情報は、移動速度ｖ＝１〜２ピクセル／フレームの移動量情報となる。
間引き処理態様決定部１５１は、移動量の値に基づいて、図３２〜図３７のいずれの態様での間引き処理を実行するかを決定し、間引き処理実行部１５２は、間引き処理態様決定部１５１の決定に従って図３２〜図３７のいずれかの態様での間引き処理を実行する。
ブロック処理部１３２の有する間引き処理態様決定部１５１において実行する間引き処理態様決定の詳細について、図３８〜図４０を参照して説明する。図３８〜図４０は図２２〜図２４と同様に被写体に対して、標本点固定型の間引き処理、すなわち、図３２または図３５の間引き処理（空間・時間間引き処理）を施して生成した変換画像データを復元して再生した場合の画質評価を行なって生成したグラフであり、横軸に示した移動量で被写体を右方向に移動させた際の主観評価実験の結果の傾向を画質評価曲線２１５として示している。縦軸が画質評価（高いほど画質が良いという評価）を示している。
先に、図２０を参照して説明したと同様、図３８中にＴで示す基準評価値を設定し、基準評価値Ｔ以上の評価を得た場合を良好な画質とし、この領域を領域Ａとして示す。領域Ａ以外の領域Ｂは、基準評価値Ｔ未満の画質となる領域であり、この領域に含まれる被写体速度の場合には、標本点固定型の間引き処理を行なった場合、超解像効果が発生しない、もしくは効果が不十分となると考えられる。
そこで、移動速度が領域Ｂの速度であったときは間引き位置の変更処理によって被写体の移動速度を概念的に加速あるいは減速する。すなわち、水平方向の移動の場合は、図３３、または図３４の標本点移動型の間引き処理を実行し、垂直方向の移動の場合は、図３６、または図３７の標本点移動型の間引き処理を実行する。この処理により、領域Ａの速度で移動する場合と同様の画質が得られることになる。
なお、ブロック処理部１３２では、時間方向の間引き処理も併せて実行する。時間方向の間引き処理は、先に図１２を参照して説明したと同様の処理であり、例えば連続する４フレームのブロックから２フレームのブロックを選択する処理として実行される。空間方向の間引き処理に先行して時間方向の間引き処理を行なった場合、空間方向の間引き処理を実行する段階で、フレームレートが１／２に低下しているため、間引き位置の変更処理に伴う被写体速度の概念的変化は±０．５ピクセル／フレームとなる。
図３９の領域Ｂ−１、Ｂ−２は図３８に示した領域Ｂの一部である。すなわち、基準評価値Ｔ未満の画質領域であり、超解像効果の発生しない、もしくは十分でない被写体移動速度：ｖを持つ領域であると考えられる領域である。領域Ｂ−１、Ｂ−２の速度で被写体が移動している場合には、仮想的に被写体を加速（＋Δｖ１，＋Δｖ２）する処理を行なうことで、つまり被写体の進行方向とは逆の方向に間引き位置を変更する処理を行うことで、図３９の領域Ｂ−１を領域Ｃ−１に移動させ、領域Ｂ−２を領域Ｃ−２に移動させたと同様の効果を得ることができ、結果として、被写体の仮想的なフレームあたりの移動量としての移動速度：ｖを、基準評価値Ｔ以上となる画質領域（図３９のＣ−１，Ｃ−２）に設定することが可能となる。すなわち、図３３、図３４、または図３６、図３７のフレームの進行に伴い標本点位置を移動させる間引き処理を実行することで、画質劣化の少ない画像変換（圧縮）が実現される。
同様に、図４０の領域Ｂ−３の速度で被写体が移動している場合、仮想的に被写体を減速（−Δｖ３）する処理を行なうことで、つまり進行方向と同じ方向に間引き位置変更を行う（例えば右に移動していれば図３３の標本点移動型の間引き処理をおこなう）ことで図４０の領域Ｂ−３を領域Ｃ−３に移動させ、結果として、被写体の仮想的なフレームあたりの移動量としての移動速度：ｖを、基準評価値Ｔ以上となる画質領域（図４０のＣ−３）に設定することが可能となり、画質劣化の少ない画像変換（圧縮）が実現される。
なお、本構成例における動画像処理装置１００では水平または垂直方向の１フレームあたりの移動量が１ピクセル以上２ピクセル未満の場合のみ、ブロック処理部１３２において、空間方向の２画素間引き処理が行われるので、図３８〜図４０において示したグラフにおいて、移動速度：ｖが１ピクセル／フレーム以下の部分は処理対象とはならないが、前述したように、ブロック分配部１２２がブロック処理部１３０の各ブロック処理部１３１〜１３３にブロックを送る際の条件は一例にすぎず、移動量が１ピクセルに満たなくてもブロック分配部１２２がブロック処理部１３２にブロックを送る構成として、図３２〜図３７を参照して説明したいずれかの間引き態様を選択して空間間引きを行なう構成とすることも可能であるので考慮に加えた。
なお、図３８〜図４０において示した画質評価曲線は、あくまでも主観評価による１実験の結果に基づいて設定した評価曲線を示すものであり、画質評価の方法は様々な方法が適用可能であり、その結果に基づいて間引き処理態様の決定を行なう構成としてもよい。
フレームあたり移動量が１ピクセル以上２ピクセル未満のブロックデータの処理を実行する図１４に示すブロック処理部１３２は、図１８に示す間引き処理態様決定部１５１において、移動量検出部からの移動量情報に基づいて、
（ａ）標本点固定の間引き処理（図３２、図３５参照）
（ｂ）標本点位置をフレームの進行に従って被写体進行方向へずらす間引き処理（図３３、図３４、図３６、図３７参照）
（ｃ）標本点位置をフレームの進行に従って被写体進行方向と逆方向へずらす間引き処理（図３３、図３４、図３６、図３７参照）
のいずれを実行するかを決定し、図１８に示す間引き処理実行部１５２において決定した処理態様の間引き処理を実行する。
図１８に示す間引き処理態様決定部１５１における間引き処理態様の決定に際しては、例えば図３８〜図４０に示した画質評価曲線に基づく決定処理を行なう。すなわち、画質評価曲線が基準評価値Ｔ以上の画質が維持される移動速度領域である場合は、（ａ）標本点固定の間引き処理を実行し、画質評価曲線が基準評価値Ｔ未満の画質になる移動速度領域においては、標本点移動型の間引き処理を実行して、仮想的な移動量が、画質評価曲線が基準評価値Ｔ以上の画質が維持される移動量領域に入る設定とする。
ブロック処理部１３２は移動量検出部１２１から受け取った水平方向の移動量、すなわち、フレーム当たりの移動量としての移動速度：ｖに応じて、異なる間引き処理を行なう。移動速度：ｖと、間引き処理態様の対応を図４１（ａ）に示す。図４１（ｂ）は、図４１（ａ）に示す処理１〜３を説明する表である。図４１（ａ）における符号ｉ，ｊ，ｍ，ｋは、図３８から図４０の横軸に示す被写体速度に対応する。
図４１（ａ）の内容について説明する。
１≦ｖ＜ｉの場合は、
処理３：被写体の進行方向と逆の方向に間引き位置変更を行なう。
ｉ≦ｖ＜ｊの場合は、
処理１：間引き位置の変更を行なわない。
ｊ≦ｖ＜ｍの場合は、
処理２：被写体の進行方向と同じ方向に間引き位置変更を行なう。
ｍ≦ｖ＜ｋの場合は、
処理３：被写体の進行方向と逆の方向に間引き位置変更を行なう。
ｋ≦ｖの場合は、
処理１：間引き位置の変更を行なわない。
このように、処理ブロックに含まれる被写体のフレームあたりの移動量としての移動速度：ｖに応じて間引き処理態様を変更することにより、被写体の仮想的な移動速度が、すべて図３８に示す領域Ａに設定されることになり、基準画質評価値Ｔ以上の画質の保証された画像変換が実行されることになる。
ブロック処理部１３２は、このように、処理ブロックに含まれる被写体のフレームあたりの移動量としての移動速度：ｖに応じて異なる間引き処理を実行し、出力部１４０（図１３、図１４参照）に出力する。ブロック処理部１３２は、間引き量２の空間方向間引き処理を実行するとともに、図１２に示す時間方向間引き（４フレーム→２フレーム）も施すので、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部１３１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。
なお空間方向間引きと時間方向間引きの順序は、いずれが先に行われても同一の結果が得られるので、どちらを先に行ってもよい。またこの処理はＮが正の偶数である場合において、Ｎ／２フレーム、Ｎ／２個の隣接する画素に対して行うことが可能な処理であるので、必ずしも２（＝４／２）フレーム、２画素単位で行われる必要はない。
なお、上述した実施例は、ブロック処理部１３１において実行する間引き量ｍ＝４、フレーム数Ｎ＝４としたパラメータ設定例として説明したが、これらのパラメータの値は、その他の値を適用することも可能である。ただし、図３８〜図４０を参照して説明した被写体の移動速度と画質との関係、画質評価曲線２１５は、パラメータを変更した場合は異なるものとなり、パラメータに応じた画質評価曲線を求め、求めた画質評価曲線に基づく間引き態様決定処理を行なうことが必要となる。
次に、出力部１４０について説明する。出力部１４０は、ブロック処理部１３０のブロック処理部１３１〜１３３のそれぞれから供給された、データ量が削減されたＮ個のブロックについてのデータおよび、各ブロックがどのような処理をされたかを示す情報を出力する。処理内容に関する情報は、空間方向間引き、時間方向間引き、空間・時間方向間引きのいずれの方法で間引きされたのかを示す情報、空間間引きされている場合は間引き位置の変更処理は行われたのかを示す情報、行われているのならどのような間引き位置変更処理が施されたのかを示す情報、元の動画のフレームレート、空間解像度に関する情報、などから構成されるが、他の情報が加えられても構わない。
次に、動画像変換装置１００の移動量検出部１２０およびブロック処理部１３０の動作シーケンスについて、図４２のフローチャートを参照して説明する。
ステップＳ１において、移動量検出部１２０の移動量検出部１２１は、ブロック分割部１１０のブロック分割部１１２から、動画像変換装置１００に連続して入力された４枚のフレームの中のＰ番目のフレームの各ブロック（検索対象ブロック）の供給と、画像蓄積部１１１から、Ｍ番目のフレーム（参照フレーム）の供給を受け、それを入力する。
次に、ステップＳ２において、移動量検出部１２１は、Ｐ番目のフレームのブロックの中の１つを検索対象ブロックとするとともに、その検索対象ブロックの動きベクトルを、参照フレームを参照して検出する。移動量検出部１２１は、検出した動きベクトルをブロック分配部１２２に供給する。
ステップＳ３において、ブロック分配部１２２は、移動量検出部１２１から供給された動きベクトルの水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の大きさ（１フレーム間のＸ軸方向またはＹ軸方向の移動量）の大きいほうが、２ピクセル以上であるか否かを判定し、少なくとも一方の移動量が２ピクセル以上であると判定した場合、ステップＳ４に進む。
ステップＳ４は、ブロック処理部１３０のブロック処理部１３１における間引き態様決定処理として実行される判定処理であり、図１８に示す間引き処理態様決定部１５１における処理である。すなわち、間引き処理態様決定部１５１は、移動量の値に基づいて、先に説明した図１５、図１６、図１７（水平方向の移動の場合）、または図２４、図２５、図２６（垂直方向の移動の場合）のいずれの態様での間引き処理を実行するかを決定する。間引き処理態様決定部１５１は、移動量検出部１２１からの移動量情報に基づいて、
（ａ）標本点固定型の間引き処理（図１５、図２４参照）
（ｂ）標本点移動型の間引き処理（図１６、図１７、図２５、図２６参照）
のいずれを実行するかを決定する。
間引き処理態様決定部１５１における間引き処理態様の決定に際しては、例えば図２０〜図２２に示した画質評価曲線に基づく決定処理を行なう。すなわち、移動量検出部１２１から供給された動きベクトルの水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の大きさ（１フレーム間のＸ軸方向またはＹ軸方向の移動量）が、基準評価値Ｔ以上の画質が維持される移動速度領域にある場合は、（ａ）標本点固定型の間引き処理（図１５、図２４参照）を実行し、移動量検出部１２１から供給された動きベクトルの大きさが、画質評価曲線が基準評価値Ｔ未満の画質になる領域にある場合は、（ｂ）標本点移動型の間引き処理（図１６、図１７、図２５、図２６参照）を行なうように決定して、仮想的な移動量が、画質評価曲線が基準評価値Ｔ以上の画質が維持される移動量領域に入る設定とする。
ステップＳ４において、間引き処理態様決定部１５１が、移動量検出部１２１から供給された動きベクトルの水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の大きさ（１フレーム間のＸ軸方向またはＹ軸方向の移動量）が、基準評価値Ｔ以上の画質が維持される移動速度領域にあると判定した場合は、間引き位置の変更をするべき移動量でないと判定し、ステップＳ６に進む。ステップＳ６では、図１８に示す間引き処理実行部１５２において標本点固定の間引き処理（図１５、図２４参照）を実行する。
一方、間引き処理態様決定部１５１が、移動量検出部１２１から供給された動きベクトルの水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の大きさ（１フレーム間のＸ軸方向またはＹ軸方向の移動量）が、基準評価値Ｔ以上の画質が維持される移動速度領域にないと判定した場合は、間引き位置の変更をするべき移動量であると判定し、ステップＳ５に進む。ステップＳ５では、図１８に示す間引き処理実行部１５２において標本点移動型の間引き処理（図１６、図１７、図２５、図２６参照）を実行する。なお、（ｂ）標本点位置をフレームの進行に従って被写体の進行方向に移動させるかあるいは逆方向に移動させるかの決定についても、間引き処理態様決定部１５１が決定し、この決定に従った間引き処理を間引き処理実行部１５２（図１８参照）が実行する。
ステップＳ５、またはステップＳ６において、ブロック処理部１３１の実行した間引き処理の結果、例えばブロック分配部１２２から供給された４個のブロックに対して、図１５乃至図１７、または図２４乃至図２６に示した画素数を１／４にする間引き処理（４画素間の画素数の間引き処理）を施し、その結果得られたデータ量が１／４に削減された４個のブロックについてのデータを、出力部１４０に供給する。
なお、上述したデータ例は、間引き量ｍ＝４、処理単位フレーム数Ｎ＝４としたパラメータを設定した場合のデータ量の例である。各パラメータの値は、その他の値を適用することも可能であり、適用パラメータに応じて異なる圧縮率の変換データが生成されることになる。ただし、前述したように、図２０〜図２２を参照して説明した被写体の移動速度と画質との関係や、画質評価曲線は、パラメータに依存することになり、異なるパラメータを適用する場合は、適用パラメータに対応する画質評価曲線を求め、求めた画質評価曲線に基づく間引き態様決定処理を行なうことが必要となる。
ステップＳ３において、ブロック分配部１２２が、移動量検出部１２１から供給された動きベクトルの水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の大きさ（１フレーム間のＸ軸方向またはＹ軸方向の移動量）のいずれもが、２ピクセル以上でないと判定した場合、ステップＳ７に進む。さらに、ステップＳ７において、ブロック分配部１２２が、移動量検出部１２１から供給された動きベクトルの水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の大きさ（１フレーム間のＸ軸方向またはＹ軸方向の移動量）のいずれもが、１ピクセル未満であると判定した場合、ステップＳ８に進む。
ステップＳ８は、ブロック処理部１３０のブロック処理部１３３の処理であり、時間方向の間引き処理のみを実行する。ブロック処理部１３３は、ブロック処理部１３３は、移動量検出部１２０のブロック分配部１２２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。
具体的にはブロック処理部１３３は、先に図３１を参照して説明したように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢｉ）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。
ブロック処理部１３３は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４０に供給する。なお、ここでは、Ｎ＝４の場合を例として説明したが、Ｎが他の値であっても同様な処理が行われる。
この例の場合、図３１に示すように、４個のフレームＦ１乃至Ｆ４のそれぞれのブロックＢｉのうち、フレームＦ１のブロックＢｉが出力される例を示したが、他のフレームのブロックが出力されるようにしてもよい。またフレームＦ１乃至Ｆ４を用いた演算によって新たに得られたブロックが出力されるようにしてもよい。
ステップＳ７において、ブロック分配部１２２が、移動量検出部１２１から供給された動きベクトルの水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の大きさ（１フレーム間のＸ軸方向またはＹ軸方向の移動量）のいずれかが、１ピクセル未満でないと判定した場合、ステップＳ９に進む。
ステップＳ９は、ブロック処理部１３０のブロック処理部１３２における間引き態様決定処理として実行される判定処理であり、図１８に示す間引き処理態様決定部１５１における処理である。すなわち、間引き処理態様決定部１５１は、移動量の値に基づいて、先に説明した図３２、図３３、図３４（水平方向の移動の場合）、または図３５、図３６、図３７（垂直方向の移動の場合）のいずれの態様での間引き処理を実行するかを決定する。間引き処理態様決定部１５１は、移動量検出部１２１からの移動量情報に基づいて、
（ａ）標本点固定型の間引き処理（図３２、図３５参照）
（ｂ）標本点移動型の間引き処理（図３３、図３４、図３６、図３７参照）
のいずれを実行するかを決定する。
間引き処理態様決定部１５１における間引き処理態様の決定に際しては、例えば図３８〜図４０に示した画質評価曲線に基づく決定処理を行なう。すなわち、移動量検出部１２１から供給された動きベクトルの水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の大きさ（１フレーム間のＸ軸方向またはＹ軸方向の移動量）が、基準評価値Ｔ以上の画質が維持される移動速度領域にある場合は、（ａ）標本点固定型の間引き処理（図３２、図３５参照）を実行し、移動量検出部１２１から供給された動きベクトルの大きさが、画質評価曲線が基準評価値Ｔ未満の画質になる領域にある場合は、（ｂ）標本点移動型の間引き処理（図３３、図３４、図３６、図３７参照）を行なうように決定して、仮想的な移動量が、画質評価曲線が基準評価値Ｔ以上の画質が維持される移動量領域に入る設定とする。
ステップＳ９において、間引き処理態様決定部１５１が、移動量検出部１２１から供給された動きベクトルの水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の大きさ（１フレーム間のＸ軸方向またはＹ軸方向の移動量）が、基準評価値Ｔ以上の画質が維持される移動速度領域にあると判定した場合は、間引き位置の変更をするべき移動量でないと判定し、ステップＳ１１に進む。ステップＳ１１では、図１８に示す間引き処理実行部１５２において標本点固定の空間方向間引き処理（図３２、図３５参照）を実行する。さらに、先に図１２を参照して説明した時間方向の間引き処理を実行する。なお、空間方向間引き処理と、時間方向間引き処理はいずれを先に実行してもよい。
一方、間引き処理態様決定部１５１が、移動量検出部１２１から供給された動きベクトルの水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の大きさ（１フレーム間のＸ軸方向またはＹ軸方向の移動量）が、基準評価値Ｔ以上の画質が維持される移動速度領域にないと判定した場合は、間引き位置の変更をするべき移動量であると判定し、ステップＳ１０に進む。ステップＳ１０では、図１８に示す間引き処理実行部１５２において標本点移動型の間引き処理（図３３、図３４、図３６、図３７参照）を実行する。さらに、先に図１２を参照して説明した時間方向の間引き処理を実行する。なお、空間方向間引き処理と、時間方向間引き処理はいずれを先に実行してもよい。
なお、（ｂ）標本点位置をフレームの進行に従って被写体の進行方向に移動させるかあるいは逆方向に移動させるかの決定についても、間引き処理態様決定部１５１が決定し、この決定に従った間引き処理を間引き処理実行部１５２（図１８参照）が実行する。
ステップＳ１０、またはステップＳ１１において、ブロック処理部１３２の実行した間引き処理の結果、例えばブロック分配部１２２から供給された４個のブロックに対して、間引き量ｍ＝２の空間方向間引き処理と、時間方向間引き処理を実行して、その結果得られたデータ量が１／４に削減された４個のブロックについてのデータを、出力部１４０に供給する。
なお、前述したように、間引き量ｍや処理単位フレーム数等の各パラメータの値は、様々な値を適用することが可能であり、適用パラメータに応じて異なる圧縮率の変換データが生成されることになる。ただし、前述したように、図３８〜図４０を参照して説明した被写体の移動速度と画質との関係や、画質評価曲線は、パラメータに依存することになり、異なるパラメータを適用する場合は、適用パラメータに対応する画質評価曲線を求め、求めた画質評価曲線に基づく間引き態様決定処理を行なうことが必要となる。
以上の処理が、ブロック分割部１１０からＮ（例えばＮ＝４）枚のフレームの各ブロックが供給される毎に行われる。
なお、図１３に示す動画像変換装置１００の出力部１４０の後段には、例えばハードディスク、ＤＶＤなどの記憶媒体、あるいはネットワーク出力手段が接続され、データ変換によって圧縮されたデータの格納、あるいはネットワーク出力が実行される。
［（３）動画像復元装置および動画像復元方法について］
次に、上述の動画像変換装置１００によって生成された変換（圧縮）データの復元処理を実行する動画像復元装置および動画像復元方法について説明する。
動画像復元装置３００の構成を図４３に示す。動画像復元装置３００は、図４３に示すように、分配部３１０、ブロック拡張部３２１乃至３２３、合成部３３０によって構成される。
分配部３１０には上述の動画像変換装置１００によって生成された変換（圧縮）データ変換データと、復元に必要となる属性データが入力される。属性データには、各ブロックに関する情報と各ブロックに施された処理の具体的内容に関する情報が含まれる。各ブロックに施された処理の具体的内容とは、空間方向間引き処理、時間方向間引き処理のいずれが実行されたか、また空間間引き処理において実行された間引き処理は、標本点固定型か、標本点移動型か、さらに標本点移動型の場合の標本点移動方向情報等を含む情報である。
分配部３１０は入力された属性情報に含まれる各ブロックの処理内容に基づいて、ブロック拡張部３２１〜３２３のいずれかへ、復元処理対象となる変換データとその各ブロックに施された処理の具体的内容を示す属性情報とを送る。
具体的には、図１３、図１４に示す動画像変換装置１００においてブロックがブロック処理部１３１で処理されたデータである場合は、分配部３１０は、ブロック拡張部３２１へ空間間引きされた各ブロックデータと、空間間引きの方向や、間引き位置の変更の有無、間引き位置変更の方向などの情報を送る。
また、動画像変換装置１００のブロック処理部１３２で処理されたデータである場合は、ブロック拡張部３２２へ同様の情報を送る。ブロック処理部１３３で処理されたならばブロック拡張部３２３へ同様の情報を送る。各ブロックに施された処理に関する情報、および各ブロックに関する情報は動画像を復元するために十分な情報であればどのようなものであってもよい。
ブロック拡張部３２１は、動画像変換装置１００のブロック処理部１３１において空間方向に間引き処理を施されたデータの拡張処理を実行する。分配部３１０から入力された空間間引きの方向や、間引き位置の変更の有無、間引き位置変更の方向などの情報に基づいて、図４４（ａ）、（ｂ）に示す態様でのデータ拡張処理を実行し、ブロックを再構成する。また、再構成されたブロックと処理の内容を示す情報を合成部３３０へと出力する。
図４４（ａ）、（ｂ）の処理について説明する。図４４（ａ）は、動画像変換装置１００のブロック処理部１３１において、水平方向の間引き処理を施された場合の動画像復元装置３００のブロック拡張部３２１による処理を示している。例えば、元のブロックの大きさが８ｘ８であった場合、ブロック拡張部３２１にはその１／４の１６画素分のデータが送られている。この各画素のデータに関して、図４４（ａ−１）の処理を行うことで、１画素を１ｘ４画素に拡張する。なお、図４４（ａ−１）に示す処理例は入力された画素の画素値をそのまま４画素分の画素値として配置することで拡張を行なう例であるが、入力された他の画素の値を含む画素値に基づく演算による結果を配置してもかまわない。
続いて、水平方向の間引きが施された場合には、ブロック拡張部３２１は、図４４（ａ−２）に示した処理を行なう。すなわち、（ａ−１）の処理によって得られた１ｘ４画素の集合を（ａ−２）のように配置することで、入力の１６画素から８ｘ８のブロックを復元し、結果を合成部３３０に出力する。また、間引き処理の内容を示す情報も出力する。
図４４（ｂ）は、動画像変換装置１００のブロック処理部１３１において、垂直方向の間引き処理を施された場合のブロック拡張部３２１による処理を示している。例えば、元のブロックの大きさが８ｘ８であった場合、ブロック拡張部３２１にはその１／４の１６画素分のデータが送られている。この各画素のデータに関して、図４４（ｂ−１）の処理を行うことで、１画素を４ｘ１画素に拡張する。なお、図４４（ｂ−１）に示す処理例は入力された画素の画素値をそのまま４画素分の画素値として配置することで拡張を行なう例であるが、入力された他の画素の値を含む画素値に基づく演算による結果を配置してもかまわない。
続いて、垂直方向の間引きが施された場合には、ブロック拡張部３２１は、図４４（ｂ−２）に示す処理を行なう。すなわち、図４４（ｂ−１）の処理によって得られた４ｘ１画素の集合を図４４（ｂ−２）のように配置することで、入力の１６画素から８ｘ８のブロックを復元し、結果を合成部３３０に出力する。また、間引き処理の内容を示す情報も出力する。
次に、ブロック拡張部３２３の処理について説明する、ブロック拡張部３２３は、動画像変換装置１００のブロック処理部１３３において、時間方向の間引き処理を施されたデータの拡張処理を実行する。
ブロック拡張部３２３は、図４５に示すように１つのフレームのブロックデータにもとづいて、複数フレームのブロックデータを生成する。具体的には、ブロック拡張部３２３は初期値０のカウンタを持ち、１フレームの復元が終了するたびに１加算され、値が４（＝Ｎ（ただし間引き量ｍ＝４の場合））に達したときに０へとリセットされる。
データ分配部３１０から拡張対象のデータが入力されたとき、そのブロックをデータ拡張部３２３のメモリに格納し、間引き量に応じて設定されているカウンタ上限値に至るまで、メモリに格納したブロックデータの複製として複数のフレームデータ対応のブロックデータを生成し、合成部３３０へ出力する。図に示す例では、間引き量ｍ＝４の場合であり、１つのブロックデータから４つのフレーム対応のブロックデータを生成して合成部３３０へ出力する。
次に、ブロック拡張部３２２の処理について説明する、ブロック拡張部３２２は、動画像変換装置１００のブロック処理部１３２において、空間方向および時間方向の間引き処理を施されたデータの拡張処理を実行する。空間方向および時間方向の拡張処理はいずれを先に実行してもよい。
ブロック拡張部３２２において実行する時間方向の拡張処理は、図４６のような処理を行う。具体的には、ブロック拡張部３２２は、初期値０のカウンタを持ち、１フレームの復元が終了するたびに１加算され、値が２（＝Ｎ／２（ただし時間方向間引き量ｍ＝２の場合））に達したときに０へとリセットされる。
データ分配部３１０から拡張対象のデータが入力されたとき、そのブロックをデータ拡張部３２２のメモリに格納し、間引き量に応じて設定されているカウンタ上限値に至るまで、メモリに格納したブロックデータの複製として複数のフレームデータ対応のブロックデータを生成し、合成部３３０へ出力する。図に示す例では、時間方向間引き量ｍ＝２の場合であり、１つのブロックデータから２つのフレーム対応のブロックデータを生成する。
引き続き、ブロック拡張部３２２において実行する空間方向の拡張処理について説明する。ブロック拡張部３２２は、分配部３１０から入力された空間間引きの方向や、間引き位置の変更の有無、間引き位置変更の方向などの情報に基づいて、図４７（ａ）、（ｂ）に示す態様でのデータ拡張処理を実行し、ブロックを再構成する。
図４７（ａ）、（ｂ）の処理について説明する。図４７（ａ）は、動画像変換装置１００のブロック処理部１３２において、水平方向の間引き処理を施された場合の動画像復元装置３００のブロック拡張部３２２による処理を示している。例えば、元のブロックの大きさが８ｘ８であった場合、ブロック拡張部３２２にはその１／２の３２画素分のデータが送られている。この各２画素のデータに対応して、図４７（ａ−１）の処理を行うことで、２画素を１ｘ４画素に拡張する。なお、図４７（ａ−１）に示す処理例は入力された２画素の画素値をそのまま４画素分の画素値として配置することで拡張を行なう例であるが、入力された他の画素の値を含む画素値に基づく演算による結果を配置してもかまわない。
続いて、水平方向の間引きが施された場合には、ブロック拡張部３２２は、図４７（ａ−２）に示した処理を行なう。すなわち、（ａ−１）の処理によって得られた１ｘ４画素の集合を（ａ−２）のように配置することで、入力の３２画素から８ｘ８のブロックを復元し、結果を合成部３３０に出力する。また、間引き処理の内容を示す情報も出力する。
図４７（ｂ）は、動画像変換装置１００のブロック処理部１３２において、垂直方向の間引き処理を施された場合のブロック拡張部３２２による処理を示している。例えば、元のブロックの大きさが８ｘ８であった場合、ブロック拡張部３２２にはその１／２の３２画素分のデータが送られている。この各２画素のデータに対応して、図４７（ｂ−１）の処理を行うことで、２画素を４ｘ１画素に拡張する。なお、図４７（ｂ−１）に示す処理例は入力された２画素の画素値をそのまま４画素分の画素値として配置することで拡張を行なう例であるが、入力された他の画素の値を含む画素値に基づく演算による結果を配置してもかまわない。
続いて、垂直方向の間引きが施された場合には、ブロック拡張部３２２は、図４７（ｂ−２）に示す処理を行なう。すなわち、図４７（ｂ−１）の処理によって得られた４ｘ１画素の集合を図４７（ｂ−２）のように配置することで、入力の３２画素から８ｘ８のブロックを復元し、結果を合成部３３０に出力する。また、間引き処理の内容を示す情報も出力する。
合成部３３０はブロック拡張部３２１〜３２３から入力されたブロックが１フレーム全体を表現できる量に達したときに、ブロックを、同時に入力される間引き処理の内容を表す情報に従い適切に配置して１フレームを復元し、復元された１フレーム全体を出力する。以下でブロックの配置処理について図４８〜図５１を参照して説明する。
図４８〜図５１は、複数ブロックによって構成される１フレームのデータ例を示している。図４８〜図５１の例では、１フレームデータは、３×３の９個のブロックから構成されている。各図において、破線によって分割される正方形の１つ１つがブロックであり、グレーで塗られた正方形、例えば図４８では、ブロック４０１が、合成部３３０が、ブロック拡張部３２１〜３２３から入力し、配置しようとするブロックである。
図４８は、合成部３３０が、ブロック拡張部３２１〜３２３から入力し、配置しようとするブロックが、間引き位置変更処理を施されていないブロックである場合のブロック配置位置を示している。この場合、合成部３３０は、図１３、図１４に示す動画像変換装置１００におけるブロック分割部１１０において、最初に分割されたときと同じ位置に復元したブロックを配置する。
図４９は、ブロック拡張部３２１〜３２３から入力し、配置しようとするブロックが、水平方向の間引き位置変更処理を施されていた場合の復元ブロック配置処理例を示している。
図４９（ａ）は復元ブロックが、例えば図１６を参照して説明したようにフレーム進行に従って右方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第１フレーム目のブロック、あるいは例えば図１７を参照して説明したようにフレーム進行に従って左方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第４フレームのブロックである場合のブロックの配置位置を示している。この場合、元のブロック位置よりも１ピクセル分左にずれた位置にブロックが配置される。
図４９（ｂ）は復元ブロックが、例えば図１６を参照して説明したようにフレーム進行に従って右方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第２フレーム目のブロック、あるいは例えば図１７を参照して説明したようにフレーム進行に従って左方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第３フレームのブロックである場合のブロックの配置位置を示している。この場合、元のブロック位置と同じ位置にブロックが配置される。
図４９（ｃ）は復元ブロックが、例えば図１６を参照して説明したようにフレーム進行に従って右方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第３フレーム目のブロック、あるいは例えば図１７を参照して説明したようにフレーム進行に従って左方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第２フレームのブロックである場合のブロックの配置位置を示している。この場合、元のブロック位置よりも１ピクセル分右にずれた位置にブロックが配置される。
図４９（ｄ）は復元ブロックが、例えば図１６を参照して説明したようにフレーム進行に従って右方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第４フレーム目のブロック、あるいは例えば図１７を参照して説明したようにフレーム進行に従って左方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第１フレームのブロックである場合のブロックの配置位置を示している。この場合、元のブロック位置よりも２ピクセル分右にずれた位置にブロックが配置される。
このように、合成部３３０は、水平方向に標本点を移動させた処理を実行した間引き処理データの復元を行なう場合は、復元ブロックをフレーム毎に水平方向に移動させて配置する処理を実行する。この処理の理由を図５０を参照して説明する。
図５０（ａ）〜（ｄ）は、図４９（ａ）〜（ｄ）に対応するフレームデータのブロックを構成する一部の画素データ（４×４）のデータを示している。図５０（ａ）→（ｄ）に示すように、フレームに応じて、標本点位置が右方向に１ピクセルずつ、ずれて変換データが生成される。
間引き量ｍ＝４の場合、例えば水平方向の４画素がすべて同一画素の値に設定される。しかし、本来、その画素値を持つ画素の位置は、図５０（ａ）→（ｄ）に示すように、各フレームにおいて１画素ずつずれた位置にある。この本来の画素値を持つ画素の位置を、表示領域のほぼ中心になるように設定すると、図５０（ａ）→（ｄ）に示すように、点線枠で示す元データの表示領域において、図５０（ａ）→（ｄ）に従って［左に１ピクセルずれた位置］→［右に２ピクセルずれた位置］のような配置を行なうことになる。この表示処理によって、元の画像データにより近い画像の再生が可能となる。
図５１は、ブロック拡張部３２１〜３２３から入力し、配置しようとするブロックが、垂直方向の間引き位置変更処理を施されていた場合の復元ブロック配置処理例を示している。
図５１（ａ）は復元ブロックが、例えば図２５を参照して説明したようにフレーム進行に従って下方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第１フレーム目のブロック、あるいは例えば図２６を参照して説明したようにフレーム進行に従って上方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第４フレームのブロックである場合のブロックの配置位置を示している。この場合、元のブロック位置よりも１ピクセル分上にずれた位置にブロックが配置される。
図５１（ｂ）は復元ブロックが、例えば図２５を参照して説明したようにフレーム進行に従って下方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第２フレーム目のブロック、あるいは例えば図２６を参照して説明したようにフレーム進行に従って上方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第３フレームのブロックである場合のブロックの配置位置を示している。この場合、元のブロック位置と同じ位置にブロックが配置される。
図５１（ｃ）は復元ブロックが、例えば図２５を参照して説明したようにフレーム進行に従って下方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第３フレーム目のブロック、あるいは例えば図２６を参照して説明したようにフレーム進行に従って上方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第２フレームのブロックである場合のブロックの配置位置を示している。この場合、元のブロック位置よりも１ピクセル分下にずれた位置にブロックが配置される。
図５１（ｄ）は復元ブロックが、例えば図２５を参照して説明したようにフレーム進行に従って下方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第４フレーム目のブロック、あるいは例えば図２６を参照して説明したようにフレーム進行に従って上方向へ標本点位置を移動させた標本点移動型間引き処理を実行した場合の復元データブロックであり、動画像を４（＝Ｎ）フレーム単位に処理している場合の第１フレームのブロックである場合のブロックの配置位置を示している。この場合、元のブロック位置よりも２ピクセル分下にずれた位置にブロックが配置される。
このように、合成部３３０は、垂直方向に標本点を移動させた処理を実行した間引き処理データの復元を行なう場合は、復元ブロックをフレーム毎に垂直方向に移動させて配置する処理を実行する。この処理の理由は、図５０を参照して説明した水平方向の移動処理と同様であり、元の画像データにより近い画像の再生を実現するためである。
ところで、上記のように、元々のブロックの配置からずれた位置にブロックを配置する場合、隣接するブロックが施された処理の内容次第で、例えば図５２（ａ）に示すように隣接するブロック同士が重なってしまったり、あるいは図５２（ｂ）に示すように、ブロックとブロックの間に隙間が開いてしまったりすることがある。このような場合は、例えば、重なった場合は両ブロックの重なった部分の平均を重なった部分の画素値としたり、隙間が開いた場合は隙間の両側の画素値を用いて線形補間を行なったりするなどの補正処理を実行する。合成部３３０は、このような画素値の補正処理を実行し、ブロックデータから構成されるフレームデータを完成させて出力する。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の構成によれば、画像の各領域の特徴、特に被写体の動きに対応した最適な圧縮処理態様を決定し、決定した態様に従って各領域毎に最適な態様でデータ変換処理を行なう構成とすることで品質劣化の極めて少ない圧縮および復元が可能となる。
本発明の構成においては、動画像データを構成するブロックにおける被写体移動量を検出し、検出した移動量に基づいて、標本点固定型の空間方向間引き処理、または、標本点移動型の空間方向間引き処理を実行する。標本点移動型の空間方向間引きにより、仮想的な被写体の速度設定に基づいて超解像効果を発生させることが可能となり、画質劣化を抑制したデータ変換が実現される。
本発明の構成によれば、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データに従った間引き態様決定処理を実行し、処理対象ブロックの移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値以上である場合は標本点固定型の間引き処理を実行し、移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値未満である場合は標本点移動型の間引き処理を実行することにより、仮想的な被写体速度を設定することが可能となり、処理対象ブロックの様々な移動量に対して超解像効果を発生させた画質劣化を低減したデータ変換が可能となる。
さらに、本発明の構成によれば、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理、または時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する動画像復元装置を構成し、標本点移動型の空間方向間引き処理を行なった場合の復元ブロックを標本点移動態様に応じて変更して配置する構成としたので、オリジナル画像に近い高品質画像の復元が実現される。
超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成を示す図である。 超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成の詳細を示す図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 超解像効果を利用したデータ変換を実行する本発明の動画像変換装置の構成を示す図である。 本発明の動画像変換装置の詳細構成を示す図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の詳細構成について説明する図である。 動画像変換装置におけるブロック処理部において実行する標本点固定型の間引き処理と標本点移動型の間引き処理の概要について説明する図である。 動画像変換装置におけるブロック処理部において実行する標本点移動型の間引き処理による効果について説明する被写体移動量と画質との相関を示す図である。 動画像変換装置におけるブロック処理部において実行する標本点移動型の間引き処理における仮想的な移動速度の設定について説明する図である。 動画像変換装置におけるブロック処理部において実行する標本点移動型の間引き処理における仮想的な移動速度の設定について説明する図である。 動画像変換装置におけるブロック処理部において実行する移動速度と、間引き処理の態様の対応について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部において実行する移動速度と、間引き処理の態様の対応について説明する図である。 動画像変換装置におけるブロック処理部の構成であり、メモリを有するブロック処理部の構成例について示す図である。 間引き処理態様決定部の処理について説明する図である。 許容速度変化量の設定手法の例であり、基準評価値以外の新たな基準評価値を設定し、許容速度変化量を設定する方法について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部において実行する標本点移動型の間引き処理による効果について説明する被写体移動量と画質との相関を示す図である。 動画像変換装置におけるブロック処理部において実行する標本点移動型の間引き処理における仮想的な移動速度の設定について説明する図である。 動画像変換装置におけるブロック処理部において実行する標本点移動型の間引き処理における仮想的な移動速度の設定について説明する図である。 動画像変換装置におけるブロック処理部において実行する移動速度と、間引き処理の態様の対応について説明する図である。 動画像変換装置の処理手順を説明するフロー図である。 動画像復元装置の構成を説明する図である。 動画像復元装置のブロック拡張部の処理について説明する図である。 動画像復元装置のブロック拡張部の処理について説明する図である。 動画像復元装置のブロック拡張部の処理について説明する図である。 動画像復元装置のブロック拡張部の処理について説明する図である。 動画像復元装置で実行するブロック配置処理について説明する図である。 動画像復元装置で実行するブロック配置処理について説明する図である。 動画像復元装置で実行するブロック配置処理について説明する図である。 動画像復元装置で実行するブロック配置処理について説明する図である。 動画像復元装置で実行するブロック配置処理および補正処理について説明する図である。
符号の説明
１０ 画像変換装置
１１ ブロック分割部
１２ 移動量検出部
１３ ブロック処理部
１４ 出力部
２１ 画像蓄積部
２２ ブロック分割部
３１ 移動量検出部
３２ ブロック分配部
５１〜５３ ブロック処理部
１００ 画像変換装置
１１０ ブロック分割部
１２０ 移動量検出部
１３０ ブロック処理部
１４０ 出力部
１１１ 画像蓄積部
１１２ ブロック分割部
１２１ 移動量検出部
１２２ ブロック分配部
１３１〜１３３ ブロック処理部
１５１ 間引き処理態様決定部
１５２ 間引き処理実行部
１５３ メモリ
２０１ 被写体領域
２０５ 画質評価曲線
２１５ 画質評価曲線
３００ 画像復元装置
３１０ 分配部
３２１〜３２３ ブロック拡張部
３３０ 合成部
４０１ ブロック

Claims (25)

  1. 動画像データのデータ変換処理を実行する動画像変換装置であり、
    動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
    前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
    前記ブロック分割部の分割したブロックデータと、前記移動量検出部の検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理部とを有し、
    前記ブロック処理部は、
    前記移動量情報に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定部と、
    前記間引き態様決定部の決定に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行部と、
    を有する構成であることを特徴とする動画像変換装置。
  2. 前記間引き態様決定部は、さらに、
    標本点移動型の空間方向間引きにおける処理態様として、フレームの進行に従った標本点移動方向を決定する構成であり、
    前記間引き処理実行部は、
    前記間引き態様決定部の決定した方向への標本点移動処理を伴う標本点移動型の空間方向間引き処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
  3. 前記間引き態様決定部は、
    標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データに従った間引き態様決定処理を行なう構成であり、
    前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値以上である場合は標本点固定型の間引き処理の実行を決定し、
    前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値未満である場合は標本点移動型の間引き処理の実行を決定する構成であることを特徴とする請求項１に記載の動画像変換装置。
  4. 前記間引き態様決定部は、さらに、
    前記間引き態様決定部による過去のフレームに対する間引き態様決定結果を保持するメモリを有し、
    標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データおよび過去のフレームに対する間引き態様決定結果に従った間引き態様決定処理を行う構成であり、
    前記過去のフレームに対する間引き態様決定結果が標本点固定型の間引き処理であり、かつ前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ１以上である場合は標本点固定型の間引き処理の実行を決定し、
    前記過去のフレームに対する間引き態様決定結果が標本点固定型の間引き処理であり、かつ前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ１未満である場合は標本点移動型の間引き処理の実行を決定し、
    前記過去のフレームに対する間引き態様決定結果が標本点移動型の間引き処理であり、かつ前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ２未満である場合は標本点移動型の間引き処理の実行を決定し、
    前記過去のフレームに対する間引き態様決定結果が標本点移動型の間引き処理であり、かつ前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ２以上である場合は標本点固定型の間引き処理の実行を決定する構成であることを特徴とする請求項１に記載の動画像変換装置。
  5. 前記ブロック処理部は、
    標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて画質評価値が予め定めた基準評価値以上となる移動速度の領域に、
    標本点移動型の間引き処理によって生ずる仮想的な被写体の移動速度が設定されるように標本点の移動態様を設定した空間間引き処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
  6. 前記ブロック処理部は、さらに、
    前記ブロック処理部による過去のフレームに対する空間間引き処理の際の標本点の移動態様を保持するメモリを有し、
    標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて、前記過去のフレームに対する空間間引きの際の標本点の移動態様に応じた仮想的な被写体の移動速度に対応する画質評価値が予め定めた基準評価値Ｔ３以上である場合は、前記過去のフレームに対する空間間引きの際の標本点の移動態様を設定した空間間引き処理を実行し、
    標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて、前記過去のフレームに対する空間間引きの際の標本点の移動態様に応じた仮想的な被写体の移動速度に対応する画質評価値が予め定めた基準評価値Ｔ３を下回る場合は、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて画質評価値が予め定めた基準評価値Ｔ４以上となる移動速度の領域に標本点移動型の間引き処理によって生ずる仮想的な被写体の移動速度が設定されるように標本点の移動態様を設定した空間間引き処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
  7. 前記ブロック処理部は、
    前記移動量情報に基づいて、
    （ａ）空間方向間引き処理のみ、または、
    （ｂ）空間方向間引き処理と時間方向間引き処理、または、
    （ｃ）時間方向間引き処理のみ、
    上記（ａ）乃至（ｃ）のいずれかの態様での間引き処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
  8. 前記移動量検出部は、
    異なるフレームの対応ブロックに基づく動きベクトルを検出する処理を実行し、
    前記ブロック処理部は、
    前記動きベクトルに基づいて間引き態様を決定し、決定した態様に従った間引き処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
  9. 動画像変換データの復元処理を実行する動画像復元装置であり、
    動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張部と、
    前記ブロック拡張部におけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成部とを有し、
    前記ブロック拡張部は、
    前記動画像変換データの生成において実行された標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理、または時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
    前記合成部は、
    ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する構成であることを特徴とする動画像復元装置。
  10. 前記合成部は、
    前記ブロック拡張部において復元されたブロックが、標本点移動型の空間方向間引き処理のなされたブロックである場合、フレームの進行に従ってブロック位置をずらせて配置する処理を実行する構成であることを特徴とする請求項９に記載の動画像復元装置。
  11. 前記合成部は、
    前記ブロック拡張部において復元されたブロックが、標本点移動型の空間方向間引き処理のなされたブロックである場合、フレームの進行に従ってブロック位置をずらせて配置する処理を実行するとともに、ブロック配置により発生する画素隙間または重複画素の画素値を決定する画素値補正処理を実行する構成であることを特徴とする請求項９に記載の動画像復元装置。
  12. 動画像データのデータ変換処理を実行する動画像変換方法であり、
    動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
    前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
    前記ブロック分割ステップにおいて生成したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
    前記ブロック処理ステップは、
    前記移動量情報に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定ステップと、
    前記間引き態様決定ステップにおける決定情報に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行ステップと、
    を有することを特徴とする動画像変換方法。
  13. 前記間引き態様決定ステップは、
    標本点移動型の空間方向間引きにおける処理態様として、フレームの進行に従った標本点移動方向を決定するステップを有し、
    前記間引き処理実行ステップは、
    前記間引き態様決定ステップにおいて決定した方向への標本点移動処理を伴う標本点移動型の空間方向間引き処理を実行することを特徴とする請求項１２に記載の動画像変換方法。
  14. 前記間引き態様決定ステップは、
    標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データに従った間引き態様決定処理を実行し、
    前記移動量検出ステップにおいて検出された移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値以上である場合は標本点固定型の間引き処理の実行を決定し、
    前記移動量検出ステップにおいて検出された移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値未満である場合は標本点移動型の間引き処理の実行を決定することを特徴とする請求項１２に記載の動画像変換方法。
  15. 前記間引き態様決定ステップは、さらに、
    前記間引き態様決定ステップによる過去のフレームに対する間引き態様決定結果を保持し、
    標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データおよび過去のフレームに対する間引き態様決定結果に従った間引き態様決定処理を実行し、
    前記過去のフレームに対する間引き態様決定結果が標本点固定型の間引き処理であり、かつ前記移動量検出ステップの検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ１以上である場合は標本点固定型の間引き処理の実行を決定し、
    前記過去のフレームに対する間引き態様決定結果が標本点固定型の間引き処理であり、かつ前記移動量検出ステップの検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ１未満である場合は標本点移動型の間引き処理の実行を決定し、
    前記過去のフレームに対する間引き態様決定結果が標本点移動型の間引き処理であり、かつ前記移動量検出ステップの検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ２未満である場合は標本点移動型の間引き処理の実行を決定し、
    前記過去のフレームに対する間引き態様決定結果が標本点移動型の間引き処理であり、かつ前記移動量検出ステップの検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値Ｔ２以上である場合は標本点固定型の間引き処理の実行を決定することを特徴とする請求項１２に記載の動画像変換方法。
  16. 前記ブロック処理ステップは、
    標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて画質評価値が予め定めた基準評価値以上となる移動速度の領域に、
    標本点移動型の間引き処理によって生ずる仮想的な被写体の移動速度が設定されるように標本点の移動態様を設定した空間間引き処理を実行することを特徴とする請求項１２に記載の動画像変換方法。
  17. 前記ブロック処理ステップは、さらに、
    前記ブロック処理ステップによる過去のフレームに対する空間間引き処理の際の標本点の移動態様を保持し、
    標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて、前記過去のフレームに対する空間間引きの際の標本点の移動態様に応じた仮想的な被写体の移動速度に対応する画質評価値が予め定めた基準評価値Ｔ３以上である場合は、前記過去のフレームに対する空間間引きの際の標本点の移動態様を設定した空間間引き処理を実行し、
    標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて、前記過去のフレームに対する空間間引きの際の標本点の移動態様に応じた仮想的な被写体の移動速度に対応する画質評価値が予め定めた基準評価値Ｔ３を下回る場合は、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて画質評価値が予め定めた基準評価値Ｔ４以上となる移動速度の領域に標本点移動型の間引き処理によって生ずる仮想的な被写体の移動速度が設定されるように標本点の移動態様を設定した空間間引き処理を実行することを特徴とする請求項１２に記載の動画像変換方法。
  18. 前記ブロック処理ステップは、
    前記移動量情報に基づいて、
    （ａ）空間方向間引き処理のみ、または、
    （ｂ）空間方向間引き処理と時間方向間引き処理、または、
    （ｃ）時間方向間引き処理のみ、
    上記（ａ）乃至（ｃ）のいずれかの態様での間引き処理を実行することを特徴とする請求項１２に記載の動画像変換方法。
  19. 前記移動量検出ステップは、
    異なるフレームの対応ブロックに基づく動きベクトルを検出する処理を実行し、
    前記ブロック処理ステップは、
    前記動きベクトルに基づいて間引き態様を決定し、決定した態様に従った間引き処理を実行することを特徴とする請求項１２に記載の動画像変換方法。
  20. 動画像変換データの復元処理を実行する動画像復元方法であり、
    動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張ステップと、
    前記ブロック拡張ステップにおけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成ステップとを有し、
    前記ブロック拡張ステップは、
    前記動画像変換データの生成において実行された標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理、または時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
    前記合成ステップは、
    ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成するステップであることを特徴とする動画像復元方法。
  21. 前記合成ステップは、
    前記ブロック拡張ステップにおいて復元されたブロックが、標本点移動型の空間方向間引き処理のなされたブロックである場合、フレームの進行に従ってブロック位置をずらせて配置する処理を実行することを特徴とする請求項２０に記載の動画像復元方法。
  22. 前記合成ステップは、
    前記ブロック拡張ステップにおいて復元されたブロックが、標本点移動型の空間方向間引き処理のなされたブロックである場合、フレームの進行に従ってブロック位置をずらせて配置する処理を実行するとともに、ブロック配置により発生する画素隙間または重複画素の画素値を決定する画素値補正処理を実行するステップを含むことを特徴とする請求項２０に記載の動画像復元方法。
  23. 動画像データのデータ変換処理を実行するコンピュータ・プログラムであり、
    動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
    前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
    前記ブロック分割ステップにおいて生成したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
    前記ブロック処理ステップは、
    前記移動量情報に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定ステップと、
    前記間引き態様決定ステップにおける決定情報に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行ステップと、
    を有することを特徴とするコンピュータ・プログラム。
  24. 動画像データのデータ変換処理を実行するコンピュータ・プログラムであり、
    動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
    前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
    前記ブロック分割ステップにおいて生成したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
    前記ブロック処理ステップは、
    前記移動量情報および過去の間引き態様に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定ステップと、
    前記間引き態様決定ステップにおける決定情報および過去の決定情報に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行ステップと、
    を有することを特徴とするコンピュータ・プログラム。
  25. 動画像変換データの復元処理を実行するコンピュータ・プログラムであり、
    動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張ステップと、
    前記ブロック拡張ステップにおけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成ステップとを有し、
    前記ブロック拡張ステップは、
    前記動画像変換データの生成において実行された標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理、または時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
    前記合成ステップは、
    ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成するステップであることを特徴とするコンピュータ・プログラム。
JP2005052678A 2004-05-18 2005-02-28 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム Expired - Fee Related JP4552691B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005052678A JP4552691B2 (ja) 2004-05-18 2005-02-28 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004147739 2004-05-18
JP2005052678A JP4552691B2 (ja) 2004-05-18 2005-02-28 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2006005904A true JP2006005904A (ja) 2006-01-05
JP4552691B2 JP4552691B2 (ja) 2010-09-29

Family

ID=35773871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005052678A Expired - Fee Related JP4552691B2 (ja) 2004-05-18 2005-02-28 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム

Country Status (1)

Country Link
JP (1) JP4552691B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017425A (ja) * 2007-07-09 2009-01-22 Sony Corp 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP2009111762A (ja) * 2007-10-30 2009-05-21 Nippon Hoso Kyokai <Nhk> 画像符号化装置及び画像復号装置
US8213497B2 (en) 2006-07-04 2012-07-03 Sony Corporation Moving image converting apparatus, moving image converting method, and computer program
JP2013074318A (ja) * 2011-09-26 2013-04-22 Nippon Hoso Kyokai <Nhk> 標本点算出装置および標本点算出プログラム
JP2013229768A (ja) * 2012-04-25 2013-11-07 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法及び装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01231583A (ja) * 1988-03-11 1989-09-14 Fujitsu Ltd 可変ビットレート画像符号化装置
JP2005198268A (ja) * 2003-12-10 2005-07-21 Sony Corp 動画像変換装置および方法、並びに動画像データフォーマット

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01231583A (ja) * 1988-03-11 1989-09-14 Fujitsu Ltd 可変ビットレート画像符号化装置
JP2005198268A (ja) * 2003-12-10 2005-07-21 Sony Corp 動画像変換装置および方法、並びに動画像データフォーマット

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8213497B2 (en) 2006-07-04 2012-07-03 Sony Corporation Moving image converting apparatus, moving image converting method, and computer program
JP2009017425A (ja) * 2007-07-09 2009-01-22 Sony Corp 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
US8421914B2 (en) 2007-07-09 2013-04-16 Sony Corporation Method and apparatus converting moving image, method and apparatus for reproducing moving image, and computer program
JP2009111762A (ja) * 2007-10-30 2009-05-21 Nippon Hoso Kyokai <Nhk> 画像符号化装置及び画像復号装置
JP2013074318A (ja) * 2011-09-26 2013-04-22 Nippon Hoso Kyokai <Nhk> 標本点算出装置および標本点算出プログラム
JP2013229768A (ja) * 2012-04-25 2013-11-07 Nippon Telegr & Teleph Corp <Ntt> 映像符号化方法及び装置

Also Published As

Publication number Publication date
JP4552691B2 (ja) 2010-09-29

Similar Documents

Publication Publication Date Title
JP4779434B2 (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
US7813430B2 (en) Method and apparatus for decimation mode determination utilizing block motion
JP4879026B2 (ja) 動的制御画素処理を備えた画像処理システムおよび方法
US20100202711A1 (en) Image processing apparatus, image processing method, and program
JP6335504B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8305489B2 (en) Video conversion apparatus and method, and program
US8615036B2 (en) Generating interpolated frame of video signal with enhancement filter
JP2014171097A (ja) 符号化装置、符号化方法、復号装置、および、復号方法
JP4552691B2 (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
US8682110B2 (en) Method and apparatus for converting resolution of block based image
JP2010278898A (ja) 超解像画像処理装置、超解像画像処理方法及びｉｐモジュールデータ
JP2008017060A (ja) 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム
JP5015089B2 (ja) フレームレート変換装置、フレームレート変換方法、テレビジョン受像機、フレームレート変換プログラムおよび該プログラムを記録した記録媒体
JP2007060192A (ja) 補間フレーム生成装置、その方法、画像表示システム、並びに、プログラムおよび記録媒体
JP4412062B2 (ja) 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム
JP2009239698A (ja) 映像変換装置及び映像変換方法
JP2008017061A (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP4779424B2 (ja) 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム
JP2006310920A (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP5762006B2 (ja) 画像処理装置および画像処理方法
JP4431973B2 (ja) 動画像処理装置および方法
JP4590975B2 (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP2011082899A (ja) 画像処理装置及びその制御方法
JP2008035012A (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP5095472B2 (ja) 画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100622

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100705

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees