JP4590975B2 - 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム - Google Patents
動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP4590975B2 JP4590975B2 JP2004233360A JP2004233360A JP4590975B2 JP 4590975 B2 JP4590975 B2 JP 4590975B2 JP 2004233360 A JP2004233360 A JP 2004233360A JP 2004233360 A JP2004233360 A JP 2004233360A JP 4590975 B2 JP4590975 B2 JP 4590975B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- thinning
- movement amount
- moving image
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。特に、動画像の圧縮および伸張処理を実行する構成において、人間の視覚特性を利用した適切な圧縮、伸張を行なうことにより、効率的なデータ量の削減を実現し、画質劣化を最小限に抑え、高品質な画像復元を実現可能とした動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムに関する。
動画像データは、フラッシュメモリ、ハードディスク、ＤＶＤなどの記憶媒体への保存、あるいはネットワークを介した配信などにおいて、データ量を削減するためのデータ変換、すなわち圧縮処理が行なわれる。特に、近年、動画像データの高品質化、例えばＨＤ（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ）データなど、データ品質の改善が進んでおり、このデータの高品質化に伴ってデータ量が急激に増大している。このような状況において、動画像データの圧縮、復元処理における圧縮効率の改善や、復元データの品質劣化防止に関する技術について多くの検討、研究がなされている。
動画像のデータ量の圧縮方法としては、ＭＰＥＧなどのインターフレーム符号化とイントラフレーム符号化を組み合わせた動画像符号化が代表的である。ところで、ＭＰＥＧによる動画像符号化の符号化効率を向上するために、動画像に対して前処理を行う手法が数多く提案されている。
例えば、特許文献１は、順次走査方式の動画像の画素を半数に間引くことにより飛び越し走査方式の動画像へと変換した後に圧縮することで、画質の劣化を抑えつつ符号化効率の向上を可能とした構成を開示している。また、特許文献２は、前処理としてローパスフィルタを画像に適用することで、符号化後のブロック歪みの発生を抑制した構成を開示している。
しかし、これらの従来技術に開示されたデータ圧縮方法においては、以下のような問題がある。
（１）特許文献１（特開２０００−３２４７０）に開示された方式では、前処理終了時点でデータ量を半分にすることが可能で最終的な符号化効率の大幅な向上が期待できるが、動画の局所的な特性、すなわち、動きのある領域と無い領域の特徴を利用せずに一様な間引きを行っているため、画像全体に対して均一な劣化を生じさせてしまう。
（２）特許文献２（特開２００１−３５２５４６）の方式は、特に低ビットレートで符号化した場合に発生するブロック歪みの抑制を意図したものであり、高ビットレートの符号化時にこの手法を適用することで符号化効率の向上や画質の劣化の抑制が可能であるとは限らない。
特開２０００−３２４７０号公報
特開２００１−３５２５４６号公報
（１）特許文献１（特開２０００−３２４７０）に開示された方式では、前処理終了時点でデータ量を半分にすることが可能で最終的な符号化効率の大幅な向上が期待できるが、動画の局所的な特性、すなわち、動きのある領域と無い領域の特徴を利用せずに一様な間引きを行っているため、画像全体に対して均一な劣化を生じさせてしまう。
（２）特許文献２（特開２００１−３５２５４６）の方式は、特に低ビットレートで符号化した場合に発生するブロック歪みの抑制を意図したものであり、高ビットレートの符号化時にこの手法を適用することで符号化効率の向上や画質の劣化の抑制が可能であるとは限らない。
上述のように、いくつかの従来技術において、画像の劣化を抑えつつ符号化効率の向上を図る構成が開示されているが、これまでに開示されている圧縮方法では、圧縮画像データを復元し、再生した場合の画質劣化を十分に抑えるには至っていない。
本発明は、上記の問題に鑑みてなされたものであり、人間の視覚特性を利用した適切な圧縮、伸張を行なうことにより、効率的なデータ量の削減を実現し、画質劣化を最小限に抑え、高品質な画像復元を実現可能とした動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第１の側面は、
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
前記ブロック分割部の分割したブロックデータと、前記移動量検出部の検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理部とを有し、
前記ブロック処理部は、
間引き処理対象のブロックが、前記移動量検出部の検出した移動量と、処理態様決定するために予め規定した第１閾値、第２閾値と比較し、
検出した前記移動量が第１閾値以上である場合は移動量が大、
検出した前記移動量が第１閾値未満であり第２閾値以上である場合は移動量が中、
検出した前記移動量が第２閾値未満である場合は移動量が小、
であると判定し、前記移動量が大、中、小のいずれの分類に属するかに応じて実行する間引き態様を変更し、
前記移動量が大である場合は、空間間引き処理、
前記移動量が小である場合は、時間方向間引き処理、
前記移動量が中である場合は、空間間引き処理と時間方向間引き処理を実行し、
前記移動量が中である場合の時間方向間引き処理において、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なう構成であり、
前記ブロック処理部は、
時間方向間引き処理の実行においては、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なう構成であり、
予め規定した超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
ただしｔは時間、Ｔはフレーム間隔、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足する間引き態様を前記移動量情報に基づいて決定し、決定した間引き態様に一致するように間引き対象フレームを変更して間引き処理を行なう構成であることを特徴とする動画像変換装置にある。
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
前記ブロック分割部の分割したブロックデータと、前記移動量検出部の検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理部とを有し、
前記ブロック処理部は、
間引き処理対象のブロックが、前記移動量検出部の検出した移動量と、処理態様決定するために予め規定した第１閾値、第２閾値と比較し、
検出した前記移動量が第１閾値以上である場合は移動量が大、
検出した前記移動量が第１閾値未満であり第２閾値以上である場合は移動量が中、
検出した前記移動量が第２閾値未満である場合は移動量が小、
であると判定し、前記移動量が大、中、小のいずれの分類に属するかに応じて実行する間引き態様を変更し、
前記移動量が大である場合は、空間間引き処理、
前記移動量が小である場合は、時間方向間引き処理、
前記移動量が中である場合は、空間間引き処理と時間方向間引き処理を実行し、
前記移動量が中である場合の時間方向間引き処理において、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なう構成であり、
前記ブロック処理部は、
時間方向間引き処理の実行においては、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なう構成であり、
予め規定した超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足する間引き態様を前記移動量情報に基づいて決定し、決定した間引き態様に一致するように間引き対象フレームを変更して間引き処理を行なう構成であることを特徴とする動画像変換装置にある。
さらに、本発明の動画像変換装置の一実施態様において、前記ブロック処理部は、前記移動量が第１閾値未満の前記移動量が中または小の場合に実行する時間方向間引き処理の実行において、前記超解像効果発生条件を満足する移動量と間引き態様との対応関係に従って設定した間引き態様変更点となる移動量閾値であり、前記第１閾値未満の閾値である第３閾値と前記移動量情報との比較を実行し、前記移動量情報が前記第３閾値以上である場合は、時間軸に連続する間引き対象フレームを、前記移動量情報が前記第３閾値未満である場合に比較して少なく設定し、前記移動量情報が前記第３閾値未満である場合は、時間軸に連続する間引き対象フレームを、前記移動量情報が前記第３閾値以上である場合に比較して多く設定した時間軸方向の間引き処理を実行する構成であることを特徴とする。
さらに、本発明の動画像変換装置の一実施態様において、前記ブロック処理部は、圧縮率１／２の時間方向間引き処理を連続４フレームを処理単位として実行する構成である場合、前記移動量情報が前記第３閾値以上である場合は、１番目のフレームと３番目のフレームを残し、２番目と４番目のフレームを間引く時間軸方向の間引き処理を実行し、前記移動量情報が前記第３閾値未満である場合は、１番目のフレームと４番目のフレームを残し、２番目と３番目のフレームを間引く時間軸方向の間引き処理を実行する構成であることを特徴とする。
さらに、本発明の第２の側面は、
時間方向の間引き処理データを含む動画像変換データの復元処理を実行する動画像復元装置であり、
時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成するブロック補間部を有し、
前記ブロック補間部は、
時間間引きされなかったフレームの入力ブロックを、より時間的に近い時間間引きフレームにコピーして復元ブロックを生成し、入力ブロック対応の移動量情報に従って、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であり、
復元対象となる入力ブロックは、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
ただしｔは時間、Ｔはフレーム間隔、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足するように前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、
前記ブロック補間部は、
前記移動量情報に基づく間引き処理によって間引かれたフレームを復元するように、復元対象として入力されたブロックの時間方向の間引き処理の態様に応じて、フレーム間での復元ブロックの移動方向を、より時間的に近いフレーム間移動となるように選択して、動画像データ復元を行なう構成であることを特徴とする動画像復元装置にある。
時間方向の間引き処理データを含む動画像変換データの復元処理を実行する動画像復元装置であり、
時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成するブロック補間部を有し、
前記ブロック補間部は、
時間間引きされなかったフレームの入力ブロックを、より時間的に近い時間間引きフレームにコピーして復元ブロックを生成し、入力ブロック対応の移動量情報に従って、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であり、
復元対象となる入力ブロックは、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足するように前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、
前記ブロック補間部は、
前記移動量情報に基づく間引き処理によって間引かれたフレームを復元するように、復元対象として入力されたブロックの時間方向の間引き処理の態様に応じて、フレーム間での復元ブロックの移動方向を、より時間的に近いフレーム間移動となるように選択して、動画像データ復元を行なう構成であることを特徴とする動画像復元装置にある。
さらに、本発明の動画像復元装置の一実施態様において、前記ブロック補間部は、移動を伴う補間が実行されたブロックについてフィルタ処理による帯域制限処理を実行する構成を有することを特徴とする。
さらに、本発明の動画像復元装置の一実施態様において、前記動画像復元装置は、復元対象ブロックの移動量に基づいて、該ブロックが時間方向の間引きがなされたデータであるか否かを判定し、前記ブロック補間部は、前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、移動量情報に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であることを特徴とする。
さらに、本発明の動画像復元装置の一実施態様において、前記動画像復元装置は、時間方向の間引きがなされたデータであるか否かを示すフラグに基づいて、復元対象ブロックが時間方向の間引きがなされたデータであるか否かを判定し、前記ブロック補間部は、前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、移動量情報に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であることを特徴とする＞
さらに、本発明の動画像復元装置の一実施態様において、前記動画像復元装置は、移動量検出部を有し、該移動量検出部の検出した移動量に従って、該ブロックが時間方向の間引きがなされたデータであるか否かを判定し、前記ブロック補間部は、前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、前記移動量に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であることを特徴とする。
さらに、本発明の動画像復元装置の一実施態様において、前記移動量検出部は、異なるフレームの対応ブロックに基づく動きベクトルを検出する処理を実行し、前記ブロック補間部は、前記動きベクトルに基づいて、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であることを特徴とする。
さらに、本発明の第３の側面は、
動画像データのデータ変換処理を実行する動画像変換方法であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて分割したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
間引き処理対象のブロックが、前記移動量検出ステップにおいて検出した移動量と、処理態様決定するために予め規定した第１閾値、第２閾値と比較し、
検出した前記移動量が第１閾値以上である場合は移動量が大、
検出した前記移動量が第１閾値未満であり第２閾値以上である場合は移動量が中、
検出した前記移動量が第２閾値未満である場合は移動量が小、
であると判定し、前記移動量が大、中、小のいずれの分類に属するかに応じて実行する間引き態様を変更し、
前記移動量が大である場合は、空間間引き処理、
前記移動量が小である場合は、時間方向間引き処理、
前記移動量が中である場合は、空間間引き処理と時間方向間引き処理を実行し、
前記移動量が中である場合の時間方向間引き処理において、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行ない、
時間方向間引き処理の実行においては、前記移動量情報に基づいて間引き対象フレームを変更した間引き処理として、
予め規定した超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
ただしｔは時間、Ｔはフレーム間隔、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足する間引き態様を前記移動量情報に基づいて決定し、決定した間引き態様に一致するように間引き対象フレームを変更して間引き処理を行なうことを特徴とする動画像変換方法にある。
動画像データのデータ変換処理を実行する動画像変換方法であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて分割したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
間引き処理対象のブロックが、前記移動量検出ステップにおいて検出した移動量と、処理態様決定するために予め規定した第１閾値、第２閾値と比較し、
検出した前記移動量が第１閾値以上である場合は移動量が大、
検出した前記移動量が第１閾値未満であり第２閾値以上である場合は移動量が中、
検出した前記移動量が第２閾値未満である場合は移動量が小、
であると判定し、前記移動量が大、中、小のいずれの分類に属するかに応じて実行する間引き態様を変更し、
前記移動量が大である場合は、空間間引き処理、
前記移動量が小である場合は、時間方向間引き処理、
前記移動量が中である場合は、空間間引き処理と時間方向間引き処理を実行し、
前記移動量が中である場合の時間方向間引き処理において、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行ない、
時間方向間引き処理の実行においては、前記移動量情報に基づいて間引き対象フレームを変更した間引き処理として、
予め規定した超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足する間引き態様を前記移動量情報に基づいて決定し、決定した間引き態様に一致するように間引き対象フレームを変更して間引き処理を行なうことを特徴とする動画像変換方法にある。
さらに、本発明の動画像変換方法の一実施態様において、前記ブロック処理ステップは、前記移動量が第１閾値未満の前記移動量が中または小の場合に実行する時間方向間引き処理の実行において、前記超解像効果発生条件を満足する移動量と間引き態様との対応関係に従って設定した間引き態様変更点となる移動量閾値であり、前記第１閾値未満の閾値である第３閾値と前記移動量情報との比較を実行し、前記移動量情報が前記第３閾値以上である場合は、時間軸に連続する間引き対象フレームを、前記移動量情報が前記第３閾値未満である場合に比較して少なく設定し、前記移動量情報が前記第３閾値未満である場合は、時間軸に連続する間引き対象フレームを、前記移動量情報が前記第３閾値値以上である場合に比較して多く設定した時間軸方向の間引き処理を実行することを特徴とする。
さらに、本発明の動画像変換方法の一実施態様において、前記ブロック処理ステップは、圧縮率１／２の時間方向間引き処理を連続４フレームを処理単位として実行する場合、前記移動量情報が前記第３閾値以上である場合は、１番目のフレームと３番目のフレームを残し、２番目と４番目のフレームを間引く時間軸方向の間引き処理を実行し、前記移動量情報が前記第３閾値未満である場合は、１番目のフレームと４番目のフレームを残し、２番目と３番目のフレームを間引く時間軸方向の間引き処理を実行することを特徴とする。
さらに、本発明の第４の側面は、
時間方向の間引き処理データを含む動画像変換データの復元処理を実行する動画像復元方法であり、
時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成するブロック補間ステップを有し、
前記ブロック補間ステップは、
時間間引きされなかったフレームの入力ブロックを、より時間的に近い時間間引きフレームにコピーして復元ブロックを生成し、入力ブロック対応の移動量情報に従って、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうステップであり、
復元対象となる入力ブロックは、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
ただしｔは時間、Ｔはフレーム間隔、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足するように前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、
前記ブロック補間ステップは、
前記移動量情報に基づく間引き処理によって間引かれたフレームを復元するように、復元対象として入力されたブロックの時間方向の間引き処理の態様に応じて、フレーム間での復元ブロックの移動方向を、より時間的に近いフレーム間移動となるように選択して、動画像データ復元を行なうステップであることを特徴とする動画像復元方法にある。
時間方向の間引き処理データを含む動画像変換データの復元処理を実行する動画像復元方法であり、
時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成するブロック補間ステップを有し、
前記ブロック補間ステップは、
時間間引きされなかったフレームの入力ブロックを、より時間的に近い時間間引きフレームにコピーして復元ブロックを生成し、入力ブロック対応の移動量情報に従って、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうステップであり、
復元対象となる入力ブロックは、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足するように前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、
前記ブロック補間ステップは、
前記移動量情報に基づく間引き処理によって間引かれたフレームを復元するように、復元対象として入力されたブロックの時間方向の間引き処理の態様に応じて、フレーム間での復元ブロックの移動方向を、より時間的に近いフレーム間移動となるように選択して、動画像データ復元を行なうステップであることを特徴とする動画像復元方法にある。
さらに、本発明の動画像復元方法の一実施態様において、前記ブロック補間ステップは、移動を伴う補間が実行されたブロックについてフィルタ処理による帯域制限処理を実行するステップを有することを特徴とする。
さらに、本発明の動画像復元方法の一実施態様において、前記動画像復元方法は、さらに、復元対象ブロックの移動量に基づいて、該ブロックが時間方向の間引きがなされたデータであるか否かを判定するステップを有し、前記ブロック補間ステップは、前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、移動量情報に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうことを特徴とする。
さらに、本発明の動画像復元方法の一実施態様において、前記動画像復元方法は、さらに、時間方向の間引きがなされたデータであるか否かを示すフラグに基づいて、復元対象ブロックが時間方向の間引きがなされたデータであるか否かを判定するステップを有し、前記ブロック補間ステップは、前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、移動量情報に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうことを特徴とする。
さらに、本発明の動画像復元方法の一実施態様において、前記動画像復元方法は、さらに、移動量検出ステップを有し、該移動量検出ステップにおいて検出した移動量に従って、該ブロックが時間方向の間引きがなされたデータであるか否かを判定し、前記ブロック補間ステップは、前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、前記移動量に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうことを特徴とする。
さらに、本発明の動画像復元方法の一実施態様において、前記移動量検出ステップは、異なるフレームの対応ブロックに基づく動きベクトルを検出する処理を実行するステップであり、前記ブロック補間ステップは、前記動きベクトルに基づいて、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうことを特徴とする。
さらに、本発明の第５の側面は、
動画像変換装置において、動画像データのデータ変換処理を実行させるコンピュータ・プログラムであり、前記データ変換処理は、
ブロック分割部に、動画像データを構成するフレーム毎にブロック分割処理を実行させるブロック分割ステップと、
移動量検出部に、前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出させる移動量検出ステップと、
ブロック処理部に、前記ブロック分割ステップにおいて分割したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行させるブロック処理ステップとを前記動画像変換装置に実行させ、
前記ブロック処理ステップにおいては、
間引き処理対象のブロックが、前記移動量検出ステップにおいて検出した移動量と、処理態様決定するために予め規定した第１閾値、第２閾値と比較させ、
検出した前記移動量が第１閾値以上である場合は移動量が大、
検出した前記移動量が第１閾値未満であり第２閾値以上である場合は移動量が中、
検出した前記移動量が第２閾値未満である場合は移動量が小、
であると判定し、前記移動量が大、中、小のいずれの分類に属するかに応じて実行する間引き態様を変更させ、
前記移動量が大である場合は、空間間引き処理、
前記移動量が小である場合は、時間方向間引き処理、
前記移動量が中である場合は、空間間引き処理と時間方向間引き処理を実行させ、
前記移動量が中である場合の時間方向間引き処理において、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なわせ、
時間方向間引き処理の実行においては、前記移動量情報に基づいて間引き対象フレームを変更した間引き処理として、
予め規定した超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
ただしｔは時間、Ｔはフレーム間隔、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足する間引き態様を前記移動量情報に基づいて決定し、決定した間引き態様に一致するように間引き対象フレームを変更して間引き処理を行なわせることを特徴とするコンピュータ・プログラムにある。
動画像変換装置において、動画像データのデータ変換処理を実行させるコンピュータ・プログラムであり、前記データ変換処理は、
ブロック分割部に、動画像データを構成するフレーム毎にブロック分割処理を実行させるブロック分割ステップと、
移動量検出部に、前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出させる移動量検出ステップと、
ブロック処理部に、前記ブロック分割ステップにおいて分割したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行させるブロック処理ステップとを前記動画像変換装置に実行させ、
前記ブロック処理ステップにおいては、
間引き処理対象のブロックが、前記移動量検出ステップにおいて検出した移動量と、処理態様決定するために予め規定した第１閾値、第２閾値と比較させ、
検出した前記移動量が第１閾値以上である場合は移動量が大、
検出した前記移動量が第１閾値未満であり第２閾値以上である場合は移動量が中、
検出した前記移動量が第２閾値未満である場合は移動量が小、
であると判定し、前記移動量が大、中、小のいずれの分類に属するかに応じて実行する間引き態様を変更させ、
前記移動量が大である場合は、空間間引き処理、
前記移動量が小である場合は、時間方向間引き処理、
前記移動量が中である場合は、空間間引き処理と時間方向間引き処理を実行させ、
前記移動量が中である場合の時間方向間引き処理において、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なわせ、
時間方向間引き処理の実行においては、前記移動量情報に基づいて間引き対象フレームを変更した間引き処理として、
予め規定した超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足する間引き態様を前記移動量情報に基づいて決定し、決定した間引き態様に一致するように間引き対象フレームを変更して間引き処理を行なわせることを特徴とするコンピュータ・プログラムにある。
さらに、本発明の第６の側面は、
動画像復元装置において、時間方向の間引き処理データを含む動画像変換データの復元処理を実行させるコンピュータ・プログラムであり、前記動画像データの復元処理は、
ブロック補間部に、時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成させるブロック補間ステップを前記動画像復元装置に実行させ、
前記ブロック補間ステップにおいては、
時間間引きされなかったフレームの入力ブロックを、より時間的に近い時間間引きフレームにコピーして復元ブロックを生成し、入力ブロック対応の移動量情報に従って、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なわせ、
復元対象となる入力ブロックは、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
ただしｔは時間、Ｔはフレーム間隔、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足するように前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、
前記ブロック補間ステップにおいては、
前記移動量情報に基づく間引き処理によって間引かれたフレームを復元するように、復元対象として入力されたブロックの時間方向の間引き処理の態様に応じて、フレーム間での復元ブロックの移動方向を、より時間的に近いフレーム間移動となるように選択して、動画像データ復元を行なわせることを特徴とするコンピュータ・プログラムにある。
動画像復元装置において、時間方向の間引き処理データを含む動画像変換データの復元処理を実行させるコンピュータ・プログラムであり、前記動画像データの復元処理は、
ブロック補間部に、時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成させるブロック補間ステップを前記動画像復元装置に実行させ、
前記ブロック補間ステップにおいては、
時間間引きされなかったフレームの入力ブロックを、より時間的に近い時間間引きフレームにコピーして復元ブロックを生成し、入力ブロック対応の移動量情報に従って、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なわせ、
復元対象となる入力ブロックは、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足するように前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、
前記ブロック補間ステップにおいては、
前記移動量情報に基づく間引き処理によって間引かれたフレームを復元するように、復元対象として入力されたブロックの時間方向の間引き処理の態様に応じて、フレーム間での復元ブロックの移動方向を、より時間的に近いフレーム間移動となるように選択して、動画像データ復元を行なわせることを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の動画像変換装置および方法によれば、移動量に応じて、時間方向間引きの態様を変更することで超解像効果を持つデータを生成することが可能となり、データ量は削減されているにもかかわらず、復号化時の画像劣化を抑制した高品質なデータを生成することができる。
本発明の動画像変換装置および方法によれば、動画像データを構成するフレーム毎にブロック分割を行い、各ブロックにおける被写体移動量を検出し、移動量に基づいて決定した態様の空間間引き処理または時間方向間引き処理の少なくともいずれかの間引き処理を実行する構成とし、時間方向間引き処理の実行においては、移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なう構成としたので、移動量に応じた最適な時間方向間引き、すなわち超解像効果を持つデータを生成が可能となり、データ量は削減されているにもかかわらず、復号化時の画像劣化を抑制した高品質なデータを生成することができる。
さらに、本発明の動画像復元装置および方法によれば、時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成するブロック補間部において、補間処理対象のブロック対応の移動量情報を入力し、該移動量情報に従ってフレーム間で復元ブロックを移動させて、動画像データ復元を行なう構成としたので、超解像効果を持つ復元データの生成が可能となり、画像劣化を抑制した高品質な復号データを生成することができる。
以下、図面を参照しながら、本発明の動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラムの構成について説明する。なお、説明は、以下の項目に従って行なう。
（１）超解像効果を利用した動画像変換装置の基本構成
（２）本発明に従った動画像圧縮処理を実行する装置および方法
（３）本発明に従った動画像伸張処理を実行する装置および方法
（１）超解像効果を利用した動画像変換装置の基本構成
（２）本発明に従った動画像圧縮処理を実行する装置および方法
（３）本発明に従った動画像伸張処理を実行する装置および方法
［（１）超解像効果を利用した動画像変換装置の基本構成］
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特願２００３−４１２５０１号に詳細を記載しているものであり、画像を小領域（ブロック）に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特願２００３−４１２５０１号に詳細を記載しているものであり、画像を小領域（ブロック）に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。
図１に特願２００３−４１２５０１号に記載した動画像変換装置１０の構成例を示す。この動画像変換装置１０は、超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量の削減を行うことができる構成としたものである。
なお、超解像効果とは、観測者が、空間方向に離散的にサンプリングされた移動被写体を追従視する際に、表示画素数以上の解像度を知覚するという視覚的効果である。これは、人間は、ある時間内に呈示された複数の画像が加算されたものを知覚するという視覚特性を持つためである。この特性は、ブロックの法則として知られる視覚の時間的積分機能に起因しており、例えば、"視覚情報ハンドブック，日本視覚学会編，ｐｐ．２１９−２２０"などに記載されている。ブロックの法則が成り立つ積分時間は、背景光の強度などの呈示条件によって変化するが、およそ２５ｍｓ乃至１００ｍｓであるという報告がある。
図１に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行うことにより、画質劣化を観測者が知覚しないようにデータを削減する圧縮を行う構成としたものである。図１の動画像変換装置１０の構成について説明する。
ブロック分割部１１は、入力された動画像の各フレームを、所定画素の区分領域としてのブロックに分割し移動量検出部１２に供給する。移動量検出部１２は、ブロック分割部１１から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３に送信する。ブロック処理部１３は、移動量検出部１２から供給されたブロックに対して、その移動量に応じた動画像変換処理、すなわち圧縮処理を施し、データ量を削減する。ブロック処理部１３は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４に供給する。出力部１４は、ブロック処理部１３から供給された、データ量が削減されたブロックについてのデータを、ストリームデータとしてまとめて出力する。
次に、図２を参照して、各部の詳細について説明する。ブロック分割部１１の画像蓄積部２１には、動画像変換装置１０に供給された動画像のフレームが入力される。画像蓄積部２１は、入力されたフレームを蓄積する。画像蓄積部２１は、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部２２に供給するとともに、Ｎ枚のフレームの中のＭ番目に記憶したフレーム（以下、Ｍ番目のフレームと称する）を、移動量検出部１２（移動量検出部３１）に供給する。例えば、Ｎ＝４とする。
ブロック分割部２２は、画像蓄積部２１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ（例えば８×８、１６×１６）のブロックに分割し、移動量検出部１２（ブロック分配部３２）に出力する。ブロック分割部２２はまた、Ｎ枚のフレームの中の、画像蓄積部２１でＰ番目に記憶されたフレーム（以下、Ｐ番目のフレームと称する）の各ブロックを移動量検出部１２（移動量検出部３１）に供給する。Ｐ番目のフレームは、Ｍ番目のフレームと異なるフレームである。
次に、移動量検出部１２について説明する。移動量検出部１２の移動量検出部３１は、ブロック分割部１１のブロック分割部２２から供給されたＰ番目のフレームの各ブロックの動きベクトルを、画像蓄積部２１から供給されたＭ番目のフレームを参照して例えばフレーム間のブロックマッチング処理を実行して検出し、検出した動きベクトルをブロック分配部３２に供給する。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表している。なお、移動量検出部３１は、移動量検出の精度を向上させるために画像を拡大し、拡大画像を適用した移動量検出を行なう構成としてもよい。
移動量検出部１２のブロック分配部３２には、ブロック分割部２２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部３１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部３２は、供給されたＮ個のブロックと移動量を、ブロック処理部１３の、その移動量に対応する処理を行うブロック処理部５１乃至５３の中のいずかに供給する。
具体的にはブロック分配部３２は、移動量検出部３１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル（画素）以上である場合、ブロック分割部２２から供給されたＮ個のブロックと移動量検出部３１から供給された移動量を、ブロック処理部５１に出力する。また、１フレーム間の水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ１ピクセル以上の場合、ブロック分配部３２は、Ｎ個のブロックと移動量を、ブロック処理部５３に出力する。移動量がそのほかの場合には、ブロック分配部３２は、Ｎ個のブロックと移動量をブロック処理部５２に供給する。
すなわちブロック分配部３２は、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部５１〜５３に、ブロック画像を分配する。
次に、ブロック処理部１３の詳細を説明する。ブロック処理部１３は、上述したように３個のブロック処理部５１乃至５３で構成されている。ブロック処理部５１は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル以上である場合のＮ個のブロック）に対して、画素数を、同様にブロック分配部３２から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。
具体的には、１フレーム間の水平方向の移動量が２ピクセル（画素）以上である場合、ブロック処理部５１は、処理対象のブロックが図３（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち１つの画素値のみを選択して代表値とする。図３（ｂ）の例では、Ｐ００乃至Ｐ３０の４画素のうちＰ１０のみを代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ０１乃至Ｐ３１の４画素に対してはＰ１１を代表値（標本点）とし、Ｐ０２乃至Ｐ３２の４画素に対してはＰ１２を代表値（標本点）とし、Ｐ０３乃至Ｐ３３の４画素に対してはＰ１３を代表値（標本点）とする。
１フレーム間の垂直方向の移動量が２ピクセル以上である場合、ブロック処理部５１は、ブロックが図３（ａ）に示すように４×４ピクセルで構成されているとき、垂直方向の４画素のうち１つの画素値を標本点として有効とする。図３（ｃ）の例では、Ｐ００乃至Ｐ０３の４画素のうちＰ０１のみを標本点として有効にする。その他の画素値は無効とする。同様に、Ｐ１０乃至Ｐ１３の４画素に対してはＰ１１を標本点とし、Ｐ２０乃至Ｐ２３の４画素に対してはＰ２１を標本点とし、Ｐ３０乃至Ｐ３３の４画素に対してはＰ３１を標本点とする。
ブロック処理部５１は、このような空間方向間引き処理を、供給された連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ＝４個のブロックに対してそれぞれ施すので、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部５１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。
次に、図２に示すブロック処理部５２の実行する処理について説明する。図２に示すブロック処理部５２は、移動量検出部１２のブロック分配部３２から供給された連続するＮ枚のフレームのそれぞれの同一位置ある合計Ｎブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。
具体的にはブロック処理部５２は、図４に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢｉ）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。ブロック処理部５２は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４に供給する。選択された１つのブロックの画素データが４フレームに対応する標本点データとなる。
ブロック処理部５３は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間方向間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行う。
ブロック処理部５３は、ブロック処理部５１における間引き処理とは異なり、図５に示すように、１フレーム間の水平方向の移動量が１ピクセル以上で、２ピクセル未満である場合、ブロック処理部５３は、処理対象のブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち２つの画素値のみを選択して代表値とする。図５（ｂ）の例では、Ｐ００乃至Ｐ３０の４画素のうちＰ００とＰ２０のみを代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ０１乃至Ｐ３１の４画素に対してはＰ０１とＰ２１のみを代表値（標本点）とし、Ｐ０２乃至Ｐ３２の４画素に対してはＰ０２とＰ２２のみ代表値（標本点）とし、Ｐ０３乃至Ｐ３３の４画素に対してはＰ０３とＰ２３のみ代表値（標本点）とする。
１フレーム間の垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合、ブロック処理部５３は、処理対象ブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、垂直方向の４画素のうち２つの画素値を有効とする。図５（ｃ）の例では、Ｐ００乃至Ｐ０３の４画素のうちＰ００およびＰ０２を代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ１０乃至Ｐ１３の４画素に対してはＰ１０およびＰ１２を代表値（標本点）とし、Ｐ２０乃至Ｐ２３の４画素に対してはＰ２０およびＰ２２を代表値（標本点）とし、Ｐ３０乃至Ｐ３３の４画素に対してはＰ３０およびＰ３２を代表値（標本点）とする。
さらにブロック処理部５３は、フレーム数の間引き処理を行う。具体的にはブロック処理部５３は、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックに対して、その中の２つのブロックを有効にするフレーム数の間引き処理を実行する。フレーム数の間引き処理においては、ブロック処理部５３は、ブロック処理部５２における間引き処理と異なり、図６に示すように、連続する４枚のフレームＦ１乃至Ｆ４のぞれぞれの同一位置にある合計４個のブロックＢｉを、その中のいずれか２つ（図の例では、フレームＦ１、Ｆ３の２個のブロック）にするフレーム数の間引き（２フレーム間のフレーム数の間引き）を行う。選択された２つのブロックの画素データが４フレームに対応する標本点データとなる。この場合、図５を参照して説明した空間方向の間引きにおいて、すでに１ブロックに８つの標本点選択が実行済みであり、２ブロックから総計１６の標本点が選択され、これらが４フレームに対応する標本点データとして設定されることになる。
ブロック処理部５３は、図５を参照して説明したデータ量を１／２とする空間方向間引き処理と、図６を参照して説明したデータ量を１／２とする時間方向間引き処理を、供給された４個のブロックに対して施すので、結果として４個のブロックのデータ量が（１／２）×（１／２）＝１／４に削減される。ブロック処理部５３は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。
出力部１４は、ブロック処理部１３のブロック処理部５１乃至５３のそれぞれから供給された、データ量が削減されたＮ個のブロックについてのデータからストリームデータを生成する。
本出願人は、先に出願済みの特願２００３−４１２５０１において、上述した動画像変換装置を提案した、この動画像変換装置は、人間の視覚特性を鑑みて、動画像の微小領域毎に移動速度情報に応じて最適なフレームレートと空間解像度を決定してデータ量の圧縮を行う構成であり、人間の視覚系における時間積分機能を利用し、動被写体を目で追いかけるときに生じる超解像効果に基づいて、移動量に応じて移動方向に空間的な間引き処理を行うことでデータ量の削減を行う構成である。
［（２）本発明に従った動画像圧縮処理を実行する装置および方法］
上述の動画像変換装置におけるデータ圧縮方法において、時間方向間引きを行なうと、以下のような問題が発生する場合がある。
（１）時間方向に間引かれたブロックと間引かれなかったブロックの互いの動きが不自然になる。
（２）時間方向に間引かれたブロックがある程度の高周波成分を持っていると、フリッカー状のノイズが発生する。
以下では、上記問題点を解決したデータ圧縮を実現する本発明に従った動画像圧縮処理を実行する装置および方法について説明する。
上述の動画像変換装置におけるデータ圧縮方法において、時間方向間引きを行なうと、以下のような問題が発生する場合がある。
（１）時間方向に間引かれたブロックと間引かれなかったブロックの互いの動きが不自然になる。
（２）時間方向に間引かれたブロックがある程度の高周波成分を持っていると、フリッカー状のノイズが発生する。
以下では、上記問題点を解決したデータ圧縮を実現する本発明に従った動画像圧縮処理を実行する装置および方法について説明する。
本実施形態における動画像変換装置の概略構成について説明する。図７は、本発明の一実施形態としての動画像変換装置の構成を示すブロック図である。図７に示すように、本実施形態の動画像変換装置は、処理対象となる動画像データを入力し、ブロック分割手段１００において、動画像を構成するフレーム毎に所定領域のブロックに分割し、ブロックデータをｎ個存在する動画像圧縮手段１０２〜１０４へ出力する。ブロック合成手段１０５は、ブロックに分割され動画像圧縮手段によって処理された各ブロックの圧縮データをフレーム単位で合成してフレーム単位の圧縮動画像データとして符号化器１０６へ出力する。符号化器１０６は、ＭＰＥＧ圧縮等の動画の圧縮を行うことのできる既存の符号化器であり、圧縮フレームデータに対してさらにＭＰＥＧ等のデータ圧縮を実行し、ネットワークへの出力、あるいは記憶媒体への格納等のために出力する。
本実施形態におけるブロック分割手段１００および動画像圧縮手段１０２〜１０４の構成について図８以下を参照して説明する。図８は本実施形態におけるブロック分割手段１００および動画像圧縮手段１０２〜１０４の構成を示すブロック図である。
処理対象となる動画像は、ブロック分割手段１００内の画像蓄積部２００において、Ｎフレーム分蓄積される。なお、本実施例ではＮ＝４である。蓄積されたフレームはブロック分割部２０１においてある大きさのブロック、例えば８ｐｉｘｅｌ×８ｐｉｘｅｌや１６ｐｉｘｅｌ×１６ｐｉｘｅｌ等のブロックに分解され、ブロック分配部２０３に送られる。また、この時の分割されたフレームのブロックサイズは移動量検出部２０２へ送られる。
移動量検出部２０２は、画像蓄積部２００に蓄積されたフレームの内Ｍ番目とＭ＋１番目のフレームを取得し、ブロック分割部２０１からのフレームが分割されたブロックのサイズに合わせたブロック単位で、既存の手法、例えばブロックマッチング手法等を用いてフレームの各々のブロックに関する動きベクトルを検出する。なお、本実施例ではＭ＝２である。
さらに、検出された移動量を復号化に使用するため、移動量検出部２０２の検出した移動量情報は、出力２０７にて符号化器１０６に出力し、符号化器１０６において符号化される動画像と共に符号化する。なお、本実施例では、移動量検出部２０２は、Ｎフレーム中の連続する２フレームを用いたブロックマッチングによって移動量を算出する構成としたが、移動量検出部２０２の実行する移動量検出処理は、その他の方法を適用してもよい。さらに、２フレームに基づく移動量検出構成ではなく、Ｎフレーム中の全フレームという選択も含むどのようなフレームの組み合わせに基づいて移動量を算出しても良い。
ブロック分配部２０３は、各ブロックに対して異なる圧縮処理を行うブロック処理部２−４〜２０６へブロックを振り分ける処理を実行する。ブロック分配部２０３の入力は移動量検出部２０２から出力される各々のブロックの移動量と、ブロック分割部２０１から出力されるブロックに分割されたＮフレーム分の画像データである。
ブロック分配部２０３は入力されたＮフレーム分のブロックを、各ブロックの移動量に従い、ブロック処理部２０４〜２０６のいずれかに出力する。さらに、ブロック分配条件を復号化に使用する場合には、ブロック分配条件を、例えばブロック分配フラグとして設定した出力２０９を符号化器１０６に出力し符号化される動画像と共に符号化する。
ブロック分配部２０３は、ブロックの分配条件として移動量検出部２０２の検出した移動量情報を適用する。本実施例では、１フレーム間の水平または垂直方向の移動量のうち値の大きい方が２ピクセルを超えた場合にはブロック処理部ａ２０４、１フレーム間の水平または垂直方向の移動量のうち値の大きい方が２ピクセル未満、かつ１ピクセル以上の場合にはブロック処理部ｃ２０６へ出力し、そのほかの場合にはブロック処理部ｂ２０５へ出力する。
なお、ブロック分配部２０３における出力先決定のための上記条件はあくまでも本実施例のための一例であり、他の条件を適用してもよい。ブロック処理部２０８内の各々のブロック処理部２０４〜２０６は、ブロック分配部２０３から処理対象となるブロックデータと対応する移動量情報を受け取り、データ圧縮処理としての間引き処理を実行する。
ブロック処理部ａ２０４は入力されたブロックの画素数を、処理対象ブロックデータと同時に入力された対応する移動量に応じて空間間引き処理を実行する。本実施例では、水平方向の移動量が２ピクセル以上であるときにはブロック内の画素を１ｘ４ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる４つの画素の内いずれかの値にすることで画素数の間引きを実現している。また、垂直方向の移動量が２ピクセル以上であるときにはブロック内の画素を４ｘ１ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる４つの画素の内いずれかの値にする。これらの処理は、先に図３を参照して説明した処理と同様の処理である。さらに垂直・水平方向の移動量がともに２ピクセル以上であるときには、ブロック内の画素を２ｘ２ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる４つの画素の内いずれかの値にする。
本来、４画素の値を全て同一にすることは著しい画質の劣化を招くが、ブロック処理部ａ２０４は、１フレーム間の水平または垂直方向の移動量のうち値の大きい方が２ピクセルを超えたブロックについてのみ、これらの空間間引きを行なう構成であり、前述のブロックの法則として知られる視覚の時間的積分機能に起因して、超解像効果がもたらされ、観測者が、空間方向に離散的にサンプリングされた移動被写体を追従視する際に、表示画素数以上の解像度を知覚するという視覚的効果が発生し、観測者は、ほとんど画質の劣化を感ずることがない。すなわち、ブロックが十分な高速で移動しており、かつ動画像のフレームレートが十分大きければ、画質の劣化を人間が知覚することはできない。
ブロック処理部ｂ２０５は入力されたブロックのフレーム数の間引き処理、すなわち時間方向の間引き処理を実行する。入力されるブロックはＮフレーム画像中の同一位置ブロックＮ個である。本実施例では、あるブロックの水平方向、垂直方向の移動量がともに１ピクセル未満であった場合、入力された４個のブロックの全画素値を４個のブロックのうちいずれかのブロックの値にする。この処理は、先に図４を参照して説明した処理に相当する。
ブロック処理部ｃ２０６は入力されたブロックの画素数とフレーム数の間引きを実行する。すなわち空間間引き処理と、時間方向の間引き処理との両者を実行する。基本的な動作はブロック処理部ａ２０４の空間間引き処理と、ブロック処理部ｂ２０５の時間方向間引き処理とを組み合わせた処理を実行する。
ブロック処理部ｃ２０６は、画素数の間引き量とフレーム数の間引き量が、ブロック処理部ａ２０４の空間間引き処理と、ブロック処理部ｂ２０５の時間方向間引き処理とは異なる。まず空間間引きとしての画素数の間引き量に関しては、ブロック処理部ａ２０４のように４ピクセル単位で行うのではなく２ピクセル単位で行われる。つまりブロック処理部ａ２０４においては１ｘ４、４ｘ１、２ｘ２の３通りの間引き方法が存在したが、ブロック処理部ｃ２０６の実行する空間間引き処理は、１ｘ２および２ｘ１の２通りのみが存在する。すなわち、水平方向の移動量が１〜２ピクセルである場合、ブロック内の画素を１ｘ２ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる２つの画素の内いずれかの値にすることで画素数の間引きを実現している。また、垂直方向の移動量が１〜２ピクセルであるときにはブロック内の画素を２ｘ１ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる２つの画素の内いずれかの値にする。この処理は、先に、図５を参照して説明した処理に相当する。
また、ブロック処理部ｃ２０６は、時間方向の間引き処理、すなわち、フレーム数の間引きも実行するが、ブロック処理部ｂ２０５のように４フレーム単位で行うのではなく２フレーム単位で行うということに違いがある。この処理は、先に図６を参照して説明した処理に相当する。
さらに、本実施例のブロック処理部ｃ２０６は、時間方向の間引き処理、すなわち、フレーム数の間引き処理の態様を、ブロックの移動量により異ならせて実行する。図９に本実施形態におけるブロック処理部ｃ２０６の構成のブロック図を示す。
図９を参照してブロック処理部ｃ２０６の処理について説明する。ブロック処理部ｃ２０６に入力されたブロックはブロック蓄積部３０１にＮフレーム分蓄積される。ここで蓄積されるブロックは、画像蓄積部２００（図８参照）に蓄積されるフレーム数と等しいことが望ましい。
ブロック蓄積部３０１に蓄積されたブロックは、ブロック処理部ｃ（１）３０５において空間間引き処理、すなわち、画素数の間引き処理が行われる。ここで行われる空間間引き処理が前述の１ｘ２および２ｘ１の２通りの空間間引きである。すなわち、水平方向の移動量が１〜２ピクセルである場合、ブロック内の画素を１ｘ２ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる２つの画素の内いずれかの値にすることで画素数の間引きを実現している。また、垂直方向の移動量が１〜２ピクセルであるときにはブロック内の画素を２ｘ１ピクセル単位の集合に分け、各集合の画素値を各集合に含まれる２つの画素の内いずれかの値にする。この処理は、先に、図５を参照して説明した処理に相当する。
空間間引き処理が行われたブロックは、Ｎフレーム分をまとめてブロック分配部３０２へ出力され、ブロック分配部３０２はブロック移動量にしたがってＮフレーム分のブロックをブロック処理部ｃ（２）３０３またはブロック処理部ｃ（３）３０４へ出力する。
ブロック分配部３０２における分配条件として、本実施例では１フレーム間の水平または垂直方向の移動量のうち値の大きい方が１．２５ピクセル未満であればブロック処理部ｃ（２）３０３、１フレーム間の水平または垂直方向の移動量のうち値の大きい方が１．２５ピクセル以上であればブロック処理部ｃ（３）３０４へ出力する。
ブロック処理部ｃ２０６には１フレーム間の水平または垂直方向の移動量のうち値の大きい方が２ピクセル未満、かつ１ピクセル以上のブロックのみが分配されているため、最終的には、
１フレーム間の水平または垂直方向の移動量のうち値の大きい方が、
１ピクセル以上１．２５ピクセル未満であればブロック処理部ｃ（２）３０３、
１．２５ピクセル以上２ピクセル未満であればブロック処理部ｃ（３）３０４、
へ、それぞれのブロックが出力され、それぞれのブロック処理部において異なる態様で、時間方向間引き処理が実行される。
１フレーム間の水平または垂直方向の移動量のうち値の大きい方が、
１ピクセル以上１．２５ピクセル未満であればブロック処理部ｃ（２）３０３、
１．２５ピクセル以上２ピクセル未満であればブロック処理部ｃ（３）３０４、
へ、それぞれのブロックが出力され、それぞれのブロック処理部において異なる態様で、時間方向間引き処理が実行される。
ブロック処理部ｃ（２）３０３と、ブロック処理部ｃ（３）３０４で実行する具体的な時間方向間引き処理について、図１０、図１１を参照して説明する。
まず、図１０を参照して、ブロック処理部ｃ（２）３０３の実行する時間方向間引き処理について説明する。ブロック処理部ｃ（２）３０３は、１フレーム間の水平または垂直方向の移動量のうち値の大きい方が、１ピクセル以上１．２５ピクセル未満のブロックに対する時間方向間引き処理を実行する。
ブロック処理部ｃ（２）３０３への入力は連続する４フレームの同一位置から得られる４つのブロック３２１〜３２４である。ブロック３２１〜３２４は、ブロック３２１が１番目のフレーム、ブロック３２２が２番目のフレーム、ブロック３２３が３番目のフレーム、ブロック３２４が４番目のフレームから得られたものであり、ブロック３２１〜３２４の順に時系列に並んでいる。
ブロック処理部ｃ（２）３０３に入力されたブロック３２１〜３２４は、既に、ブロック処理部ｃ（１）３０５（図９参照）において、空間間引き処理が施されている。図１０には、ブロック３２１〜３２４に横方向２×１での空間間引き結果として各ブロックに代表画素（標本点）として残された画素３２６〜３２９を示す。図１０に示すとおり、空間間引きの結果、各ブロックの表画素（標本点）として残された画素３２６〜３２９はそれぞれ同じ値となっている。
ブロック処理部ｃ（２）３０３はこの入力ブロック３２１〜３２４を時間方向へ１／２に間引く処理を行う。ブロック処理部ｃ（２）３０３は、１フレーム間の水平または垂直方向の移動量のうち値の大きい方が、１ピクセル以上１．２５ピクセル未満のブロックに対する時間方向間引き処理を実行する。本実施例では、ブロック処理部ｃ（２）３０３において、１番目のフレームと４番目のフレームを残し、２番目と３番目のフレームを間引くことで時間方向の間引き処理を実行する。時間方向間引き処理結果がブロック３３１〜３３４である。
図１０に示すように、時間軸方向に間引かれた結果、ブロック３３１と３３４が残され、ブロック３３２と３３３が間引かれる。この空間間引きによって、４フレーム分のブロックには、代表画素（標本点）３３６，３３７のみが残り、時間方向の間引きによって、データ量が１／２に削減される。この空間間引きによって、データ量が１／２に削減される。このブロックは、ブロック処理部ｃ（１）３０５（図９参照）において、データを１／２とする空間間引き処理が施されているので、結果としてデータ量は１／４となる。
次に、ブロック処理部ｃ（３）３０４の実行する時間方向間引き処理について説明する。ブロック処理部ｃ（３）３０４は、１フレーム間の水平または垂直方向の移動量のうち値の大きい方が、１．２５ピクセル以上２ピクセル未満のブロックに対する時間方向間引き処理を実行する。
ブロック処理部ｃ（３）３０４への入力は、図１１に示す連続する４フレームの同一位置から得られる４つのブロック３５１〜３５４である。またブロック３５１〜３５４は、ブロック３５１〜３５４の順に時系列に並んでいる。
ブロック処理部ｃ（３）３０４に入力されたブロック３５１〜３５４は、既に、ブロック処理部ｃ（１）３０５（図９参照）において、空間間引き処理が施されている。図１１には、ブロック３５１〜３５４に横方向２×１での空間間引き結果として各ブロックに代表画素（標本点）として残された画素３５６〜３５９を示す。図１１に示すとおり、空間間引きの結果、各ブロックの表画素（標本点）として残された画素３５６〜３５９はそれぞれ同じ値となっている。
ブロック処理部ｃ（３）３０４はこの入力ブロック３５１〜３５４を時間方向へ１／２に間引く処理を行う。本実施例では、ブロック処理部ｃ（３）３０４において、１番目のフレームと３番目のフレームを残し、２番目と４番目のフレームを間引くことで時間方向の間引き処理を実行する。時間方向間引き処理結果がブロック３６１〜３６４である。
図１１に示すように、時間軸方向に間引かれた結果、ブロック３６１と３６３が残され、ブロック３６２と３６４が間引かれる。この空間間引きによって、４フレーム分のブロックには、代表画素（標本点）３６６，３６７のみが残り、時間方向の間引きによって、データ量が１／２に削減される。このブロックは、ブロック処理部ｃ（１）３０５（図９参照）において、データを１／２とする空間間引き処理が施されているので、結果としてデータ量は１／４となる。
このように、ブロック処理部は、例えば、圧縮率１／２の時間方向間引き処理を連続４フレームを処理単位として実行する構成である場合、移動量が大きい場合は、１番目のフレームと３番目のフレームを残し、２番目と４番目のフレームを間引く時間軸方向の間引き処理を実行し、移動量が小さい場合は、１番目のフレームと４番目のフレームを残し、２番目と３番目のフレームを間引く時間軸方向の間引き処理を実行する。より、一般的に説明すると、ブロック処理部は、時間方向間引き処理の実行において、移動量が大きい場合は、時間軸に連続する間引き対象フレームを少なく設定し、移動量が小さい場合は、時間軸に連続する間引き対象フレームを多く設定した時間軸方向の間引き処理を実行する。
次に、図１２に示すフローチャートに従って、ブロック処理部ｃ２０６の処理について説明する。ブロック処理部ｃ２０６は、ステップＳ１０１において、入力ブロックをＮフレーム分蓄積する。ここで蓄積されるブロックは、画像蓄積部２００（図８参照）に蓄積されるフレーム数と等しいことが望ましい。蓄積されたブロックは、ステップＳ１０２において画素数の間引き処理が行われる。ここで行われる空間間引き処理が前述の１ｘ２および２ｘ１の２通りの空間間引きであり、データ量が１／２に削減される。
空間間引き処理が行われたブロックは、ステップＳ１０３において、ブロックの移動速度に基づく時間間引き処理態様の振り分けが実行される。この分配条件として、本実施例では１フレーム間の水平または垂直方向の移動量のうち値の大きい方が、
１ピクセル以上１．２５ピクセル未満であればブロック処理部ｃ（２）３０３、
１．２５ピクセル以上２ピクセル未満であればブロック処理部ｃ（３）３０４、
として振り分けられ、それぞれのブロック処理部において異なる態様で、時間方向間引き処理が実行される。
１ピクセル以上１．２５ピクセル未満であればブロック処理部ｃ（２）３０３、
１．２５ピクセル以上２ピクセル未満であればブロック処理部ｃ（３）３０４、
として振り分けられ、それぞれのブロック処理部において異なる態様で、時間方向間引き処理が実行される。
ステップＳ１０４では、ブロック処理部ｃ（２）３０３において、１フレーム間の水平または垂直方向の移動量のうち値の大きい方が１ピクセル以上１．２５ピクセル未満のブロックに対して、図１０を参照して説明した時間方向間引き処理、すなわち、連続する４フレーム中、第１および第４フレームの画素データを残し、第２および第３フレームの画素データを削除する態様の時間方向間引き処理が実行される。
また、ステップＳ１０５では、ブロック処理部ｃ（３）３０４において、１フレーム間の水平または垂直方向の移動量のうち値の大きい方が１．２５ピクセル以上２ピクセル未満のブロックに対して、図１１を参照して説明した時間方向間引き処理、すなわち、連続する４フレーム中、第１および第３フレームの画素データを残し、第２および第４フレームの画素データを削除する態様の時間方向間引き処理が実行される。
このように、本発明の動画像変換装置においては、１フレーム間の水平または垂直方向の移動量のうち値の大きい方について、
（ａ）移動量２ピクセル以上のブロック：データ量を１／４とする空間間引き処理（図３参照）、
（ｂ１）移動量１．２５ピクセル以上２ピクセル未満のブロック：データ量を１／２とする空間間引き処理（図５参照）と、データ量を１／２とする時間方向間引き処理であり連続する４フレーム中、第１および第３フレームの画素データを残し、第２および第４フレームの画素データを削除する態様の時間方向間引き処理（図１１参照）、
（ｂ２）移動量１ピクセル以上１．２５ピクセル未満のブロック：データ量を１／２とする空間間引き処理（図５参照）と、データ量を１／２とする時間方向間引き処理であり連続する４フレーム中、第１および第４フレームの画素データを残し、第２および第３フレームの画素データを削除する態様の時間方向間引き処理（図１０参照）、
（ｃ）移動量１ピクセル未満のブロック：データ量を１／４とする時間方向間引き処理（図４参照）、
上記４種類の異なる態様での間引き処理を行なうことになる。
（ａ）移動量２ピクセル以上のブロック：データ量を１／４とする空間間引き処理（図３参照）、
（ｂ１）移動量１．２５ピクセル以上２ピクセル未満のブロック：データ量を１／２とする空間間引き処理（図５参照）と、データ量を１／２とする時間方向間引き処理であり連続する４フレーム中、第１および第３フレームの画素データを残し、第２および第４フレームの画素データを削除する態様の時間方向間引き処理（図１１参照）、
（ｂ２）移動量１ピクセル以上１．２５ピクセル未満のブロック：データ量を１／２とする空間間引き処理（図５参照）と、データ量を１／２とする時間方向間引き処理であり連続する４フレーム中、第１および第４フレームの画素データを残し、第２および第３フレームの画素データを削除する態様の時間方向間引き処理（図１０参照）、
（ｃ）移動量１ピクセル未満のブロック：データ量を１／４とする時間方向間引き処理（図４参照）、
上記４種類の異なる態様での間引き処理を行なうことになる。
先に説明した「（１）超解像効果を利用した動画像変換装置の基本構成」における処理態様と異なる点は、空間方向間引きと、時間方向間引きを組み合わせて実行するブロック処理部ｃ２０６（図８参照）での処理であり、このブロック処理部ｃ２０６において、移動量に応じて異なる態様の時間方向間引き（図１０、図１１参照）を行なう点である。このように時間方向の間引き態様をブロックの移動量に応じて異なる態様で実行することにより、先に説明した「（１）超解像効果を利用した動画像変換装置の基本構成」における問題点、すなわち、
（１）時間方向に間引かれたブロックと間引かれなかったブロックの互いの動きが不自然になる。
（２）時間方向に間引かれたブロックがある程度の高周波成分を持っていると、フリッカー状のノイズが発生する。
という問題点が解決され、高品質な符号化データの生成が可能となる。
（１）時間方向に間引かれたブロックと間引かれなかったブロックの互いの動きが不自然になる。
（２）時間方向に間引かれたブロックがある程度の高周波成分を持っていると、フリッカー状のノイズが発生する。
という問題点が解決され、高品質な符号化データの生成が可能となる。
ブロック処理部ｃ２０６において、ブロックの移動量に応じて異なる態様の時間方向間引き（図１０、図１１参照）を行なうことで、高品質な符号化データの生成が可能となる理由について説明する。なお、ここで、高品質な符号化データとは、前述のブロックの法則として知られる視覚の時間的積分機能に起因する超解像効果が発揮されるデータである。超解像効果が発揮されるデータであれば、観測者が、空間方向に離散的にサンプリングされた移動被写体を追従視する際に、画質の劣化を感ずることがない。ブロック処理部ｃ２０６において、ブロックの移動量に応じて異なる態様の時間方向間引き（図１０、図１１参照）を行なうことで、超解像効果が発揮されるデータを生成することが可能となる。
空間方向に間引いた際に発生する高調波は、他のフレームにおいて発生する高調波により互いに打ち消されることで超解像効果は現れる。この時の条件は、速度ｖ ｐｉｘｅｌ／ｆｒａｍｅで動く対象物をｍ ｐｉｘｅｌで空間方向に間引いた場合に、下式（式１）を満足する場合である、
上記（式１）の条件を満足すれば、空間方向にｍ ｐｉｘｅｌの間引きを行っても、超解像効果により高調波が打ち消され、人間は劣化を知覚できないことが知られている。ここで、視覚の時間特性には積分機能が存在するので、その積分期間内に折り返し成分を打ち消しあう、（式１）式を満足する複数組のフレームが存在すれば、打ち消しあう組み合わせのフレームだけを残し、他のフレームを削除することにより時間軸方向にフレームを間引くことが可能となる。
しかしながら、時間軸方向に間引くフレームを固定してしまうと、式（式１）を満足する打ち消しあうフレームの組み合わせは、ブロックの移動速度に依存して変化するので、ブロックの移動速度によっては高調波を打ち消すことができず、フリッカー状のノイズ等の主観的な画像劣化を生じる結果となる。
そこで、実施例に示すように、ブロックの移動速度に合わせて間引くフレームを変えることにより、式（式１）を満足する組み合わせのフレームを選択して間引くようにする。その結果、フリッカー状のノイズ等の主観的な画像劣化を抑制することが可能となる。以上のようにして本実施例の動画像処理装置による前処理を施され復号化された動画像は、符号化時に施された圧縮処理によりデータ量は削減されているにもかかわらず、復号化時の画像劣化を抑制することができる。
さらに、図１３〜図１６を参照して、本発明の間引き態様によって超解像効果の得られる理由について説明する。
速度ｖ ｐｉｘｅｌ／ｆｒａｍｅで動く対象物をｍ ｐｉｘｅｌで空間方向に間引いた場合に、超解像効果の得られる条件は、前述の式（式１）を満足する場合である。前述の式（式１）を、オイラーの公式で展開すると、以下の式（式２）が得られる。
上記式（式２ａ），（式２ｂ）を満足すれば、ｍ ｐｉｘｅｌで空間方向に間引いた場合に、超解像効果が得られ、人間は、画像の劣化を知覚できないことが示されている。図１３に、時間間引きをしない条件における空間間引き量：ｍ＝２ピクセル、移動量：ｖ＝１〜２ピクセル／フレームの超解像条件の変化を示す。ここで、視覚の時間特性により積分されるフレーム数を８とした。
図１３において、実線が上記式（式２ａ）に対応し、点線が上記式（式２ｂ）に対応する。基本的には、式２ａ，式２ｂとも＝０となることが理想的な条件であるが、−１〜＋１の範囲では人間は、ほとんど画像の劣化を感ずることなく、超解像効果にほぼ等しい効果を得ることが可能である。
図１３において、実線および点線のグラフが−１〜＋１の範囲にあるのは、移動量：ｖ＝１〜１．６ピクセル／フレームの移動量がある場合である。移動量：ｖ＝１．６〜２ピクセル／フレームでは、実線および点線のグラフが−１〜＋１からはずれ、超解像効果が得られない。
図１４は、連続する８フレーム：ｔ＝０〜８Ｔ中、
ｔ＝０，２Ｔ，４Ｔ，６Ｔのフレームを残し、
ｔ＝Ｔ，３Ｔ，５Ｔ，７Ｔのフレームを削除する、
という態様で時間方向間引きを実行した場合のグラフであり、空間間引き量：ｍ＝２ピクセル、移動量：ｖ＝１〜２ピクセル／フレームの超解像条件の変化を示す。実線が上記式（式２ａ）に対応し、点線が上記式（式２ｂ）に対応する。この間引き態様は、先に図１１を参照して説明した時間方向間引きの態様に相当する。
ｔ＝０，２Ｔ，４Ｔ，６Ｔのフレームを残し、
ｔ＝Ｔ，３Ｔ，５Ｔ，７Ｔのフレームを削除する、
という態様で時間方向間引きを実行した場合のグラフであり、空間間引き量：ｍ＝２ピクセル、移動量：ｖ＝１〜２ピクセル／フレームの超解像条件の変化を示す。実線が上記式（式２ａ）に対応し、点線が上記式（式２ｂ）に対応する。この間引き態様は、先に図１１を参照して説明した時間方向間引きの態様に相当する。
図１４から、実線および点線のグラフが−１〜＋１の範囲にあるのは、移動量：ｖ＝１．２〜１．８ピクセル／フレームの移動量がある場合である。移動量：ｖ＝１．０や、ｖ＝２．０ピクセル／フレーム付近では、実線および点線のグラフが−１〜＋１からはずれ、超解像効果が得られない。
図１５は、連続する８フレーム：ｔ＝０〜８Ｔ中、
ｔ＝０，３Ｔ，４Ｔ，７Ｔのフレームを残し、
ｔ＝Ｔ，２Ｔ，５Ｔ，８Ｔのフレームを削除する、
という態様で時間方向間引きを実行した場合のグラフであり、空間間引き量：ｍ＝２ピクセル、移動量：ｖ＝１〜２ピクセル／フレームの超解像条件の変化を示す。実線が上記式（式２ａ）に対応し、点線が上記式（式２ｂ）に対応する。この間引き態様は、先に図１０を参照して説明した時間方向間引きの態様に相当する。
ｔ＝０，３Ｔ，４Ｔ，７Ｔのフレームを残し、
ｔ＝Ｔ，２Ｔ，５Ｔ，８Ｔのフレームを削除する、
という態様で時間方向間引きを実行した場合のグラフであり、空間間引き量：ｍ＝２ピクセル、移動量：ｖ＝１〜２ピクセル／フレームの超解像条件の変化を示す。実線が上記式（式２ａ）に対応し、点線が上記式（式２ｂ）に対応する。この間引き態様は、先に図１０を参照して説明した時間方向間引きの態様に相当する。
図１５から、実線および点線のグラフが−１〜＋１の範囲にあるのは、移動量：ｖ＝１〜１．１５ピクセル／フレームの移動量がある場合と、移動量：ｖ＝１．６〜１．８ピクセル／フレームの移動量がある場合である。
図１４、図１５から理解されるように、時間方向の間引き態様によって、超解像効果の得られる移動量の範囲が異なっている。従って、計測され移動量に応じて最適な時間方向間引きを実行することで、超解像効果を持つデータを生成することができるということになる。図１６は、移動量：ｖ＝１．２５ピクセルの前後で、時間方向の間引き態様を変更した処理を行った場合のグラフであり、空間間引き量：ｍ＝２ピクセル、移動量：ｖ＝１〜２ピクセル／フレームの超解像条件の変化を示す。実線が上記式（式２ａ）に対応し、点線が上記式（式２ｂ）に対応する。
図１６に示すグラフは、
移動量：ｖ＝１．０〜１．２５では、４フレームｔ＝０〜３Ｔ中の０，３Ｔを残し、Ｔ，２Ｔを間引く時間方向間引き処理（図１０に相当）
移動量：ｖ＝１．２５〜２．０では、４フレームｔ＝０〜３Ｔ中の０，２Ｔを残し、Ｔ，３Ｔを間引く時間方向間引き処理（図１１に相当）
を実行した場合のグラフである。
移動量：ｖ＝１．０〜１．２５では、４フレームｔ＝０〜３Ｔ中の０，３Ｔを残し、Ｔ，２Ｔを間引く時間方向間引き処理（図１０に相当）
移動量：ｖ＝１．２５〜２．０では、４フレームｔ＝０〜３Ｔ中の０，２Ｔを残し、Ｔ，３Ｔを間引く時間方向間引き処理（図１１に相当）
を実行した場合のグラフである。
このグラフでは、ｖ＝１．０〜１．８ピクセル／フレームの範囲において、実線および点線のグラフが−１〜＋１の範囲にあり、この範囲において超解像効果が得られることが示される。
このように、移動量に応じて、時間方向間引きの態様を変更することで超解像効果を持つデータを生成することが可能となり、データ量は削減されているにもかかわらず、復号化時の画像劣化を抑制した高品質なデータを生成することができる。
［（３）本発明に従った動画像伸張処理を実行する装置および方法］
次に、本発明に従った動画像伸張処理を実行する装置および方法について説明する。まず、以下において説明する動画像伸張を実行する動画像復元装置において、復元対象となる圧縮された動画像データについて説明する。
次に、本発明に従った動画像伸張処理を実行する装置および方法について説明する。まず、以下において説明する動画像伸張を実行する動画像復元装置において、復元対象となる圧縮された動画像データについて説明する。
以下において説明する動画像復元装置の復元対象データは、上述したブロック毎の移動量に基づいて異なる間引き処理、すなわち空間間引き、時間間引きを実行したデータである。すなわち、先に説明した「（１）超解像効果を利用した動画像変換装置の基本構成」や、［（２）本発明に従った動画像圧縮処理を実行する装置および方法］に従って、ブロックの移動量に応じた空間間引き、時間方向間引き処理を実行した圧縮符号化データの復号、伸張処理を実行する。
すなわち、ブロック分割した動画像フレームデータにおいて、フレーム間の移動量が大である場合は、空間間引き処理を実行し、フレーム間の移動量が小である場合は、時間間引き処理を実行し、その中間である場合は、空間間引きと時間間引きを実行するという動画像の微小領域毎に移動速度情報に応じて最適なフレームレートと空間解像度を決定してデータ量の圧縮を行ったデータの復号、伸張処理を実行する。
以下において説明する動画像復元装置は、人間の視覚系における時間積分機能を利用し、動被写体を目で追いかけるときに生じる超解像効果に基づいて、移動量に応じて移動方向に空間的な間引き処理を行ったデータの復号、伸張処理を実行する。
まず、図１７を参照して、復元処理対象となるデータの生成処理、すなわち間引き処理データについて説明する。図１７に示すのは、先に［（２）本発明に従った動画像圧縮処理を実行する装置および方法］の欄において、図８を参照して説明した動画像変換装置に対応する構成であり、ブロック分割手段１００、ブロック処理部２０８、ブロック合成手段１０５、符号化器１０６の構成は、図７、図８を参照して説明したと同様の処理を実行する構成であるので詳しい説明は省略する。
すなわち、ブロック分割した動画像フレームデータにおいて、フレーム間の移動量が大（例えば２ピクセル／フレーム以上）である場合は、ブロック処理部ａ２０４において空間間引き処理を実行し、フレーム間の移動量が小（例えば１ピクセル／フレーム未満）である場合は、ブロック処理部ｂ２０５において時間間引き処理を実行し、その中間（例えば１〜２ピクセル／フレーム）である場合は、ブロック処理部ｃ２０６において空間間引きと時間間引きを実行する。
各移動量に応じて異なる態様で間引き処理がなされた後、パック処理部３７１〜３７３においてパック処理がなされ、その後ブロック合成手段１０５においてブロック合成がなされる。ブロック合成手段１０５は異なる間引き処理が行われたブロックをＮフレーム分の画像に合成する処理を行う。合成された画像はブロック毎に異なる圧縮処理としての間引き処理が行われた画像フレームデータとなり、その画像は符号化器１０６に送り符号化される。
ブロック合成手段１０５の役割は、ブロック処理部２０４〜２０６によって処理されたブロックを符号化器１０６により符号化可能な動画像として合成することにある。本実施例では、処理されたブロックを元のフレームに再構成し２４０ｆｐｓの動画像として符号化を行う。また、別の実施例では、符号化器において符号化可能なフレームレートが２４０ｆｐｓでない場合、本実施例では入力動画像のフレームレートを２４０ｆｐｓとし、ブロック合成手段１０５において符号化器１０６において符号化可能な６０ｆｐｓ動画像に合成する。ただし、これらのフレームレート値は本実施例のための一例に過ぎず、実際はどのようなフレームレートであっても良い。
パック処理部ａ３７１、パック処理部ｂ３７２、パック処理部ｃ３７３はそれぞれ異なる動作をおこなう。まず第１のパック処理部ａ３７１の処理について図１８を用いて説明する。パック処理部ａ３７１の入力はブロック処理部ａ２０４の出力である。ブロック処理部ａ２０４の出力は画素の空間間引き処理を施された連続する４フレームそれぞれから得られた４つのブロックである。すなわち、図３を参照して説明した態様での空間間引きが実行された４つのブロックである。
これらのブロックは図１８においてブロック３７５〜３７８として表記している。これらのブロックの内部の１ｘ４画素、例えば図１８における画素３８０〜３８３では、ブロック処理部ａ２０４による空間間引きがなされ、全て同じ値に変換されている。具体的には、ブロック３７５の１ｘ４画素の画素値は全てｐ１であり、他のブロック３７６〜３７８に関しても同様である。第１のパック処理部ａ３７１は、これら４つの画素値ｐ１〜ｐ４によって一つの１ｘ４画素の領域を構成することでフレーム数を１／４にする処理を行なう。
すなわち、図１８におけるブロック３７９はパック処理部ａ３７１の出力であり、ある１ｘ４画素からなる画素領域３８４の画素値はｐ１からｐ４によって構成される。以上はブロック処理装置が水平方向の間引き処理、つまり、１ｘ４画素に対する間引き処理を行った場合であり、４ｘ１画素、２ｘ２画素の場合においても同様のパック処理がパック処理部ａ３７１によって行われる。なお、図１８に示す例においては画素値ｐ１〜ｐ４を左から順に並べることで画素領域３８４を構成したが、画素値を並べる順序については、様々な手法が適用できる。パックアルゴリズムと、復号、画素値補間処理において実行するアンパック処理のアルゴリズムが整合していればよい。
次に、第２のパック処理部ｂ３７２の処理について説明する。パック処理部ｂ３７２への入力はパック処理部ａ３７１と同様に連続する４フレームから得られる４つのブロックであるが、パック処理部ａ３７１と異なり、これらのブロックは、時間方向の間引きがなされたフレーム対応のブロック（図４参照）であり、選択された代表画素値は、フレーム共通であり、完全に同一な画素値を持つブロックとなる。従って、４つのブロックのうち適当な１つのブロックをパック処理部ｂ３７２の出力とするパック処理を実行する。
続いて、第３のパック処理部ｃ３７３の処理について、図１９を参照して説明する。パック処理部ｃ３７３への入力は他のパック処理装置と同様に連続する４フレームから得られる４つのブロックである。これらは、空間間引きと時間間引きの施されたブロックである。図１９に示すように、これらのブロックのうち１番目と２番目のフレームから得られるブロック、すなわち、ブロック３８５とブロック３８６は同一の画素値（Ｐ１）３９１，３９２をもつ。また３番目と４番目のフレームから得られるブロック、すなわち、ブロック３８７とブロック３８８も同一の画素値（Ｐ３）３９３，３９４をもつ。
パック処理部ｃ３７３は、２番目のフレーム対応のブロック３８６と、３番目のフレームから得られるブロック３８７の２つのブロックを用いて、パック処理を実行する。図１８を参照して説明したパック処理部ａ３７１は、４画素単位での処理を実行したが、パック処理部ｃ３７３は、２画素単位の処理となる。すなわち、図１９の画素３９１〜３９４に示すように、隣接する２画素が同じ値となっており、これらの画素を画素３９５のように並べて出力ブロック３８９を構成することでフレームレートを１／４にすることができる。なお、図１９では１ｘ２画素単位での間引き処理について示したが、２ｘ１画素単位で処理を行う場合も同様である。さらに、図１９の出力ブロック３８９の画素３９５は、ではｐ２を左にｐ３を右に配置する設定としたが、画素値を並べる順序については、様々な手法が適用できる。パックアルゴリズムと、復号、画素値補間処理において実行するアンパック処理のアルゴリズムが整合していればよい。
次に、図２０以下を参照して動画像伸張処理を実行する動画像復元装置の構成および処理について説明する。図２０は、動画像復元装置の構成を示すブロック図である。
本実施形態の動画像復元装置は、先に説明した「（１）超解像効果を利用した動画像変換装置の基本構成」や、［（２）本発明に従った動画像圧縮処理を実行する装置および方法］に従って、ブロックの移動量に応じた空間間引き、時間方向間引き処理を実行した圧縮符号化データの復号、伸張処理を実行する装置である。図２０に示す動画像復元装置は、符号化された動画像データを入力して、復号化器４００にて復号する。復号化器４００における復号処理は、例えばＭＰＥＧ符号化データの復号処理である。ブロック移動量取得手段４０２は、復号化器４００より復号化されたブロック移動量を動きベクトルとして取得し、取得された動きベクトルをブロック移動量として時間間引きブロック判定手段４０３および空間間引きブロック判定手段４０４へ送る。
時間間引きブロック判定手段４０３は、ブロック移動量取得手段４０２より送られてきたブロック移動量からフレーム内の各ブロックが時間方向に間引かれているか否か、また、間引かれている場合はどのフレームが間引かれているかを判定し、その判定結果とブロック移動量をブロック補間手段４０１へ送る。
空間間引きブロック判定手段４０４は、ブロック移動量取得手段４０２より送られてきたブロック移動量からフレーム内の各ブロックが空間方向に間引かれているか否か、また、間引かれている場合はどのくらい間引かれているかを判定し、その判定結果とブロック移動量をブロック補間手段４０１へ送る。
ブロック補間手段４０１は、復号化器４００から送られてきた復号された動画像内の時間軸方向に間引かれているブロックを、時間間引きブロック判定手段４０３および空間間引きブロック判定手段４０４から送られてきた判定結果より判断し、時間軸方向に間引かれていると判定されたフレーム内ブロックに対して、他の間引かれていないフレーム内ブロックから補間を行う。
また、動画像復元装置の別の構成を図２１に示す。図２１に示す動画像復元装置は、ブロック間引き情報取得手段４１１を有する点が、図２０に示す構成と異なる点である。図２１に示す動画像復元装置においては、符号化された動画像データを入力して、復号化器４００にて復号する。この復号処理は、例えばＭＰＥＧ符号化データの復号処理である。ブロック移動量取得手段４０２は、復号化器４００より送られてくる復号された動画像から動きベクトルを検出し、検出された動きベクトルをブロック移動量としてブロック補間手段４０１へ送る。ブロック間引き情報取得手段４１１は、復号化器４００より復号化されたブロック間引き情報を取得し、時間間引きブロック判定手段４０３および空間間引きブロック判定手段４０４へ送る。
時間間引きブロック判定手段４０３は、ブロック間引き情報取得手段４１１より送られてきたブロック間引き情報から、フレーム内の各ブロックが時間方向に間引かれているか否か、また、間引かれている場合はどのフレームが間引かれているかを判定し、その判定結果とブロック移動量をブロック補間手段４０１へ送る。
空間間引きブロック判定手段４０４は、ブロック間引き情報取得手段４１１より送られてきたブロック間引き情報から、フレーム内の各ブロックが空間方向に間引かれているか否か、また、間引かれている場合はどのくらい間引かれているかを判定し、その判定結果とブロック移動量をブロック補間手段４０１へ送る。
ブロック補間手段４０１は、復号化器４００から送られてきた復号された動画像内の時間軸方向に間引かれているブロックを、時間間引きブロック判定手段４０３および空間間引きブロック判定手段４０４から送られてきた判定結果より判断し、時間軸方向に間引かれていると判定されたフレーム内ブロックに対して、他の間引かれていないフレーム内ブロックから補間を行う。
続いて、図２２以下を参照して、ブロック補間手段４０１の構成および処理について説明する。図２２はブロック補間手段４０１の構成、および周辺部構成を示すブロック図である。
復号化器４００は、図１７を参照して説明した動画像変換装置において符号化された動画像データの復号を実行する。例えばＭＰＥＧ復号処理を実行する。この復号の結果として得られるデータは、先に図１８、図１９等を参照して説明したパック処理された間引きデータである。
復号化器４００は、本実施例の一つである、２４０ｆｐｓの動画像として符号化された動画像が入力された場合は、符号化データを復号し、動画像変換装置における間引き処理時の動画像と同じフレームレートの動画像として出力する。また別の実施例では入力動画像のフレームレートを２４０ｆｐｓとし、符号化時のフレームレートを６０ｆｐｓとしたため６０ｆｐｓの動画像に復号化した後２４０ｆｐｓの動画像として出力する。ただし、これらのフレームレート値は本実施例のための一例に過ぎず、実際はどのようなフレームレートであっても良い。
図２３は復号化器４００の構成を示すブロック図である。以下、本実施例における復号化器の動作について述べる。図１７に示した動画像変換装置における符号化器１０６において符号化された動画像は、図２３に示す動画像復号化部５２１において復号される。同時に、図１７に示した動画像変換装置における移動量検出部２０２において出力された移動量を示すフラグ２０７を符号化したブロック移動量情報、または、ブロック分配条件フラグが存在する場合は、図２３に示す復号化器４００のフラグ復号化部５２２において復号化される。
復号化された動画像は、フレーム毎にブロック分割部５２３においてある大きさ（８ｐｉｘｅｌ×８ｐｉｘｅｌや１６ｐｉｘｅｌ×１６ｐｉｘｅｌ等）に分解されアンパック処理部ａ５２４、アンパック処理部ｂ５２５、アンパック処理部ｃ５２６に送られる。この時、分割されたブロックは、復号化されたブロック移動量、またはブロック分配条件フラグによりアンパック処理部ａ５２４〜ｃ５２６に分配される。
例えば、ブロック分割部５２３は、ブロック分配条件フラグを用いて各ブロックをアンパック処理部ａ５２４〜ｃ５２６に分配する。フラグの値が時間方向間引き無しであればアンパック処理部ａ５２４へ、時間方向１／２間引きであればアンパック処理部ｃ５２６へ、時間方向１／４間引きであればアンパック処理部ｂ５２５へ分配する。
また、ブロック移動量を用いた分配を行なう場合は、分配条件は、図１７に示した動画像変換装置におけるブロック処理部２０４〜２０６における間引き条件と一致させなければならない。本実施例では、ブロックの水平方向、垂直方向の移動量がともに２ピクセル以上であった場合は、空間間引きのみが実行されたブロックであると判定し、空間間引き対応のアンパック処理を実行するアンパック処理部ａ５２４へブロックを出力し、水平方向、垂直方向の移動量がともに１ピクセル未満であった場合には、時間方向の間引きのみが実行されたブロックであると判定し、時間間引き対応のアンパック処理を実行するアンパック処理部ｂ５２５へブロックを出力し、水平方向、垂直方向の移動量のいずれかが２ピクセル未満、１ピクセル以上であった場合には、空間間引きと時間間引きの双方が実効されたブロックであると判定し、これらの間引き対応のアンパック処理を実行するアンパック処理部ｃ５２６へブロックを出力する。
アンパック処理部ａ５２４〜ｃ５２６は、それぞれ、図１７に示した動画像変換装置におけるパック処理部ａ３７１〜ｃ３７３に対応しており、パック処理部ａ３７１〜ｃ３７３によってパック処理されたブロックをアンパックして元に戻す動作を行う。
まず、図１７に示した動画像変換装置におけるパック処理部ａ３７１に対応する、アンパック処理部ａ５２４の処理について図１８を参照して説明する。アンパック処理部ａ５２４の入力は、ブロック分割部５２３から出力されたブロック、すなわち、図１７に示した動画像変換装置におけるパック処理部ａ３７１において４フレームから得られた４つのブロックを１つにパックしたブロックである。パックされたブロックは図１８において示すブロック３７９である。
このブロックの内部の１×４画素、例えば図１８におけるブロック３７９の画素３８４は、図１７に示した動画像変換装置におけるパック処理部ａ３７１においてパックされた４フレーム分の画素ｐ１〜ｐ４である。アンパック処理部ａ５２４はこの４つの画素ｐ１〜ｐ４を４フレーム分のブロックに拡張することでフレーム数を４倍にする。
すなわち、図１８におけるブロック３７９がアンパック処理部ａ５２４の入力であり、アンパック処理部ａ５２４はブロック３７９を４フレーム分に拡張してブロック３７５〜３７８の４つのブロックを構成し出力する。以上はブロック処理装置が水平方向の間引き処理、つまり、１ｘ４画素に対する間引き処理が行われた場合であり、４ｘ１画素、２ｘ２画素の間引き処理が行われたブロックにおいても同様のアンパック処理がアンパック処理部ａ５２４によって行われる。
なお、アンパック処理部ａ５２４が想定するパックされたブロックの画素ｐ１〜ｐ４の順序は、図１７に示した動画像変換装置におけるパック処理部ａ３７１において処理した際の画素順と一致させる個とが必要である。
次に、図１７に示した動画像変換装置における第２のパック処理部ｂ３７２に対応するアンパック処理を実行するアンパック処理部ｂ５２５の処理について説明する。図１７に示した動画像変換装置における第２のパック処理部ｂ３７２では、時間方向間引きによって構成される４フレームから得られた４つのブロックのうち適当な１つを出力しているため、アンパック処理部ｂ５２５では得られた１つのブロックを４つのブロックに単純コピーを行い、４フレーム分に拡張することによってフレーム数を４倍にする。
続いて、図１７に示した動画像変換装置における第３のパック処理部ｃ３７３のパック処理に対応するアンパック処理を実行するアンパック処理部ｃ５２６の処理について図１９を参照して説明する。アンパック処理部ｃ５２６の入力は、ブロック分割部５２３から出力されたブロックであり、空間間引きおよび時間間引きの双方を間引き処理として実行したブロックに対応する。図１７に示した動画像変換装置における第３のパック処理部ｃ３７３において４フレームから得られた４つのブロックを１つにパックしたブロックである。パックされたブロックは図１９において示すブロック３８９である。
このブロックの内部の１×２画素、例えば図１９において示すブロック３８９の画素４９５は、図１７に示した動画像変換装置における第３のパック処理部ｃ３７３においてパックされた４フレーム分の画素ｐ１〜ｐ２である。アンパック処理部ｃ５２６はこの２つの画素ｐ１〜ｐ２を４フレーム分のブロックに拡張することでフレーム数を２倍にする。
すなわち、図１９におけるブロック３８９がアンパック処理部ｃ５２６の入力であり、アンパック処理部ｃ５２６はブロック３８９を４フレーム分に拡張してブロック３８５〜３８８の４つのブロックを構成し出力する。なお、図では１ｘ２画素単位での間引き処理について示したが、２ｘ１画素単位で処理を行う場合も同様である。ただし、アンパック処理部ｃ５２６が想定するパックされたブロックが素ｐ１〜ｐ２の各フレームへのコピー先と順序は、図１７に示した動画像変換装置における第３のパック処理部ｃ３７３において処理した際の画素位置と画素順に一致させなければならない。
すなわち、図１９におけるブロック３８９がアンパック処理部ｃ５２６の入力であり、アンパック処理部ｃ５２６はブロック３８９を４フレーム分に拡張してブロック３８５〜３８８の４つのブロックを構成し出力する。なお、図では１ｘ２画素単位での間引き処理について示したが、２ｘ１画素単位で処理を行う場合も同様である。ただし、アンパック処理部ｃ５２６が想定するパックされたブロックが素ｐ１〜ｐ２の各フレームへのコピー先と順序は、図１７に示した動画像変換装置における第３のパック処理部ｃ３７３において処理した際の画素位置と画素順に一致させなければならない。
以上、説明したように、アンパック処理部ａ５２４〜ｃ５２６においてアンパック処理が実行され、フレームレートを４倍に変換された動画像は、ブロック合成部５２７に入力されて各フレーム毎に合成され、図１７に示した動画像変換装置に入力された動画像と同じフレームレートの動画像として出力される。
図２２における復号化器４００において復号された動画像は、ブロック補間手段４０１内の画像蓄積部５００において、Ｌフレーム分蓄積される。なお、後述される移動量検出部５０８において、蓄積されたフレームからブロック移動量を検出する場合は、移動量検出に必要な分のフレームを蓄積する必要があり、本実施例ではＬ＝５である。また、移動量として復号化器で復号された移動量を用いる場合は、符号化時に用いた画像蓄積部２００、すなわち、図１７に示した動画像変換装置の画像蓄積部２００と同じフレーム数を蓄積することが望ましく、本実施例ではＬ＝４である。
図２２に示すブロック補間手段４０１内の画像蓄積部５００に蓄積されたフレームはブロック分割部５０１においてある大きさ（８ｐｉｘｅｌ×８ｐｉｘｅｌや１６ｐｉｘｅｌ×１６ｐｉｘｅｌ等）に分解されブロック分配部５０２に送られる。なお、この処理ブロックは、図１７に示した動画像変換装置における符号化時に用いたブロック分割部２０１で分割されたブロックサイズと同じでなければならない。
画像蓄積部５００に蓄積されたフレームとブロック分割部５０１において分割されたブロックのサイズは、ブロック移動量取得手段４０２に送られる。ブロック移動量取得手段４０２は、移動量検出部５０８において、復号化器４００より復号済みのブロック移動量を動きベクトルとして検出して、出力４０７として動きベクトルをブロック移動量として時間間引きブロック判定手段４０３へ送る。
時間間引きブロック判定手段４０３では、入力されたブロック移動量から時間方向に間引かれているブロックを判定し、各ブロックの時間方向の間引き量と入力されたブロック移動量をブロック分配部５０２へ出力する。この判定は、図１７に示した動画像変換装置におけるブロック分配部２０３の分配条件のうち、ブロック処理部ａ２０４〜ｃ２０６のいずれかにおいて実行される間引き条件と一致させなければならない。そのため本実施例では、ブロック移動量取得手段４０２から得られたブロック移動量が、ブロックの水平方向、垂直方向の移動量がともに１ピクセル未満であった場合に時間方向１／４に間引き、水平方向、垂直方向の移動量のいずれかが２ピクセル未満、１ピクセル以上であった場合に時間方向１／２間引きが実行されたものと判定する。
なお、図２１に示した構成を持つ動画像復元装置では、復号化器４００において入力データに含まれる時間軸間引きブロック判定フラグを復号し、ブロック間引き情報取得手段４１１に出力する。ブロック間引き情報取得手段４１１はブロック移動量取得手段４０２と時間間引きブロック判定手段４０３に、取得したフラグを出力する。ブロック移動量取得手段４０２は時間軸間引きブロック判定フラグからブロック移動量を求める。
図２１に示した構成を持つ動画像復元装置では、フラグとして時間方向間引き無し、時間方向１／２間引き、時間方向１／４間引き、の３つのフラグと、上下左右のいずれかの値であるブロック移動方向フラグ使用し、この判定フラグとブロック移動方向フラグと符号化時に用いたブロック分配部２０３（図１７参照）の分配条件からブロックの移動量を取得する。ブロックの移動量はブロック分配部２０３の分配条件と対応させ、時間方向１／２間引きであれば移動量を１ピクセル移動方向を移動方向フラグの方向とし、時間方向１／４間引きであれば移動量を０ピクセルとした。
また、別の構成例としては、図２２に示すブロック移動量取得手段４０２内の移動量検出部５０８において、画像蓄積部５００に蓄積されたフレームの内Ｒ番目とＳ番目の時間軸方向に間引かれていないフレームを取得し、ブロック分割部５０１からのフレームが分割されたブロックのサイズに合わせたブロック単位で、既存の手法、例えばブロックマッチング手法等を用いてフレームの各々のブロックに関する動きベクトルを検出する構成としてもよい。本構成例では時間軸に間引かれているか否かの判定に、復号化器４００より出力５０７として出力された復号済みの時間軸間引きブロック判定フラグを使用し、時間方向間引き無しの時はＲ＝２、Ｓ＝３、時間方向１／２間引きの時はＲ＝１、Ｓ＝３、時間方向１／４間引きの時はＲ＝１、Ｓ＝５、とする設定とした。この値は、符号化側で時間軸方向に間引かれていないフレームの値と同じでなければならない。
図２２における時間間引きブロック判定手段４０３では、復号化器４００より出力４０７として出力された復号済みの時間軸間引きブロック判定フラグ、または、ブロック間引き情報取得手段４１１から出力された時間軸間引きブロック判定フラグを入力し、そのフラグに基づいて各ブロックの時間方向の間引き量をブロック分配部５０２へ出力する。本実施例では、フラグとして時間方向間引き無し、時間方向１／２間引き、時間方向１／４間引き、の３つのフラグを使用した。
ブロック分配部５０２では、入力されたＮフレーム分のブロックを時間間引きブロック判定手段４０３より得られた時間方向の間引き量を元に間引き処理のなされたブロックデータをブロック補間部５０４〜５０５のいずれかに出力し、さらに、時間間引きブロック判定手段４０３より得られた時間方向の間引き量とブロック移動量をも一緒に出力する。また時間方向の間引きがないブロックに関しては、ブロック補間処理を行わないで出力５０３としてブロック合成部５０６へ出力する。
本実施例では、ブロック移動量取得手段４０２の検出したブロック移動量が、ブロックの水平方向、垂直方向の移動量がともに１ピクセル未満であった場合にブロック補間部ｂ５０５、水平方向、垂直方向の移動量のいずれかが２ピクセル未満、１ピクセル以上であった場合にブロック補間部ａ５０４への出力を行った。つまり、時間方向に１／４に間引かれているブロックに関してはブロック補間部ｂ５０５へ、時間方向に１／２に間引かれているブロックに関してはブロック補間部ａ５０４への出力を行い、それぞれのブロック補間部において、間引き態様に応じた補間処理を行なう。
ブロック合成部５０６は異なる補間処理が行われた、もしくは行われなかったブロックをＮフレーム分の画像に合成する処理を行う。合成された画像はブロック毎に異なる補間処理が行われた、復号された動画像となる。
続いて本実施例における、ブロック補間部ａ５０４、ブロック補間部ｂ５０５の実行するブロック補間処理について説明する。図２４はブロック補間部ｂ５０５、図２５は、ブロック補間部ａ５０４の構成を示すブロック図である。
まず、図２４に示すブロック補間部ｂ５０５の構成、処理について説明する。復号化されたブロックはブロック蓄積部５４１においてＮフレーム分蓄積される。ブロック蓄積部５４１において蓄積されたブロックは、ブロック移動処理部５４２において、ブロック移動量に従って移動される。ブロック移動処理部５４２は、時間方向に間引かれたブロックをブロック蓄積部５４１から取得し、ブロック分配部５０２（図２２参照）から出力された時間方向の間引き量とブロック移動量を元に、ブロック移動方向にフレーム上で移動させる。
図２６にブロック移動処理部５４２におけるブロック移動処理の具体例を示す。図２６において、Ｐ番目のフレームを８０１、時間方向に次のＰ＋１番目のフレームを８０２と示し、ブロック８０３は時間間引きされなかったブロック、ブロック８０４はアンパック処理部ｂ５２５、アンパック処理部ｃ５２６によってブロック８０３をコピーしたブロックを示す。
ブロック移動処理部５４２は、この様なコピーされたブロックを、ブロック分配部５０２（図２２参照）から取得したブロック移動量分だけフレーム上で移動させる。図２６では右方向にＱピクセル／フレームの移動方向を取得したとしてブロックをＱピクセル右方向へ移動し、移動したブロックがブロック８０６である。移動の際に生じる隙間８０９は、ブロックがコピーされた際の画素を残してもよいし、周囲の画素から補間してもよい。
この処理により、時間間引きされたブロックが符号化前のブロックと同じ位置となり、もとの画像が復元できると期待される。
この処理により、時間間引きされたブロックが符号化前のブロックと同じ位置となり、もとの画像が復元できると期待される。
ブロック合成部５４３はブロック移動処理が行われたブロックと行われていないブロックをＮフレーム分の画像に合成する処理を行う。合成されたＮフレーム分のブロックは、ブロック移動処理部５４２により移動を伴う補間が実行されたブロックについてのみ、帯域制限部５４４において時間方向にフィルタ処理がなされた後、復号された動画像となる。
帯域制限部５４４においては主にローパスフィルタが用いられるが、本実施例においてはローパスフィルタの特別な場合であるブラー処理、すなわちぼかし処理を行った。本実施例では、ブロック補間部ｃ５０５（図２２参照）に入力されるブロックの移動量は、水平方向、垂直方向の移動量がともに１ピクセル未満のブロックであるため、Ｎフレームにわたるブロックの移動量が小さい。そのため、ピクセル単位に移動処理を行った場合は移動処理が行われないブロックが生じるため、動きの不自然さをより改善させるためにブラー処理を行った。画像をぼかすブラー処理による副作用の影響は、移動量が小さいため無視できるとした。
本実施例におけるブラー処理は、下式（式３）に従って、入力画素値から出力画素値算出する処理として実行される。
上記式において、ｉｎ（）はブロック合成部５４３から出力された帯域制限部５４４の入力画素、ｏｕｔ（）は出力画素、ｆはフレーム番号ｘ，ｙはフレーム内画素座標値、ｍｏｄは剰余演算子である。
続いて図２５を参照して、ブロック補間部ａ５０４について説明する。処理の流れはブロック補間部ｂ５０５とほぼ同一であるので、異なる点についてのみ説明を行う。ブロック補間部ａ５０４においては、ブロック補間部ｂ５０５と異なり、ブロック移動装置６０２において、二種類のブロック移動処理部６０７、６０８を、ブロック移動選択部６０６がブロック移動量にしたがって選択して、ブロック移動処理を行う。これは時間方向１／２間引きが行われているブロックの間引かれているフレームがブロック移動速度に依存して変えられている場合があるからである。
たとえば、先に説明した［（２）本発明に従った動画像圧縮処理を実行する装置および方法］において、図１０、図１１を参照して説明したように、時間方向の間引きを行なう動画像変換装置において、例えば、圧縮率１／２の時間方向間引き処理を連続４フレームを処理単位として実行する場合、移動量が大きい場合は、１番目のフレームと３番目のフレームを残し、２番目と４番目のフレームを間引く時間軸方向の間引き処理を実行し、移動量が小さい場合は、１番目のフレームと４番目のフレームを残し、２番目と３番目のフレームを間引く時間軸方向の間引き処理を実行する場合に対応するものである。
このように、Ｐ〜Ｐ＋３フレームの４つのフレーム中において、ブロック移動量が１ピクセル／フレーム以上１．２５ピクセル／フレーム未満であればＰ＋１、Ｐ＋２フレームのブロックを間引き、１．２５ピクセル／フレーム以上２ピクセル／フレーム未満であればＰ＋１、Ｐ＋３フレームのブロックを間引くような構成に対応する復元処理を行なうため、復元ブロックの移動方向を間引き処理に対応するように変更可能としたものである。
ここで、与えられるブロック移動量はフレームが時間軸方向に増加する方向のブロック移動量として与えられるが、Ｐ＋２フレームのブロックが間引かれている場合、Ｐ＋２フレームは、より時間的に近いＰ＋３フレームのブロックから補間するほうが望ましい。そこで、Ｐ＋１、Ｐ＋２フレームのブロックが間引かれているとき、Ｐ＋２フレームは逆方向ブロック移動処理部６０８を使用し、ブロック移動量を逆方向にしてＰ＋３フレームから補間するようにする。
残りのブロックはブロック補間部ｂ５０５と同様に、順方向ブロック移動処理部６０７を用いて、一つ前のフレームのブロックからブロック移動量を用いて補間を行う。続いて、時間間引きされなかったブロックと、時間間引きされブロック移動により補間されたブロックは、画像蓄積部６０４においてフレームに合成された後Ｎフレーム分蓄積される。
画像蓄積部６０４に一旦蓄積された画像は、ブロック境界補間部６０５によってブロック移動により生じた隙間に補間処理を行う。隙間補間処理は、図２６を参照して説明したブロック移動処理部のブロック移動処理により生じた隙間８０９を、時間方向間引き量から時間方向に間引かれているブロックを検出し、さらに隙間をブロック移動量から算出することによって求め、その隙間８０９を周囲の画素から補間したピクセルで埋める。本実施例ではこの補間処理としては周囲画素からの線形補間を行う。
この処理により、動きの不自然さをより改善する目的で行う時間方向の帯域制限によってボケてしまうブロック、つまり、ある程度ブロック移動速度が速いブロックに対して、帯域制限を行うことなく自然なブロック補間を行うことができる。
以上のブロック補間処理において、本実施例では、時間方向１／４間引きの時に帯域制限装置付きのブロック補間部ｂ５０５において補間処理を行い、時間方向１／２間引きの時に帯域制限装置無しのブロック補間部ａ５０４において補間処理を行ったが、これらの分配方法は一例に過ぎない。つまり、両者とも帯域制限部付きのブロック補間部ｂ５０５において補間処理を行ってもかまわないし、両者とも帯域制限部無しのブロック補間部ａ５０４において補間処理を行ってもかまわない。また、時間方向１／４間引きの時に帯域制限部無しのブロック補間部ａ５０４において補間処理を行い、時間方向１／２間引きの時に帯域制限部付きのブロック補間部ｂ５０５において補間処理を行ってもよい。
以上のように、本実施例の動画像復元装置および方法によれば、時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成するブロック補間部において、補間処理対象のブロック対応の移動量情報を入力し、該移動量情報に従ってフレーム間で復元ブロックを移動させて、動画像データ復元を行なう構成としたので、超解像効果を持つ復元データの生成が可能となり、画像劣化を抑制した高品質な復号データを生成することができる。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の動画像変換装置および方法によれば、移動量に応じて、時間方向間引きの態様を変更することで超解像効果を持つデータを生成することが可能となり、データ量は削減されているにもかかわらず、復号化時の画像劣化を抑制した高品質なデータを生成することができる。
本発明の動画像変換装置および方法によれば、動画像データを構成するフレーム毎にブロック分割を行い、各ブロックにおける被写体移動量を検出し、移動量に基づいて決定した態様の空間間引き処理または時間方向間引き処理の少なくともいずれかの間引き処理を実行する構成とし、時間方向間引き処理の実行においては、移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なう構成としたので、移動量に応じた最適な時間方向間引き、すなわち超解像効果を持つデータを生成が可能となり、データ量は削減されているにもかかわらず、復号化時の画像劣化を抑制した高品質なデータを生成することができる。
さらに、本発明の動画像復元装置および方法によれば、時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成するブロック補間部において、補間処理対象のブロック対応の移動量情報を入力し、該移動量情報に従ってフレーム間で復元ブロックを移動させて、動画像データ復元を行なう構成としたので、超解像効果を持つ復元データの生成が可能となり、画像劣化を抑制した高品質な復号データを生成することができる。
１０ 画像変換装置
１１ ブロック分割部
１２ 移動量検出部
１３ ブロック処理部
１４ 出力部
２１ 画像蓄積部
２２ ブロック分割部
３１ 移動量検出部
３２ ブロック分配部
５１〜５３ ブロック処理部
１００ ブロック分割手段
１０２〜１０４ 動画像圧縮手段
１０５ ブロック合成手段
１０６ 符号化器
２００ 画像蓄積部
２０１ ブロック分割部
２０２ 移動量検出部
２０３ ブロック分配部
２０４〜２０６ ブロック処理部
２０７ 出力（移動量情報）
２０８ ブロック処理部
２０９ 出力（ブロック分配フラグ）
３０１ ブロック蓄積部
３０２ ブロック分配部
３０３〜３０５ ブロック処理部
３２１〜３２４ ブロック
３２６〜３２９ 画素
３３１〜３３４ ブロック
３３６，３３７ 画素
３５１〜３５４ ブロック
３５６〜３５９ 画素
３６１〜３６４ ブロック
３６６，３６７ 画素
３７１〜３７３ パック処理部
３７５〜３７９ ブロック
３８０〜３８４ 画素
３８５〜３８９ ブロック
３９１〜３９５ 画素
４００ 復号化器
４０１ ブロック補間手段
４０２ ブロック移動量取得手段
４０３ 時間間引きブロック判定手段
４０４ 空間間引きブロック判定手段
４１１ ブロック間引き情報取得手段
５００ 画像蓄積部
５０１ ブロック分割部
５０２ ブロック分配部
５０３ 出力
５０４，５０５ ブロック補間部
５０６ ブロック合成部
５０７ 時間軸間引きブロック判定フラグ
５０８ 移動量検出部
５２１ 動画像復号化部
５２２ フラグ復号化部
５２３ ブロック分割部
５２４〜５２６ アンパック処理部
５２７ ブロック合成部
５４１ ブロック蓄積部
５４２ ブロック移動処理部
５４３ ブロック合成部
５４４ 帯域制限部
６０１ ブロック蓄積部
６０２ ブロック移動処理部
６０３ ブロック合成部
６０４ 画像蓄積部
６０５ ブロック境界補間部
６０６ ブロック移動選択部
６０７ 順方向ブロック移動処理部
６０８ 逆方向ブロック移動処理部
８０１，８０２ フレーム
８０３，８０４ ブロック
８０５，８０６ ブロック
８０７，８０８ フレーム
８０９ 隙間
１１ ブロック分割部
１２ 移動量検出部
１３ ブロック処理部
１４ 出力部
２１ 画像蓄積部
２２ ブロック分割部
３１ 移動量検出部
３２ ブロック分配部
５１〜５３ ブロック処理部
１００ ブロック分割手段
１０２〜１０４ 動画像圧縮手段
１０５ ブロック合成手段
１０６ 符号化器
２００ 画像蓄積部
２０１ ブロック分割部
２０２ 移動量検出部
２０３ ブロック分配部
２０４〜２０６ ブロック処理部
２０７ 出力（移動量情報）
２０８ ブロック処理部
２０９ 出力（ブロック分配フラグ）
３０１ ブロック蓄積部
３０２ ブロック分配部
３０３〜３０５ ブロック処理部
３２１〜３２４ ブロック
３２６〜３２９ 画素
３３１〜３３４ ブロック
３３６，３３７ 画素
３５１〜３５４ ブロック
３５６〜３５９ 画素
３６１〜３６４ ブロック
３６６，３６７ 画素
３７１〜３７３ パック処理部
３７５〜３７９ ブロック
３８０〜３８４ 画素
３８５〜３８９ ブロック
３９１〜３９５ 画素
４００ 復号化器
４０１ ブロック補間手段
４０２ ブロック移動量取得手段
４０３ 時間間引きブロック判定手段
４０４ 空間間引きブロック判定手段
４１１ ブロック間引き情報取得手段
５００ 画像蓄積部
５０１ ブロック分割部
５０２ ブロック分配部
５０３ 出力
５０４，５０５ ブロック補間部
５０６ ブロック合成部
５０７ 時間軸間引きブロック判定フラグ
５０８ 移動量検出部
５２１ 動画像復号化部
５２２ フラグ復号化部
５２３ ブロック分割部
５２４〜５２６ アンパック処理部
５２７ ブロック合成部
５４１ ブロック蓄積部
５４２ ブロック移動処理部
５４３ ブロック合成部
５４４ 帯域制限部
６０１ ブロック蓄積部
６０２ ブロック移動処理部
６０３ ブロック合成部
６０４ 画像蓄積部
６０５ ブロック境界補間部
６０６ ブロック移動選択部
６０７ 順方向ブロック移動処理部
６０８ 逆方向ブロック移動処理部
８０１，８０２ フレーム
８０３，８０４ ブロック
８０５，８０６ ブロック
８０７，８０８ フレーム
８０９ 隙間
Claims (20)
- 動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
前記ブロック分割部の分割したブロックデータと、前記移動量検出部の検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理部とを有し、
前記ブロック処理部は、
間引き処理対象のブロックが、前記移動量検出部の検出した移動量と、処理態様決定するために予め規定した第１閾値、第２閾値と比較し、
検出した前記移動量が第１閾値以上である場合は移動量が大、
検出した前記移動量が第１閾値未満であり第２閾値以上である場合は移動量が中、
検出した前記移動量が第２閾値未満である場合は移動量が小、
であると判定し、前記移動量が大、中、小のいずれの分類に属するかに応じて実行する間引き態様を変更し、
前記移動量が大である場合は、空間間引き処理、
前記移動量が小である場合は、時間方向間引き処理、
前記移動量が中である場合は、空間間引き処理と時間方向間引き処理を実行し、
前記移動量が中である場合の時間方向間引き処理において、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なう構成であり、
前記ブロック処理部は、
時間方向間引き処理の実行においては、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なう構成であり、
予め規定した超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足する間引き態様を前記移動量情報に基づいて決定し、決定した間引き態様に一致するように間引き対象フレームを変更して間引き処理を行なう構成であることを特徴とする動画像変換装置。 - 前記ブロック処理部は、
前記移動量が第１閾値未満の前記移動量が中または小の場合に実行する時間方向間引き処理の実行において、
前記超解像効果発生条件を満足する移動量と間引き態様との対応関係に従って設定した間引き態様変更点となる移動量閾値であり、前記第１閾値未満の閾値である第３閾値と前記移動量情報との比較を実行し、
前記移動量情報が前記第３閾値以上である場合は、時間軸に連続する間引き対象フレームを、前記移動量情報が前記第３閾値未満である場合に比較して少なく設定し、
前記移動量情報が前記第３閾値未満である場合は、時間軸に連続する間引き対象フレームを、前記移動量情報が前記第３閾値以上である場合に比較して多く設定した時間軸方向の間引き処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。 - 前記ブロック処理部は、
圧縮率１／２の時間方向間引き処理を連続４フレームを処理単位として実行する構成である場合、
前記移動量情報が前記第３閾値以上である場合は、１番目のフレームと３番目のフレームを残し、２番目と４番目のフレームを間引く時間軸方向の間引き処理を実行し、
前記移動量情報が前記第３閾値未満である場合は、１番目のフレームと４番目のフレームを残し、２番目と３番目のフレームを間引く時間軸方向の間引き処理を実行する構成であることを特徴とする請求項２に記載の動画像変換装置。 - 時間方向の間引き処理データを含む動画像変換データの復元処理を実行する動画像復元装置であり、
時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成するブロック補間部を有し、
前記ブロック補間部は、
時間間引きされなかったフレームの入力ブロックを、より時間的に近い時間間引きフレームにコピーして復元ブロックを生成し、入力ブロック対応の移動量情報に従って、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であり、
復元対象となる入力ブロックは、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足するように前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、
前記ブロック補間部は、
前記移動量情報に基づく間引き処理によって間引かれたフレームを復元するように、復元対象として入力されたブロックの時間方向の間引き処理の態様に応じて、フレーム間での復元ブロックの移動方向を、より時間的に近いフレーム間移動となるように選択して、動画像データ復元を行なう構成であることを特徴とする動画像復元装置。 - 前記ブロック補間部は、
移動を伴う補間が実行されたブロックについてフィルタ処理による帯域制限処理を実行する構成を有することを特徴とする請求項４に記載の動画像復元装置。 - 前記動画像復元装置は、
復元対象ブロックの移動量に基づいて、該ブロックが時間方向の間引きがなされたデータであるか否かを判定し、
前記ブロック補間部は、
前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、移動量情報に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であることを特徴とする請求項４に記載の動画像復元装置。 - 前記動画像復元装置は、
時間方向の間引きがなされたデータであるか否かを示すフラグに基づいて、復元対象ブロックが時間方向の間引きがなされたデータであるか否かを判定し、
前記ブロック補間部は、
前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、移動量情報に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であることを特徴とする請求項４に記載の動画像復元装置。 - 前記動画像復元装置は、
移動量検出部を有し、該移動量検出部の検出した移動量に従って、該ブロックが時間方向の間引きがなされたデータであるか否かを判定し、
前記ブロック補間部は、
前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、前記移動量に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であることを特徴とする請求項４に記載の動画像復元装置。 - 前記移動量検出部は、
異なるフレームの対応ブロックに基づく動きベクトルを検出する処理を実行し、
前記ブロック補間部は、
前記動きベクトルに基づいて、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であることを特徴とする請求項８に記載の動画像復元装置。 - 動画像データのデータ変換処理を実行する動画像変換方法であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて分割したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
間引き処理対象のブロックが、前記移動量検出ステップにおいて検出した移動量と、処理態様決定するために予め規定した第１閾値、第２閾値と比較し、
検出した前記移動量が第１閾値以上である場合は移動量が大、
検出した前記移動量が第１閾値未満であり第２閾値以上である場合は移動量が中、
検出した前記移動量が第２閾値未満である場合は移動量が小、
であると判定し、前記移動量が大、中、小のいずれの分類に属するかに応じて実行する間引き態様を変更し、
前記移動量が大である場合は、空間間引き処理、
前記移動量が小である場合は、時間方向間引き処理、
前記移動量が中である場合は、空間間引き処理と時間方向間引き処理を実行し、
前記移動量が中である場合の時間方向間引き処理において、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行ない、
時間方向間引き処理の実行においては、前記移動量情報に基づいて間引き対象フレームを変更した間引き処理として、
予め規定した超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足する間引き態様を前記移動量情報に基づいて決定し、決定した間引き態様に一致するように間引き対象フレームを変更して間引き処理を行なうことを特徴とする動画像変換方法。 - 前記ブロック処理ステップは、
前記移動量が第１閾値未満の前記移動量が中または小の場合に実行する時間方向間引き処理の実行において、
前記超解像効果発生条件を満足する移動量と間引き態様との対応関係に従って設定した間引き態様変更点となる移動量閾値であり、前記第１閾値未満の閾値である第３閾値と前記移動量情報との比較を実行し、
前記移動量情報が前記第３閾値以上である場合は、時間軸に連続する間引き対象フレームを、前記移動量情報が前記第３閾値未満である場合に比較して少なく設定し、
前記移動量情報が前記第３閾値未満である場合は、時間軸に連続する間引き対象フレームを、前記移動量情報が前記第３閾値値以上である場合に比較して多く設定した時間軸方向の間引き処理を実行することを特徴とする請求項１０に記載の動画像変換方法。 - 前記ブロック処理ステップは、
圧縮率１／２の時間方向間引き処理を連続４フレームを処理単位として実行する場合、
前記移動量情報が前記第３閾値以上である場合は、１番目のフレームと３番目のフレームを残し、２番目と４番目のフレームを間引く時間軸方向の間引き処理を実行し、
前記移動量情報が前記第３閾値未満である場合は、１番目のフレームと４番目のフレームを残し、２番目と３番目のフレームを間引く時間軸方向の間引き処理を実行することを特徴とする請求項１１に記載の動画像変換方法。 - 時間方向の間引き処理データを含む動画像変換データの復元処理を実行する動画像復元方法であり、
時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成するブロック補間ステップを有し、
前記ブロック補間ステップは、
時間間引きされなかったフレームの入力ブロックを、より時間的に近い時間間引きフレームにコピーして復元ブロックを生成し、入力ブロック対応の移動量情報に従って、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうステップであり、
復元対象となる入力ブロックは、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足するように前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、
前記ブロック補間ステップは、
前記移動量情報に基づく間引き処理によって間引かれたフレームを復元するように、復元対象として入力されたブロックの時間方向の間引き処理の態様に応じて、フレーム間での復元ブロックの移動方向を、より時間的に近いフレーム間移動となるように選択して、動画像データ復元を行なうステップであることを特徴とする動画像復元方法。 - 前記ブロック補間ステップは、
移動を伴う補間が実行されたブロックについてフィルタ処理による帯域制限処理を実行するステップを有することを特徴とする請求項１３に記載の動画像復元方法。 - 前記動画像復元方法は、さらに、
復元対象ブロックの移動量に基づいて、該ブロックが時間方向の間引きがなされたデータであるか否かを判定するステップを有し、
前記ブロック補間ステップは、
前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、移動量情報に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうことを特徴とする請求項１３に記載の動画像復元方法。 - 前記動画像復元方法は、さらに、
時間方向の間引きがなされたデータであるか否かを示すフラグに基づいて、復元対象ブロックが時間方向の間引きがなされたデータであるか否かを判定するステップを有し、
前記ブロック補間ステップは、
前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、移動量情報に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうことを特徴とする請求項１３に記載の動画像復元方法。 - 前記動画像復元方法は、さらに、
移動量検出ステップを有し、該移動量検出ステップにおいて検出した移動量に従って、該ブロックが時間方向の間引きがなされたデータであるか否かを判定し、
前記ブロック補間ステップは、
前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、前記移動量に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうことを特徴とする請求項１３に記載の動画像復元方法。 - 前記移動量検出ステップは、
異なるフレームの対応ブロックに基づく動きベクトルを検出する処理を実行するステップであり、
前記ブロック補間ステップは、
前記動きベクトルに基づいて、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうことを特徴とする請求項１７に記載の動画像復元方法。 - 動画像変換装置において、動画像データのデータ変換処理を実行させるコンピュータ・プログラムであり、前記データ変換処理は、
ブロック分割部に、動画像データを構成するフレーム毎にブロック分割処理を実行させるブロック分割ステップと、
移動量検出部に、前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出させる移動量検出ステップと、
ブロック処理部に、前記ブロック分割ステップにおいて分割したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行させるブロック処理ステップとを前記動画像変換装置に実行させ、
前記ブロック処理ステップにおいては、
間引き処理対象のブロックが、前記移動量検出ステップにおいて検出した移動量と、処理態様決定するために予め規定した第１閾値、第２閾値と比較させ、
検出した前記移動量が第１閾値以上である場合は移動量が大、
検出した前記移動量が第１閾値未満であり第２閾値以上である場合は移動量が中、
検出した前記移動量が第２閾値未満である場合は移動量が小、
であると判定し、前記移動量が大、中、小のいずれの分類に属するかに応じて実行する間引き態様を変更させ、
前記移動量が大である場合は、空間間引き処理、
前記移動量が小である場合は、時間方向間引き処理、
前記移動量が中である場合は、空間間引き処理と時間方向間引き処理を実行させ、
前記移動量が中である場合の時間方向間引き処理において、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なわせ、
時間方向間引き処理の実行においては、前記移動量情報に基づいて間引き対象フレームを変更した間引き処理として、
予め規定した超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足する間引き態様を前記移動量情報に基づいて決定し、決定した間引き態様に一致するように間引き対象フレームを変更して間引き処理を行なわせることを特徴とするコンピュータ・プログラム。 - 動画像復元装置において、時間方向の間引き処理データを含む動画像変換データの復元処理を実行させるコンピュータ・プログラムであり、前記動画像データの復元処理は、
ブロック補間部に、時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成させるブロック補間ステップを前記動画像復元装置に実行させ、
前記ブロック補間ステップにおいては、
時間間引きされなかったフレームの入力ブロックを、より時間的に近い時間間引きフレームにコピーして復元ブロックを生成し、入力ブロック対応の移動量情報に従って、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なわせ、
復元対象となる入力ブロックは、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、超解像効果発生条件を規定した式、すなわち、速度ｖピクセル／フレームで動く対象物をｍピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式（式ａ），（式ｂ）で示す超解像効果発生条件を満足するように前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、
前記ブロック補間ステップにおいては、
前記移動量情報に基づく間引き処理によって間引かれたフレームを復元するように、復元対象として入力されたブロックの時間方向の間引き処理の態様に応じて、フレーム間での復元ブロックの移動方向を、より時間的に近いフレーム間移動となるように選択して、動画像データ復元を行なわせることを特徴とするコンピュータ・プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004233360A JP4590975B2 (ja) | 2004-08-10 | 2004-08-10 | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004233360A JP4590975B2 (ja) | 2004-08-10 | 2004-08-10 | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006054569A JP2006054569A (ja) | 2006-02-23 |
| JP4590975B2 true JP4590975B2 (ja) | 2010-12-01 |
Family
ID=36031773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004233360A Expired - Fee Related JP4590975B2 (ja) | 2004-08-10 | 2004-08-10 | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4590975B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5691374B2 (ja) * | 2010-10-14 | 2015-04-01 | 富士通株式会社 | データ圧縮装置 |
| US11836147B2 (en) | 2019-03-25 | 2023-12-05 | Nec Corporation | Information processing apparatus, analysis system, data aggregation method, and computer readable medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02504458A (ja) * | 1988-05-20 | 1990-12-13 | エヌ ベー フィリップス フルーイランペンファブリケン | 低減されたデータスループットを持つ高精細度テレビジョン送受信系 |
| JPH07222145A (ja) * | 1994-01-31 | 1995-08-18 | Mitsubishi Electric Corp | 画像符号化装置 |
| JP2004023670A (ja) * | 2002-06-19 | 2004-01-22 | Nec Corp | 画像符号化装置および同方式 |
-
2004
- 2004-08-10 JP JP2004233360A patent/JP4590975B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02504458A (ja) * | 1988-05-20 | 1990-12-13 | エヌ ベー フィリップス フルーイランペンファブリケン | 低減されたデータスループットを持つ高精細度テレビジョン送受信系 |
| JPH07222145A (ja) * | 1994-01-31 | 1995-08-18 | Mitsubishi Electric Corp | 画像符号化装置 |
| JP2004023670A (ja) * | 2002-06-19 | 2004-01-22 | Nec Corp | 画像符号化装置および同方式 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006054569A (ja) | 2006-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4779434B2 (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
| TWI324481B (en) | Method and apparatus for encoding/decoding video signal using reference pictures | |
| CA2570090C (en) | Representing and reconstructing high dynamic range images | |
| JP5727873B2 (ja) | 動きベクトル検出装置、符号化装置、及びこれらのプログラム | |
| JP2020528246A (ja) | 画像処理方法、デバイス、及びシステム | |
| EP2265024A2 (en) | Scalable image encoding device and scalable image decoding device | |
| US8126281B2 (en) | Image processing apparatus, method, and computer-readable medium for generating motion compensation images | |
| WO2007030716A2 (en) | Bit-rate reduction of multimedia data streams | |
| JP2014171097A (ja) | 符号化装置、符号化方法、復号装置、および、復号方法 | |
| JP5140638B2 (ja) | 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム | |
| JP4735063B2 (ja) | 動画像変換装置、動画像変換方法、及びコンピュータ・プログラム | |
| JP2015536108A (ja) | 映像圧縮方法 | |
| JP2008219876A (ja) | 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置 | |
| JP2007174283A (ja) | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム | |
| EP3373584B1 (en) | Content adaptive and art directable scalable video coding | |
| KR102345770B1 (ko) | 비디오 부호화 및 복호화 방법, 그를 이용한 장치 | |
| JP5691374B2 (ja) | データ圧縮装置 | |
| KR101690253B1 (ko) | 영상 처리 장치 및 그 방법 | |
| KR101710883B1 (ko) | 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법 | |
| JP4590975B2 (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
| JP4552691B2 (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
| JP5140637B2 (ja) | 時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム | |
| JP5255116B2 (ja) | インタレース画像の符号化方法、符号化装置、及び符号化プログラム | |
| JP2005348320A (ja) | 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム | |
| US20140072045A1 (en) | Image processing apparatus, image processing system, and computer-implemented method for processing image data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070803 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100708 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100817 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100830 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |