JP2006005904A - 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム - Google Patents
動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP2006005904A JP2006005904A JP2005052678A JP2005052678A JP2006005904A JP 2006005904 A JP2006005904 A JP 2006005904A JP 2005052678 A JP2005052678 A JP 2005052678A JP 2005052678 A JP2005052678 A JP 2005052678A JP 2006005904 A JP2006005904 A JP 2006005904A
- Authority
- JP
- Japan
- Prior art keywords
- thinning
- block
- processing
- data
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】 動画像データを構成するブロックにおける被写体移動量を検出し、検出した移動量に基づいて、標本点固定型の空間方向間引き処理、または、標本点移動型の空間方向間引き処理を実行する。ブロック解析により取得した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値未満である場合に、標本点移動型の間引き処理を実行することにより、超解像効果を発生させることを可能な仮想的な被写体の速度を設定した空間方向間引きが可能となり、画質低下を防止したデータ変換が実現される。
【選択図】 図14
Description
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
前記ブロック分割部の分割したブロックデータと、前記移動量検出部の検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理部とを有し、
前記ブロック処理部は、
前記移動量情報に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定部と、
前記間引き態様決定部の決定に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行部と、
を有する構成であることを特徴とする動画像変換装置にある。
動画像変換データの復元処理を実行する動画像復元装置であり、
動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張部と、
前記ブロック拡張部におけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成部とを有し、
前記ブロック拡張部は、
前記動画像変換データの生成において実行された標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理、または時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
前記合成部は、
ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する構成であることを特徴とする動画像復元装置にある。
動画像データのデータ変換処理を実行する動画像変換方法であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて生成したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
前記移動量情報に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定ステップと、
前記間引き態様決定ステップにおける決定情報に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行ステップと、
を有することを特徴とする動画像変換方法にある。
動画像変換データの復元処理を実行する動画像復元方法であり、
動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張ステップと、
前記ブロック拡張ステップにおけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成ステップとを有し、
前記ブロック拡張ステップは、
前記動画像変換データの生成において実行された標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理、または時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
前記合成ステップは、
ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成するステップであることを特徴とする動画像復元方法にある。
動画像データのデータ変換処理を実行するコンピュータ・プログラムであり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて生成したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
前記移動量情報に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定ステップと、
前記間引き態様決定ステップにおける決定情報に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
動画像データのデータ変換処理を実行するコンピュータ・プログラムであり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて生成したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
前記移動量情報および過去の間引き態様に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定ステップと、
前記間引き態様決定ステップにおける決定情報および過去の決定情報に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行ステップと、
を有することを特徴とするコンピュータ・プログラム。
動画像変換データの復元処理を実行するコンピュータ・プログラムであり、
動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張ステップと、
前記ブロック拡張ステップにおけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成ステップとを有し、
前記ブロック拡張ステップは、
前記動画像変換データの生成において実行された標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理、または時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
前記合成ステップは、
ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成するステップであることを特徴とするコンピュータ・プログラムにある。
(1)超解像効果を利用した動画像変換装置の基本構成
(2)改良した間引き処理を実行する動画像変換装置の構成
(3)動画像復元装置および動画像復元方法について
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特願2003−412501号に詳細を記載しているものであり、画像を小領域に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。
間引き量m=2、小領域の移動量v=1の場合、
間引き量m=4、小領域の移動量v=2の場合、
などの設定においても上記式(式1)は全てのkの場合において満たされることはなく、超解像効果は得られず画質は大幅に劣化する。すなわち、図1乃至図12を参照して説明した動画像変換装置10は、間引き量m、小領域の移動量vの各値が特定の条件を満足する場合には、超解像効果を奏し、データ量の削減による画質劣化を観測者に知覚させないことが可能となるが、間引き量m、小領域の移動量vの各値が特定の条件を満足しない場合には、超解像効果を発生させず、画質劣化を招いてしまう。以下、この問題点を解決した構成について説明する。
以下、上述の動画像変換装置の問題点を解決し、改良した間引き処理を実行することにより、超解像効果の発生しないケースを削減し、画質劣化を抑制したデータ削減(圧縮処理)を実現する動画像変換装置について説明する。
(a)移動量≧2ピクセル/フレーム:ブロック処理部131(空間方向間引き処理)
(b)2ピクセル/フレーム>移動量≧1ピクセル/フレーム:ブロック処理部132(時間・空間方向間引き処理)
(c)1ピクセル/フレーム>移動量:ブロック処理部133(時間方向間引き処理)
上記(a)〜(c)に処理ブロックを出力する。
k番目のフレーム:標本点=p1
k+1番目のフレーム:標本点=p2
k+2番目のフレーム:標本点=p3
k+3番目のフレーム:標本点=p4
のように、フレームの進行に応じて、標本点の画素位置を右方向に1画素ずつ変更して設定した間引き処理である。
k番目のフレーム:標本点=p4
k+1番目のフレーム:標本点=p3
k+2番目のフレーム:標本点=p2
k+3番目のフレーム:標本点=p1
のように、フレームの進行に応じて、標本点の画素位置を左方向に1画素ずつ変更して設定した間引き処理である。
k番目のフレーム:p1,p5
k+1番目のフレーム:p2,p6
k+2番目のフレーム:p3,p7
k+3番目のフレーム:p4,p8
となる。
(a)標本点固定の間引き処理(図15参照)
(b)標本点位置をフレームの進行に従って右方向へずらす間引き処理(図16参照)
(c)標本点位置をフレームの進行に従って左方向へずらす間引き処理(図17参照)
のいずれを実行するかを決定し、図18に示す間引き処理実行部152において決定した処理態様の間引き処理を実行する。
移動速度:2ピクセル/フレーム≦移動量<cピクセル/フレーム、
移動速度:fピクセル/フレーム≦移動量<eピクセル/フレームのいずれかで、かつ、
移動方向:右
の場合であり、この場合には、
標本点位置をフレームの進行に従って左方向へずらす間引き処理(図17参照)を実行するこの処理は仮想的な加速処理であり、図21の領域B−1からC−1へ移す処理、または領域B−2からC−2へ移す処理に相当する。
移動速度:2ピクセル/フレーム≦移動量<cピクセル/フレーム、
移動速度:fピクセル/フレーム≦移動量<eピクセル/フレームのいずれかで、かつ、
移動方向:左
の場合であり、この場合には、
標本点位置をフレームの進行に従って右方向へずらす間引き処理(図16参照)を実行するこの処理も仮想的な加速処理であり、図21の領域B−1からC−1へ移す処理、または領域B−2からC−2へ移す処理に相当する。
移動速度:dピクセル/フレーム≦移動量<fピクセル/フレームで、かつ、
移動方向:右
の場合であり、この場合には、
標本点位置をフレームの進行に従って右方向へずらす間引き処理(図16参照)を実行する。この処理は仮想的な減速処理であり、図22の領域B−3からC−3へ移す処理に相当する。
移動速度:dピクセル/フレーム≦移動量<fピクセル/フレームで、かつ、
移動方向:左
の場合であり、この場合には、
標本点位置をフレームの進行に従って左方向へずらす間引き処理(図17参照)を実行する。この処理は仮想的な減速処理であり、図22の領域B−3からC−3へ移す処理に相当する。
上記以外の移動速度、すなわち、
移動速度:cピクセル/フレーム≦移動量<dピクセル/フレーム、
移動速度:eピクセル/フレーム≦移動量、のいずれかで、
移動方向:左または右
の場合であり、この場合には、
標本点位置をフレームの進行に従ってずらす間引き処理ではなく固定標本点とした間引き処理(図15参照)を実行する。この処理は、図20の領域Aに対応する移動量を持つ被写体を有するブロックの処理に相当する。
(a)標本点固定の間引き処理(図24(b)参照)
(b)標本点位置をフレームの進行に従って下方向へずらす間引き処理(図25参照)
(c)標本点位置をフレームの進行に従って上方向へずらす間引き処理(図26参照)
のいずれを実行するかを決定し、図18に示す間引き処理実行部152において決定した処理態様の間引き処理を実行する。
2≦v<cの場合は、
処理3:被写体の進行方向と逆の方向に間引き位置変更を行なう。
c≦v<dの場合は、
処理1:間引き位置の変更を行なわない。
d≦v<fの場合は、
処理2:被写体の進行方向と同じ方向に間引き位置変更を行なう。
f≦v<eの場合は、
処理3:被写体の進行方向と逆の方向に間引き位置変更を行なう。
e≦vの場合は、
処理1:間引き位置の変更を行なわない。
移動量pが、
(1)2≦p<cの場合、
間引き処理態様決定部151は移動量検出部121から入力された現在のフレームのブロックの移動量vが2−Δv1≦v<c+Δv2であれば図29に示されているように処理3(被写体の進行方向と逆の方向に間引き位置変更)を行うよう決定する。移動量pが上記条件を満たさない場合、図27に示した基準を参照して処理を決定する。
(2) c≦p<dの場合、
間引き処理態様決定部151は移動量検出部121から入力された現在のフレームのブロックの移動量vがc−Δv3≦v<d+Δv4であれば図29に示されているように処理1(間引き位置の変更を行わない)を行うよう決定する。移動量pが上記条件を満たさない場合、図27に示した基準を参照して処理を決定する。
(3)d≦p<fの場合、
間引き処理態様決定部151は移動量検出部121から入力された現在のフレームのブロックの移動量vがd−Δv5≦v<f+Δv6であれば図29に示されているように処理2(被写体の進行方向と同じ方向に間引き位置変更)を行うよう決定する。移動量pが上記条件を満たさない場合、図27に示した基準を参照して処理を決定する。
(4)f≦p<eの場合、
間引き処理態様決定部151は移動量検出部121から入力された現在のフレームのブロックの移動量vがf−Δv7≦v<e+Δv8であれば図29に示されているように処理3(被写体の進行方向と逆の方向に間引き位置変更)を行うよう決定する。移動量pが上記条件を満たさない場合、図27に示した基準を参照して処理を決定する。
(5)e≦pの場合、
間引き処理態様決定部151は移動量検出部121から入力された現在のフレームのブロックの移動量vがe−Δv9≦vであれば図29に示されているように処理1(間引き位置の変更を行わない)を行うよう決定する。移動量pが上記条件を満たさない場合、図27に示した基準を参照して処理を決定する。
図32〜図34は、水平方向のフレームあたりの移動量としての移動速度:v=1〜2ピクセル/フレームである場合のブロック処理部132の間引き処理例であり、
図32は、標本点固定型の間引き処理であり、各フレーム(k〜k+3)の画素値p1乃至p4を、その中のいずれか2個の画素値(この例の場合、p1、p3)にする画素数の間引き(2画素間の画素数の間引き)、すなわち、間引き量m=2の間引き処理例である。
図35は、標本点固定型の間引き処理であり、各フレーム(k〜k+3)の画素値p1乃至p4を、その中のいずれか2個の画素値(この例の場合、p1、p3)にする画素数の間引き(2画素間の画素数の間引き)、すなわち、間引き量m=2の間引き処理例である。
(a)標本点固定の間引き処理(図32、図35参照)
(b)標本点位置をフレームの進行に従って被写体進行方向へずらす間引き処理(図33、図34、図36、図37参照)
(c)標本点位置をフレームの進行に従って被写体進行方向と逆方向へずらす間引き処理(図33、図34、図36、図37参照)
のいずれを実行するかを決定し、図18に示す間引き処理実行部152において決定した処理態様の間引き処理を実行する。
1≦v<iの場合は、
処理3:被写体の進行方向と逆の方向に間引き位置変更を行なう。
i≦v<jの場合は、
処理1:間引き位置の変更を行なわない。
j≦v<mの場合は、
処理2:被写体の進行方向と同じ方向に間引き位置変更を行なう。
m≦v<kの場合は、
処理3:被写体の進行方向と逆の方向に間引き位置変更を行なう。
k≦vの場合は、
処理1:間引き位置の変更を行なわない。
(a)標本点固定型の間引き処理(図15、図24参照)
(b)標本点移動型の間引き処理(図16、図17、図25、図26参照)
のいずれを実行するかを決定する。
(a)標本点固定型の間引き処理(図32、図35参照)
(b)標本点移動型の間引き処理(図33、図34、図36、図37参照)
のいずれを実行するかを決定する。
次に、上述の動画像変換装置100によって生成された変換(圧縮)データの復元処理を実行する動画像復元装置および動画像復元方法について説明する。
11 ブロック分割部
12 移動量検出部
13 ブロック処理部
14 出力部
21 画像蓄積部
22 ブロック分割部
31 移動量検出部
32 ブロック分配部
51〜53 ブロック処理部
100 画像変換装置
110 ブロック分割部
120 移動量検出部
130 ブロック処理部
140 出力部
111 画像蓄積部
112 ブロック分割部
121 移動量検出部
122 ブロック分配部
131〜133 ブロック処理部
151 間引き処理態様決定部
152 間引き処理実行部
153 メモリ
201 被写体領域
205 画質評価曲線
215 画質評価曲線
300 画像復元装置
310 分配部
321〜323 ブロック拡張部
330 合成部
401 ブロック
Claims (25)
- 動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
前記ブロック分割部の分割したブロックデータと、前記移動量検出部の検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理部とを有し、
前記ブロック処理部は、
前記移動量情報に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定部と、
前記間引き態様決定部の決定に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行部と、
を有する構成であることを特徴とする動画像変換装置。 - 前記間引き態様決定部は、さらに、
標本点移動型の空間方向間引きにおける処理態様として、フレームの進行に従った標本点移動方向を決定する構成であり、
前記間引き処理実行部は、
前記間引き態様決定部の決定した方向への標本点移動処理を伴う標本点移動型の空間方向間引き処理を実行する構成であることを特徴とする請求項1に記載の動画像変換装置。 - 前記間引き態様決定部は、
標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データに従った間引き態様決定処理を行なう構成であり、
前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値以上である場合は標本点固定型の間引き処理の実行を決定し、
前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値未満である場合は標本点移動型の間引き処理の実行を決定する構成であることを特徴とする請求項1に記載の動画像変換装置。 - 前記間引き態様決定部は、さらに、
前記間引き態様決定部による過去のフレームに対する間引き態様決定結果を保持するメモリを有し、
標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データおよび過去のフレームに対する間引き態様決定結果に従った間引き態様決定処理を行う構成であり、
前記過去のフレームに対する間引き態様決定結果が標本点固定型の間引き処理であり、かつ前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値T1以上である場合は標本点固定型の間引き処理の実行を決定し、
前記過去のフレームに対する間引き態様決定結果が標本点固定型の間引き処理であり、かつ前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値T1未満である場合は標本点移動型の間引き処理の実行を決定し、
前記過去のフレームに対する間引き態様決定結果が標本点移動型の間引き処理であり、かつ前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値T2未満である場合は標本点移動型の間引き処理の実行を決定し、
前記過去のフレームに対する間引き態様決定結果が標本点移動型の間引き処理であり、かつ前記移動量検出部の検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値T2以上である場合は標本点固定型の間引き処理の実行を決定する構成であることを特徴とする請求項1に記載の動画像変換装置。 - 前記ブロック処理部は、
標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて画質評価値が予め定めた基準評価値以上となる移動速度の領域に、
標本点移動型の間引き処理によって生ずる仮想的な被写体の移動速度が設定されるように標本点の移動態様を設定した空間間引き処理を実行する構成であることを特徴とする請求項1に記載の動画像変換装置。 - 前記ブロック処理部は、さらに、
前記ブロック処理部による過去のフレームに対する空間間引き処理の際の標本点の移動態様を保持するメモリを有し、
標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて、前記過去のフレームに対する空間間引きの際の標本点の移動態様に応じた仮想的な被写体の移動速度に対応する画質評価値が予め定めた基準評価値T3以上である場合は、前記過去のフレームに対する空間間引きの際の標本点の移動態様を設定した空間間引き処理を実行し、
標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて、前記過去のフレームに対する空間間引きの際の標本点の移動態様に応じた仮想的な被写体の移動速度に対応する画質評価値が予め定めた基準評価値T3を下回る場合は、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて画質評価値が予め定めた基準評価値T4以上となる移動速度の領域に標本点移動型の間引き処理によって生ずる仮想的な被写体の移動速度が設定されるように標本点の移動態様を設定した空間間引き処理を実行する構成であることを特徴とする請求項1に記載の動画像変換装置。 - 前記ブロック処理部は、
前記移動量情報に基づいて、
(a)空間方向間引き処理のみ、または、
(b)空間方向間引き処理と時間方向間引き処理、または、
(c)時間方向間引き処理のみ、
上記(a)乃至(c)のいずれかの態様での間引き処理を実行する構成であることを特徴とする請求項1に記載の動画像変換装置。 - 前記移動量検出部は、
異なるフレームの対応ブロックに基づく動きベクトルを検出する処理を実行し、
前記ブロック処理部は、
前記動きベクトルに基づいて間引き態様を決定し、決定した態様に従った間引き処理を実行する構成であることを特徴とする請求項1に記載の動画像変換装置。 - 動画像変換データの復元処理を実行する動画像復元装置であり、
動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張部と、
前記ブロック拡張部におけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成部とを有し、
前記ブロック拡張部は、
前記動画像変換データの生成において実行された標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理、または時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
前記合成部は、
ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する構成であることを特徴とする動画像復元装置。 - 前記合成部は、
前記ブロック拡張部において復元されたブロックが、標本点移動型の空間方向間引き処理のなされたブロックである場合、フレームの進行に従ってブロック位置をずらせて配置する処理を実行する構成であることを特徴とする請求項9に記載の動画像復元装置。 - 前記合成部は、
前記ブロック拡張部において復元されたブロックが、標本点移動型の空間方向間引き処理のなされたブロックである場合、フレームの進行に従ってブロック位置をずらせて配置する処理を実行するとともに、ブロック配置により発生する画素隙間または重複画素の画素値を決定する画素値補正処理を実行する構成であることを特徴とする請求項9に記載の動画像復元装置。 - 動画像データのデータ変換処理を実行する動画像変換方法であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて生成したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
前記移動量情報に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定ステップと、
前記間引き態様決定ステップにおける決定情報に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行ステップと、
を有することを特徴とする動画像変換方法。 - 前記間引き態様決定ステップは、
標本点移動型の空間方向間引きにおける処理態様として、フレームの進行に従った標本点移動方向を決定するステップを有し、
前記間引き処理実行ステップは、
前記間引き態様決定ステップにおいて決定した方向への標本点移動処理を伴う標本点移動型の空間方向間引き処理を実行することを特徴とする請求項12に記載の動画像変換方法。 - 前記間引き態様決定ステップは、
標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データに従った間引き態様決定処理を実行し、
前記移動量検出ステップにおいて検出された移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値以上である場合は標本点固定型の間引き処理の実行を決定し、
前記移動量検出ステップにおいて検出された移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値未満である場合は標本点移動型の間引き処理の実行を決定することを特徴とする請求項12に記載の動画像変換方法。 - 前記間引き態様決定ステップは、さらに、
前記間引き態様決定ステップによる過去のフレームに対する間引き態様決定結果を保持し、
標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データおよび過去のフレームに対する間引き態様決定結果に従った間引き態様決定処理を実行し、
前記過去のフレームに対する間引き態様決定結果が標本点固定型の間引き処理であり、かつ前記移動量検出ステップの検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値T1以上である場合は標本点固定型の間引き処理の実行を決定し、
前記過去のフレームに対する間引き態様決定結果が標本点固定型の間引き処理であり、かつ前記移動量検出ステップの検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値T1未満である場合は標本点移動型の間引き処理の実行を決定し、
前記過去のフレームに対する間引き態様決定結果が標本点移動型の間引き処理であり、かつ前記移動量検出ステップの検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値T2未満である場合は標本点移動型の間引き処理の実行を決定し、
前記過去のフレームに対する間引き態様決定結果が標本点移動型の間引き処理であり、かつ前記移動量検出ステップの検出した移動量情報に相当する被写体移動速度に対応する画質評価値が予め定めた基準評価値T2以上である場合は標本点固定型の間引き処理の実行を決定することを特徴とする請求項12に記載の動画像変換方法。 - 前記ブロック処理ステップは、
標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて画質評価値が予め定めた基準評価値以上となる移動速度の領域に、
標本点移動型の間引き処理によって生ずる仮想的な被写体の移動速度が設定されるように標本点の移動態様を設定した空間間引き処理を実行することを特徴とする請求項12に記載の動画像変換方法。 - 前記ブロック処理ステップは、さらに、
前記ブロック処理ステップによる過去のフレームに対する空間間引き処理の際の標本点の移動態様を保持し、
標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて、前記過去のフレームに対する空間間引きの際の標本点の移動態様に応じた仮想的な被写体の移動速度に対応する画質評価値が予め定めた基準評価値T3以上である場合は、前記過去のフレームに対する空間間引きの際の標本点の移動態様を設定した空間間引き処理を実行し、
標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて、前記過去のフレームに対する空間間引きの際の標本点の移動態様に応じた仮想的な被写体の移動速度に対応する画質評価値が予め定めた基準評価値T3を下回る場合は、標本点固定の間引き処理を実行した場合の処理データに基づいて生成される被写体移動速度と画質評価値の対応データにおいて画質評価値が予め定めた基準評価値T4以上となる移動速度の領域に標本点移動型の間引き処理によって生ずる仮想的な被写体の移動速度が設定されるように標本点の移動態様を設定した空間間引き処理を実行することを特徴とする請求項12に記載の動画像変換方法。 - 前記ブロック処理ステップは、
前記移動量情報に基づいて、
(a)空間方向間引き処理のみ、または、
(b)空間方向間引き処理と時間方向間引き処理、または、
(c)時間方向間引き処理のみ、
上記(a)乃至(c)のいずれかの態様での間引き処理を実行することを特徴とする請求項12に記載の動画像変換方法。 - 前記移動量検出ステップは、
異なるフレームの対応ブロックに基づく動きベクトルを検出する処理を実行し、
前記ブロック処理ステップは、
前記動きベクトルに基づいて間引き態様を決定し、決定した態様に従った間引き処理を実行することを特徴とする請求項12に記載の動画像変換方法。 - 動画像変換データの復元処理を実行する動画像復元方法であり、
動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張ステップと、
前記ブロック拡張ステップにおけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成ステップとを有し、
前記ブロック拡張ステップは、
前記動画像変換データの生成において実行された標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理、または時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
前記合成ステップは、
ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成するステップであることを特徴とする動画像復元方法。 - 前記合成ステップは、
前記ブロック拡張ステップにおいて復元されたブロックが、標本点移動型の空間方向間引き処理のなされたブロックである場合、フレームの進行に従ってブロック位置をずらせて配置する処理を実行することを特徴とする請求項20に記載の動画像復元方法。 - 前記合成ステップは、
前記ブロック拡張ステップにおいて復元されたブロックが、標本点移動型の空間方向間引き処理のなされたブロックである場合、フレームの進行に従ってブロック位置をずらせて配置する処理を実行するとともに、ブロック配置により発生する画素隙間または重複画素の画素値を決定する画素値補正処理を実行するステップを含むことを特徴とする請求項20に記載の動画像復元方法。 - 動画像データのデータ変換処理を実行するコンピュータ・プログラムであり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて生成したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
前記移動量情報に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定ステップと、
前記間引き態様決定ステップにおける決定情報に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行ステップと、
を有することを特徴とするコンピュータ・プログラム。 - 動画像データのデータ変換処理を実行するコンピュータ・プログラムであり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて生成したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
前記移動量情報および過去の間引き態様に基づいて、標本点固定型の空間方向間引きを実行するか標本点移動型の空間方向間引きを実行するかの間引き態様を決定する間引き態様決定ステップと、
前記間引き態様決定ステップにおける決定情報および過去の決定情報に従って、標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理のいずれかを実行する間引き処理実行ステップと、
を有することを特徴とするコンピュータ・プログラム。 - 動画像変換データの復元処理を実行するコンピュータ・プログラムであり、
動画像変換データを構成するブロック対応変換データと、該ブロック対応変換データの変換態様情報とを入力し、前記変換態様情報に基づくブロック対応変換データの拡張処理を実行するブロック拡張ステップと、
前記ブロック拡張ステップにおけるブロック拡張処理によって復元されたブロックを合成しフレームデータを生成する合成ステップとを有し、
前記ブロック拡張ステップは、
前記動画像変換データの生成において実行された標本点固定型の空間方向間引き処理、または標本点移動型の空間方向間引き処理、または時間方向間引き処理の少なくともいずれかの間引き態様に応じたブロック拡張処理によりブロックの復元を実行し、
前記合成ステップは、
ブロック拡張処理によって復元されたブロックを合成しフレームデータを生成するステップであることを特徴とするコンピュータ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005052678A JP4552691B2 (ja) | 2004-05-18 | 2005-02-28 | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004147739 | 2004-05-18 | ||
JP2005052678A JP4552691B2 (ja) | 2004-05-18 | 2005-02-28 | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006005904A true JP2006005904A (ja) | 2006-01-05 |
JP4552691B2 JP4552691B2 (ja) | 2010-09-29 |
Family
ID=35773871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005052678A Expired - Fee Related JP4552691B2 (ja) | 2004-05-18 | 2005-02-28 | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4552691B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009017425A (ja) * | 2007-07-09 | 2009-01-22 | Sony Corp | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
JP2009111762A (ja) * | 2007-10-30 | 2009-05-21 | Nippon Hoso Kyokai <Nhk> | 画像符号化装置及び画像復号装置 |
US8213497B2 (en) | 2006-07-04 | 2012-07-03 | Sony Corporation | Moving image converting apparatus, moving image converting method, and computer program |
JP2013074318A (ja) * | 2011-09-26 | 2013-04-22 | Nippon Hoso Kyokai <Nhk> | 標本点算出装置および標本点算出プログラム |
JP2013229768A (ja) * | 2012-04-25 | 2013-11-07 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化方法及び装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01231583A (ja) * | 1988-03-11 | 1989-09-14 | Fujitsu Ltd | 可変ビットレート画像符号化装置 |
JP2005198268A (ja) * | 2003-12-10 | 2005-07-21 | Sony Corp | 動画像変換装置および方法、並びに動画像データフォーマット |
-
2005
- 2005-02-28 JP JP2005052678A patent/JP4552691B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01231583A (ja) * | 1988-03-11 | 1989-09-14 | Fujitsu Ltd | 可変ビットレート画像符号化装置 |
JP2005198268A (ja) * | 2003-12-10 | 2005-07-21 | Sony Corp | 動画像変換装置および方法、並びに動画像データフォーマット |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8213497B2 (en) | 2006-07-04 | 2012-07-03 | Sony Corporation | Moving image converting apparatus, moving image converting method, and computer program |
JP2009017425A (ja) * | 2007-07-09 | 2009-01-22 | Sony Corp | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
US8421914B2 (en) | 2007-07-09 | 2013-04-16 | Sony Corporation | Method and apparatus converting moving image, method and apparatus for reproducing moving image, and computer program |
JP2009111762A (ja) * | 2007-10-30 | 2009-05-21 | Nippon Hoso Kyokai <Nhk> | 画像符号化装置及び画像復号装置 |
JP2013074318A (ja) * | 2011-09-26 | 2013-04-22 | Nippon Hoso Kyokai <Nhk> | 標本点算出装置および標本点算出プログラム |
JP2013229768A (ja) * | 2012-04-25 | 2013-11-07 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4552691B2 (ja) | 2010-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4779434B2 (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
US7813430B2 (en) | Method and apparatus for decimation mode determination utilizing block motion | |
JP4879026B2 (ja) | 動的制御画素処理を備えた画像処理システムおよび方法 | |
US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
JP6335504B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US8305489B2 (en) | Video conversion apparatus and method, and program | |
US8615036B2 (en) | Generating interpolated frame of video signal with enhancement filter | |
JP2014171097A (ja) | 符号化装置、符号化方法、復号装置、および、復号方法 | |
JP4552691B2 (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
US8682110B2 (en) | Method and apparatus for converting resolution of block based image | |
JP2010278898A (ja) | 超解像画像処理装置、超解像画像処理方法及びipモジュールデータ | |
JP2008017060A (ja) | 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム | |
JP5015089B2 (ja) | フレームレート変換装置、フレームレート変換方法、テレビジョン受像機、フレームレート変換プログラムおよび該プログラムを記録した記録媒体 | |
JP2007060192A (ja) | 補間フレーム生成装置、その方法、画像表示システム、並びに、プログラムおよび記録媒体 | |
JP4412062B2 (ja) | 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム | |
JP2009239698A (ja) | 映像変換装置及び映像変換方法 | |
JP2008017061A (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
JP4779424B2 (ja) | 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム | |
JP2006310920A (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
JP5762006B2 (ja) | 画像処理装置および画像処理方法 | |
JP4431973B2 (ja) | 動画像処理装置および方法 | |
JP4590975B2 (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
JP2011082899A (ja) | 画像処理装置及びその制御方法 | |
JP2008035012A (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
JP5095472B2 (ja) | 画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100622 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100705 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |