JP4590975B2 - 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム - Google Patents
動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP4590975B2 JP4590975B2 JP2004233360A JP2004233360A JP4590975B2 JP 4590975 B2 JP4590975 B2 JP 4590975B2 JP 2004233360 A JP2004233360 A JP 2004233360A JP 2004233360 A JP2004233360 A JP 2004233360A JP 4590975 B2 JP4590975 B2 JP 4590975B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- thinning
- movement amount
- moving image
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
(1)特許文献1(特開2000−32470)に開示された方式では、前処理終了時点でデータ量を半分にすることが可能で最終的な符号化効率の大幅な向上が期待できるが、動画の局所的な特性、すなわち、動きのある領域と無い領域の特徴を利用せずに一様な間引きを行っているため、画像全体に対して均一な劣化を生じさせてしまう。
(2)特許文献2(特開2001−352546)の方式は、特に低ビットレートで符号化した場合に発生するブロック歪みの抑制を意図したものであり、高ビットレートの符号化時にこの手法を適用することで符号化効率の向上や画質の劣化の抑制が可能であるとは限らない。
動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
前記ブロック分割部の分割したブロックデータと、前記移動量検出部の検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理部とを有し、
前記ブロック処理部は、
間引き処理対象のブロックが、前記移動量検出部の検出した移動量と、処理態様決定するために予め規定した第1閾値、第2閾値と比較し、
検出した前記移動量が第1閾値以上である場合は移動量が大、
検出した前記移動量が第1閾値未満であり第2閾値以上である場合は移動量が中、
検出した前記移動量が第2閾値未満である場合は移動量が小、
であると判定し、前記移動量が大、中、小のいずれの分類に属するかに応じて実行する間引き態様を変更し、
前記移動量が大である場合は、空間間引き処理、
前記移動量が小である場合は、時間方向間引き処理、
前記移動量が中である場合は、空間間引き処理と時間方向間引き処理を実行し、
前記移動量が中である場合の時間方向間引き処理において、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なう構成であり、
前記ブロック処理部は、
時間方向間引き処理の実行においては、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なう構成であり、
予め規定した超解像効果発生条件を規定した式、すなわち、速度vピクセル/フレームで動く対象物をmピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式(式a),(式b)で示す超解像効果発生条件を満足する間引き態様を前記移動量情報に基づいて決定し、決定した間引き態様に一致するように間引き対象フレームを変更して間引き処理を行なう構成であることを特徴とする動画像変換装置にある。
時間方向の間引き処理データを含む動画像変換データの復元処理を実行する動画像復元装置であり、
時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成するブロック補間部を有し、
前記ブロック補間部は、
時間間引きされなかったフレームの入力ブロックを、より時間的に近い時間間引きフレームにコピーして復元ブロックを生成し、入力ブロック対応の移動量情報に従って、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であり、
復元対象となる入力ブロックは、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、超解像効果発生条件を規定した式、すなわち、速度vピクセル/フレームで動く対象物をmピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式(式a),(式b)で示す超解像効果発生条件を満足するように前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、
前記ブロック補間部は、
前記移動量情報に基づく間引き処理によって間引かれたフレームを復元するように、復元対象として入力されたブロックの時間方向の間引き処理の態様に応じて、フレーム間での復元ブロックの移動方向を、より時間的に近いフレーム間移動となるように選択して、動画像データ復元を行なう構成であることを特徴とする動画像復元装置にある。
動画像データのデータ変換処理を実行する動画像変換方法であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて分割したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
間引き処理対象のブロックが、前記移動量検出ステップにおいて検出した移動量と、処理態様決定するために予め規定した第1閾値、第2閾値と比較し、
検出した前記移動量が第1閾値以上である場合は移動量が大、
検出した前記移動量が第1閾値未満であり第2閾値以上である場合は移動量が中、
検出した前記移動量が第2閾値未満である場合は移動量が小、
であると判定し、前記移動量が大、中、小のいずれの分類に属するかに応じて実行する間引き態様を変更し、
前記移動量が大である場合は、空間間引き処理、
前記移動量が小である場合は、時間方向間引き処理、
前記移動量が中である場合は、空間間引き処理と時間方向間引き処理を実行し、
前記移動量が中である場合の時間方向間引き処理において、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行ない、
時間方向間引き処理の実行においては、前記移動量情報に基づいて間引き対象フレームを変更した間引き処理として、
予め規定した超解像効果発生条件を規定した式、すなわち、速度vピクセル/フレームで動く対象物をmピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式(式a),(式b)で示す超解像効果発生条件を満足する間引き態様を前記移動量情報に基づいて決定し、決定した間引き態様に一致するように間引き対象フレームを変更して間引き処理を行なうことを特徴とする動画像変換方法にある。
時間方向の間引き処理データを含む動画像変換データの復元処理を実行する動画像復元方法であり、
時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成するブロック補間ステップを有し、
前記ブロック補間ステップは、
時間間引きされなかったフレームの入力ブロックを、より時間的に近い時間間引きフレームにコピーして復元ブロックを生成し、入力ブロック対応の移動量情報に従って、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうステップであり、
復元対象となる入力ブロックは、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、超解像効果発生条件を規定した式、すなわち、速度vピクセル/フレームで動く対象物をmピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式(式a),(式b)で示す超解像効果発生条件を満足するように前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、
前記ブロック補間ステップは、
前記移動量情報に基づく間引き処理によって間引かれたフレームを復元するように、復元対象として入力されたブロックの時間方向の間引き処理の態様に応じて、フレーム間での復元ブロックの移動方向を、より時間的に近いフレーム間移動となるように選択して、動画像データ復元を行なうステップであることを特徴とする動画像復元方法にある。
動画像変換装置において、動画像データのデータ変換処理を実行させるコンピュータ・プログラムであり、前記データ変換処理は、
ブロック分割部に、動画像データを構成するフレーム毎にブロック分割処理を実行させるブロック分割ステップと、
移動量検出部に、前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出させる移動量検出ステップと、
ブロック処理部に、前記ブロック分割ステップにおいて分割したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行させるブロック処理ステップとを前記動画像変換装置に実行させ、
前記ブロック処理ステップにおいては、
間引き処理対象のブロックが、前記移動量検出ステップにおいて検出した移動量と、処理態様決定するために予め規定した第1閾値、第2閾値と比較させ、
検出した前記移動量が第1閾値以上である場合は移動量が大、
検出した前記移動量が第1閾値未満であり第2閾値以上である場合は移動量が中、
検出した前記移動量が第2閾値未満である場合は移動量が小、
であると判定し、前記移動量が大、中、小のいずれの分類に属するかに応じて実行する間引き態様を変更させ、
前記移動量が大である場合は、空間間引き処理、
前記移動量が小である場合は、時間方向間引き処理、
前記移動量が中である場合は、空間間引き処理と時間方向間引き処理を実行させ、
前記移動量が中である場合の時間方向間引き処理において、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なわせ、
時間方向間引き処理の実行においては、前記移動量情報に基づいて間引き対象フレームを変更した間引き処理として、
予め規定した超解像効果発生条件を規定した式、すなわち、速度vピクセル/フレームで動く対象物をmピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式(式a),(式b)で示す超解像効果発生条件を満足する間引き態様を前記移動量情報に基づいて決定し、決定した間引き態様に一致するように間引き対象フレームを変更して間引き処理を行なわせることを特徴とするコンピュータ・プログラムにある。
動画像復元装置において、時間方向の間引き処理データを含む動画像変換データの復元処理を実行させるコンピュータ・プログラムであり、前記動画像データの復元処理は、
ブロック補間部に、時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成させるブロック補間ステップを前記動画像復元装置に実行させ、
前記ブロック補間ステップにおいては、
時間間引きされなかったフレームの入力ブロックを、より時間的に近い時間間引きフレームにコピーして復元ブロックを生成し、入力ブロック対応の移動量情報に従って、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なわせ、
復元対象となる入力ブロックは、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、超解像効果発生条件を規定した式、すなわち、速度vピクセル/フレームで動く対象物をmピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式(式a),(式b)で示す超解像効果発生条件を満足するように前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、
前記ブロック補間ステップにおいては、
前記移動量情報に基づく間引き処理によって間引かれたフレームを復元するように、復元対象として入力されたブロックの時間方向の間引き処理の態様に応じて、フレーム間での復元ブロックの移動方向を、より時間的に近いフレーム間移動となるように選択して、動画像データ復元を行なわせることを特徴とするコンピュータ・プログラムにある。
(1)超解像効果を利用した動画像変換装置の基本構成
(2)本発明に従った動画像圧縮処理を実行する装置および方法
(3)本発明に従った動画像伸張処理を実行する装置および方法
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特願2003−412501号に詳細を記載しているものであり、画像を小領域(ブロック)に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。
上述の動画像変換装置におけるデータ圧縮方法において、時間方向間引きを行なうと、以下のような問題が発生する場合がある。
(1)時間方向に間引かれたブロックと間引かれなかったブロックの互いの動きが不自然になる。
(2)時間方向に間引かれたブロックがある程度の高周波成分を持っていると、フリッカー状のノイズが発生する。
以下では、上記問題点を解決したデータ圧縮を実現する本発明に従った動画像圧縮処理を実行する装置および方法について説明する。
1フレーム間の水平または垂直方向の移動量のうち値の大きい方が、
1ピクセル以上1.25ピクセル未満であればブロック処理部c(2)303、
1.25ピクセル以上2ピクセル未満であればブロック処理部c(3)304、
へ、それぞれのブロックが出力され、それぞれのブロック処理部において異なる態様で、時間方向間引き処理が実行される。
1ピクセル以上1.25ピクセル未満であればブロック処理部c(2)303、
1.25ピクセル以上2ピクセル未満であればブロック処理部c(3)304、
として振り分けられ、それぞれのブロック処理部において異なる態様で、時間方向間引き処理が実行される。
(a)移動量2ピクセル以上のブロック:データ量を1/4とする空間間引き処理(図3参照)、
(b1)移動量1.25ピクセル以上2ピクセル未満のブロック:データ量を1/2とする空間間引き処理(図5参照)と、データ量を1/2とする時間方向間引き処理であり連続する4フレーム中、第1および第3フレームの画素データを残し、第2および第4フレームの画素データを削除する態様の時間方向間引き処理(図11参照)、
(b2)移動量1ピクセル以上1.25ピクセル未満のブロック:データ量を1/2とする空間間引き処理(図5参照)と、データ量を1/2とする時間方向間引き処理であり連続する4フレーム中、第1および第4フレームの画素データを残し、第2および第3フレームの画素データを削除する態様の時間方向間引き処理(図10参照)、
(c)移動量1ピクセル未満のブロック:データ量を1/4とする時間方向間引き処理(図4参照)、
上記4種類の異なる態様での間引き処理を行なうことになる。
(1)時間方向に間引かれたブロックと間引かれなかったブロックの互いの動きが不自然になる。
(2)時間方向に間引かれたブロックがある程度の高周波成分を持っていると、フリッカー状のノイズが発生する。
という問題点が解決され、高品質な符号化データの生成が可能となる。
t=0,2T,4T,6Tのフレームを残し、
t=T,3T,5T,7Tのフレームを削除する、
という態様で時間方向間引きを実行した場合のグラフであり、空間間引き量:m=2ピクセル、移動量:v=1〜2ピクセル/フレームの超解像条件の変化を示す。実線が上記式(式2a)に対応し、点線が上記式(式2b)に対応する。この間引き態様は、先に図11を参照して説明した時間方向間引きの態様に相当する。
t=0,3T,4T,7Tのフレームを残し、
t=T,2T,5T,8Tのフレームを削除する、
という態様で時間方向間引きを実行した場合のグラフであり、空間間引き量:m=2ピクセル、移動量:v=1〜2ピクセル/フレームの超解像条件の変化を示す。実線が上記式(式2a)に対応し、点線が上記式(式2b)に対応する。この間引き態様は、先に図10を参照して説明した時間方向間引きの態様に相当する。
移動量:v=1.0〜1.25では、4フレームt=0〜3T中の0,3Tを残し、T,2Tを間引く時間方向間引き処理(図10に相当)
移動量:v=1.25〜2.0では、4フレームt=0〜3T中の0,2Tを残し、T,3Tを間引く時間方向間引き処理(図11に相当)
を実行した場合のグラフである。
次に、本発明に従った動画像伸張処理を実行する装置および方法について説明する。まず、以下において説明する動画像伸張を実行する動画像復元装置において、復元対象となる圧縮された動画像データについて説明する。
すなわち、図19におけるブロック389がアンパック処理部c526の入力であり、アンパック処理部c526はブロック389を4フレーム分に拡張してブロック385〜388の4つのブロックを構成し出力する。なお、図では1x2画素単位での間引き処理について示したが、2x1画素単位で処理を行う場合も同様である。ただし、アンパック処理部c526が想定するパックされたブロックが素p1〜p2の各フレームへのコピー先と順序は、図17に示した動画像変換装置における第3のパック処理部c373において処理した際の画素位置と画素順に一致させなければならない。
この処理により、時間間引きされたブロックが符号化前のブロックと同じ位置となり、もとの画像が復元できると期待される。
11 ブロック分割部
12 移動量検出部
13 ブロック処理部
14 出力部
21 画像蓄積部
22 ブロック分割部
31 移動量検出部
32 ブロック分配部
51〜53 ブロック処理部
100 ブロック分割手段
102〜104 動画像圧縮手段
105 ブロック合成手段
106 符号化器
200 画像蓄積部
201 ブロック分割部
202 移動量検出部
203 ブロック分配部
204〜206 ブロック処理部
207 出力(移動量情報)
208 ブロック処理部
209 出力(ブロック分配フラグ)
301 ブロック蓄積部
302 ブロック分配部
303〜305 ブロック処理部
321〜324 ブロック
326〜329 画素
331〜334 ブロック
336,337 画素
351〜354 ブロック
356〜359 画素
361〜364 ブロック
366,367 画素
371〜373 パック処理部
375〜379 ブロック
380〜384 画素
385〜389 ブロック
391〜395 画素
400 復号化器
401 ブロック補間手段
402 ブロック移動量取得手段
403 時間間引きブロック判定手段
404 空間間引きブロック判定手段
411 ブロック間引き情報取得手段
500 画像蓄積部
501 ブロック分割部
502 ブロック分配部
503 出力
504,505 ブロック補間部
506 ブロック合成部
507 時間軸間引きブロック判定フラグ
508 移動量検出部
521 動画像復号化部
522 フラグ復号化部
523 ブロック分割部
524〜526 アンパック処理部
527 ブロック合成部
541 ブロック蓄積部
542 ブロック移動処理部
543 ブロック合成部
544 帯域制限部
601 ブロック蓄積部
602 ブロック移動処理部
603 ブロック合成部
604 画像蓄積部
605 ブロック境界補間部
606 ブロック移動選択部
607 順方向ブロック移動処理部
608 逆方向ブロック移動処理部
801,802 フレーム
803,804 ブロック
805,806 ブロック
807,808 フレーム
809 隙間
Claims (20)
- 動画像データのデータ変換処理を実行する動画像変換装置であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割部と、
前記ブロック分割部において分割された各ブロックにおける被写体移動量を検出する移動量検出部と、
前記ブロック分割部の分割したブロックデータと、前記移動量検出部の検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理部とを有し、
前記ブロック処理部は、
間引き処理対象のブロックが、前記移動量検出部の検出した移動量と、処理態様決定するために予め規定した第1閾値、第2閾値と比較し、
検出した前記移動量が第1閾値以上である場合は移動量が大、
検出した前記移動量が第1閾値未満であり第2閾値以上である場合は移動量が中、
検出した前記移動量が第2閾値未満である場合は移動量が小、
であると判定し、前記移動量が大、中、小のいずれの分類に属するかに応じて実行する間引き態様を変更し、
前記移動量が大である場合は、空間間引き処理、
前記移動量が小である場合は、時間方向間引き処理、
前記移動量が中である場合は、空間間引き処理と時間方向間引き処理を実行し、
前記移動量が中である場合の時間方向間引き処理において、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なう構成であり、
前記ブロック処理部は、
時間方向間引き処理の実行においては、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なう構成であり、
予め規定した超解像効果発生条件を規定した式、すなわち、速度vピクセル/フレームで動く対象物をmピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式(式a),(式b)で示す超解像効果発生条件を満足する間引き態様を前記移動量情報に基づいて決定し、決定した間引き態様に一致するように間引き対象フレームを変更して間引き処理を行なう構成であることを特徴とする動画像変換装置。 - 前記ブロック処理部は、
前記移動量が第1閾値未満の前記移動量が中または小の場合に実行する時間方向間引き処理の実行において、
前記超解像効果発生条件を満足する移動量と間引き態様との対応関係に従って設定した間引き態様変更点となる移動量閾値であり、前記第1閾値未満の閾値である第3閾値と前記移動量情報との比較を実行し、
前記移動量情報が前記第3閾値以上である場合は、時間軸に連続する間引き対象フレームを、前記移動量情報が前記第3閾値未満である場合に比較して少なく設定し、
前記移動量情報が前記第3閾値未満である場合は、時間軸に連続する間引き対象フレームを、前記移動量情報が前記第3閾値以上である場合に比較して多く設定した時間軸方向の間引き処理を実行する構成であることを特徴とする請求項1に記載の動画像変換装置。 - 前記ブロック処理部は、
圧縮率1/2の時間方向間引き処理を連続4フレームを処理単位として実行する構成である場合、
前記移動量情報が前記第3閾値以上である場合は、1番目のフレームと3番目のフレームを残し、2番目と4番目のフレームを間引く時間軸方向の間引き処理を実行し、
前記移動量情報が前記第3閾値未満である場合は、1番目のフレームと4番目のフレームを残し、2番目と3番目のフレームを間引く時間軸方向の間引き処理を実行する構成であることを特徴とする請求項2に記載の動画像変換装置。 - 時間方向の間引き処理データを含む動画像変換データの復元処理を実行する動画像復元装置であり、
時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成するブロック補間部を有し、
前記ブロック補間部は、
時間間引きされなかったフレームの入力ブロックを、より時間的に近い時間間引きフレームにコピーして復元ブロックを生成し、入力ブロック対応の移動量情報に従って、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であり、
復元対象となる入力ブロックは、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、超解像効果発生条件を規定した式、すなわち、速度vピクセル/フレームで動く対象物をmピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式(式a),(式b)で示す超解像効果発生条件を満足するように前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、
前記ブロック補間部は、
前記移動量情報に基づく間引き処理によって間引かれたフレームを復元するように、復元対象として入力されたブロックの時間方向の間引き処理の態様に応じて、フレーム間での復元ブロックの移動方向を、より時間的に近いフレーム間移動となるように選択して、動画像データ復元を行なう構成であることを特徴とする動画像復元装置。 - 前記ブロック補間部は、
移動を伴う補間が実行されたブロックについてフィルタ処理による帯域制限処理を実行する構成を有することを特徴とする請求項4に記載の動画像復元装置。 - 前記動画像復元装置は、
復元対象ブロックの移動量に基づいて、該ブロックが時間方向の間引きがなされたデータであるか否かを判定し、
前記ブロック補間部は、
前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、移動量情報に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であることを特徴とする請求項4に記載の動画像復元装置。 - 前記動画像復元装置は、
時間方向の間引きがなされたデータであるか否かを示すフラグに基づいて、復元対象ブロックが時間方向の間引きがなされたデータであるか否かを判定し、
前記ブロック補間部は、
前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、移動量情報に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であることを特徴とする請求項4に記載の動画像復元装置。 - 前記動画像復元装置は、
移動量検出部を有し、該移動量検出部の検出した移動量に従って、該ブロックが時間方向の間引きがなされたデータであるか否かを判定し、
前記ブロック補間部は、
前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、前記移動量に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であることを特徴とする請求項4に記載の動画像復元装置。 - 前記移動量検出部は、
異なるフレームの対応ブロックに基づく動きベクトルを検出する処理を実行し、
前記ブロック補間部は、
前記動きベクトルに基づいて、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なう構成であることを特徴とする請求項8に記載の動画像復元装置。 - 動画像データのデータ変換処理を実行する動画像変換方法であり、
動画像データを構成するフレーム毎にブロック分割処理を実行するブロック分割ステップと、
前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出する移動量検出ステップと、
前記ブロック分割ステップにおいて分割したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行するブロック処理ステップとを有し、
前記ブロック処理ステップは、
間引き処理対象のブロックが、前記移動量検出ステップにおいて検出した移動量と、処理態様決定するために予め規定した第1閾値、第2閾値と比較し、
検出した前記移動量が第1閾値以上である場合は移動量が大、
検出した前記移動量が第1閾値未満であり第2閾値以上である場合は移動量が中、
検出した前記移動量が第2閾値未満である場合は移動量が小、
であると判定し、前記移動量が大、中、小のいずれの分類に属するかに応じて実行する間引き態様を変更し、
前記移動量が大である場合は、空間間引き処理、
前記移動量が小である場合は、時間方向間引き処理、
前記移動量が中である場合は、空間間引き処理と時間方向間引き処理を実行し、
前記移動量が中である場合の時間方向間引き処理において、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行ない、
時間方向間引き処理の実行においては、前記移動量情報に基づいて間引き対象フレームを変更した間引き処理として、
予め規定した超解像効果発生条件を規定した式、すなわち、速度vピクセル/フレームで動く対象物をmピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式(式a),(式b)で示す超解像効果発生条件を満足する間引き態様を前記移動量情報に基づいて決定し、決定した間引き態様に一致するように間引き対象フレームを変更して間引き処理を行なうことを特徴とする動画像変換方法。 - 前記ブロック処理ステップは、
前記移動量が第1閾値未満の前記移動量が中または小の場合に実行する時間方向間引き処理の実行において、
前記超解像効果発生条件を満足する移動量と間引き態様との対応関係に従って設定した間引き態様変更点となる移動量閾値であり、前記第1閾値未満の閾値である第3閾値と前記移動量情報との比較を実行し、
前記移動量情報が前記第3閾値以上である場合は、時間軸に連続する間引き対象フレームを、前記移動量情報が前記第3閾値未満である場合に比較して少なく設定し、
前記移動量情報が前記第3閾値未満である場合は、時間軸に連続する間引き対象フレームを、前記移動量情報が前記第3閾値値以上である場合に比較して多く設定した時間軸方向の間引き処理を実行することを特徴とする請求項10に記載の動画像変換方法。 - 前記ブロック処理ステップは、
圧縮率1/2の時間方向間引き処理を連続4フレームを処理単位として実行する場合、
前記移動量情報が前記第3閾値以上である場合は、1番目のフレームと3番目のフレームを残し、2番目と4番目のフレームを間引く時間軸方向の間引き処理を実行し、
前記移動量情報が前記第3閾値未満である場合は、1番目のフレームと4番目のフレームを残し、2番目と3番目のフレームを間引く時間軸方向の間引き処理を実行することを特徴とする請求項11に記載の動画像変換方法。 - 時間方向の間引き処理データを含む動画像変換データの復元処理を実行する動画像復元方法であり、
時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成するブロック補間ステップを有し、
前記ブロック補間ステップは、
時間間引きされなかったフレームの入力ブロックを、より時間的に近い時間間引きフレームにコピーして復元ブロックを生成し、入力ブロック対応の移動量情報に従って、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうステップであり、
復元対象となる入力ブロックは、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、超解像効果発生条件を規定した式、すなわち、速度vピクセル/フレームで動く対象物をmピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式(式a),(式b)で示す超解像効果発生条件を満足するように前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、
前記ブロック補間ステップは、
前記移動量情報に基づく間引き処理によって間引かれたフレームを復元するように、復元対象として入力されたブロックの時間方向の間引き処理の態様に応じて、フレーム間での復元ブロックの移動方向を、より時間的に近いフレーム間移動となるように選択して、動画像データ復元を行なうステップであることを特徴とする動画像復元方法。 - 前記ブロック補間ステップは、
移動を伴う補間が実行されたブロックについてフィルタ処理による帯域制限処理を実行するステップを有することを特徴とする請求項13に記載の動画像復元方法。 - 前記動画像復元方法は、さらに、
復元対象ブロックの移動量に基づいて、該ブロックが時間方向の間引きがなされたデータであるか否かを判定するステップを有し、
前記ブロック補間ステップは、
前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、移動量情報に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうことを特徴とする請求項13に記載の動画像復元方法。 - 前記動画像復元方法は、さらに、
時間方向の間引きがなされたデータであるか否かを示すフラグに基づいて、復元対象ブロックが時間方向の間引きがなされたデータであるか否かを判定するステップを有し、
前記ブロック補間ステップは、
前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、移動量情報に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうことを特徴とする請求項13に記載の動画像復元方法。 - 前記動画像復元方法は、さらに、
移動量検出ステップを有し、該移動量検出ステップにおいて検出した移動量に従って、該ブロックが時間方向の間引きがなされたデータであるか否かを判定し、
前記ブロック補間ステップは、
前記判定に基づいて選択された時間方向の間引きがなされたブロックについて、前記移動量に従ってフレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうことを特徴とする請求項13に記載の動画像復元方法。 - 前記移動量検出ステップは、
異なるフレームの対応ブロックに基づく動きベクトルを検出する処理を実行するステップであり、
前記ブロック補間ステップは、
前記動きベクトルに基づいて、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なうことを特徴とする請求項17に記載の動画像復元方法。 - 動画像変換装置において、動画像データのデータ変換処理を実行させるコンピュータ・プログラムであり、前記データ変換処理は、
ブロック分割部に、動画像データを構成するフレーム毎にブロック分割処理を実行させるブロック分割ステップと、
移動量検出部に、前記ブロック分割ステップにおいて分割された各ブロックにおける被写体移動量を検出させる移動量検出ステップと、
ブロック処理部に、前記ブロック分割ステップにおいて分割したブロックデータと、前記移動量検出ステップにおいて検出した移動量情報とを入力し、ブロックデータの間引き処理を実行させるブロック処理ステップとを前記動画像変換装置に実行させ、
前記ブロック処理ステップにおいては、
間引き処理対象のブロックが、前記移動量検出ステップにおいて検出した移動量と、処理態様決定するために予め規定した第1閾値、第2閾値と比較させ、
検出した前記移動量が第1閾値以上である場合は移動量が大、
検出した前記移動量が第1閾値未満であり第2閾値以上である場合は移動量が中、
検出した前記移動量が第2閾値未満である場合は移動量が小、
であると判定し、前記移動量が大、中、小のいずれの分類に属するかに応じて実行する間引き態様を変更させ、
前記移動量が大である場合は、空間間引き処理、
前記移動量が小である場合は、時間方向間引き処理、
前記移動量が中である場合は、空間間引き処理と時間方向間引き処理を実行させ、
前記移動量が中である場合の時間方向間引き処理において、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理を行なわせ、
時間方向間引き処理の実行においては、前記移動量情報に基づいて間引き対象フレームを変更した間引き処理として、
予め規定した超解像効果発生条件を規定した式、すなわち、速度vピクセル/フレームで動く対象物をmピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式(式a),(式b)で示す超解像効果発生条件を満足する間引き態様を前記移動量情報に基づいて決定し、決定した間引き態様に一致するように間引き対象フレームを変更して間引き処理を行なわせることを特徴とするコンピュータ・プログラム。 - 動画像復元装置において、時間方向の間引き処理データを含む動画像変換データの復元処理を実行させるコンピュータ・プログラムであり、前記動画像データの復元処理は、
ブロック補間部に、時間方向の間引き処理のなされた動画像変換データをブロック単位で入力し、時間軸方向の異なるフレームに対応する複数ブロックの画素値を補間処理によって算出し、複数フレームの復元ブロックを生成させるブロック補間ステップを前記動画像復元装置に実行させ、
前記ブロック補間ステップにおいては、
時間間引きされなかったフレームの入力ブロックを、より時間的に近い時間間引きフレームにコピーして復元ブロックを生成し、入力ブロック対応の移動量情報に従って、フレーム間で前記移動量分だけ復元ブロックを移動させて、動画像データ復元を行なわせ、
復元対象となる入力ブロックは、前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、超解像効果発生条件を規定した式、すなわち、速度vピクセル/フレームで動く対象物をmピクセルで空間方向に間引いた場合の超解像効果発生条件を規定した下記式、
上記式(式a),(式b)で示す超解像効果発生条件を満足するように前記移動量情報に基づいて間引き対象フレームを変更して間引き処理がなされたブロックであり、
前記ブロック補間ステップにおいては、
前記移動量情報に基づく間引き処理によって間引かれたフレームを復元するように、復元対象として入力されたブロックの時間方向の間引き処理の態様に応じて、フレーム間での復元ブロックの移動方向を、より時間的に近いフレーム間移動となるように選択して、動画像データ復元を行なわせることを特徴とするコンピュータ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004233360A JP4590975B2 (ja) | 2004-08-10 | 2004-08-10 | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004233360A JP4590975B2 (ja) | 2004-08-10 | 2004-08-10 | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006054569A JP2006054569A (ja) | 2006-02-23 |
JP4590975B2 true JP4590975B2 (ja) | 2010-12-01 |
Family
ID=36031773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004233360A Expired - Fee Related JP4590975B2 (ja) | 2004-08-10 | 2004-08-10 | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4590975B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5691374B2 (ja) * | 2010-10-14 | 2015-04-01 | 富士通株式会社 | データ圧縮装置 |
US11836147B2 (en) | 2019-03-25 | 2023-12-05 | Nec Corporation | Information processing apparatus, analysis system, data aggregation method, and computer readable medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02504458A (ja) * | 1988-05-20 | 1990-12-13 | エヌ ベー フィリップス フルーイランペンファブリケン | 低減されたデータスループットを持つ高精細度テレビジョン送受信系 |
JPH07222145A (ja) * | 1994-01-31 | 1995-08-18 | Mitsubishi Electric Corp | 画像符号化装置 |
JP2004023670A (ja) * | 2002-06-19 | 2004-01-22 | Nec Corp | 画像符号化装置および同方式 |
-
2004
- 2004-08-10 JP JP2004233360A patent/JP4590975B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02504458A (ja) * | 1988-05-20 | 1990-12-13 | エヌ ベー フィリップス フルーイランペンファブリケン | 低減されたデータスループットを持つ高精細度テレビジョン送受信系 |
JPH07222145A (ja) * | 1994-01-31 | 1995-08-18 | Mitsubishi Electric Corp | 画像符号化装置 |
JP2004023670A (ja) * | 2002-06-19 | 2004-01-22 | Nec Corp | 画像符号化装置および同方式 |
Also Published As
Publication number | Publication date |
---|---|
JP2006054569A (ja) | 2006-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4779434B2 (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
TWI324481B (en) | Method and apparatus for encoding/decoding video signal using reference pictures | |
CA2570090C (en) | Representing and reconstructing high dynamic range images | |
JP5727873B2 (ja) | 動きベクトル検出装置、符号化装置、及びこれらのプログラム | |
JP2020528246A (ja) | 画像処理方法、デバイス、及びシステム | |
EP2265024A2 (en) | Scalable image encoding device and scalable image decoding device | |
US8126281B2 (en) | Image processing apparatus, method, and computer-readable medium for generating motion compensation images | |
WO2007030716A2 (en) | Bit-rate reduction of multimedia data streams | |
JP2014171097A (ja) | 符号化装置、符号化方法、復号装置、および、復号方法 | |
JP5140638B2 (ja) | 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム | |
JP4735063B2 (ja) | 動画像変換装置、動画像変換方法、及びコンピュータ・プログラム | |
JP2015536108A (ja) | 映像圧縮方法 | |
JP2008219876A (ja) | 動画像符号化装置、動画像符号化方法、及び、動画像復号化装置 | |
JP2007174283A (ja) | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム | |
EP3373584B1 (en) | Content adaptive and art directable scalable video coding | |
KR102345770B1 (ko) | 비디오 부호화 및 복호화 방법, 그를 이용한 장치 | |
JP5691374B2 (ja) | データ圧縮装置 | |
KR101690253B1 (ko) | 영상 처리 장치 및 그 방법 | |
KR101710883B1 (ko) | 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법 | |
JP4590975B2 (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
JP4552691B2 (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
JP5140637B2 (ja) | 時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム | |
JP5255116B2 (ja) | インタレース画像の符号化方法、符号化装置、及び符号化プログラム | |
JP2005348320A (ja) | 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム | |
US20140072045A1 (en) | Image processing apparatus, image processing system, and computer-implemented method for processing image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070803 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100126 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100817 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100830 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |