JP5691374B2 - データ圧縮装置 - Google Patents

データ圧縮装置 Download PDF

Info

Publication number
JP5691374B2
JP5691374B2 JP2010231649A JP2010231649A JP5691374B2 JP 5691374 B2 JP5691374 B2 JP 5691374B2 JP 2010231649 A JP2010231649 A JP 2010231649A JP 2010231649 A JP2010231649 A JP 2010231649A JP 5691374 B2 JP5691374 B2 JP 5691374B2
Authority
JP
Japan
Prior art keywords
block
image
unit
flag
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010231649A
Other languages
English (en)
Other versions
JP2012085214A (ja
Inventor
森岡　清訓
清訓 森岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2010231649A priority Critical patent/JP5691374B2/ja
Priority to US13/269,731 priority patent/US20120093227A1/en
Publication of JP2012085214A publication Critical patent/JP2012085214A/ja
Application granted granted Critical
Publication of JP5691374B2 publication Critical patent/JP5691374B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本件開示は、動画像データの圧縮に利用可能なデータ圧縮装置に関する。
地上デジタル放送などのデジタルテレビ放送を録画する録画装置として、トランスコーダ(トランスレータ)を備えた録画装置が広く市販されている。トランスコーダは、受信した番組をハードディスク装置やブルーレイディスクなどの記録媒体に記録する際に、圧縮率を高めて、再度、動画像データを符号化する装置である。
トランスコーダでは、動画像データに含まれる各フレームの画像を縮小することによってデータ量の圧縮を図る場合がある。そして、画像を縮小したことによって失われた画像の解像度を、超解像技術を適用することによって回復させる機能を備えたトランスコーダも提案されている。
超解像技術は、縮小された動画シーケンスのうち、対象フレームの縮小画像の時間的に前後に位置する複数のフレームの縮小画像を利用して、対象フレームの縮小画像に含まれる各画素の画素値の補間処理を行う技術である。例えば、画面内に捉えられた被写体の移動などによって各フレームの縮小画像に含まれる対応画素の画素値が変化するので、このような補間処理により、元の解像度に近い画像を復元することができる。なお、超解像技術については、非特許文献1を参照されたい。
しかし、被写体の動きが少ない動画シーケンスでは、時間的に連続するフレーム間で縮小画像に含まれる各画素の画素値の変化が乏しい。このため、被写体の動きが少ない動画シーケンスでは、上述したような補間処理による解像度の回復は困難である。
静止した被写体を捉えた画像に対して、超解像技術の適用を図るために、例えば、入力画像ごとに、撮像系を変位させる、あるいは、縮小画像を生成するための間引き処理および混合処理のための読出開始位置を変える手法が提案されている(特許文献１、２参照)。これらの従来の手法では、入力画像ごとに、フレーム内で一様な変位が与えられている。そして、この変位に応じた画素値の変化を補間処理に利用することによって、撮像素子の解像度を超える高い解像度を持つ静止画像が生成されている。
特許第３１９０２２０号 特開２００８−３３９１４号公報
S. C. Park, M. K. Park, and M. G. Kang., "Super-resolution image reconstruction: a technical overview", IEEE Signal Processing Magazine, 26(3):21-36, May 2003.
上述した従来の手法では、超解像による解像度復元のための補間処理に利用される情報は、入力画像ごとに、フレーム内で一様な変位を周期的に与えることによって生成されている。したがって、この手法を、トランスコーダなどにおける動画像の再圧縮符号化処理にそのまま適用すると、記録された再圧縮符号化データから復元される動画像に不自然な周期振動が現れる場合がある。また、トランスコーダにおいて、上述したような一様な変位が与えられた画像に対応する縮小画像のシーケンスに対して符号化処理を行うと、動画像データを十分に圧縮記録できない可能性がある。なぜなら、周期的で画面一様な変位と高周波成分の折り返しによる歪により、圧縮効率が低下するおそれがあるからである。
本件開示は、圧縮効率および復元される動画像の品質を維持しつつ、復号側での解像度の向上に必要な情報を織り込んで動画像データの圧縮を行うデータ圧縮装置を提供することを目的とする。
上述した目的は、以下に開示するデータ圧縮装置によって達成することができる。
一つの観点によるデータ圧縮装置は、１フレームに対応する画像データを複数のブロックに分割する分割回路と、複数のブロックの少なくとも一のブロックの動きベクトルを検出するとともに、当該ブロックの画像の特徴量として平坦さを示す指標値またはエッジ強度を抽出する検出回路と、ブロックについて、動きベクトルの長さが所定の閾値以下であり、かつ、特徴量が所定の閾値以上であるときに、フラグを設定するフラグ設定回路と、フラグが設定された第１ブロックに対して第１縮小処理を行い、フラグが設定されない第２ブロックに対して第２縮小処理を行い、第１縮小処理で所定のサンプリング開始位置から所定の変分だけずらした位置を開始位置とする第１位相でのサンプリング処理を行い、第２縮小処理で所定のサンプリング開始位置を開始位置とする第２位相でのサンプリング処理を行う縮小回路と、縮小回路の処理後のデータについて、第１ブロックに対応するデータであるときに、所定の量子化パラメータよりも小さく設定した量子化パラメータを用いた第１符号化処理を行い、第２ブロックに対応するデータであるときに、所定の量子化パラメータを用いた第２符号化処理を行う符号化回路とを含む。
本件開示のデータ圧縮装置によれば、圧縮効率および復元される動画像の品質を維持しつつ、復号側での解像度の向上に必要な情報を織り込んで動画像データの圧縮を行うことができる。
データ圧縮装置の一実施形態を示す図である。 低解像度画像を生成する処理を説明する図である。 フラグの設定を説明する図である。 低解像度画像を生成する処理を表す流れ図である。 変分の付加に用いる関数の例を示す図である。 フィルタ係数算出処理を説明する図である。 フィルタ係数算出動作の一例を表す流れ図である。 低解像度画像のシーケンスを符号化する処理を表す流れ図である。 データ復元装置に備えられる解像度変換部の一実施形態を示す図である。 低解像度画像から高解像度画像への解像度変換動作を表す流れ図(その１)である。 低解像度画像から高解像度画像への解像度変換動作を表す流れ図(その２)である。 データ圧縮装置およびデータ復元装置の別実施形態を示す図である。 ブロック判別部の別実施形態を示す図である。
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
(データ圧縮装置の一実施形態)
図１に、データ圧縮装置の一実施形態を示す。図１に示したトランスコーダの一例は、データ圧縮装置１０１と、記録媒体１０２とデータ復元装置１０３とを備えている。
図１に示したデータ圧縮装置１０１は、ブロック判別部１１０と、解像度変換部１２０と、動画像符号化部１３０とを備えている。このデータ圧縮装置１０１には、入力ポートＰｉｎを介して圧縮対象の動画像データが入力される。
ブロック判別部１１０および解像度変換部１２０は、入力される動画像データの各フレームを区分して得られる複数のブロックそれぞれについて、後述する判別処理および低解像度画像への変換処理を行う。ブロック判別部１１０は、各ブロックに対応する画像データの部分が、動きのある被写体を表しているか否かを判別する処理を行う。ブロック判別部１１０による判別結果は、各ブロックに設定されるフラグの値として解像度変換部１２０および動画像符号化部１３０に渡される。解像度変換部１２０は、変換対象のブロックに設定されたフラグに応じて、異なる空間フィルタを用いた解像度変換処理を行う。
動画像符号化部１３０は、解像度変換部１２０によって生成される低解像度画像のシーケンスについて、例えば、Ｈ．２６４規格に基づく動画像符号化処理を行う。この動画像符号化処理で得られた符号化データは、ハードディスク装置やブルーレイディスク装置などの記録媒体に記録される。
図１の例では、動画像符号化部１３０は、整数精度インター予測部１３１、小数精度インター予測部１３２、イントラ予測部１３３、符号化ループ部１３４、符号化制御部１３５およびフラグ重畳部１３６を備えている。
整数精度インター予測部１３１、小数精度インター予測部１３２、イントラ予測部１３３および符号化ループ部１３４には、解像度変換部１２０で生成された低解像度画像が入力される。これらの各部は、入力される低解像度画像について、マクロブロック単位でそれぞれの処理を実行する。符号化制御部１３５は、処理対象のマクロブロックに対応するフラグに基づいて、整数精度インター予測部１３１、小数精度インター予測部１３２、イントラ予測部１３３による予測処理および符号化ループ部１３４の符号化処理を制御する。フラグ重畳部１３６は、符号化ループ部１３４で生成されるストリームデータに、たとえば、各マクロブロックに対応するフラグを示す情報を重畳する処理を行う。したがって、図１に示した記録媒体１０２には、フラグの情報を含んだストリームデータが格納される。
図１に示したデータ復元装置１０３は、上述したデータ圧縮装置１０１によって圧縮された圧縮動画像データから、高解像度の動画像を復元する。このデータ復元装置１０３は、動画像復号部１４０と、フラグ抽出部１５０と、解像度変換部１６０とを備えている。記録媒体１０２から読み出された圧縮動画像データは、動画像復号部１４０に入力される。動画像復号部１６０では、例えば、Ｈ．２６４規格に基づく復号処理を行うことにより、低解像度画像のシーケンスを復元する。復元された低解像度画像のシーケンスは、解像度変換部１６０に入力される。また、この復号処理と並行して、フラグ抽出部１５０により、ストリームデータに重畳されたフラグの情報が抽出される。抽出されたフラグの情報も、解像度変換部１６０に渡される。この解像度変換部１６０は、低解像度画像のシーケンスに含まれる各フレームに対して、復元済みの参照画像の情報を利用した超解像処理を行うことにより、高解像度画像を生成する。生成された高解像度画像は、出力ポートＰｏｕｔを介して、図示しない表示装置などに出力される。
図２に、データ圧縮装置において低解像度画像を生成する処理を説明する図を示す。図２には、ブロック判別部１１０および解像度変換部１２０の構成例が示されている。
図２に示した例では、ブロック判別部１１０は、動きベクトル検出部１１１と、特徴抽出部１１２と、フラグ設定回路１１３とを備えている。動きベクトル検出部１１１には、入力ポートＤｉｎを介して、動きベクトル検出のための参照画像が入力される。例えば、圧縮対象フレームの直前フレームの画像を、参照画像として利用することができる。
動きベクトル検出部は、圧縮対象フレームの画像に含まれる各ブロックに類似した画像の範囲を参照画像から探索する処理を行う。この探索結果に基づいて、動きベクトル検出部は、各ブロックについての動きベクトルを求める。求められた動きベクトルは、フラグ設定回路１１３に渡される。
特徴抽出部１１２は、圧縮対象フレームの各ブロックの画像について、平坦さを示す指標値やエッジ強度などを含む特徴量を求める処理を行う。特徴抽出部１１２は、各ブロックの画像の特徴量として、平坦さを示す指標値とエッジ強度との両方を求めてもよいし、いずれか一方のみを求めてもよい。なお、平坦さを示す指標値Ｓは、例えば、ブロック内の各画素の輝度値Ｂ(ｘ，ｙ)とブロック内の輝度値の平均Ｂａｖとを用いて、式(１)のように表すことができる。なお、各画素がＲＧＢ成分を含む画素値で表される場合などには、これらの各成分の値に基づいて、指標値Ｓの算出を行うこともできる。
Figure 0005691374
上述した平坦さを示す指標値Ｓおよびエッジ強度は、いずれも、当該ブロックの画像がディティールを持っているか否かを示している。つまり、特徴抽出部１１２では、各ブロックの画像が動きベクトルの検出を高精度に実行可能な程度にディティールを持っているか否かを示すような特徴量を求めればよい。このようにして求められた特徴量は、フラグ設定回路１１３に渡される。
フラグ設定回路１１３は、各ブロックに対応して求められた動きベクトルおよび画像の特徴量が、それぞれ所定の条件を満たすか否かに基づいて、当該ブロックの画像が静止しているか否かを判定する。例えば、フラグ設定回路１１３は、動きベクトルの長さが所定の閾値Ｔｈｖ以下である場合に、動きベクトルについての条件を満たすと判定することができる。この閾値Ｔｈｖの値は、低解像度画像の１画素を生成する際に、画素値が反映される高解像度画像の範囲に基づいて決定することができる。例えば、高解像度画像の３画素かける３画素の範囲を参照して低解像度画像の１画素が生成される場合の閾値Ｔｈｖの値は、１〜２画素に相当する長さとすればよい。
また、フラグ設定回路１１３は、例えば、平坦さを示す指標値Ｓが別の所定の閾値Ｔｈｓ以上である場合に、特徴量についての条件を満たすと判定することができる。なお、フラグ設定回路１１３は、エッジ強度が別の所定の閾値Ｔｈａ以上である場合に、特徴量についての条件を満たすと判定してもよい。上述したような特徴量についての条件が満たされる場合は、そのブロックについて検出された動きベクトルは信頼性が高い。
つまり、図２に示した構成例では、動きベクトル検出部１１１および特徴抽出部１１２とにより、各ブロックについて信頼性の高い動きベクトルを検出する検出回路１１４が実現されている。そして、フラグ設定回路１１３は、動きベクトルについての条件と特徴量についての条件の双方が満たされた場合に、当該ブロックの画像は静止していると判定する。そして、フラグ設定回路１１３は、例えば、静止していると判定したブロックのフラグに「真」を示す値を設定し、他のブロックのフラグには「偽」を示す値を設定する。このフラグ設定回路１１３によって「真」を示すフラグが設定されたブロックは第１ブロックに相当する。そして、「偽」を示すフラグが設定されたブロックは第２ブロックに相当する。
図３に、フラグの設定を説明する図を示す。図３(Ａ)，(Ｂ)に示した例では、１フレームの画像は、縦５ブロック×横７ブロックに区切られている。また、図３(Ａ)，(Ｂ)に示した例では、各ブロックを太い点線で区切って示した。なお、ブロックの分割は、図３に示した例に限らず、縦Ｍブロック×横Ｎブロックに分割することができる。
図３(Ａ)に、圧縮対象フレームの画像の例を示す。図３(Ａ)に示した例では、圧縮対象の画像には、移動している自動車と、その背景にある静止している樹木および壁が写っている。図３(Ａ)において一点鎖線で囲んだ領域には、規則的な模様が現れている壁や樹木のように、静止しており、かつ、ディティールがある被写体の少なくとも一部を表すブロックが含まれている。図３(Ａ)に示した例では、一点鎖線で囲んだ領域に含まれる各ブロックは、上述したブロック判別部１１０により、第１ブロックとして判別される。一方、移動する自動車の一部を表す画像を含むブロックは、動きベクトルが上述した条件を満たさない。したがって、これらのブロックは、第２ブロックと判定される。また、道路の一部や空や雲を表す画像を含むブロックは、特徴量についての上述した条件を満たさない。したがって、これらのブロックも、ブロック判別部１１０によって第２ブロックと判定される。図３(Ｂ)の例では、図３(Ａ)に示した画像に含まれる各ブロックついての判別結果を示した。図３(Ｂ)において、「真」を示す値が設定されたフラグに対応する第１ブロックは、網掛けを付して示されている。
次に、ブロック判別部１１０によって各ブロックに設定されたフラグに基づいて、解像度変換部１２０が第１ブロックと第２ブロックとについて、それぞれ異なる解像度変換処理を行う方法について説明する。
図２に示した解像度変換部１２０は、高解像度バッファメモリ１２１と、第１フィルタ１２２と、第２フィルタ１２３と、フィルタ係数算出部１２４と、スイッチ１２５と、間引き処理部１２６と、低解像度バッファメモリ１２７とを備えている。動画像データに含まれる圧縮対象のフレームの画像データは、高解像度バッファメモリ１２１を介して、第１フィルタ１２２と第２フィルタ１２３とに入力される。第２フィルタ１２３には、予め設定された第２通過特性を持つフィルタ係数が設定されている。一方、第１フィルタ１２２のフィルタ係数は、フィルタ係数算出部１２４により、別の第１通過特性に基づいて算出される。フィルタ係数算出部１２４は、例えば、圧縮対象のフレームの番号や圧縮対象のブロックのフレーム内での位置を、フィルタ係数の算出に利用することができる。図２に示した例では、入力ポートＴｉｎを介して、圧縮対象フレームのフレーム番号および圧縮対象のブロックに含まれる各画素の位置情報が、フィルタ係数算出部１２４に入力されている。
スイッチ１２５は、各ブロックに対応して設定されたフラグの値に応じて、第１フィルタ１２２あるいは第２フィルタ１２３の出力を選択的に間引き処理部１２６に入力する。したがって、第１ブロックについては、第１フィルタ１２２の出力が間引き処理部１２６に入力され、第２ブロックについては、第２フィルタ１２３の出力が間引き処理部１２６に入力される。間引き処理部１２６は、スイッチ１２５を介して受け取った画像データに対して所定の割合の間引き処理を行い、低解像度画像を生成する。生成された低解像度画像は、低解像度バッファメモリ１２７を介して動画像符号化部１３０に渡される。つまり、図２に示した解像度変換部１２０は、第１フィルタ１２２および第２フィルタ１２３を用いて縮小処理を行う縮小回路の一実施形態である。
図４に、低解像度画像を生成する処理を表す流れ図を示す。図４に示した例では、ステップＳ２〜Ｓ７は、上述したブロック判別部１１０に含まれる各部の処理に相当する。また、ステップＳ８〜ステップＳ１４は、解像度変換部１２０に含まれる各部の処理に相当する。
ステップＳ１で圧縮対象のフレームに含まれる各ブロックが順次に読み込まれる。そして、ブロック判別部１１０の特徴抽出部１１２および動きベクトル検出部１１１により、それぞれ当該ブロックの画像の特徴量の抽出および動きベクトルＶの検出が行われる（Ｓ２，Ｓ３）。次いで、フラグ設定回路１１３により、上述した動きベクトルＶについての条件と特徴量についての条件とに基づく判定が行われる(ステップＳ４，Ｓ５)。そして、フラグ設定回路１１３は、ステップＳ４およびＳ５の両方が肯定判定となったときに、当該ブロックのフラグに「真」を示す値を設定する(ステップＳ６)。一方、ステップＳ４、Ｓ５の少なくとも一方が否定判定となった場合に、フラグ設定回路１１３は、当該ブロックのフラグに「偽」を示す値を設定する(ステップＳ７)。
解像度変換部１２０の処理では、まず、生成する低解像度画像の画素に対応する縮小前の高解像度画像の範囲に含まれる各画素の位置が算出される(ステップＳ８)。次に、これらの画素が含まれるブロックに設定されたフラグを全て参照する。これらのフラグのうち、少なくとも一つのフラグが「真」を示す値である場合に（ステップＳ９の肯定判定）、第１フィルタ１２２の出力がスイッチ１２５を介して間引き処理部１２６に入力される(ステップＳ１０)。この場合に、間引き処理部１２６では、規定のサンプリング開始位置から変分(ｐｘ、ｐｙ)だけずれた位置を開始位置としてサンプリングを行う(ステップＳ１１)。したがって、縮小前の高解像度画像の範囲に含まれる画素の少なくともひとつが第１ブロックに含まれる場合は、変分(ｐｘ、ｐｙ)に相当する位相ズレ分だけ規定の位相からずれた第１位相でのサンプリングによって縮小画像の画素値が決定される。なお、サンプリング開始位置に適用する変分(ｐｘ、ｐｙ)は、例えば、生成する低解像度画像の画素に対応する高解像度画像の画素の座標やフレーム番号に基づいて決定することができる。
一方、ステップＳ９の否定判定の場合は、第２フィルタ１２３の出力がスイッチ１２５を介して間引き処理部１２６に入力される(ステップＳ１２)。この場合に、間引き処理部１２６では、規定のサンプリング開始位置からサンプリングを行う(ステップＳ１３)。したがって、縮小前の高解像度画像の範囲に含まれる全ての画素が第２ブロックに含まれる場合は、規定のサンプリング開始位置から開始される第２位相のサンプリングによって縮小画像の画素値が決定される。
次に、ステップＳ１で読み込まれたブロック内の全ての画素についての低解像度画像生成処理が終了したか否かが判定される(ステップＳ１４)。ステップＳ１４の否定判定の場合は、ステップＳ８に戻って、未生成の縮小画像の画素についての処理を行う。一方、ステップＳ１４の肯定判定の場合は、圧縮対象フレームに含まれる全てのブロックについての処理が終了したか否かが判定される(ステップＳ１５)。ステップＳ１５の否定判定の場合は、ステップＳ１に戻って、新たなブロックの読み込みが行われる。このようにしてステップＳ１〜ステップＳ１５を繰り返して実行し、全てのブロックに対応する低解像度画像の生成が終了したときに(ステップＳ１５の肯定判定)、低解像度画像生成処理は終了する。
上述したようにして、圧縮対象フレームに含まれる第１ブロックに対して、ステップＳ１０，Ｓ１１に示したような第１圧縮処理を適用し、第２ブロックに対して、ステップＳ１２，Ｓ１３に示したような第２圧縮処理を適用することができる。上述した例では、第１の圧縮処理は、第１フィルタ１２２による第１通過特性を有するフィルタ処理と、間引き処理部１２６による位相をずらした第１位相でのサンプリング処理とを含んでいる。一方、第２の圧縮処理は、第２フィルタ１２３による第２通過特性を有するフィルタ処理と、間引き処理部１２６による第２位相でのサンプリング処理とを含んでいる。
このような解像度変換処理を行うことにより、静止している被写体が写っている部分の画像についても、複数フレームの低解像度画像から高解像度画像を生成するために必要とされる情報を付加することができる。つまり、静止している被写体に上述した変分に相当する動きがあった場合と同様に、現フレームと前フレームの縮小画像に含まれる対応画素の画素値に変化を生じさせることができる。
本件開示のデータ圧縮装置では、上述した変分を付加する処理は、フラグ設定回路１１３によってフラグが設定された第１ブロックについてのみ選択的に実行される。例えば、図３(Ｂ)に網掛けを付して示したブロックの画像データから低解像度画像を生成するときに、選択的に実行される。また、本件開示のデータ圧縮装置では、第１ブロックのサンプリング開始位置に付加する変分の値の変動周期を自由に設定することができる。したがって、例えば、人間の視覚によって周期的な振動として捉えにくい長さの周期で上述した変分を変動させることもできる。また、上述した変動周期が揺らぎを持つように制御することもできる。それ故、本件開示のデータ圧縮装置によって生成される低解像度画像のシーケンスから高解像度画像のシーケンスを復元した場合に、復元された高解像度画像のシーケンスにおいて、周期的な振動が知覚されるおそれは少ない。
このような効果は、付加する変分(ｐｘ、ｐｙ)の大きさを、例えば、式(２)に示すようなフレーム番号ｎのみの関数に基づいて算出した場合にも得ることができる。なお、式(２)において、定数ａ，ｂ，ｃ，ｄ，ｅ，ｆは、様々な動画シーケンスについてのシミュレーション結果などに基づいて決定することができる。
(ｐｘ、ｐｙ)＝ａ＊ｓｉｎ（ｂ＊ｎ＋ｃ），ｄ＊ｃｏｓ（ｅ＊ｎ＋ｆ） ・・・（２）
また、式(２)で例示した関数のほかにも、フレーム番号と縮小前の画素位置あるいはブロック位置との関数に基づいて、変分(ｐｘ、ｐｙ)を決定するために様々な関数を用いることができる。
図５に、変分の付加に用いる関数の例を示す。図５(Ａ)に、画面の中心から同心円状に値が変化する関数の例を示す。また、図５(Ｂ)に、画面上に複数の同心円をちりばめた関数の例を示す。
図５(Ａ)に示した例では、同心円状に値が変化する関数にフレーム番号ｎに応じた位相を設定して、変分(ｐｘ、ｐｙ)の値を決定することができる。また、図５(Ｂ)に示した例では、画面上に配置する同心円状のパターンの中心位置をフレーム番号ｎに対応して変化させることや、フレーム番号ｎに応じた位相によって変分(ｐｘ、ｐｙ)の値を決定することもできる。なお、同心円状の関数では、中心から周辺へ向かって値の振幅が減衰するものがより好ましい。
また、フレーム番号を乱数のシードとする擬似乱数によって、変分(ｐｘ、ｐｙ)を決定することもできる。また、フレーム番号と画素位置(Ｘ，Ｙ)の線形関数を用いて変分(ｐｘ、ｐｙ)の値を生成することもできる。更に、フレーム番号および画素位置(Ｘ，Ｙ)の非線形関数やヒステリシスを持つ関数を用いることもできる。以上、数例を挙げたが、その他、大気の揺らぎや手ブレのような不規則な揺らぎに相当する変分を算出可能な関数であれば、どのような関数でも用いることができる。
上述したように、本件開示のデータ圧縮装置によって生成された低解像度画像のシーケンスには、復元側で超解像技術を利用して解像度の復元を行うために必要な情報が織り込まれている。図３を参照して説明したように、上述した変分が付加されるブロックは、エッジやテクスチャなど人間の視覚で捉えられやすいディティールを持つ画像を含んでいる。このような画像では、超解像技術による解像度復元処理により、主観的な画質を大きく向上することができる。したがって、本件開示のデータ圧縮装置によれば、個々のフレームの画質においても、また、動画像シーケンスの自然さにおいても、高い品質を持つ高解像度画像を復元可能な低解像度画像のシーケンスを生成することができる。また、本件開示のデータ圧縮装置では、上述したように、変分を一部のブロックに選択的に付加するので、変分が画面全体に一様に適用した場合に比べて、低解像度画像のシーケンスについての圧縮効率を比較的高く維持することができる。
なお、上述したサンプリング開始位置への変分(ｐｘ、ｐｙ)の付加は、第１フィルタに設定するフィルタ係数を調整することによっても実現することができる。次に、フィルタ係数算出処理の別実施形態について説明する。
図６に、フィルタ係数算出処理を説明する図を示す。また、図７に、フィルタ係数算出動作を表す流れ図を示す。図６(Ａ)に、第１ブロックに適用されるフィルタ係数の模式図を示す。また、図６(Ｂ)に、第２ブロックに適用されるフィルタ係数の模式図を示す。
図６(Ａ)，(Ｂ)に示した座標(Ｃ０Ｘ，Ｃ０Ｙ)は、低解像度画像のある画素に対応する高解像度画像の範囲における中心の画素の位置を示す。図６(Ｂ)に示したように、第２フィルタ１２３のフィルタ係数では、サンプリングカーネルの中心が座標(Ｃ０Ｘ，Ｃ０Ｙ)と一致している。
一方、図６(Ａ)に実線で示したフィルタ係数の例では、サンプリングカーネルの中心は、座標(Ｃ０Ｘ，Ｃ０Ｙ)と一致していない。このようなフィルタ係数を高解像度画像に適用し、サンプリング処理に供すれば、サンプリング開始位置に変分を付加したのと同等のサンプリング結果を得ることができる。なお、図６(Ａ)においては、第ｎフレームのサンプリングカーネルの中心位置と、低解像度画像のある画素に対応する高解像度画像の範囲における中心位置の座標(Ｃ０Ｘ，Ｃ０Ｙ)との差分を(ｐｘｎ，ｐｙｎ)のようにフレーム番号を添え字として付加して示した。また、図６(Ａ)の例では、第１フィルタ１２２に対して、第ｎフレームで適用されるフィルタ係数を実線で示し、第ｎ＋１フレームで適用されるフィルタ係数を破線で示した。
したがって、フィルタ係数算出部１２４は、次のようにして第１フィルタ１２２に適用するフィルタ係数を算出することができる。
まず、フィルタ係数算出部１２４は、生成対象の低解像度画像の画素に対応する高解像度画像の範囲における中心を示す座標(Ｃ０Ｘ，Ｃ０Ｙ)を算出する(ステップＳ２１)。この座標(Ｃ０Ｘ，Ｃ０Ｙ)は、縮小前の範囲を代表する画素の位置を示すので、以下、縮小前画素位置(Ｃ０Ｘ，Ｃ０Ｙ)と称する。
次に、フィルタ係数算出部１２４は、フレーム番号ｎと、ステップＳ２１で求めた縮小前画素位置(Ｃ０Ｘ，Ｃ０Ｙ)とから変分(ｐｘｎ，ｐｙｎ)を算出する(ステップＳ２２)。そして、算出した変分(ｐｘｎ，ｐｙｎ)だけサンプリングカーネルの中心位置をずらしたフィルタ係数を算出する(ステップＳ２３)。
フィルタ係数算出部１２４では、上に列挙した様々な関数のいずれかを用いて、変分(ｐｘｎ，ｐｙｎ)を算出することができる。また、関数による演算処理部の代わりに、フレーム番号および／または画素位置(Ｘ，Ｙ)を入力とするルックアップテーブルなどを設けて、フィルタ係数算出部１２４を実現することもできる。なお、フィルタ係数算出部１２４は、第２フィルタ１２３に適用されるサンプリングカーネルよりも高周波成分を残すような形状のサンプリングカーネルを用いて、フィルタ係数を算出することができる。
解像度変換部１２０によって生成された低解像度画像のシーケンスは、図２に示した低解像度バッファメモリ１２７を介して、動画像符号化部１３０に入力される。次に、本件開示のデータ圧縮装置による効果を更に向上する動画像符号化処理について説明する。
図８に、低解像度画像のシーケンスを符号化する処理を表す流れ図を示す。以下の説明では、図８に示した手順の関連に合わせて、図１に示した動画像符号化部１３０の各部の関連を参照されたい。
符号化対象のフレームの低解像度画像は、例えば、１６画素×１６画素のマクロブロック単位で動画像符号化部１３０に読み込まれる(ステップＳ３１)。次いで、通常の手順に従って、例えば、符号化制御部１３５により、量子化パラメータの算出が行われる(ステップＳ３２)。算出された量子化パラメータは、符号化ループ部１３４に渡され、符号化処理に用いられる。
次に、符号化制御部１３５は、入力されたマクロブロックに含まれる低解像度画像の各画素の中に、縮小前の高解像度画像において第１ブロックとされたブロックに対応する画素があるか否かを判定する(ステップＳ３３)。
マクロブロックの中に、上述した解像度変換部１２０により、第１フィルタ１２２を適用した解像度変換を受けた画素が少なくとも一つ存在する場合に、符号化制御部１３５は、ステップＳ３３の肯定判定として、ステップＳ３４〜ステップＳ３６の処理を実行する。
ステップＳ３４で、符号化制御部１３５は、量子化パラメータの補正を行う。符号化制御部１３５は、例えば、ステップＳ３２で決定した量子化パラメータよりも小さくなるような補正を行い、補正後の量子化パラメータを符号化ループ部１３４に渡して、符号化処理に適用させることができる。このような量子化パラメータの操作を行うことにより、第１ブロックに属する画像から生成された低解像度画像の部分に対応する符号に含まれる情報量を多くすることができる。
ステップＳ３５で、符号化制御部１３５は、小数精度インター予測部１３２に対して、予測処理の抑止を指示する。この制御を実行すれば、上述した解像度変換処理において付加された変分が、小数精度のインター予測処理によって打ち消されることはない。つまり、上述した変分に相当する画素値の変化に関する情報を、符号化データに含めることができる。
また、ステップＳ３６で、符号化制御部１３５は、イントラ予測部１３３に対して、例えば、４画素×４画素のサブブロックを用いた予測を行う旨を指示する。この制御により、イントラ予測部１３３によって、より情報量の多い予測結果を得ることができる。
なお、上述したステップＳ３４〜Ｓ３６の処理は、順不同で実行することができる。また、ステップＳ３４〜Ｓ３６の処理の全てを実行することもできるし、いずれかのみを単独で実行することもできる。
第１ブロックに属する高解像度画像に含まれる画素の画素値が反映された低解像度画像のマクロブロックは、上述したステップＳ３４〜ステップＳ３６の制御による制限の元で、符号化ループ部１３４による動画像符号化処理が行われる(ステップＳ３７)。これにより、これらのマクロブロックについては、より多くの符号が与えられる。
一方、マクロブロックに含まれる全ての低解像度画像の画素が、第２ブロックに由来する場合に(ステップＳ３３の否定判定)、符号化制御部１３５は、上述したステップＳ３４〜ステップＳ３６をスキップして、ステップＳ３７に進む。したがって、この場合は、整数精度インター予測部１３１、小数精度インター予測部１３２およびイントラ予測部１３３による予測結果から最も符号量が少なくなる予測結果が選ばれる。そして、符号化ループ部１３４により、ステップＳ３２で求めた量子化パラメータをそのまま用いた符号化処理が行われる。
上述した符号化処理は、低解像度画像の各マクロブロックについて実行される。そして、全てのマクロブロックの符号化処理が完了したときに、ステップＳ３８の肯定判定として、符号化処理が終了する。
動画像符号化部１３０により、上述したような符号化処理を行うことにより、第１ブロックに属する高解像度画像に含まれる画素の画素値が反映された低解像度画像のマクロブロックに選択的に多くの符号を与えることができる。その一方、例えば、図３(Ａ)に示した画像の空にあたる部分のように、あまり特徴のない部分については、Ｈ．２６４規格の特徴を活用して高能率の符号化処理を適用することができる。これにより、圧縮効率を高く維持しつつ、復元側において超解像による解像度復元に利用できる情報を含んだ符号化データを生成することができる。
次に、本件開示のデータ圧縮装置によって圧縮された符号化データから、高精細な解像度画像のシーケンスを再生するためにデータ復元装置に備えられる解像度変換部について説明する。
(データ復元装置に備えられる解像度変換部の一実施形態)
図９に、解像度変換部の一実施形態を示す。なお、図９に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
図９に示した解像度変換部１６０は、３フレーム分の低解像度バッファメモリ１６１０、１６１１，１６１２を備えている。これらの低解像度バッファメモリ１６１０、１６１１，１６１２には、カレントフレームである第ｎフレーム、ｎ−１フレーム、ｎ−２フレームの低解像度画像が格納される。読出処理部１６２は、マッピング制御部１７１からの指示に基づいて、これらの低解像度バッファメモリ１６１０、１６１１，１６１２から低解像度画像を読み出し、第１補間フィルタ１６３および第２補間フィルタ１６４に入力する。
第１補間フィルタ１６３には、フィルタ係数算出部１６５によって算出されるフィルタ係数が設定される。フィルタ係数算出部１６５は、マッピング制御部１７１からの指示およびフレーム番号などに基づいて、所定の第１補間特性に基づいてフィルタ係数を算出する。一方、第２補間フィルタ１６４には、上述した第１補間特性とは異なる第２補間特性に基づいて決定されたフィルタ係数が設定されている。
図９に示した例では、スイッチ１６６は、マッピング制御部１７１からの指示に応じて第１補間フィルタ１６３あるいは第２補間フィルタ１６４の出力を選択的に高解像度バッファメモリ１６７に入力する。第１補間フィルタ１６３あるいは第２補間フィルタ１６４によって得られた画素値は、スイッチ１６６を介して高解像度バッファメモリ１６７に渡され、補間処理で得られた高解像度画像における位置にマッピングされる。
図９に示した解像度変換部１６０は、高周波成分復元部１６８を備えている。この高周波成分復元部１６８は、高解像度バッファメモリ１６７に格納された高解像度画像データに基づいて、アンシャープマスク処理などの公知の技術を利用して高周波成分を復元する。図９に示した例では、高解像度バッファメモリ１６７に最終的に生成された高解像度画像は、出力ポートＰｏｕｔを介して出力される。
また、図９に示した解像度変換部１６０に備えられる動き検出部１７２は、マッピング制御部１７１からの指示に応じて、カレントフレームの低解像度画像と指定された参照画像との間の動きを検出する。また、図９に示した例では、フラグ抽出部１５０によってストリームデータから抽出されたフラグ情報は、マッピング制御部１７１を介してフラグ保持部１７３０、１７３１，１７３２のいずれかに格納される。この例では、カレントフレームのストリームデータから抽出されたフラグ情報は、カレントフレームについての解像度変換処理が終了した後も、２フレーム後のｎ＋２フレームの解像度変換処理の完了まで保持される。
図１０に、低解像度画像から高解像度画像への変換動作を表す流れ図(その１)を示す。また、図１１に、低解像度画像から高解像度画像への変換動作を表す流れ図(その２)を示す。図１０および図１１に示した解像度変換動作では、まず、カレント画像に含まれる各画素の情報を高解像度画像にマッピングし、次いで、参照画像とカレント画像の情報を利用してマッピングおよびレジストレーション処理を行う。なお、図１０に示した端子１は、図１１に示した端子１に接続される。
図１０に示したステップＳ４１で、読出処理部１６２により、低解像度バッファメモリ１６１０からカレント画像の各画素が順次に読み出される。読み出された画素値およびこの画素の位置情報は、第１補間フィルタ１６３および第２補間フィルタ１６４に入力される。
読み出された画素の低解像度画像における位置に基づいて、マッピング制御部１７１は、この画素の縮小前の画素が属する高解像度画像におけるブロックを特定する（ステップＳ４２）。また、このとき、フィルタ係数算出部１６５により、カレント画像のフレーム番号および上述した縮小前の画素の位置に基づいて、第１補間フィルタに設定するフィルタ係数が算出される(ステップＳ４３)。
次に、マッピング制御部１７１は、カレントフレームに対応するフラグ保持部１７３０を参照して、ステップＳ４２で特定されたブロックに対応するフラグが「真」を示す値であるか否かを判定する(ステップＳ４４)。
ステップＳ４４の肯定判定の場合に、マッピング制御部１７１は、読み込まれたカレント画像の画素は縮小前に第１ブロックに含まれていたと判断し、スイッチ１６６に第１補間フィルタ１６３の出力を選択させる。これにより、ステップＳ４１で入力されたカレント画像の画素は、第１補間フィルタ１６３の適用を受けて高解像度バッファメモリ１６７にマッピングされる(ステップＳ４５，Ｓ４７)。
一方、ステップＳ４４の否定判定の場合に、マッピング制御部１７１は、読み込まれたカレント画像の画素は縮小前に第２ブロックに含まれていたと判断し、スイッチ１６６に第２補間フィルタ１６４の出力を選択させる。これにより、ステップＳ４１で入力されたカレント画像の画素は、第２補間フィルタ１６４の適用を受けて高解像度バッファメモリ１６７にマッピングされる(ステップＳ４６，Ｓ４７)。
上述した処理は、カレント画像に含まれる全ての画素について繰り返して実行される。そして、全ての画像についての処理が完了したときに(ステップＳ４８の肯定判定)、カレント画像がマッピングされた高解像度画像を生成する処理が終了する。そして、参照画像を利用した超解像処理が開始される。
図１１に示したステップＳ５１で、マッピング制御部１７１は、２つの参照画像のうち一方を選択する。マッピング制御部１７１は、例えば、ｎ−１フレーム、ｎ−２フレームの順あるいはその逆順に参照画像を選択することができる。
次に、動き検出部１７２は、上述した高解像度画像についての各ブロックに対応するカレント画像の部分を、低解像度バッファメモリ１６１０から順次に読み込む(ステップＳ５２)。ステップＳ５２で読み込まれるカレント画像の部分は、対応する高解像度画像についてのブロックを縮小して生成された低解像度画像に相当する。以下の説明では、高解像度画像のブロックに対応する低解像度画像の部分を低解像度画像のブロックと称する。動き検出部１７２は、低解像度バッファメモリ１６１０から読み込んだカレント画像のブロックとステップＳ５１で選択された参照画像とを比較して、このカレント画像のブロックの動きを検出する(ステップＳ５３)。
動き検出部１７２による検出結果に基づいて、マッピング制御部１７１は、処理対象のカレント画像のブロックに対応する参照画像のブロックを特定する(ステップＳ５４)。この参照画像のブロックを特定する情報は、マッピング制御部１７１から読出処理部１６２とフィルタ係数算出部１６５とに渡される。そして、選択された参照画像に対応する低解像度バッファメモリ１６１に格納された参照画像のブロックが、読出処理部１６２を介して、第１補間フィルタ１６３および第２補間フィルタ１６４に入力される。また、特定された参照画像のブロックを示す位置情報および参照画像のフレーム番号に基づいて、フィルタ係数算出部１６５により、フィルタ係数の算出処理が行われる(ステップＳ５５)。
次いで、マッピング制御部１７１は、選択された参照画像に対応するフラグ保持部１７３を参照して、ステップＳ５４で特定された参照画像のブロックに対応するフラグを取得する。
取得したフラグに「真」を示す値が設定されていた場合に（ステップＳ５６の肯定判定）、マッピング制御部１７１は、特定された参照画像のブロックは、上述したデータ圧縮装置により、第１ブロックとして圧縮されたと判断する。このとき、マッピング制御部１７１は、スイッチ１６６に第１補間フィルタの出力を選択させる。これにより、ステップＳ５４で特定された参照画像のブロックに含まれる各画素について、第１補間フィルタ１６３によって、参照画像についてのデータ圧縮時に付加された位置ずれの補正が行われる(ステップＳ５７)。この補正結果は、参照画像のブロックに含まれる各画素値を高解像度画像にマッピングする処理およびレジストレーション処理に反映される(ステップＳ５８)。これにより、参照画像およびカレント画像の生成の際に変分を付加したことによって織り込まれた情報を利用して、超解像による解像度の向上を実現することができる。
一方、取得したフラグの値が「偽」を示す値であった場合に(ステップＳ５６の否定判定)、マッピング制御部１７１は、特定された参照画像のブロックは、上述したデータ圧縮装置により、第２ブロックとして圧縮されたと判断する。このとき、マッピング制御部１７１は、スイッチ１６６に第２補間フィルタ１６４の出力を選択させる。この第２補間フィルタ１６４の出力を高解像度バッファメモリ１６７に入力することにより、上述したステップＳ５４で特定された参照画像のブロックに含まれる各画素についてのマッピング処理およびレジストレーション処理が行われる(ステップＳ５８)。
上述したようにしてカレント画像のブロックについてのマッピング処理が終了するごとに、マッピング制御部１７１は、カレント画像の全てのブロックについて上述した処理が終了したか否かを判定する(ステップＳ５９)。未処理のブロックがある場合に(ステップＳ５９の否定判定)、マッピング制御部１７１は、ステップＳ５２に戻って、動き検出部１７２に、新たなブロックについての処理を指示する。このようにして、カレント画像に含まれる全てのブロックの処理が完了したときに、マッピング制御部１７１は、ステップＳ５９の肯定判定として、ステップＳ６０に進む。
ステップＳ６０で、マッピング制御部１７１は、全ての参照画像についての処理が終了したか否かを判定する。未処理の参照画像がある場合に(ステップＳ６０の否定判定)、マッピング制御部１７１は、ステップＳ５１に戻って、新たな参照画像を選択し、この参照画像についての処理を開始する。そして、低解像度バッファメモリ１６１に保持された全ての参照画像についてのマッピングおよびレジストレーション処理が終了したときに(ステップＳ６０の肯定判定)、マッピング制御部１７１からの指示に応じて、高周波成分復元部１６８による処理が行われる(ステップＳ６１)。
以上に説明したように、本件開示のデータ復元装置によれば、ディティールのある被写体が静止した状態で捉えられている部分についても、複数の参照画像に含まれる情報を利用した超解像処理による解像度向上の効果を得ることができる。このような部分は、動画像を再生表示した際に、人間の視覚によって画質の劣化が目立って知覚されやすい部分である。したがって、ディティールのある被写体が静止した状態で捉えられている部分の解像度を向上させることにより、利用者に高い画質を印象付けることができる。
本件開示のデータ圧縮装置によれば、高解像度画像のシーケンスに含まれる各フレーム内の移動する被写体が捉えられた部分とディティールの乏しい被写体が捉えられた部分である第２ブロックについては従来と同様の圧縮処理が為される。このうち、移動する被写体が捉えられた部分については、カレント画像および２枚の参照画像を、第２補間フィルタ１６４を介して高解像度バッファメモリ１６７にマッピングすることにより、超解像による解像度向上効果を得ることができる。一方、ディティールの乏しい被写体が捉えられた部分については、移動の有無にかかわらず、超解像による解像度向上効果を得ることは難しい。しかしながら、このような部分の画質の劣化は人間の視覚によっては捉えられにくい。したがって、このような部分の画質の劣化によって利用者が画質の低下を認識する可能性は低い。
したがって、本件開示のデータ圧縮装置とデータ復元装置とを組み合わせたトランスコーダによれば、動画像データを高能率で圧縮して記録し、記録された圧縮データから高画質の動画像を再生することができる。つまり、ハードディスク装置などの記録媒体の限られた容量を有効に利用して、より多くの動画像データを圧縮記録するとともに、利用者に提供する再生画像の高画質化を図ることが可能である。したがって、本件開示のデータ圧縮装置とデータ復元装置とを組み合わせたトランスコーダは、据え置きタイプの放送用録画装置にも、手持ちタイプの動画撮影装置にも有用である。
なお、本件開示のデータ圧縮装置とデータ復元装置とを組み合わせたトランスコーダにおいて、データ圧縮装置からデータ復元装置にフラグ情報を渡す手法は、ストリームデータに埋め込む手法に限られない。
(トランスコーダの別実施形態)
図１２に、データ圧縮装置およびデータ復元装置の別実施形態を示す。なお、図１２に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
図１２に示したデータ圧縮装置１０１は、動画像符号化部１３０内にフラグ重畳部１３６を設ける代わりに、フラグ情報圧縮部１１７を備えている。このフラグ情報圧縮部１１７は、ブロック判別部１１０で各ブロックに設定されたフラグの値を含むフラグ情報に対して、例えば、ハフマン符号化処理などを適用して圧縮フラグ情報を生成する。生成された圧縮フラグ情報は、例えば、動画像符号化部１３０で生成される動画像符号化データに関連付けて記録媒体１０２に格納される。
また、図１２に示したデータ復元装置１０３は、図１に示したフラグ抽出部１５０の代わりに、フラグ展開部１５２を備えている。このフラグ展開部１５２は、記録媒体１０２から読み出した圧縮フラグ情報に対して復号処理を行う。この復号処理によって復元されたフラグ情報は、解像度変換部１６０に渡される。
このようにして、低解像度画像シーケンスを符号化したストリームデータとは別にフラグ情報を圧縮記録し、復号側で、ストリームデータとは別に記録媒体から読み出して利用することもできる。
また一方、本件開示のデータ圧縮装置において、第１縮小処理による解像度変換処理の対象となる第１ブロックをより高い精度で判別することもできる。
(ブロック判別部の別実施形態)
図１３に、ブロック判別部の別実施形態を示す。なお、図１３に示した構成要素のうち、図２に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
図１３に示したブロック判別部１１０は、図２に示した検出回路１１４に、グローバル動きベクトル検出部１１５とベクトル補正部１１６とを備える。グローバル動きベクトル検出部１１５は、動きベクトル検出部１１１によって各ブロックについて検出された動きベクトルに基づいて、画面全体の動きに対応するグローバル動きベクトルを検出する。ベクトル補正部１１６は、動きベクトル検出部１１１によって検出された各ブロックの動きベクトルを、上述したグローバル動きベクトルを用いて補正する。たとえば、ベクトル補正部１１６は、各ブロックの動きベクトルについて、グローバル動きベクトルとの差分ベクトルを算出することにより、上述した補正処理を行うことができる。図１３に示した例では、フラグ設定回路１１３は、各ブロックについて算出された差分動きベクトルに基づいて、当該ブロックに捉えられた被写体の部分の静止性を判定する。
上述した差分ベクトルに基づいて第１ブロックを判別することにより、カメラのパン操作などによる画面全体の動きにかかわらず、被写体の静止性を判断することが可能となる。これにより、各フレームの画像から、ディティールを持ち、かつ、静止している被写体が捉えられた部分を含むブロックを高い精度で判別することができる。
なお、本件開示のデータ圧縮装置を手持ちタイプの動画撮影装置に適用する場合は、動画撮影装置に備えられた加速度センサなどによって得られる情報からグローバル動きベクトルを求めることもできる。
以上の説明に関して、更に、以下の各項を開示する。
(付記１)
データ圧縮方法において
１フレームに対応する画像データを複数のブロックに分割し、
前記複数のブロックの少なくとも一のブロックの動きベクトルを検出し、
前記動きベクトルに基づいて前記ブロックにフラグを設定し、
前記フラグが設定された第１ブロックに対して第１縮小処理を行い
前記フラグが設定されない第２ブロックに対して第２縮小処理を行うこと
を特徴とするデータ圧縮方法。
(付記２)
前記第１縮小処理は第１通過特性を有するフィルタ処理を含み
前記第２縮小処理は前記第１通過特性とは異なる第２通過特性を有するフィルタ処理を含むこと
を特徴とする付記１に記載のデータ圧縮方法。
(付記３)
前記第１縮小処理は第１位相でのサンプリング処理を含み、
前記第２縮小処理は前記第１位相とは異なる第２位相でのサンプリング処理を含むこと
を特徴とする付記１または付記２に記載のデータ圧縮方法。
(付記４)
検出される前記画像データのエッジ成分と前記動きベクトルに基づいて検出される前記ブロックの静止性に基づいて、前記ブロックに前記フラグが設定されること
を特徴とする付記１乃至付記３の何れか一に記載のデータ圧縮方法。
(付記５)
前記ブロックの輝度に基づいて前記ブロックに前記フラグを設定すること
を特徴とする付記４に記載のデータ圧縮方法。
(付記６)
前記第１ブロックに対して第１量子化パラメータを使用して圧縮処理を行い、
前記第２ブロックに対して前記第１量子化パラメータよりも大きい第２量子化パラメータを使用して圧縮処理を行うこと
を特徴とする付記１乃至付記６の何れか一に記載のデータ圧縮方法。
(付記７)
データ圧縮方法において
１フレームに対応する画像データを複数のブロックに分割し、
前記画像データの第１動きベクトルを検出し、
前記複数のブロックの少なくとも一のブロックの第２動きベクトルを検出し、
前記第１動きベクトルおよび前記第２動きベクトルに基づいて前記ブロックにフラグを設定し、
前記フラグが設定された第１ブロックに対して第１縮小処理を行い
前記フラグが設定されない第２ブロックに対して第２縮小処理を行うこと
を特徴とするデータ圧縮方法。
(付記８)
１フレームに対応する画像データを複数のブロックに分割する分割回路と、
前記複数のブロックの少なくとも一のブロックの動きベクトルを検出する検出回路と、
前記動きベクトルに基づいて前記ブロックにフラグを設定するフラグ設定回路と、
前記フラグが設定された第１ブロックに対して第１縮小処理を行い、前記フラグが設定されない第２ブロックに対して第２縮小処理を行う縮小回路と
を含むことを特徴とするデータ圧縮装置。
(付記９)
前記縮小回路は、
前記第１縮小処理のための第１通過特性を有する第１フィルタと、
前記第２縮小処理のための前記第１通過特性とは異なる第２通過特性を有する第２フィルタとを含むこと
を特徴とする付記８に記載のデータ圧縮装置。
(付記１０)
前記第１縮小処理が施された前記第１ブロックと前記第１ブロックに対応する前記フラグとがともに圧縮された圧縮データが出力されること
を特徴とする付記８または付記９に記載のデータ圧縮装置。
(付記１１)
前記フラグが圧縮された圧縮データが出力されること
を特徴とする付記８または付記９に記載のデータ圧縮装置。
(付記１２)
前記検出回路は前記画像データのエッジ成分と前記動きベクトルに基づいて前記ブロックの静止性を検出し、
前記エッジ成分および前記静止性に基づいて前記ブロックに前記フラグが設定されること
を特徴とする付記８乃至付記１１の何れか一に記載のデータ圧縮装置。
(付記１３)
前記検出回路は、
前記画像データについてグローバル動きベクトルを検出するグローバル動きベクトル検出部と、
前記グローバル動きベクトルに基づいて、前記少なくとも一のブロックの動きベクトルを補正するベクトル補正部とを備えた
ことを特徴とする付記８乃至付記１２の何れか一に記載のデータ圧縮装置。
(付記１４)
１フレームに対応する画像データの第１動きベクトルを検出する第１検出回路と、
前記画像データを複数のブロックに分割する分割回路と、
前記複数のブロックの少なくとも一のブロックの第２動きベクトルを検出する第２検出回路と、
前記第１動きベクトルおよび前記第２動きベクトルに基づいて前記ブロックにフラグを設定するフラグ設定回路と、
前記フラグが設定された第１ブロックに対して第１縮小処理を行い、前記フラグが設定されない第２ブロックに対して第２縮小処理を行う縮小回路と
を含むことを特徴とするデータ圧縮装置。
１０１ データ圧縮装置
１０２ 記録媒体
１０３ データ復元装置
１１０ ブロック判別部
１１１ 動きベクトル検出部
１１２ 特徴抽出部
１１３ フラグ設定回路
１１４ 検出回路
１１５ グローバル動きベクトル検出部
１１６ ベクトル補正部
１１７ フラグ情報圧縮部
１２０，１６０ 解像度変換部
１２１，１６７ 高解像度バッファメモリ
１２２ 第１フィルタ
１２３ 第２フィルタ
１２４，１６５ フィルタ係数算出部
１２５，１６６ スイッチ
１２６ 間引き処理部
１２７，１６１０，１６１１，１６１２ 低解像度バッファメモリ
１３０ 動画像符号化部
１３１ 整数精度インター予測部
１３２ 小数精度インター予測部
１３３ イントラ予測部
１３４ 符号化ループ部
１３５ 符号化制御部
１３６ フラグ重畳部
１４０ 動画像復号部
１５０ フラグ抽出部
１５２ フラグ展開部
１６２ 読出処理部
１６３ 第１補間フィルタ
１６４ 第２補間フィルタ
１６８ 高周波成分復元部
１７１ マッピング制御部
１７２ 動き検出部
１７３０，１７３１，１７３２ フラグ保持部

Claims (4)

  1. １フレームに対応する画像データを複数のブロックに分割する分割回路と、
    前記複数のブロックの少なくとも一のブロックの動きベクトルを検出するとともに、当該ブロックの画像の特徴量として平坦さを示す指標値またはエッジ強度を抽出する検出回路と、
    前記ブロックについて、前記動きベクトルの長さが所定の閾値以下であり、かつ、前記特徴量が所定の閾値以上であるときに、フラグを設定するフラグ設定回路と、
    前記フラグが設定された第１ブロックに対して第１縮小処理を行い、前記フラグが設定されない第２ブロックに対して第２縮小処理を行い、前記第１縮小処理で所定のサンプリング開始位置から所定の変分だけずらした位置を開始位置とする第１位相でのサンプリング処理を行い、前記第２縮小処理で前記所定のサンプリング開始位置を開始位置とする第２位相でのサンプリング処理を行う縮小回路と、
    前記縮小回路の処理後のデータについて、前記第１ブロックに対応するデータであるときに、所定の量子化パラメータよりも小さく設定した量子化パラメータを用いた第１符号化処理を行い、前記第２ブロックに対応するデータであるときに、前記所定の量子化パラメータを用いた第２符号化処理を行う符号化回路と
    を含むことを特徴とするデータ圧縮装置。
  2. 前記符号化回路は、前記ブロックのフラグ設定情報を前記第１符号化処理および前記第２符号化処理により得られたデータに重畳して出力する、または、前記ブロックの前記フラグ設定情報に対して所定の符号化処理を行って得られたデータを前記第１符号化処理および前記第２符号化処理により得られたデータとともに出力すること
    を特徴とする請求項１に記載のデータ圧縮装置。
  3. 前記検出回路は、前記画像データについて画面全体の動きに対応するグローバル動きベクトルを検出し、前記ブロックの前記動きベクトルと前記グローバル動きベクトルとの差分を算出して前記ブロックの前記動きベクトルに代えて前記フラグ設定回路に使用させること
    を特徴とする請求項１または請求項２に記載のデータ圧縮装置。
  4. 前記縮小回路は、
    前記第１縮小処理のための第１通過特性を有する第１フィルタと、
    前記第２縮小処理のための前記第１通過特性とは異なる第２通過特性を有する第２フィルタとを含むこと
    を特徴とする請求項１乃至請求項３のいずれかに記載のデータ圧縮装置。
JP2010231649A 2010-10-14 2010-10-14 データ圧縮装置 Expired - Fee Related JP5691374B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010231649A JP5691374B2 (ja) 2010-10-14 2010-10-14 データ圧縮装置
US13/269,731 US20120093227A1 (en) 2010-10-14 2011-10-10 Data compression method and data compression device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010231649A JP5691374B2 (ja) 2010-10-14 2010-10-14 データ圧縮装置

Publications (2)

Publication Number Publication Date
JP2012085214A JP2012085214A (ja) 2012-04-26
JP5691374B2 true JP5691374B2 (ja) 2015-04-01

Family

ID=45934128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010231649A Expired - Fee Related JP5691374B2 (ja) 2010-10-14 2010-10-14 データ圧縮装置

Country Status (2)

Country Link
US (1) US20120093227A1 (ja)
JP (1) JP5691374B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096745A (ja) * 2012-11-12 2014-05-22 Hitachi Kokusai Electric Inc 画像伝送システム
JP6466638B2 (ja) * 2013-12-18 2019-02-06 Kddi株式会社 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法
JP6641149B2 (ja) * 2015-10-07 2020-02-05 日本放送協会 映像符号化装置、映像復号装置及びプログラム
JP6875800B2 (ja) * 2016-08-04 2021-05-26 日本放送協会 超解像フレーム選択装置、超解像装置、及びプログラム
JP7329964B2 (ja) * 2019-05-21 2023-08-21 キヤノン株式会社 画像処理装置および画像処理方法およびプログラム
KR20210078218A (ko) * 2019-12-18 2021-06-28 삼성전자주식회사 전자장치 및 그 제어방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0557007A2 (en) * 1992-02-15 1993-08-25 Sony Corporation Picture processing apparatus
JPH0795566A (ja) * 1993-09-21 1995-04-07 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法および装置
JP3197420B2 (ja) * 1994-01-31 2001-08-13 三菱電機株式会社 画像符号化装置
JPH08251579A (ja) * 1995-03-08 1996-09-27 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置
JP3175914B2 (ja) * 1995-12-25 2001-06-11 日本電信電話株式会社 画像符号化方法および画像符号化装置
JP3240936B2 (ja) * 1996-09-30 2001-12-25 日本電気株式会社 動き処理回路
KR19990008977A (ko) * 1997-07-05 1999-02-05 배순훈 윤곽선 부호화 방법
US20020196854A1 (en) * 2001-06-15 2002-12-26 Jongil Kim Fast video encoder using adaptive hierarchical video processing in a down-sampled domain
US6864909B1 (en) * 2001-08-10 2005-03-08 Polycom, Inc. System and method for static perceptual coding of macroblocks in a video frame
US7656950B2 (en) * 2002-05-29 2010-02-02 Diego Garrido Video interpolation coding
KR100585710B1 (ko) * 2002-08-24 2006-06-02 엘지전자 주식회사 가변길이 동영상 부호화 방법
WO2004023819A2 (en) * 2002-09-06 2004-03-18 Koninklijke Philips Electronics N.V. Content-adaptive multiple description motion compensation for improved efficiency and error resilience
WO2004066624A1 (en) * 2003-01-23 2004-08-05 Koninklijke Philips Electronics N.V. Background motion vector detection
JP4590975B2 (ja) * 2004-08-10 2010-12-01 ソニー株式会社 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP5151984B2 (ja) * 2006-09-29 2013-02-27 富士通株式会社 動画像符号化装置
JP4893471B2 (ja) * 2007-05-24 2012-03-07 カシオ計算機株式会社 画像処理装置及びプログラム
JP4793339B2 (ja) * 2007-07-09 2011-10-12 ソニー株式会社 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP4985201B2 (ja) * 2007-08-07 2012-07-25 ソニー株式会社 電子機器、動きベクトル検出方法及びプログラム
JP4876048B2 (ja) * 2007-09-21 2012-02-15 株式会社日立製作所 映像送受信方法、受信装置、映像蓄積装置
US8938009B2 (en) * 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
KR20110011361A (ko) * 2009-07-28 2011-02-08 삼성전자주식회사 샘플링을 이용한 영상 데이터 인코딩／디코딩 장치 및 인코딩／디코딩 방법

Also Published As

Publication number Publication date
US20120093227A1 (en) 2012-04-19
JP2012085214A (ja) 2012-04-26

Similar Documents

Publication Publication Date Title
US8315481B2 (en) Image transmitting apparatus, image receiving apparatus, image transmitting and receiving system, recording medium recording image transmitting program, and recording medium recording image receiving program
CA2570090C (en) Representing and reconstructing high dynamic range images
JP5691374B2 (ja) データ圧縮装置
US8098959B2 (en) Method and system for frame rotation within a JPEG compressed pipeline
JP5150224B2 (ja) 画像処理方法および画像処理装置
US20080123971A1 (en) Image processing apparatus
JP2008312163A (ja) 画像処理装置、画像処理方法、及びプログラム
CN104702926A (zh) 摄像机
KR20100021574A (ko) 화상처리장치, 화상처리방법 및 프로그램
JP4826546B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2015536108A (ja) 映像圧縮方法
WO2012147523A1 (ja) 撮像装置及び画像生成方法
US20150206280A1 (en) Image processing apparatus, image processing method, and program
US8457420B2 (en) Image decoding apparatus for decoding image data encoded by a method designating whether to perform distortion suppression processing and control method for the same
JP4780222B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP2009048487A (ja) 画像処理装置及び画像処理プログラム
US8509548B2 (en) Image decoding apparatus and control method for speeding up decoding processing
JP2009273072A (ja) 高精細画像処理装置、高精細画像処理方法、およびプログラム
JP5413122B2 (ja) 画像処理方法および画像処理装置
WO2016047250A1 (ja) 信号処理装置、撮像装置および信号処理方法
JP6066583B2 (ja) 動画像符号化装置及び動画像符号化方法
WO2009130540A1 (en) Method for high definition video encoding/decoding suitable for real-time video streaming
WO2012147630A1 (ja) 撮像装置及び画像生成方法
JP2016005086A (ja) 画像記録システムおよび画像記録再生装置
JP4402657B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150119

R150 Certificate of patent or registration of utility model

Ref document number: 5691374

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees