JP2010114690A - 情報処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】第１の符号化規格で符号化された入力画像データを復号し解像度変換後、第２の符号化規格で符号化して出力する情報処理装置、画像処理方法および画像処理プログラムを提供する。
【解決手段】パーソナルコンピュータは、アンテナ１６、チューナ１７、制御部２１、画像データ記憶部としてのＨＤＤ２２、フレームメモリ２３、ネットワーク接続部２４および外部インターフェイス２５などを有する。制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭなどにより構成される。ＣＰＵは、ＲＯＭ内に記憶された画像処理プログラムおよびプログラムの実行のために必要なデータをＲＡＭへロードし、画像処理プログラムに従って、ＭＰＥＧ２規格で符号化された入力画像データを復号して超解像処理を施しＨ．２６４規格で符号化する。その際に超解像処理により得られた動きベクトルを用いることにより動き補償ブロックサイズによらず低負荷で効率よく符号化する。
【選択図】図２

Description

本発明は、ＭＰＥＧ２規格で圧縮符号化された入力画像データを復号して超解像処理を施して解像度を高くしＨ．２６４規格で圧縮符号化して出力する情報処理装置、画像処理方法および画像処理プログラムに関する。

最近、ＭＰＥＧ２（Moving Picture Experts Group phase 2）規格で符号化された画像データを復号してＨ．２６４規格で符号化することにより画像データのコード変換を行うための種々の技術が提案されている。コード変換では、Ｈ．２６４規格で符号化する際に行われる動きベクトル検出が大きな処理負担となることが知られている。

従来、この種のコード変換の際に行われる動きベクトル検出処理を簡素化する技術に、特開２００８−１３６１８７号公報（特許文献１）に開示された技術がある。

この特許文献１に開示されたトランスコード装置は、符号化された画像データの符号化規格の変換を行うトランスコード装置であって、ＭＰＥＧ２で符号化されたデータを復号する復号部と、復号部からマクロブロック情報や動きベクトル情報などを入力しこれらの情報をＨ．２６４で取扱い可能に変換する変換部と、変換部により変換された情報を用いて復号部で復号されたデータをＨ．２６４規格で符号化する符号化部と、を備え、ＭＰＥＧ２のマクロブロックを単位としてＭＰＥＧ２のストリームをＨ．２６４のストリームに変換するようになっている。特許文献１に開示された技術によれば、コード変換前の動きベクトル情報をそのままコード変換後の動きベクトル情報に利用することができるため、動きベクトル検出処理を行わなくてよい。

たとえば、特許文献１に開示された技術は、ＭＰＥＧ２規格で符号化された入力画像の動き補償の単位となるブロックのサイズ（以下、動き補償ブロックサイズという）が１６×１６画素であり、Ｈ．２６４規格の動き補償ブロックサイズが上下に隣接する２つの１６×１６画素のブロックにより構成される３２×１６画素のブロックペアである場合に適用できる。この場合、Ｈ．２６４規格のブロックペア（３２×１６画素）をＭＰＥＧ２のブロックサイズ（１６×１６画素）を単位として扱うことにより、コード変換前の動きベクトル情報をそのままコード変換後の動きベクトル情報に利用することができる。
特開２００８−１３６１８７号公報

しかし、特許文献１に開示された技術では、ＭＰＥＧ２のマクロブロックを単位とせずにＭＰＥＧ２のストリームをＨ．２６４のストリームに変換する場合について考慮されていない。このため、特許文献１に開示された技術は、入力画像の動き補償ブロックサイズ（たとえば１６×１６画素）よりもＨ．２６４規格で符号化する動き補償ブロックサイズが小さい場合（たとえば８×４画素）には適用することが難しい。したがって、ＭＰＥＧ２規格の動きベクトル情報を利用してＨ．２６４規格の動きベクトル検出処理の簡素化を試みる従来の技術では、動き補償ブロックサイズの変更に十分に対応することができず、動きベクトルの精度および動きベクトル検出処理の効率に問題がある。

ところで、最近、符号化された入力画像データの復号画像に対し、入力画像の解像度よりも高い解像度の画像を生成する処理（以下、超解像処理という）を行う技術が広く利用されるようになってきた。一般に、超解像処理の際には、動き補償ブロックサイズが非常に小さく設定された高精度な動きベクトル検出処理が行われる。このため、コード変換に超解像処理が伴う場合には、超解像処理において取得した高精度な動きベクトル情報をＨ．２６４規格の符号化時に利用することによりＨ．２６４規格の動きベクトル検出処理を簡素化することが期待できる。

本発明は、上述した事情を考慮してなされたもので、第１の符号化規格で符号化された入力画像データを復号して超解像処理を施して解像度を高くし第２の符号化規格で符号化して出力する際に、動き補償ブロックサイズによらず低負荷で効率よく第２の符号化規格で符号化することができる情報処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

本発明に係る情報処理装置は、上述した課題を解決するために、第１の符号化規格で符号化された画像データを復号して復号画像を生成する復号部と、前記復号画像を拡大して拡大画像を生成する拡大部と、前記拡大画像を高精細化する際に用いられる動きベクトルを検出する超解像用動きベクトル検出部と、前記超解像用動きベクトル検出部により検出された動きベクトルを用いて、前記拡大画像を高精細化して超解像画像を生成する超解像画像生成部と、前記超解像用動きベクトル検出部により検出された動きベクトルを用いて、前記超解像画像を第２の符号化規格で符号化してストリーム出力する符号化部と、を備えたことを特徴とするものである。

一方、本発明に係る、画像処理方法は、上述した課題を解決するために、第１の符号化規格で符号化された画像データを復号して復号画像を生成するステップと、前記復号画像を拡大して拡大画像を生成するステップと、前記拡大画像を高精細化する際に用いられる動きベクトルを検出するステップと、前記検出された動きベクトルを用いて、前記拡大画像を高精細化して超解像画像を生成するステップと、前記検出された動きベクトルを用いて、前記超解像画像を第２の符号化規格で符号化してストリーム出力するステップと、を有することを特徴とする方法である。

さらに、本発明に係る画像処理プログラムは、上述した課題を解決するために、コンピュータを、第１の符号化規格で符号化された画像データを復号して復号画像を生成する復号部、前記復号画像を拡大して拡大画像を生成する拡大部、前記拡大画像を高精細化する際に用いられる動きベクトルを検出する超解像用動きベクトル検出部、前記超解像用動きベクトル検出部により検出された動きベクトルを用いて、前記拡大画像を高精細化して超解像画像を生成する超解像画像生成部、および、前記超解像用動きベクトル検出部により検出された動きベクトルを用いて、超解像画像を第２の符号化規格で符号化してストリーム出力する符号化部、として機能させることを特徴とするプログラムである。

本発明に係る情報処理装置、画像処理方法および画像処理プログラムによれば、第１の符号化規格で符号化された入力画像データを復号して超解像処理を施して解像度を高くし第２の符号化規格で符号化して出力する際に、動き補償ブロックサイズによらず低負荷で効率よく第２の符号化規格で符号化することができる。

本発明に係る情報処理装置、画像処理方法および画像処理プログラムの実施の形態について、添付図面を参照して説明する。

図１は、本発明に係る情報処理装置の第１実施形態を示す外観図である。

なお、本実施形態においては、ノートブック型のパーソナルコンピュータ（以下パーソナルコンピュータという）を情報処理装置の一例として示す。本実施形態に係るパーソナルコンピュータは、第１の符号化規格としてのＭＰＥＧ２規格で符号化された入力画像データを復号し、超解像処理を施して解像度を高くした後、第２の符号化規格としてのＨ．２６４規格で符号化してストリーム出力することができるよう構成される。

図１に示すように、パーソナルコンピュータ１０は、コンピュータ本体１１および表示装置としてのディスプレイユニット１２を備える。

コンピュータ本体１１は、薄い箱形の筐体を有し、この筐体上面の中央部には、キーボード１３が設けられる。コンピュータ本体１１の筐体上面の手前側には、パームレストが形成される。

ディスプレイユニット１２は、ＬＣＤ（Liquid Crystal Display）１４により構成される表示パネルを有し、コンピュータ本体１１に対し開閉自在に支持する連結部（ヒンジ）１５を介して連結される。

図２は、パーソナルコンピュータ１０の内部の構成を概略的に示すブロック図である。

図２に示すように、パーソナルコンピュータ１０は、キーボード１３、ＬＣＤ１４、アンテナ１６、チューナ１７、スピーカ１８、制御部２１、画像データ記憶部としてのＨＤＤ２２、フレームメモリ２３、ネットワーク接続部２４および外部インターフェイス２５を有する。

デジタル放送情報１は、ＭＰＥＧ−２ ＴＳ規格で符号化されており、アンテナ１６を介してチューナ１７により受信されてＨＤＤ２２に記憶される。デジタル放送情報１には、テレビ局が放送する番組の映像データ、音声データなどが含まれる。

ＬＣＤ１４は、ＣＰＵの制御に従って各種情報を表示する。たとえば、ＬＣＤ１４は、制御部２１からデコードされた映像データを受け、デジタル放送情報１に含まれる映像を表示出力する。また、スピーカ１８は、ＣＰＵの制御に従って各種音声を出力する。たとえば、スピーカ１８は、制御部２１からデコードされた音声データを受け、デジタル放送情報１に含まれる音声を出力する。

制御部２１は、ＣＰＵ、ＲＡＭ、ＲＯＭなどにより構成され、ＲＯＭ内に記憶されたプログラムに従って、パーソナルコンピュータ１０の処理動作を制御する。ＣＰＵは、ＲＯＭ内に記憶された画像処理プログラムおよびプログラムの実行のために必要なデータをＲＡＭへロードし、画像処理プログラムに従って、ＭＰＥＧ２規格で符号化された入力画像データを復号して超解像処理を施して解像度を高くしＨ．２６４規格で符号化する処理を実行するとともに、Ｈ．２６４規格で符号化する際に超解像処理により得られた動きベクトル（以下、超解像用動きベクトルという）を用いることにより動き補償ブロックサイズによらず低負荷で効率よく符号化する。

制御部２１のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。

ＲＯＭは、パーソナルコンピュータ１０の起動プログラム、コピー防止プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。

なお、ＲＯＭは、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、ＲＯＭ内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。

ＨＤＤ２２は、デジタル放送情報１に含まれる番組の録画データを記憶する。この録画データは、ＭＰＥＧ２規格で符号化された画像データである。

フレームメモリ２３は、制御部２１によって各種画像データの一時的な格納場所として利用される。

ネットワーク接続部２４は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部２４は、この各種プロトコルに従ってパーソナルコンピュータ１０と他の電気機器とを接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。パーソナルコンピュータ１０によりＨ．２６４で符号化されたストリームは、ネットワーク接続部２４を介して例えばＬＡＮ経由で他の電子機器に与えることができる。

外部Ｉ／Ｆ２５は、パーソナルコンピュータ１０と他の電子機器とを接続してデータを転送するためのインターフェイスである。パーソナルコンピュータ１０によりＨ．２６４で符号化されたストリームは、外部Ｉ／Ｆ２５を介しても他の電子機器に与えることができる。この外部Ｉ／Ｆ２５としては、たとえばＵＳＢ（Universal Serial Bus）規格、ＤＶＩ（Digital Visual Interface）規格、ＨＤＭＩ（High-Definition Multimedia Interface）規格、ディスプレイポート規格などに準拠したインターフェイスを用いることができる。

図３は、図２に示す制御部２１のＣＰＵによる機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。

ＣＰＵは、画像処理プログラムによって、少なくとも復号部としてのＭＰＥＧ２デコーダ３１、拡大部３２、超解像用動きベクトル検出部３３、超解像画像生成部３４および符号化部としてのＨ．２６４エンコーダ３５として機能する。この各部３１〜３５は、ＲＡＭの所要のワークエリアを、データの一時的な格納場所として利用する。

次に、ＣＰＵの各部３１〜３５について説明する。

復号部としてのＭＰＥＧ２デコーダ３１は、ＭＰＥＧ２規格で符号化された画像データを復号して復号画像を生成し、この復号画像をフレームメモリ２３に記憶させる。

拡大部３２は、フレームメモリ２３から復号画像を取得し、画像補間法を用いて復号画像の解像度（画素数）を拡張することにより拡大画像を生成する。画像補間法としては、最近隣補間法（Nearest Neighbor Method）、線形補間法（Bilinear Interpolation Method）、３次畳込み補間法（Cubic Convolution Method）、双３次スプライン補間法（Bicubic Spline Method）など従来各種のものが知られており、これらのうち任意のものを使用することが可能である。

超解像用動きベクトル検出部３３は、拡大画像を高精細化する際に用いられる動きベクトルを検出する。本実施形態においては、超解像用動きベクトル検出部３３が複数の拡大画像フレームを参照する場合（たとえば特開２０００−１８８６８０号公報参照）の例について説明する。また、本実施形態においては、超解像用動きベクトル検出部３３が拡大画像の画素ごとに動きベクトルを検出する場合の例について説明する。なお、超解像用動きベクトル検出部３３は、復号画像において算出し、これを拡大率に応じて拡大することで超解像用動きベクトルを求めることも可能である。

具体的には、超解像用動きベクトル検出部３３は、拡大画像の画素ごとに、注目する画素について、この画素を含む近傍の画像パターンと他の１つまたは複数の拡大画像のある画素の近傍の画像パターンとを比較し、画像パターンの相関の評価値が所定の閾値（第１の閾値）より小さくなる画素同士を対応点として得られるマッチングベクトルを、動きベクトルとして検出する。画像パターンの相関の評価値としては、たとえば輝度差の総和（ＳＡＤ）や輝度差の２乗和（ＳＳＤ）などを用いることができる。

この超解像用動きベクトル検出部３３は、超解像用動きベクトルを検出する際に取得した画像パターンの相関の評価値と、超解像用動きベクトルとをＨ．２６４エンコーダ３５に与える。

超解像画像生成部３４は、超解像用動きベクトル検出部３３により得られた動きベクトル（超解像用動きベクトル）を用いてフィードバック演算を行い、拡大画像を高精細化して超解像画像を生成する。この種の演算法としては、ＭＬ（Maximum-likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection On to Convex Sets）法など従来各種のものが知られており、これらのうち任意のものを使用することができる。

Ｈ．２６４エンコーダ３５は、超解像用動きベクトルを用いて超解像画像をＨ．２６４規格で符号化してストリーム出力する機能を有し、少なくともブロック内分散算出部４１、ブロックサイズ決定部４２、ブロック動きベクトル算出部４３およびストリーム生成部４４として機能する。

図４は、Ｈ．２６４規格でサポートされる動き補償ブロックの形状を示す説明図である。なお、以下の説明においては、ＭＰＥＧ２のマクロブロックサイズが１６×１６画素である場合の例について説明する。

図４に示すように、Ｈ．２６４規格では、動き補償ブロックの形状に応じて１６×１６画素のマクロブロックを７通り（モード）に分割することができる。

モード１は、動き補償ブロックサイズが１６×１６画素のモードである。以下、モードと動き補償ブロックサイズとの関係は、モード２が１６×８画素、モード３が８×１６画素、モード４が８×８画素、モード５が８×４画素、モード６が４×８画素、モード７が４×４画素である。

図４において、Ｖｎ＿ｍは、モードｎ内の各動き補償ブロックにおける、超解像用動きベクトルの分散を表す。

従来、Ｈ．２６４エンコーダ３５は、マクロブロックごとに動き補償ブロックの分割モードを動的に変更できるようになっている。本実施形態に係るパーソナルコンピュータ１０は、この分割モードの変更時の指標の１つとして、動き補償ブロック内の超解像用動きベクトルの分散を利用することができる。

ブロック内分散算出部４１は、各動き補償ブロックに含まれる複数の画素に対応する超解像用動きベクトルの統計的ばらつきを算出する。本実施形態では、統計的ばらつきとして分散を用いる場合の例について示す。分散の大きさは、動き補償ブロックに含まれる画素間の動きベクトル傾向の差異の大きさを意味する。

ブロックサイズ決定部４２は、超解像用動きベクトルの分散に応じてＨ．２６４符号化のモードを決定する。

たとえば、モード６からモード７に変更する場合において、図４におけるモード７の左上辺の２つのブロックの分散値Ｖ７＿０およびＶ７＿４について考える。Ｖ７＿０およびＶ７＿４が対応する領域は、モード６のＶ６＿０が対応する領域に等しい（図４の斜線部参照）。

Ｖ６＿０がＶ７＿０およびＶ７＿４のいずれよりも大きい場合は、Ｖ７＿０に対応する位置の画素群とＶ７＿４に対応する位置の画素群とで超解像動きベクトルの傾向に差異があることになる。この場合、動き補償のみに着目すると、モード６としてＶ６＿０に対応するブロックを１つのブロックとして扱うよりも、モード７としてＶ７＿０およびＶ７＿４に分割して扱うほうが、符号化効率が高いといえる。

また、モード２とモード３におけるマクロブロック全領域や、モード５のＶ５＿０およびＶ５＿１に対応する領域とモード６のＶ６＿０およびＶ６＿１に対応する領域のように、複数の同数の動き補償ブロックの組み合わせで同一の領域が表現される場合がある。この場合、同一の領域の分散値を加算合計するなどして比較し、この分散の加算値が小さいモードを選択すれば、符号化効率を向上させることができる。

したがって、動き補償ブロックの形状を変更する際には、超解像用動きベクトルの分散を１つの指標として用いることが符号化効率の向上の面で有効であるといえる。

図５は、超解像用動きベクトルと動き補償ブロックを代表する動きベクトル（以下、ブロック動きベクトルという）との関係を示す説明図である。図５には、動き補償ブロックサイズが４×４画素（モード７）である場合の例について示した。

ブロック動きベクトル算出部４３は、ブロックサイズ決定部４２によって決定された分割モードに応じて、各動き補償ブロックに含まれる複数の画素に対応する超解像用動きベクトルの平均を算出する。この平均ベクトルは、ストリーム生成部４４により、Ｈ．２６４で符号化する際にそのまま各動き補償ブロックの動きベクトル（ブロック動きベクトル）として利用されてもよいし、ブロック動きベクトルを探索する際の初期値として利用されてもよい。以下の説明では、平均ベクトルがそのままブロック動きベクトルとして利用される場合の例について説明する。

ストリーム生成部４４は、ブロック動きベクトルにもとづいて超解像画像をＨ．２６４規格で符号化しストリームを生成する。なお、ストリーム生成部４４は、超解像用動きベクトル検出部３３から受けた画像パターンの相関の評価値にもとづいて、相関の評価値が第１の閾値（超解像用動きベクトル検出部３３により超解像用動きベクトル検出時に利用される閾値）より大きい第２の閾値よりも大きいときは、他の拡大画像について動き補償に用いるか否かの優先順位を下げるようにするとよい。相関の評価値が大きすぎる画像フレームを参照対象から除外することにより、ストリーム生成部４４は、画像間でシーンチェンジやオブジェクトの消失といった突発的な変化がある場合にも適切に符号化処理を行うことができる。

なお、本実施形態においてはＨ．２６４エンコーダ３５が超解像画像をＨ．２６４で符号化する際に動きベクトルとして超解像用動きベクトルのみを用いる場合の例について示したが、ＭＰＥＧ２デコーダ３１により抽出される入力画像データの動きベクトルをさらに利用しても構わない。

次に、本実施形態に係るパーソナルコンピュータ１０の動作の一例について説明する。

図６は、図１に示すパーソナルコンピュータ１０のＣＰＵにより、ＭＰＥＧ２規格で符号化された入力画像データを復号して超解像処理を施して解像度を高くしＨ．２６４規格で符号化する処理において、超解像処理により得られた動きベクトル（超解像用動きベクトル）を用いて動き補償ブロックサイズによらず低負荷で効率よく符号化する際の手順を示すフローチャートである。図６において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。

この手順は、ＭＰＥＧ２規格で符号化された画像データがＭＰＥＧ２デコーダ３１に入力された時点でスタートとなる。以下の例では、ＭＰＥＧ２規格で符号化された画像データがＨＤＤ２２に記憶されており、ＣＰＵがＨＤＤ２２からＭＰＥＧ２規格で符号化された画像データを取得する場合について説明する。なお、ＭＰＥＧ２規格で符号化された画像データは、ネットワーク接続部２４や外部Ｉ／Ｆ２５を介して外部からＣＰＵに与えられてもよいし、ＭＰＥＧ２規格で符号化された画像データとしてデジタル放送情報１に含まれる映像データを用いる場合はＨＤＤ２２を経ずにアンテナ１６およびチューナ１７を介して直接ＣＰＵに与えられてもよい。

なお、以下の例では、超解像用動きベクトル検出部３３が複数のフレームを参照する方法である場合について説明する。

まず、ステップＳ１において、復号部としてのＭＰＥＧ２デコーダ３１は、ストリーム入力された入力画像データを復号して復号画像を生成する。

次に、ステップＳ２において、ＭＰＥＧ２デコーダ３１は、生成した復号画像をフレームメモリ２３に格納する。

次に、ステップＳ３において、拡大部３２は、フレームメモリ２３から復号画像を取得し、３次畳込み補間法を用いて復号画像を拡大して拡大画像を生成する。

次に、ステップＳ４において、超解像用動きベクトル検出部３３は、複数の拡大画像を用い、拡大画像の画素ごとにフレーム間の対応点を決定し超解像用動きベクトルを検出する。

次に、ステップＳ５において、超解像用動きベクトル検出部３３は、ステップＳ４で超解像用動きベクトルを検出する際に取得した画像パターンの相関の評価値と、超解像用動きベクトルとをＨ．２６４エンコーダ３５に与える。

次に、ステップＳ６において、超解像画像生成部３４は、超解像用動きベクトル用いてＰＯＣＳ法によるフィードバック演算を行い、拡大画像を高精細化して超解像画像を生成する。

次に、ステップＳ７において、ブロック内分散算出部４１は、各動き補償ブロックに含まれる複数の画素に対応する超解像用動きベクトルの分散を算出する（図４のＶｎ＿ｍ参照）。

次に、ステップＳ８において、ブロックサイズ決定部４２は、超解像用動きベクトルの分散に応じてＨ．２６４符号化のモードを決定する。

次に、ステップＳ９において、ブロック動きベクトル算出部４３は、ブロックサイズ決定部４２によって決定された分割モードに応じて、各動き補償ブロックに含まれる複数の画素に対応する超解像用動きベクトルの平均を算出する。

次に、ステップＳ１０において、ストリーム生成部４４は、ブロック動きベクトル算出部４３から受けた平均ベクトルを各動き補償ブロックの動きベクトル（ブロック動きベクトル）として利用して、超解像画像をＨ．２６４規格で符号化しストリームを生成する。

以上の手順により、ＭＰＥＧ２規格で符号化された入力画像データを復号して超解像処理を施して解像度を高くしＨ．２６４規格で符号化する処理において、超解像処理により得られた超解像用動きベクトルを用いて動き補償ブロックサイズによらず低負荷で効率よく符号化することができる。

本実施形態に係るパーソナルコンピュータ１０は、Ｈ．２６４規格で符号化する際に、画素ごとに検出された超解像用動きベクトルから算出されるブロック動きベクトルを利用する。このため、従来のＭＰＥＧ２規格の動きベクトルを利用してＨ．２６４規格で符号化する技術に比べ、非常に容易に低負荷で符号化効率の高いブロック動きベクトルまたはブロック動きベクトル探索の初期値を取得することができる。また、画素ごとに検出された超解像用動きベクトルからブロック動きベクトルまたはブロック動きベクトル探索の初期値を算出するため、Ｈ．２６４規格の動き補償ブロックのサイズ（形状）によらず容易にＨ．２６４規格で符号化することができる。

また、本実施形態に係るパーソナルコンピュータ１０は、Ｈ．２６４規格の符号化ストリームを生成して出力することができる。このため、本実施形態に係るパーソナルコンピュータ１０は、外部Ｉ／Ｆ２５やネットワーク接続部２４を介して外部のＨ．２６４デコーダを備えた電子機器に対してＨ．２６４規格の符号化ストリームを出力することができる。したがって、本実施形態に係るパーソナルコンピュータ１０を利用すれば、Ｈ．２６４デコーダのみを備えた携帯型の情報処理端末の画像表示に超解像画像を表示させることもでき、非常に利便性が高い。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

たとえば、第１および第２の符号化規格は、ＭＰＥＧ２およびＨ．２６４規格に限られず、他符号化規格に対しても本発明を適用することができる。

また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

本発明に係る情報処理装置の第１実施形態を示す外観図。 パーソナルコンピュータの内部の構成を概略的に示すブロック図。 図２に示す制御部のＣＰＵによる機能実現部の構成例を示す概略的なブロック図。 Ｈ．２６４規格でサポートされる動き補償ブロックの形状を示す説明図。 超解像用動きベクトルとブロック動きベクトルとの関係を示す説明図。 図１に示すパーソナルコンピュータのＣＰＵにより、ＭＰＥＧ２規格で符号化された入力画像データを復号して超解像処理を施して解像度を高くしＨ．２６４規格で符号化する処理において、超解像処理により得られた動きベクトル（超解像用動きベクトル）を用いて動き補償ブロックサイズによらず低負荷で効率よく符号化する際の手順を示すフローチャート。

符号の説明

１ デジタル放送情報
１０ パーソナルコンピュータ
１１ コンピュータ本体
１２ ディスプレイユニット
１３ キーボード
１４ ＬＣＤ
１５ 連結部
１６ アンテナ
１７ チューナ
１８ スピーカ
２１ 制御部
２２ ＨＤＤ
２３ フレームメモリ
２４ ネットワーク接続部
２５ 外部Ｉ／Ｆ
３１ ＭＰＥＧ２デコーダ（復号部）
３２ 拡大部
３３ 超解像用動きベクトル検出部
３４ 超解像画像生成部
３５ Ｈ．２６４エンコーダ（符号化部）
４１ ブロック内分散算出部
４２ ブロックサイズ決定部
４３ ブロック動きベクトル算出部
４４ ストリーム生成部

Claims (12)

1. 第１の符号化規格で符号化された画像データを復号して復号画像を生成する復号部と、
   前記復号画像を拡大して拡大画像を生成する拡大部と、
   前記拡大画像を高精細化する際に用いられる動きベクトルを検出する超解像用動きベクトル検出部と、
   前記超解像用動きベクトル検出部により検出された動きベクトルを用いて、前記拡大画像を高精細化して超解像画像を生成する超解像画像生成部と、
   前記超解像用動きベクトル検出部により検出された動きベクトルを用いて、前記超解像画像を第２の符号化規格で符号化してストリーム出力する符号化部と、
   を備えたことを特徴とする情報処理装置。
2. 前記符号化部は、
   前記超解像用動きベクトル検出部により検出された動きベクトルを用いて、前記超解像画像を第２の符号化規格で符号化する際に用いる動き補償ブロックの形状を決定するブロックサイズ決定部と、
   前記超解像用動きベクトル検出部により検出された動きベクトルを用いて、前記決定された形状の動き補償ブロックごとに動きベクトルを算出するブロック動きベクトル算出部と、
   を有する請求項１記載の情報処理装置。
3. 前記ブロックサイズ決定部は、
   前記動き補償ブロックに含まれる複数画素のそれぞれに対応した前記超解像用動きベクトル検出部により検出された動きベクトルの統計的ばらつきに応じて、前記動き補償ブロックの形状を決定する、
   請求項２記載の情報処理装置。
4. 前記超解像用動きベクトル検出部は、
   前記拡大画像の画素ごとに、この画素を含む画像パターンと他の拡大画像の画素を含む画像パターンとを比較し、画像パターンの相関の評価値が第１の閾値より小さくなる画素同士を対応点として得られるマッチングベクトルを、前記拡大画像を高精細化する際に用いられる動きベクトルして検出する、
   請求項１ないし３のいずれか１項に記載の情報処理装置。
5. 前記符号化部は、
   前記画像パターンの相関の評価値を前記超解像用動きベクトル検出部から受け、前記相関の評価値が前記第１の閾値より大きい第２の閾値よりも大きいと、前記他の拡大画像を動き補償に用いるか否かの優先順位を下げる、
   請求項４記載の情報処理装置。
6. 前記超解像用動きベクトル検出部は、
   前記拡大画像を高精細化する際に用いられる動きベクトルを、前記拡大画像の画素ごとに検出する、
   請求項１ないし５のいずれか１項に記載の情報処理装置。
7. 第１の符号化規格で符号化された画像データを復号して復号画像を生成するステップと、
   前記復号画像を拡大して拡大画像を生成するステップと、
   前記拡大画像を高精細化する際に用いられる動きベクトルを検出するステップと、
   前記検出された動きベクトルを用いて、前記拡大画像を高精細化して超解像画像を生成するステップと、
   前記検出された動きベクトルを用いて、前記超解像画像を第２の符号化規格で符号化してストリーム出力するステップと、
   を有することを特徴とする画像処理方法。
8. 前記超解像画像を第２の符号化規格で符号化してストリーム出力するステップは、
   前記検出された動きベクトルを用いて、前記超解像画像を第２の符号化規格で符号化する際に用いる動き補償ブロックの形状を決定するステップと、
   前記検出された動きベクトルを用いて、前記決定された形状の動き補償ブロックごとに動きベクトルを算出するステップと、
   を有する請求項７記載の画像処理方法。
9. 前記動き補償ブロックの形状を決定するステップは、
   前記動き補償ブロックに含まれる複数画素のそれぞれに対応した前記超解像用動きベクトル検出部により検出された動きベクトルの統計的ばらつきに応じて、前記動き補償ブロックの形状を決定するステップである、
   請求項８記載の画像処理方法。
10. コンピュータを、
    第１の符号化規格で符号化された画像データを復号して復号画像を生成する復号部、
    前記復号画像を拡大して拡大画像を生成する拡大部、
    前記拡大画像を高精細化する際に用いられる動きベクトルを検出する超解像用動きベクトル検出部、
    前記超解像用動きベクトル検出部により検出された動きベクトルを用いて、前記拡大画像を高精細化して超解像画像を生成する超解像画像生成部、および、
    前記超解像用動きベクトル検出部により検出された動きベクトルを用いて、前記超解像画像を第２の符号化規格で符号化してストリーム出力する符号化部、
    として機能させることを特徴とする画像処理プログラム。
11. 前記符号化部は、少なくとも、
    前記超解像用動きベクトル検出部により検出された動きベクトルを用いて、前記超解像画像を第２の符号化規格で符号化する際に用いる動き補償ブロックの形状を決定するブロックサイズ決定部、および、
    前記超解像用動きベクトル検出部により検出された動きベクトルを用いて、前記決定された形状の動き補償ブロックごとに動きベクトルを算出するブロック動きベクトル算出部、
    として機能する請求項１０記載の画像処理プログラム。
12. 前記ブロックサイズ決定部は、
    前記動き補償ブロックに含まれる複数画素のそれぞれに対応した前記超解像用動きベクトル検出部により検出された動きベクトルの統計的ばらつきに応じて、前記動き補償ブロックの形状を決定する機能を有する、
    請求項１１記載の画像処理プログラム。

Images