JP4780222B2 - 撮像装置、撮像方法、プログラム、及び記録媒体 - Google Patents

Description

本発明は、撮像装置、撮像方法、プログラム、及び記録媒体に関する。

最近、デジタル映像データ（以下、映像データ）の配信に関する技術が大きく発展してきている。とりわけ、高画質な映像データの配信や記録に関する技術の発展には目を見張るものがある。その中でも、映像データの符号化及び復号に関する技術に注目が集まっている。高い空間解像度及び時間解像度を有する映像データは、そのデータサイズが非常に大きいため、その映像データを符号化した上で効率良く圧縮して配信又は記録される必要がある。そのため、高画質の映像データをより高い圧縮率で圧縮できるようにする符号化技術や、より高い空間解像度で再生できるように復号技術が求められている。

例えば、下記の特許文献１及び２には、空間解像度は低いが時間解像度の高い第１の映像データ（例えば、動画データ等）と、空間解像度は高いが時間解像度が低い第２の映像データ（例えば、静止画データの系列等）とを組み合わせて、高い空間解像度及び時間解像度を有する映像データを生成するための基礎となる技術が開示されている。この技術は、第１の映像データからフレーム間の動きベクトルを予測し、その動きベクトルと第２の映像データとを用いて、第１の映像データの高周波成分を補償するというものである。当該技術は、第２の映像データにフレームが含まれない任意時点のフレームを第１の映像データから検出された動きベクトルと、その任意時点に近い時点における第２の映像データのフレームとを用いて生成するというものである。また、下記の特許文献１及び２には、前記の技術を用いて高い空間解像度及び時間解像度を有する映像データを生成するための画像データ記録再生装置に関する記載がある。

一方、複数の低解像度画像から高解像度画像を生成する方法として、超解像と呼ばれる技術が知られている。超解像とは、重なりを有する複数の低解像度画像を組み合わせて、１フレームの高解像度画像における各画素の画素値を求める方法である。この方法により、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子が有する解像度を超える高い解像度の画像が再構成される。例えば、高解像度の衛星写真を生成する際に超解像の技術が用いられている。しかしながら、超解像の技術は、高周波成分が含まれる高解像度の画像情報を用いて画像を補償する下記の特許文献１又は２等に記載の方法と比較すると高精細化の性能が劣っていると言わざるを得ない。

特開２００４−３１２２７６号公報 特開２００４−３１２２７７号公報

また、上記各文献に記載の方法を用いたとしても、動きベクトルの予測精度等に依存して高周波成分にノイズが発生する可能性があるため、より高い精度で動きベクトルを予測する技術が求められている。特に、参照される高精細な静止画データの撮影間隔が長い場合等においては、より精緻な動きベクトルの予測精度が求められる。そこで、本発明は、上記の超解像技術に基づき、動き予測及び動き補償の技術を用いて高精細な静止画データの高周波成分を補償する高解像度画像の生成方法を提供するものである。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、低解像度の画像データ系列と高解像度の画像データとを用いて、所望のタイミングで高解像度の画像データをより高い品質で生成することが可能な、新規かつ改良された撮像装置、撮像方法、プログラム、及び記録媒体を提供することにある。

上記課題を解決するために、本発明のある観点によれば、被写体を撮像して撮像データを生成する撮像部と、前記撮像部により撮像された撮像データに所定の画像処理を施して映像データを生成する画像処理部と、前記画像処理部により生成された映像データから、複数のフレームを含む第１映像データを圧縮処理して第１符号化データを生成するとともに、前記フレームよりも高い解像度を有する第２映像データを圧縮処理して第２符号化データを生成する圧縮部と、前記圧縮部により生成された第１符号化データ及び第２符号化データを記憶する記憶部と、前記記憶部に記憶された第１符号化データ及び第２符号化データを伸張処理して前記第１映像データ及び第２映像データを生成する伸張部と、前記伸張部により生成された第１映像データに含まれる複数のフレームを利用して当該各フレームに超解像処理を施すことにより超解像画像を生成する超解像処理部と、前記超解像処理部により生成された超解像画像間の動きベクトルを検出する動き予測部と、前記伸張部により生成された第２映像データと前記動き予測部により検出された動きベクトルとに基づいて、前記第１映像データのフレームに対応する動き補償された画像データを生成する画像生成部と、を備える、撮像装置が提供される。

また、前記画像生成部は、前記動きベクトルを用いて動き補償を実行する際に、前記動きベクトルの参照元に対応する前記第２映像データ、及び前記動きベクトルの参照先に対応する前記超解像画像を参照して前記画像データを生成するように構成されていてもよい。

また、上記の撮像装置は、前記第１映像データに含まれる１つのフレームを利用して前記超解像処理部で生成される超解像画像と同じ解像度を有する拡大画像を生成する拡大画像生成部と、前記１つのフレームに対応する超解像画像と前記拡大画像生成部で生成された拡大画像との間の位相ずれを検出する位相ずれ検出部と、をさらに備えていてもよい。

また、上記の撮像装置は、前記位相ずれ検出部により検出された位相ずれに基づいて、前記超解像画像の位相ずれを補正する位相ずれ補正部をさらに備えていてもよい。

また、上記の撮像装置は、前記位相ずれ検出部により検出された位相ずれに基づいて、前記動き予測部による超解像画像間の動きベクトルの予測結果を補正する動きベクトル補正部をさらに備えていてもよい。

また、前記超解像処理部は、前記第１映像データに含まれるフレームの解像度を変換せずに超解像処理を施すように構成されていてもよい。

また、前記第１映像データは、前記第２映像データよりも時間解像度が高く、前記第２映像データは、前記第１映像データよりも時間解像度が低いものであってもよい。

また、前記画像生成部は、前記動き補償された画像データを用いて前記第２映像データの時間解像度を向上させるように構成されていてもよい。

また、前記第１映像データは、ダウンサンプリング処理が施されていてもよい。

また、上記の撮像装置は、前記画像生成部により生成れた画像データを用いて、前記第１映像データを復号する復号部をさらに備えていてもよい。

また、上記課題を解決するために、本発明の他の観点によれば、被写体を撮像して撮像データを生成する撮像ステップと、前記撮像ステップにて撮像された撮像データに所定の画像処理を施して映像データを生成する画像処理ステップと、前記画像処理ステップにて生成された映像データから、複数のフレームを含む第１映像データを圧縮処理して第１符号化データを生成するとともに、前記フレームよりも高い解像度を有する第２映像データを圧縮処理して第２符号化データを生成する圧縮ステップと、前記圧縮ステップにて生成された第１符号化データ及び第２符号化データを記憶する記憶ステップと、前記記憶ステップにて記憶された第１符号化データ及び第２符号化データを伸張処理して前記第１映像データ及び第２映像データを生成する伸張ステップと、前記伸張ステップにて生成された第１映像データに含まれる複数のフレームを利用して当該各フレームに超解像処理を施すことにより超解像画像を生成する超解像処理ステップと、前記超解像処理ステップにて生成された超解像画像間の動きベクトルを検出する動き予測ステップと、前記伸張ステップにて生成された第２映像データと前記動き予測ステップにて検出された動きベクトルとに基づいて、前記第１映像データのフレームに対応する動き補償された画像データを生成する画像生成ステップと、を含む、撮像方法が提供される。

また、上記課題を解決するために、本発明の他の観点によれば、被写体を撮像して撮像データを生成する撮像機能と、前記撮像機能により撮像された撮像データに所定の画像処理を施して映像データを生成する画像処理機能と、前記画像処理機能により生成された映像データから、複数のフレームを含む第１映像データを圧縮処理して第１符号化データを生成するとともに、前記フレームよりも高い解像度を有する第２映像データを圧縮処理して第２符号化データを生成する圧縮機能と、前記圧縮機能により生成された第１符号化データ及び第２符号化データを記憶する記憶機能と、前記記憶機能により記憶された第１符号化データ及び第２符号化データを伸張処理して前記第１映像データ及び第２映像データを生成する伸張機能と、前記伸張機能により生成された第１映像データに含まれる複数のフレームを利用して当該各フレームに超解像処理を施すことにより超解像画像を生成する超解像処理機能と、前記超解像処理機能により生成された超解像画像間の動きベクトルを検出する動き予測機能と、前記伸張機能により生成された第２映像データと前記動き予測機能により検出された動きベクトルとに基づいて、前記第１映像データのフレームに対応する動き補償された画像データを生成する画像生成機能と、をコンピュータに実現させるためのプログラムが提供される。

また、上記課題を解決するために、本発明の他の観点によれば、被写体を撮像して撮像データを生成する撮像機能と、前記撮像機能により撮像された撮像データに所定の画像処理を施して映像データを生成する画像処理機能と、前記画像処理機能により生成された映像データから、複数のフレームを含む第１映像データを圧縮処理して第１符号化データを生成するとともに、前記フレームよりも高い解像度を有する第２映像データを圧縮処理して第２符号化データを生成する圧縮機能と、前記圧縮機能により生成された第１符号化データ及び第２符号化データを記憶する記憶機能と、前記記憶機能により記憶された第１符号化データ及び第２符号化データを伸張処理して前記第１映像データ及び第２映像データを生成する伸張機能と、前記伸張機能により生成された第１映像データに含まれる複数のフレームを利用して当該各フレームに超解像処理を施すことにより超解像画像を生成する超解像処理機能と、前記超解像処理機能により生成された超解像画像間の動きベクトルを検出する動き予測機能と、前記伸張機能により生成された第２映像データと前記動き予測機能により検出された動きベクトルとに基づいて、前記第１映像データのフレームに対応する動き補償された画像データを生成する画像生成機能と、をコンピュータに実現させるためのプログラムが記録された、コンピュータにより読み取り可能な記録媒体が提供される。

以上説明したように本発明によれば、低解像度の画像データ系列と高解像度の画像データとを用いて、所望のタイミングで高解像度の画像データをより高い品質で生成することが可能になる。

高解像度生成画像の生成方法を説明するための説明図である。 ＦＩＲフィルタと超解像処理による解像度変換の違いを示す説明図である。 本発明の一実施形態に係る画像処理装置の装置構成を示す説明図である。 本実施形態に係る画像生成回路の動作を説明するための説明図である。 本実施形態に係る位相補正回路の動作を説明するための説明図である。 本実施形態に係る高解像度画像の生成方法を示す説明図である。 本実施形態の一変形例に係る高解像度画像の生成方法を示す説明図である。 本実施形態に係る画像処理装置の機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。但し、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

（高解像度画像の生成方法）
まず、本発明の実施形態に係る画像処理装置、及び画像処理方法について説明するに先立ち、図１を参照しながら、低い空間解像度で連続する映像が記録された画像データ系列（以下、動画データ）と、その動画データに含まれる適当なフレーム（以下、低解像度記録画像（ＬＲＰ；Ｌｏｗ Ｒｅｓｏｌｕｔｉｏｎ Ｐｉｃｔｕｒｅ））に対応して離散的に記録された高空間解像度の画像データ（以下、静止画データ、又は高解像度記録画像（ＨＲＰ；Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｐｉｃｔｕｒｅ））とを用いて、前記動画データに含まれる任意のフレームに対応する高空間解像度の画像データ（以下、生成画像（ＣＰ；Ｃｒｅａｔｅｄ Ｐｉｃｔｕｒｅ）、又は高解像度生成画像）を生成するアイデアについて簡単に説明する。図１は、高解像度画像の生成方法の一例を示す説明図である。

図１には、高解像度記録画像ＨＲＰ（ｔ）と、低解像度記録画像ＬＲＰ（ｔ）、ＬＲＰ（ｔ＋ｈ）と、拡大スケーリング画像（ＭＰ；Ｍａｇｎｉｆｉｅｄ Ｐｉｃｔｕｒｅ）ＭＰ（ｔ）、ＭＰ（ｔ＋ｈ）、生成画像ＣＰ（ｔ＋ｈ）とが描画されている。以下、カッコ内の文字は、撮影時刻を表すものとする。例えば、生成画像ＣＰ（ｔ＋ｈ）は、時刻ｔ＋ｈに撮影された低解像度記録画像ＬＲＰ（ｔ＋ｈ）に対応する生成画像を表す。

生成画像ＣＰは、低解像度記録画像ＬＲＰを用いて検出された動きベクトルと高解像度記録画像ＨＲＰとを用いて動き補償することによって生成された画像データである。例えば、図１に示すように、低解像度記録画像ＬＲＰ（ｔ）を拡大スケーリングして生成された拡大スケーリング画像ＭＰ（ｔ）と、低解像度記録画像ＬＲＰ（ｔ＋ｈ）を拡大スケーリングして生成された拡大スケーリング画像ＭＰ（ｔ＋ｈ）とを用いて、時刻ｔと時刻ｔ＋ｈとの間の動きベクトル（ＭＶ；Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）が検出される（Ｓ１）。次いで、動きベクトルＭＶに基づき、低解像度記録画像ＬＲＰ（ｔ）の参照ブロック（ＢＬＫ）に対応する高解像度記録画像ＨＲＰ（ｔ）の参照ブロックが抽出される。次いで、その参照ブロックの画素と拡大スケーリング画像ＭＰ（ｔ＋ｈ）の画素とが所定の比率で合成されて、生成画像ＣＰ（ｔ＋ｈ）が生成される（Ｓ２）。

上記の例では、動き予測と動き補償とが実質的に異なる画像を用いて実行される。低解像度記録画像ＬＲＰを拡大スケーリングして生成された拡大スケーリング画像ＭＰは、高解像度記録画像ＨＲＰと同じ空間解像度に拡大してはいるものの、高解像度記録画像ＨＲＰに比べて高周波成分が欠落している。そのため、拡大スケーリング画像ＭＰを用いて検出された動きベクトルと高解像度記録画像ＨＲＰが本来有すべき動きベクトルとにズレが生じる可能性がある。動き予測の精度が低い場合、高解像度記録画像ＨＲＰの中の参照ブロックの位置がズレてしまうため、動き補償して生成された生成画像ＣＰの高周波成分にノイズが付加されてしまう。

そこで、互いに異なる空間解像度を有する複数の画像データに基づいて動き補償を実行する場合に、動き補償に起因してノイズが付加されることを抑制する技術が求められている。特に、動きベクトルの誤差は、高解像度記録画像ＨＲＰ（ｔ）が撮影された時刻ｔと、生成画像ＣＰ（ｔ＋ｈ）を生成したい時刻ｔ＋ｈとが離れている場合に大きくなるため、時間間隔ｈが大きい場合に高精細な生成画像ＣＰ（ｔ＋ｈ）を得るための技術が求められている。

以下で説明するように、本発明の一実施形態に係る画像処理装置は、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ Ｆｉｌｔｅｒ）フィルタ等を用いて生成された拡大スケーリング画像ＭＰを用いて動き予測を行うのではなく、図２に示すような超解像処理により生成された超解像画像（ＳＲＰ；Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ Ｐｉｃｔｕｒｅ）を利用して動き予測を行う。図２は、ＦＩＲフィルタ等による解像度変換と、本実施形態に係る超解像処理による解像度変換の違いを説明するための説明図である。

図２に示すように、ＦＩＲフィルタ等を用いて解像度変換する場合、１枚の低解像度記録画像ＬＲＰに基づいて拡大スケーリング処理が行われ、拡大スケーリング画像ＭＰが生成される。この方法では、近傍の画素値を用いて画素値が補間されることにより、滑らかな信号が生成される。しかし、超解像処理を用いて解像度変換する場合、複数の低解像度記録画像ＬＲＰを用いて超解像画像ＳＲＰを生成する。例えば、超解像処理は、１画素よりも小さいズレ幅を有する複数の低解像度記録画像ＬＲＰを用いて、対応する画素の画素値を混合させて画素値を再構成するというものである。本実施形態に係る画像処理装置は、この手法を用いることにより、ＦＩＲフィルタ等で生成される拡大スケーリング画像ＭＰを利用する場合に比べて格段に動き予測の精度を向上させることができるため、高精細な生成画像ＣＰ（ｔ＋ｈ）を生成することができる。以下、この技術的思想を実現可能な画像処理装置の具体的な構成例について説明する。

＜本発明の一実施形態＞
まず、本発明の一実施形態に係る画像処理装置１００について詳細に説明する。

［画像処理装置１００の装置構成］
まず、図３を参照しながら、本実施形態に係る画像処理装置１００の装置構成について説明する。図３は、本実施形態に係る画像処理装置１００の装置構成の一例を示す説明図である。

図３に示すように、画像処理装置１００は、主に、撮像レンズ１０２と、撮像素子１０４と、カメラ信号処理ブロック１１０と、動画像記録再生ブロック１２０と、静止画像記録再生ブロック１３０と、画像生成処理回路３０２と、位相補正回路３０４と、超解像処理回路３０６と、表示回路１０８とを有する。位相補正回路３０４は、位相ずれ検出部、位相ずれ補正部、又は動きベクトル補正部の一例である。また、超解像処理回路３０６は、超解像処理部の一例である。

撮像レンズ１０２は、光を集光させて被写体の像（以下、集光画像）を形成するための光学レンズである。撮像素子１０４は、撮像レンズ１０２が集光した光を電気信号に変換する光電素子である。撮像素子１０４には、例えば、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）やＣＭＯＳイメージセンサ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）等の半導体素子が用いられる。また、撮像素子１０４は、動画データが持つ空間解像度の有効画素数よりも多い画素を有している。表示回路１０８は、画像データを記録又は再生する際、或いは、その画像データを確認する際に、、図示しない表示装置に対して前記の画像データを表示させる。画像生成タイミングコントローラ１０６は、動画データを再生している途中でオペレータが静止画データを取得するように指示する装置である。

（カメラ信号処理ブロック１１０）
カメラ信号処理ブロック１１０は、図３に示すように、Ａ／Ｄ変換器１１２と、デジタル信号処理回路１１４とを含む。

Ａ／Ｄ変換器１１２は、入力されたアナログ信号をデジタル信号に変換して出力するアナログ・デジタル変換器（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）である。Ａ／Ｄ変換器１１２は、撮像素子１０４から入力された集光画像のアナログ信号をデジタル信号に変換してデジタル信号処理回路１１４に出力する。デジタル信号処理回路１１４は、Ａ／Ｄ変換器１１２から入力された集光画像のデジタル信号（以下、画像データ）に対し、ホワイトバランスの調整やガンマ補正等の処理を行う。

（動画像記録再生ブロック１２０）
動画像記録再生ブロック１２０は、図３に示すように、画像密度変換回路１２６と、動画像圧縮／伸長回路１２４と、記憶部１２２とを含む。

画像密度変換回路１２６は、動画データの記録に際し、デジタル信号処理回路１１４から入力された画像データの系列（動画データ）に対して間引き処理（例えば、フレーム間差分符号化等）を施す。画像密度変換回路１２６は、その間引き処理後の動画データを動画像圧縮／伸長回路１２４に出力する。動画像圧縮／伸長回路１２４は、画像密度変換回路１２６から入力された前記間引き後の動画データを圧縮処理し、その圧縮された動画データを記憶部１２２に記録する。

一方、動画データの再生に際し、動画像圧縮／伸長回路１２４は、記憶部１２２に記録された前記の動画データを読出して伸長処理を施す。そして、動画像圧縮／伸長回路１２４は、その伸長された動画データを画像密度変換回路１２６に対して出力する。画像密度変換回路１２６は、動画像圧縮／伸長回路１２４から入力された動画データに対して補間処理（例えば、差分化されたデータの復元等）を施す。

（静止画像記録再生ブロック１３０）
静止画像記録再生ブロック１３０は、図３に示すように、静止画像圧縮／伸長回路１３４と、記憶部１３２とを含む。但し、記憶部１３２は、前記の記憶部１２２と共通の記憶装置を用いて、その機能を実現することもできる。

静止画像圧縮／伸長回路１３４は、静止画データの記録に際し、デジタル信号処理回路１１４から入力された画像データに圧縮処理を施して記憶部１３２に出力する。一方、静止画データの再生に際し、静止画像圧縮／伸長回路１３４は、記憶部１３２に記録された画像データを読出して伸長処理を施す。

（画像生成処理回路３０２）
図中には明示しないが、画像生成処理回路３０２は、動き予測部３１２と、動き補償部３１４とを含む。なお、動き予測部３１２は、動き予測部の一例である。また、動き補償部３１４は、画像生成部の一例である。

動き予測部３１２は、動画像記録再生ブロック１２０から伝送された動画データについて、フレーム間の動き予測を実行して動きベクトルを検出する。例えば、動き予測部３１２は、所定時刻に記録されたフレームに最も近い時点で記録された静止画データを選択する。そして、動き予測部３１２は、その静止画データに対応するフレームと所定時刻に記録されたフレームとの間で動き予測を実行してフレーム間の動きベクトルを検出する。このとき、動き予測部３１２は、参照する各フレーム（ＬＲＰ）を超解像処理して解像度変換された超解像画像ＳＲＰを用いて動きベクトルを検出する。

他の例として、動き予測部３１２は、所定時刻に記録されたフレームに近い時点で記録された複数の静止画データを抽出した上で、前記の所定時刻に記録されたフレームに最も近似した静止画データに対応するフレームを選択することもできる。そして、動き予測部３１２は、その選択された静止画データに対応するフレームと所定時刻に記録されたフレームとの間で動き予測を実行してフレーム間の動きベクトルを検出してもよい。

動き補償部３１４は、動き予測部３１２から入力された動きベクトルの情報と、静止画像記録再生ブロック１３０から入力された静止画データとに基づいて動き補償を実行する。例えば、動き補償部３１４は、所定時刻に記録されたフレームの参照ブロックに対応する静止画データの参照ブロックを前記の動きベクトルに基づいて特定する。動き補償部３１４は、その特定された静止画データの参照ブロックと、所定時刻に記録されたフレームの参照ブロックとを所定の比率で合成して画像データ（生成画像ＣＰ）を生成する。

さらに、画像生成処理回路３０２は、生成画像ＣＰを生成する際、生成画像ＣＰに対応する超解像画像ＳＲＰと参照先の画像との差分量を監視する。高解像度記録画像ＨＲＰと超解像画像ＳＲＰとの差分量が小さい場合、画像生成処理回路３０２は、生成画像ＣＰとして高解像度記録画像ＨＲＰをそのまま出力することができる。このケースは、完全に静止している被写体を撮影した場合等に起こりうる状況である。

前記のように、動き予測の精度が低下する原因の１つは、動画像記録再生ブロック１２０から伝送された画像データの空間解像度が低いことである。解像度変換後の高い空間解像度を有する画像データは、高解像度で撮影された静止画像データと異なり、高周波成分の情報が含まれていない。そのため、小数画素程度の精度、又は数画素程度の精度で細かい動き予測をしても、画像データに含まれない信号同士を比較することになるため、拡大率によっては動き予測の精度が大きく低下してしまう。

（超解像処理回路３０６、位相補正回路３０４）
そのため、本実施形態に係る画像処理装置１００は、低解像度記録画像ＬＲＰの解像度変換を超解像処理により実行する超解像処理回路３０６を有しているのである。そこで、超解像処理回路３０６等の超解像処理に係る構成要素について、より詳細に説明する。

まず、画像生成処理回路３０２は、動画像記録再生ブロック１２０から入力された低解像度記録画像ＬＲＰを位相補正回路３０４を経由して超解像処理回路３０６に伝送する。超解像処理回路３０６は、動画データの複数フレームに対応する低解像度記録画像ＬＲＰを利用し、超解像処理により各低解像度記録画像ＬＲＰを高解像度化する。そして、超解像処理回路３０６は、位相補正回路３０４に対して高解像度化された超解像画像ＳＲＰを伝送する。

図４に示すように、超解像処理回路３０６は、まず、動画データに対応する複数フレームの低解像度記録画像ＬＲＰの情報を集約して１枚の高解像度画像を生成する。このとき、超解像処理に用いる複数の低解像度記録画像ＬＲＰは、撮影時刻が異なるため、同一の被写体であっても異なる位相の信号が含まれていることが多い。そこで、超解像処理方法に基づき、位相の重ね合わせを行うことで、複数の低解像度記録画像ＬＲＰが内包する高周波成分を重ね合わせることが可能になり、出力される画像データの解像度を高めることに繋がる。入力される低解像度記録画像ＬＲＰの枚数は、画像処理装置が有するメモリ容量と処理能力が許す限り、２枚以上の何枚でもよい。

尚、超解像処理回路３０６を用いても、低い空間解像度に解像度変換される前の画像情報が完全に復元されるわけではない。しかし、超解像処理によって高周波成分が幾分か補償されるため、動き予測の精度が大きく改善される。つまり、超解像度処理によって高解像度成分が生成又は補間され、画像信号の比較がより正確に行われるようになる。

次いで、位相補正回路３０４は、画像密度変換回路１２６から伝送された低解像度記録画像ＬＲＰ（又はＦＩＲフィルタ等による拡大スケーリング画像ＭＰ）と超解像処理回路３０６から伝送された超解像画像ＳＲＰとを比較し、超解像処理回路３０６から伝送された超解像画像ＳＲＰの位相を補正する。そして、超解像処理回路３０６は、画像生成処理回路３０２に対して位相補正された超解像画像ＳＲＰを伝送する。画像生成処理回路３０２は、位相補正回路３０４から伝送された超解像画像ＳＲＰと静止画像記録再生ブロック１３０から伝送された高解像度記録画像ＨＲＰとに基づいて動き補償し、生成画像ＣＰを生成する。その後、画像生成処理回路３０２は、表示回路１０８に対して生成画像ＣＰを出力する。尚、画像密度変換回路１２６は、拡大画像生成部の一例である。

前記のように、位相補正回路３０４には、超解像処理回路３０６において超解像処理された画像（超解像画像ＳＲＰ）と、画像密度変換回路１２６を介して解像度変換された画像とが入力される。図５に示すように、前者は、超解像処理によって高周波成分が付加されている。一方、後者はＦＩＲフィルタ等による解像度変換処理しかされていないので高周波成分は付加されていない。しかし、後者には、高解像度化に伴う位相のずれが生じにくい。逆に、前者は、複数の画像を加算する処理を含むため、原理上、位相のズレが発生しやすい。しかし、動き予測に用いる画像と動き補償に用いる画像との間で位相がズレているのは品質の劣化につながる。

そこで、位相補正回路３０４は、超解像処理回路３０６から入力された超解像画像ＳＲＰと動画像記録再生ブロック１２０から入力された拡大スケーリング画像ＭＰとの間の位相のズレ量を算出する。本実施形態に適用可能な補正量の求め方には、例えば、位相相関法やブロックマッチング法による動き予測などがある。つまり、何らかの動き予測手法を用いればよい。画面全体の位相が一様にずれている場合、前記の動き予測手法として、位相相関法などが適している。一方、画面内の領域によって位相のずれ量が異なるような場合、前記の動き予測手法として、ブロックマッチング法などが適している。また、縮小画像を作成すると、比較的容易に動き予測を行うことができる。

次いで、位相補正回路３０４は、前記の方法により求められた位相のズレ量を利用して、超解像処理回路３０６から入力された超解像画像ＳＲＰの位相を補正する。整数画素精度のズレが生じている場合、単純に画像全体をシフトすることにより補正することが可能である。小数画素精度のズレが生じている場合、ＦＩＲフィルタによる補間処理と組み合わせることにより補正することが可能である。この方法は、一時的に画像を拡大して、小数画素のズレを整数画素のズレに拡大して扱う方法である。

また、位相補正回路３０４は、超解像画像ＳＲＰに生じた位相のズレを補正するのではなく、超解像画像ＳＲＰの間で検出される動きベクトルなどの動き情報を補正する方法で前記の位相補正を実行してもよい。つまり、画像生成処理回路３０２は、超解像処理回路３０６から出力される超解像画像ＳＲＰを用いて動き予測を行うのである。そして、画像生成処理回路３０２は、検出された動きベクトルに対し、位相補正回路３０４で算出された位相のズレ量を付加して動きベクトルを修正する。その後、画像生成処理回路３０２は、静止画像記録再生ブロック１３０から出力される高解像度記録画像ＨＲＰを用いて動き補償を行うことで、超解像処理回路３０６で発生した超解像画像ＳＲＰ上の位相ズレを解消することができる。

［画像データの記録動作］
次に、本実施形態に係る画像処理装置１００による画像データの記録動作について簡単に説明する。

まず、オペレータが画像処理装置１００に記録動作の開始を指示する（Ｓ１０）。その指示を受け、画像処理装置１００は、動画データを構成するフレームの連続記録を開始する（Ｓ１２）。画像処理装置１００は、撮像レンズ１０２を介して集光画像を取得する（Ｓ１４）。次いで、画像処理装置１００は、その集光画像を撮像素子１０４により光電変換してアナログ信号を生成する（Ｓ１６）。次いで、画像処理装置１００は、そのアナログ信号をＡ／Ｄ変換器１１２に入力してデジタル信号に変換する（Ｓ１８）。次いで、画像処理装置１００は、そのデジタル信号をデジタル信号処理回路１１４に入力して、そのデジタル信号に対応する画像データのホワイトバランスの調整やガンマ補正等の処理を実行する（Ｓ２０）。画像処理装置１００は、前記の画像データを蓄積して動画データを形成することができる。

次いで、画像処理装置１００は、画像密度変換回路１２６により、上記の動画データに間引き処理を施す（Ｓ２２）。ステップＳ２２を実行する際、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄ Ｃｏｍｍｉｔｔｅｅ）方式、ＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ）方式、又はＩＳＤＢ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｂｒｏａｄｃａｓｔｉｎｇ）方式等の各ビデオ信号フォーマットにおける有効画素数が得られる。次いで、画像処理装置１００は、動画像圧縮／伸長回路１２４により、前記の間引き処理が施された動画データを圧縮処理し（Ｓ２４）、記憶部１２２に記録する（Ｓ２５）。また、画像処理装置１００は、静止画像圧縮／伸長回路１３４により、所定の時間間隔で間歇的に前記の画像データ（静止画データ）を取得して圧縮処理し（Ｓ３２）、記憶部１３２に記録する（Ｓ３４）。

［画像データの再生動作］
次に、本実施形態に係る画像処理装置１００による画像データの再生動作について簡単に説明する。

画像処理装置１００に対し、オペレータが画像生成タイミングコントローラ１０６を用いて再生動作の開始を指示する（Ｓ５０）。その指示を受け、画像処理装置１００は、前記の動画データよりも空間解像度が高く、かつ、前記の静止画データが記録されていない記録時点における高画質画像データの生成を開始する（Ｓ５２）。画像処理装置１００は、記憶部１２２に記録された圧縮処理後の動画データを読み出し（Ｓ５４）、動画像圧縮／伸長回路１２４により伸長処理を実行する（Ｓ５６）。次いで、画像処理装置１００は、画像密度変換回路１２６により、伸長処理された動画データの補間処理を実行する（Ｓ５８）。ステップＳ５８により、前記の動画データの各フレームは、静止画データと同一画素数を有する画像データに変換される。そして、その動画データは、画像生成処理回路３０２に伝送される（Ｓ６０）。

また、画像処理装置１００は、静止画像圧縮／伸長回路１３４により、記憶部１３２に記録された静止画データを読み出して伸長し（Ｓ７２）、画像生成処理回路３０２に伝送する（Ｓ７４）。

（画像生成処理回路３０２の動作）
ここで、再び図４を参照しながら、画像生成処理回路３０２の処理動作について説明する。図４は、画像生成処理回路３０２の処理動作を説明するための説明図である。

図４には、撮影時刻に対応するように、高解像度記録画像ＨＲＰ（ｔ）と、複数の低解像度記録画像ＬＲＰ（ｔ）及びＬＲＰ（ｔ＋ｈ）等と、生成画像ＣＰ（ｔ＋ｈ）とが描画されている。尚、図４は、時刻ｔ＋ｈに記録された低解像度記録画像ＬＲＰ（ｔ＋ｈ）に対応する生成画像ＣＰ（ｔ＋ｈ）を生成する処理動作を具体的に説明するものである。

但し、高解像度記録画像ＨＲＰは、水平画素数がＮ、垂直画素数がＭ、フレームレートが１／ΔＴ［ｆｐｓ］であるものと仮定する。また、低解像度記録画像ＬＲＰは、水平画素数がｎ、垂直画素数がｍ、フレームレートが１／Δｔ［ｆｐｓ］であるものと仮定する。そして、各変数は、Ｎ≧ｎ、Ｍ≧ｍ、ΔＴ≧ｔの関係を満たすものと仮定する。さらに、変数ｈは、０≦ｈ≦ΔＴの関係を満たすものと仮定する。

以下、図４の例を参照しながら、時刻ｔ＋ｈの生成画像ＣＰ（ｔ＋ｈ）を生成する方法について説明する。但し、本実施形態に係る画像処理装置１００の処理方法は、これに限定されるものではない。例えば、図示しない他の時刻ｔ＋ΔＴの高解像度記録画像ＨＲＰ（ｔ＋ΔＴ）を併せて参照しながら、生成画像ＣＰ（ｔ＋ｈ）を生成することもできる。その際、画像処理装置１００は、被写体の動きの大きさや速度等に応じて参照すべき高解像度記録画像ＨＲＰを選択するといった処理を行ってもよい。

（Ｓ１）
まず、画像処理装置１００は、動き予測部３１２により、超解像画像ＳＲＰ（ｔ）及びＳＲＰ（ｔ＋ｈ）を用いて動き予測を実行してＳＲＰ（ｔ）とＳＲＰ（ｔ＋ｈ）との間の動きベクトルＭＶを検出する。このように、超解像画像ＳＲＰを用いて動きベクトルを検出するため、高精度の動き予測が可能になる。尚、動き予測の方法として、例えば、ブロックマッチング法、位相相関法、又はオプティカルフロー法等を本実施形態に適用することができる。

（Ｓ２）
次いで、画像処理装置１００は、動き補償部３１４により、前記の動きベクトルＭＶと高解像度記録画像ＨＲＰ（ｔ）とを用いて動き補償を実行する。動き補償部３１４は、前記の動きベクトルＭＶを利用して、超解像画像ＳＲＰ（ｔ＋ｈ）の参照ブロックに対応する高解像度記録画像ＨＲＰ（ｔ）の参照ブロックを特定する。そして、動き補償部３１４は、その参照ブロックと前記の超解像画像ＳＲＰ（ｔ＋ｈ）の参照ブロックとを所定の比率で合成して生成画像ＣＰ（ｔ＋ｈ）を生成する。

また、画像生成処理回路３０２は、生成画像ＣＰを生成する際、上記の画像以外の画像を参照することも可能である。ここでは、時間的に後方に位置する画像を参照して動き予測及び動き補償する例について説明したが、前方に位置する画像を参照してもよい。また、前後の画像を共に参照してもよい。さらに、画像生成処理回路３０２は、時間的に前方又は後方に位置する複数枚の画像を参照して生成画像ＣＰを生成することも可能である。

上記のように、本実施形態に係る画像生成処理回路３０２には種々の変形が可能である。例えば、時刻ｔ＋ΔＴ（ｈ＜ΔＴ）に高解像度記録画像ＨＲＰ（ｔ＋ΔＴ）が存在する場合、画像生成処理回路３０２は、高解像度記録画像ＨＲＰ（ｔ＋ΔＴ）に基づいて前方から動き補償された生成画像ＣＰと、上記の方法で後方から逐次的に動き補償して生成されて生成画像ＣＰとを比較して、より高品質の画像を選択することも可能である。そうした選択等の用途を考慮し、画像生成処理回路３０２は、例えば、所定の時刻ｔ、ｔ＋ΔＴ等における超解像画像ＳＲＰ（ｔ）、ＳＲＰ（ｔ＋ΔＴ）等を比較して差分値を監視しておくこともできる。

また、動き予測に際し、画像生成処理回路３０２は、双方向予測処理を組み合わせることもできる。すなわち、画像生成処理回路３０２は、複数の予測元に対する動きベクトルに基づいて動き補償を実行し、動き補償の画素値を重み付けして平均するのである。単純な例を挙げると、例えば、予測元画素Ａと予測元画素Ｂに対して、予測後の画素Ｃを下式（１）に従って求める。

これは、重みの割合が等しい平均値をとる方法である。一般に、片方向予測に比べ双方向予測を行うことにより、差分エネルギーを小さくできることが、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の画像圧縮技術に関連して広く知られている。そこで、本実施形態においても、双方向予測を組み合わせて用いることで、生成画像ＣＰの品質をより向上させることが可能になると考えられる。さらに、Ｈ．２６４等において知られている双方向予測技術のように、２つのベクトルの予測方向が時間的に同じ方向（前方又は後方）に設定することも可能である。

生成画像ＣＰを生成するに際し、比較的単純な双方向予測の方法として、例えば、２枚の高解像度記録画像ＨＲＰ（ｔ）と高解像度記録画像ＨＲＰ（ｔ＋ΔＴ）との平均値をとって生成された画像を生成画像ＣＰ（ｔ＋ｈ）として用いる方法が考えられる。この方法は、被写体が静止しており、フェードが含まれるような映像に対して有効である。

また、被写体に動物体が含まれる場合、画像生成処理回路３０２は、超解像画像ＳＲＰ（ｔ＋ｈ）、ＳＲＰ（ｔ）に対して双方向予測を実行し、高解像度記録画像ＨＲＰ（ｔ）及びＨＲＰ（ｔ＋ΔＴ）に基づいて動き補償を実行することも可能である。また、画像生成処理回路３０２は、超解像画像ＳＲＰ（ｔ＋ｈ）とＳＲＰ（ｔ）との間の被写体の動き情報、或いは、ＳＲＰ（ｔ＋ｈ）とＳＲＰ（ｔ＋ΔＴ）との間の被写体の動き情報を用いたりすることで生成画像ＣＰ（ｔ＋ｈ）の画質を向上させることができる。

（画像処理方法）
ここで、図６を参照しながら、本実施形態に係る画像処理方法について説明する。図６は、本実施形態に係る画像生成処理の流れを説明するための説明図である。

まず、画像生成処理回路３０２は、キーフレームの高解像度化処理を開始する（Ｓ２００）。次いで、超解像処理回路３０６は、低解像度記録画像ＬＲＰを超解像処理して高解像度記録画像ＨＲＰと同じ空間解像度を有する超解像画像ＳＲＰを生成する（Ｓ２０２）。次いで、参照ブロックの位置を示すパラメータｂが初期化される（Ｓ２０４）。次いで、パラメータｂがパラメータｂの最大値ｂ＿ｍａｘを超えているか否かが判定される（Ｓ２０６）。但し、ｂ＿ｍａｘは、フレームに含まれるブロック数である。

ｂ≧ｂ＿ｍａｘの場合、画像生成処理回路３０２は、画像生成処理を終了する。ｂ＜ｂ＿ｍａｘの場合、動き予測部３１２は、カレントフレーム（ＳＲＰ（ｔ＋ｈ））からキーフレーム（ＳＲＰ（ｔ））への動き予測を実行する（Ｓ２０８）。次いで、画像生成処理回路３０２は、予測残差信号の大きさに基づいて動き補償を実行可能か否かを判定する（Ｓ２１２）。

ステップＳ２１２において、動き補償の実行が不可であると判定された場合、動き補償部３１４は、ステップＳ２０２で拡大スケーリングされた超解像画像ＳＲＰ（ｔ＋ｈ）を生成画像ＣＰ（ｔ＋ｈ）として出力する（Ｓ２１６）。

ステップＳ２１２において、動き補償が可能であると判定された場合、動き補償部３１４は、高解像度記録画像ＨＲＰ（ｔ）を用いて動き補償を実行する（Ｓ２１４）。このとき、動き補償部３１４は、ステップＳ２０８で得られたカレントフレームからキーフレームへの動きベクトル、単位ブロックサイズ、又は参照フレーム情報等を利用する。

次いで、画像生成処理回路３０２は、パラメータｂをインクリメントし（Ｓ２１８）、再びステップＳ２０６から始まる処理を実行する。このように、画像生成処理回路３０２は、動き補償する際に前記の差分画像判定を実行しながら動き補償が可能か否かを判定する。そのため、画像生成処理回路３０２は、動き予測の低い精度に起因して生成画像ＣＰ（ｔ＋ｈ）にノイズが発生することを抑制できる。

（変形例）
また、図７に示すように、高解像度記録画像ＨＲＰ（ｔ）を用いて中間的な生成画像ＣＰ’（ｔ＋ｈ”）（ｔ＜ｈ”＜ｈ）を生成し、更に、その中間的な生成画像ＣＰ’（ｔ＋ｈ”）を用いて生成画像ＣＰ（ｔ＋ｈ）を生成する逐次実行型の動き補償を組み合わせて実行することもできる。図７は、本実施形態の一変形例に係る画像生成方法を示す説明図である。このように、本実施形態は、上記の記載のみに限定されず、種々の変形が可能である。また、画像処理装置１００の各構成要素が実現する機能は、例えば、以下に例示する情報処理装置を用いて所定のプログラムにより実現することも可能である。

［ハードウェア構成］
上記の画像処理装置１００が有する機能は、例えば、図８に示すハードウェア構成を有する情報処理装置によっても実現することが可能である。図８は、上記の画像処理装置１００の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成例を示す説明図である。

図８に示すように、前記の情報処理装置は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とにより構成される。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、例えば、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ９０６は、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８によって相互に接続されている。また、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続されている。

入力部９１６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部９１６は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。なお、入力部９１６は、上記の操作手段を用いて入力された情報を入力信号としてＣＰＵ９０２に伝送するための入力制御回路等により構成されている。

出力部９１８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、又はＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。

記憶部９２０は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ（ＨＤＤ；Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ−ＤＶＤメディア、コンパクトフラッシュ（ＣＦ；ＣｏｍｐａｃｔＦｌａｓｈ）（登録商標）、メモリースティック、又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ Ｃａｒｄ）、又は電子機器等であってもよい。

接続ポート９２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、放送、又は衛星通信等である。

以上、本実施形態に係る画像処理装置１００の構成、及び画像処理方法等について説明した。前記の通り、本実施形態は、超解像技術と動き補償技術とを組み合わせて利用する技術に関する。そして、高周波成分を含む高解像度記録画像ＨＲＰを用いて動き補償を行うため、低解像度記録画像のみを用いて高周波成分の補償を行う超解像技術に比べて高品質の画像データが得られる。また、動き予測の精度を向上させることができるため、通常の超解像処理には含まれない超解像の利点が得られる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記の実施形態の説明においては、後方のフレームを参照して動き予測、及び動き補償を実行する方法について述べたが、本発明の技術的範囲はこれに限定されず、前方のフレーム、或いは、前後のフレームを参照して動き予測、及び動き補償を実行することも可能である。

１００ 画像処理装置
１０２ 撮像レンズ
１０４ 撮像素子
１０６ 画像生成タイミングコントローラ
１０８ 表示回路
１１０ カメラ信号処理ブロック
１１２ Ａ／Ｄ変換器
１１４ デジタル信号処理回路
１２０ 動画像記録再生ブロック
１２２、１３２ 記憶部
１２４ 動画像圧縮／伸長回路
１２６ 画像密度変換回路
１３０ 静止画像記録再生ブロック
１３４ 静止画像圧縮／伸長回路
３０２ 画像生成処理回路
３０４ 位相補正回路
３０６ 超解像処理回路
３１２ 動き予測部
３１４ 動き補償部
ＨＲＰ 高解像度記録画像
ＬＲＰ 低解像度記録画像
ＳＲＰ 超解像画像
ＭＰ 拡大スケーリング画像
ＣＰ 生成画像

Claims (13)

1. 被写体を撮像して撮像データを生成する撮像部と、
   前記撮像部により撮像された撮像データに所定の画像処理を施して映像データを生成する画像処理部と、
   前記画像処理部により生成された映像データから、複数のフレームを含む第１映像データを圧縮処理して第１符号化データを生成するとともに、前記フレームよりも高い解像度を有する第２映像データを圧縮処理して第２符号化データを生成する圧縮部と、
   前記圧縮部により生成された第１符号化データ及び第２符号化データを記憶する記憶部と、
   前記記憶部に記憶された第１符号化データ及び第２符号化データを伸張処理して前記第１映像データ及び第２映像データを生成する伸張部と、
   前記伸張部により生成された第１映像データに含まれる複数のフレームを利用して当該各フレームに超解像処理を施すことにより超解像画像を生成する超解像処理部と、
   前記超解像処理部により生成された超解像画像間の動きベクトルを検出する動き予測部と、
   前記伸張部により生成された第２映像データと前記動き予測部により検出された動きベクトルとに基づいて、前記第１映像データのフレームに対応する動き補償された画像データを生成する画像生成部と、
   を備える、撮像装置。
2. 前記画像生成部は、前記動きベクトルを用いて動き補償を実行する際に、前記動きベクトルの参照元に対応する前記第２映像データ、及び前記動きベクトルの参照先に対応する前記超解像画像を参照して前記画像データを生成する、請求項１に記載の撮像装置。
3. 前記第１映像データに含まれる１つのフレームを利用して前記超解像処理部で生成される超解像画像と同じ解像度を有する拡大画像を生成する拡大画像生成部と、
   前記１つのフレームに対応する超解像画像と前記拡大画像生成部で生成された拡大画像との間の位相ずれを検出する位相ずれ検出部と、
   をさらに備える、請求項１に記載の撮像装置。
4. 前記位相ずれ検出部により検出された位相ずれに基づいて、前記超解像画像の位相ずれを補正する位相ずれ補正部をさらに備える、請求項３に記載の撮像装置。
5. 前記位相ずれ検出部により検出された位相ずれに基づいて、前記動き予測部による超解像画像間の動きベクトルの予測結果を補正する動きベクトル補正部をさらに備える、請求項３に記載の撮像装置。
6. 前記超解像処理部は、前記第１映像データに含まれるフレームの解像度を変換せずに超解像処理を施す、請求項１に記載の撮像装置。
7. 前記第１映像データは、前記第２映像データよりも時間解像度が高く、
   前記第２映像データは、前記第１映像データよりも時間解像度が低い、請求項１に記載の撮像装置。
8. 前記画像生成部は、前記動き補償された画像データを用いて前記第２映像データの時間解像度を向上させる、請求項１に記載の撮像装置。
9. 前記第１映像データは、ダウンサンプリング処理が施されている、請求項７に記載の撮像装置。
10. 前記画像生成部により生成れた画像データを用いて、前記第１映像データを復号する復号部をさらに備える、請求項１に記載の撮像装置。
11. 被写体を撮像して撮像データを生成する撮像ステップと、
    前記撮像ステップにて撮像された撮像データに所定の画像処理を施して映像データを生成する画像処理ステップと、
    前記画像処理ステップにて生成された映像データから、複数のフレームを含む第１映像データを圧縮処理して第１符号化データを生成するとともに、前記フレームよりも高い解像度を有する第２映像データを圧縮処理して第２符号化データを生成する圧縮ステップと、
    前記圧縮ステップにて生成された第１符号化データ及び第２符号化データを記憶する記憶ステップと、
    前記記憶ステップにて記憶された第１符号化データ及び第２符号化データを伸張処理して前記第１映像データ及び第２映像データを生成する伸張ステップと、
    前記伸張ステップにて生成された第１映像データに含まれる複数のフレームを利用して当該各フレームに超解像処理を施すことにより超解像画像を生成する超解像処理ステップと、
    前記超解像処理ステップにて生成された超解像画像間の動きベクトルを検出する動き予測ステップと、
    前記伸張ステップにて生成された第２映像データと前記動き予測ステップにて検出された動きベクトルとに基づいて、前記第１映像データのフレームに対応する動き補償された画像データを生成する画像生成ステップと、
    を含む、撮像方法。
12. 被写体を撮像して撮像データを生成する撮像機能と、
    前記撮像機能により撮像された撮像データに所定の画像処理を施して映像データを生成する画像処理機能と、
    前記画像処理機能により生成された映像データから、複数のフレームを含む第１映像データを圧縮処理して第１符号化データを生成するとともに、前記フレームよりも高い解像度を有する第２映像データを圧縮処理して第２符号化データを生成する圧縮機能と、
    前記圧縮機能により生成された第１符号化データ及び第２符号化データを記憶する記憶機能と、
    前記記憶機能により記憶された第１符号化データ及び第２符号化データを伸張処理して前記第１映像データ及び第２映像データを生成する伸張機能と、
    前記伸張機能により生成された第１映像データに含まれる複数のフレームを利用して当該各フレームに超解像処理を施すことにより超解像画像を生成する超解像処理機能と、
    前記超解像処理機能により生成された超解像画像間の動きベクトルを検出する動き予測機能と、
    前記伸張機能により生成された第２映像データと前記動き予測機能により検出された動きベクトルとに基づいて、前記第１映像データのフレームに対応する動き補償された画像データを生成する画像生成機能と、
    をコンピュータに実現させるためのプログラム。
13. 被写体を撮像して撮像データを生成する撮像機能と、
    前記撮像機能により撮像された撮像データに所定の画像処理を施して映像データを生成する画像処理機能と、
    前記画像処理機能により生成された映像データから、複数のフレームを含む第１映像データを圧縮処理して第１符号化データを生成するとともに、前記フレームよりも高い解像度を有する第２映像データを圧縮処理して第２符号化データを生成する圧縮機能と、
    前記圧縮機能により生成された第１符号化データ及び第２符号化データを記憶する記憶機能と、
    前記記憶機能により記憶された第１符号化データ及び第２符号化データを伸張処理して前記第１映像データ及び第２映像データを生成する伸張機能と、
    前記伸張機能により生成された第１映像データに含まれる複数のフレームを利用して当該各フレームに超解像処理を施すことにより超解像画像を生成する超解像処理機能と、
    前記超解像処理機能により生成された超解像画像間の動きベクトルを検出する動き予測機能と、
    前記伸張機能により生成された第２映像データと前記動き予測機能により検出された動きベクトルとに基づいて、前記第１映像データのフレームに対応する動き補償された画像データを生成する画像生成機能と、
    をコンピュータに実現させるためのプログラムが記録された、コンピュータにより読み取り可能な記録媒体。
    

Images