JP2009278473A - 画像処理装置、それを搭載した撮像装置、および画像再生装置 - Google Patents

Abstract

【課題】画像を再生する際に、超解像処理を高精度に実行したい。
【解決手段】間引き処理部１４は、撮像素子１０により撮像されたフレーム画像の画素データを間引く。追加フレーム画像生成部１８は、間引き処理部１４により画素データが間引かれた後の記録用フレーム画像と、間引かれた画素データにより形成される参照用フレーム画像との間に、データ量を削減するための所定の演算を施し、追加的に記録すべき追加フレーム画像を生成する。符号化部２０は、間引き処理部１４により生成された記録用フレーム画像と、追加フレーム画像生成部１８により生成された追加フレーム画像を符号化する。
【選択図】図１

Description

本発明は、撮像された画像を符号化する画像処理装置、それを搭載した撮像装置、および画像再生装置に関する。

デジタルムービーカメラが普及してきており、動画に対する高画質化の要求も年々高まっている。ただし、高画質な動画を撮像して記録するには高スペックなハードウェア資源を用いる必要があり、一般的な機種では、動画撮影モードで撮像および記録されるフレーム画像の解像度は、静止画撮影モードで撮像および記録されるフレーム画像の解像度より低く設定されるのが現状である。

そこで、動画撮影モードで撮像された各フレーム画像の解像度を事後的に向上させる手法が提案されている。その中でも、高周波成分自体を復元することができる超解像処理が注目されている。超解像処理は、微少な位置ずれを持つ複数の画像から、それら画像の解像度より高い解像度の画像を生成する技術である。

特許文献１は、撮影された入力画像から超解像に用いる混合画像および間引き画像を読み出す画像読出し方法を開示する。
特開２００８−３３９１４号公報

超解像処理の性能を十分に発揮させるためには、微少な位置ずれを持つ複数のフレーム画像を使用する必要がある。動画ファイル内の特定のフレーム画像を超解像処理する場合、そのフレーム画像に時間的に隣接するフレーム画像を使用することが考えられる。

しかしながら、上記特定のフレーム画像とそのフレーム画像に時間的に隣接するフレーム画像との間で、位置ずれがほとんどなかったり、逆に全く違うシーンになっていたりする場合、超解像処理の性能が十分に発揮されない。とくに後者の場合、ノイズを多く含む画像となってしまう。

本発明はこうした状況に鑑みなされたものであり、その目的は、超解像処理の精度を向上させることができる画像処理装置、それを搭載した撮像装置、および画像再生装置を提供することにある。

本発明のある態様の画像処理装置は、撮像素子により撮像されたフレーム画像の画素データを間引く間引き処理部と、間引き処理部により画素データが間引かれた後の記録用フレーム画像と、間引かれた画素データにより形成される参照用フレーム画像との間に、データ量を削減するための所定の演算を施し、追加的に記録すべき追加フレーム画像を生成する追加フレーム画像生成部と、間引き処理部により生成された記録用フレーム画像と、追加フレーム画像生成部により生成された追加フレーム画像を符号化する符号化部と、を備える。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、超解像処理の精度を向上させることができる。

図１は、実施の形態１に係る画像処理装置２００を搭載した撮像装置５００の構成を示す図である。撮像装置５００は、撮像部１００、画像処理装置２００および記録部３００を備える。画像処理装置２００は、間引き処理部１４、追加フレーム画像生成部１８および符号化部２０を有する。

画像処理装置２００の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。

撮像部１００は、入射光を電気信号に変換し画像処理装置２００に供給する。撮像部１００は、撮像素子１０および信号処理部１２を含む。撮像素子１０としてＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどを採用することができる。信号処理部１２は、撮像素子１０から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換する。

間引き処理部１４は、撮像素子１０により撮像されたフレーム画像の画素データを網羅的に間引く。以下、実施の形態１では間引き処理部１４により画素データが間引かれた後のフレーム画像を記録用フレーム画像といい、間引かれた画素データにより形成されるフレーム画像を参照用フレーム画像という。参照用フレーム画像は、記録用フレーム画像を超解像処理により高解像度化する際に使用される。間引き処理部１４は、記録用フレーム画像を追加フレーム画像生成部１８および符号化部２０の両方に供給し、参照用フレーム画像を追加フレーム画像生成部１８に供給する。

間引き処理部１４は、撮像素子１０により撮像されたフレーム画像の画素データを千鳥格子状に間引くことができる。また、撮像されたフレーム画像の画素データを一行おきまたは一列おきに間引いてもよい。いずれも、記録用フレーム画像の画素数を半分に削減することができる。この間引き処理は、主に動画撮影モード時に実行される。動画の圧縮符号化は高負荷な処理であるため、動画撮影モード時には間引き処理部１４がフレーム画像の解像度を低下させることにより、符号化部２０の負荷を軽減させることができる。

上述した態様の間引き処理が実行されると、記録用フレーム画像と参照用フレーム画像の解像度が同じになる。また、両フレーム画像の内容も極めて類似したものとなる。より具体的には、１／２画素単位の位置ずれのある画像となる。

追加フレーム画像生成部１８は、上記記録用フレーム画像と上記参照用フレーム画像との間に、データ量を削減するための所定の演算を施し、追加的に記録すべき追加フレーム画像を生成する。より具体的には、上記記録用フレーム画像と上記参照用フレーム画像との間の、差分または排他的論理和を求めて追加フレーム画像を生成する。追加フレーム画像は、対応する記録用フレーム画像が超解像処理される際、上記参照用フレーム画像を復元するために使用される。

上記記録用フレーム画像と上記参照用フレーム画像とは極めて類似しているため、それらの差分または排他的論理和をとると、追加フレーム画像の各画素データの値はゼロまたは微少な値となり、追加フレーム画像全体のデータ量は非常に少ないものとなる。また、追加フレーム画像には微少な空間的な変化分が反映されることになり、追加フレーム画像は撮像素子１０により撮像されたフレーム画像の高周波成分を多く含む画像となる。

符号化部２０は、間引き処理部１４により生成された記録用フレーム画像と、追加フレーム画像生成部１８により生成された追加フレーム画像を符号化し、記録部３００に記録する。動画撮影モードでは、連続的に供給される記録用フレーム画像を所定の動画圧縮符号化規格にしたがい符号化する。たとえば、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがい圧縮符号化する。

動画撮影モードでは、符号化部２０は連続的に供給される記録用フレーム画像に対応して連続的に供給される追加フレーム画像を上記動画圧縮符号化規格にしたがい符号化することができる。その際、当該動画圧縮符号化規格に規定される処理のうち、量子化処理を適用しなくてもよい。さらに、画面間予測符号化処理を適用しなくてもよい。すなわち、符号化部２０は追加フレーム画像に対しては、量子化処理および画面間予測符号化処理を実行せず、直交変換処理、画面内予測符号化処理および可変長符号化処理を実行してもよい。

符号化部２０は、上記追加フレーム画像を、上記記録用フレーム画像を圧縮符号化するためのハードウェア資源を共用して圧縮符号化してもよいし、別のハードウェア資源を用いてもよい。共用したほうが回路規模の増大を抑制することができる。

記録部３００はメモリカード、ハードディスク、光ディスクなどの、記録媒体を備え、符号化部２０により圧縮符号化された動画ファイルを記録する。

図２は、符号化部２０の詳細な構成を説明するための図である。符号化部２０は、画面分割部２１、直交変換部２２、量子化部２３、画面内予測符号化部２４、画面間予測符号化部２５、可変長符号化部２６、バッファ２７、量子化ステップ決定部２８およびストリーム生成部２９を含む。

画面分割部２１は、フレーム画像ごとに複数の領域に分割する。以下、本実施の形態ではマクロブロックに分割するものとする。直交変換部２２は、各フレーム画像をマクロブロック単位で直交変換する。ＭＰＥＧシリーズでは、輝度信号Ｙおよび色差信号Ｃｒ、ＣｂをＤＣＴ変換し、ＤＣＴ係数を生成する。

量子化部２３は、直交変換部２２で生成されたＤＣＴ係数を、所定の量子化テーブルを参照して量子化する。量子化テーブルは、各ＤＣＴ係数を除算すべき量子化ステップを規定したものである。量子化テーブルは、ＤＣＴ係数のうち低周波成分に対応する量子化ステップを小さく、高周波成分に対応する量子化ステップを大きく設定する。これにより、高周波成分ほど省略を大きくする。なお、量子化テーブルに規定される全部または一部の量子化ステップは、量子化ステップ決定部２８により適応的に可変制御される。これにより、圧縮率を一定の範囲に収めることができる。

このように量子化部２３による量子化処理は、高周波成分を大きく省略してしまうため、追加フレーム画像には適用しないことが好ましい。追加フレーム画像には高周波成分が多く含まれ、直流成分および低周波成分がほとんど含まれないため、追加フレーム画像に量子化処理を適用するとデータがすべてゼロになってしまう可能性がある。また、超解像処理部の性能を向上させるには高周波成分が多く含まれている画像を使用することが有効であるが、量子化処理をスキップすることにより、高周波成分が不可逆的に除去されることを回避することができる。

量子化部２３は、マクロブロック単位で量子化したＤＣＴ係数を画面内予測符号化部２４または画面間予測符号化部２５に供給する。具体的には、Ｉピクチャとして符号化されるべきデータを画面内予測符号化部２４に供給し、ＰピクチャまたはＢピクチャとして符号化されるべきデータを画面間予測符号化部２５に供給する。

画面内予測符号化部２４は、ＩピクチャのＤＣＴ係数を画面内予測符号化する。ここでは、ＭＰＥＧシリーズで規定された画面内予測符号化を用いることができる。画面間予測符号化部２５は、ＰピクチャまたはＢピクチャのＤＣＴ係数を画面間予測符号化する。ここでも、ＭＰＥＧシリーズで規定された画面間予測符号化を用いることができる。すなわち、動き補償技術を利用することができる。

具体的には、画面間予測符号化部２５は、各動き補償ブロックについて、過去または未来の参照ピクチャ内から誤差の最も小さい予測領域（以下、最適予測ブロックという）を探索し、各動き補償ブロックからその各最適予測ブロックへのずれを示す動きベクトルを求める。そして、その動きベクトルを用いて動き補償ブロックごとに動き補償を行い、予測誤差信号を生成する。Ｈ．２６４／ＡＶＣでは、動き補償ブロックのサイズを、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４のなかから適宜選択することができる。なお、動き補償処理はＤＣＴ係数ではなく画素値に対して施されるが、ここでは説明を簡略化するため、図２では逆量子化および逆直交変換する系を省略して描いている。

なお上述したように、追加フレーム画像に対する量子化部２３による量子化処理をスキップする場合、直交変換部２２は追加フレーム画像の画素値を直交変換したＤＣＴ係数を量子化部２３に供給せず、直接、画面内予測符号化部２４または画面間予測符号化部２５に供給する。ここで、直交変換部２２は追加フレーム画像の画素値を直交変換したＤＣＴ係数を、画面間予測符号化部２５に供給せず、そのすべてを画面内予測符号化部２４に供給してもよい。追加フレーム画像は直流成分および低周波成分がほとんど含まれなく、データ量がもともと少ないため、画面間予測符号化部２５による画面間予測符号化が施されなくても十分な圧縮効果が得られる。このように、追加フレーム画像に対しては演算量が増大する画面間予測符号化処理を適用しないことにより、符号化部２０の負荷を軽減することができる。

可変長符号化部２６は、画面内予測符号化部２４および画面間予測符号化部２５などにより生成された、ＤＣＴ係数、予測誤差信号、動きベクトルおよびその他のパラメータをエントロピー符号化する。

バッファ２７は、可変長符号化部２６により符号化された符号化データを一時記憶する。バッファ２７は、符号化された各ピクチャの符号量またはバッファの占有量を量子化ステップ決定部２８に供給する。量子化ステップ決定部２８は、各ピクチャの符号量またはバッファの占有量に基づいて量子化ステップを適応的に変化させる。量子化ステップ決定部２８は、所定の変換テーブルなどに基づいて量子化ステップを変化させることができる。この変換テーブルは、各ピクチャの符号量またはバッファの占有量が多くなるほど量子化ステップが大きくなるよう設定され、それらが少なくなるほど量子化ステップが小さくなるよう設定される。

ストリーム生成部２９は、バッファ２７に記憶された各ピクチャの符号化データをストリーム化する。ストリーム化する際、ヘッダ情報などを付加することができる。ストリーム生成部２９によりストリーム化された符号化データは、記録部３００に記録される。

なお、符号化部２０はすべての記録用フレーム画像を先に圧縮符号化し、その終了後に、追加フレーム画像をまとめて圧縮符号化してもよい。また、記録用フレーム画像と追加フレーム画像を交互に圧縮符号化してもよい。また、符号化ストリームについても同様に、すべての記録用フレーム画像の符号化データを先に配置し、その後続に追加フレーム画像の符号化データをまとめて配置してもよい。また、記録用フレーム画像の符号化データと追加フレーム画像の符号化データを交互に配置してもよい。

図３は、実施の形態１に係る間引き処理部１４による間引き処理の一例を示す図である。空白の画素と斜線の画素が混在しているフレーム画像Ｆ０が間引き処理部１４に入力されたフレーム画像を示し、空白の画素のみで構成されたフレーム画像Ｆ１が上記記録用フレーム画像を示し、斜線の画素のみで構成されたフレーム画像Ｆ２が上記参照用フレーム画像を示す。ここでは図面を簡略化するため、画素数を少なく描いているが実際は非常に大きな数となる。間引き処理部１４は、入力されたフレーム画像Ｆ０の、千鳥格子状に形成される斜線の画素を間引いて、残った空白の画素を横方向に詰めて記録用フレーム画像Ｆ１を生成する。また、間引いた斜線の画素を横方向に詰めて参照用フレーム画像Ｆ２を生成する。

図４は、実施の形態１に係る追加フレーム画像生成部１８による演算処理の一例を示す図である。図４では、追加フレーム画像生成部１８は、記録用フレーム画像Ｆ１１と参照用フレーム画像Ｆ１２との差分画像を生成し、その差分画像を追加フレーム画像Ｆ１３とする。

以上説明したように実施の形態１によれば、記録用フレーム画像に対して微少な位置ずれを持つ参照用フレーム画像を確実に生成することができるため、その参照用フレーム画像を使用することにより記録用フレーム画像を高精度に超解像処理することができる。この参照用フレーム画像は間引き処理により間引きされた画素データから構成されるため、超解像処理の精度を向上させるに適した画像である。すなわち、１／２画素単位の位置ずれを超解像処理に反映させることができる。これに対し、記録用フレーム画像に対して時間的に隣接するフレーム画像は、記録用フレーム画像に対して微少な位置ずれを持つという条件を満たさない場合がある。本実施の形態によれば、その隣接するフレーム画像を使用する場合より、高精度に超解像処理することができる。また、上記参照用フレーム画像には間引き処理により本来、失われるべき情報が反映されており、高周波成分も残存している。よって、この参照用フレーム画像を用いて超解像処理されたフレーム画像は高精細なものとなる。

また、参照用フレーム画像そのものを記録するのではなく、記録用フレーム画像とその参照用フレーム画像との間に所定の演算が施されて生成された追加フレーム画像を記録することにより、追加的に必要なデータ容量の増大を抑制することができる。すなわち、参照用フレーム画像をそのまま記録する場合、記録用フレーム画像のみを記録する場合と比較し、データ容量が約２倍になってしまうが、追加フレーム画像に変換した後に記録すればこのデータ容量の増大を大幅に抑制することができる。

また、追加フレーム画像を、記録用フレーム画像の圧縮符号化に使用するエンジンを用いて圧縮符号化すれば、回路規模の増大を最小限に抑制することができる。また、追加フレーム画像を圧縮符号化する際、量子化処理をスキップするように制御すれば、高周波成分が不可逆的に除去されることを回避することができる。

また、本実施の形態に係る画像処理装置２００により生成された動画ファイルは汎用性の高いものである。すなわち、圧縮符号化された記録用フレーム画像自体は既存形式の動画ファイルであるため、超解像処理機能を備えない既存の再生装置で再生することができる。

図５は、実施の形態２に係る画像処理装置２００を搭載した撮像装置５００の構成を示す図である。実施の形態２に係る画像処理装置２００は、図１に示した実施の形態１に係る画像処理装置２００に参照用フレーム画像生成部１６が追加された構成である。以下、実施の形態１と異なる処理について説明する。

参照用フレーム画像生成部１６は、所定の記録用フレーム画像に類似する参照用フレーム画像を生成する。実施の形態１では記録用フレーム画像を間引き処理部１４により画素データが間引かれた後のフレーム画像と定義したが、実施の形態２ではそれに限らない。たとえば、撮像素子１０により撮像されたフレーム画像であり、間引き処理部１４により間引き処理が施されていないフレーム画像も含まれる。すなわち、実施の形態２では間引き処理部１４は必須要素ではない。また、実施の形態２では動画ファイルまたは静止画ファイルから復号されたフレーム画像も記録用フレーム画像に含まれる。

実施の形態１では参照用フレーム画像を間引き処理部１４により間引かれた画素データにより形成されるフレーム画像と定義したが、実施の形態２では参照用フレーム画像生成部１６により生成されたフレーム画像を参照用フレーム画像という。したがって、実施の形態２では間引き処理部１４により間引かれた画素データは破棄される。

参照用フレーム画像生成部１６は、上記記録用フレーム画像内の隣接する複数の画素デーから予測画素データを生成して、上記参照用フレーム画像を生成してもよい。たとえば、水平方向または垂直方向に、隣接する６画素の画素データを６タップＦＩＲフィルタにかけて１／２画素精度の予測画素データを生成してもよい。また、水平方向または垂直方向に、隣接する２画素の画素データを線形補間して１／２画素精度の予測画素データを生成してもよい。

図６は、６タップＦＩＲフィルタを用いて予測画素データを算出する過程を説明するための図である。参照用フレーム画像生成部１６は、記録用フレーム画像Ｆ２１内の、隣接する画素データＣと画素データＤとの間の予測補間画素データＸをつぎの式１により算出する。
Ｘ＝（Ａ−５Ｂ＋２０Ｃ＋２０Ｄ−５Ｅ＋Ｆ）／３２ ・・・（式１）

参照用フレーム画像生成部１６は、記録用フレーム画像Ｆ２１内の水平方向に隣接する画素データ間のすべてにおいて、同様に予測補間画素データを算出することにより、記録用フレーム画像Ｆ１と解像度がほぼ等しい参照用フレーム画像を生成することができる。なお、図６では水平方向の予測補間画素データを算出する例を示したが、垂直方向の予測補間画素データを算出して、参照用フレーム画像を生成してもよい。

以上説明したように実施の形態２によれば、実施の形態１と同様の効果を奏する。実施の形態２では、フレーム画像を符号化する前に間引き処理を実行しない場合にも適用可能である。

図７は、実施の形態３に係る画像再生装置６００の構成を示す図である。画像再生装置６００は、撮像装置５００の一機能として搭載されてもよいし、単体の機器として構成されてもよい。画像再生装置６００は、実施の形態１または実施の形態２に係る画像処理装置２００により符号化されたデータを再生する。画像再生装置６００は、復号部３０、参照用フレーム画像復元部３２および超解像処理部３４を含む。

復号部３０には、実施の形態１または実施の形態２に係る画像処理装置２００により符号化された符号化ストリームＣＳが入力される。この符号化ストリームＣＳには上記記録用フレーム画像および上記追加フレーム画像の符号化データが含まれる。復号部３０は、上記記録用フレーム画像および上記追加フレーム画像の符号化データを復号する。復号部３０は、復号した記録用フレーム画像を参照用フレーム画像復元部３２および超解像処理部３４の両方に供給し、復号した追加フレーム画像を参照用フレーム画像復元部３２に供給する。

参照用フレーム画像復元部３２は、復号部３０により復号された、記録用フレーム画像とそれに対応する追加フレーム画像との間に所定の演算を施し、上記参照用フレーム画像を復元する。画像処理装置２００側で追加フレーム画像生成部１８が、上記記録用フレーム画像と上記参照用フレーム画像との間の、差分または排他的論理和を求めて追加フレーム画像を生成した場合、参照用フレーム画像復元部３２はつぎのようして復元する。すなわち、参照用フレーム画像復元部３２は、復号部３０により復号された、記録用フレーム画像と追加フレーム画像との間の、差分または排他的論理和を求めることにより上記参照用フレーム画像を復元する。

超解像処理部３４は、復号部３０により復号された記録用フレーム画像と、参照用フレーム画像復元部３２により復元された参照用フレーム画像を用いて超解像処理し、高解像化されたフレーム画像を生成する。表示部７００は、超解像処理部３４により高解像度されたフレーム画像を表示する。

超解像処理部３４は、たとえば、（青木伸著、「複数のデジタル画像データによる超解像処理」、Ricoh Technical Report No.24, NOVEMBER, 1998）に開示された超解像処理を用いることができる。この超解像処理は、位置推定ステップ、広帯域補間ステップおよび加重和ステップの三ステップの処理からなる。位置推定ステップは、与えられた複数の画像データ自身から、それぞれの画像データの標本化位置のずれを推定する。広帯域補間ステップは、各画像データを広帯域なローパスフィルタを用いて高密度化する。このローパスフィルタは折り返し成分も含む原信号の高周波成分をすべて透過するフィルタである。加重和ステップは、各高密度化データの標本化位置に応じた重みを使った、加重和を算出する。これにより、折り返し歪み成分を打ち消すとともに、原信号の高周波成分を復元する。

また、特開２００５−１９７９１０号公報、特開２００７−２０５号公報、特開２００７−１９３５０８号公報などに開示された超解像処理を利用することも可能である。

なお実施の形態３において、参照用フレーム画像復元部３２による参照用フレーム画像の復元処理および超解像処理部３４による超解像処理は、すべてのフレーム画像について自動的に実行されてもよいし、ユーザからの指示を受けた後、実行されてもよい。後者の場合、当該指示を受けない記録用フレーム画像については高解像度化されずにそのまま表示される。さらに、ユーザにより静止画として選択されたフレーム画像についてのみ実行されてもよい。

以上説明したように実施の形態３によれば、上記記録用フレーム画像および上記追加フレーム画像から上記参照用フレーム画像を復元し、その参照用フレーム画像を使用して記録用フレーム画像を超解像処理することにより、高精度に高解像度化することができる。もちろん、超解像処理を使用するため、空間的な画素補間処理による高解像度化と比較して高精細に高解像度化することができる。

また、再生装置側で上記参照用フレーム画像の復元処理および超解像処理を実行することにより、上記記録用フレーム画像に加えて、データ量の少ない上記追加フレーム画像が符号化ストリームに追加されればよいことから、データ容量の増大を抑制することができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記実施の形態１〜３の説明では主に動画を想定したが、本発明は静止画に適用することも可能である。とくに、携帯電話機に搭載されるカメラなど、静止画ファイルの容量を圧縮したい要請が強いアプリケーションに有効である。

実施の形態１に係る画像処理装置を搭載した撮像装置の構成を示す図である。 符号化部の詳細な構成を説明するための図である。 実施の形態１に係る間引き処理部による間引き処理の一例を示す図である。 実施の形態１に係る追加フレーム画像生成部による演算処理の一例を示す図である。 実施の形態２に係る画像処理装置を搭載した撮像装置の構成を示す図である。 ６タップＦＩＲフィルタを用いて予測画像データを算出する過程を説明するための図である。 実施の形態３に係る画像再生装置の構成を示す図である。

符号の説明

１０ 撮像素子、 １２ 信号処理部、 １４ 間引き処理部、 １６ 参照用フレーム画像生成部、 １８ 追加フレーム画像生成部、 ２０ 符号化部、 ２１ 画面分割部、 ２２ 直交変換部、 ２３ 量子化部、 ２４ 画面内予測符号化部、 ２５ 画面間予測符号化部、 ２６ 可変長符号化部、 ２７ バッファ、 ２８ 量子化ステップ決定部、 ２９ ストリーム生成部、 ３０ 復号部、 ３２ 参照用フレーム画像復元部、 ３４ 超解像処理部、 １００ 撮像部、 ２００ 画像処理装置、 ３００ 記録部、 ５００ 撮像装置、 ６００ 画像再生装置、 ７００ 表示部。

Claims (8)

1. 撮像素子により撮像されたフレーム画像の画素データを間引く間引き処理部と、
   前記間引き処理部により画素データが間引かれた後の記録用フレーム画像と、間引かれた画素データにより形成される参照用フレーム画像との間に、データ量を削減するための所定の演算を施し、追加的に記録すべき追加フレーム画像を生成する追加フレーム画像生成部と、
   前記間引き処理部により生成された記録用フレーム画像と、前記追加フレーム画像生成部により生成された追加フレーム画像を符号化する符号化部と、
   を備えることを特徴とする画像処理装置。
2. 前記追加フレーム画像生成部は、前記記録用フレーム画像と前記参照用フレーム画像との間の、差分または排他的論理和を求めて前記追加フレーム画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記符号化部は、動画として連続的に供給される記録用フレーム画像、およびそれに対応して連続的に供給される追加フレーム画像を所定の動画圧縮符号化規格にしたがい符号化することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記符号化部は、連続的に供給される追加フレーム画像を符号化する際、前記動画圧縮符号化規格に規定される処理のうち、量子化処理を適用しないことを特徴とする請求項３に記載の画像処理装置。
5. 所定の記録用フレーム画像に類似する参照用フレーム画像を生成する参照用フレーム画像生成部と、
   前記記録用フレーム画像と前記参照用フレーム画像との間に、データ量を削減するための所定の演算を施し、追加的に記録すべき追加フレーム画像を生成する追加フレーム画像生成部と、
   前記記録用フレーム画像と、前記追加フレーム画像生成部により生成された追加フレーム画像を符号化する符号化部と、
   を備えることを特徴とする画像処理装置。
6. 前記参照用フレーム画像生成部は、前記記録用フレーム画像内の隣接する複数の画素デーから予測画素データを生成して、前記参照用フレーム画像を生成することを特徴とする請求項５に記載の画像処理装置。
7. 撮像素子と、
   請求項１から６のいずれかに記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
8. 請求項１から６のいずれかに記載の画像処理装置により符号化されたデータを再生する画像再生装置であって、
   前記記録用フレーム画像および前記追加フレーム画像の符号化データを復号する復号部と、
   前記復号部により復号された、記録用フレーム画像とそれに対応する追加フレーム画像との間に、所定の演算を施し、前記参照用フレーム画像を復元する参照用フレーム画像復元部と、
   前記復号部により復号された記録用フレーム画像と、前記参照用フレーム画像復元部により復元された参照用フレーム画像を用いて超解像処理し、高解像化されたフレーム画像を生成する超解像処理部と、
   を備えることを特徴とする画像再生装置。

Images