JP5945816B2 - 映像処理システム - Google Patents

Description

本発明は、複数の低解像度映像から高解像度映像を生成するための超解像処理を行う映像処理システムに関するものである。

近年、ダウンサンプリング（縮小）をした映像の折り返し周波数成分を、複数枚映像の合成により復元し、映像の解像度を向上する超解像技術（複数枚超解像技術）の実用化が進められている。複数枚超解像技術では、複数枚の低解像度映像（例えばカメラから出力される映像）の同じ被写体に対して、映像の幾何変換によりサブピクセル（１ピクセルのサイズより小さい）精度の位置合せ処理を行い、その後、位置合せ処理の結果として得られる座標変換式を用いて、複数枚映像の画素を標本点の密度が高い平面に投影し、映像を合成することで、より高い解像度の映像を生成する。

そして、複数枚超解像の効果を得るためは、（１）入力する複数枚の映像に、折り返し周波数成分が残っていること、（２）複数枚映像中の同じ被写体に対する位置合せを、高精度（サブピクセルレベルの高精度）で行うこと、という条件を満たす必要がある。

一方、折り返し周波数成分が残った映像には、擬似的なエッジが発生し、見た目が悪くなるという問題がある。そのため、従来のカメラでは、折り返し周波数成分を消すような処理が行われている。例えば、イメージセンサでサンプリングした映像を縮小して出力する際には、ローパスフィルタ（ＬＰＦ）などの処理により高い周波数成分を低減・除去してから映像を縮小して出力する（例えば、特許文献１参照）。

特開２００９−２９６１９３号公報

しかしながら、従来のカメラから出力される映像には、折り返し周波数成分が少ないため、複数枚超解像の効果が大きく得られない（高解像の出力映像が得られない）という問題があった。一方、単に、折り返し周波数成分が多い映像を用いると、擬似的なエッジの影響により、超解像のための位置合わせを高精度で行うことができないという問題があった。

本発明は、上記従来の問題を解決するためになされたもので、超解像処理の位置合わせの精度を高くすることができるとともに、より高解像の出力映像を得ることのできる映像処理システムを提供することを目的とする。

本発明の映像処理システムは、複数の第１解像度の入力映像が入力される映像入力装置と、前記映像入力装置から送信される前記複数の第１解像度の入力映像を用いて超解像処理を行うことにより当該第１解像度より高解像の第２解像度の出力映像を出力する映像出力装置と、を備えた映像処理システムであって、前記映像入力装置は、前記入力映像の折り返し周波数成分を低減させかつ前記入力映像の画素数を減少させた縮小映像を生成する縮小処理部と、前記入力映像の折り返し周波数成分を低減させずに前記入力映像の画素数を減少させた間引映像を生成する間引処理部と、前記縮小映像と前記間引映像との対応付けを示すスタンプ情報を、前記縮小映像と前記間引映像にそれぞれ付与するスタンプ付与部と、を備え、前記映像出力装置は、前記映像入力装置から送信された複数の前記縮小映像の中から選択される１つの前記縮小映像を、超解像処理用の基準映像として格納する基準映像格納部と、前記縮小映像と前記基準映像との位置合わせ処理を行うための座標変換情報を、前記複数の縮小映像の各々について生成する位置合わせ処理部と、前記映像入力装置から送信された複数の前記間引映像に対して、前記スタンプ情報に基づいて当該間引映像と対応付けられる縮小映像の前記座標変換情報を用いた座標変換処理を施す座標変換処理部と、座標変換処理を施した複数の前記間引映像を用いた超解像処理を行うことにより、前記第２解像度の出力映像を生成する映像合成部と、を備えた構成を有している。

この構成により、折り返し周波数成分を低減させた縮小映像を用いて位置合わせをすることにより、位置合わせの精度を高くすることができるとともに、折り返し周波数成分を低減させない間引映像を用いて超解像処理を行うことにより、縮小映像を用いて超解像処理を行う場合に比べて、より高解像の出力映像を得ることができる。

また、本発明の映像処理システムでは、前記映像入力装置は、前記縮小映像と前記間引映像との差分映像を生成する映像減算部を備え、前記差分映像と、前記縮小映像または前記間引映像のいずれか一方の映像とが、前記映像入力装置から前記映像出力装置へ送信され、前記映像出力装置は、前記差分映像と、前記縮小映像または前記間引映像のいずれか一方の映像とに基づいて、前記縮小映像または前記間引映像の他方の映像を生成する映像加算部を備えた構成を有している。

この構成により、映像入力装置から映像出力装置へ差分映像が送信される。一般に、縮小映像と間引映像との差分は小さく、差分映像のデータ量（特に、圧縮したときのデータ量）は小さい。そのため、映像入力装置から映像出力装置へ送信するデータ量を少なくすることができる。

また、本発明の映像処理システムでは、前記映像入力装置は、前記縮小映像から一部の注目領域を切り出した切出映像を生成する映像切出部を備え、前記切出映像が、前記映像入力装置から前記映像出力装置へ送信されて、前記位置合わせ処理に用いられる構成を有している。

この構成により、映像入力装置から映像出力装置へ切出映像（縮小映像から一部の注目領域を切り出した映像）が送信される。切出映像のデータ量は、縮小映像のデータ量より小さい。これにより、映像入力装置から映像出力装置へ送信するデータ量を少なくすることができる。

また、本発明の映像処理システムでは、前記映像入力装置は、前記縮小映像にグレースケール化処理を行うことによりグレースケール化映像を生成する輝度抽出部を備え、前記グレースケール化映像が、前記映像入力装置から前記映像出力装置へ送信されて、前記位置合わせ処理に用いられる構成を有している。

この構成により、映像入力装置から映像出力装置へグレースケール化映像（縮小映像をグレースケール化した映像）が送信される。グレースケール化のデータ量は、縮小映像のデータ量より小さい。これにより、映像入力装置から映像出力装置へ送信するデータ量を少なくすることができる。

本発明の映像入力装置は、映像入力装置と、前記映像入力装置から送信される複数の第１解像度の入力映像を用いて超解像処理を行うことにより当該第１解像度より高解像の第２解像度の出力映像を出力する映像出力装置と、を備えた映像処理システムで用いられる映像入力装置であって、入力映像の折り返し周波数成分を低減させかつ前記入力映像の画素数を減少させた縮小映像を生成する縮小処理部と、前記入力映像の折り返し周波数成分を低減させずに前記入力映像の画素数を減少させた間引映像を生成する間引処理部と、を有し、前記縮小映像と前記間引映像とを対応付けて前記映像出力装置へ送信する構成を有している。

この構成によっても、上記と同様に、折り返し周波数成分を低減させた縮小映像を用いて位置合わせをすることにより、位置合わせの精度を高くすることができるとともに、折り返し周波数成分を低減させない間引映像を用いて超解像処理を行うことにより、縮小映像を用いて超解像処理を行う場合に比べて、より高解像の出力映像を得ることができる。

また、本発明の映像入力装置では、前記縮小映像と前記間引映像との差分映像を生成する映像減算部を備え、前記差分映像と、前記縮小映像または前記間引映像のいずれか一方の映像とを、前記映像出力装置へ送信する構成を有している。

この構成によっても、映像入力装置から映像出力装置へ差分映像が送信される。一般に、縮小映像と間引映像との差分は小さく、差分映像のデータ量（特に、圧縮したときのデータ量）は小さい。そのため、映像入力装置から映像出力装置へ送信するデータ量を少なくすることができる。

また、本発明の映像入力装置では、前記縮小映像から一部の注目領域を切り出した切出映像を生成する映像切出部を備え、前記切出映像を、前記映像出力装置へ送信する構成を有している。

この構成によっても、映像入力装置から映像出力装置へ切出映像（縮小映像から一部の注目領域を切り出した映像）が送信される。切出映像のデータ量は、縮小映像のデータ量より小さい。これにより、映像入力装置から映像出力装置へ送信するデータ量を少なくすることができる。

また、本発明の映像入力装置では、前記縮小映像にグレースケール化処理を行うことによりグレースケール化映像を生成する輝度抽出部を備え、前記グレースケール化映像を、前記映像出力装置へ送信する構成を有している。

この構成によっても、映像入力装置から映像出力装置へグレースケール化映像（縮小映像をグレースケール化した映像）が送信される。グレースケール化のデータ量は、縮小映像のデータ量より小さい。これにより、映像入力装置から映像出力装置へ送信するデータ量を少なくすることができる。

本発明の映像出力装置は、映像入力装置と、前記映像入力装置から送信される複数の第１解像度の入力映像を用いて超解像処理を行うことにより当該第１解像度より高解像の第２解像度の出力映像を出力する前記映像出力装置と、を備えた映像処理システムで用いられる映像出力装置であって、前記映像入力装置から送信された複数の縮小映像の中から選択される１つの前記縮小映像を、超解像処理用の基準映像として格納する基準映像格納部と、前記縮小映像と前記基準映像との位置合わせ処理を行うための座標変換情報を、前記複数の縮小映像の各々について生成する位置合わせ処理部と、前記映像入力装置から送信された複数の間引映像に対して、当該間引映像と対応付けられる縮小映像の前記座標変換情報を用いた座標変換処理を施す座標変換処理部と、座標変換処理を施した複数の前記間引映像を用いた超解像処理を行うことにより、前記第２解像度の出力映像を生成する映像合成部と、を備えた構成を有している。

この構成によっても、上記と同様に、折り返し周波数成分を低減させた縮小映像を用いて位置合わせをすることにより、位置合わせの精度を高くすることができるとともに、折り返し周波数成分を低減させない間引映像を用いて超解像処理を行うことにより、縮小映像を用いて超解像処理を行う場合に比べて、より高解像の出力映像を得ることができる。

本発明の方法は、複数の第１解像度の入力映像を用いて超解像処理を行うことにより当該第１解像度より高解像の第２解像度の出力映像を生成する映像処理方法であって、入力映像の折り返し周波数成分を低減させかつ前記入力映像の画素数を減少させた縮小映像が生成し、前記入力映像の折り返し周波数成分を低減させずに前記入力映像の画素数を減少させた間引映像を生成し、前記縮小映像と前記間引映像との対応付けを示すスタンプ情報を、前記縮小映像と前記間引映像にそれぞれ付与し、前記複数の縮小映像の中から選択される１つの前記縮小映像を、超解像処理用の基準映像とし、前記縮小映像と前記基準映像との位置合わせ処理を行うための座標変換情報を、前記複数の縮小映像の各々について生成し、複数の前記間引映像に対して、前記スタンプ情報に基づいて当該間引映像と対応付けられる縮小映像の前記座標変換情報を用いて座標変換処理し、座標変換処理された複数の前記間引映像を用いた超解像処理を行うことにより、前記第２解像度の出力映像を生成する。

この方法によっても、上記と同様に、折り返し周波数成分を低減させた縮小映像を用いて位置合わせをすることにより、位置合わせの精度を高くすることができるとともに、折り返し周波数成分を低減させない間引映像を用いて超解像処理を行うことにより、縮小映像を用いて超解像処理を行う場合に比べて、より高解像の出力映像を得ることができる。

本発明は、超解像処理の位置合わせの精度を高くすることができるとともに、より高解像の出力映像を得ることができるという効果を有する映像処理システムを提供することができるものである。

本発明の第１の実施の形態における映像処理システムのブロック図 本発明の第１の実施の形態における映像入力装置の動作説明のためのフロー図 本発明の第１の実施の形態における映像出力装置の動作説明のためのフロー図 本発明の第２の実施の形態における映像処理システムのブロック図 本発明の第３の実施の形態における映像処理システムのブロック図 本発明の第４の実施の形態における映像処理システムのブロック図 本発明の第５の実施の形態における映像処理システムのブロック図 本発明の第６の実施の形態における映像処理システムのブロック図 本発明の第６の実施の形態におけるＲＡＷデータの間引処理の説明図 本発明の第６の実施の形態におけるＲＡＷデータの座標変換、画素補間、超解像合成処理の説明図

以下、本発明の実施の形態の映像処理システムについて、図面を用いて説明する。

（第１の実施の形態）
本発明の第１の実施の形態の映像処理システムの構成を、図面を参照して説明する。図１は、本実施の形態の映像処理システムの構成を示すブロック図である。図１に示すように、映像処理システム１は、映像入力装置２と映像出力装置３で構成される。映像入力装置２は、例えばカメラ装置などであり、複数の低解像度の入力映像が入力される。映像出力装置３は、例えばビューワ装置などであり、映像入力装置２から送信される複数の低解像度の入力映像を用いて超解像処理を行うことにより、高解像の高解像度の出力映像を出力する。

まず、図１を参照しながら映像入力装置２の構成について説明する。図１に示すように、映像入力装置２には、イメージセンサ４と映像信号処理部５が備えられている。イメージセンサ４は、例えば、ＣＣＤやＣＭＯＳなどで構成される。映像処理部には、イメージセンサ４でサンプリングした映像信号が入力される。映像信号処理部５では、入力された映像の輝度、色、階調などの調整が行われる。

また、映像入力装置２には、画素間引処理部６と縮小処理部７が備えられている。画素間引処理部６と縮小処理部７には、映像信号処理部５から出力された映像（映像の輝度、色、階調などを調整した映像）が、それぞれ入力される。画素間引処理部６では、ＬＰＦなどの高周波数成分の除去処理を適用せずに映像の画素数を減少させる処理（間引処理）が行われ、折り返し周波数成分が残っている小サイズ映像（間引映像）が生成される。一方、縮小処理部７では、ＬＰＦなどの処理を行って高周波成分を低減した後に映像の画素数を減少させる処理（縮小処理）が行われ、折り返し成分の少ない小サイズ映像（縮小映像）が生成される。

また、映像入力装置２には、間引映像エンコード部８と縮小映像エンコード部９とスタンプ生成部１０が備えられている。間引映像エンコード部８には、画素間引処理部６から出力された間引映像が入力される。間引映像エンコード部８では、間引映像を圧縮（エンコード）する処理が行われる。一方、縮小映像エンコード部９には、縮小処理部７から出力された縮小映像が入力される。縮小映像エンコード部９では、縮小映像を圧縮（エンコード）する処理が行われる。

スタンプ生成部１０では、間引映像と縮小映像の対応付けを示すためのスタンプ情報（例えば映像をサンプリングした時間を示すタイムスタンプや、映像の順番を示すフレーム番号など）が生成され、間引映像と縮小映像にそれぞれ付与される。スタンプ情報の付与方法は、例えば転送パッケージのヘッダーや、転送ファイルのファイル名などに書き込むなどの方法が利用できる。

スタンプ情報が付された間引映像と縮小映像（圧縮された間引映像と縮小映像）は、映像入力装置２から映像出力装置３へ送信される。なお、間引映像や縮小映像は、例えばネットワークを通じて送信しても良いし、ＳＤカードなどの記憶媒体を用いて送っても良い。この場合、間引映像と縮小映像は、画素数を減少させた映像（小サイズ映像）であるため、ネットワークの帯域や記憶媒体の容量を節約できる。

つぎに、図１を参照しながら映像出力装置３の構成について説明する。図１に示すように映像出力装置３には、間引映像デコード部１１と縮小映像デコード部１２が備えられている。間引映像デコード部１１には、映像入力装置２から送信された間引映像が入力される。間引映像デコード部１１では、圧縮された間引映像を復元（デコード）する処理が行われる。一方、縮小映像デコード部１２には、映像入力装置２から送信された縮小映像が入力される。縮小映像デコード部１２では、圧縮された縮小映像を復元（デコード）する処理が行われる。

また、映像出力装置３には、間引映像バッファ部１３と縮小映像バッファ部１４が備えられている。間引映像バッファ部１３には、間引映像デコード部１１で復元された間引映像が格納される。一方、縮小映像バッファ部１４には、縮小映像デコード部１２で復元された縮小映像が格納される。この場合、間引映像バッファ部１３と縮小映像バッファ部１４には、それぞれ超解像処理に必要な数（例えば１６枚、３２枚など）の映像が格納される。

また、映像出力装置３には、テンプレート格納部１５と位置合わせ処理部１６と画素座標変換部１７が備えられている。テンプレート格納部１５には、縮小映像バッファ部１４に格納されている複数の縮小映像のうちの１つの縮小映像が出力され、超解像処理用のテンプレート映像（基準映像）として格納される。位置合わせ処理部１６には、縮小映像バッファ部１４に格納されている複数の縮小映像の残りの縮小映像が出力される。ここでは、テンプレート格納部１５が、本発明の基準映像格納部に相当する。

位置合せ処理部では、縮小映像バッファ部１４から入力された複数の縮小映像（テンプレート映像以外の縮小映像）の各々と、テンプレート格納部１５に格納されたテンプレート映像との位置合せを行う。そして、位置合わせ処理部１６は、位置合わせ処理の結果として、複数の縮小映像の各々について画素座標変換式を算出する。

画素座標変換部１７には、位置合わせ処理部１６で算出された縮小映像毎の画素座標変換式が入力される。また、映像座標変換部には、スタンプ生成部１０で生成された映像毎のスタンプ情報も入力される。さらに、画素座標変換部１７には、間引映像バッファ部１３から出力された間引映像が入力される。画素座標変換部１７では、位置合せ処理部から入力されたスタンプと座標変換式を用いてそれに対応する間引映像の画素座標変換が行われる。より具体的には、複数の間引映像の各々に対して、スタンプ情報に基づいてその間引映像と対応付けられる縮小映像の座標変換情報を用いた座標変換処理が施される。

映像出力装置３には、映像合成部１８と画素補間部１９が備えられている。映像合成部１８には、座標変換が行われた複数枚の間引映像が入力される。そして、映像合成部１８では、その複数枚の間引映像を用いた超解像処理を行うことにより、高解像度の映像が合成される。画素補間部１９では、合成後の高解像映像で空いている画素格子の画素値を、周りの画素値から補間する処理が行われる。なお、この映像出力装置３では、縮小映像デコード部１２から出力された縮小映像（低解像度の映像）を見ることもできる。

以上のように構成された映像処理システム１について、図面を参照してその動作を説明する。

図２は、本実施の形態の映像入力装置２の動作を説明するためのフロー図である。図２に示すように、映像入力装置２では、まず、イメージセンサ４で映像信号のサンプリングが行われ（Ｓ１０）、映像信号処理部５で映像信号の輝度、色、階調などの調整をする処理（映像信号処理）が行われる（Ｓ１１）。

つぎに、画素間引処理部６と縮小処理部７で、間引映像と縮小映像の生成が行われ（Ｓ１２）、間引映像エンコード部８と縮小映像エンコード部９で、それらの間引映像と縮小映像の圧縮（エンコード）が行われる（Ｓ１３）。そして、スタンプ生成部１０で生成されたスタンプ情報が、それらの間引映像と縮小映像（圧縮された間引映像と縮小映像）に付与され（Ｓ１４）、映像出力装置３へ送信される（Ｓ１５）。

図３は、本実施の形態の映像出力装置３の動作を説明するためのフロー図である。図３に示すように、映像出力装置３では、まず、映像入力装置２から送信された間引映像と縮小映像を受信すると（Ｓ２０）、間引映像デコード部１１と縮小映像デコード部１２で、間引映像と縮小映像の復元（デコード）が行われる（Ｓ２１）。そして、復元（デコード）された間引映像と縮小映像は、それぞれ間引映像バッファ部１３と縮小映像バッファ部１４に格納される（Ｓ２２）。その後、テンプレート格納部１５に、縮小映像バッファ部１４に格納されている複数の縮小映像のうちの１つの縮小映像（テンプレート映像）が出力され、格納される（Ｓ２３）。

つぎに、位置合わせ処理部１６で、縮小映像バッファ部１４から１つの縮小映像（位置合わせ処理を行っていない縮小映像）を選択し（Ｓ２４）、その縮小映像の位置合わせ処理を行って（Ｓ２５）、その縮小映像についての座標変換式を算出する（Ｓ２６）。この座標変換式は、画素座標変換部１７へ出力される。そして、画素座標変換部１７では、間引映像に対して、スタンプ情報に基づいてその間引映像と対応付けられる縮小映像の座標変換情報を用いた座標変換処理を施す（Ｓ２７）。

超解像処理に必要なすべての映像について上記の処理が完了すると（Ｓ２８）、映像合成部１８で間引映像を用いた超解像処理が行われ、高解像の合成映像（出力映像）が生成される（Ｓ２９）。最後に、画素補間部１９で、合成後の高解像映像で空いている画素格子の画素値が補間される（Ｓ３０）。

このような第１の実施の形態の映像処理システム１によれば、超解像処理の位置合わせの精度を高くすることができるとともに、より高解像の出力映像を得ることができる。

本実施の形態では、折り返し周波数成分を低減させた縮小映像を用いて位置合わせをすることにより、位置合わせの精度を高くすることができるとともに、折り返し周波数成分を低減させない間引映像を用いて超解像処理を行うことにより、縮小映像を用いて超解像処理を行う場合に比べて、より高解像の出力映像を得ることができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態の映像処理システム１について説明する。ここでは、第２の実施の形態の映像処理システム１が、第１の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第１の実施の形態と同様である。

図４は、第２の実施の形態の映像処理システム１の構成を示すブロック図である。図４に示すように、本実施の形態の映像入力装置２には、映像切出部２０と輝度抽出部２１が備えられている。

映像切出部２０には、縮小処理部７から出力された縮小映像が入力される。映像切出部２０では、縮小映像から一部の注目領域を切り出した切出映像を生成する処理が行われる。切出映像は、映像入力装置２から映像出力装置３へ送信されて、位置合わせ処理に用いられる。

注目領域は、例えば注目被写体（人物、顔、車のナンバープレートなど）の領域でも良いし、エッジ成分が多く位置合せをしやすい領域でも良い。なお、注目領域（切り出した領域）の位置とサイズの情報は、切出映像に付与して映像出力装置３に送信してもよい。付与方法は、例えば転送パッケージのヘッダーや、転送ファイルのファイル名などに書き込む等の方法が使用できる。注目領域（切り出した領域）の位置とサイズの情報は、位置合せ処理部での画素座標変換式の計算に用いられる。

輝度抽出部２１には、映像切出部２０から出力された切出映像が入力される。輝度抽出部２１では、切出映像に対するグレースケール化処理が行われ、グレースケール化された切出映像（グレースケール化映像）が生成される。グレースケール化映像は、映像入力装置２から映像出力装置３へ送信されて、位置合わせ処理に用いられる。

なお、映像入力装置２の縮小処理部７、映像切出部２０、輝度抽出部２１の処理の順番は、上記の例に限定されるものではなく、任意の順番に変えることができる。また、映像切出部２０と輝度抽出部２１のうちの一方は、必ずしも設けられていなくても良い。

このような本発明の第２の実施の形態の映像処理システム１によっても、第１の実施の形態と同様の作用効果が奏される。

その上、本実施の形態では、映像入力装置２から映像出力装置３へ切出映像（縮小映像から一部の注目領域を切り出した映像）が送信される。切出映像のデータ量は、縮小映像のデータ量より小さい。これにより、映像入力装置２から映像出力装置３へ送信するデータ量を少なくすることができる。

また、本実施の形態では、映像入力装置２から映像出力装置３へグレースケール化映像（縮小映像をグレースケール化した映像）が送信される。グレースケール化のデータ量は、縮小映像のデータ量より小さい。これにより、映像入力装置２から映像出力装置３へ送信するデータ量を少なくすることができる。

本実施の形態の映像処理システム１は、例えば、縮小映像が位置合せ処理のみに用いられる場合（縮小映像が閲覧用に用いられない場合）などに適しており、第１の実施の形態に比べて、縮小映像の情報量をさらに減らすことができ、映像を送信する際のネットワーク帯域やメディア容量をさらに節約することができる。

（第３の実施の形態）
次に、本発明の第３の実施の形態の映像処理システム１について説明する。ここでは、第３の実施の形態の映像処理システム１が、第１の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第１の実施の形態と同様である。

図５は、第３の実施の形態の映像処理システム１の構成を示すブロック図である。図５に示すように、本実施の形態の映像入力装置２には、映像減算部２２と差分映像エンコード部２３が備えられている。また、本実施の形態の映像出力装置３には、差分映像デコード部２４と映像加算部２５が備えられている。

映像減算部２２には、画素間引処理部６から出力された間引映像と、縮小処理部７から出力された縮小映像が入力される。映像減算部２２では、縮小映像と間引映像の差分映像が生成される。差分映像エンコード部２３には、映像減算部２２から出力された差分映像が入力される。差分映像エンコード部２３では、差分映像を圧縮（エンコード）する処理が行われる。そして、スタンプ情報が付された差分映像と縮小映像（圧縮された差分映像と縮小映像）が、映像入力装置２から映像出力装置３へ送信される。

差分映像デコード部２４には、映像入力装置２から送信された差分映像が入力される。差分映像デコード部２４では、圧縮された差分映像を復元（デコード）する処理が行われる。映像加算部２５には、差分映像デコード部２４から出力された差分映像と、縮小映像デコード部１２から出力された縮小映像が入力される。映像加算部２５では、入力された差分映像と縮小映像を加算処理することにより、間引映像が復元される。

なお、ここでは、間引き映像と縮小映像の差分映像と、間引き映像を、映像入力装置２から映像出力装置３に送信する例について説明したが、間引き映像と縮小映像の差分映像と、縮小映像を、映像入力装置２から映像出力装置３に送信しても良い。その場合、映像出力装置３の映像加算部２５で、縮小映像が復元される。

このような第３の実施の形態の映像処理システム１によっても、第１の実施の形態と同様の作用効果が奏される。

その上、本実施の形態では、映像入力装置２から映像出力装置３へ差分映像が送信される。一般に、縮小映像と間引映像との差分は小さく、差分映像のデータ量（特に、圧縮したときのデータ量）は小さい。そのため、映像入力装置２から映像出力装置３へ送信するデータ量を少なくすることができる。

（第４の実施の形態）
次に、本発明の第４の実施の形態の映像処理システム１について説明する。ここでは、第４の実施の形態の映像処理システム１が、第３の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第３の実施の形態と同様である。

図６は、第４の実施の形態の映像処理システム１の構成を示すブロック図である。図６に示すように、本実施の形態の映像入力装置２には、映像切出部２０が備えられている。

映像切出部２０には、縮小処理部７から出力された縮小映像が入力される。映像切出部２０では、第２の実施の形態と同様に、縮小映像から一部の注目領域を切り出した切出映像を生成する処理が行われる。この場合、注目領域（切り出した領域）の位置とサイズの情報は、映像減算部２２にも出力される。映像減算部２２では、間引映像の同じ領域（注目領域に対応する領域）から、切出映像を減算することにより、差分映像が生成される。

本実施の形態では、第３の実施の形態に比べて、間引映像の一部の領域（注目領域に対応する領域）のみの圧縮効率が高くなるが、縮小映像の情報量をさらに減らすことができ、映像を送信する際のネットワーク帯域やメディア容量をさらに節約することができる。

（第５の実施の形態）
次に、本発明の第５の実施の形態の映像処理システム１について説明する。ここでは、第５の実施の形態の映像処理システム１が、第３の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第３の実施の形態と同様である。

図７は、第５の実施の形態の映像処理システム１の構成を示すブロック図である。図７に示すように、本実施の形態の映像入力装置２には、輝度・色分離部２６と色エンコード部２７と輝度抽出部２１と輝度映像減算部２８と輝度差分エンコード部２９が備えられている。また、本実施の形態の映像出力装置３には、色映像デコード部３０と輝度差分デコード部３１が備えられている。

輝度・色分離部２６には、画素間引処理部６から出力された間引映像が入力される。輝度・色分離部２６では、間引映像の輝度信号と色信号を分離する処理が行われる。色映像エンコード部には、輝度・色分離部２６から出力された間引映像の色信号が入力される。色映像エンコード部では、間引映像の色信号を圧縮（エンコード）する処理が行われる。

輝度抽出部２１には、縮小処理部７から出力された縮小映像が入力される。輝度抽出部２１では、縮小映像に対するグレースケール化処理が行われ、グレースケール化された縮小映像（グレースケール化映像）が生成される。

輝度映像減算部２８には、輝度・色分離部２６から出力された輝度信号と、輝度抽出部２１から出力された縮小映像（グレースケール化された縮小映像）が入力される。輝度映像減算部２８では、入力された輝度信号と縮小映像との差分映像（輝度差分映像）が生成される。輝度差分エンコード部２９には、輝度映像減算部２８から出力された輝度差分映像が入力される。輝度差分エンコード部２９では、輝度差分映像を圧縮（エンコード）する処理が行われる。そして、スタンプ情報が付された間引映像の色信号と輝度差分映像と縮小映像（圧縮された間引映像の色信号と輝度差分映像と縮小映像）が、映像入力装置２から映像出力装置３へ送信される。

色映像デコード部３０には、映像入力装置２から送信された間引映像の色信号が入力される。色映像デコード部３０では、圧縮された間引映像の色信号を復元（デコード）する処理が行われる。また、輝度差分デコード部３１には、映像入力装置２から送信された輝度差分映像が入力される。輝度差分デコード部３１では、圧縮された輝度差分映像を復元（デコード）する処理が行われる。

映像加算部２５には、輝度差分デコード部３１から出力された輝度差分映像と、縮小映像デコード部１２から出力された縮小映像が入力される。映像加算部２５では、入力された輝度差分映像と縮小映像を加算処理することにより、間引映像の輝度信号が復元される。そして、映像加算部２５から出力された間引映像の輝度信号と、色映像デコード部３０から出力された間引映像の色信号とが合成され、間引映像が復元される。間引映像バッファ部１３には、このようにして復元された間引映像が格納される。

本実施の形態では、第３の実施の形態に比べて、間引映像の輝度信号のみの圧縮率が高くなるが、縮小映像の情報量をさらに減らすことができ、映像を送信する際のネットワーク帯域やメディア容量をさらに節約することができる。

（第６の実施の形態）
次に、本発明の第６の実施の形態の映像処理システム１について説明する。ここでは、第６の実施の形態の映像処理システム１が、第２の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第２の実施の形態と同様である。

図８は、第６の実施の形態の映像処理システム１の構成を示すブロック図である。図８に示すように、本実施の形態の映像入力装置２には、ＲＡＷ信号処理部３２とＹＣ信号処理部３３とＲＡＷ間引処理部３４とＲＡＷ映像エンコード部３５が備えられている。また、本実施の形態の映像出力装置３には、ＲＡＷ映像デコード部３６とＲＡＷ映像バッファ部３７とＲＧＢ画素座標変換部３８とＲＧＢ画素補間部３９が備えられている。

ＲＡＷ信号処理部３２には、イメージセンサ４から出力したＲＡＷデータが入力される。ＲＡＷ信号処理部３２では、ＲＡＷデータに対する信号処理（例えば、ホワイトバランスなどの処理）が行われる。ＹＣ信号処理部３３には、ＲＡＷ信号処理部３２で処理されたＲＡＷ信号が入力される。ＹＣ信号処理部３３では、ＲＡＷ信号をＹＣ信号に変換した上で、例えば色、輝度の階調などを調整する処理が行われる。調整されたＹＣ信号は縮小処理部７へ入力される。

また、ＲＡＷ間引処理部３４には、ＲＡＷ信号処理部３２から出力されたＲＡＷ映像が入力される。ＲＡＷ間引処理部３４では、ＲＡＷ映像の間引処理が行われ、間引ＲＡＷ映像が生成される。図９には、ベイヤー配列のイメージセンサ４から出力されたＲＡＷデータに対する間引処理の一例が示される。この場合、サンプリング間隔が均一になるため、間引き率を「３」の倍数分の一にすることが望ましい。

ＲＡＷ映像エンコード部３５には、ＲＡＷ間引処理部３４から出力された間引ＲＡＷ映像が入力される。ＲＡＷ映像エンコード部３５では、間引ＲＡＷ映像を圧縮（エンコード）する処理が行われる。そして、スタンプ情報が付された間引ＲＡＷ映像（圧縮された間引ＲＡＷ映像）が、映像入力装置２から映像出力装置３へ送信される。

ＲＡＷ映像デコード部３６には、映像入力装置２から送信された間引ＲＡＷ映像が入力される。ＲＡＷ映像デコード部３６では、圧縮された間引ＲＡＷ映像を復元（デコード）する処理が行われる。ＲＡＷ映像デコード部３６で復元された間引ＲＡＷ映像は、ＲＡＷ映像バッファ部３７に格納される。

ＲＧＢ画素座標変換部３８には、ＲＡＷ映像バッファ部３７から出力された間引ＲＡＷ映像が入力される。また、ＲＧＢ画素座標変換部３８には、位置合わせ処理部１６で算出された縮小映像毎の画素座標変換式が入力される。図１２に示すように、ＲＧＢ画素座標変換部３８では、ＲＧＢそれぞれの映像信号（Ｒ信号、Ｇ信号、Ｂ信号）に対して画素の座標変換が行われ、画素座標が変換されたＲ信号、Ｇ信号、Ｂ信号が出力される。そして、ＲＧＢ画素補間部３９では、画素座標が変換されたＲ信号、Ｇ信号、Ｂ信号に対してそれぞれ画素補間処理が行われ、映像合成部１８で、高解像の映像が合成される。

このような第６の実施の形態の映像処理システム１によっても、第２の実施の形態と同様の作用効果が奏される。

その上、本実施の形態では、ＲＡＷデータをそのまま高解像映像の合成に用いられるため、ＹＣデータやＲＧＢデータへの変換による高周波数成分の損失が無く、第２の実施の形態（第１〜第５の実施の形態）に比べて、優れた超解像効果が得られる。

例えば、第２の実施の形態（第１〜第５の実施の形態）では、イメージセンサ４から出力されるＲＡＷデータを、ＲＧＢデータやＹＣデータなどの映像信号（通常カメラの出力信号）に変換して、高解像の映像を合成する。そのため、例えば、イメージセンサ４がベイヤー配列である場合、ＲＡＷデータから映像信号（ＲＧＢデータやＹＣデータ）に変換するときに画素混合や画素補間などを行う必要があり、その際に一部の高周波数成分が失われてしまい、複数枚超解像の効果が小さくなることがあり得る。それに対して、本実施の形態では、ＲＡＷデータをそのまま用いて高解像の映像を合成するので、第２の実施の形態（第１〜第５の実施の形態）に比べて、複数枚超解像の効果を高めることができる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

以上のように、本発明にかかる映像処理システムは、超解像処理の位置合わせの精度を高くすることができるとともに、より高解像の出力映像を得ることができるという効果を有する。

１ 映像処理システム
２ 映像入力装置
３ 映像出力装置
４ イメージセンサ
５ 映像信号処理部
６ 画素間引処理部（間引処理部）
７ 縮小処理部
８ 間引映像エンコード部
９ 縮小映像エンコード部
１０ スタンプ生成部（スタンプ付与部）
１１ 間引映像デコード部
１２ 縮小映像デコード部
１３ 間引映像バッファ部
１４ 縮小映像バッファ部
１５ テンプレート格納部（基準映像格納部）
１６ 位置合わせ処理部
１７ 画素座標変換部（座標変換処理部）
１８ 映像合成部
１９ 画素補間部
２０ 映像切出部
２１ 輝度抽出部
２２ 映像減算部
２３ 差分映像エンコード部
２４ 差分映像デコード部
２５ 映像加算部
２６ 輝度・色分離部
２７ 色エンコード部
２８ 輝度映像減算部
２９ 輝度差分エンコード部
３０ 色映像デコード部
３１ 輝度差分デコード部
３２ ＲＡＷ信号処理部
３３ ＹＣ信号処理部
３４ ＲＡＷ間引処理部
３５ ＲＡＷ映像エンコード部
３６ ＲＡＷ映像デコード部
３７ ＲＡＷ映像バッファ部
３８ ＲＧＢ画素座標変換部
３９ ＲＧＢ画素補間部

Claims (10)

1. 映像入力装置と、前記映像入力装置から送信される複数の第１解像度の入力映像を用いて超解像処理を行うことにより当該第１解像度より高解像の第２解像度の出力映像を出力する映像出力装置と、を備えた映像処理システムであって、
   前記映像入力装置は、
   前記入力映像の折り返し周波数成分を低減させかつ前記入力映像の画素数を減少させた縮小映像を生成する縮小処理部と、
   前記入力映像の折り返し周波数成分を低減させずに前記入力映像の画素数を減少させた間引映像を生成する間引処理部と、
   前記縮小映像と前記間引映像との対応付けを示すスタンプ情報を、前記縮小映像と前記間引映像にそれぞれ付与するスタンプ付与部と、
   を備え、
   前記映像出力装置は、
   前記映像入力装置から送信された複数の前記縮小映像の中から選択される１つの前記縮小映像を、超解像処理用の基準映像として格納する基準映像格納部と、
   前記縮小映像と前記基準映像との位置合わせ処理を行うための座標変換情報を、前記複数の縮小映像の各々について生成する位置合わせ処理部と、
   前記映像入力装置から送信された複数の前記間引映像に対して、前記スタンプ情報に基づいて当該間引映像と対応付けられる縮小映像の前記座標変換情報を用いた座標変換処理を施す座標変換処理部と、
   座標変換処理を施した複数の前記間引映像を用いた超解像処理を行うことにより、前記第２解像度の出力映像を生成する映像合成部と、
   を備えたことを特徴とする映像処理システム。
2. 前記映像入力装置は、前記縮小映像と前記間引映像との差分映像を生成する映像減算部を備え、
   前記差分映像と、前記縮小映像または前記間引映像のいずれか一方の映像とが、前記映像入力装置から前記映像出力装置へ送信され、
   前記映像出力装置は、前記差分映像と、前記縮小映像または前記間引映像のいずれか一方の映像とに基づいて、前記縮小映像または前記間引映像の他方の映像を生成する映像加算部を備えたことを特徴とする請求項１に記載の映像処理システム。
3. 前記映像入力装置は、前記縮小映像から一部の注目領域を切り出した切出映像を生成する映像切出部を備え、
   前記切出映像が、前記映像入力装置から前記映像出力装置へ送信されて、前記位置合わせ処理に用いられることを特徴とする請求項１に記載の映像処理システム。
4. 前記映像入力装置は、前記縮小映像にグレースケール化処理を行うことによりグレースケール化映像を生成する輝度抽出部を備え、
   前記グレースケール化映像が、前記映像入力装置から前記映像出力装置へ送信されて、前記位置合わせ処理に用いられることを特徴とする請求項１に記載の映像処理システム。
5. 映像入力装置と、前記映像入力装置から送信される複数の第１解像度の入力映像を用いて超解像処理を行うことにより当該第１解像度より高解像の第２解像度の出力映像を出力する映像出力装置と、を備えた映像処理システムで用いられる映像入力装置であって、
   入力映像の折り返し周波数成分を低減させかつ前記入力映像の画素数を減少させた縮小映像を生成する縮小処理部と、
   前記入力映像の折り返し周波数成分を低減させずに前記入力映像の画素数を減少させた間引映像を生成する間引処理部と、
   を有し、
   前記縮小映像と前記間引映像とを対応付けてそれぞれ前記映像出力装置へ送信することを特徴とする映像入力装置。
6. 前記縮小映像と前記間引映像との差分映像を生成する映像減算部を備え、
   前記差分映像と、前記縮小映像または前記間引映像のいずれか一方の映像とを、前記映像出力装置へ送信することを特徴とする請求項５に記載の映像入力装置。
7. 前記縮小映像から一部の注目領域を切り出した切出映像を生成する映像切出部を備え、
   前記切出映像を、前記映像出力装置へ送信することを特徴とする請求項５に記載の映像入力装置。
8. 前記縮小映像にグレースケール化処理を行うことによりグレースケール化映像を生成する輝度抽出部を備え、
   前記グレースケール化映像を、前記映像出力装置へ送信することを特徴とする請求項５に記載の映像入力装置。
9. 映像入力装置と、前記映像入力装置から送信される複数の第１解像度の入力映像を用いて超解像処理を行うことにより当該第１解像度より高解像の第２解像度の出力映像を出力する映像出力装置と、を備えた映像処理システムで用いられる映像出力装置であって、
   前記映像入力装置から送信された複数の縮小映像の中から選択される１つの前記縮小映像を、超解像処理用の基準映像として格納する基準映像格納部と、
   前記縮小映像と前記基準映像との位置合わせ処理を行うための座標変換情報を、前記複数の縮小映像の各々について生成する位置合わせ処理部と、
   前記映像入力装置から送信された複数の間引映像に対して、当該間引映像と対応付けられる縮小映像の前記座標変換情報を用いた座標変換処理を施す座標変換処理部と、
   座標変換処理を施した複数の前記間引映像を用いた超解像処理を行うことにより、前記第２解像度の出力映像を生成する映像合成部と、
   を備えたことを特徴とする映像出力装置。
10. 複数の第１解像度の入力映像を用いて超解像処理を行うことにより当該第１解像度より高解像の第２解像度の出力映像を生成する映像処理方法であって、
    入力映像の折り返し周波数成分を低減させかつ前記入力映像の画素数を減少させた縮小映像を生成し、
    前記入力映像の折り返し周波数成分を低減させずに前記入力映像の画素数を減少させた間引映像を生成し、
    前記縮小映像と前記間引映像との対応付けを示すスタンプ情報を、前記縮小映像と前記間引映像にそれぞれ付与し、
    前記複数の縮小映像の中から選択される１つの前記縮小映像を、超解像処理用の基準映像とし、
    前記縮小映像と前記基準映像との位置合わせ処理を行うための座標変換情報を、前記複数の縮小映像の各々について生成し、
    複数の前記間引映像に対して、前記スタンプ情報に基づいて当該間引映像と対応付けられる縮小映像の前記座標変換情報を用いて座標変換処理し、
    座標変換処理された複数の前記間引映像を用いた超解像処理を行うことにより、前記第２解像度の出力映像を生成することを特徴とする映像処理方法。
    
    

Images