JP4469018B2 - 画像処理装置、画像処理方法、コンピュータプログラムおよび当該コンピュータプログラムを記録した記録媒体、フレーム間動き算出方法および画像処理方法 - Google Patents

Description

本発明は、動画像の画像処理に関する。より具体的には、撮影された動画像の解像度およびフレームレートの少なくとも一方を画像処理によって高くしたカラーの動画像を生成する技術に関する。

近年、画像撮像機器の分野では、デジタルビデオカメラやデジタルスチルカメラの高画質化や多機能化が急速に進んでいる。これら画像撮像機器で得られる動画像の画質に関わる主な指標として、１フレームあたりの画素数（解像度）、１秒あたりのフレーム数（フレームレート）、および、雑音に対する画像信号の比率（ＳＮ比）がある。

解像度は、画像撮像機器に必要とされる画質に応じて多岐にわたって使い分けられている。たとえばＴＶ電話の解像度はＱＣＩＦ（Quarter Common Intermediate Format）程度の画素数であり、デジタル一眼レフカメラの解像度は１０００万画素を超えている。フレームレートもまた多岐にわたっており、デジタルスチルカメラの連写機能では毎秒数フレーム、ビデオカメラでは毎秒３０フレーム、特殊な高速撮影カメラでは毎秒１０００フレームを越える場合がある。

しかしながら、画像撮像機器で広く用いられている撮像素子（例えばＣＣＤやＣＭＯＳイメージセンサ）は、画素データの読み出し速度を向上することが困難であり、一定の上限値があるという特徴を持つ。画素データの読み出し速度の上限値は、動画像の解像度とフレームレートの積の上限値を規定する。そのため、高解像度と高フレームレートとを同時に満たす動画像の撮像は困難であった。

そこで、動画像の信号処理によって高解像度かつ高フレームレートの動画像を生成する方式が提案されている。たとえば特許文献１は、２つの撮像手段を用いて、解像度とフレームレートの組み合わせが異なる２つの動画像を撮影し、信号処理によって高解像度かつ高フレームレートの動画像を生成することを可能としている。

図２０は、特許文献１に記載された従来の撮像装置の構成を示す。撮像装置のレンズ１００１を透過した光は、その一部がハーフミラー１００４を透過し、シャッター１００６を経てフィルム１００２に入射する。その結果、フィルム１００２には、解像度は高いがフレームレート（撮影間隔）が低い動画像が記録（撮影）される。一方、レンズ１００１を透過した光の一部はハーフミラー１００４で反射されてレンズ１００５に入り、ＣＣＤ１００５によって受光される。その結果、解像度は低いがフレームレートは高い動画像が撮影され、記録媒体（図示せず）に記録される。

撮像装置は、フィルム１００２で撮影された画像とＣＣＤ１００５で撮影された画像のエッジの対応関係を求め、この対応関係に基づいてＣＣＤ１００５で撮影されているが、フィルム１００２では撮影されていないタイミングの画像を生成する。これにより、撮像装置は高解像度かつ高フレームレートの画像を生成している。

このような２つの撮像手段を用いた従来の撮像装置は、一方の撮像手段（フィルム１００２）を利用して高解像度低フレームレートの動画像を記録し、もう一方の撮像手段（ＣＣＤ１００３）を利用して低解像度高フレームレートの動画像を撮影し記録する。そのため、仮に読み出し速度に上限値がある２つの撮像素子を用いる場合でも、２つの撮像素子の上限値の和を超える高解像度かつ高フレームレートの動画像を生成することができる。

なお、一般的に画像の解像度が高いとは、撮影範囲が同じ画像において、画像に含まれる空間周波数成分がより高い成分を含むことをいう。また、ある画像を高解像度化する（解像度を高める）とは、より高い空間周波数成分を含むように当該画像を処理することである。画像の解像度が高いこと、すなわち、高い空間周波数成分を含むことと、画像の画素数が多いこととは厳密には一致しない。つまり、画素数が多い画像はより高い空間周波数成分を含むことはできるが、必ずしも高い空間周波数成分を含んでいるとは限らない。よって画像の画素数が多いことと解像度が高いことは同義ではない。ただし、本明細書においては説明を簡潔にするため、特に説明しない限り、画素数がより多い画像は解像度がより高いものとして説明する。

特許第３５３１０３５号公報

しかしながら、２つの撮像手段を用いる上述の撮像装置では、入射した光はハーフミラー１００４で２つに分割されるため、フィルム１００２とＣＣＤ１００３とにそれぞれ入射する光はもとの入射光に対して半減する、という課題を有していた。これは言い換えると、画像の輝度が低下して画像が暗くなり、雑音に対する画像信号の比率（ＳＮ比）が低下することを意味する。

本発明は上述の課題を解決するものであって、その目的は、ハーフミラーによる光量の半減に起因するＳＮ比の低下をなくし、高解像度、高フレームレートかつＳＮ比が高い動画像を生成可能な画像処理装置および方法を提供することである。

本発明による画像処理装置は、第１動画像のデータおよび第２動画像のデータに基づいて多色動画像のデータを生成する画像処理装置であって、前記第１動画像は、第１フレームレートで、第１色成分の複数の画像を有しており、前記第２動画像は、前記第１フレームレートよりも高い第２フレームレートで、前記第１色成分と異なる第２色成分の複数の画像を有しており、かつ、前記第２動画像の解像度は、前記第１動画像の解像度以下であり、前記第１動画像のデータおよび前記第２動画像のデータに基づいて、前記第１動画像を構成する画像を変化させた合成画像を生成し、前記第１動画像および前記合成画像を利用して前記第１フレームレートより高いフレームレートで、前記第１動画像に対応する合成動画像を出力する第１の画像合成部と、前記合成動画像および前記第２動画像を受け取って合成し、前記第１色成分および前記第２色成分を含む多色動画像を生成する第２の画像合成部とを備えている。

前記第１の画像合成部は、前記第２動画像のデータを受け取り、前記第２動画像を構成する少なくとも２枚の画像間の変化に基づいて動き情報を生成する動き推定部と、前記動き情報および前記第１動画像のデータに基づいて前記合成画像を生成する動き補償部とを有していてもよい。

前記動き補償部は、前記第１動画像を構成する画像を前記動き情報に基づいて変化させて前記合成画像を生成してもよい。

前記第１動画像および前記第２動画像は、互いに同じタイミングで撮影されたベースフレーム画像をそれぞれ有しており、さらに前記第２動画像は、隣接する２つのベースフレーム画像が撮影される間にさらに撮影された中間フレーム画像を有しており、前記動き推定部は、前記第２動画像の中間フレーム画像およびベースフレーム画像の画像間の変化に基づいて動き情報を生成し、前記動き補償部は、前記第１動画像のベースフレーム画像を前記動き情報に基づいて変化させることによって、前記第２動画像の中間フレームに対応する合成画像を生成してもよい。

前記動き推定部は、前記第２動画像の中間フレーム画像、および、前記中間フレーム画像よりも時間的に前に撮影されたベースフレーム画像の画像間の変化に基づいて動き情報を生成してもよい。

前記動き推定部は、前記第２動画像の中間フレーム画像、および、前記中間フレーム画像よりも時間的に後に撮影されたベースフレーム画像の画像間の変化に基づいて動き情報を生成してもよい。

前記動き推定部は、前記第２動画像の中間フレーム画像Ｕ、および、前記中間フレーム画像よりも時間的に前に撮影されたベースフレーム画像Ｓの画像間の変化に基づいて動き情報Ｓを生成し、かつ、前記第２動画像の中間フレーム画像Ｕ、および、前記中間フレーム画像よりも時間的に後に撮影されたベースフレーム画像Ｔの画像間の変化に基づいて動き情報Ｔを生成し、前記動き補償部は、前記第２動画像のベースフレーム画像Ｓに対応する前記第１動画像のベースフレーム画像Ｓを、前記動き情報Ｓに基づいて変化させ、かつ、前記第２動画像のベースフレーム画像Ｔに対応する前記第１動画像のベースフレーム画像Ｔを、前記動き情報Ｔに基づいて変化させて、前記第２動画像の中間フレームＵに対応する合成画像を生成してもよい。

前記動き推定部は、前記少なくとも２枚の画像の各々に対して複数の領域を設定して、各領域内の画像の変化に基づいて前記各領域に対する動き情報を生成し、前記動き補償部は、前記第１動画像を構成する画像に対して複数の領域を設定し、各領域を前記動き情報に基づいて変化させて１枚の合成画像を生成してもよい。

前記動き補償部は、前記第１動画像および前記第２動画像の時間相関を評価値として用いることにより、前記第１動画像のデータ、前記第２動画像のデータおよび前記動き情報に基づいて、任意のタイミングの前記第１動画像に対応する合成画像を生成してもよい。

前記動き補償部は、前記合成動画像および前記第２動画像の時間相関を評価値として用いることにより、前記合成動画像に含まれる前記合成画像の画素値を修正してもよい。

前記第１動画像に対応する合成動画像のデータおよび前記第２動画像のデータを受け取り、前記合成動画像を構成する画像の情報に基づいて、第２動画像を高解像度化して、第２動画像に対応する合成動画像を生成する高解像度化部をさらに備え、前記合成部は、前記第２動画像に代えて前記第２動画像に対応する合成動画像を受け取り、前記第１動画像に対応する合成動画像と合成して、前記多色動画像を生成してもよい。

前記高解像度化部は、前記第１動画像に対応する合成動画像を構成する画像の情報に基づいて、前記第２動画像を高解像度化し、第２動画像に対応する合成動画像を生成する際に、前記第１動画像に対応する合成動画像および前記第２動画像の空間相関を評価値として用いてもよい。

前記動き推定部は、前記第１動画像のデータおよび第２動画像のデータを受け取り、前記第１動画像のベースフレーム画像を用いて前記第２動画像のベースフレーム画像の解像度を変換したベースフレーム解像度変換画像と、前記第１動画像のベースフレーム画像を用いて第２動画像の中間フレーム画像の解像度を変換した中間フレーム解像度変換画像とを生成し、前記ベースフレーム解像度変換画像と前記中間フレーム解像度変換画像間の類似度に基づいて前記動き情報を生成し、前記第２動画像の動き情報として出力してもよい。

前記動き推定部は、前記第１動画像の画像および前記第２動画像の画像間の空間相関に基づいて、第２動画像の解像度を変換した変換動画像を生成してもよい。

前記画像処理装置は、さらに第３動画像のデータに基づいて多色動画像のデータを生成することが可能であり、前記第３動画像は、前記第１フレームレートよりも高い第３フレームレートで、前記第１色成分および前記第２色成分と異なる第３色成分の複数の画像を有しており、かつ、前記第３動画像の解像度は、前記第１動画像の解像度以下であり、前記動き推定部は、さらに第３動画像のデータを受け取り、前記第２動画像を構成する少なくとも２枚の画像間の変化に基づいて動き情報を生成し、前記動き補償部は、前記第２動画像に関する動き情報、前記第３動画像に関する動き情報および前記第１動画像のデータに基づいて、前記第１動画像に対応する合成動画像を生成し、前記合成部は、前記合成動画像、前記第２動画像および前記第３動画像を受け取って合成し、前記第１色成分、前記第２色成分および前記第３色成分を含む多色動画像を生成してもよい。

前記第２の動画像および前記第３の動画像は、画素の空間配置が異なっていてもよい。

前記第１色成分は緑であってもよい。

前記画像処理装置は、受けた光を少なくとも第１色成分および第２色成分に分離する色分離部と、分離された前記第１色成分の光および前記第２色成分の光に基づいて、前記第１動画像および前記第２動画像を撮影する撮像部とをさらに備え、前記撮像部は、前記第２動画像の解像度以上の解像度で前記第１動画像を撮影するとともに、前記第２動画像のフレームレート未満のフレームレートで前記第１動画像を撮影してもよい。

前記撮像部は、撮影された動画像に応じて複数の色成分の動画像の解像度とフレームレートを制御してもよい。

本発明による画像処理方法は、第１動画像のデータおよび第２動画像のデータに基づいて多色動画像のデータを生成する画像処理方法であって、前記第１動画像は、第１フレームレートで、第１色成分の複数の画像を有しており、前記第２動画像は、前記第１フレームレートよりも高い第２フレームレートで、前記第１色成分と異なる第２色成分の複数の画像を有しており、かつ、前記第２動画像の解像度は、前記第１動画像の解像度以下であり、前記第１動画像のデータおよび前記第２動画像のデータに基づいて、前記第１動画像を構成する画像を変化させた合成画像を生成し、前記第１動画像および前記合成画像を利用して前記第１フレームレートより高いフレームレートで、前記第１動画像に対応する合成動画像を出力するステップと、前記合成動画像および前記第２動画像を受け取って合成し、前記第１色成分および前記第２色成分を含む多色動画像を生成するステップとを包含する。

本発明によるコンピュータプログラムは、画像処理装置に設けられたプロセッサに、第１動画像のデータおよび第２動画像のデータに基づいて多色動画像のデータを生成させるコンピュータプログラムであって、前記第１動画像は、第１フレームレートで、第１色成分の複数の画像を有しており、前記第２動画像は、前記第１フレームレートよりも高い第２フレームレートで、前記第１色成分と異なる第２色成分の複数の画像を有しており、かつ、前記第２動画像の解像度は、前記第１動画像の解像度以下であり、前記コンピュータプログラムは、前記プロセッサに、前記第１動画像のデータおよび前記第２動画像のデータに基づいて、前記第１動画像を構成する画像を変化させた合成画像を生成し、前記第１動画像および前記合成画像を利用して前記第１フレームレートより高いフレームレートで、前記第１動画像に対応する合成動画像を出力するステップと、前記合成動画像および前記第２動画像を受け取って合成し、前記第１色成分および前記第２色成分を含む多色動画像を生成するステップとを実行させる。

前記コンピュータプログラムは記録媒体に記録されてもよい。

前記動き推定部は、前記第２動画像を構成する画像と前記第３動画像を構成する画像とを、画素の空間配置を加味して重み付き加算することにより混合動画像を生成し、生成した前記混合動画像を構成する少なくとも２枚の画像間の変化に基づいて前記動き情報を生成してもよい。

前記動き推定部は、前記第２動画像を構成する画像と前記第３動画像を構成する画像とを、画素の空間配置を加味して重み付き加算することにより混合動画像を生成し、さらに、前記第１動画像のベースフレーム画像を用いて前記混合動画像のベースフレーム画像の解像度を変換したベースフレーム解像度変換画像と、前記第１動画像のベースフレーム画像を用いて前記混合動画像の中間フレーム画像の解像度を変換した中間フレーム解像度変換画像とを生成し、前記ベースフレーム解像度変換画像と前記中間フレーム解像度変換画像間の変化に基づいて前記動き情報を生成してもよい。

前記高解像度化部は、前記第１動画像に対応する合成動画像を構成する画像の情報に基づいて、前記第２動画像を高解像度化し、第２動画像に対応する合成動画像を生成する際に、前記第１動画像に対応する合成動画像に含まれる高域成分を前記第２動画像に加えてもよい。

前記高解像度化部は、前記第１動画像に対応する合成動画像を構成する画像の情報に基づいて、前記第２動画像を高解像度化し、第２動画像に対応する合成動画像を生成する際に、前記第１動画像に対応する合成動画像と第２動画像に対応する合成画像との間の相関を強くしてもよい。

前記高解像度化部は、前記第１動画像に対応する合成動画像を構成する画像の情報に基づいて、前記第２動画像を高解像度化し、第２動画像に対応する合成動画像を生成する際に、前記第１動画像を構成する画像および前記第２動画像を構成する画像との相関の度合いに応じて、前記第１動画像に対応する合成動画像の画像と前記第２動画像に対応する合成動画像の画像との相関の度合いを変えてもよい。

前記高解像度化部は、前記第１動画像に対応する合成動画像を構成する画像の情報に基づいて、前記第２動画像を高解像度化し、第２動画像に対応する合成動画像を生成する際に、前記第１動画像を構成する画像および前記第２動画像を構成する画像との相関が弱い領域は、前記第２動画像の画像を補間拡大することで第２動画像に対応する合成動画像の画像を生成してもよい。

本発明による動き算出方法は、第１動画像のデータおよび第２動画像のデータに基づいて前記第１動画像および前記第２動画像を構成するフレーム間の動きを算出する。前記第１動画像は、第１フレームレートで複数の画像を有しており、前記第２動画像は、前記第１フレームレートよりも高い第２フレームレートで複数の画像を有しており、前記第２動画像の解像度は、前記第１動画像の解像度以下であり、前記第１動画像および前記第２動画像は、互いに同じタイミングで撮影されたベースフレーム画像をそれぞれ有しており、前記第２動画像は、隣接する２つのベースフレーム画像が撮影される間にさらに撮影された中間フレーム画像を有しており、前記動き算出方法は、前記第１動画像のデータおよび前記第２動画像のデータを受け取り、前記第１動画像のベースフレーム画像を用いて前記第２動画像のベースフレーム画像の解像度を変換したベースフレーム解像度変換画像を生成するステップと、前記第１動画像のベースフレーム画像を用いて前記第２動画像の中間フレーム画像の解像度を変換した中間フレーム解像度変換画像を生成するステップと、前記ベースフレーム解像度変換画像と前記中間フレーム解像度変換画像間の類似度に基づいて動き情報を生成するステップとを包含する。

前記第１動画像は、第１色成分の複数の画像を有しており、前記第２動画像は、前記第１色成分と異なる第２色成分の複数の画像を有していてもよい。

本発明による画像処理方法は、第１動画像のデータおよび第２動画像のデータに基づいて合成動画像のデータを生成する画像処理方法であって、前記第１動画像は、第１フレームレートで複数の画像を有しており、前記第２動画像は、前記第１フレームレートよりも高い第２フレームレートで複数の画像を有しており、前記第１動画像および前記第２動画像は、互いに同じタイミングで撮影されたベースフレーム画像をそれぞれ有しており、前記第２動画像は、隣接する２つのベースフレーム画像が撮影される間にさらに撮影された中間フレーム画像を有しており、前記画像処理方法は、前記第１動画像のデータおよび第２動画像のデータを受け取り、前記第１動画像のベースフレーム画像を用いて前記第２動画像のベースフレーム画像の解像度を変換したベースフレーム解像度変換画像を生成するステップと、前記第１動画像のベースフレーム画像を用いて第２動画像の中間フレーム画像の解像度を変換した中間フレーム解像度変換画像を生成するステップと、前記ベースフレーム解像度変換画像と前記中間フレーム解像度変換画像間の類似度に基づいて動き情報を生成するステップと、前記第１動画像のデータおよび前記第２動画像のデータと前記動き情報とに基づいて、前記第１動画像を構成する画像を変化させた合成画像を生成し、前記第１動画像および前記合成画像を利用して前記第１フレームレートより高いフレームレートで、前記第１動画像に対応する合成動画像を出力するステップとを包含する。

本発明の多色画像処理装置によれば、解像度とフレームレートが異なる複数の色成分の動画像から、解像度とフレームレートがともに高い多色動画像を生成することが可能になる。

実施形態１による多色画像処理装置１の構成を示す図である。 撮像部１０１から出力される３つの色成分の動画像の例を示す図である。 中間フレーム画像中の矩形小領域に対応する、ベースフレーム画像中の領域を探索する処理の概念を示す図である。 動き補償部１０９が緑の合成動画像Ｇ_HHを生成する処理の概念を示す図である。 動き推定部１０８が緑の合成動画像を生成する処理の手順を示すフローチャートである。 画像処理部１０６の各部の動作によって生成された合成動画像と多色動画像の例を示す図である。 実施形態２による多色画像処理装置２の構成を示す図である。 （ａ）は、赤および青の動画像Ｒ_LH、Ｂ_LHと緑の合成動画像Ｇ_HH、および、赤と青の合成動画像Ｒ_HH、Ｂ_HHの同じフレーム（タイミング）の画像における、画素の配置を示す図であり、（ｂ）は、各動画像をなす画素の拡大図であり、（ｃ）は、図８（ｂ）に示す赤および青の各動画像の画素に対応する、高解像度化された画素群を示す図である。 画像処理部１０６の各部の動作によって生成される合成動画像と多色動画像の例を示す図である。 実施形態３による多色画像処理装置３の構成を示す図である。 動き補償部１０９が赤の合成動画像Ｒ_HHを生成する処理の概念を示す図である。 実施形態４による多色画像処理装置４の構成を示す図である。 画素位置がずれた第２および第３の色成分の画像の例を示す図である。 コンピュータによって構成された多色画像処理装置のハードウェア構成を示す図である。 画素位置がずれた第２および第３の色成分の画像から生成される混合画像の例を示す図である。 実施形態５の動き推定部１０８が動き情報を算出する処理の概念を示す図である。 実施形態２による多色画像処理装置２の効果を示す実験結果の例を示す図である。 実施形態３による多色画像処理装置３で生成した多色動画像のＰＳＮＲに関する実験結果の例を示す図である。 実施形態３による多色画像処理装置３で生成した動き情報Ｖに関する実験結果の例を示す図である。 従来の撮像装置の構成を示す図である。

以下、添付の図面を参照して、本発明による多色画像処理装置の実施形態を説明する。以下の実施形態においては、多色画像処理装置は、例えば８０００画素×４０００画素程度の高解像度、３０フレーム／秒程度の高フレームレートかつＳＮ比の高い動画像を生成することを目的とする。

（実施形態１）
図１は、本実施形態による多色画像処理装置１の構成を示す。

多色画像処理装置１は、撮像部１０１と、画像処理部１０６とを有している。撮像部１０１は、２つ以上の色成分からなる動画像を撮影して出力する。一方、画像処理部１０６は、撮像部１０１で撮影された複数の色成分からなる動画像のデータを受け取り、高解像度かつ高フレームレートの多色動画像を生成する。

以下、撮像部１０１および画像処理部１０６の各々を詳細に説明する。

撮像部１０１は、レンズ系１０２と、色成分分離部１０３と、３つの撮像素子１０４ａ〜１０４ｃと、撮像制御部１０５とを備えている。以下の説明では、３つの撮像素子１０４ａ〜１０４ｃを総称する場合には、「撮像素子１０４」と記述する。

レンズ系１０２は、光学的な被写体の像を撮像素子１０４上に結像させる。

色成分分離部１０３は、レンズ１０２を通った光を、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの色成分に分離する。分離された各色成分の光は、図１上で赤は上、緑は右、青は下へそれぞれ透過する。本実施形態においては、色成分分離部１０３は、たとえばダイクロイックプリズムである。

撮像素子１０４ａ〜１０４ｃは、色成分分離部１０３によって分離された３つの色成分の画像をそれぞれ撮影する。具体的には、撮像素子１０４ａは赤の色成分の画像を、撮像素子１０４ｂは緑の色成分の画像を、撮像素子１０４ｃは青の色成分の画像をそれぞれ撮影する。撮像素子１０４ａ〜１０４ｃは、たとえばＣＣＤである。

撮像制御部１０５は、あらかじめ定められたタイミングに従って撮像素子１０４ａ〜１０４ｃに対して露光時間および読み出しを制御する信号を与え、撮像素子１０４ａ〜１０４ｃからそれぞれの色成分の画像を読み出す。画像は、アナログ信号として読み出される。撮像制御部１０５は、そのアナログ信号の画像をデジタル化して、３つの色成分の動画像データとして出力する。各色成分の動画像データは、後述する記憶部１０７に記憶される。なお、撮像素子１０４ａ〜１０４ｃの各々にＡ／Ｄ変換器を設け、撮像素子１０４ａ〜１０４ｃからデジタル信号が出力されるとしてもよい。このとき撮像制御部１０５は、そのデジタル信号を受け取ってそのまま出力し、または、必要な信号処理を行って出力する。

撮像部１０１から出力される各色成分の動画像データは、その全てが同じ解像度および同じフレームレートではない。ある２つの色成分の動画像を第１の動画像および第２の動画像とすると、第１の動画像の解像度は第２の動画像の解像度以上であり、かつ、第１の動画像のフレームレートは第２の動画像のフレームレートよりも低い。なお、残り１つの色成分の動画像（第３の動画像）の解像度およびフレームレートは、第２の動画像と同じである。

本実施形態では、第１の色成分を緑、第２および第３の色成分はそれぞれ赤、青であるとする。以下の説明では、解像度が高く（Ｈ）フレームレートが低い（Ｌ）、緑（Ｇ）の色成分の動画像をＧ_HL、解像度が低く（Ｌ）フレームレートが高い（Ｈ）、赤（Ｒ）および青（Ｂ）の色成分の動画像をそれぞれＲ_LH、Ｂ_LHのように表記する。１文字目が色成分を表し、２文字目（第１の添え字）が解像度を表し、３文字目（第２の添え字）がフレームレートを表す。

また、本明細書においては、記載を簡略化するため、緑の色成分の動画像を「緑の動画像」などと記述する。

画像処理部１０６は、記憶部１０７と、単色画像合成部１００と、多色画像合成部１１１とを有する。

記憶部１０７は、撮像部１０１から出力された３つの色成分の動画像を一時的に記憶する。記憶部１０７は、撮像部からの動画像を入力して記憶するとともに、後述する画像処理部１０６を構成する他の構成要素からの要求に応じて、一時記憶された動画像を出力する。記憶部１０７は、たとえばバッファメモリであってもよいし、ハードディスク、光ディスクであってもよい。

単色画像合成部１００および多色画像合成部１１１は、それぞれ、異なる画像合成処理を行う機能ブロックである。まずはじめに、単色画像合成部１００が緑の色成分に関する画像処理を行い、その後、多色画像合成部１１１が全色成分の動画像を合成する画像処理を行う。

単色画像合成部１００は、緑の動画像のデータおよび青および／または赤の動画像のデータに基づいて、緑の動画像を構成する画像を変化させた合成画像を生成する。そしてその合成画像および緑の動画像を利用して、緑の動画像のフレームレートより高いフレームレートを有する、緑の合成動画像を出力する。

単色画像合成部１００は、動き推定部１０８および動き補償部１０９を有している。

動き推定部１０８は、記憶部１０７に記憶された第２および第３の色成分である赤および青の動画像Ｒ_LH、Ｂ_LHを入力としてこれを読み出し、各フレーム画像間の動き量（画像座標の変化量）を算出し、これを動き情報Ｖとして出力する。

動き補償部１０９は、動き推定部１０８によって算出された動き情報Ｖと、記憶部１０７に記憶された第１の色成分（緑の動画像Ｇ_HL）を受け取って、動き補償によって任意のタイミングの緑の合成画像を生成し、フレームレートの高い緑の合成動画像Ｇ_HHを生成して出力する。動き補償部１０９の処理の詳細は後述する。

多色画像合成部１１１は、動き補償部で生成された緑の合成動画像Ｇ_HH、および、記憶部１０７に記憶された赤および青の動画像Ｒ_LH、Ｂ_LHを受け取って画像の補間拡大を行い、３つの色成分の動画像の解像度を一致させる。そして、その３つの色成分の動画像で構成される多色動画像ＲＧＢ_MHを生成して出力する。

動き推定部１０８、動き補償部１０９および多色画像合成部１１１は、たとえば画像処理回路によって実現される。または、動き推定部１０８、動き補償部１０９および多色画像合成部１１１の各処理が記述されたコンピュータプログラムを実行したプロセッサによって実現される。

次に、以上のように構成された多色画像処理装置１の動作を説明する。

撮像部１０１において、被写体の像は、レンズ系１０２、色成分分離部１０３を通して、３つの色成分ごとに撮像素子１０４上に結像される。

撮像制御部１０５は、赤と青の撮像素子１０４ａと１０４ｃから、あらかじめ定められたフレームレートで各色成分の画像を読み出し、緑の撮像素子１０４ｂからも赤と青のフレームレートより低いフレームレートで緑の色成分をもつ画像を読み出す。そして撮像制御部１０５は、各画像をデジタル化して、それぞれ緑の動画像Ｇ_HL、赤の動画像Ｒ_LH、青の動画像Ｂ_LHの画像データを記憶部１０７に記憶する。

図２は、撮像部１０１から出力される３つの色成分の動画像の例を示す。横軸は時間を表す。図２において、画像および画素（格子状の図形の１つの矩形）の大きさは、撮像素子１０４上での実寸と比例して表現されている。つまり、各画像の大きさが同じであることは画像の撮影範囲が同じであることを表す。このとき、１画素の大きさが小さい画像、すなわち画素数が多い画像は解像度が高いことを意味する。

本実施形態では、緑の画像を撮影する撮像素子１０４ｂの画素数、すなわち、撮像部１０１から出力される緑の動画像Ｇ_HLの解像度は、水平８０００画素、垂直４０００画素であるとする。また、そのフレームレートは７．５フレーム／秒（ｆｐｓ）であるとする。

同様に、赤および青の動画像を撮影する撮像素子１０４ａと１０４ｃの画素数、すなわち、撮像部１０１から出力される赤および青の動画像Ｒ_LH、Ｂ_LHの解像度はともに水平４０００画素、垂直２０００画素であり、そのフレームレートは３０ｆｐｓであるとする。

上述の数値から理解されるように、第１の動画像である緑の動画像は、第２および第３の動画像である赤および青の動画像に対し、解像度は縦横各２倍でフレームレートは１／４の関係となっている。本実施形態においては、このような緑の動画像を、同じ解像度で高フレームレート化した合成動画像を生成する。すなわち、緑の合成動画像の主観画質が最も良くなるように処理する。

このように処理する理由は、人の視覚感度は赤、青よりも緑に対して高いという特性を有しており、一般的には緑の合成動画像の主観画質が最も良くなるようにすることが望ましいためである。

緑の合成動画像の主観画質を良くするためには、緑の動画像を高解像度低フレームレートで撮影することが好適な場合が多いと考えられる。例えば、画像中の被写体が静止もしくは動きが小さい場合、緑の動画像を高解像度低フレームレートで撮影すると、赤や青の合成動画像に対して、緑の合成動画像の解像度が高く、その結果主観画質が高くなる。そして、赤や青に比べてさらに緑の動画像のフレームレートを高くすることで、主観画質が良くなることが期待できる。

なお、上述した各色成分の動画像の解像度（画素数）および、フレームレートはこの値に限定するものではない。例えば、海やプール等、水中のシーンを撮影する場合の様に、シーン中に緑以外の色成分（この場合は青）が強く現れることが事前に分っている場合には、青を高解像度、かつ低フレームレートで撮影し、赤と緑を低解像度かつ高フレームレートで撮影することにより、観察者の主観画質の良い多色動画像を提示することができる。

後述の実施形態の説明も含め、本明細書では主として緑の動画像を高解像度低フレームレートで撮影し、赤および青の動画像を低解像度高フレームレートで撮影するとして説明する。

本実施形態では、緑の動画像の各フレーム画像が撮影（露光）されるタイミングは、赤および青の動画像の４枚おきの画像が撮影されるタイミングと一致しているとする。撮影のタイミングが一致しているとは、各色成分の画像の露光開始時間と露光終了時間が、ともに一致していることを意味する。

動画像の複数の色成分を、異なる撮像素子１０４ａ〜１０４ｃで撮影する場合、被写体やカメラの動きによって、各色成分での画像の位置や動きぶれによる違いが起こらないようにするためには、撮影のタイミングが一致していることが望ましい。ただし、撮影のタイミングは厳密に一致していなくてもよい。厳密にタイミングが一致していなくても、各色成分での画像の違いは目立たないことが多いためである。例えば、複数の色画像の露光開始時間と露光終了時間が、時間的に重複している範囲であれば、その違いはほとんど目立たない。このような場合は、撮影のタイミングがほぼ一致しているとみなしてもよい。

以下では、説明を容易にするため、緑、赤および青の画像の撮影タイミングが一致しているフレーム画像をベースフレーム画像、赤および青の画像のみが撮影されているフレーム画像を中間フレーム画像と呼ぶ。図２には、ベースフレーム画像および中間フレーム画像の例が記載されている。

緑の動画像の各画素と、赤および青の動画像の各画素との空間的な位置関係は、決められた位置関係に調整しておくことにより、または、あらかじめ位置関係を計測しておくなどの方法により、既知であるとする。本実施形態においては、緑の４画素で構成される小矩形領域と、赤および青の１画素の小矩形領域とが、被写体画像上で一致するように、３つの撮像素子１０４ａ〜１０４ｃ間の位置があらかじめ調整されているとする。

画像処理部１０６は、撮像部１０１から出力された３つの色成分の動画像データを受け取って記憶部１０７に記憶する。たとえば、画像処理部１０６は、赤および青の動画像Ｒ_LH、Ｂ_LHの連続した３枚の中間フレーム画像および、その直前および直後の２枚のベースフレーム画像の各データが記憶部１０７に入力されるごとに、以下の処理を繰り返し行う。

動き推定部１０８は、赤の動画像Ｒ_LHの連続した３枚の中間フレーム画像、および、その直前と直後のベースフレーム画像の各データを記憶部１０７より受け取る。そして動き推定部１０８は、各中間フレーム画像について、２枚のベースフレーム画像に対する、中間フレーム画像の動き量を算出して動き情報Ｖとして出力する。

以下、図３を参照しながら、動き推定部１０８が動き情報を算出する処理を詳しく説明する。以下に説明する処理においては、赤の動画像Ｒ_LHの各中間フレーム画像に対し、あらかじめ、一定の間隔で矩形小領域を設定しておくとする。例として、矩形小領域は４画素×４画素であるとし、１つの赤画像について１０００×５００個の矩形小領域をあらかじめ設定しているとする。

図３は、中間フレーム画像中の矩形小領域に対応する、ベースフレーム画像中の領域を探索する処理の概念を示す。

動き推定部１０８は、１枚の中間フレーム画像上のある１つ矩形小領域を基準として、前後２枚のベースフレーム画像上の矩形小領域との類似度を算出し、算出した類似度をもとに動き情報を算出する。

本実施形態では、中間フレーム画像の矩形小領域とベースフレーム画像の矩形小領域との、画素値の差の絶対値和（Sum of Absolute Differences；ＳＡＤ）を類似度とする。そして、中間フレーム画像のある座標位置の矩形小領域に対して、前後２枚のベースフレーム画像のあらかじめ定められた相対位置の範囲内の複数の矩形小領域との類似度を算出し、最も類似度の高い（ＳＡＤが小さい）矩形小領域の座標位置を動き情報として算出する。

例えば、図３において、中間フレーム画像上の１０００×５００個の各矩形小領域のうち、ある１つの矩形小領域に着目する。図３では、中間フレーム画像上の太線の矩形が着目する矩形小領域である。このとき動き推定部１０８は、着目した中間フレーム画像上の矩形小領域の座標に対応するベースフレーム画像上の矩形小領域の座標を中心として、上下左右±１６画素の範囲を探索範囲とする。ここで「矩形小領域の座標」とは、矩形小領域の中心の画像座標であるとする。図３では、ベースフレーム画像上の太い点線の矩形が、着目した矩形小領域に対応するベースフレーム画像上の矩形小領域を表している。同様に、ベースフレーム画像上の細い点線の矩形が、探索範囲を表している。

そして、動き推定部１０８は、着目した矩形小領域と２枚のベースフレーム画像上の探索範囲内の各矩形小領域とのＳＡＤを算出する。さらに動き推定部１０８は、探索範囲内の複数の矩形小領域のうち、ＳＡＤが最小となる矩形小領域（例えばベースフレーム画像上の太線の矩形）を特定し、特定した矩形小領域の画像座標と着目した矩形小領域との画像座標で構成される動き量を算出し、これを動き情報として出力する。上述したある着目矩形小領域に対し、他の複数の矩形小領域間とのＳＡＤが最小となる矩形小領域を選択する処理は、最も類似度が高い矩形小領域を選択する処理であるといえる。このようなＳＡＤを評価値として最も類似度の高い領域を求めるマッチング手法は、一般的に知られた手法であり、例えば、「デジタル画像処理／奥富正敏編、202-204ページ、財団法人画像情報教育振興協会発行」などで開示されている。したがって、ここでは詳細な説明を省略する。もちろんＳＡＤの代わりに、差の二乗和（Sum of Square Differences；ＳＳＤ）などを類似度として用いても良い。

動き推定部１０８は、上述した中間フレーム画像の１つの矩形小領域に対するベースフレーム画像間の動き情報を算出する処理を、３枚の中間フレーム画像の各々に対し、１０００×５００個の矩形小領域に対して繰り返し行い、ベースフレーム画像に対する中間フレーム画像の動き情報として出力する。

動き補償部１０９は、動き推定部１０８によって算出された動き情報と、記憶部１０７に記憶された第１の色成分（緑の動画像Ｇ_HL）を受け取る。そして動き補償部１０９は、動き補償によって任意のタイミングの緑の合成画像を生成し、フレームレートの高い緑の合成動画像Ｇ_HHとして出力する。

図４は、動き補償部１０９が緑の合成動画像Ｇ_HHを生成する処理の概念を示す。

本実施形態においては、赤の動画像と同じタイミングで表示されるフレーム画像ごとの緑の合成画像を生成し、それらのフレーム画像から構成される緑の合成動画像として出力する。

動き補償部１０９は、ベースフレーム画像Ｓに対応する緑の合成画像として、既存の緑の動画像を複製する（図４（１）の矢印）。

次に、動き補償部１０９における、中間フレーム画像Ｕの緑の合成画像を生成する処理を詳しく説明する。以下では、赤および緑の動画像の中間フレーム画像Ｕを利用する例を説明するが、青の動画像の中間フレーム画像を利用してもよい。

まずはじめに、赤の動画像の中間フレーム画像Ｕとその中間フレーム画像Ｕよりも時間的に前（過去）に取得されたベースフレーム画像Ｓとを利用して、表示タイミングが当該中間フレーム画像Ｕに対応している緑の合成動画像のフレーム画像を生成する（合成する）処理を説明する。

動き推定部１０８で算出された動き情報には、中間フレーム画像Ｕの画像の各矩形小領域と最も類似度が高いベースフレーム画像の画像座標が含まれる。そこで動き補償部１０９は、赤の動画像の中間フレーム画像Ｕ内の画像の、ある矩形小領域（図４中のＰＲａ）に対応する緑の合成画像の矩形小領域（図４中のＰＧａ）の画素値を次の手順により得る。最初に、赤の矩形小領域（図４中のＰＲａ）に対応するベースフレーム画像Ｓの座標位置（図４中のＩＲａ）を、動き情報から特定する（図４（２）の矢印）。次に、その座標位置（図４中のＩＲａ）に対応する緑の動画像の矩形小領域（ＩＧａ）を特定する（図４（３）の矢印）。最後に、当該緑の動画像の矩形小領域（ＩＧａ）の画素値を、緑の合成画像の矩形小領域（図４中のＰＧａ）へ複製する（図４（４）の矢印）。

次に、赤の動画像の中間フレーム画像Ｕとその中間フレーム画像Ｕよりも時間的に後（未来）に取得されたベースフレーム画像Ｔとを利用して、表示タイミングが当該中間フレーム画像Ｕに対応している緑の動画像のフレーム画像を生成する（合成する）処理を説明する。

動き補償部１０９は、赤の動画像の中間フレーム画像Ｕの画像のある矩形小領域（図４中のＰＲｂ）に対応する緑の合成画像の矩形小領域（図４中のＰＧｂ）の画素値を次の手順により得る。最初に、赤の矩形小領域（図４中のＰＲｂ）に対応するベースフレーム画像Ｔの座標位置（図４中のＩＲｂ）を、動き情報から特定する（図４（５）の矢印）。次に、その座標位置（図４中のＩＲｂ）に対応する緑の動画像の矩形小領域（ＩＧｂ）を特定する（図４（６）の矢印）。最後に、当該緑の動画像の矩形小領域（ＩＧｂ）の画素値を、緑の合成画像の矩形小領域（図４中のＰＧｂ）へ複製する（図４（７）の矢印）。

動き補償部１０９は、上述した緑の合成画像の矩形小領域に対する処理を、全ての矩形小領域に繰り返して行うことで、中間フレーム画像Ｕの緑の合成画像を生成することができる。なお、図４に示す例では、中間フレーム画像よりも時間的に前に取得されたフレーム画像群と、後に取得されたフレーム画像群とを同時に利用して緑の中間フレーム画像を生成しているが、これは例である。時間的に前または後に取得されたフレーム画像群のみを利用して緑の中間フレーム画像を生成してもよい。

以上の動き補償部１０９の動作によって生成される緑の合成動画像Ｇ_HHは、緑の動画像と同じ水平８０００画素、垂直４０００画素の解像度で、かつ、赤や青の動画像と同じ３０ｆｐｓのフレームレートの動画像となる。

多色画像合成部１１１は、動き補償部で生成された緑の合成動画像Ｇ_HH、および、記憶部１０７に記憶された赤および青の動画像Ｒ_LH、Ｂ_LHを受け取る。そして、動画像Ｒ_LH、Ｂ_LHの画素数を、合成動画像Ｇ_HHの画素数と一致するようにバイキュービック補間拡大によって拡大する。その後、補間拡大した動画像Ｒ_LH、Ｂ_LHと合成動画像Ｇ_HHを組み合わせて、赤と緑と青の３つの色成分で構成される多色動画像ＲＧＢ_HHを生成して出力する。

多色画像合成部１１１で生成される多色動画像ＲＧＢ_HHは、各色成分に共通の水平８０００画素、垂直４０００画素の解像度と３０ｆｐｓのフレームレートの多色動画像となる。

画像処理部１０６は、上述した各処理部の動作を、撮像部１０１から最初は５フレーム、２回目以降は新たな４フレームの動画像が入力されるごとに繰り返すことで、多色動画像ＲＧＢ_HHを連続して出力する。

上述した画像処理部１０６における各処理部の動作の説明では、動き推定部１０８および動き補償部１０９は、２つの処理部が５フレームごとに順次動作するものとして説明した。しかし、動作を上述した手順に限定するものではなく別の手順であってもよい。

図５は、動き推定部１０８が動き情報を算出する処理と、動き補償部１０９が緑の合成動画像を生成する処理について、２つの処理部が１矩形小領域ごとに順次動作する他の手順を示すフローチャートである。ステップＳ１において、動き補償部１０９は、緑のベースフレーム画像ＳおよびＴのデータを読み出して、緑の合成動画像のベースフレーム画像ＳおよびＴのデータとして複製する。ステップＳ２において、動き推定部１０８は、赤のベースフレーム画像ＳおよびＴの各データと、たとえば赤の中間フレーム画像Ｕのデータとを読み出す。

ステップＳ３において、赤の中間フレーム画像Ｕ内の矩形小領域ＰＲａと、赤のベースフレーム画像Ｓ内の各矩形小領域との類似度に基づいて、動き推定部１０８は、赤の中間フレーム画像Ｕ内の矩形小領域ＰＲａの動き情報を求める。

ステップＳ４において、動き補償部１０９は、動き情報に基づいて、ベースフレーム画像Ｓの、矩形小領域ＰＲａに対応する矩形小領域ＩＲａの座標位置を特定する。

ステップＳ５において、動き補償部１０９は、赤の矩形小領域ＩＲａに対応する緑のベースフレーム画像Ｓ内の矩形小領域ＩＧａを特定する。本実施形態においては、上述のように、撮像時において、緑の４画素で構成される小矩形領域と赤および青の１画素の小矩形領域とを対応付けている。ステップＳ５の処理はその対応付けに基づいて実行される。

ステップＳ６において、動き補償部１０９は、特定した矩形小領域ＩＧａのデータを、緑の合成動画像の中間フレーム画像Ｕのデータとして複製する。

次のステップＳ７において、動き補償部１０９は、緑の合成動画像の全矩形小領域のデータを生成したか否かを判定する。緑の合成動画像を構成する各画像の全矩形小領域が生成されている場合には、処理は終了し、生成されていない場合には、処理はステップＳ８に進む。

ステップＳ８では、赤の中間フレーム画像Ｕ内の矩形小領域を、他の矩形小領域に変更し、ステップＳ３からの処理を繰り返す。

図６は、画像処理部１０６の各部の動作によって生成された合成動画像と多色動画像の例を示す。撮像部１０１によって得られた各色成分の動画像は、緑の動画像が高解像度低フレームレート（水平８０００画素、垂直４０００画素、７．５ｆｐｓ）、赤および青の動画像がそれぞれ低解像度高フレームレート（水平４０００画素、垂直２０００画素、３０ｆｐｓ）であった（図２）。

これに対し、多色動画像ＲＧＢ_HHは、緑の色成分が高解像度高フレームレート（水平８０００画素、垂直４０００画素、３０ｆｐｓ）である。

以上のように、本実施形態の多色画像処理装置１によれば、撮像部１０１は、第１の色成分である緑の動画像を高解像度低フレームレートで撮影し、第２および第３の色成分である赤および青の動画像は低解像高フレームレートで撮影する。そして、画像処理部１０６は、緑の動画像と赤または青の動画像とに基づいて、緑の動画像を高フレームレート化し、また赤および青の動画像の画素数をそれぞれ緑の動画像の画素数に一致させる。これにより、高解像化および高フレームレート化された多色動画像を生成することができる。

これにより、撮像素子１０４の読み出し速度に上限がある場合であっても、多色画像処理装置１は、その上限値に相当する解像度とフレームレートを超える動画像を生成できる。例えば、撮像素子１０４の読み出し速度の上限が２億４千万画素／秒（＝８０００画素×４０００画素×７．５ｆｐｓ相当）であるとする。このとき、多色画像処理装置１は、８０００画素×４０００画素×７．５ｆｐｓの緑の動画像と、４０００画素×２０００画素×３０ｆｐｓの赤および青の動画像を撮影し、これらの動画像から８０００画素×４０００画素×３０ｆｐｓの動画像を生成することができる。

さらに、本実施形態の多色画像処理装置１は、色成分分離部１０３を用いて分離した３つの異なる波長域の色成分の動画像から、多色動画像を生成している。そのため、従来の技術がハーフミラーを用いて同じ色成分の光を半分に分割して撮影していたのに対して、本実施形態による多色画像処理装置１は、光量の低下を起こすことなくＳＮ比が高い動画像を撮影することができる。その結果、ＳＮ比が高い各色成分の動画像から生成した多色動画像もＳＮ比が高くなるという効果がある。

また、人の視覚感度は赤、青よりも緑に対して高いという特性を持つため、赤や青に比べて緑の解像度とフレームレートを高くすることで、主観画質が良くなることが期待できる。

本実施形態で生成される多色動画像ＲＧＢ_HHは、第１の色成分は動き補償部１０９によって高解像度化および高フレームレート化した合成動画像が生成されるのに対して、第２の色成分は低解像度高フレームレートの画像を補間拡大しただけである。そのため生成される多色動画像の色成分のうち、最も高解像度高フレームレートとなる第１の色成分を緑とすることで、主観画質が高くなるという効果が期待できる。

なお、本実施形態では、多色画像合成部１１１は、赤および青の動画像Ｒ_LH、Ｂ_LHをバイキュービック補間拡大して、多色動画像ＲＧＢ_HHを生成するものとしたが、補間拡大法をバイキュービックに限定するものではなく、バイリニアなどの他の補間拡大法を用いてもよい。

（実施形態２）
実施形態１による多色画像処理装置１は、高解像度低フレームレートの緑の動画像Ｇ_HLと、低解像度高フレームレートの赤および青の動画像Ｒ_LH、Ｂ_LHを入力して、高解像高フレームレートの多色動画像ＲＧＢ_HHを生成する。生成された多色動画像ＲＧＢ_HHに含まれる緑の動画像は、動き補償部１０９によって緑の動画像Ｇ_HLのフレームレートを向上したことに相当する。

実施形態１においては、赤と青の色成分は、動画像Ｒ_LH、Ｂ_LHを単純に画素数だけが多くなるように補間拡大したにすぎず、空間周波数までより高くされていない。つまり、実施形態１においては、第２の色成分である赤および青の動画像Ｒ_LH、Ｂ_LHは、厳密には空間解像度が高められたとは言えない。

そこで、本実施形態では、第２および第３の色成分の動画像についても解像度を向上するように構成した多色画像処理装置を説明する。

図７は、本実施形態による多色画像処理装置２の構成を示す。

多色画像処理装置２の構成が、実施形態１による多色画像処理装置１（図１）の構成と異なる点は、新たに高解像度化部１１０を設けた点、および、多色画像合成部１１１の処理である。

具体的には、本実施形態による高解像度化部１１０は、記憶部１０７に記憶された赤および青の動画像Ｒ_LH、Ｂ_LHの各データと、動き補償部１０９で生成された緑の合成動画像Ｇ_HHのデータとを受け取り、Ｒ_LHおよびＢ_LHの各フレーム画像を高解像度化して、赤および青の色成分の合成動画像Ｒ_HHおよびＢ_HHを生成して出力する。

また本実施形態による多色画像合成部１１１は、動き補償部１０９で生成された緑の色成分の合成動画像Ｇ_HH、および、高解像度化部１１１で生成された赤および青の色成分の合成動画像Ｒ_HH、Ｂ_HHの各データを受け取り、赤と緑と青の３つの色成分で構成される多色動画像ＲＧＢ_HHを生成して出力する。

次に、本実施形態による多色画像処理装置２の動作を説明する。

撮像部１０１、記憶部１０７、動き推定部１０８、動き補償部１０９の動作は、実施形態１による多色画像処理装置１と同じである。すなわち、撮影部１０１は、緑の動画像Ｇ_HL、赤の動画像Ｒ_LH、青の動画像Ｂ_LHを順次撮影して、各動画像のデータを記憶部１０７に記憶する。また、本実施形態においては、緑の動画像Ｇ_HL、赤の動画像Ｒ_LHおよび青の動画像Ｂ_LHの解像度とフレームレートについても、実施形態１と同じであるとする。

動き推定部１０８は、記憶部１０７に３枚の中間フレーム画像とその前後の２枚のベースフレーム画像の各データが入力されるたびに、赤の動画像Ｒ_LH、青の動画像Ｂ_LHから各中間フレーム画像の動き情報Ｖを算出し、動き補償部１０９は、緑の動画像Ｇ_HLと動き情報Ｖを入力して、緑の合成動画像Ｇ_HHを生成して出力する。

高解像度化部１１０は、記憶部１０７に記憶された赤および青の動画像Ｒ_LH、Ｂ_LHの各データと、動き補償部１０９で生成された緑の合成動画像Ｇ_HHのデータを受け取り、緑の合成動画像Ｇ_HHの情報を用いて赤および青の動画像Ｒ_LH、Ｂ_LHの各フレーム画像の解像度を高くする。そして高解像度化部１１０は、高解像度化した各動画像を、赤および青の合成動画像Ｒ_HH、Ｂ_HHとして出力する。

高解像度化部１１０で生成される赤と青の合成動画像Ｒ_HH、Ｂ_HHの解像度は、水平８０００画素、垂直４０００画素、フレームレートは３０ｆｐｓである。

以下、高解像度化部１１０において、緑の合成動画像Ｇ_HHの情報を用いて赤および青の動画像Ｒ_LH、Ｂ_LHの解像度を高くする処理を詳しく説明する。

図８（ａ）は、赤および青の動画像Ｒ_LH、Ｂ_LHと緑の合成動画像Ｇ_HH、および、赤と青の合成動画像Ｒ_HH、Ｂ_HHの同じフレーム（タイミング）の画像における、画素の配置を示す。図８（ｂ）は、各動画像をなす画素の拡大図である。緑の合成動画像Ｇ_HH、および赤と青の合成動画像Ｒ_HH、Ｂ_HHの解像度は、赤および青の動画像Ｒ_LH、Ｂ_LHに対して縦横それぞれ２倍となっている。そのため、赤および青の動画像Ｒ_LH、Ｂ_LHのある１画素は、緑の合成動画像Ｇ_HHの４画素、および、赤と青の合成動画像Ｒ_HH、Ｂ_HHの４画素とそれぞれ対応する位置にある。

ここで赤および青の動画像Ｒ_LH、Ｂ_LHの画素座標（ｘｌ，ｙｌ）の画素値を、それぞれＩＲ_LH（ｘｌ，ｙｌ）、ＩＢ_LH（ｘｌ，ｙｌ）とし、対応する緑の合成動画像Ｇ_HHの４つの画素の画素座標（ｘｈ，ｙｈ）の画素値をＩＧ_HH（ｘｈ，ｙｈ）とする。このとき、赤と青の合成動画像Ｒ_HH、Ｂ_HHのそれぞれ４つの画素の画素座標（ｘｈ，ｙｈ）の画素値ＩＲ_HH（ｘｈ，ｙｈ）、ＩＢ_HH（ｘｈ，ｙｈ）を、（数１）で算出する。

（数１）の３番目の式において、右辺の分母は緑の合成画像の４近傍画素の平均値、分子は１画素ごとの画素値を表す。左辺のｗ（ｘｈ、ｙｈ）は、緑の合成画像のある４近傍画素における各画素値の高域成分の分布を表す。そして（数１）の１、２番目の式は、緑の合成画像の高域成分の分布を、赤と青の画像のある画素値と掛け合わせることで、赤と青の合成画像の画素値を計算している。すなわち、対応する４画素においては、緑の合成画像と赤と青の合成画像は、高域成分の分布が同じになる画素値ＩＲ_HH（ｘｈ，ｙｈ）、ＩＢ_HH（ｘｈ，ｙｈ）が算出されることとなる。

したがって、典型的には被写体が白黒（グレー）である場合などのように、被写体の色成分の緑の高域成分の分布と、赤および青の高域成分の分布が似ている場合、（数１）によって算出される赤および青の合成動画像Ｒ_HH、Ｂ_HHは、赤および青の動画像Ｒ_LH、Ｂ_LHには含まれていない高域の成分を含んだ画像となる。これは言い換えると、赤および青の合成動画像Ｒ_HH、Ｂ_HHは、赤および青の動画像Ｒ_LH、Ｂ_LHの解像度を高めた画像となっている。図８（ｃ）は、図８（ｂ）に示す赤および青の各動画像の画素に対応する、高解像度化された画素群を示す。

多色画像合成部１１１は、動き補償部で生成された緑の合成動画像Ｇ_HH、および、高解像度化部１１０で生成された赤と青の合成動画像Ｒ_HH、Ｂ_HHを入力して、赤と緑と青の３つの色成分で構成される多色動画像ＲＧＢ_HHを生成して出力する。多色画像合成部１１１で生成される多色動画像は、緑と赤、青の各色成分ともに水平８０００画素、垂直４０００画素の解像度と３０ｆｐｓのフレームレートの多色動画像となる。

画像処理部１０６は、上述した各処理部の動作を、撮像部１０１から最初は５フレーム、２回目以降は新たな４フレームの動画像が入力されるごとに繰り返すことで、多色動画像ＲＧＢ_HHを連続して出力する。

図９は、画像処理部１０６の各部の動作によって生成される合成動画像と多色動画像の例を示す。撮像部１０１によって得られた各色成分の動画像は、緑の動画像が高解像度低フレームレート（８０００画素、垂直４０００画素、７．５ｆｐｓ）、赤および青の動画像が低解像度高フレームレート（４０００画素、垂直２０００画素、３０ｆｐｓ）であった（図２）。

これに対し、各合成動画像はいずれも高解像度高フレームレート（８０００画素、垂直４０００画素、３０ｆｐｓ）である。多色画像合成部１１１は、これらを組み合わせて、高解像度高フレームレートのカラー動画像ＲＧＢ_HHを生成している。

本実施形態の多色画像処理装置２によれば、第２の色成分である赤と青の色成分を高解像度化した多色動画像を生成することができる。そのため、実施形態１と同様の制限、たとえば撮像素子１０４の読み出し速度に上限がある場合であっても、その上限値に相当する解像度とフレームレートを超える動画像を生成できるという効果がある。さらに、実施形態１と同様に、本実施形態の多色画像処理装置は光量の低下を起こすことなくＳＮ比が高い動画像を撮影することができる。その結果、多色動画像もＳＮ比が高くなるという効果がある。

なお、本実施形態においては、高解像度化部１１０は、（数１）によって第２の色成分である赤と青の合成動画像を生成するものとした。しかし、（数１）による処理は例である。第１の色成分である緑の合成動画像に含まれる情報を用いて、赤および青の動画像の解像度を向上する処理であれば、他の数式による処理を行ってもよい。

例えば、緑の合成画像と赤と青の画像のある近傍領域での相関を算出し、この相関に応じて高解像度化処理の度合いを変化させてもよい。具体的には、下記（数２）の式によって赤と青の合成画像を算出してもよい。

（数２）では、緑の合成画像の４画素を平均して得た低解像度画像の画素値ＩＧ_LHと赤の画像の画素値ＩＧ_LHとの正規化相互相関ｗｌｒが算出され、これを（数１）の重みづけにしている。青画像についても同様である。

言い換えると（数２）は、緑の合成画像と赤の画像の相関が強いほど、緑の高域成分の分布を赤に加える度合いを強め、逆に相関が弱い場合は、緑の高域成分の分布を赤に加える度合いが弱くなる。

（数１）を用いた場合、例えば、被写体が緑色や赤色である場合などのように緑と赤や緑と青の相関が弱い場合でも、赤や青の合成動画像に本来無いはずの高域成分が加えられる、もしくは高解像度化されない、などの課題が発生する。

これに対して（数２）を用いた場合、緑と赤、緑と青の相関の強弱に応じて、高域成分の分布を加える度合いが調整されるため、上述した課題が発生しにくくなるという効果がある。その結果、多様な画像を入力した場合に、生成される多色動画像の主観的な解像度を上げることができるという効果がある。

同様に、(数２)の代わりに下記（数３）を用いて赤と青の合成画像を算出してもよい。

（数２）では、緑の合成画像の低域成分と赤の動画像の低域成分の相関を表す重みｗｌｒとして、正規化相互相関を用いたが、（数３）では正規化相互相関の代わりに相関係数を用いる。(数２)の正規化相互相関は、その値が１に近いほど相関が強く、０に近づくほど相関が弱いことを表す。(数３)の相関係数は、その値が−１または１に近いほど相関が強く、０に近づくほど相関が弱いことを表す。また、(数３)の相関係数が正のときに正の相関、相関係数が負のときに負の相関があると呼ぶ。（数３）を用いることで、緑の合成画像の低域成分と赤の動画像の低域成分に負の強い相関がある場合に、高域成分にも負の強い相関を持つ合成動画像ＩＲ_HH、ＩＢ_HHが生成されることとなる。その結果、緑と赤、緑と青に負の強い相関がある場合、（数２）を用いると重みｗｌｒが０に近くなって高解像度化されないのに対して、（数３）を用いると、相関値に応じて高域成分にも負の強い相関を持った高域成分が加えられるため、より解像度の高い合成動画像が得られるという効果がある。

（数２）および（数３）では、緑の合成画像の低解像度の画素値ＩＧ_LHと低解像度の赤または青の画像の画素値ＩＲ_LH、ＩＢ_LHの近傍画素領域内での分布の相関（空間相関）を表すｗｌｒ、ｗｌｂの強さおよび正負に応じて、緑の合成画像に含まれる高域成分ｗｈを赤と青の合成画像に加える度合いを調整している。一方、相関が弱くなると、すなわちｗｌｒ、ｗｌｂが０に近づくと、赤と青の合成画像の画素値ＩＲ_HH、ＩＢ_HHは、それぞれ赤と青の画像の画素値ＩＲ_LH、ＩＢ_LHに近づく。その結果、ＩＲ_HH、ＩＢ_HHはＩＲ_LH、ＩＢ_LHの最近傍画素選択による画像拡大に近くなる。

この最近傍画素選択による拡大よりも、バイキュービック補間拡大の方が、主観画質が高いことが期待できる。そこで、（数３）に対して、相関が弱い場合はバイキュービック補間拡大に近づく処理を加えた、（数４）を用いても良い。 (数４)は、相関が弱いほど、すなわちｗｌｒ、ｗｌｂが０に近づくほど、ＩＲ_LH、ＩＢ_LHをバイキュービック補間拡大したＩＲ_B、ＩＢ_Bに近づく。その結果、(数３)と比べて、主観的な画質が向上するという効果がある。

上述した（数１）〜(数４)の処理により、解像度を高めたＲ_HH、Ｂ_HHを生成することができる理由は、単にＧ_HHの高域成分を重畳したためだけではない。赤と青の動画像Ｒ_LH、Ｂ_LHに折り返し成分が含まれる場合にも、（数１）〜(数４)の処理により折り返しを低減できるという効果があるためである。

例えば、各色成分の動画像が共通の光学系を持つカメラで撮影され、かつ、低解像度の赤と青の動画像Ｒ_LH、Ｂ_LHが撮像素子上でハードウェアビニング処理（ビニング処理の詳細について実施形態４において説明する。）により生成される場合、赤と青の動画像Ｒ_LH、Ｂ_LHには折り返し成分が含まれることになる。このような折り返し成分を含む赤と青の動画像Ｒ_LH、Ｂ_LHを入力として、単にＧ_HHを重畳したとしても、折り返しの影響を低減する効果は期待できない。一方、（数１）〜(数４)の処理において、“ＩＧ_HH”の上にバーが付加された記号はＩＧ_HHの平均値であり、ＲやＢに対するビニング処理と等価となっている。したがって、ＩＧ_HHの平均値にも折り返しが含まれる。このＩＧ_HHの平均値とＩＧ_HHとの比がｗｈであり、ｗｈをＩＲ_LH、ＩＢ_LHにかけることで、ＩＲ_HH、ＩＢ_HHを得ている。

ここで、例えば白黒の濃淡画像のように、各色間の相関が非常に強い場合、Ｒ_LH、Ｂ_LHと、ＩＧ_HHの平均値には同じ周波数成分の折り返し成分が含まれることになる。したがって、折り返し成分を含むＩＧ_HHの平均値と高解像度のＩＧ_HHとの比であるｗｈを、ＩＲ_LH、ＩＢ_LHにかけて得たＩＲ_HH、ＩＢ_HHは、折り返しが含まれない、もしくはその影響が低減されることとなる。

上述した（数２）および（数３）の重みｗｌｒは、第２の色成分である赤の画像の空間的な分布と第１の色成分である緑の画像の空間的な分布との相関（空間相関）に応じて、高解像度化処理の度合いを調整する係数を意味する。この重みｗｌｒの代わりに、２つの色成分の動画像の時間的な分布の相関（時間相関）を重みとして用いても、同様の効果を得ることができる。

本願発明者らは、本実施形態による多色画像処理装置２によって生成された高解像度高フレームレートの動画像を評価するため、効果確認実験を行った。図１７は、本実施形態による多色画像処理装置２を用いた実験結果を示している。

実験では、高解像度高フレームレートの正解画像ＲＧＢ_TRUEを用意し、この正解画像ＲＧＢ_TRUEから高解像度低フレームレートの緑の画像Ｇ_HL、低解像度高フレームレートの赤の動画像Ｒ_LHと青の動画像Ｂ_LHを生成して、これらを入力画像とした。そして、これらの入力画像から、本実施形態による多色画像処理装置２によって、多色動画像ＲＧＢ_HHを生成した。

ここで生成した多色動画像ＲＧＢ_HHが、高解像度高フレームレートの正解画像ＲＧＢ_TRUEに近いほど、高解像度高フレームレートの動画像を生成する効果が高いといえる。そこで、評価指標として、正解画像ＲＧＢ_TRUEを正解として、生成した多色動画像ＲＧＢ_HHのＰＳＮＲ(Peak Signal to Noise Ratio)を用いた。比較対象として、３つの色成分がともに低解像度高フレームレートであるＲ_LH,Ｇ_LH, Ｂ_LHを入力として、バイキュービック補間により拡大した画像のＰＳＮＲも求めた。

実験条件として、正解画像ＲＧＢ_TRUEおよび多色動画像ＲＧＢ_HHは、水平７２０画素×垂直４８０画素×６０ｆｐｓ、入力画像の緑の画像Ｇ_HLは、７２０画素×垂直４８０画素×３．７５ｆｐｓ、赤の動画像Ｒ_LHと青の動画像Ｂ_LHは、１８０画素×垂直１２０画素×６０ｆｐｓとした。動き推定部１０８において、中間フレームとベースフレーム間の動きを推定する際に用いる矩形領域の大きさは、３画素×３画素とした。高解像度化部１１０において、（数３）を用いた。

図１７中の「本願の実施形態２」に対応する棒グラフが、本実施形態による多色画像処理装置２で生成した多色動画像のＰＳＮＲを示している。対比のため、図１７にはバイキュービック補間により拡大した画像のＰＳＮＲ（「Ｂｉｃｕｂｉｃ」に対応する棒グラフ）も示されている。

図１７によれば、本実施形態による多色画像処理装置２で生成した多色動画像のＰＳＮＲは、多くの評価用動画像において、バイキュービック補間のＰＳＮＲより高いことが示されている。すなわち、本実施形態による多色画像処理装置２を用いると、より正解画像に近い、高解像度高フレームレートの動画像を生成できるという効果が確認される。

（実施形態３）
実施形態１においては、多色画像処理装置１は、第２の色成分の動画像におけるフレーム画像間の動きを推定し、その動きを用いて第１の色成分の動画像のフレームレートを高めた多色動画像を生成した。そして、実施形態２においては、多色画像処理装置２は、第１の色成分の画像と第２の色成分の画像間で高域成分に相関があると仮定し、第１の色成分の合成動画像と第２の色成分の合成動画像の高域相関が高くなるように、第２の色成分の動画像の解像度を高めた多色動画像を生成した。

本実施形態においては、多色画像処理装置は、実施形態２と同様、第１の色成分の画像と第２の色成分の画像との間で高域成分に相関があるとの仮定のもと、以下の処理を行う。すなわち、本実施形態による多色画像処理装置は、第２の色成分の動画像のフレーム画像間の動きを推定する際に、フレーム画像間の動きによって対応付けられる第１の色成分の動画像と第２の色成分の合成動画像との高域相関が高くなるように、第２の色成分の動画像におけるフレーム画像間の動きと第２の色成分の合成動画像を同時に求める。これにより、第２の色成分の動画像の解像度を高め、かつ、フレーム画像間の動き推定精度を高めることが可能となる。

図１０は、本実施形態による多色画像処理装置３の構成を示す。

多色画像処理装置３の構成が、実施形態１による多色画像処理装置１（図１）の構成と異なる点は、動き推定部１０８および多色画像合成部１１１にある。

具体的には、本実施形態による動き推定部１０８は、記憶部１０７に記憶された赤および青の動画像Ｒ_LH、Ｂ_LHの各データと緑の動画像Ｇ_HLのデータとを受け取り、動き情報Ｖを算出すると同時に、赤および青の動画像Ｒ_LH、Ｂ_LHの各フレーム画像を高解像度化した赤と青の合成動画像Ｒ_HH、Ｂ_HHを生成して出力する。

また、本実施形態による多色画像合成部１１１は、動き推定部１０８で生成された赤と青の合成動画像Ｒ_HH、Ｂ_HHの各データと、動き補償部１０９で生成された緑の合成動画像Ｇ_HHのデータとを受け取り、赤、緑および青の３つの色成分で構成される多色動画像ＲＧＢ_HHを生成して出力する。

次に、本実施形態による多色画像処理装置３の動作を説明する。

撮像部１０１、記憶部１０７、動き補償部１０９の動作は、実施形態１または実施形態２と同じである。すなわち、撮影部１０１は、緑の動画像Ｇ_HL、赤の動画像Ｒ_LH、青の動画像Ｂ_LHを順次撮影して、記憶部１０７に記憶する。また、本実施形態においては、緑の動画像Ｇ_HL、赤の動画像Ｒ_LH、青の動画像Ｂ_LHの解像度とフレームレートもまた、実施形態１または実施形態２と同じである。

動き推定部１０８は、記憶部１０７に記憶された、赤および青の動画像Ｒ_LH、Ｂ_LHの連続した３枚の中間フレーム画像とその前後２つのベースフレーム画像、および対応する緑の動画像Ｇ_HLの２枚のベースフレーム画像の各データを受け取り、中間フレーム画像ごとに２つのベースフレーム画像に対する動きを算出して動き情報Ｖとして出力する。この処理と同時に、動き推定部１０８は、高解像度化した赤と青の合成動画像Ｒ_HH、Ｂ_HHを生成して出力する。

動き推定部１０８は、１つの中間フレーム画像のある１つの矩形小領域を基準として、前後２つのベースフレーム画像上のある探索範囲内の複数の矩形小領域との類似度を算出し、最も類似度の高い矩形小領域との相対位置を動き情報として算出する。

実施形態１では、矩形小領域間の類似度として、解像度の低い赤の動画像Ｒ_LHの輝度値のＳＡＤを用いた。これに対して本実施形態では、赤の動画像Ｒ_LHの矩形小領域の画像を緑の動画像Ｇ_HLを用いて解像度を高め、この解像度を高めた矩形小領域間の輝度値のＳＡＤを評価値として用いる。

以下、図１１を参照しながら、動き推定部１０８による、動き情報Ｖと赤と青の合成動画像Ｒ_HH、Ｂ_HHの算出処理を詳しく説明する。

図１１は、動き補償部１０９が赤の合成動画像Ｒ_HHを生成する処理の概念を示す。

動き推定部１０８は、記憶部１０７に記憶された赤と動画像Ｒ_LHの連続した３枚の中間フレーム画像とその前後２枚のベースフレーム画像、および対応する緑の動画像Ｇ_HLの２枚のベースフレーム画像の各データを受け取る。そして、図１１（１）に示すように、赤の動画像Ｒ_LHのベースフレーム画像と緑の動画像Ｇ_HLのベースフレーム画像とを用いて、解像度を高めた赤の合成動画像Ｒ_HHのベースフレーム画像を生成する。赤の動画像の解像度を高める方法は、実施形態２の高解像度化部１１０と同様、（数１）〜（数４）を利用する方法を用いればよい。

次に、動き推定部１０８は、生成した赤の合成動画像Ｒ_HHのベースフレーム画像と、緑の動画像Ｇ_HLのベースフレーム画像と、赤の動画像Ｒ_LHの中間フレーム画像とを用いて、中間フレーム画像の複数の矩形小領域の各々についてベースフレーム画像に対する動きを算出する。同時に、動き推定部１０８は、解像度を高めた赤の合成動画像Ｒ_HHの中間フレーム画像を生成する。

ここで、赤の動画像Ｒ_LHの中間フレーム画像のある１つの矩形小領域（太線の矩形）に着目し、前後２枚のベースフレーム画像の探索範囲内から、動き情報を算出する動作を説明する。

動き推定部１０８は、赤の動画像Ｒ_LHの中間フレーム画像の着目領域（太線の矩形）に対し、前後２つのベースフレーム画像の探索範囲における複数の候補領域を定める。そして、その複数の候補領域に対して以下の処理を繰り返す。

まず、図１１（２）に示すように、動き推定部１０８は、ある１つの候補領域の緑の画像を用いて赤の矩形小領域の解像度を高めた中間フレーム解像度変換画像を生成する。赤の矩形小領域の解像度を高める方法は、実施形態２の高解像度化部１１０と同様である。

次に、動き推定部１０８は、図１１（３）に示すように、得られた矩形小領域の解像度変換画像と、赤の合成動画像Ｒ_HHのベースフレーム画像（ベースフレーム解像度変換画像）の候補領域との輝度値のＳＡＤを算出し、これを着目領域と候補領域の類似度とする。

動き推定部１０８は、上述した探索先の矩形小領域に対応するベースフレーム解像度変換画像を生成する処理と候補領域に対する類似度を算出する処理を、探索範囲内の複数の候補領域に対して繰り返し行う。そして、最も類似度の高い（ＳＡＤの小さい）候補領域との相対位置を、着目した矩形小領域の動き情報Ｖとして算出する。

さらに、図１１（４）に示すように、動き推定部１０８は、最も類似度が高い候補領域の算出に用いた中間フレーム解像度変換画像を、合成動画像Ｒ_HHの中間フレーム画像の矩形小領域として採用する。

動き推定部１０８は、上述した動作を赤の動画像Ｒ_LHの３枚の中間フレーム画像に対して行い、複数の矩形小領域の動き情報Ｖと赤の合成動画像Ｒ_HHの中間フレーム画像を生成する。

動き推定部１０８は、上述した動作によって、動き情報Ｖと赤の合成動画像Ｒ_HHを生成する。

上述の処理と同様の処理を青の動画像Ｂ_LHに対しても行うことにより、青の合成動画像Ｂ_HHを生成することができる。

なお、青の合成動画像Ｂ_HHを生成する方法として、以下の処理を実行してもよい。すなわち、動き推定部１０８は、緑の動画像Ｇ_HLと算出した動き情報Ｖ、および、青の動画像Ｂ_LHを用いて、動き情報Ｖに対応する緑の動画像Ｇ_HLと青の合成動画像Ｂ_HHの高域相関が高くなるように、（数１）〜（数４）などの方法を用いるとしてもよい。

動き補償部１０９は、動き推定部１０８で算出された動き情報Ｖと、記憶部１０７に記憶された第1の色成分である緑の動画像Ｇ_HLとを受け取り、動き補償によって任意のタイミングの緑の合成画像を生成し、フレームレートの高い緑の合成動画像Ｇ_HHとして出力する。

多色画像合成部１１０は、動き補償部で生成された緑の合成動画像Ｇ_HHのデータ、および、動き推定部１０８で生成された赤と青の合成動画像Ｒ_HH、Ｂ_HHの各データを受け取り、赤と緑と青の３つの色成分で構成される多色動画像ＲＧＢ_HHを生成して出力する。

多色画像処理装置３は、上述した各構成要素の動作を繰り返すことで、連続して多色動画像ＲＧＢ_HHを生成して出力する。

本実施形態による多色画像処理装置３によれば、実施形態１による多色画像処理装置と同様の効果に加えて、生成される多色動画像ＲＧＢ_HHにおいて、第２の色成分である赤と青の色成分の解像度が高いという効果がある。

また、動き推定部１０８によって生成された動き情報Ｖに着目する。実施形態１では、赤の動画像Ｒ_LHのベースフレーム画像と中間フレーム画像との間で、矩形小領域間の類似度が最も高くなる動き情報Ｖを算出している。これに対して本実施形態の動き推定部１０８は、赤の合成動画像Ｒ_HHのベースフレーム画像（ベースフレーム解像度変換画像）と赤の動画像Ｒ_LHの中間フレーム画像の解像度変換画像（中間フレーム解像度変換画像）との間で、矩形小領域間の類似度が、最も高くなる動き情報Ｖを算出している。赤の動画像Ｒ_LHのベースフレーム画像と中間フレーム画像に対して、赤の合成動画像Ｒ_HHのベースフレーム画像と赤の動画像Ｒ_LHの中間フレーム画像の解像度変換画像は、ともに解像度が高いことが期待できる。そのため、本実施形態において、より解像度の高い画像を用いて生成される動き情報Ｖは、実施形態１の動き情報Ｖより精度が高いことが期待できる。動き補償部１０９によって生成される緑の合成動画像Ｇ_HHは、動き情報Ｖの精度が高いほど、輝度値や位置の誤りの少ない合成動画像を生成することができる。その結果、本実施形態の多色画像合成装置は、実施形態１の多色画像合成装置に比べて、より解像度の高い多色動画像を得ることができるという効果がある。

本願発明者らは、本実施形態による多色画像処理装置３についても、生成された高解像度高フレームレートの動画像を評価するため、効果確認実験を行った。図１８は本実施形態による多色画像処理装置３を用いた実験結果を示している。実験方法および実験条件は、前述の図１７に関連して説明した実験と同じである。

図１８によれば、本実施形態の多色画像処理装置３によって生成される多色動画像ＲＧＢ_HHのＰＳＮＲ（「本願の実施形態３」に対応する棒グラフ）は、バイキュービック補間による画像のＰＳＮＲ（「Bicubic」に対応する棒グラフ）、および、実施形態２による多色画像処理装置２で生成した多色動画像のＰＳＮＲ（「本願の実施形態２」に対応する棒グラフ）よりも高いことが理解される。すなわち、本実施形態による多色画像処理装置３を用いると、より正解画像に近い、高解像度高フレームレートの動画像を生成できるという効果が確認される。

本実施形態の動き推定部１０８で算出される動き情報Ｖが、実施形態１，２で算出される動き情報Ｖより精度が高くなる理由は、単に赤と青の動画像Ｒ_LH、Ｂ_LHの解像度が低いためだけではない。赤と青の動画像Ｒ_LH、Ｂ_LHには折り返し成分が含まれるためである。例えば、各色成分の動画像が共通の光学系を持つカメラで撮影され、かつ、低解像度の赤と青の動画像Ｒ_LH、Ｂ_LHが撮像素子上でハードウェアビニング処理（ビニング処理の詳細について実施形態４において説明する。）により生成される場合、赤と青の動画像Ｒ_LH、Ｂ_LHには折り返し成分が含まれることになる。その理由は、高解像度の緑の動画像を得るためには、より高域成分を含むようにレンズ等の光学系が調整されるのに対して、赤と青の動画像は、高解像度の画素値を平均化する処理が行われるためである。このような折り返し成分を含む赤と青の動画像Ｒ_LH、Ｂ_LHを入力として、実施形態１，２における動き推定部１０８で算出される動き情報Ｖは、折り返しの成分が含まれない場合に比べてその精度が低くなる。

一方、本実施形態の動き推定部１０８は、赤または青の動画像と緑の動画像Ｇ_HLとを用いて解像度を高めたベースフレーム解像度変換画像と中間フレーム解像度変換画像を一旦生成し、これら２つの解像度変換画像間の類似度が最も高くなるように動き情報を算出している。赤または青の動画像に折り返し成分が含まれていた場合であっても、生成された解像度変換画像では折り返し成分が低減され、もしくは折り返し成分が存在しない。そのため、本実施形態で算出される動き情報Ｖの精度は高いことが期待できる。このような理由から、本実施形態の多色画像合成装置は、実施形態１の多色画像合成装置に比べて、より解像度の高い多色動画像を得ることができるという効果がある、といえる。

本願発明者らは、本実施形態による多色画像処理装置３の動き推定部１０８で生成された動き情報Ｖの精度がどの程度高くなるかを評価するため、効果確認実験を行った。図１９は、本実施形態による多色画像処理装置３を用いた動き情報Ｖに関する実験結果を示している。

実験では、フレーム間の動きが既知の高解像度フレームレートの動画像を用意し、この動画像から高解像度低フレームレートの緑の画像Ｇ_HL、低解像度高フレームレートの赤の動画像Ｒ_LHと青の動画像Ｂ_LHを生成して、これらを入力画像とした。そして、これらの入力画像を用いて、本実施形態による多色画像処理装置３の動き推定部１０８で動き情報Ｖを算出し、この動き情報Ｖと正解のフレーム間の動きとのＲＭＳＥ（Root Mean Square Error）を、動きの推定精度の評価値として算出した（図１９の縦軸）。比較対象として、本実施形態の多色画像処理装置１の動き推定部１０８で算出した動き情報ＶのＲＭＳＥも求めた。解像度などの実験条件は、前述の図１７および図１８の実験と同じである。

図１９によれば、本実施形態の多色画像処理装置３の動き推定部で算出した動き情報ＶのＲＭＳＥ（「本願の実施形態３」に対応する棒グラフ）は、実施形態１および２の多色画像処理装置の動き推定部で算出した動き情報のＲＭＳＥ（「本願の実施形態１、２」に対応する棒グラフ）よりも小さい。これは、本実施形態による多色画像処理装置３の方が、動き推定の精度がより高いことを意味している。

なお、本実施形態の動き推定部１０８で得られる、フレーム間の動き情報の精度が高いという効果は、入力となる２つの動画像が必ずしも異なる色成分でなくても得ることが出来る。例えば、低解像度高フレームレートの動画像と高解像度低フレームレートの動画像の２組の動画像が、ともにモノクロの動画像であったとしても、解像度を高めたベースフレーム解像度変換画像と中間フレーム解像度変換画像を一旦生成し、これら２つの解像度変換画像間の類似度が最も高くなるように動き情報を算出することで、フレーム間の動き情報の精度が高いという効果を得ることができる。

なお、本実施形態の画像処理部１０６における各処理部の動作の説明では、動き推定部１０８と動き補償部１０９は、５フレームごとに順次動作するものとして説明した。しかし、動作を上述した手順に限定するものではなく、各処理部が１矩形小領域ごとに順次動作するとしても良いし、別の手順でも良い。

例えば、本実施形態の動き推定部１０８および動き補償部１０９で行われる処理を、（数５）〜（数７）に示す。画像処理部１０６は、これらの数式を解く手順であればどのような手順であっても良い。

（数５）において、Ｖ（ｘ，ｙ，ｆ）は、フレームｆ、位置（ｘ，ｙ）における動き情報であり、前後いずれかのベースフレームｆｂへの位置（ｘ＋ｕ，ｙ＋ｖ）の情報で構成される。この動き情報Ｖは、３番目の式の右辺のベースフレーム解像度変換画像ＩＲ_HH（ｘ＋ｕ，ｙ＋ｖ，ｆｂ）と中間フレーム解像度変換画像ＩＲ_HH（ｘ，ｙ，ｆｂ）との類似度（ＳＡＤ）を最小にする動き情報（ｕ，ｖ，ｆｂ）として求める。（数６）は、（数５）に含まれる解像度変換画像ＩＲ_HHを求める式であり、ここでは(数３)と同じである。さらに(数７)は、（数６）に含まれるＩＧ_HHを求める式である。したがって、（数５）〜（数７）をまとめると、算出すべき動き情報Ｖは、動きベクトル（ｕ，ｖ）のみが未知パラメタとなる。そのため、あらかじめ定められた探索範囲内で（ｕ，ｖ）を変化させ、類似度が最大、すなわち（数５）のＳＡＤが最小になる（ｕ，ｖ）を選択して動き情報Ｖとする。

動き推定部１０８の処理が（数５）〜（数７）に、動き補償部１０９での処理が（数７）に対応している。

（実施形態４）
実施形態１および２においては、第１、第２、第３の色成分が固定であったのに対し、本実施形態においては、第１、第２、第３の色成分に対応する色を撮影状況に応じて変化させる。言い換えると、本実施形態による多色画像処理装置は、赤、緑、青の色成分の動画像の解像度とフレームレートが、撮影状況によって変化し、それに応じて、画像処理部内の各処理部で処理される色成分が変更可能に構成されている。

図１２は、本実施形態による多色画像処理装置４の構成を示す。

多色画像処理装置４の構成が、実施形態１による多色画像処理装置１（図１）および実施形態２による多色画像処理装置２（図７）の各構成と異なる点は、以下のとおりである。

第１に、３つの撮像素子１０４で撮影される各色成分の画像の解像度は制御可能である。第２に、撮影制御部１０５は、解像度制御部１１２および撮像時間制御部１１３を含んでいる。

他の処理部の構成、および、各処理部の動作は、実施形態１または実施形態２の多色画像処理装置と同様である。

ただし、本実施形態では、画像の解像度を変更可能な撮像素子１０４として、３つの色成分の撮像素子は、全て水平８０００画素、垂直４０００画素の画素数を持ち、近傍２×２画素の画素値を加算読み出しするビニングモードでの読み出しも可能な撮像素子を用いるとする。ビニングモードには、隣接する複数の画素の電荷を加算して読み出すハードウェアビニング以外に、デジタル化した後に加算するソフトウェアビニングなどがあるが、ここでは、ハードウェアビニングが可能な撮像素子を用いる。このようなハードウェアビニングが可能な撮像素子は、加算する画素数に反比例して１画像分の読み出し時間を短くすることができる。これにより、撮影する画像の解像度を選択的に制御することが可能である。たとえば、このような撮像素子を用いると、水平８０００画素×垂直４０００画素と水平４０００画素×垂直２０００画素とを選択的に制御することが可能である。また、このような撮像素子を用いると、同時にフレームレートも制御することも可能である。

実施形態１〜３では、緑の色成分の動画像を高解像度低フレームレートで撮影し、赤と青の色成分の動画像を低解像度高フレームレートで撮影するとした。人の視覚感度が赤、青よりも緑に対して高いという特性を考慮すると、一般的には緑の合成動画像の主観画質が最も良くなるようにすることが望ましいためである。

本実施形態においては、解像度制御部１１２は、撮像素子１０４から入力された各色成分の動画像から色成分の強さを算出し、その色成分の強さに応じて解像度を変える。

具体的には、解像度制御部１１２は、撮像部１０４で撮影された各色成分の動画像に応じて、撮像部１０４で撮影される画像の解像度を算出する。撮像時間制御部１１３は、解像度制御部１１２で算出した各色成分の解像度に応じてあらかじめ定められた時間間隔と解像度で、撮像部１０４から各色成分の動画像を読み出して出力する。

例えば、赤、緑、青の各同画像の平均輝度値を算出し、もっとも平均輝度値の高い色成分を高解像度低フレーム画像とし、他の色成分を低解像度高フレームレートで読み出すものとする。

これにより、たとえば、海やプール等、水中のシーンを撮影する場合のように、緑以外の色成分（本例では青成分）が強く現れるシーンの撮影時には、青を高解像度低フレームレートで撮影し、赤と緑を低解像度高フレームレートで撮影することにより、観察者の主観画質の良い多色動画像を提示することができる。

以上のように、解像度制御部１１２によって被写体の色成分の強さに応じて撮像素子１０４で撮影する各色成分の解像度を制御することで、被写体の最も強い色成分が最も高解像度化されることとなり、その結果合成動画像の主観画質が高くなるという効果がある。

（実施形態５）
実施形態１〜４では、たとえば図２に示すように、第２および第３の色成分動画像の画素の空間配置は同じであるとした。そして、各色成分動画像内の画素は、同じ座標を持つように対応付けられるとした。

これに対し本実施形態では、第２および第３の色成分の画像は、画素位置が相対的にずれており、この画像を用いて多色動画像が生成される。

本実施形態による多色画像処理装置の構成は、実施形態４の多色画像処理装置４（図１２）と同じである。本実施形態による多色画像処理装置が実施形態４の多色画像処理装置４と異なる点は、以下のとおりである。

第１に、本実施形態５においては、撮像部１０１は、画素位置が相対的にずれた第２および第３の色成分の画像を取得する。第２に、画像処理部１０６は、第２および第３の色成分の画像の画素位置が相対的にずれていることを加味して処理を行う。これらの相違点は、より具体的には、撮像部１０１の撮像素子１０４、および、画像処理部１０６の動き推定部１０８の動作の相違として現れる。撮像素子１０４および動き推定部１０８以外の各処理部の動作は、実施形態４の多色画像処理装置４と同様である。

画素位置がずれた第２および第３の色成分の画像の例を図１３に示す。図１３では、第２の色成分である赤の動画像に対し、第３の色成分である青の動画像は、画素の位置が垂直方向および水平方向ともに約半画素の長さほど並行移動している。

撮像部１０１は、撮像素子１０４におけるビニング処理時に加算を行う画素位置の組み合わせを変えることで、図１３のような画像を取得する。なお、このような画素位置のずれた画像は、青の撮像素子１０４ｃの設置位置をずらすことによっても取得可能である。

画像処理部１０６は、実施形態１〜４と同様の処理を行ったとしても、画素位置がずれている青の動画像を用いて多色動画像を合成することができ、実施形態１〜４と同等の効果を得ることができる。

しかしながら本実施形態では、動き推定部１０８において、赤と青の２つの動画像間で画素位置がずれていることを利用することで、より精度の高い動き情報Ｖを算出し、結果として画質の高い多色動画像を生成する。

以下、動き推定部１０８が動き情報Ｖを算出する２つの異なる手順を説明する。

（手順１）
実施形態１の動き推定部１０８は、赤の動画像Ｒ_LHを用いて、中間フレームとその前後のベースフレーム画像の間の動きを算出した(図３)。

これに対し、本実施形態における動き推定部１０８は、画素位置のずれた赤と青の動画像Ｒ_LH、Ｂ_LHをそれぞれバイキュービック法により補間拡大した後に加算平均し、解像度を向上した赤と青の混合動画像ＲＢ_HHを生成する。そして、動き低解像度の赤の動画像Ｒ_LHの変わりに、混合動画像ＲＢ_HHを用いて、中間フレームとその前後のベースフレーム画像の間の動きを算出し、これを動き情報Ｖとして出力する。

混合動画像ＲＢ_HHは、赤の動画像Ｒ_LH（または青の動画像Ｂ_LH）に対して、水平垂直とも２倍の周波数成分までの含むこととなる。そのため、赤の動画像Ｒ_LHを用いて動きを算出する場合に比べて、動き情報Ｖの精度が高くなることが期待できる。

（手順２）
上述した手順１では、画素位置がずれた２つの動画像を加算して得た混合動画像は、もとの動画像より高い周波数成分を含む、という性質を利用している。また、実施形態３の動き推定部１０８においては、赤の動画像に緑の動画像に含まれる高域成分を加えて得た解像度変換画像は、もとの動画像より高い周波数成分を含む、という性質を利用している。これら２つの方法は、それぞれ、異なる情報を利用しているため、組み合わせて用いることが可能である。

そこで、本実施形態における動き推定部１０８は、画素位置のずれた赤と青の動画像Ｒ_LH、Ｂ_LHをそれぞれ補間拡大した後に加算平均することで、解像度を向上した赤と青の混合動画像ＲＢ_HHを生成し、その後、得られた混合動画像ＲＢ_HHに対して緑の動画像に含まれる高域成分を加えて、更なる解像度変換画像を得る。

図１５は、上述した手順によって生成された混合動画像ＲＢ_HHの例を示す。動き推定部１０８は、画素位置のずれた赤と青の動画像Ｒ_LH、Ｂ_LH（各々４０００×２０００画素×３０ｆｐｓ）の解像度を、緑の動画像と同じ解像度にそれぞれ補間拡大した後、加算平均を行う。これにより、動き推定部１０８は高解像度（８０００×４０００画素×３０ｆｐｓ）の混合動画像ＲＢ_HHを生成する。

さらに、動き推定部１０８は、混合動画像ＲＢ_HHに対して緑の動画像Ｇ_HLを用いて解像度を高めた解像度変換動画像ＲＢ_HH’を生成する。そして動き推定部１０８は、解像度変換動画像ＲＢ_HH’を用いて中間フレームとその前後のベースフレーム画像の間の動きを算出し、動き情報Ｖとして出力する。

図１６は、本実施形態による動き推定部１０８による、動き情報Ｖの算出手順の概念を示す。動きの情報の算出の手順（１）〜（４）は、実施形態３の動き推定部１０８（図１１）と同じである。図１６の手順が図１１の手順と異なる点は、実施形態３の赤の動画像の代わりに、混合動画像ＲＢ_HHを用いる点である。

この解像度変換画像ＲＢ_HH’は、混合動画像ＲＢ_HHと緑の動画像Ｇ_HLの両方の高域成分を含むこととなる。そのため、解像度変換画像ＲＢ_HH’を用いて算出される動き情報は、手順１や実施形態３に比べて、動き情報Ｖの精度が高くなることが期待できる。

動き補償部１０９以降の各処理手段の動作は、実施形態４と同じである。

以上のように本実施形態５では、撮像部１０１は、赤と青の２つの動画像間で画素位置がずれた画像を取得する。そして、画像処理部１０６では、動き推定部１０８において、赤と青の２つの動画像間で画素位置がずれていることを利用することで、より精度の高い動き情報Ｖを算出することができる。精度の高い動き情報を用いて、結果として画質の高い多色動画像を生成できる。

以上のように画素の位置を各色成分の動画像間でずらして処理することにより、合成動画像の画質が向上するという効果が得られる。その理由は、画素位置がずれた２つの画像を用いて動き推定部１０８が動き情報を求めると、位置がずれていない画像を用いる場合に対して、動き推定の精度が向上するためである。その結果、動き補償部１０９によって生成される第１の色成分の合成動画像の画質が向上し、多色動画像の画質が向上するという効果を得ることができる。加えて、緑の動画像に含まれる高域成分を加味すると、さらに動き推定の精度が高まる。その結果、多色動画像の画質が向上するという効果を得ることができる。

なお、本発明の各実施形態の説明においては、撮像部１０１と画像処理部１０６は、ともに常に動作するものとしたが、これに限定するものではなく、例えばユーザーのボタン操作に応じて各処理部の動作と停止を制御する、などとしてもよい。また、撮像部１０１と画像処理部１０６は、それぞれ別に動作するとしてもよく、例えば、画像の撮影時には撮影部１０１から出力される複数の色成分の動画像を記憶部１０７に記憶しておき、撮影が完了後、撮影した画像を再生する際に、画像処理部１０６で多色画像を生成するとしてもよい。このように動作させる際には、記憶部１０７は、大容量のメディア、たとえばハードディスクや光ディスク、不揮発性半導体メモリが好適である。

また、本発明の各実施形態の説明においては、動き補償部１０９は、中間フレーム画像の緑の合成画像の任意の矩形小領域の画素値として、動き推定部１０８で算出された動き情報をもとに、対応する位置のベースフレーム画像の緑の動画像の小矩形領域の画素値を用いることで、フレームレートの高い緑の合成動画像Ｇ_HHを生成するものとした。

しかし、ベースフレーム画像の小矩形領域の画素値をそのまま用いる代わりに、第１の色成分である緑の合成動画像と第２（または第３）の色成分である赤（または青）の動画像の時間相関が高くなるように、時間相関を評価値として用いて、中間フレーム画像内の小矩形領域の画素値を演算により求めてもよい。

例えば、実施形態１の動き補償部１０９の動作によって生成された緑の合成動画像Ｇ_HH、および赤の動画像Ｒ_LHのうち、連続する５枚の画像Ｇ_HH（ｆ），・・・，Ｇ_HH（ｆ＋４）とＲ_LH（ｆ），・・・，Ｒ_LH（ｆ＋４）について、その全画素の平均値の時間変化が一致するように、動き補償部１０９においてＧ_HH（ｆ），・・・，Ｇ_HH（ｆ＋４）を生成する際に、緑の動画像Ｇ_HLの２つのベースフレームにゲインを乗じるとしてもよい。もしくは、動き補償部１０９で一旦求めたＧ_HH（ｆ），・・・，Ｇ_HH（ｆ＋４）の画素値を、ゲインを乗じて修正するとしても良い。後者の処理は、動き補償部１０９が行ってもよいし、高解像度化部１１０が行ってもよい。

このように動き補償部１０９において、緑の合成動画像を生成する際に、赤の動画像と平均輝度の時間相関が高くなるようにすることで、例えば、動画像を撮影中にストロボ発光などの照明変動が発生した場合であっても、多色動画像における緑と赤の平均輝度の時間変化がずれないという効果がある。

なお、上述の各実施形態の多色画像処理装置は、多色画像の最も一般的な例として、赤、緑、青の３つの色成分の動画像を扱うものとしたが、色成分の数を３に限定するものではなく、２つ以上の色成分で構成される動画像であれば、同様の効果を得ることができる。

また、第１の色成分は緑、第２の色成分は赤（第３の色成分は青）としたが、これに限定するものではなく、光を波長領域で２つ以上の成分に分離したものであればどのような組み合わせであってもよい。例えば、第１の色成分は可視光であり、第２の色成分は近赤外であるとしてもよく、この場合、画像処理部１０６によってフレームレートを高めた第1の色成分である可視光の動画像を含む、多色動画像を得ることができる。

なお、各実施形態による多色画像処理装置は、撮像部１０１および画像処理部１０６を有し、さらにそれらが複数の処理部を含むとして説明した。しかし、撮像部１０１および画像処理部１０６は一体化されていてもよい。また、撮像部１０１および／または画像処理部１０６内の処理部が、１つのＩＣなどに収まっているものであってもよい。

上述の実施形態では、多色画像処理装置は、図１、７、１０および１２にそれぞれ示す構成を有するとして説明した。たとえば、各構成に含まれる動き推定部などは、機能的に見たブロックとして記載されていた。これらの機能ブロックは、ハードウェア的には、デジタル信号プロセッサ（ＤＳＰ）のような１つの半導体チップまたはＩＣによって実現することも可能であるし、たとえばコンピュータとソフトウェア（コンピュータプログラム）とを用いて実現することもできる。

たとえば、図１４は、コンピュータによって構成された多色画像処理装置のハードウェア構成を示す。

各実施形態の多色画像処理装置の各機能ブロックと、図１４に示すハードウェアとの対応関係は以下のとおりである。たとえば図１に示す多色画像処理装置１を例に説明する。

多色画像処理装置１の撮像部１０１は、図１４に示すカメラ９０１に対応する。また、記憶部１０７は、図１４に示すＲＡＭ９０６またはハードディスクドライブ（ＨＤＤ）９１０に対応する。そして動き推定部１０８、動き補償部１０９および多色画像合成部１１１は、コンピュータプログラムを実行した図１４のＣＰＵ９０４によって実現される。また、図７の高解像度化部１１０についてもコンピュータプログラムを実行した図１４のＣＰＵ９０４によって実現される。

図１３のコンピュータを動作させるコンピュータプログラムは、たとえばＲＯＭ９０５に保持されている。コンピュータプログラムは、プロセッサであるＣＰＵ９０４によってＲＡＭ９０６に読み出されて展開される。ＣＰＵ９０４はコンピュータプログラムの実態であるコード化された各命令を実行する。

なお、たとえば動き推定部１０８を実現するコンピュータプログラムは、たとえば図５に示すフローチャートのような手順で記述されている。コンピュータプログラムは、半導体であるＲＯＭ９０５に限られず、たとえば光ディスク、磁気ディスクに格納されていてもよい。また、有線や無線のネットワーク、放送などを介して伝送され、コンピュータのＲＡＭ９０６に取り込まれてもよい。

上述した実施形態によれば、複数の色成分の動画像の各々は、ハーフミラーなどを用いることなく、入射光を色成分ごとに分離して撮影される。そのため、ハーフミラーを用いる従来の技術と比較すると、各色成分の動画像では光量の低下は発生しないので、画像が明るく、ＳＮ比が高い色成分の動画像が得られる。それらの色成分画像に基づいて生成された解像度とフレームレートがともに高い多色動画像もまた明るく、かつ、高いＳＮ比を有する。

また実施形態２によれば、合成動画像と第２動画像の時間相関を用いて、この相関値が高くなるように合成画像を求めるため、第１の色成分の画像と第２の色成分の画像との時間変化のずれの少ない合成動画像を生成することができる。

また実施形態３によれば、解像度を高めた第２の合成動画像を生成するため、より高解像度な多色動画像を得ることができる。また、第２動画像の解像度を変換した変換動画像を用いて動きを推定することにより、動き推定の精度が向上することが期待できる。その結果、より解像度の高い多色動画像を得ることができるという効果がある。

本発明にかかる多色画像処理装置および多色画像撮像装置は、動画像を撮影して送信または記憶するカメラ、ならびに、受信もしくはあらかじめ記憶された動画像の画質を向上するテレビやビデオなどの映像受信表示装置、システムとして有用である。その利用形態は、独立した画像処理装置であってもよいし、カメラやテレビなどに内蔵されるものであってもよい。また、コンピュータ上で動作するプログラムとしても実現され、利用することが可能である。

１０１ 撮像部
１０２ レンズ系
１０３ 色成分分離部
１０４ 撮像素子
１０５ 撮像制御部
１０６ 画像処理部
１０７ 記憶部
１０８ 動き推定部
１０９ 動き補償部
１１０ 高解像度化部
１１１ 多色画像合成部

Claims (29)

1. 第１動画像のデータおよび第２動画像のデータに基づいて多色動画像のデータを生成する画像処理装置であって、
   前記第１動画像は、第１フレームレートで、第１色成分の複数の画像を有しており、
   前記第２動画像は、前記第１フレームレートよりも高い第２フレームレートで、前記第１色成分と異なる第２色成分の複数の画像を有しており、かつ、前記第２動画像の解像度は、前記第１動画像の解像度以下であり、
   前記第１動画像のデータおよび前記第２動画像のデータに基づいて、前記第１フレームレートより高いフレームレートの前記第１動画像に対応する合成動画像を生成する第１の画像合成部と、
   前記合成動画像および前記第２動画像を受け取って合成し、前記第１色成分および前記第２色成分を含む多色動画像を生成する第２の画像合成部とを備え、
   前記第１の画像合成部は、
   前記第２動画像のデータを受け取り、前記第２動画像を構成する少なくとも２枚の画像間の変化に基づいて動き情報を生成する動き推定部と、
   前記動き情報に基づいて前記第１動画像を構成する画像を変化させた前記合成画像を生成し、前記合成画像および前記第１動画像を利用して前記第１動画像に対応する前記合成動画像を出力する動き補償部と
   を有する、画像処理装置。
2. 前記第１動画像および前記第２動画像は、互いに同じタイミングで撮影されたベースフレーム画像をそれぞれ有しており、さらに前記第２動画像は、隣接する２つのベースフレーム画像が撮影される間にさらに撮影された中間フレーム画像を有しており、
   前記動き推定部は、前記第２動画像の中間フレーム画像およびベースフレーム画像の画像間の変化に基づいて動き情報を生成し、
   前記動き補償部は、前記第１動画像のベースフレーム画像を前記動き情報に基づいて変化させることによって、前記第２動画像の中間フレームに対応する合成画像を生成する、請求項１に記載の画像処理装置。
3. 前記動き推定部は、前記第２動画像の中間フレーム画像、および、前記中間フレーム画像よりも時間的に前に撮影されたベースフレーム画像の画像間の変化に基づいて動き情報を生成する、請求項２に記載の画像処理装置。
4. 前記動き推定部は、前記第２動画像の中間フレーム画像、および、前記中間フレーム画像よりも時間的に後に撮影されたベースフレーム画像の画像間の変化に基づいて動き情報を生成する、請求項２に記載の画像処理装置。
5. 前記動き推定部は、
   前記第２動画像の中間フレーム画像Ｕ、および、前記中間フレーム画像よりも時間的に前に撮影されたベースフレーム画像Ｓの画像間の変化に基づいて動き情報Ｓを生成し、かつ、
   前記第２動画像の中間フレーム画像Ｕ、および、前記中間フレーム画像よりも時間的に後に撮影されたベースフレーム画像Ｔの画像間の変化に基づいて動き情報Ｔを生成し、
   前記動き補償部は、
   前記第２動画像のベースフレーム画像Ｓに対応する前記第１動画像のベースフレーム画像Ｓを、前記動き情報Ｓに基づいて変化させ、かつ、
   前記第２動画像のベースフレーム画像Ｔに対応する前記第１動画像のベースフレーム画像Ｔを、前記動き情報Ｔに基づいて変化させて、前記第２動画像の中間フレームＵに対応する合成画像を生成する、請求項２に記載の画像処理装置。
6. 前記動き推定部は、前記少なくとも２枚の画像の各々に対して複数の領域を設定して、各領域内の画像の変化に基づいて前記各領域に対する動き情報を生成し、
   前記動き補償部は、前記第１動画像を構成する画像に対して複数の領域を設定し、各領域を前記動き情報に基づいて変化させて１枚の合成画像を生成する、請求項１に記載の画像処理装置。
7. 前記動き補償部は、前記第１動画像および前記第２動画像の時間相関を評価値として用いることにより、前記第１動画像のデータ、前記第２動画像のデータおよび前記動き情報に基づいて、任意のタイミングの前記第１動画像に対応する合成画像を生成する、請求項１に記載の画像処理装置。
8. 前記動き補償部は、前記合成動画像および前記第２動画像の時間相関を評価値として用いることにより、前記合成動画像に含まれる前記合成画像の画素値を修正する、請求項７に記載の画像処理装置。
9. 前記第１動画像に対応する合成動画像のデータおよび前記第２動画像のデータを受け取り、前記合成動画像を構成する画像の情報に基づいて、第２動画像を高解像度化して、第２動画像に対応する合成動画像を生成する高解像度化部をさらに備え、
   前記合成部は、前記第２動画像に代えて前記第２動画像に対応する合成動画像を受け取り、前記第１動画像に対応する合成動画像と合成して、前記多色動画像を生成する、請求項１に記載の画像処理装置。
10. 前記高解像度化部は、前記第１動画像に対応する合成動画像を構成する画像の情報に基づいて、前記第２動画像を高解像度化し、第２動画像に対応する合成動画像を生成する際に、前記第１動画像に対応する合成動画像および前記第２動画像の空間相関を評価値として用いる、請求項９に記載の画像処理装置。
11. 前記動き推定部は、前記第１動画像のデータおよび第２動画像のデータを受け取り、前記第１動画像のベースフレーム画像を用いて前記第２動画像のベースフレーム画像の解像度を変換したベースフレーム解像度変換画像と、前記第１動画像のベースフレーム画像を用いて第２動画像の中間フレーム画像の解像度を変換した中間フレーム解像度変換画像とを生成し、前記ベースフレーム解像度変換画像と前記中間フレーム解像度変換画像間の類似度に基づいて前記動き情報を生成し、前記第２動画像の動き情報として出力する、請求項２に記載の画像処理装置。
12. 前記動き推定部は、前記第１動画像の画像および前記第２動画像の画像間の空間相関に基づいて、第２動画像の解像度を変換した変換動画像を生成する、請求項１１に記載の画像処理装置。
13. 前記画像処理装置は、さらに第３動画像のデータに基づいて多色動画像のデータを生成することが可能であり、
    前記第３動画像は、前記第１フレームレートよりも高い第３フレームレートで、前記第１色成分および前記第２色成分と異なる第３色成分の複数の画像を有しており、かつ、前記第３動画像の解像度は、前記第１動画像の解像度以下であり、
    前記動き推定部は、さらに第３動画像のデータを受け取り、前記第２動画像を構成する少なくとも２枚の画像間の変化に基づいて動き情報を生成し、
    前記動き補償部は、前記第２動画像に関する動き情報、前記第３動画像に関する動き情報および前記第１動画像のデータに基づいて、前記第１動画像に対応する合成動画像を生成し、
    前記合成部は、前記合成動画像、前記第２動画像および前記第３動画像を受け取って合成し、前記第１色成分、前記第２色成分および前記第３色成分を含む多色動画像を生成する、請求項１に記載の画像処理装置。
14. 前記第２の動画像および前記第３の動画像は、画素の空間配置が異なっている、請求項１３に記載の画像処理装置。
15. 前記第１色成分は緑である、請求項１に記載の画像処理装置。
16. 受けた光を少なくとも第１色成分および第２色成分に分離する色分離部と、
    分離された前記第１色成分の光および前記第２色成分の光に基づいて、前記第１動画像および前記第２動画像を撮影する撮像部と
    をさらに備え、
    前記撮像部は、前記第２動画像の解像度以上の解像度で前記第１動画像を撮影するとともに、前記第２動画像のフレームレート未満のフレームレートで前記第１動画像を撮影する、請求項１に記載の画像処理装置。
17. 前記撮像部は、撮影された動画像に応じて複数の色成分の動画像の解像度とフレームレートを制御する、請求項１６に記載の画像処理装置。
18. 第１動画像のデータおよび第２動画像のデータに基づいて多色動画像のデータを生成する画像処理方法であって、
    前記第１動画像は、第１フレームレートで、第１色成分の複数の画像を有しており、
    前記第２動画像は、前記第１フレームレートよりも高い第２フレームレートで、前記第１色成分と異なる第２色成分の複数の画像を有しており、かつ、前記第２動画像の解像度は、前記第１動画像の解像度以下であり、
    前記第２動画像のデータを受け取り、前記第２動画像を構成する少なくとも２枚の画像間の変化に基づいて動き情報を生成するステップと、
    前記動き情報に基づいて前記第１動画像を構成する画像を変化させた前記合成画像を生成し、前記合成画像および前記第１動画像を利用して前記第１フレームレートより高いフレームレートで、前記第１動画像に対応する合成動画像を出力するステップと、
    前記合成動画像および前記第２動画像を受け取って合成し、前記第１色成分および前記第２色成分を含む多色動画像を生成するステップと
    を包含する、画像処理方法。
19. 画像処理装置に設けられたプロセッサに、第１動画像のデータおよび第２動画像のデータに基づいて多色動画像のデータを生成させるコンピュータプログラムであって、
    前記第１動画像は、第１フレームレートで、第１色成分の複数の画像を有しており、
    前記第２動画像は、前記第１フレームレートよりも高い第２フレームレートで、前記第１色成分と異なる第２色成分の複数の画像を有しており、かつ、前記第２動画像の解像度は、前記第１動画像の解像度以下であり、
    前記コンピュータプログラムは、前記プロセッサに、
    前記第２動画像のデータを受け取り、前記第２動画像を構成する少なくとも２枚の画像間の変化に基づいて動き情報を生成するステップと、
    前記動き情報に基づいて前記第１動画像を構成する画像を変化させた前記合成画像を生成し、前記合成画像および前記第１動画像を利用して前記第１フレームレートより高いフレームレートで、前記第１動画像に対応する合成動画像を出力するステップと、
    前記合成動画像および前記第２動画像を受け取って合成し、前記第１色成分および前記第２色成分を含む多色動画像を生成するステップと
    を実行させる、コンピュータプログラム。
20. 請求項１９に記載のコンピュータプログラムを記録した記録媒体。
21. 前記動き推定部は、前記第２動画像を構成する画像と前記第３動画像を構成する画像とを、画素の空間配置を加味して重み付き加算することにより混合動画像を生成し、生成した前記混合動画像を構成する少なくとも２枚の画像間の変化に基づいて前記動き情報を生成する、請求項１４に記載の画像処理装置。
22. 前記動き推定部は、前記第２動画像を構成する画像と前記第３動画像を構成する画像とを、画素の空間配置を加味して重み付き加算することにより混合動画像を生成し、さらに、前記第１動画像のベースフレーム画像を用いて前記混合動画像のベースフレーム画像の解像度を変換したベースフレーム解像度変換画像と、前記第１動画像のベースフレーム画像を用いて前記混合動画像の中間フレーム画像の解像度を変換した中間フレーム解像度変換画像とを生成し、前記ベースフレーム解像度変換画像と前記中間フレーム解像度変換画像間の変化に基づいて前記動き情報を生成する、請求項２１に記載の画像処理装置。
23. 前記高解像度化部は、前記第１動画像に対応する合成動画像を構成する画像の情報に基づいて、前記第２動画像を高解像度化し、第２動画像に対応する合成動画像を生成する際に、前記第１動画像に対応する合成動画像に含まれる高域成分を前記第２動画像に加える、請求項９に記載の画像処理装置。
24. 前記高解像度化部は、前記第１動画像に対応する合成動画像を構成する画像の情報に基づいて、前記第２動画像を高解像度化し、第２動画像に対応する合成動画像を生成する際に、前記第１動画像に対応する合成動画像と第２動画像に対応する合成画像との間の相関を強くする、請求項９に記載の画像処理装置。
25. 前記高解像度化部は、前記第１動画像に対応する合成動画像を構成する画像の情報に基づいて、前記第２動画像を高解像度化し、第２動画像に対応する合成動画像を生成する際に、前記第１動画像を構成する画像および前記第２動画像を構成する画像との相関の度合いに応じて、前記第１動画像に対応する合成動画像の画像と前記第２動画像に対応する合成動画像の画像との相関の度合いを変える、請求項１０に記載の画像処理装置。
26. 前記高解像度化部は、前記第１動画像に対応する合成動画像を構成する画像の情報に基づいて、前記第２動画像を高解像度化し、第２動画像に対応する合成動画像を生成する際に、前記第１動画像を構成する画像および前記第２動画像を構成する画像との相関が弱い領域は、前記第２動画像の画像を補間拡大することで第２動画像に対応する合成動画像の画像を生成する、請求項１０に記載の画像処理装置。
27. 第１動画像のデータおよび第２動画像のデータに基づいて前記第１動画像および前記第２動画像を構成するフレーム間の動きを算出する動き算出方法であって、
    前記第１動画像は、第１フレームレートで複数の画像を有しており、
    前記第２動画像は、前記第１フレームレートよりも高い第２フレームレートで複数の画像を有しており、
    前記第２動画像の解像度は、前記第１動画像の解像度以下であり、
    前記第１動画像および前記第２動画像は、互いに同じタイミングで撮影されたベースフレーム画像をそれぞれ有しており、前記第２動画像は、隣接する２つのベースフレーム画像が撮影される間にさらに撮影された中間フレーム画像を有しており、
    前記第１動画像のデータおよび前記第２動画像のデータを受け取り、前記第１動画像のベースフレーム画像を用いて前記第２動画像のベースフレーム画像の解像度を変換したベースフレーム解像度変換画像を生成するステップと、
    前記第１動画像のベースフレーム画像を用いて前記第２動画像の中間フレーム画像の解像度を変換した中間フレーム解像度変換画像を生成するステップと、
    前記ベースフレーム解像度変換画像と前記中間フレーム解像度変換画像間の類似度に基づいて動き情報を生成するステップと
    を包含する、フレーム間動き算出方法。
28. 前記第１動画像は、第１色成分の複数の画像を有しており、
    前記第２動画像は、前記第１色成分と異なる第２色成分の複数の画像を有している、請求項２７に記載のフレーム間動き算出方法。
29. 第１動画像のデータおよび第２動画像のデータに基づいて合成動画像のデータを生成する画像処理方法であって、
    前記第１動画像は、第１フレームレートで複数の画像を有しており、
    前記第２動画像は、前記第１フレームレートよりも高い第２フレームレートで複数の画像を有しており、
    前記第１動画像および前記第２動画像は、互いに同じタイミングで撮影されたベースフレーム画像をそれぞれ有しており、前記第２動画像は、隣接する２つのベースフレーム画像が撮影される間にさらに撮影された中間フレーム画像を有しており、
    前記第１動画像のデータおよび第２動画像のデータを受け取り、前記第１動画像のベースフレーム画像を用いて前記第２動画像のベースフレーム画像の解像度を変換したベースフレーム解像度変換画像を生成するステップと、
    前記第１動画像のベースフレーム画像を用いて第２動画像の中間フレーム画像の解像度を変換した中間フレーム解像度変換画像を生成するステップと、
    前記ベースフレーム解像度変換画像と前記中間フレーム解像度変換画像間の類似度に基づいて動き情報を生成するステップと、
    前記第１動画像のデータおよび前記第２動画像のデータと前記動き情報とに基づいて、前記第１動画像を構成する画像を変化させた合成画像を生成し、前記第１動画像および前記合成画像を利用して前記第１フレームレートより高いフレームレートで、前記第１動画像に対応する合成動画像を出力するステップと、
    を包含する、画像処理方法。

Images