JP2013223209A

JP2013223209A - 撮像処理装置

Info

Publication number: JP2013223209A
Application number: JP2012095423A
Authority: JP
Inventors: Satoshi Sato; 智佐藤; Takeo Azuma; 健夫吾妻; Yusuke Okada; 雄介岡田
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2012-04-19
Filing date: 2012-04-19
Publication date: 2013-10-28

Abstract

【課題】演算量ならびに回路規模を削減しながら、光量を確保しＳ／Ｎを改善しつつ、色にじみの発生を低減した画像を得る。
【解決手段】単板カラー撮像素子の奇数ラインでは第１色画素および第２色画素が交互に配列され、偶数ラインでは第１色画素および第３色画素が交互に配列される。同一ラインに設けられた複数の第１色画素からは、配列された順序にしたがって交互に第１露光時間、および第１露光時間よりも長い第２露光時間で画素値を読み出す。同一ラインに設けられた複数の第２色画素からは、配列された順序にしたがって交互に第１および第２露光時間で画素値を読み出す。同一ラインに設けられた複数の第３色画素からは、配列された順序にしたがって交互に第１および第２露光時間で画素値を読み出。画像処理部は、第１および第２露光時間で読み出された各画素値に基づいて、所定のフレームレートの新たな動画像を生成する。
【選択図】図３

Description

本願は、動画像を生成する撮像処理装置および撮像処理方法に関する。

従来の撮像処理装置においては、高解像度化を図る目的で撮像素子の画素数が増加する傾向にあった。撮像素子全体のサイズを大きくするには限界があるため、各画素を小型化せざるを得ない。その一方、画素寸法が小型化されるほど、撮像素子の１画素に入射する光量が減少していた。その結果、各画素の信号対雑音比（Ｓ／Ｎ）の低下につながり、画質を維持することが困難であった。

特許文献１は、赤、緑、青のそれぞれ光を検出する３枚の撮像素子を利用し、露光時間を制御して得られる信号を処理することによって、高解像度で高フレームレートかつ高感度の画像の復元を実現することを開示している。この技術では、２種類の解像度の撮像素子が用いられている。一方の高解像度の画像を生成する撮像素子からは長時間露光で画素信号が読み出され、他方の低解像度の画像を生成する撮像素子は短時間露光で画素信号が読み出される。これにより、光量が確保されていた。

さらに、特許文献２は、特許文献１の手法を単板カメラに拡張し、単板カメラであっても各画素の信号対雑音比（Ｓ／Ｎ）の低下を抑えながら、画質の維持を実現することを開示している。

特開２００９−１０５９９２号公報特許第４５９８１６２号明細書

特許文献１および２の技術は、演算量ならびに回路規模が比較的多かった。そのため、演算量がより少なく、回路規模が小さい装置の開発が求められていた。

本願の、限定的ではない例示的なある実施形態は、演算量ならびに回路規模を削減しながら、光量を確保しＳ／Ｎを改善しつつ、色にじみの発生を低減することができる撮像処理の技術を提供する。

本発明のある実施形態による撮像処理装置は、単板カラー撮像素子と画像処理部とを備えている。前記単板カラー撮像素子の奇数ラインでは第１色画素および第２色画素が交互に配列され、偶数ラインでは前記第１色画素および第３色画素が交互に配列され、同一ラインに設けられた複数の前記第１色画素からは、配列された順序にしたがって交互に第１露光時間、および前記第１露光時間よりも長い第２露光時間で画素値を読み出すことが可能であり、同一ラインに設けられた複数の前記第２色画素からは、配列された順序にしたがって交互に前記第１露光時間および前記第２露光時間で画素値を読み出すことが可能であり、同一ラインに設けられた複数の前記第３色画素からは、配列された順序にしたがって交互に前記第１露光時間および前記第２露光時間で画素値を読み出すことが可能であり、前記画像処理部は、前記第１露光時間で読み出された画素値と、前記第２露光時間で読み出された画素値とに基づいて、前記所定のフレームレートの新たな動画像を生成する。

前記画像処理部は、前記第１露光時間で読み出された画素値と、前記第２露光時間で読み出された画素値とに基づいて得られた、被写体の前記第１色成分の動画像、前記第２色成分の動画像、および前記第３色成分の動画像を受け取り、（ａ）前記第１露光時間で読み出された前記第１色成分、前記第２色成分および前記第３色成分の各動画像と、前記新たな動画像を前記第１露光時間でサンプリングして得られた動画像との第１の差、および（ｂ）前記第２露光時間で読み出された前記第１色成分、前記第２色成分および前記第３色成分の各動画像と、前記新たな動画像を前記第２露光時間でサンプリングして得られた動画像との第２の差を含む評価式を設定し、前記評価式を予め定められた所定の条件で満足する動画像を、前記新たな動画像として求めてもよい。

前記画像処理部は、前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。

前記画像処理部は、前記第１露光時間で読み出された前記第１色成分、前記第２色成分、および前記第３色成分の各動画像を利用して、前記被写体の動きを検出する動き検出部と、前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件項を設定し、前記動きの分布に関する拘束条件項をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部とを備えていてもよい。

前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、拘束条件項を設定し、前記拘束条件項をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求めてもよい。

前記画像処理部は、前記画素値の分布に関する拘束条件を画像の一方向に設定してもよい。

前記画像処理部は、前記単板カラー撮像素子から１ラインごとに前記画素値を取得し、取得した１ラインごとに前記画素値の分布に関する拘束条件を設定してもよい。

撮像処理装置は、前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、前記表示制御部によって画像処理された前記第１動画像、前記第２動画像および前記第３動画像を表示する表示部とをさらに備えていてもよい。

本発明のある例示的な実施形態によれば、撮像処理装置は、演算量ならびに回路規模を削減しながら、光量を確保しＳ／Ｎを改善しつつ、色にじみの発生を低減した画像を生成することができる。

本発明の例示的な一実施形態による撮像処理装置１００の構成を示すブロック図である。単板カラー撮像素子１０２の一例を示す図である。単時間露光画素と長時間露光画素の配置の例を示す図である。ｘ−ｙ方向に広がるフレーム画像を構成する各画素の露光時間（読み出しタイミング）を、複数のフレーム画像について示す鳥瞰図である。単時間露光画素と長時間露光画素の配置の別の例を示す図である。単時間露光画素と長時間露光画素の配置の別の例を示す図である。単時間露光画素と長時間露光画素の配置の別の例を示す図である。単時間露光画素と長時間露光画素の配置の別の例を示す図である。単時間露光画素と長時間露光画素の配置の別の例を示す図である。単時間露光画素と長時間露光画素の配置の別の例を示す図である。単時間露光画素と長時間露光画素の配置の別の例を示す図である。画像処理部１０５の詳細な構成の一例を示す図である。撮像処理装置１００の処理の手順を示すフローチャートである。（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図である。共役勾配法の処理手順を示す図である。図９に示す処理を行うための画像生成部２０２の構成例を示す図である。準ニュートン法の処理手順を示す図である。動画像の各画素値を要素とする縦ベクトルを説明するための模式図である。動き検出部２０１を含まない画像処理部１０５を有する撮像処理装置２００の構成を示すブロック図である。本発明の他の例示的な一実施形態による撮像処理装置４００の構成を示すブロック図である。短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理を行い、その後、各色画像を縮小して表示部８０２に表示するための各色画像を生成する処理の概念図である。短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理およびアスペクト比の変更処理を行って表示部８０２に表示するための各色画像を生成する処理の概念図である。

まず、上述の特許文献１および２に関して、発明者が見出した先行技術の問題点を説明する。

上述の特許文献１および２においては、いずれも滑らかさの拘束として、ｘ方向とｙ方向の２方向の拘束条件を利用していた。これは、画像に関して２次元的なメモリアクセスが必要となる。これにより、特許文献１および２では、演算量ならびに回路規模が増大していた。

以下、添付の図面を参照しながら、本発明の一実施形態にかかる撮像処理装置等を詳細に説明する。

（実施形態１）
図１は、本実施形態における撮像処理装置１００の構成を示すブロック図である。撮像処理装置１００は、光学系１０１と、単板カラー撮像素子１０２と、読み出し制御部１０３と、制御部１０４と、画像処理部１０５とを備えている。以下、撮像処理装置１００の各構成要素を詳細に説明する。

光学系１０１は、例えば、カメラレンズであり、被写体の像を撮像素子の像面に結像する。

単板カラー撮像素子１０２は、赤（Ｒ），緑（Ｇ），青（Ｂ）のカラーフィルタアレイが各画素に装着された撮像素子である。図２は、単板カラー撮像素子１０２の一例を示す。単板撮像素子の各画素（フォトダイオード）に対応して、ベイヤ配列と呼ばれる配列のカラーフィルタアレイが装着されている。図中の「Ｒ」、「Ｇ」、「Ｂ」はそれぞれ「赤」、「緑」、「青」のフィルタを示している。

単板カラー撮像素子１０２の各画素は、光学系１０１によって結ばれた光（光学像）を、それぞれに対応して設けられた赤、緑または青のフィルタを通して受け取る。各画素は、画素単位で光電変換を行い、各画素に入射した光の量に応じた画素値（画素信号）を出力する。同じフレーム時刻に撮影された、同じ色成分の画素信号により、その色成分ごとの画像が得られる。全ての色成分の画像により、カラー画像が得られる。

以下、本明細書および図面において、赤、緑、青の光を検出する画素を、それぞれ「Ｒ」、「Ｇ」、「Ｂ」によって表すとする。撮像素子の各画素から出力される画素信号は、Ｒ，Ｇ，Ｂいずれかの色に関する画素値を持つ。

この説明から明らかな通り、撮像素子の各画素は、各色のカラーフィルタを透過した光を受け、受けた光の強さに応じた信号を出力する撮像素子の１単位である。

読み出し制御部１０３は、図２に示す配列の単板カラー撮像素子１０２から所定の露光時間毎に画像信号を読み出して動画像として取得する。読み出し方法は以下に詳細に説明するとおりである。読み出し制御部１０３の読み出し動作は、制御部１０４による制御に基づいて実行される。

図３は、短時間露光画像と長時間露光画像の配置の例を示している。画素信号の読み出しは、１ライン単位で行われる。図３において、Ｒ，Ｇ，Ｂの添え字Ｓは短時間露光を示し、添え字Ｌは長時間露光を示す。また、本明細書および図面では、下付文字の「Ｓ」によって短時間（Ｓｈｏｒｔ）露光を表し、下付文字の「Ｌ」によって長時間（Ｌｏｎｇ）露光を表すこともある。

本願明細書では、「短時間露光」とは、一般的な動画撮影時の１フレームの時間だけ露光することを意味する。例えば「短時間露光」とは、フレームレートが３０フレーム／秒（３０ｆｐｓ）の場合には１／３０秒の露光時間で露光することに相当する。フレームレートが６０フレーム／秒（６０ｆｐｓ）の場合には１／６０秒である。一方、長時間露光とは、１フレームの露光に要する時間よりも長い時間、例えば２フレームから１０フレーム程度、露光をすることを意味する。

図３に示されている構成によれば、以下の（ａ）および（ｂ）が理解される。すなわち、（ａ）奇数ラインに着目するとＧとＲとが交互に配列されており、偶数ラインに着目するとＧとＢとが交互に配列されている。そして（ｂ）ｘ軸に平行な一ライン上の、同一の色画素（Ｒ画素、Ｇ画素またはＢ画素）に注目すると、露光時間（または読み出し時間）が「短」→「長」→「短」→「長」・・・と交互に異なっている。

図４は、図３の各画素の露光時間を模式的に示している。図面の左右方向が時間軸ｔである。長時間露光画像は、Ｒ／Ｇ／Ｂそれぞれの画素の半分である。また、２ラインごとに、Ｇ画素とＲ画素のライン、Ｂ画素とＧ画素のラインが繰り返されている例である。

読み出し制御部１０３は、制御部１０４の制御信号に基づいて単板カラー撮像素子１０２の各画素に対する読み出しパルス信号、リセット信号を制御することで、画素毎に露光時間を切り替える。短時間露光時には、読み出し制御部１０３は１フレーム時間ごとに画素値を読み出し、１フレーム画像の画素信号を読み出す。また長時間露光時には、読み出し制御部１０３は、複数フレーム時間にわたって、単板カラー撮像素子１０２を露光し、露光期間が終了した後、画素信号を読み出す。

なお、読み出し制御部１０３は、素子から画素信号を読み出した後でそれらを加算してもよい。具体的には、読み出し制御部１０３は１フレーム期間ごとに全ての画素ラインから画素信号を読み出す。そしてある画素については、連続する複数フレーム分の画素信号が得られた後に、それらを加算する。このとき、複数フレームの同じ画素座標値の画素信号同士が加算される。この結果、画素信号が加算された画素については、読み出し制御部１０３は、複数フレーム期間にわたって露光された画素の画素信号と実質的に同じ画素信号を出力することができる。

なお、長時間露光画素の露光時間であるフレーム期間に関しては、予め定めておく。

また、本願の撮像処理装置における画素配置は図３に限られない。たとえば、図５Ａ〜５Ｇに示したような画素配置および露光時間（または読み出し時間）を採用してもよい。この画素配置に関しては、後述する。

再び図１を参照する。

画像処理部１０５は、画素ごとに異なる露光時間で撮影された動画像データを受け取り、これらに画像処理を行うことによって、各画素における画素値（例えば、Ｒ，Ｇ，Ｂの画素値）を推定し、高解像度カラー動画像を生成する。

図６は、画像処理部１０５の詳細な構成の一例を示す。画像処理部１０５は、動き検出部２０１および画像生成部２０２を有する。

図７は、撮像処理装置１００の処理の手順を示すフローチャートである。まず概要を説明する。

ステップＳ４０１において、画像処理部１０５は、フレームレートが画素ごとに異なる動画像をそれぞれ読み出し制御部１０３から取得する。

ステップＳ４０２において、画像処理部１０５の動き検出部２０１は、取得した画像のうちの短時間露光画像を用いて生成画像の画素毎の動きを検出する。

ステップＳ４０３およびＳ４０４において、画像生成部２０２は、動き拘束条件を設定し、滑らかさ拘束を設定する。

ステップＳ４０５において画像生成部２０２は、高フレームレートカラー画像を生成する。

ステップＳ４０６において、画像生成部２０２は生成したＲＧＢ画像を利用し、公知のデモザイキング処理を行なうことにより、カラー画像を生成する。

ステップＳ４０７において、画像生成部２０２は生成した動画像を出力する。

以下、上述した各ステップの詳細を説明する。

動き検出部２０１は、１フレーム期間露光されて得られた画素信号によって形成される画像（短時間露光画像）を受け取る。動き検出部２０１は短時間露光画像を利用して、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、短時間露光で撮影された画素値から動き（オプティカルフロー）を検出する。公知技術として、例えばＰ．Ａｎａｎｄａｎ． “Ｃｏｍｐｕｔａｔｉｏｎａｌｆｒａｍｅｗｏｒｋａｎｄａｎａｌｇｏｒｉｔｈｍｆｏｒｔｈｅｍｅａｓｕｒｅｍｅｎｔｏｆｖｉｓｕａｌｍｏｔｉｏｎ”，ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，Ｖｏｌ．２，ｐｐ．２８３−３１０，１９８９が知られている。

図８（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部２０１は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図８（ａ）に示す窓領域Ａを設定し、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、例えば着目フレームの次のフレームが利用されることが多い。

探索範囲は、図８（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲Ｃが設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平方和（ＳＳＤ：ＳｕｍｏｆＳｑｕａｒｅＤｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：ＳｕｍｏｆＡｂｓｏｌｕｔｅｄＤｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。

（数１）および（数２）において、Ｉ（ｘ、ｙ、ｔ）は画像すなわち画素値の時空間的な分布であり、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。本実施形態では、図３において短時間露光で撮影した画像の画素値を利用して、その画像をＲＧＢの各色毎に補間拡大した後、下記数３によって輝度成分を求め、動き検出を行う。

なお、Ｉ（ｘ，ｙ，ｔ）は、（数３）に限らず、単純なＲＧＢ値の加算等にしてもよい。

動き検出部２０１は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルとする。具体的には、窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求め、動きベクトルを生成する。

上記の様にして得られた（数１）または（数２）を最小にする（ｕ，ｖ）の近傍での（ｕ，ｖ）の値の分布に対して、１次ないし２次関数を当てはめる（等角フィッテング法やパラボラフィッティング法として知られる公知の技術）ことによって、サブピクセル精度の動き検出を行う。

＜各画素におけるＲ，Ｇ，Ｂの画素値の生成処理＞
画像生成部２０２は、次式で表される評価関数Ｊ（評価式）を最小化して、各画素におけるＲ，Ｇ，Ｂの画素値を計算する。

ここで、Ｈ₁は長時間露光のサンプリング過程、Ｈ₂は短時間露光のサンプリング過程、ｆは新たに生成すべき高空間解像度かつ高時間解像度のＲＧＢ画像である。また、λ_Lおよびλ_Sは重みである。単板カラー撮像素子１０２によって撮像されたＲＧＢの画像のうち、長時間露光で撮像したものをｇ_L、短時間露光で撮像したものをｇ_Sとする。Ｍはべき指数、Ｑは生成すべき画像ｆが満たすべき条件、すなわち拘束条件である。

（数４）のべき指数Ｍの値は、特に限定するものではないが、演算量の観点から、１または２が好ましい。

（数４）の第１項は、生成すべき高空間解像度かつ高時間解像度のＲＧＢ画像ｆを、長時間露光のサンプリング過程Ｈ₁によってサンプリングして得られた画像と、実際に長時間露光画像として得られた、ｇ_Lとの差の演算を意味する。長時間露光のサンプリング過程Ｈ₁を予め定めておき、この差分を最小化するｆを求めると、そのｆは、長時間露光によって得られたｇ_Lと最もよく整合するといえる。第２項についても同様に、差分を最小化するｆは、短時間露光によって得られたｇ_Sと最もよく整合するといえる。また、第３項は、解ｆを一意に決定するための拘束条件項である。

そして、（数４）の評価関数Ｊを最小化するＲＧＢ画像ｆは、長時間露光および短時間露光によって得られたｇ_Lおよびｇ_Sの両方を総合的によく満足するといえる。画像生成部２０２は、（数４）を最小化するＲＧＢ画像ｆを計算することで、Ｓ／Ｎが改善されたＲＧＢ画像の画素値を生成する。

（数４）のＪの最小化は、∂Ｊ／∂ｆ＝０となるＲＧＢ画像ｆを求めることによって行う。この計算は、（数４）においてＭ＝２でかつ、Ｑがｆの２次形式の場合には、上述のJのfによる偏微分∂J/∂ｆがｆの1次式になるため、線形最適化問題となり連立方程式Ａｆ＝ｂの計算に帰着する。すなわち、（数４）をｆで偏微分すると、以下のとおりである。

Ｑ₁はＱがｆの２次形式の場合、定数マトリックス（ｆを含まないマトリックス）である。

この式を変形して以下の連立方程式を解くことにより、ＲＧＢ画像ｆを計算する。

一方、Ｍ＝１の場合や、Ｍ＝３以上の整数の場合、また、Ｍが整数でない場合には、非線形最適化問題となる。

計算が線形最適化問題になる場合、図９に示す共役勾配法の手順により評価関数Ｊを最小にするＲＧＢ画像ｆを計算することができる。図１０は、図９に示す処理を行うための画像生成部２０２の構成例を示す。画像生成部２０２は、係数演算部５０１と、ベクトル演算部５０２と、演算部５０３とを有している。

係数演算部５０１は、係数行列Ａを計算する。ベクトル演算部５０２は、定数ベクトルｂを計算する。演算部５０３は、演算によって得られた行列Ａおよびベクトルｂを用いて、Ａｆ＝ｂの連立方程式を解く。図９に示す処理は、主として演算部５０３の処理である。行列Ａおよびベクトルｂが求まり、制御部１０４から初期値および終了条件が与えられると図９の処理が開始される。図９の終了条件は、図９に示すｋ＋１ステップ目での残差ｒ_k+1が十分小さくなったときである。

これにより、評価関数Ｊを最小化するＧ画像ｆを求めることができる。なお、図９に示すアルゴリズムは公知であるため、詳細な説明は省略する。

一方、計算が非線形最適化問題となる場合には、図１１に示す準ニュートン法の手順により、Ｊを最小にするｆを計算することができる。この手法によるJの最小化、極小化は、ｆの初期解から始めて、Jのｆに関する勾配を用いて、よりJを小さくする様に、反復計算により解ｆを更新する。図１１においてＫｋは、ｓ_k≡ｆ_k+1−ｆ_k、ｙ_k＝∇Ｊ（ｆ_k）とおき、準ニュートン法のなかのＤＦＰ法では、以下のように計算する。

また、準ニュートン法のなかのＢＦＧＳ法では以下のように計算する。

以下、（数４）に関してより詳しく説明する。

画像ｆ、ｇ_Lおよびｇ_Sは、動画像の各画素値を要素とする縦ベクトルである。以下では、画像についてベクトル表記は、画素値をＲＧＢごとに図１２のようにラインごと、ＲＧＢごとに並べた縦ベクトルを意味し、関数表記は、画素値の時空間的分布を意味する。画素値としては、輝度値の場合は、１画素につき１個の値を考えればよい。ｆの要素数は、例えば、生成すべき動画像を横２０００画素、縦１０００画素、３０フレームとすると、２０００×１０００×３０＝６０００００００となる。

画像ｆの縦横の画素数および信号処理に用いるフレーム数は、画像処理部１０５によって設定される。

長時間露光のサンプリング過程Ｈ₁は、行数がｇ_Lの要素数と等しく、列数がｆの要素数と等しい行列である。また、短時間露光サンプリング過程Ｈ₂は、行数がｇ_Sの要素数と等しく、列数がｆの要素数と等しい行列である。

現在一般に普及しているコンピュータでは、動画像の画素数（例えば幅２０００画素×高さ１０００画素）とフレーム数（例えば３０フレーム）に関する情報量が多すぎるため、（数４）を最小化するｆを単一の処理で求めることはできない。本願の撮像処理装置では、後述するように、ＲＧＢそれぞれの色をラインごと（例えば幅１０００画素×高さ１画素）のみで処理を行なうことが可能なため、メモリアクセスを大幅に削減することができる。

このように、時間的、空間的な部分領域についてｆの一部を求める処理を繰り返すことにより、生成すべき動画像ｆを計算することができる。

次に、長時間露光のサンプリング過程Ｈ₁の定式化を簡単な例を用いて説明する。以下では、幅４画素（ｘ＝１，２，３，４）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１，２）の画像をベイヤ配列の単板カラー撮像素子１０２で撮像し、ｙ＝１のラインにおいて２フレーム分時間加算する場合のｇ_Lの撮像過程について考える。ここでは、例えば図３の最も左上の４画素ｘ２画素に対応して、ｙ＝２である２つの画素（ｘ，ｙ）＝（２，２）、および、（４，２）におけるＧ_Lのｔ＝１，２を想定している。

得られるＧ画像ｆの要素は、ｔ＝１、２を含めて以下の（数９）のように表される。

（数９）において、Ｇ₁₁₁〜Ｇ₃₁₂、Ｒ₂₁₁〜Ｒ₄₂₂、Ｂ₁₂₁〜Ｂ₃₂₂は各画素におけるＲ、Ｇ、Ｂの画素値を示し、３個の添字は順にｘ、ｙ、ｔの値を示す。

上記（数９）のうち、長時間露光を求めるために必要なのは、位置（２，１）についてはＲ₂₁₁およびＲ₂₁₂、位置（３，１）についてはＧ₃₁₁およびＧ₃₁₂、位置（１，２）についてはＢ₁₂₁およびＢ₁₂₂、位置（２，２）についてはＧ₂₂₁およびＧ₂₂₂である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。

行列Ｈ₁は、長時間露光のサンプリング過程であることを考慮して設定される。すなわち、ｙ＝１および２のラインにおける長時間露光の画素を得るためには、（ｘ，ｙ）＝（２，１）および（３，１）の位置におけるｔ＝１、２の各画素値を加算し、また（ｘ，ｙ）＝（１，２）および（２，２）の位置におけるｔ＝１、２の各画素値を加算する必要がある。これらによれば、長時間露光画像の撮像過程は以下のように定式化される。

次に、短時間露光のサンプリング過程Ｈ₂の定式化を簡単な例を用いて説明する。先の例と同様に、幅４画素（ｘ＝１，２，３，４）、高さ２画素（ｙ＝１，２）、２フレーム（ｔ＝１、２）の画像をベイヤ配列の撮像素子で撮像する場合について考える。

先のサンプリング過程Ｈ₁の例と同様、この例もまた、図３の最も左上の４画素ｘ２画素を想定する。ただし短時間露光であるため、図３のｙ＝１，２における短時間露光画素の画素値が、ｔ＝１および２について必要となる。すなわち、画素（ｘ，ｙ）＝（１，１）におけるＧｓの画素値、および、（４，１）におけるＲｓの画素値、および、（３，２）におけるＢｓの画素値、および、（４，２）におけるＧｓの画素値が、ｔ＝１および２について必要となる。なお、得られるＲＧＢ画像ｆの要素は、（数９）の通りである。

上記（数９）のうち、短時間露光を求めるために必要なのは、位置（１，１）についてはＧ₁₁₁およびＧ₁₁₂、位置（４，１）についてはＲ₄₁₁およびＲ₄₁₂、位置（３，２）についてはＢ₃₂₁およびＢ₃₂₂、位置（４，２）についてはＧ₄₂₁およびＧ₄₂₂である。そこで、それらの画素値のみを抽出するための行列を以下のように定義することができる。

（数１２）の第１〜４行が時刻ｔ＝１に関し、第５〜８行が時刻ｔ＝２に関している。これらによれば、短時間露光ラインの撮像過程は以下のように定式化される。

（数１１）や（数１３）は、ＲＧＢ画像ｆをベイヤ配列の単板撮像素子により露光時間を変えて撮像し、ｇ_L、ｇ_Sを得る過程を示す。逆に、ｇ_L、ｇ_Sからｆを生成する問題は、一般に逆問題といわれる。拘束条件Ｑのない場合、下記（数１４）を最小化するｆは無数に存在する。

このことは、サンプリングされない画素値に任意の値を入れても（数１４）が成り立つことから、容易に説明できる。そのため、（数１４）の最小化によってＲＧＢ画像ｆを一意に解くことはできない。

そこで、ＲＧＢ画像ｆについての一意な解を得るために、拘束条件Ｑを導入する。Ｑとして、画素値ｆの分布に関する滑らかさの拘束や、ｆから得られる画像の動きの分布に関する滑らかさの拘束を与える。以下、それぞれの拘束の与え方を説明する。

まず、ＲＧＢ画像ｆを１ライン目のＧ（以下、Ｇｒと記載）とＲ、２ライン目のＢとＧ（以下、Ｇｂと記載）ごとの画素値の分布に関する滑らかさの拘束としては、（数１５）もしくは（数１６）の拘束式を用いる。

ここで、λ_CR、λ_CGr、λ_CGb、および、λ_CBはＲ，Ｇ，Ｂの滑らかさの拘束の重みであり、３板撮影等で全画素読み出しした画素値が事前に用意できる場合には、生成画像のＰＳＮＲ（ＰｅａｋＳｉｇｎａｌｔｏＮｏｉｓｅＲａｔｉｏ）が最良となるように決めればよい。

なお、ＰＳＮＲは（数１７）で定義される。

ここで、ｆｍａｘは画素値の最大値（例えば、８ビット時２５５、１０ビット時１０２３）であり、σは正解画像と生成画像との差の標準偏差である。

一方、そうでない場合には、上記の値をもとにマニュアル操作で新たに生成した画質をみながらλλ_CR、λ_CGr、λ_CGb、および、λ_CBを決めればよい。（数４）に示す通り、拘束条件Ｑも評価関数Ｊの一部を構成する。したがって、評価関数Ｊの値をできるだけ小さくするためには、拘束条件Ｑも小さい方が好ましい。

（数１５）に関しては、画素値ｆの分布の変化が少ないほど、Ｑの値は小さくなる。（数１６）に関しては、画素値ｆの分布の変化が一定であるほど、Ｑの値は小さくなる。これらが、画素値ｆの分布に関する滑らかさの拘束条件となる。

また、（数１４）で｜｜はベクトルのノルムを表す。べき指数ｍの値は、（数４）、（数１４）におけるべき指数Ｍと同様に、演算量の観点から１または２が望ましい。

なお、上記の偏微分値∂／∂ｘ、∂²／∂ｘ²は、着目画素近傍の画素値による差分展開により、例えば（数１８）により近似計算できる。

差分展開は上記（数１８）に限らず、例えば（数１９）の様に、近傍の他の画素を参照するようにしてもよい。

（数１９）は（数１８）による計算値に対して、近傍で平均化することになる。これにより、空間解像度は低下するが、ノイズの影響を受けにくくできる。さらに、両者の中間的なものとして、０≦α≦１の範囲のαで重み付けをして、以下の式を採用してもよい。

差分展開の計算方法は、処理結果の画質がより改善されるようにノイズレベルに応じてαを予め決めて行ってもよいし、もしくは、演算量や回路規模を少しでも小さくするために、（数１８）を用いてもよい。

（数１５）、（数１６）に示したような、動画像ｆの画素値の分布に関する滑らかさの拘束を導入して（数４）を解く問題に対しては、公知の解法、例えば有限要素法等の変分問題の解法を用いて計算することができる。

また、以上のように、ＲＧＢ画像ｆを１ライン目のＧ（以下、Ｇｒと記載）とＲ、２ライン目のＢとＧ（以下、Ｇｂと記載）を独立に計算することが可能なため、１次元上でのメモリアクセスのみで処理を行なうことができ、演算量ならびに回路規模を削減することができる。例えば、生成すべき動画像を横２０００画素、縦１０００画素とすると、Ｇｒ／Ｒ／Ｂ／Ｇｂそれぞれを、幅１０００画素×高さ１画素ごとに処理することが可能である。そのため、メモリアクセスを大幅に削減することができる。

次に、ＲＧＢ画像ｆに含まれる画像の動きの分布に関する滑らかさの拘束を説明する。

ＲＧＢ画像ｆに含まれる画像の動きの分布に関する滑らかさの拘束としては、下記（数２１）または（数２２）を用いる。

ここで、ｕは動画像ｆから得られる各画素についての動きベクトルのｘ方向の成分を要素とする縦ベクトル、ｖは動画像ｆから得られる各画素についての動きベクトルのｙ方向の成分を要素とする縦ベクトルである。

ｆから得られる画像の動きの分布に関する滑らかさの拘束としては、（数２１）、（数２２）に限らず、例えば（数２３）、（数２４）に示す１階または２階の方向微分としてもよい。

さらに、（数２５）〜（数２８）に示すように、（数２１）〜（数２４）の拘束条件を、ｆの画素値のこう配に応じて適応的に変化させてもよい。これにより、画像内のエッジ（輝度変化が不連続な境界）部分に対する滑らかさ拘束の影響を、画像の平坦部分と比べて小さくすることができるため、画像内のエッジをより鮮明に再現することができる。

ここで、ｗ（ｘ，ｙ）は、ｆの画素値のこう配に関する重み関数であり、（数２９）に示す画素値のこう配の成分の、べき乗和によって定義される。

また、（数２９）に示す輝度こう配の成分の２乗和の代わりに、（数３０）に示す方向微分の、べき乗の大小によって、重み関数ｗ（ｘ，ｙ）を定義してもよい。

ここで、ベクトルｎ_maxおよび角度θは方向微分が最大になる方向であり、下記（数３１）によって与えられる。

このような重み関数を導入することにより、ｆの動き情報が必要以上に平滑化されることを防ぐことができ、その結果、新たに生成される画像ｆが必要以上に平滑化されることを防ぐことができる。

（数２１）〜（数２８）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数４）を解く問題に関しては、ｆについての滑らかさの拘束を用いる場合と比較して複雑な計算が必要となる。新たに生成すべき画像ｆと動き情報（ｕ，ｖ）が相互に依存するためである。

この問題に対しては、公知の解法、例えばＥＭアルゴリズム等を用いた変分問題の解法を用いて計算することができる。その際、繰り返し計算に、新たに生成すべき画像ｆと動き情報（ｕ，ｖ）の初期値が必要になる。

ｆの初期値としては、入力画像の補間拡大画像を用いればよい。一方、動き情報（ｕ，ｖ）としては、動き検出部２０１において（数１）ないし（数２）を計算して求めた動き情報を用いる。その結果、画像処理部１０５が、上述のごとく、（数２１）〜（数２８）に示したような、画像ｆから得られる動きの分布に関する滑らかさの拘束を導入して（数４）を解くことにより、処理結果の画質を向上させることができる。

画像処理部１０５における処理は、（数１５）、（数１６）に示した画素値の分布に関する滑らかさの拘束のいずれかと、（数２１）〜（数２８）に示した動きの分布に関する滑らかさの拘束のいずれかの両方を組み合わせて、（数３２）のように同時に用いてもよい。

ここで、Ｑ_fはｆの画素値のこう配に関する滑らかさの拘束、Ｑ_uvはｆから得られる画像の動きの分布に関する滑らかさの拘束、λ₁およびλ₂はＱ_fとＱ_uvの拘束に関する重みである。

なお、ここでは複数の拘束条件の式について説明したが、これらの最適な組み合わせは、コスト、演算規模、回路規模等の装置の状況に応じて決定すればよい。例えば、画質が最もよくなるものを選択するようにすればよい。「画質が最もよくなる」とは、例えばその映像を確認する者の主観に基づいて決定することができる。

画素値の分布に関する滑らかさの拘束と、画像の動きの分布に関する滑らかさの拘束の両方を導入して（数４）を解く問題も、公知の解法（例えばＥＭアルゴリズム等を用いた変分問題の解法）を利用することができる。

また、動きに関する拘束は、（数２１）〜（数２８）に示した動きベクトルの分布の滑らかさに関するものに限らず、対応点間の残差（動きベクトルの始点と終点間における画素値の差）を評価値として、これを小さくするようにしてもよい。対応点間の残差は、ｆを関数ｆ（ｘ，ｙ，ｔ）として表すと、（数３３）のように表すことができる。

ｆをベクトルとして、画像全体について考えると、各画素における残差は下記（数３４）に示すようにベクトル表現することができる。

残差の平方和は下記（数３５）に示すように表すことができる。

（数３４）、（数３５）において、Ｈ_mはベクトルｆの要素数（時空間の総画素数）×ｆの要素数の行列である。Ｈ_mでは、各行において、動きベクトルの視点と終点に相当する要素だけが０でない値を持ち、それ以外の要素は０の値を持つ。動きベクトルが整数精度の場合、視点と終点に相当する要素が、それぞれ、−１と１の値を持ち、他の要素は０である。

動きベクトルがサブピクセル精度の場合には、動きベクトルのサブピクセル成分の値に応じて、終点近傍の複数の画素に相当する複数の要素が値を持つことになる。

（数３５）をＱ_mとおき、拘束条件を（数３６）のようにしてもよい。

ここで、λ₃は拘束条件Ｑ_mに関する重みである。

以上述べた方法により、動き検出部２０１でＧ_SとＲ_SとＢ_Sの短時間露光画像から抽出した動き情報を用いることにより、ベイヤ配列の撮像素子によって撮像されたＲＧＢ動画像を画像処理部１０５で信号対雑音比（Ｓ／Ｎ）を向上させ、色にじみの少ない新たな動画像を生成することができる。

さらに、こうして生成したＲＧＢ画像を利用し、公知のデモザイキング処理を行なうことにより、画像処理部１０５は信号対雑音比（Ｓ／Ｎ）を向上させ、色にじみの少ない新たな動画像を生成することができる。本願の撮像処理装置は、１ラインごとに処理を行なうため、１次元上でのメモリアクセスのみで処理を行なうことができ、演算量ならびに回路規模を削減することができる。

また、本願の撮像処理装置は、ベイヤ配列におけるＲＧＢ画素位置の画像のみを生成し、生成した画像に対してデモザイキング処理によりカラー画像を生成するため、すべての画素で画像生成を行なう場合に比べ、１／３の演算量で行なうことができるため、演算量ならびに回路規模を削減しながら、色ずれを生じさせることなく、Ｓ／Ｎをより改善することができる。

なお、上述した画像処理部１０５におけるＲ，Ｇ，Ｂの画素値の計算方法は一例であり、他の計算方法を採用してもよい。

他の方法として、例えば最急勾配法などの反復演算型の最適化手法を用いて望ましい目的画像を求めてもよい。

以上説明したように、実施形態１によれば、単板撮像素子に時間加算の機能を付加し、１ラインごとに時間加算された入力画像から新たな画像を生成することによって、撮像時に光量を確保しつつ高解像度かつ高フレームレートで、色にじみの少ない画像（時間加算を行なわずに全画素を読み出した画像）を推定し生成することができる。

（実施形態１の変形例）
実施形態１では、画像処理部１０５における処理に、（数１０）や（数１２）を用いた劣化拘束、動き検出を用いた動き拘束、画素値の分布に関する滑らかさ拘束の全てを用いる場合を主に述べた。

種々の拘束のうち、特に動き拘束については演算量が多く、装置の計算機資源を必要とする。そこで本変形例においては、これらの拘束のうち動き拘束を用いない処理を説明する。

図１３は、動き検出部２０１を含まない画像処理部１０５を有する撮像処理装置２００の構成を示すブロック図である。画像処理部１０５の画像生成部１１１は、動き拘束を用いることなく、新たな画像を生成する。

図１３において、図１および図６と同じ動作をする構成要素には、図１および図６と同一の符号を付し、説明を省略する。

従来の技術では、動き拘束を用いない場合、処理結果に明らかな画質の低下が生じる。

しかしながら、本発明では顕著な画質低下を生じさせずに動き拘束を省くことができる。その理由は、図３に示した画素配置にある。この画素配置では、ＲＧＢ画像を生成する際、１ライン単位で横方向にスキャンすることにより、単板カラー撮像素子１０２の長時間露光および短時間露光を行うそれぞれの色成分の画素が、順番に混在している。そのため、短時間露光によって撮影された画素と長時間露光によって撮影された画素が順番に混在し、動き拘束を用いずに画像を生成した際に、短時間露光によって撮影された画素値が色にじみの発生を抑える効果がある。さらに、動き拘束条件を課すことなく新たな動画像を生成するため、演算量ならびに回路規模を低減することができる。

以下に、画像生成部１１１による高画質化処理を説明する。

（数４）においてＭ＝２とし、Ｑとして（数１５）ないし（数１６）を用い、これらの式におけるｍを２とする。そして、１階微分、２階微分の差分展開として（数１８）、（数１９）、（数２０）のいずれかを用いると、評価式Ｊはｆの２次式となる。評価式を最小化するｆの計算は、（数３７）により、ｆについての連立方程式の計算に帰着する。

ここで、解くべき連立方程式を（数３８）のようにおく。

（数３８）において、ｆは生成する画素数（１フレームの画素数×処理するフレーム数）分の要素を持つため、（数３８）の計算量は通常、非常に大規模になる。しかし、本願の撮像処理装置では、前述のとおり、Ｇｒ／Ｒ／Ｂ／Ｇｂそれぞれを１ラインごと（例えば幅１０００画素×高さ１画素×処理するフレーム数）のみで処理を行なうことが可能なため、メモリアクセスを大幅に削減し、演算量ならびに回路規模を削減することができる。

このような連立方程式の解法として、共役勾配法や最急降下法等の繰り返し計算により解ｆを収束させる方法（繰り返し法）が一般的に用いられる。

動き拘束を用いずにｆを求める際には、評価関数が劣化拘束項と滑らかさ拘束項だけになるため、処理がコンテンツに依存しなくなる。このことを利用すると、連立方程式（数３８）の係数行列Ａの逆行列をあらかじめ計算でき、これを用いることで直接法により画像処理を行うようにできる。

（数１８）に示す滑らかさ拘束を用いる場合、ｘ方向の２階偏微分は、例えば、（数１８）に示すように１，−２，１の３つの係数のフィルタとなり、その２乗は１，−４，６，−４，１の５つの係数のフィルタとなる。これらの係数は、水平方向のフーリエ変換と逆変換とで係数行列を挟むことにより、対角化することができる。同様に、長時間露光の劣化拘束も、時間方向のフーリエ変換と逆フーリエ変換とで係数行列を挟むことにより、対角化することができる。すなわち、（数３９）のように行列をΛと置くことができる。

これにより、１行あたりのノンゼロ係数の数を係数行列Ａと比べて低減させることができる。その結果、Λの逆行列Λ^-1の計算が容易になる。そして、（数４０）および（数４１）により、ｆを直接法により、繰り返し計算を行わずに、より少ない演算量と回路規模で求めることができる。

また、滑らかさの拘束として（数１４）を利用することにより、奇数行目のＧ画素Ｇｒ、奇数行目のＲ画素、偶数行目のＢ画素、偶数行目のＧ画素Ｇｂを独立に計算することができるため、メモリアクセスを削減し、演算量ならびに回路規模を削減しながら、色ずれを生じさせることなく、Ｓ／Ｎをより改善することができる。この場合、本願の撮像処理装置では、１ラインごとの各色の画素（例えば幅１０００画素×高さ１画素×処理するフレーム数）のみで処理を行なうことが可能なため、メモリアクセスを大幅に削減し、演算量ならびに回路規模を削減することができる。

また、本願の撮像処理装置における画素配置は、図３に限ったものではなく、図５Ａ〜５Ｇのいずれでも構わない。前述のとおり、本願の撮像処理装置においては、単板カラー撮像素子１０２の各色画素において、ｘ方向に長時間露光および短時間露光を行うそれぞれの画素が、順番に混在している必要がある。図５Ａ〜５Ｇはいずれもこの条件を満たす。

（実施形態２）
近年、多くの機器において電子式ビューファインダが利用され始めている。しかしながら、特許文献１に記載の技術によってそのような電子式ビューファインダを実現しようとすると、撮影時にビューファインダに色にじみや遅延のない映像を表示することが困難であった。その理由は、ある１つの色について全画素で長時間露光をしているためである。

これに対して、本発明の実施形態２では、第１色から第３色までのすべてで、一部またはすべての画素を短時間露光で撮影している。そのため、本実施形態では、短時間露光で撮影された画素の情報をビューファインダに表示することにより、遅延や色にじみのない映像を撮影者に提示する。

図１４は、本実施形態における撮像処理装置４００の構成を示すブロック図である。図１４において、図１と同一の動作をするものについては、図１と同一の符号を付し、説明を省略する。

撮像処理装置４００は、光学系１０１と、単板カラー撮像素子１０２と、読み出し制御部１０３と、制御部１０４と、画像処理部１０５と、表示制御部８０１と、表示部８０２とを備えている。

単板カラー撮像素子１０２によって短時間露光撮影された画素信号は、表示制御部８０１に入力される。

表示制御部８０１は、入力された短時間露光画像の画素信号に表示のための処理を施す。たとえば表示制御部８０１は、簡単な補間処理によって、ＲＧＢ各色のサンプリング位置を揃え、また、アスペクト比を調整する。本願の撮像処理装置では、ＲＧＧＢ４画素のうち、ＲＧＢ３画素を短時間露光で撮影する。そのため、表示制御部８０１は、これらの短時間露光画素を補間処理することで、表示のための処理を行なう。

一例として、図１５は、短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理を行い、その後、各色画像を縮小して表示部８０２に表示するための各色画像を生成する処理の概念図である。他の例として、図１６は、短時間露光画像を構成するＲ，Ｇ，およびＢの各色画像に補間処理およびアスペクト比の変更処理を行って表示部８０２に表示するための各色画像を生成する処理の概念図である。表示制御部８０１は、図１５および図１６に示すような処理を行った後、各色画像に、サンプリング位置を揃えるための位置合わせ処理を行い、表示部８０２に表示する。

撮影者は、表示された画像を見ることで、構図やフォーカス調整を行うことができる。

以上述べたように、本発明にかかる撮像処理装置は、光学系、撮像素子、読み出し制御部、画像処理部を有し、小型撮像素子による高解像度かつ高感度撮影向けの技術として有用である。

なお、上述の実施形態では、読み出し制御部１０３、制御部１０４、画像処理部１０５、表示制御部８０１は異なる構成要素として図示し、説明した。これらは各々が別個のプロセッサによって実現され得る。しかしながらその構成は一例である。２以上の構成要素の機能を、１つのプロセッサによって実現してもよい。もちろん、全ての構成要素の機能を、１つのプロセッサによって実現してもよい。その場合には、たとえば上述した各構成要素の動作に対応する動作を行うためのプログラムモジュールを用意しておき、当該プロセッサがある時点においていずれか１つのまたは複数のプログラムモジュールを実行すればよい。これにより、上述した各構成要素の動作が１つプロセッサによって実現されることになる。

上述したある例示的な実施形態によれば、撮像処理装置の単板カラー撮像素子は、所定のフレームレートに対応する露光時間で露光して得られた画素信号が読み出される複数の第１画素（短時間露光画素）および当該所定のフレームレートよりも長い露光時間で露光して得られた画素信号が読み出される複数の第２画素（長時間露光画素）を有している。この単板カラー撮像素子は、第１色成分、第２色成分および第３色成分の光を第１画素および第２画素の各々で検出する画素が複数設けられている。この単板カラー撮像素子を用いることで、１ラインごとに各色成分について、あるフレームレートで動画像の画素信号と、当該フレームレートよりも長い露光時間で撮影された動画像の画素信号とが得られる。これにより、第１色成分、第２色成分および第３色成分の動画像を常に長時間露光によって撮影した場合と比較して、被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。

本願の他の例示的な実施形態によれば、撮像処理装置は、すべての画素を、２種類の画素、すなわち長時間露光の画素と、短時間露光の画素と、２通り、各種類の画素から信号を読み出す。この際、各色成分において長時間露光の画素と、短時間露光の画素は読み出し方向に対して順番に撮影するように画素を配置する。このような画素配置における読み出し信号に対して、画像復元処理を行うことにより、全て長時間露光のみによって画像信号を得た場合と比較して被写体の動きに起因する色にじみを抑制した画像信号を得ることができる。

なお、本明細書における画像処理部１０５は装置として実現されなくてもよい。例えば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した画像処理部１０５の動作を行ってもよい。そのようなコンピュータプログラムは、たとえば図７のフローチャートによって実現される処理をコンピュータに実行させるための命令群を含んでいる。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。

上述の実施形態においては、Ｒ，ＧおよびＢの３色でカラー動画像を撮影し、Ｇのみ短時間露光と長時間露光の両方で撮像するとして説明した。しかしながら、これらの色成分の分け方は一例である。例えば、シアン、マゼンタ、イエローの３色のカラーフィルタを用いてもよい。また、３色ではなく、２色または４色以上のフィルタを用いてもよい。

本発明の撮像装置および処理装置は、低光量時の高解像度撮影や小型画素による撮像に有用である。また、プログラムとしても適用が可能である。

１００撮像処理装置
１０１光学系
１０２単板カラー撮像素子
１０３読み出し制御部
１０４制御部
１０５画像処理部

Claims

単板カラー撮像素子と画像処理部とを備えた撮像処理装置であって、
前記単板カラー撮像素子の奇数ラインでは第１色画素および第２色画素が交互に配列され、偶数ラインでは前記第１色画素および第３色画素が交互に配列され、
同一ラインに設けられた複数の前記第１色画素からは、配列された順序にしたがって交互に第１露光時間、および前記第１露光時間よりも長い第２露光時間で画素値を読み出すことが可能であり、
同一ラインに設けられた複数の前記第２色画素からは、配列された順序にしたがって交互に前記第１露光時間および前記第２露光時間で画素値を読み出すことが可能であり、
同一ラインに設けられた複数の前記第３色画素からは、配列された順序にしたがって交互に前記第１露光時間および前記第２露光時間で画素値を読み出すことが可能であり、
前記画像処理部は、前記第１露光時間で読み出された画素値と、前記第２露光時間で読み出された画素値とに基づいて、前記所定のフレームレートの新たな動画像を生成する、撮像処理装置。
前記画像処理部は、
前記第１露光時間で読み出された画素値と、前記第２露光時間で読み出された画素値とに基づいて得られた、被写体の前記第１色成分の動画像、前記第２色成分の動画像、および前記第３色成分の動画像を受け取り、
（ａ）前記第１露光時間で読み出された前記第１色成分、前記第２色成分および前記第３色成分の各動画像と、前記新たな動画像を前記第１露光時間でサンプリングして得られた動画像との第１の差、および
（ｂ）前記第２露光時間で読み出された前記第１色成分、前記第２色成分および前記第３色成分の各動画像と、前記新たな動画像を前記第２露光時間でサンプリングして得られた動画像との第２の差
を含む評価式を設定し、前記評価式を予め定められた所定の条件で満足する動画像を、前記新たな動画像として求める、請求項１に記載の撮像処理装置。
前記画像処理部は、前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項２に記載の撮像処理装置。
前記画像処理部は、
前記第１露光時間で読み出された前記第１色成分、前記第２色成分、および前記第３色成分の各動画像を利用して、前記被写体の動きを検出する動き検出部と、
前記動きの検出結果を利用して前記新たな動画像の動きの分布に関する拘束条件項を設定し、前記動きの分布に関する拘束条件項をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める画像生成部と
を備えた、請求項３に記載の撮像処理装置。
前記画像処理部は、前記新たな動画像の画素値の分布の変化が少なくなるよう、または、前記新たな動画像の画素値の変化が一定になるよう、拘束条件項を設定し、前記拘束条件項をさらに含む前記評価式を最小化する動画像を、前記新たな動画像として求める、請求項２から４のいずれかに記載の撮像処理装置。
前記画像処理部は、前記画素値の分布に関する拘束条件を画像の一方向に設定する、請求項５に記載の撮像処理装置。
前記画像処理部は、前記単板カラー撮像素子から１ラインごとに前記画素値を取得し、取得した１ラインごとに前記画素値の分布に関する拘束条件を設定する、請求項６に記載の撮像処理装置。
前記第１露光時間で読み出された画素信号に基づいて得られた前記第１色成分の動画像、前記第２色成分の動画像および前記第３色成分の動画像に、表示のために予め定められた画像処理を施す表示制御部と、
前記表示制御部によって画像処理された前記第１動画像、前記第２動画像および前記第３動画像を表示する表示部と
をさらに備えた、請求項７に記載の撮像処理装置。