JP2011097568A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2011097568A JP2011097568A JP2010195254A JP2010195254A JP2011097568A JP 2011097568 A JP2011097568 A JP 2011097568A JP 2010195254 A JP2010195254 A JP 2010195254A JP 2010195254 A JP2010195254 A JP 2010195254A JP 2011097568 A JP2011097568 A JP 2011097568A
- Authority
- JP
- Japan
- Prior art keywords
- image
- thinning
- reading
- readout
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】解像度及びSN比のバランスのとれた動画像を取得する。
【解決手段】撮像素子に設けられた受光画素の一部を間引きつつ信号を読み出す間引き読み出しと、複数受光画素の出力信号を加算しながら読み出す加算読み出しとを、撮影感度又は被写体の明るさに応じて切り替え実行する。ISO感度等の撮影感度が低い場合(被写体の明るさが高い)場合には間引き読み出しを行って折り返し歪みを比較的多く含む入力画像を取得し、折り返し歪みの除去によって解像度向上を図る解像度向上処理の結果(解像度向上画像)を出力画像に強く反映させる。逆に、撮影感度が高い場合(被写体の明るさが低い)場合には加算読み出しによって入力画像を取得し、ノイズ低減処理後の入力画像(ノイズ低減画像)を出力画像に強く反映させる。
【選択図】図8
【解決手段】撮像素子に設けられた受光画素の一部を間引きつつ信号を読み出す間引き読み出しと、複数受光画素の出力信号を加算しながら読み出す加算読み出しとを、撮影感度又は被写体の明るさに応じて切り替え実行する。ISO感度等の撮影感度が低い場合(被写体の明るさが高い)場合には間引き読み出しを行って折り返し歪みを比較的多く含む入力画像を取得し、折り返し歪みの除去によって解像度向上を図る解像度向上処理の結果(解像度向上画像)を出力画像に強く反映させる。逆に、撮影感度が高い場合(被写体の明るさが低い)場合には加算読み出しによって入力画像を取得し、ノイズ低減処理後の入力画像(ノイズ低減画像)を出力画像に強く反映させる。
【選択図】図8
Description
本発明は、デジタルビデオカメラ等の撮像装置に関する。
多数の受光画素から成る撮像素子(CCD等)を有するデジタルカメラにおいて、撮像素子から動画像用の画像信号を読み出す際、動画像に適したフレームレート(例えば、60フレーム/秒)にて全受光画素から画像信号を読み出すことは困難である(高価な撮像素子や多チャンネル読み出しが可能な特殊な撮像素子の利用時は除く)。
従って、複数の受光画素信号を加算しながら読み出す加算読み出し方式又は幾つかの受光画素信号を間引いて読み出す間引き読み出し方式を用いて、信号が読み出される画素数を減らし、これによって高フレームレートの動画像の取得を実現するという方法が一般的にとられている。また、撮像素子上の限定領域(例えば、中央領域)の受光画素信号のみを読み出す領域読み出し方式が利用されることもある。
これらの中で、加算読み出し方式は、信号対雑音比(以下、SN比という)を比較的高くすることができるという利点から良く利用されている。しかしながら、当然ではあるが、加算読み出し方式を利用すると、全受光画素を個別に読み出す方式と比べて解像度が低下する。このため、近年、解像度改善策として、動画像生成処理に超解像技術などの高解像化技術を適用することが提案されている。超解像技術では、撮像素子における標本化によって生じた折り返し歪みを除去することで解像度の向上が図られる。
超解像技術の適用を考えた場合には、加算読み出し方式よりも間引き読み出し方式の方に利点がある。加算読み出し方式と比べて間引き読み出し方式にて得られた画像データには折り返し歪みが多く発生するが、その分、超解像技術による解像度向上効果は大きくなるからである。しかしながら、一方で、加算読み出し方式よりも間引き読み出し方式の利用時の方がSN比は低くなり、特に低照度時にはSN比の劣化が目立ちすぎることもある。解像度とSN比のバランスが重要であることは言うまでもない。
また、解像度を向上させるための画像処理とノイズを低減するための画像処理を併用して動画像の生成を試みる場合においても、当然、解像度とSN比のバランスが重要である。
尚、下記特許文献1には、間引き読み出し方式による間引き信号と加算読み出し方式による加算信号を同時に読み出し、それら2種類の信号を用いて広ダイナミックレンジ画像や超解像画像を生成する方法が記載されている。しかしながら、この方法では、撮像素子から通常の2倍の信号を読み出す必要があるため、高フレームレートの実現が困難であり動画像生成には不適である。また、撮像素子から通常の2倍の信号量を高速に読み出すためには、信号読み出し用の出力ピンを増加させる必要が生じる。これは、撮像素子の大型化及び高コスト化を招くため、実用的ではない。
そこで本発明は、解像度とSN比のバランスの良好化に寄与する撮像装置を提供することを目的とする。
本発明に係る撮像装置は、被写体の光学像を光電変換する受光画素群から成る撮像素子と、前記受光画素群の一部を間引きつつ前記受光画素群の出力信号を読み出す間引き読み出しと、前記受光画素群に含まれる複数受光画素の出力信号を加算しながら読み出す加算読み出しとを、切り替えて実行する読出制御部と、を備えて画像の撮影を行う撮像装置において、前記読出制御部は、1つの動画像の撮影中に前記間引き読み出し及び前記加算読み出し間の切り替えを行うことを特徴とする。
これにより、必要に応じて間引き読み出し及び加算読み出し間の切り替えを行うことができるようになり、結果、解像度とSN比のバランスをとることが可能となる。
具体的には例えば、前記読出制御部は、撮影の感度に応じた情報又は被写体の明るさに応じた情報に基づき、前記間引き読み出し及び前記加算読み出し間の切り替えを行う。
撮影の感度が比較的低い状態又は被写体の明るさが比較的高い状態では、後段処理において高い解像度向上効果をもたらし得る間引き読み出しを行っても、ノイズの影響は少ない。逆に、撮影の感度が比較的高い状態又は被写体の明るさが比較的低い状態において間引き読み出しを行うとノイズの影響が大きくなるため、そのような状態においては加算読み出しの利用が好適である。これらを考慮し、読出制御部は、撮影の感度に応じた情報又は被写体の明るさに応じた情報に基づき、間引き読み出し及び加算読み出し間の切り替えを行う。これにより、解像度とSN比のバランスをとることが可能となる。
即ち具体的には例えば、前記読出制御部は、前記感度が比較的低いときには前記間引き読み出しが行われるように且つ前記感度が比較的高いときには前記加算読み出しが行われるように前記切り替えを行う、或いは、前記明るさが比較的高いときには前記間引き読み出しが行われるように且つ前記明るさが比較的低いときには前記加算読み出しが行われるように前記切り替えを行う。
また例えば、前記読出制御部は、前記感度が比較的低い状態から比較的高い状態へと移行する過程において、前記間引き読み出しのみが連続的に行われる区間と前記加算読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設ける、若しくは、前記感度が比較的高い状態から比較的低い状態へと移行する過程において、前記加算読み出しのみが連続的に行われる区間と前記間引き読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設けるようにしてもよい。又は、前記読出制御部は、前記明るさが比較的高い状態から比較的低い状態へと移行する過程において、前記間引き読み出しのみが連続的に行われる区間と前記加算読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設ける、若しくは、前記明るさが比較的低い状態から比較的高い状態へと移行する過程において、前記加算読み出しのみが連続的に行われる区間と前記間引き読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設けるようにしてもよい。
間引き読み出しにて得た画像と加算読み出しにて得た画像との間には、読み出し方式の相違に起因する画質の相違が生じることがあるが、上記のような制御を行うことにより、読み出し方式の切り替え時に発生しうる画質の急激な変化を軽減することが可能となる。
また例えば、前記撮像素子を用いて得た撮影画像の解像度を向上させる第1画像処理及び前記撮影画像のノイズを低減する第2画像処理を用いて、前記撮影画像から出力画像を生成する画像処理部を当該撮像装置に更に設けるようにしても良い。そして、例えば、前記画像処理部は、前記加算読み出しにて前記撮影画像が取得された場合において、前記感度が比較的低いときには前記出力画像に対して前記第2画像処理よりも前記第1画像処理が強く寄与するように、且つ、前記感度が比較的高いときには前記出力画像に対して前記第1画像処理よりも前記第2画像処理が強く寄与するように前記出力画像の生成を行う、或いは、前記明るさが比較的高いときには前記出力画像に対して前記第2画像処理よりも前記第1画像処理が強く寄与するように、且つ、前記明るさが比較的低いときには前記出力画像に対して前記第1画像処理よりも前記第2画像処理が強く寄与するように前記出力画像の生成を行い、前記第2画像処理を前記出力画像へ寄与させずに前記第1画像処理により前記出力画像を生成する、或いは、前記出力画像に対して前記第2画像処理よりも前記第1画像処理が強く寄与するように前記出力画像を生成するようにしてもよい。
これにより、解像度向上とノイズ低減をバランス良く両立させることが可能となる。
また例えば、前記読出制御部は、前記動画像の撮影中に静止画像の取得が指示された場合、前記間引き読み出しを用いて前記静止画像が取得されるように前記切り替えを行うようにしても良い。
これにより、解像度の高い静止画像を得ることが可能となる。
また例えば、前記読出制御部は、前記間引き読み出しの実行の際、間引きの対象となる受光画素が互いに異なる複数の間引きパターンを用いて複数の撮影画像を取得させる、或いは、前記加算読み出しの実行の際、加算の対象となる受光画素の組み合わせが互いに異なる複数の加算パターンを用いて複数の撮影画像を取得させる。
複数画像に基づく解像度向上処理等を行う場合、複数画像間にはサブピクセル精度の位置ずれが存在している必要があるが、上述の如く複数の間引きパターン又は複数の加算パターンを用いることで、撮像装置が三脚等で固定されている場合においてもサブピクセル精度の位置ずれを発生させることが可能となる。
本発明に係る他の撮像装置は、撮像素子を用いて得た撮影画像の解像度を向上させる第1画像処理及び前記撮影画像のノイズを低減する第2画像処理を用いて、前記撮影画像から出力画像を生成する画像処理部を備えた撮像装置において、前記画像処理部は、撮影の感度が比較的低いときには前記出力画像に対して前記第2画像処理よりも前記第1画像処理が強く寄与するように、且つ、前記感度が比較的高いときには前記出力画像に対して前記第1画像処理よりも前記第2画像処理が強く寄与するように前記出力画像の生成を行う、或いは、被写体の明るさが比較的高いときには前記出力画像に対して前記第2画像処理よりも前記第1画像処理が強く寄与するように、且つ、前記明るさが比較的低いときには前記出力画像に対して前記第1画像処理よりも前記第2画像処理が強く寄与するように前記出力画像の生成を行うことを特徴とする。
これにより、解像度向上とノイズ低減をバランス良く両立させることが可能となる。
また例えば、上記他の撮像装置において、前記撮像素子は、被写体の光学像を光電変換する受光画素群から成り、前記受光画素群の一部を間引きつつ前記受光画素群の出力信号を読み出す間引き読み出しと、前記受光画素群に含まれる複数受光画素の出力信号を加算しながら読み出す加算読み出しとを、切り替えて実行する読出制御部を当該撮像装置は更に備えて、前記撮影画像を前記間引き読み出し又は前記加算読み出しにて取得し、前記画像処理部は、前記加算読み出しにて前記撮影画像が取得された場合において、前記感度が比較的低いときには前記出力画像に対して前記第2画像処理よりも前記第1画像処理が強く寄与するように、且つ、前記感度が比較的高いときには前記出力画像に対して前記第1画像処理よりも前記第2画像処理が強く寄与するように前記出力画像の生成を行う、或いは、前記明るさが比較的高いときには前記出力画像に対して前記第2画像処理よりも前記第1画像処理が強く寄与するように、且つ、前記明るさが比較的低いときには前記出力画像に対して前記第1画像処理よりも前記第2画像処理が強く寄与するように前記出力画像の生成を行い、前記間引き読み出しにて前記撮影画像が取得された場合においては、前記第2画像処理を前記出力画像へ寄与させずに前記第1画像処理により前記出力画像を生成する、或いは、前記出力画像に対して前記第2画像処理よりも前記第1画像処理が強く寄与するように前記出力画像を生成するようにしてもよい。
本発明によれば、解像度とSN比のバランスの良好化に寄与する撮像装置を提供することが可能となる。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
図1は、本発明の実施形態に係る撮像装置1の全体ブロック図である。撮像装置1は、符号11〜28によって参照される各部位を有する。撮像装置1は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置1内の各部位は、バス24又は25を介して、各部位間の信号(データ)のやり取りを行う。尚、表示部27及び/又はスピーカ28は撮像装置1の外部装置(不図示)に設けられたものである、と解釈するようにしても良い。
撮像部11は、撮像素子を用いて被写体の撮影を行う。図2は、撮像部11の内部構成図である。撮像部11は、光学系35と、絞り32と、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどから成る撮像素子33と、光学系35や絞り32を駆動制御するためのドライバ34と、を有している。光学系35は、撮像部11の画角を調節するためのズームレンズ30及び焦点を合わせるためのフォーカスレンズ31を含む複数枚のレンズから形成される。ズームレンズ30及びフォーカスレンズ31は光軸方向に移動可能である。CPU23からの制御信号に基づき、光学系35内におけるズームレンズ30及びフォーカスレンズ31の位置並びに絞り32の開度が制御されることによって、撮像部11の焦点距離(画角)及び焦点位置並びに撮像素子33への入射光量が制御される。
撮像素子33は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子33の各受光画素は、光学系35及び絞り32を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をAFE12(Analog Front End)に出力する。
AFE12は、撮像素子33(各受光画素)から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部13に出力する。AFE12における信号増幅の増幅率はCPU(Central Processing Unit)23によって制御される。映像信号処理部13は、AFE12の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク14は、撮像装置1の周辺音をアナログの音声信号に変換し、音声信号処理部15は、このアナログの音声信号をデジタルの音声信号に変換する。
圧縮処理部16は、映像信号処理部13からの映像信号及び音声信号処理部15からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ17は、DRAM(Dynamic Random Access Memory)などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ18は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部16による圧縮後の映像信号及び音声信号を記録する。
伸張処理部19は、外部メモリ18から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部19による伸張後の映像信号又は映像信号処理部13からの映像信号は、表示処理部20を介して、液晶ディスプレイ等から成る表示部27に送られて画像として表示される。また、伸張処理部19による伸張後の音声信号は、音声出力回路21を介してスピーカ28に送られて音として出力される。
TG(タイミングジェネレータ)22は、撮像装置1全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置1内の各部に与える。タイミング制御信号は、垂直同期信号Vsyncと水平同期信号Hsyncを含む。TG22は、更に、CPU23の制御の下、撮像素子33の駆動パルスを生成して撮像素子33に供給する。CPU23は、撮像装置1内の各部位の動作を統括的に制御する。操作部26は、動画像の撮影及び記録の開始/終了を指示するための録画ボタン26a、静止画像の撮影及び記録を指示するためのシャッタボタン26b、並びに、ズーム倍率を指定するためのズームボタン26c等を有し、ユーザによる各種操作を受け付ける。操作部26に対する操作内容はCPU23に伝達される。
撮像装置1の動作モードには、動画像及び静止画像の撮影が可能な撮影モードと、外部メモリ18に格納された動画像及び静止画像を表示部27に再生表示する再生モードと、が含まれる。操作部26に対する操作に応じて、各モード間の遷移は実施される。
撮影モードでは、規定のフレーム周期にて順次撮影が行われ、撮像素子33から撮影画像列が取得される。周知の如く、フレーム周期の逆数は、フレームレートと呼ばれる。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。また、画像を表すデータを画像データと呼ぶ。画像データも、映像信号の一種である。1つのフレーム周期分の画像データによって1枚分の画像が表現される。映像信号処理部13は、AFE12の出力信号によって表される画像に対して各種画像処理を施すが、この画像処理を施す前の、AFE12の出力信号そのものによって表される画像を、原画像と呼ぶ。従って、1つのフレーム周期分の、AFE12の出力信号によって、1枚の原画像が表現される。
[撮像素子の受光画素配列]
図3(a)は、撮像素子33の有効画素領域内の受光画素配列を示している。撮像素子33の有効画素領域は長方形形状を有しており、その長方形の一頂点を撮像素子33の原点と捉える。原点が撮像素子33の有効画素領域の左上隅に位置するものとする。図3(b)に示す如く、撮像素子33の水平方向における有効画素数Mと垂直方向における有効画素数Nとの積(M×N)に相当する個数の受光画素が二次元配列されることによって、撮像素子33の有効画素領域が形成される。撮像素子33の有効画素領域内の各受光画素をPS[x,y]にて表す。ここで、x及びyは整数であり、1≦x≦M且つ1≦y≦Nを満たす。M及びNは、2以上の整数であり、例えば、数100〜数1000の範囲内の値をとる。撮像素子33の原点から見て、右側に位置する受光画素ほど、対応する変数xの値が大きくなり、下側に位置する受光画素ほど、対応する変数yの値が大きくなるものとする。撮像素子33において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。
図3(a)は、撮像素子33の有効画素領域内の受光画素配列を示している。撮像素子33の有効画素領域は長方形形状を有しており、その長方形の一頂点を撮像素子33の原点と捉える。原点が撮像素子33の有効画素領域の左上隅に位置するものとする。図3(b)に示す如く、撮像素子33の水平方向における有効画素数Mと垂直方向における有効画素数Nとの積(M×N)に相当する個数の受光画素が二次元配列されることによって、撮像素子33の有効画素領域が形成される。撮像素子33の有効画素領域内の各受光画素をPS[x,y]にて表す。ここで、x及びyは整数であり、1≦x≦M且つ1≦y≦Nを満たす。M及びNは、2以上の整数であり、例えば、数100〜数1000の範囲内の値をとる。撮像素子33の原点から見て、右側に位置する受光画素ほど、対応する変数xの値が大きくなり、下側に位置する受光画素ほど、対応する変数yの値が大きくなるものとする。撮像素子33において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。
図3(a)には、不等式「1≦x≦10」及び「1≦y≦10」を満たす合計100個の受光画素PS[x,y]が示されている。図3(a)に示される受光画素群の内、受光画素PS[1,1]の配置位置が最も撮像素子33の原点に近く、受光画素PS[10,10]の配置位置が最も撮像素子33の原点から遠い。
撮像装置1は、1枚のイメージセンサのみを用いる、いわゆる単板方式を採用している。図4は、撮像素子33の各受光画素の前面に配置されたカラーフィルタの配列を示している。図4に示される配列は、一般に、ベイヤー配列と呼ばれる。カラーフィルタには、光の赤成分のみを透過させる赤フィルタと、光の緑成分のみを透過させる緑フィルタと、光の青成分のみを透過させる青フィルタと、がある。赤フィルタは、受光画素PS[2nA−1,2nB]の前面に配置され、青フィルタは、受光画素PS[2nA,2nB−1]の前面に配置され、緑フィルタは、受光画素PS[2nA−1,2nB−1]又はPS[2nA,2nB]の前面に配置される。ここで、nA及びnBは整数である。尚、図4並びに後述の図5〜図7及び図22(a)〜(d)において、赤フィルタに対応する部位をRにて表し、緑フィルタに対応する部位をGにて表し、青フィルタに対応する部位をBにて表す。
赤フィルタ、緑フィルタ、青フィルタが前面に配置された受光画素を、夫々、赤受光画素、緑受光画素、青受光画素とも呼ぶ。各受光画素は、カラーフィルタを介して自身に入射した光を光電変換によって電気信号に変換する。この電気信号は、受光画素の画素信号を表し、以下、それを「受光画素信号」と呼ぶこともある。赤受光画素、緑受光画素及び青受光画素は、夫々、光学系の入射光の、赤成分、緑成分及び青成分にのみ反応する。
[受光画素信号の読み出し方式]
撮像素子33から受光画素信号を読み出す方式には、撮像素子33の有効画素領域内に位置する全ての受光画素からの受光画素信号を個別に読み出す全画素読み出し方式と、複数の受光画素信号を加算しながら読み出す加算読み出し方式と、幾つかの受光画素信号を間引いて読み出す間引き読み出し方式と、がある。
撮像素子33から受光画素信号を読み出す方式には、撮像素子33の有効画素領域内に位置する全ての受光画素からの受光画素信号を個別に読み出す全画素読み出し方式と、複数の受光画素信号を加算しながら読み出す加算読み出し方式と、幾つかの受光画素信号を間引いて読み出す間引き読み出し方式と、がある。
・全画素読み出し方式
全画素読み出し方式について説明する。全画素読み出し方式にて撮像素子33から受光画素信号を読み出す場合、撮像素子33の有効画素領域内に位置する全ての受光画素からの受光画素信号が個別にAFE12を介して映像信号処理部13に与えられる。
全画素読み出し方式について説明する。全画素読み出し方式にて撮像素子33から受光画素信号を読み出す場合、撮像素子33の有効画素領域内に位置する全ての受光画素からの受光画素信号が個別にAFE12を介して映像信号処理部13に与えられる。
従って、全画素読み出し方式を用いた場合、図5に示す如く、4×4受光画素についての(4×4)個の受光画素信号をAFE12にて増幅及びデジタル化したものが、原画像上における4×4画素についての(4×4)個の画素信号となる。尚、4×4受光画素とは、水平方向に4つの受光画素、垂直方向に4つの受光画素がマトリクス状に配列された計16個の受光画素を指す。4×4画素についても同様である。
全画素読み出し方式を用いた場合、図5に示す如く、受光画素PS[x,y]の受光画素信号をAFE12にて増幅及びデジタル化したものが、原画像上の画素位置[x,y]における画素の画素信号となる。原画像を含む任意の着目画像において、画素が配置される着目画像上の位置を、画素位置と呼ぶと共に記号[x,y]にて表す。便宜上、着目画像上の原点は、撮像素子33と同様、着目画像の左上隅に位置すると考える。着目画像上の原点から見て、右側に位置する着目画像上の画素ほど、対応する変数xの値が大きくなり、下側に位置する着目画像上の画素ほど、対応する変数yの値が大きくなるものとする。着目画像において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。
原画像では、1つの画素位置に対して、赤成分、緑成分及び青成分の内の何れかの1つの色成分のみの画素信号が存在している。原画像を含む任意の着目画像において、赤成分、緑成分及び青成分のデータを表す画素信号を、夫々、R信号、G信号及びB信号と呼ぶ。
全画素読み出し方式を用いた場合、原画像上の画素位置[2nA−1,2nB]に配置される画素の画素信号はR信号であり、原画像上の画素位置[2nA,2nB−1]に配置される画素の画素信号はB信号であり、原画像上の画素位置[2nA−1,2nB−1]又は[2nA,2nB]に配置される画素の画素信号はG信号である。
・加算読み出し方式
加算読み出し方式について説明する。加算読み出し方式にて撮像素子33から受光画素信号を読み出す場合、複数の受光画素信号を加算することによって得た加算信号が撮像素子33からAFE12を介して映像信号処理部13に与えられ、1つの加算信号によって、原画像上の1つの画素の画素信号が形成される。
加算読み出し方式について説明する。加算読み出し方式にて撮像素子33から受光画素信号を読み出す場合、複数の受光画素信号を加算することによって得た加算信号が撮像素子33からAFE12を介して映像信号処理部13に与えられ、1つの加算信号によって、原画像上の1つの画素の画素信号が形成される。
受光画素信号の加算の方法には様々な方法が存在するが、一例として、図6に、加算読み出し方式を用いた原画像の取得の様子を示す。図6に示す例では、1つの加算信号を生成するために、4つの受光画素信号が足し合わされる。この加算読み出し方式を用いる場合、撮像素子33の有効画素領域が複数の小受光画素領域に分割して捉えられる。複数の小受光画素領域の夫々は4×4受光画素から形成され、1つの小受光画素領域から4つの加算信号が生成される。小受光画素領域ごとに生成された4つの加算信号の夫々は、原画像上の画素の画素信号として読み出される。
例えば、受光画素PS[1,1]〜PS[4,4]から成る小受光画素領域に着目した場合、受光画素PS[1,1]、PS[3,1]、PS[1,3]及びPS[3,3]の受光画素信号を足し合わせて得た加算信号をAFE12にて増幅及びデジタル化したものが、原画像上の画素位置[1,1]における画素信号(G信号)となり、受光画素PS[2,1]、PS[4,1]、PS[2,3]及びPS[4,3]の受光画素信号を足し合わせて得た加算信号をAFE12にて増幅及びデジタル化したものが、原画像上の画素位置[2,1]における画素信号(B信号)となり、受光画素PS[1,2]、PS[3,2]、PS[1,4]及びPS[3,4]の受光画素信号を足し合わせて得た加算信号をAFE12にて増幅及びデジタル化したものが、原画像上の画素位置[1,2]における画素信号(R信号)となり、受光画素PS[2,2]、PS[4,2]、PS[2,4]及びPS[4,4]の受光画素信号を足し合わせて得た加算信号をAFE12にて増幅及びデジタル化したものが、原画像上の画素位置[2,2]における画素信号(G信号)となる。
このような加算読み出し方式による読み出しを各小受光画素領域に対して実行する。これにより、原画像上の画素位置[2nA−1,2nB]に配置される画素の画素信号はR信号となり、原画像上の画素位置[2nA,2nB−1]に配置される画素の画素信号はB信号となり、原画像上の画素位置[2nA−1,2nB−1]又は[2nA,2nB]に配置される画素の画素信号はG信号となる。
・間引き読み出し方式
間引き読み出し方式について説明する。間引き読み出し方式にて撮像素子33から受光画素信号を読み出す場合、幾つかの受光画素信号が間引かれる。即ち、撮像素子33の有効画素領域内の全受光画素の内、一部の受光画素についての受光画素信号のみが撮像素子33からAFE12を介して映像信号処理部13に与えられ、映像信号処理部13に与えられた1つの受光画素信号によって、原画像上の1つの画素の画素信号が形成される。
間引き読み出し方式について説明する。間引き読み出し方式にて撮像素子33から受光画素信号を読み出す場合、幾つかの受光画素信号が間引かれる。即ち、撮像素子33の有効画素領域内の全受光画素の内、一部の受光画素についての受光画素信号のみが撮像素子33からAFE12を介して映像信号処理部13に与えられ、映像信号処理部13に与えられた1つの受光画素信号によって、原画像上の1つの画素の画素信号が形成される。
受光画素信号の間引きの方法には様々な方法が存在するが、一例として、図7に、間引き読み出し方式を用いた原画像の取得の様子を示す。この例では、撮像素子33の有効画素領域が複数の小受光画素領域に分割して捉えられる。複数の小受光画素領域の夫々は4×4受光画素から形成される。1つの小受光画素領域から4つの受光画素信号のみが原画像上の画素の画素信号として読み出される。
例えば、受光画素PS[1,1]〜PS[4,4]から成る小受光画素領域に着目した場合、受光画素PS[2,2]、PS[3,2]、PS[2,3]及びPS[3,3]の受光画素信号をAFE12にて増幅及びデジタル化したものが、夫々、原画像上の画素位置[1,1]、[2,1]、[1,2]及び[2,2]における画素信号となる。原画像上の画素位置[1,1]、[2,1]、[1,2]及び[2,2]における画素信号は、夫々、G信号、R信号、B信号及びG信号である。
このような間引き読み出し方式による読み出しを各小受光画素領域に対して実行する。これにより、原画像上の画素位置[2nA−1,2nB]に配置される画素の画素信号はB信号となり、原画像上の画素位置[2nA,2nB−1]に配置される画素の画素信号はR信号となり、原画像上の画素位置[2nA−1,2nB−1]又は[2nA,2nB]に配置される画素の画素信号はG信号となる。
以下、全画素読み出し方式、加算読み出し方式及び間引き読み出し方式による信号読み出しを、夫々、全画素読み出し、加算読み出し及び間引き読み出しと呼ぶ。全画素読み出し方式、加算読み出し方式及び間引き読み出し方式を、総称して駆動方式と呼ぶ。また、以下の説明において、単に加算読み出し方式又は加算読み出しと言った場合、それは図6を参照して説明した上記の加算読み出し方式又は加算読み出しを指し、単に間引き読み出し方式又は間引き読み出しと言った場合、それは図7を参照して説明した上記の間引き読み出し方式又は間引き読み出しを指すものとする。
全画素読み出しによって取得した原画像と、加算読み出し又は間引き読み出しによって取得した原画像は、同一の画角を有している。即ち、両原画像の撮影期間中において撮像装置1及び被写体が静止しているとすれば、両原画像は、同一の被写体の像を表している。
但し、全画素読み出しによって取得した原画像の画像サイズは(M×N)である一方で、加算読み出し又は間引き読み出しによって取得した原画像の画像サイズは(M/2×N/2)である。即ち、全画素読み出しによって取得した原画像の水平及び垂直方向の画素数はそれぞれM及びNである一方で、加算読み出し又は間引き読み出しによって取得した原画像の水平及び垂直方向の画素数はそれぞれM/2及びN/2である。
何れの読み出し方式を利用した場合も、原画像上において、R信号はモザイク状に配置されている。B及びG信号についても同様である。図1の映像信号処理部13は、このような原画像に対してデモザイキング処理と呼ばれる色補間処理を施すことにより原画像から色補間画像を生成することが可能である。色補間画像では、1つの画素位置に対して、R、G及びB信号が全て存在する、或いは、輝度信号Y及び色差信号U及びVが全て存在する。
撮像装置1は、シャッタボタン26bの押下操作に伴う静止画像の撮影時には、全画素読み出しにて原画像を生成することができる。録画ボタン26aの押下操作に伴う動画像の撮影時においても全画素読み出しにて原画像列を生成することができるが、撮像装置1は、動画像の撮影時において、加算読み出し又は間引き読み出しを切り替えつつ原画像列を生成する特徴的機能を備える。以下の説明は、特に記述なき限り、該特徴的機能が実現される場合における撮像装置1の動作説明である。
図8に、この特徴的機能を主として担う部位のブロック図を示す。主制御部51を、TG22及びCPU23によって、或いは、映像信号処理部13、TG22及びCPU23によって実現することができる。フレームメモリ52を、内部メモリ17に設けておくことができる。位置ずれ検出部53、解像度向上処理部54、ノイズ低減処理部55及び加重加算部56を、映像信号処理部13に設けておくことができる。
主制御部51は、主制御情報に基づいて、撮像素子33の駆動方式の制御、AFE12における信号増幅の増幅率の制御を行う(主制御情報については後述)。主制御部51の制御に従い、加算読み出し方式及び間引き読み出し方式の何れかにて撮像素子33から信号が読み出される。AFE12は、主制御部51の制御に従った増幅率gaにて撮像素子33の出力信号を増幅し、増幅後の信号をデジタル信号に変換する。尚、主制御部51は、主制御情報に基づいて重み係数kWの設定も行うが、その設定方法は後述される。
フレームメモリ52は、AFE12の出力信号に基づく入力画像の画像データを必要枚数分だけ一時記憶する。ここで、入力画像とは、上述した原画像又は色補間画像である。フレームメモリ52に記憶された画像データは、適宜、解像度向上処理部54及びノイズ低減処理部55に送られる。撮影によって得られた動画像に、図9に示されるような入力画像IN1、IN2、IN3、・・・が含まれているものとする。INiは、時刻tiの撮影によって得られた1枚の入力画像を指す(iは整数)。時刻ti+1は時刻tiよりも後に訪れる時刻であり、時刻ti及び時刻ti+1間の時間長さは、フレーム周期と一致する。従って、入力画像INi+1は入力画像INiの次に取得される入力画像である。
位置ずれ検出部53は、入力画像INi及びINi+1の画像データに基づいて、入力画像INi及びINi+1間の位置ずれ量を算出し、位置ずれ量を表す位置ずれ情報を生成する。位置ずれ量は、水平及び垂直成分を有する二次元量である。但し、位置ずれ検出部53にて算出される位置ずれ量は、画像の回転や拡大又は縮小等を更に含んだ幾何変換パラメータであっても良い。入力画像INiを基準にして考えると、入力画像INi+1は、入力画像INiを入力画像INi及びINi+1の位置ずれ量だけ位置ずれさせた画像であるとみなすことができる。位置ずれ量の導出に当たり、代表点マッチング法、ブロックマッチング法、勾配法などを利用した位置ずれ量推定アルゴリズムを用いることができる。ここで求められる位置ずれ量は、入力画像の画素間隔よりも分解能の高い、所謂サブピクセルの分解能を有している。つまり、入力画像内の隣接する2つの画素の間隔よりも短い距離を最小単位として位置ずれ量が算出される。サブピクセルの分解能を有する位置ずれ量の算出方法として、公知の算出方法を用いることができる。例えば、特開平11-345315号公報に記載された方法や、“奥富,「ディジタル画像処理」,第二版,CG−ARTS協会,2007年3月1日発行”に記載された方法(p.205参照)を用いればよい。
解像度向上処理部54は、位置ずれ情報に基づいて時間的に連続する複数枚の入力画像を合成することにより、撮像素子33の標本化によって生じる折り返し歪みを低減し、これによって入力画像の解像度を向上させる。撮像素子33では受光画素を用いてアナログ画像信号の標本化が行われるが、この標本化によって折り返し歪みが発生し、該折り返し歪みが各入力画像に混入する。解像度向上処理部54は、位置ずれ情報を用いた解像度向上処理によって、時間的に連続する複数枚の入力画像から折り返し歪みが低減された画像に相当する1枚の解像度向上画像を生成する。
解像度向上処理では、最新の入力画像を基準にして、最新の入力画像とそれ以前の1又は数フレーム分の入力画像を合成する。1枚の解像度向上画像を生成するために利用される入力画像の枚数は2以上であれば何枚でも良いが、説明の具体化上、原則として3枚の入力画像から1枚の解像度向上画像が生成されることを想定する。この場合、図10に示す如く、解像度向上処理では、入力画像INi−2及びINi−1間の位置ずれ量及び入力画像INi−1及びINi間の位置ずれ量に基づき、入力画像INi−2〜INiを合成することにより、入力画像INi−2〜INiよりも高い解像度を有する解像度向上画像210を生成する。解像度向上画像210にて表現される最大空間周波数は、入力画像INi−2〜INiのそれよりも大きい。入力画像INi−2〜INiに基づく解像度向上画像を、時刻tiの解像度向上画像と呼ぶ。上記解像度向上処理の方法として、公知の方法を含む任意の方法を利用可能である。尚、この種の解像度向上処理は、超解像処理とも呼ばれる。
ノイズ低減処理部55は、位置ずれ情報に基づいて、入力画像を含む複数枚の画像を合成することにより各入力画像に含まれるノイズを低減する。ここで低減されるノイズは、主として、入力画像ごとにランダムに発生するノイズ(所謂ランダムノイズ)である。ノイズ低減処理部55にて実行される、ノイズを低減するための画像処理を、ノイズ低減処理と呼び、ノイズ低減処理によって得られる画像をノイズ低減画像と呼ぶ。
ノイズ低減処理では、最新の入力画像を基準にして、最新の入力画像とそれ以前の1又は数フレーム分の入力画像(或いはノイズ低減画像)を合成する。ノイズ低減処理として、三次元ノイズ低減処理とも呼ばれる巡回型ノイズ低減処理を利用することができる。巡回型ノイズ低減処理では、入力画像INiが最新の入力画像として得られたとき、時刻ti−1及び時刻ti−1以前の入力画像に基づくノイズ低減画像(時刻ti−1のノイズ低減画像という)と、入力画像INiと、が合成されることで時刻tiのノイズ低減画像が生成される。この生成に際し、合成される各画像間の位置ずれ量が利用される。巡回型ノイズ低減処理を用いる場合、ノイズ低減処理部55から出力されるノイズ低減画像の画像データは、フレームメモリ52を介してノイズ低減処理部55に再入力される。時刻tiのノイズ低減画像は、ノイズ低減後の時刻tiの入力画像に相当する。
ノイズ低減処理部55におけるノイズ低減処理として、FIR型ノイズ低減処理を利用することもできる。FIR型ノイズ低減処理では、入力画像INiが最新の入力画像として得られたとき、例えば、入力画像INi−2及びINi−1間の位置ずれ量及び入力画像INi−1及びINi間の位置ずれ量に基づき入力画像INi−2〜INiを合成することで(即ち、入力画像INi−2〜INi間の位置ずれが打ち消されるように入力画像INi−2〜INiを位置合わせしつつ入力画像INi−2〜INiの対応画素信号を重み付け加算することで)時刻tiのノイズ低減画像を生成する。尚、FIR型ノイズ低減処理を用いる場合、ノイズ低減処理部55の出力データをフレームメモリ52に送る必要はない。
解像度向上処理及びノイズ低減処理の何れにおいても、動きが有ると判断される画像領域に対しては、多重像発生防止のため、最新の入力画像の画像データがそのまま最新の解像度向上画像及び最新のノイズ低減画像に含められる。動きが有ると判断される画像領域には動物体領域が含まれる。動物体領域とは、入力画像列から形成される動画像上で移動する動物体の画像データが存在する画像領域を指す。
加重加算部56は、主制御部51から送られてくる重み係数kWに従って、解像度向上画像とノイズ低減画像を合成することにより出力画像を生成する。時刻tiの解像度向上画像に対しては、時刻tiのノイズ低減画像が合成される。時刻tiの解像度向上画像及びノイズ低減画像に基づく出力画像を時刻tiの出力画像と呼ぶ。
時刻tiの解像度向上画像上の画素位置[x,y]における画素信号、時刻tiのノイズ低減画像上の画素位置[x,y]における画素信号及び時刻tiの出力画像上の画素位置[x,y]における画素信号を、夫々、VA[x,y]、VB[x,y]及びVOUT[x,y]にて表した場合、次式に従ってVOUT[x,y]が求められる。
VOUT[x,y]=kW×VA[x,y]+(1−kW)×VB[x,y]
VOUT[x,y]=kW×VA[x,y]+(1−kW)×VB[x,y]
出力画像列の画像データを、録画ボタン26aの押下操作に従って得られた動画像の画像データとして外部メモリ18に記録することができる。但し、入力画像列の画像データ、解像度向上画像列の画像データ及び/又はノイズ低減画像列の画像データを、外部メモリ18に記録することも可能である。
以下、主制御情報に基づく駆動方式の制御動作等の詳細を、第1〜第10実施例の中で説明する。矛盾が生じない限り、第1〜第10実施例の内、複数の実施例を組み合わせて実施することも可能であり、或る実施例に記載した事項を他の実施例に適用することも可能である。
<<第1実施例>>
第1実施例を説明する。第1実施例において、図8の主制御部51に与えられる主制御情報は、撮影の感度に応じた感度情報(換言すれば、撮像装置1の感度に応じた感度情報)である。感度情報によって撮像装置全体の信号増幅率gTOTALが規定される(感度情報は信号増幅率gTOTALそのものである、と考えても良い)。或る基準状態から見て、撮影の感度がk1倍になれば信号増幅率gTOTALもk1倍になり、信号増幅率gTOTALがk1倍になれば撮影の感度もk1倍になる(k1は任意の正の数)。
第1実施例を説明する。第1実施例において、図8の主制御部51に与えられる主制御情報は、撮影の感度に応じた感度情報(換言すれば、撮像装置1の感度に応じた感度情報)である。感度情報によって撮像装置全体の信号増幅率gTOTALが規定される(感度情報は信号増幅率gTOTALそのものである、と考えても良い)。或る基準状態から見て、撮影の感度がk1倍になれば信号増幅率gTOTALもk1倍になり、信号増幅率gTOTALがk1倍になれば撮影の感度もk1倍になる(k1は任意の正の数)。
撮像装置全体の信号増幅率gTOTALとは、信号処理の段階にて画素信号を増幅する時の増幅率と、撮像素子33の駆動方式に依存する増幅率goとの積である。前者の増幅率はAFE12における信号の増幅率gaである。後者の増幅率goは、間引き読み出し方式を基準として定められる。即ち、間引き読み出しの実行時における増幅率goは1である。或る一定条件下において、加算読み出しの実行時におけるAFE12の入力信号レベルが間引き読み出しの実行時におけるそれのk2倍である時、加算読み出しの実行時における増幅率goはk2である(k2>1)。図6に対応する加算読み出しが行われる場合には、4つの受光画素信号が足し合わされるため、加算読み出しの実行時における増幅率goは4である。即ち、間引き読み出しの実行時におけるAFE12の入力信号に比べて加算読み出しの実行時におけるAFE12の入力信号の方が、感度が4倍高いと言える。勿論、増幅率goについての数値「4」は、第1実施例を含む本実施形態で想定した具体的数値例に過ぎず、撮像素子33の特性や加算読み出しの加算方法に依存して、その数値は4以外となりうる。
上述の説明から明らかなように、撮像装置全体の信号増幅率gTOTALは、
「gTOTAL=ga×go」
によって表される。
「gTOTAL=ga×go」
によって表される。
信号増幅率gTOTALは、基本的に、入力画像の画像データに基づくAE評価値から決定される。AE評価値は、CPU23又は映像信号処理部13に内在するAE制御部(不図示)によって、入力画像ごとに算出される。注目入力画像のAE評価値は、注目入力画像内に設定されたAE評価領域内の画像の平均輝度である。注目入力画像についてのAE評価領域は、注目入力画像の全体画像領域であっても良いし、その一部であっても良い。AE制御部は、入力画像ごとに算出されるAE評価値に基づき、各入力画像の明るさが所望の明るさに保たれるように信号増幅率gTOTALを決定する。
例えば、時刻tiの入力画像についてのAE評価値がAEiであると共に所望の明るさを実現するために設定された基準AE評価値がAEREFである場合において、「AEREF=AEi×2」である時、時刻ti+jの入力画像の取得時における信号増幅率gTOTALが時刻tiの入力画像の取得時におけるそれの2倍になるように、AE制御部(又は主制御部51)は時刻ti以降の入力画像の取得時における信号増幅率gTOTALを設定する。jは通常は2以上であって、信号増幅率gTOTALは数フレームに亘り目標値に向かって徐々に変化せしめられるが、jは1であっても良い。逆に、「AEREF=AEi/2」であるならば、時刻ti+jの入力画像の取得時における信号増幅率gTOTALが時刻tiの入力画像の取得時におけるそれの1/2倍になるように、AE制御部(又は主制御部51)は時刻ti以降の入力画像の取得時における信号増幅率gTOTALを設定する。
尚、信号増幅率gTOTALを、ユーザの指示に従って決定するようにしても良い。信号増幅率gTOTALを指定するユーザ指示があった場合には、AE評価値に関係なく、ユーザ指示に従い信号増幅率gTOTALが決定される。例えば、ユーザは操作部26を用いて信号増幅率gTOTALを直接指定することができる。また例えば、ユーザは操作部26を用いてISO感度を指定することで信号増幅率gTOTALを指定することもできる。ISO感度は、ISO(International Organization for Standardization)によって規定された感度を指し、ユーザはISO感度を調節することで入力画像の明るさ(輝度レベル)、ひいては出力画像の明るさを調節することができる。ISO感度が定まれば信号増幅率gTOTALは一意に定まり、或る状態を起点としてISO感度が2倍になれば信号増幅率gTOTALも2倍になる。
図11(a)に、各種増幅率gTOTAL、ga及びgoと駆動方式との関係を示し、図11(b)に、信号増幅率gTOTALと重み係数kWとの関係を示す。基本的に、被写体の明るさが高ければ撮影感度が低く設定されて信号増幅率gTOTALは低くなり、被写体の明るさが低ければ撮影感度が高く設定されて信号増幅率gTOTALは高くなる。
図11(a)に示す如く、第1実施例では、加算読み出し実行時における増幅率goが4であることに基づき、gTOTALが4未満である時、間引き読み出しにて入力画像の生成を行い、gTOTALが4以上である時、加算読み出しにて入力画像の生成を行う。また、図11(b)に示す如く、第1不等式「gTOTAL<TH1」の成立時には重み係数kWは1に設定され、第2不等式「TH1≦gTOTAL<TH2」の成立時にはgTOTALがTH1からTH2に向かって増大するにつれて重み係数kWは1から0に向かって線形的に(又は非線形的に)減少せしめられ、第3不等式「TH2≦gTOTAL」の成立時には重み係数kWは0に設定される。
このため、第1不等式「gTOTAL<TH1」の成立時には、出力画像に対してノイズ低減画像は全く寄与せず解像度向上画像そのものが出力画像となり、第3不等式「TH2≦gTOTAL」の成立時には、出力画像に対して解像度向上画像は全く寄与せずノイズ低減画像そのものが出力画像となる。第2不等式「TH1≦gTOTAL<TH2」の成立時には、解像度向上画像及びノイズ低減画像が出力画像の生成に寄与するが、第2不等式「TH1≦gTOTAL<TH2」が満たされる範囲内において、gTOTALがTH1に近いほど出力画像に対する解像度向上画像の寄与度合いがノイズ低減画像よりも相対的に強くなり、gTOTALがTH2に近いほど出力画像に対するノイズ低減画像の寄与度合いが解像度向上画像よりも相対的に強くなる。尚、重み係数kWが1の場合においても、出力画像に対する解像度向上画像の寄与度合い(即ち100%)がノイズ低減画像の寄与度合い(即ち0%)よりも相対的に強い、と言えるし、重み係数kWが0の場合においても、出力画像に対するノイズ低減画像の寄与度合い(即ち100%)が解像度向上画像の寄与度合い(即ち0%)よりも相対的に強い、と言える。
TH1及びTH2は、不等式「4≦TH1<TH2」を満たす所定の閾値である。従って、間引き読み出しにて撮像素子33が駆動される時においては、kW=1とされる。間引き読み出しの実行時においてgaが4になるまでkW=1とされることに対応して、加算読み出しの実行時においてもgaが4になるまでkW=1とするべく、閾値TH1は16に設定される。勿論、閾値TH1を16以外に設定することも可能である(例えばTH1は4でも良い)。
上述したように、間引き読み出し方式により得た画像データには折り返し歪みが多く発生するが、複数枚画像に基づく解像度向上処理の効果は、間引き読み出しの実行時の方が加算読み出し方式の実行時よりも大きい。しかし、低照度等に起因して信号増幅率gTOTALが高い場合に間引き読み出しを行うとノイズがかなり大きくなるため、そのような場合には、加算読み出しによってSN比(信号対雑音比)の低減を図った方が、動画像の全体画質の向上にとって有益である。これを考慮し、第1実施例では、高照度等に起因して信号増幅率gTOTALが低い場合には間引き読み出しを行うと共に解像度向上処理を出力画像に強く寄与させる一方、低照度等に起因して信号増幅率gTOTALが高い場合には加算読み出しを行うと共にノイズ低減処理を出力画像に強く寄与させる。これにより、解像度向上とノイズ低減の効果がバランス良く両立した出力画像列を生成することが可能となる。
<<第2実施例>>
第2実施例を説明する。第2実施例において、図8の主制御部51に与えられる主制御情報は、撮像装置1の被写体の明るさに応じた明るさ情報である。撮像装置1の被写体の明るさを、撮像装置1の被写体を照らす照度と読み替えることもできる。
第2実施例を説明する。第2実施例において、図8の主制御部51に与えられる主制御情報は、撮像装置1の被写体の明るさに応じた明るさ情報である。撮像装置1の被写体の明るさを、撮像装置1の被写体を照らす照度と読み替えることもできる。
上記明るさ情報によって明るさ制御値BCONTが規定される。明るさ制御値BCONTと、AFE12における増幅率ga及び撮像素子33の駆動方式に依存する増幅率goとの関係は、
「BCONT=ga×go」
によって表される。
「BCONT=ga×go」
によって表される。
明るさ制御値BCONTは、上述のAE評価値から決定することができる。時刻tiの入力画像についてのAE評価値を積「ga×go」にて割って得た商は、時刻tiにおける被写体の明るさが増大するにつれて増大し、時刻tiにおける被写体の明るさが減少するにつれて減少する。
便宜上、被写体の明るさが増大するにつれて明るさ制御値BCONTが減少するように、明るさ制御値BCONTは決定されるものとする。例えば、上記商の逆数そのもの又は該逆数に依存する値を明るさ制御値BCONTとして用いることができる。更に、明るさ制御値BCONTの取り得る値の最小値が1となるように正規化を行う。そうすると、BCONT、ga及びgoと駆動方式との関係は図12(a)のようになり、BCONTとkWとの関係は図12(b)のようになる。即ち、BCONT、ga及びgoと駆動方式との関係並びにBCONTとkWとの関係は、図11(a)及び(b)を参照して上述したgTOTAL、ga及びgoと駆動方式との関係並びにgTOTALとkWとの関係と同じとなる。
第1実施例の記載を第2実施例に適用する場合、第1実施例における信号増幅率gTOTALを明るさ制御値BCONTに読み替えれば足る。つまり、第2実施例では、被写体の明るさが比較的高いことに起因してBCONTが4未満である時、間引き読み出しにて入力画像の生成が行われ、被写体の明るさが比較的低いことに起因してBCONTが4以上である時、加算読み出しにて入力画像の生成が行われる。また、第1不等式「BCONT<TH1」の成立時には重み係数kWは1に設定され、第2不等式「TH1≦BCONT<TH2」の成立時にはBCONTがTH1からTH2に向かって増大するにつれて重み係数kWは1から0に向かって線形的に(又は非線形的に)減少せしめられ、第3不等式「TH2≦BCONT」の成立時には重み係数kWは0に設定される。
このため、第1不等式「BCONT<TH1」の成立時には、出力画像に対してノイズ低減画像は全く寄与せず解像度向上画像そのものが出力画像となり、第3不等式「TH2≦BCONT」の成立時には、出力画像に対して解像度向上画像は全く寄与せずノイズ低減画像そのものが出力画像となる。第2不等式「TH1≦BCONT<TH2」の成立時には、解像度向上画像及びノイズ低減画像が出力画像の生成に寄与するが、第2不等式「TH1≦BCONT<TH2」が満たされる範囲内において、BCONTがTH1に近いほど出力画像に対する解像度向上画像の寄与度合いがノイズ低減画像よりも相対的に強くなり、BCONTがTH2に近いほど出力画像に対するノイズ低減画像の寄与度合いが解像度向上画像よりも相対的に強くなる。
また、被写体の明るさを測定する測光センサ(不図示)が撮像装置1に設けられている場合には、測光センサの出力信号に基づく値を明るさ評価値BCONTとして用いるようにしてもよい。測光センサは、単位時間当たりの撮像素子33への入射光量を検出することによって被写体の明るさを測定し、その測定結果を表す信号を出力する。測光センサの出力信号から明るさ評価値BCONTを決定する場合においても、上述したように、被写体の明るさが増大するにつれて明るさ制御値BCONTが減少するように明るさ制御値BCONTは決定され、且つ、明るさ制御値BCONTの取り得る値の最小値が1となるように正規化が行われる。
第2実施例においても、高照度等に起因して明るさ制御値BCONTが低い場合には間引き読み出しを行うと共に解像度向上処理を出力画像に強く寄与させる一方、低照度等に起因して明るさ制御値BCONTが高い場合には加算読み出しを行うと共にノイズ低減処理を出力画像に強く寄与させる。これにより、第1実施例と同様、解像度向上とノイズ低減の効果がバランス良く両立した出力画像列を生成することが可能となる。
尚、「被写体の明るさが増大するにつれて明るさ制御値BCONTが減少する」という明るさ制御値BCONTの設定方法は、第1実施例との整合を考慮した一例に過ぎず、増減関係を逆にすることも可能である。
<<第3実施例>>
第3実施例を説明する。上述の第1又は第2実施例では、或る一定の撮影感度を境に又は被写体に関する或る一定の明るさを境に、撮像素子33の駆動方式が間引き読み出し方式及び加算読み出し方式間で単純に切り替えられているが、それらの境界付近において、間引き読み出し方式及び加算読み出し方式を時分割で併用するようにしても良い。第3実施例では、この併用を実現する。第3実施例において特に述べられない事項に関しては、第1又は第2実施例の記載が第3実施例にも適用される。
第3実施例を説明する。上述の第1又は第2実施例では、或る一定の撮影感度を境に又は被写体に関する或る一定の明るさを境に、撮像素子33の駆動方式が間引き読み出し方式及び加算読み出し方式間で単純に切り替えられているが、それらの境界付近において、間引き読み出し方式及び加算読み出し方式を時分割で併用するようにしても良い。第3実施例では、この併用を実現する。第3実施例において特に述べられない事項に関しては、第1又は第2実施例の記載が第3実施例にも適用される。
説明の具体化のため、主制御情報として、第1実施例に係る感度情報が用いられる場合の動作を説明する。図13は、第3実施例に係る、gTOTALと駆動方式との関係を示している。
図13に示す如く、gTOTALが4未満である時、間引き読み出しにて入力画像の生成が行われ、gTOTALが所定の閾値gTH以上である時、加算読み出しにて入力画像の生成が行われ、gTOTALが不等式「4≦gTOTAL<gTH」を満たす時、併用読み出しにて入力画像の生成が行われる。gTHは4より大きな所定の閾値である。第1実施例では特に意識して述べなかったが、或る区間においてgTOTALが4未満に維持されている時、その区間中で撮影される各入力画像は全て間引き読み出しにて生成される。同様に、或る区間においてgTOTALがgTH以上に維持されている時、その区間中で撮影される各入力画像は全て加算読み出しにて生成される。
併用読み出しとは、間引き読み出しと加算読み出しとを混合した状態で行う読み出しである。但し、ここにおける混合とは、1枚の入力画像の生成に際して間引き読み出しと加算読み出しを同時に(或いは組み合わせて)行うという意味ではなく、間引き読み出しと加算読み出しを時分割で行うという意味である。例えば、併用読み出しでは、間引き読み出しと加算読み出しを交互に行う。
図14は、撮像素子33の駆動方式が変化する様子のイメージ図である。図14の横軸は、gTOTALである。今、gTOTALが時間の経過と共に1を起点として増加していく状態を想定する(gTOTALが時間の経過と共に1へ向かって減少していく状態を想定しても良い)。この場合、図14の横軸は時間軸でもある。図14に示す如く、「gTOTAL<4」を満たす第1区間では間引き読み出しが連続的に行われ、間引き読み出しに基づく入力画像列が得られる。「4≦gTOTAL<gTH」を満たす第2区間では併用読み出しが行われる。図14に示す例では、第2区間において間引き読み出しと加算読み出しが交互に行われ、結果、間引き読み出しに基づく入力画像と加算読み出しに基づく入力画像が交互に得られる。「gTH≦gTOTAL」を満たす第3区間では加算読み出しが連続的に行われ、加算読み出しに基づく入力画像列が得られる。
第1実施例にて述べたように、gTOTALは、「gTOTAL=ga×go」を満たす。一方、駆動方式に依存する増幅率goは、間引き読み出しの実行時において1であり、加算読み出しの実行時において4である。従って、併用読み出しが行われる第2区間では、goが1と4との間で変化し、これに伴ってAFE12の増幅率gaは非連続に増減する。
第1実施例に係る感度情報が用いられる場合の動作を説明したが、第2実施例に係る明るさ情報が用いられる場合の動作も同様である。即ち、第3実施例にて上述した説明文中のgTOTALをBCONTに読み替えるようにしても良い。
尚、上述の説明では、併用読み出しが行われる第2区間において間引き読み出しと加算読み出しを交互に行っている、即ち、間引き読み出しと加算読み出しを1:1の比率で行っているが、その比率は1:1でなくても良い。例えば、その比率を2:1にした場合、第2区間において、間引き読み出しによる入力画像の取得を2回連続して行った後に加算読み出しによる入力画像の取得を1回行うという動作が繰り返し実行され、その比率を1:2にした場合、第2区間において、間引き読み出しによる入力画像の取得を1回行った後に加算読み出しによる入力画像の取得を2回連続して行うという動作が繰り返し実行される。上記比率をgTOTAL又はBCONTに応じて変化させるようにしても良い。例えば、第2区間において、gTOTAL又はBCONTが増大するにつれて、上記比率を、2:1から1:1を介して1:2へと変化させても良い。
間引き読み出しにて得られた画像と加算読み出しにて得られた画像との間には、画質の違いが生じうる。上述のような併用読み出しを用いることにより、間引き読み出しの連続駆動と加算読み出しの連続駆動との切り替えの際に発生しうる、画質の急激な変化が軽減される。
<<第4実施例>>
第4実施例を説明する。合成の対象となる入力画像が、間引き読み出しに基づく入力画像のみを含むのか、或いは、加算読み出しに基づく入力画像のみを含むのか、或いは、それらが混在しているのか、を考慮することなく解像度向上処理及びノイズ低減処理を行うことも可能ではある。即ち例えば、合成の対象となる3枚の入力画像INi−2〜INiの内、2枚が間引き読み出しに基づく入力画像であって且つ残りの1枚が加算読み出しに基づく入力画像であったとしても、それらが全て間引き読み出しに基づく入力画像である場合と同様の解像度向上処理及びノイズ低減処理を行うようにしても良い。但し、この方法によると、駆動方式の切り替え部分において、画質の変化が目立つ恐れがある。第4実施例では、合成対象を工夫することによって、該画質の変化を抑制する方法を説明する。
第4実施例を説明する。合成の対象となる入力画像が、間引き読み出しに基づく入力画像のみを含むのか、或いは、加算読み出しに基づく入力画像のみを含むのか、或いは、それらが混在しているのか、を考慮することなく解像度向上処理及びノイズ低減処理を行うことも可能ではある。即ち例えば、合成の対象となる3枚の入力画像INi−2〜INiの内、2枚が間引き読み出しに基づく入力画像であって且つ残りの1枚が加算読み出しに基づく入力画像であったとしても、それらが全て間引き読み出しに基づく入力画像である場合と同様の解像度向上処理及びノイズ低減処理を行うようにしても良い。但し、この方法によると、駆動方式の切り替え部分において、画質の変化が目立つ恐れがある。第4実施例では、合成対象を工夫することによって、該画質の変化を抑制する方法を説明する。
今、図15に示すような6枚の入力画像301〜306が連続的に得られた場合を想定した上で、第4実施例に係る解像度向上処理を説明する。入力画像301〜303は間引き読み出しによって得られた入力画像であり、入力画像304〜306は加算読み出しによって得られた入力画像である。入力画像301、302、303、304、305及び306は、夫々、時刻ti+1、ti+2、ti+3、ti+4、ti+5及びti+6の入力画像に相当する。
この場合、解像度向上処理部54は、
入力画像301及び302間の位置ずれ量及び入力画像302及び303間の位置ずれ量に基づく解像度向上処理によって、合成対象画像(301〜303)内の折り返し歪みが低減されるように入力画像301〜303を合成することで合成画像313を生成し、
合成画像313及び入力画像304間の位置ずれ量に基づく解像度向上処理によって、合成対象画像(313及び304)内の折り返し歪みが低減されるように合成画像313及び入力画像304を合成することで合成画像314を生成し、
合成画像314及び入力画像305間の位置ずれ量に基づく解像度向上処理によって、合成対象画像(314及び305)内の折り返し歪みが低減されるように合成画像314及び入力画像305を合成することで合成画像315を生成し、
入力画像304及び305間の位置ずれ量及び入力画像305及び306間の位置ずれ量に基づく解像度向上処理によって、合成対象画像(304〜306)内の折り返し歪みが低減されるように入力画像304〜306を合成することで合成画像316を生成する。そして、合成画像313、314、315及び316を、夫々、時刻ti+3、ti+4、ti+5及びti+6の解像度向上画像として出力する。
入力画像301及び302間の位置ずれ量及び入力画像302及び303間の位置ずれ量に基づく解像度向上処理によって、合成対象画像(301〜303)内の折り返し歪みが低減されるように入力画像301〜303を合成することで合成画像313を生成し、
合成画像313及び入力画像304間の位置ずれ量に基づく解像度向上処理によって、合成対象画像(313及び304)内の折り返し歪みが低減されるように合成画像313及び入力画像304を合成することで合成画像314を生成し、
合成画像314及び入力画像305間の位置ずれ量に基づく解像度向上処理によって、合成対象画像(314及び305)内の折り返し歪みが低減されるように合成画像314及び入力画像305を合成することで合成画像315を生成し、
入力画像304及び305間の位置ずれ量及び入力画像305及び306間の位置ずれ量に基づく解像度向上処理によって、合成対象画像(304〜306)内の折り返し歪みが低減されるように入力画像304〜306を合成することで合成画像316を生成する。そして、合成画像313、314、315及び316を、夫々、時刻ti+3、ti+4、ti+5及びti+6の解像度向上画像として出力する。
尚、入力画像301〜303の合成は、最新の入力画像である入力画像303を基準にして行われるため、合成画像313及び入力画像304間の位置ずれ量として入力画像303及び304間の位置ずれ量を用いることができる。同様に、合成画像314と入力画像305の合成は最新の入力画像である入力画像305を基準にして行われるため、合成画像314及び入力画像305間の位置ずれ量として入力画像304及び305間の位置ずれ量を用いることができる。
解像度向上処理に適用される複数画像の合成方法を説明したが、同様の合成方法を、ノイズ低減処理部55におけるノイズ低減処理に適用することができる。
第4実施例に係る合成方法によれば、駆動方式の切り替え部分において、解像度向上画像及びノイズ低減画像、ひいては出力画像の画質変化(駆動方式の切り替えに伴う画質変化)を軽減することができる。
<<第5実施例>>
第5実施例を説明する。第5実施例では、駆動方式の切り替え部分における画質変化を軽減する、他の方法を説明する。
第5実施例を説明する。第5実施例では、駆動方式の切り替え部分における画質変化を軽減する、他の方法を説明する。
図15に示すような6枚の入力画像301〜306が連続的に得られた場合を想定した上で、第5実施例に係る解像度向上処理を説明する。第4実施例で述べたように、入力画像301〜303は間引き読み出しによって得られた入力画像であり、入力画像304〜306は加算読み出しによって得られた入力画像である。
3枚の入力画像に基づく解像度向上処理では、3枚の入力画像間の位置ずれ量に基づく混合比率にて3枚の入力画像の対応画素信号を混合することにより、解像度向上画像の各画素信号が生成される。例えば、合成対象画像が入力画像301〜303である場合において、入力画像301、302及び303間の位置ずれ量に基づき入力画像301、302及び303の混合比率が1:1:8であると決定された時、解像度向上画像の画素位置[x,y]に対応する入力画像301の画素信号、入力画像302の画素信号及び入力画像303の画素信号を、混合比率1:1:8にて混合することで解像度向上画像の画素位置[x,y]における画素信号を生成する。入力画像301、302及び303に基づく解像度向上画像は、時刻ti+3の解像度向上画像である。入力画像301、302及び303は全て間引き読み出しに基づく入力画像であるため、この例において、時刻ti+3の解像度向上画像に対する間引き読み出しの寄与率は100%である。
更に、解像度向上処理において、入力画像302、303及び304間の位置ずれ量に基づき入力画像302、303及び304の混合比率が1:1:8であると決定された場合を考える。仮に、解像度向上画像の画素位置[x,y]に対応する入力画像302の画素信号、入力画像303の画素信号及び入力画像304の画素信号を、混合比率1:1:8にて混合したならば、時刻ti+4の解像度向上画像として生成される合成画像に対する間引き読み出しの寄与率は20%となり加算読み出しの寄与率は80%となる。そうすると、時刻ti+4の解像度向上画像は加算読み出しの性質を強く持つようになり、結果、駆動方式の切り替え部分において、画質の変化が急激になる恐れがある。
これを回避すべく、第5実施例では、駆動方式が間引き読み出しから加算読み出しへと変化する過程において、解像度向上画像に対する間引き読み出しの寄与率が徐々に変化するようにする(駆動方式が加算読み出しから間引き読み出しへと変化する過程においても同様)。
例えば、時刻ti+4の解像度向上画像に対する間引き読み出しの寄与率が下限値LLIM1未満とならないように合成処理を行うと良い。より具体的には例えば、入力画像302、303及び304間の位置ずれ量に基づき入力画像302、303及び304の混合比率が1:1:8であると決定された場合において、LLIM1が0.6に設定されているならば、上記混合比率を3:3:4へと修正し、解像度向上画像の画素位置[x,y]に対応する入力画像302の画素信号、入力画像303の画素信号及び入力画像304の画素信号を混合比率3:3:4にて混合することで、時刻ti+4の解像度向上画像における画素位置[x,y]の画素信号を生成すると良い。
同様に、時刻ti+5の解像度向上画像に対する間引き読み出しの寄与率が下限値LLIM2未満とならないように合成処理を行うと良い。より具体的には例えば、入力画像303、304及び305間の位置ずれ量に基づき入力画像303、304及び305の混合比率が1:5:5であると決定された場合において、LLIM2が0.2に設定されているならば、上記混合比率を2:4:4へと修正し、解像度向上画像の画素位置[x,y]に対応する入力画像303の画素信号、入力画像304の画素信号及び入力画像305の画素信号を混合比率2:4:4にて混合することで、時刻ti+5の解像度向上画像における画素位置[x,y]の画素信号を生成すると良い。
下限値LLIM1及びLLIM2は、0よりも大きく且つ1よりも小さい。このため、駆動方式切り替え直後の解像度向上画像(本例において、時刻ti+4及びti+5の解像度向上画像)に対する駆動方式切り替え前の入力画像(本例において、間引き読み出しに基づく入力画像)の寄与率が、一定比率以上確保される。下限値LLIM1及びLLIM2は同じ値であっても良いが、滑らかな比率変更を実現するため、「0<LLIM2<LLIM1<1」を満たすように下限値LLIM1及びLLIM2を設定することが望ましい。
解像度向上処理に適用される複数画像の合成方法を説明したが、同様の合成方法を、ノイズ低減処理部55におけるノイズ低減処理に適用することができる。
第5実施例に係る合成方法によれば、駆動方式の切り替え部分において、解像度向上画像及びノイズ低減画像、ひいては出力画像の画質変化(駆動方式の切り替えに伴う画質変化)を軽減することができる。
<<第6実施例>>
第6実施例を説明する。上述の各説明では、駆動方式の切り替え時に無効フレームが発生しないことが想定されている。無効フレームとは、駆動方式の切り替え時において、一時的に撮像素子33から有効な受光画素信号が取得できないフレームを指す。撮像素子33の特性に応じて、無効フレームが発生する場合と発生しない場合とがある。第6実施例では、図16に示す如く、駆動方式の切り替え時において無効フレームが発生する場合を想定する。
第6実施例を説明する。上述の各説明では、駆動方式の切り替え時に無効フレームが発生しないことが想定されている。無効フレームとは、駆動方式の切り替え時において、一時的に撮像素子33から有効な受光画素信号が取得できないフレームを指す。撮像素子33の特性に応じて、無効フレームが発生する場合と発生しない場合とがある。第6実施例では、図16に示す如く、駆動方式の切り替え時において無効フレームが発生する場合を想定する。
図16に示すような入力画像331、332、333、335及び336が連続的に得られた場合を想定した上で、第6実施例に係る解像度向上処理を説明する。入力画像331〜333は間引き読み出しによって得られた入力画像であり、入力画像335及び336は加算読み出しによって得られた入力画像である。入力画像331、332、333、335及び336は、夫々、時刻ti+1、ti+2、ti+3、ti+5及びti+6の入力画像に相当する。符号334は無効フレームを表している。本来、時刻ti+4における撮影によって、加算読み出しによる時刻ti+4の入力画像が得られるべきであるが、駆動方式の切り替えに一定の時間が必要なことに起因して時刻ti+4の入力画像が欠落し、無効フレーム334が発生している。
上述したように、解像度向上処理部54は、原則として、時間的に連続する3枚の入力画像から1枚の解像度向上画像を生成するが、無効フレーム334が発生した場合においては、以下に示す第1〜第3の無効フレーム対応方法の何れかにて、時刻ti+4〜時刻ti+6の解像度向上画像を生成することができる。
第1の無効フレーム対応方法を説明する。図17は、第1の無効フレーム対応方法のイメージ図である。第1の無効フレーム対応方法では、無効フレームを除いた比較的少数の入力画像を用いて解像度向上処理を行う。即ち、図17に示す如く、入力画像332及び333間の位置ずれ量に基づく解像度向上処理にて入力画像332及び333を合成することにより得た合成画像を時刻ti+4の解像度向上画像として生成し、入力画像333及び335間の位置ずれ量に基づく解像度向上処理にて入力画像333及び335を合成することにより得た合成画像を時刻ti+5の解像度向上画像として生成し、入力画像335及び336間の位置ずれ量に基づく解像度向上処理にて入力画像335及び336を合成することにより得た合成画像を時刻ti+6の解像度向上画像として生成する。
第1の無効フレーム対応方法に、第5実施例に係る方法を適用することもできる。この場合、例えば、時刻ti+5の解像度向上画像に対する間引き読み出しの寄与率が所定の下限値LLIM3未満とならないように合成処理が行われる(0<LLIM3<1)。即ち、入力画像333及び335間の位置ずれ量に基づき入力画像333及び335の混合比率が1:4であると決定された場合において、LLIM3が0.5に設定されているならば、上記混合比率を1:1へと修正し、時刻ti+5の解像度向上画像の画素位置[x,y]に対応する入力画像333の画素信号及び入力画像335の画素信号を混合比率1:1にて混合することで、時刻ti+5の解像度向上画像における画素位置[x,y]の画素信号を生成するようにしても良い。
第2の無効フレーム対応方法を説明する。第2の無効フレーム対応方法では、無効フレームが解像度向上処理の基準画像として取り扱われるタイミングにおいて、直前に生成された合成画像を繰り返し出力するようにする。無効フレームが解像度向上処理の基準画像として取り扱われるタイミングとは、無効フレームが最新のフレームとなるタイミングであり、図16又は図17に示す例では、時刻ti+4である。従って、第2の無効フレーム対応方法では、入力画像331〜333に基づく時刻ti+3の解像度向上画像が、そのまま時刻ti+4の解像度向上画像として、再度、加重加算部56に出力される。時刻ti+5及びti+6の解像度向上画像の生成方法は、第1の無効フレーム対応方法で述べたそれと同じとすることができる。
第3の無効フレーム対応方法を説明する。図18は、第3の無効フレーム対応方法のイメージ図である。第3の無効フレーム対応方法では、無効フレームの前及び/又は後フレームを用いて、無効フレームに対応する入力画像を補間する。第3の無効フレーム対応方法を採用する場合、図8に示すブロック図は、図19のブロック図に変更される。図19のブロック図は、図8のブロック図に対してフレーム補間部57を追加したものに等しい。フレーム補間部57を、図1の映像信号処理部13に設けておくことができる。フレーム補間部57は、無効フレームの直前のフレームにおける入力画像及び/又は無効フレームの直後のフレームにおける入力画像から、無効フレームに対応する入力画像を補間によって生成する。
具体的には、時刻ti+4において無効フレーム334が発生した場合、フレーム補間部57は、入力画像333そのもの又は入力画像335そのものを、補間画像334’として生成する。或いは、入力画像333及び335の合成画像を補間画像334’として生成する。補間画像334’は、時刻ti+4の入力画像として取り扱われた上で解像度向上処理部54等に与えられる。
入力画像333及び335を合成することによって補間画像334’を生成する際、単純平均合成又は動き補償合成を利用することができる。単純平均合成では、入力画像333の画素信号と入力画像335の画素信号を単純平均することで補間画像334’の対応画素信号を生成する。動き補償合成では、入力画像333及び335間のオプティカルフローより無効フレーム334のタイミングにおける画像を推定する処理を介して、動き補償の成された画像を補間画像334’として入力画像333及び335から生成する。動き補償の方法は公知であるため、それの詳細な説明は割愛する。
解像度向上処理に適用される無効フレーム対応方法を説明したが、同様の方法を、ノイズ低減処理部55におけるノイズ低減処理に適用することができる。
第6実施例によれば、無効フレームが発生するような場合においても、妥当な解像度向上画像、ノイズ低減画像及び出力画像を生成することが可能となる。
<<第7実施例>>
第7実施例を説明する。上述の説明では、1枚の出力画像を生成するに当たり1つの重み係数kWを画像全体に共通して用いることを想定しているが、第7実施例では、1枚の出力画像を生成するに当たり、値の異なる複数の重み係数(以下、領域別重み係数という)を用いる。
第7実施例を説明する。上述の説明では、1枚の出力画像を生成するに当たり1つの重み係数kWを画像全体に共通して用いることを想定しているが、第7実施例では、1枚の出力画像を生成するに当たり、値の異なる複数の重み係数(以下、領域別重み係数という)を用いる。
図20は、第7実施例に係る、撮像装置1の一部のブロック図である。図20のブロック図は、図8のブロック図に対してエッジ判定部58を追加したものに等しい。エッジ判定部58を、図1の映像信号処理部13に設けておくことができる。
エッジ判定部58には、各時刻における入力画像の画像データが与えられる。エッジ判定部58は、入力画像ごとに、入力画像の画像データに基づいて入力画像の全体画像領域をエッジ領域と平坦領域に切り分ける。エッジ領域とは、空間領域(spatial domain)上における濃淡変化が比較的大きな画像領域であり、平坦領域とは、該濃淡変化が比較的小さな画像領域である。エッジ領域と平坦領域の分類方法として公知の任意の方法を利用可能である。
具体的には例えば、入力画像の全体画像領域を複数の小ブロックに分割し、小ブロックごとにエッジ評価値を算出する。注目小ブロック内の各画素位置に対して微分フィルタ等のエッジ抽出フィルタを用いた空間フィルタリングを行い、注目小ブロック内の各画素位置に対するエッジ抽出フィルタの出力値の絶対値を積算し、得られた積算値を注目小ブロックについてのエッジ評価値とすることができる。そして、エッジ評価値が所定の基準評価値以上の小ブロックがエッジ領域に属するように且つエッジ評価値が該基準評価値未満の小ブロックが平坦領域に属するように各小フブロックを分類することで、入力画像の全体画像領域をエッジ領域と平坦領域に切り分けることができる。
エッジ判定部58は、入力画像ごとに、重み係数kWからエッジ領域に対する領域別重み係数kWAと平坦領域に対する領域別重み係数kWBを生成する。例えば、図21の入力画像350の全体画像領域が、ドット領域に対応するエッジ領域351と斜線領域に対応する平坦領域352に分類された場合を考える。この際、エッジ判定部58は、入力画像350に対する重み係数kWから、エッジ領域351に対する領域別重み係数kWAと平坦領域352に対する領域別重み係数kWBを、「kWA>kWB」となるように生成する。例えば、kWA及びkWBが共に0以上1以下となるという制限の下で、「kWA=kW」且つ「kWB=kW−ΔkW」となるように、或いは、「kWA=kW+ΔkW」且つ「kWB=kW−ΔkW」となるようにkWA及びkWBを決定する(ここで、ΔkWは0以上の所定値)。
入力画像350が時刻tiの入力画像であるとする。そうすると、図20の加重加算部56は、時刻tiの出力画像を生成する際、エッジ領域350に対応する画像領域に対しては「VOUT[x,y]=kWA×VA[x,y]+(1−kWA)×VB[x,y]」に従って出力画像の画素信号を生成し、平坦領域351に対応する画像領域に対しては「VOUT[x,y]=kWB×VA[x,y]+(1−kWB)×VB[x,y]」に従って出力画像の画素信号を生成する。上述したように、VA[x,y]、VB[x,y]及びVOUT[x,y]は、夫々、時刻tiの解像度向上画像上の画素位置[x,y]における画素信号、時刻tiのノイズ低減画像上の画素位置[x,y]における画素信号及び時刻tiの出力画像上の画素位置[x,y]における画素信号を表している。
ノイズはエッジ部分よりも平坦部分において視覚的に目立つことから、エッジ領域と比べて平坦領域に対するノイズ低減効果を強めた方が望ましい。第7実施例は、この要望に応える。
尚、エッジ領域におけるエッジ度合いに応じて(例えば、エッジ領域におけるエッジ評価値の平均値に応じて)又は平坦領域における平坦度合いに応じて(例えば、平坦領域におけるエッジ評価値の平均値に応じて)、kWA及び/又はkWBを変化させてもよい。
また、上述の例では、入力画像350の全体画像領域を2つの画像領域に分割し、分割によって得られた各画像領域に対して互いに異なる領域別重み係数を割り当てるようにしているが、入力画像350の全体画像領域を3つ以上の画像領域に分割し、分割によって得られた各画像領域に対して互いに異なる領域別重み係数を割り当てるようにしても良い。上記3つ以上の画像領域の1つは、人物の顔の画像データが存在する顔領域であっても良い。
また、画素単位で重み係数を設定するようにしても良い。画素単位で設定される重み係数を、便宜上、画素重み係数と呼ぶ。画素単位で重み係数を設定する場合、入力画像の画素位置ごとにエッジ量を求める。画素位置のエッジ量とは、当該画素位置を中心とした局所領域内画像の濃淡変化の強さを表す。入力画像において、注目画素位置に対して微分フィルタ等のエッジ抽出フィルタを用いた空間フィルタリングを行い、注目画素位置に対するエッジ抽出フィルタの出力値の絶対値を注目画素位置におけるエッジ量として求めることができる。
注目画素位置[x,y]に対するエッジ量及び画素重み係数を夫々VEDGE[x,y]及びk[x,y]にて表すと共に、注目画素位置[x,y]に対して重み用ゲインgainEDGE[x,y]を定義する。重み用ゲインgainEDGE[x,y]は、不等式「gainL≦gainEDGE[x,y]≦gainH」を満たす範囲内で、エッジ量VEDGE[x,y]に応じて設定される。ここで、gainL<1、且つ、gainH>1、である。
エッジ判定部58は、注目画素位置[x,y]に対するエッジ量VEDGE[x,y]が増大するにつれて、注目画素位置[x,y]に対する重み用ゲインgainEDGE[x,y]をgainLからgainHに向けて増大させる。つまり、VEDGE[x,y]が大きいほどgainEDGE[x,y]をgainHに近づけ、VEDGE[x,y]が小さいほどgainEDGE[x,y]をgainLに近づける。そして、エッジ判定部58は、注目画素位置[x,y]に対する画素重み係数k[x,y]を、次式に従って決定する。
k[x,y]=kW×gainEDGE[x,y]
k[x,y]=kW×gainEDGE[x,y]
画素重み係数は入力画像の画素位置ごとに求められる。画素重み係数が求められた場合、加重加算部56は、時刻tiの出力画像を生成する際において、画素位置ごとに値が異なり得る画素重み係数を用い、「VOUT[x,y]=k[x,y]×VA[x,y]+(1−k[x,y])×VB[x,y]」に従って出力画像の画素信号を生成するようにする。これにより、エッジ量が比較的大きな画素位置に対しては画素重み係数が比較的大きくなって出力画像に対する解像度向上画像の寄与度合いが相対的に強くなり、エッジ量が比較的小さな画素位置に対しては画素重み係数が比較的小さくなって出力画像に対するノイズ低減画像の寄与度合いが相対的に強くなる。
<<第8実施例>>
第8実施例を説明する。上述の各説明では、間引き読み出しにて用いられる間引きパターンが常に同じであることを想定しているが、フレーム毎に、間引きパターンを変更するようにしても良い。間引きパターンとは、受光画素信号の読み出し時に間引きの対象となる受光画素のパターンを指す。
第8実施例を説明する。上述の各説明では、間引き読み出しにて用いられる間引きパターンが常に同じであることを想定しているが、フレーム毎に、間引きパターンを変更するようにしても良い。間引きパターンとは、受光画素信号の読み出し時に間引きの対象となる受光画素のパターンを指す。
具体的には例えば、図22(a)〜(d)に示す第1、第2、第3及び第4の間引きパターンを利用することができる。図22(a)〜(d)の夫々において、丸枠内の受光画素の画素信号が読み出され、丸枠外の受光画素が間引かれる。第1、第2、第3及び第4の間引きパターン間で、間引きの対象となる受光画素は異なる。
16個の受光画素PS[4p+1,4q+1]〜PS[4p+4,4q+4]から成る小受光画素領域に着目した場合(p及びqは自然数)、
第1の間引きパターンでは、受光画素PS[4p+1,4q+1]、PS[4p+2,4q+1]、PS[4p+1,4q+2]及びPS[4p+2,4q+2]の画素信号のみが読み出され、
第2の間引きパターンでは、受光画素PS[4p+3,4q+1]、PS[4p+4,4q+1]、PS[4p+3,4q+2]及びPS[4p+4,4q+2]の画素信号のみが読み出され、
第3の間引きパターンでは、受光画素PS[4p+1,4q+3]、PS[4p+2,4q+3]、PS[4p+1,4q+4]及びPS[4p+2,4q+4]の画素信号のみが読み出され、
第4の間引きパターンでは、受光画素PS[4p+3,4q+3]、PS[4p+4,4q+3]、PS[4p+3,4q+4]及びPS[4p+4,4q+4]の画素信号のみが読み出される。
第1の間引きパターンでは、受光画素PS[4p+1,4q+1]、PS[4p+2,4q+1]、PS[4p+1,4q+2]及びPS[4p+2,4q+2]の画素信号のみが読み出され、
第2の間引きパターンでは、受光画素PS[4p+3,4q+1]、PS[4p+4,4q+1]、PS[4p+3,4q+2]及びPS[4p+4,4q+2]の画素信号のみが読み出され、
第3の間引きパターンでは、受光画素PS[4p+1,4q+3]、PS[4p+2,4q+3]、PS[4p+1,4q+4]及びPS[4p+2,4q+4]の画素信号のみが読み出され、
第4の間引きパターンでは、受光画素PS[4p+3,4q+3]、PS[4p+4,4q+3]、PS[4p+3,4q+4]及びPS[4p+4,4q+4]の画素信号のみが読み出される。
間引き読み出しを行うべき区間において、用いる間引きパターンを上記の4つの間引きパターンの間で順次変更しながら間引き読み出しを行い、間引きパターンの異なる4枚の入力画像を用いた解像度向上処理により1枚の解像度向上画像を生成することができる。例えば、間引き読み出しを行うべき区間に時刻ti+1〜ti+4が含まれている場合、時刻ti+1、ti+2、ti+3及びti+4において、夫々、第1、第2、第3及び第4の間引きパターンによる間引き読み出しを行って時刻ti+1、ti+2、ti+3及びti+4の入力画像を取得し、時刻ti+1〜ti+4の入力画像間の位置ずれ量に基づく解像度向上処理によって時刻ti+4の解像度向上画像を生成することができる。
アナログの光学像を撮像素子33にて標本化する時の標本化位置は、第1、第2、第3及び第4の間引きパターン間で異なる。従って、時刻ti+1〜ti+4の入力画像間の位置ずれ量は、第1、第2、第3及び第4の間引きパターン間における標本化位置の相違を考慮した上で求められる。互いに異なる複数の間引きパターンを用いて得た複数の画像に基づく解像度向上処理として、公知の方法(例えば、特開2009−124621号公報に記載の超解像処理方法)を利用することが可能である。
尚、ノイズ低減処理部55では、上記標本化位置の相違を解消する処理を行ってからノイズ低減処理を行えば良い、或いは、上記標本化位置の相違を考慮した上でノイズ低減処理を行えば良い。また、上述の例では、用いる間引きパターンを4種類の間引きパターンの間で順次変更しながら間引き読み出しを行っているが、用いる間引きパターンの種類の総数は、2以上であれば幾つでもよい。例えば、間引き読み出しを行うべき区間において、第1の間引きパターンによる間引き読み出しと第4の間引きパターンによる間引き読み出しを交互に行うようにしても良い。
解像度向上処理において、複数枚の画像を用いた超解像処理を用いる場合、隣接フレーム間でサブピクセル単位の位置ずれが発生している必要がある。撮像装置1の筐体(不図示)を手で保持する場合には、手ぶれによってサブピクセル単位の位置ずれの発生が期待される。但し、撮像装置1の筐体が三脚等で固定されている場合には、そのような位置ずれが得られないこともある。しかしながら、第8実施例によれば、隣接フレーム間で標本化位置が変化するため、撮像装置1の筐体が三脚等で固定されている場合においても、良好な解像度向上効果を得ることができる。
間引き読み出しが行われるべき区間において、フレーム毎に間引きパターンを変更する方法を説明したが、同様の方法を加算読み出しにも適用することができる。即ち、加算読み出しが行われるべき区間において、フレーム毎に加算パターンを変更するようにしても良い。加算パターンとは、加算信号の生成時に加算の対象となる受光画素の組み合わせパターンを指す。例えば、特開2009−124621号公報に記載された複数の加算パターンを利用することができる(但し、本願実施形態と特開2009−124621号公報の実施形態との間で、赤フィルタと青フィルタの位置関係が逆になっていることに留意すべきである)。図23(a)及び(b)並びに図24(a)及び(b)に、第8実施例にて利用可能な第1〜第4の加算パターンを示す。図23(a)等において、黒丸を囲む4つの矢印の根元に位置する4つの受光画素の画素信号が足しあわされる様子が示されている。
第1、第2、第3及び第4の加算パターン間で、加算の対象となる受光画素の組み合わせは異なる。例えば、原画像上の画素位置[1,1]における画素信号は、
第1の加算パターンの利用時においては受光画素PS[1,1]、PS[3,1]、PS[1,3]及びPS[3,3]の受光画素信号の加算信号から生成され、
第2の加算パターンの利用時においては受光画素PS[3,1]、PS[5,1]、PS[3,3]及びPS[5,3]の受光画素信号の加算信号から生成され、
第3の加算パターンの利用時においては受光画素PS[1,3]、PS[3,3]、PS[1,5]及びPS[3,5]の受光画素信号の加算信号から生成され、
第4の加算パターンの利用時においては受光画素PS[3,3]、PS[5,3]、PS[3,5]及びPS[5,5]の受光画素信号の加算信号から生成される。
第1の加算パターンの利用時においては受光画素PS[1,1]、PS[3,1]、PS[1,3]及びPS[3,3]の受光画素信号の加算信号から生成され、
第2の加算パターンの利用時においては受光画素PS[3,1]、PS[5,1]、PS[3,3]及びPS[5,3]の受光画素信号の加算信号から生成され、
第3の加算パターンの利用時においては受光画素PS[1,3]、PS[3,3]、PS[1,5]及びPS[3,5]の受光画素信号の加算信号から生成され、
第4の加算パターンの利用時においては受光画素PS[3,3]、PS[5,3]、PS[3,5]及びPS[5,5]の受光画素信号の加算信号から生成される。
加算読み出しを行うべき区間において、用いる加算パターンを上記の4つの加算パターンの間で順次変更しながら加算読み出しを行い、加算パターンの異なる4枚の入力画像を用いた解像度向上処理により1枚の解像度向上画像を生成することができる。例えば、加算読み出しを行うべき区間に時刻ti+1〜ti+4が含まれている場合、時刻ti+1、ti+2、ti+3及びti+4において、夫々、第1、第2、第3及び第4の加算パターンによる加算読み出しを行って時刻ti+1、ti+2、ti+3及びti+4の入力画像を取得し、時刻ti+1〜ti+4の入力画像間の位置ずれ量に基づく解像度向上処理によって時刻ti+4の解像度向上画像を生成することができる。
この際、時刻ti+1〜ti+4の入力画像間の位置ずれ量は、第1、第2、第3及び第4の加算パターン間における標本化位置の相違を考慮した上で求められる。互いに異なる複数の加算パターンを用いて得た複数の画像に基づく解像度向上処理として、公知の方法(例えば、特開2009−124621号公報に記載の超解像処理方法)を利用することが可能である。尚、ノイズ低減処理部55では、上記標本化位置の相違を解消する処理を行ってからノイズ低減処理を行えば良い、或いは、上記標本化位置の相違を考慮した上でノイズ低減処理を行えば良い。また、上述の例では、用いる加算パターンを4種類の加算パターンの間で順次変更しながら加算読み出しを行っているが、用いる加算パターンの種類の総数は、2以上であれば幾つでもよい。
<<第9実施例>>
第9実施例を説明する。上述の説明では、間引き読み出しにて得られた入力画像に基づいて出力画像を生成する場合には、重み係数kWを1に設定することで出力画像にノイズ低減処理を寄与させないことを想定しているが(図11(a)及び(b)並びに図12(a)及び(b)参照)、その場合において、出力画像にノイズ低減処理を寄与させることも可能である。
第9実施例を説明する。上述の説明では、間引き読み出しにて得られた入力画像に基づいて出力画像を生成する場合には、重み係数kWを1に設定することで出力画像にノイズ低減処理を寄与させないことを想定しているが(図11(a)及び(b)並びに図12(a)及び(b)参照)、その場合において、出力画像にノイズ低減処理を寄与させることも可能である。
これを実現するために、上述の他の実施例で述べた内容とは異なるが、第9実施例では、閾値TH1を4未満に設定する(図11(b)及び図12(b)参照)。究極的には、TH1を1に設定することも可能である。閾値TH1を4未満に設定することにより、間引き読み出しにて得られた入力画像に基づいて出力画像を生成する場合においても、重み係数kWが1未満に設定されることがあり、重み係数kWが1未満に設定されたならば、出力画像に解像度向上画像及びノイズ低減画像が寄与するようになる。
但し、間引き読み出しが実行される区間においては、出力画像に対してノイズ低減処理よりも解像度向上処理の方が相対的に強く寄与するように、閾値TH1を設定しておくと良い(又は、閾値TH1及びTH2を設定しておくと良い)。つまり、間引き読み出しが実行される区間においては、常に重み係数kWを0.5よりも大きく設定することで、出力画像に対してノイズ低減処理よりも解像度向上処理の方を相対的に強く寄与させると良い。この場合、間引き読み出しが実行される区間において、gTOTAL又はBCONTが大きくなるほど重み係数kWが小さくなるように、不等式「0.5<kW≦1」が満たされる範囲内で、重み係数kWがgTOTAL又はBCONTに応じて変化することになる。但し、間引き読み出しが実行される区間において、gTOTAL又はBCONTに関わらず、不等式「0.5<kW≦1」が満たされる範囲内で重み係数kWを一定値に固定するようにしても良い。
尚、図11(b)及び図12(b)に示した重み係数設定方法によれば、間引き読み出しの実行区間において設定される重み係数kWは、加算読み出しの実行区間において設定される重み係数kWよりも常に大きくなるが、加算読み出しの実行そのものによって元々ノイズ低減効果がもたらされることを考慮し、間引き読み出しの実行区間において設定される重み係数kWが、加算読み出しの実行区間において設定される重み係数kWよりも小さくなるように、上述してきた重み係数kWの設定方法を変形することも可能である(そのような変形は、特に、撮像素子33の駆動方式を間引き読み出し及び加算読み出し間で切り替えるタイミングの周辺区間において有益となりうる)。
<<第10実施例>>
第10実施例を説明する。1つの動画像の撮影中において(換言すれば、1つの動画像の撮影区間中において)、感度情報又は明るさ情報に基づき撮像素子33の駆動方式を加算読み出し方式及び間引き読み出し方式間で切り替える方法を上述の何れかの実施例において説明した。1つの動画像の撮影(換言すれば、1つの動画像の撮影区間)は、当該動画像の撮影開始指示がなされた時点から始まり、当該動画像の撮影終了指示がなされた時点で終了する。例えば、ユーザによる録画ボタン26a(図1参照)を1回目に押し下げる操作を動画像の撮影開始指示に割り当てることができ、ユーザによる録画ボタン26aを2回目に押し下げる操作を動画像の撮影終了指示に割り当てることができる。
第10実施例を説明する。1つの動画像の撮影中において(換言すれば、1つの動画像の撮影区間中において)、感度情報又は明るさ情報に基づき撮像素子33の駆動方式を加算読み出し方式及び間引き読み出し方式間で切り替える方法を上述の何れかの実施例において説明した。1つの動画像の撮影(換言すれば、1つの動画像の撮影区間)は、当該動画像の撮影開始指示がなされた時点から始まり、当該動画像の撮影終了指示がなされた時点で終了する。例えば、ユーザによる録画ボタン26a(図1参照)を1回目に押し下げる操作を動画像の撮影開始指示に割り当てることができ、ユーザによる録画ボタン26aを2回目に押し下げる操作を動画像の撮影終了指示に割り当てることができる。
1つの動画像の撮影中において(換言すれば、1つの動画像の撮影区間中において)、撮像素子33の駆動方式を切り替える方法は、上述した方法に限定されない。例えば、動画像の撮影中においては、原則として、上述の何れかの実施例にて述べたように感度情報又は明るさ情報に基づき撮像素子33の駆動方式を加算読み出し方式及び間引き読み出し方式間で切り替えるようにし、動画像の撮影中において静止画像撮影指示が成された場合に撮像素子33の駆動方式を間引き読み出し方式に設定するようにして良い。或いは例えば、動画像の撮影中においては、原則として撮像素子33の駆動方式を加算読み出し方式に設定し、動画像の撮影中において静止画像撮影指示が成された場合に撮像素子33の駆動方式を間引き読み出し方式に設定するようにして良い。
今、図25に示すような入力画像401〜408が連続的に得られた場合を想定した上で、第10実施例に係る駆動方式の設定方法を説明する。動画像の撮影開始指示及び撮影終了指示に従って取得されるべき動画像400は、入力画像401〜408又は入力画像401〜408に基づく複数の出力画像をフレームとして包含する。時刻ti+1〜ti+8は動画像400の撮影区間中の時刻である。入力画像401〜408は、それぞれ時刻ti+1〜ti+8の入力画像に相当する(上述したようにiは整数)。
図25に示す例では、時刻ti+3と時刻ti+4との間に静止画像撮影トリガが発生している。静止画像撮影トリガは、ユーザが静止画像撮影指示を撮像装置1に与えたときに撮像装置1内で発生する。静止画像撮影指示は、例えば、ユーザがシャッタボタン26b(図1参照)を押し下げることによって実現される。時刻ti+3及びti+4間に静止画像撮影トリガが発生した場合、図8等に示される主制御部51は、時刻ti+3以降に静止画像用の特定区間を設定する。この特定区間は、2枚以上の入力画像を撮影するための区間である。動画像400の撮影区間中、特定区間以外の区間においては、感度情報又は明るさ情報に基づき撮像素子33の駆動方式が加算読み出し方式及び間引き読み出し方式間で切り替えられる。或いは、動画像400の撮影区間中、特定区間以外の区間においては、撮像素子33の駆動方式を加算読み出し方式に固定するようにしても良い。一方、特定区間に撮影される各入力画像は、間引き読み出しによって取得される。
図25に示す例では、時刻ti+4及びti+5が特定区間に含められており、結果、特定区間内の入力画像としての入力画像404及び405が間引き読み出しによって取得されている。他方、特定区間外の入力画像である入力画像401〜403及び406〜408は、感度情報又は明るさ情報に基づき加算読み出し又は間引き読み出しを選択的に用いて取得される、或いは、加算読み出しを固定的に用いて取得される。図25の例では、入力画像401〜403及び406〜408が加算読み出しを用いて取得されている。
図8等を参照して上述してきた方法に従って、8枚の入力画像401〜408から8枚の出力画像を生成することができ、生成した8枚の出力画像の夫々を動画像400のフレームとして取り扱うことができる。入力画像401〜408から動画像400のフレームとなるべき出力画像を生成する際、第4〜第6実施例で述べた方法を適用して、駆動方式の切り替えを目立ちにくくするようにしても良い。
一方において、撮像装置1は、解像度向上処理部54(図8等参照)を用いて入力画像404及び405から1枚の静止画像420を生成することができる(図26参照)。
例えば、入力画像404及び405に基づく解像度向上画像を静止画像420として生成するようにしても良い。即ち例えば、入力画像404及び405間の位置ずれ量に基づき入力画像404及び405を合成することで解像度向上画像を生成し、この解像度向上画像を静止画像420として取り扱うようにしても良い。
或いは例えば、入力画像404及び405に基づく解像度向上画像と入力画像404及び405に基づくノイズ低減画像を生成し、生成した解像度向上画像及びノイズ低減画像を合成することで得た出力画像を静止画像420として取り扱うようにしても良い。この場合には、出力画像(静止画像420)に対してノイズ低減処理よりも解像度向上処理の方が相対的に強く寄与するように上述の重み係数kwを設定すると良い(即ち、0.5<kw<1にすると良い)。
また、間引き読み出しを用いて入力画像404及び405を取得する際、第8実施例にて述べた方法を適用するようにしても良い。即ち、入力画像404及び405の取得時に利用する間引きパターンを互いに異ならせるようにしても良い。また、静止画像420を動画像400のフレームとして流用することも可能である。
例えば、入力画像404及び405に基づく解像度向上画像を静止画像420として生成するようにしても良い。即ち例えば、入力画像404及び405間の位置ずれ量に基づき入力画像404及び405を合成することで解像度向上画像を生成し、この解像度向上画像を静止画像420として取り扱うようにしても良い。
或いは例えば、入力画像404及び405に基づく解像度向上画像と入力画像404及び405に基づくノイズ低減画像を生成し、生成した解像度向上画像及びノイズ低減画像を合成することで得た出力画像を静止画像420として取り扱うようにしても良い。この場合には、出力画像(静止画像420)に対してノイズ低減処理よりも解像度向上処理の方が相対的に強く寄与するように上述の重み係数kwを設定すると良い(即ち、0.5<kw<1にすると良い)。
また、間引き読み出しを用いて入力画像404及び405を取得する際、第8実施例にて述べた方法を適用するようにしても良い。即ち、入力画像404及び405の取得時に利用する間引きパターンを互いに異ならせるようにしても良い。また、静止画像420を動画像400のフレームとして流用することも可能である。
尚、図25の例では、特定区間中に間引き読み出しを用いて取得される入力画像の枚数が2となっているが、その枚数は3以上であっても良い。この場合、特定区間中に間引き読み出しを用いて取得された3枚以上の入力画像から、静止画像420に対応する静止画像が生成される。
静止画像撮影指示前の駆動方式が加算読み出し方式である場合、駆動方式を間引き読み出し方式に切り替えることによって入力画像のノイズが増加するものの、図25に示す如く、特定区間において入力画像を間引き読み出しによって取得することにより、解像度の高い静止画像を得ることが可能となる。
<<変形等>>
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈1〜注釈6を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈1〜注釈6を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
[注釈1]
増幅率gaは、信号処理の段階で画素信号を増幅する時の増幅率である。上述の説明では、説明の簡略化上、信号処理の段階における画素信号の増幅がAFE12においてのみ実行されると仮定し、増幅率gaはAFE12の増幅率そのものであると考えたが、AFE12の後段(即ち映像信号処理部13)においても画素信号の増幅が行われるのであれば、その増幅をも考慮した増幅率が増幅率gaとなる。即ち、AFE12の後段(即ち映像信号処理部13)においても画素信号の増幅が行われるのであれば、AFE12の増幅率とAFE12の後段(即ち映像信号処理部13)における増幅率との積を、増幅率gaとみなせばよい。
増幅率gaは、信号処理の段階で画素信号を増幅する時の増幅率である。上述の説明では、説明の簡略化上、信号処理の段階における画素信号の増幅がAFE12においてのみ実行されると仮定し、増幅率gaはAFE12の増幅率そのものであると考えたが、AFE12の後段(即ち映像信号処理部13)においても画素信号の増幅が行われるのであれば、その増幅をも考慮した増幅率が増幅率gaとなる。即ち、AFE12の後段(即ち映像信号処理部13)においても画素信号の増幅が行われるのであれば、AFE12の増幅率とAFE12の後段(即ち映像信号処理部13)における増幅率との積を、増幅率gaとみなせばよい。
[注釈2]
上述した受光画素の間引きの具体的方法は例示であり、それを様々に変更することができる。例えば、上述の間引き読み出しでは、4×4受光画素から4つの受光画素が読み出されるように間引きが行われるが、6×6受光画素から4つの受光画素が読み出されるように間引きを行っても良い。
上述した受光画素の間引きの具体的方法は例示であり、それを様々に変更することができる。例えば、上述の間引き読み出しでは、4×4受光画素から4つの受光画素が読み出されるように間引きが行われるが、6×6受光画素から4つの受光画素が読み出されるように間引きを行っても良い。
上述した受光画素信号の加算の具体的方法は例示であり、それを様々に変更することができる。例えば、上述の加算読み出しでは、4つの受光画素信号を加算することで原画像上の1つ画素の画素信号を生成しているが、4つ以外の受光画素信号(例えば、9又は16個の受光画素信号)を加算することで原画像上の1つ画素の画素信号を生成してもよい。加算される受光画素信号の個数に応じて、加算読み出し時における上述の増幅率goは変化しうる。
[注釈3]
上述の実施形態では、主制御情報に応じて間引き読み出しと加算読み出しを切り替え実行するという発明と、解像度向上画像とノイズ低減画像を合成する際の重み係数kWを主制御情報に応じて決定するという発明を同時に実施しているが、前者の発明のみを実施することも可能であるし、後者の発明のみを実施することも可能である。
上述の実施形態では、主制御情報に応じて間引き読み出しと加算読み出しを切り替え実行するという発明と、解像度向上画像とノイズ低減画像を合成する際の重み係数kWを主制御情報に応じて決定するという発明を同時に実施しているが、前者の発明のみを実施することも可能であるし、後者の発明のみを実施することも可能である。
[注釈4]
撮像素子33において、1枚のイメージセンサのみを用いる単板方式が採用されていることを前提として上述の実施形態を説明したが、3枚のイメージセンサを用いる三板方式を撮像素子33に適用しても良い。三板方式を利用する場合、上述のデモザイキング処理は不要となる。
撮像素子33において、1枚のイメージセンサのみを用いる単板方式が採用されていることを前提として上述の実施形態を説明したが、3枚のイメージセンサを用いる三板方式を撮像素子33に適用しても良い。三板方式を利用する場合、上述のデモザイキング処理は不要となる。
[注釈5]
図1の撮像装置1を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置1を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、その機能を実現するようにしてもよい
図1の撮像装置1を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置1を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、その機能を実現するようにしてもよい
[注釈6]
例えば、以下のように考えることができる。図8等に示される主制御部51は、撮像素子33の駆動方式(信号読み出し方式)を制御する読出制御部としての機能を備えている。更に、主制御部51は、重み係数kWを設定することによって出力画像に対する解像度向上処理とノイズ低減処理の寄与度を制御する機能も備える。撮像装置1には、解像度向上処理及びノイズ低減処理を用いて入力画像から出力画像を生成する画像処理部が設けられている。該画像処理部は、少なくとも解像度向上処理部54、ノイズ低減処理部55及び加重加算部56を備え、更に、位置ずれ検出部53、フレーム補間部57及びエッジ判定部58の一部又は全部を備えうる。主制御部51も、画像処理部の構成要素に含まれると考えることも可能である。
例えば、以下のように考えることができる。図8等に示される主制御部51は、撮像素子33の駆動方式(信号読み出し方式)を制御する読出制御部としての機能を備えている。更に、主制御部51は、重み係数kWを設定することによって出力画像に対する解像度向上処理とノイズ低減処理の寄与度を制御する機能も備える。撮像装置1には、解像度向上処理及びノイズ低減処理を用いて入力画像から出力画像を生成する画像処理部が設けられている。該画像処理部は、少なくとも解像度向上処理部54、ノイズ低減処理部55及び加重加算部56を備え、更に、位置ずれ検出部53、フレーム補間部57及びエッジ判定部58の一部又は全部を備えうる。主制御部51も、画像処理部の構成要素に含まれると考えることも可能である。
1 撮像装置
11 撮像部
12 AFE
13 映像信号処理部
33 撮像素子
51 主制御部
52 フレームメモリ
53 位置ずれ検出部
54 解像度向上処理部
55 ノイズ低減処理部
56 加重加算部
57 フレーム補間部
58 エッジ判定部
PS[x,y] 受光画素
11 撮像部
12 AFE
13 映像信号処理部
33 撮像素子
51 主制御部
52 フレームメモリ
53 位置ずれ検出部
54 解像度向上処理部
55 ノイズ低減処理部
56 加重加算部
57 フレーム補間部
58 エッジ判定部
PS[x,y] 受光画素
Claims (8)
- 被写体の光学像を光電変換する受光画素群から成る撮像素子と、
前記受光画素群の一部を間引きつつ前記受光画素群の出力信号を読み出す間引き読み出しと、前記受光画素群に含まれる複数受光画素の出力信号を加算しながら読み出す加算読み出しとを、切り替えて実行する読出制御部と、を備えて画像の撮影を行う撮像装置において、
前記読出制御部は、1つの動画像の撮影中に前記間引き読み出し及び前記加算読み出し間の切り替えを行う
ことを特徴とする撮像装置。 - 前記読出制御部は、撮影の感度に応じた情報又は被写体の明るさに応じた情報に基づき、前記間引き読み出し及び前記加算読み出し間の切り替えを行う
ことを特徴とする請求項1に記載の撮像装置。 - 前記読出制御部は、
前記感度が比較的低いときには前記間引き読み出しが行われるように且つ前記感度が比較的高いときには前記加算読み出しが行われるように前記切り替えを行う、或いは、
前記明るさが比較的高いときには前記間引き読み出しが行われるように且つ前記明るさが比較的低いときには前記加算読み出しが行われるように前記切り替えを行う
ことを特徴とする請求項2に記載の撮像装置。 - 前記読出制御部は、
前記感度が比較的低い状態から比較的高い状態へと移行する過程において、前記間引き読み出しのみが連続的に行われる区間と前記加算読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設ける、若しくは、前記感度が比較的高い状態から比較的低い状態へと移行する過程において、前記加算読み出しのみが連続的に行われる区間と前記間引き読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設ける、又は、
前記明るさが比較的高い状態から比較的低い状態へと移行する過程において、前記間引き読み出しのみが連続的に行われる区間と前記加算読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設ける、若しくは、前記明るさが比較的低い状態から比較的高い状態へと移行する過程において、前記加算読み出しのみが連続的に行われる区間と前記間引き読み出しのみが連続的に行われる区間との間に、前記間引き読み出しと前記加算読み出しが混合して行われる区間を設ける
ことを特徴とする請求項3に記載の撮像装置。 - 前記撮像素子を用いて得た撮影画像の解像度を向上させる第1画像処理及び前記撮影画像のノイズを低減する第2画像処理を用いて、前記撮影画像から出力画像を生成する画像処理部を更に備え、
前記画像処理部は、
前記加算読み出しにて前記撮影画像が取得された場合において、
前記感度が比較的低いときには前記出力画像に対して前記第2画像処理よりも前記第1画像処理が強く寄与するように、且つ、前記感度が比較的高いときには前記出力画像に対して前記第1画像処理よりも前記第2画像処理が強く寄与するように前記出力画像の生成を行う、或いは、
前記明るさが比較的高いときには前記出力画像に対して前記第2画像処理よりも前記第1画像処理が強く寄与するように、且つ、前記明るさが比較的低いときには前記出力画像に対して前記第1画像処理よりも前記第2画像処理が強く寄与するように前記出力画像の生成を行い、
前記間引き読み出しにて前記撮影画像が取得された場合においては、
前記第2画像処理を前記出力画像へ寄与させずに前記第1画像処理により前記出力画像を生成する、或いは、前記出力画像に対して前記第2画像処理よりも前記第1画像処理が強く寄与するように前記出力画像を生成する
ことを特徴とする請求項2〜請求項4の何れかに記載の撮像装置。 - 前記読出制御部は、前記動画像の撮影中に静止画像の取得が指示された場合、前記間引き読み出しを用いて前記静止画像が取得されるように前記切り替えを行う
ことを特徴とする請求項1に記載の撮像装置。 - 前記読出制御部は、
前記間引き読み出しの実行の際、間引きの対象となる受光画素が互いに異なる複数の間引きパターンを用いて複数の撮影画像を取得させる、或いは、
前記加算読み出しの実行の際、加算の対象となる受光画素の組み合わせが互いに異なる複数の加算パターンを用いて複数の撮影画像を取得させる
ことを特徴とする請求項1〜請求項6の何れかに記載の撮像装置。 - 撮像素子を用いて得た撮影画像の解像度を向上させる第1画像処理及び前記撮影画像のノイズを低減する第2画像処理を用いて、前記撮影画像から出力画像を生成する画像処理部を備えた撮像装置において、
前記画像処理部は、
撮影の感度が比較的低いときには前記出力画像に対して前記第2画像処理よりも前記第1画像処理が強く寄与するように、且つ、前記感度が比較的高いときには前記出力画像に対して前記第1画像処理よりも前記第2画像処理が強く寄与するように前記出力画像の生成を行う、或いは、
被写体の明るさが比較的高いときには前記出力画像に対して前記第2画像処理よりも前記第1画像処理が強く寄与するように、且つ、前記明るさが比較的低いときには前記出力画像に対して前記第1画像処理よりも前記第2画像処理が強く寄与するように前記出力画像の生成を行う
ことを特徴とする撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010195254A JP2011097568A (ja) | 2009-10-02 | 2010-09-01 | 撮像装置 |
US12/896,516 US20110080503A1 (en) | 2009-10-02 | 2010-10-01 | Image sensing apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009230661 | 2009-10-02 | ||
JP2010195254A JP2011097568A (ja) | 2009-10-02 | 2010-09-01 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011097568A true JP2011097568A (ja) | 2011-05-12 |
Family
ID=43822911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010195254A Pending JP2011097568A (ja) | 2009-10-02 | 2010-09-01 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20110080503A1 (ja) |
JP (1) | JP2011097568A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013051190A1 (ja) * | 2011-10-07 | 2013-04-11 | シャープ株式会社 | 固体撮像装置および電子情報機器 |
JP2013539319A (ja) * | 2010-09-30 | 2013-10-17 | アルカテル−ルーセント | 時空間積分を使用してビデオの圧縮測定値を生成するための装置および方法 |
JP2014241581A (ja) * | 2013-05-16 | 2014-12-25 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
KR20150013454A (ko) | 2012-05-14 | 2015-02-05 | 소니 주식회사 | 촬상 장치 및 촬상 방법, 전자 기기, 및 프로그램 |
JP2015216466A (ja) * | 2014-05-08 | 2015-12-03 | キヤノン株式会社 | 撮像装置の駆動方法、撮像システムの駆動方法 |
JP2018186512A (ja) * | 2015-12-18 | 2018-11-22 | クワントン オーピーピーオー モバイル テレコミュニケーションズ コーポレイション リミテッド | 画像センサの結像方法、結像装置及び電子装置 |
JP2022080778A (ja) * | 2020-11-18 | 2022-05-30 | 株式会社SensAI | 撮像システム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009100373A (ja) * | 2007-10-18 | 2009-05-07 | Sanyo Electric Co Ltd | ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器 |
JP5624228B2 (ja) * | 2011-12-27 | 2014-11-12 | 富士フイルム株式会社 | 撮像装置、撮像装置の制御方法、及び制御プログラム |
EP2967294B1 (en) * | 2013-03-15 | 2020-07-29 | DePuy Synthes Products, Inc. | Super resolution and color motion artifact correction in a pulsed color imaging system |
CN105230010B (zh) * | 2013-05-23 | 2017-02-08 | 富士胶片株式会社 | 像素混合装置及其动作控制方法 |
JP2015032917A (ja) * | 2013-07-31 | 2015-02-16 | 株式会社東芝 | 固体撮像装置 |
US9924094B2 (en) | 2013-11-25 | 2018-03-20 | Canon Kabushiki Kaisha | Image pickup apparatus capable of changing drive mode and image signal control method |
CN105828183B (zh) * | 2015-01-04 | 2017-12-05 | 华为技术有限公司 | 视频帧处理方法及视频帧处理芯片 |
CN107241600B (zh) * | 2017-04-20 | 2018-07-03 | 中国科学技术大学 | 一种静态背景帧内编码方法和装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6452632B1 (en) * | 1997-01-31 | 2002-09-17 | Kabushiki Kaisha Toshiba | Solid state image sensor and video system using the same |
JP2001111894A (ja) * | 1999-10-07 | 2001-04-20 | Fuji Film Microdevices Co Ltd | 固体撮像素子、その制御方法およびそれを用いた固体撮像装置 |
JP3854826B2 (ja) * | 2001-08-08 | 2006-12-06 | キヤノン株式会社 | 撮像装置 |
JP4928081B2 (ja) * | 2005-02-03 | 2012-05-09 | オリンパス株式会社 | 顕微鏡用撮像装置、記録制御方法、および記録制御プログラム |
JP5011519B2 (ja) * | 2005-07-05 | 2012-08-29 | 国立大学法人東京工業大学 | 固体撮像素子の信号読み出し方法及び画像信号処理方法 |
JP4639406B2 (ja) * | 2006-03-31 | 2011-02-23 | 富士フイルム株式会社 | 撮像装置 |
US7876477B2 (en) * | 2006-06-28 | 2011-01-25 | Panasonic Corporation | Image reading method and image expansion method |
-
2010
- 2010-09-01 JP JP2010195254A patent/JP2011097568A/ja active Pending
- 2010-10-01 US US12/896,516 patent/US20110080503A1/en not_active Abandoned
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013539319A (ja) * | 2010-09-30 | 2013-10-17 | アルカテル−ルーセント | 時空間積分を使用してビデオの圧縮測定値を生成するための装置および方法 |
WO2013051190A1 (ja) * | 2011-10-07 | 2013-04-11 | シャープ株式会社 | 固体撮像装置および電子情報機器 |
KR20150013454A (ko) | 2012-05-14 | 2015-02-05 | 소니 주식회사 | 촬상 장치 및 촬상 방법, 전자 기기, 및 프로그램 |
US9503699B2 (en) | 2012-05-14 | 2016-11-22 | Sony Corporation | Imaging device, imaging method, electronic device, and program |
JP2014241581A (ja) * | 2013-05-16 | 2014-12-25 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
JP2015216466A (ja) * | 2014-05-08 | 2015-12-03 | キヤノン株式会社 | 撮像装置の駆動方法、撮像システムの駆動方法 |
JP2018186512A (ja) * | 2015-12-18 | 2018-11-22 | クワントン オーピーピーオー モバイル テレコミュニケーションズ コーポレイション リミテッド | 画像センサの結像方法、結像装置及び電子装置 |
JP2022080778A (ja) * | 2020-11-18 | 2022-05-30 | 株式会社SensAI | 撮像システム |
Also Published As
Publication number | Publication date |
---|---|
US20110080503A1 (en) | 2011-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011097568A (ja) | 撮像装置 | |
JP4661922B2 (ja) | 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム | |
US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
JP4946581B2 (ja) | 画像処理装置 | |
JP5341010B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
US20100020210A1 (en) | Image Sensing Device And Image Processing Device | |
EP2579206A1 (en) | Image processing device, image capturing device, program and image processing method | |
TW200826655A (en) | Imaging device, image processing device, image processing method, program for image processing method, and recording medium having program for image processing method recorded thereon | |
JP2008113126A (ja) | 撮像装置および撮像方法 | |
US8982248B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP5474258B2 (ja) | 撮像装置及び撮像プログラム | |
US8861846B2 (en) | Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image | |
JP4796871B2 (ja) | 撮像装置 | |
JP4894594B2 (ja) | 画像処理装置 | |
US20150206280A1 (en) | Image processing apparatus, image processing method, and program | |
JP3947969B2 (ja) | 画像処理装置、および画像処理方法、記録媒体、並びにプログラム | |
JP2009164778A (ja) | 撮像装置 | |
JP3902525B2 (ja) | 画像信号処理装置 | |
JP5159461B2 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
JP5748513B2 (ja) | 撮像装置 | |
JP2008072501A (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
TW201121305A (en) | System and method of color interpolation | |
JP5446291B2 (ja) | 撮像装置 | |
JP5090899B2 (ja) | 撮像装置 | |
JP5202106B2 (ja) | 画像処理装置及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20130404 |