JP5509937B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

従来から、ＣＣＤ(Charge Coupled Device)を用いた撮像装置では、強烈な光が入射したときに、スミアの発生により画質の劣化が生じる。かかるスミアの補正を行う撮像装置も種々提案されている（一例として特許文献１参照）。

特開２００７−１１０３７５号公報

ところで、撮像装置のスミア補正で、スミアの位置検出が補正対象のフレームと異なるフレームで行われる場合、撮影の状況によっては画像のスミア成分の含まれない部分にスミア補正が行われるおそれがある。特に、被写体輝度が非常に高いシーンでは、スミア補正が誤った位置で行われると画像の見えが著しく損なわれてしまう。

上記事情に鑑み、被写体輝度が非常に高いシーンにおいて、誤ったスミア補正による画像の劣化を防止する手段を提供する。

一の態様の撮像装置は、被写体の像を撮像する撮像素子と、スミア判定部と、輝度判定部と、スミア補正部と、動き検出部とを備える。スミア判定部は、撮像素子の出力にスミア成分が含まれるか否かを判定する。輝度判定部は、被写体の輝度が閾値以上か否かを判定する。スミア補正部は、スミア判定部がスミア成分を含むと判定したときに、撮像素子の出力に含まれるスミア成分を低減するためのスミア補正処理を実行する。動き検出部は、装置の動きを検出する。また、スミア補正部は、被写体の輝度が閾値以上かつ動き検出部が装置の動きを検出したときにスミア補正処理を実行せず、被写体の輝度が閾値以上かつ動き検出部が装置の動きを検出しないとき、または被写体の輝度が閾値未満であるときにスミア補正処理を実行する。

上記の一の態様の撮像装置は、光量調節部と、撮影制御部とをさらに備えていてもよい。光量調節部は、撮像素子に入射する光量を調節する。撮影制御部は、被写体の輝度が閾値以上のときに、光量調節部で撮像素子の露光量を減少させる制御を実行するとともに、撮像素子の電荷蓄積時間を長くする制御を実行する。

上記の一の態様において、輝度判定部は、適正露光ができなくなる被写体輝度値である場合、または撮影画面を分割測光したときの１つの測光値が所定値を超えた場合のいずれかに該当するときに、被写体の輝度が閾値以上であると判定してもよい。

一の態様の撮像装置では、被写体の輝度が閾値以上のときにスミア成分の補正処理を実行しないことで、被写体輝度が非常に高いシーンにおいて、誤ったスミア補正による画像の劣化が防止される。

一の実施形態での撮像装置（電子カメラ）の構成例を示すブロック図 撮像素子の回路構成の一部を模式的に示す図 （ａ）：過去のフレームでのスミアの例を示す図、（ｂ）：補正対象のフレームでのスミアの例を示す図、（ｃ）：スミア補正処理の誤補正の例を示す図 スミア補正処理の実行可否の一例を示す図

＜一の実施形態の説明＞
図１は、一の実施形態での撮像装置（電子カメラ）の構成例を示すブロック図である。電子カメラは、撮影レンズ１１と、第１レンズ駆動部１２と、ブレ補正レンズ１３と、第２レンズ駆動部１４と、ＮＤ(Neutral Density)フィルタ１５と、フィルタ駆動部１６と、ブレ検出部１７と、撮像素子１８と、撮像回路１９と、カメラマイコン２０と、画像圧縮回路２１と、第１メモリ２２と、表示画像作成回路２３と、モニタ２４と、記録Ｉ／Ｆ２５と、レリーズ釦２６および第２メモリ２７とを有している。ここで、第１レンズ駆動部１２、第２レンズ駆動部１４、フィルタ駆動部１６、ブレ検出部１７、撮像素子１８、撮像回路１９、画像圧縮回路２１、第１メモリ２２、表示画像作成回路２３、記録Ｉ／Ｆ２５、レリーズ釦２６、第２メモリ２７は、それぞれカメラマイコン２０と接続されている。

撮影レンズ１１は、ズームレンズ、フォーカスレンズを含む複数のレンズ群で構成されている。撮影レンズ１１のレンズ位置は、第１レンズ駆動部１２によって光軸方向に調整される。なお、簡単のため、図１では撮影レンズ１１を１枚のレンズで図示する。

ブレ補正レンズ１３は、電子カメラに生じる手ブレを補正するためのレンズであって、撮影レンズ１１の光軸に対して直角方向に揺動可能となっている。また、第２レンズ駆動部１４は、ブレ補正レンズ１３を縦方向に揺動させる縦揺動機構と、ブレ補正レンズ１３を横方向に揺動させる横揺動機構とを有している。第２レンズ駆動部１４は、カメラマイコン２０の制御によりブレ補正レンズ１３を揺動させる。これにより、被写体の像の結像位置がシフトして、撮像素子１８の受光面における像ブレが抑制される。

ＮＤフィルタ１５は、透過光を所定量（たとえば、アペックス値で３段相当）減衰させる減光部材である。ＮＤフィルタ１５は、フィルタ駆動部１６によって撮影レンズ１１の光軸と直交する方向に進退駆動される。ＮＤフィルタ１５が被写体光の光路上へ挿入された場合、撮像素子１８へ入射される光量がＮＤフィルタ１５で制限される。一方、ＮＤフィルタ１５が被写体光の光路外へ退避された場合、撮像素子１８へ入射される光量は制限されない。フィルタ駆動部１６は、カメラマイコン２０の指示に応じてＮＤフィルタ１５の進退駆動を行う。

ブレ検出部１７は、電子カメラの縦揺れを検出する縦方向角速度センサと、電子カメラの横揺れを検出する横方向角速度センサとを有している。上記の各々の角速度センサには、例えば、回転によるコリオリ力を検出する圧電振動式角速度センサが用いられる。

撮像素子１８は、撮影レンズ１１によって結像される被写体の像を撮影（撮像）し、画像信号を撮像回路１９へ出力する。一の実施形態の撮像素子１８はＣＣＤイメージセンサで構成される。なお、撮像素子１８の電荷蓄積時間および信号読みだしのタイミングは、カメラマイコン２０によって制御される。

また、電子カメラの撮影モードにおいて、撮像素子１８は、レリーズ釦２６による撮像開始指示に応じて、不揮発性の記録媒体への記録を伴う記録用の静止画像や動画像を撮影する。また、撮像素子１８は、記録用の静止画像の撮影待機時にも所定間隔ごとに観測用の画像（スルー画像）を連続的に撮影する。時系列に取得されたスルー画像のデータ（あるいは上記の動画像のデータ）は、モニタ２４での動画表示やカメラマイコン２０による各種の演算処理に使用される。なお、撮影モードの動画撮影時には、電子カメラは上記のスルー画像を不揮発性の記憶媒体に記録してもよい。

図２は、撮像素子１８の回路構成の一部を模式的に示す図である。撮像素子１８の受光面には、光電変換を行う受光素子３１が２次元配列されている。また、撮像素子１８は、各受光素子３１の画素信号を読み出す複数の垂直読み出し線３２と、１つの水平読み出し線３３とを有している。垂直読み出し線３２は、受光素子３１の列ごとに配置されており、垂直読み出し線３２の出力端は水平読み出し線３３に接続されている。また、水平読み出し線３３の出力は撮像回路１９に接続されている。

また、撮像素子１８の受光素子３１は、有効画素と遮光画素とに区画される。有効画素は、被写体の像の明るさに応じて信号電荷を蓄積する画素である。そして、有効画素の出力に基づいて撮影画像の画像信号が生成される。一方、遮光画素は、遮光膜によって表面が覆われた画素である。遮光画素は、温度変化等によって受光素子３１に蓄積される電荷（暗電流成分）を検出する。そして、遮光画素の出力に基づいて撮影画像の黒色に相当する黒レベルが決定される。一例として、撮像素子１８の受光面において、有効画素領域の周囲のリングピクセルの部分に遮光画素が形成される。図２の例では、遮光画素の領域を破線で示す。

図１に戻って、撮像回路１９は、入力される画像信号に対して、アナログ信号処理、Ａ／Ｄ変換処理、デジタル信号処理を順次施す回路である。撮像回路１９の出力はカメラマイコン２０に接続される。

カメラマイコン２０は、電子カメラの動作を統括的に制御するプロセッサである。カメラマイコン２０は、第２メモリ２７に格納されたプログラムの実行により、画像処理部２０ａ、撮影制御部２０ｂ、スミア判定部２０ｃ、輝度判定部２０ｄ、スミア補正部２０ｅとして機能する。

画像処理部２０ａは、撮像回路１９から入力されるデジタルの画像信号に対して画像処理を行う。上記の画像処理には、例えば、輪郭強調、ホワイトバランス調整処理、画像信号に対するフォーマット変換処理が含まれる。

撮影制御部２０ｂは、オートフォーカス（ＡＦ）制御、自動露出（ＡＥ）制御を実行する。例えば、撮影制御部２０ｂは、スルー画像を用いて公知のコントラスト検出によるＡＦ演算を実行するとともに、第１レンズ駆動部１２を介してフォーカスレンズのレンズ位置を調整する。また、撮影制御部２０ｂは、スルー画像を用いて撮影画面内の分割測光を行うとともに、分割測光結果に基づいてＡＥ制御（ＮＤフィルタ１５の駆動、撮像素子１８の電荷蓄積時間の調整など）を実行する。また、手ブレ補正を実行する場合、撮影制御部２０ｂは、ブレ検出部１７の出力を用いて、ブレ補正レンズ１３の駆動位置を求める。なお、電子カメラの動き検出の有無は、後述のスミア補正を行うか否かの判定条件の１つとしても用いられる。

スミア判定部２０ｃは、撮像素子１８の遮光画素の出力を用いて、撮像素子１８の出力にスミア成分が含まれるか否かを判定する。一般に、ＣＣＤイメージセンサで極めて高輝度の被写体を撮影すると、入射光量が多い画素の近傍では受光素子３１以外からも電荷が発生する。そして、撮像素子１８の電荷転送ライン（垂直読み出し線３２）で転送される電荷であって、入射光量が多い画素と異なる画素で蓄積された信号電荷に対し、上記の受光素子３１以外で発生した電荷が積算されると画像にスミア（白筋）が生じる。

一例として、スミア判定部２０ｃは、遮光画素領域の垂直方向に沿って、各列で遮光画素の出力をそれぞれ加算平均する。これにより、水平方向１ライン分の遮光画素の加算平均値を得ることができる。画素のランダムノイズは上記の加算平均値では平均化によりほぼゼロとなる。一方、垂直読み出し線３２に沿って現れるスミアの成分は、加算平均値において平均化されない。そのため、スミア判定部２０ｃは、隣接する列で加算平均値の差分を求めるとともに、隣接する列と比べて上記の加算平均値が所定の閾値よりも大きくなる列はスミア成分を含むと判定すればよい。

輝度判定部２０ｄは、撮影画面内に超高輝度の被写体（被写体の輝度が閾値以上である被写体）が存在するか否かを判定する。なお、輝度判定部２０ｄによる判定結果は、後述のスミア補正を行うか否かの判定条件の１つとなる。

一例として、ＡＥ演算で求めた被写体輝度値（ＢＶ値）が適正露光のできなくなる被写体輝度値である場合、輝度判定部２０ｄは、被写体の輝度が閾値以上であると判定する。ここで、適正露光のできなくなる被写体輝度値は、電子カメラの最短のシャッタ秒時に応じて決定される。例えば、最短のシャッタ秒時が１／６０００秒である電子カメラの例を考える。この電子カメラにおいて、１／６０００秒で適正露光できなくなるほど撮影シーンの被写体輝度値が大きくなれば、輝度判定部２０ｄは、被写体の輝度が閾値以上であると判定する。

また、他の例として、撮影画面を分割測光したときの１つの測光値が所定値を超えた場合、輝度判定部２０ｄは、被写体の輝度が閾値以上であると判定する。例えば、階調範囲が８ｂｉｔ（０〜２５５の値）であって、撮影画面内のいずれかの分割測光値が「２３５」を超えるときに、輝度判定部２０ｄは、被写体の輝度が閾値以上であると判定する。

スミア補正部２０ｅは、スミア判定部２０ｃがスミア成分を含むと判定したときに、撮影画像からスミア成分を低減するためのスミア補正処理を実行する。上記のスミア補正処理は公知の手法によるものである。すなわち、スミア補正部２０ｅは、撮影画像のうちでスミアの発生した列において、撮影画像の画素値からスミア成分の値を減算する。

なお、後述のように、スミア判定部２０ｃがスミア成分を含むと判定したときであっても、誤ったスミア補正が行われると撮影画像の見栄えが大きく劣化するケースでは、スミア補正部２０ｅはスミア補正処理を実行しない（図４参照）。

画像圧縮回路２１は、画像処理部２０ａによる処理後の画像信号に対して、ＪＰＥＧ形式で所定の圧縮比率の画像圧縮処理を行う。

第１メモリ２２は、画像処理の前工程や後工程でデータを一時的に記憶するバッファメモリである。一例として、第１メモリ２２は揮発性の記憶媒体であるＳＤＲＡＭにより構成される。

表示画像作成回路２３は、撮影画像をモニタ２４に表示させるための表示データを作成する。また、モニタ２４は、電子カメラの筐体背面に配置された液晶表示パネルで構成される。撮影モードでの動作時において、撮影中の被写体をユーザに視認させるために、カメラマイコン２０は、上記のスルー画像または動画像をモニタ２４に動画表示させる。

記録Ｉ／Ｆ２５は、不揮発性の記憶媒体２８を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ２５は、コネクタに接続された記憶媒体２８に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２８は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２８の一例としてメモリカードを図示する。

レリーズ釦２６は、記録用の静止画像や動画像の撮影タイミングの入力を受け付ける。また、第２メモリ２７は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。第２メモリ２７には、カメラマイコン２０によって実行されるプログラムが記憶されている。なお、このプログラムの実行による撮影モードでの動作例については後述する。

次に、一の実施形態での撮影モードでの動作例について説明する。例えば、記録用の静止画像を撮影するモードでは、電子カメラは、レリーズ釦２６で指示されたタイミングで記録用の静止画像を撮影する。一方、記録用の動画像を撮影するモードでは、電子カメラは、レリーズ釦２６の押圧によって決定される動画撮影期間の間、記録用の動画像を撮影する。また、いずれの撮影モードにおいても、電子カメラは、スルー画像等を用いて、撮影範囲内の被写体の様子をモニタ２４に動画表示する。

また、上記の撮影モードでの撮影時に、スミア判定部２０ｃは、遮光画素の出力を用いて、撮像素子１８の出力にスミア成分が含まれるか否かを判定する。撮影画面内に高輝度の被写体が存在する場合、スミア判定部２０ｃはスミア成分が含まれると判定する。そして、後述の条件を満たす場合に、スミア補正部２０ｅが撮影画像のスミアを補正する。なお、スルー画像および動画像のスミア補正処理において、スミア補正部２０ｅは、補正対象のフレームでのスミアの位置や補正量を、補正対象のフレームより過去のフレームから検出する。

ここで、一の実施形態の電子カメラにおいて、スミアが発生しているにも拘わらずスミア補正処理を行わない場合がある理由を説明する。

スルー画像や動画像の撮影では、撮像素子１８の受光面をメカニカルシャッタ（不図示）で遮光した状態で撮像素子１８から不要電荷を吐き出すことができない。また、明るいシーンでは露出制御によって撮像素子１８の電荷蓄積時間が短くなるので、画像信号に含まれるスミア成分が相対的に増えてくる。よって、一般的に、記録用の動画像やモニタ２４の表示画像でスミアを除去するときには、スミア補正部２０ｅによるスミア補正処理が有用である。

しかし、例えば、撮影時のパンニングや手ブレ等で電子カメラが大きく動く場合には、過去のフレームでスミアが生じていた位置（図３（ａ）参照）と、補正対象のフレームでのスミアの位置（図３（ｂ）参照）が異なってしまう。上記の場合にスミア補正部２０ｅがスミア補正処理を行うと、過去のフレームでのスミアの検出位置が補正対象のフレームにおいて正常であるにも拘わらず誤補正されてしまう（図３（ｃ）参照）。

また、上記の誤補正は、例えば、屋内のシーンで蛍光灯の部分に軽微なスミアが生じているようなケースではさほど目立たない。一方、非常に高輝度な被写体によって撮影画像に顕著なスミアが生じているケースでは、上記の誤補正は著しく撮影画像の見栄えを劣化させる。

そこで、一の実施形態のスミア補正部２０ｅは、以下の（＃１）〜（＃４）の条件でスミア補正処理の実行可否を判断する。なお、図４は、スミア補正処理の実行可否の例を表形式で示している。

（＃１）撮像素子１８の出力にスミア成分が含まれないとスミア判定部２０ｃが判定した場合、スミア補正部２０ｅはスミア補正処理を実行しない。上記（＃１）の場合は撮像素子１８でスミアが発生していないからである。

（＃２）撮像素子１８の出力にスミア成分が含まれるとスミア判定部２０ｃが判定し、かつ、被写体の輝度が閾値未満であると輝度判定部２０ｄが判定した場合、スミア補正部２０ｅはスミア補正処理を実行する。上記（＃２）の場合は、撮像素子１８でスミアが発生しており、スミアの明るさが比較的小さい。よって、仮に、スミア補正処理で誤補正が生じても比較的に弊害は少ないため、スミア補正部２０ｅはスミア補正を実行する。

（＃３）撮像素子１８の出力にスミア成分が含まれるとスミア判定部２０ｃが判定し、かつ、被写体の輝度が閾値以上であると輝度判定部２０ｄが判定し、かつ、電子カメラに動きがあると判定された場合、スミア補正部２０ｅはスミア補正処理を実行しない。

上記（＃３）の場合は、撮像素子１８でスミアが発生しており、スミアの明るさが非常に強い。しかし、上記（＃３）の場合は電子カメラに動きがあって、スミア補正処理の誤補正で撮影画像の見栄えが著しく劣化する可能性が高いので、スミア補正部２０ｅはスミア補正処理を実行しない。

（＃４）撮像素子１８の出力にスミア成分が含まれるとスミア判定部２０ｃが判定し、かつ、被写体の輝度が閾値以上であると輝度判定部２０ｄが判定し、かつ、電子カメラに動きがないと判定された場合、スミア補正部２０ｅはスミア補正処理を実行する。

上記（＃４）の場合は、上記（＃３）の場合と異なり、電子カメラに動きがない。よって、スミア補正処理の誤補正の可能性が低いので、スミア補正部２０ｅはスミア補正処理を実行する。

上記のように、一の実施形態の電子カメラは、スミアが発生していても、撮影画面内に非常に高輝度な被写体が存在するときにはスミア補正処理を実行しない。そのため、スミア補正処理の誤補正による弊害を抑制できる。

また、上記（＃３）の場合には、スミアの発生を抑制するために、撮影制御部２０ｂは以下の制御を実行してもよい。まず、撮影制御部２０ｂは、ＮＤフィルタ１５の挿入により、撮像素子１８の単位時間当たりの露光量を減少させる。また、撮影制御部２０ｂは、撮像素子１８の電荷蓄積時間を長く設定する。このように、露光量を少なくした上で電荷蓄積時間を長くすると、受光素子３１で蓄積された信号電荷の量に対してスミア成分の電荷の量が相対的に少なくなる。よって、スミア補正処理を実行できない状況でも、ある程度撮影画像の画質を向上させることが可能となる。なお、電子カメラにＮＤフィルタを手動で装着してもよい。このように、ＮＤフィルタを手動で装着する構成の場合には、カメラマイコン２０は、ＮＤフィルタの装着をユーザに促す表示をモニタ２４に表示させてもよい。

＜実施形態の補足事項＞
（変形例１） 上記実施形態では、ブレ検出部１７によって電子カメラ側の装置の動きを検出する例を説明した。しかし、本発明は、時系列に撮影された複数の撮影画像を用いて、電子カメラ側の動きを検出するものであってもよい。一例として、カメラマイコン２０は、例えばスルー画像間で被写体のマッチングを実行する。そして、カメラマイコン２０は、スルー画像間で一致した各被写体の位置のズレ量から電子カメラ側の動きを検出してもよい。なお、上記の変形例１において、カメラマイコン２０は、高輝度被写体の移動の有無を検出することもできる。

（変形例２） 図４に示したスミア補正処理の実行可否の判断はあくまで一例にすぎない。例えば、図４に示す（＃２）の場合において、スミア補正部２０ｅは、電子カメラまたは高輝度の被写体に動きがあるときに、スミア補正処理を実行しないようにしてもよい。

（変形例３） 上記実施形態では、撮像素子１８への入射光量をＮＤフィルタ１５で調整する例を示した。しかし、本発明では、例えば、複数の絞り羽根を有するメカニカルシャッタを用いてもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１５…ＮＤフィルタ；１６…フィルタ駆動部；１７…ブレ検出部；１８…撮像素子；２０…カメラマイコン；２０ａ…画像処理部；２０ｂ…撮影制御部；２０ｃ…スミア判定部；２０ｄ…輝度判定部；２０ｅ…スミア補正部

Claims (3)

1. 被写体の像を撮像する撮像素子と、
   前記撮像素子の出力にスミア成分が含まれるか否かを判定するスミア判定部と、
   前記被写体の輝度が閾値以上か否かを判定する輝度判定部と、
   前記スミア判定部が前記スミア成分を含むと判定したときに、前記撮像素子の出力に含まれるスミア成分を低減するためのスミア補正処理を実行するスミア補正部と、
   装置の動きを検出する動き検出部と、を備え、
   前記スミア補正部は、前記被写体の輝度が前記閾値以上かつ前記動き検出部が前記装置の動きを検出したときに前記スミア補正処理を実行せず、前記被写体の輝度が前記閾値以上かつ前記動き検出部が前記装置の動きを検出しないとき、または前記被写体の輝度が前記閾値未満であるときに前記スミア補正処理を実行する撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像素子に入射する光量を調節する光量調節部と、
   前記被写体の輝度が前記閾値以上のときに、前記光量調節部で前記撮像素子の露光量を減少させる制御を実行するとともに、前記撮像素子の電荷蓄積時間を長くする制御を実行する撮影制御部と、
   をさらに備える撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記輝度判定部は、適正露光ができなくなる被写体輝度値である場合、または撮影画面を分割測光したときの１つの測光値が所定値を超えた場合のいずれかに該当するときに、前記被写体の輝度が前記閾値以上であると判定する撮像装置。

Images