JP2013258609A

JP2013258609A - 撮像装置

Info

Publication number: JP2013258609A
Application number: JP2012134146A
Authority: JP
Inventors: Mutsuhiro Yamanaka; 睦裕山中
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2012-06-13
Filing date: 2012-06-13
Publication date: 2013-12-26

Abstract

【課題】消費電力や発熱量の増大を抑えつつ露光量調整の応答性向上を図る。
【解決手段】画像P4の評価値が適正範囲から所定レベル以上外れた場合、調整部４は、画像生成部３を制御して、フレームレート(=1/T1)よりも高い調整用フレームレート(=1/T2，T2≪T1)で画像P41，P42，…を生成する調整モードに移行させる。したがって、従来技術で説明したように通常モードにおけるフレームレートを高くする場合と比較して、電力消費が増える調整モードの期間(調整期間)が極めて短時間で済むため、消費電力や発熱量の増大を抑えつつ露光量調整の応答性向上を図ることができる。
【選択図】図１

Description

本発明は、撮像装置に関する。

映像の記録や種々の画像処理のために画像(動画像又は静止画像)を撮像する撮像装置においては、通常、画像の露光量(明るさ)が適正な範囲内に収まるように露光量の調整が行われている(例えば、特許文献１参照)。

特開２００９−１８２４６１号公報

ところで、被写体の明るさが大きく且つ急激に変化した場合、撮像装置における露光量調整が追随できずに画像の一部又は全部が真っ白あるいは真っ黒になってしまうことがある。特に、タイムラプス記録や画像処理といった使用目的に合わせたフレームレートで撮像する撮像装置では、急変した露光量の調整に要するフレーム数が多くなってしまうため、使用目的に適さない状況となる虞がある。

一方、フレームレートの高い撮像装置では、露光量の調整に要するフレーム数が同じであったとしても、不適切な露光状態の画像が撮像される時間は大幅に短縮される。しかしながら、フレームレートが高くなるほど撮像素子の電荷蓄積時間が短くなるので、低照度下における露光量が不足しやすくなる。また、撮像素子の蓄積電荷を読み出す周期が短くなるため、電荷読み出し用の回路の動作周波数が高くなって消費電力や発熱量の増大を招くという問題がある。

本発明は、上記課題に鑑みて為されたものであり、消費電力や発熱量の増大を抑えつつ露光量調整の応答性向上を図ることを目的とする。

本発明の撮像装置は、それぞれに電荷が蓄積される複数の画素を有し前記各画素に蓄積される電荷量を画素値に変換して出力する撮像素子と、前記撮像素子において光電変換に供される光の量を制御する光制御手段と、所定のフレームレートで前記撮像素子から前記画素値を読み出し且つ読み出した前記画素値から前記各フレームレート毎に１フレームの画像を生成する画像生成手段と、前記１フレームの画像における前記画素値の一部又は全部を数値で評価し、当該評価値が所定の適正範囲内に収まるように前記光制御手段又は前記画像生成手段の少なくとも何れか一方を制御して前記画素値を調整する調整手段とを備え、前記調整手段は、前記フレームレート毎に生成される前記画像の前記評価値が前記適正範囲から所定レベル以上外れた場合、前記画像生成手段を、前記フレームレートよりも高い調整用フレームレートで前記画像を生成する調整モードに移行させ、前記画像生成手段が前記調整用フレームレートで前記画像を生成した後、前記フレームレートで前記画像を生成する通常モードに復帰させることを特徴とする。

この撮像装置において、前記調整手段は、前記調整モードにおいて生成される前記画像の前記評価値が前記適正範囲内に収まれば、前記画像生成手段を前記調整モードから前記通常モードに復帰させることが好ましい。

この撮像装置において、前記調整手段は、前記調整モードにおいて生成される前記画像が所定のフレーム数に達すれば、前記画像生成手段を前記調整モードから前記通常モードに復帰させることが好ましい。

この撮像装置において、前記調整手段は、前記調整モードに移行した時点からの経過時間が所定時間に達すれば、前記画像生成手段を前記調整モードから前記通常モードに復帰させることが好ましい。

この撮像装置において、前記調整手段は、前記通常モードにおいて前記光制御手段を制御して調整した電荷蓄積時間が、前記調整モードにおける電荷蓄積時間の上限値を超えている場合、前記調整モードにおける前記電荷蓄積時間を前記上限値に設定し、前記光制御手段又は前記画像生成手段を制御して前記電荷蓄積時間以外のパラメータを変更して前記画素値を調整することが好ましい。

この撮像装置において、前記調整手段は、前記通常モードに復帰したら前記光制御手段を制御して前記電荷蓄積時間を再調整し、再調整した前記電荷蓄積時間と、前記調整モードにおける最後の前記電荷蓄積時間とが異なる場合、前記光制御手段又は前記画像生成手段を制御して前記電荷蓄積時間以外のパラメータを変更して前記画素値を調整することが好ましい。

この撮像装置において、前記調整手段は、前記調整モードにおいて、前記画像生成手段を制御して前記画素値を増幅する際の増幅度を増減する場合、前記増幅度の上限を前記通常モードにおける増幅度の上限よりも高くすることが好ましい。

この撮像装置において、前記画像生成手段は、前記調整モードにおいて生成する前記画像を外部に出力しないことが好ましい。

この撮像装置において、前記調整手段は、前記調整モードにおいて、前記画像生成手段を制御して前記撮像素子の一部の画素の画素値のみを読み出させることが好ましい。

本発明の撮像装置は、通常モードにおけるフレームレートを高くする場合と比較して、電力消費が増える調整モードの期間(調整期間)が極めて短時間で済むため、消費電力や発熱量の増大を抑えつつ露光量調整の応答性向上を図ることができるという効果がある。

本発明に係る撮像装置の実施形態を示し、(ａ)はブロック図、(ｂ)はフレームレートの変更を説明するための説明図である。 (ａ)〜(ｃ)は、同上の動作説明図である。 (ａ)，(ｂ)は同上の動作説明図である。同上の動作説明図である。同上の動作説明図である。

以下、図面を参照して本発明に係る撮像装置の実施形態を詳細に説明する。本実施形態の撮像装置は、図１(ａ)に示すように撮像素子１、光制御手段に相当する光学ブロック２、画像生成部３、調整部４などを備える。

撮像素子１は、それぞれに電荷が蓄積される複数の画素を有し、各画素に蓄積される電荷量を画素値に変換して出力するものであって、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの固体撮像素子で構成される。なお、この撮像素子１は、電荷蓄積時間を可変とすることによる、いわゆる電子シャッターの機能を搭載している。

光学ブロック２は、レンズ20や絞り21、減光フィルタ22などの光学部材が筐体23内に収納されて構成されており、レンズ20で集光された光が絞り21の開口を通過し、さらに減光フィルタ22で減光(減衰)されて撮像素子１に入射する。絞り21は、例えば、複数枚の絞り羽根で構成され、各絞り羽根の重なり具合を変化させて開口径を増減することにより、通過する光の量を制御する。減光フィルタ22は、透過型の液晶パネルからなり、液晶パネルの透過率を変化させることで通過する光の量(撮像素子１において光電変換に供される光の量)を制御する。

画像生成部３は、所定のフレームレートで撮像素子１から画素値を読み出し、且つ読み出した画素値に増幅などの信号処理を行って各フレームレート(=1/T1)毎に１フレームの画像P1，P2，…を生成する(図１(ｂ)参照)。ただし、撮像素子１は、画像生成部３からの指示に基づいて各画素に蓄積されている電荷量を画素値に変換して出力する。

調整部４は、１フレームの画像Pn(n=１，２，…)における画素値の一部又は全部を数値で評価し、当該評価値が所定の適正範囲内に収まるように光学ブロック２の絞り21又は減光フィルタ22、撮像素子１の電荷蓄積時間、画像生成部３における増幅度などを制御して画素値を調整する。なお、評価値は、例えば、撮像素子１の全ての画素の画素値を平均した平均値でもよいし、あるいは、撮像素子１の全ての画素の画素値のうちで最も高い(大きい)画素値でもよい。また、評価値の適正範囲は、評価値の種類(平均値や最大の画素値)に応じた範囲に設定される。

調整部４の動作をさらに詳しく説明する。なお、図２における横軸は時間、縦軸は評価値を示し、ハッチングされた範囲が評価値の適正範囲を示している。

例えば、図２(ｂ)に示すように画像P4の評価値が一つ前のフレームの画像P3の評価値の２倍に増大して適正範囲の上限を超えた場合、調整部４は、絞り21又は減光フィルタ22の少なくとも何れか一方、若しくは撮像素子１の電荷蓄積時間を制御して撮像素子１に入射する光量を半分に減らす。その結果、次のフレームの画像P5の評価値を適正範囲内に収めることができる。

しかしながら、図２(ｃ)に示すように画像P4の評価値が画素値の上限値に達して飽和してしまった場合、調整部４は、例えば、絞り21及び減光フィルタ22を撮像素子１に入射する光量を減らすとともに撮像素子１の電荷蓄積時間を短縮して画素値を減少させる。その結果、次のフレームの画像P5の評価値が適正範囲の下限を下回ってしまう可能性がある。そして、画像P5の評価値が適正範囲の下限を下回った場合、調整部４は、絞り21及び減光フィルタ22を撮像素子１に入射する光量を増やすとともに撮像素子１の電荷蓄積時間を伸長して画素値を増大させる。その結果、次のフレームの画像P6の評価値が適正範囲の上限を僅かに上回ってしまう可能性がある。画像P6の評価値が適正範囲の上限を僅かに上回った場合、調整部４は、絞り21又は減光フィルタ22の少なくとも何れか一方を制御して撮像素子１に入射する光量を減らす。その結果、次のフレームの画像P7の評価値を適正範囲内に収めることができる。なお、絞り21や減光フィルタ22、あるいは撮像素子１の電荷蓄積時間とともに、若しくはそれらに代えて、画像生成部３における画素値の増幅度を調整することで画素値を増減させても構わない。

このように評価値が大幅且つ急峻に変化した場合、評価値を適正範囲内に収束させるために数フレーム分の調整期間(例えば、図２(ｃ)の例ではT1×３の時間)が必要となる。そして、この調整期間において画像生成部３で生成される画像P5，P6は、画面が明るすぎたり、反対に画面が暗すぎるといった不適切な画像になる虞がある。

そこで、画像P4の評価値が適正範囲から所定レベル以上外れた場合、調整部４は、画像生成部３を制御して、フレームレート(=1/T1)よりも高い調整用フレームレート(=1/T2，T2≪T1)で画像P41，P42，…を生成する調整モードに移行させるようにする(図１(ｂ)参照)。なお、所定レベルは、例えば、適正範囲の上限値の４倍及び適正範囲の下限値の４分の１に設定される。ただし、所定レベルの値はこれに限定されるものではなく、例えば、画素値が８ビット(２５６段階)のディジタル値で表される場合、画素値が１２８以上又は８以下を所定レベルとしてもよい。

而して、上述のように画像P4の評価値が画素値の上限値に達して飽和し、調整部４が評価値を適正範囲内に収束させるまでに３フレーム分の調整期間を要したしても、調整期間はT2×３(≪T1×３)となって大幅に短縮される(図２(ａ)参照)。そして、調整モードにおいて生成される画像P43の評価値が適正範囲内に収まれば、調整部４は、画像生成部３を調整モードから通常モード(フレームレートが1/T1のモード)に復帰させる。したがって、従来技術で説明したように通常モードにおけるフレームレートを高くする場合と比較して、電力消費が増える調整モードの期間(調整期間)が極めて短時間で済むため、消費電力や発熱量の増大を抑えつつ露光量調整の応答性向上を図ることができる。

ところで、画像生成部３におけるフレームレートが一時的に高くなった場合、撮像装置で撮像された画像を表示する表示装置や撮像された画像を画像処理する画像処理装置などの受け取り側の機器との間で不整合が生じる可能性がある。したがって、受け取り側の機器がフレームの欠落(コマ落ち)を許容可能であれば、画像生成部３が、調整モードにおいて生成する画像を外部に出力しないことが好ましい。

一方、受け取り側の機器がフレームの欠落を許容できない場合、調整モードにおいても、通常モード時と同じフレームレートで画像生成部３が画像を出力する必要がある。そのために調整部４は、調整モードにおいて生成される画像が所定のフレーム数(通常モードのフレーム周期T1と同じ時間内に生成可能なフレーム数)に達すれば、画像生成部３を調整モードから通常モードに復帰させることが望ましい。例えば、通常モードのフレームレートが30fps(フレーム毎秒)、調整モードの調整用フレームレートが120fpsと仮定すると、調整モードにおいて３フレームの画像を生成した後に通常モードに復帰させれば、30fpsのフレームレートで画像を出力できる。あるいは、調整モードで生成される画像のフレーム数をカウントする代わりに、調整モードに移行した時点からの経過時間が所定時間(通常モードのフレーム周期T1と同じ時間)に達したときに、調整部４が画像生成部３を調整モードから通常モードに復帰させても構わない。

ここで、調整モードにおいては、画像生成部３が撮像素子１から画素値を読み出す時間が通常モードのときよりも短くなる。故に、調整モードにおいて画像生成部３が外部に画像を出力しない場合、調整部４は、調整モードにおいて、画像生成部３を制御して撮像素子１の一部の画素の画素値のみを読み出させることが好ましい。例えば、調整部４は、図３(ａ)に示すように撮像素子１の複数の画素のうちで周辺部分を除いた中央の矩形の範囲内の画素の画素値のみを画像生成部３に読み出させればよい。あるいは、図３(ｂ)に示すように縦横に並ぶ画素の画素値を間引いて画像生成部３に読み出させればよい。このように調整モードにおいて、調整部４が画像生成部３を制御して撮像素子１の一部の画素の画素値のみを読み出させるようにすれば、画像生成部３の動作周波数を上げずに通常モードのフレームレートから調整用フレームレートに容易に上げることができる。

ところで、通常モードから調整モードに移行する際は、撮像素子１の電荷蓄積時間の最大値が小さく(短く)なるので、移行直前に通常モードで設定された電荷蓄積時間が、移行後の調整モードでは実現できない場合がある。例えば、移行後の調整モードにおいては、通常モードで設定された電荷蓄積時間を調整モードの電荷蓄積時間の最大値で除した値(商)まで減少する(図４参照)。したがって、通常モードと調整モードで低照度時の評価値を同程度に維持するためには、電荷蓄積時間以外のパラメータを調整し、電荷蓄積時間の減少に伴う画素値の減少分を補償する必要がある。このとき、絞り21及び減光フィルタ22を調整する場合の応答性に比べて、画像生成部３の増幅度を調整する場合の応答性が優っているので、画像生成部３の増幅度を調整して画素値を補償することが好ましい。

而して、調整部４は、通常モードにおいて調整した電荷蓄積時間が、調整モードにおける電荷蓄積時間の上限値を超えている場合、調整モードにおける電荷蓄積時間を上限値に設定し、光学ブロック２又は画像生成部３を制御して電荷蓄積時間以外のパラメータを変更して画素値を調整することが好ましい。例えば、通常モードで設定された電荷蓄積時間を調整モードの電荷蓄積時間の最大値で除した値の逆数の比率となるように、調整モードへの移行時に増幅度を増大すればよい。

また、調整モードにおいて電荷蓄積時間の最大値低下分を画像生成部３の増幅度で補償するに当たり、増幅度の上限を、通常モードにおける増幅度の上限よりも高い値に設定することが望ましい。例えば、通常モードにおける電荷蓄積時間の最大値が調整モードにおける電荷蓄積時間の最大値の４倍と仮定すると、調整モードにおける増幅度の上限を通常モードにおける増幅度の４倍に設定すればよい(図５参照)。このようにすれば、通常モードと調整モードで低照度時の評価値を同程度に維持することができる。

なお、調整モードから通常モードに復帰する際には、調整モードの電荷蓄積時間の上限並びに増幅度の上限において設定された電荷蓄積時間及び増幅度が通常モードでは不適切となる場合がある。故に、通常モードに復帰する際、調整部４は、通常モードの電荷蓄積時間の上限及び増幅度の上限において適切な電荷蓄積時間と増幅度を決定し、決定した電荷蓄積時間と増幅度に合わせて他のパラメータ(絞り20及び減光シャッタ21)を調整することが望ましい。

１撮像素子
２光学ブロック(光制御手段)
３画像生成部(画像生成手段)
４調整部(調整手段)
Ｔ１通常モードにおけるフレーム周期
Ｔ２調整モードにおけるフレーム周期

Claims

それぞれに電荷が蓄積される複数の画素を有し前記各画素に蓄積される電荷量を画素値に変換して出力する撮像素子と、前記撮像素子において光電変換に供される光の量を制御する光制御手段と、所定のフレームレートで前記撮像素子から前記画素値を読み出し且つ読み出した前記画素値から前記各フレームレート毎に１フレームの画像を生成する画像生成手段と、前記１フレームの画像における前記画素値の一部又は全部を数値で評価し、当該評価値が所定の適正範囲内に収まるように前記光制御手段又は前記画像生成手段の少なくとも何れか一方を制御して前記画素値を調整する調整手段とを備え、前記調整手段は、前記フレームレート毎に生成される前記画像の前記評価値が前記適正範囲から所定レベル以上外れた場合、前記画像生成手段を、前記フレームレートよりも高い調整用フレームレートで前記画像を生成する調整モードに移行させ、前記画像生成手段が前記調整用フレームレートで前記画像を生成した後、前記フレームレートで前記画像を生成する通常モードに復帰させることを特徴とする撮像装置。
前記調整手段は、前記調整モードにおいて生成される前記画像の前記評価値が前記適正範囲内に収まれば、前記画像生成手段を前記調整モードから前記通常モードに復帰させることを特徴とする請求項１記載の撮像装置。
前記調整手段は、前記調整モードにおいて生成される前記画像が所定のフレーム数に達すれば、前記画像生成手段を前記調整モードから前記通常モードに復帰させることを特徴とする請求項１記載の撮像装置。
前記調整手段は、前記調整モードに移行した時点からの経過時間が所定時間に達すれば、前記画像生成手段を前記調整モードから前記通常モードに復帰させることを特徴とする請求項１記載の撮像装置。
前記調整手段は、前記通常モードにおいて前記光制御手段を制御して調整した電荷蓄積時間が、前記調整モードにおける電荷蓄積時間の上限値を超えている場合、前記調整モードにおける前記電荷蓄積時間を前記上限値に設定し、前記光制御手段又は前記画像生成手段を制御して前記電荷蓄積時間以外のパラメータを変更して前記画素値を調整することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
前記調整手段は、前記通常モードに復帰したら前記光制御手段を制御して前記電荷蓄積時間を再調整し、再調整した前記電荷蓄積時間と、前記調整モードにおける最後の前記電荷蓄積時間とが異なる場合、前記光制御手段又は前記画像生成手段を制御して前記電荷蓄積時間以外のパラメータを変更して前記画素値を調整することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
前記調整手段は、前記調整モードにおいて、前記画像生成手段を制御して前記画素値を増幅する際の増幅度を増減する場合、前記増幅度の上限を前記通常モードにおける増幅度の上限よりも高くすることを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
前記画像生成手段は、前記調整モードにおいて生成する前記画像を外部に出力しないことを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
前記調整手段は、前記調整モードにおいて、前記画像生成手段を制御して前記撮像素子の一部の画素の画素値のみを読み出させることを特徴とする請求項１〜８の何れか１項に記載の撮像装置。