JP7433914B2

JP7433914B2 - 撮像装置およびその制御方法

Info

Publication number: JP7433914B2
Application number: JP2020000989A
Authority: JP
Inventors: 健太五十嵐
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-01-07
Filing date: 2020-01-07
Publication date: 2024-02-20
Anticipated expiration: 2040-01-07
Also published as: JP2021110778A

Description

本発明は、撮像装置およびその制御方法に関するものである。

従来より、ピント位置と絞りを調整することで被写界深度を制御し、ボケを目立たなくする技術が知られている（たとえば、特許文献１参照）。

特開２０１７－３７４９号公報

本発明は、このような問題に鑑みてなされたものであり、ボケが抑制された撮像画像を生成可能とすることを目的としている。

上述の問題点を解決するため、本発明に係る撮像装置は以下の構成を備える。すなわち、撮像装置は、
可視光領域および赤外光領域の光を結像可能に構成された撮像光学系と、
前記撮像光学系によるピント位置を調整する調整手段と、
前記撮像光学系の光路に対して赤外カットフィルタを挿抜する挿抜手段と、
前記撮像光学系により撮像素子上に結像した可視光領域および赤外光領域の光学像を画像信号に変換する画像処理手段と、
前記画像信号が示す画像におけるボケの有無を判定する判定手段と、
前記画像信号が示す画像におけるボケを抑制するための所定の処理を実行する制御手段と、
を有し、
前記撮像素子は、カラーイメージセンサであり、
前記撮像装置は、前記撮像光学系の光路に前記赤外カットフィルタを挿入し前記画像処理手段からカラー画像信号を出力する第１のモードと、前記撮像光学系の光路から前記赤外カットフィルタを抜去し前記画像処理手段からグレイスケール画像信号を出力する第２のモードと、前記撮像光学系の光路に前記赤外カットフィルタを挿入し前記画像処理手段からグレイスケール画像信号を出力する第３のモードと、を切り替え可能に構成されており、
前記判定手段は、前記調整手段によるピント位置の調整後に得られる画像信号に基づいてボケの有無を判定し、
前記制御手段は、前記判定手段によりボケが有ると判定された場合に、前記所定の処理として、前記画像処理手段から出力された画像信号が示す画像の平均輝度値が第１の輝度しきい値以上かつ第２の輝度しきい値以下の場合には前記撮像装置を前記第３のモードへ変更し、該画像の平均輝度値が前記第２の輝度しきい値を上回る場合には前記撮像装置を前記第１のモードへ変更し、該画像の平均輝度値が前記第１の輝度しきい値を下回る場合には前記撮像装置を前記第２のモードへ変更する。
または、撮像装置は、
可視光領域および赤外光領域の光を結像可能に構成された撮像光学系と、
撮影方向へ赤外光を照射する照明手段と、
前記撮像光学系によるピント位置を調整する調整手段と、
前記撮像光学系により撮像素子上に結像した可視光領域および赤外光領域の光学像を画像信号に変換する画像処理手段と、
前記画像信号が示す画像におけるボケの有無を判定する判定手段と、
前記画像信号が示す画像におけるボケを抑制するための所定の処理を実行する制御手段と、
を有し、
前記判定手段は、前記調整手段によるピント位置の調整後に得られる画像信号に基づいてボケの有無を判定し、
前記制御手段は、前記判定手段によりボケが有ると判定された場合に、前記所定の処理として、前記撮影方向に存在する被写体において可視光領域および赤外光領域の一方の成分が支配的となるように、前記照明手段による赤外光の出力を調整する。

第１実施形態に係る撮像装置の機能構成を示すブロック図である。撮像画像におけるボケ制御のフローチャートである。撮像画像におけるボケの有無の判定方法を説明する図である。撮影モードの切り替え制御を説明する図である。周辺環境に応じた撮影モードの対応を示す図である。第２実施形態におけるボケ抑制処理の詳細フローチャートである。レンズの軸上色収差と撮像素子の分光感度を例示的に示す図である。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１実施形態）
レンズを利用する撮像装置を利用する場合、一般に可視光と赤外光ではピント位置（焦点面）が異なる（光軸方向にズレが存在する）。そのため、可視光領域と赤外光領域とで同時に撮像する場合（ナイトモードで撮像する場合）、ボケが発生することになる。そこで、第１実施形態では、デジタルナイトモードと呼ばれる撮影モードを利用することにより撮像画像におけるボケを抑制する形態について説明する。

＜装置構成＞
図１は、第１実施形態に係る撮像装置の機能構成を示すブロック図である。撮像装置は、撮像光学系１０１および撮像光学系１０１を制御する光学系制御部１０５、赤外カットフィルタ１０２および赤外カットフィルタ１０２の挿抜を制御する赤外制御部１０６、撮像素子１０３、画像処理部１０４を含む。また、撮像装置は、上述の機能部を統括して制御するシステムコントローラ１０７を含む。

撮像光学系１０１を介して得られた被写体像は、赤外カットフィルタ１０２が挿抜される所定の領域を通過して撮像素子１０３上に結像する。なお、図１では撮像光学系１０１は１枚のレンズとして表しているが、通常、複数のレンズを含み、絞り、ズーム、フォーカス（ピント）制御を行うための機械的構造も含む。光学系制御部１０５は、この機械的構造の動作を制御することにより、撮像光学系１０１の絞り、ズーム、フォーカス制御を行う。また、撮像光学系１０１は、可視光領域および赤外光領域の光を結像可能に構成される。

赤外カットフィルタ１０２は、撮像光学系１０１を介して得られる光のうち赤外光を減衰させ可視光を透過させるフィルタである。赤外カットフィルタ１０２は、撮像光学系１０１と撮像素子１０３の間に位置する所定の領域に挿抜可能に構成される。赤外制御部１０６は、赤外カットフィルタ１０２の所定の領域への挿抜を制御する。なお、ここでは、所定の領域を、撮像光学系１０１と撮像素子１０３の間としているが、撮像光学系１０１の光路を横切るものであればよい。例えば、撮像光学系１０１の前面や中間などでもよい。

撮像素子１０３は、撮像素子１０３の表面（撮像素子上）に結像された画像（光学像）を画像信号に変換するための複数の光電変換素子を含むイメージセンサ（ＣＭＯＳ、ＣＣＤなど）である。詳しくは後述するが、可視光のカラー画像を取得可能とするため、例えば、ベイヤー配列のＲＧＢカラーフィルタを有する撮像素子１０３が用いられる。なお、撮像素子１０３として、各画素がＲＧＢ成分値を出力可能なイメージセンサを用いることも可能である。

画像処理部１０４は、撮像素子１０３から入力された画像信号に対しガンマ補正等の所定の画像処理を施した後、画像データを生成する。例えば、ＪＰＥＧ符号化された画像データを生成する。

システムコントローラ１０７は、システムを制御するＣＰＵ、信号を記憶するメモリを含み、上述の各ブロックに対して制御指示およびパラメータ等の設定を行う。メモリは、各ブロックに対して命令された制御指示、設定したパラメータ、ピント位置、画像など、様々な用途における記憶領域として用いられる。また、システムコントローラ１０７は、ピント制御を行うため、画像処理部１０４から焦点評価値を取得し、取得した焦点評価値に基づいて光学系制御部１０５へ指令を送る。焦点評価値とは、自動的にピント合わせを行う所謂オートフォーカス（ＡＦ）を行うために利用される値である。ＡＦには、コントラストＡＦ、位相差ＡＦといったものが含まれる。コントラストＡＦは、映像のコントラスト値から信号を作成しその高周波成分を利用してピント合わせを行う方法である。一方、位相差ＡＦは、レンズから入射した画像を二つに分け、その結像間隔に基づいてピント合わせを行う方法である。

＜撮影モード＞
上述したように、撮像素子１０３は、例えば、ベイヤー配列のＲＧＢカラーフィルタを有するカラーイメージセンサである。画像処理部１０４は、撮像素子１０３から入力された画像信号に基づいて、選択的にカラー画像（ＲＧＢ成分値）及びグレイスケール画像（Ｙ成分値）を出力可能に構成されている。

特に、第１実施形態に係る撮像装置は、撮影モードとして、監視カメラにおいて一般的に使用されるデイモードおよびナイトモードに加え、デジタルナイトモードと呼ばれる撮影モードを利用可能に構成されている。具体的にはこれらの３つの撮影モードは以下のように定義される。
・デイモード：撮像光学系１０１と撮像素子１０３との間に赤外カットフィルタ１０２を挿入し、画像処理部１０４からカラー画像信号を出力するモード。
・ナイトモード：撮像光学系１０１と撮像素子１０３との間から赤外カットフィルタ１０２を抜去し、画像処理部１０４からグレイスケール画像信号を出力するモード。
・デジタルナイトモード：撮像光学系１０１と撮像素子１０３との間に赤外カットフィルタ１０２を挿入し、画像処理部１０４からグレイスケール画像信号を出力するモード。

＜装置の動作＞
図２は、撮像画像におけるボケ制御のフローチャートである。具体的には、可視光と赤外光の２つの波長領域を同時に撮像する場合におけるボケを目立たなくする処理である。そのため、当然ながら、本処理は赤外カットフィルタが抜去されている状態（ナイトモード）で行われる。

ステップＳ２０１では、システムコントローラ１０７は、光学系制御部１０５および画像処理部１０４を制御してＡＦ動作を行う。すなわち、可視光領域または赤外光領域の被写体画像の少なくとも一方（一般には可視光領域）に対して最適なピント位置とする制御を行う。ステップＳ２０２では、システムコントローラ１０７は、焦点評価値として、例えば撮像画像内（あるいは当該撮像画像内部の所定領域内）のコントラスト値Ｃの最大値Ｃmaxを取得する。

ここで、コントラスト値Ｃは、任意の領域に関して、例えば以下の数式（１）で与えられるものである。なお、Ｉmaxは当該領域内の輝度の最大値であり、Ｉminは当該領域内の輝度の最小値である。
Ｃ＝（Ｉmax－Ｉmin）／（Ｉmax＋Ｉmin）・・・（１）

ステップＳ２０３では、システムコントローラ１０７は、焦点評価値を用いてボケの有無を判定する。具体的には、焦点評価値（Ｃmax）と予め記憶させたしきい値（Ｔｈ）とを比較して、しきい値以下であればボケが発生していると判定しＳ２０４へ進む。一方、焦点評価値がしきい値より大きい場合は、ボケが発生していないと判定し処理を終了する。すなわち、焦点評価値が低いのは、ボケによって緻密なパターンが失われ、結果としてコントラスト値の最大値Ｃmaxが低下しているためと考えられるからである。

なお、説明を簡単にするため１つのしきい値Ｔｈを用いてボケの有無を判定する例を説明したが、上述の判定方法を用いる場合、被写体にテクスチャ（模様など）がない／はっきりしない場合に、誤って判定されてしまう可能性がある。すなわち、ピントが合っているにも関わらずボケていると判定される可能性がある。そのため、実際には、このような問題に対処可能な判定方法を用いるとよい。

例えば、２つのしきい値（Ｔｈ₁およびＴｈ₂）を設定しボケの有無の判定に用いることで対処することができる（ここで、Ｔｈ₁＜Ｔｈ₂）。具体的には、ＡＦ動作（Ｓ２０１）で設定された最適ピント位置におけるコントラスト値がＴｈ₁以上かつＴｈ₂以下である場合、ボケが発生していると判定し、ボケ抑制処理（Ｓ２０４）を行うと決定する。そして、コントラスト値がＴｈ₁未満である場合、被写体にテクスチャがないことに起因する低コントラスト状態であると判定する。また、コントラスト値がＴｈ₂よりも大きい場合、単にボケは発生していないと判定する。すなわち、コントラスト値がＴｈ₁未満であるまたはＴｈ₂よりも大きい場合、ボケ抑制処理（Ｓ２０４）を行わないと決定する。

一般に、コントラスト値は、ボケが発生している場合は０．７程度、被写体にテクスチャがない場合は０．３程度の値となる。そのため、Ｔｈ₁は０．２～０．４、Ｔｈ₂は０．６～０．８、の値として設定するとよい。

なお、ボケの有無の判定は上述の方法に限らず、例えば全ピント（フォーカス）位置に対するコントラスト値を取得し、その概形をもとに判別してもよい。具体的には、ボケの有無によるコントラスト値の変化を利用する方法でもよい。

図３は、撮像画像におけるボケの有無の判定方法を説明する図である。図３（ａ）～（ｃ）のグラフはそれぞれ、ピント位置に対するコントラスト値の変化を示しており、横軸は、ピント（フォーカス）位置であり、縦軸はコントラスト値である。特に、図３（ａ）は被写体にテクスチャがある場合かつボケが無い（所定量以下）場合、図３（ｂ）は被写体にテクスチャがある場合かつボケが有る（所定量より大きい）場合、図３（ｃ）は被写体にテクスチャがない場合、をそれぞれ示している。

図３（ａ）および（ｂ）のグラフから理解されるように、ボケが無い場合にはピントがずれている時と最適ピント位置でのコントラスト値の差が大きく、ボケが有る場合にはこの差が小さくなる。また、図３（ｃ）のグラフから理解されるように、被写体にテクスチャがない場合にはピント位置によらずコントラスト値はあまり変化しない。

そのため、ＡＦ動作（Ｓ２０１）におけるピント位置調整中の各ピント位置における焦点評価値の最大値と最小値の差に基づいて、ボケの発生有無を判定することが出来る。具体的には、最大値と最小値の差がＴｈ₃以上かつＴｈ₄以下である場合に、ボケが発生していると判定する（Ｔｈ₃＜Ｔｈ₄）。そして、Ｔｈ₃未満であるまたはＴｈ₄よりも大きい場合には、ボケが発生していないと判定する。この判定方法は、ＡＦ動作（Ｓ２０１）の際に併せてボケの発生有無の判定（Ｓ２０２～Ｓ２０３）を行うことが出来、最適ピント位置が不明な場合でもボケの有無を判定できるという利点がある。

ステップＳ２０４では、システムコントローラ１０７は、ボケ抑制処理を実行する。具体的には、赤外制御部１０６を制御し赤外カットフィルタ１０２を所定の領域へ挿入させ、デジタルナイトモードへ動作モードを変更する。

デジタルナイトモードは、デイモードと比較すると、色ノイズが低下するため、低照度性能（低照度環境下での画質）が向上する。また、デジタルナイトモードは、ナイトモードと比較すると、撮像素子１０３へ入射する光が減少する（赤外光成分がカットされる）ためノイズは増える（Ｓ／Ｎは低下する）。しかし、撮像素子１０３に入射する光を可視域のみに制限しているため、赤外光領域の被写体画像のボケは存在しない（あるいは目立たない）ことになる。

図４は、撮影モードの切り替え制御を説明する図である。当該切り替え制御は、ボケ抑制処理（Ｓ２０４）によりデジタルナイトモードに移行した後に、システムコントローラ１０７により実行されることになる。

動作モード変更の判定は、周辺環境の光量の変化によって行われる。たとえば、デジタルナイトモードで動作している（Ｓ４０１）場合、画像処理部１０４から出力された画像データが示す画像の平均輝度値Ｂと所定の輝度しきい値とを比較し、比較結果に基づいて動作モードの変更を行う。画像処理部１０４から出力された画像データの代わりに撮像素子１０３から出力された画像信号を用いてもよい。

具体的には、Ｓ４０２において、画像の平均輝度値ＢとＴｈ_Hとを比較し、画像の平均輝度値ＢがＴｈ_Hを上回る場合にはデイモードへ変更する。すなわち、周辺環境が十分明るい環境に変化したため、カラー画像を出力するのが好適であると判断する。

そして、Ｓ４０３において、画像の平均輝度値ＢとＴｈ_Lとを比較し、画像の平均輝度値ＢがＴｈ_Lを下回る場合にはナイトモードへ変更する。すなわち、周辺環境がより暗い環境に変化したため、デジタルナイトモードでのノイズが増加した撮像画像よりも、ナイトモードによるボケを許容したノイズのより少ない撮像画像を出力するのが好適であると判断する。なお、Ｔｈ_H＞Ｔｈ_Lであり、Ｔｈ_H、Ｔｈ_Lの値は予めメモリに記憶させておくとよい。

図５は、周辺環境に応じた撮影モードの対応を示す図である。ここでは、画像の平均輝度値Ｂに加え画像のコントラスト値Ｃを合わせて考慮する例を示している。平均輝度値Ｂは、任意の領域内に含まれる複数の画素の平均輝度であり、画像処理部１０４によって計算される。なお、図５においては、Ｃ＞ＴｈかつＴｈ_L＜Ｂ＜Ｔｈ_Hの場合に「任意」と表記しているが、例えば、ユースケースや重視するパラメータに応じてユーザが任意に設定可能であることを示している。また、各しきい値はユーザが任意に設定できるようにしても良い。

以上説明したとおり第１実施形態によれば、可視光および赤外光の波長領域を撮像して得られた撮像画像においてボケが存在する場合、デジタルナイトモードによる動作に移行しボケが抑制された撮像画像を出力する。これにより、ナイトモードにより得られる撮像画像に比較してノイズは多少増えるもののボケが抑制された撮像画像が得られる。

なお、上述の説明では、ナイトモードで撮像した場合に得られる撮像画像に基づいて、周辺環境の光量を判定し最適な撮影モードへ変更するようにしている。しかし、周辺環境の判定はこの形態に限定されるわけではない。例えば、環境光の赤外光照度を測定する光センサ（不図示）を別途設け、当該光センサの出力及びデイモードにおける画像信号に基づいてボケの有無を判別し、直接最適なモードへ変更するよう構成してもよい。

また、取得した画像中のＳ／Ｎが高いほどまたは分散値が小さいほど明るいことを示しているため、これらの値に基づいてＳ４０２およびＳ４０３に対応する判定を行ってもよい。ここで分散値は画素信号値の分散であり、Ｓ／Ｎは、信号を画素値、ノイズを分散値とする比である。

（第２実施形態）
第２実施形態では、被写体を照明する赤外光の光量を制御することにより撮像画像におけるボケを抑制する形態について説明する。

＜装置構成＞
第２実施形態に係る撮像装置は、赤外制御部１０６が、さらに、撮影方向（すなわち被写体）へ赤外光を照射する照明装置（不図示）を制御する点が第１実施形態と異なる。具体的には、赤外制御部１０６は、照明装置により投射される赤外光の出力を調整可能に構成される。

＜装置の動作＞
第２実施形態における撮像画像におけるボケ制御は第１実施形態（図２）と同様である。しかし、上述したように、ボケ抑制処理（Ｓ２０４）の詳細が第１実施形態と異なる。

図６は、第２実施形態におけるボケ抑制処理（Ｓ２０４）の詳細フローチャートである。第１実施形態でも述べたように、可視光領域および赤外光領域の一方の光が支配的である場合は、ナイトモードにおける撮像画像におけるボケが抑制され、明瞭な撮像画像が取得される。そこで、図６の処理では、可視光領域および赤外光領域の一方の光が支配的となるように照明装置による赤外光の出力を調整する。

ステップＳ６０１では、システムコントローラ１０７は、照明装置による赤外光の出力が最大となるように赤外制御部１０６に対して指示する。以下のＳ６０２～Ｓ６０５では、照明装置による赤外光の出力制御により環境光のスペクトル比を変化させる処理である。

ステップＳ６０２では、システムコントローラ１０７は、ＡＦ動作を行ってピント位置を調整する。ステップＳ６０３では、システムコントローラ１０７は、Ｓ２０３と同様にボケの有無を判定する。ボケが発生していると判定した場合はＳ６０４へ進み、ボケが発生していないと判定した場合は処理を終了する。

ステップＳ６０４では、システムコントローラ１０７は、Ｓ／Ｎが所定のしきい値以上であるか否かを判定する。所定のしきい値以上である場合は、ノイズによる画像劣化よりもボケによる画像劣化が上回ると考えられるため、Ｓ６０５に進み、照明装置による赤外光の出力を所定量だけ弱め、再度Ｓ６０２からの処理を実行する。一方、しきい値未満である場合はボケによる画像劣化よりもノイズによる画像劣化が上回ると考えられるため、処理を終了する。上述の所定のしきい値は、ボケによる画像劣化よりもノイズによる画像劣化が目立つような照度環境に合わせて予め設定しておくことが望ましい。

上述の説明では、照明装置の赤外光出力を最大にしてから次第に弱める方法を説明したが、これに限らず、赤外光出力を最小にして次第に強める方法としてもよい。この場合、最小の赤外光出力は撮像に最低限足る程度（例えばＡＦ動作が可能な程度）の出力とすることが望ましい。

また、赤外光出力を最大ではない出力に設定してＳ６０２でのＡＦ動作を行い、ボケがあった場合には照明出力を強弱させるよう構成してもよい。この場合、赤外光出力を変更する前におけるピント調整後のピント位置を参照する。そして、当該ピント位置と照明の波長のピント位置の差が所定の差未満の場合には赤外光出力を強め、所定の差以上の場合には赤外光出力を弱める方向へ調整することで、迅速にボケ抑制が行うことができる。なお、この際の所定の差は任意の値で良く、例えば撮影時の絞り値に応じた焦点深度としてもよい。

以上説明したとおり第２実施形態によれば、被写体を照明する赤外光の光量を制御することにより、ナイトモードにおける撮像画像におけるボケを抑制することが可能となる。なお、明瞭に撮像を行いたい際に赤外光照明を点灯し、その結果としてボケが発生した場合にも有効である。

（第３実施形態）
第３実施形態では、グレイスケール画像における輝度（Ｙ）信号を生成する際のＲＧＢ合成比率を調整することにより撮像画像におけるボケを抑制する形態について説明する。なお、装置構成は第１実施形態（図１）と同様であるため詳細な説明は省略する。

＜装置の動作＞
第３実施形態における撮像画像におけるボケ制御は第１実施形態（図２）と同様である。しかし、上述したように、ボケ抑制処理（Ｓ２０４）の詳細が第１実施形態と異なる。

図７は、レンズの軸上色収差と撮像素子１０３（ＲＧＢカラーイメージセンサ）の分光感度を例示的に示す図である。図７（ａ）はレンズの軸上色収差の特性を例示的に示しており、基準波長（例えば５５０ｎｍ）との差が大きくなるほど収差の大きさ（収差量）が大きくなることが理解できる。一方、図７（ｂ）は撮像素子１０３のＲ画素、Ｇ画素、Ｂ画素それぞれにおける分光特性を例示的に示している。ここで、Ｒ画素、Ｇ画素、Ｂ画素は、例えば、撮像素子１０３におけるＲ、Ｇ、Ｂカラーフィルタに対応する画素を意味する。なお、各画素がＲＧＢ成分値を出力可能なイメージセンサを用いる場合には、各画素におけるＲＧＢ各成分を意味する。

図７（ｂ）から理解されるように、可視光の波長領域（例えば３５０～７５０ｎｍ）では画素種別（Ｒ画素、Ｇ画素、Ｂ画素）に応じて感度特性が大きく異なる。一方、赤外光の波長領域（例えば８００ｎｍ～）では画素種別によらす感度特性がほぼ同じである。

収差の大きさは散乱円の大きさに関係するため、収差が小さい色画素の信号を相対的に強め、収差が大きい色画素の信号を相対的に弱めることでボケが抑制されることが期待できる。そこで、Ｙ信号値を作成する際のＲＧＢの合成比率を調整することで信号の強調・抑制を行う。

ボケが発生していないと判定された場合には、一般的な変換式（例えばＹ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂなど）を用いて輝度画像であるグレイスケール画像を生成する。一方、ボケが発生していると判定された場合には、予め算出したボケを好適に抑制可能なＲＧＢ比率を用いて輝度画像であるグレイスケール画像を生成する。これら処理は画像処理部１０４にて行われる。なお、ボケを好適に抑制可能なＲＧＢ比率は、システムコントローラ１０７内のメモリに予め記憶させておくとよい。このようなＲＧＢ比率は、レンズの収差情報及びイメージセンサの分光特性に基づき算出される。

例えば、図７に示された特性を有するレンズとイメージセンサを利用する場合、赤外光の収差量を基準とすると、青色光（Ｂ：４５０ｎｍ付近）との差は小さい一方で、緑色光（Ｇ：５５０ｎｍ付近）との収差量の差は比較的大きい。そこで、ボケを好適に抑制可能なＲＧＢ比率として、Ｂ画素の信号値を強調しＧ画素の信号値を抑制した比率を設定する。つまり、上述の一般的な変換式に比較して、Ｂ画素により得られた画素信号に対する強調度合いをＧ画素により得られた画素信号に対する強調度合いよりも相対的に大きく設定する。具体的には、Ｂ／ＲおよびＢ／Ｇが１以上となるように設定する。

ところで、一般的なベイヤー配列のカラーフィルタでは、Ｒ，Ｇ，Ｇ，Ｂの２×２画素のブロックが格子状に配列されている。すなわち、Ｒ画素やＢ画素よりもＧ画素を用いた方がより解像度が高い。このようなカラーフィルタが用いられている場合、ボケの直径が２画素以下であるならば収差特性によらずＧ画素を強調すると好適である。

上述の説明では、レンズの収差情報及びイメージセンサの分光特性に基づき予めＲＧＢ比率を算出しておくものとして説明した。しかし、この方法に限らず、撮像画像に基づき適応的にＲＧＢ比率を決定してもよい。例えば、それぞれ、Ｒ画素のみ、Ｇ画素のみ、Ｂ画素のみで構成される３枚の画像を生成（デモザイク処理）し、それぞれのコントラスト値を算出する。コントラスト値はボケの大きさと対応するため、３枚の画像のコントラスト値の比をそのままＹ信号生成のためのＲＧＢ比率へ用いることでボケを抑制できる。この処理を行う場合、予めＲＧＢ比率を記憶させておく必要がなく、例えばレンズの交換が可能なタイプの撮像装置を使用する場合に有用である。

以上説明したとおり第３実施形態によれば、輝度画像であるグレイスケール画像を生成する際のＲＧＢ比率を調整することにより、ナイトモードにおける撮像画像におけるボケを抑制することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１撮像光学系；１０２赤外カットフィルタ；１０３撮像素子；１０４画像処理部；１０５光学系制御部；１０６赤外制御部；１０７システムコントローラ

Claims

撮像装置であって、
可視光領域および赤外光領域の光を結像可能に構成された撮像光学系と、
前記撮像光学系によるピント位置を調整する調整手段と、
前記撮像光学系の光路に対して赤外カットフィルタを挿抜する挿抜手段と、
前記撮像光学系により撮像素子上に結像した可視光領域および赤外光領域の光学像を画像信号に変換する画像処理手段と、
前記画像信号が示す画像におけるボケの有無を判定する判定手段と、
前記画像信号が示す画像におけるボケを抑制するための所定の処理を実行する制御手段と、
を有し、
前記撮像素子は、カラーイメージセンサであり、
前記撮像装置は、前記撮像光学系の光路に前記赤外カットフィルタを挿入し前記画像処理手段からカラー画像信号を出力する第１のモードと、前記撮像光学系の光路から前記赤外カットフィルタを抜去し前記画像処理手段からグレイスケール画像信号を出力する第２のモードと、前記撮像光学系の光路に前記赤外カットフィルタを挿入し前記画像処理手段からグレイスケール画像信号を出力する第３のモードと、を切り替え可能に構成されており、
前記判定手段は、前記調整手段によるピント位置の調整後に得られる画像信号に基づいてボケの有無を判定し、
前記制御手段は、前記判定手段によりボケが有ると判定された場合に、前記所定の処理として、前記画像処理手段から出力された画像信号が示す画像の平均輝度値が第１の輝度しきい値以上かつ第２の輝度しきい値以下の場合には前記撮像装置を前記第３のモードへ変更し、該画像の平均輝度値が前記第２の輝度しきい値を上回る場合には前記撮像装置を前記第１のモードへ変更し、該画像の平均輝度値が前記第１の輝度しきい値を下回る場合には前記撮像装置を前記第２のモードへ変更する
ことを特徴とする撮像装置。
前記調整手段は、前記画像処理手段により得られる画像信号が示す画像におけるコントラスト値が最大となるようにピント位置を調整し、
前記判定手段は、前記調整手段によるピント位置の調整後に得られる画像信号が示す画像におけるコントラスト値が、所定のしきい値より大きければボケが無いと判定し、前記所定のしきい値以下であればボケが有ると判定する
ことを特徴とする請求項１に記載の撮像装置。
前記調整手段は、前記画像処理手段により得られる画像信号が示す画像におけるコントラスト値が最大となるようにピント位置を調整し、
前記判定手段は、前記調整手段によるピント位置の調整後に得られる画像信号が示す画像におけるコントラスト値が、第１のしきい値以上かつ第２のしきい値以下である場合にボケが有ると判定し、前記第１のしきい値未満または前記第２のしきい値より大きい場合にボケが無いと判定する
ことを特徴とする請求項１に記載の撮像装置。
前記判定手段は、前記調整手段によるピント位置の調整中に得られる各ピント位置におけるコントラスト値に更に基づいてボケの有無を判定する
ことを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
前記撮像素子は、ＲＧＢカラーイメージセンサであり、
前記画像処理手段は、前記撮像素子に含まれるＲ画素、Ｇ画素、Ｂ画素により得られた画素信号を合成して得られる輝度画像であるグレイスケール画像を出力可能に構成されており、
前記制御手段は、前記判定手段によりボケが無いと判定された場合に第１のＲＧＢ比率で合成して輝度画像を生成するよう前記画像処理手段を制御し、前記判定手段によりボケが有ると判定された場合に第２のＲＧＢ比率で合成して輝度画像を生成するよう前記画像処理手段を制御し、
前記第２のＲＧＢ比率は、前記第１のＲＧＢ比率と比較して、Ｂ画素により得られた画素信号に対する強調度合いがＧ画素により得られた画素信号に対する強調度合いよりも相対的に大きく設定される
ことを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
前記制御手段は、Ｒ画素のみによる画像、Ｇ画素のみによる画像、Ｂ画素のみによる画像それぞれのコントラスト値の比に基づいて前記第２のＲＧＢ比率を決定する
ことを特徴とする請求項５に記載の撮像装置。
可視光領域および赤外光領域の光を結像可能に構成された撮像光学系と、
撮影方向へ赤外光を照射する照明手段と、
前記撮像光学系によるピント位置を調整する調整手段と、
前記撮像光学系により撮像素子上に結像した可視光領域および赤外光領域の光学像を画像信号に変換する画像処理手段と、
前記画像信号が示す画像におけるボケの有無を判定する判定手段と、
前記画像信号が示す画像におけるボケを抑制するための所定の処理を実行する制御手段と、
を有し、
前記判定手段は、前記調整手段によるピント位置の調整後に得られる画像信号に基づいてボケの有無を判定し、
前記制御手段は、前記判定手段によりボケが有ると判定された場合に、前記所定の処理として、前記撮影方向に存在する被写体において可視光領域および赤外光領域の一方の成分が支配的となるように、前記照明手段による赤外光の出力を調整する
ことを特徴とする撮像装置。
前記照明手段による赤外光の出力が調整される度に、前記調整手段はピント位置を調整し、前記判定手段は前記画像信号が示す画像におけるボケの有無を判定する
ことを特徴とする請求項７に記載の撮像装置。
可視光領域および赤外光領域の光を結像可能に構成された撮像光学系と前記撮像光学系の光路に対して赤外カットフィルタを挿抜する挿抜手段とを有する撮像装置の制御方法であって、
前記撮像光学系によるピント位置を調整する調整工程と、
前記撮像光学系により撮像素子上に結像した可視光領域および赤外光領域の光学像を画像信号に変換する画像処理工程と、
前記画像信号が示す画像におけるボケの有無を判定する判定工程と、
前記画像信号が示す画像におけるボケを抑制するための所定の処理を実行する制御工程と、
を含み、
前記撮像素子は、カラーイメージセンサであり、
前記撮像装置は、前記撮像光学系の光路に赤外カットフィルタを挿入し前記画像処理工程においてカラー画像信号を出力する第１のモードと、前記撮像光学系の光路から前記赤外カットフィルタを抜去し前記画像処理工程においてグレイスケール画像信号を出力する第２のモードと、前記撮像光学系の光路に前記赤外カットフィルタを挿入し前記画像処理工程においてグレイスケール画像信号を出力する第３のモードと、を切り替え可能に構成されており、
前記判定工程では、前記調整工程によるピント位置の調整後に得られる画像信号に基づいてボケの有無を判定し、
前記制御工程では、前記判定工程によりボケが有ると判定された場合に、前記所定の処理として、前記画像処理工程において出力された画像信号が示す画像の平均輝度値が第１の輝度しきい値以上かつ第２の輝度しきい値以下の場合には前記撮像装置を前記第３のモードへ変更し、該画像の平均輝度値が前記第２の輝度しきい値を上回る場合には前記撮像装置を前記第１のモードへ変更し、該画像の平均輝度値が前記第１の輝度しきい値を下回る場合には前記撮像装置を前記第２のモードへ変更する
ことを特徴とする制御方法。
可視光領域および赤外光領域の光を結像可能に構成された撮像光学系と撮影方向へ赤外光を照射する照明手段とを有する撮像装置の制御方法であって、
前記撮像光学系によるピント位置を調整する調整工程と、
前記撮像光学系により撮像素子上に結像した可視光領域および赤外光領域の光学像を画像信号に変換する画像処理工程と、
前記画像信号が示す画像におけるボケの有無を判定する判定工程と、
前記画像信号が示す画像におけるボケを抑制するための所定の処理を実行する制御工程と、
を含み、
前記判定工程では、前記調整工程によるピント位置の調整後に得られる画像信号に基づいてボケの有無を判定し、
前記制御工程では、前記判定工程によりボケが有ると判定された場合に、前記所定の処理として、前記撮影方向に存在する被写体において可視光領域および赤外光領域の一方の成分が支配的となるように、前記照明手段による赤外光の出力を調整する
ことを特徴とする制御方法。