JP6471953B2 - 撮像装置、撮像システム、及び撮像方法 - Google Patents

撮像装置、撮像システム、及び撮像方法 Download PDF

Info

Publication number
JP6471953B2
JP6471953B2 JP2014107297A JP2014107297A JP6471953B2 JP 6471953 B2 JP6471953 B2 JP 6471953B2 JP 2014107297 A JP2014107297 A JP 2014107297A JP 2014107297 A JP2014107297 A JP 2014107297A JP 6471953 B2 JP6471953 B2 JP 6471953B2
Authority
JP
Japan
Prior art keywords
image
imaging
condition
unit
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014107297A
Other languages
English (en)
Other versions
JP2015222916A (ja
Inventor
章吾 田中
章吾 田中
田部井　憲治
憲治 田部井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014107297A priority Critical patent/JP6471953B2/ja
Priority to PCT/JP2015/002508 priority patent/WO2015178012A1/ja
Publication of JP2015222916A publication Critical patent/JP2015222916A/ja
Priority to US15/072,690 priority patent/US10136076B2/en
Application granted granted Critical
Publication of JP6471953B2 publication Critical patent/JP6471953B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567—Solid-state light source, e.g. LED, laser
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0575—Ring shaped lighting arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28—Circuitry to measure or to take account of the object contrast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像を撮像する撮像装置、撮像システム、及び撮像方法に関する。
従来、カラー（ＲＧＢ：Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）画像を撮像するカラーカメラと、ＮＩＲ（ＮＩＲ：Ｎｅａｒ ＩｎｆｒａＲｅｄ）画像を撮像するＮＩＲカメラと、ハーフミラーと、を備える撮像システムが知られている（例えば、非特許文献１参照）。この撮像システムでは、カラー画像が撮像される際には、被写体に近赤外（ＮＩＲ）線を照射するフラッシュが使用されず、ＮＩＲ画像が撮像される際には、上記フラッシュが使用される。
この撮像システムでは、被写体からの光が、ハーフミラーにより２つの方向に分けられる。２つの方向に分けられた光は、カラーカメラ及びＮＩＲカメラにより撮像され、ＲＧＢ画像とＮＩＲ画像とが得られる。ＲＧＢ画像は、カラー画像となる。ＮＩＲ画像は、近赤外（ＮＩＲ）線を照射して撮像される画像の１つであり、白黒画像となる。
この撮像システムは、ＲＧＢ画像とＮＩＲ画像とを合成し、白黒画像に色調が加えられた合成画像を得る画像合成技術を有する。
Ｓｏｓｕｋｅ Ｍａｔｓｕｉ， Ｍｉｈｏ Ｓｈｉｍａｎｏ， Ｔａｋａｈｉｒｏ Ｏｋａｂｅ， ａｎｄ Ｙｏｉｃｈｉ Ｓａｔｏ， "Ｉｍａｇｅ Ｅｎｈａｎｃｅｍｅｎｔ ｏｆ Ｌｏｗ−Ｌｉｇｈｔ Ｓｃｅｎｅｓ ｗｉｔｈ Ｎｅａｒ−Ｉｎｆｒａｒｅｄ Ｆｌａｓｈ Ｉｍａｇｅｓ," ｉｎ Ｐｒｏｃ. Ａｓｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＡＣＣＶ２００９）,ｐ.２１３−２２３, Ｓｅｐｔｅｍｂｅｒ ２００９.
非特許文献１に記載された撮像システムは、合成画像を得るために大掛かりなシステムが必要となり、低照度の環境において撮像された画像の品質を改善することは困難であった。
本発明は、上記事情に鑑みてなされたものであり、低照度の環境において撮像された画像の品質を容易に向上できる撮像装置、撮像システム、及び撮像方法を提供する。
本発明の撮像装置は、画像を撮像するための撮像条件と、補助光を発光するための発光条件と、を時分割で指定する条件指定部と、ローリングシャッタ方式に従って、前記撮像条件に応じて、被写体を含む画像を撮像する撮像部と、前記発光条件に応じて、前記被写体に対して前記補助光を発光する発光部と、前記補助光が発光される発光期間に、第１の撮像条件で撮像された第１の画像と、前記発光期間に連続し前記補助光が発光されない非発光期間に、第２の撮像条件で撮像された第２の画像と、を合成する画像合成部と、を備え、前記撮像部は、第１のフレームにおいて前記第１の撮像条件を設定し前記発光条件をオンに設定し、前記第１のフレーム及び前記第１のフレームに連続する第２のフレームに亘って、前記発光期間に前記第１の画像を撮像し、前記第２のフレームに連続する第３のフレームにおいて前記第２の撮像条件を設定し前記発光条件をオフに設定し、前記第３のフレーム及び前記第３のフレームに連続する第４のフレームに亘って、前記非発光期間に前記第２の画像を撮像する。
本発明の撮像システムは、ローリングシャッタ方式に従って撮像する撮像装置と情報処理装置とを備える撮像システムであって、前記撮像装置は、画像を撮像するための撮像条件と、補助光を発光するための発光条件と、を時分割で指定する条件指定部と、前記撮像条件に応じて、被写体を含む第１の画像及び第２の画像を撮像する撮像部と、前記発光条件に応じて、前記被写体に対して前記補助光を発光する発光部と、前記撮像された前記第１の画像及び前記第２の画像を送信する送信部と、を備え、前記撮像部は、第１のフレームにおいて第１の撮像条件を設定し前記発光条件をオンに設定し、前記第１のフレーム及び前記第１のフレームに連続する第２のフレームに亘って、前記補助光が発光される発光期間に、前記第１の撮像条件で前記第１の画像を撮像し、前記第２のフレームに連続する第３のフレームにおいて第２の撮像条件を設定し前記発光条件をオフに設定し、前記第３のフレーム及び前記第３のフレームに連続する第４のフレームに亘って、前記発光期間に連続し前記補助光が発光されない非発光期間に、前記第２の撮像条件で前記第２の画像を撮像し、前記情報処理装置は、前記撮像装置からの前記第１の画像と前記第２の画像とを受信する受信部と、前記第１の画像と前記第２の画像とを合成する画像合成部と、を備える。
本発明の撮像方法は、ローリングシャッタ方式に従って撮像する撮像装置における撮像方法であって、被写体を含む画像を撮像するための撮像条件と、前記被写体に対して補助光を発光するための発光条件と、を時分割で指定するステップと、第１のフレームにおいて第１の撮像条件を設定し前記発光条件をオンに設定するステップと、前記第１のフレーム及び前記第１のフレームに連続する第２のフレームに亘って、前記補助光が発光される発光期間に、前記第１の撮像条件で、第１の画像を撮像するステップと、前記第２のフレームに連続する第３のフレームにおいて第２の撮像条件を設定し前記発光条件をオフに設定するステップと、前記第２のフレームに連続する第３のフレーム及び前記第３のフレームに連続する第４のフレームに亘って、前記発光期間に連続し前記補助光が発光されない非発光期間に、前記第２の撮像条件で、第２の画像を撮像するステップと、前記第１の画像と前記第２の画像とを合成するステップと、を備える。
本発明によれば、低照度の環境において撮像された画像の品質を容易に向上できる。
実施形態における監視カメラの外観例を示す模式図 実施形態における監視カメラの構成例を示すブロック図 実施形態における２バンドパスフィルタの光学特性の一例を示すグラフ （Ａ），（Ｂ）実施形態における撮像部の構成例を示す模式図 実施形態における監視カメラによる撮像動作全体の流れの一例を示すフローチャート 実施形態における監視カメラによるグローバルシャッタ方式に応じた撮像動作例を説明するための模式図 実施形態における監視カメラによるローリングシャッタ方式に応じた撮像動作例を説明するための模式図 実施形態における監視カメラによるローリングシャッタ方式に応じた撮像動作の具体例を示すタイミングチャート 図８のタイミングチャートにおけるＩＲ（ＩｎｆｒａＲｅｄ）照明のオンオフ切替時の監視カメラによる詳細な動作例を示すタイミングチャート 実施形態におけるＩＲ照明のオン／オフと垂直同期との関係の一例を示すタイミングチャート 実施形態の各撮像シーンにおけるＩＲ照明のＰＷＭ制御及び撮像パラメータの一例を示す模式図 （Ａ），（Ｂ）変形例１におけるＲＧＢＩＲセンサの構成例を示す模式図、（Ｃ）変形例１におけるＲＧＢＩＲセンサの光学特性の一例を示すグラフ （Ａ）変形例２における撮像部の構成例を示す模式図、（Ｂ）変形例２における撮像部６０の光学特性を示すグラフ
以下、本発明の実施形態について、図面を用いて説明する。
（本発明の一形態を得るに至った経緯）
従来の監視カメラは、昼間等の周囲が明るい場合、日中（Ｄａｙ）モードでカラー映像を取得し、夜間等の周囲が暗い場合、夜間（Ｎｉｇｈｔ）モードで白黒画像を取得する。
Ｄａｙモードでは、監視カメラは、ＩＲ（ＩｎｆｒａＲｅｄ）カットフィルタで赤外領域をカットし、色調補正することで、カラー撮像の色再現性を補償する。一方、Ｎｉｇｈｔモードでは、監視カメラは、ＩＲカットフィルタを用いずに、赤外領域まで使って画像を撮像し、高感度化を図る。このため、Ｎｉｇｈｔモードでは、Ｄａｙモードよりも色再現性が低下し、カラー画像ではなく白黒画像が撮像される。
ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）照明等で赤外光を被写体に照射する監視カメラも存在するが、この監視カメラでは上記と同じ理由で色再現性が不十分である。そのため、この監視カメラを用いて得られる画像も、白黒画像であった。
近年、防犯上の観点等から、夜間等の低照度の環境においても、カラー画像を撮像したいとの要望が高まっている。
非特許文献１に記載された撮像システムは、ＲＧＢ画像とＮＩＲ画像とを合成する画像合成技術を有するが、実験室レベルでの画像合成技術の研究に用いられ、２台のカメラとハーフミラーとが実験台の上に配置されて使用されていた。そのため、この撮像システムは大掛かりなシステムであり、１つの撮像装置として製品化することは困難であった。また、撮像システムを用意するためにコストを要し、撮像システムの調整及びメンテナンスが困難であった。
以下、低照度の環境において撮像された画像の品質を容易に向上できる撮像装置、撮像システム、及び撮像方法について説明する。
以下の実施形態の撮像装置は、例えば、監視カメラに適用される。
（実施形態）
図１は、実施形態における監視カメラ１０の外観例を示す模式図である。
監視カメラ１０は、筐体１０ａを有し、筐体１０ａに連結されたアーム部１０ｃ及び取付部１０ｂによって壁面１５に固定される。筐体１０ａの前方にある鏡胴１１には、撮像部２０が収容される。
撮像部２０は、前面にレンズ２１を有し、被写体を含む所定の領域を撮像するように向けられる。また、鏡胴１１には、撮像部２０と隣接して、ＩＲ光を照射するＩＲ＿ＬＥＤ部３６が設けられている。図１では、ＩＲ＿ＬＥＤ部３６が８個設けられることを例示するが、ＩＲ＿ＬＥＤ部３６の数はこれに限られない。
図２は、監視カメラ１０の構成例を示すブロック図である。
監視カメラ１０は、撮像部２０を有する。撮像部２０は、レンズ２１、絞り２２、２バンドパスフィルタ２３、及び撮像素子２４を含む。レンズ２１、絞り２２、２バンドパスフィルタ２３、及び撮像素子２４は、各々、光軸方向に沿って順に配置される。撮像部２０の前方にはレンズ２１が位置し、撮像部２０の後方には撮像素子２４が位置する。撮像部２０は、画像を撮像するための撮像条件に応じて、被写体を含む画像を撮像する。
レンズ２１は、撮像部２０に入射される光を集光する。絞り２２は、露光制御部３３からの指示に応じて、レンズ２１を通して入射される光の量を調整する。
２（デュアル）バンドパスフィルタ２３は、撮像素子２４の前方に配置され、可視光領域及び赤外領域の波長を有する光の透過率が高く、その他の波長を有する光の透過率が低くなるように設計されたフィルタである。
撮像素子２４は、前面にカラーフィルタ２５が組み込まれたカラーイメージセンサを含む。撮像素子２４は、例えば、ＣＣＤ(Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ)センサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを有する。
撮像素子２４は、２バンドパスフィルタ２３及びカラーフィルタ２５を介して被写体からの光を受光し、電気信号に変換して画像を得る。撮像素子２４は、例えば、ＩＲ成分が比較的多い画像（ＩＲ画像）と、ＩＲ成分が比較的少ない画像（ＲＧＢ画像）と、を時分割（周期的）に得る。撮像素子２４は、露光制御部３３からの指示に応じて、公知の方法により、撮像素子２４自身で露光量や露光時間を制御してもよい。
監視カメラ１０は、ゲイン制御部３１、色調補正部３２、露光制御部３３、及びカメラ信号処理部４０を有する。
ゲイン制御部３１は、ＲＧＢ画像制御部４７又はＩＲ画像制御部４８により指定されたゲインで、撮像素子２４から出力される画像の信号レベルを増幅するよう、増幅器（不図示）の利得（ゲイン）を制御する。以下、増幅器のゲインを、単にゲインともいう。
色調補正部３２は、ＲＧＢ画像制御部４７又はＩＲ画像制御部４８により指定された補正量で、撮像素子２４から出力される画像の色調を補正する。色調は、例えば、ホワイトバランスを含む。
露光制御部３３は、絞り２２の絞り値を制御し、撮像素子２４の露光時間を制御する。
カメラ信号処理部４０は、画像信号に対して各種の信号処理を施す。カメラ信号処理部４０は、ＲＧＢ・ＩＲ分離部４１、ＲＧＢ画像処理部４２、ＩＲ画像処理部４３、ＲＧＢ・ＩＲ合成部４４、画像後処理部４５、フレームメモリ４６、ＲＧＢ画像制御部４７、及びＩＲ画像制御部４８を有する。
ＲＧＢ・ＩＲ分離部４１は、例えば、同じ信号ラインを介して、色調補正部３２から時分割にＲＧＢ画像及びＩＲ画像を得て、ＲＧＢ画像とＩＲ画像とを分離する。ＲＧＢ・ＩＲ分離部４１は、ＲＧＢ画像をＲＧＢ画像処理部４２に出力し、ＩＲ画像をＩＲ画像処理部４３に出力する。
ＲＧＢ画像処理部４２は、分離されたＲＧＢ画像に対して所定の画像処理を施し、ＲＧＢ・ＩＲ合成部４４に出力する。ＲＧＢ画像処理部４２による画像処理は、例えば、ＲＧＢ画像に対する階調補正、色調補正、ノイズ除去を含む。
ＲＧＢ画像処理部４２は、例えば、ＲＧＢ画像制御部４７に対し、ＲＧＢ画像の撮像に適した撮像条件（撮像パラメータ）を指示する。この撮像パラメータは、例えば、ゲイン、色調補正の補正量）を含む。ＲＧＢ画像処理部４２は、例えば、露光制御部３３に対し、ＲＧＢ画像の撮像に適した撮像条件（例えば露光時間）を指示する。
撮像パラメータは、例えば、ゲイン、露光時間、露光量、色調補正量（例えばホワイトバランスの調整量）、階調補正量、を含む。撮像パラメータの情報は、例えば、監視カメラ１０内のメモリ（不図示）に保持される。撮像パラメータとして、ＲＧＢ画像撮像用の撮像パラメータとＩＲ画像撮像用の撮像パラメータとが、独立して設けられてもよい。
ＲＧＢ画像処理部４２は、第１のＲＧＢ画像の成分と第２のＲＧＢ画像の成分との間に差異がある場合、この差異に応じて、撮像パラメータを更新してもよい。第１のＲＧＢ画像の成分とは、露光制御部３３及びＲＧＢ画像制御部４７に対して指示された撮像パラメータにより得られると推測されるＲＧＢ画像の成分である。第２のＲＧＢ画像の成分とは、ＲＧＢ・ＩＲ分離部４１から実際に取得されたＲＧＢ画像の成分である。更新された撮像パラメータが、ＲＧＢ画像制御部４７及び露光制御部３３へ送られてもよい。ＲＧＢ画像処理部４２は、この差異に応じて、画像処理（例えば階調補正、色調補正、）してもよい。
また、ＲＧＢ画像処理部４２は、ユーザから特定の画像処理を行うための操作を操作部（不図示）が受け付けた場合、画像処理（例えば階調補正、色調補正）してもよい。
ＲＧＢ画像処理部４２は、撮像条件と発光条件とを時分割で指定する条件指定部の一例である。
ＲＧＢ画像制御部４７は、例えば、指示された撮像パラメータに従い、ゲイン制御部３１に対してゲインを制御する（例えばゲインを上げる）指示を行い、色調補正部３２に対して色調を補正する指示を行う。
ＩＲ画像処理部４３は、分離されたＩＲ画像に対して所定の画像処理を施し、ＲＧＢ・ＩＲ合成部４４に出力する。ＩＲ画像処理部４３による画像処理は、例えば、ＩＲ画像に対する階調補正、色調補正、ノイズ除去を含む。
ＩＲ画像処理部４３は、例えば、ＩＲ画像制御部４８に対し、ＩＲ画像の撮像に適した撮像条件（撮像パラメータ）を指示する。この撮像パラメータは、例えば、ゲイン、色調補正の補正量）を含む。ＩＲ画像処理部４３は、例えば、露光制御部３３に対し、ＩＲ画像の撮像に適した撮像条件（例えば露光時間）を指示する。ＩＲ画像処理部４３は、例えば、ＩＲ照明制御部３４に対し、ＩＲ画像の撮像に適した発光条件を指示する。ＩＲ光は、赤外光であり、ＮＩＲ光（近赤外光）を含む。
発光条件は、ＩＲ＿ＬＥＤ部３６によるＩＲ光の発光の有無、ＩＲ光の発光量、の情報を含む。発光条件の情報は、例えば、監視カメラ１０のカメラ信号処理部４０内のメモリ（不図示）に保持される。
ＩＲ画像処理部４３は、第１のＩＲ画像の成分と第２のＩＲ画像の成分との間に差異がある場合、この差異に応じて、撮像パラメータ及び発光条件の少なくとも一方を更新してもよい。第１のＩＲ画像の成分とは、露光制御部３３及びＩＲ画像制御部４８に対して指示された撮像パラメータと、ＩＲ照明制御部３４に対して指示された発光条件と、により得られると推測されるＩＲ画像の成分である。第２のＩＲ画像の成分とは、ＲＧＢ・ＩＲ分離部４１から実際に取得されたＩＲ画像の成分である。更新された撮像パラメータが、ＩＲ画像制御部４８及び露光制御部３３へ送られてもよい。更新された発光条件が、ＩＲ照明制御部３４へ送られてもよい。ＩＲ画像処理部４３は、この差異に応じて、画像処理（例えば階調補正、色調補正、）してもよい。
また、ＩＲ画像処理部４３は、ユーザから特定の画像処理を行うための操作を操作部（不図示）が受け付けた場合、画像処理（例えば階調補正、色調補正）してもよい。
ＩＲ画像処理部４３は、撮像条件と発光条件とを時分割で指定する条件指定部の一例である。
ＩＲ画像制御部４８は、例えば、指示された撮像パラメータに従い、ゲイン制御部３１に対してゲインを制御する（例えばゲインを下げる）指示を行い、色調補正部３２に対して色調を補正する指示を行う。
ＲＧＢ・ＩＲ合成部４４は、所定のタイミングにおいて、例えば、非特許文献１に記載された公知の画像合成方法により、ＲＧＢ画像とＩＲ画像とを合成し、合成画像を生成する。ＲＧＢ・ＩＲ合成部４４は、例えば、ＲＧＢ画像から色調成分を抽出し、ＩＲ画像からエッジ成分及び階調成分を抽出し、抽出された各成分を基に、合成画像を生成する。ＲＧＢ・ＩＲ合成部４４により、低照度の環境においても、輪郭が鮮明で色鮮やかなカラー画像を生成できる。ＲＧＢ・ＩＲ合成部４４は、画像合成部の一例である。
画像後処理部４５は、合成画像に対して、所定の後処理（例えば、合成画像の画像認識処理、合成画像の信号レベルを増幅する増幅補正、合成画像の階調補正、合成画像の色調補正）を行う。
フレームメモリ４６は、画像データを記憶し、ＲＧＢ画像処理部４２及びＩＲ画像処理部４３との間で画像データを送受する。フレームメモリ４６に記憶される画像データは、例えば、ＲＧＢ・ＩＲ合成部４４による画像の合成対象であり、先に撮像されたＲＧＢ画像又はＩＲ画像を含む。
監視カメラ１０は、ＩＲ照明制御部３４、ドライブ回路部３５、ＩＲ＿ＬＥＤ部３６、及びインタフェース部５０を有する。
ＩＲ照明制御部３４は、例えば、ＩＲ画像処理部４３からの発光条件に応じて、ＩＲ＿ＬＥＤ部３６の発光の有無を指示する制御信号をドライブ回路部３５へ送る。ＩＲ照明制御部３４は、例えば、ＩＲ画像処理部４３からの発光条件に応じて、ＩＲ＿ＬＥＤ部３６をＰＷＭ（Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）制御するため、ドライブ回路部３５に対してＰＷＭ信号を送る。
ドライブ回路部３５は、例えば、ＩＲ照明制御部３４からの制御信号又はＰＷＭ信号を受け、ＩＲ＿ＬＥＤ部３６の発光の有無又は発光量を制御する。
ＩＲ＿ＬＥＤ部３６は、制御された発光量で、被写体に対してＩＲ光を発光する。つまり、ＩＲ＿ＬＥＤ部３６は、被写体に対してＩＲ光を照射する。ＩＲ＿ＬＥＤ部３６は、発光部の一例である。
インタフェース部５０は、カメラ信号処理部４０から出力される合成画像を外部に出力する。インタフェース部５０は、例えば、外部の記憶媒体に合成画像を出力するためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）を含む。インタフェース部５０は、例えば、外部の通信装置に合成画像を送信するための通信インタフェース（例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続するためのＬＡＮ端子）を含む。尚、インタフェース部５０は、合成画像が生成される前のＲＧＢ画像、ＩＲ画像を外部に出力してもよい。
次に、撮像部２０により撮像される画像について説明する。
撮像部２０により撮像される画像は、ＲＧＢ画像、ＩＲ画像、その他の画像を含む。ＲＧＢ画像は、例えば、ＩＲ＿ＬＥＤ部３６によりＩＲ光が発光されず、被写体に対してＩＲ光が照射されない非発光期間に、撮像素子２４により撮像される画像（第２の画像の一例）である。ＩＲ画像は、例えば、ＩＲ＿ＬＥＤ部３６によりＩＲ光が発光され、被写体に対してＩＲ光が照射される発光期間に、撮像素子２４により撮像される画像（第１の画像の一例）である。
ＲＧＢ画像の撮像では、撮像パラメータに応じて、ＲＧＢ画像の色調成分が大きくなるよう制御される。例えば、ＲＧＢ画像制御部４７又は露光制御部３３は、撮像パラメータに応じて、露光量、ゲイン、又は、色調の補正量を制御する。例えば、露光量が多い程、又はゲインが大きい程、色調成分が大きくなるので、露光量が多くなるよう、ゲインが大きくなるよう制御される。この場合、ゲインが大きくなることにより、ＲＧＢ画像のノイズ成分が多くなってもよい。また、ＲＧＢ画像では、被写体のエッジ成分の大きさが十分でなく、エッジが不明確でもよい。
ＩＲ画像の撮像では、ＩＲ画像の階調成分及びエッジ成分が大きくなるよう制御される。例えば、ＩＲ画像制御部４８又は露光制御部３３は、撮像パラメータに応じて、露光量、ゲイン、又は、色調の補正量を制御する。例えば、ＩＲ照明制御部３４は、発光条件に応じて、ＩＲ光の発光量を制御する。ＩＲ画像は、ＩＲ画像の色調成分が小さくてもよい。ＩＲ画像は、ＩＲ画像のノイズ成分が小さい方が好ましい。
尚、本実施形態では、主に、被写体に対してＩＲ光が照射され、ＩＲ画像が得られることを例示しているが、ＩＲ光以外の光が照射されてもよい。例えば、光照射されて得られた画像から、必要なエッジ成分、階調成分を取得できれば、ＩＲ光の代わりに、可視光でもよいし、紫外光でもよい。ＩＲ光を用いた場合、得られる画像の階調成分及びエッジ成分を容易に強調できるので、低照度の環境でも所望の階調成分及びエッジ成分を容易に得ることができる。
図３は、２バンドパスフィルタ２３の光学特性の一例を示すグラフである。２バンドパスフィルタ２３は、例えば、波長およそ４００ｎｍ〜７００ｎｍの範囲である可視光領域、及び、波長およそ８００ｎｍ〜９００ｎｍの範囲である赤外領域において、高い透過率を有する。
被写体からの光のうち、２バンドパスフィルタ２３を透過する可視光が、ＲＧＢ画像の生成に用いられる。被写体からの光のうち、２バンドパスフィルタ２３を透過する赤外光が、ＩＲ画像の生成に用いられる。
図４（Ａ），（Ｂ）は、撮像部２０の構成例を示す模式図である。図４（Ａ）は、撮像部２０における各部の配置関係の一例を示す模式図である。図４（Ａ）では、撮像部２０は、光軸上に配置されたレンズ２１、絞り２２、２バンドパスフィルタ２３及び撮像素子２４を有する。撮像素子２４の前面には、カラーフィルタ２５が含まれる。
図４（Ｂ）は、カラーフィルタ２５のベイヤ配列の一例を示す模式図である。カラーフィルタ２５は、Ｇ（緑）色の光を透過させる２つのＧフィルタ部２５ａ，２５ｃ、Ｒ（赤）色の光を透過させるＲフィルタ部２５ｂ、及びＢ（青）色の光を透過させるＢフィルタ部２５ｄ、を含む。尚、各フィルタ部２５ａ〜２５ｄは、各色の光の他に、ＩＲ光も透過する。
撮像素子２４は、例えば、撮像パラメータ及びＩＲ光の発光の有無が切り替えられることで、時分割にＲＧＢ画像及びＩＲ画像を生成する。
例えば、低照度の環境においてＲＧＢ画像を得る場合、ＲＧＢ画像制御部４７は、撮像パラメータとしての露光時間を長くするよう設定し、撮像パラメータとしてのゲインを大きくするよう設定する。このように設定された状態で、撮像素子２４は、ＲＧＢ画像を取得する。
例えば、低照度の環境においてＩＲ画像を得る場合、ＩＲ照明制御部３４は、ドライブ回路部３５に対し、ＩＲ＿ＬＥＤ部３６が被写体に向けてＩＲ光を発光するよう制御する。また、ＩＲ画像制御部４８は、撮像パラメータとしての露光時間を短くするよう設定し、撮像パラメータとしてのゲインを小さくするよう設定する。このように設定された状態で、撮像素子２４は、ＩＲ画像を取得する。尚、低照度とは、例えば、照度が０．１ルクス（ｌｕｘ）以下である場合を指す。
尚、図３及び図４（Ａ），（Ｂ）では、２バンドパスフィルタ２３を用いることを例示したが、撮像素子２４が受光する光は、ＩＲ成分以外を含んでもよい。例えば、カラーフィルタ２５の代わりに、全帯域透過フィルタ、可視カットフィルタ、赤外バンドパスフィルタが用いられてもよい。２バンドパスフィルタ２３以外が用いられても、ＩＲ画像の代わりに得られた画像から、所定の階調成分及びエッジ成分が得られればよい。
次に、監視カメラ１０の動作例について説明する。
図５は、監視カメラ１０による撮像動作全体の流れの一例を示すフローチャートである。
まず、撮像素子２４は、露光制御部３３によって指定された露光時間に亘って、被写体からの光を受光すると、画像を得て、ゲイン制御部３１へ出力する（Ｓ１）。
ゲイン制御部３１は、ＲＧＢ画像制御部４７により指定されるゲインで、撮像素子２４からの画像のうち、ＲＧＢ画像の信号を増幅する（Ｓ２）。ゲイン制御部３１は、ＩＲ画像制御部４８により指定されるゲインで、撮像素子２４からの画像のうち、ＩＲ画像の信号を増幅する（Ｓ２）。
色調補正部３２は、ＲＧＢ画像制御部４７によって指定される色調の補正量で、ＲＧＢ画像の色調を補正する（Ｓ３）。色調補正部３２は、ＩＲ画像制御部４８によって指定される色調の補正量で、ＩＲ画像の色調を補正する（Ｓ３）。
ＲＧＢ・ＩＲ分離部４１は、色調補正部３２からのＲＧＢ画像とＩＲ画像とを分離する（Ｓ４）。ＲＧＢ・ＩＲ分離部４１は、ＲＧＢ画像をＲＧＢ画像処理部４２に送り、ＩＲ画像をＩＲ画像処理部４３に送る。つまり、ＲＧＢ・ＩＲ分離部４１は、画像の出力先を時分割に切り替える。
ＲＧＢ画像処理部４２は、ＲＧＢ・ＩＲ分離部４１からのＲＧＢ画像に対して、所定の画像処理を行う（Ｓ５）。ＩＲ画像処理部４３は、ＲＧＢ・ＩＲ分離部４１からのＩＲ画像に対して、所定の画像処理を行う（Ｓ６）。
ＲＧＢ画像制御部４７及び露光制御部３３は、例えば、ＲＧＢ画像撮像用の撮像パラメータに応じて、例えば、露光量、露光時間、ゲイン、色調の補正量を指定する。
ＩＲ画像制御部４８、露光制御部３３、及びＩＲ照明制御部３４は、例えば、ＩＲ画像撮像用の撮像パラメータ及び発光条件に応じて、例えば、露光量、露光時間、ゲイン、色調の補正量、ＩＲ光の発光の有無、ＩＲ光の発光量を指定する。
ＲＧＢ・ＩＲ合成部４４は、所定のタイミングにおいて、ＲＧＢ画像処理部４２により画像処理されたＲＧＢ画像と、ＩＲ画像処理部４３により画像処理されたＩＲ画像と、を合成する（Ｓ７）。
画像後処理部４５は、合成された画像（合成画像）に対し、所定の後処理を行う（Ｓ８）。インタフェース部５０は、後処理された合成画像を外部に出力する（Ｓ９）。
図５に示した監視カメラ１０による動作例によれば、ＲＧＢ画像の撮像用の撮像パラメータに沿ったＲＧＢ画像と、ＩＲ画像の撮像用の撮像パラメータに沿ったＩＲ画像と、を取得し、合成できる。画像の合成により、低照度の環境においても、輪郭が鮮明で色鮮やかな画像が得られ、撮像された画像の品質を容易に向上できる
図６は、監視カメラ１０によるグローバルシャッタ方式に応じた撮像動作例を説明する模式図である。
撮像素子２４がＣＣＤセンサを含んで構成される場合、例えば、グローバルシャッタ方式によって画像が撮像される。グローバルシャッタ方式では、撮像素子２４の全画素が同じタイミングでシャッタ動作する。グローバルシャッタ方式では、時分割で、ＲＧＢ画像とＩＲ画像とが交互に切り替えて撮像されるので、フレーム毎に、ＲＧＢ画像の撮像期間とＩＲ画像の撮像期間とが切り替わる。
交互に撮像されたＲＧＢ画像とＩＲ画像とが合成されて１つの画像が出力されるので、通常の撮像モードと比較すると、合成画像（出力画像）のフレームレートは１／２になる。通常の撮像モードとしては、例えば、撮像方式を切り替えず、常時ＲＧＢ画像を撮像する撮像モード、又は常時ＩＲ画像を撮像する撮像モードが考えられる。
グローバルシャッタ方式の場合の発光条件は、例えば、フレーム毎に、ＩＲ光を発光する発光期間と、ＩＲ光を発光しない非発光期間と、が切り替わる旨の情報を含む。発光期間には、被写体に対してＩＲ照射が行われ、非発光期間には、被写体に対してＩＲ照射が行われない。
図６では、最初のフレームａ１では、ＩＲ照射が行われ、撮像素子２４は、カラーフィルタ２５を透過した光を受光し、ＩＲ画像を得る。
次のフレームａ２では、撮像パラメータ及び発光条件が切り替えられ、ＩＲ照射が行われず、環境光を用いて撮像される。撮像素子２４は、カラーフィルタ２５を透過した光をそれぞれＲ，Ｇ，Ｂの光として受光し、ＲＧＢ画像を得る。
また、フレームａ２では、ＲＧＢ画像の撮像と並行して、ＲＧＢ・ＩＢ合成部４４は、ＩＲ画像とＲＧＢ画像との合成を開始する。以後、同様の動作が繰り返される。つまり、フレームａ３，ａ５，・・・では、監視カメラ１０は、フレームａ１における動作と同様に動作する。フレームａ４，ａ６，・・・では、監視カメラ１０は、フレームａ２における動作と同様に動作する。
グローバルシャッタ方式では、後述するローリングシャッタ方式とは異なり、画像におけるライン毎に撮像タイミングが異なることがなく、全画素が同じタイミングで撮像される。従って、ＲＧＢ画像及びＩＲ画像の撮像タイミングと、ＩＲ＿ＬＥＤ部３６の発光タイミングと、を一致させることができ、両タイミングが１つのフレーム内に収まる。従って、図６に示した監視カメラ１０の動作例によれば、２つの画像が合成されるので、通常の撮像モードと比較するとフレームレートの低下は発生するが、フレームレートの低下は抑制される。従って、例えば、被写体が高速に移動する場合でも、被写体を含む画像の画質の低下を抑制できる。
図７は、監視カメラ１０によるローリングシャッタ方式に応じた撮像動作例を説明する模式図である。
撮像素子２４がＣＭＯＳセンサを含んで構成される場合、例えば、ライン露光順次読み出し方式（ローリングシャッタ方式）によって画像が撮像される。ローリングシャッタ方式では、画像におけるライン毎に撮像タイミングが異なり、ＲＧＢ画像及びＩＲ画像の撮像の開始から終了までの期間が、１つのフレームに収まらず、連続する２つのフレームに亘る。そのため、ＲＧＢ画像とＩＲ画像との切替時、切替に係る最初の１フレーム分が破棄される。従って、ローリングシャッタ方式では、グローバルシャッタ方式と比べ、フレームレートが１／２になる。また、ＩＲ画像の撮像期間においてＩＲ光が照射されるように、ＩＲ照射は、ＩＲ画像を撮像するための２フレームに亘って行われる。
最初のフレームｂ１（ダミー（Ｄｕｍｍｙ）フレーム）では、ＩＲ照射が開始される。フレームｂ１及び次のフレームｂ２では、撮像素子２４は、カラーフィルタ２５を透過した光を、ＩＲ画像として受光する。
続いて、フレームｂ３（ダミーフレーム）及びフレームｂ４では、撮像パラメータ及び発光条件が切り替えられ、ＩＲ照射されず、環境光を用いてＲＧＢ画像が撮像される。また、フレームｂ４では、ＲＧＢ・ＩＲ合成部４４は、ＲＧＢ画像の撮像と並行して、フレームｂ２で撮像されたＩＲ画像と、フレームｂ４で撮像されたＲＧＢ画像と、の合成を開始し、合成画像（出力画像）を生成する。
以後、同様の動作が繰り返される。つまり、フレームｂ５，ｂ９，・・・では、監視カメラ１０は、フレームｂ１における動作と同様に動作する。フレームｂ６，ｂ１０，・・・では、監視カメラ１０は、フレームｂ２における動作と同様に動作する。フレームｂ７，ｂ１１，・・・では、監視カメラ１０は、フレームｂ３における動作と同様に動作する。フレームｂ８，ｂ１２，・・・では、監視カメラ１０は、フレームｂ４における動作と同様に動作する。
図８は、監視カメラ１０によるローリングシャッタ方式に応じた撮像動作の動作例を示すタイミングチャートである。
まず、フレームｂ０では、ＲＧＢ画像処理部４２は、例えば、露光制御部３３、ＩＲ照明制御部３４、及びＲＧＢ画像制御部４７に対して、ＲＧＢ画像に適した撮像パラメータ及び発光条件を設定する（センサレジスタ制御）。
センサレジスタ制御は、不図示のメモリ（レジスタ）に保持された撮像パラメータが、各部に設定されることを示す。
フレームｂ１では、ＩＲ画像処理部４３は、例えば、露光制御部３３、ＩＲ照明制御部３４、及びＩＲ画像制御部４８に対して、ＩＲ画像に適した撮像パラメータ及び発光条件を切り替える（センサレジスタ設定）。これにより、ＩＲ照明制御部３４によりＩＲ照明がオフからオンに切り替えられ、撮像されるＩＲ画像の輝度は、撮像途中で変化する。そのため、フレームｂ１で得られる画像は不鮮明な画像となるので、ＩＲ画像処理部４３は、フレームｂ１において撮像された画像を、Ｄｕｍｍｙとして破棄する。つまり、ＩＲ画像処理部４３は、画像破棄部としての機能を有する。
フレームｂ２では、撮像素子２４は、撮像パラメータ及び発光条件が切り替えられた後、フレームｂ１からフレームｂ２に亘って撮像されたＩＲ画像を取得する。
フレームｂ３では、撮像素子２４は、フレームｂ２からフレームｂ３に亘って撮像し、画像を取得する。フレームｂ３では、ＩＲ画像に適した撮像パラメータ及び発光条件を設定する。これにより、ＩＲ照明がオンからオフに切り替えられるので、撮像される画像の輝度は、撮像途中で変化する。そのため、フレームｂ３で得られる画像は不鮮明な画像となるので、ＲＧＢ画像処理部４２は、フレームｂ３において撮像された画像を、Ｄｕｍｍｙとして破棄する。つまり、ＲＧＢ画像処理部４２は、画像破棄部としての機能を有する。
フレームｂ４では、撮像素子２４は、撮像パラメータ及び発光条件が切り替えられた後、フレームｂ３からフレームｂ４に亘って撮像されたＲＧＢ画像を取得する。
また、フレームｂ４では、ＲＧＢ・ＩＲ合成部４４は、フレームｂ２で取得されたＩＲ画像と、フレームｂ４で取得されたＲＧＢ画像と、を合成して合成画像を生成し、出力画像として画像後処理部４５へ出力する。
以後、同様の動作が繰り返される。つまり、フレームｂ５，ｂ９，・・・では、監視カメラ１０は、フレームｂ１における動作と同様に動作する。フレームｂ６，ｂ１０，・・・では、監視カメラ１０は、フレームｂ２における動作と同様に動作する。フレームｂ７，ｂ１１，・・・では、監視カメラ１０は、フレームｂ３における動作と同様に動作する。フレームｂ８，ｂ１２，・・・では、監視カメラ１０は、フレームｂ４における動作と同様に動作する。
尚、図８では、ＩＲ画像が先に撮像され、ＲＧＢ画像が後に撮像されることを例示したが、逆でもよい。ＩＲ画像が先に撮像され、ＲＧＢ画像が後に撮像されることで、逆の順序で撮像される場合と比べ、ＩＲ画像とＲＧＢ画像との撮像時刻の差を小さくできる。
例えば、ＲＧＢ画像の撮像において、低照度において色調成分をより多く取得する場合、露光時間を長くする。つまり、ＲＧＢ画像の撮像期間を長くする。一方、ＩＲ画像の撮像では、低照度においてエッジ成分及び階調成分をより多く取得する場合でも、ＩＲ照射がされることで、露光時間を長くしなくてもよい。従って、ＲＧＢ画像の撮像期間は、ＩＲ画像の撮像期間よりも長くなる。従って、ＩＲ画像をＲＧＢ画像よりも先に撮像することで、ＩＲ画像の撮像時刻とＲＧＢ画像の撮像時刻及び合成画像の生成時刻との差が小さくなり、合成画像の残像を少なくできる。
尚、図８では、合成画像の生成に用いられるＲＧＢ画像が複数のフレームに亘って撮像されてもよい。これにより、色調性の高いＲＧＢ画像が得られる。
図９は、図８のタイミングチャートにおけるＩＲ照明のオンオフ切替時の監視カメラ１０による詳細な動作例を示すタイミングチャートである。
撮像素子２４によりＩＲ画像が取得されるＩＲ画像取得時間Ｔａは、ＩＲ照明がオンにされるＩＲ照明ＯＮ時間Ｔｂよりも短い。撮像素子２４によりＲＧＢ画像が取得されるＲＧＢ画像取得時間Ｔｃは、ＩＲ照明がオフにされるＩＲ照明ＯＦＦ時間Ｔｄよりも短い。つまり、ＩＲ画像はＩＲ照明の下で撮像される。一方、ＲＧＢ画像は環境光の下で撮像される。また、ＩＲ照明の切り替えは、合成対象の画像を取得していない期間に行われる。ＲＧＢ画像処理部４２及びＩＲ画像処理部４３は、ＩＲ照明の切り替え時に撮像中であった画像を、Ｄｕｍｍｙとして破棄する。
これにより、ＩＲ画像が撮像される期間に亘ってＩＲ光が照射され、ＩＲ成分が強調された被写体の画像を取得できる。また、ＲＧＢ画像が撮像される期間に亘ってＩＲ光が照射されず、ＩＲ成分が強調されていない被写体の画像を取得できる。よって、例えば、ＩＲ画像からのエッジ成分等の抽出精度を向上でき、ＲＧＢ画像からの色調成分等の抽出精度を向上できる。よって、合成画像では、例えば抽出精度の高いエッジ成分に対して、抽出精度の高い色調成分を付加でき、合成画像の画質を向上できる。
尚、特に図示しないが、グローバルシャッタ方式の場合、画像におけるラインによって撮像時差が発生しないので、ＩＲ照明のオンオフ切り替えは、合成対象の画像を取得していない期間に行われる。また、ＩＲ照明の切り替え時に画像が撮像されないので、Ｄｕｍｍｙとしての画像が発生しない。
図１０は、ＩＲ照明のオン／オフと垂直同期との関係の一例を示すタイミングチャートである。撮像素子２４が出力する垂直同期信号ＶＳＹＮＣのオンオフの一周期により、１つのフレームが形成される。
ＩＲ照明制御部３４は、垂直同期信号ＶＳＹＮＣが立ち上がってから、ＩＲ照明つまりＩＲ＿ＬＥＤ部３６をオンに切り替える。露光制御部３３は、ＩＲ照明がオンにされてから、撮像素子２４の露光を開始するよう制御する。
露光制御部３３は、撮像パラメータにより指定される露光時間が終了すると、撮像素子２４の露光を終了するよう制御する。ＩＲ照明制御部３４は、撮像素子２４の露光が終了された後に、ＩＲ照明をオフに切り替える。
このように、撮像素子２４から出力される垂直同期信号ＶＳＹＮＣに応じて、各フレームが形成され、監視カメラ１０の各部（例えば、ＩＲ照明制御部３４、ＲＧＢ・ＩＲ合成部４４）が同期する。
また、ＩＲ照明がオンとされるタイミング、つまり発光条件が切り替わるタイミングと、撮像パラメータが切り替わるタイミングと、を同期させてもよい。これにより、監視カメラ１０は、各発光条件に適した撮像パラメータで、ＲＧＢ画像及びＩＲ画像を生成でき、合成画像を生成でき、合成画像の画質を向上できる。
尚、図１０では、ローリングシャッタ方式を想定しているので、およそ２フレーム相当分、ＩＲ照明がオンにされているが、グローバルシャッタ方式では、１フレーム相当分、ＩＲ照明がオンにされる。
図１１は、各撮像シーンにおけるＩＲ照明のＰＷＭ制御及び撮像パラメータの一例を示す模式図である。ＩＲ照明のＰＷＭ制御の制御量は、ＩＲ光の発光量に対応し、発光条件の１つである。
被写体の周囲が少し暗く、又は、被写体が監視カメラ１０の近くに位置する第１の撮像シーンを想定する。周囲の明るさは、公知技術により検出され、例えば、図示しない照度センサにより検出される。被写体と監視カメラ１０との距離は、公知技術により検出され、例えば、図示しない測距センサ、撮像部２０のズーム率の値、又は監視カメラ１０による所定の画像処理により検出される。周囲が少し暗い状態は、低照度シーンの一例である。
第１の撮像シーンでは、ＩＲ照明制御部３４は、ＰＷＭ制御のデューティ比を小さくして、ＩＲ照明の光量を下げる。また、第１の撮像シーンでは、ＲＧＢ画像処理部４２及びＩＲ画像処理部４３は、撮像パラメータを、ＩＲ画像の撮像用とＲＧＢ画像の撮像用とで異なるように設定してもよい。例えば、第１の撮像シーンでは、ＩＲ画像を撮像する場合には撮像パラメータＡに設定され、ＲＧＢ画像を撮像する場合には撮像パラメータＢに設定される。
一方、被写体の周囲が暗く、又は、被写体が監視カメラ１０から遠くに位置する第２の撮像シーンを想定する。周囲が暗い状態は、低照度シーンの一例であり、周囲が少し暗い状態よりも暗い状態である。
第２の撮影シーンでは、ＩＲ照明制御部３４は、ＰＷＭ制御のデューティ比を大きくして、ＩＲ照明の光量を上げる。また、第２の撮像シーンでは、ＲＧＢ画像処理部４２及びＩＲ画像処理部４３は、撮像パラメータを、ＩＲ画像とＲＧＢ画像とで異なるように設定してもよい。例えば、第２の撮像シーンでは、ＩＲ画像を撮像する場合には撮像パラメータＣに設定され、ＲＧＢ画像を撮像する場合には撮像パラメータＤに設定される。
例えば、第１の撮像シーンでの撮像パラメータＡ，Ｂでは、第２の撮像シーンでの撮像パラメータＣ，Ｄと比較して、ゲインが小さく、露光時間が短く設定される。
このように、被写体周辺の照度や監視カメラ１０と被写体との距離に応じて、撮像パラメータ及び発光条件の少なくとも一方が異なるように設定されてもよい。また、ＲＧＢ画像の撮像用の撮像パラメータであるか、ＩＲ画像の撮像用の撮像パラメータであるか、に応じて、撮像パラメータが異なるように設定されてもよい。
尚、上述したように、設定された撮像パラメータＡ〜Ｄから予測される画像の成分（予測値）と、実際に得られた画像の成分（実績値）と、に乖離がある場合、ＲＧＢ画像処理部４２及びＩＲ画像処理部４３は、撮像パラメータを更新し、微調整してもよい。
本実施形態の監視カメラ１０では、ＩＲ照明が行われる発光期間では、例えば、ＩＲ画像の撮像に適した短露光時間かつ低ゲインの撮像パラメータで、ＩＲ画像が撮像される。一方、環境光が用いられ、ＩＲ照明されない非発光期間では、例えば、ＲＧＢ画像の撮像に適した長露光時間かつ高ゲインの撮像パラメータで、ＲＧＢ画像が撮像される。非発光期間は、発光期間に発光期間に連続する。撮像されたＩＲ画像とＲＧＢ画像とは、合成され、合成画像が得られる。画像の合成では、例えば、ＩＲ画像から被写体画像のエッジ領域が検出され、ＲＧＢ画像から得られる色信号を用いて、被写体画像に色調が付与される。
これにより、低照度の環境で被写体を撮像しても、色再現性の高い合成画像を得ることができる。また、ＩＲ画像を用いてエッジ領域を容易に取得でき、ＲＧＢ画像を用いて鮮やかな色調を容易に取得できる。従って、低照度の環境において撮像された画像の品質を容易に向上できる。
また、監視カメラ１０は、大がかりな撮像システムを必要としないので、低照度の環境においてカラー画像を取得するための装置のコストを低減し、調整及びメンテナンスも容易化できる。
また、ＩＲ画像処理部４３は、露光時間が短くかつゲインが小さくなるように、ＩＲ画像撮像用の撮像パラメータを設定してもよい。ＲＧＢ画像処理部４２は、露光時間が長くかつゲインが大きくなるように、ＲＧＢ画像撮像用の撮像パラメータを設定してもよい。これにより、ＩＲ画像及びＲＧＢ画像に適した撮像が可能であり、例えば、ＩＲ画像の特徴（例えばエッジ成分、階調成分）を増大でき、ＲＧＢ画像の特徴（例えば色調成分）を増大できる。従って、低照度の環境において撮像された画像の品質を容易に向上できる。
また、２バンドパスフィルタ２３を通して、被写体からの光を受光してもよい。２バンドパスフィルタ２３を用いる場合、例えばＲＧＢフィルタとＩＲカットフィルタとを用い、ＩＲカットフィルタを機械的にオンオフする場合と比較すると、ＩＲカットフィルタのオンオフ切替が不要となる。従って、ＩＲ画像の取得とＲＧＢ画像の取得とを高速に切り替えでき、合成画像のリアルタイム性を向上でき、例えば高速に動く被写体に対しても追従精度を向上できる。
また、被写体が監視カメラ１０から近い場合と遠い場合とで、ＲＧＢ画像処理部４２及びＩＲ画像処理部４３は、撮像パラメータ及び発光条件の少なくとも一方が異なるように設定してもよい。これにより、被写体から監視カメラ１０までの距離に応じて、撮像画像の品質が変化することを抑制できる。
また、監視カメラ１０は、グローバルシャッタ方式に対応して画像を撮像して合成してもよい。この場合、合成画像のフレームレートの低下を抑制して、低照度の環境において撮像された画像の品質を向上できる。
また、監視カメラ１０は、ローリングシャッタ方式に対応して画像を撮像して合成してもよい。この場合、撮像素子２４としてＣＭＯＳセンサを採用するので、監視カメラ１０を低コスト化できる。
また、監視カメラ１０は、ＩＲ照明を時分割に点灯する場合、時分割にせずに常に点灯する場合と比較すると、２バンドパスフィルタ２３からの漏れ光による信号の干渉を抑制でき、ＲＧＢ画像からの特徴量の抽出精度の低下を抑制できる。従って、このＲＧＢ画像を用いた合成画像の画質を向上できる。
（変形例１）
上記実施形態では、前面にカラーフィルタ２５が組み込まれた撮像素子２４を例示したが、他の撮像素子２４が用いられてもよい。変形例１では、監視カメラ１０が、撮像素子２４の代わりに、前面にカラーフィルタ５６が組み込まれたＲＧＢＩＲセンサ５５を例示する。尚、監視カメラ１０は、ＲＧＢＩＲセンサ５５を用いる場合でも、ＩＲ照明の発光制御をしてもよい。
図１２（Ａ）〜（Ｃ）は、ＲＧＢＩＲセンサ５５を説明するための模式図である。
図１２（Ａ）は、ＲＧＢＩＲセンサ５５の構造例を示す断面図である。ＲＧＢＩＲセンサ５５は、センサ部５７及びセンサ部５７の前面（レンズ２１側）に配置されたカラーフィルタ５６を含んで構成される。
図１２（Ｂ）は、カラーフィルタ５６の配列例を示す模式図である。カラーフィルタ５６は、ベイヤ配列により構成され、Ｒ，Ｇ，Ｂ，ＩＲの光をそれぞれ透過させるフィルタ部５６ｂ，５６ｃ，５６ｄ，５６ａを有する。フィルタ部５６ａは、赤外光（ＩＲ光）を透過させるフィルタである。ＩＲ光を透過させるフィルタ部５６ａの代わりに、白色光（Ｗ光）を透過させるフィルタが設けられてもよいし、フィルタ部５６ａに入射された光が全透過されてもよい。
図１２（Ｃ）は、ＲＧＢＩＲセンサ５５の光学特性の一例を示すグラフである。図１２（Ｃ）に示すように、ＲＧＢＩＲセンサ５５は、Ｒ，Ｇ，Ｂ，ＩＲそれぞれの波長領域で高い感度を有する。
ＲＧＢＩＲセンサ５５の構成は、図１２（Ａ），（Ｂ）に例示した構成に限られない。例えば、ＲＧＢＩＲセンサ５５は、従来のカラーイメージセンサの２つあるＧのフィルタ部の１つをＩＲのフィルタ部とする以外に、ＩＲのフィルタ部５６ａが追加されてもよい。また、ＲＧＢＩＲセンサ５５が、ＩＲのフィルタ部５６ａを備えず、監視カメラ１０が、全透過された光とＲ，Ｇ，Ｂの各光を透過させた光との差分を導出し、当該差分に基づいて色再現性を改善してもよい。
ＲＧＢＩＲセンサ５５を用いることで、時分割に撮像パラメータを切り替えることなく、１回の撮像動作でＲＧＢ画像とＩＲ画像とを同時に取得できる。また、ＲＧＢＩＲセンサ５５を有する監視カメラ１０は、時分割に撮像パラメータ及び発光条件を切り替えてＩＲ照明の発光制御を行い、低照度の環境において撮像された画像の品質を一層向上させてもよい。
（変形例２）
変形例２では、監視カメラ１０が、撮像部２０の代わりに、２つのイメージセンサ（撮像素子）を含む撮像部６０を備えることを想定する。
図１３（Ａ）は、撮像部６０の構成例を示す模式図である。撮像部６０は、レンズ２１の光軸上に配置された、プリズム６４、ＩＲカットフィルタ６３、及びカラーイメージセンサ６１を有する。また、撮像部６０は、モノクロイメージセンサ６２を有する。プリズム６４は、分光装置の一例であるが、プリズム６４の代わりに他の分光装置が用いられてもよい。
レンズ２１により集光された光のうち、プリズム６４を透過した光は、ＩＲカットフィルタ６３でＩＲ光がカットされた後、カラーイメージセンサ６１により受光され、ＲＧＢ画像が撮像される。一方、プリズム６４により屈折した光は、モノクロイメージセンサ６２により受光され、ＩＲ画像が撮像される。この場合でも、監視カメラ１０は、ＩＲ照明の発光制御を実施してもよい。
図１３（Ｂ）は、撮像部６０の光学特性を示すグラフである。図１３（Ｂ）に示すように、Ｒ，Ｇ，Ｂ，ＩＲの波長領域で、それぞれ高い感度が得られる。
撮像部６０では、例えば、ＩＲカットフィルタ６３が、カラーイメージセンサ６１の側の光路上で、機械的にオンオフされてもよい。例えばＲＧＢ画像が撮像される場合、ＩＲカットフィルタ６３がオンにされ、色調を改善する。撮像部６０では、例えば、最終出力画像が白黒の場合、ＩＲカットフィルタ６３が機械的にオフされると、モノクロイメージセンサ５２の感度を高めることができる。
また、カラーイメージセンサ６１とモノクロイメージセンサ６２との物理的な解像度が異なってもよい。この場合でも、画像後処理部４５がレジストレーションすることで、ＩＲ画像とＲＧＢ画像とを合成できる。
例えば、モノクロイメージセンサ６２は、低解像度化されることにより、同じセンササイズでもピクセルサイズを大きくでき、高感度化できる。カラーイメージセンサ６１は、低感度化されて高解像度化されてもよい。このようなカラーイメージセンサ６１とモノクロイメージセンサ６２とを用いることで、白昼の通常モードでの画質を改善する等、組合せができる。
撮像部６０では、ＩＲカットフィルタ６３を光路上に容易に配置でき、ＲＧＢ画像とＩＲ画像とを同時に撮像できる。また、ＩＲカットフィルタ６３を設けることで、色再現性を向上できる。また、カラーイメージセンサ６１とモノクロイメージセンサ６２とが分離されることで、各イメージセンサの１画素あたり面積を大きくでき、高感度化できる。従って、低照度下で撮像された画像の品質を向上できる。また、撮像部６０を有する監視カメラ１０は、時分割に撮像パラメータを切り替えてＩＲ照明の発光制御を行い、低照度の環境において撮像された画像の品質を一層向上させてもよい。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
上記実施形態では、被写体画像のエッジ成分、階調成分の強調には、ＩＲ光によるＩＲ画像を用いることを例示したが、紫外光（ＵＶ：Ｕｌｔｒａｖｉｏｌｅｔ）によって撮像された画像を用いてもよい。または、例えばエッジ成分、階調成分が強調されれば、ＩＲ画像の代わりに、可視光が照射された画像を用いてもよい。ＩＲ光、ＵＶ光は、非可視光の一例である。可視光及び非可視光は、補助光の一例である。
例えば、上記実施形態では、図５に示した処理を監視カメラ１０が全て実施することを例示したが、一部の処理を監視カメラ１０が実施し、一部の処理を他の装置（例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）が実施してもよい。つまり、監視カメラ１０とＰＣとを備える撮像システムが形成されてもよい。この場合、例えばＰＣは、Ｃｕｄａ（Ｃｏｍｐｕｔｅ Ｕｎｉｆｉｅｄ Ｄｅｖｉｃｅ Ａｒｃｈｉｔｅｃｔｕｒｅ）を用いて処理を高速化してもよい。
例えば、監視カメラ１０が、図６におけるＳ１のイメージセンサ出力からＳ３の色調補正までの処理を行い、処理された画像データを含むデータを、ネットワーク等を介してＰＣへ送信する。ＰＣは、監視カメラ１０からのデータを受信し、受信された画像データに対して、Ｓ４の画像分離の処理からＳ９の画像出力までの処理を行う。この場合、ＰＣは、例えば、ＲＧＢ画像及びＩＲ画像を受信する通信部と、ＲＧＢ画像とＩＲ画像を合成する画像合成部と、を備える。これにより、監視カメラ１０の処理負荷を低減できる。
また、本実施形態では、撮像装置の一例として監視カメラ１０を例示したが、他の撮像装置（例えば、車載カメラ、産業用カメラ、医療用カメラ、民生用カメラ）でもよい。
（本発明の一態様の概要）
本発明の一態様の撮像装置は、画像を撮像するための撮像条件と、補助光を発光するための発光条件と、を時分割で指定する条件指定部と、前記撮像条件に応じて、被写体を含む画像を撮像する撮像部と、前記発光条件に応じて、前記被写体に対して前記補助光を発光する発光部と、前記補助光が発光される発光期間に、第１の撮像条件で撮像された第１の画像と、前記発光期間に連続し前記補助光が発光されない非発光期間に、第２の撮像条件で撮像された第２の画像と、を合成する画像合成部と、を備える。
この構成によれば、例えば、第１の画像からエッジ成分及び階調成分を抽出でき、第２の画像から色調成分を抽出でき、抽出された成分に基づいて被写体を含む画像に色調を付与できる。これにより、低照度な環境で被写体を撮像しても、色再現性の高い合成画像を得ることができる。また、撮像装置として大規模な装置を必要としないので、装置に要するコストを低減し、装置の調整及びメンテナンスも容易化できる。従って、低照度の環境において撮像された画像の品質を容易に向上できる。
本発明の一態様の撮像装置は、前記条件指定部が、前記撮像条件と前記発光条件とを同期して切り替える。
この構成によれば、例えば、エッジ成分及び階調成分が大きい第１の画像と、色調成分が大きい第２の画像とを、容易に取得できる。従って、撮像装置が容易に合成画像を導出できるので、低照度の環境において撮像された画像の品質を容易に向上できる。
本発明の一態様の撮像装置は、前記条件指定部が、前記被写体と前記撮像部との距離に応じて、前記撮像条件及び前記発光条件の少なくとも一方を指定する。
この構成によれば、被写体と撮像装置との距離に適した撮像条件や発光条件により、第１の画像及び第２の画像を撮像できる。
本発明の一態様の撮像装置は、前記条件指定部が、前記被写体を含む領域の照度に応じて、前記撮像条件及び前記発光条件の少なくとも一方を指定する。
この構成によれば、低照度下における照度に適した撮像条件や発光条件により、第１の画像及び第２の画像を撮像できる。
本発明の一態様の撮像装置は、前記発光条件が、前記補助光の発光の有無、又は前記補助光の発光量の情報を含み、前記撮像条件が、前記撮像部の露光時間、又は前記撮像部により撮像された画像の信号を増幅するためのゲインの情報を含む。
この構成によれば、様々な撮像条件や発光条件を考慮して、第１の画像及び第２の画像を撮像できる。
本発明の一態様の撮像装置は、前記条件指定部が、前記第２の撮像条件における露光時間を、前記第１の撮像条件における露光時間よりも長くなるよう指定する。
この構成によれば、第２の撮像条件における露光時間を長くすることにより低照度の環境においても色調成分が増大された第２の画像を取得できる。これにより、色鮮やかな合成画像を生成できる。一方、第１の撮像条件により第１の画像が撮像される際には、補助光が発光されるので、露光時間が短くても、低照度の環境においてエッジ成分及び階調成分が増大された第１の画像を取得できる。これにより、輪郭が鮮明な合成画像を生成できる。
本発明の一態様の撮像装置は、前記条件指定部が、前記第２の撮像条件におけるゲインを、前記第１の撮像条件におけるゲインよりも大きくなるよう指定する。
この構成によれば、第２の撮像条件におけるゲインを大きくすることにより、低照度の環境においても色調成分が増大された第２の画像を取得できる。これにより、色鮮やかな合成画像を生成できる。一方、第１の撮像条件により第１の画像が撮像される際には、補助光が発光されるので、ゲインが小さくても、低照度の環境においてエッジ成分及び階調成分が増大された第１の画像を取得できる。これにより、輪郭が鮮明な合成画像を生成できる。
本発明の一態様の撮像装置は、前記条件指定部が、前記被写体と前記撮像部との距離が長い程、前記補助光の発光量を多くするよう指定する。
この構成によれば、遠くの被写体に対しては補助光の発光量を増加させることで、低照度の環境においてもエッジ成分及び階調成分が増大された第１の画像を取得できる。これにより、輪郭が鮮明な合成画像を生成できる。
本発明の一態様の撮像装置は、前記条件指定部が、前記被写体と前記撮像部との距離が長い程、前記撮像条件における露光時間が長くなるよう指定する。
この構成によれば、遠くの被写体に対しては第２の撮像条件における露光時間を長くすることにより、低照度の環境においても色調成分が増大された第２の画像を取得できる。これにより、色鮮やかな合成画像を生成できる。
本発明の一態様の撮像装置は、前記条件指定部が、前記被写体と前記撮像部との距離が長い程、撮像条件におけるゲインが大きくなるよう指定する。
この構成によれば、遠くの被写体に対しては第２の撮像条件におけるゲインを大きくすることにより、低照度の環境においても色調成分が増大された第２の画像を取得できる。これにより、色鮮やかな合成画像を生成できる。
本発明の一態様の撮像装置は、前記撮像部が、前記第１の画像を撮像した後に、前記第２の画像を撮像する。
この構成によれば、例えば、第２の撮像条件における露光時間を長くし、合成画像の生成が第２の画像の生成と同様のタイミングで開始される場合、合成対象の先に撮像される画像と後に撮像される画像の撮像開始の時間差が小さくなる。よって、例えば、合成画像を生成するための遅延時間が減少し、高速に動く被写体への追従精度を向上できる。
本発明の一態様の撮像装置は、前記発光部が、非可視光を発光する。
この構成によれば、第１の画像のエッジ成分及び階調成分を容易に増大できる。
本発明の一態様の撮像装置は、前記撮像部が、フィルタ部と、前記フィルタ部を介して受光し、画像を得る撮像素子と、を含み、前記フィルタ部が、第１の波長領域又は第２の波長領域に波長が含まれる光の透過率が、他の波長領域に波長が含まれる光の透過率よりも高く、前記第１の波長領域が、可視光の波長領域を含み、前記第２の波長領域が、非可視光の波長領域を含む。
この構成によれば、ＩＲカットフィルタが不要であるので、ＩＲカットフィルタを機械的なオンオフ動作が不要であり、第１の画像及び第２の画像の撮像動作を高速化できる。従って、合成画像を生成するための遅延時間が減少し、高速に動く被写体への追従精度を向上できる。
本発明の一態様の撮像装置は、前記撮像部が、グローバルシャッタ方式に従って撮像する場合、第１のフレームにおいて、前記発光期間に前記第１の画像を撮像し、前記第１のフレームの後に連続する第２のフレームにおいて、前記非発光期間に前記第２の画像を撮像し、前記画像合成部が、前記第２のフレームにおいて、前記第１の画像と前記第２の画像とを合成する。
この構成によれば、フレーム毎に画像を第１の画像又は第２の画像を撮像し、低品質の画像が生成されることを抑制できるので、フレームレートの低下を抑制できる。従って、被写体が高速に移動する場合でも、合成画像の画質の低下を抑制できる。
本発明の一態様の撮像装置は、前記撮像部が、ローリングシャッタ方式に従って撮像する場合、第１のフレーム及び前記第１のフレームに連続する第２のフレームに亘って、前記発光期間に前記第１の画像を撮像し、第３のフレーム及び前記第３のフレームに連続する第４のフレームに亘って、前記非発光期間に前記第２の画像を撮像し、前記画像合成部が、前記第４のフレームにおいて、前記第１の画像と前記第２の画像とを合成する。
この構成によれば、撮像部にＣＭＯＳセンサを採用でき、撮像装置を低価格化できる。
本発明の一態様の撮像装置は、前記発光期間及び前記非発光期間に亘って前記撮像部により撮像された画像を破棄する画像破棄部を備える。
この構成によれば、撮像途中で被写体の周囲の輝度が変化し、不鮮明となった撮像画像を合成対象から除外することにより、合成画像の画質の低下を抑制できる。
本発明の一態様の撮像システムは、撮像装置と情報処理装置とを備える撮像システムであって、前記撮像装置は、画像を撮像するための撮像条件と、補助光を発光するための発光条件と、を時分割で指定する条件指定部と、前記撮像条件に応じて、被写体を含む第１の画像及び第２の画像を撮像する撮像部と、前記発光条件に応じて、前記被写体に対して前記補助光を発光する発光部と、前記撮像された前記第１の画像及び前記第２の画像を送信する送信部と、を備え、前記撮像部は、前記補助光が発光される発光期間に、第１の撮像条件で前記第１の画像を撮像し、前記発光期間に連続し前記補助光が発光されない非発光期間に、第２の撮像条件で前記第２の画像を撮像し、前記情報処理装置は、前記撮像装置からの前記第１の画像と前記第２の画像とを受信する受信部と、前記第１の画像と前記第２の画像とを合成する画像合成部と、を備える。
この構成によれば、例えば、第１の画像からエッジ成分及び階調成分を抽出でき、第２の画像から色調成分を抽出でき、抽出された成分に基づいて被写体を含む画像に色調を付与できる。これにより、低照度な環境で被写体を撮像しても、色再現性の高い合成画像を得ることができる。また、撮像装置として大規模な装置を必要としないので、装置に要するコストを低減し、装置の調整及びメンテナンスも容易化できる。従って、低照度の環境において撮像された画像の品質を容易に向上できる。
本発明の一態様の撮像方法は、撮像装置における撮像方法であって、被写体を含む画像を撮像するための撮像条件と、前記被写体に対して補助光を発光するための発光条件と、を時分割で指定するステップと、前記補助光が発光される発光期間に、第１の撮像条件で、第１の画像を撮像するステップと、前記発光期間に連続し前記補助光が発光されない非発光期間に、第２の撮像条件で、第２の画像を撮像するステップと、前記第１の画像と前記第２の画像とを合成するステップと、を備える。
この方法によれば、例えば、第１の画像からエッジ成分及び階調成分を抽出でき、第２の画像から色調成分を抽出でき、抽出された成分に基づいて被写体を含む画像に色調を付与できる。これにより、低照度な環境で被写体を撮像しても、色再現性の高い合成画像を得ることができる。また、撮像装置として大規模な装置を必要としないので、装置に要するコストを低減し、装置の調整及びメンテナンスも容易化できる。従って、低照度の環境において撮像された画像の品質を容易に向上できる。
本発明は、低照度の環境において撮像された画像の品質を容易に向上できる撮像装置、撮像システム、及び撮像方法等に有用である。
１０ 監視カメラ
１０ａ 筐体
１０ｂ 取付部
１０ｃ アーム部
１１ 鏡胴
１５ 壁面
２０ 撮像部
２１ レンズ
２２ 絞り
２３ ２バンドパスフィルタ
２４ 撮像素子
２５、５６ カラーフィルタ
２５ａ、２５ｂ、２５ｃ、２５ｄ、５６ａ、５６ｂ、５６ｃ、５６ｄ フィルタ部
３１ ゲイン制御部
３２ 色調補正部
３３ 露光制御部
３４ ＩＲ照明制御部
３５ ドライブ回路部
３６ ＩＲ＿ＬＥＤ部
４０ カメラ信号処理部
４１ ＲＧＢ・ＩＲ分離部
４２ ＲＧＢ画像処理部
４３ ＩＲ画像処理部
４４ ＲＧＢ・ＩＲ合成部
４５ 画像後処理部
４６ フレームメモリ
４７ ＲＧＢ画像制御部
４８ ＩＲ画像制御部
５０ インタフェース部
５５ ＲＧＢＩＲセンサ
５７ センサ部
６０ 撮像部
６１ カラーイメージセンサ
６２ モノクロイメージセンサ
６３ ＩＲカットフィルタ
６４ プリズム

Claims (17)

  1. 画像を撮像するための撮像条件と、補助光を発光するための発光条件と、を時分割で指定する条件指定部と、
    ローリングシャッタ方式に従って、前記撮像条件に応じて、被写体を含む画像を撮像する撮像部と、
    前記発光条件に応じて、前記被写体に対して前記補助光を発光する発光部と、
    前記補助光が発光される発光期間に、第１の撮像条件で撮像された第１の画像と、前記発光期間に連続し前記補助光が発光されない非発光期間に、第２の撮像条件で撮像された第２の画像と、を合成する画像合成部と、
    を備え、
    前記撮像部は、第１のフレームにおいて前記第１の撮像条件を設定し前記発光条件をオンに設定し、前記第１のフレーム及び前記第１のフレームに連続する第２のフレームに亘って、前記発光期間に前記第１の画像を撮像し、前記第２のフレームに連続する第３のフレームにおいて前記第２の撮像条件を設定し前記発光条件をオフに設定し、前記第３のフレーム及び前記第３のフレームに連続する第４のフレームに亘って、前記非発光期間に前記第２の画像を撮像する、撮像装置。
  2. 請求項１に記載の撮像装置であって、
    前記条件指定部は、前記撮像条件と前記発光条件とを同期して切り替える、撮像装置。
  3. 請求項１または２に記載の撮像装置であって、
    前記条件指定部は、前記被写体と前記撮像部との距離に応じて、前記撮像条件及び前記発光条件の少なくとも一方を指定する、撮像装置。
  4. 請求項１ないし３のいずれか１項に記載の撮像装置であって、
    前記条件指定部は、前記被写体を含む領域の照度に応じて、前記撮像条件及び前記発光条件の少なくとも一方を指定する、撮像装置。
  5. 請求項１ないし４のいずれか一項に記載の撮像装置であって、
    前記発光条件は、前記補助光の発光の有無、又は前記補助光の発光量の情報を含み、
    前記撮像条件は、前記撮像部の露光時間、又は前記撮像部により撮像された画像の信号を増幅するためのゲインの情報を含む、撮像装置。
  6. 請求項５に記載の撮像装置であって、
    前記条件指定部は、前記第２の撮像条件における露光時間を、前記第１の撮像条件における露光時間よりも長くなるよう指定する、撮像装置。
  7. 請求項５に記載の撮像装置であって、
    前記条件指定部は、前記第２の撮像条件におけるゲインを、前記第１の撮像条件におけるゲインよりも大きくなるよう指定する、撮像装置。
  8. 請求項５に記載の撮像装置であって、
    前記条件指定部は、前記被写体と前記撮像部との距離が長い程、前記補助光の発光量を多くするよう指定する、撮像装置。
  9. 請求項５に記載の撮像装置であって、
    前記条件指定部は、前記被写体と前記撮像部との距離が長い程、前記撮像条件における露光時間が長くなるよう指定する、撮像装置。
  10. 請求項５に記載の撮像装置であって、
    前記条件指定部は、前記被写体と前記撮像部との距離が長い程、撮像条件におけるゲインが大きくなるよう指定する、撮像装置。
  11. 請求項１ないし１０のいずれか１項に記載の撮像装置であって、
    前記撮像部は、前記第１の画像を撮像した後に、前記第２の画像を撮像する、撮像装置。
  12. 請求項１ないし１１のいずれか１項に記載の撮像装置であって、
    前記発光部は、非可視光を発光する、撮像装置。
  13. 請求項１ないし１２のいずれか１項に記載の撮像装置であって、
    前記撮像部は、フィルタ部と、前記フィルタ部を介して受光し、画像を得る撮像素子と、を含み、
    前記フィルタ部は、第１の波長領域又は第２の波長領域に波長が含まれる光の透過率が、他の波長領域に波長が含まれる光の透過率よりも高く、
    前記第１の波長領域は、可視光の波長領域を含み、
    前記第２の波長領域は、非可視光の波長領域を含む、撮像装置。
  14. 請求項１ないし１３のいずれか１項に記載の撮像装置であって、
    前記画像合成部は、前記第４のフレームにおいて、前記第１の画像と前記第２の画像とを合成する、撮像装置。
  15. 請求項１に記載の撮像装置であって、更に、
    前記発光期間及び前記非発光期間に亘って前記撮像部により撮像された画像を破棄する画像破棄部を備える、撮像装置。
  16. ローリングシャッタ方式に従って撮像する撮像装置と情報処理装置とを備える撮像システムであって、
    前記撮像装置は、
    画像を撮像するための撮像条件と、補助光を発光するための発光条件と、を時分割で指定する条件指定部と、
    前記撮像条件に応じて、被写体を含む第１の画像及び第２の画像を撮像する撮像部と、
    前記発光条件に応じて、前記被写体に対して前記補助光を発光する発光部と、
    前記撮像された前記第１の画像及び前記第２の画像を送信する送信部と、
    を備え、
    前記撮像部は、第１のフレームにおいて第１の撮像条件を設定し前記発光条件をオンに設定し、前記第１のフレーム及び前記第１のフレームに連続する第２のフレームに亘って、前記補助光が発光される発光期間に、前記第１の撮像条件で前記第１の画像を撮像し、前記第２のフレームに連続する第３のフレームにおいて第２の撮像条件を設定し前記発光条件をオフに設定し、前記第３のフレーム及び前記第３のフレームに連続する第４のフレームに亘って、前記発光期間に連続し前記補助光が発光されない非発光期間に、前記第２の撮像条件で前記第２の画像を撮像し、
    前記情報処理装置は、
    前記撮像装置からの前記第１の画像と前記第２の画像とを受信する受信部と、
    前記第１の画像と前記第２の画像とを合成する画像合成部と、
    を備える撮像システム。
  17. ローリングシャッタ方式に従って撮像する撮像装置における撮像方法であって、
    被写体を含む画像を撮像するための撮像条件と、前記被写体に対して補助光を発光するための発光条件と、を時分割で指定するステップと、
    第１のフレームにおいて第１の撮像条件を設定し前記発光条件をオンに設定するステップと、
    前記第１のフレーム及び前記第１のフレームに連続する第２のフレームに亘って、前記補助光が発光される発光期間に、前記第１の撮像条件で、第１の画像を撮像するステップと、
    前記第２のフレームに連続する第３のフレームにおいて第２の撮像条件を設定し前記発光条件をオフに設定するステップと、
    前記第２のフレームに連続する第３のフレーム及び前記第３のフレームに連続する第４のフレームに亘って、前記発光期間に連続し前記補助光が発光されない非発光期間に、前記第２の撮像条件で、第２の画像を撮像するステップと、
    前記第１の画像と前記第２の画像とを合成するステップと、
    を備える撮像方法。
JP2014107297A 2014-05-23 2014-05-23 撮像装置、撮像システム、及び撮像方法 Active JP6471953B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014107297A JP6471953B2 (ja) 2014-05-23 2014-05-23 撮像装置、撮像システム、及び撮像方法
PCT/JP2015/002508 WO2015178012A1 (ja) 2014-05-23 2015-05-19 撮像装置、撮像システム、及び撮像方法
US15/072,690 US10136076B2 (en) 2014-05-23 2016-03-17 Imaging device, imaging system, and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014107297A JP6471953B2 (ja) 2014-05-23 2014-05-23 撮像装置、撮像システム、及び撮像方法

Publications (2)

Publication Number Publication Date
JP2015222916A JP2015222916A (ja) 2015-12-10
JP6471953B2 true JP6471953B2 (ja) 2019-02-20

Family

ID=54553693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014107297A Active JP6471953B2 (ja) 2014-05-23 2014-05-23 撮像装置、撮像システム、及び撮像方法

Country Status (3)

Country Link
US (1) US10136076B2 (ja)
JP (1) JP6471953B2 (ja)
WO (1) WO2015178012A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6442710B2 (ja) * 2013-07-23 2018-12-26 パナソニックＩｐマネジメント株式会社 固体撮像装置、撮像装置及びその駆動方法
WO2016027397A1 (ja) * 2014-08-20 2016-02-25 パナソニックＩｐマネジメント株式会社 固体撮像装置及びカメラ
US10321024B2 (en) * 2014-09-26 2019-06-11 Hitachi Kokusai Electric Inc. Image capturing method and image capturing apparatus
JP2016213628A (ja) * 2015-05-07 2016-12-15 ソニー株式会社 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
JP2017108211A (ja) 2015-12-07 2017-06-15 ソニー株式会社 撮像装置、撮像制御方法、および、プログラム
JP2017118191A (ja) * 2015-12-21 2017-06-29 ソニー株式会社 撮像素子及びその駆動方法、並びに撮像装置
JP2017126954A (ja) * 2016-01-15 2017-07-20 ソニー株式会社 画像処理装置、画像処理方法、及び、撮像装置
KR101775818B1 (ko) * 2016-02-15 2017-09-06 케이티텔레캅 주식회사 조명 및 ir 저조도 카메라 연동 컬러영상 획득장치
US11244478B2 (en) * 2016-03-03 2022-02-08 Sony Corporation Medical image processing device, system, method, and program
JP2017204685A (ja) * 2016-05-10 2017-11-16 ソニー株式会社 情報処理装置、情報処理方法
KR101747603B1 (ko) * 2016-05-11 2017-06-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 컬러 나이트 비전 시스템 및 그 동작 방법
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
JP6725060B2 (ja) * 2017-03-31 2020-07-15 日本電気株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
CN107566747B (zh) * 2017-09-22 2020-02-14 浙江大华技术股份有限公司 一种图像亮度增强方法及装置
CN108534891B (zh) * 2018-03-09 2021-11-05 Oppo广东移动通信有限公司 光传感器、电子装置及其制造方法
JP7191597B2 (ja) * 2018-08-30 2022-12-19 キヤノン株式会社 撮像装置及びそれを備える監視システム、制御方法並びにプログラム
JP7169863B2 (ja) 2018-12-03 2022-11-11 キヤノン株式会社 撮像装置及びその制御方法、及び演算方法
US11212498B2 (en) * 2018-12-11 2021-12-28 Intel Corporation Infrared crosstalk correction for hybrid RGB-IR sensors
CN113271414B (zh) * 2020-02-14 2022-11-18 上海海思技术有限公司 图像获取方法和装置
CN111447423A (zh) * 2020-03-25 2020-07-24 浙江大华技术股份有限公司 图像传感器、摄像装置及图像处理方法
EP3886539B1 (en) 2020-03-26 2022-01-19 Axis AB A method for assessing ambient light during night mode image acquisition

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778769B2 (en) * 2002-10-11 2004-08-17 Fuji Photo Film Co., Ltd. Camera
US7379100B2 (en) * 2004-02-12 2008-05-27 Canesta, Inc. Method and system to increase dynamic range of time-of-flight (TOF) and/or imaging sensors
JP5184016B2 (ja) * 2007-09-12 2013-04-17 オンセミコンダクター・トレーディング・リミテッド 撮像装置
JP2009117976A (ja) * 2007-11-02 2009-05-28 Panasonic Corp 撮像装置
WO2010081010A2 (en) * 2009-01-09 2010-07-15 New York University Methods, computer-accessible medium and systems for facilitating dark flash photography
US9225916B2 (en) * 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
JP5485004B2 (ja) * 2010-04-23 2014-05-07 パナソニック株式会社 撮像装置
WO2012023603A1 (ja) * 2010-08-20 2012-02-23 株式会社日立国際電気 画像監視システムおよびカメラ
JP2012095143A (ja) * 2010-10-27 2012-05-17 Funai Electric Co Ltd 撮像装置
US20130258112A1 (en) * 2010-12-21 2013-10-03 Zamir Recognition Systems Ltd. Visible light and ir hybrid digital camera
JP5761074B2 (ja) * 2012-02-24 2015-08-12 株式会社デンソー 撮像制御装置及びプログラム
JP6151530B2 (ja) * 2012-02-29 2017-06-21 株式会社半導体エネルギー研究所 イメージセンサ、カメラ、及び監視システム
US10051211B2 (en) * 2013-12-05 2018-08-14 Omnivision Technologies, Inc. Image sensors for capturing both visible light images and infrared light images, and associated systems and methods
WO2016132615A1 (ja) * 2015-02-16 2016-08-25 富士フイルム株式会社 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム

Also Published As

Publication number Publication date
WO2015178012A1 (ja) 2015-11-26
US10136076B2 (en) 2018-11-20
JP2015222916A (ja) 2015-12-10
US20160198103A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
JP6471953B2 (ja) 撮像装置、撮像システム、及び撮像方法
US10291859B2 (en) Imaging device and imaging method for composing a non-visible light image and a visibile light image
JP6568719B2 (ja) 撮像方法及び撮像装置
JP4899149B2 (ja) 面順次方式カラーカメラシステム
TWI835927B (zh) 獲得數位影像之方法
US9319597B2 (en) System and method for color imaging under low light
CN102892008A (zh) 双图像捕获处理
JP6484504B2 (ja) 撮像装置
US7486884B2 (en) Imaging device and imaging method
JP5860663B2 (ja) ステレオ撮像装置
US9961276B2 (en) Camera apparatus and image processing method
WO2015146006A1 (ja) 撮像装置及び撮像制御方法
JP5199736B2 (ja) 画像撮像装置
WO2016035529A1 (ja) 撮像装置、撮像装置の制御方法及び制御プログラム
WO2016035528A1 (ja) 撮像装置、撮像装置の制御方法及び制御プログラム
KR101753261B1 (ko) 촬영 시스템 및 그 영상품질 동기화 방법
JP2017092876A (ja) 撮像装置、撮像システム、及び撮像方法
WO2020026561A1 (ja) 画像処理装置と画像処理方法とプログラムおよび撮像装置
JP5182518B2 (ja) 撮像装置および撮像方法
CN111835949B (zh) 摄像装置、摄像***、非暂时性存储介质和控制方法
KR101475468B1 (ko) 적외선 led 카메라 시스템
KR102110314B1 (ko) 다중 노출 촬영 시스템 및 제어 방법
JP2017184151A (ja) 撮像装置及び撮像方法
JP2022179259A (ja) 光束分離光学系および画像処理装置
CN114095665A (zh) 相机内置式前照灯的灯控制器联锁***及其方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190111

R151 Written notification of patent or utility model registration

Ref document number: 6471953

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151