JP2010154169A - Infrared irradiation type image pickup device - Google Patents
Infrared irradiation type image pickup device Download PDFInfo
- Publication number
- JP2010154169A JP2010154169A JP2008329409A JP2008329409A JP2010154169A JP 2010154169 A JP2010154169 A JP 2010154169A JP 2008329409 A JP2008329409 A JP 2008329409A JP 2008329409 A JP2008329409 A JP 2008329409A JP 2010154169 A JP2010154169 A JP 2010154169A
- Authority
- JP
- Japan
- Prior art keywords
- infrared
- imaging
- irradiation
- signal
- infrared irradiation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、低照度下の被写体に対して、赤外線を照射して撮像が可能である赤外線照射式撮像装置に関するものである。 The present invention relates to an infrared irradiation type imaging apparatus capable of imaging an object under low illuminance by irradiating infrared rays.
撮像装置および方法に関する技術が、例えば、下記特許文献１に開示されている。この特許文献１には、入力画素信号から輝度信号を生成する前に、画素の色信号に混入された赤外光成分を色フィルタ毎に推定演算処理し、推定演算処理した色信号の結果に応じて輝度信号を生成し、該生成された輝度信号と色差信号を用いて画像信号を発生する信号処理方法に関して記載されている。
A technique relating to an imaging apparatus and method is disclosed in, for example,
一方、下記特許文献２には、分光を変化させるフィルタの位置を検出する検出手段と、前記検出手段により検出された前記フィルタの位置に基づいて、ホワイトバランス制御を行うホワイトバランス制御手段とを備えることを特徴とする撮像装置に関する技術が開示されている。
近年に於いて、低照度下の被写体に対して赤外線を照射して撮像する場合であっても、モノクロ画像ではなく見た目に近い色合いのカラー画像を得ることができる撮像装置が市場から要求されている。 In recent years, there has been a demand from the market for an imaging device that can obtain a color image having a color close to the appearance, not a monochrome image, even when an object is irradiated with infrared rays and imaged under low illuminance. Yes.
しかしながら、赤外線は人間の視覚特性の波長範囲にないのである。例えば、被写体に赤外線を照射して、その反射率を撮像することでモノクロ画像ならば得ることができるが、カラー画像を得るとなると、赤外線にない色情報の処理が更に必要となってくるのである。 However, infrared rays are not in the wavelength range of human visual characteristics. For example, it is possible to obtain a monochrome image by irradiating a subject with infrared rays and imaging the reflectance thereof. However, when a color image is obtained, it is necessary to further process color information that does not exist in infrared rays. is there.
例えば、前記特許文献１に示されるように、撮像信号に混入した赤外線成分を色フィルタ毎に推定演算して色再現性を得る信号処理方法がある。この信号処理方法は、特に、夕方の場合、色温度が下がり赤外線成分が増えた時に、その赤外線成分を打ち消すように色データを補正するものであって、各色データからｋ×（Ｒ＋Ｂ＋ＧＲ＋ＧＢ）／４を差し引く演算をする回路である。
For example, as disclosed in
しかしながら、前記特許文献１に示される信号処理方法は、赤外線を人工的に照射して撮像する場合に於いては、前述した赤外線成分を打ち消す補正演算の演算誤差が増加し、その演算誤差が直接的に色再現性を劣化させてしまうシステムであるという第１の課題があるのである。
However, in the signal processing method disclosed in
一方で、前記特許文献２に示されるように、赤外成分を含む撮像に於いて、赤外線カットフィルタが光軸から外れた場合に、赤外成分を考慮した黒体カーブデータＬＢが読み出されて黒体カーブ制御が行われる。或いは、映像信号Ｒ、Ｇ、Ｂの積分値の比が１になるようなグレーワールド制御を施すことで、撮影状況に応じて、最適なホワイトバランス制御が行われる撮像装置がある。
On the other hand, as shown in
しかしながら、前者の赤外成分を考慮した黒体カーブデータＬＢによる黒体カーブ制御は、可視光量と照射赤外線量と非照射赤外線量との比率、及び／または、差分が不明であるままに、赤外線カットフィルタの配置によって黒体カーブデータＬＡ、ＬＢが選択されるので、この黒体カーブの最適化が為されていないので、前述した第１の課題が解決されていない。 However, the black body curve control based on the black body curve data LB in consideration of the infrared component of the former is performed by using the infrared ray while the ratio and / or difference between the visible light amount, the irradiation infrared ray amount, and the non-irradiation infrared ray amount is unknown. Since the black body curve data LA and LB are selected depending on the arrangement of the cut filters, the black body curve is not optimized, and thus the first problem described above is not solved.
また、後者のグレーワールド制御は、撮像する被写体に色の偏りがないことが大前提であり、被写体に色の偏りがある場合には、このホワイトバランスは大きく崩れてしまうという第２の課題があるのである。 The latter gray world control is based on the premise that there is no color deviation in the subject to be imaged, and when the subject has a color deviation, the second problem is that the white balance is greatly destroyed. There is.
したがって、本発明は、前述した課題に鑑みてなされたものであって、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、良好な色再現性が得られる赤外線照射式撮像装置を提供することを目的とする。 Therefore, the present invention has been made in view of the above-described problems, and is an infrared irradiation type capable of obtaining good color reproducibility when imaging by irradiating infrared rays on a subject under low illuminance. An object is to provide an imaging device.
また、本発明は、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、その被写体に色の偏りがある場合であったとしても、良好な色再現性が得られる赤外線照射式撮像装置を提供することを目的とする。 In addition, the present invention provides an infrared ray that can obtain good color reproducibility even when the subject has a color deviation when irradiating a subject under low illuminance with infrared rays. An object is to provide an irradiation type imaging apparatus.
本発明のある態様によれば、低照度下の被写体に対して、赤外線を照射して撮像が可能である赤外線照射式撮像装置であって、前記被写体に前記赤外線を照射する赤外線照射手段と、前記被写体を結像して光学像を生成する光学手段と、前記光学手段の光路上に対して進退可能な構造であって、前記光学像に含まれる赤外線を遮断して、可視光から成る前記光学像を生成するための赤外線カットフィルタと、前記被写体に前記赤外線を照射させないで前記光路上に対して前記赤外線カットフィルタを挿入させる可視光撮像条件と、前記被写体に前記赤外線を照射させないで前記光路上に対して前記赤外線カットフィルタを退出させる赤外線取込撮像条件と、前記被写体に前記赤外線を照射させて前記光路上に対して前記赤外線カットフィルタを退出させる赤外線照射撮像条件と、を夫々制御する撮像条件制御手段と、前記光学像を色毎に光電変換して撮像信号を生成する撮像手段と、前記撮像条件別に前記撮像信号を分岐させる撮像信号分岐回路と、前記赤外線取込撮像条件にて生成された前記撮像信号に基づいて、前記赤外線照射撮像条件にて生成された前記撮像信号を赤外線照射成分撮像信号と非照射成分撮像信号とに分離する赤外線照射成分分離手段と、前記可視光撮像条件にて生成された前記撮像信号に基づいて、前記非照射成分撮像信号の色バランスを整合し、色整合撮像信号を生成する色バランス整合手段と、前記赤外線照射成分撮像信号と前記色整合撮像信号とに合成画像処理を施して、カラー画像信号を生成する画像処理手段と、を具備することを特徴とする赤外線照射式撮像装置が提供される。 According to an aspect of the present invention, an infrared irradiation type imaging apparatus capable of imaging an object under low illuminance by irradiating infrared light, the infrared irradiation means for irradiating the object with the infrared light, An optical unit that forms an image of the subject to generate an optical image, and a structure that can advance and retreat with respect to the optical path of the optical unit, and that includes visible light that blocks infrared rays included in the optical image. An infrared cut filter for generating an optical image; a visible light imaging condition in which the infrared cut filter is inserted into the optical path without irradiating the subject with the infrared light; and the subject without being irradiated with the infrared light. Infrared capturing imaging conditions for exiting the infrared cut filter on the optical path, and the infrared cut filter on the optical path by irradiating the subject with the infrared light Imaging condition control means for controlling each of the infrared irradiation imaging conditions to be exited, imaging means for photoelectrically converting the optical image for each color to generate an imaging signal, and an imaging signal for branching the imaging signal according to the imaging conditions Based on the imaging signal generated under the branch circuit and the infrared capturing imaging condition, the imaging signal generated under the infrared irradiation imaging condition is separated into an infrared irradiation component imaging signal and a non-irradiation component imaging signal. Infrared radiation component separation means for performing color balance matching means for matching a color balance of the non-irradiation component imaging signal based on the imaging signal generated under the visible light imaging condition and generating a color matching imaging signal; Image processing means for generating a color image signal by subjecting the infrared irradiation component imaging signal and the color matching imaging signal to composite image processing. Irradiation type image pickup device is provided.
本発明の上記態様によれば、低照度下の被写体に対して赤外線を照射して撮像する場合であっても、良好な色再現性が得られる効果がある。 According to the above aspect of the present invention, there is an effect that good color reproducibility can be obtained even when imaging is performed by irradiating a subject under low illuminance with infrared rays.
また、本発明の上記態様によれば、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、その被写体に色の偏りがある場合であったとしても、良好な色再現性が得られる効果がある。 Further, according to the above aspect of the present invention, when a subject under low illuminance is imaged by irradiating infrared rays, good color reproduction can be achieved even if the subject has a color bias. There is an effect that can be obtained.
以下、図面を参照して本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、本発明の実施形態による赤外線照射式撮像装置１の基本構成を示すブロック図である。
FIG. 1 is a block diagram showing a basic configuration of an infrared irradiation
図１に於いて、この赤外線照射式撮像装置１は、赤外線発光ダイオード２（赤外線照射手段）と、レンズ３（光学手段）と、赤外線カットフィルタ４と、撮像条件制御部５（撮像条件制御手段）と、イメージセンサ６（撮像手段）と、撮像信号分岐回路７と、赤外線照射成分分離部８（赤外線照射成分分離手段）と、色バランス整合部９（色バランス整合手段）と、画像処理部１０（画像処理手段）と、より構成されている。
In FIG. 1, this infrared irradiation
前記赤外線発光ダイオード２は、被写体に赤外線を照射／非照射するものであって、この赤外線の波長は約８００〜９００（ｎｍ）を主成分とするものであっても良い。前記レンズ３は、被写体を結像して光学像を生成するものである。前記赤外線カットフィルタ４は、レンズ３の光路上に対して進退可能な構造であって、光学像に含まれる赤外線を遮断して、可視光から成る光学像を生成するものである。
The infrared
前記撮像条件制御部５は、被写体に赤外線を照射させないで光路上に対して赤外線カットフィルタ４を挿入させる可視光撮像条件と、被写体に赤外線を照射させないで光路上に対して赤外線カットフィルタ４を退出させる赤外線取込撮像条件と、被写体に赤外線を照射させて光路上に対して赤外線カットフィルタ４を退出させる赤外線照射撮像条件と、を夫々制御するものである。
The imaging
前記イメージセンサ６は、この撮像条件別に光学像を光電変換して撮像信号ＲＧＢｘｙ（可視光撮像条件）、ＲＧＢＩｘｙ（赤外線取込撮像条件）、ＲＧＢＩＡｘｙ（赤外線照射撮像条件）を生成するものである。前記撮像信号分岐回路７は、撮像条件別にこれらの撮像信号を分岐させる回路であって、回路に電子式スイッチを具備したものであっても良いし、撮像条件別に撮像信号の送信プロトコールを備えさせることで、この電子式スイッチを省略したものであっても良い。
The
前記赤外線照射成分分離部８は、赤外線取込撮像条件にて生成された撮像信号ＲＧＢＩｘｙに基づいて、赤外線照射撮像条件にて生成された撮像信号ＲＧＢＩＡｘｙを赤外線照射成分撮像信号［Ａｘｙ］と非照射成分撮像信号［ＲＧＢＩｘｙ］とに分離するものである。 The infrared irradiation component separation unit 8 does not irradiate the imaging signal RGBIAxy generated under the infrared irradiation imaging condition with the infrared irradiation component imaging signal [Axy] based on the imaging signal RGBIxy generated under the infrared capturing imaging condition. The signal is separated into component imaging signals [RGBIxy].
前記色バランス整合部９は、可視光撮像条件にて生成された撮像信号ＲＧＢｘｙに基づいて、非照射成分撮像信号［ＲＧＢＩｘｙ］の色バランスを整合し、色整合撮像信号ｃ［ＲＧＢＩｘｙ］を生成するものである。前記画像処理部１０は、赤外線照射成分撮像信号［Ａｘｙ］と色整合撮像信号ｃ［ＲＧＢＩｘｙ］とに合成画像処理を施して、カラー画像信号を生成するものである。
The color balance matching unit 9 matches the color balance of the non-irradiation component imaging signal [RGBIxy] based on the imaging signal RGBxy generated under the visible light imaging condition, and generates a color matching imaging signal c [RGBIxy]. Is. The
前述した色バランス整合部９について詳細を述べれば、可視光撮像条件にて生成された撮像信号ＲＧＢｘｙをＲＧＢ各色毎に積分し、該積分値の比率である可視光色毎比ΣＲ：ΣＧ：ΣＢを算出して記憶した後、この可視光色毎比ΣＲ：ΣＧ：ΣＢに基づいて、非照射成分撮像信号［ＲＧＢＩｘｙ］の色バランスを整合して、色整合撮像信号ｃ［ＲＧＢＩｘｙ］を生成するものである。 The color balance matching unit 9 described above will be described in detail. The imaging signal RGBxy generated under the visible light imaging condition is integrated for each RGB color, and the visible light color ratio ΣR: ΣG: ΣB, which is the ratio of the integrated values. Is calculated and stored, and based on this visible light color ratio ΣR: ΣG: ΣB, the color balance of the non-irradiated component imaging signal [RGBIxy] is matched to generate the color matching imaging signal c [RGBIxy]. Is.
この色整合撮像信号ｃ［ＲＧＢＩｘｙ］を生成する方法について説明する。 A method for generating the color matching imaging signal c [RGBIxy] will be described.
可視光撮像条件にて生成される撮像信号ＲＧＢｘｙについて、ＲＧＢ各色毎にｘｙ平面積分をして、そのＲＧＢ各色毎の比率を示せば、
∬（Ｒｘｙ）ｄｘｄｙ：∬（Ｇｘｙ）ｄｘｄｙ：∬（Ｂｘｙ）ｄｘｄｙ
＝ΣＲ：ΣＧ：ΣＢ
である。
For the imaging signal RGBxy generated under visible light imaging conditions, if xy plane integration is performed for each RGB color and the ratio for each RGB color is shown,
∬ (Rxy) dxdy: ∬ (Gxy) dxdy: ∬ (Bxy) dxdy
= ΣR: ΣG: ΣB
It is.
このΣＲ：ΣＧ：ΣＢは、可視光撮像条件下で撮像される被写体の色の偏りを示した解である。 This ΣR: ΣG: ΣB is a solution showing the color deviation of the subject imaged under visible light imaging conditions.
また、非照射成分撮像信号［ＲＧＢＩｘｙ］について、ＲＧＢ各色毎にｘｙ平面積分をして、そのＲＧＢ各色毎の比率を示せば、
∬［（Ｒ＋ｒＩ）ｘｙ］ｄｘｄｙ：∬［（Ｇ＋ｇＩ）ｘｙ］ｄｘｄｙ：∬［（Ｂ＋ｂＩ）ｘｙ］ｄｘｄｙ
＝Σ［Ｒ＋ｒＩ］：Σ［Ｇ＋ｇＩ］：Σ［Ｂ＋ｂＩ］
である。
Further, with respect to the non-irradiated component imaging signal [RGBIxy], by performing xy plane integration for each RGB color and showing the ratio for each RGB color,
∬ [(R + rI) xy] dxdy: ∬ [(G + gI) xy] dxdy: ∬ [(B + bI) xy] dxdy
= Σ [R + rI]: Σ [G + gI]: Σ [B + bI]
It is.
ここで、
Ｋｒ×Σ［Ｒ＋ｒＩ］：Ｋｇ×Σ［Ｇ＋ｇＩ］：Ｋｂ×Σ［Ｂ＋ｂＩ］
＝ΣＲ：ΣＧ：ΣＢ
となれば良いとするならば、色整合撮像信号ｃ［ＲＧＢＩｘｙ］は、
ｃ［ＲＧＢＩｘｙ］
＝（Ｋｒ×［（Ｒ＋ｒＩ）ｘｙ］，Ｋｇ×［（Ｇ＋ｇＩ）ｘｙ］，Ｋｂ×［（Ｂ＋ｂＩ）ｘｙ］）
とすれば良いのである。
here,
Kr × Σ [R + rI]: Kg × Σ [G + gI]: Kb × Σ [B + bI]
= ΣR: ΣG: ΣB
If the color matching imaging signal c [RGBIxy] is
c [RGBIxy]
= (Kr × [(R + rI) xy], Kg × [(G + gI) xy], Kb × [(B + bI) xy])
It should be.
このようにして、非照射成分撮像信号［ＲＧＢＩｘｙ］の色バランスが整合されて、色整合撮像信号ｃ［ＲＧＢＩｘｙ］が生成されるに至ることで、良好な色再現性が得られるのである。 In this way, the color balance of the non-irradiated component imaging signal [RGBIxy] is matched and the color-matched imaging signal c [RGBIxy] is generated, so that good color reproducibility can be obtained.
図２は、図１で示された赤外線照射式撮像装置１に、赤外線照射成分解析部１１を更に具備した構成を示すブロック図である。
FIG. 2 is a block diagram illustrating a configuration in which the infrared irradiation
図２に於いて、この赤外線照射式撮像装置１は、図１で示された赤外線照射式撮像装置１の構成と、赤外線照射成分解析部１１（赤外線照射成分解析手段）と、より構成されている。
In FIG. 2, the infrared irradiation
前記赤外線照射成分解析部１１は、赤外線照射成分分離部８に対して赤外線照射の解析値を設定する機能を有するものであって、該解析値に基づいて、赤外線照射撮像条件にて生成された撮像信号ＲＧＢＩＡｘｙを赤外線照射成分撮像信号［Ａｘｙ］と、非照射成分撮像信号［ＲＧＢＩｘｙ］と、に演算分離させるのが狙いである。
The infrared irradiation
また、この演算分離の根拠となる解析値には、赤外線照射推定量ΣＡと、前記赤外線照射基準レベルＬＶ１，ＬＶ２と、が必要とされる。これらの解析値、ΣＡ、ＬＶ１、ＬＶ２については後述する。 In addition, the infrared radiation estimated amount ΣA and the infrared radiation reference levels LV1 and LV2 are required for the analysis value that is the basis for this calculation separation. These analysis values, ΣA, LV1, and LV2 will be described later.
図３は、赤外線カットフィルタ４を退出させて撮像する場合に於ける、一般的なＲＧＢ分光感度特性の一例を示すグラフである。
FIG. 3 is a graph showing an example of a general RGB spectral sensitivity characteristic in the case where the
図３に於いて、このグラフは、実線Ｘで示されるＲ、破線Ｙで示されるＧ、破線Ｚで示されるＢ、各色毎に波長（ｎｍ）に対する相対感度が示されている。図３に示されるグラフは、主な主成分として、カラーフィルタの分光感度特性と、イメージセンサ６の分光感度特性と、の積算から成り立っている。
In FIG. 3, this graph shows the relative sensitivity to wavelength (nm) for each color, R indicated by a solid line X, G indicated by a broken line Y, B indicated by a broken line Z, and each color. The graph shown in FIG. 3 is composed of the integration of the spectral sensitivity characteristics of the color filter and the spectral sensitivity characteristics of the
図３にて示されるように、波長約６５０〜９００（ｎｍ）の長波長側については、このイメージセンサ６が赤外線を照射して撮像することを意図していることから、常に赤外線を遮断して撮像する撮像装置よりも高感度になるようにされている。また、波長約４５０〜５５０（ｎｍ）については、イメージセンサ６の感度を向上させるためにＧのカラーフィルタの透過率を高くしている。
As shown in FIG. 3, on the long wavelength side of the wavelength of about 650 to 900 (nm), since the
更に、このイメージセンサ６は、Ｒの負感帯を相殺させる効果を得るために、Ｒの感度を波長約４００（ｎｍ）辺りにも若干持たせている。尚、図３は、赤外線を照射して撮像する撮像装置の一般的な分光感度特性の一例を示したグラフであって、本発明のイメージセンサ６の分光感度特性は図３による一例に限定されるものではない。
Further, in order to obtain an effect of canceling the negative band of R, the
先ず、赤外線照射推定量ΣＡについて述べる。前述したように撮像条件制御部５によって、撮像信号ＲＧＢｘｙ（可視光撮像条件）、ＲＧＢＩｘｙ（赤外線取込撮像条件）、ＲＧＢＩＡｘｙ（赤外線照射撮像条件）が夫々撮像された場合に、撮像信号ＲＧＢｘｙは、図３に於いて、約３５０〜７００（ｎｍ）の帯域で受光されて得られる信号である。
First, the infrared irradiation estimated amount ΣA will be described. As described above, when the imaging
また、撮像信号ＲＧＢＩｘｙは、図３に於いて、波長約３５０〜９５０（ｎｍ）の帯域で受光されて得られる信号である。ここで、波長約７００〜８００（ｎｍ）の帯域に着目すれば、ＲＧＢ各色毎の感度が大きく異なっていることが示されている。そして、この波長約７００〜８００（ｎｍ）の帯域は、可視光の帯域ではないので本来の色情報は含まれていないのである。 Further, the image pickup signal RGBIxy is a signal obtained by receiving light in a band with a wavelength of about 350 to 950 (nm) in FIG. Here, when attention is focused on a band of wavelengths of about 700 to 800 (nm), it is shown that the sensitivities for the respective RGB colors are greatly different. This band of wavelengths of about 700 to 800 (nm) is not a visible light band, and therefore original color information is not included.
したがって、この撮像信号ＲＧＢＩｘｙは、前述した色バランス整合部９（ΣＲ：ΣＧ：ΣＢ）による撮像信号ＲＧＢｘｙに基づいた色バランスの整合が必要とされるのである。 Therefore, the image signal RGBIxy needs to be color balance matched based on the image signal RGBxy by the color balance matching unit 9 (ΣR: ΣG: ΣB) described above.
一方で、撮像信号ＲＧＢＩＡｘｙは、図３に於いて、波長約３５０〜９５０（ｎｍ）の帯域で受光されて得られる信号であるが、前述したように、赤外線発光ダイオード２の波長は約８００〜９００（ｎｍ）を主成分とするものである。ここで、その波長約８００〜９００（ｎｍ）の帯域に着目すれば、ＲＧＢ各色毎に感度が略一致していることが示されている。
On the other hand, the imaging signal RGBIAxy is a signal obtained by receiving light in a band of about 350 to 950 (nm) in FIG. 3, but as described above, the wavelength of the infrared
したがって、赤外線照射推定量ΣＡについては、ＲＧＢ各色毎に、
ΣｒＡ≒ΣｇＡ≒ΣｂＡ
であり、
また、
ΣＡ＝ΣｒＡ＋ΣｇＡ＋ΣｂＡ
である。
Therefore, for the infrared irradiation estimated amount ΣA, for each color of RGB,
ΣrA ≒ ΣgA ≒ ΣbA
And
Also,
ΣA = ΣrA + ΣgA + ΣbA
It is.
例えば、イメージセンサ６のカラーフィルタがＲＧＢベイヤ配列であった場合ならば、
ΣｒＡ≒ΣｂＡ≒ΣＡ／４
ΣｇＡ≒ΣＡ／２
となるのである。
For example, if the color filter of the
ΣrA≈ΣbA≈ΣA / 4
ΣgA ≒ ΣA / 2
It becomes.
このように、ΣｒＡ、ΣｇＡ、ΣｂＡは、ＲＧＢ各色毎によらず、ΣＡから算出できて、また、ΣｒＡ≒ΣｇＡ≒ΣｂＡという大きな特徴である性質があるのである。尚、本発明のカラーフィルタは、必ずしもＲＧＢベイヤ配列であることに拘らない。 As described above, ΣrA, ΣgA, and ΣbA can be calculated from ΣA regardless of each color of RGB, and have a characteristic that is a major feature of ΣrA≈ΣgA≈ΣbA. Note that the color filter of the present invention is not necessarily an RGB Bayer array.
前述したように、ΣｒＡ≒ΣｇＡ≒ΣｂＡという性質があるという理由から、波長約８００〜９５０（ｎｍ）の帯域に関しては、ＲＧＢ各色一律にΣＡをリジェクトする方法の方が、ＲＧＢ各色毎に比率補正する方法よりも、演算分離の精度が向上するのである。 As described above, because of the property of ΣrA≈ΣgA≈ΣbA, the method of rejecting ΣA uniformly for each color of RGB in the wavelength range of about 800 to 950 (nm) corrects the ratio for each color of RGB. The accuracy of the operation separation is improved as compared with the method of performing this.
ここで、赤外線照射推定量ΣＡの算出方法について述べれば、赤外線取込撮像条件にて生成された撮像信号ＲＧＢＩｘｙ、及び、赤外線照射撮像条件にて生成された撮像信号ＲＧＢＩＡｘｙを夫々積分して、その積分値の差分Δが赤外線照射推定量ΣＡであって、
ΣＡ＝∬（ＲＧＢＩＡｘｙ）ｄｘｄｙ−∬（ＲＧＢＩｘｙ）ｄｘｄｙ
＝Σ（ＲＧＢＩＡ）−Σ（ＲＧＢＩ）
である。
Here, the calculation method of the infrared irradiation estimated amount ΣA will be described. The imaging signal RGBIxy generated under the infrared capturing imaging condition and the imaging signal RGBIAxy generated under the infrared irradiation imaging condition are integrated, respectively. The difference Δ between the integral values is the infrared irradiation estimated amount ΣA,
ΣA = ∬ (RGBIAxy) dxdy−∬ (RGBIxy) dxdy
= Σ (RGBIA) −Σ (RGBI)
It is.
次に、前記赤外線照射基準レベルについて述べる。この赤外線照射基準レベルは、図２で示されたＬＶ１、ＬＶ２である。このＬＶ１、ＬＶ２は、前述した赤外線照射推定量ΣＡと、撮像信号ＲＧＢＩｘｙ（赤外線取込撮像条件）の信号レベルと、に基づいて赤外線が照射された被写体と想定される信号レベルの基準であって、ここではＬＶ１を高照射基準レベル、ＬＶ２を低照射基準レベルとする。尚、低照射基準レベルＬＶ２を省略して回路の簡素化、高速化を図っても良い。 Next, the infrared irradiation reference level will be described. The infrared irradiation reference levels are LV1 and LV2 shown in FIG. These LV1 and LV2 are the standard of the signal level assumed to be a subject irradiated with infrared rays based on the above-described infrared irradiation estimated amount ΣA and the signal level of the imaging signal RGBIxy (infrared capture imaging condition). Here, LV1 is a high irradiation reference level and LV2 is a low irradiation reference level. Note that the circuit can be simplified and speeded up by omitting the low irradiation reference level LV2.
ここで、高照射基準レベルＬＶ１、及び、低照射基準レベルＬＶ２の具体的な算出方法の一例を示せば、赤外線照射推定量ΣＡが十分に大きい照射量であるならば、
ΣＡ＞＞Σ（ＲＧＢＩ）
であるので、
ＬＶ１≧ＭＡＸ（ＲＧＢＩｘｙ）
となるように高照射基準レベルＬＶ１を算出する。ＭＡＸ（ＲＧＢＩｘｙ）は、各色の信号レベルの中で最も大きい信号レベルの値（例えば、後で説明する図７に示される照射基準レベル）である。
Here, if an example of a specific calculation method of the high irradiation reference level LV1 and the low irradiation reference level LV2 is shown, if the infrared irradiation estimated amount ΣA is a sufficiently large irradiation amount,
ΣA >> Σ (RGBI)
So
LV1 ≧ MAX (RGBIxy)
The high irradiation reference level LV1 is calculated so that MAX (RGBIxy) is a value of the largest signal level among the signal levels of each color (for example, an irradiation reference level shown in FIG. 7 described later).
また、撮像信号ＲＧＢＩＡｘｙのｘｙ座標の中から、高照射基準レベルＬＶ１以上の値を満たすｘｙ座標をＬＶ１ｘｙとすれば、このＬＶ１ｘｙは、ｘｙ座標上にあるＬＶ１、または、０の２値から成る関数であって、
ΣＡ≧ΣＬＶ１＝∬（ＬＶ１ｘｙ）ｄｘｄｙ
が成り立つ。
Further, if the xy coordinates satisfying the value of the high irradiation reference level LV1 or higher among the xy coordinates of the imaging signal RGBIAxy are LV1xy, the LV1xy is a function composed of LV1 on the xy coordinates or a binary value of 0. Because
ΣA ≧ ΣLV1 = ∬ (LV1xy) dxdy
Holds.
ここで、高照射基準レベルＬＶ１が大き過ぎると、高照射基準レベルＬＶ１以上の値を満たすｘｙ座標が減ってしまって、その結果、ΣＬＶ１は小さくなる。また、高照射基準レベルＬＶ１が小さ過ぎてもｘｙ座標には限りがあるので、ΣＬＶ１は小さくなるのである。したがって、この高照射基準レベルＬＶ１の値については、赤外線照射推定量ΣＡを超えない範囲内で、ΣＬＶ１が最大となるような値にすれば良い。 Here, if the high irradiation reference level LV1 is too large, xy coordinates satisfying a value equal to or higher than the high irradiation reference level LV1 are reduced, and as a result, ΣLV1 becomes small. Further, even if the high irradiation reference level LV1 is too small, the xy coordinates are limited, so ΣLV1 becomes small. Therefore, the value of the high irradiation reference level LV1 may be set to a value that maximizes ΣLV1 within a range not exceeding the estimated infrared irradiation amount ΣA.
例えば、高照射基準レベルＬＶ１は、ＲＧＢＩｘｙ信号の各色信号の中で最も大きい信号レベルの値（例えば、後で説明する図７に示される照射基準レベル）を高照射基準レベルＬＶ１とする。 For example, the high irradiation reference level LV1 is the highest signal level value (for example, the irradiation reference level shown in FIG. 7 described later) among the RGBIxy signal color signals.
ＬＶ１＝ＭＡＸ（ＲＧＢＩｘｙ）
または、これにマージンＣ１を設けて、
ＬＶ１＝ＭＡＸ（ＲＧＢＩｘｙ）＋Ｃ１
とする。
LV1 = MAX (RGBIxy)
Or, provide this with a margin C1,
LV1 = MAX (RGBIxy) + C1
And
または、回路規模が大きくなってしまうが、より高精度に高照射基準レベルＬＶ１を設定するには、上記したようにΣＬＶ１が最大になるような高照射基準レベルＬＶ１を算出すればよい。この場合、高照射基準レベルＬＶ１の設定と、ΣＬＶ１の演算結果との関係は、図４Ａに示されるように、「２次曲線に近似」できる関係であって、その最大値が適正な高照射基準レベルＬＶ１の解の一例となる。 Alternatively, although the circuit scale becomes large, in order to set the high irradiation reference level LV1 with higher accuracy, the high irradiation reference level LV1 that maximizes ΣLV1 may be calculated as described above. In this case, the relationship between the setting of the high irradiation reference level LV1 and the calculation result of ΣLV1 is a relationship that can be “approximate to a quadratic curve” as shown in FIG. This is an example of a solution for the reference level LV1.
或いは、後述する低照射基準レベルＬＶ２への配分を考慮して、ΣＬＶ１の最大値から所定の割合を差し引いた値となるような高照射基準レベルＬＶ１を設定するようにしても良い。所定の割合は、例えば、６０〜９０％の割合（固定値）にする。 Alternatively, the high irradiation reference level LV1 may be set so as to be a value obtained by subtracting a predetermined ratio from the maximum value of ΣLV1 in consideration of distribution to the low irradiation reference level LV2 described later. The predetermined ratio is, for example, a ratio (fixed value) of 60 to 90%.
この高照射基準レベルＬＶ１の値を決める際に、前述したＭＡＸ（ＲＧＢＩｘｙ）を考慮し、ＬＶ１＝ＭＡＸ（ＲＧＢＩｘｙ）、あるいは、ＬＶ１＝ＭＡＸ（ＲＧＢＩｘｙ）＋Ｃ１とした方が、近似２次曲線の最大値を求める手法と比べて演算回路が小規模になって演算の高速化が図れる。または、被写体によっては、赤外線照射推定量ΣＡが十分に大きい照射量であるとは限らないとするならば、このＭＡＸ（ＲＧＢＩｘｙ）を考慮しない方が良い場合もある。 When determining the value of the high irradiation reference level LV1, considering the above-mentioned MAX (RGBIxy), LV1 = MAX (RGBIxy) or LV1 = MAX (RGBIxy) + C1 is the maximum of the approximate quadratic curve. Compared with the method for obtaining the value, the arithmetic circuit becomes smaller and the operation speed can be increased. Alternatively, depending on the subject, if the infrared irradiation estimated amount ΣA is not necessarily a sufficiently large irradiation amount, it may be better not to consider this MAX (RGBIxy).
ここで、赤外線照射は全ての被写体に対して高照射基準レベルＬＶ１にて一様に照射されるわけではなく、被写体によっては低照射基準レベルＬＶ２にて照射されているはずであるので、
ΣＡ≒ΣＬＶ１＋ΣＬＶ２
である。
Here, since the infrared irradiation is not uniformly irradiated to all subjects at the high irradiation reference level LV1, depending on the subject, it should be irradiated at the low irradiation reference level LV2.
ΣA ≒ ΣLV1 + ΣLV2
It is.
したがって、低照射基準レベルＬＶ２の値については、
ΣＬＶ２≒ΣＡ−ΣＬＶ１
を満たすような値にすれば良いのである。
Therefore, for the value of the low irradiation reference level LV2,
ΣLV2 ≒ ΣA-ΣLV1
It should be a value that satisfies the above.
ここで、
ΣＬＶ２＝∬（ＬＶ２ｘｙ）ｄｘｄｙ
である。
here,
ΣLV2 = ∬ (LV2xy) dxdy
It is.
例えば、ΣＬＶ２≒ΣＡ−ΣＬＶ１において、低照射基準レベルＬＶ２の設定と、ΣＬＶ２の演算結果の関係は、図４Ｂに示されるように、「２次曲線に近似」できる関係であって、その最大値が適正な低照射基準レベルＬＶ２の解の一例となる。 For example, in ΣLV2≈ΣA−ΣLV1, the relationship between the setting of the low irradiation reference level LV2 and the calculation result of ΣLV2 is a relationship that can be “approximate to a quadratic curve” as shown in FIG. Is an example of an appropriate solution for the low irradiation reference level LV2.
但し、高照射基準レベルＬＶ１のグラフ（図４Ａ）と比べて、低照射基準レベルＬＶ２のグラフはその最大値がぼやけることがあるので、低照射基準レベルＬＶ２のグラフがその最大値が明確にならない程度になだらかな特性であった場合には、低照射基準レベルＬＶ２の設定を回避、すなわち高照射基準レベルＬＶ１のみ設定するようにする。 However, since the maximum value of the graph of the low irradiation reference level LV2 may be blurred compared to the graph of the high irradiation reference level LV1 (FIG. 4A), the maximum value of the graph of the low irradiation reference level LV2 is not clear. If the characteristic is moderate, the setting of the low irradiation reference level LV2 is avoided, that is, only the high irradiation reference level LV1 is set.
尚、ここでは照射基準レベルとして高照射基準レベルＬＶ１、低照射基準レベルＬＶ２の２つを設定しているが、照射基準レベルＬＶ３、ＬＶ４を更に設けるようにしても良い。 Here, two irradiation reference levels LV1 and LV2 are set as the irradiation reference levels, but irradiation reference levels LV3 and LV4 may be further provided.
図５は、可視光撮像条件にて生成された撮像信号の一例を示すグラフである。 FIG. 5 is a graph illustrating an example of an imaging signal generated under visible light imaging conditions.
図５に於いて、このグラフは、破線にて示される最低被写体照度付近にて可視光撮像条件にて撮像して生成された撮像信号が示されており、白色被写体と、０（ｌｕｘ）の白色被写体と、赤色被写体とが撮像されていることが示されている。また、この可視光撮像条件下にて、前述した被写体の色の偏りΣＲ：ΣＧ：ΣＢ（可視光色毎比）が取得される。 In FIG. 5, this graph shows an imaging signal generated by imaging under the visible light imaging condition in the vicinity of the minimum subject illuminance indicated by a broken line, and a white subject and 0 (lux). It is shown that a white subject and a red subject are captured. In addition, the above-described color deviation ΣR: ΣG: ΣB (per visible light color ratio) of the subject is acquired under this visible light imaging condition.
図６は、赤外線取込撮像条件にて生成された撮像信号の一例を示すグラフである。 FIG. 6 is a graph illustrating an example of an imaging signal generated under an infrared capturing imaging condition.
図６に於いて、このグラフは、図５に於ける被写体と少なくとも同一シーンの被写体に対して、赤外線カットフィルタ４を退出させた赤外線取込撮像条件にて撮像して生成された撮像信号が示されている。
In FIG. 6, this graph shows an imaging signal generated by imaging the subject in at least the same scene as the subject in FIG. 5 under the infrared capturing imaging condition in which the
図６に示されるように、斜線で示される可視光成分による撮像信号と、黒塗りで示される被写体光源の赤外線成分による撮像信号とは、混合されて光電変換されているのである。また、この被写体光源の赤外線成分は本来の色を有さない成分であるので、被写体の本来の色とは関係なしに取り込まれているのである。 As shown in FIG. 6, the imaging signal based on the visible light component indicated by diagonal lines and the imaging signal based on the infrared component of the subject light source indicated by black are mixed and subjected to photoelectric conversion. In addition, since the infrared component of the subject light source is a component that does not have an original color, it is captured regardless of the original color of the subject.
図７は、赤外線照射撮像条件にて生成された撮像信号の一例を示すグラフである。 FIG. 7 is a graph illustrating an example of an imaging signal generated under infrared irradiation imaging conditions.
図７に於いて、このグラフは、図６に於ける被写体と少なくとも同一シーンの被写体に対して、更に赤外線を照射した赤外線照射撮像条件にて撮像して生成された撮像信号が示されている。 In FIG. 7, this graph shows an imaging signal generated by capturing an image of an object in the same scene as that of the object in FIG. .
また、図７に於いて、赤外線発光ダイオード２から照射される赤外線を被写体が反射して、その反射を撮像することで得られる、白抜きで示される赤外線照射成分については、隣接されたＲＧＢ各色毎に於いて、ΣｒＡ≒ΣｇＡ≒ΣｂＡであることが示されている。
Further, in FIG. 7, the infrared rays irradiated from the infrared
尚、イメージセンサ６がベイヤ配列による単板のカラーフィルタ仕様である場合等に於いては、ＲＧＢ各色毎の平面位相が揃っていないので、例えば、バイキュービック補間等にてリサンプリング処理（図示なし）を施して、予めＲＧＢ各色毎の平面位相を揃えておいても良い。
In the case where the
また、この赤外線は被写体全体に一様に照射されるとも限らず、赤外線が殆ど照射されない被写体もあることが図７にて示されている。何故ならば、被写体に照射される赤外線の量は、赤外線発光ダイオード２と被写体との距離の２乗に反比例するからである。
Further, FIG. 7 shows that this infrared ray is not necessarily irradiated uniformly on the entire subject, but there is also a subject to which the infrared ray is hardly irradiated. This is because the amount of infrared rays irradiated to the subject is inversely proportional to the square of the distance between the infrared
図７の実線で示される照射基準レベルは、赤外線照射成分解析部１１にて、赤外線照射推定量ΣＡと、図６で示された白色被写体の赤外線取込撮像条件時の撮像信号ＲＧＢＩｘｙの信号レベルと、に基づいて赤外線が照射された被写体と想定される基準として算出される信号レベルである。 The irradiation reference level indicated by the solid line in FIG. 7 is the signal level of the infrared irradiation estimated amount ΣA and the imaging signal RGBIxy when the white subject shown in FIG. And a signal level calculated as a reference assumed to be a subject irradiated with infrared rays based on the above.
図８は、図７で示された撮像信号を赤外線照射成分撮像信号Ａと非照射成分撮像信号（Ｒ，Ｇ，Ｂ）とに分離した後、ＲＧＢ各色毎に対してホワイトバランス、及び／または、色の整合を取って色整合撮像信号ｃ（Ｒ，Ｇ，Ｂ）が生成される様子の一例が示されたグラフである。 FIG. 8 shows a white balance for each color of RGB after separating the imaging signal shown in FIG. 7 into an infrared irradiation component imaging signal A and a non-irradiation component imaging signal (R, G, B), and / or 4 is a graph showing an example of a state in which color matching image signals c (R, G, B) are generated by matching colors.
図８に於いて、このグラフは、図７で示された照射基準レベルより大きな信号レベルである撮像信号については、その照射基準レベルを赤外線照射成分撮像信号Ａとして分離した様子が示されている。また、図７で示された照射基準レベルより小さな信号レベルである撮像信号については、赤外線照射成分撮像信号Ａがないことが示されている。 In FIG. 8, this graph shows a state where the irradiation reference level is separated as the infrared irradiation component imaging signal A for the imaging signal having a signal level larger than the irradiation reference level shown in FIG. . Moreover, it is shown that there is no infrared irradiation component imaging signal A for the imaging signal having a signal level smaller than the irradiation reference level shown in FIG.
図８に示されるように、赤外線が照射された被写体と想定される白色被写体については良好な色再現が得られることがわかる。これは、図７で示された撮像信号に於ける被写体が、例えば、夕日の差し込む室内で、且つ、赤外線発光ダイオード２が照射する赤外線の照射範囲が広かった場合による撮像であったために、赤外線が照射された被写体と想定される白色被写体が色の整合に対して支配的になったためである。
As shown in FIG. 8, it can be seen that a good color reproduction can be obtained for a white subject assumed to be a subject irradiated with infrared rays. This is because the subject in the imaging signal shown in FIG. 7 is imaged when the infrared irradiation range irradiated by the infrared
しかしながら、被写体の条件によっては、どういった被写体群が全体の被写体の色の整合に対して支配的になるのかは変わってしまうのであって、全ての被写体条件に対して図８で示されるようなグラフになるわけではなく、図８はあくまでも一例である。 However, depending on the conditions of the subject, what subject group becomes dominant with respect to color matching of the entire subject changes, and as shown in FIG. 8 for all subject conditions. FIG. 8 is merely an example.
図８の場合、赤外線が殆ど照射されない白色被写体については、やや青味に欠け、つまり、やや黄ばんだ白色になることが示されている。また、赤外線取込撮像時に０（ｌｕｘ）である白色被写体に対して赤外線が照射された場合には、やや青味掛かった白色になることが示されている。 In the case of FIG. 8, it is shown that a white subject that is hardly irradiated with infrared rays lacks a little bluish color, that is, has a slightly yellowish white color. In addition, it is shown that when a white subject that is 0 (lux) is irradiated with infrared rays at the time of infrared capture imaging, the color is slightly bluish white.
更に、赤色被写体に赤外線が照射された場合には、赤色の赤外線反射率が白色に比べると低いために照射基準レベルから漏れて、赤外線照射成分撮像信号Ａの分離に失敗していることが示されている。その結果、この赤色被写体は、やや彩度が失われて青味掛かっていることが示されている。 Further, when the red subject is irradiated with infrared rays, the red infrared reflectance is lower than that of white, so that it leaks from the irradiation reference level, indicating that the separation of the infrared irradiation component imaging signal A has failed. Has been. As a result, it is shown that this red subject has a slight saturation and is bluish.
これについて補足説明すれば、赤外線発光ダイオード２による赤外線の照射のように、波長が約８００〜９００（ｎｍ）を主成分としている場合には、赤外線照射時による被写体の反射率の特性が可視光時による反射率の特性にわりと近いので、この可視光時の反射率特性と同様にて、赤色の赤外線反射率が白色の赤外線反射率よりも劣るのである。
If it explains supplementarily about this, when the wavelength has about 800-900 (nm) as a main component like the infrared irradiation by the infrared
尚、図７で示された照射基準レベルは、図２で示された赤外線照射成分解析部１１による解析値、高照射基準レベルＬＶ１、低照射基準レベルＬＶ２、及び、赤外線照射推定量ΣＡに基づいて、赤外線照射成分分離部８にて撮像フレーム毎に於けるＲＧＢＩＡｘｙに照らし合わされて、毎フレーム作成されて設定される。但し、解析値、高照射基準レベルＬＶ１、低照射基準レベルＬＶ２、及び、赤外線照射推定量ΣＡについては、赤外線照射撮像条件前の段階にて既に得られるべき解析値であって、仮に同一シーンであるのならば撮像フレーム毎に固定値である。
The irradiation reference level shown in FIG. 7 is based on the analysis value by the infrared irradiation
そして、図８で示されたように、（Ｒ，Ｇ，Ｂ）による３チャンネル信号から、（Ａ，Ｒ，Ｇ，Ｂ）による４チャンネルに信号が分離されて増設されるのは、図２で示された赤外線照射成分分離部８によって為される。 Then, as shown in FIG. 8, the signals are separated from the three-channel signal (R, G, B) to the four channels (A, R, G, B) and added. This is done by the infrared irradiation component separation unit 8 shown in FIG.
また、図８で示された（Ａ，Ｒ，Ｇ，Ｂ）による４チャンネルの信号は、赤外線照射成分撮像信号［Ａｘｙ］と、非照射成分撮像信号［ＲＧＢＩｘｙ］と、の２系統に分離された後、この非照射成分撮像信号［ＲＧＢＩｘｙ］については、図２で示された色バランス整合部９によって色整合撮像信号ｃ［ＲＧＢＩｘｙ］が生成される。この色バランスが整合された様子が図８の破線によっても示されている。 Further, the four-channel signals (A, R, G, B) shown in FIG. 8 are separated into two systems of an infrared irradiation component imaging signal [Axy] and a non-irradiation component imaging signal [RGBIxy]. Thereafter, for this non-irradiated component imaging signal [RGBIxy], the color matching imaging signal c [RGBIxy] is generated by the color balance matching unit 9 shown in FIG. The state in which the color balance is matched is also indicated by a broken line in FIG.
図９は、赤外線照射撮像条件にて生成された撮像信号と、高照射基準レベルＬＶ１と、低照射基準レベルＬＶ２と、の関係の一例を示すグラフである。 FIG. 9 is a graph showing an example of the relationship between the imaging signal generated under the infrared irradiation imaging condition, the high irradiation reference level LV1, and the low irradiation reference level LV2.
図９に於いて、このグラフは、赤外線照射の照射距離が５ｍの白色被写体と、照射距離１０ｍの白色被写体と、照射距離５ｍで赤外線取込撮像時に０（ｌｕｘ）の白色被写体と、照射距離５ｍの赤色被写体と、の夫々に於ける撮像信号の一例が示されている。 In FIG. 9, this graph shows a white object with an irradiation distance of 5 m, a white object with an irradiation distance of 10 m, a white object with 0 (lux) at an irradiation distance of 5 m, and an irradiation distance. An example of an imaging signal in each of a 5 m red subject is shown.
図９で示される高照射基準レベルＬＶ１は、赤外線照射成分解析部１１にて、赤外線照射推定量ΣＡと、この白色被写体の赤外線取込撮像条件時による撮像信号ＲＧＢＩｘｙよりも高い信号レベルの基準と、に基づいて赤外線が高照射された被写体と想定される信号レベルである。
The high irradiation reference level LV1 shown in FIG. 9 is obtained by the infrared irradiation
図９で示される低照射基準レベルＬＶ２は、赤外線照射成分解析部１１にて、赤外線照射推定量ΣＡと、図６で示された白色被写体の赤外線取込撮像条件時の撮像信号ＲＧＢＩｘｙよりも低い信号レベルの基準と、に基づいて赤外線が低照射、及び／または、低反射された被写体と想定される信号レベルである。 The low irradiation reference level LV2 shown in FIG. 9 is lower than the infrared irradiation estimated amount ΣA and the imaging signal RGBIxy in the infrared capturing imaging condition of the white subject shown in FIG. Based on the signal level reference, the signal level is assumed to be a subject whose infrared rays are low-irradiated and / or low-reflected.
図９に示されるように、赤外線照射の照射距離が５ｍの白色被写体についての撮像信号は、高照射基準レベルＬＶ１以上の撮像信号として抽出される。また、照射距離１０ｍの白色被写体についての撮像信号は、低照射基準レベルＬＶ２の撮像信号として抽出される。このように、赤外線の照射距離が２倍になると、赤外線照射の量は約１／４になるのである。 As shown in FIG. 9, an imaging signal for a white subject with an infrared irradiation distance of 5 m is extracted as an imaging signal having a high irradiation reference level LV1 or higher. In addition, an imaging signal for a white subject with an irradiation distance of 10 m is extracted as an imaging signal with a low irradiation reference level LV2. Thus, when the irradiation distance of infrared rays is doubled, the amount of infrared irradiation is about 1/4.
図９に示されるように、照射距離５ｍで赤外線取込撮像時に０（ｌｕｘ）の白色被写体についての撮像信号は、高照射基準レベルＬＶ１以上の撮像信号として抽出される。また、照射距離５ｍの赤色被写体についての撮像信号は、低照射基準レベルＬＶ２の撮像信号として抽出される。 As shown in FIG. 9, an imaging signal for a white subject of 0 (lux) is extracted as an imaging signal having a high irradiation reference level LV1 or higher at the time of infrared capture at an irradiation distance of 5 m. Further, the imaging signal for the red subject with the irradiation distance of 5 m is extracted as the imaging signal with the low irradiation reference level LV2.
この赤色被写体の照射距離は５ｍであるので、本来ならば高照射なのであるが、赤色の反射率が白色の反射率と比べて低くなるので、この低反射の被写体が低照射の被写体と区別されないことが示されている。 Since the irradiation distance of this red subject is 5 m, it is originally high illumination, but since the red reflectance is lower than the white reflectance, this low reflection subject is not distinguished from the low illumination subject. It has been shown.
図１０は、図９で示された撮像信号を赤外線照射成分撮像信号Ａと非照射成分撮像信号（Ｒ，Ｇ，Ｂ）とに分離した後、ＲＧＢ各色毎に対してホワイトバランス、及び／または、色の整合を取って、色整合撮像信号ｃ（Ｒ，Ｇ，Ｂ）が生成された様子の一例が示されたグラフである。 FIG. 10 shows the white balance for each color of RGB after separating the imaging signal shown in FIG. 9 into the infrared irradiation component imaging signal A and the non-irradiation component imaging signal (R, G, B), and / or FIG. 6 is a graph showing an example of a state in which color matching is performed and a color matching imaging signal c (R, G, B) is generated.
図１０に於いて、このグラフは、図９で示された高照射基準レベルＬＶ１、または、低照射基準レベルＬＶ２に基づいて、この照射基準レベルに相当する信号が赤外線照射成分撮像信号Ａとして分離されている様子が示されている。 In FIG. 10, this graph shows that the signal corresponding to the irradiation reference level is separated as the infrared irradiation component imaging signal A based on the high irradiation reference level LV1 or the low irradiation reference level LV2 shown in FIG. The state of being done is shown.
図１０に示されるように、低照射基準レベルＬＶ２に基づく赤外線照射成分撮像信号Ａの分離が為されることで、図８で示された赤色被写体よりも図１０で示される赤色被写体の方が赤色の色再現が向上していることが示されているのである。 As shown in FIG. 10, by separating the infrared irradiation component imaging signal A based on the low irradiation reference level LV2, the red subject shown in FIG. 10 is more suitable than the red subject shown in FIG. It shows that red color reproduction is improved.
尚、低照射基準レベルＬＶ２未満の撮像信号（図示なし）については、赤外線が照射していないか、または、赤外線が反射していない被写体であるので、赤外線照射成分撮像信号Ａは黒レベルとして出力される。但し、この場合に於いて、非照射成分撮像信号（Ｒ，Ｇ，Ｂ）が必ずしも黒レベルとして出力されるとは限らない。例えば、遠方に位置し、且つ、輝度を有するような被写体であるならば、この非照射成分撮像信号（Ｒ，Ｇ，Ｂ）は黒レベルではない。 Note that an imaging signal (not shown) below the low irradiation reference level LV2 is a subject that is not irradiated with infrared rays or is not reflecting infrared rays, so the infrared irradiation component imaging signal A is output as a black level. Is done. However, in this case, the non-irradiation component imaging signal (R, G, B) is not always output as a black level. For example, if the subject is located far away and has brightness, the non-irradiated component imaging signals (R, G, B) are not at the black level.
このようにして、前述してきた手法にて、赤外線照射撮像信号ＲＧＢＩＡｘｙを赤外線照射成分撮像信号［Ａｘｙ］と、非照射成分撮像信号［ＲＧＢＩｘｙ］と、に分離することによって、この赤外線照射成分撮像信号［Ａｘｙ］の積分値Σ［Ａ］と、赤外線照射推定量ΣＡと、を略一致させることができるのである。 In this way, the infrared irradiation imaging signal RGBIAxy is separated into the infrared irradiation component imaging signal [Axy] and the non-irradiation component imaging signal [RGBIxy] by the above-described method, thereby the infrared irradiation imaging signal RGBAxy. The integral value Σ [A] of [Axy] and the infrared irradiation estimated amount ΣA can be substantially matched.
また、図１０にて黒塗りで示される被写体光源（例えば、夕日等）の赤外線成分による撮像信号は色再現性を劣化させる要素成分であるが、可視光撮像条件下にて取得された被写体の色の偏りΣＲ：ΣＧ：ΣＢ（可視光色毎比）に基づいて色の整合を取ることで、色再現性を改善させる効果があるのである。 In addition, the imaging signal based on the infrared component of the subject light source (for example, sunset) shown in black in FIG. 10 is an element component that degrades the color reproducibility. By taking color matching based on color deviation ΣR: ΣG: ΣB (per visible light color ratio), there is an effect of improving color reproducibility.
前述してきたように、本発明による赤外線照射成分分離部８は、赤外線照射成分解析部１１による解析値、高照射基準レベルＬＶ１、低照射基準レベルＬＶ２、及び、赤外線照射推定量ΣＡに基づいて、赤外線照射撮像信号ＲＧＢＩＡｘｙを赤外線照射成分撮像信号［Ａｘｙ］と、非照射成分撮像信号［ＲＧＢＩｘｙ］と、に分離する手法である。
As described above, the infrared irradiation component separation unit 8 according to the present invention is based on the analysis value by the infrared irradiation
換言すれば、複数の画像を合成して得る画像ではなく、基準信号レベルを根拠にして１フレームの撮像画像を演算する手法であるので、可視光撮像条件と赤外線照射撮像条件とで夫々撮像された画像を単に合成するような手法と比べて、フレーム間での画像ブレが気にならないという利点があるのである。 In other words, it is a method of calculating a captured image of one frame based on the reference signal level, not an image obtained by combining a plurality of images, and is thus captured under the visible light imaging condition and the infrared irradiation imaging condition, respectively. There is an advantage that image blurring between frames is not an issue compared to a method of simply combining images.
但し、赤外線照射撮像条件時の被写体、及び、光源環境が、可視光撮像条件時、及び／または、赤外線取込撮像条件時とで大きく異なる場合に於いては、或いは、大きく変化した場合に於いては、解析値、高照射基準レベルＬＶ１、低照射基準レベルＬＶ２、及び、赤外線照射推定量ΣＡを再取得するために、あらためて可視光撮像条件、赤外線取込撮像条件を撮り直す必要がある。 However, if the subject and the light source environment under the infrared irradiation imaging conditions are significantly different between the visible light imaging conditions and / or the infrared capture imaging conditions, or Therefore, in order to re-acquire the analysis value, the high irradiation reference level LV1, the low irradiation reference level LV2, and the infrared irradiation estimated amount ΣA, it is necessary to retake the visible light imaging condition and the infrared capturing imaging condition again.
ここで、赤外線照射撮像信号ＲＧＢＩＡｘｙを赤外線照射成分撮像信号［Ａｘｙ］と、非照射成分撮像信号［ＲＧＢＩｘｙ］と、に分離する際についての補足事項について述べる。 Here, supplementary matters for separating the infrared irradiation imaging signal RGBIAxy into the infrared irradiation component imaging signal [Axy] and the non-irradiation component imaging signal [RGBIxy] will be described.
被写体に対して赤外線の照射が所定以上に高照射で、且つ、一様である場合であっても、その被写体が高反射と低反射とがナイキスト周波数にて繰り返されるような被写体（例えば、網戸の網目、細かい柄のネクタイ、モアレチャートなどのような、輝度高周波成分を有する被写体）であった場合には、前述してきたような隣接されたＲＧＢ各色毎に於いて、必ずしもΣｒＡ≒ΣｇＡ≒ΣｂＡとはならないような場合があることが懸念される。 Even when the infrared irradiation of the subject is higher than a predetermined level and is uniform, the subject repeats high reflection and low reflection at the Nyquist frequency (for example, screen door). In the case of a subject having a high-frequency luminance component such as a mesh, a fine pattern tie, or a moire chart), ΣrA≈ΣgA≈ΣbA is not necessarily required for each adjacent RGB color as described above. There is concern that there may be cases where this is not possible.
この問題点については、前述したようなＲＧＢ各色毎の位相を予め揃えるリサンプリング処理（図示なし）にて解決されるような問題ではないのである。 This problem is not a problem that can be solved by the resampling process (not shown) for previously aligning the phases of each RGB color as described above.
こうした問題点に鑑みれば、照射基準レベルで抽出された撮像信号（抽出信号）に対して、少なくともこのナイキスト周波数が１／２以下となるようなカットオフ周波数を有するローパスフィルタ（図示なし）を施す必要がある。 In view of such problems, a low-pass filter (not shown) having a cutoff frequency at least so that the Nyquist frequency is ½ or less is applied to the imaging signal (extracted signal) extracted at the irradiation reference level. There is a need.
つまり、このローパスフィルタによって、ΣｒＡ≒ΣｇＡ≒ΣｂＡと略みなせるようになれば良いのである。このローパスフィルタには、例えば、デジタル演算フィルタ、及び／または、光学ローパスフィルタ等がある。 That is, it is sufficient that the low-pass filter can be regarded as approximately ΣrA≈ΣgA≈ΣbA. Examples of the low-pass filter include a digital arithmetic filter and / or an optical low-pass filter.
図１１は、図２で示された赤外線照射式撮像装置１に、ホワイトバランス処理部１２を更に具備した構成を示すブロック図である。
FIG. 11 is a block diagram showing a configuration in which the infrared irradiation
図１１に於いて、この赤外線照射式撮像装置１は、図２で示された赤外線照射式撮像装置１の構成と、ホワイトバランス処理部１２（ホワイトバランス処理手段）と、より構成されている。
In FIG. 11, the infrared irradiation
前記ホワイトバランス処理部１２は、可視光撮像条件にて生成された撮像信号ＲＧＢｘｙにホワイトバランスを施し、ホワイトバランス撮像信号ｗＲＧＢｘｙを生成するものである。
The white
このホワイトバランスには、黒体軌跡を根拠にして暫定的にホワイト抽出をする手法や、光源判別によってプリセットデータの選択をする手法、または、白い被写体を仮設してその白い被写体に対してホワイトバランスを取る手法等がある。 For this white balance, a method of tentatively extracting white on the basis of the black body locus, a method of selecting preset data by light source discrimination, or a temporary white object and white balance for the white object There is a technique to take.
図１１で示された赤外線照射式撮像装置１は、前述した非照射成分撮像信号［ＲＧＢＩｘｙ］の色バランスについて、このホワイトバランス撮像信号ｗＲＧＢｘｙをＲＧＢ各色毎に積分した比率である可視光色毎比ΣＲ：ΣＧ：ΣＢに基づいて整合されるようにしたものである。
The infrared irradiation
また、図１１によれば、この赤外線照射式撮像装置１を単なる可視光撮像装置として用いるのであれば、図１１に示されるように、ホワイトバランス撮像信号ｗＲＧＢｘｙを画像処理部１０に入力すれば良い。
Further, according to FIG. 11, if this infrared irradiation
この場合に於いては、このホワイトバランス撮像信号ｗＲＧＢｘｙについては、色整合撮像信号ｃ［ＲＧＢＩｘｙ］と同様な画像処理が施されれば良いので、新たに２つ目の画像処理回路を設ける必要は必ずしもないのである。 In this case, the white balance imaging signal wRGBxy only needs to be subjected to image processing similar to that of the color matching imaging signal c [RGBIxy]. Therefore, it is necessary to newly provide a second image processing circuit. Not necessarily.
尚、この場合は、赤外線照射成分撮像信号［Ａｘｙ］について、
［Ａｘｙ］＝（ＯＦＦＳＥＴ）
に固定すれば良い。
In this case, for the infrared irradiation component imaging signal [Axy],
[Axy] = (OFFSET)
You just fix to.
前述してきたように、本発明の実施形態による赤外線照射式撮像装置１によれば、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、良好な色再現性が得られるという作用効果がある。
As described above, according to the infrared irradiation
また、本発明の実施形態による赤外線照射式撮像装置１によれば、低照度下の被写体に対して赤外線を照射して撮像する場合に於いて、その被写体に色の偏りがある場合であったとしても、良好な色再現性が得られるという作用効果がある。
Further, according to the infrared irradiation
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
更に、前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
The embodiment of the present invention has been described in detail above with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like without departing from the gist of the present invention.
Further, the above-described embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the column of the effect of the invention Can be extracted as an invention.
１ 赤外線照射式撮像装置
２ 赤外線発光ダイオード（赤外線照射手段）
３ レンズ（光学手段）
４ 赤外線カットフィルタ
５ 撮像条件制御部（撮像条件制御手段）
６ イメージセンサ（撮像手段）
７ 撮像信号分岐回路
８ 赤外線照射成分分離部（赤外線照射成分分離手段）
９ 色バランス整合部（色バランス整合手段）
１０ 画像処理部（画像処理手段）
１１ 赤外線照射成分解析部（赤外線照射成分解析手段）
１２ ホワイトバランス処理部（ホワイトバランス処理手段）
DESCRIPTION OF
3 Lens (optical means)
4 Infrared cut
6 Image sensor (imaging means)
7 Imaging signal branch circuit 8 Infrared irradiation component separation unit (Infrared irradiation component separation means)
9 Color balance matching section (Color balance matching means)
10 Image processing unit (image processing means)
11 Infrared irradiation component analysis unit (Infrared irradiation component analysis means)
12 White balance processing unit (white balance processing means)
Claims (6)
前記被写体に前記赤外線を照射する赤外線照射手段と、
前記被写体を結像して光学像を生成する光学手段と、
前記光学手段の光路上に対して進退可能な構造であって、前記光学像に含まれる赤外線を遮断して、可視光から成る前記光学像を生成するための赤外線カットフィルタと、
前記被写体に前記赤外線を照射させないで前記光路上に対して前記赤外線カットフィルタを挿入させる可視光撮像条件と、前記被写体に前記赤外線を照射させないで前記光路上に対して前記赤外線カットフィルタを退出させる赤外線取込撮像条件と、前記被写体に前記赤外線を照射させて前記光路上に対して前記赤外線カットフィルタを退出させる赤外線照射撮像条件と、を夫々制御する撮像条件制御手段と、
前記光学像を色毎に光電変換して撮像信号を生成する撮像手段と、
前記撮像条件別に前記撮像信号を分岐させる撮像信号分岐回路と、
前記赤外線取込撮像条件にて生成された前記撮像信号に基づいて、前記赤外線照射撮像条件にて生成された前記撮像信号を赤外線照射成分撮像信号と非照射成分撮像信号とに分離する赤外線照射成分分離手段と、
前記可視光撮像条件にて生成された前記撮像信号に基づいて、前記非照射成分撮像信号の色バランスを整合し、色整合撮像信号を生成する色バランス整合手段と、
前記赤外線照射成分撮像信号と前記色整合撮像信号とに合成画像処理を施して、カラー画像信号を生成する画像処理手段と、
を具備することを特徴とする赤外線照射式撮像装置。 An infrared irradiation type imaging device capable of imaging by irradiating infrared rays to a subject under low illuminance,
An infrared irradiation means for irradiating the subject with the infrared;
Optical means for forming an optical image by imaging the subject;
An infrared cut filter configured to be movable back and forth with respect to the optical path of the optical means, for blocking infrared rays included in the optical image and generating the optical image composed of visible light;
Visible light imaging conditions for inserting the infrared cut filter into the optical path without irradiating the subject with the infrared ray, and exiting the infrared cut filter with respect to the optical path without irradiating the subject with the infrared ray. An imaging condition control means for controlling an infrared capturing imaging condition and an infrared irradiation imaging condition for irradiating the infrared ray on the subject and causing the infrared cut filter to exit the optical path;
Imaging means for photoelectrically converting the optical image for each color to generate an imaging signal;
An imaging signal branch circuit for branching the imaging signal according to the imaging conditions;
An infrared irradiation component that separates the imaging signal generated under the infrared irradiation imaging condition into an infrared irradiation component imaging signal and a non-irradiation component imaging signal based on the imaging signal generated under the infrared capture imaging condition Separating means;
Color balance matching means for matching the color balance of the non-irradiation component imaging signal based on the imaging signal generated under the visible light imaging condition, and generating a color matching imaging signal;
Image processing means for performing a composite image processing on the infrared irradiation component imaging signal and the color matching imaging signal to generate a color image signal;
An infrared irradiation type imaging apparatus comprising:
を更に具備することを特徴とする請求項１に記載の赤外線照射式撮像装置。 The imaging signals generated under the infrared capturing imaging conditions and the infrared irradiation imaging conditions are each integrated, and an infrared irradiation estimated amount that is an estimated irradiation amount of the infrared rays is calculated based on a difference between the integrated values. And an infrared irradiation reference level which is a reference of a signal level assumed to be the subject irradiated with the infrared rays based on the estimated amount of infrared irradiation and the signal level of the imaging signal at the time of the infrared capturing imaging condition And further comprising an infrared irradiation component analyzing means for setting the infrared irradiation estimated amount and the infrared irradiation reference level as analysis values of the infrared irradiation for the infrared irradiation component separating means. The infrared irradiation type imaging device according to claim 1, wherein
前記高照射基準レベルは、前記赤外線取込撮像条件にて生成された前記撮像信号よりも高い信号レベルを基準として算出され、
前記低照射基準レベルは、前記赤外線取込撮像条件にて生成された前記撮像信号よりも低い信号レベルを基準として算出される
ことを特徴とする請求項２に記載の赤外線照射式撮像装置。 The infrared irradiation reference level has a high irradiation reference level in which the infrared irradiation component is distributed by high irradiation, and a low irradiation reference level in which the infrared irradiation component is distributed by low irradiation,
The high irradiation reference level is calculated based on a signal level higher than the imaging signal generated under the infrared capturing imaging condition,
The infrared irradiation imaging apparatus according to claim 2, wherein the low irradiation reference level is calculated based on a signal level lower than the imaging signal generated under the infrared capturing imaging condition.
前記赤外線照射撮像条件にて生成された前記撮像信号の中から、
前記高照射基準レベル以上の前記撮像信号を抽出して、該抽出信号が位置する位相に対しては前記高照射基準レベルの信号を前記赤外線照射成分撮像信号として分離し、
前記高照射基準レベル未満で、且つ、前記低照射基準レベル以上の前記撮像信号を抽出して、該抽出信号が位置する位相に対しては前記低照射基準レベルの信号を前記赤外線照射成分撮像信号として分離して、
前記低照射基準レベル未満の前記撮像信号を抽出して、該抽出信号が位置する位相に対しては前記赤外線が照射していない前記被写体の信号レベルとして、前記赤外線照射成分撮像信号を黒レベルとする
ことを特徴とする請求項３に記載の赤外線照射式撮像装置。 The infrared irradiation component separating means is
Among the imaging signals generated under the infrared irradiation imaging conditions,
Extracting the imaging signal above the high irradiation reference level and separating the high irradiation reference level signal as the infrared irradiation component imaging signal for the phase where the extraction signal is located,
The imaging signal that is lower than the high irradiation reference level and equal to or higher than the low irradiation reference level is extracted, and the signal of the low irradiation reference level is extracted from the infrared irradiation component imaging signal for the phase where the extraction signal is located. Separated as
The imaging signal less than the low irradiation reference level is extracted, and the infrared irradiation component imaging signal is set to the black level as the signal level of the subject that is not irradiated with the infrared ray with respect to the phase where the extraction signal is located. The infrared irradiation type imaging device according to claim 3.
ことを特徴とする請求項４に記載の赤外線照射式撮像装置。 The infrared irradiation type imaging according to claim 4, wherein the low irradiation reference level is calculated so that an integrated value of the infrared irradiation component imaging signal and the infrared irradiation estimated amount substantially coincide with each other. apparatus.
ことを特徴とする請求項４に記載の赤外線照射式撮像装置。 The infrared irradiation component separating means has a cut-off frequency at which the frequency of the high frequency is at least ½ or less with respect to the extraction signal of the subject in which high reflection and low reflection at high irradiation are repeated at high frequency The infrared irradiation type imaging device according to claim 4, wherein a low-pass filter is applied.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008329409A JP2010154169A (en) | 2008-12-25 | 2008-12-25 | Infrared irradiation type image pickup device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008329409A JP2010154169A (en) | 2008-12-25 | 2008-12-25 | Infrared irradiation type image pickup device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010154169A true JP2010154169A (en) | 2010-07-08 |
Family
ID=42572734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008329409A Withdrawn JP2010154169A (en) | 2008-12-25 | 2008-12-25 | Infrared irradiation type image pickup device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010154169A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150005335A (en) * | 2013-07-05 | 2015-01-14 | 엘지전자 주식회사 | Image display device and operation method of the image display device |
-
2008
- 2008-12-25 JP JP2008329409A patent/JP2010154169A/en not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150005335A (en) * | 2013-07-05 | 2015-01-14 | 엘지전자 주식회사 | Image display device and operation method of the image display device |
| KR102206382B1 (en) * | 2013-07-05 | 2021-01-22 | 엘지전자 주식회사 | Image display device and operation method of the image display device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4341695B2 (en) | Image input processing device, imaging signal processing circuit, and imaging signal noise reduction method | |
| JP6568719B2 (en) | Imaging method and imaging apparatus | |
| KR101747603B1 (en) | Color night vision system and operation method thereof | |
| EP3414896B1 (en) | Combined hdr/ldr video streaming | |
| JP5011814B2 (en) | Imaging apparatus, image processing method, and computer program | |
| US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
| JP4730082B2 (en) | Image signal processing apparatus, imaging apparatus, image signal processing method, and computer program | |
| WO2010053029A1 (en) | Image inputting apparatus | |
| US9936172B2 (en) | Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image | |
| JP2007174276A (en) | Image signal processor and processing method, image pickup device, and computer program | |
| JP6484504B2 (en) | Imaging device | |
| US9813687B1 (en) | Image-capturing device, image-processing device, image-processing method, and image-processing program | |
| JP6000133B2 (en) | Imaging apparatus, imaging system, and imaging method | |
| JP5228717B2 (en) | Image input device | |
| JP2010161455A (en) | Infrared combined imaging device | |
| JP5034665B2 (en) | Image input processing device, pixel signal processing circuit, and edge detection method | |
| JP2008177724A (en) | Image input device, signal processor, and signal processing method | |
| JP2010154169A (en) | Infrared irradiation type image pickup device | |
| JP5182518B2 (en) | Imaging apparatus and imaging method | |
| JP4389671B2 (en) | Image processing apparatus, image processing method, and computer program | |
| JP4320720B2 (en) | Imaging device | |
| JP2010187394A (en) | Image processor, image processing method, imaging device, program, and recording medium | |
| JP2016082390A (en) | Signal processing unit | |
| JP2016201722A (en) | Imaging apparatus | |
| JP6764518B2 (en) | Imaging device, control method of imaging device, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120306 |