JP2018142838A - Imaging element, imaging device, and photograph device - Google Patents
Imaging element, imaging device, and photograph device Download PDFInfo
- Publication number
- JP2018142838A JP2018142838A JP2017035596A JP2017035596A JP2018142838A JP 2018142838 A JP2018142838 A JP 2018142838A JP 2017035596 A JP2017035596 A JP 2017035596A JP 2017035596 A JP2017035596 A JP 2017035596A JP 2018142838 A JP2018142838 A JP 2018142838A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- light
- unit
- image
- infrared light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 337
- 230000001360 synchronised effect Effects 0.000 claims abstract description 16
- 238000005286 illumination Methods 0.000 claims description 42
- 230000008859 change Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000004043 responsiveness Effects 0.000 abstract description 3
- 238000010030 laminating Methods 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 25
- 238000001514 detection method Methods 0.000 description 19
- 239000010408 film Substances 0.000 description 15
- XLOMVQKBTHCTTD-UHFFFAOYSA-N Zinc monoxide Chemical compound [Zn]=O XLOMVQKBTHCTTD-UHFFFAOYSA-N 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 12
- 239000004065 semiconductor Substances 0.000 description 11
- 239000000758 substrate Substances 0.000 description 11
- 239000011521 glass Substances 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 239000011787 zinc oxide Substances 0.000 description 7
- 239000010409 thin film Substances 0.000 description 6
- 239000011368 organic material Substances 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 3
- -1 etc. Substances 0.000 description 3
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Substances [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 3
- 239000002356 single layer Substances 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- NRCMAYZCPIVABH-UHFFFAOYSA-N Quinacridone Chemical compound N1C2=CC=CC=C2C(=O)C2=C1C=C1C(=O)C3=CC=CC=C3NC1=C2 NRCMAYZCPIVABH-UHFFFAOYSA-N 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 229910003437 indium oxide Inorganic materials 0.000 description 2
- PJXISJQVUVHSOJ-UHFFFAOYSA-N indium(iii) oxide Chemical compound [O-2].[O-2].[O-2].[In+3].[In+3] PJXISJQVUVHSOJ-UHFFFAOYSA-N 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 239000011777 magnesium Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000012860 organic pigment Substances 0.000 description 2
- 229910052697 platinum Inorganic materials 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 229910052814 silicon oxide Inorganic materials 0.000 description 2
- BCMCBBGGLRIHSE-UHFFFAOYSA-N 1,3-benzoxazole Chemical class C1=CC=C2OC=NC2=C1 BCMCBBGGLRIHSE-UHFFFAOYSA-N 0.000 description 1
- SCZWJXTUYYSKGF-UHFFFAOYSA-N 5,12-dimethylquinolino[2,3-b]acridine-7,14-dione Chemical compound CN1C2=CC=CC=C2C(=O)C2=C1C=C1C(=O)C3=CC=CC=C3N(C)C1=C2 SCZWJXTUYYSKGF-UHFFFAOYSA-N 0.000 description 1
- 239000005294 BK7 Substances 0.000 description 1
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 1
- 239000004743 Polypropylene Substances 0.000 description 1
- 239000004793 Polystyrene Substances 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910021417 amorphous silicon Inorganic materials 0.000 description 1
- 150000001454 anthracenes Chemical class 0.000 description 1
- 125000003118 aryl group Chemical group 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 150000004985 diamines Chemical class 0.000 description 1
- RTZKZFJDLAIYFH-UHFFFAOYSA-N ether Substances CCOCC RTZKZFJDLAIYFH-UHFFFAOYSA-N 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 229910052741 iridium Inorganic materials 0.000 description 1
- 229910052749 magnesium Inorganic materials 0.000 description 1
- DZVCFNFOPIZQKX-LTHRDKTGSA-M merocyanine Chemical class [Na+].O=C1N(CCCC)C(=O)N(CCCC)C(=O)C1=C\C=C\C=C/1N(CCCS([O-])(=O)=O)C2=CC=CC=C2O\1 DZVCFNFOPIZQKX-LTHRDKTGSA-M 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 229910021421 monocrystalline silicon Inorganic materials 0.000 description 1
- 150000004866 oxadiazoles Chemical class 0.000 description 1
- SLIUAWYAILUBJU-UHFFFAOYSA-N pentacene Chemical compound C1=CC=CC2=CC3=CC4=CC5=CC=CC=C5C=C4C=C3C=C21 SLIUAWYAILUBJU-UHFFFAOYSA-N 0.000 description 1
- 125000002080 perylenyl group Chemical group C1(=CC=C2C=CC=C3C4=CC=CC5=CC=CC(C1=C23)=C45)* 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 1
- 229920002492 poly(sulfone) Polymers 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 125000003367 polycyclic group Chemical group 0.000 description 1
- 239000004926 polymethyl methacrylate Substances 0.000 description 1
- 229920001155 polypropylene Polymers 0.000 description 1
- 229920002223 polystyrene Polymers 0.000 description 1
- 150000004032 porphyrins Chemical class 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 229910052594 sapphire Inorganic materials 0.000 description 1
- 239000010980 sapphire Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- LIVNPJMFVYWSIS-UHFFFAOYSA-N silicon monoxide Chemical compound [Si-]#[O+] LIVNPJMFVYWSIS-UHFFFAOYSA-N 0.000 description 1
- 239000002210 silicon-based material Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- PJANXHGTPQOBST-UHFFFAOYSA-N stilbene Chemical class C=1C=CC=CC=1C=CC1=CC=CC=C1 PJANXHGTPQOBST-UHFFFAOYSA-N 0.000 description 1
- 150000003518 tetracenes Chemical class 0.000 description 1
- 150000003577 thiophenes Chemical class 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 229910052725 zinc Inorganic materials 0.000 description 1
- 239000011701 zinc Substances 0.000 description 1
- YVTHLONGBIQYBO-UHFFFAOYSA-N zinc indium(3+) oxygen(2-) Chemical compound [O--].[Zn++].[In+3] YVTHLONGBIQYBO-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/707—Pixels for event detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、動物体の被写体を自動検出し撮影を開始して記録するための撮像素子、撮像装置及び撮影装置に関する。 The present invention relates to an imaging element, an imaging apparatus, and an imaging apparatus for automatically detecting a subject of an animal body and starting and recording an imaging.
従来より、動物体の被写体を自動検出し撮影を開始して記録するために、種々の技法が知られている。 2. Description of the Related Art Conventionally, various techniques are known for automatically detecting a subject of an animal body and starting shooting and recording.
例えば、撮像素子エリア又はその周囲の所定箇所に配置された入射光量の変化を検出する変化検出素子の検出信号に基づいてトリガー信号を発生させ、そのトリガー信号に応じて、撮像装置における撮像用光電変換素子から得られる画素情報の取り込みの開始または停止を制御する技法が開示されている（例えば、特許文献１参照）。 For example, a trigger signal is generated based on a detection signal of a change detection element that detects a change in the amount of incident light disposed in an imaging element area or a predetermined location around the imaging element area, and an imaging photoelectric in the imaging device is generated according to the trigger signal. A technique for controlling the start or stop of capturing pixel information obtained from a conversion element is disclosed (for example, see Patent Document 1).
また、実質的に動物体の被写体を自動検出するものではないが、高速に状態変化する撮影対象物を高速カメラ（撮像装置）により高速撮影するために、撮影対象物の明るさを測定するためのフォトダイオードなどの光センサーを撮影対象物の近くに配置し、ストロボ照明装置からの発光を当該撮影対象物に照射するとともに、その光センサーにも入射することで、適正露光量に対応する設定された光センサーの出力がしきい値以上になったときに光センサーから高速カメラにトリガー信号を出力し、高速カメラのシャッターを開くよう構成する技法が開示されている（例えば、特許文献２参照）。 In addition, in order to measure the brightness of an object to be photographed in order to photograph an object to be photographed whose state changes at a high speed with a high-speed camera (imaging device), although it does not substantially automatically detect a subject of a moving object. A photosensor such as a photo diode is placed near the object to be photographed, and the light emitted from the strobe lighting device is irradiated onto the object to be photographed and incident on the light sensor, so that the setting corresponds to the appropriate exposure amount. A technique is disclosed in which a trigger signal is output from the optical sensor to the high-speed camera and the shutter of the high-speed camera is opened when the output of the detected optical sensor exceeds a threshold value (see, for example, Patent Document 2). ).
尚、特許文献２では、動物体の被写体を自動検出するためには、その動物体の発する音や着荷信号などを、ストロボ照明装置の発光開始に同期させる仕組みが必要になるとされている。 In Patent Document 2, in order to automatically detect a subject of a moving object, a mechanism for synchronizing the sound emitted from the moving object and the arrival signal with the start of light emission of the strobe lighting device is required.
特許文献１の技法では、変化検出素子が画素情報を取得する撮像素子とは異なるため、その変化検出素子を撮像素子エリアに配置した場合は画素情報が欠落し高画質化の妨げになるという問題がある。また、特許文献１に開示されるように、その光学検出素子と撮像素子とを分離配置してプリズムで分光した入射光を結像させる構成とすると、レンズを含む撮像装置が大型化してしまうという問題がある。 In the technique of Patent Document 1, since the change detection element is different from the image pickup element that acquires the pixel information, when the change detection element is arranged in the image pickup element area, the pixel information is lost, which hinders high image quality. There is. Further, as disclosed in Patent Document 1, if the optical detection element and the imaging element are arranged separately to form an image of incident light dispersed by a prism, the imaging apparatus including the lens is increased in size. There's a problem.
また、動物体の被写体を自動検出し撮影を開始して記録する撮影装置として、特許文献２の技法を利用し応用しようとしても、その動物体の発する音や着荷信号などを、ストロボ照明装置の発光開始に同期させる仕組みが必要となり、更には、ストロボ照明装置、撮像装置、及び光センサーの位置調整が個別に必要となるため、その制御も複雑化するという問題がある。このため、動物体の被写体を自動検出する撮影装置として特許文献２の技法を利用し応用しようとしても、動物体の自動検出に関する高速・高精度応答性の観点で改善の余地がある。 In addition, as an imaging device that automatically detects a subject of an animal body, starts imaging, and records it, even if the technique of Patent Document 2 is applied, the sound or arrival signal generated by the animal body is transmitted to the strobe lighting device. There is a problem that a mechanism for synchronizing with the start of light emission is required, and furthermore, since the position adjustments of the strobe lighting device, the imaging device, and the optical sensor are individually required, the control is complicated. For this reason, there is room for improvement in terms of high-speed and high-accuracy responsiveness related to automatic detection of moving objects, even if the technique disclosed in Patent Document 2 is applied as an imaging apparatus that automatically detects a moving object.
そこで、本発明の目的は、上述の問題を同時に解決するべく、照明装置と撮像装置との同期接続を不要とし小型化が可能で、且つ高画質、及び高速・高精度応答性を実現可能にして、動物体の被写体を自動検出し撮影を開始して記録するための撮像素子、撮像装置及び撮影装置を提供することにある。 Accordingly, an object of the present invention is to eliminate the need for a synchronous connection between an illumination device and an imaging device, and to achieve downsizing and to realize high image quality and high-speed / high-accuracy responsiveness in order to solve the above-described problems at the same time. Thus, an object of the present invention is to provide an imaging device, an imaging device, and an imaging device for automatically detecting a subject of an animal body and starting recording.
本発明の撮像素子は、所定の撮像領域内に侵入する動物体の被写体に対し少なくとも赤外光を照射する照明装置とは同期接続なく構成された撮像装置に設けられ、前記被写体から反射する可視光及び赤外光を個別に受光して撮像する撮像素子であって、可視光を構成する青色光のみ吸収し残りを透過させて撮像する青色光撮像部と、可視光を構成する緑色光のみ吸収し残りを透過させて撮像する緑色光撮像部と、可視光を構成する赤色光のみ吸収し残りを透過させて撮像する赤色光撮像部と、赤外光のみに感度を持ち撮像する赤外光撮像部とを積層して構成され、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々は、二次元平面上に第１の画素配列で第１の画素サイズの画素部が配列された撮像面を有し、独立して露光量を制御可能で、且つ撮像制御可能な素子とし、前記赤外光撮像部は、前記二次元平面上に第２の画素配列で第２の画素サイズの画素部が配列された撮像面を有し、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々に対し独立して撮像制御可能な素子として構成されていることを特徴とする。 The imaging device of the present invention is provided in an imaging device configured without a synchronous connection with an illuminating device that irradiates at least infrared light to a subject of an animal that enters a predetermined imaging region, and is visible that reflects from the subject. An image pickup device that picks up an image by separately receiving light and infrared light, and absorbs only blue light constituting visible light and transmits the remaining light, and only green light constituting visible light A green light imaging unit that absorbs and transmits the remaining light, an infrared image capturing unit that absorbs only the red light constituting visible light and transmits the remaining light, and an infrared image that is sensitive only to infrared light The blue light imaging unit, the green light imaging unit, and the red light imaging unit each have a first pixel size in a first pixel array on a two-dimensional plane. It has an imaging surface with pixel parts arranged, and the exposure amount independently The infrared light imaging unit has an imaging surface in which a pixel unit having a second pixel size is arranged on the two-dimensional plane on the two-dimensional plane. The blue light imaging unit, the green light imaging unit, and the red light imaging unit are configured as elements that can independently control imaging.
また、本発明の撮像素子において、前記赤外光撮像部による赤外光撮像画像信号は、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々に対する撮影タイミングを制御するための赤外センサーとして機能するよう構成されていることを特徴とする。 In the image pickup device of the present invention, the infrared light image pickup signal by the infrared light image pickup unit controls the shooting timing for each of the blue light image pickup unit, the green light image pickup unit, and the red light image pickup unit. It is comprised so that it may function as an infrared sensor for this.
また、本発明の撮像素子において、前記第２の画素サイズは前記第１の画素サイズ以上とし、前記第２の画素配列は前記第１の画素配列と比して同一以下の解像度を持つ画素配列としていることを特徴とする。 In the imaging device of the present invention, the second pixel size is equal to or larger than the first pixel size, and the second pixel array has a resolution equal to or lower than that of the first pixel array. It is characterized by that.
更に、本発明の撮像装置は、本発明の撮像素子と、前記赤外光撮像部から赤外光撮像画像信号を取得して、前記赤外光撮像画像信号から構成される赤外光画像の定常状態からの画素値変化を監視し、前記所定の撮像領域内に動物体の被写体が侵入したか否かを示すトリガー信号を発生させ、該トリガー信号が前記所定の撮像領域内に動物体の被写体が侵入している旨を示す間、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々から得られる可視光画像信号を基に形成される可視光画像を所定の記録部に対し記録するよう撮影タイミングを制御する制御部と、を備えることを特徴とする。 Furthermore, the imaging apparatus of the present invention acquires an infrared light captured image signal from the infrared light image capturing unit and the infrared light captured image signal of the infrared light captured image signal. The pixel value change from the steady state is monitored, and a trigger signal indicating whether or not the subject of the moving object has entered the predetermined imaging area is generated, and the trigger signal is generated in the predetermined imaging area. While indicating that the subject has entered, a visible light image formed based on a visible light image signal obtained from each of the blue light imaging unit, the green light imaging unit, and the red light imaging unit And a control unit that controls the photographing timing so as to record to the recording unit.
また、本発明の撮像装置において、本発明の撮像装置と、前記所定の撮像領域内に侵入する動物体の被写体に対し少なくとも赤外光を照射する照明装置とを備え、前記撮像装置は、前記照明装置とは同期接続なく一体又は別体で構成され、前記撮像素子により前記被写体から反射する可視光及び赤外光を個別に受光して撮像するよう構成されていることを特徴とする。 The imaging apparatus of the present invention includes the imaging apparatus of the present invention, and an illumination device that irradiates at least infrared light to a subject of an animal body that enters the predetermined imaging region, The illumination device is configured as a single body or a separate body without synchronous connection, and is configured to individually receive and capture visible light and infrared light reflected from the subject by the imaging element.
また、本発明の撮像装置において、前記照明装置は、前記赤外光を間欠点灯で照射することを特徴とする。 In the imaging device of the present invention, the illumination device irradiates the infrared light with intermittent lighting.
本発明によれば、照明装置と撮像装置との同期接続が不要でその位置あわせが簡便となり、小型化が可能で、且つ高画質、及び高速・高精度応答性を実現可能な撮像素子、撮像装置及び撮影装置を構成することができる。 According to the present invention, an imaging device and an imaging device that do not require a synchronous connection between the illumination device and the imaging device, can be easily aligned, can be miniaturized, and can realize high image quality, high speed, and high accuracy response. An apparatus and a photographing apparatus can be configured.
以下、図面を参照して、本発明による一実施形態の照明装置２及び撮像装置３よりなる撮影装置１について説明する。 Hereinafter, with reference to the drawings, an imaging apparatus 1 including an illumination apparatus 2 and an imaging apparatus 3 according to an embodiment of the present invention will be described.
〔撮影装置〕
まず、本発明による一実施形態の撮影装置１の詳細について説明する。図１は、本発明による一実施形態の照明装置２及び撮像装置３よりなる撮影装置１の概略構成を示す図である。撮影装置１は、撮像領域Ｗ内に侵入する動物体の被写体Ｏｂｊを自動検出し撮影を開始して記録する装置として構成される。
[Photographing device]
First, details of the photographing apparatus 1 according to an embodiment of the present invention will be described. FIG. 1 is a diagram showing a schematic configuration of an imaging device 1 including an illumination device 2 and an imaging device 3 according to an embodiment of the present invention. The imaging device 1 is configured as a device that automatically detects a subject Obj of a moving object that enters the imaging area W, starts imaging, and records it.
照明装置２は、撮像装置３により動画撮影可能な波長帯域を持つ赤色光源２Ｒ、緑色光源２Ｇ、及び青色光源２Ｂの可視光源と、撮影装置１により撮影可能な波長帯域を持つ赤外光源２ＩＲとを備えている。赤色光源２Ｒ、緑色光源２Ｇ、青色光源２Ｂ、及び赤外光源２ＩＲは、それぞれ多数の発光ダイオードから構成することができる。 The illuminating device 2 includes a red light source 2R, a green light source 2G, and a blue light source 2B that have wavelength bands that can be photographed by the imaging device 3, and an infrared light source 2IR that has a wavelength band that can be photographed by the photographing device 1. It has. Each of the red light source 2R, the green light source 2G, the blue light source 2B, and the infrared light source 2IR can be composed of a large number of light emitting diodes.
尚、照明装置２として利用する可視光源は、白色発光ダイオードやハロゲンランプ、或いは蛍光管ランプなど任意であり、赤色（Ｒ色）、緑色（Ｇ色）、及び青色（Ｂ色）のように発光分光させる必要はない。 The visible light source used as the illumination device 2 is arbitrary, such as a white light emitting diode, a halogen lamp, or a fluorescent tube lamp, and emits light such as red (R color), green (G color), and blue (B color). There is no need to split it.
一方、赤外光源２ＩＲについては、可視光カットフィルタ等を利用したハロゲンランプ、或いは蛍光管ランプで構成することもできるが、照明装置２自体が独立にパルス制御して赤外光をパルス発光させストロボ照明できるものとする。 On the other hand, the infrared light source 2IR can be composed of a halogen lamp using a visible light cut filter or the like, or a fluorescent tube lamp. However, the illumination device 2 itself controls the pulse independently to cause infrared light to emit light. It shall be capable of strobe lighting.
照明装置２は、本例では赤色光源２Ｒ、緑色光源２Ｇ、及び青色光源２Ｂから発光する可視光と、赤外光源２ＩＲから発光する赤外光を撮像領域Ｗを照射する。この照明装置２の配置は、撮像領域Ｗを照射する配置であれば厳格性は要求されない。 In this example, the illumination device 2 irradiates the imaging region W with visible light emitted from the red light source 2R, the green light source 2G, and the blue light source 2B, and infrared light emitted from the infrared light source 2IR. If the arrangement of the illumination device 2 is an arrangement that irradiates the imaging area W, strictness is not required.
撮影装置１は、動作撮影可能な撮像素子３１を備え、当該撮影装置１が持つ結像レンズは、撮像領域Ｗの焦点位置に合うよう焦点距離を固定させて撮像素子３１に結像させるように構成している。 The imaging apparatus 1 includes an imaging element 31 that can perform operation imaging, and an imaging lens included in the imaging apparatus 1 forms an image on the imaging element 31 with a fixed focal length so as to match the focal position of the imaging area W. It is composed.
尚、図１では、照明装置２と撮像装置３とを物理的に分離させた装置として図示しているが、照明装置２と撮像装置３とを一体化させた装置として構成することもできる。ただし、本実施形態の撮影装置１では、照明装置２と撮像装置３との同期接続を不要としている点に留意する。 In FIG. 1, the illumination device 2 and the imaging device 3 are illustrated as physically separated devices, but the illumination device 2 and the imaging device 3 may be configured as an integrated device. However, it should be noted that in the imaging device 1 of the present embodiment, the synchronous connection between the illumination device 2 and the imaging device 3 is unnecessary.
〔撮像装置〕
次に、本発明による一実施形態の撮像装置３の詳細について説明する。図２は、本発明による一実施形態の撮像装置３の概略構成を示すブロック図である。撮像装置３は、撮像素子３１と、結像レンズ３２と、制御部３３と、記録部３４と、再生部３５と、操作部３６とを備える。
[Imaging device]
Next, details of the imaging device 3 according to an embodiment of the present invention will be described. FIG. 2 is a block diagram showing a schematic configuration of the imaging apparatus 3 according to the embodiment of the present invention. The imaging device 3 includes an imaging element 31, an imaging lens 32, a control unit 33, a recording unit 34, a reproduction unit 35, and an operation unit 36.
また、撮像素子３１は、詳細は後述するが、青色（Ｂ色）光のみ吸収し残りを透過させて撮像する青色光撮像部３１Ｂ、緑色（Ｇ色）光のみ吸収し残りを透過させて撮像する緑色光撮像部３１Ｇ、赤色（赤色）光のみ吸収し残りを透過させて撮像する赤色光撮像部３１Ｒ、及び赤外光（ＩＲ光）のみ吸収して撮像する赤外光撮像部３１ＩＲをそれぞれ独立した素子層として構成して四層積層し、赤外光撮像素子付き単板カラー撮像素子として構成されている。 As will be described in detail later, the image pickup device 31 absorbs only blue (B color) light and transmits the remaining light, and picks up an image by absorbing only the green light (G color) and transmits the remaining light. A green light imaging unit 31G that absorbs only red (red) light and transmits the remaining light, and an infrared light imaging unit 31IR that absorbs and captures only infrared light (IR light). It is configured as an independent element layer and is laminated in four layers, and is configured as a single plate color image sensor with an infrared light image sensor.
撮像素子３１は、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ、及び赤外光撮像部３１ＩＲについて、図３に示すように四層積層させて構成しているため、同一光路上で撮像領域Ｗに対する画素密度（画素サイズ及び画素数）を共通化することができ、例えばＲＧＢカラーフィルタをベイヤー配列とした撮像素子と比べて画素情報の欠落がなく、撮像解像度を高めることができる。また、プリズムで分光する必要がなく、撮像素子３１を含む結像光学系を小型化させることができる。 The imaging element 31 is configured by stacking four layers of the blue light imaging unit 31B, the green light imaging unit 31G, the red light imaging unit 31R, and the infrared light imaging unit 31IR as shown in FIG. The pixel density (pixel size and the number of pixels) for the imaging region W can be made common on the optical path. For example, pixel information is not lost and the imaging resolution is increased compared to an image sensor having an RGB color filter as a Bayer array. Can do. In addition, it is not necessary to carry out spectroscopy with a prism, and the imaging optical system including the image sensor 31 can be reduced in size.
ただし、赤外光撮像部３１ＩＲの画素サイズ及び画素数については、後述するが、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ、及び赤外光撮像部３１ＩＲの画素サイズよりも大きくし、更には間欠画素配列とすることもできる。 However, as will be described later, the pixel size and the number of pixels of the infrared light imaging unit 31IR are larger than the pixel sizes of the green light imaging unit 31G, the red light imaging unit 31R, and the infrared light imaging unit 31IR. An intermittent pixel arrangement may also be used.
結像レンズ３２は、撮像領域Ｗの焦点位置に合うよう焦点距離を固定させて撮像素子３１に結像させている。尚、結像レンズ３２は、操作者によって撮像領域Ｗの変更ができるようにズーム機能付きとするのが好ましい。 The imaging lens 32 forms an image on the imaging element 31 with the focal length fixed so as to match the focal position of the imaging region W. The imaging lens 32 preferably has a zoom function so that the operator can change the imaging region W.
制御部３３は、青色光用撮像制御部３３１Ｂ、緑色光用撮像制御部３３１Ｇ、赤色光用撮像制御部３３１Ｒ、赤外光用撮像制御部３３２、可視光画像処理部３３４、動物体検出判定部３３５、記録制御部３３６、及び再生制御部３３７を備える。制御部３３は、リード・オンリー・メモリ（ＲＯＭ）等の所定のメモリ（図示せず）に記憶されたプログラムを読み出し、操作部３６からの指示に応じて所定の処理を実行するマイクロプロセッサや、各種制御信号の生成や画像信号の処理に必要な回路を備える。尚、図２に示す制御部３３は、本発明に係る制御に関する構成要素のみを図示している。 The control unit 33 includes a blue light imaging control unit 331B, a green light imaging control unit 331G, a red light imaging control unit 331R, an infrared light imaging control unit 332, a visible light image processing unit 334, and a moving object detection determination unit. 335, a recording control unit 336, and a reproduction control unit 337. The control unit 33 reads a program stored in a predetermined memory (not shown) such as a read-only memory (ROM), and executes a predetermined process in response to an instruction from the operation unit 36, A circuit necessary for generating various control signals and processing image signals is provided. Note that the control unit 33 shown in FIG. 2 shows only components related to the control according to the present invention.
青色光用撮像制御部３３１Ｂは、撮像素子３１における青色光撮像部３１Ｂに対し撮像制御信号を出力し、青色光撮像画像信号を可視光画像処理部３３４へ出力させる機能部であり、この撮像制御信号により、青色光撮像部３１Ｂにおける露光量制御（露光時間制御、又は青色光撮像部３１Ｂに電子シャッター機能がある時はその制御）を可能とする。 The blue light imaging control unit 331B is a functional unit that outputs an imaging control signal to the blue light imaging unit 31B in the imaging element 31 and outputs a blue light captured image signal to the visible light image processing unit 334. The signal enables exposure amount control (exposure time control or control when the blue light imaging unit 31B has an electronic shutter function) in the blue light imaging unit 31B.
緑色光用撮像制御部３３１Ｇは、撮像素子３１における緑色光撮像部３１Ｇに対し撮像制御信号を出力し、緑色光撮像画像信号を可視光画像処理部３３４へ出力させる機能部であり、この撮像制御信号により、緑色光撮像部３１Ｇにおける露光量制御（露光時間制御、又は緑色光撮像部３１Ｇに電子シャッター機能がある時はその制御）を可能とする。 The green light imaging control unit 331G is a functional unit that outputs an imaging control signal to the green light imaging unit 31G in the imaging device 31 and outputs a green light captured image signal to the visible light image processing unit 334. The signal enables exposure amount control (exposure time control or control when the green light imaging unit 31G has an electronic shutter function) in the green light imaging unit 31G.
赤色光用撮像制御部３３１Ｒは、撮像素子３１における赤色光撮像部３１Ｒに対し撮像制御信号を出力し、赤色光撮像画像信号を可視光画像処理部３３４へ出力させる機能部であり、この撮像制御信号により、赤色光撮像部３１Ｒにおける露光量制御（露光時間制御、又は赤色光撮像部３１Ｒに電子シャッター機能がある時はその制御）を可能とする。 The imaging control unit for red light 331R is a functional unit that outputs an imaging control signal to the red light imaging unit 31R in the imaging element 31, and outputs a red light imaging image signal to the visible light image processing unit 334. The signal enables exposure amount control (exposure time control or control when the red light imaging unit 31R has an electronic shutter function) in the red light imaging unit 31R.
赤外光用撮像制御部３３２は、撮像素子３１における赤外光撮像部３１ＩＲに対し撮像制御信号を出力し、赤外光撮像画像信号を動物体検出判定部３３５へ出力させる機能部であり、本例では、赤外光の露光量が赤外光撮像部３１ＩＲにてオーバーフローしない設定としており、必ずしも赤外光撮像部３１ＩＲにおける露光量制御を行う必要はない。 The infrared light imaging control unit 332 is a functional unit that outputs an imaging control signal to the infrared light imaging unit 31IR in the imaging element 31 and outputs the infrared light captured image signal to the moving object detection determination unit 335. In this example, the infrared light exposure amount is set not to overflow in the infrared light imaging unit 31IR, and it is not always necessary to control the exposure amount in the infrared light imaging unit 31IR.
可視光画像処理部３３４は、撮像素子３１から青色光撮像画像信号、緑色光撮像画像信号、及び赤色光撮像画像信号を入力し、それぞれアナログ・デジタル変換処理を施してデジタル信号に変換し、シェーディング補正やガンマ補正、或いは色調補正等を行って合成し、動画像のフレーム単位の可視光画像を構成する可視光画像信号を記録制御部３３６に出力する。 The visible light image processing unit 334 receives the blue light captured image signal, the green light captured image signal, and the red light captured image signal from the image sensor 31, performs analog / digital conversion processing, respectively, and converts the digital signal into a shading. A visible light image signal constituting a visible light image in units of frames of a moving image is output to the recording control unit 336 by performing correction, gamma correction, color tone correction, or the like.
動物体検出判定部３３５は、撮像素子３１から赤外光撮像画像信号を入力し、アナログ・デジタル変換処理を施してデジタル信号に変換し、シェーディング補正等を行って赤外光画像を生成する。そして、動物体検出判定部３３５は、動画像のフレーム単位で、その赤外光画像の定常状態からの画素値変化を監視して、撮像領域Ｗ内に動物体の被写体が侵入したか否かを検出する。 The moving object detection determination unit 335 inputs an infrared light captured image signal from the image sensor 31, performs analog / digital conversion processing to convert the image into a digital signal, performs shading correction and the like, and generates an infrared light image. Then, the moving object detection determination unit 335 monitors the pixel value change from the steady state of the infrared light image for each frame of the moving image, and determines whether or not the moving object has entered the imaging region W. Is detected.
動物体検出判定部３３５は、トリガー信号発生部３３５ａを備えている。動物体検出判定部３３５は、撮像領域Ｗ内に動物体の被写体が侵入したと検出した場合、動物体の被写体が当該撮像領域Ｗ内で検出されている間、その検出している旨を示すトリガー信号をトリガー信号発生部３３５ａにより発生させ、記録制御部３３６に出力する。 The moving object detection determination unit 335 includes a trigger signal generation unit 335a. When the moving object detection determination unit 335 detects that the moving subject has entered the imaging area W, the moving object detection determination unit 335 indicates that the moving object is detected while the moving object is detected in the imaging area W. The trigger signal is generated by the trigger signal generator 335 a and output to the recording controller 336.
本例では、トリガー信号がＯＮ（パルス信号としてＨｉ）のとき動物体の被写体が当該撮像領域Ｗ内で検出されている旨を示すものとし、トリガー信号がＯＦＦ（パルス信号としてＬｏ）のとき、動物体の被写体が当該撮像領域Ｗ外となる（又は動物体の被写体が当該撮像領域Ｗ内で検出されていない）旨を示すものとする。 In this example, when the trigger signal is ON (Hi as the pulse signal), it indicates that the subject of the moving object is detected in the imaging region W, and when the trigger signal is OFF (Lo as the pulse signal), It is assumed that the moving subject is out of the imaging area W (or that the moving subject is not detected in the imaging area W).
記録制御部３３６は、可視光画像処理部３３４から可視光画像信号を常時、入力しているが、動物体検出判定部３３５から得られるトリガー信号がＯＮのときのみ当該可視光画像信号を動画ファイルとして記録部３４へ記録し、トリガー信号がＯＦＦのときには記録しないよう制御する。当該可視光画像信号を動画ファイルとして記録部３４へ記録するときは、その撮影日時や当該撮像領域Ｗの設定等の付加情報を各動画ファイルに付加するのが好適である。 The recording control unit 336 always receives a visible light image signal from the visible light image processing unit 334, but only when the trigger signal obtained from the moving object detection determination unit 335 is ON, the visible light image signal is converted into a moving image file. Is recorded in the recording unit 34, and is controlled not to be recorded when the trigger signal is OFF. When the visible light image signal is recorded in the recording unit 34 as a moving image file, it is preferable to add additional information such as the shooting date and time and the setting of the imaging area W to each moving image file.
これにより、撮像素子３１における赤外光撮像部３１ＩＲを、可視光画像信号の撮影タイミングを制御するトリガー信号発生用の赤外センサーとして機能させることができる。 Thereby, the infrared light imaging unit 31IR in the imaging device 31 can function as an infrared sensor for generating a trigger signal that controls the photographing timing of the visible light image signal.
再生制御部３３７は、操作者の操作に基づき、ユーザーインターフェースとして機能する操作部３６からその操作信号を受け付け、記録部３４に記録されている各動画ファイルのうち操作者が指定する動画ファイルを画像表示装置等の再生部３５に再生するよう制御する機能部である。尚、画像表示装置等の再生部３５を設ける代わりに、撮像装置３の外部へ出力する出力インターフェースとすることもできる。 Based on the operation of the operator, the reproduction control unit 337 receives the operation signal from the operation unit 36 functioning as a user interface, and selects a moving image file designated by the operator from among the moving image files recorded in the recording unit 34. This is a functional unit that controls the reproduction unit 35 such as a display device to perform reproduction. Instead of providing the reproduction unit 35 such as an image display device, an output interface that outputs to the outside of the imaging device 3 can be used.
操作部３６は、制御部３３に対して種々の指示を与える機能を有し、上述した動作の他に、撮像装置３の電源をオンオフする電源スイッチ、日時設定、当該撮像領域Ｗの設定、動画ファイルの指定等のメニューを所定の表示部に表示させるメニューボタン等から構成される。 The operation unit 36 has a function of giving various instructions to the control unit 33. In addition to the operations described above, the power switch for turning on / off the power of the imaging device 3, the date and time setting, the setting of the imaging region W, and the moving image A menu button or the like for displaying a menu for specifying a file on a predetermined display unit.
〔撮像素子〕
次に、本発明による一実施形態の撮像装置３における撮像素子３１の詳細について説明する。
[Image sensor]
Next, details of the image sensor 31 in the imaging device 3 according to the embodiment of the present invention will be described.
まず、撮像素子３１は、図３に示したように、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ、及び赤外光撮像部３１ＩＲについて四層積層させて構成している。 First, as shown in FIG. 3, the image sensor 31 is configured by stacking four layers of a blue light imaging unit 31B, a green light imaging unit 31G, a red light imaging unit 31R, and an infrared light imaging unit 31IR. .
青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの各層は、ＲＧＢのうち１色のみに感度を持つ感光層（本例では、有機光電変換膜）が積層された構造（各層は赤外光を透過）となっている。尚、本例の撮像素子３１では、可視光撮像部の積層構造を各色単層としているが、必ずしも各色単層とせずともよく、例えば単層の青色光撮像部３１Ｂ、単層の緑色光撮像部３１Ｇ、及び２層の赤色光撮像部３１Ｒとするなど、複層としてもよい。また、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの積層順序は、本例に限定する必要はなく任意である。 Each layer of the blue light imaging unit 31B, the green light imaging unit 31G, and the red light imaging unit 31R has a structure in which a photosensitive layer (in this example, an organic photoelectric conversion film) having sensitivity to only one color of RGB is stacked ( Each layer transmits infrared light). In the imaging device 31 of this example, the laminated structure of the visible light imaging unit is a single layer for each color. However, the single-layer blue light imaging unit 31B and the single-layer green light imaging are not necessarily required. It is good also as multiple layers, such as setting it as the part 31G and the red light imaging part 31R of 2 layers. Further, the stacking order of the blue light imaging unit 31B, the green light imaging unit 31G, and the red light imaging unit 31R is not necessarily limited to this example, and is arbitrary.
一方、最下層の赤外光撮像部３１ＩＲは、赤外光のみに感度を持つ感光層となっており、上述したように、可視光画像信号の撮影タイミングを制御するトリガー信号発生用の赤外センサーとして機能する。赤外光撮像部３１ＩＲは、Ｓｉ−ＰＩＮ, ＩｎＧａＡｓ等の高速応答性を持つフォトダイオードの画素構造とするのが望ましい。 On the other hand, the lowermost infrared light imaging unit 31IR is a photosensitive layer having sensitivity only to infrared light, and as described above, an infrared for generating a trigger signal for controlling the photographing timing of a visible light image signal. Functions as a sensor. It is desirable that the infrared light imaging unit 31IR has a photodiode pixel structure such as Si-PIN, InGaAs or the like having a high-speed response.
図４は、本発明による一実施形態の撮像装置３における撮像素子３１の概略構造の一例を示す図である。また、図５は、本発明による一実施形態の撮像装置３における撮像素子３１の画素部３００の概略構造の一例（酸化物半導体ＴＦＴ（ＺｎＯ‐ＴＦＴ））を示す図である。 FIG. 4 is a diagram illustrating an example of a schematic structure of the imaging element 31 in the imaging device 3 according to the embodiment of the present invention. FIG. 5 is a diagram showing an example (oxide semiconductor TFT (ZnO-TFT)) of the schematic structure of the pixel unit 300 of the image sensor 31 in the image pickup apparatus 3 according to the embodiment of the present invention.
図４に示すように、撮像素子３１を構成する四層積層された青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ、及び赤外光撮像部３１ＩＲの各々は、画素部３００を２次元平面上に配列している。各画素部３００は、行選択線で垂直走査回路４００に接続され、出力信号線で水平信号読み出し回路５００に接続される。垂直走査回路４００は、制御部３３からの各層の撮像制御信号で制御される。垂直走査回路４００で行選択信号を発生させて行を選択し、行選択線を介して接続される各画素部３００の図５に示すゲート電極３０８が制御されて、各画素部３００におけるフォトダイオード（ＰＤ）を構成する図５に示す有機光電変換膜３１０からの信号が出力信号線を介して読み出される。また、この読み出された信号は、撮影画像信号として出力される。 As shown in FIG. 4, each of the blue light imaging unit 31 </ b> B, the green light imaging unit 31 </ b> G, the red light imaging unit 31 </ b> R, and the infrared light imaging unit 31 </ b> IR that are stacked in four layers constituting the imaging device 31 is a pixel unit 300. Are arranged on a two-dimensional plane. Each pixel unit 300 is connected to the vertical scanning circuit 400 by a row selection line and connected to the horizontal signal readout circuit 500 by an output signal line. The vertical scanning circuit 400 is controlled by an imaging control signal for each layer from the control unit 33. The vertical scanning circuit 400 generates a row selection signal to select a row, and the gate electrode 308 shown in FIG. 5 of each pixel unit 300 connected via the row selection line is controlled, so that the photodiode in each pixel unit 300 is controlled. A signal from the organic photoelectric conversion film 310 shown in FIG. 5 constituting (PD) is read out through the output signal line. The read signal is output as a captured image signal.
図５では、略透明な酸化物半導体ＴＦＴ（ＺｎＯ‐ＴＦＴ）を用いて、四層積層された青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ、及び赤外光撮像部３１ＩＲの各層における画素部３００を構成する例を示している。１画素を構成する図５に示す信号回路は酸化亜鉛薄膜トランジスタ（ＺｎＯ‐ＴＦＴ）をスイッチング素子として採用し、無アルカリ基板（ガラス基板３０１）上に形成される。 In FIG. 5, a blue light imaging unit 31B, a green light imaging unit 31G, a red light imaging unit 31R, and an infrared light imaging unit 31IR that are stacked in four layers using a substantially transparent oxide semiconductor TFT (ZnO-TFT). The example which comprises the pixel part 300 in each layer of is shown. The signal circuit shown in FIG. 5 constituting one pixel employs a zinc oxide thin film transistor (ZnO-TFT) as a switching element and is formed on an alkali-free substrate (glass substrate 301).
図５に例示する酸化亜鉛薄膜トランジスタ（ＺｎＯ‐ＴＦＴ）では、ガラス基板３０１上に設けたゲート電極３０８にＳｉＮ系ゲート絶縁膜３０２及びＳｉＯ系ゲート絶縁膜３０３を堆積し、さらに酸化亜鉛薄膜（ＺｎＯ）を形成している。酸化亜鉛薄膜（ＺｎＯ）の周囲をＳｉＮ系保護膜３０４で包囲し、エッチングしてドレインＩＴＯ電極３０６及びソースＩＴＯ電極３０９を形成し、さらにＭｏＷ合金の出力信号用電極３０７を形成してＳｉＮ系保護膜３０５で覆う構造となっている。 In the zinc oxide thin film transistor (ZnO-TFT) illustrated in FIG. 5, a SiN-based gate insulating film 302 and a SiO-based gate insulating film 303 are deposited on a gate electrode 308 provided on a glass substrate 301, and further a zinc oxide thin film (ZnO). Is forming. The periphery of the zinc oxide thin film (ZnO) is surrounded by a SiN-based protective film 304, etched to form a drain ITO electrode 306 and a source ITO electrode 309, and further, an output signal electrode 307 of MoW alloy is formed to protect the SiN-based protection The structure is covered with a film 305.
このＺｎＯ‐ＴＦＴ回路上に光導電性有機材料の有機光電変換膜３１０として例えばキナクリドン薄膜を数十ｎｍ〜数百ｎｍの厚さで形成し、その上に対向ＩＴＯ電極３１１を形成している。 For example, a quinacridone thin film having a thickness of several tens of nanometers to several hundreds of nanometers is formed on the ZnO-TFT circuit as an organic photoelectric conversion film 310 of a photoconductive organic material, and a counter ITO electrode 311 is formed thereon.
ただし、有機光電変換膜３１０としては、例えば、スチルベン誘導体、ベンゾキサゾール誘導体、縮合芳香族炭素環（ペリレン誘導体、アントラセン誘導体、テトラセン誘導体等）、メロシアニン誘導体、オキサジアゾール誘導体、ジアミン誘導体、チオフェン誘導体、ＰｔやＥｕ、Ｓｎ、Ａｌ、Ｉｒ、Ｚｎ等の金属錯体、ＤＣＭ誘導体、アゾ系有機顔料、又は多環式系有機顔料（フタロシアニン類、キナクリドン類、ポルフィリン類等）等を用いることができる。 However, examples of the organic photoelectric conversion film 310 include stilbene derivatives, benzoxazole derivatives, condensed aromatic carbocycles (perylene derivatives, anthracene derivatives, tetracene derivatives, etc.), merocyanine derivatives, oxadiazole derivatives, diamine derivatives, and thiophene derivatives. , Pt, Eu, Sn, Al, Ir, Zn, and other metal complexes, DCM derivatives, azo organic pigments, polycyclic organic pigments (phthalocyanines, quinacridones, porphyrins, and the like) can be used.
ガラス基板３０１として、光透過性の高いものが望ましく、石英、サファイア、ＢＫ７、無アルカリガラス、ソーダガラス等のガラス材料などがあり、その他、ポリカーボネート、ポリメチルメタクリレート、ポリプロピレン、ポリスチレン、ポリサルフォン、又はポリエーテルサルフォン等の透明プラスチック材料で構成した透明基板としてもよい。
また、可視光用の各撮像部（青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ）は、必ずしもガラス基板上に作る必要は無く、シリコン基板上や後述のＳｉ−ＰＩＮ, ＩｎＧａＡｓ等の高速応答フォトダイオードを形成した基板上に層間絶縁膜を介して直接積層してもよい。
As the glass substrate 301, a glass substrate with high light transmittance is desirable, and there are glass materials such as quartz, sapphire, BK7, alkali-free glass, soda glass, etc., and polycarbonate, polymethyl methacrylate, polypropylene, polystyrene, polysulfone, or poly It is good also as a transparent substrate comprised with transparent plastic materials, such as ether sulfone.
In addition, each imaging unit for visible light (blue light imaging unit 31B, green light imaging unit 31G, red light imaging unit 31R) is not necessarily formed on a glass substrate, but on a silicon substrate or Si-PIN described later. The substrate may be directly laminated via an interlayer insulating film on a substrate on which a fast response photodiode such as InGaAs is formed.
各電極は、光の透過率が高い事が望ましく、インジウム・スズ酸化物（ＩＴＯ）で透明電極を形成する他、インジウム酸化物（ＩＯ）、インジウム・亜鉛酸化物（ＩＺＯ）等の金属酸化物や、あるいは白金（ｐｔ）、金（Ａｕ）、銀（Ａｇ）、マグネシウム（Ｍｇ）、アルミニウム（Ａｌ）等の金属材料を５ｎｍ〜３０ｎｍと薄く堆積した透明又は半透明金属薄膜で構成することができる。 Each electrode preferably has a high light transmittance. In addition to forming a transparent electrode with indium tin oxide (ITO), metal oxides such as indium oxide (IO) and indium zinc oxide (IZO) Alternatively, it may be composed of a transparent or translucent metal thin film in which a metal material such as platinum (pt), gold (Au), silver (Ag), magnesium (Mg), aluminum (Al), etc. is deposited as thin as 5 to 30 nm. it can.
図５に示すように、ソースＩＴＯ電極３０９上に、有機光電変換膜３１０及び対向ＩＴＯ電極３１１を堆積したことで、入射した光に相当する電荷を発生するフォトダイオード（ＰＤ）が形成される。フォトダイオード（ＰＤ）による発生電荷は、ゲート電極３０８の印加電圧でドレインＩＴＯ電極３０６とソースＩＴＯ電極３０９との通電が制御されることにより、出力信号用電極３０７を介して出力して取り出すことができる。したがって、ドレインＩＴＯ電極３０６、ソースＩＴＯ電極３０９及び対向ＩＴＯ電極３１１は１画素毎に設けられる画素電極として機能させ、ゲート電極３０８を行選択信号電極として機能させ、出力信号用電極３０７を出力信号線に接続する電極として機能させることができる。 As shown in FIG. 5, by depositing the organic photoelectric conversion film 310 and the counter ITO electrode 311 on the source ITO electrode 309, a photodiode (PD) that generates charges corresponding to incident light is formed. The charge generated by the photodiode (PD) is output and taken out through the output signal electrode 307 by controlling the energization of the drain ITO electrode 306 and the source ITO electrode 309 by the voltage applied to the gate electrode 308. it can. Therefore, the drain ITO electrode 306, the source ITO electrode 309, and the counter ITO electrode 311 function as pixel electrodes provided for each pixel, the gate electrode 308 functions as a row selection signal electrode, and the output signal electrode 307 serves as an output signal line. It can be made to function as an electrode connected to.
このように、有機光電変換膜３１０は、入射光の一部を吸収・光電変換し、残りの成分は透過する半透明な有機材料とすることができるが、これ以外にも半透明の薄い無機半導体材料とすることができる。 As described above, the organic photoelectric conversion film 310 can be a semitransparent organic material that absorbs and photoelectrically converts a part of incident light and transmits the remaining components. It can be a semiconductor material.
また、画素部３００を構成するために、可視光に対して略透明な酸化物半導体ＴＦＴ（ＺｎＯ‐ＴＦＴ）を用いる以外にも、ＳＯＩ等の可視光に対する透過性を持つ半導体を用いることができる。 In addition to using an oxide semiconductor TFT (ZnO-TFT) that is substantially transparent to visible light, a semiconductor having transparency to visible light such as SOI can be used to form the pixel portion 300. .
図４に示す垂直走査回路４００はシフトレジスタで構成することができ、図４に示す水平信号読み出し回路５００は、各画素部３００で発生した光電変換信号を外部に読み出し増幅させるためのトランジスタ群で構成される。このトランジスタに用いられる半導体は、単結晶Ｓｉ、多結晶Ｓｉ、アモルファスＳｉなどのシリコン系材料による半導体、ＩＧＺＯ，ＺｎＯなどの酸化物半導体、ペンタセンなどの有機半導体等を利用することができる。 The vertical scanning circuit 400 shown in FIG. 4 can be constituted by a shift register, and the horizontal signal reading circuit 500 shown in FIG. 4 is a transistor group for reading out and amplifying photoelectric conversion signals generated in each pixel unit 300 to the outside. Composed. As a semiconductor used for this transistor, a semiconductor made of a silicon-based material such as single crystal Si, polycrystalline Si, or amorphous Si, an oxide semiconductor such as IGZO or ZnO, an organic semiconductor such as pentacene, or the like can be used.
尚、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒについては、その光透過性を高めるという観点からは、数十ｎｍの薄いシリコンや酸化物半導体、透過性の高い有機半導体材料を用いることが望ましい。 The blue light imaging unit 31B, the green light imaging unit 31G, and the red light imaging unit 31R are thin tens of nanometers in thickness, silicon oxide semiconductors, and highly transparent organics from the viewpoint of increasing the light transmittance. It is desirable to use a semiconductor material.
また、有機材料の光電変換膜を用いる場合、光吸収特性を有機材料の選択と膜厚によって調整することができ、例えば、有機材料のキナクリドン（Ｎ，Ｎ’ジメチルキナクリドン）を用いれば、入射光として波長５４０ｎｍの単波長光（緑色光）に対して、その膜厚調整で、１０％〜９０％の範囲で光吸収率を調整することができる。 Further, when an organic material photoelectric conversion film is used, the light absorption characteristics can be adjusted by the selection of the organic material and the film thickness. For example, when the organic material quinacridone (N, N′dimethylquinacridone) is used, the incident light As for single wavelength light (green light) having a wavelength of 540 nm, the light absorption rate can be adjusted in the range of 10% to 90% by adjusting the film thickness.
また、赤外光撮像部３１ＩＲについては、動物体の検出判定用のトリガー信号を発生させるために用いるので、高速に応答できるものが望ましく、特にＳｉ−ＰＩＮ, ＩｎＧａＡｓ等の高速応答フォトダイオードが望ましい。 Further, since the infrared light imaging unit 31IR is used for generating a trigger signal for detecting and detecting a moving object, it is desirable to be able to respond at high speed, and in particular, a high-speed response photodiode such as Si-PIN or InGaAs is desirable. .
また、赤外光撮像部３１ＩＲから得られる赤外光撮像信号は、動物体の検出判定用のトリガー信号として用いるため、高解像度とするよりはむしろ高ＳＮ比・高ダイナミックレンジとし、尚且つ被写体の動きぼやけを低減させる画素配列とすることがより好適となる。 In addition, since the infrared light imaging signal obtained from the infrared light imaging unit 31IR is used as a trigger signal for detection detection of a moving object, it has a high S / N ratio and a high dynamic range rather than a high resolution, and a subject. It is more preferable to use a pixel array that reduces motion blur.
そこで、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの各々における撮像領域Ｗに対する可視光用画素配列について、例えば図６（ａ）に示すように画素部３００をＮ画素×Ｍ画素で配列構成した場合、赤外光撮像部３１ＩＲにおける撮像領域Ｗに対する赤外光用画素配列については、例えば図６（ｂ）に示すようにＮ’画素×Ｍ’画素（Ｎ’＜Ｎ，Ｍ’＜Ｍ）のように画素数を減らして間欠画素配列とし、その赤外光用画素配列の画素部３００の画素サイズを、可視光用画素配列の画素部３００の画素サイズより大きくすることが好適である。 Therefore, for the visible light pixel array for the imaging region W in each of the blue light imaging unit 31B, the green light imaging unit 31G, and the red light imaging unit 31R, for example, as shown in FIG. In the case of an array configuration with × M pixels, for the infrared light pixel array with respect to the imaging region W in the infrared light imaging unit 31IR, for example, as shown in FIG. 6B, N ′ pixels × M ′ pixels (N ′ < N, M ′ <M), the number of pixels is reduced to form an intermittent pixel array, and the pixel size of the pixel portion 300 of the infrared light pixel array is larger than the pixel size of the pixel portion 300 of the visible light pixel array. It is preferable to do.
尚、赤外光撮像部３１ＩＲにおける撮像領域Ｗに対する赤外光用画素配列についても、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの各々における撮像領域Ｗに対する可視光用画素配列と同じ構成とし、図２に示す動物体判定処理部３３５の処理として、図６（ｂ）に示すようなＮ’画素×Ｍ’画素（Ｎ’＜Ｎ，Ｍ’＜Ｍ）の間欠画素配列に相当する信号変換処理を行うことで、高ＳＮ比で、尚且つ被写体の動きぼやけを低減させる画素配列に相当する動物体の検出判定用のトリガー信号を生成することができる。 Note that the infrared pixel array for the imaging region W in the infrared light imaging unit 31IR is also for visible light for the imaging region W in each of the blue light imaging unit 31B, the green light imaging unit 31G, and the red light imaging unit 31R. The same configuration as the pixel arrangement, and the processing of the moving object determination processing unit 335 shown in FIG. 2 is intermittent N ′ pixels × M ′ pixels (N ′ <N, M ′ <M) as shown in FIG. 6B. By performing a signal conversion process corresponding to the pixel array, it is possible to generate a trigger signal for detection determination of the moving object corresponding to the pixel array having a high SN ratio and reducing motion blur of the subject.
（動作例）
まず、図７には、上述した本実施形態の撮像装置３の全体動作に係る概略構成を示している。図７に示すように、撮像装置３は、制御部３３によって、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの各々に対し、撮像制御信号により駆動制御して、撮像領域Ｗに対する可視光用画素配列に対応する可視光の各ＲＧＢ色光の撮像画像信号を得ることができる。また、撮像装置３は、制御部３３によって、赤外光撮像部３１ＩＲに対し、撮像制御信号により駆動制御して、撮像領域Ｗに対する赤外光用画素配列に対応する赤外光の撮像画像信号を得ることができる。
(Operation example)
First, FIG. 7 shows a schematic configuration relating to the overall operation of the imaging apparatus 3 of the present embodiment described above. As illustrated in FIG. 7, in the imaging device 3, the control unit 33 controls driving of the blue light imaging unit 31B, the green light imaging unit 31G, and the red light imaging unit 31R with an imaging control signal, and performs imaging. A captured image signal of each RGB color light of visible light corresponding to the visible light pixel array for the region W can be obtained. In addition, the imaging device 3 controls the infrared light imaging unit 31IR to be driven and controlled by the control unit 33 using an imaging control signal, and picks up an infrared imaged image signal corresponding to the infrared light pixel array for the imaging region W. Can be obtained.
そして、撮像装置３は、制御部３３によって、赤外光の撮像画像信号を用いて赤外光画像を動画像のフレーム単位で形成し、動画像のフレーム単位で、その赤外光画像の定常状態からの画素値変化を監視して、撮像領域Ｗ内に動物体の被写体が侵入したか否かを示すトリガー信号を発生させる。制御部３３は、当該トリガー信号が像領域Ｗ内に動物体の被写体が侵入している旨を示す間、可視光の各ＲＧＢ色光の撮像画像信号を基に形成される可視光画像信号を記録部３４に対し記録する。 Then, in the imaging device 3, the control unit 33 uses the infrared captured image signal to form an infrared light image for each frame of the moving image, and the stationary infrared light image for each frame of the moving image. A change in pixel value from the state is monitored, and a trigger signal indicating whether or not a subject of an animal body has entered the imaging region W is generated. While the trigger signal indicates that the subject of the moving object has entered the image area W, the control unit 33 records a visible light image signal formed based on the captured image signal of each RGB color light of visible light. Recording is performed for the unit 34.
ここで、図１に示す撮影装置１を構成する照明装置２及び撮像装置３の動作に関して、以下、様々な撮影条件を簡便に適用するべく、３つの実施例を説明する。 Here, regarding the operations of the illumination device 2 and the imaging device 3 constituting the imaging device 1 shown in FIG. 1, three examples will be described below in order to easily apply various imaging conditions.
（実施例１）
図８は、本実施形態の照明装置２及び撮像装置３よりなる撮影装置１の実施例１の動作例を示す図である。図８の上部には、撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入している間の様子を示している。実施例１では、図１に示す照明装置２における赤色光源２Ｒ、緑色光源２Ｇ、青色光源２Ｂによる可視光、及び赤外光源２ＩＲによる赤外光のいずれについても常時点灯させ、撮像領域Ｗに向けて照射している。
Example 1
FIG. 8 is a diagram illustrating an operation example of Example 1 of the imaging device 1 including the illumination device 2 and the imaging device 3 according to the present embodiment. The upper part of FIG. 8 shows a state in which the moving subject Obj is invading the imaging region W. In the first embodiment, all of the red light 2R, the green light source 2G, the visible light from the blue light source 2B, and the infrared light from the infrared light source 2IR in the illumination device 2 shown in FIG. Irradiating.
照明装置２による照明光が被写体Ｏｂｊにて反射することにより撮像装置３は可視光の撮像及び赤外光の撮像ができる。ただし、実施例１では、照明装置２における可視光源（赤色光源２Ｒ、緑色光源２Ｇ、及び青色光源２Ｂ）は、暗時撮影などを担保するために設けられ、用途によっては必ずしも必要ではない。 The imaging device 3 can capture visible light and infrared light by reflecting the illumination light from the illumination device 2 on the subject Obj. However, in Example 1, the visible light sources (the red light source 2R, the green light source 2G, and the blue light source 2B) in the illumination device 2 are provided to ensure dark shooting and are not necessarily required depending on the application.
撮像装置３は、照明装置２との同期接続を不要としているため、照明装置２とは独立して動作し、制御部３３によって、赤外光の撮像画像信号を用いて赤外光画像を動画像のフレーム単位で形成し、動画像のフレーム単位で、その赤外光画像の定常状態からの画素値変化（赤外光の受光強度の変化）を監視して、撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入したか否かを示すトリガー信号を発生させる。 Since the imaging device 3 does not require a synchronous connection with the illumination device 2, the imaging device 3 operates independently of the illumination device 2, and the control unit 33 uses the infrared imaged image signal to convert the infrared light image to a moving image. An image is formed in frame units, and a change in pixel value (change in received light intensity of infrared light) from the steady state of the infrared light image is monitored in frame units of the moving image. A trigger signal indicating whether or not the subject Obj has entered has been generated.
トリガー信号は、動物体の被写体Ｏｂｊが当該撮像領域Ｗに侵入していない状態では、ＯＦＦ（パルス信号としてＬｏ）を発生し、撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入するとＯＮ（パルス信号としてＨｉ）に遷移する。撮像装置３は、制御部３３によって、当該トリガー信号が像領域Ｗ内に動物体の被写体が侵入している旨を示す間、可視光の各ＲＧＢ色光の撮像画像信号を基に形成される可視光画像信号を記録部３４に対し記録する。動物体の被写体が当該撮像領域Ｗ外となると、トリガー信号はＯＦＦ（パルス信号としてＬｏ）に遷移して、記録部３４に対する当該可視光画像信号の記録を停止する。 The trigger signal is OFF (Lo as a pulse signal) in a state where the moving subject Obj has not entered the imaging region W, and is ON (pulse signal) when the moving subject Obj enters the imaging region W. As a transition to Hi). In the imaging apparatus 3, while the trigger signal indicates that the subject of the moving object has entered the image area W, the imaging device 3 is visible based on the captured image signals of each RGB color light of visible light. The optical image signal is recorded on the recording unit 34. When the subject of the moving object is outside the imaging area W, the trigger signal is turned off (Lo as a pulse signal), and the recording of the visible light image signal to the recording unit 34 is stopped.
赤外光画像内の被写体の動きぼやけを低減させたい場合には、図６（ｂ）を参照して説明したような間欠画素配列に相当する赤外光撮像画像信号とすればよい。 When it is desired to reduce the motion blur of the subject in the infrared light image, an infrared light image signal corresponding to the intermittent pixel array as described with reference to FIG.
このように、実施例１では、照明装置２と撮像装置３との同期接続が不要であるため、その位置あわせが簡便となり、撮影装置１全体としても小型化が可能である。また、撮像素子３１は、画素部３００を各ＲＧＢ色毎に密に配置した可視光層と、この可視光層とは別に同一光路上で下層に配置される赤外光層を有する構造としているため、この観点からも、撮影装置１全体としても小型化が可能であり、尚且つ高画質、及び高速・高精度応答性が実現される。 Thus, in Example 1, since the synchronous connection of the illuminating device 2 and the imaging device 3 is unnecessary, the position alignment becomes easy and the imaging device 1 as a whole can be downsized. Further, the image pickup device 31 has a structure having a visible light layer in which the pixel units 300 are densely arranged for each RGB color, and an infrared light layer arranged in a lower layer on the same optical path, separately from the visible light layer. Therefore, from this point of view, the photographing apparatus 1 as a whole can be reduced in size, and high image quality, high speed and high accuracy response can be realized.
（実施例２）
図９は、本実施形態の照明装置２及び撮像装置３よりなる撮影装置１の実施例２の動作例を示す図である。図９の上部には、撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入している間の様子を示している。実施例２では、図１に示す照明装置２における赤色光源２Ｒ、緑色光源２Ｇ、及び青色光源２Ｂによる可視光は常時点灯とし、赤外光源２ＩＲによる赤外光については間欠点灯（図中、ＯＮ：点灯、ＯＦＦ：消灯）させ、撮像領域Ｗに向けて照射している。
(Example 2)
FIG. 9 is a diagram illustrating an operation example of Example 2 of the imaging device 1 including the illumination device 2 and the imaging device 3 according to the present embodiment. In the upper part of FIG. 9, a state in which the subject Obj of the moving object enters the imaging area W is shown. In Example 2, the visible light from the red light source 2R, the green light source 2G, and the blue light source 2B in the illumination device 2 shown in FIG. 1 is always turned on, and the infrared light from the infrared light source 2IR is turned on intermittently (ON in the figure). : ON, OFF: OFF) and irradiating the imaging area W.
照明装置２による照明光が被写体Ｏｂｊにて反射することにより撮像装置３は可視光の撮像及び赤外光の撮像ができる。ただし、実施例２においても、照明装置２における可視光源（赤色光源２Ｒ、緑色光源２Ｇ、及び青色光源２Ｂ）は、暗時撮影などを担保するために設けられ、用途によっては必ずしも必要ではない。 The imaging device 3 can capture visible light and infrared light by reflecting the illumination light from the illumination device 2 on the subject Obj. However, also in Example 2, the visible light sources (the red light source 2R, the green light source 2G, and the blue light source 2B) in the illumination device 2 are provided in order to ensure dark shooting and are not necessarily required depending on the application.
本実施例においても、撮像装置３は、照明装置２との同期接続を不要としているため、照明装置２とは独立して動作し、制御部３３によって、赤外光の撮像画像信号を用いて赤外光画像を動画像のフレーム単位で形成し、動画像のフレーム単位で、その赤外光画像の定常状態からの画素値変化（赤外光の受光強度の変化）を監視して、撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入したか否かを示すトリガー信号を発生させる。 Also in the present embodiment, since the imaging device 3 does not require the synchronous connection with the lighting device 2, the imaging device 3 operates independently of the lighting device 2, and the control unit 33 uses the infrared captured image signal. An infrared light image is formed for each frame of the moving image, and the pixel value change (change in the received light intensity of the infrared light) from the steady state of the infrared light image is monitored and captured for each frame of the moving image. A trigger signal indicating whether or not the subject Obj of the moving object has entered the area W is generated.
従って本実施例においても、トリガー信号は、動物体の被写体Ｏｂｊが当該撮像領域Ｗに侵入していない状態では、ＯＦＦ（パルス信号としてＬｏ）を発生し、撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入するとＯＮ（パルス信号としてＨｉ）に遷移する。撮像装置３は、制御部３３によって、当該トリガー信号が像領域Ｗ内に動物体の被写体が侵入している旨を示す間、可視光の各ＲＧＢ色光の撮像画像信号を基に形成される可視光画像信号を記録部３４に対し記録する。動物体の被写体が当該撮像領域Ｗ外となると、トリガー信号はＯＦＦ（パルス信号としてＬｏ）に遷移して、記録部３４に対する当該可視光画像信号の記録を停止する。 Therefore, also in the present embodiment, the trigger signal is OFF (Lo as a pulse signal) when the moving subject Obj does not enter the imaging area W, and the moving subject Obj is within the imaging area W. Will enter ON (Hi as pulse signal). In the imaging apparatus 3, while the trigger signal indicates that the subject of the moving object has entered the image area W, the imaging device 3 is visible based on the captured image signals of each RGB color light of visible light. The optical image signal is recorded on the recording unit 34. When the subject of the moving object is outside the imaging area W, the trigger signal is turned off (Lo as a pulse signal), and the recording of the visible light image signal to the recording unit 34 is stopped.
ところで、実施例２では、赤外光源２ＩＲによる赤外光については間欠点灯（図中、ＯＮ：点灯、ＯＦＦ：消灯）させ、撮像領域Ｗに向けて照射している。このため、照明装置２側での赤外光の間欠点灯により、赤外光画像内の被写体の動きぼやけを低減させることができるため、図６（ｂ）を参照して説明したような間欠画素配列に相当する赤外光撮像画像信号とせずともよいし、これを組み合わせた構成としてもよい。 By the way, in the second embodiment, the infrared light from the infrared light source 2IR is intermittently lit (ON: on, OFF: off) in the drawing, and is irradiated toward the imaging region W. For this reason, since intermittent blurring of infrared light on the illumination device 2 side can reduce motion blur of the subject in the infrared light image, the intermittent pixel as described with reference to FIG. The infrared image pickup image signal corresponding to the array may not be used, or a combination thereof may be used.
従って本実施例においても、照明装置２と撮像装置３との同期接続が不要であるため、その位置あわせが簡便となり、撮影装置１全体としても小型化が可能である。また、撮像素子３１は、画素部３００を各ＲＧＢ色毎に密に配置した可視光層と、この可視光層とは別に同一光路上で下層に配置される赤外光層を有する構造としているため、この観点からも、撮影装置１全体としても小型化が可能であり、尚且つ高画質、及び高速・高精度応答性が実現される。 Therefore, also in the present embodiment, since the synchronous connection between the illumination device 2 and the imaging device 3 is unnecessary, the alignment is simple, and the photographing device 1 as a whole can be downsized. Further, the image pickup device 31 has a structure having a visible light layer in which the pixel units 300 are densely arranged for each RGB color, and an infrared light layer arranged in a lower layer on the same optical path, separately from the visible light layer. Therefore, from this point of view, the photographing apparatus 1 as a whole can be reduced in size, and high image quality, high speed and high accuracy response can be realized.
（実施例３）
図１０は、本実施形態の照明装置２及び撮像装置３よりなる撮影装置１の実施例３の動作例を示す図である。撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入している間の様子は、前述した実施例１，２と同様であり、その図示を省略している。実施例３では、図１に示す照明装置２における赤色光源２Ｒ、緑色光源２Ｇ、及び青色光源２Ｂによる可視光は赤外光よりも短い点灯時間で間欠点灯し（図中、ＯＮ：点灯、ＯＦＦ：消灯）、一方、赤外光源２ＩＲによる赤外光については、可視光よりも長い点灯時間で間欠点灯させ、撮像領域Ｗに向けて照射している。
(Example 3)
FIG. 10 is a diagram illustrating an operation example of Example 3 of the imaging device 1 including the illumination device 2 and the imaging device 3 according to the present embodiment. The appearance of the moving subject Obj entering the imaging area W is the same as in the first and second embodiments, and is not shown. In Example 3, visible light from the red light source 2R, the green light source 2G, and the blue light source 2B in the lighting device 2 shown in FIG. 1 is intermittently lit with a lighting time shorter than that of infrared light (ON: lit, OFF in the figure). On the other hand, the infrared light from the infrared light source 2IR is intermittently lit with a lighting time longer than that of visible light, and is irradiated toward the imaging region W.
照明装置２による照明光が被写体Ｏｂｊにて反射することにより撮像装置３は可視光の撮像及び赤外光の撮像ができる。実施例３においては、照明装置２における可視光源（赤色光源２Ｒ、緑色光源２Ｇ、及び青色光源２Ｂ）を必要とする撮影現場を想定し、可視光照明を必要としている。 The imaging device 3 can capture visible light and infrared light by reflecting the illumination light from the illumination device 2 on the subject Obj. In the third embodiment, assuming a shooting site that requires a visible light source (red light source 2R, green light source 2G, and blue light source 2B) in the illumination device 2, visible light illumination is required.
本実施例においても、撮像装置３は、照明装置２との同期接続を不要としているため、照明装置２とは独立して動作し、制御部３３によって、赤外光の撮像画像信号を用いて赤外光画像を動画像のフレーム単位で形成し、動画像のフレーム単位で、その赤外光画像の定常状態からの画素値変化（赤外光の受光強度の変化）を監視して、撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入したか否かを示すトリガー信号を発生させる。 Also in the present embodiment, since the imaging device 3 does not require the synchronous connection with the lighting device 2, the imaging device 3 operates independently of the lighting device 2, and the control unit 33 uses the infrared captured image signal. An infrared light image is formed for each frame of the moving image, and the pixel value change (change in the received light intensity of the infrared light) from the steady state of the infrared light image is monitored and captured for each frame of the moving image. A trigger signal indicating whether or not the subject Obj of the moving object has entered the area W is generated.
従って本実施例においても、トリガー信号は、動物体の被写体Ｏｂｊが当該撮像領域Ｗに侵入していない状態では、ＯＦＦ（パルス信号としてＬｏ）を発生し、撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入するとＯＮ（パルス信号としてＨｉ）に遷移する。撮像装置３は、制御部３３によって、当該トリガー信号が像領域Ｗ内に動物体の被写体が侵入している旨を示す間、可視光の各ＲＧＢ色光の撮像画像信号を基に形成される可視光画像信号を記録部３４に対し記録する。動物体の被写体が当該撮像領域Ｗ外となると、トリガー信号はＯＦＦ（パルス信号としてＬｏ）に遷移して、記録部３４に対する当該可視光画像信号の記録を停止する。 Therefore, also in the present embodiment, the trigger signal is OFF (Lo as a pulse signal) when the moving subject Obj does not enter the imaging area W, and the moving subject Obj is within the imaging area W. Will enter ON (Hi as pulse signal). In the imaging apparatus 3, while the trigger signal indicates that the subject of the moving object has entered the image area W, the imaging device 3 is visible based on the captured image signals of each RGB color light of visible light. The optical image signal is recorded on the recording unit 34. When the subject of the moving object is outside the imaging area W, the trigger signal is turned off (Lo as a pulse signal), and the recording of the visible light image signal to the recording unit 34 is stopped.
ところで、実施例３では、図１０に示すように、照明装置２における可視光及び赤外光の間欠点灯を、厳格性は要求されないが、ある程度同期させている。 By the way, in Example 3, as shown in FIG. 10, the intermittent lighting of visible light and infrared light in the illuminating device 2 is synchronized to some extent, although strictness is not required.
また、撮像装置３は、撮像素子３１における赤外光撮像部３１ＩＲに対し撮像制御信号を常時出力して駆動している一方で、可視光の撮像部（青色光撮像部３１Ｂ，緑色光撮像部３１Ｇ，赤色光撮像部３１Ｒ）に対しては、通常時では撮像制御信号を停止している。 The imaging device 3 is always driven by outputting an imaging control signal to the infrared light imaging unit 31IR in the imaging element 31, while the visible light imaging unit (blue light imaging unit 31B, green light imaging unit). For the 31G, red light imaging unit 31R), the imaging control signal is stopped during normal times.
そこで、撮像装置３は、トリガー信号のＯＮに応じて、可視光の各色毎の撮像制御信号の駆動を開始して同期させ、トリガー信号のＯＦＦに応じて可視光の各色毎の撮像制御信号の駆動を停止する。従って、撮像装置３は、照明装置２との同期接続を不要としていながら、トリガー信号のＯＮで可視光画像信号を得るための撮像制御信号のタイミング同期を得ることができ、これにより、動画像のフレーム単位で、露光量制御（露光時間制御、又は撮像素子３１内に電子シャッター機能がある時はその制御）を可能としている。 Therefore, the imaging device 3 starts and synchronizes the driving of the imaging control signal for each color of visible light according to the ON of the trigger signal, and the imaging control signal for each color of visible light according to the OFF of the trigger signal. Stop driving. Therefore, the imaging device 3 can obtain the timing synchronization of the imaging control signal for obtaining the visible light image signal when the trigger signal is turned on, while eliminating the need for the synchronous connection with the lighting device 2. The exposure amount control (exposure time control, or control when there is an electronic shutter function in the image pickup device 31) is possible for each frame.
実施例３では、照明装置２側での可視光の間欠点灯により、可視光画像内の被写体の動きぼやけを低減させることができる。赤外光画像についても、照明装置２側での赤外光の間欠点灯により、赤外光画像内の被写体の動きぼやけを低減させることができるため、図６（ｂ）を参照して説明したような間欠画素配列に相当する赤外光撮像画像信号とせずともよいし、これを組み合わせた構成としてもよい。 In Example 3, motion blur of a subject in a visible light image can be reduced by intermittent lighting of visible light on the lighting device 2 side. The infrared light image is also described with reference to FIG. 6B because the motion blur of the subject in the infrared light image can be reduced by intermittent lighting of the infrared light on the illumination device 2 side. The infrared picked-up image signal corresponding to the intermittent pixel arrangement may not be used, or a combination of these may be used.
尚、実施例３の変形例として、赤外光源２ＩＲによる赤外光については常時点灯させ、撮像領域Ｗに向けて照射してもよく、赤外光画像内の被写体の動きぼやけを低減させるには図６（ｂ）を参照して説明したような間欠画素配列に相当する赤外光撮像画像信号とすればよい。 As a modification of the third embodiment, the infrared light from the infrared light source 2IR may be constantly turned on and irradiated toward the imaging region W, so as to reduce motion blur of the subject in the infrared light image. May be an infrared picked-up image signal corresponding to the intermittent pixel array as described with reference to FIG.
従って本実施例においても、照明装置２と撮像装置３との同期接続が不要であるため、その位置あわせが簡便となり、撮影装置１全体としても小型化が可能である。また、撮像素子３１は、画素部３００を各ＲＧＢ色毎に密に配置した可視光層と、この可視光層とは別に同一光路上で下層に配置される赤外光層を有する構造としているため、この観点からも、撮影装置１全体としても小型化が可能であり、尚且つ高画質、及び高速・高精度応答性が実現される。 Therefore, also in the present embodiment, since the synchronous connection between the illumination device 2 and the imaging device 3 is unnecessary, the alignment is simple, and the photographing device 1 as a whole can be downsized. Further, the image pickup device 31 has a structure having a visible light layer in which the pixel units 300 are densely arranged for each RGB color, and an infrared light layer arranged in a lower layer on the same optical path, separately from the visible light layer. Therefore, from this point of view, the photographing apparatus 1 as a whole can be reduced in size, and high image quality, high speed and high accuracy response can be realized.
上記の実施形態及び実施例では、照明装置２と撮像装置３とを別体として構成する例を説明したが一体化させてもよく、特定の画素部３００の構造例及び画素配列を主として説明したが他の画素構造及び画素配列でもよい。従って、本発明は上述の実施形態及び実施例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。 In the above-described embodiments and examples, the example in which the illumination device 2 and the imaging device 3 are configured as separate bodies has been described. However, the illumination device 2 and the imaging device 3 may be integrated. However, other pixel structures and pixel arrangements may be used. Therefore, the present invention is not limited to the above-described embodiments and examples, and is limited only by the description of the scope of claims.
本発明によれば、照明装置と撮像装置との同期接続が不要でその位置あわせが簡便となり、小型化が可能で、且つ高画質、及び高速・高精度応答性を実現可能となるので、動物体の被写体検出やその撮影記録を可能とする撮像素子、撮像装置及び撮影装置の用途に有用である。 According to the present invention, the synchronous connection between the illumination device and the imaging device is unnecessary, the alignment is simple, the size can be reduced, and the high image quality, high speed and high accuracy response can be realized. It is useful for applications of an image sensor, an imaging device, and an imaging device that enable detection of a subject of a body and shooting and recording of the subject.
１ 撮影装置
２ 照明装置
２Ｒ 赤色光源
２Ｇ 緑色光源
２Ｂ 青色光源
２ＩＲ 赤外光源
３ 撮像装置
３１ 撮像素子
３１Ｒ 赤色光撮像部
３１Ｇ 緑色光撮像部
３１Ｂ 青色光撮像部
３１ＩＲ 赤外光撮像部
３２ 結像レンズ
３３ 制御部
３４ 記録部
３５ 再生部
３６ 操作部
３００ 画素部
３０１ ガラス基板
３０２ ＳＩＮｘ
３０３ ＳＩＯｘ
３０４ ＳＩＮｘ
３０５ ＳＩＮｘ
３０６ ドレインＩＴＯ電極
３０７ 出力信号用電極
３０８ ゲート電極
３０９ ソースＩＴＯ電極
３１０ 有機光電変換膜
３１１ 対向ＩＴＯ電極
４００ 垂直走査回路
５００ 水平信号読み出し回路
３３１Ｒ 赤色光用撮像制御部
３３１Ｇ 緑色光用撮像制御部
３３１Ｂ 青色光用撮像制御部
３３２ 赤外光用撮像制御部
３３４ 可視光画像処理部
３３５ 動物体検出判定部
３３５ａ トリガー信号発生部
３３６ 記録制御部
３３７ 再生制御部
DESCRIPTION OF SYMBOLS 1 Imaging device 2 Illumination device 2R Red light source 2G Green light source 2B Blue light source 2IR Infrared light source 3 Imaging device 31 Imaging element 31R Red light imaging unit 31G Green light imaging unit 31B Blue light imaging unit 31IR Infrared light imaging unit 32 Imaging lens 33 Control Unit 34 Recording Unit 35 Playback Unit 36 Operation Unit 300 Pixel Unit 301 Glass Substrate 302 SINx
303 SIOx
304 SINx
305 SINx
306 Drain ITO electrode 307 Output signal electrode 308 Gate electrode 309 Source ITO electrode 310 Organic photoelectric conversion film 311 Opposite ITO electrode 400 Vertical scanning circuit 500 Horizontal signal readout circuit 331R Red light imaging control unit 331G Green light imaging control unit 331B Blue Imaging control unit for light 332 Imaging control unit for infrared light 334 Visible light image processing unit 335 Moving object detection determination unit 335a Trigger signal generation unit 336 Recording control unit 337 Playback control unit
Claims (6)
可視光を構成する青色光のみ吸収し残りを透過させて撮像する青色光撮像部と、
可視光を構成する緑色光のみ吸収し残りを透過させて撮像する緑色光撮像部と、
可視光を構成する赤色光のみ吸収し残りを透過させて撮像する赤色光撮像部と、
赤外光のみに感度を持ち撮像する赤外光撮像部とを積層して構成され、
前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々は、二次元平面上に第１の画素配列で第１の画素サイズの画素部が配列された撮像面を有し、独立して露光量を制御可能で、且つ撮像制御可能な素子とし、
前記赤外光撮像部は、前記二次元平面上に第２の画素配列で第２の画素サイズの画素部が配列された撮像面を有し、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々に対し独立して撮像制御可能な素子として構成されていることを特徴とする撮像素子。 Provided in an imaging device configured without synchronous connection with an illuminating device that irradiates at least infrared light to a moving subject that enters a predetermined imaging area, and separately reflects visible light and infrared light reflected from the subject. An image sensor that receives light and picks up an image,
A blue light imaging unit that captures only the blue light constituting the visible light and transmits the remaining light; and
A green light imaging unit that captures only the green light constituting the visible light and transmits the remaining light,
A red light imaging unit that absorbs only the red light constituting the visible light and transmits the remaining light to image,
It is configured by stacking an infrared light imaging unit that has sensitivity only to infrared light and images it,
Each of the blue light imaging unit, the green light imaging unit, and the red light imaging unit has an imaging surface in which pixel units of a first pixel size are arranged in a first pixel arrangement on a two-dimensional plane. , An element that can control the exposure amount independently and can control imaging,
The infrared light imaging unit has an imaging surface in which pixel units of a second pixel size are arranged in a second pixel arrangement on the two-dimensional plane, the blue light imaging unit, the green light imaging unit, And an image pickup device configured to be an image pickup controllable element independently for each of the red light image pickup units.
前記赤外光撮像部から赤外光撮像画像信号を取得して、前記赤外光撮像画像信号から構成される赤外光画像の定常状態からの画素値変化を監視し、前記所定の撮像領域内に動物体の被写体が侵入したか否かを示すトリガー信号を発生させ、該トリガー信号が前記所定の撮像領域内に動物体の被写体が侵入している旨を示す間、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々から得られる可視光画像信号を基に形成される可視光画像を所定の記録部に対し記録するよう撮影タイミングを制御する制御部と、
を備えることを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 3,
An infrared light captured image signal is acquired from the infrared light image capturing unit, a pixel value change from a steady state of an infrared light image composed of the infrared light captured image signal is monitored, and the predetermined imaging region The blue light imaging unit generates a trigger signal indicating whether or not a moving subject has entered, and the trigger signal indicates that the moving subject has entered the predetermined imaging area. A control unit for controlling photographing timing so as to record a visible light image formed on the basis of a visible light image signal obtained from each of the green light imaging unit and the red light imaging unit, on a predetermined recording unit;
An imaging apparatus comprising:
前記所定の撮像領域内に侵入する動物体の被写体に対し少なくとも赤外光を照射する照明装置とを備え、
前記撮像装置は、前記照明装置とは同期接続なく一体又は別体で構成され、前記撮像素子により前記被写体から反射する可視光及び赤外光を個別に受光して撮像するよう構成されていることを特徴とする撮影装置。 An imaging device according to claim 4,
An illumination device that irradiates at least infrared light to a subject of an animal body that enters the predetermined imaging region;
The imaging device is configured integrally or separately from the illuminating device without being connected synchronously, and is configured to individually receive and capture visible light and infrared light reflected from the subject by the imaging element. An imaging device characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017035596A JP6806591B2 (en) | 2017-02-27 | 2017-02-27 | Shooting device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017035596A JP6806591B2 (en) | 2017-02-27 | 2017-02-27 | Shooting device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018142838A true JP2018142838A (en) | 2018-09-13 |
| JP6806591B2 JP6806591B2 (en) | 2021-01-06 |
Family
ID=63528302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017035596A Active JP6806591B2 (en) | 2017-02-27 | 2017-02-27 | Shooting device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6806591B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021054198A1 (en) * | 2019-09-18 | 2021-03-25 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device, imaging system, and imaging method |
| WO2022190867A1 (en) | 2021-03-12 | 2022-09-15 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device and ranging system |
-
2017
- 2017-02-27 JP JP2017035596A patent/JP6806591B2/en active Active
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021054198A1 (en) * | 2019-09-18 | 2021-03-25 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device, imaging system, and imaging method |
| WO2022190867A1 (en) | 2021-03-12 | 2022-09-15 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device and ranging system |
| KR20230156694A (en) | 2021-03-12 | 2023-11-14 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | Imaging device and ranging system |
| DE112022001551T5 (en) | 2021-03-12 | 2024-01-18 | Sony Group Corporation | Imaging device and distance measuring system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6806591B2 (en) | 2021-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8629916B2 (en) | Camera with imaging unit and imaging unit for camera | |
| US7119842B2 (en) | Image capturing device including a spectrally-selectively transmissive diaphragm | |
| US20180077367A1 (en) | Systems and methods for a digital image sensor | |
| US7948551B2 (en) | Field sequential color camera system | |
| US20080055443A1 (en) | Image pickup device including a solar cell and apparatus therefor | |
| TW200803473A (en) | Imaging apparatus | |
| KR102368597B1 (en) | Image photographing apparatus and method of controlling thereof | |
| JP2008227092A (en) | Photoelectric converting element, image pickup device, imaging device | |
| US10574872B2 (en) | Methods and apparatus for single-chip multispectral object detection | |
| JP2007288522A (en) | Imaging apparatus and solid-state imaging device driving method | |
| JPH1051796A (en) | Solid-state image pickup device | |
| JPWO2010095374A1 (en) | Image pickup device and image pickup apparatus including the same | |
| JP2009049525A (en) | Imaging apparatus and method for processing signal | |
| JP6806591B2 (en) | Shooting device | |
| CN101907818A (en) | Image pickup apparatus | |
| US11056528B2 (en) | Image sensor with phase-sensitive pixels | |
| JP6792486B2 (en) | Image sensor and image sensor | |
| JP4187512B2 (en) | Imaging device | |
| JP2009212824A (en) | Skin area detection imaging apparatus | |
| JP2014165778A (en) | Solid state image sensor, imaging device and focus detector | |
| US20190246053A1 (en) | Motion tracking using multiple exposures | |
| JP2011053377A (en) | Imaging apparatus and method for controlling the same | |
| JP2001312690A (en) | Decision of exposure effective to image forming device | |
| JP2006135708A (en) | Digital camera | |
| JP2011091492A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200106 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200826 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201204 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6806591 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |