WO2013118337A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2013118337A1 WO2013118337A1 PCT/JP2012/071854 JP2012071854W WO2013118337A1 WO 2013118337 A1 WO2013118337 A1 WO 2013118337A1 JP 2012071854 W JP2012071854 W JP 2012071854W WO 2013118337 A1 WO2013118337 A1 WO 2013118337A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- color
- signal
- light pixel
- pixel signal
- unit
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 45
- 238000000605 extraction Methods 0.000 claims description 30
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 16
- 230000003595 spectral effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
Definitions
- the present invention relates to an imaging apparatus.
- Patent Document 1 As background art in this technical field.
- the problem is described as “achieving good color reproducibility without providing an infrared removing filter for color vision correction in the imaging device”, and “red, green, blue of the red, green, and blue” as a solution.
- First, second, and third color filters that extract light, and a fourth color filter that extracts only light in the near-infrared region, and a first corresponding to the spectral transmittance of each color filter.
- Color signal generation means (5) for outputting the first to fourth signals (R1b, Gb, Bb, R2b), and the red, green, and blue color signals (Re, Ge, Be) from the first to fourth signals.
- the signal processing means (4) includes spectral sensitivity correction means (8) that corrects response characteristics in the near-infrared region of the color signal generation means (5). . "
- Patent Document 2 As another background technology in this technical field.
- a problem “conventionally, since a color image is generated based only on a visible light pixel signal, the sensitivity of the image sensor is insufficient at night, and a good color image can be obtained.
- a plurality of pixels are provided with an image sensor 2 having sensitivity in the wavelength region of visible light and near infrared light, and luminance is obtained from the obtained visible light pixel signal and near infrared light pixel signal”.
- An imaging device that generates a signal and a color signal, adds a visible light / near infrared light dominant determination unit 4c, determines the magnitude relationship between the visible light pixel signal and the near infrared light pixel signal, and the determination result
- the luminance signal generation method is switched by controlling the YC processing unit 4a according to the generation of the luminance signal and the color signal using the visible light pixel signal in the daytime, and when there is little visible light such as at night, the luminance signal is Generated using near infrared pixel signal In the darker case, a color signal is generated using a visible light pixel signal that has undergone pixel mixing or long exposure, and as a result, good color photography can be performed to improve the visibility of the user. . "
- an object of the present invention is to provide an imaging apparatus that can suppress S / N degradation while utilizing the near infrared region.
- the present invention it is possible to provide an imaging device that suppresses S / N degradation and realizes a color image with good visibility even when the shooting environment becomes dark at dusk.
- FIG. 1 is a first block diagram of an imaging apparatus according to an embodiment.
- the image sensor 10 the interpolation synchronization circuit 11, the luminance matrix circuit 121, the IR component adjustment circuit 122, and the gamma adjustment circuit 123, the luminance signal generation circuit 12, the comparison circuit 16, the specific color extraction circuit 15, the IR It is composed of a color signal generation circuit 13 comprising a component removal circuit 131, a WB adjustment circuit 132, a gamma adjustment circuit 133 and a matrix circuit 134, and a replacement circuit 18, and red and near-infrared above the photoelectric conversion element constituting the image sensor 10.
- R + IR filter that passes components
- G + IR filter that passes green and near infrared components
- IR filter that passes near infrared components
- blue and near infrared components pass
- the “B + IR” filter is arranged in a checkered pattern to obtain four types of color signals.
- FIG. 5 is a diagram showing spectral characteristics in one embodiment.
- the four types of filters are “R + IR” filter, “G + IR” filter, “IR” filter, and “B + IR”, as described in (a) Spectral sensitivity of image sensor in the spectral characteristics of FIG.
- the above filter configuration is used.
- any filter other than the above configuration may be used as long as it is a filter that can separate a visible light component and a near infrared component and can produce a color image.
- a filter having sensitivity in the entire region from blue to near-infrared may be used, and an “R” filter, “G” filter, “IR” filter, and “B” filter may be used.
- the light separated into four colors by the color filter 101 is photoelectrically converted by the image sensor 10 and sent to the interpolation synchronization circuit 11, and the interpolation synchronization circuit 11 “R + IR”, “G + IR”, “IR”, and “B + IR” signals are generated by interpolation processing for all pixel positions.
- the signals “R + IR”, “G + IR”, and “B + IR” generated by the interpolation process are sent to the luminance matrix circuit 121, and the luminance matrix circuit 121 performs a predetermined ratio.
- the mixed signal is sent to the comparison circuit 16, the IR component adjustment circuit 122 and the specific color extraction circuit 15, and the “IR” signal generated by the interpolation synchronization circuit 11 is sent to the comparison circuit 16 and the IR component adjustment circuit 122.
- the IR component adjustment circuit 122 generates a luminance signal including the near-infrared component according to the comparison result of the luminance signal including the near-infrared component generated by the luminance matrix circuit 121 and the near-infrared signal by the comparison circuit 16.
- the near-infrared component is controlled and sent to the gamma adjustment circuit 123 to correct the gamma characteristic and output to the output terminal 124 as a luminance signal.
- FIG. 6 is a circuit diagram of the IR component removal circuit 131 in one embodiment.
- the “R + IR”, “G + IR”, “IR”, and “B + IR” signals generated by the interpolation processing are sent to the IR component removal circuit 131 and subjected to the subtraction processing shown in FIG.
- the near-infrared component is removed from each of the signals “R + IR”, “G + IR”, and “B + IR”, and the spectral sensitivities 137, 136 after IR component removal shown in FIG. “R signal”, “G signal”, and “B signal” having the characteristics described in 135 are generated.
- the “R signal”, “G signal”, and “B signal” generated by the IR component removal circuit 131 are sent to the WB (White Balance) adjustment circuit 132, and the “R signal”, “G signal” are selected according to the characteristics of the light source.
- the signal gains of “signal” and “B signal” are respectively controlled and sent to the specific color extraction circuit 15 and the gamma adjustment circuit 133.
- the gamma adjustment circuit 133 performs gamma correction and sends it to the matrix circuit 134 to generate color difference signals “RY” and “BY” from the gamma-corrected “R signal”, “G signal”, and “B signal”, and a replacement circuit. It is sent to 18.
- the replacement circuit 18 replaces or emphasizes a part of the input color difference signals “RY” and “BY” with another signal according to the outputs from the comparison circuit 16 and the specific color extraction circuit 15 and outputs it as a color signal. It outputs to 186.
- the IR component adjustment circuit 122 controls the near-infrared component of the luminance signal including the near-infrared component according to the brightness. As it is generated and darkens, it gradually operates using signals in the near-infrared region to produce a luminance signal. For this reason, a luminance signal with a certain level of brightness can be created even when the shooting environment becomes dark. Further, the output of the color signal generation circuit 13, that is, the output 184 of the matrix circuit 134, is generated only by a visible light region signal that is meaningful as a color signal, with the IR component removal circuit 131 removing the near infrared region signal. Therefore, the color reproducibility is not deteriorated by the near-infrared signal. Next, an embodiment of the replacement circuit 18 will be described with reference to FIGS.
- FIG. 7 is a first circuit diagram of the replacement circuit 18 in one embodiment.
- An adder circuit 188, a subtractor circuit 187, and multiplier circuits 186 and 189 are configured.
- the output signal 181 of the comparison circuit 16 and the output signal 182 of the specific color extraction circuit 15 are multiplied by the multiplier circuit 189 and set in advance.
- the output signal 184 of the matrix circuit 134 is subtracted from the set value L2 which is a predetermined signal level by the subtraction circuit 187, and the multiplication result of the multiplication circuit 189 and the subtraction result of the subtraction circuit 187 are multiplied by the multiplication circuit 186.
- the output of the circuit 186 and the output signal 184 of the matrix circuit 134 are added by the adder circuit 188, and an output signal 185 is output.
- FIG. 8 is a diagram illustrating control characteristics relating to brightness in one embodiment.
- FIG. 9 is a diagram illustrating control characteristics according to the color extraction result in one embodiment.
- FIGS. 8 and 9 show examples of characteristics of the output signal 181 of the comparison circuit 16 and the output signal 182 of the specific color extraction circuit 15.
- the L2 is given by a control means such as a microcomputer or a predetermined circuit.
- the output value of the output signal 181 increases as it becomes darker, and the output value of the output signal 182 increases as the characteristic of FIG. 9 approaches the specified specific color.
- the output 185 of the replacement circuit 18 is an output obtained by mixing the output signal 184 of the matrix circuit 134 and the set value L2 at a predetermined ratio, the darker the color and the closer to the specified specific color, the more the output 185 is obtained from the signal 184.
- the replacement circuit 18 operates so that the value of the set value L2 becomes dominant. For this reason, as the color becomes darker, the color of the target subject portion such as a sign, tail lamp, signal, etc. is gradually replaced with a preset signal having a good S / N. It is possible to add a color while suppressing deterioration, and to display a target subject portion with a color having a good S / N.
- a luminance signal with a constant signal level can be obtained from the near-infrared component, but only from the visible light component.
- the color of the produced color is reduced and the overall color is light.
- the S / N can be displayed well with a hue and color density similar to or very close to that of a target subject such as a sign, tail lamp, signal, etc. It is possible to provide an object to be noticed with color images in a conspicuous form.
- the target portion other than the target portion to be noticed is very light colored or black and white, the subject portion to be noticed can be particularly emphasized and displayed.
- FIG. 10 is a second circuit diagram of the replacement circuit 18 in one embodiment.
- the signal enhancement circuit 200 and the multiplication circuit 202 are configured, the output signal 181 of the comparison circuit 16 and the output signal 182 of the specific color extraction circuit 15 are multiplied by the multiplication circuit 202, and the matrix is determined according to the multiplication result 201 of the multiplication circuit 202.
- the signal enhancement circuit 200 operates so as to perform signal enhancement that increases the signal gain of the output signal 184 of the circuit 134.
- the characteristics of the output signal 181 of the comparison circuit 16 and the output signal 182 of the specific color extraction circuit 15 may be the same as in the embodiment of FIG.
- FIG. 11 is a diagram illustrating the control characteristics according to the multiplication result 201 in one embodiment, and illustrates the control characteristics in the signal enhancement circuit 200.
- the signal enhancement circuit 200 operates so as to decrease the signal enhancement amount when the signal of the multiplication result 201 is small and large as in the control characteristic, and to increase the signal enhancement amount near the center of the signal of the multiplication result
- the enhancement of the color signal is suppressed by the signal enhancement circuit 200 when it is bright and very dark, and the gain of the color signal in the specific color portion is set according to the result of the specific color extraction circuit 15 only in the case of the darkness between them.
- the gain of the color signal can be increased only in the target subject portion such as a sign, a tail lamp, or a signal to enhance the signal.
- the target subject portion such as a sign, tail lamp, signal, etc.
- the target subject portion can display the S / N with the same or similar color and darkness as when bright, so the car is driven. It is possible to provide a subject that should be noticeable in a form that is conspicuous to a person in color video. It is very effective in preventing automobile accidents by preventing oversight of subjects to watch out for at dusk and nighttime busy streets where accidents are likely to occur.
- FIG. 12 is a third circuit diagram of the replacement circuit 18 in one embodiment.
- the configuration is such that the set value L2 portion in FIG. 7 is replaced with a signal that has been subjected to enhancement processing that darkens all input signals in advance by the signal enhancement circuit 210 with respect to the output signal 184 of the matrix circuit 134. ing.
- the gain for the difference signal between the output signal 184 of the matrix circuit 134 and the output signal of the signal enhancement circuit 210 is increased according to the results of the output 181 of the comparison circuit 16 and the output 182 of the specific color extraction circuit 15,
- the permutation circuit 18 operates so as to mix the signal having a higher density with the output signal 184 of the matrix circuit 134 at a predetermined ratio.
- the darker and closer to the specified color the higher the percentage of the signal that increases the gain in the output and the darker the color, and the gain of the color signal increases only for the target subject part such as a sign, tail lamp or signal. Emphasize the signal.
- the S / N can be displayed well with a hue and color density that is similar to or close to that of a target subject such as a sign, tail lamp, signal, and the like while suppressing deterioration of the S / N. It is possible to provide a subject that should be noticed in a form that is conspicuous to the driving person in color video.
- S / N can be shown well in shades and color depths that are similar to or very similar to those of bright subjects at dusk and nighttime busy streets where accidents are likely to occur. It is valid.
- the video display for the driver can be installed in a part of the driver's front field of view, for example, in the windshield or in the vicinity of the dashboard. .
- FIG. 2 is a second block diagram of the imaging apparatus according to the embodiment.
- This embodiment is an example in which the specific color extraction circuit 15 is changed to the specific shape extraction circuit 17 in the embodiment of FIG. 1, and in the case of FIG. 1, a specific color portion is prepared in advance when dark. It is replaced with color data or operates so that the signal gain in the specific color portion is controlled. In this embodiment, when dark, the specific shape portion is replaced with color data prepared in advance. Alternatively, the signal gain in the part having the specific shape is controlled.
- the specific shape is a sign, a signal, or the like, which is particularly important for a driver driving a car.
- an object with a specific shape can be projected well in color, so it is very effective in preventing automobile accidents.
- the video display for the driver can be installed in a part of the driver's front field of view, for example, in the windshield or in the vicinity of the dashboard. . Since this embodiment emphasizes the color of an object having a specific shape, it has an effect of preventing an accident due to oversight of a sign or the like.
- FIG. 3 is a third block diagram of the imaging apparatus according to an embodiment.
- the specific subject extraction circuit 19 for determining a specific subject is used.
- the specific color portion when it becomes dark, the specific color portion is replaced with color data prepared in advance, or the signal gain in the specific color portion is controlled, but in this embodiment, Compared to Example 1, a specific color portion and a specific shape portion are further extracted, a specific subject is extracted from the result, and when the specific subject portion becomes dark, it is replaced with color data prepared in advance, Alternatively, the signal gain of the portion of the specific subject is controlled.
- substantially the same effect as that of the embodiment of FIGS. 1 and 2 can be obtained.
- the subject is determined from both the color and the shape and the color is replaced or the portion to be emphasized is determined.
- This has the effect of reducing false detections in which the emphasized part is mistaken.
- the color data to be replaced may be the same color as the actual object, or may be a different color for emphasis.
- since a specific subject is judged and emphasized not only the signs and signals but also the color can be replaced or emphasized without overlooking a human or a specific moving object. It has the effect of preventing accidents.
- FIG. 4 is a fourth block diagram of the imaging apparatus according to the embodiment.
- This embodiment is an example in which the comparison signal of the comparison circuit 16 is changed in the embodiment of FIG.
- the brightness is judged by comparing a signal obtained by mixing “R + IR”, “G + IR”, and “B + IR” at a predetermined ratio with an “IR” signal.
- the brightness is compared with a set value L1 set by a control means such as a microcomputer or a circuit and a signal obtained by mixing “R + IR”, “G + IR”, and “B + IR” at a predetermined ratio. This is an example of determining.
- a signal obtained by mixing “R”, “G”, and “B” not including the IR component at a predetermined ratio is compared with the set value L1, or “R”, “G”, and “B” not including the IR component are compared.
- the brightness may be judged by comparing a signal obtained by mixing "" at a predetermined ratio with an "IR" signal.
- this invention is not limited to the above-mentioned Example, Various modifications are included.
- the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
- a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
- each of the above-described configurations may be configured such that a part or all of the configuration is configured by hardware, or is realized by executing a program by a processor.
- control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
監視カメラや車載カメラをはじめとする撮像装置では、暗くなっても目的の被写体を鮮明に撮影したいという要求が強い。暗くなり可視光領域の信号が少なくなった状態で色を付ける場合にも、S/Nの良好な映像を得るようにする。可視光画素信号と近赤外光画素信号から輝度信号と色信号を生成すると共に、被写体の明るさを判定し、判定結果に応じて生成する輝度信号における近赤外光画素信号が占める割合を制御し、前記輝度信号に応じて特定の色や形状及び物体の色を強調又は置換して、色信号を生成する。
Description
本発明は、撮像装置に関する。
本技術分野の背景技術として、特許文献1がある。該公報の要約には、課題として「撮像装置における色覚補正のための赤外線除去フィルタを具備することなく良好な色再現性を実現する。」と記載され、解決手段として「赤、緑、青の光を抽出する第1、第2、第3のカラーフィルタ、及び近赤外領域の光のみを抽出する第4のカラーフィルタとを有し、それぞれのカラーフィルタの分光透過率に対応した第1乃至第4の信号(R1b、Gb、Bb、R2b)を出力する色信号生成手段(5)と、第1乃至第4の信号から、赤、緑、青の色信号(Re、Ge、Be)を生成する信号処理手段(4)とを備える。信号処理手段(4)は、色信号生成手段(5)が有する近赤外領域での応答特性を補正する分光感度補正手段(8)を備える。」と記載されている。
また、本技術分野の別の背景技術として、特許文献2がある。該公報の要約には、課題として「従来、カラー画像は可視光画素信号のみに基づいて生成しているため、夜間時などでは撮像素子の感度が不足し、良好なカラー画像を取得することができない。」と記載され、解決手段として「複数の画素が可視光および近赤外光の波長領域に感度をもつ撮像素子2を備え、得られる可視光画素信号と近赤外光画素信号から輝度信号と色信号を生成する撮像装置であって、可視光・近赤外光優勢判定部4cを追加し、可視光画素信号と近赤外光画素信号の大きさ関係を判定し、その判定結果に応じてYC処理部4aを制御することにより輝度信号の生成方法を切り替える。昼時には輝度信号も色信号も可視光画素信号を使って生成し、夜など可視光が少ない場合には輝度信号は近赤外光画素信号を使って生成する。さらに暗い場合には、画素混合または長時間露光を行った可視光画素信号を使って色信号を生成する。結果として、良好なカラー撮影を行い、使用者の視認性を高めることができる。」と記載されている。
撮像装置の主な用途として、監視カメラや車載カメラがある。共に、暗くなっても目的の被写体を鮮明に撮影したいという要求が強い。この課題に対しては、可視光領域の光だけではなく近赤外領域の活用による改善方法が前記特許文献に記載されている。また、近赤外領域の活用により色の再現性が損なわれることから近赤外領域での色信号の応答性の補正方法も記載されている。しかし、暗くなり可視光領域の信号が少なくなった状態で色信号を生成する場合、原理的に可視光領域の少ない信号を増幅する必要があるため雑音が多くS/Nの悪い映像となってしまうことに関しては考慮されていなかった。
そこで、本発明は、近赤外領域を活用しながらS/N劣化を抑圧できる撮像装置を提供することを目的としている。
そこで、本発明は、近赤外領域を活用しながらS/N劣化を抑圧できる撮像装置を提供することを目的としている。
上記目的を解決するために、特許請求の範囲に記載の構成を採用する。
本発明によれば、夕暮れ時になり撮影環境が暗くなっても、S/N劣化を抑圧し視認性の良いカラー映像を実現する撮像装置を提供することができる。
以下、本発明の実施形態について図面を用いて説明する。
図1は、一実施例における撮像装置の第1のブロック図である。本実施例は、撮像素子10、内挿同時化回路11、輝度マトリックス回路121とIR成分調整回路122とガンマ調整回路123からなる輝度信号生成回路12、比較回路16、特定色抽出回路15、IR成分除去回路131とWB調整回路132とガンマ調整回路133とマトリックス回路134からなる色信号生成回路13、置換回路18から構成され、撮像素子10を構成する光電変換素子の上部に赤と近赤外成分を通過させる“R+IR”フィルタと、緑と近赤外成分を通過させる“G+IR”フィルタと、近赤外成分を通過させる“IR”フィルタと、青と近赤外成分を通過させる“B+IR”フィルタとを市松状に配置し、4種類のカラー信号を得る構成となっている。
図5は、一実施例における分光特性を示す図である。該4種類のフィルタは、図5の分光特性の(a)撮像素子の分光感度記載のように、“R+IR”フィルタ、“G+IR”フィルタ、“IR”フィルタ及び“B+IR”フィルタの各々に関して104、103、105、102のような波長に関して感度を持つフィルタである。本実施例では、上記のフィルタ構成としたが、可視光成分と近赤外成分を分離可能であり、カラーの映像を作れるフィルタであれば上記構成以外でも良い。例えば、近赤外のIRフィルタの代わりに青から近赤外の全領域に感度を持つフィルタで構わないし、“R”フィルタ、“G”フィルタ、“IR”フィルタ及び“B”フィルタでも構わない。
本実施例では、色フィルタ101で4色に分離された光を撮像素子10で光電変換し、内挿同時化回路11に送り、該内挿同時化回路11に於いて、該撮像素子10の全ての画素位置に対して、“R+IR”、“G+IR”、“IR”及び“B+IR”の信号を内挿処理により生成している。内挿処理により生成した該“R+IR”、“G+IR”、及び“B+IR”の信号は、輝度マトリックス回路121に送られ、該輝度マトリックス回路121に於いて、所定の割合で混合し比較回路16、IR成分調整回路122及び特定色抽出回路15に送り、また、内挿同時化回路11で生成した前記“IR”信号は、比較回路16及びIR成分調整回路122に送られている。
IR成分調整回路122は、輝度マトリックス回路121で生成した近赤外成分を含む輝度信号と近赤外のみの信号を比較回路16で比較した結果に応じて、該近赤外成分を含む輝度信号の該近赤外成分を制御しガンマ調整回路123に送り、ガンマ特性を補正し出力端子124に輝度信号として出力している。
IR成分調整回路122は、輝度マトリックス回路121で生成した近赤外成分を含む輝度信号と近赤外のみの信号を比較回路16で比較した結果に応じて、該近赤外成分を含む輝度信号の該近赤外成分を制御しガンマ調整回路123に送り、ガンマ特性を補正し出力端子124に輝度信号として出力している。
図6は、一実施例におけるIR成分除去回路131の回路図である。内挿処理により生成した“R+IR”、“G+IR”、“IR”及び“B+IR”の信号は、IR成分除去回路131に送られ、図6記載の減算処理を施し、該“R+IR”、“G+IR”、及び“B+IR”の各信号から近赤外成分を除去し、図5の(b)に示すIR成分除去後の分光感度の137、136、135記載の特性を持つ“R信号”、“G信号”、及び“B信号”を生成している。該IR成分除去回路131で生成した“R信号”、“G信号”、及び“B信号”をWB(White Balance)調整回路132に送り、光源の特性に応じて該“R信号”、“G信号”、及び“B信号”の信号利得を各々制御し、特定色抽出回路15とガンマ調整回路133に送る。ガンマ調整回路133でガンマ補正を行いマトリックス回路134に送り、ガンマ補正された“R信号”、“G信号”、及び“B信号”から色差信号“R-Y”及び“B-Y”を生成して置換回路18に送っている。置換回路18では比較回路16と特定色抽出回路15からの出力に応じて、入力された該色差信号“R-Y”及び“B-Y”の一部分を別の信号に置換又は強調して色信号として出力端子186に出力している。
本実施例では、IR成分調整回路122で、明るさに応じて前記近赤外成分を含む輝度信号の該近赤外成分を制御する為、明るい場合は可視光領域の信号のみから輝度信号を生成し、暗くなるに従って、徐々に近赤外領域の信号も使い輝度信号を作るように動作する。このため、撮影環境が暗くなってもある程度の明るさの輝度信号を作ることができる。また、色信号生成回路13の出力すなわちマトリックス回路134の出力184は、IR成分除去回路131で近赤外領域の信号を除去し、色信号として意味がある可視光領域の信号のみで生成される為、近赤外領域の信号による色再現性の劣化を起こすことがない。次に、置換回路18の一実施例を図7、図10、図12を用いて説明する。
図7は、一実施例における置換回路18の第1の回路図である。加算回路188、減算回路187、乗算回路186及び189から構成され、比較回路16の出力信号181と特定色抽出回路15の出力信号182を乗算回路189で乗算し、また、予め設定しておいた所定の信号レベルである設定値L2からマトリックス回路134の出力信号184を減算回路187で減算し、前記乗算回路189の乗算結果と該減算回路187の減算結果を乗算回路186で乗算し、該乗算回路186の出力とマトリックス回路134の出力信号184を加算回路188で加算して、出力信号185を出力している。
図8は、一実施例における明るさに係る制御特性を示す図である。
図9は、一実施例における色抽出結果に係る制御特性を示す図である。
図8と図9は、比較回路16の出力信号181及び特定色抽出回路15の出力信号182の特性の一例を示す。なお、図示しないが前記L2は、例えばマイクロコンピュータなどの制御手段や所定の回路などから与えられるものである。
図9は、一実施例における色抽出結果に係る制御特性を示す図である。
図8と図9は、比較回路16の出力信号181及び特定色抽出回路15の出力信号182の特性の一例を示す。なお、図示しないが前記L2は、例えばマイクロコンピュータなどの制御手段や所定の回路などから与えられるものである。
図8の特性は、暗くなるに従って出力信号181の出力値が大きくなり、図9の特性は指定した特定色に近いほど出力信号182の出力数値が大きくなる。置換回路18の出力185は、マトリックス回路134の出力信号184と設定値L2を所定の割合で混合した出力となるため、暗くなるほど、かつ、指定した特定色に近いほど、出力185では信号184よりも設定値L2の値の方が支配的となるように、置換回路18が動作する。このため、暗くなるに従い、標識やテールランプや信号等をはじめとする目的の被写体部分の色が事前に設定されたS/Nの良い信号に少しずつ置換されるため、暗くなってもS/N劣化を抑えて色を付けることができ、S/Nの良い色で目的の被写体部分を映し出すことができる。
暗くなり可視光の成分が減り、近赤外の成分を多く使い、映像を作る場合に於いては、近赤外成分より一定の信号レベルの輝度信号が得られるものの、可視光の成分のみから作られる色は信号量が減り、全体として色が薄い映像になる。この場合においても、標識やテールランプや信号等の目的の被写体部分のみ明るい時と同様或いは非常に近い色合い及び色の濃さでS/Nを良く映すことができるので、自動車を運転している人に目立つ形で注目すべき被写体をカラー映像で提供することが可能となる。また、注目すべき目的の被写体部分以外は、非常に薄い色付或いは白黒である為、特に、注目すべき目的の被写体部分を強調して映し出すことができる。
図10は、一実施例における置換回路18の第2の回路図である。信号強調回路200、乗算回路202から構成され、比較回路16の出力信号181と特定色抽出回路15の出力信号182を乗算回路202で乗算し、該乗算回路202の乗算結果201に応じて、マトリックス回路134の出力信号184の信号利得を上げる信号強調を信号強調回路200で施すように動作する。比較回路16の出力信号181と特定色抽出回路15の出力信号182の特性は図7の実施例と同様で良い。
図11は、一実施例における乗算結果201に係る制御特性を示す図であり、信号強調回路200における制御特性を示す。信号強調回路200は、該制御特性のように乗算結果201の信号が小さい時と大きい時に信号強調量を少なくし、乗算結果201の信号が中央近傍で信号強調量を多くするように動作する。
図11は、一実施例における乗算結果201に係る制御特性を示す図であり、信号強調回路200における制御特性を示す。信号強調回路200は、該制御特性のように乗算結果201の信号が小さい時と大きい時に信号強調量を少なくし、乗算結果201の信号が中央近傍で信号強調量を多くするように動作する。
本実施例では、明るい時とごく暗い時には信号強調回路200により色信号の強調を抑え、その間の薄暗い場合にのみ特定色抽出回路15の結果に応じて特定の色の部分における色信号の利得を上げるように動作する。このため、薄暗い場合に標識やテールランプや信号等の目的の被写体部分のみ色信号の利得を上げ信号を強調することができる。明るく可視光成分が十分にあり良好な色再現が得られる場合と暗すぎて可視光成分がほとんど取れない場合は、色信号の強調を抑えるためS/N劣化を抑えることができる。このように薄暗い環境下で標識やテールランプや信号等の目的の被写体部分のみ、明るい時と同様或いは近い色合い及び色の濃さでS/Nを良く映すことができるので、自動車を運転している人に目立つ形で注目すべき被写体をカラー映像で提供することが可能となる。事故が発生しやすい夕暮れ時や夜間の繁華街で注意すべき被写体の見落としを防止し、自動車事故の防止に非常に有効である。
図12は、一実施例における置換回路18の第3の回路図である。マトリックス回路134の出力信号184に対して信号強調回路210で事前に全ての入力信号に対して色を濃くする強調処理を施した信号に、図7における設定値L2の部分を置換した構成となっている。本実施例では、比較回路16の出力181と特定色抽出回路15の出力182の結果に応じて、マトリックス回路134の出力信号184と信号強調回路210の出力信号の差信号に対する利得を上げ、色を濃くした信号とマトリックス回路134の出力信号184を所定の割合で混合するように、置換回路18が動作する。従って、暗くなるほど、かつ、指定した特定色に近いほど出力に占める利得を上げて色を濃くした信号の割合が多くなり、標識やテールランプや信号等の目的の被写体部分のみ色信号の利得を上げ信号を強調する。このため、S/Nの劣化を抑えつつ、標識やテールランプや信号等の目的の被写体部分のみ明るい時と同様或いは近い色合い及び色の濃さでS/Nを良く映すことができるので、自動車を運転している人に目立つ形で注目すべき被写体をカラー映像で提供することが可能となる。
事故が発生しやすい夕暮れ時や夜間の繁華街で注意すべき被写体を明るい時と同様或いは非常に近い色合い及び色の濃さでS/Nを良く映すことができるので自動車事故の防止に非常に有効である。ドライバーへの映像の表示部は、ドライバーの前方視界の一部、例えば、フロントガラスの一部やダッシュボード付近に設置することで、自動車事故の防止に一層高い効果を持たせることが可能になる。
図2は、一実施例における撮像装置の第2のブロック図である。本実施例は、図1の一実施例に於いて、特定色抽出回路15を特定形状抽出回路17に変えた一例であり、図1の場合は暗くなると特定の色の部分が予め用意された色データに置換されたり、或いは、該特定の色の部分における信号利得が制御されるように動作するが、本実施例では、暗くなると特定の形状の部分が予め用意された色データに置換されたり、或いは、前記特定の形状の部分における信号利得が制御されるように動作する。例えば、特定の形状とは、標識や信号等であり、車を運転するドライバーが特に注意すべきものである。この様にすることにより、夕暮れ時や夜間の繁華街に於いて、特定の形状の物をカラーでS/Nを良く映すことができるので自動車事故の防止に非常に有効である。ドライバーへの映像の表示部は、ドライバーの前方視界の一部、例えば、フロントガラスの一部やダッシュボード付近に設置することで、自動車事故の防止に一層高い効果を持たせることが可能になる。本実施例は、特定の形状を有する物体の色を強調するので標識等の見落しによる事故を防止する効果がある。
図3は、一実施例における撮像装置の第3のブロック図である。本実施例は、図1の一実施例に於いて、特定色抽出回路15を、特定色抽出回路15と特定形状抽出回路17と、該特定色抽出回路15と該特定形状抽出回路17の出力から特定の被写体を判断する特定被写体抽出回路19に変えた例である。図1の場合は暗くなると特定の色の部分が予め用意された色データに置換されたり、或いは、前記特定の色の部分における信号利得が制御されるように動作するが、本実施例では、実施例1と比較し、さらに特定の色の部分と特定の形状の部分が抽出され、その結果から特定被写体を抽出し前記特定被写体の部分が暗くなると予め用意された色データに置換されたり、或いは、前記特定被写体の部分の信号利得が制御されるように動作する。本実施例は、図1及び図2の実施例と本質的に同等の効果が得られる。
特に、本実施例では、色と形状の双方から被写体を判断して色を置換し、或いは、強調する部分を判断している為、単に色だけ、形状だけの判断と比べ、置換し、或いは強調する部分を誤る誤検出を軽減する効果がある。尚、置換する色データは、実際の物と同一の色であっても良く、強調する為に別の色にしても良い。本実施例は、特定の被写体を判断して強調するので標識や信号のみだけではなく、人間や特定の移動物体等も見落すことなく、色を置換し、或いは強調することができるので、見落としによる事故を防止する効果がある。
図4は、一実施例における撮像装置の第4のブロック図である。本実施例は、図1の実施例に於いて、比較回路16の比較信号を変えた例である。図1、図2及び図3は、“R+IR”、“G+IR”、“B+IR”を所定の割合で混合した信号と“IR”信号とを比較して明るさを判断しているが、本実施例では、図示しないが例えばマイクロコンピュータなどの制御手段や回路などから設定される設定値L1と“R+IR”、“G+IR”、“B+IR”を所定の割合で混合した信号とを比較して明るさを判断する例である。IR成分を含まない“R”、“G”、“B”を所定の割合で混合した信号と設定値L1とを比較し、或いは、IR成分を含まない“R”、“G”、“B”を所定の割合で混合した信号と“IR”信号とを比較して、明るさを判断しても良い。本実施例は、図1の実施例と本質的に等しく同等の効果が得られる。また、図2、図3の実施例と組み合わせても同等の効果が得られる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置換することが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成を追加し、削除し、或いは置換することが可能である。
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
10:撮像素子、11:内挿同時化回路、12:輝度信号生成回路、13:色信号生成回路、15:特定色抽出回路、16:比較回路、17:特定形状抽出回路、18:置換回路、19:特定被写体抽出回路、121:輝度マトリックス回路、122:IR成分調整回路、123:ガンマ調整回路、131:IR成分除去回路、132:WB調整回路、133:ガンマ調整回路、134:マトリックス回路。
Claims (11)
- 物体を撮像する撮像装置であって、
可視光および近赤外光の双方の波長領域において前記物体を撮像可能な複数の光電変換素子を有する撮像素子と、
当該撮像素子から供給された可視光画素信号、又は、可視光画素信号と近赤外光画素信号に基づき明るさを判定する比較判定部と、
当該比較判定部における判定結果に基づき前記撮像素子から供給された前記可視光画素信号と前記近赤外光画素信号から輝度信号を生成して出力する輝度信号生成部と、
前記撮像素子から供給された可視光画素信号と前記近赤外光画素信号から色信号を生成する色信号生成部と、
当該色信号生成部で生成された色信号から前記物体の特定の色を抽出する特定色抽出部と、
前記比較判定部における前記判定結果と前記特定色抽出部における前記特定の色の検出結果に基づき前記色信号生成部で生成された色信号を所定値に係る値と置換し、又は前記色信号を強調して出力する置換/強調部
を有することを特徴とする撮像装置。 - 物体を撮像する撮像装置であって、
可視光および近赤外光の双方の波長領域において前記物体を撮像可能な複数の光電変換素子を有する撮像素子と、
当該撮像素子から供給された可視光画素信号、又は、可視光画素信号と近赤外光画素信号に基づき明るさを判定する比較判定部と、
当該比較判定部における判定結果に基づき前記撮像素子から供給された前記可視光画素信号と前記近赤外光画素信号から輝度信号を生成して出力する輝度信号生成部と、
前記撮像素子から供給された可視光画素信号と前記近赤外光画素信号から色信号を生成する色信号生成部と、
当該色信号生成部で生成された色信号、又は/及び、前記輝度信号生成部で生成された輝度信号から前記物体の特定の形状を抽出する特定形状抽出部と、
前記比較判定部における前記判定結果と前記特定形状抽出部における前記特定形状の検出結果に基づき前記色信号生成部で生成された色信号を所定値に係る値と置換し、又は前記色信号を強調して出力する置換/強調部
を有することを特徴とする撮像装置。 - 請求項2に記載の撮像装置において、
前記色信号生成部で生成された色信号から前記物体の特定の色を抽出する特定色抽出部を有し、
前記置換/強調部は、前記比較判定部における前記判定結果、前記特定色抽出部における前記特定の色の検出結果と前記特定形状抽出部における前記特定形状の検出結果に基づき前記色信号生成部で生成された色信号を所定値に係る値と置換し、又は前記色信号を強調して出力する
ことを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、前記比較判定部は、前記可視光画素信号と近赤外光画素信号の大小関係から明るさを判定することを特徴とする撮像装置。
- 請求項2に記載の撮像装置において、前記比較判定部は、前記可視光画素信号と近赤外光画素信号の大小関係から明るさを判定することを特徴とする撮像装置。
- 請求項1に記載の撮像装置において、前記比較判定部は、前記可視光画素信号の大きさを所定値と比較して明るさを判定することを特徴とする撮像装置。
- 請求項2に記載の撮像装置において、前記比較判定部は、前記可視光画素信号の大きさを所定値と比較して明るさを判定することを特徴とする撮像装置。
- 請求項1に記載の撮像装置において、当該撮像装置が車両に搭載された際に撮像した映像を当該車両のフロントガラスに投影する投影部を設けたことを特徴とする撮像装置。
- 請求項2に記載の撮像装置において、当該撮像装置が車両に搭載された際に撮像した映像を当該車両のフロントガラスに投影する投影部を設けたことを特徴とする撮像装置。
- 請求項1に記載の撮像装置において、当該撮像装置が車両に搭載された際に撮像した映像を当該車両のフロントガラスと運転者との間に表示する表示部を設けたことを特徴とする撮像装置。
- 請求項2に記載の撮像装置において、当該撮像装置が車両に搭載された際に撮像した映像を当該車両のフロントガラスと運転者との間に表示する表示部を設けたことを特徴とする撮像装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-022922 | 2012-02-06 | ||
JP2012022922A JP2013162339A (ja) | 2012-02-06 | 2012-02-06 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013118337A1 true WO2013118337A1 (ja) | 2013-08-15 |
Family
ID=48947125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/071854 WO2013118337A1 (ja) | 2012-02-06 | 2012-08-29 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2013162339A (ja) |
WO (1) | WO2013118337A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016004133A (ja) * | 2014-06-16 | 2016-01-12 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
EP2991340A3 (en) * | 2014-08-29 | 2016-04-27 | Hitachi Industry & Control Solutions, Ltd. | Image-capturing method and image-capturing device |
US10171757B2 (en) | 2013-10-23 | 2019-01-01 | Nec Corporation | Image capturing device, image capturing method, coded infrared cut filter, and coded particular color cut filter |
CN110213501A (zh) * | 2019-06-25 | 2019-09-06 | 浙江大华技术股份有限公司 | 一种抓拍方法、装置、电子设备及存储介质 |
US10681339B2 (en) | 2015-10-26 | 2020-06-09 | Sony Corporation | Surgical microscope, image processing device, and image processing method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107465864B (zh) * | 2016-06-03 | 2021-02-26 | 宏碁股份有限公司 | 摄像装置及影像处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007257303A (ja) * | 2006-03-23 | 2007-10-04 | Honda Motor Co Ltd | 信号機認識装置 |
JP2010097410A (ja) * | 2008-10-16 | 2010-04-30 | Toyota Motor Corp | 車両検出装置 |
JP2011015087A (ja) * | 2009-06-30 | 2011-01-20 | Panasonic Corp | 撮像装置および撮像方法 |
JP2012010141A (ja) * | 2010-06-25 | 2012-01-12 | Konica Minolta Opto Inc | 画像処理装置 |
-
2012
- 2012-02-06 JP JP2012022922A patent/JP2013162339A/ja active Pending
- 2012-08-29 WO PCT/JP2012/071854 patent/WO2013118337A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007257303A (ja) * | 2006-03-23 | 2007-10-04 | Honda Motor Co Ltd | 信号機認識装置 |
JP2010097410A (ja) * | 2008-10-16 | 2010-04-30 | Toyota Motor Corp | 車両検出装置 |
JP2011015087A (ja) * | 2009-06-30 | 2011-01-20 | Panasonic Corp | 撮像装置および撮像方法 |
JP2012010141A (ja) * | 2010-06-25 | 2012-01-12 | Konica Minolta Opto Inc | 画像処理装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10171757B2 (en) | 2013-10-23 | 2019-01-01 | Nec Corporation | Image capturing device, image capturing method, coded infrared cut filter, and coded particular color cut filter |
JP2016004133A (ja) * | 2014-06-16 | 2016-01-12 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
EP2991340A3 (en) * | 2014-08-29 | 2016-04-27 | Hitachi Industry & Control Solutions, Ltd. | Image-capturing method and image-capturing device |
US10165242B2 (en) | 2014-08-29 | 2018-12-25 | Hitachi Industry & Control Solutions, Ltd. | Image-capturing method and image-capturing device |
US10681339B2 (en) | 2015-10-26 | 2020-06-09 | Sony Corporation | Surgical microscope, image processing device, and image processing method |
CN110213501A (zh) * | 2019-06-25 | 2019-09-06 | 浙江大华技术股份有限公司 | 一种抓拍方法、装置、电子设备及存储介质 |
US11967052B2 (en) | 2019-06-25 | 2024-04-23 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for image processing |
Also Published As
Publication number | Publication date |
---|---|
JP2013162339A (ja) | 2013-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013118337A1 (ja) | 撮像装置 | |
JP6029954B2 (ja) | 撮像装置 | |
US8411176B2 (en) | Image input device | |
US9214034B2 (en) | System, device and method for displaying a harmonized combined image | |
JP2003008988A (ja) | フラッシュアーチファクトを除去する方法および装置 | |
WO2014122928A1 (ja) | 画像処理装置 | |
JP2007184805A (ja) | カラー画像再生装置 | |
US9936172B2 (en) | Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image | |
US11172173B2 (en) | Image processing device, image processing method, program, and imaging device | |
US20100207958A1 (en) | Color image creating apparatus | |
US9105105B2 (en) | Imaging device, imaging system, and imaging method utilizing white balance correction | |
CN107079108B (zh) | 机动车辆相机装置、其操作方法和包括其的机动车辆 | |
JP5521927B2 (ja) | 撮像装置 | |
Hertel et al. | A low-cost VIS-NIR true color night vision video system based on a wide dynamic range CMOS imager | |
JP2012010141A (ja) | 画像処理装置 | |
JP2012008845A (ja) | 画像処理装置 | |
WO2022030367A1 (ja) | 撮像装置 | |
JP6991664B2 (ja) | 撮影画像表示システム及び電子ミラーシステム | |
Jung et al. | Visible and NIR image blending for night vision | |
JP2003070009A (ja) | 撮像装置 | |
WO2007027516A1 (en) | Improved chrominance filter for white balance statistics | |
CN112335233B (zh) | 图像生成装置以及摄像装置 | |
EP3389257A1 (en) | Method for adapting brightness of image data, image capturing system and advanced driver assistance system | |
US20210287335A1 (en) | Information processing device and program | |
JP2014150471A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12868267 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12868267 Country of ref document: EP Kind code of ref document: A1 |