JP2020197848A - Image processing device, imaging device, computer program, storage medium and method - Google Patents

Abstract

To enable the creation of a composite image obtained by suppressing the influence of subject blur occurring in a visible image in an image processing device for creating a composite image obtained by synthesizing a visible light image with an invisible light image.SOLUTION: An image processing device includes image composition means for creating a composite image obtained by synthesizing a visible light image with an invisible light image having an exposure time shorter than that of the visible light image, first moving body detection means for detecting a moving body on the visible light image, and second moving body detection means for detecting a moving body on the invisible light image. The image composition means creates the composite image in an area in which detection results of the first moving body detection means and the second moving body detection means are the same.SELECTED DRAWING: Figure 2

Description

本発明は合成画像を生成する画像処理装置、撮像装置、コンピュータプログラム、記憶媒体及び方法に関するものである。 The present invention relates to an image processing device, an imaging device, a computer program, a storage medium and a method for generating a composite image.

監視用途などの撮像装置においては、夜間などの低照度時にも被写体の色を再現することが要求される。例えば特許文献１では、低照度時にも被写体の色を再現できる撮像装置として、可視光に感度を有する撮像素子に加えて、近赤外光に感度を有する撮像素子を備え、これら二つの撮像素子で取得した画像を合成して表示する撮像装置が提案されている。 In imaging devices for surveillance purposes, it is required to reproduce the color of the subject even in low illuminance such as at night. For example, in Patent Document 1, as an image sensor capable of reproducing the color of a subject even in low illuminance, in addition to an image sensor having sensitivity to visible light, an image sensor having sensitivity to near infrared light is provided, and these two image sensors are provided. An image sensor that synthesizes and displays the images acquired in the above has been proposed.

特開２０１８−０２３０７７号公報JP-A-2018-023077

特許文献１では、可視光に感度を有する撮像素子で撮影した画像（以下、可視画像と称す）の輝度信号に、近赤外光に感度を有する撮像素子で撮影した画像（以下、赤外画像と称す）の輝度信号を加算し、可視画像の色信号比を残して合成画像を生成している。この手法によると低照度環境においても輝度ノイズの少ない画像を生成することが可能になるとされている。しかしながら、特許文献１の手法を用いて撮影した場合、輝度信号のＳＮＲ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）は高くできるが、色信号は可視画像と同一であるためＳＮＲは向上しない。仮に色信号のＳＮＲも向上させようとした場合には、可視光に感度を有する撮像素子の露光時間を長くし、色信号量を大きくする必要がある。しかしながらこのように露光時間を長くした場合には、被写体ブレが発生しやすくなる。図１は、可視画像側で被写体ブレが発生してしまった画像を赤外画像と合成した従来例を示す図である。この場合、当然ながら合成画像にも被写体ブレが影響し、図１に示すように認識性の低い画像となる。このような画像は監視用途として望ましくない。 In Patent Document 1, an image taken with an image sensor having sensitivity to near-infrared light (hereinafter referred to as an infrared image) is associated with a brightness signal of an image taken with an image sensor having sensitivity to visible light (hereinafter referred to as a visible image). The brightness signals (referred to as) are added to generate a composite image while leaving the color signal ratio of the visible image. According to this method, it is possible to generate an image with less luminance noise even in a low-light environment. However, when the image is taken by using the method of Patent Document 1, the SNR (Signal to Noise Ratio) of the luminance signal can be increased, but the SNR is not improved because the color signal is the same as the visible image. If it is attempted to improve the SNR of the color signal, it is necessary to lengthen the exposure time of the image sensor having sensitivity to visible light and increase the amount of the color signal. However, when the exposure time is lengthened in this way, subject blurring is likely to occur. FIG. 1 is a diagram showing a conventional example in which an image in which subject blurring has occurred on the visible image side is combined with an infrared image. In this case, as a matter of course, the subject blur also affects the composite image, resulting in an image with low recognition as shown in FIG. Such images are not desirable for surveillance applications.

可視光画像と前記可視光画像よりも露光時間が短い非可視光画像とを合成した合成画像を生成する画像合成手段と、前記可視光画像における動体を検出する第一の動体検出手段と、前記非可視光画像における動体を検出する第二の動体検出手段と、を有し、前記画像合成手段は、前記第一の動体検出手段と前記第二の動体検出手段の検出結果が同じ領域において前記合成画像を生成することを特徴とする。 An image synthesizing means for generating a composite image obtained by synthesizing a visible light image and a non-visible light image having an exposure time shorter than that of the visible light image, a first moving object detecting means for detecting a moving object in the visible light image, and the above. The image synthesizing means includes a second moving object detecting means for detecting a moving object in an invisible light image, and the image synthesizing means is the same in a region where the detection results of the first moving object detecting means and the second moving object detecting means are the same. It is characterized by generating a composite image.

従来例における合成画像を示す図。The figure which shows the composite image in the conventional example. 第１の実施形態におけるシステムブロック図。The system block diagram in the first embodiment. 第１の実施形態における撮影画像および合成画像を示す図。The figure which shows the photographed image and the composite image in 1st Embodiment. 第２の実施形態における色情報の補間について説明する図。The figure explaining the interpolation of the color information in the 2nd Embodiment. 第２の実施形態における合成画像を示す図。The figure which shows the composite image in 2nd Embodiment. 第３の実施形態における背景画像を示す図。The figure which shows the background image in 3rd Embodiment. 第３の実施形態における合成画像を生成する概念図。The conceptual diagram which generates the composite image in 3rd Embodiment.

以下、図を用いて、本発明の実施形態における撮像装置について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。 Hereinafter, the imaging apparatus according to the embodiment of the present invention will be described with reference to the drawings. At that time, those having the same function in all the figures are given the same number, and the repeated description is omitted.

（第１の実施形態）
図２は、本実施形態における撮像装置を示す図である。図２において、撮像装置１００は、結像光学系１０１、光分離部１０２、第一の撮像素子１０３、第二の撮像素子１０４、制御部１０５、第一の動体検出部１０６、第二の動体検出部１０７、合成処理部１０８を有する。 (First Embodiment)
FIG. 2 is a diagram showing an imaging device according to the present embodiment. In FIG. 2, the image pickup device 100 includes an imaging optical system 101, an optical separation unit 102, a first image sensor 103, a second image sensor 104, a control unit 105, a first moving object detection unit 106, and a second moving object. It has a detection unit 107 and a synthesis processing unit 108.

光分離部１０２は、結像光学系１０１を透過した入射光を、第一の撮像素子１０３と第二の撮像素子１０４に分離している。具体的には、光分離部１０２は波長選択プリズムから構成されており、特定の閾値の波長よりも短い波長の光（可視光）は波長選択プリズムを透過し、特定の閾値の波長よりも長い波長の光（赤外光）は波長選択プリズムで反射される。即ち、可視光は撮像素子１０３に入射し、赤外光（非可視光）は撮像素子１０４に入射するように構成されている。ここで、特定の閾値は、例えば、６００ｎｍ以上７５０ｎｍ以下である。即ち、可視光と赤外光の境目は６００ｎｍ以上７５０ｎｍ以下と定義する。また、赤外光とは、例えば、７５０ｎｍよりも長い波長の光を意味する。 The light separation unit 102 separates the incident light transmitted through the imaging optical system 101 into the first image sensor 103 and the second image sensor 104. Specifically, the light separation unit 102 is composed of a wavelength selection prism, and light having a wavelength shorter than the wavelength of the specific threshold (visible light) passes through the wavelength selection prism and is longer than the wavelength of the specific threshold. Light of wavelength (infrared light) is reflected by the wavelength selection prism. That is, visible light is incident on the image sensor 103, and infrared light (invisible light) is incident on the image sensor 104. Here, the specific threshold value is, for example, 600 nm or more and 750 nm or less. That is, the boundary between visible light and infrared light is defined as 600 nm or more and 750 nm or less. Further, infrared light means, for example, light having a wavelength longer than 750 nm.

第一の撮像素子１０３は少なくとも可視光に感度を有し、第二の撮像素子１０４は少なくとも赤外光に感度を有している。第一の撮像素子１０３中の画素は、ＲＧＢベイヤー配列のオンチップカラーフィルタを備えている。 The first image sensor 103 is at least sensitive to visible light, and the second image sensor 104 is at least sensitive to infrared light. The pixels in the first image sensor 103 include an RGB Bayer array on-chip color filter.

図３は、本実施形態における撮像画像及び合成画像を示す図である。図３（ａ）は、第一の撮像素子１０３で取得した第一の画像１２０（可視光画像）を示している。この第一の画像１２０からは、輝度情報のほかに色情報を取得することができる。また、図３（ｂ）は、第二の撮像素子１０４で取得した第二の画像１２１（非可視光画像）を示している。この第二の画像１２１からは、輝度情報のみを取得することができる。各々の固体撮像素子１０３、１０４の駆動および画像の読み出しは、制御部１０５が制御している。以上は撮像装置１００が結像光学系と光分離部を１つずつ有する構成を示したが、光分離部が無く結像光学系が二つの撮像素子それぞれに１つずつ存在する構成としてもよい。ただし、結像光学系と光分離部が１つずつ備えられた撮像装置のほうが撮像装置のサイズを小さく出来ることと、両撮像素子の画像に視差が発生しないため望ましい。 FIG. 3 is a diagram showing a captured image and a composite image in the present embodiment. FIG. 3A shows a first image 120 (visible light image) acquired by the first image sensor 103. Color information can be obtained in addition to the luminance information from the first image 120. Further, FIG. 3B shows a second image 121 (invisible light image) acquired by the second image sensor 104. Only the luminance information can be acquired from the second image 121. The control unit 105 controls the driving of the solid-state image sensors 103 and 104 and the reading of the image. The above shows the configuration in which the image pickup apparatus 100 has one imaging optical system and one optical separation unit, but there may be a configuration in which there is no optical separation unit and one imaging optical system exists in each of the two image pickup elements. .. However, an image pickup device provided with one imaging optical system and one light separation unit is desirable because the size of the image pickup device can be reduced and parallax does not occur in the images of both image pickup devices.

＜動体検出＞
第一の画像１２０と第二の画像１２１はそれぞれ動体検出部１０６（第一の動体検出手段）および１０７（第二の動体検出手段）に送られ、それぞれ動体の検出が行われる。すなわち、動体検出部１０６において可視光画像上の動体が検出され、動体検出部１０７において非可視光画像上の動体が検出される。ここで動体の検出方法は例えば背景差分法などの手法が用いられる。第一の画像１２０および第二の画像１２１は、それぞれ「動体」と判定されたエリアの座標情報（以下、動体エリアと称す）とともに、合成処理部１０８に送られる。ここで「座標情報」とは、動体であると判定された領域の画素の、該画像内におけるｘｙアドレスを示す。図３（ａ）に示すように、太線１４０の範囲が第一の画像１２０における動体の範囲である。また、図３（ｂ）に示すように、太線１４１の範囲が第二の画像１２１における動体の範囲である。 <Motion detection>
The first image 120 and the second image 121 are sent to the moving body detecting unit 106 (first moving body detecting means) and 107 (second moving body detecting means), respectively, and the moving body is detected, respectively. That is, the moving object detection unit 106 detects the moving object on the visible light image, and the moving object detecting unit 107 detects the moving object on the invisible light image. Here, as a method for detecting a moving object, a method such as the background subtraction method is used. The first image 120 and the second image 121 are sent to the synthesis processing unit 108 together with the coordinate information (hereinafter, referred to as a moving body area) of the area determined to be the “moving body”, respectively. Here, the "coordinate information" indicates the xy address in the image of the pixel in the region determined to be a moving object. As shown in FIG. 3A, the range of the thick line 140 is the range of the moving body in the first image 120. Further, as shown in FIG. 3B, the range of the thick line 141 is the range of the moving body in the second image 121.

＜合成処理＞
合成処理部１０８は、第一の画像１２０と第二の画像１２１を合成して、第三の画像１２３を生成する。具体的には、次のような処理を行う。 <Synthesis processing>
The compositing processing unit 108 synthesizes the first image 120 and the second image 121 to generate the third image 123. Specifically, the following processing is performed.

まず、ＲＧＢ形式で読み出された第一の画像１２０に現像処理（黒レベル補正、ホワイトバランス調整、デモザイク処理、ガンマ補正、フォーマット変換など）を行い、ＹＵＶ形式に変換する。この際の第一の画像１２０のＹＵＶ信号を各々、Ｙ１、Ｕ１、Ｖ１とする。同様に、第二の画像１２１を現像処理してＹＵＶ形式に変換する。この際の第二の画像１２１のＹ信号をＹ２とする。なお、第二の画像１２１は色情報を有さないため、ＵとＶの値はゼロである。 First, the first image 120 read out in the RGB format is subjected to development processing (black level correction, white balance adjustment, demosaic processing, gamma correction, format conversion, etc.) and converted to the YUV format. At this time, the YUV signals of the first image 120 are Y1, U1, and V1, respectively. Similarly, the second image 121 is developed and converted into the YUV format. At this time, the Y signal of the second image 121 is Y2. Since the second image 121 does not have color information, the values of U and V are zero.

次に、第一の画像のＹＵＶ信号と第二の画像のＹ信号と、それぞれの画像における動体エリアの情報が合成処理部１０８に送られ、図３（ｄ）に示す第三の画像１２３が生成される。具体的には、第三の画像１２３のＹＵＶ信号を各々、Ｙ３、Ｕ３、Ｖ３とした時、以下に示す条件分けと計算式を用いて合成を行う。 Next, the YUV signal of the first image, the Y signal of the second image, and the information of the moving body area in each image are sent to the synthesis processing unit 108, and the third image 123 shown in FIG. 3D is displayed. Will be generated. Specifically, when the YUV signals of the third image 123 are Y3, U3, and V3, respectively, the composition is performed using the conditional classification and calculation formula shown below.

［第一の画像、第二の画像で共に動体エリアと判定された範囲、および第一の画像、第二の画像で共に背景と判定された範囲］
図３（ｃ）は、第一の画像、第二の画像で共に動体エリアと判定された範囲、および第一の画像、第二の画像で共に背景と判定された範囲を示す図である。図３（ｃ）の画像１２２における斜線部１４２以外の範囲は、第一の画像および第二の画像において共に「動体と判定された範囲」、と「（動体ではなく）背景と判定された範囲」である。すなわち、すなわち、斜線部１４２は、動体検出部１０６（第一の動体検出手段）と動体検出部１０７（第二の動体検出手段）の双方で検出結果が同じ領域である。第一の画像および第二の画像において共に「動体と判定された範囲」、と「（動体ではなく）背景と判定された範囲」は、第一の画像の被写体ブレがない範囲である。式１に示すように、この範囲においては輝度信号として第一の画像の輝度信号Ｙ１に第二の画像の輝度信号Ｙ２を加えた値を第三の画像の輝度値Ｙ３とすることで輝度のＳＮＲを向上させる。また、式２及び式３に示すように、色差信号は露光時間を長くすることで色信号のＳＮＲが向上した第一の画像の色差信号Ｕ１、Ｖ１を使用する。これにより、この範囲における第三の画像の輝度および色のＳＮＲは向上し、認識性も向上する。
Ｙ３＝Ｙ１＋Ｙ２ 式１
Ｕ３＝Ｕ１ 式２
Ｖ３＝Ｖ１ 式３ [Area determined to be a moving body area in both the first and second images, and a range determined to be a background in both the first and second images]
FIG. 3C is a diagram showing a range determined to be a moving object area in both the first image and the second image, and a range determined to be a background in both the first image and the second image. The range other than the shaded area 142 in the image 122 of FIG. 3C is the range determined to be a “moving object” and the range determined to be a background (not a moving object) in both the first image and the second image. ". That is, the shaded area 142 has the same detection result in both the moving object detecting unit 106 (first moving object detecting means) and the moving object detecting unit 107 (second moving object detecting means). In both the first image and the second image, the "range determined to be a moving object" and the "range determined to be a background (not a moving object)" are ranges in which there is no subject blur in the first image. As shown in Equation 1, in this range, the luminance signal Y1 of the first image plus the luminance signal Y2 of the second image is used as the luminance signal to obtain the luminance value Y3 of the third image. Improve SNR. Further, as shown in Equations 2 and 3, the color difference signals U1 and V1 of the first image in which the SNR of the color signal is improved by lengthening the exposure time are used. As a result, the brightness and color SNR of the third image in this range are improved, and the recognition property is also improved.
Y3 = Y1 + Y2 Equation 1
U3 = U1 formula 2
V3 = V1 formula 3

［第一の画像で動体エリアと判定され、かつ第二の画像で背景エリアと判定された範囲］
図３（ｃ）の画像１２２の斜線部１４２は、第一の画像において「動体」として判定され、かつ、第二の画像において「背景」として判定された範囲を表している。すなわち、斜線部１４２は、動体検出部１０６（第一の動体検出手段）と動体検出部１０７（第二の動体検出手段）の検出結果が異なる領域である。第一の撮像素子（可視光撮影用）は色のＳＮＲ向上のために第二の撮像素子（赤外光撮影用）に比べて露光時間が長い。このため第一の画像では被写体ブレが発生しやすくなる。ここでは、被写体に動きがあり被写体ブレが発生した場合について説明する。第一の画像において被写体ブレの広がった範囲は動体検出部１０６によって動体として判定される。一方、第一の撮像素子に比べて短秒の露光時間での撮影となる第二の撮像素子では被写体ブレが抑えられ動体として検出される範囲は第一の画像よりも狭い範囲となる。したがって第二の画像において動体ではなく「背景」と判定され、かつ第一の画像において「動体」として判定された範囲は被写体ブレの広がる範囲と見なせる。このように被写体ブレが第一の画像に発生している場合、二つの画像１２０および１２１を単純に合成した場合には合成画像１２３にも被写体ブレが生じ、認識性を低下させる要因となる。 [Area determined to be a moving object area in the first image and a background area in the second image]
The shaded portion 142 of the image 122 of FIG. 3C represents a range determined as a “moving object” in the first image and as a “background” in the second image. That is, the shaded area 142 is a region where the detection results of the moving object detecting unit 106 (first moving object detecting means) and the moving object detecting unit 107 (second moving object detecting means) are different. The exposure time of the first image sensor (for visible light photography) is longer than that of the second image sensor (for infrared light photography) in order to improve the color SNR. Therefore, subject blur is likely to occur in the first image. Here, a case where the subject is moving and subject blurring occurs will be described. In the first image, the widened range of the subject blur is determined as a moving object by the moving object detecting unit 106. On the other hand, in the second image sensor, which takes a picture with a shorter exposure time than the first image sensor, subject blurring is suppressed and the range detected as a moving object is narrower than that of the first image. Therefore, the range determined as the "background" instead of the moving object in the second image and as the "moving object" in the first image can be regarded as the range in which the subject blur spreads. When the subject blur occurs in the first image in this way, when the two images 120 and 121 are simply combined, the subject blur also occurs in the composite image 123, which causes a decrease in recognition.

以下の式４〜６は、この被写体ブレの発生している範囲（画像１２２の斜線部１４２）においては第二の画像の輝度信号のみを用いてモノクロ画像を出力することを表している。
Ｙ３＝Ｙ２ 式４
Ｕ３＝０ 式５
Ｖ３＝０ 式６ Equations 4 to 6 below represent that a monochrome image is output using only the luminance signal of the second image in the range where the subject blur is generated (hatched portion 142 of the image 122).
Y3 = Y2 formula 4
U3 = 0 formula 5
V3 = 0 formula 6

色差信号Ｕ３およびＶ３を０とすることによって、色情報が失われる代わりに第一の画像の被写体ブレが第三の画像１２３（合成画像）に反映されることを防止し、認識性の高い画像を生成することができる。ここで失われた色情報とは、もともとは第一の画像１２０において被写体の色と背景の色が混ざった色の情報であり、監視用途としては証拠性の低い情報である。このため、この色情報自体を失うことは不必要な情報を捨てる行為でありデメリットは少ない。 By setting the color difference signals U3 and V3 to 0, it is possible to prevent the subject blur of the first image from being reflected in the third image 123 (composite image) instead of losing the color information, and the image is highly recognizable. Can be generated. The color information lost here is originally color information in which the color of the subject and the color of the background are mixed in the first image 120, and is information with low evidence for monitoring purposes. Therefore, losing this color information itself is an act of throwing away unnecessary information, and there are few disadvantages.

以上のように本実施形態の手法を用いることによって、被写体ブレの発生している範囲においては被写体ブレの影響を除去し、被写体ブレ以外の範囲においては輝度および色のＳＮＲを向上させた合成画像１２３を取得することが可能になる。つまり、課題であった被写体ブレを抑制しながら輝度および色のＳＮＲが高い画像、すなわち認識性の高い監視画像を取得することが可能になる。 As described above, by using the method of the present embodiment, the influence of the subject blur is removed in the range where the subject blur is occurring, and the brightness and the color SNR are improved in the range other than the subject blur. It becomes possible to acquire 123. That is, it is possible to acquire an image having a high brightness and color SNR, that is, a surveillance image with high recognition while suppressing subject blurring, which has been a problem.

（第２の実施形態）
第２の実施形態では、第１の実施形態に比べて被写体ブレの範囲における色情報が補間され、さらに認識性が向上した画像を取得することが可能になる。より具体的には、第三の画像１２３の一部において、被写体ブレの影響を抑制する代わりに色情報が失われた範囲の色情報を、第一の画像における周囲の色情報から推測し、補間するものである。 (Second Embodiment)
In the second embodiment, the color information in the range of subject blur is interpolated as compared with the first embodiment, and it becomes possible to acquire an image with further improved recognition. More specifically, in a part of the third image 123, the color information in the range where the color information is lost instead of suppressing the influence of the subject blur is estimated from the surrounding color information in the first image. It is to interpolate.

第２の実施形態の撮像装置は第１の実施形態と同一のため説明を省略する。第２の実施形態と第１の実施形態の違いは合成処理部１０８での処理方法であり、具体的には「第一の画像で動体と判定され、かつ第二の画像で背景と判定された範囲」の合成方法が異なる。 Since the image pickup apparatus of the second embodiment is the same as that of the first embodiment, the description thereof will be omitted. The difference between the second embodiment and the first embodiment is the processing method in the synthesis processing unit 108. Specifically, "the first image is determined to be a moving object, and the second image is determined to be a background." The composition method of "the range" is different.

図５は、本実施形態における合成画像を示す図である。図５（ａ）の画像１２２における斜線部１４２は「第一の画像で動体と判定され、かつ第二の画像で背景と判定された範囲」を示している。第１の実施形態ではこの範囲の輝度信号Ｙ３に第二の画像の輝度信号Ｙ２を使用し、色差信号Ｕ３およびＶ３は０とすることで被写体ブレのないモノクロ画像を出力していた。本実施形態では、この範囲における色差信号Ｕ３とＶ３の値を、この範囲に隣接する周囲の色差信号で置き換えることでカラー画像とする。 FIG. 5 is a diagram showing a composite image in the present embodiment. The shaded portion 142 in the image 122 of FIG. 5A indicates “a range determined to be a moving object in the first image and a background in the second image”. In the first embodiment, the luminance signal Y2 of the second image is used as the luminance signal Y3 in this range, and the color difference signals U3 and V3 are set to 0 to output a monochrome image without subject blur. In the present embodiment, the values of the color difference signals U3 and V3 in this range are replaced with the surrounding color difference signals adjacent to this range to obtain a color image.

合成処理部１０８では入力された第一の画像１２０において「背景」と判定されたエリアに対し、エッジ情報を利用してエッジが閉曲線を描く領域毎に画像を分割し、それぞれの領域毎に、色差信号ＵおよびＶの代表値を算出する。ここで、画像のエッジを検出する手法は一般的な勾配法やラプラシアン法等を用いればよい。ここでは一例として領域毎に輝度の代表値として平均値を算出する場合を説明するが、代表値は最頻値、中央値などでもよいし、輝度Ｙの値によって任意に重みづけ平均した値でもよい。また、領域毎に算出する値を変えてもよい。 The compositing processing unit 108 divides the image into each area where the edge draws a closed curve by using the edge information for the area determined as the "background" in the input first image 120, and divides the image into each area. The representative values of the color difference signals U and V are calculated. Here, as a method for detecting the edge of the image, a general gradient method, a Laplacian method, or the like may be used. Here, as an example, the case where the average value is calculated as the representative value of the brightness for each region will be described, but the representative value may be the mode value, the median value, or the like, or may be an arbitrary weighted average value according to the value of the brightness Y. Good. Moreover, the value calculated for each region may be changed.

図４は、本実施形態における色情報の補間について説明する図である。図４（ａ）に示す画像１２０において、２００〜２０６がエッジ情報によって分割された領域を表している。 FIG. 4 is a diagram illustrating interpolation of color information in the present embodiment. In the image 120 shown in FIG. 4A, 200 to 206 represent regions divided by edge information.

次に合成処理部１０８は第二の画像１２１の「背景」と判定されたエリアに対し、エッジ情報を利用してエッジが閉曲線を描く領域毎に分割する。図４（ｂ）に示す画像１２１において、２５０〜２５１がエッジ情報によって分割された領域を表している。次に、第二の画像１２１で分割されたそれぞれの領域２５０〜２５６と、第一の画像１２０で分割された領域２００〜２０６の紐づけを行う。ここで紐づけとは、「同一のテクスチャーである」と判断される二つの領域を対応づけすることを示す。また、第二の画像において紐づけられた領域の色信号には、対応する第一の画像の分割領域の色信号の代表値を使用する。このことによって被写体ブレが発生している範囲における色差信号を補間することができる。紐づけは具体的には次のようにして行う。まず、第一の画像１２０で分割された領域２００〜２０６のうち、ある一つの領域２０６に着目すると、第二の画像１２１の分割された領域２５０〜２５６の中に、領域２０６を内包する領域２５６が見つかる。したがって領域２０６は領域２５６のテクスチャーの一部であると判断できるので、領域２０６と領域２５６を同一エリアとして紐づけする。同様にして第一の画像で分割された領域全てに対して、対応する（内包する）第二の画像における分割領域を紐づけていき、最終的に図４（ｃ）に示すテーブルとして保持する。 Next, the composition processing unit 108 divides the area determined to be the “background” of the second image 121 into areas where the edges draw a closed curve by using the edge information. In the image 121 shown in FIG. 4B, 250 to 251 represent a region divided by edge information. Next, the respective regions 250 to 256 divided by the second image 121 and the regions 200 to 206 divided by the first image 120 are linked. Here, associating means associating two regions judged to have "the same texture". Further, as the color signal of the region associated with the second image, the representative value of the color signal of the corresponding divided region of the first image is used. This makes it possible to interpolate the color difference signal in the range where subject blurring occurs. Specifically, the association is performed as follows. First, focusing on one of the regions 200 to 206 divided by the first image 120, the region 206 is included in the divided regions 250 to 256 of the second image 121. 256 is found. Therefore, since it can be determined that the area 206 is a part of the texture of the area 256, the area 206 and the area 256 are associated with each other as the same area. In the same way, all the regions divided by the first image are associated with the divided regions in the corresponding (included) second image, and finally held as the table shown in FIG. 4 (c). ..

図５は、本実施形態における合成画像を示す図である。合成処理１０８は「第一の画像で動体エリアと判定され、かつ第二の画像で背景エリアと判定された範囲」（図５（ａ）の斜線部１４２）において、この範囲におけるそれぞれの画素の色差信号を次のようにして決める。まずある画素１５０に着目する。画素１５０の位置は図５（ａ）の１５０であり、かつ図４（ｂ）においては画像１２１における画素１５０である。図４（ｃ）を見ると、画素１５０は領域２５６に属している。図４（ｃ）の領域毎の紐づけ結果から、領域２５６と紐づけられている第一の画像上の分割領域が領域２０６であることが分かる。したがって領域２０６の色差信号の代表値を画素１５０の色差信号として使用する。これを図５（ａ）の斜線部１４２内の全ての画素に対して実施することで、色情報が補間されたカラー画像が取得できる。 FIG. 5 is a diagram showing a composite image in the present embodiment. In the compositing process 108, in "a range determined to be a moving object area in the first image and a background area in the second image" (shaded portion 142 in FIG. 5A), each pixel in this range The color difference signal is determined as follows. First, pay attention to a certain pixel 150. The position of the pixel 150 is 150 in FIG. 5 (a), and in FIG. 4 (b), it is the pixel 150 in the image 121. Looking at FIG. 4 (c), the pixel 150 belongs to the region 256. From the result of associating each area in FIG. 4C, it can be seen that the divided area on the first image associated with the area 256 is the area 206. Therefore, the representative value of the color difference signal in the region 206 is used as the color difference signal of the pixel 150. By performing this for all the pixels in the shaded area 142 of FIG. 5A, a color image in which the color information is interpolated can be obtained.

一方、図５（ａ）における斜線部１４２以外の範囲、つまり「第一の画像、第二の画像で共に動体エリアと判定された範囲、および第一の画像、第二の画像で共に背景と判定された範囲」は第１の実施形態と同様に式１〜３を用いて合成させる。 On the other hand, the range other than the shaded area 142 in FIG. 5A, that is, "the range determined to be a moving object area in both the first image and the second image, and the background in both the first image and the second image. The "determined range" is synthesized using formulas 1 to 3 as in the first embodiment.

以上により、合成画像１２４は図５（ｂ）に示す画像１２４となり、第１の実施形態における合成画像１２３（図３（ｄ））に比べ、被写体ブレ範囲の色情報量が補間され、認識性を更に向上することが可能となる。 As a result, the composite image 124 becomes the image 124 shown in FIG. 5 (b), and the amount of color information in the subject blur range is interpolated as compared with the composite image 123 (FIG. 3 (d)) in the first embodiment, and the recognizability is achieved. Can be further improved.

（第３の実施形態）
第３の実施形態では、第２の実施形態に比べて色情報の精度が向上し、より信頼性の高い監視画像を取得することが可能になる。具体的には、合成される第三の画像１２２の一部において、被写体ブレの影響を抑制する代わりに色情報が失われた範囲の色情報を第一の画像の複数フレームを用いて生成した背景画像の色情報で補間するものである。 (Third Embodiment)
In the third embodiment, the accuracy of the color information is improved as compared with the second embodiment, and it becomes possible to acquire a more reliable monitoring image. Specifically, in a part of the third image 122 to be combined, the color information in the range in which the color information is lost instead of suppressing the influence of the subject blur is generated by using a plurality of frames of the first image. It interpolates with the color information of the background image.

第３の実施形態の撮像装置も第１の実施形態と同一のため説明を省略する。第３の実施形態と第１の実施形態の違いは動体検出部１０６と合成処理部１０８での処理方法である。具体的には「第一の画像で動体エリアと判定され、かつ第二の画像で背景エリアと判定された範囲」の合成方法が異なる。 Since the image pickup apparatus of the third embodiment is the same as that of the first embodiment, the description thereof will be omitted. The difference between the third embodiment and the first embodiment is the processing method in the moving object detection unit 106 and the synthesis processing unit 108. Specifically, the method of synthesizing "the range determined to be the moving object area in the first image and the background area in the second image" is different.

図７は、本実施形態における合成画像を生成するフローの概念図である。図７（ａ）は第一の画像１２０を示す。また、図７（ｂ）は、第二の画像１２１を示す。また、図７（ｃ）は、第一の画像と第二の画像を合成し、色情報を補間する前の画像１２２を示す図である。図７（ｃ）の斜線部１４２は、「第一の画像で動体エリアと判定され、かつ第二の画像で背景エリアと判定された範囲」を示す。図７（ｄ）は、第一の画像と第二の画像を合成し、色情報を補間した後の画像１２７を示す図である。 FIG. 7 is a conceptual diagram of a flow for generating a composite image in the present embodiment. FIG. 7A shows the first image 120. Further, FIG. 7B shows a second image 121. Further, FIG. 7C is a diagram showing an image 122 before the first image and the second image are combined and the color information is interpolated. The shaded area 142 in FIG. 7C shows "a range determined to be a moving object area in the first image and a background area in the second image". FIG. 7D is a diagram showing an image 127 after synthesizing the first image and the second image and interpolating the color information.

本実施形態において動体検出部１０６は、第１の実施形態と同様の背景差分法などを用いた動体検出に加えて、動体が検出された際の背景画像１２５を、第一の画像および動体検知結果と共に合成処理部１０８へ送る。ここで、背景画像１２５は、背景差分法を用いる際に生成される第一の画像の複数フレームの移動平均を取った画像である。 In the present embodiment, the moving object detection unit 106 detects the moving object using the same background subtraction method as in the first embodiment, and also detects the background image 125 when the moving object is detected as the first image and the moving object. The result is sent to the synthesis processing unit 108. Here, the background image 125 is an image obtained by taking a moving average of a plurality of frames of the first image generated when the background subtraction method is used.

図６は、第一の撮像素子１０３により撮像される第一の画像（可視光画像）と、背景画像１２５、および動体検知結果１２６の複数フレームにおける関係を示す図である。撮影された第一の画像は複数フレームに渡って移動平均が取られ、その結果が背景画像となる。この背景画像は毎フレームの撮影画像によって更新される。更新された背景画像と、次フレームの撮影画像の差分が動体検知結果となり、所定の閾値を超えた信号差がある範囲が、動体とみなされる。図６では（ｎ＋ｍ＋１）フレーム目に撮影画像に動体が発生し、同フレームで動体が検出されている。画像１２６の白い範囲が動体として検知された範囲である。動体が検出された際の背景画像１２５とはすなわち動体が写っていない状態の背景画像である。また、複数フレームに渡って移動平均を取った画像であるため、ノイズ成分が抑制されＳＮＲが向上している。 FIG. 6 is a diagram showing the relationship between the first image (visible light image) captured by the first image sensor 103, the background image 125, and the motion detection result 126 in a plurality of frames. The captured first image is moved averaged over a plurality of frames, and the result is a background image. This background image is updated by the captured image of each frame. The difference between the updated background image and the captured image of the next frame is the motion detection result, and the range where there is a signal difference exceeding a predetermined threshold value is regarded as the motion object. In FIG. 6, a moving object is generated in the captured image at the (n + m + 1) frame, and the moving object is detected at the same frame. The white area of image 126 is the area detected as a moving object. The background image 125 when a moving object is detected is a background image in a state where the moving object is not captured. Further, since the image is a moving average taken over a plurality of frames, the noise component is suppressed and the SNR is improved.

合成処理部１０８では、入力された第一の画像１２０に加えて、背景画像１２５にも現像処理を行い、ＹＵＶ変換を実施する。ここでＹＵＶ変換処理後の背景画像１２５の輝度値をＹ４、色差信号をＵ４、Ｖ４とする。次に合成処理部１０８では「第一の画像で動体エリアと判定され、かつ第二の画像で背景エリアと判定された範囲」（斜線部１４２）の各画素について以下の式を用いて画像を合成する。
Ｙ３＝Ｙ２＋Ｙ４ 式７
Ｕ３＝Ｕ４ 式８
Ｖ３＝Ｖ４ 式９ In the compositing processing unit 108, in addition to the input first image 120, the background image 125 is also developed and subjected to YUV conversion. Here, the brightness value of the background image 125 after the YUV conversion process is Y4, and the color difference signals are U4 and V4. Next, the compositing processing unit 108 uses the following formula for each pixel of the "range determined to be the moving object area in the first image and the background area in the second image" (shaded area 142). Synthesize.
Y3 = Y2 + Y4 Equation 7
U3 = U4 formula 8
V3 = V4 formula 9

一方で、「第一の画像、第二の画像で共に動体エリアと判定された範囲、および第一の画像、第二の画像で共に背景と判定された範囲」は第一の実施形態と同様に式１〜式３を用いて合成する。 On the other hand, "the range determined to be the moving object area in both the first image and the second image, and the range determined to be the background in both the first image and the second image" are the same as in the first embodiment. Is synthesized using Equations 1 to 3.

合成画像は図７（ｄ）に示す画像１２７のようになる。図７（ｃ）の斜線部１４２に相当する範囲に着目すると、色差信号Ｕ３およびＶ３については背景画像のＵ４およびＶ４が用いられるため、モノクロ画像であった第１の実施形態に比べて色情報が補間される。さらに第２の実施形態と比べると、第２の実施形態ではこの領域の色差信号は周囲の隣接する分割領域の色差信号を用いた推測値であったのに対し、本実施形態では実際に撮影された実測値を用いており、色情報の信頼性が向上している。 The composite image is as shown in image 127 shown in FIG. 7 (d). Focusing on the range corresponding to the shaded area 142 in FIG. 7C, since the background images U4 and V4 are used for the color difference signals U3 and V3, the color information is compared with the first embodiment which is a monochrome image. Is interpolated. Further, as compared with the second embodiment, in the second embodiment, the color difference signal in this region is an estimated value using the color difference signal in the surrounding adjacent divided region, whereas in the present embodiment, the actual photographing is performed. The reliability of the color information is improved by using the measured values.

輝度信号Ｙ３については、第１の実施形態および第２の実施形態と異なり、Ｙ２に加えてＹ４が加算されるため、輝度のＳＮＲがより向上する。 As for the luminance signal Y3, unlike the first embodiment and the second embodiment, Y4 is added in addition to Y2, so that the luminance SNR is further improved.

この結果、本実施形態の手法を用いることで、第三の画像の全ての領域において、輝度および色のＳＮＲが向上された画像を取得することが可能になり、認識性の高い画像が取得できる。 As a result, by using the method of the present embodiment, it is possible to acquire an image with improved brightness and color SNR in all regions of the third image, and an image with high recognition can be acquired. ..

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 Although the embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and modifications can be made within the scope of the gist thereof.

上記実施形態において、合成処理部１０８が撮像装置１００に設けられた例を説明したが、合成処理部１０８はクライアント装置側に配置してもよい。この場合、クライアント装置からの指示に応じて撮像装置１００から第一の画像と第二の画像をクライアント装置に送り、クライアント装置側で画像合成を行ってもよい。 In the above embodiment, the example in which the synthesis processing unit 108 is provided in the imaging device 100 has been described, but the synthesis processing unit 108 may be arranged on the client device side. In this case, the first image and the second image may be sent from the image pickup apparatus 100 to the client apparatus according to the instruction from the client apparatus, and the image composition may be performed on the client apparatus side.

また、本発明における制御の一部または全部を上述した実施形態の機能を実現するコンピュータプログラム（ソフトウェア）をネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そして、その撮像装置や情報処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。 Further, a computer program (software) that realizes a part or all of the control in the present invention may be supplied to the image pickup apparatus or the information processing apparatus via a network or various storage media. Then, the computer (or CPU, MPU, etc.) in the image pickup device or the information processing device may read and execute the program. In that case, the program and the storage medium that stores the program constitute the present invention.

１００ 撮像装置
１０１ 結像光学系
１０２ 光分離部
１０３ 第一の固体撮像素子
１０４ 第二の固体撮像素子
１０５ 制御部
１０６ 第一の動体検出部
１０７ 第二の動体検出部
１０８ 合成処理部
１２０ 第一の画像
１２１ 第二の画像
１２２ 第一および第二の動体検出結果
１２３ 第１の実施形態における合成画像
１２４ 第２の実施形態における合成画像
１２５ 第３の実施形態における背景画像
１２６ 第３の実施形態における動体検知結果
１２７ 第３の実施形態における合成画像
１４０ 第一の画像の動体範囲
１４１ 第二の画像の動体範囲
１４２ 第一の画像の被写体ブレに相当する範囲
２００〜２０６ 第一の画像における分割領域
２５０〜２５６ 第二の画像における分割領域 100 Imaging device 101 Imaging optical system 102 Optical separation unit 103 First solid-state image sensor 104 Second solid-state image sensor 105 Control unit 106 First moving object detection unit 107 Second moving object detection unit 108 Synthesis processing unit 120 First Image 121 Second image 122 First and second moving object detection results 123 Composite image in the first embodiment 124 Composite image in the second embodiment 125 Background image in the third embodiment 126 Third embodiment 127 Synthetic image in the third embodiment 140 Moving object range of the first image 141 Moving object range of the second image 142 Range corresponding to subject blur of the first image 200 to 206 Division in the first image Area 250-256 Divided area in the second image

Claims (11)

可視光画像と前記可視光画像よりも露光時間が短い非可視光画像とを合成した合成画像を生成する画像合成手段と、
前記可視光画像における動体を検出する第一の動体検出手段と、
前記非可視光画像における動体を検出する第二の動体検出手段と、を有し、
前記画像合成手段は、前記第一の動体検出手段と前記第二の動体検出手段の検出結果が同じ領域において前記合成画像を生成することを特徴とする画像処理装置。 An image synthesizing means for generating a composite image obtained by synthesizing a visible light image and a non-visible light image having a shorter exposure time than the visible light image.
A first moving object detecting means for detecting a moving object in the visible light image,
It has a second moving object detecting means for detecting a moving object in the invisible light image, and has
The image processing apparatus is an image processing apparatus, characterized in that the image processing means generates the composite image in a region where the detection results of the first moving object detecting means and the second moving object detecting means are the same. 前記画像合成手段は、前記第一の動体検出手段および前記第二の動体検出手段の双方で動体が検出された領域において前記合成画像を生成することを特徴とする請求項１に記載の画像処理装置。 The image processing according to claim 1, wherein the image synthesizing means generates the composite image in a region where a moving object is detected by both the first moving object detecting means and the second moving object detecting means. apparatus. 前記画像合成手段は、前記第一の動体検出手段および前記第二の動体検出手段の双方で動体が検出されなかった領域において前記合成画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。 The first or second aspect of the present invention, wherein the image synthesizing means generates the composite image in a region where no moving object is detected by both the first moving object detecting means and the second moving object detecting means. Image processing equipment. 前記画像合成手段は、前記第一の動体検出手段と前記第二の動体検出手段の検出結果が異なる領域においては前記合成画像を生成しないで前記非可視光画像を用いることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。 The claim is characterized in that the image synthesizing means uses the invisible light image without generating the composite image in a region where the detection results of the first moving object detecting means and the second moving object detecting means are different. The image processing apparatus according to any one of 1 to 3. 前記画像合成手段は、前記第一の動体検出手段と前記第二の動体検出手段の検出結果が異なる領域においては前記合成画像を生成しないで前記非可視光画像を用い、前記検出結果が異なる領域に対応する前記非可視光画像の色信号を、前記検出結果が異なる領域に隣接する領域に対応する前記可視光画像の色信号に置き換えることを特徴とする請求項４に記載の画像処理装置。 The image synthesizing means uses the invisible light image without generating the composite image in a region where the detection results of the first moving object detecting means and the second moving object detecting means are different, and the detection result is different. The image processing apparatus according to claim 4, wherein the color signal of the invisible light image corresponding to the above is replaced with a color signal of the visible light image corresponding to a region adjacent to a region where the detection result is different. 前記画像合成手段は、前記第一の動体検出手段と前記第二の動体検出手段の検出結果が異なる領域において、複数のフレームの前記可視光画像を用いて生成した背景画像と、前記非可視光画像とを合成することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。 The image synthesizing means includes a background image generated by using the visible light images of a plurality of frames in a region where the detection results of the first moving object detecting means and the second moving object detecting means are different, and the invisible light. The image processing apparatus according to any one of claims 1 to 3, wherein the image is combined with an image. 前記前記第一の動体検出手段と前記第二の動体検出手段の検出結果が異なる領域とは、前記第一の動体検出手段で動体が検出され、前記第二の動体検出手段で動体が検出されなかった領域であることを特徴とする請求項４から６のいずれか一項に記載の画像処理装置。 In the region where the detection results of the first moving body detecting means and the second moving body detecting means are different, the moving body is detected by the first moving body detecting means, and the moving body is detected by the second moving body detecting means. The image processing apparatus according to any one of claims 4 to 6, wherein the area is not present. 請求項１から７のいずれか一項に記載の画像処理装置を有する撮像装置。 An image pickup apparatus having the image processing apparatus according to any one of claims 1 to 7. 請求項１から７のいずれか一項に記載の撮像装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。 A computer program for operating a computer as each means of the imaging device according to any one of claims 1 to 7. 請求項９に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。 A computer-readable storage medium that stores the computer program according to claim 9. 可視光画像と非可視光画像を合成した合成画像を生成するための方法であって、
前記可視光画像と前記可視光画像よりも露光時間が短い前記非可視光画像とを合成した合成画像を生成する画像合成ステップと、
前記可視光画像における動体を検出する第一の動体検出ステップと、
前記非可視光画像における動体を検出する第二の動体検出ステップと、を有し、
前記画像合成ステップは、前記第一の動体検出ステップと前記第二の動体検出ステップの検出結果が同じ領域において前記合成画像を生成することを特徴とする方法。 It is a method for generating a composite image that combines a visible light image and a non-visible light image.
An image synthesizing step of generating a composite image obtained by synthesizing the visible light image and the invisible light image having a shorter exposure time than the visible light image.
The first moving object detection step for detecting a moving object in the visible light image,
It has a second moving object detection step of detecting a moving object in the invisible light image.
The image synthesis step is a method characterized in that the composite image is generated in a region where the detection results of the first moving object detection step and the second moving object detection step are the same.

Images