JP2015125513A - Image processing method, image processor and program - Google Patents

Image processing method, image processor and program Download PDF

Info

Publication number
JP2015125513A
JP2015125513A JP2013268144A JP2013268144A JP2015125513A JP 2015125513 A JP2015125513 A JP 2015125513A JP 2013268144 A JP2013268144 A JP 2013268144A JP 2013268144 A JP2013268144 A JP 2013268144A JP 2015125513 A JP2015125513 A JP 2015125513A
Authority
JP
Japan
Prior art keywords
foreground
gaussian distribution
block
feature
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013268144A
Other languages
Japanese (ja)
Inventor
西谷隆夫
Takao Nishitani
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2013268144A priority Critical patent/JP2015125513A/en
Publication of JP2015125513A publication Critical patent/JP2015125513A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a method which can use outdoors a gesture input as input means to be easily handled by a portable ITC terminal system and is performed by a monocular camera of a small scale, requiring the use of image enhancement as preprocessing to eliminate shadow, and the image enhancement requiring a large amount of arithmetic operations even though a method for extracting feature amounts for separating a background from a foreground as such a method and constructing a background model corresponding to the feature amounts of them to make a determination on the basis of a difference between an input feature amount and the background model is known, which means that an ITC terminal requires high power consumption and is difficult to be miniaturized and inhibits application to a portable terminal, especially a wearable terminal.SOLUTION: An environment is created, in which shadow elimination equal to image enhancement preprocessing having heavy arithmetic operation amounts can be performed by preparing a conversion region feature amount and a color average feature amount by a one-frame input image and switching the conversion region and the color average feature amount in accordance with a feature of the background.

Description

本発明は、画像処理方法、画像処理装置、およびプログラムに関する。本発明は特に、画像を用いた影に反応しない監視装置やジェスチャー入力システムに属する。つまり、屋内外環境で撮影した映像中の動く領域のうち、実体のない影を除外した領域を抽出して用いる画像処理方法、画像処理装置およびプログラムに関する。 The present invention relates to an image processing method, an image processing apparatus, and a program. The present invention particularly relates to a monitoring apparatus and a gesture input system that do not react to a shadow using an image. That is, the present invention relates to an image processing method, an image processing apparatus, and a program that extract and use an area excluding an intangible shadow among moving areas in a video shot in an indoor / outdoor environment.

映像による監視やジェスチャー入力システムは影が障害になることが多い。システムにとっては影を実体のある入力対象と誤解するためである。人のジェスチャー入力を対象にした装置では、すでにマイクロソフト社は自社のゲーム機器のジェスチャー入力システムとして赤外線カメラを用いたKinectを販売している。これは赤外線カメラによる対象物の温度を感じて人物抽出しており、影による背景上の動く領域は体温より低い。このため、赤外線カメラは影に反応しない。よって、影はジェスチャーには含まれないようにできる。ただし、熱源や赤外線の多い場所での使用は考慮されていない。このため、Kinectでは屋外は使えず、窓際では使用しないように注意書きがある。また、屋内でも熱源がある台所やペット動物が室内にいないことも重要である。よって、Kinectでは影の影響を赤外線カメラで除去しているものの、利用できない環境も多い。 Shadows are often an obstacle in video surveillance and gesture input systems. This is because the system misunderstands the shadow as an actual input object. For devices that target human gesture input, Microsoft already sells Kinect, which uses an infrared camera as its gesture input system for its game consoles. The person is extracted by sensing the temperature of the object by the infrared camera, and the moving area on the background due to the shadow is lower than the body temperature. For this reason, the infrared camera does not react to shadows. Therefore, the shadow can be excluded from the gesture. However, use in places with a lot of heat sources or infrared rays is not considered. For this reason, Kinect has a cautionary note that it cannot be used outdoors but not at the window. It is also important that there are no indoor kitchens or pet animals in the room. Therefore, although Kinect removes the effects of shadows with an infrared camera, there are many environments that cannot be used.

映像中の動きのある部分と動かない部分を区別して動きのある部分を抽出する技術は前景分離と言われ、監視カメラなどに使われている。単眼カメラを用いて実現できるのでウェアラブル装置などの小型のジェスチャー入力システムに向いている。しかし、映像中に動きのあるものは検出したい前景とともに、前景物体により背景に投影された影領域もある。シルエット認識や、ジェスチャー入力を行うためには影を消す必要がある。従来は前景分離と影除去は独立した技術として扱うことが多く、前景分離も影除去も多大な演算量が必要になる。しかし、前景分離に用いるパラメータを有効活用することで影除去の演算量を大幅に軽減する方法が近年登場している。この方法の詳細はT.Shiota と T.Nishitani等による 先行技術文献”Transform Domain Shadow Removal for Foreground Silhouette”, （IEICE Trans. Vol. E96-A. No.3, pp667-674, March 2013. ）に詳しい。 A technique for extracting a moving part by distinguishing a moving part and a non-moving part in an image is called foreground separation, and is used for a surveillance camera. Since it can be realized using a monocular camera, it is suitable for small gesture input systems such as wearable devices. However, there is a shadow area projected on the background by the foreground object together with the foreground to be detected when there is a motion in the video. In order to perform silhouette recognition and gesture input, it is necessary to erase the shadow. Conventionally, foreground separation and shadow removal are often handled as independent techniques, and both foreground separation and shadow removal require a large amount of computation. However, in recent years, a method has appeared that significantly reduces the amount of calculation for shadow removal by effectively using parameters used for foreground separation. Details of this method can be found in the prior art document “Transform Domain Shadow Removal for Foreground Silhouette” by T. Shiota and T. Nishitani, (IEICE Trans. Vol. E96-A. No.3, pp667-674, March 2013.) detailed.

T.Shiota等の方法は前景分離に用いるパラメータを影除去に活用するため、彼らの用いている前景分離の方法から以下に述べる。なお、以降では影を含まない前景領域を真正前景領域、影を含んだ従来の前景と呼ばれる領域を中間前景領域として述べる。 The method of T. Shiota et al. Is described below from the method of foreground separation that they use to use the parameters used for foreground separation for shadow removal. Hereinafter, a foreground area that does not include a shadow is referred to as a true foreground area, and a conventional area that includes a shadow is referred to as an intermediate foreground area.

T.Shiota等の方法は中間前景分離としてカメラからの動画像の1枚ずつのフレーム画像を小さな領域に分割し、この分割した小領域毎に中間前景か背景かを判断する技術に基づいている。判断する方法は「変換領域における混合ガウスモデルを用いた中間前景分離」（H.Tezuka and T.Nishitani, ”Multiresolutional Gaussian Mixture Model for Precise and Stable Foreground Segmentation in Trasform Domain”（IEICE Trans. Fundamentals, Vol.E92-A, No.3, pp.772-778, March 2009）を用いる。この方法は、中間前景分離を行う特徴量として、まず、分割小領域毎の画素信号をRGBカラー信号から一度白黒テレビの信号に相当する輝度（以下Yと略す)信号へ変換する。その後でY信号の小領域を2次元Walsh直交変換し、変換スペクトル係数から領域内のY信号の平均となる最低スペクトル信号と、縦方向の低スペクトル係数３個を重み付け加算したスペクトルバンド信号と、同じく横方向の低スペクトル係数３個を重み付け加算したスペクトルバンド信号の3個の変換領域信号を用いる。つまり、前景と背景の差を領域中に含まれる模様で判断する。この3個の要素を持つ特徴量は時々刻々変動するとして、要素毎に複数のガウス分布により構成される複合確率分布で表現する。 The method of T.Shiota et al. Is based on a technique that divides each frame image of a moving image from a camera into small areas as intermediate foreground separation, and determines whether each divided small area is an intermediate foreground or background. . The method of determination is “intermediate foreground separation using a mixed Gaussian model in the transform domain” (H. Tezuka and T. Nishitani, “Multiresolutional Gaussian Mixture Model for Precise and Stable Foreground Segmentation in Trasform Domain” (IEICE Trans. Fundamentals, Vol. E92-A, No.3, pp.772-778, March 2009) This method uses a pixel signal for each divided small area as a feature value for intermediate foreground separation. Is converted to a luminance signal (hereinafter abbreviated as Y) corresponding to the signal of 2. Then, a small area of the Y signal is subjected to two-dimensional Walsh orthogonal transformation, and the lowest spectral signal that is the average of the Y signals in the area from the converted spectral coefficient, Three transform domain signals are used: a spectrum band signal obtained by weighting and adding three low spectral coefficients in the vertical direction and a spectrum band signal obtained by weighting and adding three low spectral coefficients in the horizontal direction. The difference between the scene and the background is determined by the pattern contained in the area. Characteristic quantity having the three elements as momentarily varies, is expressed by a composite probability distribution composed of a plurality of Gaussian distribution for each element.

つまり、小領域を特徴づける特徴量とフレームごとに変化する特徴量の要素の変動を複数のガウス分布の生起確率で表したものとを比較する。複数あるガウス分布は後に述べる方法で予め背景ガウス分布と中間前景ガウス分布に分けられており、一つの特徴量の要素でも中間前景ガウス分布に包含されたら前景とする。ここでガウス分布に含まれるという表現は、あるガウス分布が平均μと分散σ^２を持つ時、このガウス分布に従う事象は平均μの周りの±３σ以内に起こる確率が99.8％となることから来ている。ここでσ^2はσの二乗を表すものである。 That is, the feature amount characterizing the small region is compared with the variation of the feature amount element that changes for each frame expressed by the occurrence probability of a plurality of Gaussian distributions. A plurality of Gaussian distributions are divided into a background Gaussian distribution and an intermediate foreground Gaussian distribution in advance by a method described later, and even if one feature amount element is included in the intermediate foreground Gaussian distribution, it is used as the foreground. Here, the expression “included in the Gaussian distribution” means that when a Gaussian distribution has mean μ and variance σ ^ 2, events that follow this Gaussian distribution have a probability of 99.8% within ± 3σ around the mean μ. It is coming. Here, σ ^ 2 represents the square of σ.

その後、次のフレーム画像を処理する準備として、特徴量の要素を含むガウス分布はより精度が上がるように平均と分散を更新する。また、そのガウス分布がどの程度の頻度で使われるかを示す重み係数は特徴量の要素を含むかどうかに従って大きさを増減する。この結果、背景は長時間現れているため、大きな重み係数を持つものは背景を示すガウス分布とし、小さな重み係数を持つものを前景ガウス分布に分ける。 After that, in preparation for processing the next frame image, the average and variance are updated so that the Gaussian distribution including the feature amount element is more accurate. In addition, the weighting factor indicating how often the Gaussian distribution is used increases or decreases according to whether or not it includes an element of the feature amount. As a result, since the background appears for a long time, the one having a large weighting factor is a Gaussian distribution indicating the background, and the one having a small weighting factor is divided into a foreground Gaussian distribution.

T.Shiota等は前景分離に用いた背景ガウス分布を影除去に活用することを提案し、影除去に関しては従来法の１桁以下の演算量でよい方法を導いている。この方法では、影による中間前景は、本来はある背景ガウス分布に属していた特徴量要素であるが、影の影響でその背景ガウス分布から逸脱した結果と考える。また、特徴量の各要素は影により一様に小さくなる。よって、ある特徴量要素の減衰量が推定できると、その逆数を他の特徴要素に乗じることで、本来あるべき背景ガウスモデルに戻る。このことで影領域を見つけ中間前景領域から除く。 T. Shiota et al. Proposes to use the background Gaussian distribution used for foreground separation for shadow removal, and for shadow removal, we have derived a method that requires less computation than the conventional method. In this method, the intermediate foreground due to the shadow is a feature quantity element that originally belonged to a certain background Gaussian distribution, but is considered to be a result of deviating from the background Gaussian distribution due to the influence of the shadow. Further, each element of the feature amount is uniformly reduced by the shadow. Therefore, when the attenuation amount of a certain feature amount element can be estimated, the inverse of the feature number is multiplied by another feature element, thereby returning to the background Gaussian model that should be originally obtained. This finds the shadow area and removes it from the intermediate foreground area.

この影除去の方法は本発明の原理にもなるので、詳しく述べる。まず、減衰量を推定するには特徴量として画像データに関しては大きな値を示す最低変換スペクトル（以下f(DC)と略す）とその要素の動きを近似する役割を担った背景ガウス分布の平均から求める。ｆ(DC)を本来含むべき背景ガウス分布の平均をμDCとして、μDCからf(DC)がどれほど減衰するかを計算する。複数の背景ガウス分布があるので、それ等全てが本来特徴量要素を包含するガウス分布である可能性を考えて繰り返し処理する。 This shadow removal method is also the principle of the present invention, and will be described in detail. First, in order to estimate the amount of attenuation, the minimum conversion spectrum (hereinafter abbreviated as f (DC)) that shows a large value for image data as a feature value and the average of the background Gaussian distribution that played a role in approximating the movement of its elements Ask. The average of the background Gaussian distribution that should originally contain f (DC) is μDC, and how much f (DC) attenuates from μDC is calculated. Since there are a plurality of background Gaussian distributions, it is repeatedly processed in consideration of the possibility that all of them are Gaussian distributions that originally include feature quantity elements.

減衰量が求まった後、影領域を見つける方法は図8に模式的に描いている。図8は影領域検出の原理グラフ8、f(DC)の影領域グラフ801、他の特徴量要素グラフ802、影検証グラフ803から構成されている。3個のグラフはともに、横軸に特徴量要素のダイナミックレンジ内の大きさを示し、右に行くほど大きい値となる。また、縦軸はガウス分布の発生確率を示している。曲線で上に盛り上がったものは背景ガウス分布である。また、グラフに書かれた矢印は特徴量要素の値を横軸上に示すものである。ここで、図8を見やすくするため、f(DC)やf(AC)などの括弧内の変数は添え字で記している。 The method of finding the shadow area after the attenuation is determined is schematically depicted in FIG. FIG. 8 includes a shadow area detection principle graph 8, an f (DC) shadow area graph 801, another feature quantity element graph 802, and a shadow verification graph 803. In each of the three graphs, the horizontal axis indicates the size of the feature quantity element within the dynamic range, and the value increases toward the right. The vertical axis indicates the probability of occurrence of a Gaussian distribution. The curve that rises upward is the background Gaussian distribution. Moreover, the arrow written in the graph shows the value of a feature-value element on a horizontal axis. Here, in order to make FIG. 8 easier to see, variables in parentheses such as f (DC) and f (AC) are indicated by subscripts.

f(DC)の影領域グラフ801は影により前景となる例を示しており、特徴量f(DC)の要素は影の影響で本来包含されるべき背景ガウス分布から逸脱している。グラフの右上にAと記した量はこの場合の減衰量の逆数を示している。他の特徴量要素グラフ802はf(DC)とは異なる特徴量要素（以下f(AC)と記す）の状況を示すもので、f(AC)も影の影響で一様に減衰する。影検証グラフ803 では影領域となる検証を行う原理を示すグラフで、f(AC)に減衰量の逆数を乗じた結果を示している。つまり、修正されたf(AC)は本来包含されるべき背景ガウス分布内に戻る。よって、修正されたf(AC)がガウス分布に包含されるようになればf(DC)とf(AC)は一様に減衰していると考えて良く、影領域であると決定する。 The shadow area graph 801 of f (DC) shows an example that becomes a foreground by a shadow, and the element of the feature value f (DC) deviates from the background Gaussian distribution that should be originally included due to the influence of the shadow. The amount indicated by A in the upper right of the graph indicates the reciprocal of the attenuation in this case. The other feature quantity element graph 802 shows the situation of a feature quantity element (hereinafter referred to as f (AC)) different from f (DC), and f (AC) also attenuates uniformly due to the influence of the shadow. The shadow verification graph 803 is a graph showing the principle of verification for a shadow area, and shows the result of multiplying f (AC) by the reciprocal of the attenuation amount. That is, the modified f (AC) returns to the background Gaussian distribution that should be included. Therefore, if the corrected f (AC) is included in the Gaussian distribution, f (DC) and f (AC) may be considered to be uniformly attenuated, and are determined to be shadow regions.

この方法では影除去用の特徴量をわざわざ作らなくても、すでに算出した中間前景分離特徴量と背景ガウス分布がそのまま使える。また、影領域の検査は前景となった領域のうち、f(DC)が背景ガウスの平均より小さい方向に逸脱したものだけをチェックすればよい。このため、従来の前景分離と独立して実行する影除去に対して1桁以上の演算量低減が可能になる。 In this method, the already calculated intermediate foreground separation feature quantity and background Gaussian distribution can be used as they are without having to bother creating a feature quantity for shadow removal. In addition, in the shadow area inspection, it is only necessary to check only those areas in which f (DC) deviates in a direction smaller than the background Gaussian average among the foreground areas. For this reason, it is possible to reduce the calculation amount by one digit or more with respect to the shadow removal performed independently of the conventional foreground separation.

この先行技術文献によれば、この方法は屋外で使っている限り問題はなかった。しかし、屋内で使うようになると一旦得られた中間前景をことごとく影として消去する問題があることも述べている。この問題を解決するためには、前景分離を行う前にカメラからの入力画像自体を画像強調する。ただし、この画像強調は人の網膜と大脳皮質の反応を考慮したレティネックス画像強調処理であれば良いとしている。高い周波数成分を強調する性質があるためである。レティネックス画像強調を導入する効果はT.Shiota等の先行技術文献の671頁記載のFig.7と678頁記載のFig.8から引用した図9で示すことができる。図9は屋内環境下での変換領域真正前景分離を得る過程の写真9、廊下でのテストフレーム画像写真901、影除去前の中間前景分離結果写真902、影除去を施した処理結果写真903、レティネックス画像強調前処理回路の導入結果写真904である。このうち、テストフレーム画像写真901はグレー写真であるが、これを特許図面の都合上2値化したものであり、その他の写真は前景と判断された領域を白、背景と判断された領域を黒で表している。 According to this prior art document, this method has no problem as long as it is used outdoors. However, it also describes the problem of erasing all the intermediate foreground once obtained as shadows when used indoors. In order to solve this problem, the input image itself from the camera is enhanced before performing foreground separation. However, this image enhancement may be any Retinex image enhancement process that takes into account the reaction between the human retina and the cerebral cortex. This is because the high frequency component is emphasized. The effect of introducing Retinex image enhancement can be shown in FIG. 7 cited from FIG. 7 described on page 671 and FIG. 8 described on page 678 of the prior art document of T. Shiota et al. FIG. 9 is a photograph 9 of a process of obtaining a conversion region authentic foreground separation in an indoor environment, a test frame image photograph 901 in a hallway, an intermediate foreground separation result photograph 902 before shadow removal, a processing result photograph 903 after shadow removal, 6 is a photograph 904 of the result of introduction of the Retinex image enhancement preprocessing circuit. Of these, the test frame image photo 901 is a gray photo, but this is binarized for the sake of patent drawing.For other photos, the area determined to be the foreground is white and the area determined to be the background In black.

影除去前の中間前景分離結果写真902は影により多少変形した中間前景が得られている。しかし、影除去を施した処理結果写真903では輪郭部以外は影と誤判定して削除されている。これに対し、レティネックス画像強調前処理回路の導入結果写真904では正しく影除去が行われている。影除去前の中間前景分離結果写真902の中間前景分離の処理画像では左肩後方にある影によりシルエットが盛り上がったものになっているが、レティネックス画像強調前処理回路の導入結果写真904ではこの影部分を消去でき、廊下でのテストフレーム画像写真901に対応するシルエットが入手できている。 In the intermediate foreground separation result photograph 902 before shadow removal, an intermediate foreground slightly deformed by the shadow is obtained. However, in the processing result photograph 903 that has been subjected to shadow removal, other than the outline portion is erroneously determined as a shadow and deleted. On the other hand, the shadow removal is correctly performed in the photograph 904 as a result of introducing the Retinex image enhancement preprocessing circuit. In the processed image of the intermediate foreground separation in the foreground separation result photograph 902 before shadow removal, the silhouette is raised by the shadow behind the left shoulder, but in the photograph 904 as a result of the introduction of the Retinex image enhancement preprocessing circuit, this shadow The part can be erased, and a silhouette corresponding to the test frame image photograph 901 in the hallway is available.

レティネックス画像強調を導入すると良くなる理由は、T.Shiota等の説明では以下の通りである。飾りの少ない学校の廊下や壁だけの部屋などでは細かい模様は少ない。画像を小さな領域分割して変換係数を求める状況下では高いスペクトル係数成分が殆どなくなる。つまり、前景分離特徴量の要素となる縦または横スペクトルバンド信号成分が小さくなり、この変動に対して構築される横および縦方向の背景ガウス分布は平均がゼロ近くになる。特に、その包含領域にゼロを含む状況も起こりやすい。この状況で無地の黒いTシャツを着た人物が前景として現れると、人物の横方向と縦方向のスペクトルバンド信号はほぼゼロになる。ここで、平均スペクトル信号成分f(DC)は背景となる壁や廊下の輝度値と比べ光の吸収性の富んだ黒い服により、充分に小さくなる。つまり、前景になる。また、平均スペクトル信号f(DC)が背景ガウス分布の平均μ(DC)より小さくなるから影候補にもなる。平均スペクトル信号f(DC)から減衰量を求めるところまでは良いが、対応するスペクトルバンド成分信号f(AC)はもともと無地の黒いＴシャツから撮った映像のためゼロである。これに減衰量の逆数を乗じても、ゼロのままで背景ガウス分布に包含された状況のままとなる。つまり、背景ガウスの包含領域から脱却できない。よって、この場合は影と判断される。このため、本当の前景領域であっても除去される状況が発生する。このような状況は一般家庭でも容易に起こる。部屋内にある模様の少ない家具や壁が背景となる場合などである。 The reason why it is better to introduce Retinex image enhancement is as follows in the description of T.Shiota et al. There are few fine patterns in the hallway of a school with few decorations or a room with only walls. Under the situation where the conversion coefficient is obtained by dividing the image into small regions, there are almost no high spectral coefficient components. That is, the vertical or horizontal spectral band signal component that is an element of the foreground separation feature amount is reduced, and the average of the horizontal and vertical background Gaussian distributions constructed for this variation is close to zero. In particular, a situation in which the inclusion region includes zero is likely to occur. In this situation, when a person wearing a plain black T-shirt appears as a foreground, the person's horizontal and vertical spectral band signals are almost zero. Here, the average spectral signal component f (DC) is sufficiently small due to the black clothes having a higher light absorption than the luminance values of the background walls and hallways. In other words, it becomes the foreground. Further, since the average spectrum signal f (DC) is smaller than the average μ (DC) of the background Gaussian distribution, it becomes a shadow candidate. Although it is good to obtain the attenuation amount from the average spectral signal f (DC), the corresponding spectral band component signal f (AC) is zero because it was originally taken from a plain black T-shirt. Even if this is multiplied by the reciprocal of the amount of attenuation, it remains zero and the situation included in the background Gaussian distribution remains. In other words, it is not possible to escape from the background Gaussian inclusion area. Therefore, in this case, it is determined as a shadow. For this reason, a situation in which even the true foreground area is removed occurs. Such a situation easily occurs in ordinary households. This is the case when furniture or walls with little patterns in the room are the background.

この状況を救うのがレティネックス画像強調である。レティネックスフィルタは高周波成分を強調する性質が強い。このため、f(AC)の背景ガウス分布の平均は高くなる。つまり、背景ガウス分布の平均がゼロ近辺より高い領域にシフトする。背景ガウス分布の平均をゼロから遠ざけるほど、入力が黒一色のTシャツなどを着ていてゼロに近いf(AC)となっても、背景ガウス分布は０を包含領域に含んでいない。よって、影かどうかを判定しやすくなる。 Retinex image enhancement saves this situation. The Retinex filter has a strong property of enhancing high frequency components. For this reason, the average of the background Gaussian distribution of f (AC) becomes high. That is, the average of the background Gaussian distribution is shifted to a region higher than around zero. The farther the average of the background Gaussian distribution is from zero, the background Gaussian distribution does not include 0 in the inclusion region even if the input is a black T-shirt or the like and f (AC) is close to zero. Therefore, it becomes easy to determine whether it is a shadow.

問題はレティネックス画像強調を導入すると演算量がきわめて大きくなることである。この方法では画像から画像の平均成分を引き去ることでコントラスト成分を得て、コントラスト成分を強調する。ここに網膜や大脳皮質の反応を取り込んで平均信号を得るための演算量は極めて大きく、１画素あたり43演算（T. Okuno and T.Nishitani, ”Efficient Image Enhancement Algorithm Using Multi-Rate Image Processing”, IEICE Trans. Fundamentals, Vol. E-93A, No.5 pp.958-965, May 2010.）必要となる。これは、HDTVを対象にすると、このフィルタ演算を行うだけで、デスクトップPC並みの演算能力が必要となる。この演算量は多くの従来法の影除去法において最初に行う色空間変換、特に色相環や彩度を求める変換を含む演算とほぼ同程度である。ただし、従来法の影除去は色空間に移してからが本当の処理になるので莫大な演算量が必要であることには変わりない。つまり、T.Shiota等の影除去の方法は影除去本体の処理では大幅な演算量を削減できたが、その代償としてレティネックス画像強調を導入しなければならず、全体としては従来行われていた影除去の演算量と比べると、T.Shiota等の方法は圧倒的というほどの優位性はない。 The problem is that if Retinex image enhancement is introduced, the amount of computation becomes extremely large. In this method, a contrast component is obtained by subtracting the average component of the image from the image, and the contrast component is enhanced. Here, the amount of computation to obtain the average signal by incorporating the reaction of the retina and cerebral cortex is extremely large, 43 computations per pixel (T. Okuno and T. Nishitani, “Efficient Image Enhancement Algorithm Using Multi-Rate Image Processing”, IEICE Trans. Fundamentals, Vol. E-93A, No.5 pp.958-965, May 2010.) For HDTV, it is necessary to have the same computing power as a desktop PC just by performing this filter operation. The amount of calculation is almost the same as the calculation including the color space conversion first performed in many conventional shadow removal methods, particularly the calculation including the hue ring and saturation. However, since the shadow removal of the conventional method is a true process after moving to the color space, it still requires a huge amount of calculation. In other words, the shadow removal method such as T.Shiota has been able to significantly reduce the amount of computation in the shadow removal main body processing, but as a compensation, Retinex image enhancement has to be introduced, and as a whole has been performed conventionally. Compared to the amount of computation for shadow removal, the method of T.Shiota et al. Is not overwhelmingly superior.

T.Shiota and T.Nishitani, ”Transform Domain Shadow Removal for Foreground Silhouette”, IEICE Trans. Vol. E96-A. No.3, pp667-674, March 2013.T.Shiota and T.Nishitani, “Transform Domain Shadow Removal for Foreground Silhouette”, IEICE Trans. Vol. E96-A. No.3, pp667-674, March 2013.

本発明の課題は屋内環境での真正前景分離を行うに当たり、大量の演算量を必要とするレティネックス画像強調を排除することである。 An object of the present invention is to eliminate Retinex image enhancement, which requires a large amount of computation when performing genuine foreground separation in an indoor environment.

本発明者らは、上記課題を解消することを目的として以下の各発明を提供する。 The present inventors provide the following inventions for the purpose of solving the above problems.

１．カメラからの入力フレームを小領域に分割し、分割領域ごとにカラー信号から強度信号に移した後、小領域内の画素に対して逆変換を持つ線形変換を行って得られる変換領域スペクトルを組み合わせて複数個の変換成分信号を要素とした第1の特徴量候補とするステップと、小領域内での色成分を平均化した色平均成分信号を要素とした第2の特徴量候補とするステップと第1または第2のステップのどちらかの特徴量候補を前景分離特徴量とするステップと、前景分離特徴量の各要素の確率的な変動に合わせて典型的な確率分布でモデル化しながら前景分離特徴量との比較により中間前景小領域を検出するステップと、前景分離特徴量と各前景分離特徴量要素の背景確率分布の平均値と分散により背景が影になった領域を特定して排除し, 真正前景領域を得るステップからなる真正前景を抽出することを特徴とする画像処理方法、画像処理装置、およびプログラムである。 1. The input frame from the camera is divided into small areas, each color area is shifted from a color signal to an intensity signal, and then the transform area spectrum obtained by performing linear transformation with inverse transformation on the pixels in the small area is combined. A first feature amount candidate including a plurality of conversion component signals as elements, and a second feature amount candidate including a color average component signal obtained by averaging color components in a small area as elements. And foreground separation feature amount in either the first or second step, and foreground while modeling with a typical probability distribution according to the probabilistic variation of each element of the foreground separation feature amount The step of detecting the middle foreground small area by comparison with the separation feature, and the foreground separation feature and the average value and variance of the background probability distribution of each foreground separation feature element identify and eliminate the area where the background is shaded , Before authenticity Image processing method characterized by extracting the authenticity foreground comprises the step of obtaining the area, the image processing apparatus, and a program.

この方法では、小領域毎の輝度変換した後に、この小領域全体に亘る逆変換を持つような線形変換を行ったスペクトル信号を第1の特徴量候補とし、線形変換を行う前のカラー信号を第2の特徴量候補にしている。逆変換を持つような変換を用いる理由は変換前後の性質が大幅に異なることから来ている。つまり、逆変換を持つ変換行列では、単位行列を例外として、変換行列には非ゼロ要素が多く含まれる。ここに、ゼロ要素の多い入力信号を加えると、多くのゼロでないスペクトルを持つものになる。また、その逆も正しい。つまり、変換領域のスペクトル信号が多くのゼロを持つ場合は、基になる信号は非ゼロ要素を持つことになる。このため、図9の影除去を施した処理結果画像903は変換領域での特徴量要素がf(DC)のみが有意な値しかもたなかったことから来ているが、変換前の信号を要素として持つ特徴量を使えば各要素ともゼロ近辺の値を持たない。よって第1の特徴量候補ではゼロ近辺に平均を持つ背景ガウス分布を構築する場合であっても、第2の特徴量候補を用いるとその背景確率分布の平均はゼロから遠ざかったところに来る。つまり、正しく影除去ができる。よって、レティネックス画像強調は不要になる。大量の計算を要するレティネックス画像強調と同じ効果が特徴量を切り替えるだけで得られる。また、カラー成分ごとの平均を求める演算は各色の画素ごとに換算すると１演算でよい。レティネックス画像強調ではフィルタだけで1画素当たり43演算で、レティネックス画像強調で必要なそれ以外の処理を同程度としても、特徴量の切り替え法ではこの画像強調の必要とする演算量のわずか５％以下の演算量で同様の処理を行えることになる。 In this method, after performing luminance conversion for each small region, a spectrum signal that has undergone linear transformation that has inverse transformation over the entire small region is used as a first feature amount candidate, and the color signal before linear conversion is obtained. It is set as the second feature amount candidate. The reason for using the conversion having the inverse conversion comes from the fact that the properties before and after the conversion are significantly different. That is, in the transformation matrix having the inverse transformation, the transformation matrix includes many non-zero elements with the exception of the unit matrix. If an input signal with many zero elements is added here, it will have many non-zero spectra. The reverse is also true. That is, if the spectral signal in the transform domain has many zeros, the underlying signal will have non-zero elements. For this reason, the processing result image 903 with shadow removal shown in FIG. 9 comes from the fact that only the feature value element f (DC) has a significant value in the conversion area. If the feature quantity that is used is used, each element has no value near zero. Therefore, even if a background Gaussian distribution having an average near zero is constructed for the first feature quantity candidate, if the second feature quantity candidate is used, the average of the background probability distribution comes away from zero. That is, the shadow can be correctly removed. Therefore, Retinex image enhancement is not necessary. The same effect as the Retinex image enhancement that requires a large amount of calculation can be obtained by simply switching the feature amount. Further, the calculation for obtaining the average for each color component may be one calculation when converted for each pixel of each color. In Retinex image enhancement, only 43 filters per pixel are used for the filter, and even if the other processing necessary for Retinex image enhancement is the same level, the feature amount switching method requires only 5 of the computation amount required for image enhancement. The same processing can be performed with a calculation amount of% or less.

２．外部からコントラストの激しい背景かコントラストの小さい背景かの指示を与え、第1の特徴量候補を選択するのはコントラストの激しい場合、第2の特徴量候補を選択するのはコントラストの小さい場合に応じて第1又は第2の特徴量候補から前景分離特徴量を選択することを特徴とする請求項1記載の画像処理方法およびプログラムである。 2. Give an instruction from the outside whether the background is high contrast or low contrast, select the first feature amount candidate when the contrast is high, and select the second feature amount candidate when the contrast is low 2. The image processing method and program according to claim 1, wherein a foreground separation feature quantity is selected from the first or second feature quantity candidates.

ここで用いたコントラストという言葉は入力画像信号から平均信号分を引き去った成分のことで、コントラストが激しいとは画面全体にエッジや模様の多い場合である。T.Shiota等の言う屋外、屋内と対応させると、屋外はコントラストが大きく、屋内は相対的にコントラストが低い状態である。この場合は、変換領域の特徴量候補を計算するのか、色成分の特徴量を計算するのかの決定を外部から決める。よって、屋内応用では第2の特徴量候補を用意するだけであり、レティネックス画像強調が全く不要になり、直交変換の演算量も不要になる。 The term “contrast” used here refers to a component obtained by subtracting the average signal from the input image signal, and the fact that the contrast is intense means that the entire screen has many edges and patterns. When T.Shiota et al. Says that it corresponds to the outdoors and indoors, the outdoors have a large contrast and the indoors have a relatively low contrast. In this case, it is determined from the outside whether to calculate the feature quantity candidate of the conversion area or to calculate the feature quantity of the color component. Therefore, in the indoor application, only the second feature amount candidate is prepared, the Retinex image enhancement is not required at all, and the amount of computation of orthogonal transformation is also unnecessary.

３．前景分離特徴量をモデル化する確率分布を複数の典型的な確率分布で近似し、前景をモデル化している典型的確率分布と背景をモデル化する典型的確率分布に区別して用い、前景をモデル化している複数の典型的確率分布のうちの1つが背景の典型的確率分布に変化する時点で、前景分離特徴量は第1及び第2の特徴量候補の最小要素の値を比較し、最小要素の値が大きい特徴量候補を選択して次のフレーム処理から利用するとともに、これまでの特徴量候補を異なった特徴量候補に切り替える場合は構築した確率分布を全て消去するか、第1の特徴量候補用確率分布と第2の特徴量候補用確率分布を保持する領域を切り替えることで外部からの指示なしに第1の特徴量候補と第2の特徴候補のどちらか一方前景分離特徴量とするように設定することを特徴とする上記１記載の手段で実現する画像処理方法、画像処理装置、およびプログラムである。 3. The foreground is modeled by approximating the probability distribution modeling the foreground separation features with multiple typical probability distributions, and distinguishing between the typical probability distribution modeling the foreground and the typical probability distribution modeling the background. When one of a plurality of typical probability distributions changes to a typical probability distribution of the background, the foreground separation feature quantity compares the values of the minimum elements of the first and second feature quantity candidates, and the minimum Select a feature quantity candidate with a large element value and use it from the next frame processing, and when switching the previous feature quantity candidate to a different feature quantity candidate, either delete all constructed probability distributions, By switching the region holding the probability distribution for feature amount candidates and the probability distribution for second feature amount candidates, the foreground separation feature amount of either the first feature amount candidate or the second feature candidate without an external instruction To set to An image processing method, an image processing apparatus, and a program realized by the means described in 1 above.

前景分離特徴量をモデル化するのに複数の典型的な確率分布を使う方法はガウス分布を用いることが多いがLaplace分布など他の分布であってもよい。以下では複数ある典型的確率分布を背景確率分布と前景確率分布に分けて使うことと、前景確率分布が背景確率分布のクラスに入る理由は以下の通りである。 The method of using a plurality of typical probability distributions for modeling the foreground separation feature amount often uses a Gaussian distribution, but may be other distributions such as a Laplace distribution. In the following, a plurality of typical probability distributions are divided into a background probability distribution and a foreground probability distribution, and the reason why the foreground probability distribution falls into the background probability distribution class is as follows.

複数の確率分布を用いる場合では、各々の確率分布は全事象が起こると各々が確率1になるため、このままではモデル化した確率分布の全事象に対する確率が１の複数倍になる。よって、全ての典型的分布に対して、使われる頻度に応じた重みを与え、重みの合計が常に１になるように正規化している。中間前景分離ではこれを特徴量の変化に応じてモデル化した確率分布を時々刻々修正する。このため、重みの大小で背景担当の複数の確率分布と前景担当の複数の確率分布の区別を行う。この時、カメラ視野に移動してきた前景が一定場所に留まる場合はこの場所に対する小領域前景確率分布が使われる確率が高まり、重み係数が増加する。このため、この前景確率分布は背景の役割に変わる。監視などの場合には走行中の自動車が停車するような場合である。この時点で第1の特徴量候補と第2の特徴量候補を切り替えが起こる可能性がある。２つの特徴量候補のうち、最小の値を持つ要素の値同志を比較し、最小値が大きい方を前景分離特徴量に選択する。これから背景確率分布を前景分離特徴量に応じて構築することになるためで、背景ガウス分布の平均を少しでもゼロより離すためである。この時点でこれまでの特徴量候補と新しい特徴量候補が異なる場合は、これまで構築してきた背景確率分布を消去するか、別メモリに退避することで新しい特徴量候補に対する背景確率分布を構築する準備を行う必要が生じる。 In the case of using a plurality of probability distributions, each probability distribution has a probability of 1 when all events occur, and therefore, the probability for all events of the modeled probability distribution is a multiple of one. Therefore, weights corresponding to the frequencies used are given to all typical distributions, and normalization is performed so that the sum of the weights is always 1. In the intermediate foreground separation, the probability distribution modeled according to the change of the feature value is corrected every moment. For this reason, a plurality of probability distributions in charge of the background and a plurality of probability distributions in charge of the foreground are distinguished by the magnitude of the weight. At this time, if the foreground that has moved to the camera field of view remains in a certain location, the probability that the small area foreground probability distribution for this location will be used increases, and the weighting factor increases. For this reason, this foreground probability distribution changes to the role of the background. In the case of monitoring or the like, the traveling vehicle stops. At this time, there is a possibility that switching between the first feature quantity candidate and the second feature quantity candidate occurs. Of the two feature quantity candidates, the values of the elements having the smallest value are compared, and the one with the largest minimum value is selected as the foreground separation feature quantity. This is because the background probability distribution will be constructed in accordance with the foreground separation feature quantity, and the average of the background Gaussian distribution will be separated from zero as much as possible. If the previous feature quantity candidate and the new feature quantity candidate are different at this point, the background probability distribution for the new feature quantity candidate is constructed by deleting the background probability distribution that has been constructed so far or saving it to another memory. There is a need to make preparations.

４．分割領域ごとに行う線形変換をDCT（Discrete Cosine Transform）もしくはWalsh変換で行い、その結果の強度平均成分信号、横方向の低域スペクトルを複数個集めた横方向変換領域成分信号、および縦方向の低域スペクトルを複数個集めた縦方向変換領域成分信号の3個の変換領域成分信号を用いて第1の特徴量候補とし、分割領域ごとに行う色の平均成分を色の3原色に起因した3個の色平均成分信号を用いて第2の特徴量候補とすることを特徴とする上記１記載の手段で実現する画像処理方法、画像処理装置、およびプログラムである。 4). The linear transformation performed for each divided region is performed by DCT (Discrete Cosine Transform) or Walsh transform, and the resulting intensity average component signal, the transverse transform region component signal that collects a plurality of transverse low-frequency spectra, and the longitudinal direction Using the three transform domain component signals of the vertical transform domain component signal, which is a collection of multiple low-frequency spectra, is used as the first feature quantity candidate, and the average color component for each segment is derived from the three primary colors An image processing method, an image processing apparatus, and a program realized by the means described in 1 above, wherein three color average component signals are used as a second feature amount candidate.

変換領域の特徴量候補の要素数を色の3原色に合わせた色平均の特徴量候補要素数である3個に合わせたため、特徴量から前景分離を完了するまでの処理は全く同じ演算量となる。つまり、特徴量を変えても中間前景分離で必要な演算量は変わらない。また、色の3原色に起因した表色系はRGB以外にも種々のものが提案されており、それらのいずれでもよい。 Since the number of feature quantity candidate elements in the conversion area is adjusted to three, which is the number of feature quantity candidate elements for the color average that matches the three primary colors, the processing from the feature quantity to completion of foreground separation is exactly the same amount of computation Become. That is, even if the feature amount is changed, the amount of calculation required for the intermediate foreground separation does not change. In addition to RGB, various color systems resulting from the three primary colors have been proposed, and any of them may be used.

５．フレーム画像をオーバラップしない小領域にまず分割し、次いでメッシュ状に並んだ小領域の縦横ともに複数倍ずつ拡大して先に分割した小領域を複数個含む拡大小領域で画面を覆う分割操作を行い、この拡大小領域を作成する分割を複数回繰り返すことで多重分割するステップと、各多重分割された各々の小領域で中間前景分離までを行うステップと、小さい領域分割部の中間前景分離から影除去を行なって影なし前景領域とするステップと影なし最小前景領域であって、この影なし最小前景小領域を包含する全ての拡大領域が影なし前景領域または中間前景小領域であるものを真正前景小領域することで最終的な真正前景分離を行う上記１の画像処理方法、画像処理装置、およびプログラムである。 5. Dividing the frame image into small areas that do not overlap first, then enlarging the small areas arranged in a mesh form multiple times in both vertical and horizontal directions and covering the screen with an enlarged small area that contains multiple small areas that were previously divided Performing multiple division by repeating the division for creating the enlarged small region a plurality of times, performing intermediate foreground separation in each of the multiple divided small regions, and intermediate foreground separation of the small region dividing unit. A step of removing shadows to make a foreground area without shadows and a minimum foreground area without shadows, and all enlarged areas including the minimum foreground small area without shadows are foreground areas without shadows or intermediate foreground small areas The image processing method, the image processing apparatus, and the program according to the first aspect, wherein the final foreground separation is performed by performing a true foreground small area.

この方法は前景分離特徴量として色平均を用いる場合もあり、屋外では模様を用いた場合より安定性が弱い。屋外でも色平均特徴量を用いたほうが影除去には適する場合も発生するため、色平均特徴量の安定性を増加させるために多重解像度処理を導入している。 This method sometimes uses a color average as a foreground separation feature, and is less stable outdoors than when a pattern is used. Since the use of the color average feature value is more suitable for shadow removal even outdoors, multi-resolution processing is introduced in order to increase the stability of the color average feature value.

本発明の画像入力システムは、T.Shiota等による簡単な影検出法の従来技術による圧倒的な優位さを引き出すため、レティネックス画像強調に代わり、特徴量候補を切り替えることで演算量の少ない真正前景分離を可能にする。よって、屋内での指さしジェスチャー入力に用いても演算量を飛躍的に削減できる。LSI化すると演算量に比例する消費電力が発生するため、本発明の効果としてこの消費電力が大幅に低下する。メガネなど身に着けるウェアラブル端末用のジェスチャー入力システムに使うと低温やけど防止や電池の長寿命化が実現できる。さらに、小型電池の採用が可能になり、システムの小型化にもつながる。 Since the image input system of the present invention draws out the overwhelming advantage of the conventional shadow detection method by T. Shiota et al., Instead of Retinex image enhancement, the authenticity with a small amount of computation can be obtained by switching feature amount candidates. Enable foreground separation. Therefore, even if it is used for pointing finger gestures indoors, the amount of calculation can be drastically reduced. When LSI is used, power consumption proportional to the amount of computation is generated, and this power consumption is greatly reduced as an effect of the present invention. When used in a gesture input system for wearable devices such as glasses, it can prevent low-temperature burns and extend battery life. Furthermore, a small battery can be used, which leads to a reduction in the size of the system.

一実施形態に係る動画処理システムの一例を示す図である。It is a figure which shows an example of the moving image processing system which concerns on one Embodiment. 変換領域成分信号抽出器20の処理フローの一例を示す図である。6 is a diagram illustrating an example of a processing flow of a transform area component signal extractor 20. FIG. 色平均成分信号抽出器30の一例を示す図である。3 is a diagram illustrating an example of a color average component signal extractor 30. FIG. 制御回路40の動作フローを示す図である。3 is a diagram illustrating an operation flow of a control circuit 40. FIG. 中間前景処理部61の動作フローを示す図である。FIG. 6 is a diagram showing an operation flow of an intermediate foreground processing unit 61. ガウスモデル記憶部62の一例を示す図である。4 is a diagram illustrating an example of a Gaussian model storage unit 62. FIG. 影領域除去回路71の動作フローを示す図である。6 is a diagram showing an operation flow of a shadow area removal circuit 71. FIG. 影領域検出の原理を示すグラフの図である。It is a figure of the graph which shows the principle of shadow area detection. 屋内環境下での変換領域真正前景分離を得る過程の写真の図である。FIG. 6 is a photograph of a process of obtaining a transformation region authentic foreground separation under an indoor environment.

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲の全てが発明の解決手段に必須であるとは限らない。また、以下の実施形態は特許請求の範囲にかかわる発明を限定するものではない。 Hereinafter, the present invention will be described through embodiments of the invention. However, in the following embodiments, not all claims are necessarily essential to the means for solving the invention. The following embodiments do not limit the invention according to the claims.

図１は一実施形態にかかわる動画システムの一例を示すものである。この図は、本発明の動画システムを示しており、動画システム１、カメラ10、変換領域成分信号抽出器20、色平均成分信号抽出器30、制御回路40、選択回路50、中間前景小領域決定部60、真正前景分離部70、リセット端子80から構成されている。このうち、中間前景小領域決定部60は中間前景処理部61、ガウスモデル記憶部62から、また真正前景分離部70は影領域除去回路71、前景構成回路72から構成されている。また、以下の説明は典型的確率分布をT.Shiota等の先行技術文献との対比のため、ガウス分布として説明している。 FIG. 1 shows an example of a moving image system according to an embodiment. This figure shows a moving image system of the present invention. The moving image system 1, the camera 10, the conversion area component signal extractor 20, the color average component signal extractor 30, the control circuit 40, the selection circuit 50, and the intermediate foreground small area determination. Part 60, genuine foreground separation part 70, and reset terminal 80. Among these, the intermediate foreground small area determination unit 60 includes an intermediate foreground processing unit 61 and a Gaussian model storage unit 62, and the genuine foreground separation unit 70 includes a shadow region removal circuit 71 and a foreground configuration circuit 72. In the following description, a typical probability distribution is described as a Gaussian distribution for comparison with prior art documents such as T. Shiota.

カメラ10から入力されるフレーム画像は変換領域成分信号抽出器20に入力され、画素のカラー成分信号を一旦輝度信号に直したものを1画面に亘りオーバラップしない4ｘ4画素の小領域毎に分割してWalsh変換し、Walsh変換による3個の変換領域成分信号として最低スペクトルに対応する強度平均成分信号と、縦方向と横方向の低域スペクトル各々3個を線形結合して2個の変換領域成分信号を計算する。引き続き、処理済みの4x4画素の小領域が構成する行と列の奇数番目と偶数番目の小領域を統合して8ｘ8画素の拡大小領域とし、この拡大小領域に対してもWalsh変換を行い、上記の3個の変換領域成分信号を作成する。この拡大統合による分割とWalsh変換による変換領域成分信号を作る操作を繰り返し、4ｘ4画素から64ｘ64画素領域まで多重分割した各小領域の3個の変換領域成分信号を生成する。ここで輝度平均信号を強度平均信号と呼んでいるが、グレー信号であれば良く、T.Shiota等は輝度信号に代わりHSV表色系の強度を輝度に代えた例を示しており、両差に大差はない。このため、以下、強度平均信号と呼ぶ。ちなみに、RGB信号から輝度信号Yを求める式と強度信号Vを求める式は以下の通りである。
Y=0.299R+0.587G+0.114B. (1)
V=(R+G+B)/3. (2) The frame image input from the camera 10 is input to the conversion area component signal extractor 20, and the color component signal of the pixel once converted to the luminance signal is divided into 4 × 4 pixel small areas that do not overlap over one screen. Are converted into two transform domain components by linearly combining the intensity average component signal corresponding to the lowest spectrum and three low frequency spectra in the vertical and horizontal directions. Calculate the signal. Subsequently, the odd-numbered and even-numbered small areas of the rows and columns formed by the processed 4x4 pixel small area are integrated into an enlarged small area of 8x8 pixels, and Walsh conversion is also performed on this enlarged small area, The above three transform domain component signals are created. The division by the enlargement integration and the operation of creating the conversion region component signal by the Walsh transform are repeated to generate three conversion region component signals for each of the small regions obtained by multiple division from the 4 × 4 pixel region to the 64 × 64 pixel region. Here, the luminance average signal is called the intensity average signal, but it may be a gray signal. T.Shiota et al. Shows an example in which the intensity of the HSV color system is replaced with luminance instead of the luminance signal. There is no big difference. For this reason, this is hereinafter referred to as an intensity average signal. Incidentally, the equation for obtaining the luminance signal Y from the RGB signal and the equation for obtaining the intensity signal V are as follows.
Y = 0.299R + 0.587G + 0.114B. (1)
V = (R + G + B) / 3. (2)

以降の説明を簡単にするため、この多重分割した各小領域から発生する強度平均成分信号をf(DC), 横方向スペクトルの低域3個を線形結合した変換領域成分信号をf(ACH）, 縦方向スペクトルの低域3個分を線形結合した変換領域成分信号をf(ACV)とする。これ等を集めて第1の特徴量候補（f(DC),f(ACH), f(ACV)）とし、選択回路50に伝える。詳細は図2を用いて後述する。 In order to simplify the following description, the intensity average component signal generated from each of the multiple divided sub-regions is f (DC), and the transform region component signal obtained by linearly combining the three low-frequency bands is f (ACH). Let f (ACV) be the transform domain component signal obtained by linearly combining the three low frequency bands of the longitudinal spectrum. These are collected and used as a first feature amount candidate (f (DC), f (ACH), f (ACV)) and transmitted to the selection circuit 50. Details will be described later with reference to FIG.

カメラ10からのフレーム画像はまた色平均成分信号抽出器30に入力され、カラー画面のまま全体を変換領域成分信号抽出器20と同じ多重分割を行い、RGB画素の多重分割小領域ごとに領域内で平均化する。その後、平均信号を色成分ごとに取り出し、Ｒ平均成分、Ｂ平均成分、Ｇ平均成分を求める。各領域から発生する色平均成分信号の赤（Ｒ）成分信号をf(R), 緑（Ｇ）成分信号をf(G), 青（Ｂ）成分信号をf(B)をとして、これ等を集めて第2の特徴量候補（f(R), f(G), f(B)）とし、選択回路50に伝える。詳細は図3を用いて後述する。 The frame image from the camera 10 is also input to the color average component signal extractor 30, and the entire image is subjected to the same multiplex division as the conversion region component signal extractor 20 while maintaining the color screen, and the multiplex division small region of the RGB pixel is divided into regions. Average with. Thereafter, an average signal is extracted for each color component, and an R average component, a B average component, and a G average component are obtained. The red (R) component signal of the color average component signal generated from each region is f (R), the green (G) component signal is f (G), the blue (B) component signal is f (B), etc. Are collected as second feature amount candidates (f (R), f (G), f (B)) and transmitted to the selection circuit 50. Details will be described later with reference to FIG.

制御回路40は中間前景処理部61により起動させられると、第1の特徴量候補（f(DC),f(ACH),f(ACV)）と第2の特徴量候補（f(R),f(G),f(B)）のどちらか一方を前景分離特徴量(f(1),f(2),f(3))として選らぶことを選択回路50へ指示する。この結果、選択回路50は次のフレームからは選択された前景分離特徴量（f(1),f(2),f(3)）を中間前景小領域決定部60内の中間前景処理部61に伝える。中間前景処理部61が制御回路40を起動するのは、現在のフレームの小領域を処理した結果である。具体的には、制御回路40を起動するのは後述するように中間前景処理部61での処理結果として前景ガウス分布と背景ガウス分布の入れ替えが起こったときである。このため、次のフレームの同一小領域から特徴量候補が変わる可能性がある。 When the control circuit 40 is activated by the intermediate foreground processing unit 61, the first feature quantity candidate (f (DC), f (ACH), f (ACV)) and the second feature quantity candidate (f (R), The selection circuit 50 is instructed to select one of f (G) and f (B)) as the foreground separation feature quantity (f (1), f (2), f (3)). As a result, the selection circuit 50 uses the foreground separation feature amount (f (1), f (2), f (3)) selected from the next frame as the intermediate foreground processing unit 61 in the intermediate foreground small region determination unit 60. To tell. The intermediate foreground processing unit 61 activates the control circuit 40 as a result of processing a small area of the current frame. Specifically, the control circuit 40 is activated when the foreground Gaussian distribution and the background Gaussian distribution are switched as a result of processing in the intermediate foreground processing unit 61 as will be described later. For this reason, there is a possibility that the feature quantity candidates change from the same small area of the next frame.

それ以外の場合は、選択回路50は次のフレームでも前景分離特徴量(f(1),f(2),f(3))は現在と同じ特徴量候補を選んでいる。しかし、中間前景処理部61が制御回路40に起動信号を伝えた場合には、制御回路40は第1の特徴量候補（f(DC),f(ACH),f(ACV)）と第2の特徴量候補（f(R),f(G),f(B)）に対し、各々の要素の最小値を比べて最小値が大きい方の特徴量候補を次のフレームから前景分離特徴量とするように選択回路50へ指示する。また、この時点で、制御回路40は選択回路50の選択が現状の特徴量候補から異なった特徴量候補に変える場合は、この事をガウスモデル記憶部62へ伝える。ただし、制御回路40が選択回路50に特徴量候補を変更するように伝えるのは影領域除去に用いる4ｘ4や8ｘ8画素の小さな領域だけであり、大きな分割領域では選択回路50は常時変換領域成分信号抽出器20の出力である第1の特徴量候補を選択するようにする。大きな分割領域は影除去には使わないためである。制御回路40は後程図4の動作フローチャートを用いて説明する。 In other cases, the selection circuit 50 selects the same feature quantity candidate as the current foreground separation feature quantity (f (1), f (2), f (3)) in the next frame. However, when the intermediate foreground processing unit 61 transmits an activation signal to the control circuit 40, the control circuit 40 determines that the first feature quantity candidate (f (DC), f (ACH), f (ACV)) and the second For the feature quantity candidates (f (R), f (G), f (B)), compare the minimum value of each element and select the feature quantity candidate with the larger minimum value from the next frame. To the selection circuit 50. At this time, the control circuit 40 notifies the Gaussian model storage unit 62 of this when the selection of the selection circuit 50 changes from the current feature quantity candidate to a different feature quantity candidate. However, the control circuit 40 tells the selection circuit 50 to change the feature quantity candidate only in a small area of 4 × 4 or 8 × 8 pixels used for shadow area removal. In a large divided area, the selection circuit 50 always converts the conversion area component signal. The first feature quantity candidate that is the output of the extractor 20 is selected. This is because large divided areas are not used for shadow removal. The control circuit 40 will be described later with reference to the operation flowchart of FIG.

中間前景小領域決定部60の内容は、T.Shiota等の先行技術文献の方法とほぼ同じである。ただし、２つの特徴量候補を切り替えることが起こるため、ガウスモデル記憶部62は状況に応じて格納する内容が変化する。このため、以下では中間前景小領域決定部60を構成する中間前景処理部61とガウスモデル記憶部62に分離している。 The contents of the intermediate foreground small area determination unit 60 are almost the same as the method of the prior art document such as T. Shiota. However, since the two feature quantity candidates are switched, the content stored in the Gaussian model storage unit 62 changes depending on the situation. Therefore, in the following, the intermediate foreground processing unit 61 and the Gaussian model storage unit 62 constituting the intermediate foreground small area determination unit 60 are separated.

中間前景処理部61 は選択回路50から入力される前景分離特徴量（f(1),f(2),f(3)）の各々の要素に対して、この小領域内の前景分離特徴量の要素毎の振る舞いを近似した複数のガウス分布の分布係数をガウスモデル記憶部62から取り込んで中間前景領域を決定する。ここでガウス分布係数とはガウス分布の重み係数、平均、分散、およびこのガウス分布が前景か背景かを示す前景背景フラグからなっており、個々のガウス分布はガウス分布係数で完全に定まる。ガウスモデル記憶部62には処理を行う小領域毎の前景分離特徴量の要素毎にM個のガウス分布係数が格納されている。以下ではある要素の振る舞いを表す第ｊ番目のガウス分布係数を重み係数ω(j)、平均μ(j)、分散σ(j)^２および前景/ 背景フラグF(j)として定義する The intermediate foreground processing unit 61 applies the foreground separation feature amount in this small region to each element of the foreground separation feature amount (f (1), f (2), f (3)) input from the selection circuit 50. A plurality of Gaussian distribution coefficients approximating the behavior of each element are taken from the Gaussian model storage unit 62 to determine an intermediate foreground region. Here, the Gaussian distribution coefficient includes a weighting coefficient of the Gaussian distribution, an average, a variance, and a foreground / background flag indicating whether the Gaussian distribution is the foreground or the background, and each Gaussian distribution is completely determined by the Gaussian distribution coefficient. The Gaussian model storage unit 62 stores M Gaussian distribution coefficients for each element of the foreground separation feature value for each small area to be processed. In the following, the jth Gaussian distribution coefficient representing the behavior of an element is defined as a weighting coefficient ω (j), mean μ (j), variance σ (j) ^ 2, and foreground / background flag F (j)

中間前景処理部61 は選択回路50から入力される前景分離特徴量（f(1),f(2),f(3)）の要素1個ずつに対し、その要素に対応するガウス分布係数を用いて包含されるガウス分布を見つける。見つかったガウス分布が前景ガウス分布に属するなら中間前景となり、中間前景フラグをセットする。また、背景ガウス分布に属するなら背景となる。どのガウス分布にも属さない場合は中間前景とする。この場合は、特徴量要素を平均として、分散と重みは初期値に設定した新規ガウス分布を生成する。この要素に対するガウス分布の数はM個と決めてあるので、既存ガウス分布のうち最少の重み係数を持つものに代わり新規ガウス分布をこの特徴量用のガウス分布の仲間に入れる。 The intermediate foreground processing unit 61 calculates the Gaussian distribution coefficient corresponding to each element of the foreground separation feature (f (1), f (2), f (3)) input from the selection circuit 50. Use to find the Gaussian distribution included. If the found Gaussian distribution belongs to the foreground Gaussian distribution, it becomes an intermediate foreground, and an intermediate foreground flag is set. If it belongs to the background Gaussian distribution, it becomes the background. If it does not belong to any Gaussian distribution, it is set as an intermediate foreground. In this case, a new Gaussian distribution in which the feature elements are averaged and the variance and weight are set to initial values is generated. Since the number of Gaussian distributions for this element is determined to be M, a new Gaussian distribution is added to the Gaussian distribution for this feature quantity instead of the existing Gaussian distribution having the smallest weight coefficient.

現在処理中の要素に関するM個のガウス分布は前景/背景ガウス分布に関係なく、次のフレーム処理のために全てのガウス分布の分布係数を更新する。この更新方法は、前景分離特徴量要素f(i)を含むガウス分布の平均と分散を特徴量に合わせて更新する。同時に、前景分離特徴量要素を含むガウス分布の重み係数は増加させるが、逆に特徴量要素f(i)を含まなかったガウス分布は重み係数を少し小さくする。つまり、最近の使用頻度を表す係数にする。 Regardless of the foreground / background Gaussian distribution, the M Gaussian distributions for the element currently being processed update the distribution coefficients of all Gaussian distributions for the next frame processing. In this updating method, the average and variance of the Gaussian distribution including the foreground separation feature quantity element f (i) are updated according to the feature quantity. At the same time, the weighting coefficient of the Gaussian distribution including the foreground separation feature quantity element is increased, but conversely, the weighting coefficient is slightly reduced for the Gaussian distribution not including the feature quantity element f (i). That is, the coefficient represents the recent usage frequency.

この更新結果で次フレームから各ガウス分布が前景ガウスになるか背景ガウスになるかが決定され、前景/背景フラグを更新する。更新手順はまず全てのガウス分布の重み係数の和が1になるように正規化した上で、重み係数の大きい順にガウス分布係数を並び替える。すでに述べた様に背景ガウス分布は大きな重み係数を持つため、並び替えたガウス分布係数を先頭から加算して行き、あらかじめ定めた閾値、例えば0.8に達するまでのガウス分布は背景ガウス分布となり、前景/背景フラグを0にセットする。残りのガウス分布は前景ガウス分布になり前景/背景フラグを１にセットする。この時、これまで前景ガウス分布に属していたあるガウス分布の重み係数が大きくなり、背景ガウス分布に仲間入りするガウス分布が生じることがある。この時は制御回路40へ起動信号を送るための起動フラグを上げる。以上で前景分離特徴量の１要素に関する処理が終わることになる。ここまでの捜査を残りの要素に対して同様の処理を行う。注意すべきことはある前景分離特徴量の要素に関する処理では中間前景フラグはセットされないこともある。その場合はこの前景分離特徴量の要素は全て背景であったことになる。他の前景分離特徴量の要素で1回でも中間前景フラグがセットされると、この領域は中間前景であるとする。 From this update result, it is determined from the next frame whether each Gaussian distribution is a foreground Gaussian or a background Gaussian, and the foreground / background flag is updated. In the update procedure, first, normalization is performed so that the sum of the weighting coefficients of all Gaussian distributions becomes 1, and then the Gaussian distribution coefficients are rearranged in descending order of the weighting coefficient. As described above, since the background Gaussian distribution has a large weighting coefficient, the rearranged Gaussian distribution coefficients are added from the top, and the Gaussian distribution until reaching a predetermined threshold, for example, 0.8, becomes the background Gaussian distribution, and the foreground Set the / background flag to 0. The remaining Gaussian distribution becomes the foreground Gaussian distribution, and the foreground / background flag is set to 1. At this time, the weighting coefficient of a certain Gaussian distribution that has belonged to the foreground Gaussian distribution until now increases, and a Gaussian distribution that joins the background Gaussian distribution may occur. At this time, the activation flag for sending the activation signal to the control circuit 40 is raised. This completes the process for one element of the foreground separation feature amount. The same process is performed for the remaining elements until the search so far. It should be noted that the intermediate foreground flag may not be set in a process related to an element of a foreground separation feature quantity. In that case, all the elements of the foreground separation feature amount are the background. If the intermediate foreground flag is set even once with other foreground separation feature value elements, this region is assumed to be an intermediate foreground.

全ての前景分離特徴量の要素に対する更新を終わると、要素毎のM個の更新ガウス係数結果をガウスモデル記憶部62へ転送する。制御回路40 の起動フラグがセットされている場合は制御回路40へ起動信号を送り、また、影除去部71には中間前景フラグと前景分離特徴量を送って終了する。 When the update of all foreground separation feature amount elements is completed, M update Gaussian coefficient results for each element are transferred to the Gaussian model storage unit 62. When the activation flag of the control circuit 40 is set, an activation signal is sent to the control circuit 40, and the intermediate foreground flag and the foreground separation feature quantity are sent to the shadow removal unit 71, and the process ends.

ガウスモデル記憶部62では処理する小領域ごとに構築された前景分離特徴量の要素毎の全てのガウス分布係数、つまり、平均、分散、重み係数、および前景/背景フラグを記憶しているメモリで、小領域処理の初めに中間前景処理部61に供給するデータを格納している。各小領域内の前景分離特徴量の要素毎に複数あるガウス分布は重み係数が最大のガウス分布から最小のガウス分布になるように順番づけられて記憶している。前景/背景フラグF(j)に関しては重み係数の大きい順に並んだ初めの方のガウス分布係数の前景/背景フラグF(j)は背景ガウスを示す状況側になり、ガウス分布の係数列の終わり近づくと前景/背景フラグF(j)は前景ガウスを示す状況側になる。ガウス分布係数列がこのように並ぶ理由は、前述した中間前景処理部61でガウス分布係数の更新後に前景/背景フラグを決定するために行う重み係数の大きいもの順にソートすることに依存しており、この並び替えられた順に中間前景処理部61よりガウスモデル記憶部62へ送られるためである。受け取った順にガウス分布係数を格納しているからである。また、ガウスモデル記憶部62は後述する真正前景分離部70内の影領域除去回路71にもガウス分布係数を供給するが、これは更新前の背景ガウス分布の平均値と分散だけでよい。供給するタイミングは中間前景処理部61へデータを供給する場合と同時でよい。 The Gaussian model storage unit 62 is a memory that stores all the Gaussian distribution coefficients for each element of the foreground separation feature amount constructed for each small area to be processed, that is, the mean, variance, weighting coefficient, and foreground / background flag. The data to be supplied to the intermediate foreground processing unit 61 at the beginning of the small area processing is stored. A plurality of Gaussian distributions for each element of the foreground separation feature amount in each small area are stored in order so that the weighting coefficient is changed from the largest Gaussian distribution to the smallest Gaussian distribution. Foreground / background flag F (j), the foreground / background flag F (j) of the first Gaussian distribution coefficient arranged in descending order of the weighting coefficient is on the situation side indicating background Gaussian, and the end of the Gaussian distribution coefficient sequence When approaching, the foreground / background flag F (j) becomes the situation side indicating foreground Gauss. The reason why the Gaussian distribution coefficient sequence is arranged in this way depends on sorting in descending order of the weighting coefficient to determine the foreground / background flag after updating the Gaussian distribution coefficient in the intermediate foreground processing unit 61 described above. This is because the intermediate foreground processing unit 61 sends the data to the Gaussian model storage unit 62 in the rearranged order. This is because the Gaussian distribution coefficients are stored in the order received. Further, the Gaussian model storage unit 62 supplies the Gaussian distribution coefficient to a shadow region removing circuit 71 in the authentic foreground separation unit 70 described later, but this may be only the average value and variance of the background Gaussian distribution before update. The supply timing may be the same as when data is supplied to the intermediate foreground processing unit 61.

ガウスモデル記憶部62は中間前景処理部61から供給された対応する領域の更新ガウス分布係数を蓄えて次フレームの同一領域の処理時に中間前景処理部61へ伝えることが役割である。しかし、制御回路40からの信号により、次フレームからは異なった特徴量候補を前景分離特徴量として使うことが通知された場合はガウスモデル記憶部62内に蓄えられた対応する小領域のガウス分布の情報は全て消去する。前景分離特徴量が変わることで、今まで構築してきたガウス分布モデルはもはや意味がなくなるためである。このため、この小領域に関しては最初から背景モデルを構築することになる。ガウスモデル記憶部62の構造は後程その一実施例を、図6を用いて詳述する。 The Gaussian model storage unit 62 is responsible for storing the updated Gaussian distribution coefficient of the corresponding region supplied from the intermediate foreground processing unit 61 and transmitting it to the intermediate foreground processing unit 61 when processing the same region of the next frame. However, when it is notified by the signal from the control circuit 40 that a different feature quantity candidate is used as the foreground separation feature quantity from the next frame, the Gaussian distribution of the corresponding small region stored in the Gaussian model storage unit 62 All the information is deleted. This is because the Gaussian distribution model that has been constructed so far no longer makes sense because the foreground separation feature value changes. For this reason, a background model is constructed from the beginning for this small area. An example of the structure of the Gaussian model storage unit 62 will be described in detail later with reference to FIG.

真正前景分離部70は影領域除去回路71と前景構成回路72から構成されており、影領域除去回路71はT.Shiota等の影除去回路の機能を第2の特徴量候補である色平均信号を要素とする場合にも対応できるように改造を施したものであり、前景構成回路72は多重分割した真正前景領域から前景分離画像を構築するものである。 The true foreground separation unit 70 includes a shadow area removal circuit 71 and a foreground composition circuit 72. The shadow area removal circuit 71 functions as a second feature amount candidate color average signal as a function of the shadow removal circuit such as T.Shiota. The foreground composing circuit 72 constructs a foreground separated image from the multi-divided genuine foreground region.

影領域除去回路71は前景領域処理部61で中間前景小領域毎に与えた中間前景フラグの状態を真正前景フラグに引き継ぎ、前景領域処理部61から受け取った前景分離特徴量、および、ガウスモデル記憶部62から供給されたこのフレームの背景ガウス分布の平均と分散を用いて影領域か否かの判定を行う。対象とする小領域が影領域ではない場合は真正前景フラグがセットされたままとなり、影と判断される場合は真正前景フラグをリセットすることで現在処理中の小領域が真正中間前景領域内の小領域でないことを示す。影領域か否かを決定する原理はT.Shiota等の方法に従う。但し、T.Shiota等が使ったf(DC)のように画像特有の性質として他の特徴量候補より大きい値を持つ特徴量要素は色平均特徴量にはない。T.Shota等はf(DC)が大きな値になることで影による減衰量の推定精度を高く計算できる基準としていた。この点を第1の特徴量候補、および、第2の特徴量候補で共通して使えるようにするのが影除去回路71の役目の一つになる。 The shadow area removal circuit 71 takes over the state of the intermediate foreground flag given for each intermediate foreground small area by the foreground area processing unit 61 to the genuine foreground flag, stores the foreground separation feature amount received from the foreground area processing unit 61, and the Gaussian model storage It is determined whether or not it is a shadow region using the average and variance of the background Gaussian distribution of this frame supplied from the unit 62. If the target small area is not a shadow area, the true foreground flag remains set.If it is determined to be a shadow, the true foreground flag is reset so that the currently processed small area is within the true middle foreground area. Indicates that it is not a small area. The principle of determining whether or not it is a shadow area follows the method of T. Shiota et al. However, as f (DC) used by T. Shiota et al., A feature element having a value larger than other feature quantity candidates as an image-specific property is not included in the color average feature quantity. T. Shota et al. Used a standard that can calculate the estimation accuracy of the amount of attenuation due to shadows with high f (DC). One of the roles of the shadow removal circuit 71 is to make this point available in common to the first feature quantity candidate and the second feature quantity candidate.

このため、本発明の影領域除去回路71は現状の前景分離特徴量(f(1),f(2),f(3))のうちで最大の値を持つ要素を影評価基準として選ぶ。選出された基準となる特徴量の要素（以下基準要素と呼ぶ）は、その要素に関する全ての背景ガウス分布の平均と比べ、特徴量要素が平均より小さくなり減衰している場合は、処理中の小領域が影領域候補となったとする。また、これらの背景ガウス分布の平均と影評価基準の値の比から減衰量を計算する。複数個の減衰量が現れるが、この各々の減衰量に対して以下の影領域検証処理を行う。 For this reason, the shadow area removal circuit 71 of the present invention selects the element having the maximum value among the current foreground separation feature quantities (f (1), f (2), f (3)) as the shadow evaluation criterion. The selected feature element (hereinafter referred to as the reference element) is compared with the average of all the background Gaussian distributions for that element. Suppose that a small area becomes a shadow area candidate. The attenuation is calculated from the ratio of the average of the background Gaussian distribution and the value of the shadow evaluation criterion. A plurality of attenuation amounts appear, and the following shadow region verification process is performed for each attenuation amount.

検証は基準特徴量要素以外の２つの前景分離特徴量要素を用いる。そのうちの１つの前景特徴量に、減衰量の逆数を順次乗じる。その結果で、1つでもその要素に割り当てられた背景ガウス分布に包含されるようになる場合を影であると判断する。つまり、基準要素と同じ減衰を受けたと考える。影である検証が終わった場合は真正前景フラグをリセットする。この場合には処理はここで終わる。この小領域が影であることを検証できたためである。包含するガウス分布が見つからない場合は、残りの要素のガウス分布に関しても同様の処理を行う。影候補全てが影領域でない場合のみ真正前景フラグはセットされたままであり、この小領域が最終的な真正前景を示していることになる。影領域除去回路71は図7の動作フローチャートを用いて後述する。 The verification uses two foreground separation feature elements other than the reference feature element. One of the foreground feature values is sequentially multiplied by the reciprocal of the attenuation amount. As a result, if any one of the elements is included in the background Gaussian distribution assigned to the element, it is determined as a shadow. In other words, the same attenuation as the reference element is considered. When verification as a shadow is completed, the true foreground flag is reset. In this case, the process ends here. This is because it has been verified that this small area is a shadow. If a Gaussian distribution to be included cannot be found, the same processing is performed for the Gaussian distribution of the remaining elements. Only when all the shadow candidates are not shadow areas, the true foreground flag remains set, and this small area indicates the final true foreground. The shadow area removal circuit 71 will be described later with reference to the operation flowchart of FIG.

影領域除去回路71で設定した真正前景フラグは前景構成回路72へ送られ、真正の前景画像を構成する。この実施例では1フレーム中の小領域を順次処理してゆくので、前景構成回路72は真正前景フラグを受け取ると、その真正前景フラグの担当している小領域が画像中のどの部分に当たるか分かっている。小領域が4x4画素相当の場合は真正前景フラグがセットされている場合は4x4個の１を対応するフレーム位置に書き込み、真正前景フラグがリセットの場合は4x4個の0を書き込む。4x4画素相当の小領域を全て処理し終わったら1フレームの2値画ができ上がり、１が前景、0が背景部分になる。これが真正前景画像のベースになる。 The genuine foreground flag set by the shadow area removal circuit 71 is sent to the foreground composition circuit 72 to construct a genuine foreground image. In this embodiment, since the small area in one frame is sequentially processed, when the foreground composition circuit 72 receives the true foreground flag, it knows which part in the image the small area that the true foreground flag is in charge of. ing. When the small area is equivalent to 4x4 pixels, if the true foreground flag is set, 4x4 1s are written in the corresponding frame position, and if the true foreground flag is reset, 4x4 0s are written. When all the small areas equivalent to 4x4 pixels have been processed, a binary image of one frame is created, with 1 being the foreground and 0 being the background. This is the basis of the genuine foreground image.

次の8x8画素小領域以降、64x64画素小領域までの処理は以下に述べる8x8画素小領域の真正前景画像への反映方法と同じである。8x8画素小領域の場合も、真正前景フラグを受け取った時点で、先に述べた真正前景画像のベース画像となるフレーム上でどの位置に対応する場所であるかわかる。よって、その位置に対して真正前景フラグのセット/リセットに応じて8x8個の１もしくは0をデータとして準備する。ベース画像は0と１の2値画であるので、準備した8x8個のデータとベース画像の対応する領域の値との論理積（AND）を取って同じ位置へ格納する。この結果、8x8画素領域は4x4画素領域を４個含んでいるので8x8個のデータが1である場合は4個の4x4画素領域の1/0状態はそのまま残る。しかし、逆に8x8個の領域が0の場合は対応する位置は全てゼロとなる。以下、順次真正前景フラグに基づいて全ての8x8画素小領域をベース画像に書き込んだのち、16x16画素領域の真正フラグに基づいた処理に移り、順次最大小領域まで繰り返すことで多重解像度処理による真正前景分離画像が得られる。つまり、ある位置の4x4領域のデータはそれを含む全ての64x64領域でまの小領域が影除去を行った小領域の真正前景領域判定か影除去は行わない大きな小領域で中間前景判定である場合のみ生き残る。8x8領域以上の処理は、領域が大きく安定した前景分離が行えるため、4x4領域のデータが不安定となって誤判定した場合でも誤判定を消去できることになる。 The processing from the next 8x8 pixel small region to the 64x64 pixel small region is the same as the method of reflecting the 8x8 pixel small region in the true foreground image described below. Also in the case of the 8 × 8 pixel small region, when the genuine foreground flag is received, it is possible to know which position corresponds to the frame serving as the base image of the true foreground image described above. Therefore, 8 × 8 1s or 0s are prepared as data in accordance with the setting / reset of the true foreground flag for the position. Since the base image is a binary image of 0 and 1, the logical product (AND) of the prepared 8 × 8 data and the value of the corresponding area of the base image is obtained and stored in the same position. As a result, since the 8 × 8 pixel area includes four 4 × 4 pixel areas, when the 8 × 8 data is 1, the 1/0 state of the four 4 × 4 pixel areas remains as it is. However, if the 8 × 8 area is 0, the corresponding positions are all zero. Hereinafter, after all 8x8 pixel small areas are written to the base image based on the true foreground flag, the process moves to the process based on the authentic flag of the 16x16 pixel area, and the true foreground by multi-resolution processing is repeated until the maximum small area is sequentially repeated. A separated image is obtained. In other words, the 4x4 area data at a certain position is a true foreground area determination of a small area where shadows have been removed in all 64x64 areas including it, or an intermediate foreground determination in a large area without shadow removal. Only survive if. Since processing of 8x8 area or larger can perform foreground separation with a large area, the erroneous determination can be deleted even if the data of the 4x4 area becomes unstable and erroneously determined.

リセット端子80はシステムが動き出す時点で、制御回路40を変換領域成分信号抽出器20の出力を選択回路50で選ぶようにすることと、ガウスモデル記憶部62の内容を全て消去するためのものである。適応処理のためどのような状況であっても時間をかければ最適な状況になるため問題は少ないが、安定動作に落ち着くまでの時間を短縮したい場合にはリセット信号が必要である。 The reset terminal 80 is used for the control circuit 40 to select the output of the transform domain component signal extractor 20 by the selection circuit 50 when the system starts, and to erase all the contents of the Gaussian model storage unit 62. is there. Although adaptive what circumstances a a problem because it becomes the optimum conditions by multiplying the time for processing is small, if you want to shorten the time to settle to a stable operation is required reset signal.

以下、本発明の一実施例である図1の個々の構成手段に関する実現法と動作フローチャートを用いて詳述する。 以下の説明で用いる図面では図面の簡単化のためf(DC)などの記述は括弧内の文字が下付きの添え字として記述している。対応するのはf(DC),f(ACH),fACV),f(R),f(G),f(B),f(i),μ(j),σ(j),ω(j),F(j)などである。 A detailed description will be given below with reference to an implementation method and an operation flowchart relating to the individual components shown in FIG. 1, which is an embodiment of the present invention. In the drawings used in the following description, characters in parentheses are described as subscripts in the description of f (DC) and the like for simplification of the drawings. Corresponding to f (DC), f (ACH), fACV), f (R), f (G), f (B), f (i), μ (j), σ (j), ω (j ), F (j), etc.

図2は変換領域成分信号抽出器20の詳細な実施例である。図2は変換領域成分信号抽出器20、カメラからの入力端子セット200、入力端子セット200内の赤信号入力端子201、緑信号入力端子202、青信号入力端子203、RGB2YCrCb変換回路210、WPP220から構成されており、カメラからの入力端セット200は、赤信号入力端子201、緑信号入力端子202、青信号入力端子203からなっている。ここでWPPはR.Yagi等の前景分離法に関するシステムLSIの設計に関する文献”GMM foreground Segmentation Processor based on Address Free Pixel Streams”, (Proceedings of IEEE ICASSP’2012 pp.1653-1656, March 2012)に記載のWalsh Parameter Processorと呼ばれる専用プロセッサで、輝度信号画像を入力すると多重分割を行いながらWalsh変換による特徴量（f(DC),f(ACH), f(ACV)）を生成する。 FIG. 2 is a detailed embodiment of the transform domain component signal extractor 20. 2 shows a conversion area component signal extractor 20, an input terminal set 200 from the camera, a red signal input terminal 201, a green signal input terminal 202, a green signal input terminal 203, an RGB2YCrCb conversion circuit 210, and a WPP 220 in the input terminal set 200. The input terminal set 200 from the camera includes a red signal input terminal 201, a green signal input terminal 202, and a blue signal input terminal 203. WPP is described in R.Yagi et al., “GMM foreground Segmentation Processor based on Address Free Pixel Streams”, (Proceedings of IEEE ICASSP'2012 pp.1653-1656, March 2012). When a luminance signal image is input, a feature value (f (DC), f (ACH), f (ACV)) by Walsh transform is generated while performing multiple division.

カメラからの入力端子セット200内の赤信号入力端子201、緑信号入力端子202、青信号入力端子203の各々に入力されたR, G, B信号はRGB2YCrCb変換回路210で画素毎にRGB表色系からYCｒCb表色系に変換するものであるが、RGB2YCrCb変換回路210の出力のうち輝度信号Ｙは使うもののクロミナンス成分Cr,Cbは使わない。よって、RGB2YCrCb回路210は以下の赤信号入力端子201からの入力されるカメラ10からのR成分信号、緑信号入力端子202から入力されるG成分信号、 青信号入力端子203から入力される B成分信号に対して前述した式(1)の重み付け線形加算を行なう。また、この結果をWPP220に伝える。 R, G, B signals input to the red signal input terminal 201, green signal input terminal 202, and blue signal input terminal 203 in the input terminal set 200 from the camera are RGB color system for each pixel by the RGB2YCrCb conversion circuit 210. Of the RGB2YCrCb conversion circuit 210 uses the luminance signal Y but does not use the chrominance components Cr and Cb. Therefore, the RGB2YCrCb circuit 210 has the following R component signal input from the camera 10 input from the red signal input terminal 201, G component signal input from the green signal input terminal 202, and B component signal input from the blue signal input terminal 203. Is subjected to the weighted linear addition of equation (1). In addition, this result is transmitted to WPP220.

WPP220はすでに説明したように、R.Yagi等文献が提唱するもので、1画面を4 x 4画素相当から64 x 64画素相当の階層的な小領域ごとに多重分割し、小領域ごとにWalsh変換によって変換領域に移し、そこから強度平均成分信号f(DC)、横方向の低域側の3個のスペクトルを線形結合させた横成分スペクトルバンド成分信号f(ACH)、同じく縦方向の低域側のスペクトルを3個線形結合させた縦成分スペクトルバンド成分信号f(ACV)を生成する。WPP220で小領域ごとに生成したこれ等の(f(DC),f(ACH),f(ACV)）が出力であり、図1の変換領域成分信号抽出器20の出力である。つまり、これが第1の特徴量候補となる。 As already explained, WPP220 is proposed by R.Yagi et al., Which divides one screen into hierarchical small areas equivalent to 4 x 4 pixels to 64 x 64 pixels, and Walsh for each small area. Transformed to the transform domain, from which the intensity average component signal f (DC), the lateral component spectral band component signal f (ACH) that is a linear combination of the three low-frequency spectra in the lateral direction, A vertical component spectral band component signal f (ACV) is generated by linearly combining three spectrums on the band side. These (f (DC), f (ACH), f (ACV)) generated for each small region by the WPP 220 are outputs, and are the outputs of the transform region component signal extractor 20 of FIG. That is, this is the first feature amount candidate.

図3は色平均成分信号抽出器30の実施例である。色平均成分信号抽出器30はカメラからの入力端子セット300および、WPP列310からなり、入力端子セット300はR入力端子301、G入力端子302、B入力端子303から構成され、また、WPP列310は3個のWPP311、WPP312、WPP303からなっている。ここでWPP311、WPP312、WPP303の各々は図2のWPP220と同じ機能である。 FIG. 3 shows an embodiment of the color average component signal extractor 30. The color average component signal extractor 30 includes an input terminal set 300 from the camera and a WPP column 310, and the input terminal set 300 includes an R input terminal 301, a G input terminal 302, and a B input terminal 303. 310 consists of three WPP311, WPP312, and WPP303. Here, each of WPP311, WPP312, and WPP303 has the same function as WPP220 of FIG.

カメラからのカラー信号は入力端子セット300内のR入力端子301よりR成分信号、G入力端子302よりG成分信号、B入力端子303よりB成分信号が入力され、それぞれの端子に直結されたWPP列310内のWPP311, WPP312, WPP313に供給される。これ等のWPPでは入力信号の領域毎の平均となるf(DC)のみを使いf(ACH)とf(ACV)は使わない。このため、WPP311, WPP312, WPP313のそれぞれのf(DC)端子からはR入力端子301, G入力端子302, B入力端子303のそれぞれに入力されるカメラ10からのR成分信号画面、G成分信号画面、B成分信号画面は、それぞれR, G, B成分信号を4x4画素領域から64x64画素領域の階層的な多重小領域分割にして小領域ごとにWalsh変換によって変換処理を実行し、それぞれのWPPのf(DC)出力からはR色成分、G色成分、B色成分の小領域での平均成分信号を出力することになる。よって、これらは色平均成分信号抽出器30の出力となり、WPP311のf(DC)からはf(R)が、WPP312のf(DC)からはｆ(G)が、WPP313のf(DC)からはf(B)が得られる。これ等をまとめた(f(R),f(G),f(B))が第2の特徴量候補である。 The color signal from the camera is an R component signal from the R input terminal 301 in the input terminal set 300, a G component signal from the G input terminal 302, and a B component signal from the B input terminal 303, and WPP directly connected to each terminal. Supplied to WPP 311, WPP 312, and WPP 313 in column 310. In these WPPs, only f (DC) which is an average for each area of the input signal is used, and f (ACH) and f (ACV) are not used. Therefore, the R component signal screen and G component signal from the camera 10 input to the R input terminal 301, G input terminal 302, and B input terminal 303 from the f (DC) terminals of WPP311, WPP312, and WPP313, respectively. The screen and B component signal screens are divided into hierarchical multiple subregions from 4x4 pixel area to 64x64 pixel area for R, G and B component signals, respectively, and conversion processing is executed by Walsh transform for each subregion, and each WPP From the f (DC) output, an average component signal in a small region of the R color component, the G color component, and the B color component is output. Therefore, these become the output of the color average component signal extractor 30, f (R) from f (DC) of WPP311, f (G) from f (DC) of WPP312, and f (DC) of WPP313. Gives f (B). (F (R), f (G), f (B)) that summarizes these is the second feature quantity candidate.

図4の動作フローチャートは制御回路動作フローチャート4、処理領域判定ブロック410、選択回路指示ブロック411、一時記憶ブロック420、変換領域成分信号最小値検出ブロック430、色平均信号最小値検出ブロック440、最小成分判定ブロック450、第1の特徴量候補選出ブロック451、第2の特徴量候補選出ブロック452、選出信号通知ブロック453、選択方向反転検出ブロック460、ガウスモデル記憶部通知ブロック461から構成され、すでに述べた様に中間前景処理部61で前景ガウス分布が背景ガウス分布に変更されるときに制御回路40は起動され、図4の動作フローチャートに基づいて選択回路50とガウスモデル記憶部62を制御する。 4 is a control circuit operation flowchart 4, a processing area determination block 410, a selection circuit instruction block 411, a temporary storage block 420, a conversion area component signal minimum value detection block 430, a color average signal minimum value detection block 440, and a minimum component. It consists of a decision block 450, a first feature quantity candidate selection block 451, a second feature quantity candidate selection block 452, a selection signal notification block 453, a selection direction inversion detection block 460, and a Gaussian model storage unit notification block 461, which have already been described. As described above, when the foreground Gaussian distribution is changed to the background Gaussian distribution in the intermediate foreground processing unit 61, the control circuit 40 is activated and controls the selection circuit 50 and the Gaussian model storage unit 62 based on the operation flowchart of FIG.

制御回路40が起動され、図4の動作フローチャートの沿った処理が始まると、まず、処理領域判定ブロック410で小領域が8ｘ8画素以下であることを確認する。これ以上大きな画素領域では選択回路50は常に第1の特徴量候補を選択させるためである。よって8ｘ8画素領域以上の領域処理中であれば、選択回路指示ブロック411に分岐して選択回路50には変換領域成分信号抽出器20の出力を常時前景分離特徴量として選択するように指示して終了する。 When the control circuit 40 is activated and the processing according to the operation flowchart of FIG. 4 starts, first, the processing region determination block 410 confirms that the small region is 8 × 8 pixels or less. This is because the selection circuit 50 always selects the first feature amount candidate in a pixel region larger than this. Therefore, if an area process of 8 × 8 pixel area or more is being performed, the process branches to the selection circuit instruction block 411 and instructs the selection circuit 50 to always select the output of the conversion area component signal extractor 20 as the foreground separation feature quantity. finish.

小領域が8ｘ8画素領域以下の場合は一時記憶ブロック420に進み、選択回路50に現在まで指示している状態Sを一時的にTSに移す。後程選択回路50の状態を変えることになるかどうかをチェックするためである。その後、変換領域成分信号最小値検出ブロック430で第1の特徴量候補となる3個の変換領域成分信号のうち最小のものをTF1に移し、次いで色平均信号最小値検出ブロック440で第2の特徴量候補となる3個の色平均成分信号の最小のものをTF2に移す。最小成分判定ブロック450で上記のTF1とTF2を比較し、TF1の方が大きい場合は第1の特徴量候補選出ブロック451に分岐してTF1方向の選択を行う準備を行い、選出信号通知ブロック453で選択回路50に伝える信号をTF1側、つまり、変換領域成分信号である第1の特徴量候補(f(DC),f(ACH),f(ACV)）を選択するように指示する。 When the small area is equal to or smaller than the 8 × 8 pixel area, the process proceeds to the temporary storage block 420, and the state S instructed to the present time to the selection circuit 50 is temporarily moved to TS. This is to check whether the state of the selection circuit 50 will be changed later. Thereafter, the minimum one of the three transformed region component signals that are the first feature quantity candidates in the transformed region component signal minimum value detection block 430 is transferred to TF1, and then the second average in the color average signal minimum value detection block 440 The smallest of the three color average component signals that are feature quantity candidates is transferred to TF2. In the minimum component determination block 450, the above TF1 and TF2 are compared. If TF1 is larger, the process branches to the first feature quantity candidate selection block 451 to prepare for selection in the TF1 direction, and the selection signal notification block 453 In this case, the signal transmitted to the selection circuit 50 is instructed to select the TF1 side, that is, the first feature quantity candidate (f (DC), f (ACH), f (ACV)), which is the transformation region component signal.

逆に最小成分判定ブロック450でTF2の方が大きい場合は第2の特徴量候補選出ブロック452に分岐し、先に述べた選出信号通知ブロック453に合流する。ただし、この場合は通知する内容は選択回路50に色平均成分信号抽出器30からの出力を前景分離特徴量として選択するように指示するものになる。 On the other hand, if TF2 is larger in the minimum component determination block 450, the process branches to the second feature quantity candidate selection block 452, and merges with the selection signal notification block 453 described above. However, in this case, the notified content instructs the selection circuit 50 to select the output from the color average component signal extractor 30 as the foreground separation feature quantity.

選出信号通知ブロック453が終了すると、引き続き選択方向反転検出ブロック460によりこの選択結果が一時記憶ブロック420で一時的に蓄えたこれまでの選択結果と同じかどうかを判断する。同じであればガウスモデル記憶部62に蓄えたガウスモデルは引き続き利用できるので、そのまま終了する。一方、選択回路50が異なった特徴量候補を前景分離特徴量としようとするときは、ガウスモデル記憶部62に今までのガウス分布は使えなくなったことを知らせる必要があり、ガウスモデル記憶部通知ブロック461を起動して終了する。以上の動作フローチャートにより、次のフレームからは選択回路50は制御回路40の指示通り、第1、第2の特徴量候補の内から特徴量候補の要素の最小値が大きい方の特徴量候補を前景分離特徴量に選択することになる。 When the selection signal notification block 453 ends, the selection direction inversion detection block 460 determines whether or not the selection result is the same as the previous selection results temporarily stored in the temporary storage block 420. If they are the same, the Gaussian model stored in the Gaussian model storage unit 62 can continue to be used, and the process is terminated. On the other hand, when the selection circuit 50 tries to use different feature quantity candidates as foreground separation feature quantities, it is necessary to inform the Gaussian model storage unit 62 that the previous Gaussian distribution can no longer be used. Start block 461 and exit. According to the above operation flowchart, from the next frame, the selection circuit 50 selects the feature quantity candidate with the larger minimum value of the feature quantity candidate elements from the first and second feature quantity candidates as instructed by the control circuit 40. The foreground separation feature value is selected.

図5は中間前景処理部61の動作フローチャートであり、中間前景処理部フローチャート5、特徴量要素設定ブロック601、カウンタクリアブロック602、ガウス分布番号設定ブロック603、ガウス分布包含検査ブロック604、ガウス分布係数更新増強ブロック605、前景ガウス分布検査ブロック606、中間前景フラグセットブロック607、ガウス分布ループ終了判定ブロック608および608’、重み係数減少ブロック609、カウンタ歩進ブロック610、カウント終了ブロック611、新規ガウス生成ブロック612、特徴量要素ループ終了判定ブロック613、前景/背景フラグ設定ブロック614、ガウスモデル記憶部データ転送ブロック615、前景の背景化検査ブロック616、制御回路起動ブロック617、中間前景送出ブロック618から構成されている。ガウス分布ループ終了判定ブロックは608および608’があるが、機能は同じである。ただし、フローチャート内での設置場所が異なる。 FIG. 5 is an operation flowchart of the intermediate foreground processing unit 61. The intermediate foreground processing unit flowchart 5, the feature quantity element setting block 601, the counter clear block 602, the Gaussian distribution number setting block 603, the Gaussian distribution inclusion inspection block 604, the Gaussian distribution coefficient Update enhancement block 605, foreground Gaussian distribution inspection block 606, intermediate foreground flag set block 607, Gaussian distribution loop end determination blocks 608 and 608 ′, weight coefficient reduction block 609, counter step block 610, count end block 611, new Gauss generation Consists of a block 612, a feature element loop end determination block 613, a foreground / background flag setting block 614, a Gaussian model storage unit data transfer block 615, a foreground background checking block 616, a control circuit activation block 617, and an intermediate foreground transmission block 618 Has been. There are 608 and 608 'Gaussian distribution loop end determination blocks, but the functions are the same. However, the installation location in the flowchart is different.

図5の動作フローチャートのスタート時点ではガウスモデル記憶部62から対応する小領域のガウス分布係数は中間前景処理部61に転送されているものとする。影領域除去回路71へ送るのは処理する領域が中間前景領域であるかどうかを示す中間前景フラグであるため、動作フローチャートがスタートする前にリセット、つまり中間前景フラグは下ろした状態になっているものとして説明する。 It is assumed that the Gaussian distribution coefficient of the corresponding small area is transferred from the Gaussian model storage unit 62 to the intermediate foreground processing unit 61 at the start of the operation flowchart of FIG. Since it is an intermediate foreground flag that indicates whether or not the area to be processed is an intermediate foreground area, it is reset before the operation flowchart starts, that is, the intermediate foreground flag is lowered. It is explained as a thing.

図5のフローチャートの処理が始まると、特徴量要素設定ブロック601で前景分離特徴量（f(1),f(2),f(3)）を順次処理するためのループ処理の設定を行う。以下では3回まわるループ処理の第i番目の特徴量要素f(i)が設定されている場合を記述している。ついで、カウンタクリアブロック602で入力された特徴量要素がどのガウス分布にも属さない場合を検出するためのカウンタを設け、そのカウンタを１に設定する。さらに、ガウス分布番号設定ブロック603では1つの特徴量要素に対して、この要素に割り当てられたM個のガウス分布との包含関係を検査するためM回のループ処理を行うためのループ処理番号を設定する。以下では第j番目のガウス分布として取り扱う。 When the processing of the flowchart of FIG. 5 starts, the feature amount element setting block 601 sets loop processing for sequentially processing the foreground separation feature amounts (f (1), f (2), f (3)). In the following, a case is described in which the i-th feature quantity element f (i) is set for the loop processing of three times. Next, a counter is provided for detecting a case where the feature quantity element input in the counter clear block 602 does not belong to any Gaussian distribution, and the counter is set to 1. Furthermore, in the Gaussian distribution number setting block 603, for one feature amount element, a loop processing number for performing M times of loop processing to inspect the inclusion relation with M Gaussian distributions assigned to this element is set. Set. In the following, it is treated as the jth Gaussian distribution.

ガウス分布包含検査ブロック604では特徴量要素設定ブロック601で定められた第i番目の特徴量要素f(i)が、その要素に対応するM個あるガウス分布からガウス分布番号設定ブロック603で選ばれた第j番目とガウス分布に包まれるかどうか検査する。この結果、前景分離特徴量の要素f(i)が第ｊ番目のガウス分布に含まれている場合はガウス分布係数更新増強ブロック605に進み、第ｊ番目のガウス分布の平均と分散を更新し、重み係数を増加させる。次いで、前景ガウス分布検査ブロック606で包含されたガウス分布が前景ガウスなのか背景ガウスなのかをガウス分布係数中の前景/背景フラグF(j)により判定する。判定の結果が前景ガウス分布である場合は中間前景フラグセットブロック607に進み、中間前景フラグをセットする。中間前景フラグをセットしたことで、この小領域は中間前景小領域に属すことを示す。しかし、未検査のガウス分布係数は更新されていないため、ループ処理を続行する。このため、ガウス分布ループ終了判定ブロック608に進む。一方、前景ガウス分布検査ブロック606で要素f(i)を包含する第j番目のガウス分布が背景の場合は直接ガウス分布ループ終了判定ブロック608へ進む。 In the Gaussian distribution inclusion inspection block 604, the i-th feature element f (i) determined in the feature element setting block 601 is selected in the Gaussian distribution number setting block 603 from M Gaussian distributions corresponding to the element. Check whether it is covered with the jth and Gaussian distribution. As a result, if the element f (i) of the foreground separation feature quantity is included in the jth Gaussian distribution, the process proceeds to the Gaussian distribution coefficient update enhancement block 605, and the mean and variance of the jth Gaussian distribution are updated. Increase the weighting factor. Next, it is determined by the foreground / background flag F (j) in the Gaussian distribution coefficient whether the Gaussian distribution included in the foreground Gaussian distribution check block 606 is a foreground Gaussian or a background Gaussian. If the result of the determination is a foreground Gaussian distribution, the process proceeds to an intermediate foreground flag set block 607 and an intermediate foreground flag is set. Setting the intermediate foreground flag indicates that the small area belongs to the intermediate foreground small area. However, since the unchecked Gaussian distribution coefficient has not been updated, the loop processing is continued. Therefore, the process proceeds to the Gaussian distribution loop end determination block 608. On the other hand, if the foreground Gaussian distribution check block 606 shows that the jth Gaussian distribution including the element f (i) is the background, the process proceeds directly to the Gaussian distribution loop end determination block 608.

一方、ガウス分布包含検査ブロック604で前景分離特徴量要素f(i)が第j番目のガウス分布に属さない場合は、重み係数減少ブロック609でそのガウス分布の重み係数のみを減少させる。カウンタ歩進ブロック610とカウント終了ブロック611はカウンタクリアブロック602で１に設定したカウンタを歩進させる。このため、このカウンタによりガウス分布番号設定ブロック603から始まるループ処理においてガウス分布包含検査ブロック604でガウス分布に含まれなかった回数を知ることができる。そこで、カウント終了ブロック611でカウンタがMを示した場合は特徴量の要素f(i)がM個の全てのガウス分布に属さないことを示している。よって、この場合は新規ガウス生成ブロック612へ進む。新規ガウス生成ブロック612では平均値をf(i)、分散と重み係数を初期値に設定した前景ガウス分布を構築する。この操作が終わると中間前景フラグセットブロック607に進んでこの小領域に中間前景小領域フラグを立てる。 On the other hand, when the foreground separation feature element f (i) does not belong to the jth Gaussian distribution in the Gaussian distribution inclusion inspection block 604, the weighting coefficient reduction block 609 reduces only the weighting coefficient of the Gaussian distribution. The counter increment block 610 and the count end block 611 increment the counter set to 1 in the counter clear block 602. Therefore, it is possible to know the number of times that the Gaussian distribution inclusion check block 604 did not include the Gaussian distribution in the loop processing starting from the Gaussian distribution number setting block 603 by this counter. Therefore, when the counter indicates M in the count end block 611, it indicates that the feature quantity element f (i) does not belong to all M Gaussian distributions. Therefore, in this case, the process proceeds to the new Gaussian generation block 612. A new Gaussian generation block 612 constructs a foreground Gaussian distribution in which the average value is set to f (i), and the variance and the weighting factor are set to initial values. When this operation is finished, the process proceeds to an intermediate foreground flag set block 607 and an intermediate foreground small area flag is set in this small area.

ただし、カウント終了ブロック611を通過してガウス分布ループ終了判定ブロック608’に到達することもあるためガウス分布ループ終了判定ブロック608’で未処理ガウス分布があるか否かの判定を行う。分布番号ｊがMに達していない場合はｊを歩進してガウス分布番号設定ブロック603へ戻る。 However, since the Gaussian distribution loop end determination block 608 'may be passed through the count end block 611, the Gaussian distribution loop end determination block 608' determines whether or not there is an unprocessed Gaussian distribution. If the distribution number j has not reached M, j is incremented and the process returns to the Gaussian distribution number setting block 603.

2ヶ所にあるガウス分布ループ終了判定ブロック608と608’で未処理のガウス分布がない場合、つまり、一つの前景分離特徴量のチェックをM個のガウス分布分で終わった場合は特徴量要素ループ終了判定ブロック613に進む。ここで特徴量要素iが3以下の場合はiを歩進して新しい特徴量を設定して検査とガウス分布係数の更新を行うため、特徴量要素設定ブロック601に戻り、新しい特徴量要素に対する処理をスタートする。特徴量要素ループ終了判定ブロック613で特徴量要素iが３であれば、全ての特徴量要素に関する処理が終了するので前景/背景フラグ設定ブロック614へ進む。中間前景フラグは1個しかないので、1つの前景分離特徴量要素の処理で中間前景フラグをセットすれば、他の前景分離特徴量がどのような判定になっても、その小領域は中間前景領域となる。 If there are no unprocessed Gaussian distributions in the two Gaussian distribution loop end decision blocks 608 and 608 ', that is, if one foreground separation feature check is completed for M Gaussian distributions, the feature element loop Proceed to the end determination block 613. If the feature element i is 3 or less, step up i to set a new feature quantity, and perform inspection and update the Gaussian distribution coefficient. Start processing. If the feature quantity element i is 3 in the feature quantity element loop end determination block 613, the process for all the feature quantity elements is completed, and the process proceeds to the foreground / background flag setting block 614. Since there is only one intermediate foreground flag, if the intermediate foreground flag is set in the processing of one foreground separation feature quantity element, the small area will be displayed in the middle foreground no matter what other foreground separation feature quantity is judged. It becomes an area.

前景/背景フラグ設定ブロック614では、全ての更新したガウス分布係数に対し、前景/背景フラグの設定を行う。この処理は特徴量要素ごとに更新されたM個のガウス分布係数の重み係数を中心に実行する。ただし、新規ガウス生成ブロック612で新規前景分布を生成して登録されている場合は、これまで使ってきたガウス分布の中で最小の重みを持つものを排除し、新規前景ガウス分布をM個のガウス分布の中に入れる。次いで、前景・背景フラグの設定を行うためにM個の更新したガウス分布の重み係数の正規化、つまり、重み係数の総和が１となるように修正して、その後、重み係数が減る方向にガウス分布係数を並び替える。この重み係数を大きさ順に最初から加算して、閾値0.8に達するまでの分布係数に対して前景/背景フラグF(j)を０として背景ガウス分布の印とする。残りは前景ガウス分布の印としてF(j)を１にする。この操作を前景分離特徴量要素ごとに行い、一つでも前景ガウス分布が背景分布に変わった場合には制御回路40へ起動信号を送出する準備のとして前景の背景化フラグをセットする。 In the foreground / background flag setting block 614, foreground / background flags are set for all the updated Gaussian distribution coefficients. This process is executed centering on the weighting coefficients of M Gaussian distribution coefficients updated for each feature quantity element. However, if a new foreground distribution is generated and registered in the new Gaussian generation block 612, the Gaussian distribution that has been used so far is excluded and the new foreground Gaussian distribution is converted to M Put in Gaussian distribution. Next, in order to set the foreground / background flag, normalize the weight coefficients of the M updated Gaussian distributions, that is, correct the sum of the weight coefficients to be 1, and then reduce the weight coefficients. Rearrange the Gaussian distribution coefficients. The weighting coefficients are added from the beginning in the order of magnitude, and the foreground / background flag F (j) is set to 0 for the distribution coefficient until the threshold value 0.8 is reached, and a background Gaussian distribution is marked. The rest sets F (j) to 1 as a mark of the foreground Gaussian distribution. This operation is performed for each foreground separation feature quantity element, and if at least one foreground Gaussian distribution is changed to a background distribution, a foreground background flag is set in preparation for sending an activation signal to the control circuit 40.

次に実行されるガウスモデル記憶部データ転送ブロック615では前景/背景フラグ設定ブロック614で前景分離特徴量の要素ごとにあるM個の更新したガウス分布係数をガウスモデル記憶部62へ転送する。 In the Gaussian model storage unit data transfer block 615 to be executed next, the M updated Gaussian distribution coefficients for each element of the foreground separation feature amount are transferred to the Gaussian model storage unit 62 in the foreground / background flag setting block 614.

さらに、前景の背景化検査ブロック616では前景/背景フラグ設定ブロック614において前景の背景化フラグをセットされているかどうかを検査し、セットされている場合は制御回路起動ブロック617に進み、制御回路40に起動信号を送る。前景の背景化検査ブロック616でフラグがセットされていない場合、もしくは制御回路起動ブロック617を処理した後はどちらも中間前景送出ブロック618に達する。中間前景送出ブロック618では中間前景フラグセットブロック607にて立てた中間前景フラグを前景分離特徴量とともに影領域除去回路71に送出する。図5のフローチャートを終了するまでに中間前景フラグをセットできない場合は背景領域である。よって、中間前景領域か否かは中間前景フラグの状態でわかる。 Further, in the foreground / background check block 616, it is checked whether or not the foreground / background flag setting block 614 has set the foreground / background flag, and if it is set, the process proceeds to the control circuit start block 617 and the control circuit 40 Send an activation signal to If the flag is not set in the foreground background check block 616, or after processing the control circuit activation block 617, both reach the intermediate foreground send block 618. In the intermediate foreground transmission block 618, the intermediate foreground flag set in the intermediate foreground flag set block 607 is transmitted to the shadow area removal circuit 71 together with the foreground separation feature amount. If the intermediate foreground flag cannot be set by the end of the flowchart of FIG. 5, it is a background area. Therefore, it can be determined from the state of the intermediate foreground flag whether or not it is the intermediate foreground area.

図6はガウスモデル記憶部62の一実施例である。図6はガウスモデル記憶部62、メモリ回路621、アドレスレジスタ622、ガウス情報選択回路623、FIFOバッファ624、中間前景処理部61への出力端子625、中間前景処理部61からの入力端子626、制御回路40からの通知入力端子627からなっている。 FIG. 6 shows an example of the Gaussian model storage unit 62. 6 shows a Gaussian model storage unit 62, memory circuit 621, address register 622, Gaussian information selection circuit 623, FIFO buffer 624, output terminal 625 to the intermediate foreground processing unit 61, input terminal 626 from the intermediate foreground processing unit 61, control The notification input terminal 627 from the circuit 40 is provided.

メモリ回路621は多重分割された小領域に番号付けを行ない、図6のメモリ回路621に記したようにメモリ内を小領域毎に分割する。さらに、その小領域では前景分離特徴量の要素iでまとめた重み係数最大のガウス分布係数から重み係数最小のガウス分布係数までを格納している。このガウス分布係数の並び方は図5の中間前景処理部61の動作フローチャートの前景/背景フラグ設定ブロック614で行った、更新した重み係数の大きい順に並び替えた順番である。一つの小領域aに関する前景分離特徴量の要素毎のMこのガウス分布係数を順次読み出し、また順次更新された3個の要素のM個ずつのガウス分係数を書き込むだけである。つまり、アドレスレジスタ622は全ての小領域におい3個の要素毎の第1ガウス分布係数から第Mガウス分布係数へと1方向に読み出すアドレス供給するだけでよく、また、データの更新時も同様に小領域の3個の要素のM個づつの更新ガウス分布係数を一方向に書き込むだけで良い。ガウス分布係数の並び替えなどは中間前景処理部61で実行しているためである。 The memory circuit 621 numbers the multiple divided small areas, and divides the memory into small areas as described in the memory circuit 621 in FIG. Further, in the small area, from the Gaussian distribution coefficient having the largest weighting factor to the Gaussian distribution coefficient having the smallest weighting factor stored in the element i of the foreground separation feature quantity are stored. The arrangement of the Gaussian distribution coefficients is the order in which the updated weighting coefficients are arranged in the descending order performed in the foreground / background flag setting block 614 in the operation flowchart of the intermediate foreground processing unit 61 in FIG. It is only necessary to sequentially read out the M Gaussian distribution coefficients for each element of the foreground separation feature value for one small area a, and to write M Gaussian coefficients for each of the three elements that have been sequentially updated. In other words, the address register 622 only needs to supply addresses to read in one direction from the first Gaussian distribution coefficient to the Mth Gaussian distribution coefficient for each of the three elements in all small areas, and also when updating data. It is only necessary to write M updated Gaussian distribution coefficients of three elements of the small area in one direction. This is because the rearrangement of the Gaussian distribution coefficients and the like are executed by the intermediate foreground processing unit 61.

以下、小領域番号aの処理時の動きを述べる。まず、この小領域に関して中間前景処理部61が処理を開始すると、直ちにアドレスレジスタ622は図6のメモリ回路621の内部に示されたa領域を先に述べた通りアドレスの増加する方向に動き、これ等のガウス分布係数を中間前景処理部61への出力端子625を介して中間前景処理部61へ送る。中間前景処理部61ではすでに説明したように、図5のブロック図に沿って前景分離特徴量の3個の要素とメモリ回路621から入手したガウス分布係数で中間前景領域判定を行い、その判定結果に基づいて次フレームで用いるガウス分布係数情報等を更新する。この更新された小領域番号aの全てのガウス分布係数は図５のガウスモデル記憶部データ転送ブロック615により中間前景処理部61からの入力端子626に送り返す。この更新されたガウス分布係数はFIFOバッファ624に一旦格納する。直接メモリ回路621に書き込まないのは中間前景処理部61が制御回路40を起動する可能性があり、制御回路40が起動すると図4に示す動作フローに従って動作する。この過程で図4のガウスモデル記憶部通知ブロック461により制御回路40からの通知入力端子627に信号が入力されるとメモリ回路621内の対応する小領域aのガウス分布係数を全てリセットせねばならないためである。図5で示す中間前景処理部61の動作フローチャートより、制御回路40へ起動信号を送る時刻と更新したガウス分布係数全てをガウスモデル記憶部62に転送する時刻がほぼ同時であるため、更新されたガウス分布係数は制御回路40の動作する時間だけ待ち合わせをする。このためのバッファ機能がFIFOバッファ624の役割である。制御回路40からの通知入力端子627へ制御回路40の動作時間を過ぎても信号が来ない場合は、FIFOバッファ624に蓄えられた小領域aに関する全ての更新されたガウス分布係数データはガウス情報選択回路623を介してメモリ回路621へ書き込まれる。つまり、ガウス情報選択回路623は制御回路40からの通知入力端子627に信号が来ない限り、FIFOバッファ624からのデータをメモリ回路621へ伝える。 Hereinafter, the movement at the time of processing the small area number a will be described. First, as soon as the intermediate foreground processing unit 61 starts processing with respect to this small area, the address register 622 immediately moves in the direction in which the address increases in the area a shown in the memory circuit 621 in FIG. These Gaussian distribution coefficients are sent to the intermediate foreground processing unit 61 via the output terminal 625 to the intermediate foreground processing unit 61. As described above, the intermediate foreground processing unit 61 performs intermediate foreground region determination using the three elements of the foreground separation feature amount and the Gaussian distribution coefficient obtained from the memory circuit 621 according to the block diagram of FIG. The Gaussian distribution coefficient information used in the next frame is updated based on the above. All the updated Gaussian distribution coefficients of the small area number a are sent back to the input terminal 626 from the intermediate foreground processing unit 61 by the Gaussian model storage unit data transfer block 615 of FIG. The updated Gaussian distribution coefficient is temporarily stored in the FIFO buffer 624. There is a possibility that the intermediate foreground processing unit 61 activates the control circuit 40 that is not directly written into the memory circuit 621. When the control circuit 40 is activated, the operation is performed according to the operation flow shown in FIG. In this process, when a signal is input to the notification input terminal 627 from the control circuit 40 by the Gaussian model storage unit notification block 461 in FIG. 4, all the Gaussian distribution coefficients of the corresponding small area a in the memory circuit 621 must be reset. Because. From the operation flowchart of the intermediate foreground processing unit 61 shown in FIG. 5, the time when the activation signal is sent to the control circuit 40 and the time when all the updated Gaussian distribution coefficients are transferred to the Gaussian model storage unit 62 are almost the same. The Gaussian distribution coefficient waits for the operation time of the control circuit 40. The buffer function for this purpose is the role of the FIFO buffer 624. If the signal does not come to the notification input terminal 627 from the control circuit 40 even after the operation time of the control circuit 40, all the updated Gaussian distribution coefficient data relating to the small area a stored in the FIFO buffer 624 is Gaussian information. Data is written into the memory circuit 621 through the selection circuit 623. That is, the Gaussian information selection circuit 623 transmits the data from the FIFO buffer 624 to the memory circuit 621 unless a signal is received from the notification input terminal 627 from the control circuit 40.

しかし、制御回路40が中間前景処理部61から起動され、図4に示す制御回路40のフローチャート内のブロック461が有効になると、制御回路40からの通知入力端子627に信号が到達する。この場合、ガウス情報選択回路623は０の入力側を選択するので、メモリ回路621内の小領域番号aのガウス情報はすべて０が書き込まれ、消去された状態になる。いままで構築してきた前景分離特徴量の振舞を示すガウス分布が使えなくなるためである。 However, when the control circuit 40 is activated from the intermediate foreground processing unit 61 and the block 461 in the flowchart of the control circuit 40 shown in FIG. 4 is enabled, a signal reaches the notification input terminal 627 from the control circuit 40. In this case, since the Gaussian information selection circuit 623 selects the input side of 0, all the Gaussian information of the small area number a in the memory circuit 621 is written and erased. This is because the Gaussian distribution showing the behavior of the foreground separation feature that has been constructed so far cannot be used.

図7は影領域除去フローチャート7、影領域除去回路71 の動作フローチャートである。図7の動作フローチャートは入力データ整理ブロック701、真正前景フラグ検査ブロック702、影除去実行検査ブロック703、基準特徴量要素決定ブロック704、影検証要素設定ブロック705、影検証基準要素排除ブロック706、基準ガウス分布調査開始ブロック707、基準ガウス分布排除ブロック708、基準減衰量測定ブロック709、基準外ガウス分布検証開始ブロック710、影候補検証ブロック711、影決定ブロック712、基準外ガウス分布検証終了検査ブロック713 、基準ガウス分布調査終了検査ブロック714、前景分離特徴量要素変更ブロック715、前景分離要素処理処終了ブロック716からなる。 FIG. 7 is an operational flowchart of the shadow area removal flowchart 7 and the shadow area removal circuit 71. The operation flowchart of FIG. 7 includes an input data arrangement block 701, a true foreground flag inspection block 702, a shadow removal execution inspection block 703, a reference feature element determination block 704, a shadow verification element setting block 705, a shadow verification reference element exclusion block 706, and a reference Gaussian distribution inspection start block 707, reference Gaussian distribution exclusion block 708, reference attenuation measurement block 709, non-standard Gaussian distribution verification start block 710, shadow candidate verification block 711, shadow decision block 712, non-standard Gaussian distribution verification end inspection block 713 , A reference Gaussian distribution end inspection block 714, a foreground separation feature quantity element change block 715, and a foreground separation element processing end block 716.

まず、図７のフローチャートでは、入力データ整理ブロック701でガウスモデル記憶部62からこの領域に対する更新前の3個の特徴量要素の背景ガウス分布だけを入手する。これはガウスモデル記憶部62が中間前景処理部61へガウス分布係数を送付する時点で、ガウス分布係数の前景/背景フラグF(j)が０のもののみを取り込むことで実現できる。このため、対象とするガウス分布の数はM個より少なくなる。また、中間前景処理部61から送出された中間前景フラグと伴に、前景分離特徴量を受け取る。さらに、中間前景フラグの内容を真正前景フラグに移す。つまり、入力データ整理ブロック701で真正前景フラグは中間前景フラグをコピーした状態となる。 First, in the flowchart of FIG. 7, only the background Gaussian distribution of the three feature quantity elements before update for this region is obtained from the Gaussian model storage unit 62 in the input data reduction block 701. This can be realized by fetching only the Gaussian distribution coefficient foreground / background flag F (j) of 0 when the Gaussian model storage unit 62 sends the Gaussian distribution coefficient to the intermediate foreground processing unit 61. For this reason, the number of target Gaussian distributions is less than M. In addition, the foreground separation feature quantity is received together with the intermediate foreground flag sent from the intermediate foreground processing unit 61. Further, the contents of the intermediate foreground flag are transferred to the genuine foreground flag. That is, the authentic foreground flag is copied from the intermediate foreground flag in the input data reduction block 701.

ついで、真正前景フラグ検査ブロック702では真正前景フラグがセットされているかどうかを検査する。セットされていない場合は背景であるため影除去の対象にはならない。よって、この場合はそのままこのフローチャートの終了(ストップ)へ直行する。真正前景フラグはオフのままであるので、背景であることを示す。 Next, in the true foreground flag check block 702, it is checked whether or not the true foreground flag is set. If it is not set, it is a background and is not subject to shadow removal. Therefore, in this case, the process goes straight to the end (stop) of this flowchart. Since the genuine foreground flag remains off, it indicates the background.

続く影除去実行検査ブロック703では影除去を実行する小領域の大きさを4x4画素と8x8画素に制限する。これ以上大きな小領域では外部からの光の反射で、影により前景分離特徴量の要素が一様に減衰するとは限らないためである。影除去実行検査ブロック703内に記したSESとは4x4画素と8x8画素の領域のことである。これ以外の小領域である場合には影除去は行わないのでこのフローチャートを終了する。 In the subsequent shadow removal execution inspection block 703, the size of the small area where shadow removal is executed is limited to 4 × 4 pixels and 8 × 8 pixels. This is because the elements of the foreground separation feature quantity are not always attenuated uniformly by the shadow due to the reflection of light from outside in a small area larger than this. The SES described in the shadow removal execution inspection block 703 is an area of 4 × 4 pixels and 8 × 8 pixels. If it is a small area other than this, shadow removal is not performed, and this flowchart is ended.

小領域の大きさが問題なければ、基準特徴量要素決定ブロック704進む。ここでは影除去判定をするときに基準となる前景分離特徴量要素を決定するため、前景分離特徴(f(1),f(2),f(3))の中から最大のものを選択し、この値をfNとする。また、この最大要素の所属する要素番号iをNとして確定する。 If there is no problem with the size of the small area, the process proceeds to the reference feature amount element determination block 704. Here, the maximum foreground separation feature (f (1), f (2), f (3)) is selected in order to determine the foreground separation feature element used as a reference when performing shadow removal judgment. This value is assumed to be fN. Further, the element number i to which the largest element belongs is determined as N.

続く影検証要素設定ブロック705では影検証を行うに当たって、基準要素とは異なる要素が必要になり、この要素を順次決定する。2つある特徴量要素に対して同じ処理を行うためのループ処理を開始するためである。図8でも述べた様に基準要素を用いて減衰量を求め、この減衰量を用いて基準以外の要素で影の検証を行うためである。フローチャートでは特徴量要素の添え字をｋとしてループ処理を行うためのｋの値を定め、最初はｋ＝１である。 In the subsequent shadow verification element setting block 705, when performing shadow verification, an element different from the reference element is required, and these elements are sequentially determined. This is to start a loop process for performing the same process on two feature quantity elements. This is because, as described in FIG. 8, the attenuation amount is obtained using the reference element, and the shadow is verified using an element other than the reference using the attenuation amount. In the flowchart, the value of k for loop processing is determined with the subscript of the feature quantity element as k, and k = 1 at the beginning.

次いで、影検証基準要素排除ブロック706に移る。影処理は基準要素とそれ以外の前景分離特徴量の要素で実行するため、以下の処理において基準要素をそれ以外の前景分離特徴量の要素から排除するためのブロックで、基準要素と第k番目の特徴量の要素が一致する場合は以下に続く処理を省略し、前景分離特徴量要素変更ブロック715に進む。ここで、次の前景分離特徴量要素を準備するためｋを1加算している。 Next, the process proceeds to the shadow verification reference element exclusion block 706. Since the shadow processing is executed with the reference element and the other foreground separation feature quantity elements, the block for excluding the reference element from the other foreground separation feature quantity elements in the following processing is a block for removing the reference element and the k-th element. If the elements of the feature quantity match, the processing that follows is omitted, and the process proceeds to the foreground separation feature quantity element change block 715. Here, k is incremented by 1 to prepare the next foreground separation feature quantity element.

影検証基準要素排除ブロック706で現在の前景分離特徴量要素が基準要素でない場合は、基準ガウス分布調査開始ブロック707に移る。これは基準要素に属するガウス分布のうち影候補となるものを探し出すためのループ処理の開始ブロックである。基準要素の背景ガウス分布はPM個あるとし、以下では第p番目の基準ガウス分布に関する処理を行う設定を行った場合を記述する。続く基準ガウス分布排除ブロック708は基準要素の第p背景ガウス分布のうち、検討しなければならない分布を見つけるもので、第p番目の背景ガウス分布の平均の値は現在の基準要素の値fNより大きいものを影候補として選ぶ。つまり、特徴量の基準要素は影により本来含まれるガウス分布より暗い方向に逸脱している筈である。よって、現在選ばれている背景ガウス分布の平均とfNを比較し、fNの方が平均より大きい場合は背景ではないため、基準ガウス分布調査終了検査ブロック714まで進み、現在のガウス分布が最終のものでない場合は引き続き基準ガウス分布調査開始ブロック707に戻り、基準要素と次の第(p+1)番目の背景ガウス分布の処理に移る。 When the current foreground separation feature quantity element is not the reference element in the shadow verification reference element exclusion block 706, the process proceeds to the reference Gaussian distribution investigation start block 707. This is a loop processing start block for finding a candidate for a shadow among Gaussian distributions belonging to the reference element. It is assumed that there are PM background Gaussian distributions of reference elements, and the following describes a case where settings for performing processing on the pth reference Gaussian distribution are performed. The following reference Gaussian distribution exclusion block 708 finds a distribution to be examined among the pth background Gaussian distributions of the reference elements, and the average value of the pth background Gaussian distribution is calculated from the current reference element value fN. Choose a larger one as a shadow candidate. That is, the reference element of the feature amount should deviate in a darker direction than the Gaussian distribution originally included by the shadow. Therefore, the average of the currently selected background Gaussian distribution is compared with fN, and if fN is greater than the average, it is not the background, so proceed to the reference Gaussian distribution end inspection block 714 and the current Gaussian distribution is the final If not, the process returns to the reference Gaussian distribution start block 707, and the process moves to the reference element and the next (p + 1) th background Gaussian distribution.

基準ガウス分布排除ブロック708で排除されなかった場合は基準減衰量測定ブロック709で影の影響による減衰量を計算する。減衰量R(p)は基準要素fNと第ｐガウス分布の平均μの比率で求める。 If it is not excluded by the reference Gaussian distribution exclusion block 708, an attenuation amount due to the influence of the shadow is calculated at the reference attenuation amount measurement block 709. The attenuation amount R (p) is obtained by the ratio of the reference element fN and the average μ of the p-th Gaussian distribution.

ついで、基準外要素ガウス分布検証開始ブロック710では影検証要素設定ブロック705により定められた基準要素ではない第ｋ番目の特徴量要素に属する全ての背景ガウス分布をループ処理で検証するためのスタートを定めるブロックである。ここで、第k番目の特徴量要素にはQM個の背景ガウス分布があるとし以下では第q番目の背景ガウス分布の処理を述べる。 Next, in the non-reference element Gaussian distribution verification start block 710, a start for verifying all background Gaussian distributions belonging to the k-th feature quantity element that is not the reference element determined in the shadow verification element setting block 705 by loop processing is performed. It is a block to be determined. Here, assuming that there are QM background Gaussian distributions in the kth feature quantity element, processing of the qth background Gaussian distribution will be described below.

次の影候補検証ブロック711では第k特徴量要素に基準減衰量測定ブロック709で求めた減衰量R(p)の逆数を乗じた値が第q背景ガウス分布に含まれるかどうかを判定し、含まれる場合は影領域であると判断する。これは図8の影検証グラフ803の状態を確かめるためのものである。影領域判定ブロック711で影であると判断されれば影決定ブロック712に進み、真正前景フラグをリセットする。影領域を除くためである。この操作は、影検定で検査する基準要素以外の２つの特徴量要素での検証処理のうち、1つでも影であると判断できれば充分であるとしているため、影決定ブロック712の処理が終われば直ちにこのフローチャートの終了に進む。 The next shadow candidate verification block 711 determines whether or not the qth background Gaussian distribution includes a value obtained by multiplying the kth feature quantity element by the inverse of the attenuation R (p) obtained in the reference attenuation measurement block 709. If it is included, it is determined to be a shadow area. This is for confirming the state of the shadow verification graph 803 in FIG. If it is determined by the shadow area determination block 711 that the shadow is a shadow, the process proceeds to the shadow determination block 712 to reset the authentic foreground flag. This is to remove the shadow area. This operation is sufficient if it can be determined that at least one of the verification processes using two feature elements other than the reference element to be inspected by the shadow test is a shadow. Immediately proceed to the end of this flowchart.

逆に影候補検証ブロック711で現在処理中の第q背景ガウス分布は本来第ｋ特徴量要素を含むガウス分布ではないと判断された場合は、基準外ガウス分布検証終了検査ブロック713に進む。ここで、第q背景ガウス分布がまだ最終の第QM背景ガウス分布でない場合は、基準外ガウス分布検証開始ブロック710に戻り、第(q+1)背景ガウス分布を選んで影領域のチェックを行う。第k番目の前景特徴量に関する第q番目の背景ガウス分布が最後の第QM番目のガウス分布である場合は基準ガウス分布調査終了検査ブロック714へ進む。この基準特徴量要素に関する次のガウス分布がまだある場合は基準ガウス分布調査開始ブロック707に戻り、第(p+1)番目の背景ガウス分布を用いて新しい減衰量に対する影領域の検証を開始する。また、基準ガウス分布調査終了検査ブロック714で前景分離特徴量の第ｋ番目のガウス分布による減衰量を用いたチェックを全て終わっている場合は前景分離特徴量要素変更ブロック715に進みｋを歩進して第(k+1)番目の特徴量要素に対する検証の準備を行う。この結果、ｋが４以上にならないかどうかを検査する前景分離要素処理処終了ブロック716に進み、4以下の場合は影検証要素設定ブロック705に戻り第(k+1)番目の前景分離特徴量要素に対してこれまでと同じ要領で影領域を見つける操作を行う。しかし、ｋが4となると全ての基準特徴量要素以外の特徴量要素に対する処理を終えたことになるので前景分離要素処理処終了ブロック716を通過して動作フローチャートに沿った動作を終了する。つまり、この場合には真正前景フラグは立ったままであり、影ではなかったことを意味する。 On the other hand, if it is determined in the shadow candidate verification block 711 that the q-th background Gaussian distribution currently being processed is not a Gaussian distribution that inherently includes the k-th feature quantity element, the process proceeds to a non-reference Gaussian distribution verification end inspection block 713. If the q-th background Gaussian distribution is not yet the final QM background Gaussian distribution, the process returns to the non-reference Gaussian distribution verification start block 710, and the shadow region is checked by selecting the (q + 1) -th background Gaussian distribution. . If the q-th background Gaussian distribution relating to the k-th foreground feature quantity is the last QM-th Gaussian distribution, the process proceeds to the reference Gaussian distribution survey end inspection block 714. If there is still a next Gaussian distribution for this reference feature element, return to reference Gaussian distribution start block 707 and begin verifying the shadow region for the new attenuation using the (p + 1) th background Gaussian distribution . If all the checks using the attenuation amount of the k-th Gaussian distribution of the foreground separation feature amount have been completed in the reference Gaussian distribution survey end inspection block 714, the process proceeds to the foreground separation feature amount element change block 715 to increase k. Then, preparation for verification is made for the (k + 1) th feature quantity element. As a result, the process proceeds to a foreground separation element processing end block 716 for inspecting whether k is not 4 or more, and if it is 4 or less, the process returns to the shadow verification element setting block 705 to return to the (k + 1) th foreground separation feature quantity. Perform the same operation to find the shadow area as before. However, when k is 4, processing for all feature quantity elements other than the reference feature quantity elements has been completed, and therefore the foreground separation element processing end block 716 is passed and the operation according to the operation flowchart is completed. That is, in this case, the genuine foreground flag remains standing, meaning that it was not a shadow.

以上、説明したように上記の実施例に従えば、T.Shiota等が導入した大量の演算量を必要とするレティネックス画像強調技術を導入しなくとも、変換領域と色領域という画像自体の表現方法の異なった２つの特徴量候補を用意することで背景ガウスモデルの平均をゼロ近辺にならないようにできる。よって、T.Shiota等の提案する簡便な影除去法をレティネックス画像強調なしで活用でき、ジェスチャー入力装置の必要演算量を大幅に減らすことができる。 As described above, according to the above-described embodiment, the representation of the image itself, that is, the conversion area and the color area, without introducing Retinex image enhancement technology that requires a large amount of calculation introduced by T. Shiota et al. By preparing two feature quantity candidates with different methods, the average of the background Gaussian model can be prevented from becoming near zero. Therefore, the simple shadow removal method proposed by T.Shiota et al. Can be utilized without Retinex image enhancement, and the amount of computation required for the gesture input device can be greatly reduced.

本発明の実施例では変換領域での前景分離で最も複雑な多重分割を用いた変換と複数のガウスモデルを用いたシステムに関して述べたが、特徴量候補を手動で設定する簡易方法も本発明の内である。この場合、特徴量の要素毎に背景モデルとしてガウス分布を1個だけを準備して実行することも可能である。この場合は背景ガウス分布1個を定めるために、リセット端子80でシステムを作動させたら、直ちに背景ガウス分布を構築する。ただし、リセットした場合は、その後しばらくは前景を入れないような工夫が必要である。安定した背景ガウス分布を構築させるためである。 In the embodiment of the present invention, the conversion using the most complicated multiple division in the foreground separation in the conversion domain and the system using a plurality of Gaussian models have been described, but a simple method for manually setting feature amount candidates is also possible. Is within. In this case, it is also possible to prepare and execute only one Gaussian distribution as a background model for each element of the feature amount. In this case, in order to determine one background Gaussian distribution, when the system is operated at the reset terminal 80, the background Gaussian distribution is immediately constructed. However, after resetting, it is necessary to devise a method so that the foreground is not included for a while after that. This is to construct a stable background Gaussian distribution.

また、前景分離特徴量をユーザに判断させることが困難であれば、本実施例の制御回路40、選択回路50を用いて、トレーニング期間を設け、トレーニング以降は制御回路40の働きを止めるのも本発明の一部である If it is difficult for the user to determine the foreground separation feature quantity, the control circuit 40 and the selection circuit 50 of this embodiment are used to provide a training period, and after the training, the function of the control circuit 40 may be stopped. Is part of the present invention

さらに、ガウスモデル記憶部62で制御回路40から次フレーム以降の処理の前景分離特徴量を切り替える信号をもらうと、対応する領域のメモリ回路621のガウス分布をすべて消去したが、メモリ回路をもう一個余分に設け、変換領域成分信号が前景分離特徴量の場合のメモリ回路と色平均成分信号が前景分離特徴量のメモリ回路を区別して用い、制御回路40からの切り替え信号をもらった場合には対応するメモリ回路に切り替えるのも本発明の一部である。 Furthermore, when the Gaussian model storage unit 62 receives a signal from the control circuit 40 to switch the foreground separation feature value of the next and subsequent frames from the control circuit 40, the Gaussian distribution of the memory circuit 621 in the corresponding area is completely deleted, but another memory circuit is added. A redundant memory circuit in which the conversion area component signal is the foreground separation feature amount and a memory circuit in which the color average component signal is the foreground separation feature amount are used separately, and a switching signal is received from the control circuit 40. It is also part of the present invention to switch to a memory circuit that does this.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることも可能であることは当業者に明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることは、特許請求の範囲から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above embodiment. It is apparent from the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

1 動画システム
4 制御回路動作フローチャート
5 中間前景処理部フローチャート
7 影領域除去フローチャート
8 影領域検出の原理グラフ
9 屋内環境下での変換領域真正前景分離を得る過程の写真
10 カメラ
20 変換領域成分信号抽出器
30 色平均成分信号抽出器
40 制御回路
50 選択回路
60 中間前景小領域決定部
61 中間前景処理部
62 ガウスモデル記憶部
70 真正前景分離部
71 影領域除去回路
72 前景構成回路
80 リセット端子
200 カメラからの入力端子セット
201 赤信号入力端子
202 緑信号入力端子
203 青信号入力端子
210 RGB2YCrCb変換回路
220 WPP(Walsh Parameter Processor)
300 カメラからの入力端子セット、
301 R入力端子、
302 G入力端子、
303 B入力端子
310 WPP(Walsh Parameter Processor)列
311 WPP(Walsh Parameter Processor)
312 WPP(Walsh Parameter Processor)
313 WPP(Walsh Parameter Processor)
410 処理領域判定ブロック
411 選択回路指示ブロック
420 一時記憶ブロック、
430 変換領域成分信号最小値検出ブロック
440 色平均信号最小値検出ブロック、
450 最小成分判定ブロック
451 第1の特徴量候補選出ブロック
452 第2の特徴量候補選出ブロック
453 選出信号通知ブロック
460 選択方向反転検出ブロック
461 ガウスモデル記憶部通知ブロック
601 特徴量要素設定ブロック
602 カウンタクリアブロック
603 ガウス分布番号設定ブロック
604 ガウス分布包含検査ブロック
605 ガウス係数更新増強ブロック
606 前景ガウス分布検査ブロック
607 中間前景フラグセットブロック
608 ガウス分布ループ終了判定ブロック
608’ ガウス分布ループ終了判定ブロック
609 重み係数減少ブロック
610 カウンタ歩進ブロック
611 カウント終了ブロック
612 新規ガウス生成ブロック
613 特徴量要素ループ終了判定ブロック
614 前景/背景フラグ設定ブロック
615 ガウスモデル記憶部データ転送ブロック
616 前景の背景化検査ブロック
617 制御回路起動ブロック
618 中間前景送出ブロック
621 メモリ回路
622 アドレスレジスタ
623 ガウス情報選択回路
624 FIFOバッファ
625 中間前景処理部61への出力端子
626 中間前景処理部61からの入力端子
627 制御回路40からの通知入力端子
701 入力データ整理ブロック
702 真正前景フラグ検査ブロック
703 影除去実行検査ブロック
704 基準特徴量要素決定ブロック
705 影検証要素設定ブロック
706 影検証基準要素排除ブロック
707 基準ガウス分布調査開始ブロック
708 基準ガウス分布排除ブロック
709 基準減衰量測定ブロック
710 基準外ガウス分布検証開始ブロック
711 影候補検証ブロック
712 影決定ブロック
713 基準外ガウス分布検証終了検査ブロック
714 基準ガウス分布調査終了検査ブロック
715 前景分離特徴量要素変更ブロック
716 前景分離要素処理処終了ブロック
801 f(DC)の影領域グラフ
802 他の特徴量要素グラフ
803 影検証グラフ
901 廊下でのテストフレーム画像写真
902 影除去前の中間前景分離結果写真
903 影除去を施した処理結果写真
904 レティネックス画像強調前処理回路の導入結果写真 1 Video system
4 Control circuit operation flowchart
5 Middle foreground processing unit flowchart
7 Shadow area removal flowchart
8 Principle of shadow area detection
9 Photograph of the process of obtaining the foreground separation of the transformation domain under indoor environment
10 Camera
20 Transform domain component signal extractor
30 color average component signal extractor
40 Control circuit
50 selection circuit
60 Middle foreground small area determination part
61 Middle foreground processing section
62 Gaussian model storage
70 Authentic foreground separation
71 Shadow area removal circuit
72 Foreground configuration circuit
80 Reset pin
200 Input terminal set from camera
201 Red signal input terminal
202 Green signal input terminal
203 Green signal input terminal
210 RGB2YCrCb conversion circuit
220 WPP (Walsh Parameter Processor)
300 Input terminal set from camera,
301 R input terminal,
302 G input terminal,
303 B input terminal
310 WPP (Walsh Parameter Processor) column
311 WPP (Walsh Parameter Processor)
312 WPP (Walsh Parameter Processor)
313 WPP (Walsh Parameter Processor)
410 Processing area judgment block
411 Selection circuit instruction block
420 temporary storage block,
430 Transform domain component signal minimum value detection block
440 color average signal minimum value detection block,
450 Minimum component judgment block
451 First feature candidate selection block
452 Second feature candidate selection block
453 Election signal notification block
460 Selection direction inversion detection block
461 Gaussian model storage block notification block
601 Feature value element setting block
602 Counter clear block
603 Gaussian distribution number setting block
604 Gaussian distribution inclusion test block
605 Gaussian coefficient update enhancement block
606 Foreground Gaussian distribution inspection block
607 Middle foreground flag set block
608 Gaussian distribution loop end decision block
608 'Gaussian distribution loop end decision block
609 Weight coefficient reduction block
610 counter step block
611 Count end block
612 New Gaussian generation block
613 Feature value element loop end judgment block
614 Foreground / Background Flag Setting Block
615 Gaussian model data transfer block
616 Foreground background check block
617 Control circuit start block
618 Intermediate foreground transmission block
621 Memory circuit
622 address register
623 Gaussian information selection circuit
624 FIFO buffer
625 Output terminal to intermediate foreground processing unit 61
626 Input terminal from intermediate foreground processing unit 61
627 Notification input terminal from control circuit 40
701 Input data reduction block
702 Genuine foreground flag check block
703 Shadow removal execution inspection block
704 Standard feature element decision block
705 Shadow verification element setting block
706 Shadow Verification Criteria Element Exclusion Block
707 Reference Gaussian distribution start block
708 Reference Gaussian distribution exclusion block
709 Reference attenuation measurement block
710 Non-standard Gaussian distribution verification start block
711 Shadow candidate verification block
712 Shadow Decision Block
713 Non-standard Gaussian distribution verification verification block
714 Standard Gaussian distribution survey end inspection block
715 Foreground separation feature element change block
716 Foreground separation element processing block
801 f (DC) shadow area graph
802 Other feature element graph
803 Shadow verification graph
901 Test frame image photo in the hallway
902 Intermediate foreground separation result before shadow removal
903 Processing result photo with shadow removal
904 Photo of introduction of Retinex image enhancement pre-processing circuit

Claims (5)

カメラからの入力フレームを小領域に分割し、分割領域ごとにカラー信号から強度信号に変換した後、小領域内の画素に対して逆変換を持つ線形変換を行って得られる変換領域スペクトルを組み合わせて複数個の変換成分信号を要素とした第1の特徴量候補とするステップと、小領域内での色成分を平均化した色平均成分信号を要素とした第2の特徴量候補とするステップと第1または第2のステップのどちらかの特徴量候補を前景分離特徴量とするステップと、前景分離特徴量の各要素の確率的な変動に合わせて典型的な確率分布でモデル化しながら前景分離特徴量との比較により中間前景小領域を検出するステップと、前景分離特徴量と各前景分離特徴量要素の背景確率分布の平均値と分散により背景が影になった領域を特定して排除し, 真正前景領域を得るステップからなる真正前景を抽出することを特徴とする画像処理方法、画像処理装置およびプログラム。 The input frame from the camera is divided into small areas, and after converting the color signal to the intensity signal for each divided area, the conversion area spectrum obtained by performing linear transformation with inverse transformation on the pixels in the small area is combined. A first feature amount candidate including a plurality of conversion component signals as elements, and a second feature amount candidate including a color average component signal obtained by averaging color components in a small area as elements. And foreground separation feature amount in either the first or second step, and foreground while modeling with a typical probability distribution according to the probabilistic variation of each element of the foreground separation feature amount The step of detecting the middle foreground small area by comparison with the separation feature, and the foreground separation feature and the average value and variance of the background probability distribution of each foreground separation feature element identify and eliminate the area where the background is shaded Authenticity Image processing method characterized by extracting the authenticity foreground comprises the step of obtaining a scene region, the image processing apparatus and program. 外部からコントラストの激しい背景かコントラストの小さい背景かの指示を与え、第1の特徴量候補を選択するのはコントラストの激しい場合、第2の特徴量候補を選択するのはコントラストの小さい場合に応じて第1又は第2の特徴量候補から前景分離特徴量を選択することを特徴とする請求項1記載の画像処理方法、画像処理装置およびプログラム。 Give an instruction from the outside whether the background is high contrast or low contrast, select the first feature amount candidate when the contrast is high, and select the second feature amount candidate when the contrast is low 2. The image processing method, image processing apparatus, and program according to claim 1, wherein a foreground separation feature amount is selected from the first or second feature amount candidates. 前景分離特徴量をモデル化する確率分布を複数の典型的な確率分布で近似し、前景をモデル化している典型的確率分布と背景をモデル化する典型的確率分布に区別して用い、前景をモデル化している複数の典型的確率分布のうちの1つが背景の典型的確率分布に変化する時点で、前景分離特徴量は第1及び第2の特徴量候補の最小要素の値を比較し、最小要素の値が大きい特徴量候補を選択して次のフレーム処理から利用するとともに、これまでの特徴量候補を異なった特徴量候補に切り替える場合は構築した確率分布を全て消去するか、第1の特徴量候補用確率分布と第2の特徴量候補用確率分布を保持する領域を切り替えることで外部からの指示なしに第1の特徴量候補と第2の特徴候補のどちらか一方前景分離特徴量とするように設定することを特徴とする請求項１記載の画像処理方法、画像処理装置およびプログラム。 The foreground is modeled by approximating the probability distribution modeling the foreground separation features with multiple typical probability distributions, and distinguishing between the typical probability distribution modeling the foreground and the typical probability distribution modeling the background. When one of a plurality of typical probability distributions changes to a typical probability distribution of the background, the foreground separation feature quantity compares the values of the minimum elements of the first and second feature quantity candidates, and the minimum Select a feature quantity candidate with a large element value and use it from the next frame processing, and when switching the previous feature quantity candidate to a different feature quantity candidate, either delete all constructed probability distributions, By switching the region holding the probability distribution for feature amount candidates and the probability distribution for second feature amount candidates, the foreground separation feature amount of either the first feature amount candidate or the second feature candidate without an external instruction To set to The image processing method, the image processing apparatus, and the program according to claim 1, wherein: 分割領域ごとに行う線形変換をDCT（Discrete Cosine Transform）もしくはWalsh変換で行い、その結果の強度平均成分信号、横方向の低域スペクトルを複数個集めた横方向変換領域成分信号、および縦方向の低域スペクトルを複数個集めた縦方向変換領域成分信号の3個の変換領域成分信号を用いて第1の特徴量候補とし、分割領域ごとに行う色の平均成分を色の3原色に起因した3個の色平均成分信号を用いて第2の特徴量候補とすることを特徴とする請求項１記載の画像処理方法、画像処理装置およびプログラム。 The linear transformation performed for each divided region is performed by DCT (Discrete Cosine Transform) or Walsh transform, and the resulting intensity average component signal, the transverse transform region component signal that collects a plurality of transverse low-frequency spectra, and the longitudinal direction Using the three transform domain component signals of the vertical transform domain component signal, which is a collection of multiple low-frequency spectra, is used as the first feature quantity candidate, and the average color component for each segment is derived from the three primary colors The image processing method, the image processing apparatus, and the program according to claim 1, wherein the second feature amount candidate is set using three color average component signals. フレーム画像をオーバラップしない小領域にまず分割し、次いでメッシュ状に並んだ小領域の縦横ともに複数倍ずつ拡大して先に分割した小領域を複数個含む拡大小領域で画面を覆う分割操作を行い、この拡大小領域を作成する分割を複数回繰り返すことで多重分割するステップと、各多重分割された各々の小領域で中間前景分離までを行うステップと、小さい領域分割部の中間前景分離から影除去を行なって影なし前景領域とするステップと影なし最小前景領域であって、この影なし最小前景小領域を包含する全ての拡大領域が影なし前景領域または中間前景小領域であるものを真正前景小領域することで最終的な真正前景分離を行う請求項１記載の画像処理方法、画像処理装置およびプログラム。 Dividing the frame image into small areas that do not overlap first, then enlarging the small areas arranged in a mesh form multiple times in both vertical and horizontal directions and covering the screen with an enlarged small area that contains multiple small areas that were previously divided Performing multiple division by repeating the division for creating the enlarged small region a plurality of times, performing intermediate foreground separation in each of the multiple divided small regions, and intermediate foreground separation of the small region dividing unit. A step of removing shadows to make a foreground area without shadows and a minimum foreground area without shadows, and all enlarged areas including the minimum foreground small area without shadows are foreground areas without shadows or intermediate foreground small areas The image processing method, the image processing apparatus, and the program according to claim 1, wherein final true foreground separation is performed by performing a true foreground small area.
JP2013268144A 2013-12-25 2013-12-25 Image processing method, image processor and program Pending JP2015125513A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013268144A JP2015125513A (en) 2013-12-25 2013-12-25 Image processing method, image processor and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013268144A JP2015125513A (en) 2013-12-25 2013-12-25 Image processing method, image processor and program

Publications (1)

Publication Number Publication Date
JP2015125513A true JP2015125513A (en) 2015-07-06

Family

ID=53536195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013268144A Pending JP2015125513A (en) 2013-12-25 2013-12-25 Image processing method, image processor and program

Country Status (1)

Country Link
JP (1) JP2015125513A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101729536B1 (en) 2016-01-19 2017-05-02 연세대학교 산학협력단 Apparatus and Method of Detecting Moving Object in Image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101729536B1 (en) 2016-01-19 2017-05-02 연세대학교 산학협력단 Apparatus and Method of Detecting Moving Object in Image

Similar Documents

Publication Publication Date Title
CN109325954B (en) Image segmentation method and device and electronic equipment
Mathieu et al. Deep multi-scale video prediction beyond mean square error
Raju et al. A fast and efficient color image enhancement method based on fuzzy-logic and histogram
Yang et al. Single image haze removal via region detection network
KR20180065889A (en) Method and apparatus for detecting target
US20150215590A1 (en) Image demosaicing
CN111079764B (en) Low-illumination license plate image recognition method and device based on deep learning
US20160155241A1 (en) Target Detection Method and Apparatus Based On Online Training
CN111144337B (en) Fire detection method and device and terminal equipment
CN109472193A (en) Method for detecting human face and device
CN110910445B (en) Object size detection method, device, detection equipment and storage medium
CN109389569B (en) Monitoring video real-time defogging method based on improved DehazeNet
WO2014070273A1 (en) Recursive conditional means image denoising
CN112115979B (en) Fusion method and device of infrared image and visible image
CN104657951A (en) Multiplicative noise removal method for image
CN111899193B (en) Criminal investigation photographing system and method based on low-illumination image enhancement algorithm
CN111353325A (en) Key point detection model training method and device
Kwok et al. Design of unsharp masking filter kernel and gain using particle swarm optimization
Liu et al. Scene background estimation based on temporal median filter with Gaussian filtering
KR101833943B1 (en) Method and system for extracting and searching highlight image
CN111027564A (en) Low-illumination imaging license plate recognition method and device based on deep learning integration
CN114140481A (en) Edge detection method and device based on infrared image
CN117037258B (en) Face image detection method and device, storage medium and electronic equipment
Wang et al. A variational histogram equalization method for image contrast enhancement
CN113628259A (en) Image registration processing method and device