JP2011142548A - Image processing apparatus, method, and program, as well as imaging system - Google Patents
Image processing apparatus, method, and program, as well as imaging system Download PDFInfo
- Publication number
- JP2011142548A JP2011142548A JP2010002727A JP2010002727A JP2011142548A JP 2011142548 A JP2011142548 A JP 2011142548A JP 2010002727 A JP2010002727 A JP 2010002727A JP 2010002727 A JP2010002727 A JP 2010002727A JP 2011142548 A JP2011142548 A JP 2011142548A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel data
- target range
- comparison target
- disturbance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 234
- 238000000034 method Methods 0.000 title claims abstract description 113
- 238000003384 imaging method Methods 0.000 title claims abstract description 107
- 230000005540 biological transmission Effects 0.000 claims description 28
- 238000012805 post-processing Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 23
- 238000005259 measurement Methods 0.000 description 18
- 238000009499 grossing Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- CCEKAJIANROZEO-UHFFFAOYSA-N sulfluramid Chemical group CCNS(=O)(=O)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)F CCEKAJIANROZEO-UHFFFAOYSA-N 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、画像処理装置、方法、プログラム、および撮像システムに関し、特に撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理装置、方法、プログラム、および撮像システムに関する。 The present invention relates to an image processing apparatus, method, program, and imaging system, and in particular, an image processing apparatus and method for generating a processed image after image processing by processing pixel data constituting a captured image captured by an imaging unit. , A program, and an imaging system.
従来からカメラによる撮像対象物を撮像することが行われていた。
しかし、カメラと撮像対象物との間に障害物があるときには撮像できないので、画像処理によって障害物に関する情報をノイズであるとして除去することが検討されていた。
Conventionally, imaging of an imaging object by a camera has been performed.
However, since an image cannot be captured when there is an obstacle between the camera and the object to be imaged, it has been studied to remove information on the obstacle as noise by image processing.
図22は、従来のカメラを用いた撮像対象物を撮像するためのシステム構成例である。
図22に示すように、伝送送信装置241と伝送受信装置242を用いてカメラ200が撮像した画像を伝送する。これにより、たとえば遠隔地にカメラ200を設置しておき、離れた場所からカメラ200が設置されているところからの映像を見ることができる。一方で、カメラ200が設置されている場所で、カメラ200と撮像対象物(たとえば火山の監視カメラである場合には、火山とその周辺部分)との間に障害物があるときは、その障害物も一緒に映りこんでしまう。
FIG. 22 is a system configuration example for imaging an imaging object using a conventional camera.
As illustrated in FIG. 22, an image captured by the camera 200 is transmitted using a transmission / transmission device 241 and a transmission / reception device 242. Thereby, for example, the camera 200 is installed in a remote place, and an image from a place where the camera 200 is installed can be viewed from a remote place. On the other hand, if there is an obstacle between the camera 200 and the object to be imaged (for example, a volcano and its surrounding area in the case of a volcano monitoring camera) at the place where the camera 200 is installed, the obstacle Things are reflected together.
図23は、カメラと撮像対象物との間に障害物があるときの撮像画像を示す図である。
図23(A)は、撮像対象物のみを写した状態を示しており、図23(B)は、撮像対象物に加えて障害物も写した状態を示す図である。
FIG. 23 is a diagram illustrating a captured image when there is an obstacle between the camera and the imaging target.
FIG. 23A shows a state in which only the imaging object is copied, and FIG. 23B shows a state in which an obstacle is also copied in addition to the imaging object.
図23に示すように、降雪時などのように、カメラと撮像対象物との間に障害物があるときは、その間にある障害物によって撮像対象物が見えにくくなることがある。また、最悪の場合には撮像対象物を撮像することができなくなってしまう。 As shown in FIG. 23, when there is an obstacle between the camera and the object to be imaged, such as during snowfall, the object to be imaged may be difficult to see due to the obstacle between them. In the worst case, the imaging object cannot be imaged.
そこで、撮像画像に対して平滑化処理を行うことによりノイズを除去する画像処理装置が提案されている(たとえば、特許文献1参照)。 Therefore, an image processing apparatus that removes noise by performing a smoothing process on a captured image has been proposed (see, for example, Patent Document 1).
しかし、平滑化処理によるとノイズが画像の大半をしめているときにはノイズデータ側に寄るように平滑化処理が行われてしまい、ノイズが大部分になるような撮像画像のときには撮像対象物を撮像できなくなってしまうという問題がある。 However, according to the smoothing process, when the noise is the majority of the image, the smoothing process is performed so that it approaches the noise data side. There is a problem of disappearing.
図24は、障害物が写っている画像を平滑化処理したときの様子を示す図である。
図24(A)は、平滑化処理前の画像例であり、図24(B)は、平滑化処理をし始めた状態の画像例であり、図24(C)は、平滑化処理が進んだ状態を示す画像例である。
FIG. 24 is a diagram showing a state when an image showing an obstacle is smoothed.
FIG. 24A is an example of an image before the smoothing process, FIG. 24B is an example of an image in a state where the smoothing process is started, and FIG. It is an example of an image which shows a state.
図24に示すように、障害物が写った画像を平滑化処理しても障害物を除いた撮像対象物のみが写った画像を得ることはできない。 As shown in FIG. 24, even if an image showing an obstacle is smoothed, an image showing only the imaging object excluding the obstacle cannot be obtained.
図25は、外乱が少ないときに平滑化処理をしたときの様子を示す図であり、図26は、外乱が多いときに平滑化処理をしたときの様子を示す図である。
図25(A)は、外乱が少ないときの平滑化処理前の画像例であり、図25(B)は、外乱が少ないときの平滑化処理後の画像例である。また、図26(A)は、外乱が多いときの平滑化処理前の画像例であり、図26(B)は、外乱が多いときの平滑化処理後の画像例である。
FIG. 25 is a diagram illustrating a state when the smoothing process is performed when the disturbance is small, and FIG. 26 is a diagram illustrating a state when the smoothing process is performed when the disturbance is large.
FIG. 25A is an image example before the smoothing process when the disturbance is small, and FIG. 25B is an image example after the smoothing process when the disturbance is small. FIG. 26A shows an example of an image before smoothing when there are many disturbances. FIG. 26B shows an example of an image after smoothing when there are many disturbances.
図25および図26に示すように、平滑化処理は、画像中の小さなノイズを除去する際には有効なノイズ除去手段となり得るが、障害物(たとえば降雪時に撮像したときの雪)などのように画像全体の大きさに対して障害物1つの相対的な大きさが大きいときは、その雪が写っている領域周辺は、ノイズと判断すべき障害物の画像データの値に近づくように平滑化されてしまうので、外乱の多い少ないに関係なく平滑化処理によっては障害物をノイズと判断して除去することができなかった。 As shown in FIG. 25 and FIG. 26, the smoothing process can be an effective noise removing means when removing small noises in the image. However, as shown in FIG. 25 and FIG. When the relative size of one obstacle is large relative to the size of the entire image, the area around the area where the snow is reflected is smoothed to approach the value of the image data of the obstacle that should be judged as noise. Therefore, the obstacle cannot be determined as noise and removed by the smoothing process regardless of whether there are many disturbances.
そこで、平滑化処理ではなく、カメラなどの撮像手段から逐一入力される入力画像を、一定の係数によって重み付けし、もしくは一定フレームずつ間引きをして蓄積された画像データに加算していくことによって追従させていくことが考えられる。 Therefore, instead of smoothing processing, the input image that is input one by one from the imaging means such as a camera is weighted by a constant coefficient, or is thinned out by a fixed frame and added to the accumulated image data. It is possible to let them.
図27は、入力画像を蓄積された画像に追従させていく追従処理の様子を示す図である。
図27(A)は、追従処理前の画像を示す画像例であり、図27(B)は、追従処理をし始めたときの画像例であり、図27(C)は、追従処理が進んだときの画像例である。
FIG. 27 is a diagram illustrating a state of the follow-up process in which the input image is made to follow the accumulated image.
FIG. 27A is an image example showing an image before the tracking process, FIG. 27B is an image example when the tracking process is started, and FIG. It is an image example at that time.
外乱が多いときは図27に示すように、撮像対象物がぼけて写ってしまう。具体的には、外乱が雪であるとしたとき、雪が大量に降っているときには、外乱である雪が写っている画素データも一律に一定の係数によって重み付けをし、もしくは一定フレームおきに画素データを加算してしまうので、外乱が写っている画素の画素データが一定割合で加算され続けてしまい、常に一定割合の外乱による画素データの値の影響を受け続けてしまう。 When there are many disturbances, as shown in FIG. 27, the object to be imaged is blurred. Specifically, if the disturbance is snow, and if it is snowing in large quantities, the pixel data showing the disturbance snow is also uniformly weighted with a constant coefficient, or the pixel data is taken every other frame. Since the pixel data is added, the pixel data of the pixel in which the disturbance is reflected is continuously added at a constant rate, and is always affected by the value of the pixel data due to the disturbance at the constant rate.
図28は、外乱が少ないときに追従処理をしたときの様子を示す図である。
図28(A)は、追従処理前の入力画像を示す画像例であり、図28(B)は、追従処理前の初期画像を示す画像例であり、図28(C)は、追従処理をし始めたときの画像例であり、図28(D)は、追従処理が進んだときの画像例である。
FIG. 28 is a diagram illustrating a state in which the follow-up process is performed when there is little disturbance.
FIG. 28A is an image example showing an input image before the tracking process, FIG. 28B is an image example showing an initial image before the tracking process, and FIG. FIG. 28D shows an image example when the follow-up process has progressed.
図28においては、外乱が雪である場合を示している。外乱が雪であるときは、雪は白く写ることから、初期画像を白(輝度を最大)にする。外乱である雪は、光の反射によって白く映ることから、背景より輝度が高いことが多い。したがって、格納されている処理後画像と比較して輝度が高い部分を外乱による部分である疑いが高いと判断することができる。したがって、初期値を最大輝度にしておくことにより、入力画像の画素データの影響を受けて徐々に絵作りがされることになる。 FIG. 28 shows a case where the disturbance is snow. When the disturbance is snow, since the snow appears white, the initial image is set to white (the brightness is maximum). Since the snow, which is a disturbance, appears white due to the reflection of light, the brightness is often higher than the background. Therefore, it is possible to determine that a portion having a higher luminance than the stored processed image is highly likely to be a portion due to disturbance. Therefore, by setting the initial value to the maximum luminance, the picture is gradually made under the influence of the pixel data of the input image.
図29は、外乱が多いときに追従処理をしたときの様子を示す図である。
図29(A)は、追従処理前の入力画像を示す画像例であり、図29(B)は、追従処理前の初期画像を示す画像例であり、図29(C)は、追従処理をし始めたときの画像例であり、図29(D)は、追従処理が進んだときの画像例である。
FIG. 29 is a diagram illustrating a state in which the follow-up process is performed when there are many disturbances.
FIG. 29A is an image example showing the input image before the follow-up process, FIG. 29B is an image example showing the initial image before the follow-up process, and FIG. FIG. 29D shows an image example when the tracking process has progressed.
図28と同様に図29の外乱も雪である場合を示している。外乱が多いとき、つまり雪が大量に降っているときには、画像データにおける一定の点(たとえば、一画素から抽出される画素データ)に着目すると、雪が写っていることによる画素データが多く抽出される。 As in FIG. 28, the disturbance in FIG. 29 is also snow. When there is a lot of disturbance, that is, when a lot of snow is falling, focusing on a certain point in the image data (for example, pixel data extracted from one pixel), a large amount of pixel data due to the appearance of snow is extracted.
したがって、一定割合でその画素データを加算していくと、多くの雪による画素データを加算してしまう。つまり、外乱が雪であるときは雪が白く写ることから、全画素分の画素データを合わせて絵作りすると画像全体が雪による画素データの影響を受けて、画像全体が白っぽくなってしまうという問題がある。 Therefore, if the pixel data is added at a constant rate, a lot of pixel data due to snow is added. In other words, when the disturbance is snow, the snow appears white, so if you make a picture by combining the pixel data for all pixels, the entire image will be affected by the pixel data due to snow, and the entire image will become whitish. is there.
図29においては、雪が大量に降っているときを外乱が多いときとして、撮像対象の背景は明るさなどの撮像環境が変わらない理想環境を例に説明したが、実際に撮像背景を撮像するときは、撮像背景自体や、撮像環境自体が大きく変化する。 In FIG. 29, a case where a large amount of snow is falling is described as an example of an ideal environment where the imaging environment such as brightness is not changed, assuming that the background of the imaging target is a large disturbance. However, when the imaging background is actually captured. The imaging background itself and the imaging environment itself change greatly.
具体的には、外乱が多く発生すると考えられる屋外の監視対象物を撮像する監視カメラに適用するときは、日の傾きや雲の切れ間から日が出たり入ったりするなど背景自体や、撮像環境が大きく変化する。このようなときは、外乱が多いときと同様になる。 Specifically, when applied to a surveillance camera that captures an outdoor surveillance object that is expected to generate a lot of disturbance, the background itself, such as the sun going in and out of the slope of the sun and clouds, and the imaging environment Changes significantly. In such a case, it is the same as when there are many disturbances.
本発明はこのような点に鑑みてなされたものであり、外乱の影響を極力受けることなく撮像対象物を撮像することを可能とする画像処理装置を提供することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to provide an image processing apparatus that can image an imaging object without being affected by disturbance as much as possible.
本発明では上記問題を解決するために、撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理装置において、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段と、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段とを備えることを特徴とする画像処理装置が提供される。 In the present invention, in order to solve the above-described problem, in the image processing apparatus that generates the processed image after the image processing by processing the pixel data constituting the captured image captured by the imaging unit, the comparison target in the processed image There is a possibility that the pixel data is a result of imaging a disturbance rather than an imaging target by comparing the value of the pixel data of the range and the value of the pixel data of the comparison target range in the input image input from the imaging means. Judgment of the disturbance judgment processing with respect to the disturbance judgment means for judging whether the value is high, the value of the pixel data of the comparison target range in the input image, and the value of the pixel data of the comparison target range in the processed image Provided with an image processing apparatus comprising: an image processing unit that performs processing for generating a new post-processing image by weighting and adding based on content It is.
これにより、外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断し、画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う。 Thereby, the disturbance determination unit compares the value of the pixel data in the comparison target range in the processed image with the value of the pixel data in the comparison target range in the input image input from the imaging unit, and the imaging target Instead, it is determined whether or not the pixel data is a result of imaging the disturbance, and the image processing means determines the value of the pixel data in the comparison target range in the input image and the comparison target range in the processed image. A process for generating a new post-process image is performed by weighting and adding to the pixel data value based on the determination contents of the disturbance determination process.
また、本発明では、撮像手段が撮像した撮像画像を伝送する伝送装置を用いて伝送し、前記撮像手段の設置地点から離隔した場所で前記撮像画像を表示する撮像システムにおいて、前記撮像画像を構成する画素データを処理することによる画像処理後の処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段と、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段とを備える画像処理装置を備えることを特徴とする撮像システムが提供される。 Further, according to the present invention, in the imaging system that transmits the captured image captured by the imaging unit using a transmission device that transmits the captured image and displays the captured image at a location separated from the installation location of the imaging unit, the captured image is configured. Comparing the value of the pixel data in the comparison target range in the processed image after the image processing by processing the pixel data to be compared with the value of the pixel data in the comparison target range in the input image input from the imaging means, Disturbance determining means for determining whether or not there is a high possibility that the pixel data is a result of imaging a disturbance rather than an imaging target, a value of pixel data in a comparison target range in the input image, and a comparison in the processed image A new post-processing image is generated by weighting and adding to the pixel data value in the target range based on the determination contents of the disturbance determination processing. Imaging system comprising the image processing apparatus and an image processing means for performing management is provided.
これにより、外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断し、画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う。 Thereby, the disturbance determination unit compares the value of the pixel data in the comparison target range in the processed image with the value of the pixel data in the comparison target range in the input image input from the imaging unit, and the imaging target Instead, it is determined whether or not the pixel data is a result of imaging the disturbance, and the image processing means determines the value of the pixel data in the comparison target range in the input image and the comparison target range in the processed image. A process for generating a new post-process image is performed by weighting and adding to the pixel data value based on the determination contents of the disturbance determination process.
また、本発明では、撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理方法において、外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断するステップと、画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行うステップとを有することを特徴とする画像処理方法が提供される。 According to the present invention, in the image processing method for generating a processed image after image processing by processing pixel data constituting a captured image captured by the imaging unit, the disturbance determination unit includes a comparison target in the processed image. There is a possibility that the pixel data is a result of imaging a disturbance rather than an imaging target by comparing the value of the pixel data of the range and the value of the pixel data of the comparison target range in the input image input from the imaging means. A step of determining whether or not the image data is high, and the image processing means determines the disturbance for the value of the pixel data in the comparison target range in the input image and the value of the pixel data in the comparison target range in the processed image. And a step of performing a process of generating a new post-process image by weighting and adding based on the determination contents of the process. It is provided.
これにより、外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断し、画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う。 Thereby, the disturbance determination unit compares the value of the pixel data in the comparison target range in the processed image with the value of the pixel data in the comparison target range in the input image input from the imaging unit, and the imaging target Instead, it is determined whether or not the pixel data is a result of imaging the disturbance, and the image processing means determines the value of the pixel data in the comparison target range in the input image and the comparison target range in the processed image. A process for generating a new post-process image is performed by weighting and adding to the pixel data value based on the determination contents of the disturbance determination process.
また、本発明では、撮像手段が撮像した撮像画像を構成する画素データを処理することにより画像処理後の処理後画像を生成する画像処理プログラムにおいて、コンピュータを、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段、として機能させることを特徴とする画像処理プログラムが提供される。 According to the present invention, in an image processing program for generating a processed image after image processing by processing pixel data constituting a captured image captured by an imaging unit, a computer is used for the comparison target range in the processed image. Is it highly likely that the pixel data is the result of imaging a disturbance rather than an imaging target by comparing the value of the pixel data with the value of the pixel data in the comparison target range in the input image input from the imaging means? Disturbance determination means for determining whether or not the pixel data value of the comparison target range in the input image and the pixel data value of the comparison target range in the processed image are based on the determination content of the disturbance determination processing Image processing means for functioning as image processing means for performing processing for generating a new post-processing image by weighting and adding Program is provided.
これにより、外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断し、画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う。 Thereby, the disturbance determination unit compares the value of the pixel data in the comparison target range in the processed image with the value of the pixel data in the comparison target range in the input image input from the imaging unit, and the imaging target Instead, it is determined whether or not the pixel data is a result of imaging the disturbance, and the image processing means determines the value of the pixel data in the comparison target range in the input image and the comparison target range in the processed image. A process for generating a new post-process image is performed by weighting and adding to the pixel data value based on the determination contents of the disturbance determination process.
本発明の画像処理装置、方法、プログラム、および撮像システムによれば、外乱判断手段が、入力画像における比較対象範囲の画素データが外乱を撮像した結果の画素データであるかを判断し、画像処理手段が、外乱判断手段がした判断に応じた重み付けを入力画像および処理後画像の画素データにし、その画素データを加算して新たな処理後画像を生成するので、外乱と判断されたデータはほとんど反映させず、外乱と判断されなかった、つまり撮像対象物を撮像したと判断されたデータを多く反映させて新たな処理後画像を生成することができる。したがって、外乱の影響を極力受けることなく撮像対象物を撮像することが可能となる。 According to the image processing apparatus, method, program, and imaging system of the present invention, the disturbance determination unit determines whether the pixel data in the comparison target range in the input image is pixel data obtained as a result of imaging the disturbance, and performs image processing. Since the means sets the weighting according to the determination made by the disturbance determination means to the pixel data of the input image and the processed image and adds the pixel data to generate a new processed image, the data determined to be a disturbance is almost It is possible to generate a new processed image by reflecting a large amount of data that is not reflected and is not determined to be a disturbance, that is, that is determined to have captured the imaging target. Therefore, it is possible to image the imaging object without being affected by disturbance as much as possible.
以下、本発明の実施の形態を図面を参照して詳細に説明する。
〔第1の実施の形態〕
図1は、本実施の形態に係る画像処理装置のブロック図である。
図1に示すように、画像処理装置100には、カメラ210と、操作部220、および表示部230が取り付けられており、画像処理装置100は、入力画像メモリ110、外乱判断処理部120、画像処理部130、処理後画像メモリ140、および追従係数メモリ150を備えている。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[First Embodiment]
FIG. 1 is a block diagram of an image processing apparatus according to this embodiment.
As shown in FIG. 1, a camera 210, an operation unit 220, and a display unit 230 are attached to the image processing apparatus 100. The image processing apparatus 100 includes an input image memory 110, a disturbance determination processing unit 120, an image. A processing unit 130, a post-processing image memory 140, and a tracking coefficient memory 150 are provided.
入力画像メモリ110は、カメラ200が撮像した撮像画像が入力されると、その入力画像を蓄積する。 When the captured image captured by the camera 200 is input, the input image memory 110 stores the input image.
外乱判断処理部120は、入力画像メモリ110から入力画像を読み出すとともに処理後画像メモリ140から処理後画像を読み出す。そして、入力画像の比較対象範囲と、処理後画像における比較対象範囲に対応する部分のそれぞれの画素データの値を比較する。たとえば、比較対象範囲を1画素ごととしたときは、各画像の同一座標の画素データの値同士を比較する。その比較した値が一定以上の乖離があったときはその画素データは外乱を写したことによる画素データであると判断する。この外乱判断を、画像を構成する全画素データについて行う。なお、処理後画像については後述する。 The disturbance determination processing unit 120 reads the input image from the input image memory 110 and reads the processed image from the processed image memory 140. Then, the comparison target range of the input image is compared with the value of each pixel data of the portion corresponding to the comparison target range in the processed image. For example, when the comparison target range is set for each pixel, the pixel data values of the same coordinates of the images are compared with each other. When the compared value has a certain deviation or more, it is determined that the pixel data is pixel data obtained by copying a disturbance. This disturbance determination is performed for all pixel data constituting the image. The processed image will be described later.
画像処理部130は、外乱判断処理部120が判断に応じて、追従係数メモリ150から追従係数を読み出して、入力画像の比較対象範囲の画素データ、および処理後画像の比較対象範囲の画素データに対して追従係数を用いた重み付けを行い、その重み付けをした画素データを加算する画像処理を行う。この画像処理は、画像を構成する全画素データについて行う。つまり、全画素データについて画像処理が行われたものを合算(絵作り)することにより新たな処理後画像とすることができる。この新たな処理後画像を処理後画像メモリ140に格納する。なお、追従係数メモリ150に格納されている追従係数は、たとえばキーボードなどの操作部220から入力されて格納されている。 The image processing unit 130 reads the tracking coefficient from the tracking coefficient memory 150 according to the determination by the disturbance determination processing unit 120, and converts it into the pixel data of the comparison target range of the input image and the pixel data of the comparison target range of the processed image. On the other hand, weighting using a tracking coefficient is performed, and image processing for adding the weighted pixel data is performed. This image processing is performed for all pixel data constituting the image. That is, a new post-processed image can be obtained by adding (picture making) the images that have been subjected to image processing for all pixel data. The new processed image is stored in the processed image memory 140. Note that the tracking coefficient stored in the tracking coefficient memory 150 is input and stored from the operation unit 220 such as a keyboard.
表示部230は、処理後画像メモリ140に格納されている処理後画像を読み出して表示する。これにより処理された、つまり外乱が除去された撮像対象物を写した画像を見ることができる。 The display unit 230 reads and displays the processed image stored in the processed image memory 140. As a result, it is possible to see an image of the imaging target that has been processed, that is, the disturbance has been removed.
図2は、本実施の形態に係る画像処理装置を適用した第1のシステム構成例である。
図2に示すように、伝送送信装置241と伝送受信装置242を用いてカメラ200が撮像した画像を伝送するときは、伝送受信装置242と表示部230との間に画像処理装置100を設置することができる。つまり、伝送されてきた処理前の画像(入力画像)に対して画像処理装置100が画像処理をすることにより外乱を除去した撮像対象物を撮像した画像を見ることができるようになる。このようなシステム構成によれば、安価なカメラで外乱を除去した画像を見ることができるし、既存のシステムへの適用も容易である。
FIG. 2 is a first system configuration example to which the image processing apparatus according to the present embodiment is applied.
As illustrated in FIG. 2, when an image captured by the camera 200 is transmitted using the transmission / transmission device 241 and the transmission / reception device 242, the image processing device 100 is installed between the transmission / reception device 242 and the display unit 230. be able to. In other words, the image processing apparatus 100 performs image processing on the transmitted image (input image) before processing so that an image obtained by imaging the imaging object from which disturbance has been removed can be viewed. According to such a system configuration, an image from which disturbance has been removed can be viewed with an inexpensive camera, and application to an existing system is easy.
図3は、本実施の形態に係る画像処理装置を適用した第2のシステム構成例である。
図3に示すように、伝送送信装置241と伝送受信装置242を用いてカメラ200が撮像した画像を伝送するときは、カメラ200と伝送送信装置241との間に画像処理装置100を設置することもできる。つまり、カメラ200が撮像した処理前の画像(入力画像)に対して画像処理装置100が画像処理をすることにより外乱を除去した撮像対象物を撮像した画像を伝送送信装置241および伝送受信装置242により伝送することができるので、外乱を除去した撮像対象物を撮像した画像を見ることができるようになる。このようなシステム構成によれば、外乱を除去した画像を伝送できる。つまり、伝送量を低減することができる。
FIG. 3 is a second system configuration example to which the image processing apparatus according to the present embodiment is applied.
As shown in FIG. 3, when an image captured by the camera 200 is transmitted using the transmission / transmission device 241 and the transmission / reception device 242, the image processing device 100 is installed between the camera 200 and the transmission / transmission device 241. You can also. That is, the transmission transmission device 241 and the transmission reception device 242 capture an image obtained by capturing an imaging target from which a disturbance has been removed by performing image processing on the unprocessed image (input image) captured by the camera 200. Therefore, it is possible to view an image obtained by imaging the imaging object from which the disturbance is removed. According to such a system configuration, an image from which disturbance is removed can be transmitted. That is, the transmission amount can be reduced.
図4は、本実施の形態に係る画像処理装置を適用した第3のシステム構成例である。
図4に示すように、伝送送信装置241と伝送受信装置242を用いてカメラ200が撮像した画像を伝送する系統が複数あり、セレクタ250によって系統を切り替えて表示するシステムのときは、セレクタ250と表示部230との間に画像処理装置100を設置することができる。つまり、セレクタ250によって選択された系統から伝送されてきた処理前の画像(入力画像)に対して画像処理装置100が画像処理をすることにより外乱を除去した撮像対象物を撮像した画像を見ることができるようになる。このようなシステム構成によれば、複数の伝送システムに対して1つの画像処理装置を用いて外乱を除去した画像を見ることができる。
FIG. 4 is a third system configuration example to which the image processing apparatus according to the present embodiment is applied.
As shown in FIG. 4, there are a plurality of systems that transmit images captured by the camera 200 using the transmission / transmission device 241 and the transmission / reception device 242. The image processing apparatus 100 can be installed between the display unit 230 and the display unit 230. In other words, the image processing apparatus 100 performs image processing on an unprocessed image (input image) transmitted from the system selected by the selector 250 to view an image obtained by capturing an imaging target from which disturbance has been removed. Will be able to. According to such a system configuration, it is possible to view an image from which disturbance is removed by using one image processing apparatus for a plurality of transmission systems.
図5は、本実施の形態に係る画像処理装置を適用した第4のシステム構成例である。
図5に示すように、伝送送信装置241と伝送受信装置242を用いて伝送したカメラ200が撮像した画像をレコーダ260に記録して、その記録した画像を表示するときは、レコーダ260と表示部230との間に画像処理装置100を設置することができる。つまり、レコーダ260に記録された処理前の画像(入力画像)に対して画像処理装置100が画像処理をすることにより外乱を除去した撮像対象物を撮像した画像を見ることができるようになる。なお、レコーダ260よりも上流に画像処理装置100を設置することにより、処理後画像がレコーダ260に記録されるようにしてもよいのはいうまでもない。このように、カメラからのリアルタイム映像に限らず、レコーダに記録されている映像から外乱を除去した画像を見ることができるのも当然である。
FIG. 5 shows a fourth system configuration example to which the image processing apparatus according to this embodiment is applied.
As shown in FIG. 5, when an image captured by the camera 200 transmitted using the transmission transmission device 241 and the transmission reception device 242 is recorded in the recorder 260 and the recorded image is displayed, the recorder 260 and the display unit are displayed. 230, the image processing apparatus 100 can be installed. In other words, the image processing apparatus 100 can perform image processing on the pre-processed image (input image) recorded in the recorder 260 so that an image obtained by imaging the imaging object from which disturbance has been removed can be viewed. It goes without saying that the processed image may be recorded in the recorder 260 by installing the image processing apparatus 100 upstream of the recorder 260. In this way, it is natural that not only the real-time video from the camera but also an image obtained by removing disturbance from the video recorded on the recorder can be viewed.
図6は、外乱判断処理部の処理機能の一例を示すブロック図である。
図6に示すように、外乱判断処理部120は、差分算出部121と大小比較部122とを備えている。差分算出部121は、入力画像の比較対象範囲の画素データの値と、処理後画像の比較対象範囲の画素データの値の差分の絶対値を算出する。
FIG. 6 is a block diagram illustrating an example of processing functions of the disturbance determination processing unit.
As shown in FIG. 6, the disturbance determination processing unit 120 includes a difference calculation unit 121 and a magnitude comparison unit 122. The difference calculation unit 121 calculates the absolute value of the difference between the pixel data value in the comparison target range of the input image and the pixel data value in the comparison target range of the processed image.
大小比較部122は、差分算出部121した差分値があらかじめ設定された判定基準になる値より大きいか否かを判断し、差分値が大きいときは、入力画像の比較対象範囲の画素データは外乱による画素データである疑いが高いと判断して、画像処理部130にその結果を出力する。 The magnitude comparison unit 122 determines whether or not the difference value calculated by the difference calculation unit 121 is greater than a value that is a predetermined criterion. If the difference value is large, the pixel data in the comparison target range of the input image is disturbance. It is determined that there is a high suspicion of pixel data, and the result is output to the image processing unit 130.
図7は、外乱判断処理部の処理機能の一例を示すブロック図である。
外乱が雨や雪のように撮像対象物や撮像背景に比べて白く写るものであるときは、より白いものを外乱である疑いが高いと判断すれば足りる。
つまり図7に示すように、外乱判断処理部120は、輝度抽出部123と大小比較部124を備えていればよいことになる。
FIG. 7 is a block diagram illustrating an example of processing functions of the disturbance determination processing unit.
If the disturbance is white, such as rain or snow, compared to the object to be imaged or the imaging background, it is sufficient to determine that the white is more likely to be a disturbance.
That is, as shown in FIG. 7, the disturbance determination processing unit 120 only needs to include a luminance extraction unit 123 and a magnitude comparison unit 124.
具体的には、輝度抽出部123は、入力画像の比較対象範囲の画素データと、処理後画像の比較対象範囲の画素データとからそれぞれの輝度情報を抽出する。そして、大小比較部124は、輝度抽出部123が抽出した輝度情報を比較し、入力画像の比較対象範囲の画素データから抽出した輝度が大きいと判断したときは、入力画像の比較対象範囲の画素データは外乱による画素データである疑いが高いと判断して、画像処理部130にその結果を出力する。 Specifically, the luminance extraction unit 123 extracts luminance information from the pixel data in the comparison target range of the input image and the pixel data in the comparison target range of the processed image. Then, the size comparison unit 124 compares the luminance information extracted by the luminance extraction unit 123, and determines that the luminance extracted from the pixel data in the comparison target range of the input image is large, the pixel in the comparison target range of the input image The data is judged to be highly likely to be pixel data due to disturbance, and the result is output to the image processing unit 130.
図8は、外乱判断処理部の処理機能の一例を示すブロック図である。
輝度だけでなく彩度をも判断基準として用いてもよい。
FIG. 8 is a block diagram illustrating an example of processing functions of the disturbance determination processing unit.
Not only luminance but also saturation may be used as a criterion.
このときは図8に示すように、外乱判断処理部120は、輝度抽出部123と大小比較部124に加えて、彩度抽出部125と大小比較部126を備え、大小比較部124,126に加算器127を備えるようにする。 At this time, as shown in FIG. 8, the disturbance determination processing unit 120 includes a saturation extraction unit 125 and a magnitude comparison unit 126 in addition to the luminance extraction unit 123 and the magnitude comparison unit 124. An adder 127 is provided.
彩度抽出部125は、入力画像の比較対象範囲の画素データと、処理後画像の比較対象範囲の画素データとからそれぞれの彩度情報を抽出する。そして、大小比較部126は、彩度抽出部125が抽出した彩度情報を比較し、処理後画像の比較対象範囲の画素データから抽出した彩度の方が大きいと判断したときは、入力画像の比較対象範囲の画素データは外乱による画素データである疑いが高いと判断して、加算器127にその結果を出力する。加算器127は、大小比較部124,126の双方が外乱による画素データである疑いが高いと判断したときは、入力画像の比較対象範囲の画素データは外乱による画素データである疑いが高いと判断して、画像処理部130にその結果を出力する。 The saturation extraction unit 125 extracts each saturation information from the pixel data of the comparison target range of the input image and the pixel data of the comparison target range of the processed image. The magnitude comparison unit 126 compares the saturation information extracted by the saturation extraction unit 125 and determines that the saturation extracted from the pixel data in the comparison target range of the processed image is larger. It is determined that the pixel data in the comparison target range is highly likely to be pixel data due to disturbance, and the result is output to the adder 127. When the adder 127 determines that both the magnitude comparison units 124 and 126 are highly likely to be pixel data due to disturbance, the adder 127 determines that the pixel data in the comparison target range of the input image is highly likely to be pixel data due to disturbance. Then, the result is output to the image processing unit 130.
図9,10は、画像処理装置によるランダムノイズの画像処理の手順を示すフローチャートである。以下、図9,10に示す処理をステップ番号に沿って説明する。 9 and 10 are flowcharts showing the procedure of random noise image processing by the image processing apparatus. Hereinafter, the processing illustrated in FIGS. 9 and 10 will be described in order of step number.
〔ステップS11〕画像処理装置100は、電源が投入されると、処理後画像メモリ140内の処理後画像を初期化する。具体的には、処理後画像メモリ140にグレー(中間の階調)の画像を格納する。ランダムノイズの場合には、外乱が黒く映るものなのか、白く映るものなのかがわからないのでグレーの画像を初期画像とする。 [Step S11] When the power is turned on, the image processing apparatus 100 initializes the processed image in the processed image memory 140. Specifically, a gray (intermediate gradation) image is stored in the processed image memory 140. In the case of random noise, since it is not known whether the disturbance appears black or white, a gray image is used as the initial image.
また、あらかじめ格納されているメモリなどから読み出すなどして追従係数α1を1.0に設定する。さらに、操作部220からの入力信号により追従係数α2を設定する。追従係数α2は外乱の量により1.0≧α2>0.0の範囲で適宜設定される。そして、外乱か否かの判断基準となる輝度差分の絶対値の差のしきい値THを16と設定する。 Further, the follow-up coefficient α1 is set to 1.0 by reading from a previously stored memory or the like. Further, the tracking coefficient α2 is set by an input signal from the operation unit 220. The follow-up coefficient α2 is appropriately set in the range of 1.0 ≧ α2> 0.0 depending on the amount of disturbance. Then, the threshold value TH for the difference between the absolute values of the luminance differences, which is a criterion for determining whether or not there is a disturbance, is set to 16.
〔ステップS12〕外乱判断処理部120は、カメラ210から入力され、入力画像メモリ110に格納されている入力画像を読み出す。 [Step S12] The disturbance determination processing unit 120 reads an input image input from the camera 210 and stored in the input image memory 110.
〔ステップS13〕外乱判断処理部120は、読み出した入力画像の幅と高さを取得して、高さをHと、幅をWと設定する。 [Step S13] The disturbance determination processing unit 120 acquires the width and height of the read input image, and sets the height to H and the width to W.
〔ステップS14〕外乱判断処理部120は、高さ方向のループ変数を初期化する。つまり、ループ変数Yに0を設定する。 [Step S14] The disturbance determination processing unit 120 initializes a loop variable in the height direction. That is, 0 is set in the loop variable Y.
〔ステップS15〕外乱判断処理部120は、ループ変数Yが画像の高さHより大きいか否かを判断する。YがHより大きいときは処理をステップS16へ処理を進め、YがH以下であるときは処理をステップS25へ進める。 [Step S15] The disturbance determination processing unit 120 determines whether or not the loop variable Y is larger than the height H of the image. If Y is greater than H, the process proceeds to step S16. If Y is equal to or less than H, the process proceeds to step S25.
〔ステップS16〕外乱判断処理部120は、幅方向のループ変数を初期化する。つまり、ループ変数Xに0を設定する。 [Step S16] The disturbance determination processing unit 120 initializes a loop variable in the width direction. That is, 0 is set in the loop variable X.
〔ステップS17〕外乱判断処理部120は、ループ変数Xが画像の幅Wより大きいか否かを判断する。XがWより大きいときは処理をステップS18へ処理を進め、XがW以下であるときは処理をステップS23へ進める。 [Step S17] The disturbance determination processing unit 120 determines whether or not the loop variable X is larger than the width W of the image. If X is greater than W, the process proceeds to step S18. If X is equal to or less than W, the process proceeds to step S23.
〔ステップS18〕外乱判断処理部120は、入力画像と処理後画像のループ変数Xとループ変数Yに対応する画素(以下、(X,Y)画素と表記する。)の値を読み出し、輝度差分の絶対値を算出する。そして、算出した絶対値がしきい値THより大きいか否かを判断する。しきい値THより差分絶対値が大きいときは、比較した画素は外乱によるものである疑いが高いと判断し、その旨を画像処理部130に出力し、処理をステップS19へ進める。また、しきい値THが差分絶対値以下であるときは処理をステップS20へ進める。なお、カラー画像であるときは、以下の式1により輝度を算出する。
輝度=0.257R+0.504G+0.098B+16………………………(式1)
[Step S18] The disturbance determination processing unit 120 reads out values of pixels (hereinafter, referred to as (X, Y) pixels) corresponding to the loop variable X and the loop variable Y of the input image and the processed image, and the luminance difference. The absolute value of is calculated. Then, it is determined whether or not the calculated absolute value is greater than a threshold value TH. If the difference absolute value is larger than the threshold value TH, it is determined that the compared pixel is highly likely to be due to disturbance, and a message to that effect is output to the image processing unit 130, and the process proceeds to step S19. If the threshold value TH is less than or equal to the absolute difference value, the process proceeds to step S20. In the case of a color image, the luminance is calculated by the following formula 1.
Luminance = 0.257R + 0.504G + 0.098B + 16 (Equation 1)
〔ステップS19〕画像処理部130は、処理後画像の(X,Y)画素を、追従係数α2を用いて重み付けをして加算することにより、新たな処理画像の(X,Y)画素とする。この重み付けは、以下の式2の通りに行う。なお、カラー画像の場合にはRGBそれぞれに対して行う。
α2×入力画像の(X,Y)画素の値+(1−α2)×処理後画像の(X,Y)画素の値……………………………………………………………………………………………(式2)
[Step S19] The image processing unit 130 weights and adds the (X, Y) pixels of the processed image using the tracking coefficient α2, thereby obtaining (X, Y) pixels of a new processed image. . This weighting is performed as shown in Equation 2 below. In the case of a color image, it is performed for each of RGB.
α2 × (X, Y) pixel value of input image + (1−α2) × (X, Y) pixel value of processed image ………………………………………… …………………………………………… (Formula 2)
〔ステップS20〕画像処理部130は、処理後画像の(X,Y)画素を、追従係数α1を用いて重み付けをして加算することにより、新たな処理画像の(X,Y)画素とする。この重み付けは、以下の式3の通りに行う。なお、カラー画像の場合にはRGBそれぞれに対して行う。
α1×入力画像の(X,Y)画素の値+(1−α1)×処理後画像の(X,Y)画素の値……………………………………………………………………………………………(式3)
[Step S20] The image processing unit 130 weights and adds the (X, Y) pixels of the processed image using the tracking coefficient α1, thereby obtaining (X, Y) pixels of a new processed image. . This weighting is performed according to Equation 3 below. In the case of a color image, it is performed for each of RGB.
α1 × (X, Y) pixel value of the input image + (1−α1) × (X, Y) pixel value of the processed image ………………………………………… …………………………………………… (Formula 3)
〔ステップS21〕ループ変数Xに1加算する。 [Step S21] Add 1 to the loop variable X.
〔ステップS22〕処理をステップS17へ戻す。 [Step S22] The process returns to step S17.
〔ステップS23〕ループ変数Yに1加算する。 [Step S23] One is added to the loop variable Y.
〔ステップS24〕処理をステップS15へ戻す。 [Step S24] The process returns to step S15.
〔ステップS25〕処理をステップS12へ戻す。 [Step S25] The process returns to step S12.
図11,12は、画像処理装置による雪が外乱であるときの画像処理の手順を示すフローチャートである。以下、図11,12に示す処理をステップ番号に沿って説明する。 FIGS. 11 and 12 are flowcharts showing the procedure of image processing when snow by the image processing apparatus is a disturbance. In the following, the process shown in FIGS. 11 and 12 will be described in order of step number.
〔ステップS31〕画像処理装置100は、電源が投入されると、処理後画像メモリ140内の処理後画像を初期化する。具体的には、処理後画像メモリ140に白の画像を格納する。また、あらかじめ格納されているメモリなどから読み出すなどして追従係数α1を1.0に設定する。さらに、操作部220からの入力信号により追従係数α2を設定する。追従係数α2は外乱の量により1.0≧α2>0.0の範囲で適宜設定される。 [Step S31] When the power is turned on, the image processing apparatus 100 initializes the processed image in the processed image memory 140. Specifically, a white image is stored in the processed image memory 140. Further, the follow-up coefficient α1 is set to 1.0 by reading from a previously stored memory or the like. Further, the tracking coefficient α2 is set by an input signal from the operation unit 220. The follow-up coefficient α2 is appropriately set in the range of 1.0 ≧ α2> 0.0 depending on the amount of disturbance.
〔ステップS32〕外乱判断処理部120は、カメラ210から入力され、入力画像メモリ110に格納されている入力画像を読み出す。 [Step S32] The disturbance determination processing unit 120 reads an input image input from the camera 210 and stored in the input image memory 110.
〔ステップS33〕外乱判断処理部120は、読み出した入力画像の幅と高さを取得して、高さをHと、幅をWと設定する。 [Step S33] The disturbance determination processing unit 120 acquires the width and height of the read input image, and sets the height to H and the width to W.
〔ステップS34〕外乱判断処理部120は、高さ方向のループ変数を初期化する。つまり、ループ変数Yに0を設定する。 [Step S34] The disturbance determination processing unit 120 initializes a loop variable in the height direction. That is, 0 is set in the loop variable Y.
〔ステップS35〕外乱判断処理部120は、ループ変数Yが画像の高さHより大きいか否かを判断する。YがHより大きいときは処理をステップS36へ処理を進め、YがH以下であるときは処理をステップS45へ進める。 [Step S35] The disturbance determination processing unit 120 determines whether or not the loop variable Y is larger than the height H of the image. If Y is greater than H, the process proceeds to step S36. If Y is equal to or less than H, the process proceeds to step S45.
〔ステップS36〕外乱判断処理部120は、幅方向のループ変数を初期化する。つまり、ループ変数Xに0を設定する。 [Step S36] The disturbance determination processing unit 120 initializes a loop variable in the width direction. That is, 0 is set in the loop variable X.
〔ステップS37〕外乱判断処理部120は、ループ変数Xが画像の幅Wより大きいか否かを判断する。XがWより大きいときは処理をステップS38へ処理を進め、XがW以下であるときは処理をステップS43へ進める。 [Step S37] The disturbance determination processing unit 120 determines whether or not the loop variable X is larger than the width W of the image. If X is greater than W, the process proceeds to step S38. If X is equal to or less than W, the process proceeds to step S43.
〔ステップS38〕外乱判断処理部120は、入力画像と処理後画像の(X,Y)画素の値を読み出し、各画素の輝度と彩度の値を比較する。そして、処理後画像の(X,Y)画素より入力画像の(X,Y)画素の輝度が大きく、かつ入力画像の(X,Y)画素より処理後画像の(X,Y)画素の彩度が大きいときは、比較した画素は外乱によるものである疑いが高いと判断し、その旨を画像処理部130に出力し、処理をステップS39へ進め、それ以外のときは処理をステップS40へ進める。なお、彩度は、以下の式4により算出する。
M=MAX(R,G,B)
m=MIN(R,G,B)
彩度=M−m/M(M=m≠0)、0(M=m=0)……………………………(式4)
[Step S38] The disturbance determination processing unit 120 reads the values of (X, Y) pixels of the input image and the processed image, and compares the luminance and saturation values of each pixel. The luminance of the (X, Y) pixel of the input image is larger than the (X, Y) pixel of the processed image, and the color of the (X, Y) pixel of the processed image is larger than the (X, Y) pixel of the input image. If the degree is high, it is determined that the compared pixel is highly likely to be due to disturbance, and a message to that effect is output to the image processing unit 130, and the process proceeds to step S39. Otherwise, the process proceeds to step S40. Proceed. The saturation is calculated by the following equation 4.
M = MAX (R, G, B)
m = MIN (R, G, B)
Saturation = M−m / M (M = m ≠ 0), 0 (M = m = 0) ………………………… (Formula 4)
〔ステップS39〕画像処理部130は、処理後画像の(X,Y)画素を、追従係数α2を用いて重み付けをして加算することにより、新たな処理画像の(X,Y)画素とする。この重み付けは、上述の式2の通りに行う。なお、カラー画像の場合にはRGBそれぞれに対して行う。 [Step S39] The image processing unit 130 weights and adds the (X, Y) pixels of the processed image using the tracking coefficient α2, thereby obtaining (X, Y) pixels of a new processed image. . This weighting is performed as described in Equation 2 above. In the case of a color image, the process is performed for each of RGB.
〔ステップS40〕画像処理部130は、処理後画像の(X,Y)画素を、追従係数α1を用いて重み付けをして加算することにより、新たな処理画像の(X,Y)画素とする。この重み付けは、上述の式3の通りに行う。なお、カラー画像の場合にはRGBそれぞれに対して行う。 [Step S40] The image processing unit 130 weights and adds the (X, Y) pixels of the processed image using the tracking coefficient α1, thereby obtaining (X, Y) pixels of a new processed image. . This weighting is performed as described in Equation 3 above. In the case of a color image, the process is performed for each of RGB.
〔ステップS41〕ループ変数Xに1加算する。 [Step S41] 1 is added to the loop variable X.
〔ステップS42〕処理をステップS37へ戻す。 [Step S42] The process returns to step S37.
〔ステップS43〕ループ変数Yに1加算する。 [Step S43] One is added to the loop variable Y.
〔ステップS44〕処理をステップS35へ戻す。 [Step S44] The process returns to step S35.
〔ステップS45〕処理をステップS32へ戻す。 [Step S45] The process returns to step S32.
図13は、外乱の輝度が高いときの追従係数についての表を示す図である。
外乱が雪であるとき、つまり輝度が比較的高い場合には、上述の通り輝度が入力画像と処理後画像の輝度の値を比較して大きいものを外乱であると判断すれば足りることが多い。しかし、外乱である雪よりも背景の輝度が高いときは、輝度が入力画像と処理後画像の輝度の値を比較して大きいものを外乱であると判断すると、雪の輝度が処理後画像に多く反映される(つまり、本来の背景輝度より暗く映ってしまう)。
FIG. 13 is a diagram illustrating a table of the tracking coefficient when the luminance of the disturbance is high.
When the disturbance is snow, that is, when the luminance is relatively high, it is often sufficient to determine that the luminance is a disturbance by comparing the luminance values of the input image and the processed image as described above. . However, when the brightness of the background is higher than that of the snow, which is a disturbance, the brightness of the input image and that of the processed image are compared. Many are reflected (that is, it appears darker than the original background brightness).
そこで、たとえば雪の輝度が256階調で200であり、背景の輝度が230であるとしたときは、輝度値160を設定しておき、入力画像が設定値である160以上であるときは一律に追従係数α2とするとよい。つまり、ある一定値以上の輝度が入力された場合には外乱の疑いが高いと判断した場合と同様に処理後画像に少なく反映することにより、雪の輝度が処理後画像に多く反映されることを防ぐことが可能となる。 Therefore, for example, when the brightness of snow is 200 at 256 gradations and the brightness of the background is 230, a brightness value 160 is set, and when the input image is 160 or more which is the set value, it is uniform. The tracking coefficient α2 may be set as follows. In other words, if a luminance of a certain value or more is input, the luminance of snow is reflected more in the processed image by reflecting it less in the processed image as in the case where it is determined that the suspicion of disturbance is high. Can be prevented.
なお、外乱が多いとき(本事案においては降雪量が多いとき)は、追従処理をした後にコントラストの強調処理を追加するとより効果がある。 Note that when there is a lot of disturbance (when the amount of snowfall is large in this case), it is more effective to add a contrast enhancement process after the follow-up process.
図14は、本実施の形態の画像処理装置によって画像処理したときの様子を示す図である。
図14(A)は、画像処理前の画像例であり、図14(B)は、画像処理をし始めた状態の画像例であり、図14(C)は、画像処理が進んだ状態を示す画像例である。
FIG. 14 is a diagram illustrating a state when image processing is performed by the image processing apparatus according to the present embodiment.
FIG. 14A is an image example before image processing, FIG. 14B is an image example in a state where image processing has started, and FIG. 14C shows a state in which image processing has progressed. It is an example of an image shown.
図14に示すように、障害物が写った画像を画像処理装置100によって画像処理すると、外乱である疑いが高い範囲(画素)については小さな追従係数が乗算され、外乱である疑いが低い範囲(画素)については大きな追従係数が乗算されて、それぞれいままでの処理後画像に加算されることにより、新たな処理後画像とするので、外乱である疑いが高い画素は新たな処理後画像への反映が少なくなるので、結果として得られる新たな処理後画像は外乱の影響がない画像を得ることができる。 As shown in FIG. 14, when an image showing an obstacle is image-processed by the image processing apparatus 100, a range (pixel) that is highly likely to be a disturbance is multiplied by a small tracking coefficient, and a range that is less likely to be a disturbance ( Pixels) are multiplied by a large follow-up coefficient and added to the processed image so far, so that a new processed image is obtained. Therefore, a pixel having a high suspicion of disturbance is added to the new processed image. Since reflection is reduced, an image having no influence of disturbance can be obtained as a new processed image obtained as a result.
図15は、本実施の形態の画像処理装置で、外乱が少ないときに画像処理をしたときの様子を示す図である。
図15(A)は、画像処理前の入力画像を示す画像例であり、図15(B)は、画像処理前の初期画像を示す画像例であり、図15(C)は、画像処理をし始めたときの画像例であり、図15(D)は、画像処理が進んだときの画像例である。
FIG. 15 is a diagram illustrating a state when image processing is performed when there is little disturbance in the image processing apparatus according to the present embodiment.
FIG. 15A is an image example showing an input image before image processing, FIG. 15B is an image example showing an initial image before image processing, and FIG. FIG. 15D shows an image example when image processing has advanced.
図15においては、外乱が雪である場合を示している。外乱が雪であるときは、雪は白く写ることから、初期画像を白にする。そして、本実施の形態に係る画像処理を行うことにより、外乱を除去した画像を得ることができる。 FIG. 15 shows a case where the disturbance is snow. When the disturbance is snow, since the snow appears white, the initial image is made white. Then, by performing image processing according to the present embodiment, an image from which disturbance has been removed can be obtained.
図16は、本実施の形態の画像処理装置で、外乱が多いときに画像処理をしたときの様子を示す図である。
図16(A)は、画像処理前の入力画像を示す画像例であり、図16(B)は、画像処理前の初期画像を示す画像例であり、図16(C)は、画像処理をし始めたときの画像例であり、図16(D)は、画像処理が進んだときの画像例である。
FIG. 16 is a diagram illustrating a state in which image processing is performed when there are many disturbances in the image processing apparatus according to the present embodiment.
16A is an image example showing an input image before image processing, FIG. 16B is an image example showing an initial image before image processing, and FIG. 16C shows image processing. FIG. 16D shows an image example when image processing has advanced.
図15と同様に図16の外乱も雪である場合を示している。外乱が多いとき、つまり雪が大量に降っているときには、画像データにおける一定の点(たとえば、一画素から抽出される画素データ)に着目すると、雪が写っていることによる画素データが多く抽出される。 As in FIG. 15, the disturbance in FIG. 16 is also snow. When there is a lot of disturbance, that is, when a lot of snow is falling, focusing on a certain point in the image data (for example, pixel data extracted from one pixel), a large amount of pixel data due to the appearance of snow is extracted.
しかし、画像処理装置100における外乱判断処理部120によって、画素データが外乱による画素データの疑いが高いか否かを判断しているので、画像全体を追従処理しているときとは異なり、外乱の影響がない画像を得ることができる。 However, since the disturbance determination processing unit 120 in the image processing apparatus 100 determines whether or not the pixel data has a high suspicion of the pixel data due to the disturbance, unlike the case of following the entire image, the disturbance determination An image having no influence can be obtained.
以上の処理を行うことにより、入力画像における比較対象範囲の画素データが外乱を撮像した結果の画素データであるかを判断し、外乱判断処理の判断に応じた重み付けを入力画像および処理後画像の画素データにし、その画素データを加算して新たな処理後画像を生成するので、外乱と判断されたデータはほとんど反映させず、外乱と判断されなかった、つまり撮像対象物を撮像したと判断されたデータを多く反映させて新たな処理後画像を生成することができる。したがって、外乱の影響を極力受けることなく撮像対象物を撮像することが可能となる。 By performing the above processing, it is determined whether the pixel data in the comparison target range in the input image is pixel data obtained as a result of imaging the disturbance, and weighting according to the determination in the disturbance determination processing is performed on the input image and the processed image. Since pixel data is added and the pixel data is added to generate a new processed image, the data determined to be a disturbance is hardly reflected and it is determined that the disturbance is not determined, that is, the imaging object is imaged. A new post-processing image can be generated by reflecting a large amount of data. Therefore, it is possible to image the imaging object without being affected by disturbance as much as possible.
なお、本実施の形態においては、画素同士を比較して一定以上の輝度や彩度の差があった場合、もしくは入力画像の画素の方が輝度が高いときは、その画素が外乱であると判断したが、カメラをパン・チルトしたときには当然に多くの画素で一定範囲以上の輝度や彩度の差が生まれる。 In the present embodiment, when pixels are compared with each other and there is a difference in luminance or saturation exceeding a certain level, or when the luminance of the pixel of the input image is higher, the pixel is a disturbance. As a matter of judgment, when the camera is panned or tilted, naturally, a difference in luminance and saturation exceeding a certain range is produced in many pixels.
このときは、たとえば全画素数のうち80%の画素において256階調のときに16階調分以上の差が生じたと判断したときは、カメラの撮影方向が変わったと判断して、処理後画像メモリに格納されている処理後画像を破棄して入力画像をそのまま新たな処理後画像とすることもできる。 In this case, for example, when it is determined that a difference of 16 gradations or more has occurred in 256 gradations in 80% of the total number of pixels, it is determined that the shooting direction of the camera has changed, and the processed image It is also possible to discard the processed image stored in the memory and use the input image as a new processed image as it is.
これによると、背景に動きがある場合はもちろんのこと、カメラを動かしたときもリアルタイムに画像を追従させることが可能であり、かつその入れ替えた画像から再度外乱除去処理が行われるので、外乱の影響を極力受けることなく撮像対象物を撮像することが可能となる。 According to this, it is possible to follow the image in real time even when the camera is moved, as well as when the background is moving, and the disturbance removal process is performed again from the replaced image. It is possible to image the imaging object without being affected as much as possible.
また、本実施の形態においては、画素データが外乱による画素データの疑いが高いか否かを判断したときの追従係数α2は操作部220から適宜設定する旨を説明したが、追従係数α2がどの程度が適当であるかを判断する処理部を加えてもよい。 In the present embodiment, it has been described that the tracking coefficient α2 is appropriately set from the operation unit 220 when it is determined whether or not the pixel data is highly likely to be pixel data due to disturbance. You may add the process part which judges whether a grade is suitable.
以下、第2の実施の形態として、追従係数α2がどの程度が適当であるかを判断する処理部を加えた例を示す。 Hereinafter, as a second embodiment, an example in which a processing unit that determines how appropriate the tracking coefficient α2 is added will be described.
〔第2の実施の形態〕
次に、本発明の第2の実施の形態について説明する。本実施の形態の画像処理装置は、追従係数を更新する追従係数更新処理部を備えることが異なる以外は、第1の実施の形態で示した構成と同様である。このため、上記第1の実施の形態とほぼ同様の構成部分については同一の符号を付すなどして適宜その説明を省略する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. The image processing apparatus of the present embodiment is the same as the configuration shown in the first embodiment, except that it includes a tracking coefficient update processing unit that updates the tracking coefficient. For this reason, about the component similar to the said 1st Embodiment, the same code | symbol is attached | subjected and the description is abbreviate | omitted suitably.
図17は、本実施の形態に係る画像処理装置のブロック図である。
図17に示すように、画像処理装置2100には、カメラ210と、操作部220、および表示部230が取り付けられており、画像処理装置2100は、入力画像メモリ110、外乱判断処理部120、画像処理部130、処理後画像メモリ140、画質基準設定メモリ2150、誤差計測部2160、および追従係数更新処理部2170を備えている。
FIG. 17 is a block diagram of the image processing apparatus according to the present embodiment.
As shown in FIG. 17, a camera 210, an operation unit 220, and a display unit 230 are attached to the image processing device 2100. The image processing device 2100 includes an input image memory 110, a disturbance determination processing unit 120, and an image. A processing unit 130, a post-processing image memory 140, an image quality reference setting memory 2150, an error measurement unit 2160, and a tracking coefficient update processing unit 2170 are provided.
入力画像メモリ110は、カメラ200が撮像した撮像画像が入力されると、その入力画像を蓄積する。 When the captured image captured by the camera 200 is input, the input image memory 110 stores the input image.
外乱判断処理部120は、入力画像メモリ110から入力画像を読み出すとともに処理後画像メモリ140から処理後画像を読み出す。そして、入力画像の比較対象範囲と、処理後画像における比較対象範囲に対応する部分のそれぞれの画素データの値を比較する。その比較した値が一定以上の乖離があったときはその画素データは外乱を写したことによる画素データであると判断する。この外乱判断を、画像を構成する全画素データについて行う。 The disturbance determination processing unit 120 reads the input image from the input image memory 110 and reads the processed image from the processed image memory 140. Then, the comparison target range of the input image is compared with the value of each pixel data of the portion corresponding to the comparison target range in the processed image. When the compared value has a certain deviation or more, it is determined that the pixel data is pixel data obtained by copying a disturbance. This disturbance determination is performed for all pixel data constituting the image.
画像処理部130は、外乱判断処理部120が判断に応じて、追従係数更新処理部2170から追従係数を読み出して、その追従係数に合わせた重み付けを、入力画像の比較対象範囲の画素データ、および処理後画像の比較対象範囲の画素データに対して行い、その重み付けをした画素データを加算する画像処理を行い、この画像処理を、画像を構成する全画素データについて行う。つまり、全画素データについて画像処理が行われたものを合算(絵作り)することにより新たな処理後画像とすることができる。この新たな処理後画像を処理後画像メモリ140に格納する。 The image processing unit 130 reads out the tracking coefficient from the tracking coefficient update processing unit 2170 according to the determination by the disturbance determination processing unit 120, and assigns weighting according to the tracking coefficient to the pixel data in the comparison target range of the input image, and The image processing is performed on the pixel data in the comparison target range of the processed image, and the weighted pixel data is added. This image processing is performed on all the pixel data constituting the image. That is, a new post-processed image can be obtained by adding (picture making) the images that have been subjected to image processing for all pixel data. The new processed image is stored in the processed image memory 140.
表示部230は、処理後画像メモリ140に格納されている処理後画像を読み出して表示する。これにより処理された、つまり外乱が除去された撮像対象物を写した画像を見ることができる。 The display unit 230 reads and displays the processed image stored in the processed image memory 140. As a result, it is possible to see an image of the imaging target that has been processed, that is, the disturbance has been removed.
誤差計測部2160は、画像処理部130が処理した処理後画像と、処理後画像メモリ140に格納されている、画像処理部130が処理した処理後画像の1フレーム前の処理後画像とを読み出して誤差計測を行う。 The error measurement unit 2160 reads the processed image processed by the image processing unit 130 and the processed image one frame before the processed image processed by the image processing unit 130 and stored in the processed image memory 140. Error measurement.
具体的には、各画像のあらかじめ設定された所定範囲の画素データの値の差分が一定のしきい値を超えているか否かによって判断する。この所定範囲は、撮像画像の中でも背景の動きが少ない部分が採用される。つまり、その範囲で輝度の変化が激しいときは外乱が多いことを意味する。 Specifically, the determination is made based on whether or not the difference between the pixel data values in a predetermined range of each image exceeds a certain threshold value. As this predetermined range, a portion with a small background motion is adopted in the captured image. In other words, when the change in luminance is large within that range, it means that there are many disturbances.
誤差計測部2160が、所定範囲の中で画素データの値の差分が一定のしきい値を超えている画素数を計数し、その画素数を追従係数更新処理部2170に出力する。所定範囲の中で画素データの値の差分の判断しきい値は、操作部220から適宜設定され、画質基準設定メモリ2150に格納されている。 The error measurement unit 2160 counts the number of pixels in which the difference between the pixel data values exceeds a certain threshold within a predetermined range, and outputs the number of pixels to the tracking coefficient update processing unit 2170. The threshold value for determining the difference between the pixel data values within a predetermined range is appropriately set from the operation unit 220 and stored in the image quality reference setting memory 2150.
追従係数更新処理部2170は、操作部220から適宜設定され、画質基準設定メモリ2150に格納されている誤差の割合の基準値を超えているときは、外乱が多いと判断して追従係数を一段階引き下げ、誤差の割合の基準値を超えていないときは外乱が少ないと判断して追従係数を一段階引き上げる。これにより、外乱が多いときには外乱の影響を受けないように画像処理を行うことが可能となり、外乱が少ないときには外乱の影響を受けないように画像処理を行うことができると同時により早い絵作りが可能となる。 The tracking coefficient update processing unit 2170 determines that there is a lot of disturbances and sets the tracking coefficient when it exceeds the reference value of the error ratio that is set as appropriate from the operation unit 220 and stored in the image quality standard setting memory 2150. Decrease the level, and if the reference value of the error rate is not exceeded, determine that the disturbance is small and increase the tracking coefficient by one level. This makes it possible to perform image processing so as not to be affected by disturbances when there are many disturbances, and to perform image processing so as not to be affected by disturbances when there are few disturbances. It becomes possible.
図18は、誤差計測部の誤差計測処理にかかるブロック図である。
図18に示すように、誤差計測部2160は、フレームメモリ2161、フレーム間差分算出部2162、大小比較部2163、計数部2164、領域判定部2165,2166、および加算器2167を備えている。
FIG. 18 is a block diagram relating to error measurement processing of the error measurement unit.
As shown in FIG. 18, the error measurement unit 2160 includes a frame memory 2161, an interframe difference calculation unit 2162, a magnitude comparison unit 2163, a counting unit 2164, region determination units 2165 and 2166, and an adder 2167.
フレームメモリ2161は、画像処理部130から出力される処理後画像を1フレーム分格納する。 The frame memory 2161 stores the processed image output from the image processing unit 130 for one frame.
フレーム間差分算出部2162は、画像処理部130から出力される処理後画像と、その1フレーム前の処理後画像であって、フレームメモリ2161に格納されている画像とのフレーム間差分を算出する。 The inter-frame difference calculation unit 2162 calculates the inter-frame difference between the post-processing image output from the image processing unit 130 and the post-processing image one frame before and stored in the frame memory 2161. .
大小比較部2163は、領域判定部2165,2166からの出力信号を加算器2167に出力され、ループ変数X,Yともに領域内と判定されたときにその(X,Y)画素の差分値と許容値の大小比較を行う。差分値が許容値を超えているときはその旨を計数部2164に出力し、計数部2164は、差分値が許容値を超えている画素数を計数し、判定領域内における、差分値が許容値を超えている画素数を追従係数更新処理部2170に出力する。 The magnitude comparison unit 2163 outputs the output signals from the region determination units 2165 and 2166 to the adder 2167, and when it is determined that both the loop variables X and Y are within the region, the difference value of the (X, Y) pixel and the allowable value Compare the values. When the difference value exceeds the allowable value, the fact is output to the counting unit 2164, and the counting unit 2164 counts the number of pixels whose difference value exceeds the allowable value, and the difference value within the determination area is allowable. The number of pixels exceeding the value is output to the tracking coefficient update processing unit 2170.
図19,20,21は、画像処理装置による誤差計測および追従計数更新処理を含めた画像処理の手順を示すフローチャートである。以下、図19,20,21に示す処理をステップ番号に沿って説明する。 19, 20, and 21 are flowcharts illustrating image processing procedures including error measurement and tracking count update processing by the image processing apparatus. In the following, the processes shown in FIGS. 19, 20, and 21 will be described in order of step number.
〔ステップS51〕画像処理装置100は、電源が投入されると、処理後画像メモリ140内の処理後画像を初期化する。具体的には、外乱が雪であるときは処理後画像メモリ140に白の画像を格納する。また、追従係数α1を1.0に設定し、追従係数α2を0.5に設定する。 [Step S51] When the power is turned on, the image processing apparatus 100 initializes the processed image in the processed image memory 140. Specifically, when the disturbance is snow, a white image is stored in the post-processing image memory 140. Further, the tracking coefficient α1 is set to 1.0, and the tracking coefficient α2 is set to 0.5.
〔ステップS52〕外乱判断処理部120は、カメラ210から入力され、入力画像メモリ110に格納されている入力画像を読み出す。 [Step S52] The disturbance determination processing unit 120 reads an input image input from the camera 210 and stored in the input image memory 110.
〔ステップS53〕外乱判断処理部120および画像処理部130は、外乱判断処理および画像処理を行う。この外乱判断処理および画像処理は、第1の実施の形態の図9,10で説明したものと同じ処理を行う。 [Step S53] The disturbance determination processing unit 120 and the image processing unit 130 perform disturbance determination processing and image processing. The disturbance determination process and the image process are the same as those described with reference to FIGS. 9 and 10 of the first embodiment.
〔ステップS54〕誤差計測部2160は、誤差計測を行う処理後画像中の範囲である誤差計測範囲の終点座標(X_END,Y_END)を設定し、カウンタ(計数部2164)をリセットする。 [Step S54] The error measurement unit 2160 sets end point coordinates (X_END, Y_END) of the error measurement range, which is a range in the post-processing image for performing error measurement, and resets the counter (counting unit 2164).
〔ステップS55〕画像の高さ方向のループ変数Yを初期化する。具体的には、誤差計測範囲の始点座標(X始点,Y始点)の高さ座標である「Y始点」をループ変数Yに設定する。 [Step S55] A loop variable Y in the height direction of the image is initialized. Specifically, “Y start point” which is the height coordinate of the start point coordinates (X start point, Y start point) of the error measurement range is set in the loop variable Y.
〔ステップS56〕画像の幅方向のループ変数Xを初期化する。具体的には、誤差計測範囲の始点座標(X始点,Y始点)の幅座標である「X始点」をループ変数Xに設定する。 [Step S56] The loop variable X in the width direction of the image is initialized. Specifically, “X start point” which is the width coordinate of the start point coordinates (X start point, Y start point) of the error measurement range is set in the loop variable X.
〔ステップS57〕Y_ENDがループ変数Yより大きいか否かを判断する。Y_ENDがループ変数Yより大きいときは処理をステップS58へ進め、Y_ENDがループ変数Y以下のときは処理をステップS66へ進める。 [Step S57] It is determined whether Y_END is larger than the loop variable Y. If Y_END is larger than loop variable Y, the process proceeds to step S58. If Y_END is equal to or smaller than loop variable Y, the process proceeds to step S66.
〔ステップS58〕X_ENDがループ変数Xより大きいか否かを判断する。X_ENDがループ変数Xより大きいときは処理をステップS59へ進め、X_ENDがループ変数X以下のときは処理をステップS64へ進める。 [Step S58] It is determined whether X_END is greater than the loop variable X. If X_END is greater than loop variable X, the process proceeds to step S59. If X_END is equal to or less than loop variable X, the process proceeds to step S64.
〔ステップS59〕処理後画像と、フレームメモリ2161に格納されている1フレーム前の処理後画像とにおける(X,Y)画素の輝度の差分の絶対値を算出し、その差分絶対値があらかじめ設定された許容値より大きいか否かを判断する。差分絶対値が許容値より大きいときは処理をステップS60へ進め、差分絶対値が許容値以下のときは処理をステップS61へ進める。 [Step S59] The absolute value of the difference in luminance of (X, Y) pixels between the processed image and the processed image one frame before stored in the frame memory 2161 is calculated, and the difference absolute value is set in advance. It is determined whether or not it is larger than the allowable value. If the absolute difference value is greater than the allowable value, the process proceeds to step S60. If the absolute difference value is equal to or smaller than the allowable value, the process proceeds to step S61.
〔ステップS60〕カウンタを1加算する。 [Step S60] The counter is incremented by one.
〔ステップS61〕差分絶対値が許容値より大きいか否か判断した処理後画像の画素データをフレームメモリ2161に格納する。 [Step S61] The pixel data of the processed image for which it is determined whether or not the absolute difference value is greater than the allowable value is stored in the frame memory 2161.
〔ステップS62〕ループ変数Xを1加算する。 [Step S62] The loop variable X is incremented by one.
〔ステップS63〕処理をステップS58へ戻す。 [Step S63] The process returns to step S58.
〔ステップS64〕ループ変数Yを1加算する。 [Step S64] The loop variable Y is incremented by one.
〔ステップS65〕処理をステップS56へ戻す。 [Step S65] The process returns to step S56.
〔ステップS66〕あらかじめ設定された誤差割合の基準値が、計数部2164のカウンタの値より大きいか否かを判断する。基準値がカウンタ値より大きい場合は処理をステップS67へ進め、基準値がカウンタ値以下のときは処理をステップS68へ進める。 [Step S66] It is determined whether or not the preset reference value of the error ratio is larger than the counter value of the counter 2164. If the reference value is greater than the counter value, the process proceeds to step S67. If the reference value is equal to or less than the counter value, the process proceeds to step S68.
〔ステップS67〕追従係数更新処理部2170は、追従係数α2を一段階引き上げる。 [Step S67] The follow-up coefficient update processing unit 2170 raises the follow-up coefficient α2 by one step.
〔ステップS68〕追従係数更新処理部2170は、追従係数α2を一段階引き下げる。 [Step S68] The follow-up coefficient update processing unit 2170 lowers the follow-up coefficient α2 by one step.
〔ステップS69〕処理をステップS52へ戻す。 [Step S69] The process returns to step S52.
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、画像処理装置が有すべき機能の処理内容を記述した画像処理プログラムが提供される。その画像処理プログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述した画像処理プログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、HDD、FD、磁気テープなどがある。光ディスクには、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録装置には、MO(Magneto
Optical disk)などがある。
The above processing functions can be realized by a computer. In that case, an image processing program describing the processing contents of the functions that the image processing apparatus should have is provided. By executing the image processing program on a computer, the above processing functions are realized on the computer. The image processing program describing the processing contents can be recorded on a computer-readable recording medium. Examples of the computer-readable recording medium include a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory. Magnetic recording devices include HDDs, FDs, magnetic tapes, and the like. Optical discs include DVD (Digital Versatile Disc), DVD-RAM, CD-ROM, CD-R (Recordable) / RW (ReWritable), and the like. Magneto-optical recording devices include MO (Magneto
Optical disk).
画像処理プログラムを流通させる場合には、たとえば、その画像処理プログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにその画像処理プログラムを転送することもできる。 When distributing the image processing program, for example, portable recording media such as a DVD and a CD-ROM in which the image processing program is recorded are sold. It is also possible to store the program in a storage device of a server computer and transfer the image processing program from the server computer to another computer via a network.
画像処理プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録された画像処理プログラムもしくはサーバコンピュータから転送された画像処理プログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置から画像処理プログラムを読み取り、画像処理プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接画像処理プログラムを読み取り、その画像処理プログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータから画像処理プログラムが転送される毎に、逐次、受け取った画像処理プログラムに従った処理を実行することもできる。 The computer that executes the image processing program stores, for example, the image processing program recorded on the portable recording medium or the image processing program transferred from the server computer in its own storage device. Then, the computer reads the image processing program from its own storage device and executes processing according to the image processing program. The computer can also read the image processing program directly from the portable recording medium and execute processing according to the image processing program. The computer can also sequentially execute processing according to the received image processing program every time the image processing program is transferred from the server computer.
なお、本発明は、上述の実施の形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加えることができる。 The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。 The above merely illustrates the principle of the present invention. In addition, many modifications and changes can be made by those skilled in the art, and the present invention is not limited to the precise configuration and application shown and described above, and all corresponding modifications and equivalents may be And the equivalents thereof are considered to be within the scope of the invention.
100 画像処理装置
110 入力画像メモリ
120 外乱判断処理部
130 画像処理部
140 処理後画像メモリ
150 追従係数メモリ
210 カメラ
220 操作部
230 表示部
DESCRIPTION OF SYMBOLS 100 Image processing apparatus 110 Input image memory 120 Disturbance judgment processing part 130 Image processing part 140 Post-processing image memory 150 Tracking coefficient memory 210 Camera 220 Operation part 230 Display part
Claims (16)
前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段と、
前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段と、
を備えることを特徴とする画像処理装置。 In an image processing apparatus that generates a processed image after image processing by processing pixel data constituting a captured image captured by an imaging unit,
Compare the pixel data value of the comparison target range in the processed image with the pixel data value of the comparison target range in the input image input from the imaging means, Disturbance determination means for determining whether or not there is a high possibility of pixel data;
By weighting and adding the pixel data value of the comparison target range in the input image and the pixel data value of the comparison target range in the processed image based on the determination content of the disturbance determination process Image processing means for performing processing for generating a new post-processing image;
An image processing apparatus comprising:
前記外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値が、外乱を写したことによる画素データである可能性が高いと判断したときは低い数値の追従係数を用いて重み付けを行い、
前記処理後画像における比較対象範囲の画素データの値が、外乱を写したことによる画素データである可能性が低いと判断したときは高い数値の追従係数を用いて重み付けを行うことを特徴とする請求項1記載の画像処理装置。 The image processing means includes
When the disturbance determination means determines that the pixel data value in the comparison target range in the processed image is likely to be pixel data resulting from copying a disturbance, weighting is performed using a low numerical tracking coefficient. Done
When it is determined that there is a low possibility that the pixel data value in the comparison target range in the processed image is pixel data resulting from copying a disturbance, weighting is performed using a high numerical tracking coefficient. The image processing apparatus according to claim 1.
前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、しきい値以上の値の乖離があったときは、前記入力画像における比較対象範囲の画素データが、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いと判断することを特徴とする請求項1記載の画像処理装置。 The disturbance determination means is
When the pixel data value in the comparison target range in the processed image is compared with the pixel data value in the comparison target range in the input image input from the imaging unit, there is a discrepancy greater than the threshold value. 2. The image processing apparatus according to claim 1, wherein it is determined that the pixel data in the comparison target range in the input image is likely to be pixel data as a result of imaging a disturbance rather than an imaging target. .
前記外乱の輝度以下の設定値以上の輝度の画素データが入力されたときは低い追従係数を用いて重み付けを行うことを特徴とする請求項8記載の画像処理装置。 When the brightness of the object being captured is higher than the brightness of the disturbance,
9. The image processing apparatus according to claim 8, wherein weighting is performed using a low tracking coefficient when pixel data having a luminance equal to or higher than a setting value less than the luminance of the disturbance is input.
前記撮像画像を構成する画素データを処理することによる画像処理後の処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段と、
前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段と、
を備える画像処理装置を備えることを特徴とする撮像システム。 In an imaging system that transmits using a transmission device that transmits a captured image captured by the imaging unit, and displays the captured image at a location separated from an installation point of the imaging unit,
The value of the pixel data in the comparison target range in the processed image after the image processing by processing the pixel data constituting the captured image, and the value of the pixel data in the comparison target range in the input image input from the imaging means A disturbance determination means for determining whether or not there is a high possibility that the pixel data is a result of imaging a disturbance rather than an imaging object;
By weighting and adding the pixel data value of the comparison target range in the input image and the pixel data value of the comparison target range in the processed image based on the determination content of the disturbance determination process Image processing means for performing processing for generating a new post-processing image;
An imaging system comprising: an image processing apparatus comprising:
外乱判断手段が、前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断するステップと、
画像処理手段が、前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行うステップと、
を有することを特徴とする画像処理方法。 In an image processing method for generating a processed image after image processing by processing pixel data constituting a captured image captured by an imaging unit,
The disturbance determination unit compares the pixel data value in the comparison target range in the processed image with the pixel data value in the comparison target range in the input image input from the imaging unit, and the disturbance is not an imaging target object. Determining whether there is a high possibility that the pixel data is a result of imaging
Image processing means weights the pixel data value of the comparison target range in the input image and the pixel data value of the comparison target range in the processed image based on the determination content of the disturbance determination process. Performing a process of generating a new post-processing image by adding
An image processing method comprising:
コンピュータを、
前記処理後画像における比較対象範囲の画素データの値と、前記撮像手段から入力される入力画像における比較対象範囲の画素データの値とを比較して、撮像対象物ではなく外乱を撮像した結果の画素データである可能性が高いか否かを判断する外乱判断手段、
前記入力画像における比較対象範囲の画素データの値と、前記処理後画像における比較対象範囲の画素データの値とに対して、前記外乱判断処理の判断内容に基づいて重み付けをして加算することにより新たな処理後画像を生成する処理を行う画像処理手段、
として機能させることを特徴とする画像処理プログラム。 In an image processing program for generating a processed image after image processing by processing pixel data constituting a captured image captured by an imaging unit,
Computer
Compare the pixel data value of the comparison target range in the processed image with the pixel data value of the comparison target range in the input image input from the imaging means, Disturbance judgment means for judging whether or not there is a high possibility of pixel data,
By weighting and adding the pixel data value of the comparison target range in the input image and the pixel data value of the comparison target range in the processed image based on the determination content of the disturbance determination process Image processing means for performing processing for generating a new post-processing image;
An image processing program that functions as an image processing program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010002727A JP5150862B2 (en) | 2010-01-08 | 2010-01-08 | Image processing apparatus, method, program, and imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010002727A JP5150862B2 (en) | 2010-01-08 | 2010-01-08 | Image processing apparatus, method, program, and imaging system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011142548A true JP2011142548A (en) | 2011-07-21 |
JP5150862B2 JP5150862B2 (en) | 2013-02-27 |
Family
ID=44458086
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010002727A Active JP5150862B2 (en) | 2010-01-08 | 2010-01-08 | Image processing apparatus, method, program, and imaging system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5150862B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019059209A1 (en) * | 2017-09-25 | 2019-03-28 | パナソニックIpマネジメント株式会社 | Heat-cooking device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07210677A (en) * | 1994-01-20 | 1995-08-11 | Jasco Corp | Correcting device for picture processor |
JP2001126061A (en) * | 1999-10-28 | 2001-05-11 | Sony Corp | Image processor, image processing method, data processor and data processing method |
-
2010
- 2010-01-08 JP JP2010002727A patent/JP5150862B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07210677A (en) * | 1994-01-20 | 1995-08-11 | Jasco Corp | Correcting device for picture processor |
JP2001126061A (en) * | 1999-10-28 | 2001-05-11 | Sony Corp | Image processor, image processing method, data processor and data processing method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019059209A1 (en) * | 2017-09-25 | 2019-03-28 | パナソニックIpマネジメント株式会社 | Heat-cooking device |
JPWO2019059209A1 (en) * | 2017-09-25 | 2020-09-03 | パナソニックIpマネジメント株式会社 | Cooker |
JP7065305B2 (en) | 2017-09-25 | 2022-05-12 | パナソニックIpマネジメント株式会社 | Cooker |
Also Published As
Publication number | Publication date |
---|---|
JP5150862B2 (en) | 2013-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4496106B2 (en) | Image processing apparatus and image processing method | |
US5642294A (en) | Method and apparatus for video cut detection | |
KR101926490B1 (en) | Apparatus and method for processing image | |
US10672134B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program | |
CN102629976B (en) | Image processing apparatus, and control method thereof | |
US8036470B2 (en) | Image processing apparatus, image processing method, and program | |
KR20150108774A (en) | Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable medium | |
JP2006304266A (en) | Frame rate conversion apparatus, pan/tilt judging apparatus, and video image apparatus | |
JP5781372B2 (en) | Image processing apparatus and imaging apparatus | |
KR20060008268A (en) | Smoke detecting method and system using ccd image | |
TWI408623B (en) | Monitoring system and related recording methods for recording motioned image, and machine readable medium thereof | |
JP2008259161A (en) | Target tracing device | |
JP2011250013A (en) | Image quality evaluation method, image quality evaluation apparatus, and program | |
JP5486273B2 (en) | Image processing apparatus and image processing method | |
KR101249737B1 (en) | Apparatus for tracking an object using a moving camera and method thereof | |
JP2957800B2 (en) | Automatic focusing device | |
JP5150862B2 (en) | Image processing apparatus, method, program, and imaging system | |
JP3404803B2 (en) | Moving image recording medium, still image extracting device, moving image recording device, and still image automatic extracting method | |
JP2010226646A (en) | Video processing apparatus | |
US20200090342A1 (en) | Image processing apparatus, method of controlling image processing apparatus, and storage medium | |
JP2010109461A (en) | Device and method for detecting motion vector, image capturing apparatus, and program | |
JP2009017214A (en) | Flicker detection device, and flicker detection method | |
JP6467865B2 (en) | Image processing apparatus, camera system, image processing method, and program | |
JP5091880B2 (en) | Moving image noise removing apparatus and moving image noise removing program | |
KR20100118811A (en) | Shot change detection method, shot change detection reliability calculation method, and software for management of surveillance camera system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110706 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120709 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121030 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5150862 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |