JP2013258445A - Image processing apparatus, image processing method and program - Google Patents
Image processing apparatus, image processing method and program Download PDFInfo
- Publication number
- JP2013258445A JP2013258445A JP2012131503A JP2012131503A JP2013258445A JP 2013258445 A JP2013258445 A JP 2013258445A JP 2012131503 A JP2012131503 A JP 2012131503A JP 2012131503 A JP2012131503 A JP 2012131503A JP 2013258445 A JP2013258445 A JP 2013258445A
- Authority
- JP
- Japan
- Prior art keywords
- cyclic coefficient
- frame image
- image
- pixel
- temporary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 151
- 238000000034 method Methods 0.000 claims description 18
- 206010047571 Visual impairment Diseases 0.000 abstract description 13
- 238000013329 compounding Methods 0.000 abstract 2
- 238000011156 evaluation Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 206010017367 Frequent bowel movements Diseases 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関するものである。 The present invention relates to an image processing apparatus, an image processing method, and a program.
従来、画像データに対するノイズ除去技術として、所謂巡回型ノイズ低減方法が知られている。これは、例えば、処理済みの前フレーム画像と現フレーム画像との間で動き検出を行い、検出結果に基づいてこれらの画像の合成比率を示す巡回係数を算出し、算出した巡回係数を用いて合成することによりノイズを低減するものである。このような巡回型ノイズ低減を行う画像処置装置の例として、特許文献1には、動き検出の結果と、記憶されている前回巡回係数とを用いて今回巡回係数を決定するものが開示されている。
Conventionally, a so-called cyclic noise reduction method is known as a noise removal technique for image data. For example, motion detection is performed between the processed previous frame image and the current frame image, a cyclic coefficient indicating a combination ratio of these images is calculated based on the detection result, and the calculated cyclic coefficient is used. By combining, noise is reduced. As an example of an image processing apparatus that performs such cyclic noise reduction,
ところで、一般に、巡回型ノイズ低減処理においては、動いている被写体の残像が発生しないように、動き検出結果や、フレーム間差分値等の動き補償の信頼度に基づいて巡回係数を決定する。
しかしながら、実際にはノイズ等の影響により、被写体の動きのみを評価することが困難である。例えば、動き補償は正しいがノイズが多い領域(以下、「領域1」という)と、動き補償は正しくないが似た画素値の被写体が動いた領域(以下、「領域2」という)とでは画像間の差分値等の評価値が同等の値となる。従って、これらの領域に対して、同じ巡回係数を適用してノイズ低減処理を行うと、例えば、領域1では、ノイズは低減さえるが、領域2では残像が発生してしまうという不具合がある。また、残像が発生しないようにノイズ低減処理の強度を弱く、すなわち、巡回係数を小さくすると領域1ではノイズが十分に低減されなくなってしまうという不具合がある。
By the way, in general, in the cyclic noise reduction process, the cyclic coefficient is determined based on the motion compensation reliability such as the motion detection result and the inter-frame difference value so that the afterimage of the moving subject does not occur.
However, in practice, it is difficult to evaluate only the movement of the subject due to the influence of noise or the like. For example, there is an image between a region where motion compensation is correct but noisy (hereinafter referred to as “
本発明は、上記問題に鑑みてなされたものであって、被写体の動きに基づく残像を抑制しながら、十分なノイズ低減処理を行うことができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above problem, and provides an image processing apparatus, an image processing method, and a program capable of performing sufficient noise reduction processing while suppressing an afterimage based on the motion of a subject. With the goal.
上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、フレーム画像を連続的に取得する画像取得部と、該画像取得部により取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成する処理部と、該処理部により生成された出力フレーム画像を蓄積する画像蓄積部と、を備え、前記処理部が、前記画像取得部により取得されたフレーム画像を基準フレーム画像とし、前記画像蓄積部に蓄積され直前に出力された出力フレーム画像を参照フレーム画像として、前記基準フレーム画像の対象画素と、前記参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出する信頼度算出手段と、前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる仮巡回係数を画素毎に算出する仮巡回係数算出手段と、前記仮巡回係数に基づいて、該仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより各画素位置の巡回係数を決定する巡回係数決定手段と、該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成する画像合成手段と、を備える画像処理装置を提供する。
In order to achieve the above object, the present invention provides the following means.
The present invention provides an image acquisition unit that continuously acquires frame images, a processing unit that generates an output frame image by performing predetermined processing on the frame image acquired by the image acquisition unit, and the processing unit. An image storage unit that stores the generated output frame image, and the processing unit sets the frame image acquired by the image acquisition unit as a reference frame image, and is stored in the image storage unit and output immediately before A reliability calculation means for calculating a reliability indicating correlation between a target pixel of the base frame image and a corresponding pixel at a pixel position corresponding to the target pixel in the reference frame image, using the output frame image as a reference frame image; Based on the reliability, a temporary cycle for calculating, for each pixel, a temporary cyclic coefficient that is a candidate value of a cyclic coefficient when the target pixel and the corresponding pixel are combined. Coefficient calculation means and cyclic coefficient determination means for determining a cyclic coefficient at each pixel position by performing expansion processing on an area composed of pixels having the temporary cyclic coefficient lower than a predetermined value based on the temporary cyclic coefficient And an image synthesizing unit that synthesizes the predetermined pixel and the corresponding pixel based on the cyclic coefficient determined by the cyclic coefficient determining unit.
本発明によれば、基準フレーム画像の対象画素と該対象画素に対応する参照フレーム画像の画素位置の対応画素との相関性を示す信頼度を算出し、この信頼度に基づいて仮巡回係数を画素毎に算出すると共に、仮巡回係数に基づいて、該仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより、適切な値を各画素位置の最終的な巡回係数として決定するので、各画素位置に対して適切な巡回係数を定めることができる。従って、残像を抑制しながら、巡回係数の小さい領域が過度に大きくなることを防止するので、十分にノイズを低減した画像を取得することができる。また、膨張処理を行うことにより、往復移動する被写体の場合には、とりわけ高い残像低減効果を得ることができる。 According to the present invention, the reliability indicating the correlation between the target pixel of the base frame image and the corresponding pixel at the pixel position of the reference frame image corresponding to the target pixel is calculated, and the provisional cyclic coefficient is calculated based on the reliability. In addition to calculating for each pixel and performing an expansion process on an area composed of pixels having a provisional cyclic coefficient lower than a predetermined value based on the provisional cyclic coefficient, an appropriate value is finally obtained at each pixel position. Since the cyclic coefficient is determined, an appropriate cyclic coefficient can be determined for each pixel position. Accordingly, since an area having a small cyclic coefficient is prevented from becoming excessively large while suppressing afterimages, an image with sufficiently reduced noise can be acquired. Further, by performing the expansion process, a particularly high afterimage reduction effect can be obtained in the case of a subject that reciprocates.
上記発明において、巡回係数決定手段が、各画素位置について、該各画素位置を含む所定領域の仮巡回係数のうち最も低い値を示すものを前記各画素位置の巡回係数として決定することが好ましい。
例えば、動体と背景の画素値が近い場合には、仮巡回係数の値が高くなり、見掛け上信頼度が高い領域においても実際には基準フレーム画像と参照フレーム画像との相関性が低い場合がある。このような場合には、合成した画像に残像が発生する虞があるが、膨張処理、すなわち、各画素位置について、該画素位置を含む所定領域の仮巡回係数のうち最も低い値を示すものを各画素位置の巡回係数として決定することで、最も低い値を示す仮巡回係数を巡回係数として設定する領域(即ち動体及びその周囲の領域)が広がるので、動体と背景の画素値が近い場合においても残像の発生を抑制することができる。
In the above invention, it is preferable that the cyclic coefficient determining means determines, as the cyclic coefficient for each pixel position, a value indicating the lowest value among the temporary cyclic coefficients of a predetermined region including the pixel position for each pixel position.
For example, when the pixel values of the moving object and the background are close, the value of the provisional cyclic coefficient is high, and the correlation between the reference frame image and the reference frame image may actually be low even in an area where the apparent reliability is high. is there. In such a case, there is a possibility that an afterimage may occur in the synthesized image, but expansion processing, that is, for each pixel position, the one showing the lowest value among the provisional cyclic coefficients of the predetermined area including the pixel position. By determining the cyclic coefficient for each pixel position, the area where the provisional cyclic coefficient indicating the lowest value is set as the cyclic coefficient (that is, the moving object and the surrounding area) is widened. Also, the occurrence of afterimages can be suppressed.
上記発明において、前記巡回係数算出手段が、前記仮巡回係数の分布を示す仮巡回係数画像を生成し、該仮巡回係数画像を縮小し、縮小した仮巡回係数画像に膨張処理を行い、膨張処理を行った仮巡回係数画像を拡大し、拡大した仮巡回係数画像に基づいて巡回係数を決定することが好ましい。
このようにすることで、膨張処理の演算量を削減することができる。
In the above invention, the cyclic coefficient calculation means generates a temporary cyclic coefficient image indicating the distribution of the temporary cyclic coefficients, reduces the temporary cyclic coefficient image, performs expansion processing on the reduced temporary cyclic coefficient image, and performs expansion processing. It is preferable to enlarge the provisional cyclic coefficient image that has been subjected to and determine the cyclic coefficient based on the enlarged provisional cyclic coefficient image.
By doing in this way, the amount of calculation of expansion processing can be reduced.
また、本発明は、フレーム画像を連続的に取得するステップと、前記フレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、生成された前記出力フレーム画像を蓄積するステップと、を備え、前記出力フレーム画像を生成するステップが、前記取得されたフレーム画像を基準フレーム画像とし、直前に出力された出力フレーム画像を参照フレーム画像として、前記基準フレーム画像の対象画素と、前記参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出するステップと、前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる仮巡回係数を画素毎に算出するステップと、前記仮巡回係数に基づいて、該仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより各画素位置の巡回係数を決定するステップと、該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成するステップと、をコンピュータに実行させる画像処理プログラムを提供する。 The present invention also includes a step of continuously acquiring frame images, a step of generating an output frame image by performing predetermined processing on the frame image, and a step of accumulating the generated output frame image And the step of generating the output frame image includes the acquired frame image as a reference frame image, the output frame image output immediately before as a reference frame image, and target pixels of the reference frame image; Calculating the reliability indicating the correlation between the target pixel and the corresponding pixel at the pixel position corresponding to the target pixel in the reference frame image, and combining the target pixel and the corresponding pixel based on the reliability Calculating a provisional cyclic coefficient that is a candidate value for the cyclic coefficient for each pixel, and based on the provisional cyclic coefficient, the provisional cyclic coefficient A step of determining a cyclic coefficient at each pixel position by performing expansion processing on an area composed of pixels lower than a predetermined value, and the predetermined pixel based on the cyclic coefficient determined by the cyclic coefficient determination means And an image processing program for causing a computer to synthesize the corresponding pixel and the corresponding pixel.
また、本発明は、フレーム画像を連続的に取得するステップと、前記フレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、生成された前記出力フレーム画像を蓄積するステップと、を備え、前記出力フレーム画像を生成するステップが、前記取得されたフレーム画像を基準フレーム画像とし、直前に出力された出力フレーム画像を参照フレーム画像として、前記基準フレーム画像の対象画素と、前記参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出するステップと、前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる仮巡回係数を画素毎に算出するステップと、前記仮巡回係数に基づいて、該仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより各画素位置の巡回係数を決定するステップと、該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成するステップと、を備える画像処理方法を提供する。 The present invention also includes a step of continuously acquiring frame images, a step of generating an output frame image by performing predetermined processing on the frame image, and a step of accumulating the generated output frame image And the step of generating the output frame image includes the acquired frame image as a reference frame image, the output frame image output immediately before as a reference frame image, and target pixels of the reference frame image; Calculating the reliability indicating the correlation between the target pixel and the corresponding pixel at the pixel position corresponding to the target pixel in the reference frame image, and combining the target pixel and the corresponding pixel based on the reliability Calculating a provisional cyclic coefficient that is a candidate value for the cyclic coefficient for each pixel, and based on the provisional cyclic coefficient, the provisional cyclic coefficient A step of determining a cyclic coefficient at each pixel position by performing expansion processing on an area composed of pixels lower than a predetermined value, and the predetermined pixel based on the cyclic coefficient determined by the cyclic coefficient determination means And a step of combining the corresponding pixels.
本発明によれば、被写体の動きに基づく残像を抑制しながら、十分なノイズ低減処理を行うことができるという効果を奏する。 According to the present invention, it is possible to perform sufficient noise reduction processing while suppressing afterimages based on the movement of the subject.
以下に、本発明の一実施形態に係る画像処理装置について図面を参照して説明する。 An image processing apparatus according to an embodiment of the present invention will be described below with reference to the drawings.
図1は、画像処理装置の概略構成を示している。画像処理装置は、図2に示すように、入力されたフレーム画像と先に出力されたフレーム画像とを適宜合成してフレーム画像を生成し、生成されたフレーム画像を順次出力し、これを巡回、すなわち繰り返すことにより動画像を出力するものである。 FIG. 1 shows a schematic configuration of the image processing apparatus. As shown in FIG. 2, the image processing apparatus appropriately combines the input frame image and the previously output frame image to generate a frame image, sequentially outputs the generated frame image, and cyclically outputs the frame image. That is, a moving image is output by repeating.
このため、画像処理装置は、図1に示すように、画像取得部2、該画像取得部により取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成する処理部3、該処理部により生成された出力フレーム画像、すなわち、処理済みの画像データ(以下、「前フレーム画像(参照フレーム画像)」という)を蓄積する画像蓄積部4を備えている。
また、処理部3は、取得したフレーム画像に対して所定の処理を施すために、動き補償部12、信頼度算出部13、仮巡回係数算出部14、巡回係数決定部15、空間フィルタ部16及び画像合成部17を備えている。
画像取得部2は、図示しない撮像装置により撮像されたフレーム画像(以下、「現フレーム画像(基準フレーム画像)」という)を連続的に取得し、取得した現フレーム画像を動き補償部12及び空間フィルタ部16に出力する。
Therefore, as shown in FIG. 1, the image processing apparatus includes an
Further, the processing unit 3 performs a predetermined process on the acquired frame image, and includes a
The
動き補償部12は、画像取得部2で取得された現フレーム画像とメモリ18に保存された前フレーム画像との間の動きベクトルを算出する動きベクトル算出部11を備えている。そして、動き補償部12は、動きベクトル算出部11により算出した動きベクトルに基づいて、前フレーム画像と現フレーム画像との位置合わせを行う。すなわち、動きベクトル算出部11により算出された動きベクトルを相殺するように、前フレーム画像の切り出し位置を決定し、現フレーム画像の任意の小領域と決定した切り出し位置から前フレーム画像の小領域とを切り出すことにより前フレーム画像と現フレーム画像との位置合わせを行い、前フレーム画像の小領域の中心画素を画像合成部17に出力する。
ここで、動き補償は、現フレーム画像と前フレーム画像との間で小領域毎にブロックマッチング法等で算出した動きベクトルに基づいて、小領域毎に動き補償を行ってもよく、また、小領域毎の動きベクトルの統計に基づいて最も頻度の高い動きベクトルを画像全体のグローバルな動きべクトルとして動き補償を行ってもよい。
The
Here, the motion compensation may be performed for each small area based on the motion vector calculated by the block matching method or the like for each small area between the current frame image and the previous frame image. Based on the motion vector statistics for each region, motion compensation may be performed using the most frequent motion vector as a global motion vector for the entire image.
信頼度算出部13は、動き補償部12により動き補償された領域を用いて動き補償の信頼度、すなわち、現フレーム画像の対象画素と、前フレーム画像における対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出する。より詳細には、信頼度算出部13は、図3のフローチャートに従って信頼度を算出する。
すなわち、図3に示すように、信頼度算出部13は、動き補償部12によって位置合わせされ抽出された現フレーム画像と前フレーム画像の小領域において、現フレーム画像の小領域を基準領域とし、前フレーム画像の小領域を参照領域とする(ステップS101)。続いて、基準領域と参照領域間で差分の絶対値和(SAD)を算出する(ステップS102)。
The
That is, as shown in FIG. 3, the
図4に示す信頼度算出の例では、現フレーム画像の小領域にはノイズが多く含まれており、前フレーム画像の小領域はノイズが低減されている。この領域間でSADを算出し、SADの値に応じて信頼度を算出する。なお、信頼度を算出するために、必ずしもSADを算出する必要はなく、例えば、相違度や類似度が評価できる差の2乗和(SSD)や正規化相互相関(NCC)などを算出しても良い。 In the reliability calculation example shown in FIG. 4, a small area of the current frame image contains a lot of noise, and a small area of the previous frame image has reduced noise. SAD is calculated between these areas, and the reliability is calculated according to the value of SAD. It is not always necessary to calculate SAD in order to calculate the reliability. For example, the sum of squares of differences (SSD) or normalized cross-correlation (NCC) that can evaluate the degree of difference or similarity is calculated. Also good.
次のステップS103では、算出されたSADに基づいて信頼度を算出する。SADやSSDのように相違度を評価する場合には、評価値が小さい程、信頼度は高く、評価値が大きい程、信頼度は低くするように算出する。また、動きベクトル算出部12で信頼度を算出するための評価値が既に算出されている場合には、再度、評価値を算出せず動きベクトル算出部での評価値をそのまま利用しても良い。
In the next step S103, the reliability is calculated based on the calculated SAD. When evaluating the dissimilarity as in SAD or SSD, the smaller the evaluation value, the higher the reliability, and the higher the evaluation value, the lower the reliability. Further, when the evaluation value for calculating the reliability is already calculated by the motion
仮巡回係数算出部14は、信頼度算出部13で算出された信頼度に基づいて仮巡回係数βNを算出する。ここで、仮巡回係数βNとは、現フレーム画像の対象画素と該対象画素と対応する前フレーム画像における対応画素位置の対応画素とを合成する際の合成比率である巡回係数を算出するための候補値であり、算出された仮巡回係数βNは、巡回係数決定部15に出力される。
The temporary cyclic
図5に、信頼度と仮巡回係数βNとの関係を示す。図5に示すように、信頼度が高くなる程、前フレーム画像の対象画素の仮巡回係数βNが高くなるようにして算出する。なお、算出された全画素分の仮巡回係数は、縮小部(図示せず)でニアレストネイバー法やバイリニアなどの処理で縮小し、メモリ(図示せず)に一旦保存してもよい。この場合には、縮小した仮巡回係数を拡大部(図示せず)で領域拡大した後に利用することができる。 FIG. 5 shows the relationship between the reliability and the provisional cyclic coefficient βN. As shown in FIG. 5, the higher the reliability, the higher the provisional cyclic coefficient βN of the target pixel of the previous frame image. Note that the calculated temporary cyclic coefficients for all the pixels may be reduced by a near neighbor method or bilinear processing in a reduction unit (not shown) and temporarily stored in a memory (not shown). In this case, the reduced provisional cyclic coefficient can be used after the area is enlarged by an enlargement unit (not shown).
巡回係数決定部15は、仮巡回係数算出部14から入力された仮巡回係数βNに基づいて、仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより各画素位置の巡回係数αNを決定する。決定した巡回係数αNは、空間フィルタ部16と画像合成部17に出力される。なお、「所定の値」や膨張処理を施す範囲については、ノイズと残像との関係を考慮して適宜決定する。
Based on the temporary cyclic coefficient βN input from the temporary cyclic
空間フィルタ部16は、決定された巡回係数αNに応じて現フレーム画像にかかる空間フィルタの強度を制御して空間フィルタをかけ、その結果を画像合成部17へ出力する。
画像合成部17は、入力された現フレームの画像の空間フィルタ出力画素と動き補償部12から入力された前フレーム画像の対応画素とを巡回係数αNを用いて合成し、現フレーム画像として表示系などに出力するとともに、画像蓄積部4に保存する。
The
The
以下、上述した画像処理装置における作用について、図6を参照しつつ説明する。
ここでは、以下の条件下でフレーム画像を取得しているものとする。すなわち、三脚に固定されたカメラで撮影しており、背景Bは動いておらず、被写体としてのボールOが左から右へ転がった場合における動画シーンであることとする。
また、入力されるフレーム画像にはノイズNが多く含まれており、ボールOは右へ転がって動いている為、シャッター速度との関係によりボールOの左縁において動きによるぼけGが発生している。この被写体の左縁のぼけている領域の輝度値は、背景の輝度値と似ていると仮定する。さらに、どの領域でも画像間の動きベクトルが求められなかった(動きベクトルが“0”)場合を仮定している。
Hereinafter, the operation of the above-described image processing apparatus will be described with reference to FIG.
Here, it is assumed that the frame image is acquired under the following conditions. That is, it is assumed that the image is taken with a camera fixed to a tripod, the background B is not moving, and the moving image scene is when the ball O as a subject rolls from left to right.
In addition, since the input frame image includes a lot of noise N, and the ball O rolls and moves to the right, a blur G due to movement occurs at the left edge of the ball O due to the relationship with the shutter speed. Yes. It is assumed that the luminance value of the blurred area at the left edge of the subject is similar to the luminance value of the background. Further, it is assumed that a motion vector between images is not obtained in any region (motion vector is “0”).
この場合において、N−1番目のフレーム画像(以下、「Nフレーム」という)に対する画像処理は以下のように行われる。
動き補償部12により、N−1フレームとN−2番目のフレーム画像(以下、「N−2フレーム」という)との間の位置合わせを行い、これに基づいて信頼度算出部13により信頼度を算出する。この信頼度に基づいて、仮巡回係数算出部14により仮巡回係数βN−1を算出し、算出した仮巡回係数βN−1を巡回係数決定部15に出力する。
In this case, image processing on the (N-1) th frame image (hereinafter referred to as “N frame”) is performed as follows.
The
巡回係数決定部15では、先に算出された画素毎の仮巡回係数βN−1に基づいて、N−1フレーム中の仮巡回係数β−1が所定の閾値よりも低い値の画素からなる領域を膨張して、N−1フレームの巡回係数(図中の右から2番目)αN−1として決定する。このように仮巡回係数の低い値の領域を膨張することで、仮巡回係数の算出で判定できる動く被写体領域よりも大きめの領域で巡回係数が低くなる。つまり、動く被写体近辺では前フレームの対応画素との合成率が低くなるため、残像が発生しない。以後、Nフレームの処理においても同様に処理を行う。
In the cyclic
一方、参考例として、同様の条件下で撮影した画像データに対して、仮巡回係数を利用せずに画像処理を行う場合について、図7を参照して説明する。
N−1フレームの処理を行う場合、N−1フレームの入力画像(図中の左)とN−2フレームの出力画像(図中の右)間との信頼度から巡回係数(図中の真ん中)が算出され、算出された巡回係数(αN)を用いて、巡回係数(αN)をN−2フレームの出力画像の対応画素に乗算した値と、(1−αN)をN−1フレームの入力画像の空間フィルタ部からの対象画素の出力画素に乗算した値とを加算する。
On the other hand, as a reference example, a case where image processing is performed on image data captured under the same conditions without using a provisional cyclic coefficient will be described with reference to FIG.
When processing the N-1 frame, the cyclic coefficient (middle in the figure) is calculated from the reliability between the input image (left in the figure) of the N-1 frame and the output image (right in the figure) of the N-2 frame. ) Is calculated, a value obtained by multiplying the corresponding pixel of the output image of the N-2 frame by the cyclic coefficient (αN) using the calculated cyclic coefficient (αN), and (1-αN) of the N-1 frame. The value multiplied by the output pixel of the target pixel from the spatial filter unit of the input image is added.
加算結果の画素をN−1の出力画像の画素として、全画素分処理する。この際、N−2フレームの出力画像の被写体の左縁の領域とN−1フレームの入力画像の被写体の左縁より少し左部分の背景部との間で信頼度を算出することになり、信頼度を算出するためのSAD算出結果は輝度値が似ているため、SAD値はある程度小さな値となってしまい、信頼度が低くはならない。 The pixels of the addition result are processed for all pixels as pixels of the output image of N-1. At this time, the reliability is calculated between the left edge region of the subject of the output image of the N-2 frame and the background portion slightly left of the left edge of the subject of the input image of the N-1 frame. Since the SAD calculation result for calculating the reliability is similar in luminance value, the SAD value becomes a small value to some extent, and the reliability is not lowered.
そのため、図5のように巡回係数を算出すると巡回係数は完全に低い値にはならない。この巡回係数用いて、合成した結果がN−1フレームの出力画像(図中の右)となる。またNフレームの処理においても同様に処理を行う。その結果、N−1フレームとNフレームの出力画像において、動いている被写体の左側に、前のフレームの出力画像でぼけている被写体の縁が残像として画像中に発生してしまう。 Therefore, when the cyclic coefficient is calculated as shown in FIG. 5, the cyclic coefficient does not become a completely low value. Using this cyclic coefficient, the synthesized result is an output image of N-1 frame (right in the figure). The same processing is performed in processing of N frames. As a result, in the output images of the N-1 frame and the N frame, the edge of the subject blurred in the output image of the previous frame is generated in the image on the left side of the moving subject.
以上述べたように本実施形態によれば、仮の巡回係数の低い値の領域を周辺に膨張したものを巡回係数として設定し合成することにより、動きのある被写体領域近辺で適正な合成比率制御をすることが可能となり、残像を抑制しつつも、巡回係数の小さい領域が過度に広がることを防ぎ、十分なノイズ低減効果を得ることができる。 As described above, according to the present embodiment, an appropriate composition ratio control is performed in the vicinity of a moving subject area by setting and synthesizing a cyclic coefficient obtained by expanding an area having a low value of a temporary cyclic coefficient around the area. Thus, while suppressing the afterimage, it is possible to prevent a region having a small cyclic coefficient from being excessively widened and obtain a sufficient noise reduction effect.
(変形例)
上述した実施形態においては、仮巡回係数が所定の閾値よりも低い値の画素からなる領域を膨張して、巡回係数として決定したが、巡回係数の決定方法はこれに限られるものではない。
図8に示すように、巡回係数決定部15が、対象画素を含む所定範囲の仮巡回係数の中で最も低い仮巡回係数を対象画素の巡回係数として置き換えることにより、仮巡回係数が低い値の領域を膨張させることができる。
(Modification)
In the above-described embodiment, an area composed of pixels whose provisional cyclic coefficient is lower than a predetermined threshold value is expanded and determined as the cyclic coefficient. However, the cyclic coefficient determination method is not limited to this.
As shown in FIG. 8, the cyclic
なお、上記した実施形態において、仮巡回係数をメモリに保存し、そのまま膨張処理しても良いし、一旦縮小してメモリに保存し、拡大してから膨張することもできる。また、図9に示すように、仮巡回係数を縮小してメモリに保存した後、巡回係数決定部で膨張処理してから拡大させたものを巡回係数として利用することもできる。 In the above-described embodiment, the provisional cyclic coefficient may be stored in the memory and expanded as it is, or may be temporarily reduced and stored in the memory, and then expanded and expanded. Further, as shown in FIG. 9, after the temporary cyclic coefficient is reduced and stored in the memory, the expansion coefficient obtained by the expansion process by the cyclic coefficient determination unit can be used as the cyclic coefficient.
2 画像取得部
3 処理部
4 画像蓄積部
11 動きベクトル算出部
12 動き補償部
13 信頼度算出部
14 仮巡回係数算出部
15 巡回係数決定部
16 空間フィルタ部
17 画像合成部
DESCRIPTION OF
Claims (5)
該画像取得部により取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成する処理部と、
該処理部により生成された出力フレーム画像を蓄積する画像蓄積部と、を備え、
前記処理部が、
前記画像取得部により取得されたフレーム画像を基準フレーム画像とし、直前に出力された出力フレーム画像を参照フレーム画像として、前記基準フレーム画像の対象画素と、前記参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出する信頼度算出手段と、
前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる仮巡回係数を画素毎に算出する仮巡回係数算出手段と、
前記仮巡回係数に基づいて、該仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより各画素位置の巡回係数を決定する巡回係数決定手段と、
該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成する画像合成手段と、
を備える画像処理装置。 An image acquisition unit for continuously acquiring frame images;
A processing unit that generates an output frame image by performing predetermined processing on the frame image acquired by the image acquisition unit;
An image storage unit for storing the output frame image generated by the processing unit,
The processing unit is
The frame image acquired by the image acquisition unit is set as a reference frame image, the output frame image output immediately before is set as a reference frame image, and the target pixel of the reference frame image and the target pixel in the reference frame image are corresponded A reliability calculation means for calculating a reliability indicating the correlation with the corresponding pixel at the pixel position;
Temporary cyclic coefficient calculating means for calculating, for each pixel, a temporary cyclic coefficient that is a candidate value of a cyclic coefficient when combining the target pixel and the corresponding pixel based on the reliability;
Cyclic coefficient determining means for determining a cyclic coefficient at each pixel position by performing an expansion process on a region composed of pixels having the temporary cyclic coefficient lower than a predetermined value based on the temporary cyclic coefficient;
Image combining means for combining the predetermined pixel and the corresponding pixel based on the cyclic coefficient determined by the cyclic coefficient determination means;
An image processing apparatus comprising:
前記フレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、
生成された前記出力フレーム画像を蓄積するステップと、を備え、
前記出力フレーム画像を生成するステップが、
前記取得されたフレーム画像を基準フレーム画像とし、直前に出力された出力フレーム画像を参照フレーム画像として、基準フレーム画像の対象画素と、参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出するステップと、
前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる仮巡回係数を画素毎に算出するステップと、
前記仮巡回係数に基づいて、該仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより各画素位置の巡回係数を決定するステップと、
該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成するステップと、
をコンピュータに実行させる画像処理プログラム。 Continuously acquiring frame images;
Generating an output frame image by performing predetermined processing on the frame image;
Accumulating the generated output frame image, and
Generating the output frame image comprises:
Using the acquired frame image as a reference frame image, and the output frame image output immediately before as a reference frame image, a target pixel of the base frame image, and a corresponding pixel at a pixel position corresponding to the target pixel in the reference frame image Calculating a confidence level indicating the correlation of
Calculating, based on the reliability, a provisional cyclic coefficient that is a candidate value of a cyclic coefficient when combining the target pixel and the corresponding pixel for each pixel;
Determining a cyclic coefficient at each pixel position by performing an expansion process on a region composed of pixels having the temporary cyclic coefficient lower than a predetermined value based on the temporary cyclic coefficient;
Combining the predetermined pixel and the corresponding pixel based on the cyclic coefficient determined by the cyclic coefficient determination means;
An image processing program for causing a computer to execute.
前記フレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、
生成された前記出力フレーム画像を蓄積するステップと、を備え、
前記出力フレーム画像を生成するステップが、
前記取得されたフレーム画像を基準フレーム画像とし、直前に出力された出力フレーム画像を参照フレーム画像として、基準フレーム画像の対象画素と、参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出するステップと、
前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる仮巡回係数を画素毎に算出するステップと、
前記仮巡回係数に基づいて、該仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより各画素位置の巡回係数を決定するステップと、
該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成するステップと、
を備える画像処理方法。
Continuously acquiring frame images;
Generating an output frame image by performing predetermined processing on the frame image;
Accumulating the generated output frame image, and
Generating the output frame image comprises:
Using the acquired frame image as a reference frame image, and the output frame image output immediately before as a reference frame image, a target pixel of the base frame image, and a corresponding pixel at a pixel position corresponding to the target pixel in the reference frame image Calculating a confidence level indicating the correlation of
Calculating, based on the reliability, a provisional cyclic coefficient that is a candidate value of a cyclic coefficient when combining the target pixel and the corresponding pixel for each pixel;
Determining a cyclic coefficient at each pixel position by performing an expansion process on a region composed of pixels having the temporary cyclic coefficient lower than a predetermined value based on the temporary cyclic coefficient;
Combining the predetermined pixel and the corresponding pixel based on the cyclic coefficient determined by the cyclic coefficient determination means;
An image processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012131503A JP5927053B2 (en) | 2012-06-11 | 2012-06-11 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012131503A JP5927053B2 (en) | 2012-06-11 | 2012-06-11 | Image processing apparatus, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013258445A true JP2013258445A (en) | 2013-12-26 |
JP5927053B2 JP5927053B2 (en) | 2016-05-25 |
Family
ID=49954566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012131503A Active JP5927053B2 (en) | 2012-06-11 | 2012-06-11 | Image processing apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5927053B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016208307A (en) * | 2015-04-23 | 2016-12-08 | キヤノン株式会社 | Image processing apparatus, control method therefor, and program |
WO2021117148A1 (en) * | 2019-12-10 | 2021-06-17 | 株式会社ソシオネクスト | Image processing device, image processing method, and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08172551A (en) * | 1994-12-19 | 1996-07-02 | Matsushita Electric Ind Co Ltd | Noise elimination device |
WO2006025396A1 (en) * | 2004-09-03 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | Image processing device, and image processing program |
JP2007274067A (en) * | 2006-03-30 | 2007-10-18 | Mitsubishi Electric Corp | Noise eliminating apparatus, noise eliminating method, and video signal display |
JP2010147840A (en) * | 2008-12-19 | 2010-07-01 | Sanyo Electric Co Ltd | Image processing device and imaging apparatus |
-
2012
- 2012-06-11 JP JP2012131503A patent/JP5927053B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08172551A (en) * | 1994-12-19 | 1996-07-02 | Matsushita Electric Ind Co Ltd | Noise elimination device |
WO2006025396A1 (en) * | 2004-09-03 | 2006-03-09 | Matsushita Electric Industrial Co., Ltd. | Image processing device, and image processing program |
JP2007274067A (en) * | 2006-03-30 | 2007-10-18 | Mitsubishi Electric Corp | Noise eliminating apparatus, noise eliminating method, and video signal display |
JP2010147840A (en) * | 2008-12-19 | 2010-07-01 | Sanyo Electric Co Ltd | Image processing device and imaging apparatus |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016208307A (en) * | 2015-04-23 | 2016-12-08 | キヤノン株式会社 | Image processing apparatus, control method therefor, and program |
WO2021117148A1 (en) * | 2019-12-10 | 2021-06-17 | 株式会社ソシオネクスト | Image processing device, image processing method, and program |
JPWO2021117148A1 (en) * | 2019-12-10 | 2021-06-17 | ||
JP7480787B2 (en) | 2019-12-10 | 2024-05-10 | 株式会社ソシオネクスト | Image processing device, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP5927053B2 (en) | 2016-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9898803B2 (en) | Image processing apparatus, image processing method, and recording medium storing image processing program | |
JP5974250B2 (en) | Image processing apparatus, image processing method, image processing program, and recording medium | |
US9191589B2 (en) | Image processing device | |
US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
TW201127028A (en) | Method and apparatus for image stabilization | |
US20120093231A1 (en) | Image processing apparatus and image processing method | |
JP2010041064A (en) | Image processing unit, image processing method, and program | |
JP5927051B2 (en) | Image processing apparatus, image processing method, and program | |
JP6254938B2 (en) | Image noise removing apparatus and image noise removing method | |
JP5081898B2 (en) | Interpolated image generation method and system | |
JPWO2006025396A1 (en) | Image processing apparatus and image processing program | |
JP2009081574A (en) | Image processor, processing method and program | |
JP6017279B2 (en) | Image processing apparatus, image processing method, and program | |
US20120002842A1 (en) | Device and method for detecting movement of object | |
WO2015085922A1 (en) | Method and apparatus for frame rate up-conversion | |
JP2005150903A (en) | Image processing apparatus, noise elimination method, and noise elimination program | |
JP5927053B2 (en) | Image processing apparatus, image processing method, and program | |
JP6242742B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP5490117B2 (en) | Image processing device | |
JP2008245135A (en) | Interpolation frame generating method and interpolation frame generating device | |
JP2011199349A (en) | Unit and method for processing image, and computer program for image processing | |
KR100961456B1 (en) | Method of motion estimation by using adaptive expanded block based on frame-difference | |
WO2011033675A1 (en) | Image processing apparatus and image display apparatus | |
JP5085762B2 (en) | Image processing apparatus and image processing method | |
JP2010141813A (en) | Video processing apparatus and method of controlling video processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150424 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160425 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5927053 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |