JP2013258445A - Image processing apparatus, image processing method and program - Google Patents

Image processing apparatus, image processing method and program Download PDF

Info

Publication number
JP2013258445A
JP2013258445A JP2012131503A JP2012131503A JP2013258445A JP 2013258445 A JP2013258445 A JP 2013258445A JP 2012131503 A JP2012131503 A JP 2012131503A JP 2012131503 A JP2012131503 A JP 2012131503A JP 2013258445 A JP2013258445 A JP 2013258445A
Authority
JP
Japan
Prior art keywords
cyclic coefficient
frame image
image
pixel
temporary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012131503A
Other languages
Japanese (ja)
Other versions
JP5927053B2 (en
Inventor
Eiji Furukawa
英治 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012131503A priority Critical patent/JP5927053B2/en
Publication of JP2013258445A publication Critical patent/JP2013258445A/en
Application granted granted Critical
Publication of JP5927053B2 publication Critical patent/JP5927053B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

PROBLEM TO BE SOLVED: To perform sufficient noise reduction processing while suppressing an afterimage based on the movement of a subject.SOLUTION: The image processing apparatus includes reliability calculation means 13 for calculating the reliability indicating correlation of the object pixel of a reference frame image and a corresponding pixel at a pixel position corresponding to the object pixel in a reference frame image, provisional cyclic coefficient calculation means 14 for calculating the provisional cyclic coefficient becoming the candidate value of cyclic coefficient when compounding the object pixel and the corresponding pixel, for each pixel, on the basis of the reliability, cyclic coefficient determination means 15 for determining the cyclic coefficient at each pixel position by performing expansion processing for a region consisting of pixels having a provisional cyclic coefficient lower than a predetermined value, and image composition means 17 for compounding the predetermined pixel and the corresponding pixel on the basis of the cyclic coefficient determined by the cyclic coefficient determination means.

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関するものである。   The present invention relates to an image processing apparatus, an image processing method, and a program.

従来、画像データに対するノイズ除去技術として、所謂巡回型ノイズ低減方法が知られている。これは、例えば、処理済みの前フレーム画像と現フレーム画像との間で動き検出を行い、検出結果に基づいてこれらの画像の合成比率を示す巡回係数を算出し、算出した巡回係数を用いて合成することによりノイズを低減するものである。このような巡回型ノイズ低減を行う画像処置装置の例として、特許文献１には、動き検出の結果と、記憶されている前回巡回係数とを用いて今回巡回係数を決定するものが開示されている。   Conventionally, a so-called cyclic noise reduction method is known as a noise removal technique for image data. For example, motion detection is performed between the processed previous frame image and the current frame image, a cyclic coefficient indicating a combination ratio of these images is calculated based on the detection result, and the calculated cyclic coefficient is used. By combining, noise is reduced. As an example of an image processing apparatus that performs such cyclic noise reduction, Patent Document 1 discloses an apparatus that determines a current cyclic coefficient using a motion detection result and a stored previous cyclic coefficient. Yes.

国際公開第２００６／０２５３９６号International Publication No. 2006/025396

ところで、一般に、巡回型ノイズ低減処理においては、動いている被写体の残像が発生しないように、動き検出結果や、フレーム間差分値等の動き補償の信頼度に基づいて巡回係数を決定する。
しかしながら、実際にはノイズ等の影響により、被写体の動きのみを評価することが困難である。例えば、動き補償は正しいがノイズが多い領域（以下、「領域１」という）と、動き補償は正しくないが似た画素値の被写体が動いた領域（以下、「領域２」という）とでは画像間の差分値等の評価値が同等の値となる。従って、これらの領域に対して、同じ巡回係数を適用してノイズ低減処理を行うと、例えば、領域１では、ノイズは低減さえるが、領域２では残像が発生してしまうという不具合がある。また、残像が発生しないようにノイズ低減処理の強度を弱く、すなわち、巡回係数を小さくすると領域１ではノイズが十分に低減されなくなってしまうという不具合がある。 By the way, in general, in the cyclic noise reduction process, the cyclic coefficient is determined based on the motion compensation reliability such as the motion detection result and the inter-frame difference value so that the afterimage of the moving subject does not occur.
However, in practice, it is difficult to evaluate only the movement of the subject due to the influence of noise or the like. For example, there is an image between a region where motion compensation is correct but noisy (hereinafter referred to as “region 1”) and a region where a subject having a similar pixel value but not motion compensation is moved (hereinafter referred to as “region 2”). An evaluation value such as a difference value between them becomes an equivalent value. Therefore, if noise reduction processing is performed on these areas by applying the same cyclic coefficient, for example, noise is reduced in area 1, but afterimages occur in area 2. Further, there is a problem that the noise is not sufficiently reduced in the region 1 if the strength of the noise reduction processing is weakened so that no afterimage is generated, that is, if the cyclic coefficient is reduced.

本発明は、上記問題に鑑みてなされたものであって、被写体の動きに基づく残像を抑制しながら、十分なノイズ低減処理を行うことができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。   The present invention has been made in view of the above problem, and provides an image processing apparatus, an image processing method, and a program capable of performing sufficient noise reduction processing while suppressing an afterimage based on the motion of a subject. With the goal.

上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、フレーム画像を連続的に取得する画像取得部と、該画像取得部により取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成する処理部と、該処理部により生成された出力フレーム画像を蓄積する画像蓄積部と、を備え、前記処理部が、前記画像取得部により取得されたフレーム画像を基準フレーム画像とし、前記画像蓄積部に蓄積され直前に出力された出力フレーム画像を参照フレーム画像として、前記基準フレーム画像の対象画素と、前記参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出する信頼度算出手段と、前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる仮巡回係数を画素毎に算出する仮巡回係数算出手段と、前記仮巡回係数に基づいて、該仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより各画素位置の巡回係数を決定する巡回係数決定手段と、該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成する画像合成手段と、を備える画像処理装置を提供する。 In order to achieve the above object, the present invention provides the following means.
The present invention provides an image acquisition unit that continuously acquires frame images, a processing unit that generates an output frame image by performing predetermined processing on the frame image acquired by the image acquisition unit, and the processing unit. An image storage unit that stores the generated output frame image, and the processing unit sets the frame image acquired by the image acquisition unit as a reference frame image, and is stored in the image storage unit and output immediately before A reliability calculation means for calculating a reliability indicating correlation between a target pixel of the base frame image and a corresponding pixel at a pixel position corresponding to the target pixel in the reference frame image, using the output frame image as a reference frame image; Based on the reliability, a temporary cycle for calculating, for each pixel, a temporary cyclic coefficient that is a candidate value of a cyclic coefficient when the target pixel and the corresponding pixel are combined. Coefficient calculation means and cyclic coefficient determination means for determining a cyclic coefficient at each pixel position by performing expansion processing on an area composed of pixels having the temporary cyclic coefficient lower than a predetermined value based on the temporary cyclic coefficient And an image synthesizing unit that synthesizes the predetermined pixel and the corresponding pixel based on the cyclic coefficient determined by the cyclic coefficient determining unit.

本発明によれば、基準フレーム画像の対象画素と該対象画素に対応する参照フレーム画像の画素位置の対応画素との相関性を示す信頼度を算出し、この信頼度に基づいて仮巡回係数を画素毎に算出すると共に、仮巡回係数に基づいて、該仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより、適切な値を各画素位置の最終的な巡回係数として決定するので、各画素位置に対して適切な巡回係数を定めることができる。従って、残像を抑制しながら、巡回係数の小さい領域が過度に大きくなることを防止するので、十分にノイズを低減した画像を取得することができる。また、膨張処理を行うことにより、往復移動する被写体の場合には、とりわけ高い残像低減効果を得ることができる。   According to the present invention, the reliability indicating the correlation between the target pixel of the base frame image and the corresponding pixel at the pixel position of the reference frame image corresponding to the target pixel is calculated, and the provisional cyclic coefficient is calculated based on the reliability. In addition to calculating for each pixel and performing an expansion process on an area composed of pixels having a provisional cyclic coefficient lower than a predetermined value based on the provisional cyclic coefficient, an appropriate value is finally obtained at each pixel position. Since the cyclic coefficient is determined, an appropriate cyclic coefficient can be determined for each pixel position. Accordingly, since an area having a small cyclic coefficient is prevented from becoming excessively large while suppressing afterimages, an image with sufficiently reduced noise can be acquired. Further, by performing the expansion process, a particularly high afterimage reduction effect can be obtained in the case of a subject that reciprocates.

上記発明において、巡回係数決定手段が、各画素位置について、該各画素位置を含む所定領域の仮巡回係数のうち最も低い値を示すものを前記各画素位置の巡回係数として決定することが好ましい。
例えば、動体と背景の画素値が近い場合には、仮巡回係数の値が高くなり、見掛け上信頼度が高い領域においても実際には基準フレーム画像と参照フレーム画像との相関性が低い場合がある。このような場合には、合成した画像に残像が発生する虞があるが、膨張処理、すなわち、各画素位置について、該画素位置を含む所定領域の仮巡回係数のうち最も低い値を示すものを各画素位置の巡回係数として決定することで、最も低い値を示す仮巡回係数を巡回係数として設定する領域（即ち動体及びその周囲の領域）が広がるので、動体と背景の画素値が近い場合においても残像の発生を抑制することができる。 In the above invention, it is preferable that the cyclic coefficient determining means determines, as the cyclic coefficient for each pixel position, a value indicating the lowest value among the temporary cyclic coefficients of a predetermined region including the pixel position for each pixel position.
For example, when the pixel values of the moving object and the background are close, the value of the provisional cyclic coefficient is high, and the correlation between the reference frame image and the reference frame image may actually be low even in an area where the apparent reliability is high. is there. In such a case, there is a possibility that an afterimage may occur in the synthesized image, but expansion processing, that is, for each pixel position, the one showing the lowest value among the provisional cyclic coefficients of the predetermined area including the pixel position. By determining the cyclic coefficient for each pixel position, the area where the provisional cyclic coefficient indicating the lowest value is set as the cyclic coefficient (that is, the moving object and the surrounding area) is widened. Also, the occurrence of afterimages can be suppressed.

上記発明において、前記巡回係数算出手段が、前記仮巡回係数の分布を示す仮巡回係数画像を生成し、該仮巡回係数画像を縮小し、縮小した仮巡回係数画像に膨張処理を行い、膨張処理を行った仮巡回係数画像を拡大し、拡大した仮巡回係数画像に基づいて巡回係数を決定することが好ましい。
このようにすることで、膨張処理の演算量を削減することができる。 In the above invention, the cyclic coefficient calculation means generates a temporary cyclic coefficient image indicating the distribution of the temporary cyclic coefficients, reduces the temporary cyclic coefficient image, performs expansion processing on the reduced temporary cyclic coefficient image, and performs expansion processing. It is preferable to enlarge the provisional cyclic coefficient image that has been subjected to and determine the cyclic coefficient based on the enlarged provisional cyclic coefficient image.
By doing in this way, the amount of calculation of expansion processing can be reduced.

また、本発明は、フレーム画像を連続的に取得するステップと、前記フレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、生成された前記出力フレーム画像を蓄積するステップと、を備え、前記出力フレーム画像を生成するステップが、前記取得されたフレーム画像を基準フレーム画像とし、直前に出力された出力フレーム画像を参照フレーム画像として、前記基準フレーム画像の対象画素と、前記参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出するステップと、前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる仮巡回係数を画素毎に算出するステップと、前記仮巡回係数に基づいて、該仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより各画素位置の巡回係数を決定するステップと、該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成するステップと、をコンピュータに実行させる画像処理プログラムを提供する。   The present invention also includes a step of continuously acquiring frame images, a step of generating an output frame image by performing predetermined processing on the frame image, and a step of accumulating the generated output frame image And the step of generating the output frame image includes the acquired frame image as a reference frame image, the output frame image output immediately before as a reference frame image, and target pixels of the reference frame image; Calculating the reliability indicating the correlation between the target pixel and the corresponding pixel at the pixel position corresponding to the target pixel in the reference frame image, and combining the target pixel and the corresponding pixel based on the reliability Calculating a provisional cyclic coefficient that is a candidate value for the cyclic coefficient for each pixel, and based on the provisional cyclic coefficient, the provisional cyclic coefficient A step of determining a cyclic coefficient at each pixel position by performing expansion processing on an area composed of pixels lower than a predetermined value, and the predetermined pixel based on the cyclic coefficient determined by the cyclic coefficient determination means And an image processing program for causing a computer to synthesize the corresponding pixel and the corresponding pixel.

また、本発明は、フレーム画像を連続的に取得するステップと、前記フレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、生成された前記出力フレーム画像を蓄積するステップと、を備え、前記出力フレーム画像を生成するステップが、前記取得されたフレーム画像を基準フレーム画像とし、直前に出力された出力フレーム画像を参照フレーム画像として、前記基準フレーム画像の対象画素と、前記参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出するステップと、前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる仮巡回係数を画素毎に算出するステップと、前記仮巡回係数に基づいて、該仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより各画素位置の巡回係数を決定するステップと、該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成するステップと、を備える画像処理方法を提供する。   The present invention also includes a step of continuously acquiring frame images, a step of generating an output frame image by performing predetermined processing on the frame image, and a step of accumulating the generated output frame image And the step of generating the output frame image includes the acquired frame image as a reference frame image, the output frame image output immediately before as a reference frame image, and target pixels of the reference frame image; Calculating the reliability indicating the correlation between the target pixel and the corresponding pixel at the pixel position corresponding to the target pixel in the reference frame image, and combining the target pixel and the corresponding pixel based on the reliability Calculating a provisional cyclic coefficient that is a candidate value for the cyclic coefficient for each pixel, and based on the provisional cyclic coefficient, the provisional cyclic coefficient A step of determining a cyclic coefficient at each pixel position by performing expansion processing on an area composed of pixels lower than a predetermined value, and the predetermined pixel based on the cyclic coefficient determined by the cyclic coefficient determination means And a step of combining the corresponding pixels.

本発明によれば、被写体の動きに基づく残像を抑制しながら、十分なノイズ低減処理を行うことができるという効果を奏する。   According to the present invention, it is possible to perform sufficient noise reduction processing while suppressing afterimages based on the movement of the subject.

本発明の一実施形態に係る画像処理装置の概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of an image processing apparatus according to an embodiment of the present invention. 本発明の一実施形態に係る画像処理装置において、入力されたフレーム画像が順次合成されていく様子を示した説明図である。It is explanatory drawing which showed a mode that the input frame image was synthesize | combined sequentially in the image processing apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る画像処理装置における信頼度算出の際のフローチャートである。It is a flowchart in the case of reliability calculation in the image processing apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る画像処理装置における信頼度算出の際の様子を示した説明図である。It is explanatory drawing which showed the mode at the time of the reliability calculation in the image processing apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る画像処理装置における信頼度と仮巡回係数βＮとの関係を示すグラフである。It is a graph which shows the relationship between the reliability in the image processing apparatus which concerns on one Embodiment of this invention, and temporary cyclic coefficient (beta) N. 本発明の一実施形態に係る画像処理装置における画像処理の様子を示す説明図である。It is explanatory drawing which shows the mode of the image process in the image processing apparatus which concerns on one Embodiment of this invention. 図６の比較例として、従来の画像処理装置における画像処理の一例を示す説明図である。As a comparative example of FIG. 6, it is explanatory drawing which shows an example of the image process in the conventional image processing apparatus. 本発明の一実施形態の変形例に係る画像処理装置における画像処理の様子を示す説明図である。It is explanatory drawing which shows the mode of the image process in the image processing apparatus which concerns on the modification of one Embodiment of this invention. 本発明の一実施形態の変形例に係る画像処理装置において画像処理の一例を示す説明図である。It is explanatory drawing which shows an example of an image process in the image processing apparatus which concerns on the modification of one Embodiment of this invention.

以下に、本発明の一実施形態に係る画像処理装置について図面を参照して説明する。   An image processing apparatus according to an embodiment of the present invention will be described below with reference to the drawings.

図１は、画像処理装置の概略構成を示している。画像処理装置は、図２に示すように、入力されたフレーム画像と先に出力されたフレーム画像とを適宜合成してフレーム画像を生成し、生成されたフレーム画像を順次出力し、これを巡回、すなわち繰り返すことにより動画像を出力するものである。   FIG. 1 shows a schematic configuration of the image processing apparatus. As shown in FIG. 2, the image processing apparatus appropriately combines the input frame image and the previously output frame image to generate a frame image, sequentially outputs the generated frame image, and cyclically outputs the frame image. That is, a moving image is output by repeating.

このため、画像処理装置は、図１に示すように、画像取得部２、該画像取得部により取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成する処理部３、該処理部により生成された出力フレーム画像、すなわち、処理済みの画像データ（以下、「前フレーム画像（参照フレーム画像）」という）を蓄積する画像蓄積部４を備えている。
また、処理部３は、取得したフレーム画像に対して所定の処理を施すために、動き補償部１２、信頼度算出部１３、仮巡回係数算出部１４、巡回係数決定部１５、空間フィルタ部１６及び画像合成部１７を備えている。
画像取得部２は、図示しない撮像装置により撮像されたフレーム画像（以下、「現フレーム画像（基準フレーム画像）」という）を連続的に取得し、取得した現フレーム画像を動き補償部１２及び空間フィルタ部１６に出力する。 Therefore, as shown in FIG. 1, the image processing apparatus includes an image acquisition unit 2, a processing unit 3 that generates an output frame image by performing predetermined processing on the frame image acquired by the image acquisition unit, The image storage unit 4 stores an output frame image generated by the processing unit, that is, processed image data (hereinafter referred to as “previous frame image (reference frame image)”).
Further, the processing unit 3 performs a predetermined process on the acquired frame image, and includes a motion compensation unit 12, a reliability calculation unit 13, a provisional cyclic coefficient calculation unit 14, a cyclic coefficient determination unit 15, and a spatial filter unit 16. And an image composition unit 17.
The image acquisition unit 2 continuously acquires frame images (hereinafter referred to as “current frame image (reference frame image)”) captured by an imaging device (not shown), and the acquired current frame image is used as the motion compensation unit 12 and the space. Output to the filter unit 16.

動き補償部１２は、画像取得部２で取得された現フレーム画像とメモリ１８に保存された前フレーム画像との間の動きベクトルを算出する動きベクトル算出部１１を備えている。そして、動き補償部１２は、動きベクトル算出部１１により算出した動きベクトルに基づいて、前フレーム画像と現フレーム画像との位置合わせを行う。すなわち、動きベクトル算出部１１により算出された動きベクトルを相殺するように、前フレーム画像の切り出し位置を決定し、現フレーム画像の任意の小領域と決定した切り出し位置から前フレーム画像の小領域とを切り出すことにより前フレーム画像と現フレーム画像との位置合わせを行い、前フレーム画像の小領域の中心画素を画像合成部１７に出力する。
ここで、動き補償は、現フレーム画像と前フレーム画像との間で小領域毎にブロックマッチング法等で算出した動きベクトルに基づいて、小領域毎に動き補償を行ってもよく、また、小領域毎の動きベクトルの統計に基づいて最も頻度の高い動きベクトルを画像全体のグローバルな動きべクトルとして動き補償を行ってもよい。 The motion compensation unit 12 includes a motion vector calculation unit 11 that calculates a motion vector between the current frame image acquired by the image acquisition unit 2 and the previous frame image stored in the memory 18. Then, the motion compensation unit 12 aligns the previous frame image and the current frame image based on the motion vector calculated by the motion vector calculation unit 11. That is, the cutout position of the previous frame image is determined so as to cancel the motion vector calculated by the motion vector calculation unit 11, and the small area of the previous frame image is determined from the arbitrary cutout area of the current frame image and the determined cutout position. Is cut out, the previous frame image and the current frame image are aligned, and the center pixel of the small area of the previous frame image is output to the image composition unit 17.
Here, the motion compensation may be performed for each small area based on the motion vector calculated by the block matching method or the like for each small area between the current frame image and the previous frame image. Based on the motion vector statistics for each region, motion compensation may be performed using the most frequent motion vector as a global motion vector for the entire image.

信頼度算出部１３は、動き補償部１２により動き補償された領域を用いて動き補償の信頼度、すなわち、現フレーム画像の対象画素と、前フレーム画像における対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出する。より詳細には、信頼度算出部１３は、図３のフローチャートに従って信頼度を算出する。
すなわち、図３に示すように、信頼度算出部１３は、動き補償部１２によって位置合わせされ抽出された現フレーム画像と前フレーム画像の小領域において、現フレーム画像の小領域を基準領域とし、前フレーム画像の小領域を参照領域とする（ステップＳ１０１）。続いて、基準領域と参照領域間で差分の絶対値和（ＳＡＤ）を算出する（ステップＳ１０２）。 The reliability calculation unit 13 uses the region motion-compensated by the motion compensation unit 12 to determine the reliability of motion compensation, that is, the corresponding pixel at the pixel position corresponding to the target pixel of the current frame image and the target pixel of the previous frame image. The reliability indicating the correlation with is calculated. More specifically, the reliability calculation unit 13 calculates the reliability according to the flowchart of FIG.
That is, as shown in FIG. 3, the reliability calculation unit 13 uses the small region of the current frame image as a reference region in the small region of the current frame image and the previous frame image that are aligned and extracted by the motion compensation unit 12, and A small area of the previous frame image is set as a reference area (step S101). Subsequently, an absolute value sum (SAD) of differences between the reference area and the reference area is calculated (step S102).

図４に示す信頼度算出の例では、現フレーム画像の小領域にはノイズが多く含まれており、前フレーム画像の小領域はノイズが低減されている。この領域間でＳＡＤを算出し、ＳＡＤの値に応じて信頼度を算出する。なお、信頼度を算出するために、必ずしもＳＡＤを算出する必要はなく、例えば、相違度や類似度が評価できる差の２乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）などを算出しても良い。   In the reliability calculation example shown in FIG. 4, a small area of the current frame image contains a lot of noise, and a small area of the previous frame image has reduced noise. SAD is calculated between these areas, and the reliability is calculated according to the value of SAD. It is not always necessary to calculate SAD in order to calculate the reliability. For example, the sum of squares of differences (SSD) or normalized cross-correlation (NCC) that can evaluate the degree of difference or similarity is calculated. Also good.

次のステップＳ１０３では、算出されたＳＡＤに基づいて信頼度を算出する。ＳＡＤやＳＳＤのように相違度を評価する場合には、評価値が小さい程、信頼度は高く、評価値が大きい程、信頼度は低くするように算出する。また、動きベクトル算出部１２で信頼度を算出するための評価値が既に算出されている場合には、再度、評価値を算出せず動きベクトル算出部での評価値をそのまま利用しても良い。   In the next step S103, the reliability is calculated based on the calculated SAD. When evaluating the dissimilarity as in SAD or SSD, the smaller the evaluation value, the higher the reliability, and the higher the evaluation value, the lower the reliability. Further, when the evaluation value for calculating the reliability is already calculated by the motion vector calculation unit 12, the evaluation value in the motion vector calculation unit may be used as it is without calculating the evaluation value again. .

仮巡回係数算出部１４は、信頼度算出部１３で算出された信頼度に基づいて仮巡回係数βＮを算出する。ここで、仮巡回係数βＮとは、現フレーム画像の対象画素と該対象画素と対応する前フレーム画像における対応画素位置の対応画素とを合成する際の合成比率である巡回係数を算出するための候補値であり、算出された仮巡回係数βＮは、巡回係数決定部１５に出力される。   The temporary cyclic coefficient calculation unit 14 calculates the temporary cyclic coefficient βN based on the reliability calculated by the reliability calculation unit 13. Here, the provisional cyclic coefficient βN is used to calculate a cyclic coefficient that is a combination ratio when combining the target pixel of the current frame image and the corresponding pixel at the corresponding pixel position in the previous frame image corresponding to the target pixel. The provisional cyclic coefficient βN, which is a candidate value, is output to the cyclic coefficient determination unit 15.

図５に、信頼度と仮巡回係数βＮとの関係を示す。図５に示すように、信頼度が高くなる程、前フレーム画像の対象画素の仮巡回係数βＮが高くなるようにして算出する。なお、算出された全画素分の仮巡回係数は、縮小部（図示せず）でニアレストネイバー法やバイリニアなどの処理で縮小し、メモリ（図示せず）に一旦保存してもよい。この場合には、縮小した仮巡回係数を拡大部（図示せず）で領域拡大した後に利用することができる。   FIG. 5 shows the relationship between the reliability and the provisional cyclic coefficient βN. As shown in FIG. 5, the higher the reliability, the higher the provisional cyclic coefficient βN of the target pixel of the previous frame image. Note that the calculated temporary cyclic coefficients for all the pixels may be reduced by a near neighbor method or bilinear processing in a reduction unit (not shown) and temporarily stored in a memory (not shown). In this case, the reduced provisional cyclic coefficient can be used after the area is enlarged by an enlargement unit (not shown).

巡回係数決定部１５は、仮巡回係数算出部１４から入力された仮巡回係数βＮに基づいて、仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより各画素位置の巡回係数αＮを決定する。決定した巡回係数αＮは、空間フィルタ部１６と画像合成部１７に出力される。なお、「所定の値」や膨張処理を施す範囲については、ノイズと残像との関係を考慮して適宜決定する。   Based on the temporary cyclic coefficient βN input from the temporary cyclic coefficient calculation unit 14, the cyclic coefficient determination unit 15 performs an expansion process on an area including pixels whose temporary cyclic coefficient is lower than a predetermined value. A position cyclic coefficient αN is determined. The determined cyclic coefficient αN is output to the spatial filter unit 16 and the image composition unit 17. Note that the “predetermined value” and the range where the expansion process is performed are appropriately determined in consideration of the relationship between noise and an afterimage.

空間フィルタ部１６は、決定された巡回係数αＮに応じて現フレーム画像にかかる空間フィルタの強度を制御して空間フィルタをかけ、その結果を画像合成部１７へ出力する。
画像合成部１７は、入力された現フレームの画像の空間フィルタ出力画素と動き補償部１２から入力された前フレーム画像の対応画素とを巡回係数αＮを用いて合成し、現フレーム画像として表示系などに出力するとともに、画像蓄積部４に保存する。 The spatial filter unit 16 applies the spatial filter by controlling the strength of the spatial filter applied to the current frame image according to the determined cyclic coefficient αN, and outputs the result to the image composition unit 17.
The image synthesizing unit 17 synthesizes the spatial filter output pixel of the input image of the current frame and the corresponding pixel of the previous frame image input from the motion compensation unit 12 using the cyclic coefficient αN, and displays it as the current frame image in the display system. Are stored in the image storage unit 4.

以下、上述した画像処理装置における作用について、図６を参照しつつ説明する。
ここでは、以下の条件下でフレーム画像を取得しているものとする。すなわち、三脚に固定されたカメラで撮影しており、背景Ｂは動いておらず、被写体としてのボールＯが左から右へ転がった場合における動画シーンであることとする。
また、入力されるフレーム画像にはノイズＮが多く含まれており、ボールＯは右へ転がって動いている為、シャッター速度との関係によりボールＯの左縁において動きによるぼけＧが発生している。この被写体の左縁のぼけている領域の輝度値は、背景の輝度値と似ていると仮定する。さらに、どの領域でも画像間の動きベクトルが求められなかった（動きベクトルが“０”）場合を仮定している。 Hereinafter, the operation of the above-described image processing apparatus will be described with reference to FIG.
Here, it is assumed that the frame image is acquired under the following conditions. That is, it is assumed that the image is taken with a camera fixed to a tripod, the background B is not moving, and the moving image scene is when the ball O as a subject rolls from left to right.
In addition, since the input frame image includes a lot of noise N, and the ball O rolls and moves to the right, a blur G due to movement occurs at the left edge of the ball O due to the relationship with the shutter speed. Yes. It is assumed that the luminance value of the blurred area at the left edge of the subject is similar to the luminance value of the background. Further, it is assumed that a motion vector between images is not obtained in any region (motion vector is “0”).

この場合において、Ｎ−１番目のフレーム画像（以下、「Ｎフレーム」という）に対する画像処理は以下のように行われる。
動き補償部１２により、Ｎ−１フレームとＮ−２番目のフレーム画像（以下、「Ｎ−２フレーム」という）との間の位置合わせを行い、これに基づいて信頼度算出部１３により信頼度を算出する。この信頼度に基づいて、仮巡回係数算出部１４により仮巡回係数βＮ−１を算出し、算出した仮巡回係数βＮ−１を巡回係数決定部１５に出力する。 In this case, image processing on the (N-1) th frame image (hereinafter referred to as “N frame”) is performed as follows.
The motion compensation unit 12 performs alignment between the N-1 frame and the N-2th frame image (hereinafter referred to as “N-2 frame”), and based on this, the reliability calculation unit 13 performs the reliability. Is calculated. Based on this reliability, the temporary cyclic coefficient calculation unit 14 calculates the temporary cyclic coefficient βN−1 and outputs the calculated temporary cyclic coefficient βN−1 to the cyclic coefficient determination unit 15.

巡回係数決定部１５では、先に算出された画素毎の仮巡回係数βＮ−１に基づいて、Ｎ−１フレーム中の仮巡回係数β−１が所定の閾値よりも低い値の画素からなる領域を膨張して、Ｎ−１フレームの巡回係数（図中の右から２番目）αＮ−１として決定する。このように仮巡回係数の低い値の領域を膨張することで、仮巡回係数の算出で判定できる動く被写体領域よりも大きめの領域で巡回係数が低くなる。つまり、動く被写体近辺では前フレームの対応画素との合成率が低くなるため、残像が発生しない。以後、Ｎフレームの処理においても同様に処理を行う。   In the cyclic coefficient determination unit 15, based on the previously calculated temporary cyclic coefficient βN−1 for each pixel, an area composed of pixels whose temporary cyclic coefficient β−1 in the N−1 frame is lower than a predetermined threshold value. Is expanded and determined as the cyclic coefficient (second from the right in the figure) αN−1 of the N−1 frame. In this way, by expanding the region having a low value of the temporary cyclic coefficient, the cyclic coefficient becomes lower in a region larger than the moving subject region that can be determined by calculating the temporary cyclic coefficient. That is, an afterimage does not occur in the vicinity of a moving subject because the composition ratio with the corresponding pixel of the previous frame is low. Thereafter, the same processing is performed in the N frame processing.

一方、参考例として、同様の条件下で撮影した画像データに対して、仮巡回係数を利用せずに画像処理を行う場合について、図７を参照して説明する。
Ｎ−１フレームの処理を行う場合、Ｎ−１フレームの入力画像（図中の左）とＮ−２フレームの出力画像（図中の右）間との信頼度から巡回係数（図中の真ん中）が算出され、算出された巡回係数（αＮ）を用いて、巡回係数（αＮ）をＮ−２フレームの出力画像の対応画素に乗算した値と、（１−αＮ）をＮ−１フレームの入力画像の空間フィルタ部からの対象画素の出力画素に乗算した値とを加算する。 On the other hand, as a reference example, a case where image processing is performed on image data captured under the same conditions without using a provisional cyclic coefficient will be described with reference to FIG.
When processing the N-1 frame, the cyclic coefficient (middle in the figure) is calculated from the reliability between the input image (left in the figure) of the N-1 frame and the output image (right in the figure) of the N-2 frame. ) Is calculated, a value obtained by multiplying the corresponding pixel of the output image of the N-2 frame by the cyclic coefficient (αN) using the calculated cyclic coefficient (αN), and (1-αN) of the N-1 frame. The value multiplied by the output pixel of the target pixel from the spatial filter unit of the input image is added.

加算結果の画素をＮ−１の出力画像の画素として、全画素分処理する。この際、Ｎ−２フレームの出力画像の被写体の左縁の領域とＮ−１フレームの入力画像の被写体の左縁より少し左部分の背景部との間で信頼度を算出することになり、信頼度を算出するためのＳＡＤ算出結果は輝度値が似ているため、ＳＡＤ値はある程度小さな値となってしまい、信頼度が低くはならない。   The pixels of the addition result are processed for all pixels as pixels of the output image of N-1. At this time, the reliability is calculated between the left edge region of the subject of the output image of the N-2 frame and the background portion slightly left of the left edge of the subject of the input image of the N-1 frame. Since the SAD calculation result for calculating the reliability is similar in luminance value, the SAD value becomes a small value to some extent, and the reliability is not lowered.

そのため、図５のように巡回係数を算出すると巡回係数は完全に低い値にはならない。この巡回係数用いて、合成した結果がＮ−１フレームの出力画像（図中の右）となる。またＮフレームの処理においても同様に処理を行う。その結果、Ｎ−１フレームとＮフレームの出力画像において、動いている被写体の左側に、前のフレームの出力画像でぼけている被写体の縁が残像として画像中に発生してしまう。   Therefore, when the cyclic coefficient is calculated as shown in FIG. 5, the cyclic coefficient does not become a completely low value. Using this cyclic coefficient, the synthesized result is an output image of N-1 frame (right in the figure). The same processing is performed in processing of N frames. As a result, in the output images of the N-1 frame and the N frame, the edge of the subject blurred in the output image of the previous frame is generated in the image on the left side of the moving subject.

以上述べたように本実施形態によれば、仮の巡回係数の低い値の領域を周辺に膨張したものを巡回係数として設定し合成することにより、動きのある被写体領域近辺で適正な合成比率制御をすることが可能となり、残像を抑制しつつも、巡回係数の小さい領域が過度に広がることを防ぎ、十分なノイズ低減効果を得ることができる。   As described above, according to the present embodiment, an appropriate composition ratio control is performed in the vicinity of a moving subject area by setting and synthesizing a cyclic coefficient obtained by expanding an area having a low value of a temporary cyclic coefficient around the area. Thus, while suppressing the afterimage, it is possible to prevent a region having a small cyclic coefficient from being excessively widened and obtain a sufficient noise reduction effect.

（変形例）
上述した実施形態においては、仮巡回係数が所定の閾値よりも低い値の画素からなる領域を膨張して、巡回係数として決定したが、巡回係数の決定方法はこれに限られるものではない。
図８に示すように、巡回係数決定部１５が、対象画素を含む所定範囲の仮巡回係数の中で最も低い仮巡回係数を対象画素の巡回係数として置き換えることにより、仮巡回係数が低い値の領域を膨張させることができる。 (Modification)
In the above-described embodiment, an area composed of pixels whose provisional cyclic coefficient is lower than a predetermined threshold value is expanded and determined as the cyclic coefficient. However, the cyclic coefficient determination method is not limited to this.
As shown in FIG. 8, the cyclic coefficient determination unit 15 replaces the lowest temporary cyclic coefficient in the predetermined range including the target pixel with the cyclic coefficient of the target pixel, so that the temporary cyclic coefficient has a low value. The region can be expanded.

なお、上記した実施形態において、仮巡回係数をメモリに保存し、そのまま膨張処理しても良いし、一旦縮小してメモリに保存し、拡大してから膨張することもできる。また、図９に示すように、仮巡回係数を縮小してメモリに保存した後、巡回係数決定部で膨張処理してから拡大させたものを巡回係数として利用することもできる。   In the above-described embodiment, the provisional cyclic coefficient may be stored in the memory and expanded as it is, or may be temporarily reduced and stored in the memory, and then expanded and expanded. Further, as shown in FIG. 9, after the temporary cyclic coefficient is reduced and stored in the memory, the expansion coefficient obtained by the expansion process by the cyclic coefficient determination unit can be used as the cyclic coefficient.

２ 画像取得部
３ 処理部
４ 画像蓄積部
１１ 動きベクトル算出部
１２ 動き補償部
１３ 信頼度算出部
１４ 仮巡回係数算出部
１５ 巡回係数決定部
１６ 空間フィルタ部
１７ 画像合成部 DESCRIPTION OF SYMBOLS 2 Image acquisition part 3 Processing part 4 Image storage part 11 Motion vector calculation part 12 Motion compensation part 13 Reliability calculation part 14 Temporary cyclic coefficient calculation part 15 Cyclic coefficient determination part 16 Spatial filter part 17 Image composition part

Claims (5)

フレーム画像を連続的に取得する画像取得部と、
該画像取得部により取得したフレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成する処理部と、
該処理部により生成された出力フレーム画像を蓄積する画像蓄積部と、を備え、
前記処理部が、
前記画像取得部により取得されたフレーム画像を基準フレーム画像とし、直前に出力された出力フレーム画像を参照フレーム画像として、前記基準フレーム画像の対象画素と、前記参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出する信頼度算出手段と、
前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる仮巡回係数を画素毎に算出する仮巡回係数算出手段と、
前記仮巡回係数に基づいて、該仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより各画素位置の巡回係数を決定する巡回係数決定手段と、
該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成する画像合成手段と、
を備える画像処理装置。 An image acquisition unit for continuously acquiring frame images;
A processing unit that generates an output frame image by performing predetermined processing on the frame image acquired by the image acquisition unit;
An image storage unit for storing the output frame image generated by the processing unit,
The processing unit is
The frame image acquired by the image acquisition unit is set as a reference frame image, the output frame image output immediately before is set as a reference frame image, and the target pixel of the reference frame image and the target pixel in the reference frame image are corresponded A reliability calculation means for calculating a reliability indicating the correlation with the corresponding pixel at the pixel position;
Temporary cyclic coefficient calculating means for calculating, for each pixel, a temporary cyclic coefficient that is a candidate value of a cyclic coefficient when combining the target pixel and the corresponding pixel based on the reliability;
Cyclic coefficient determining means for determining a cyclic coefficient at each pixel position by performing an expansion process on a region composed of pixels having the temporary cyclic coefficient lower than a predetermined value based on the temporary cyclic coefficient;
Image combining means for combining the predetermined pixel and the corresponding pixel based on the cyclic coefficient determined by the cyclic coefficient determination means;
An image processing apparatus comprising: 前記巡回係数決定手段が、各画素位置について、該各画素位置を含む所定領域の仮巡回係数のうち最も低い値を示すものを前記各画素位置の巡回係数として決定する請求項１に記載の画像処理装置。   2. The image according to claim 1, wherein the cyclic coefficient determination unit determines, for each pixel position, a value indicating the lowest value among the provisional cyclic coefficients of a predetermined region including each pixel position as a cyclic coefficient for each pixel position. Processing equipment. 前記巡回係数算出手段が、前記仮巡回係数の分布を示す仮巡回係数画像を生成し、該仮巡回係数画像を縮小し、縮小した仮巡回係数画像に膨張処理を行い、膨張処理を行った仮巡回係数画像を拡大し、拡大した仮巡回係数画像に基づいて巡回係数を決定する請求項１又は請求項２に記載の画像処理装置。   The cyclic coefficient calculation means generates a temporary cyclic coefficient image indicating the distribution of the temporary cyclic coefficients, reduces the temporary cyclic coefficient image, performs expansion processing on the reduced temporary cyclic coefficient image, and performs the temporary processing on which the expansion processing has been performed. The image processing apparatus according to claim 1, wherein the cyclic coefficient image is enlarged and the cyclic coefficient is determined based on the enlarged provisional cyclic coefficient image. フレーム画像を連続的に取得するステップと、
前記フレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、
生成された前記出力フレーム画像を蓄積するステップと、を備え、
前記出力フレーム画像を生成するステップが、
前記取得されたフレーム画像を基準フレーム画像とし、直前に出力された出力フレーム画像を参照フレーム画像として、基準フレーム画像の対象画素と、参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出するステップと、
前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる仮巡回係数を画素毎に算出するステップと、
前記仮巡回係数に基づいて、該仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより各画素位置の巡回係数を決定するステップと、
該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成するステップと、
をコンピュータに実行させる画像処理プログラム。 Continuously acquiring frame images;
Generating an output frame image by performing predetermined processing on the frame image;
Accumulating the generated output frame image, and
Generating the output frame image comprises:
Using the acquired frame image as a reference frame image, and the output frame image output immediately before as a reference frame image, a target pixel of the base frame image, and a corresponding pixel at a pixel position corresponding to the target pixel in the reference frame image Calculating a confidence level indicating the correlation of
Calculating, based on the reliability, a provisional cyclic coefficient that is a candidate value of a cyclic coefficient when combining the target pixel and the corresponding pixel for each pixel;
Determining a cyclic coefficient at each pixel position by performing an expansion process on a region composed of pixels having the temporary cyclic coefficient lower than a predetermined value based on the temporary cyclic coefficient;
Combining the predetermined pixel and the corresponding pixel based on the cyclic coefficient determined by the cyclic coefficient determination means;
An image processing program for causing a computer to execute. フレーム画像を連続的に取得するステップと、
前記フレーム画像に対して所定の処理を施すことにより出力フレーム画像を生成するステップと、
生成された前記出力フレーム画像を蓄積するステップと、を備え、
前記出力フレーム画像を生成するステップが、
前記取得されたフレーム画像を基準フレーム画像とし、直前に出力された出力フレーム画像を参照フレーム画像として、基準フレーム画像の対象画素と、参照フレーム画像における前記対象画素と対応する画素位置の対応画素との相関性を示す信頼度を算出するステップと、
前記信頼度に基づいて、前記対象画素と前記対応画素とを合成する際の巡回係数の候補値となる仮巡回係数を画素毎に算出するステップと、
前記仮巡回係数に基づいて、該仮巡回係数が所定の値よりも低い画素からなる領域に対して膨張処理を行うことにより各画素位置の巡回係数を決定するステップと、
該巡回係数決定手段により決定された前記巡回係数に基づいて、前記所定画素と前記対応画素とを合成するステップと、
を備える画像処理方法。
Continuously acquiring frame images;
Generating an output frame image by performing predetermined processing on the frame image;
Accumulating the generated output frame image, and
Generating the output frame image comprises:
Using the acquired frame image as a reference frame image, and the output frame image output immediately before as a reference frame image, a target pixel of the base frame image, and a corresponding pixel at a pixel position corresponding to the target pixel in the reference frame image Calculating a confidence level indicating the correlation of
Calculating, based on the reliability, a provisional cyclic coefficient that is a candidate value of a cyclic coefficient when combining the target pixel and the corresponding pixel for each pixel;
Determining a cyclic coefficient at each pixel position by performing an expansion process on a region composed of pixels having the temporary cyclic coefficient lower than a predetermined value based on the temporary cyclic coefficient;
Combining the predetermined pixel and the corresponding pixel based on the cyclic coefficient determined by the cyclic coefficient determination means;
An image processing method comprising:
JP2012131503A 2012-06-11 2012-06-11 Image processing apparatus, image processing method, and program Active JP5927053B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012131503A JP5927053B2 (en) 2012-06-11 2012-06-11 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012131503A JP5927053B2 (en) 2012-06-11 2012-06-11 Image processing apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2013258445A true JP2013258445A (en) 2013-12-26
JP5927053B2 JP5927053B2 (en) 2016-05-25

Family

ID=49954566

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012131503A Active JP5927053B2 (en) 2012-06-11 2012-06-11 Image processing apparatus, image processing method, and program

Country Status (1)

Country Link
JP (1) JP5927053B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016208307A (en) * 2015-04-23 2016-12-08 キヤノン株式会社 Image processing apparatus, control method therefor, and program
WO2021117148A1 (en) * 2019-12-10 2021-06-17 株式会社ソシオネクスト Image processing device, image processing method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08172551A (en) * 1994-12-19 1996-07-02 Matsushita Electric Ind Co Ltd Noise elimination device
WO2006025396A1 (en) * 2004-09-03 2006-03-09 Matsushita Electric Industrial Co., Ltd. Image processing device, and image processing program
JP2007274067A (en) * 2006-03-30 2007-10-18 Mitsubishi Electric Corp Noise eliminating apparatus, noise eliminating method, and video signal display
JP2010147840A (en) * 2008-12-19 2010-07-01 Sanyo Electric Co Ltd Image processing device and imaging apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08172551A (en) * 1994-12-19 1996-07-02 Matsushita Electric Ind Co Ltd Noise elimination device
WO2006025396A1 (en) * 2004-09-03 2006-03-09 Matsushita Electric Industrial Co., Ltd. Image processing device, and image processing program
JP2007274067A (en) * 2006-03-30 2007-10-18 Mitsubishi Electric Corp Noise eliminating apparatus, noise eliminating method, and video signal display
JP2010147840A (en) * 2008-12-19 2010-07-01 Sanyo Electric Co Ltd Image processing device and imaging apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016208307A (en) * 2015-04-23 2016-12-08 キヤノン株式会社 Image processing apparatus, control method therefor, and program
WO2021117148A1 (en) * 2019-12-10 2021-06-17 株式会社ソシオネクスト Image processing device, image processing method, and program
JPWO2021117148A1 (en) * 2019-12-10 2021-06-17
JP7480787B2 (en) 2019-12-10 2024-05-10 株式会社ソシオネクスト Image processing device, image processing method, and program

Also Published As

Publication number Publication date
JP5927053B2 (en) 2016-05-25

Similar Documents

Publication Publication Date Title
US9898803B2 (en) Image processing apparatus, image processing method, and recording medium storing image processing program
JP5974250B2 (en) Image processing apparatus, image processing method, image processing program, and recording medium
US9191589B2 (en) Image processing device
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
TW201127028A (en) Method and apparatus for image stabilization
US20120093231A1 (en) Image processing apparatus and image processing method
JP2010041064A (en) Image processing unit, image processing method, and program
JP5927051B2 (en) Image processing apparatus, image processing method, and program
JP6254938B2 (en) Image noise removing apparatus and image noise removing method
JP5081898B2 (en) Interpolated image generation method and system
JPWO2006025396A1 (en) Image processing apparatus and image processing program
JP2009081574A (en) Image processor, processing method and program
JP6017279B2 (en) Image processing apparatus, image processing method, and program
US20120002842A1 (en) Device and method for detecting movement of object
WO2015085922A1 (en) Method and apparatus for frame rate up-conversion
JP2005150903A (en) Image processing apparatus, noise elimination method, and noise elimination program
JP5927053B2 (en) Image processing apparatus, image processing method, and program
JP6242742B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP5490117B2 (en) Image processing device
JP2008245135A (en) Interpolation frame generating method and interpolation frame generating device
JP2011199349A (en) Unit and method for processing image, and computer program for image processing
KR100961456B1 (en) Method of motion estimation by using adaptive expanded block based on frame-difference
WO2011033675A1 (en) Image processing apparatus and image display apparatus
JP5085762B2 (en) Image processing apparatus and image processing method
JP2010141813A (en) Video processing apparatus and method of controlling video processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160425

R151 Written notification of patent or utility model registration

Ref document number: 5927053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250