JP6836495B2 - Image generator, image generation method and image generation program - Google Patents

Description

本発明は、画像生成装置、画像生成方法及び画像生成プログラムに関する。 The present invention relates to an image generator, an image generation method, and an image generation program.

従来のカメラは、光学系の開口時間を変更することによって、時間方向の画質である動きボケ及び重畳雑音を制御する。カメラが開口時間を短くすれば動きボケは低減するが、開口時間の短縮によって受光量が減少するため、重畳雑音は増加してしまう。このように、動きボケの低減と重畳雑音の低減とは、トレードオフの関係にある。つまり、雑音重畳を回避したい場合、従来のカメラは、動きボケを許容して一定の開口時間を確保する必要がある。動きボケを回避したい場合、従来のカメラは、雑音重畳を許容して開口時間を制限する必要がある。 A conventional camera controls motion blur and superimposed noise, which are image quality in the time direction, by changing the aperture time of the optical system. If the opening time of the camera is shortened, the motion blur is reduced, but the amount of received light is reduced by shortening the opening time, so that the superimposed noise is increased. As described above, there is a trade-off relationship between the reduction of motion blur and the reduction of superimposed noise. That is, when it is desired to avoid noise superposition, the conventional camera needs to allow motion blur and secure a certain opening time. If it is desired to avoid motion blur, the conventional camera needs to allow noise superposition and limit the opening time.

昨今の半導体技術の進歩を受け、高速度カメラにおける動画像のフレームレートが大きく向上している。高速度カメラにより取得された高フレームレート画像の用途は、画像再生時の高画質化と画像解析の高精度化とに分類される。 Due to recent advances in semiconductor technology, the frame rate of moving images in high-speed cameras has greatly improved. Applications of high frame rate images acquired by high-speed cameras are classified into high image quality during image reproduction and high accuracy in image analysis.

画像再生時の高画質化は、視覚系で検知可能（ディスプレイで表示可能）なフレームレートの上限に迫ることにより、滑らかな動きを表現することが目的である。このため、画像再生時の高画質化は、ディスプレイ装置での等速再生を前提としている。 The purpose of improving the image quality during image reproduction is to express smooth movement by approaching the upper limit of the frame rate that can be detected by the visual system (displayable on the display). Therefore, high image quality during image reproduction is premised on constant speed reproduction on a display device.

一方、画像解析の高精度化は、視覚の検知限を越えた高フレームレート画像を用いることにより、画像解析の高精度化を行うことが目的である。スポーツ選手、ＦＡ・検査、自動車等の高速移動物体のスロー再生による画像解析は、代表的な応用例である。 On the other hand, the purpose of improving the accuracy of image analysis is to improve the accuracy of image analysis by using a high frame rate image that exceeds the visual detection limit. Image analysis by slow reproduction of high-speed moving objects such as athletes, FA / inspection, and automobiles is a typical application example.

動画像の入力システムのフレームレートの上限と動画像の出力システムのフレームレートの上限とは非対称である。現在では、動画像の入力システムである高速度カメラのフレームレートの上限は、１００００ｆｐｓを超えている。一方、動画像の出力システムであるディスプレイ装置のフレームレートの上限は、１２０ｆｐｓから２４０ｆｐｓである。このため、高速度カメラで撮影された動画像は、スロー再生に用いられる（非特許文献１参照）。 The upper limit of the frame rate of the moving image input system and the upper limit of the frame rate of the moving image output system are asymmetric. At present, the upper limit of the frame rate of a high-speed camera, which is a moving image input system, exceeds 10,000 fps. On the other hand, the upper limit of the frame rate of the display device, which is a moving image output system, is 120 fps to 240 fps. Therefore, the moving image taken by the high-speed camera is used for slow reproduction (see Non-Patent Document 1).

A. Golwelkar and J. Woods. Motion-compensated temporal filtering and motion vector coding using biorthogonal filter. IEEE Trans. Circuits Syst. Video, Vol. CSVT-17, No.4, 2007.A. Golwelkar and J. Woods. Motion-compensated temporal filtering and motion vector coding using biorthogonal filter. IEEE Trans. Circuits Syst. Video, Vol. CSVT-17, No.4, 2007.

しかしながら、動きボケや雑音低減を目的とした画像生成処理では、画像生成装置が再生フレームレートでフレームをサンプリングすることが前提となっている。このため、従来の画像生成装置は、再生フレームレートよりも高い時間分解能ではフレームをサンプリングしていない。 However, in the image generation process for the purpose of reducing motion blur and noise, it is premised that the image generation device samples frames at the reproduction frame rate. For this reason, conventional image generators do not sample frames with a time resolution higher than the playback frame rate.

高フレームレート画像は、時間方向に高密度でサンプリングされたフレーム群を含んでいる。画像生成装置は、１０００Ｈｚ等の高密度時間サンプリングされたフレーム群を用いて３０Ｈｚ等の等速再生用の画像を生成した場合、動きボケが低減された等速再生用の画像を生成することが可能である。しかしながら、従来の画像生成装置は、動きボケ及び重畳雑音が低減された等速再生用の画像を生成することができない場合があった。 A high frame rate image contains a group of frames sampled at high density in the time direction. When the image generator generates an image for constant velocity reproduction such as 30 Hz using a frame group sampled at a high density time such as 1000 Hz, it can generate an image for constant velocity reproduction with reduced motion blur. It is possible. However, the conventional image generator may not be able to generate an image for constant velocity reproduction in which motion blur and superimposed noise are reduced.

上記事情に鑑み、本発明は、動きボケ及び重畳雑音が低減された等速再生用の画像を生成することが可能である画像生成装置、画像生成方法及び画像生成プログラムを提供することを目的としている。 In view of the above circumstances, an object of the present invention is to provide an image generation device, an image generation method, and an image generation program capable of generating an image for constant velocity reproduction in which motion blur and superimposed noise are reduced. There is.

本発明の一態様は、対象フレームと複数の参照フレームとを取得する動画像取得部と、前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出する検出部と、前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する重み生成部と、前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成する近似値生成部と、前記近似値に基づいて、前記対象画素の画素値を更新する更新処理部とを備える画像生成装置である。 One aspect of the present invention is based on a moving image acquisition unit that acquires a target frame and a plurality of reference frames, and a lower limit value of a degree of deviation between a region in the target frame and a region in the reference frame. A detection unit that detects a corresponding position in the reference frame for each target pixel in the frame, a weight generation unit that generates a weight coefficient of a pixel value for each reference pixel in the vicinity of the corresponding position, and a pixel of the reference pixel. It includes an approximate value generation unit that generates an approximate value of the pixel value of the target pixel based on the value and the weight coefficient, and an update processing unit that updates the pixel value of the target pixel based on the approximate value. It is an image generator.

本発明の一態様は、上記の画像生成装置であって、前記検出部は、前記乖離度の下限値に基づいて前記乖離度の最小値の探索を省略し、前記対応位置を検出する。 One aspect of the present invention is the above-mentioned image generation device, in which the detection unit omits the search for the minimum value of the degree of deviation based on the lower limit of the degree of deviation and detects the corresponding position.

本発明の一態様は、画像生成装置が実行する画像生成方法であって、対象フレームと複数の参照フレームとを取得するステップと、前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出するステップと、前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成するステップと、前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成するステップと、前記近似値に基づいて、前記対象画素の画素値を更新するステップとを含む画像生成方法である。 One aspect of the present invention is an image generation method executed by an image generation device, in which a step of acquiring a target frame and a plurality of reference frames and a gap between a region in the target frame and a region in the reference frame A step of detecting a corresponding position in the reference frame for each target pixel in the target frame based on the lower limit of the degree, and a step of generating a weighting coefficient of a pixel value for each reference pixel in the vicinity of the corresponding position. A step of generating an approximate value of the pixel value of the target pixel based on the pixel value of the reference pixel and the weight coefficient, and a step of updating the pixel value of the target pixel based on the approximate value. It is an image generation method including.

本発明の一態様は、コンピュータに、対象フレームと複数の参照フレームとを取得する手順と、前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出する手順と、前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する手順と、前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成する手順と、前記近似値に基づいて、前記対象画素の画素値を更新する手順とを実行させるための画像生成プログラムである。 One aspect of the present invention is based on a procedure for acquiring a target frame and a plurality of reference frames on a computer and a lower limit value of a degree of deviation between a region in the target frame and a region in the reference frame. A procedure for detecting a corresponding position in the reference frame for each target pixel in the frame, a procedure for generating a weighting coefficient of a pixel value for each reference pixel in the vicinity of the corresponding position, a pixel value of the reference pixel, and the above. It is an image generation program for executing a procedure of generating an approximate value of a pixel value of the target pixel based on a weighting coefficient and a procedure of updating a pixel value of the target pixel based on the approximate value. ..

本発明により、動きボケ及び重畳雑音が低減された等速再生用の画像を生成することが可能である。 According to the present invention, it is possible to generate an image for constant velocity reproduction in which motion blur and superimposed noise are reduced.

実施形態における、画像生成装置の構成の例を示す図である。It is a figure which shows the example of the structure of the image generation apparatus in embodiment. 実施形態における、画像生成装置の動作の例を示すフローチャートである。It is a flowchart which shows the example of the operation of the image generation apparatus in embodiment. 実施形態における、対応位置同定部の動作の第１例を示す図である。It is a figure which shows the 1st example of the operation of the corresponding position identification part in an embodiment. 実施形態における、対応位置同定部の動作の第１例を示すフローチャートである。It is a flowchart which shows the 1st example of the operation of the corresponding position identification part in embodiment. 実施形態における、対応位置同定部の動作の第２例を示す図である。It is a figure which shows the 2nd example of the operation of the corresponding position identification part in an embodiment. 実施形態における、対応位置同定部の動作の第２例を示すフローチャートである。It is a flowchart which shows the 2nd example of the operation of the corresponding position identification part in embodiment.

本発明の実施形態について、図面を参照して詳細に説明する。
図１は、画像生成装置１の構成の例を示す図である。画像生成装置１は、画像を生成する装置である。画像生成装置１は、動きボケ及び重畳雑音が低減された等速再生用の画像を生成する。 Embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram showing an example of the configuration of the image generation device 1. The image generation device 1 is a device that generates an image. The image generation device 1 generates an image for constant speed reproduction with reduced motion blur and superimposed noise.

画像生成装置１は、入力画像記憶部１０と、参照フレーム設定部１１と、局所近傍領域設定部１２と、対応位置同定部１３と、参照画素設定部１４と、重み設定部１５と、近似値生成部１６と、最終参照フレーム判定部１７と、画素値更新処理部１８と、最終画素判定部１９とを備える。 The image generation device 1 includes an input image storage unit 10, a reference frame setting unit 11, a local proximity region setting unit 12, a corresponding position identification unit 13, a reference pixel setting unit 14, a weight setting unit 15, and an approximate value. A generation unit 16, a final reference frame determination unit 17, a pixel value update processing unit 18, and a final pixel determination unit 19 are provided.

各機能部のうち一部又は全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部に記憶されたプログラムを実行することにより実現される。各機能部のうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアを用いて実現されてもよい。 A part or all of each functional unit is realized by, for example, a processor such as a CPU (Central Processing Unit) executing a program stored in the storage unit. A part or all of each functional unit may be realized by using hardware such as LSI (Large Scale Integration) or ASIC (Application Specific Integrated Circuit).

入力画像記憶部１０は、例えばフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などの不揮発性の記録媒体（非一時的な記録媒体）である。入力画像記憶部１０は、例えば、ＲＡＭ（Random Access Memory）やレジスタなどの揮発性の記録媒体を有してもよい。 The input image storage unit 10 is a non-volatile recording medium (non-temporary recording medium) such as a flash memory or an HDD (Hard Disk Drive). The input image storage unit 10 may have, for example, a volatile recording medium such as a RAM (Random Access Memory) or a register.

入力画像記憶部１０は、画像生成装置１に入力された画像データである入力画像を記憶する。入力画像記憶部１０は、フィルタリング処理の対象フレームと参照フレームとを、入力画像として記憶する。対象フレーム及び参照フレームは、高フレームレート（高い時間解像度）の動画像のフレームである。動画像の出力システムであるディスプレイ装置のフレームレートの上限が例えば２４０ｆｐｓである場合、高フレームレートは、例えば２４０ｆｐｓを超えるレートである。 The input image storage unit 10 stores an input image which is image data input to the image generation device 1. The input image storage unit 10 stores the target frame and the reference frame of the filtering process as an input image. The target frame and the reference frame are frames of a moving image having a high frame rate (high time resolution). When the upper limit of the frame rate of the display device which is the output system of the moving image is, for example, 240 fps, the high frame rate is a rate exceeding, for example, 240 fps.

参照フレーム設定部１１は、入力画像記憶部１０に記憶されている参照フレームの候補から、予め定められた順序に基づいて参照フレームを選択する。 The reference frame setting unit 11 selects reference frames from the reference frame candidates stored in the input image storage unit 10 based on a predetermined order.

局所近傍領域設定部１２は、対象フレーム内の処理対象の画素（以下「対象画素」という。）の局所近傍の領域（以下「局所近傍領域」という。）の画素を、対象フレームに設定する。以下、局所近傍の領域の画素を「局所近傍画素」という。 The local neighborhood region setting unit 12 sets the pixels of the region near the local region (hereinafter referred to as “local neighborhood region”) of the pixel to be processed (hereinafter referred to as “target pixel”) in the target frame to the target frame. Hereinafter, the pixels in the region near the local area are referred to as "local neighborhood pixels".

対応位置同定部１３は、局所近傍画素の画素値を、局所近傍領域設定部１２から取得する。対応位置同定部１３は、参照フレームの探索範囲の画素値を、入力画像記憶部１０から取得する。対応位置同定部１３は、対象フレーム内の対象画素について、参照フレーム内の対応点の位置である対応位置を同定する。対応位置同定部１３は、対応位置情報を参照画素設定部１４に出力する。 The corresponding position identification unit 13 acquires the pixel value of the local neighborhood pixel from the local neighborhood region setting unit 12. The corresponding position identification unit 13 acquires the pixel value of the search range of the reference frame from the input image storage unit 10. The corresponding position identification unit 13 identifies the corresponding position, which is the position of the corresponding point in the reference frame, with respect to the target pixel in the target frame. The corresponding position identification unit 13 outputs the corresponding position information to the reference pixel setting unit 14.

参照画素設定部１４は、対応位置情報を対応位置同定部１３から取得する。参照画素設定部１４は、参照フレーム内の対応位置の近傍の整数画素位置の画素を、参照画素と設定する。参照画素設定部１４は、予め定められた全ての参照フレーム内の対応位置の画素の局所近傍領域の画素値を、参照フレーム設定部１１から取得する。 The reference pixel setting unit 14 acquires the corresponding position information from the corresponding position identification unit 13. The reference pixel setting unit 14 sets a pixel at an integer pixel position in the vicinity of the corresponding position in the reference frame as a reference pixel. The reference pixel setting unit 14 acquires the pixel value of the local neighborhood region of the pixel at the corresponding position in all the predetermined reference frames from the reference frame setting unit 11.

重み設定部１５は、参照画素の局所近傍領域の画素値で対象画素の局所近傍領域内の画素値を近似した場合に近似誤差が最小となるように、参照画素の重み係数を定める。重み設定部１５は、参照画素の重み係数を近似値生成部１６に出力する。 The weight setting unit 15 determines the weight coefficient of the reference pixel so that the approximation error is minimized when the pixel value in the local neighborhood region of the reference pixel is approximated by the pixel value in the local neighborhood region of the target pixel. The weight setting unit 15 outputs the weight coefficient of the reference pixel to the approximate value generation unit 16.

近似値生成部１６は、参照画素値と参照画素の重み係数との加重和を、対象画素の画素値である対象画素値の近似値として算出する。近似値生成部１６は、対象画素値の近似値を最終参照フレーム判定部１７に出力する。 The approximation value generation unit 16 calculates the weighted sum of the reference pixel value and the weighting coefficient of the reference pixel as an approximation value of the target pixel value, which is the pixel value of the target pixel. The approximate value generation unit 16 outputs an approximate value of the target pixel value to the final reference frame determination unit 17.

最終参照フレーム判定部１７は、予め定められた全ての参照フレームについて対象画素値の近似値を算出する処理が終了したか否かを判定する。対象画素値の近似値を算出する処理がいずれかの参照フレームについて終了していない場合、参照画素設定部１４は、対象画素値の近似値を算出する処理を繰り返す。画素値更新処理部１８は、いずれかの画素に対する処理が終了していない場合、対象画素値の近似値を算出する処理を次の画素に対して実行する。 The final reference frame determination unit 17 determines whether or not the process of calculating the approximate value of the target pixel value for all the predetermined reference frames has been completed. When the process of calculating the approximate value of the target pixel value is not completed for any of the reference frames, the reference pixel setting unit 14 repeats the process of calculating the approximate value of the target pixel value. When the processing for any of the pixels is not completed, the pixel value update processing unit 18 executes the processing for calculating the approximate value of the target pixel value for the next pixel.

予め定められた全ての参照フレームについて対象画素値の近似値を算出する処理が終了した場合、画素値更新処理部１８は、予め定められた全ての参照フレームの近似値と対象画素値とを取得する。画素値更新処理部１８は、近似値及び対象画素値の平均値を算出する。画素値更新処理部１８は、近似値及び対象画素値の平均値を、対象画素値の更新値として最終画素判定部１９に出力する。すなわち、画素値更新処理部１８は、予め定められた全ての画素に対する処理が終了した場合、生成された画像（更新画素値）を最終画素判定部１９に出力する。 When the process of calculating the approximate value of the target pixel value for all the predetermined reference frames is completed, the pixel value update processing unit 18 acquires the approximate value and the target pixel value of all the predetermined reference frames. To do. The pixel value update processing unit 18 calculates an approximate value and an average value of the target pixel values. The pixel value update processing unit 18 outputs an approximate value and an average value of the target pixel values to the final pixel determination unit 19 as an update value of the target pixel value. That is, the pixel value update processing unit 18 outputs the generated image (updated pixel value) to the final pixel determination unit 19 when the processing for all the predetermined pixels is completed.

最終画素判定部１９は、対象フレームの最終画素まで画像が生成された場合、生成された画像（生成画像）を外部装置に出力する。 When the image is generated up to the final pixel of the target frame, the final pixel determination unit 19 outputs the generated image (generated image) to the external device.

次に、画像生成装置１の動作の例を説明する。
図２は、画像生成装置１の動作の例を示すフローチャートである。入力画像記憶部１０は、フィルタリング対象となる画像データを取得する。入力画像記憶部１０は、指定された対象フレームである第ｔフレームと、指定されたｒ_ｔ枚の参照フレームを記憶する。 Next, an example of the operation of the image generation device 1 will be described.
FIG. 2 is a flowchart showing an example of the operation of the image generation device 1. The input image storage unit 10 acquires image data to be filtered. The input image storage unit 10 stores a designated t-frame, which is a designated target frame, and a designated _rt number of reference frames.

各フレームは、時間フィルタの入力信号のフレーム間隔ｔ（＝ｊδ_ｔ（ｊ＝０，１，…））でサンプリングされる。ｆ（ｘ，ｙ，ｔ）（ｘ＝０，…，Ｘ−１, ｙ＝０，…，Ｙ−１）は、第ｔフレームの位置ｘ，ｙにおける画素値である（ステップＳ１）。 Each frame is sampled at the frame interval t (= jδ _t (j = 0, 1, ...)) Of the input signal of the time filter. f (x, y, t) (x = 0, ..., X-1, y = 0, ..., Y-1) is a pixel value at the position x, y of the t-th frame (step S1).

参照フレーム設定部１１は、取得された画像データのフレーム内の全ての対象画素に対して、ステップＳ３からステップＳ１１までの処理を繰り返す（ステップＳ２）。 The reference frame setting unit 11 repeats the processes from step S3 to step S11 for all the target pixels in the frame of the acquired image data (step S2).

局所近傍領域設定部１２は、対象画素に対して局所近傍画素を設定する。局所近傍領域設定部１２は、対象フレーム内の対象画素ｆ（ｘ，ｙ，ｔ）に対する局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）として、（２ｂ_ｘ＋１）×（２ｂ_ｙ＋１）×（２ｂ_ｔ＋１）画素から成る領域｛ｆ（ｘ−ｉ，ｙ−ｊ，ｔ−ｋ）｜ｉ∈［−ｂ_ｘ，ｂ_ｘ］，ｊ∈［−ｂ_ｙ，ｂ_ｙ］，ｋ∈［−ｂ_ｔ，ｂ_ｔ］｝を設定する。 The local neighborhood region setting unit 12 sets the local neighborhood pixel with respect to the target pixel. Local neighborhood region setting unit 12, the target pixel f in the target frame (x, y, t) as a local neighborhood region _F b (x, y, t) _{for, (2b x +1) × (} 2b y +1) × ( 2b _t +1) consists of the pixel region {f (x-i, y -j, t-k) | i∈ [-b x, b x], j∈ [-b y, b y], k∈ [- _bt , _bt ]} is set.

局所近傍領域設定部１２は、ｒ_ｔ枚の各参照フレームに対して、ステップＳ５からステップＳ８までの処理を実行する。局所近傍領域設定部１２は、処理対象とする参照フレーム（ｔ−ｒ_ｔフレーム）を、１，…，ｒ_ｔの順に設定する。つまり、局所近傍領域設定部１２は、対象フレームから近い参照フレームを優先して処理に使用する（ステップＳ３）。 The local neighborhood region setting unit 12 executes the processes from step S5 to step S8 for each _{rt number of reference frames.} Local neighborhood region setting unit 12, reference frame to be processed the _{(t-r t} frame), 1, ..., set in the order of _{r t.} That is, the local neighborhood region setting unit 12 preferentially uses the reference frame close to the target frame for processing (step S3).

画像生成装置１は、参照フレーム内の全ての参照画素に対して、ステップＳ５からステップＳ９までの処理を繰り返す（ステップＳ４）。 The image generation device 1 repeats the processes from step S5 to step S9 for all the reference pixels in the reference frame (step S4).

対応位置同定部１３は、局所近傍画素の画素値と参照フレームの探索範囲の画素値とを取得する。対応位置同定部１３は、参照フレーム内の対応位置を同定し、同定された対応位置情報を取得する（ステップＳ５）。 The corresponding position identification unit 13 acquires the pixel value of the local neighborhood pixel and the pixel value of the search range of the reference frame. The corresponding position identification unit 13 identifies the corresponding position in the reference frame and acquires the identified corresponding position information (step S5).

参照画素設定部１４は、対応位置情報に基づいて、対応位置の近傍の整数画素位置の画素（近傍画素）を参照画素として設定する（ステップＳ６）。 The reference pixel setting unit 14 sets a pixel (neighboring pixel) at an integer pixel position near the corresponding position as a reference pixel based on the corresponding position information (step S6).

重み設定部１５は、全ての参照画素の局所近傍領域の画素値と対象画素の局所近傍領域内の画素値とに基づいて、参照画素の重み係数を算出する。重み設定部１５は、参照画素の局所近傍領域の画素値で対象画素の局所近傍領域内の画素値を近似した場合に近似誤差が最小となるように、参照画素の重み係数を算出する（ステップＳ７）。 The weight setting unit 15 calculates the weight coefficient of the reference pixel based on the pixel value in the local neighborhood region of all the reference pixels and the pixel value in the local neighborhood region of the target pixel. The weight setting unit 15 calculates the weighting coefficient of the reference pixel so that the approximation error is minimized when the pixel value in the local neighborhood region of the reference pixel is approximated by the pixel value in the local neighborhood region of the target pixel (step). S7).

近似値生成部１６は、参照画素値と参照画素の重み係数との加重和を、対象画素値の近似値として算出する（ステップＳ８）。 The approximation value generation unit 16 calculates the weighted sum of the reference pixel value and the weighting coefficient of the reference pixel as an approximation value of the target pixel value (step S8).

最終参照フレーム判定部１７は、予め定められた全ての参照フレームについて対象画素値の近似値を算出する処理が終了したか否かを判定する。対象画素値の近似値を算出する処理がいずれかの参照フレームについて終了していない場合、最終参照フレーム判定部１７は、ステップＳ２に処理を戻す（ステップＳ９）。 The final reference frame determination unit 17 determines whether or not the process of calculating the approximate value of the target pixel value for all the predetermined reference frames has been completed. If the process of calculating the approximate value of the target pixel value is not completed for any of the reference frames, the final reference frame determination unit 17 returns the process to step S2 (step S9).

画素値更新処理部１８は、予め定められた全ての参照フレームについて対象画素値の近似値を算出する処理が終了した場合、取得された画像データの全ての参照フレームの近似値及び対象画素値の平均値を、対象画素値の更新値として最終画素判定部１９に出力する（ステップＳ１０）。 When the process of calculating the approximate value of the target pixel value for all the predetermined reference frames is completed, the pixel value update processing unit 18 determines the approximate value and the target pixel value of all the reference frames of the acquired image data. The average value is output to the final pixel determination unit 19 as an update value of the target pixel value (step S10).

最終画素判定部１９は、取得された画像データの対象フレーム内の全ての対象画素について処理が終了したか否かを判定する。すなわち、最終画素判定部１９は、対象フレームの最終画素まで画像が生成されたか否かを判定する。最終画素判定部１９は、対象フレームの最終画素まで画像が生成されていない場合、ステップＳ２に処理を戻す。最終画素判定部１９は、対象フレームの最終画素まで画像が生成された場合、生成された画像を外部装置に出力する（ステップＳ１１）。 The final pixel determination unit 19 determines whether or not the processing has been completed for all the target pixels in the target frame of the acquired image data. That is, the final pixel determination unit 19 determines whether or not an image has been generated up to the final pixel of the target frame. The final pixel determination unit 19 returns the process to step S2 when the image has not been generated up to the final pixel of the target frame. When an image is generated up to the final pixel of the target frame, the final pixel determination unit 19 outputs the generated image to an external device (step S11).

次に、図２のステップＳ５の詳細を説明する。
図３は、対応位置同定部１３の動作の第１例を示す図である。
図４は、対応位置同定部１３の動作の第１例を示すフローチャートである。 Next, the details of step S5 of FIG. 2 will be described.
FIG. 3 is a diagram showing a first example of the operation of the corresponding position identification unit 13.
FIG. 4 is a flowchart showing a first example of the operation of the corresponding position identification unit 13.

対応位置同定部１３は、局所近傍領域Ｆ_ｂ（ｘ，ｙ）と対応点の局所近傍領域との差分二乗和が最小値となる対応点を、式（１）のように参照フレーム内において同定する。 The corresponding position identification unit 13 identifies the _{corresponding point in the reference frame in which the sum of the squares of the differences between the local neighborhood region F b} (x, y) and the local neighborhood region of the corresponding point is the minimum value, as in Eq. (1). To do.

ここで、差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ）は、式（２）のように表される。 Here, sum of squared differences _{e (v x, v y,} r t) is expressed by formula (2).

式（２）は、差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ−１）が最小値となる対応点の位置（Ｖ（ｘ，ｔ’−ｒ_ｔ＋１），Ｖ（ｙ，ｔ’−ｒ_ｔ＋１））を探索中心とした処理を表す。ｒ_ｔは、局所近傍領域Ｆ_ｂ（ｘ，ｙ）から参照フレームまでの時間間隔を表す。（ｖ_ｘ，ｖ_ｙ）は、探索中心に対する変位量を表す。対象画素位置に対する変位量は、式（３）のように表される。 Equation (2), the difference square sum _{e (v x, v y,} r t -1) position of the corresponding point becomes the minimum value _{(V (x, t'-r} t +1), V (y, t ' -r _t +1)) represents a process that was used as a search center. r _t represents the time interval between the reference frame from the local neighborhood region _F b (x, y). _(V x, _{v y)} represents the amount of displacement for the search center. The amount of displacement with respect to the target pixel position is expressed by the equation (3).

ここで、ｒｏｕｎｄ（）は、四捨五入によって整数値化された結果を返す関数である。対応位置同定部１３は、（１／４）画素精度で対応点を探索する。対応位置同定部１３は、小数画素位置の値を、バイリニア（bilinear）補間で取得する。 Here, round () is a function that returns the result of rounding to an integer value. The corresponding position identification unit 13 searches for a corresponding point with (1/4) pixel accuracy. The corresponding position identification unit 13 acquires the value of the decimal pixel position by bilinear interpolation.

閾値θ_ｅに対して、差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ）＞θ_ｅとなる場合、対応位置同定部１３は、適切な対応点が存在しないものと判定し、（ｖ_ｘ，ｖ_ｙ）を設定しない。閾値θ_ｅは、外部パラメータとして設定される。 Against a threshold theta _e, sum of squared differences _{e (v x, v y)} > If the theta _e, the corresponding position identifying unit 13 determines that the appropriate corresponding points does not _{exist, (v} x, _{v y} ) Is not set. The threshold θ _e is set as an external parameter.

以下では、ｇ（ｘ’−ｖ_ｘ，ｙ’−ｖ_ｙ，ｔ’）＝ｆ（ｘ’−ｖ_ｘ，Ｖ（ｘ，ｔ’＋１），ｙ’−ｖ_ｙ，Ｖ（ｙ，ｔ’＋１），ｔ’）が成り立つ。差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ）は、式（５）のように表される。 In the following, g (x'-v _x , y'-v _y , t') = f (x'-v _x , V (x, t'+ 1), y'-v _y , V (y, t' +1), t') holds. Sum of squared differences _{e (v x, v y,} r t) is expressed by the following equation (5).

以下では、変位量ｖ_ｘと変位量ｖ_ｙと参照位置ｒ_ｔとについて、乖離度Ｓ_ｋ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)（ｋ＝０，…，２ｂ_ｔ）を「第ｋの部分フレーム間差分」という。対応位置同定部１３は、第ｋの部分フレーム間差分Ｓ_０(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)，Ｓ_１(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)，…，Ｓ_２ｂｔ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)を取得する。差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ＋１）は、式（６）のように表される。 In the following, a displacement _{v x} and displacement _{v y} and the reference position _{r t,} deviance _{S k (v x, v y} , r t) (k = 0, ..., 2b t) to "portion of the k It is called "difference between frames". Corresponding position identification unit 13, partial frame difference _{S 0} of the _{k (v x, v y,} r t), S 1 (v x, v y, r t), ..., S 2bt (v x, v y , R _t ). Sum of squared differences _{e (v x, v y,} r t +1) is expressed by the equation (6).

対応位置同定部１３は、Ｓ_０(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)，Ｓ_１(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)，…，Ｓ_２ｂｔ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)のうちのＳ_０(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)を除くＳ_１(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)，…，Ｓ_２ｂｔ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)の下限値を算出する。対応位置同定部１３は、第０の部分フレーム間差分Ｓ_０(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)を式（７）のように算出する。 Corresponding position identification unit _{13, S 0 (v x, v} y, r t), S 1 (v x, v y, r t), ..., S 2bt (v x, v y, r t) of the _{S 0 (v x, v y} , r t) S 1 , except for _{(v x, v y, r} t), ..., to calculate the lower limit of the _{S 2bt (v x, v y} , r t). Corresponding position identification unit 13, between the 0th partial frame difference _{S 0 (v x, v y} , r t) to be calculated as in Equation (7).

ここで、式（８）が成立する。 Here, the equation (8) holds.

対応位置同定部１３は、式（９）に基づいて、第１の部分フレーム間差分Ｓ_１(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)の下限値を算出する。 Corresponding position identification unit 13, based on the equation (9), calculates the lower limit value between the first partial frame difference _{S 1 (v x, v y} , r t).

同様に、対応位置同定部１３は、第（ｋ＋１）の部分フレーム間差分Ｓ_ｋ＋１(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ＋１)の下限値を算出する。なお、ｋ＝０，…，ｔ＋２_ｂｔ−１，ｔ’＝ｔ−ｂ_ｔ，…，ｔ＋ｂ_ｔ−１である。 Similarly, the corresponding position identifying unit 13 calculates the lower limit value of the (k + 1) partial frame difference _{S k + 1} of the _{(v x, v y, r} t +1). _{Note, k = 0, ..., t} + 2 bt -1, t '= t-b t, ..., a t _{+ b} t -1.

ここで、Ｑ（ｔ’）は、局所近傍領域におけるフレーム間差分の絶対値和である。Ｑ（ｔ’）が探索領域の画素値に依存しない値であるため、対応位置同定部１３は、ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ＋１）の最小値を探索する前に、Ｑ（ｔ’）を算出する。対応位置同定部１３は、Ｑ（ｔ’）を記憶部に記録する。対応位置同定部１３は、差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ）の最小値を探索した際、第ｋの部分フレーム間差分Ｓ_ｋ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ＋１)を記憶部に記録する。差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ＋１）の下限値は、式（３）に基づいて式（１１）のように表される。 Here, Q (t') is the sum of the absolute values of the differences between frames in the local neighborhood region. For Q (t ') is a value that does not depend on the pixel values of the search area, the corresponding position identification unit _{13, e (v x, v y} , r t +1) before searching the minimum, Q (t ') Is calculated. The corresponding position identification unit 13 records Q (t') in the storage unit. Corresponding position identification unit 13, a difference square sum _{e (v x, v y,} r t) when searching the minimum value of the partial frame difference _{S k} of the _{k (v x, v y,} r t +1) of Record in the storage. The lower limit of sum of squared differences _{e (v x, v y,} r t +1) is expressed by the equation (11) based on equation (3).

対応位置同定部１３は、式（１２）を算出する。 The corresponding position identification unit 13 calculates the equation (12).

ここで、式（１３）が成立する。 Here, the equation (13) holds.

対応位置同定部１３は、算出されたＱ（ｔ’）と式（１３）とに基づいて、差分二乗和ｅ（ｖ_ｘ’，ｖ_ｙ’，ｒ_ｔ＋１）の最小値を同定する。 Corresponding position identification unit 13, 'based on the equation (13), sum of squared differences e _{(v x} calculated _{Q (t)', v y} ', r t +1) identifying a minimum value of.

式（１３）において、第ｋの部分フレーム間差分Ｓ_ｋ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)（ｋ＝０，…，２_ｂｔ）が全て算出されている場合、対応位置同定部１３は、式（１１）に基づいて、差分二乗和ｅ（ｖ_ｘ，ｖ_ｙ，ｒ_ｔ＋１）の下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)を算出する。対応位置同定部１３は、最小値の同定処理におけるｅ（ｖ_ｘ’，ｖ_ｙ’，ｒ_ｔ＋１）の暫定最小値と下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)との大小を比較する。 In the formula (13), partial frame difference _{S k} of the _{k (v x, v y,} r t) (k = 0, ..., 2 bt) If is calculated every corresponding position identification unit 13, based on the equation (11), calculates a difference square sum _{e (v x, v y,} r t +1) lower limit ~ e of _{(v 'x, v' y} , r t +1) a. Corresponding position identification unit 13, e in the process of identifying the minimum value _{(v x ', v y'} , r t +1) temporary minimum value and the lower limit value ~ e of _{(v 'x, v' y} , r t +1) and Compare the size of.

差分二乗和の下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値よりも大きい場合、ｅ（ｖ_ｘ’，ｖ_ｙ’，ｒ_ｔ＋１）が暫定最小値よりも小さくなることはない。差分二乗和の下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値以下である場合、差分二乗和ｅ（ｖ_ｘ’，ｖ_ｙ’，ｒ_ｔ＋１）が暫定最小値よりも小さくなることがあるので、対応位置同定部１３は、算出されたｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)とｅ（ｖ_ｘ’，ｖ_ｙ’，ｒ_ｔ＋１）の暫定最小値との大小を比較する。 Lower limit value ~ e of the sum of squared differences _{(v 'x, v' y} , r t +1) is larger than the temporary minimum _{value, e (v x ', v} y', r t +1) than the temporary minimum value It never gets smaller. If the lower limit value ~ e of the sum of squared differences _{(v 'x, v' y} , r t +1) is equal to or less than the provisional minimum value, sum of squared differences _{e (v x ', v y} ', r t +1) interim minimum since it may be less than the value, the corresponding position identification unit 13, the calculated _{e (v 'x, v'} y, r t +1) and _{e (v x ', v y} ', r t +1) of Compare the magnitude with the provisional minimum value.

対応位置同定部１３は、ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値よりも小さい場合、暫定最小値をｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)に更新する（ステップＳ５−１からステップＳ５−１０まで）。 Corresponding position identification unit 13, if _{e (v 'x, v'} y, r t +1) is smaller than the temporary minimum value, updates the temporary minimum value _{e (v 'x, v'} y, r t +1) to (Steps S5-1 to S5-10).

図５は、対応位置同定部１３の動作の第２例を示す図である。
図６は、対応位置同定部１３の動作の第２例を示すフローチャートである。図６では、図４と比較して、ステップＳ５−１１からステップＳ５−１３までのステップが、ステップＳ５−３とステップＳ５−４との間に追加されている。 FIG. 5 is a diagram showing a second example of the operation of the corresponding position identification unit 13.
FIG. 6 is a flowchart showing a second example of the operation of the corresponding position identification unit 13. In FIG. 6, as compared with FIG. 4, the steps from step S5-11 to step S5-13 are added between steps S5-3 and S5-4.

式（１３）において、第ｋの部分フレーム間差分Ｓ_ｋ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)（ｋ＝０，…，２_ｂｔ）のうちの一部が算出されており、算出されていないＳ_ｋ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ)を参照することができない場合、対応位置同定部１３は、ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)を算出し、ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)と暫定最小値との大小を比較する。また、対応位置同定部１３は、後段の処理のため、Ｓ_ｋ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ＋１)を記憶部に記録する。 In the formula (13), partial frame difference _{S k} of the _{k (v x, v y,} r t) (k = 0, ..., 2 bt) part are calculated among, not calculated If _{S k (v x, v y} , r t) can not refer to the corresponding position identification unit 13 calculates the _{e (v 'x, v'} y, r t +1), e (v 'x , v _'y, to compare the magnitude of a _r t +1) and the provisional minimum value. Further, a corresponding position identification unit 13, for subsequent _{processing, S k (v x, v} y, r t +1) is recorded in the storage unit.

ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値よりも小さい場合、対応位置同定部１３は、暫定最小値をｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)で置換する。Ｓ_ｋ(ｖ_ｘ，ｖ_ｙ，ｒ_ｔ）が算出されている場合、対応位置同定部１３は、式（１１）に基づいて、差分二乗和の下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)を算出し、差分二乗和の下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)と最小値の同定処理における暫定最小値との大小を比較する。 If _{e (v 'x, v'} y, r t +1) is smaller than the temporary minimum value, the corresponding position identification unit 13, replacing the temporary minimum value _{e (v 'x, v'} y, r t +1) To do. If _{S k (v x, v y} , r t) is calculated, the corresponding position identification unit 13, based on the equation (11), the lower limit of the sum of squared differences _{~ e (v 'x, v} ' y calculates a r t _+1), the lower limit _{~ e (v 'x, v} ' of the sum of squared differences _y, compares the magnitude of the temporary minimum value in the identification process of r t ₊₁₎ and the minimum value.

差分二乗和の下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値よりも大きい場合、ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)は、暫定最小値よりも小さくなることはない。差分二乗和の下限値~ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値以下である場合、ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値よりも小さくなることがあるので、対応位置同定部１３は、算出されたｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)とｅ（ｖ_ｘ’，ｖ_ｙ’，ｒ_ｔ＋１）の暫定最小値との大小を比較する。 Lower limit value ~ e of the sum of squared differences _{(v 'x, v' y} , r t +1) is larger than the temporary minimum _{value, e (v 'x, v} ' y, r t +1) , from the provisional minimum value Will never get smaller. Lower limit value ~ e of the sum of squared differences _{(v 'x, v' y} , r t +1) case is equal to or less than the provisional minimum _{value, e (v 'x, v} ' y, r t +1) than the temporary minimum value since it may become smaller, the corresponding position identification unit 13, the calculated _{e (v 'x, v'} y, r t +1) and _{e (v x ', v y} ', r t +1) temporary minimum value of Compare the size with.

対応位置同定部１３は、差分二乗和ｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)が暫定最小値よりも小さい場合、暫定最小値をｅ(ｖ’_ｘ，ｖ’_ｙ，ｒ_ｔ＋１)に更新する（ステップＳ５−１からステップＳ５−１３まで）。 Corresponding position identification unit 13, a difference square sum _{e (v 'x, v'} y, r t +1) If less than the temporary minimum value, the temporary minimum value _{e (v 'x, v'} y, r t +1 ) (From step S5-1 to step S5-13).

次に、図２のステップＳ６及びステップＳ７の詳細を説明する。
式（３）における、第（ｔ−ｒｔ）フレームにおける対応位置での画素（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ），ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ））と、その近傍に位置する画素（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ）＋１，ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ）），（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ），ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ）＋１），（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ）＋１，ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ）＋１）とについて、各々の局所近傍領域を考える。 Next, the details of step S6 and step S7 of FIG. 2 will be described.
In equation (3), and the pixel at the corresponding position in the (t-rt) frame _{(x-V (x, t} -r t), y-V (y, t-r t)), located in the vicinity thereof Pixels (x-V (x, tr _t ) + 1, y-V (y, tr _t )), (x-V (x, tr _t ), y-V (y, t-) _{r t) +1), (x} -V (x, t-r t) + 1, y-V (y, for _{t-r t)} +1) and consider each of the local neighborhood area.

参照画素設定部１４は、各近傍領域に含まれる画素をラスター走査順に一元化して、（２ｂ_ｘ＋１）×（２ｂ_ｙ＋１）×（２ｂ_ｔ＋１）次元ベクトルの各ベクトルを算出する。（２ｂ_ｘ＋１）×（２ｂ_ｙ＋１）×（２ｂ_ｔ＋１）次元ベクトルの各ベクトルは、Ｒ_０（ｘ，ｙ，ｔ−ｒｔ）と、Ｒ_１（ｘ，ｙ，ｔ−ｒｔ）と、Ｒ_２（ｘ，ｙ，ｔ−ｒｔ）と、Ｒ_３（ｘ，ｙ，ｔ−ｒｔ）とである。例えば、Ｒ_０（ｘ，ｙ，ｔ−ｒｔ）の要素は、式（１４）のように表される。 Reference pixel setting section 14 centralizes pixels included in each region near the raster scan order, calculating each vector of _{(2b x +1) × (2b} y +1) × (2b t +1) dimensional vector. Each vector of _{(2b x +1) × (2b} y +1) × (2b t +1) dimensional _{vector, R 0 (x, y,} t-rt) _{and, R 1 (x, y,} t-rt) and, R ₂ (x, y, t-rt) and R ₃ (x, y, t-rt). For example, the element of R ₀ (x, y, t-rt) is expressed by the equation (14).

近似値生成部１６は、Ｒ_０（ｘ，ｙ，ｔ−ｒ_ｔ）と、Ｒ_１（ｘ，ｙ，ｔ−ｒ_ｔ）と、Ｒ_２（ｘ，ｙ，ｔ−ｒ_ｔ）と、Ｒ_３（ｘ，ｙ，ｔ−ｒ_ｔ）との加重和で、対象画素の局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）を近似する。近似誤差電力Ｅは、式（１５）のように表される。 The approximate value generation unit 16 includes R ₀ (x, y, tr _t ), R ₁ (x, y, tr _t ), R ₂ (x, y, tr _t ), and R. ₃ (x, y, tr _t ) is a weighted sum _{to approximate the local neighborhood region F b} (x, y, t) of the target pixel. The approximate error power E is expressed by the equation (15).

重み設定部１５は、近似誤差電力Ｅ（ｘ，ｙ，ｔ−ｒｔ）を最小化する重み係数ｗ_０，ｗ_１，ｗ_２，ｗ_３を算出する。重み設定部１５は、重み係数ｗ_０，ｗ_１，ｗ_２を、式（１６）に基づいて算出する。 The weight setting unit 15 calculates _{weight coefficients w 0} , w ₁ , w ₂ , and w ₃ that minimize the approximate error power E (x, y, t-rt). The weight setting unit 15 _{calculates the weight coefficients w 0} , w ₁ , and w ₂ based on the equation (16).

ここで、ｉ，ｊ＝０，１，２に対して、ベクトルの内積値は、式（１７）のように表される。 Here, for i, j = 0,1,2, the internal product value of the vector is expressed as in Eq. (17).

ここで、肩付のｔは転置を表す。重み設定部１５は、式（７）に示された重み係数ｗ_０，ｗ_１，ｗ_２を用いて、式（１８）のように重み係数ｗ_３を算出する。 Here, t with a shoulder represents transposition. The weight setting unit 15 calculates the _{weight coefficient w 3} as in the equation (18) by using _{the weight coefficients w 0} , w ₁ , and w ₂ shown in the equation (7).

式（１８）は、重み係数の和が１になるという制約条件の下で近似誤差電力を最小化した結果である。重み係数の和に関して制約条件が設けられていない場合、重み係数は式（１９）のように表される。 Equation (18) is the result of minimizing the approximate error power under the constraint that the sum of the weighting coefficients is 1. When no constraint is provided on the sum of the weighting coefficients, the weighting coefficients are expressed as in Eq. (19).

ここで、ｉ，ｊ＝０，１，２，３に対して、ベクトルの内積値は、式（２０）のように表される。肩付のｔは転置を表す。 Here, for i, j = 0,1,2,3, the inner product value of the vector is expressed by the equation (20). The t on the shoulder represents transposition.

次に、図２のステップＳ８の詳細を説明する。
近似値生成部１６は、式（１９）に示された重み係数を各参照画素の画素値に式（２１）のように乗算することによって、対象画素値の近似値を算出する。近似値生成部１６は、局所近傍領域単位で画素値に重み係数を乗じるのではなく、画素単位で画素値に重み係数を乗じる。 Next, the details of step S8 of FIG. 2 will be described.
The approximation value generation unit 16 calculates an approximation value of the target pixel value by multiplying the pixel value of each reference pixel by the weighting coefficient shown in the equation (19) as in the equation (21). The approximation value generation unit 16 does not multiply the pixel value by the weight coefficient in the local neighborhood region unit, but multiplies the pixel value by the weight coefficient in the pixel unit.

ここで、ｒ_ｉ（ｘ，ｙ，ｔ−ｒ_ｔ）（ｉ＝０，１，２，３）は、式（２２）のように表される。近似値生成部１６は、ｒ_ｔ枚の参照フレーム（第（ｔ−ｒ_ｔ）フレーム、（ｔ＝１，…，ｒ_ｔ））に対する参照画素値を、式（２２）のように算出する。 _{Here, r i (x, y,} t-r t) (i = 0,1,2,3) is expressed by the equation (22). Approximate value generating unit 16, _{r t} reference frames (the _{(t-r t) frame, (t = 1, ...,} r t)) of the reference pixel values for, is calculated as Equation (22).

次に、図２のステップＳ１０の詳細を説明する。
画素値更新処理部１８は、式（２２）のように表されるｒ_ｔ枚の参照フレームに対する参照画素値に基づいて、式（２３）のように対象画素値を更新する。 Next, the details of step S10 of FIG. 2 will be described.
The pixel value update processing unit 18 updates the target pixel value as in the equation (23) based on the reference pixel value for the _{rt number of reference frames expressed as in the equation (22).}

係数ａ_ｋの第１の設定例は、式（２４）及び式（２５）のように表される。 The first setting example of the coefficient _ak is expressed as the equation (24) and the equation (25).

係数ａ_ｋの第１の設定例は、式（２６）及び式（２７）のように表される。 The first setting example of the coefficient _ak is expressed by the equations (26) and (27).

ここで、画素値更新処理部１８は、各ｘ，ｙ，ｔに対して、｜ｆ（ｘ，ｙ，ｔ）−^ｆ（ｘ，ｙ，ｔ，ｌ_ｔ）｜＜ψを満たすサンプル数として、ｒ’_ｔ（ｘ，ｙ，ｔ）を定める。なお、ｒ’_ｔ（ｘ，ｙ，ｔ）の値域は、ｒ_ｔ≦ｒ’ｔ（ｘ，ｙ，ｔ）≦ｒ_ｔである。変数ψは、外部から与えられる閾値パラメータである。 Here, the pixel value update processing unit 18 has a number of samples satisfying | f (x, y, t) − ^ f (x, y, t, l _t ) | <ψ for each x, y, t. _R't (x, y, t) is defined as. Incidentally, the range of the _{r 't (x, y,} t) is _{r t ≦ r't (x, y} , t) ≦ r t. The variable ψ is a threshold parameter given from the outside.

係数ａ_ｋの第３の設定例は、式（２８）及び式（２９）のように表される。ここで、εは、ゼロ除算を回避するために付与された微小量である。 A _{third example of setting the coefficient ak} is expressed as in equations (28) and (29). Here, ε is a minute amount given to avoid division by zero.

以上のように、実施形態の画像生成装置１は、入力画像記憶部１０（動画像取得部）と、対応位置同定部１３（検出部）と、重み設定部１５（重み生成部）と、近似値生成部１６（近似値生成部）と、画素値更新処理部１８（更新処理部）とを備える。入力画像記憶部１０は、対象フレームと複数の参照フレームとを取得する。対応位置同定部１３は、対象フレーム内の領域と参照フレーム内の領域との乖離度の下限値に基づいて乖離度の最小値の探索を省略し、対象フレーム内の対象画素ごとに参照フレーム内の対応位置を検出する。重み設定部１５は、対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する。近似値生成部１６は、参照画素の画素値と重み係数とに基づいて、対象画素の画素値の近似値を生成する。画素値更新処理部１８は、近似値に基づいて、対象画素の画素値を更新する。 As described above, the image generation device 1 of the embodiment is approximated by the input image storage unit 10 (moving image acquisition unit), the corresponding position identification unit 13 (detection unit), and the weight setting unit 15 (weight generation unit). It includes a value generation unit 16 (approximate value generation unit) and a pixel value update processing unit 18 (update processing unit). The input image storage unit 10 acquires the target frame and a plurality of reference frames. The corresponding position identification unit 13 omits the search for the minimum value of the degree of deviation based on the lower limit of the degree of deviation between the area in the target frame and the area in the reference frame, and in the reference frame for each target pixel in the target frame. Detects the corresponding position of. The weight setting unit 15 generates a pixel value weighting coefficient for each reference pixel in the vicinity of the corresponding position. The approximation value generation unit 16 generates an approximation value of the pixel value of the target pixel based on the pixel value of the reference pixel and the weighting coefficient. The pixel value update processing unit 18 updates the pixel value of the target pixel based on the approximate value.

すなわち、実施形態の画像生成装置１は、入力された画像信号について参照フレーム内の対応位置を同定する際、同じ時空間領域内の異なるフレームに属する領域間の第１乖離度を算出する。画像生成装置１は、参照フレーム内の対応位置を同定する際、同じ時空間領域内の異なるフレームと参照フレーム内の領域との間の第２乖離度を算出する。画像生成装置１は、第１乖離度及び第２乖離度に基づいて、同じ時空間領域と参照領域内の領域との間の第３乖離度の下限値を算出する。画像生成装置１は、複数のフレームに属する領域から成る時空間領域の第３乖離度に基づいて、乖離度の最小値の探索を省略し、参照フレーム内の対応位置を対象画素ごとに同定する。画像生成装置１は、対応位置の近傍に位置する整数画素を参照画素として設定する。画像生成装置１は、参照画素に対する重み係数を設定する。画像生成装置１は、参照画素の画素値に重み係数を乗じて、対象画素の画素値の近似値を生成する。画像生成装置１は、各参照フレームから得た近似値の加重和として、対象画素値を更新する。 That is, the image generation device 1 of the embodiment calculates the first degree of dissociation between regions belonging to different frames in the same spatiotemporal region when identifying the corresponding position in the reference frame for the input image signal. When identifying the corresponding position in the reference frame, the image generator 1 calculates the second degree of dissociation between different frames in the same spatiotemporal region and the region in the reference frame. The image generator 1 calculates the lower limit of the third degree of dissociation between the same spatiotemporal region and the region in the reference region based on the first degree of dissociation and the second degree of dissociation. The image generator 1 omits the search for the minimum value of the degree of deviation based on the third degree of deviation of the spatio-temporal region composed of regions belonging to a plurality of frames, and identifies the corresponding position in the reference frame for each target pixel. .. The image generation device 1 sets an integer pixel located in the vicinity of the corresponding position as a reference pixel. The image generation device 1 sets a weighting coefficient for the reference pixel. The image generation device 1 multiplies the pixel value of the reference pixel by a weighting coefficient to generate an approximate value of the pixel value of the target pixel. The image generation device 1 updates the target pixel value as a weighted sum of the approximate values obtained from each reference frame.

これによって、実施形態の画像生成装置１は、動きボケ及び重畳雑音が低減された等速再生用の画像を生成することが可能である。実施形態の画像生成装置１は、視覚の検知限を越えた高フレームレート画像から、等速再生用の高画質画像を生成すること（フィルタリング処理）が可能である。実施形態の画像生成装置１は、動きボケ及び重畳雑音が低減された等速再生用の画像を、繰り返し処理による計算量の増加を抑えて生成することが可能である。 As a result, the image generation device 1 of the embodiment can generate an image for constant velocity reproduction in which motion blur and superimposed noise are reduced. The image generation device 1 of the embodiment can generate a high-quality image for constant-velocity reproduction (filtering process) from a high frame rate image that exceeds the visual detection limit. The image generation device 1 of the embodiment can generate an image for constant velocity reproduction in which motion blur and superimposed noise are reduced, while suppressing an increase in the amount of calculation due to repetitive processing.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and includes designs and the like within a range that does not deviate from the gist of the present invention.

１…画像生成装置、１０…入力画像記憶部、１１…参照フレーム設定部、１２…局所近傍領域設定部、１３…対応位置同定部、１４…参照画素設定部、１５…重み設定部、１６…近似値生成部、１７…最終参照フレーム判定部、１８…画素値更新処理部、１９…最終画素判定部 1 ... Image generator, 10 ... Input image storage unit, 11 ... Reference frame setting unit, 12 ... Local proximity area setting unit, 13 ... Corresponding position identification unit, 14 ... Reference pixel setting unit, 15 ... Weight setting unit, 16 ... Approximate value generation unit, 17 ... final reference frame determination unit, 18 ... pixel value update processing unit, 19 ... final pixel determination unit

Claims (4)

対象フレームと複数の参照フレームとを取得する動画像取得部と、
前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出する検出部と、
前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する重み生成部と、
前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成する近似値生成部と、
前記近似値に基づいて、前記対象画素の画素値を更新する更新処理部と
を備え、
前記検出部は、前記乖離度のうちの一部が算出されており、算出されていない前記乖離度を参照することができない場合に、前記対象フレーム内の処理対象の画素の局所近傍の領域と前記対応位置の局所近傍の領域との差分二乗和と、前記差分二乗和の暫定最小値との大小を比較し、前記差分二乗和が前記暫定最小値よりも小さい場合、前記暫定最小値を前記差分二乗和で置換する、
画像生成装置。 A moving image acquisition unit that acquires a target frame and a plurality of reference frames,
A detection unit that detects a corresponding position in the reference frame for each target pixel in the target frame based on the lower limit of the degree of deviation between the region in the target frame and the region in the reference frame.
A weight generation unit that generates a weighting coefficient of a pixel value for each reference pixel in the vicinity of the corresponding position.
An approximation value generation unit that generates an approximation value of the pixel value of the target pixel based on the pixel value of the reference pixel and the weighting coefficient.
It is provided with an update processing unit that updates the pixel value of the target pixel based on the approximate value.
Wherein the detection unit is calculated part of the previous SL discrepancy, if it is not possible to see the degree of deviation that has not been calculated, the region of a local neighborhood of pixels to be processed within the target frame Compare the magnitude of the difference squared sum with the region near the local area of the corresponding position and the provisional minimum value of the difference squared sum, and if the difference squared sum is smaller than the provisional minimum value, the provisional minimum value is set. Replace with the sum of squared differences,
Image generator. 前記検出部は、前記乖離度の下限値に基づいて前記乖離度の最小値の探索を省略し、前記対応位置を検出する、請求項１に記載の画像生成装置。 The image generation device according to claim 1, wherein the detection unit omits the search for the minimum value of the deviation degree based on the lower limit value of the deviation degree and detects the corresponding position. 画像生成装置が実行する画像生成方法であって、
対象フレームと複数の参照フレームとを取得するステップと、
前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出するステップと、
前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成するステップと、
前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成するステップと、
前記近似値に基づいて、前記対象画素の画素値を更新するステップと
を含み、
前記検出するステップでは、前記乖離度のうちの一部が算出されており、算出されていない前記乖離度を参照することができない場合に、前記対象フレーム内の処理対象の画素の局所近傍の領域と前記対応位置の局所近傍の領域との差分二乗和と、前記差分二乗和の暫定最小値との大小を比較し、前記差分二乗和が前記暫定最小値よりも小さい場合、前記暫定最小値を前記差分二乗和で置換する、
画像生成方法。 An image generation method executed by an image generation device.
Steps to get the target frame and multiple reference frames,
A step of detecting a corresponding position in the reference frame for each target pixel in the target frame based on the lower limit of the degree of deviation between the region in the target frame and the region in the reference frame.
A step of generating a weighting coefficient of a pixel value for each reference pixel in the vicinity of the corresponding position, and
A step of generating an approximate value of the pixel value of the target pixel based on the pixel value of the reference pixel and the weighting coefficient, and
Including a step of updating the pixel value of the target pixel based on the approximate value.
In the step of detecting, and the calculated part of the previous SL discrepancy, if it is not possible to see the degree of deviation that has not been calculated, the local neighborhood of pixels to be processed within the target frame The magnitude of the difference squared sum of the region and the region near the local area of the corresponding position is compared with the provisional minimum value of the difference squared sum, and if the difference squared sum is smaller than the provisional minimum value, the provisional minimum value. Is replaced by the difference squared sum,
Image generation method. コンピュータに、
対象フレームと複数の参照フレームとを取得する手順と、
前記対象フレーム内の領域と前記参照フレーム内の領域との乖離度の下限値に基づいて、前記対象フレーム内の対象画素ごとに前記参照フレーム内の対応位置を検出する手順と、
前記対応位置の近傍の参照画素ごとに、画素値の重み係数を生成する手順と、
前記参照画素の画素値と前記重み係数とに基づいて、前記対象画素の画素値の近似値を生成する手順と、
前記近似値に基づいて、前記対象画素の画素値を更新する手順と
を実行させ、
前記検出する手順では、前記乖離度のうちの一部が算出されており、算出されていない前記乖離度を参照することができない場合に、前記対象フレーム内の処理対象の画素の局所近傍の領域と前記対応位置の局所近傍の領域との差分二乗和と、前記差分二乗和の暫定最小値との大小を比較し、前記差分二乗和が前記暫定最小値よりも小さい場合、前記暫定最小値を前記差分二乗和で置換する、
画像生成プログラム。 On the computer
The procedure to get the target frame and multiple reference frames,
A procedure for detecting a corresponding position in the reference frame for each target pixel in the target frame based on the lower limit of the degree of deviation between the region in the target frame and the region in the reference frame.
A procedure for generating a weighting coefficient of a pixel value for each reference pixel in the vicinity of the corresponding position, and
A procedure for generating an approximate value of the pixel value of the target pixel based on the pixel value of the reference pixel and the weighting coefficient, and
Based on the approximate value, the procedure of updating the pixel value of the target pixel is executed.
The procedures the detection are calculated part of the previous SL discrepancy, if it is not possible to see the degree of deviation that has not been calculated, the local neighborhood of pixels to be processed within the target frame The magnitude of the difference squared sum of the region and the region near the local area of the corresponding position is compared with the provisional minimum value of the difference squared sum, and if the difference squared sum is smaller than the provisional minimum value, the provisional minimum value. Is replaced by the difference squared sum,
Image generator.

Images