JP6763826B2 - Image generator, image generation method and program - Google Patents

Description

本発明は、画像生成装置、画像生成方法及びプログラムに関する。 The present invention relates to an image generator, an image generation method and a program.

現行の映像撮像機器は、時間方向の画質を開口時間により制御する。開口時間を短くすれば、動きボケが低減する。一方、開口時間の短縮により受光量が減少するため、画像に重畳雑音が増加する。このように、動きボケの低減と重畳雑音の低減とはトレードオフの関係にある。つまり、雑音重畳を回避したい場合は、動きボケを許容し、一定量の開口時間を確保する必要がある。一方、動きボケを回避したい場合は、雑音重畳を許容し、開口時間を制限する必要がある。 Current video imaging equipment controls the image quality in the time direction by the aperture time. If the opening time is shortened, motion blur is reduced. On the other hand, since the amount of received light is reduced by shortening the opening time, superimposed noise is increased in the image. As described above, there is a trade-off relationship between the reduction of motion blur and the reduction of superimposed noise. That is, if it is desired to avoid noise superposition, it is necessary to allow motion blur and secure a certain amount of opening time. On the other hand, if it is desired to avoid motion blur, it is necessary to allow noise superposition and limit the opening time.

昨今の半導体技術の進歩を受け、映像撮像機器の映像取得速度が大きく向上している。現状、高速度カメラにより取得された高フレームレート映像の用途は、映像再生時の高画質化と映像解析の高精度化とに分類される。前者の高画質化は、視覚系で検知可能（ディスプレイで表示可能）なフレームレートの上限に迫ることを目的としており、映像の高フレームレート化により滑らかな動きを表現することを目的とする。このため、ディスプレイでのリアルタイム再生を前提としている。後者の映像解析の高精度化は、知覚の検知限を超えた高フレームレート映像を用いることにより、映像解析の高精度化を行うことを目的としている。スロー再生による高速移動体の解析は代表的な応用例であり、スポーツ映像、ＦＡ（Factory Automation）検査、自動車などにおいて用いられている。 Due to recent advances in semiconductor technology, the image acquisition speed of image imaging equipment has greatly improved. Currently, the applications of high frame rate video acquired by a high-speed camera are classified into high image quality during video playback and high accuracy of video analysis. The former purpose of improving the image quality is to approach the upper limit of the frame rate that can be detected by the visual system (displayable on the display), and the purpose is to express smooth movement by increasing the frame rate of the image. Therefore, real-time playback on a display is assumed. The latter purpose of improving the accuracy of video analysis is to improve the accuracy of video analysis by using a high frame rate video that exceeds the detection limit of perception. Analysis of a high-speed moving object by slow reproduction is a typical application example, and is used in sports video, FA (Factory Automation) inspection, automobiles, and the like.

これは、映像の入力システムと出力システムとにおけるフレームレートの上限が非対称であることによる。現行の撮像系としては、１００００［ｆｐｓ］を超える高フレームレート映像を取得可能な高速度カメラが利用可能である。一方、現行のディスプレイの上限は１２０−２４０［ｆｐｓ］である。このため、高速度カメラで撮影された映像は、スロー再生用途で用いられる。特許文献１にはフレームレートを変換する技術が記載されているが、１００［ｆｐｓ］より低いフレームレートの映像に関するものであり、前述のような高フレームレートの映像の利用を目的はしていない。 This is because the upper limit of the frame rate in the video input system and the output system is asymmetric. As the current imaging system, a high-speed camera capable of acquiring a high frame rate image exceeding 10000 [fps] can be used. On the other hand, the upper limit of the current display is 120-240 [fps]. Therefore, the image taken by the high-speed camera is used for slow playback. Patent Document 1 describes a technique for converting a frame rate, but it relates to a video having a frame rate lower than 100 [fps], and does not aim to use a video having a high frame rate as described above. ..

特開２００４−２０１１６５号公報Japanese Unexamined Patent Publication No. 2004-201165

本発明は、高フレームレート映像を用いて映像の画質を高める画像生成装置、画像生成方法及びプログラムを提供することを目的としている。 An object of the present invention is to provide an image generation device, an image generation method, and a program for enhancing the image quality of an image using a high frame rate image.

本発明の第１の態様における画像生成装置は、映像データに含まれる対象フレーム及び複数の参照フレームを取得する取得部と、前記対象フレームにおける対象画素に対応する対応位置を前記参照フレームごとに定める対応位置同定部と、前記対応位置の近傍の画素と前記対応位置の画素とを含む参照画素の画素値と、前記対象画素の画素値とに基づいて、前記参照画素に対する重み係数を前記参照フレームごとに算出する重み算出部と、前記参照画素ごとに画素値と前記重み係数とを乗算し、乗算結果の和を前記対象画素の近似値として前記参照フレームごとに算出する近似値算出部と、前記対象画素の画素値と前記参照フレームそれぞれの前記近似値とを用いて、前記対象画素の画素値を更新する画素値更新部と、を備える。 The image generation device according to the first aspect of the present invention determines a target frame included in the video data, an acquisition unit for acquiring a plurality of reference frames, and a corresponding position corresponding to the target pixel in the target frame for each reference frame. Based on the pixel value of the reference pixel including the corresponding position identification unit, the pixel in the vicinity of the corresponding position, and the pixel in the corresponding position, and the pixel value of the target pixel, the weighting coefficient for the reference pixel is calculated in the reference frame. A weight calculation unit that calculates each reference pixel, an approximation value calculation unit that multiplies the pixel value and the weight coefficient for each reference pixel, and calculates the sum of the multiplication results as an approximation value of the target pixel for each reference frame. A pixel value updating unit for updating the pixel value of the target pixel by using the pixel value of the target pixel and the approximate value of each of the reference frames is provided.

本発明の第２の態様によれば、第１の態様の画像生成装置において、前記対応位置同定部は、前記対象画素の近傍領域と類似する領域を前記参照フレームにおいて検出し、検出した領域に基づいて前記対応位置を定める。 According to the second aspect of the present invention, in the image generation device of the first aspect, the corresponding position identification unit detects a region similar to the vicinity region of the target pixel in the reference frame, and in the detected region. The corresponding position is determined based on the above.

本発明の第３の態様によれば、第１の態様の画像生成装置において、前記重み算出部は、前記参照画素ごとに近傍領域の画素値で表されるベクトルの加重和と前記対象画素の近傍領域の画素値により得られるベクトルとの差分を最小にする前記加重和における重み値を、前記重み係数として算出する。 According to the third aspect of the present invention, in the image generation device of the first aspect, the weight calculation unit uses the weighted sum of the vectors represented by the pixel values in the neighborhood region for each reference pixel and the weighted sum of the target pixels. The weight value in the weighted sum that minimizes the difference from the vector obtained by the pixel value in the neighboring region is calculated as the weight coefficient.

本発明の第４の態様によれば、第１の態様の画像生成装置において、前記画素値更新部は、前記対象画素の画素値と前記参照フレームそれぞれの前記近似値との平均値で、前記対象画素の画素値を更新する。 According to the fourth aspect of the present invention, in the image generation device of the first aspect, the pixel value update unit is an average value of the pixel value of the target pixel and the approximate value of each of the reference frames. The pixel value of the target pixel is updated.

本発明の第５の態様によれば、第３の態様の画像生成装置において、前記画素値更新部は、前記参照フレームそれぞれの前記近似値に前記参照フレームにおける信頼度を乗じた値と、前記対象画素の画素値との平均値で前記対象画素の画素値を更新し、前記信頼度は、前記重み算出部により前記参照フレームごとに算出される前記差分に基づいて定められる。 According to the fifth aspect of the present invention, in the image generation device of the third aspect, the pixel value update unit has a value obtained by multiplying the approximate value of each of the reference frames by the reliability in the reference frame and the said. The pixel value of the target pixel is updated with the average value with the pixel value of the target pixel, and the reliability is determined based on the difference calculated for each reference frame by the weight calculation unit.

本発明の第６の態様における画像生成方法は、映像データに含まれる対象フレーム及び複数の参照フレームを取得する取得ステップと、前記対象フレームにおける対象画素に対応する対応位置を前記参照フレームごとに定める対応位置同定ステップと、前記対応位置の近傍の画素と前記対応位置の画素とを含む参照画素の画素値と、前記対象画素の画素値とに基づいて、前記参照画素に対する重み係数を前記参照フレームごとに算出する重み算出ステップと、前記参照画素ごとに画素値と前記重み係数とを乗算し、乗算結果の和を前記対象画素の近似値として前記参照フレームごとに算出する近似値算出ステップと、前記対象画素の画素値と前記参照フレームそれぞれの前記近似値とを用いて、前記対象画素の画素値を更新する画素値更新ステップと、を有する。 In the image generation method according to the sixth aspect of the present invention, an acquisition step for acquiring a target frame and a plurality of reference frames included in the video data and a corresponding position corresponding to the target pixel in the target frame are determined for each reference frame. Based on the corresponding position identification step, the pixel value of the reference pixel including the pixel in the vicinity of the corresponding position and the pixel in the corresponding position, and the pixel value of the target pixel, the weighting coefficient for the reference pixel is calculated in the reference frame. A weight calculation step calculated for each reference pixel, an approximate value calculation step for multiplying the pixel value and the weight coefficient for each reference pixel, and calculating the sum of the multiplication results as an approximate value for the target pixel for each reference frame. It has a pixel value update step of updating the pixel value of the target pixel by using the pixel value of the target pixel and the approximate value of each of the reference frames.

本発明の第７の態様におけるプログラムは、映像データに含まれる対象フレーム及び複数の参照フレームを取得する取得ステップと、前記対象フレームにおける対象画素に対応する対応位置を前記参照フレームごとに定める対応位置同定ステップと、前記対応位置の近傍の画素と前記対応位置の画素とを含む参照画素の画素値と、前記対象画素の画素値とに基づいて、前記参照画素に対する重み係数を前記参照フレームごとに算出する重み算出ステップと、前記参照画素ごとに画素値と前記重み係数とを乗算し、乗算結果の和を前記対象画素の近似値として前記参照フレームごとに算出する近似値算出ステップと、前記対象画素の画素値と前記参照フレームそれぞれの前記近似値とを用いて、前記対象画素の画素値を更新する画素値更新ステップと、をコンピュータに実行させるためのプログラムである。 In the program according to the seventh aspect of the present invention, the acquisition step of acquiring the target frame and a plurality of reference frames included in the video data, and the corresponding position corresponding to the target pixel in the target frame are determined for each reference frame. Based on the identification step, the pixel value of the reference pixel including the pixel in the vicinity of the corresponding position and the pixel in the corresponding position, and the pixel value of the target pixel, the weighting coefficient for the reference pixel is set for each reference frame. The weight calculation step to be calculated, the approximate value calculation step of multiplying the pixel value and the weight coefficient for each reference pixel, and calculating the sum of the multiplication results as the approximate value of the target pixel for each reference frame, and the target. This is a program for causing a computer to execute a pixel value update step of updating the pixel value of the target pixel by using the pixel value of the pixel and the approximate value of each of the reference frames.

本発明によれば、高フレームレート映像を用いて映像の画質を高めることが可能となる。 According to the present invention, it is possible to improve the image quality of an image by using a high frame rate image.

実施形態における画像生成装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image generation apparatus in embodiment. 実施形態の画像生成装置が行う画像生成処理を示すフローチャートである。It is a flowchart which shows the image generation processing performed by the image generation apparatus of embodiment.

以下、図面を参照して、本発明の実施形態における画像生成装置、画像生成方法及びプログラムを説明する。実施形態における画像生成装置における処理の概略について説明する。画像生成装置は、高い時間解像度で取得した映像に含まれる複数のフレームを入力する。複数のフレームには、指定された１枚の対象フレーム（第ｔフレーム）と、ｒ_ｔ枚の参照フレーム（第ｔ−ｉフレーム、ｉ＝１，２，…，ｒ_ｔ）が含まれる。画像生成装置は、対象フレームと複数の参照フレームとを用いて、第ｔフレームの位置の画像を出力する画像生成を行う。入力される映像に対する時間フィルタのフレーム間隔をδ_ｔとして、各フレームは、ｔ＝ｊδ_ｔ，（ｊ＝０，１，２，…）においてサンプリングされる。ｆ（ｘ，ｙ，ｔ），（ｘ＝０，１，…，Ｘ−１；ｙ＝０，１，Ｙ−１）は、第ｔフレームにおける位置（ｘ，ｙ）の画素値を表す。 Hereinafter, the image generation device, the image generation method, and the program according to the embodiment of the present invention will be described with reference to the drawings. The outline of the processing in the image generator in the embodiment will be described. The image generator inputs a plurality of frames included in the video acquired at a high time resolution. The plurality of frames, and one target frame specified (the t frame), _{r t} reference frames (the _{t-i-frame, i = 1,2, ..., r} t) are included. The image generation device uses the target frame and the plurality of reference frames to generate an image that outputs an image at the position of the t-th frame. Each frame is sampled at t = jδ _t , (j = 0, 1, 2, ...), With the frame interval of the time filter for the input video as δ _t . f (x, y, t), (x = 0,1, ..., X-1; y = 0,1, Y-1) represents the pixel value of the position (x, y) in the t-frame.

［ＳＴＥＰ１］ 画像生成装置は、対象フレーム内の対象画素（ｘ，ｙ，ｔ）に対する局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）として、（２ｂ＋１）×（２ｂ＋１）画素からなる領域｛ｆ（ｘ−ｉ，ｙ−ｊ，ｔ）｜ｉ∈［−ｂ，ｂ］，ｊ∈［−ｂ，ｂ］｝を設定する。画像生成装置は、ｒ_ｔ枚の参照フレームの各々に対して、以下の処理（ＳＴＥＰ２〜ＳＴＥＰ５）を行う。処理の対象となる参照フレームは、第ｔ−ｉフレーム（ｉ＝１，２，…，ｒ_ｔ）の順で１枚ずつ選択される。すなわち、画像生成装置は、対象フレームに対して時間的に近い参照フレームから順に選択する。 [STEP1] The image generator sets the local proximity region F _b (x, y, t) with respect to the target pixel (x, y, t) in the target frame as a region {f (2b + 1) × (2b + 1) pixels. x-i, y-j, t) | i ∈ [-b, b], j ∈ [-b, b]} is set. Image generating apparatus, for each of the _{r t} reference frames, the following process is performed (STEP2~STEP5). Reference frame to be processed is the t-i frames _{(i = 1,2, ..., r} t) is selected one by one in the order of. That is, the image generator selects in order from the reference frame that is close in time to the target frame.

［ＳＴＥＰ２］画像生成装置は、選択された参照フレームにおいて、対象画素に対応する位置（以下、「対応位置」という）を同定する。
［ＳＴＥＰ３］画像生成装置は、上記の対応位置の近傍画素を参照画素として設定する。
［ＳＴＥＰ４］画像生成装置は、参照画素に対する重みを設定する。
［ＳＴＥＰ５］画像生成装置は、上記の重みを用いて、対象画素の近似値を算出する。
［ＳＴＥＰ６］画像生成装置は、参照フレームごとに算出した近似値を用いて画素の画素値を更新する。 [STEP2] The image generator identifies a position corresponding to the target pixel (hereinafter, referred to as “corresponding position”) in the selected reference frame.
[STEP3] The image generator sets pixels in the vicinity of the corresponding positions as reference pixels.
[STEP4] The image generator sets weights for reference pixels.
[STEP5] The image generator calculates an approximate value of the target pixel by using the above weights.
[STEP6] The image generation device updates the pixel value of the pixel using the approximate value calculated for each reference frame.

図１は、実施形態における画像生成装置１００の構成例を示すブロック図である。画像生成装置１００は、取得部１０１、参照フレーム設定部１０２、局所近傍領域設定部１０３、対応位置同定部１０４、参照画素設定部１０５、重み算出部１０６、近似値算出部１０７、最終参照フレーム判定部１０８、画素値更新部１０９、最終画素判定部１１０、出力部１１１及び記憶部１２０を備える。 FIG. 1 is a block diagram showing a configuration example of the image generation device 100 according to the embodiment. The image generation device 100 includes an acquisition unit 101, a reference frame setting unit 102, a local neighborhood region setting unit 103, a corresponding position identification unit 104, a reference pixel setting unit 105, a weight calculation unit 106, an approximate value calculation unit 107, and a final reference frame determination. A unit 108, a pixel value update unit 109, a final pixel determination unit 110, an output unit 111, and a storage unit 120 are provided.

取得部１０１は、高い時間解像度で取得された映像の映像データを画像生成の対象として取得する。取得部１０１は、外部の装置から映像データを受信することにより映像データを取得してもよいし、外部の記憶装置から映像データを読み出すことにより映像データを取得してもよい。取得部１０１は、取得した映像データに含まれる複数のフレームを、対象フレーム及び複数の参照フレームとして記憶部１２０に記憶させる。取得部１０１は、入力された複数のフレームのうち対象フレームを示す対象フレーム情報を取得する。取得部１０１は、対象フレームを示す対象フレーム情報を、参照フレーム設定部１０２と局所近傍領域設定部１０３とに出力する。 The acquisition unit 101 acquires the video data of the video acquired at a high time resolution as an image generation target. The acquisition unit 101 may acquire the video data by receiving the video data from an external device, or may acquire the video data by reading the video data from the external storage device. The acquisition unit 101 stores a plurality of frames included in the acquired video data in the storage unit 120 as a target frame and a plurality of reference frames. The acquisition unit 101 acquires target frame information indicating a target frame among a plurality of input frames. The acquisition unit 101 outputs the target frame information indicating the target frame to the reference frame setting unit 102 and the local neighborhood area setting unit 103.

参照フレーム設定部１０２は、記憶部１２０に記憶されている複数の参照フレームから１つの参照フレームを選択し、選択した参照フレームを処理対象に設定する。参照フレーム設定部１０２は、処理対象に設定した参照フレームを示す参照フレーム情報を対応位置同定部１０４へ出力する。 The reference frame setting unit 102 selects one reference frame from a plurality of reference frames stored in the storage unit 120, and sets the selected reference frame as a processing target. The reference frame setting unit 102 outputs the reference frame information indicating the reference frame set as the processing target to the corresponding position identification unit 104.

局所近傍領域設定部１０３は、対象フレーム情報により示される対象フレームにおける対象画素を選択する。例えば、局所近傍領域設定部１０３は、対象フレームにおいてラスター走査順に画素を対象画素として選択する。局所近傍領域設定部１０３は、対象画素の局所近傍画素と対象画素とを局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）に設定する。局所近傍領域設定部１０３は、局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）を示す局所近傍情報を、対応位置同定部１０４と重み算出部１０６とへ出力する。 The local neighborhood region setting unit 103 selects the target pixel in the target frame indicated by the target frame information. For example, the local neighborhood region setting unit 103 selects pixels as target pixels in the raster scanning order in the target frame. The local neighborhood region setting unit 103 sets the local neighborhood pixel and the target pixel of the target pixel in the local neighborhood region F _b (x, y, t). The local neighborhood region setting unit 103 outputs the local neighborhood information indicating the local neighborhood region F _b (x, y, t) to the corresponding position identification unit 104 and the weight calculation unit 106.

対応位置同定部１０４は、参照フレーム設定部１０２と局所近傍領域設定部１０３とから入力される参照フレーム情報と局所近傍情報から、局所近傍画素と参照フレームとを特定する。対応位置同定部１０４は、局所近傍画素の画素値と、参照フレームにおける探索範囲の画素値とを記憶部１２０から読み出す。対応位置同定部１０４は、読み出した画素値を用いて、対象画素の位置に対応する点の位置、すなわち対応位置を参照フレームにおいて同定する。対応位置同定部１０４は、対応位置を示す対応位置情報を参照画素設定部１０５に出力する。 The corresponding position identification unit 104 identifies the local neighborhood pixel and the reference frame from the reference frame information and the local neighborhood information input from the reference frame setting unit 102 and the local neighborhood region setting unit 103. The corresponding position identification unit 104 reads out the pixel value of the local neighborhood pixel and the pixel value of the search range in the reference frame from the storage unit 120. The corresponding position identification unit 104 identifies the position of the point corresponding to the position of the target pixel, that is, the corresponding position in the reference frame by using the read pixel value. The corresponding position identification unit 104 outputs the corresponding position information indicating the corresponding position to the reference pixel setting unit 105.

参照画素設定部１０５は、対応位置同定部１０４から出力される対応位置情報から対応位置を取得し、対応位置の近傍にあたる整数画素位置の各画素を参照画素として設定する。参照画素設定部１０５は、参照画素を示す参照画素情報を重み算出部１０６と近似値算出部１０７とに出力する。 The reference pixel setting unit 105 acquires the corresponding position from the corresponding position information output from the corresponding position identification unit 104, and sets each pixel of the integer pixel position in the vicinity of the corresponding position as a reference pixel. The reference pixel setting unit 105 outputs reference pixel information indicating a reference pixel to the weight calculation unit 106 and the approximate value calculation unit 107.

重み算出部１０６は、局所近傍領域設定部１０３と参照画素設定部１０５とから出力される参照画素情報と局所近傍情報とから、参照画素と局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）とを特定する。重み算出部１０６は、各参照画素の局所近傍の画素値と、局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）の画素値とを記憶部１２０から読み出す。重み算出部１０６は、参照画素の局所近傍の画素値により局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）内の画素値を近似する際の近似誤差を最小化する規範に基づいて、各参照画素に対する重みを算出する。重み算出部１０６は、各参照画素に対する重みを示す重み情報を近似値算出部１０７へ出力する。 The weight calculation unit 106 obtains the reference pixel and the local neighborhood region F _b (x, y, t) from the reference pixel information and the local neighborhood information output from the local neighborhood region setting unit 103 and the reference pixel setting unit 105. Identify. The weight calculation unit 106 reads out the pixel value in the local neighborhood of each reference pixel and the pixel value in the local neighborhood region F _b (x, y, t) from the storage unit 120. The weight calculation unit 106 uses each reference pixel based on a norm that minimizes an approximation error when approximating the pixel value in the local neighborhood region F _b (x, y, t) with the pixel value in the local neighborhood of the reference pixel. Calculate the weight for. The weight calculation unit 106 outputs weight information indicating the weight for each reference pixel to the approximate value calculation unit 107.

近似値算出部１０７は、参照画素設定部１０５から出力される参照画素情報から参照画素を特定し、重み算出部１０６から出力される重み情報から重みを取得する。近似値算出部１０７は、各参照画素に画素値を記憶部１２０から読み出し、読み出した各画素値に対する重みの加重和を対象画素の近似値として算出する。近似値算出部１０７は、算出した近似値を記憶部１２０へ記憶させる。算出に用いられた参照フレームと対象画素とを示す情報が近似値に付与されてもよいし、算出に用いられた参照フレームと対象画素とに対応付けられた記憶部１２０の領域に近似値が記憶されてもよい。 The approximate value calculation unit 107 identifies the reference pixel from the reference pixel information output from the reference pixel setting unit 105, and acquires the weight from the weight information output from the weight calculation unit 106. The approximate value calculation unit 107 reads a pixel value for each reference pixel from the storage unit 120, and calculates the weighted sum of the weights for each read pixel value as an approximate value of the target pixel. The approximate value calculation unit 107 stores the calculated approximate value in the storage unit 120. Information indicating the reference frame and the target pixel used in the calculation may be added to the approximate value, or the approximate value is assigned to the area of the storage unit 120 associated with the reference frame and the target pixel used in the calculation. It may be remembered.

最終参照フレーム判定部１０８は、近似値算出部１０７による近似値の算出が終わる都度、参照フレームすべてにおいて対象画素の近似値が算出されたか否かを判定する。参照フレームすべてにおいての近似値が算出されていた場合、最終参照フレーム判定部１０８は、対象画素の画素値に対する更新を画素値更新部１０９に指示する。参照フレームすべてにおいて近似値が算出されていない場合、最終参照フレーム判定部１０８は、参照フレームの候補のうち次の参照フレームの選択を参照フレーム設定部１０２へ指示する。この指示により、次の参照フレームを用いた近似値の算出が行われる。 The final reference frame determination unit 108 determines whether or not the approximate value of the target pixel has been calculated in all the reference frames each time the approximate value calculation unit 107 finishes calculating the approximate value. When the approximate values for all the reference frames have been calculated, the final reference frame determination unit 108 instructs the pixel value update unit 109 to update the pixel value of the target pixel. When the approximate value is not calculated for all the reference frames, the final reference frame determination unit 108 instructs the reference frame setting unit 102 to select the next reference frame among the reference frame candidates. According to this instruction, the approximate value is calculated using the following reference frame.

画素値更新部１０９は、参照フレームの候補ごとに算出された近似値と、対象画素の画素値とを記憶部１２０から読み出す。画素値更新部１０９は、読み出した近似値及び画素値の平均値を算出する。画素値更新部１０９は、算出した平均値を対象画素の画素値として記憶部１２０に記憶させ、対象画素の画素値を更新する。 The pixel value updating unit 109 reads out the approximate value calculated for each reference frame candidate and the pixel value of the target pixel from the storage unit 120. The pixel value update unit 109 calculates the read approximate value and the average value of the pixel values. The pixel value updating unit 109 stores the calculated average value as the pixel value of the target pixel in the storage unit 120, and updates the pixel value of the target pixel.

最終画素判定部１１０は、画素値更新部１０９により画素値が更新される都度、対象フレームの画素すべてに対して画素値の更新が行われたか否かを判定する。対象フレームの画素すべてに対して画素値の更新が行われていた場合、最終画素判定部１１０は、対象フレームの出力を出力部１１１へ指示する。対象フレームの画素すべてに対して画素値の更新が行われていない場合、最終画素判定部１１０は、画素値の更新が行われていない対象画素に対する局所近傍画素の設定を局所近傍領域設定部１０３へ指示する。この場合、最終画素判定部１１０は、第ｔ−１フレームを参照フレームに選択させる指示を参照フレーム設定部１０２へ出力する。これらの指示により、次の対象画素に対する画素値の更新が行われる。 The final pixel value determination unit 110 determines whether or not the pixel value has been updated for all the pixels of the target frame each time the pixel value is updated by the pixel value update unit 109. When the pixel values have been updated for all the pixels of the target frame, the final pixel determination unit 110 instructs the output unit 111 to output the target frame. When the pixel values have not been updated for all the pixels of the target frame, the final pixel determination unit 110 sets the local neighborhood pixels for the target pixels for which the pixel values have not been updated. Instruct to. In this case, the final pixel determination unit 110 outputs an instruction to select the t-1th frame to the reference frame to the reference frame setting unit 102. According to these instructions, the pixel value for the next target pixel is updated.

出力部１１１は、すべての画素値が更新された対象フレームを記憶部１２０から読み出し、読み出した対象フレームを生成画像として出力する。 The output unit 111 reads the target frame in which all the pixel values have been updated from the storage unit 120, and outputs the read target frame as a generated image.

図２は、実施形態の画像生成装置１００が行う画像生成処理を示すフローチャートである。画像生成処理は、以下に説明するように、フィルタ処理とインター予測とを含む処理である。画像生成装置１００において画像生成処理が開始されると、取得部１０１は映像データを取得し、取得した映像データに含まれる各フレームを記憶部１２０に記憶させる（ステップＳ１０１）。 FIG. 2 is a flowchart showing an image generation process performed by the image generation device 100 of the embodiment. The image generation process is a process including a filter process and an inter-prediction as described below. When the image generation process is started in the image generation device 100, the acquisition unit 101 acquires video data and stores each frame included in the acquired video data in the storage unit 120 (step S101).

画像生成装置１００において、以下のステップＳ１０２からステップＳ１０７の動作が、対象フレームの各画素に対して繰り返される。局所近傍領域設定部１０３は、対象フレームにおいて局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）を設定する（ステップＳ１０２）。 In the image generation device 100, the following operations from step S102 to step S107 are repeated for each pixel of the target frame. The local neighborhood area setting unit 103 sets the local neighborhood area F _b (x, y, t) in the target frame (step S102).

画像生成装置１００において、以下のステップＳ１０３からステップＳ１０６の動作が各参照フレームに対して繰り返される。 In the image generator 100, the following operations from step S103 to step S106 are repeated for each reference frame.

［参照フレーム内の対応位置の同定］
対応位置同定部１０４は、処理対象の参照フレームにおいて、対象画素に対する対応位置を同定する（ステップＳ１０３）。対応位置同定部１０４は、局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）と対応点の近傍領域との差分二乗を最小化する対応点の位置を検出することにより、対応位置を同定する。対応点の近傍領域の大きさは、局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）と同じ、（２ｂ＋１）×（２ｂ＋１）画素である。対応点の位置を検出する際の探索は、式（１）として表される。

[Identification of corresponding positions in the reference frame]
The corresponding position identification unit 104 identifies the corresponding position with respect to the target pixel in the reference frame to be processed (step S103). The corresponding position identification unit 104 identifies the corresponding position by detecting the position of the corresponding point that minimizes the difference squared between the local neighborhood region F _b (x, y, t) and the neighboring region of the corresponding point. The size of the neighborhood region of the corresponding point is (2b + 1) × (2b + 1) pixels, which is the same as the local neighborhood region F _b (x, y, t). The search for detecting the position of the corresponding point is expressed by the equation (1).

式（１）における、Ａは対象フレームにおける対応点の探索範囲の大きさを示すパラメータであり。対応位置同定部１０４は、予め定められた値をＡとして用いてもよいし、外部から入力される値をＡとして用いてもよい。すなわち、探索範囲は、対象フレームにおける２Ａ×２Ａ画素の領域である。式（１）におけるｅ（ｖ_ｘ，ｖ_ｙ）は、式（２）で得られる。

In equation (1), A is a parameter indicating the size of the search range of the corresponding point in the target frame. The corresponding position identification unit 104 may use a predetermined value as A, or may use a value input from the outside as A. That is, the search range is a region of 2A × 2A pixels in the target frame. _E in the formula (1) _(v x, _{v y)} is obtained by Equation (2).

式（２）は、第（ｔ−ｒ_ｔ＋１）フレームにおいて同定される対応点の位置（Ｖ（ｘ，ｔ−ｒ_ｔ＋１），Ｖ（ｙ，ｔ−ｒ_ｔ＋１））を探索中心とした処理となっている。ｒ_ｔは対象フレームから参照フレームまでの時間間隔を表す。（ｖ_ｘ，ｖ_ｙ）は、式（２）における探索中心に対する変位量である。探索中心位置に対する変位量は式（３）で表すとおりである。

Equation (2) uses the position of the corresponding point (V (x, tr _t +1), V (y, tr _t +1)) identified in the (tr _t +1) frame as the search center. It is a processed process. r _t represents the time interval until the reference frame from the target frame. _(V x, _{v y)} is a displacement amount with respect to the search center in equation (2). The amount of displacement with respect to the search center position is as expressed by Eq. (3).

式（３）において、ｒｏｕｎｄ（）は四捨五入により整数値化された結果を返す関数である。対応位置同定部１０４は、対応位置の探索を１／４画素精度で行う。その際、対応位置同定部１０４は、小数画素位置の画素値を、式（４）によりｂｉｌｉｎｅａｒ補間で算出する。

In equation (3), round () is a function that returns the result of rounding to an integer value. The corresponding position identification unit 104 searches for the corresponding position with 1/4 pixel accuracy. At that time, the corresponding position identification unit 104 calculates the pixel value of the decimal pixel position by bilinear interpolation according to the equation (4).

ただし、対応位置同定部１０４は、閾値θ_ｅに対して、ｅ（ｖ_ｘ，ｖ_ｙ）＞θ_ｅとなる場合は、適切な対応位置が存在しないと判定し、ｖ_ｘ，ｖ_ｙを設定せずともよい。閾値θ_ｅは、画像生成装置１００の外部より入力されるパラメータである。
対応位置同定部１０４は、以上の演算を行い、参照フレームにおける対応位置（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ），ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ））を同定する。 However, when e (v _x , v _y )> θ _e with respect to the threshold value θ _e , the corresponding position identification unit 104 determines that an appropriate corresponding position does not exist, and sets v _x , v _y . You don't have to. The threshold value θ _e is a parameter input from the outside of the image generation device 100.
The corresponding position identification unit 104 performs the above calculation to identify the corresponding position (x-V (x, tr _t ), y-V (y, tr _t )) in the reference frame.

［参照画素の設定及び画素値に対する重みの設定］
参照画素設定部１０５は、対応位置同定部１０４が式（３）により得た対応位置の画素と、対応位置の近傍に位置する画素とを参照画素として設定する（ステップＳ１０４）。対応位置は（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ），ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ））であり、対応位置の近傍の位置は、
（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ）＋１，ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ）），
（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ），ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ）＋１），
（ｘ−Ｖ（ｘ，ｔ−ｒ_ｔ）＋１，ｙ−Ｖ（ｙ，ｔ−ｒ_ｔ）＋１）
である。 [Setting of reference pixel and setting of weight for pixel value]
The reference pixel setting unit 105 sets the pixel at the corresponding position obtained by the corresponding position identification unit 104 according to the equation (3) and the pixel located near the corresponding position as reference pixels (step S104). The corresponding position is (x-V (x, tr _t ), y-V (y, tr _t )), and the position near the corresponding position is
(X-V (x, tr _t ) + 1, y-V (y, tr _t )),
(X-V (x, tr _t ), y-V (y, tr _t ) + 1),
(X-V (x, tr _t ) +1, y-V (y, tr _t ) + 1)
Is.

重み算出部１０６は、参照画素設定部１０５により設定された参照画素の近傍領域の画素値と、対象画素の局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）の画素値とを記憶部１２０から読み出す。重み算出部１０６は、読み出した参照画素の近傍領域の画素値と局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）の画素値とを用いて、参照画素に対する重み係数を算出する（ステップＳ１０５）。重み係数の算出手順について、以下に説明する。 The weight calculation unit 106 reads out the pixel value of the reference pixel neighborhood region set by the reference pixel setting unit 105 and the pixel value of the local neighborhood region F _b (x, y, t) of the target pixel from the storage unit 120. .. The weight calculation unit 106 calculates the weighting coefficient for the reference pixel by using the pixel value in the vicinity region of the read reference pixel and the pixel value in the local neighborhood region F _b (x, y, t) (step S105). The procedure for calculating the weighting factor will be described below.

重み算出部１０６は、各近傍領域の画素値をラスター走査順に一元化して得られる（２ｂ＋１）×（２ｂ＋１）次元ベクトルそれぞれを、ベクトルＲ_０（ｘ，ｙ，ｔ−ｒ_ｔ），Ｒ_１（ｘ，ｙ，ｔ−ｒ_ｔ），Ｒ_２（ｘ，ｙ，ｔ−ｒ_ｔ），Ｒ_３（ｘ，ｙ，ｔ−ｒ_ｔ）とする。例えば、参照画素の近傍領域の画素値からなるベクトルＲ_０（ｘ，ｙ，ｔ−ｒ_ｔ）は、式（５）で表される。

The weight calculation unit 106 converts the (2b + 1) × (2b + 1) dimensional vectors obtained by unifying the pixel values of each neighboring region in the raster scanning order into the vectors R ₀ (x, y, tr _t ), R ₁ ( Let x, y, tr _t ), R ₂ (x, y, tr _t ), and R ₃ (x, y, tr _t ). For example, a pixel value of the neighboring region of the reference pixel vector _{R 0 (x, y, t} -r t) is expressed by Equation (5).

重み算出部１０６は、ベクトルＲ_０（ｘ，ｙ，ｔ−ｒ_ｔ），Ｒ_１（ｘ，ｙ，ｔ−ｒ_ｔ），Ｒ_２（ｘ，ｙ，ｔ−ｒ_ｔ），Ｒ_３（ｘ，ｙ，ｔ−ｒ_ｔ）の加重和を、対象画素の局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）を近似するものとして、その近似誤差電力を算出する。近似誤差電力Ｅ（ｘ，ｙ，ｔ，ｒ_ｔ）は式（６）により表される。

Weight calculator 106, a vector _{R 0 (x, y, t} -r t), R 1 (x, y, t-r t), R 2 (x, y, t-r t), R 3 (x , y, a weighted sum of _t-r t), local neighborhood region _F b (x of the target pixel, y, as that approximates t), and calculates the approximation error power. Approximation error power E (x, y, t, r t) is represented by the formula (6).

近似誤差電力Ｅ（ｘ，ｙ，ｔ，ｒ_ｔ）を最小化する重み係数ｗ_０，ｗ_１，ｗ_２，ｗ_３は、以下のように求められる。重み係数ｗ_０，ｗ_１，ｗ_２が式（７）により求められる。

Approximation error power E (x, y, t, r t) weighting factors _w 0 that _{minimizes, w 1, w 2, w} 3 is obtained as follows. The weighting coefficients w ₀ , w ₁ , and w ₂ are obtained by Eq. (7).

式（７）における、＾ψ_ｉ，ｊ，＾φ_ｉは、ｉ，ｊ＝０，１，２に対して式（８）で表されるベクトルの内積値である。なお、式（８）における肩付きの文字（ｔ）は、転置を表す。

In equation (7), ^ ψ _{i, j} , ^ φ _i are inner product values of the vectors represented by equation (8) for i, j = 0,1,2. The letter (t) with a shoulder in the formula (8) represents transposition.

重み係数ｗ_３は、求められた重み係数ｗ_０，ｗ_１，ｗ_２を用いて、式（９）により、求められる。

The weighting coefficient w ₃ is obtained by the equation (9) using the obtained weighting coefficients w ₀ , w ₁ , and w ₂ .

上記の重み係数の算出は、重み係数ｗ_０，ｗ_１，ｗ_２，ｗ_３の和が１になる制約条件の下で近似誤差電力を最小化する手法である。なお、重み係数の和に対して制約条件を設けない場合、重み係数は式（１０）を用いることにより、重み係数ｗ_０，ｗ_１，ｗ_２，ｗ_３が求められる。

The above calculation of the weighting coefficient is a method of minimizing the approximate error power under the constraint condition that the sum of the weighting coefficients w ₀ , w ₁ , w ₂ , and w ₃ is 1. When no constraint condition is set for the sum of the weighting coefficients, the weighting coefficients w ₀ , w ₁ , w ₂ , and w ₃ can be obtained by using the equation (10).

式（１０）における、ψ_ｉ，ｊ，φ_ｉは、ｉ，ｊ＝０，１，２に対して式（１１）で表されるベクトルの内積値である。式（１０）における肩付きの文字（ｔ）は、式（８）と同様に、転置を表す。

In equation (10), ψ _{i, j} , φ _i are inner product values of the vectors represented by equation (11) for i, j = 0, 1, 2. The shouldered letter (t) in equation (10) represents transposition, as in equation (8).

重み算出部１０６は、式（７）及び式（９）と、式（１０）とのいずれかを用いて、重み係数ｗ_０，ｗ_１，ｗ_２，ｗ_３を算出する。 The weight calculation unit 106 calculates weight coefficients w ₀ , w ₁ , w ₂ , and w ₃ by using any of the equations (7) and (9) and the equation (10).

［参照画素を用いた対象画素の画素値の近似］
近似値算出部１０７は、参照画素設定部１０５により設定された参照画素の画素値を記憶部１２０から読み出す。近似値算出部１０７は、重み算出部１０６が算出した重み係数ｗ_０，ｗ_１，ｗ_２，ｗ_３と、読み出した画素値とをそれぞれ乗算し、乗算結果の和を対象画素の近似値として算出する（ステップＳ１０６）。対象画素の近似値＾ｆ（ｘ，ｙ，ｔ，ｒ_ｔ）は、式（１２）により表される。

[Approximation of pixel value of target pixel using reference pixel]
The approximate value calculation unit 107 reads out the pixel value of the reference pixel set by the reference pixel setting unit 105 from the storage unit 120. The approximate value calculation unit 107 multiplies the weight coefficients w ₀ , w ₁ , w ₂ , w ₃ calculated by the weight calculation unit 106 and the read pixel value, respectively, and uses the sum of the multiplication results as the approximate value of the target pixel. Calculate (step S106). Approximate value of the target pixel ^ f (x, y, t , r t) is represented by the formula (12).

式（１２）における、ｒ_ｉ（ｘ，ｙ，ｔ−ｒ_ｔ），（ｉ＝０，１，２，３）は、式（１３）にて表される。

In equation _{(12), r i (x} , y, t-r t), (i = 0,1,2,3) is represented by the formula (13).

式（１３）は、時刻ｔ−ｒ_ｔに位置する参照フレームに対する参照画素の画素値の算出を表している。近似値算出部１０７は、式（１３）に従い、ｒ_ｔ枚の参照フレーム（第ｔ−ｉフレーム、（ｉ＝１，２，…，ｒ_ｔ））に対する参照画素の画素値を算出する。近似値算出部１０７は、式（１２）に従い、参照画素の画素値を用いて対象画素の近似値＾ｆ（ｘ，ｙ，ｔ，ｒ_ｔ）を算出する。 Equation (13) represents the calculation of the pixel values of the reference pixels relative to the reference frame located at a time t-r _t. Approximate value calculating section 107 in accordance with equation (13), _{r t} reference frames (the t-i _{frames, (i = 1,2, ...,} r t)) to calculate the pixel values of the reference pixels for. Approximate value calculating section 107 in accordance with Equation (12), calculates the approximate value of the target pixel ^ f (x, y, t , r t) and using the pixel values of the reference pixels.

［対象画素の画素値の更新］
画素値更新部１０９は、近似値算出部１０７が式（１２）により算出したｒ_ｔ枚の参照フレームそれぞれの近似値＾ｆ（ｘ，ｙ，ｔ，ｒ_ｔ）と、対象画素の画素値との平均値を算出する。画素値更新部１０９は、算出した平均値を記憶部１２０に記憶させ、記憶部１２０に記憶されている対象画素の画素値を更新する（ステップＳ１０７）。新たな画素値（平均値）は、式（１４）により算出される。

[Update the pixel value of the target pixel]
Pixel value updating unit 109, the approximate value calculating section 107 calculated _{r t} reference frames respective approximation by Equation (12) ^ f (x, y, t, r t) and the pixel value of the target pixel Calculate the average value of. The pixel value updating unit 109 stores the calculated average value in the storage unit 120, and updates the pixel value of the target pixel stored in the storage unit 120 (step S107). The new pixel value (average value) is calculated by the equation (14).

画素値更新部１０９は、対象フレーム内の各画素に対して、式（１４）による画素値の更新を行う。対象フレーム内の画素すべてに対して画素値の更新が行われると、出力部１１１は、記憶部１２０から対象フレームを読み出し、読み出した対象フレームを生成画像として出力し（ステップＳ１０８）、画像生成装置１００は、画像生成処理を終了する。 The pixel value update unit 109 updates the pixel value according to the equation (14) for each pixel in the target frame. When the pixel values are updated for all the pixels in the target frame, the output unit 111 reads the target frame from the storage unit 120, outputs the read target frame as a generated image (step S108), and the image generation device. 100 ends the image generation process.

上述したように、実施形態の画像生成装置１００は、参照フレームにおける複数の参照画素と、各参照画素に対して定めた重み係数とを用いて対象画素の近似値を参照フレームごとに算出する。画像生成装置１００は、各参照フレームの近似値と対象画素の画素値とを用いて、対象画素の画素値を更新する。画像生成装置１００は、画素値の更新において、複数の参照フレームの画素値を用いるので、対象フレームにおけるノイズを低減し、画質を高めることができる。画像生成装置１００は、複数のフレームを逐次入力し、複数のフレーム入力されるごとに前述の画像生成処理により生成される対象フレームを出力してもよい。画像生成装置１００をこのように動作させることにより、映像データを生成できる。 As described above, the image generation device 100 of the embodiment calculates an approximate value of the target pixel for each reference frame by using a plurality of reference pixels in the reference frame and a weighting coefficient determined for each reference pixel. The image generation device 100 updates the pixel value of the target pixel by using the approximate value of each reference frame and the pixel value of the target pixel. Since the image generation device 100 uses the pixel values of a plurality of reference frames in updating the pixel values, it is possible to reduce noise in the target frame and improve the image quality. The image generation device 100 may sequentially input a plurality of frames and output a target frame generated by the above-mentioned image generation process each time a plurality of frames are input. By operating the image generation device 100 in this way, video data can be generated.

画像生成装置１００は、高フレームレート映像の映像データに含まれる複数のフレームを逐次入力し、複数のフレーム入力されるごとに前述の画像生成処理を行ってもよい。画像生成装置１００は、高フレームレート映像の映像データを入力することにより、動きボケが低減された画質を維持しつつ、重畳雑音を低減させて画質を高めた映像データを構成するフレームを生成することができる。 The image generation device 100 may sequentially input a plurality of frames included in the video data of a high frame rate video, and perform the above-mentioned image generation processing each time the plurality of frames are input. By inputting the video data of a high frame rate video, the image generation device 100 generates a frame constituting the video data in which the superimposed noise is reduced and the image quality is improved while maintaining the image quality with reduced motion blur. be able to.

高フレームレート映像は、時間方向に高密度でサンプリングされたフレーム群を含んでおり、高フレームレート映像には撮影対象の時間方向の情報が高い時間分解能で含まれている。高密度時間サンプリングされたフレーム群（例えば、１０００［ｆｐｓ］）を用いて、リアルタイム再生用途の映像（例えば、３０［ｆｐｓ］）を生成すれば、高い時間分解能で映像の生成を制御できる。すなわち、画像生成装置１００によれば、視覚の検知限を超えた高フレームレート映像を入力として用いることで、動きボケの低減と重畳雑音の低減とを両立して高画質なリアルタイム再生用途の映像データを生成できる。 The high frame rate video includes a group of frames sampled at high density in the time direction, and the high frame rate video contains information in the time direction of the shooting target with high time resolution. If a video for real-time playback (for example, 30 [fps]) is generated using a high-density time-sampled frame group (for example, 1000 [fps]), the generation of the video can be controlled with high time resolution. That is, according to the image generation device 100, by using a high frame rate image that exceeds the visual detection limit as an input, a high-quality image for real-time reproduction that achieves both reduction of motion blur and reduction of superimposed noise is achieved. Data can be generated.

なお、画素値更新部１０９は、参照フレームそれぞれの近似値＾ｆ（ｘ，ｙ，ｔ，ｒ_ｔ）と、対象画素の画素値との平均値に代えて、近似値＾ｆ（ｘ，ｙ，ｔ，ｒ_ｔ）に対する信頼度を乗じた加重和と対象画素の画素値との平均値を新たな画素値として算出してもよい。信頼度は、例えば、重み係数を算出する際に用いた近似誤差電力Ｅ（ｘ，ｙ，ｔ，ｒ_ｔ）に基づいて定められる。 Incidentally, the pixel value updating section 109, respectively reference frame approximation ^ f (x, y, t , r t) and, instead of the average value of the pixel value of the target pixel, an approximate value ^ f (x, y , t, it may calculate the average value between the pixel value of the weighted sum and the target pixels to be multiplied by the reliability of r _t) as a new pixel value. Reliability, for example, the approximation error power E used for calculating a weighting factor (x, y, t, r t) is determined based on.

参照フレームにおける参照画素の近傍領域と局所近傍領域Ｆ_ｂ（ｘ，ｙ，ｔ）との類似度が高いほど、近似誤差電力Ｅ（ｘ，ｙ，ｔ，ｒ_ｔ）は低い値となる。そこで、参照フレームにおける近似誤差電力Ｅ（ｘ，ｙ，ｔ，ｒ_ｔ）と反比例する値を信頼度に用いてもよい。例えば、式（１５）で表される値を参照フレームの信頼度に用いてもよい。

Region near the local region near the reference pixels in the reference frame _{F b (x, y, t} ) the higher the degree of similarity between, the approximation error power E (x, y, t, r t) becomes a low value. Therefore, the approximation error power E in the reference frame (x, y, t, r t) may be used a value inversely proportional to the reliability. For example, the value represented by the equation (15) may be used for the reliability of the reference frame.

また、画素値更新部１０９は、式（１５）得られる各参照フレームに対する値の総和が１になるように各値を正規化し、正規化により得られた値を各参照フレームに対する信頼度に用いてもよい。また、信頼度は、式（１５）の例以外にも、近似誤差電力Ｅ（ｘ，ｙ，ｔ，ｒ_ｔ）の増減と反比例する値が得られる関数やテーブルを用いて定めてもよい。各参照フレームから算出される近似値に対して信頼度を乗じることにより、類似度が低い参照画素の影響を低くすることができる。画素値更新部１０９が近似値に信頼度を乗じた加重和を用いて対象画素の画素値を更新することにより、画像生成装置１００は、出力する対象フレームの画質を更に向上できる。 Further, the pixel value update unit 109 normalizes each value so that the sum of the values for each reference frame obtained in the equation (15) is 1, and uses the value obtained by the normalization for the reliability for each reference frame. You may. Further, the reliability, in addition to examples of formula (15), the approximation error power E (x, y, t, r t) may be determined using a function or a table value which is inversely proportional with the increase or decrease can be obtained. By multiplying the approximate value calculated from each reference frame by the reliability, the influence of the reference pixel having a low similarity can be reduced. When the pixel value updating unit 109 updates the pixel value of the target pixel by using a weighted sum obtained by multiplying the approximate value by the reliability, the image generation device 100 can further improve the image quality of the output target frame.

また、画素値更新部１０９は、式（１４）に代えて式（１６）を用いて、対象画素の画素値を更新する値を算出してもよい。画素値更新部１０９は、式（１６）における係数ａ_ｋ（ｋ＝０，１，…，ｒ_ｔ）として、以下に示す３通りの設定のうちいずれか一つを用いてもよい。

Further, the pixel value updating unit 109 may calculate a value for updating the pixel value of the target pixel by using the formula (16) instead of the formula (14). Pixel value updating unit 109, the coefficient _{a k (k = 0,1, ...} , r t) in Equation (16) as may be used any one of setting the triplicate below.

第１の設定として、画素値更新部１０９は、式（１７）で定められる値を係数ａ_ｋに用いてもよい。なお、第１の設定を用いた場合、式（１６）と式（１４）とは同じである。

As the first setting, the pixel value update unit 109 may use the value defined by the equation (17) for the coefficient _ak . When the first setting is used, the equation (16) and the equation (14) are the same.

第２の設定として、画素値更新部１０９は、式（１８）で定められる値を係数ａ_ｋ（ｋ＝０，１，…，ｒ_ｔ）に用いてもよい。

A second setting, the pixel value updating unit 109, the coefficient values determined by the following equation _{(18) a k (k =} 0,1, ..., r t) may be used.

式（１８）におけるｒ’_ｔ（ｘ，ｙ，ｔ）は、各ｘ，ｙ，ｔに対して定まる値である。具体的には、式（６）により算出される近似誤差電力Ｅ（ｘ，ｙ，ｔ，ｋ）又は｜ｆ（ｘ，ｙ，ｔ）−＾ｆ（ｘ，ｙ，ｔ，ｋ）｜，（ｋ＝１，２，…，ｒ_ｔ）が閾値ψより小さい参照画素の数が、ｒ’_ｔ（ｘ，ｙ，ｔ）の値となる。すなわち、画素値更新部１０９は、各参照フレームにおける参照画素のうち対象画素に対する類似度が低い参照画素から算出された近似値を外れ値として省き、一定以上の類似度を有する参照画素から算出された近似値を用いて対象画素の画素値を更新する。なお、ｒ’_ｔ（ｘ，ｙ，ｔ）の値域は、１≦ｒ’_ｔ（ｘ，ｙ，ｔ）≦ｒ_ｔである。閾値ψは、画像生成装置１００の外部より入力されるパラメータである。 _R't (x, y, t) in the equation (18) is a value determined for each x, y, t. Specifically, the approximate error power E (x, y, t, k) or | f (x, y, t)-^ f (x, y, t, k) |, calculated by the equation (6). _{(k = 1,2, ..., r} t) is the number of threshold ψ smaller reference pixels, the value of _{r 't (x, y,} t). That is, the pixel value updating unit 109 omits the approximate value calculated from the reference pixel having a low similarity to the target pixel among the reference pixels in each reference frame as an outlier, and calculates from the reference pixel having a certain degree of similarity or more. The pixel value of the target pixel is updated using the approximate value. Incidentally, r 'range of _t (x, y, _t) is, 1 ≦ r' is _{t (x, y, t)} ≦ r t. The threshold value ψ is a parameter input from the outside of the image generation device 100.

第３の設定として、画素値更新部１０９は、式（１９）で定められる値を係数ａ_０，ａ_ｋ（ｋ＝１，…，ｒ_ｔ）に用いてもよい。

As a third setting, the pixel value updating unit 109, the coefficient values determined by the following equation _{(19) a 0, a k} (k = 1, ..., r t) may be used.

式（１９）における変数ｅ_０は、画像生成装置１００の外部より入力されるパラメータである。変数ｅ_０は、対象画素の画素値を更新する際における、元の対象画素の画素値に対する重みを表すパラメータである。なお、式（１９）において、（１／（ｅ_０ ^２＋ε））を１に代えて係数ａ_ｋを算出してもよい。 The variable e ₀ in the equation (19) is a parameter input from the outside of the image generator 100. The variable e ₀ is a parameter representing the weight of the original target pixel with respect to the pixel value when updating the pixel value of the target pixel. In the equation (19) may be calculated coefficients _{a k} instead 1 ^{_{(1 / (e 0 2 +}} ε)).

第２及び第３の設定における係数ａ_ｋは、前述した信頼度の一例である。画素値更新部１０９は、第２又は第３の設定の係数ａ_ｋを用いることにより、対象画素の画素値の精度を高めることができ、対象フレームの画質を更に向上できる。 The coefficient _ak in the second and third settings is an example of the reliability described above. By using the coefficient _ak of the second or third setting, the pixel value updating unit 109 can improve the accuracy of the pixel value of the target pixel and further improve the image quality of the target frame.

前述した実施形態における画像生成装置１００のすべて又は一部をコンピュータで実現するようにしてもよい。例えば、画像生成装置１００が有する構成要素それぞれを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、このプログラムは、前述した構成要素の一部を実現するためのものであってもよく、更に前述した構成要素をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。 All or part of the image generator 100 in the above-described embodiment may be realized by a computer. For example, a program for realizing each of the components of the image generator 100 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read by a computer system and executed. You may. The term "computer system" as used herein includes hardware such as an OS and peripheral devices. Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system. Further, this program may be for realizing a part of the above-mentioned components, and further, the above-mentioned components can be realized in combination with a program already recorded in the computer system. It may be realized by using hardware such as PLD (Programmable Logic Device) or FPGA (Field Programmable Gate Array).

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and the design and the like within a range not deviating from the gist of the present invention are also included.

本発明は、高フレームレート映像を用いて映像の画質を高めることが不可欠な用途にも適用できる。 The present invention can also be applied to applications in which it is indispensable to improve the image quality of an image by using a high frame rate image.

１００…画像生成装置
１０１…取得部
１０２…参照フレーム設定部
１０３…局所近傍領域設定部
１０４…対応位置同定部
１０５…参照画素設定部
１０６…重み算出部
１０７…近似値算出部
１０８…最終参照フレーム判定部
１０９…画素値更新部
１１０…最終画素判定部
１１１…出力部
１２０…記憶部 100 ... Image generator 101 ... Acquisition unit 102 ... Reference frame setting unit 103 ... Local neighborhood area setting unit 104 ... Corresponding position identification unit 105 ... Reference pixel setting unit 106 ... Weight calculation unit 107 ... Approximate value calculation unit 108 ... Final reference frame Judgment unit 109 ... Pixel value update unit 110 ... Final pixel determination unit 111 ... Output unit 120 ... Storage unit

Claims (7)

映像データに含まれる対象フレーム及び複数の参照フレームを取得する取得部と、
前記対象フレームにおける対象画素に対応する対応位置を前記参照フレームごとに定める対応位置同定部と、
前記対応位置の近傍の画素と前記対応位置の画素とを含む参照画素の画素値と、前記対象画素の画素値とから、前記参照画素に対する重み係数を前記参照画素に含まれる画素ごとに、前記対応位置の近傍内の画素を近似する際の近似誤差を最小化する規範に基づいて、前記参照フレームごとに算出する重み算出部と、
前記参照画素に含まれる画素ごとに画素値と前記画素に対する前記重み係数とを乗算し、乗算結果の和を前記対象画素の近似値として前記参照フレームごとに算出する近似値算出部と、
前記対象画素の画素値と前記参照フレームそれぞれの前記近似値とを用いて、前記対象画素の画素値を更新する画素値更新部と、
を備える画像生成装置。 An acquisition unit that acquires the target frame and a plurality of reference frames included in the video data,
A corresponding position identification unit that determines a corresponding position corresponding to a target pixel in the target frame for each reference frame,
Wherein the pixel values of reference pixels and the pixels in the vicinity of the corresponding position and a said corresponding position pixel, and a pixel value of the target pixel for each pixel contained a weighting factor for the reference pixel to the reference pixels, the A weight calculation unit that calculates for each reference frame based on a norm that minimizes the approximation error when approximating pixels in the vicinity of the corresponding position .
Wherein multiplying the weight coefficient for said pixel as the pixel value for each pixel included in the reference pixels, and the approximate value calculating unit for calculating for each of the reference frame the sum of the multiplication results as an approximation of the target pixel,
A pixel value update unit that updates the pixel value of the target pixel by using the pixel value of the target pixel and the approximate value of each of the reference frames.
An image generator comprising. 前記対応位置同定部は、前記対象画素の近傍領域と類似する領域を前記参照フレームにおいて検出し、検出した領域に基づいて前記対応位置を定める、
請求項１に記載の画像生成装置。 The corresponding position identification unit detects a region similar to the vicinity region of the target pixel in the reference frame, and determines the corresponding position based on the detected region.
The image generator according to claim 1. 前記重み算出部は、前記参照画素ごとに近傍領域の画素値で表されるベクトルの加重和と前記対象画素の近傍領域の画素値により得られるベクトルとの差分を最小にする前記加重和における重み値を、前記重み係数として算出する、
請求項１に記載の画像生成装置。 The weight calculation unit minimizes the difference between the weighted sum of the vectors represented by the pixel values in the neighboring region for each reference pixel and the vector obtained by the pixel values in the neighboring region of the target pixel. The value is calculated as the weighting coefficient.
The image generator according to claim 1. 前記画素値更新部は、前記対象画素の画素値と前記参照フレームそれぞれの前記近似値との平均値で、前記対象画素の画素値を更新する、
請求項１に記載の画像生成装置。 The pixel value update unit updates the pixel value of the target pixel with the average value of the pixel value of the target pixel and the approximate value of each of the reference frames.
The image generator according to claim 1. 前記画素値更新部は、前記参照フレームそれぞれの前記近似値に前記参照フレームにおける信頼度を乗じた値と、前記対象画素の画素値との平均値で前記対象画素の画素値を更新し、
前記信頼度は、前記重み算出部により前記参照フレームごとに算出される前記差分に基づいて定められる、
請求項３に記載の画像生成装置。 The pixel value update unit updates the pixel value of the target pixel with the average value of the value obtained by multiplying the approximate value of each of the reference frames by the reliability in the reference frame and the pixel value of the target pixel.
The reliability is determined based on the difference calculated for each reference frame by the weight calculation unit.
The image generator according to claim 3. 映像データに含まれる対象フレーム及び複数の参照フレームを取得する取得ステップと、
前記対象フレームにおける対象画素に対応する対応位置を前記参照フレームごとに定める対応位置同定ステップと、
前記対応位置の近傍の画素と前記対応位置の画素とを含む参照画素の画素値と、前記対象画素の画素値とから、前記参照画素に対する重み係数を前記参照画素に含まれる画素ごとに、前記対応位置の近傍内の画素を近似する際の近似誤差を最小化する規範に基づいて、前記参照フレームごとに算出する重み算出ステップと、
前記参照画素に含まれる画素ごとに画素値と前記画素に対する前記重み係数とを乗算し、乗算結果の和を前記対象画素の近似値として前記参照フレームごとに算出する近似値算出ステップと、
前記対象画素の画素値と前記参照フレームそれぞれの前記近似値とを用いて、前記対象画素の画素値を更新する画素値更新ステップと、
を有する画像生成方法。 An acquisition step for acquiring a target frame and a plurality of reference frames included in the video data, and
A corresponding position identification step in which a corresponding position corresponding to a target pixel in the target frame is determined for each reference frame, and
Wherein the pixel values of reference pixels and the pixels in the vicinity of the corresponding position and a said corresponding position pixel, and a pixel value of the target pixel for each pixel contained a weighting factor for the reference pixel to the reference pixels, the A weight calculation step calculated for each reference frame based on a norm for minimizing the approximation error when approximating pixels in the vicinity of the corresponding position, and
Wherein multiplying the weight coefficient for said pixel as the pixel value for each pixel included in the reference pixels, and the approximate value calculating step of calculating for each of the reference frame the sum of the multiplication results as an approximation of the target pixel,
A pixel value update step for updating the pixel value of the target pixel using the pixel value of the target pixel and the approximate value of each of the reference frames, and
Image generation method having. 映像データに含まれる対象フレーム及び複数の参照フレームを取得する取得ステップと、
前記対象フレームにおける対象画素に対応する対応位置を前記参照フレームごとに定める対応位置同定ステップと、
前記対応位置の近傍の画素と前記対応位置の画素とを含む参照画素の画素値と、前記対象画素の画素値とから、前記参照画素に対する重み係数を前記参照画素に含まれる画素ごとに、前記対応位置の近傍内の画素を近似する際の近似誤差を最小化する規範に基づいて、前記参照フレームごとに算出する重み算出ステップと、
前記参照画素に含まれる画素ごとに画素値と前記画素に対する前記重み係数とを乗算し、乗算結果の和を前記対象画素の近似値として前記参照フレームごとに算出する近似値算出ステップと、
前記対象画素の画素値と前記参照フレームそれぞれの前記近似値とを用いて、前記対象画素の画素値を更新する画素値更新ステップと、
をコンピュータに実行させるためのプログラム。 An acquisition step for acquiring a target frame and a plurality of reference frames included in the video data, and
A corresponding position identification step in which a corresponding position corresponding to a target pixel in the target frame is determined for each reference frame, and
Wherein the pixel values of reference pixels and the pixels in the vicinity of the corresponding position and a said corresponding position pixel, and a pixel value of the target pixel for each pixel contained a weighting factor for the reference pixel to the reference pixels, the A weight calculation step calculated for each reference frame based on a norm for minimizing the approximation error when approximating pixels in the vicinity of the corresponding position, and
Wherein multiplying the weight coefficient for said pixel as the pixel value for each pixel included in the reference pixels, and the approximate value calculating step of calculating for each of the reference frame the sum of the multiplication results as an approximation of the target pixel,
A pixel value update step for updating the pixel value of the target pixel using the pixel value of the target pixel and the approximate value of each of the reference frames, and
A program that lets your computer run.

Images