JP4756085B2 - Image generation apparatus, image generation method, and image generation program - Google Patents

Description

本発明は、２枚の連続した時系列画像から将来の画像を生成する技術に関する。   The present invention relates to a technique for generating a future image from two continuous time-series images.

現在、予め撮影された複数の時系列画像を用いて将来画像を生成する方法が存在し、過去の時系列画像に基づいて動きを周期的に表現する方法と、非周期的に表現する方法との２つに大別することができる。前者の方法は、時系列画像から撮影対象物（雲、風、雨など）の動きを学習し、得られた動きに基づいて周期的に将来画像を随時生成していく方法である。   Currently, there is a method for generating a future image using a plurality of time-series images captured in advance, a method for periodically expressing motion based on past time-series images, and a method for expressing aperiodically. It can be roughly divided into two. The former method is a method of learning the movement of a subject to be photographed (clouds, wind, rain, etc.) from a time-series image and periodically generating future images as needed based on the obtained movement.

しかしながら、前者の方法で生成された画像は動きが単調であって将来の実画像とは大きく異なるため、後者の方法が用いられる場合が多い。この後者の方法は、将来画像の生成過程中に使用されるシステムモデルのパラメータを人為的に適宜調整して将来画像を生成していく方法であり、例えば、コンピュータビジョン分野において、状態空間法と三次元自己回帰モデルを適用した学習型の方法が知られている（非特許文献１参照）。   However, since the image generated by the former method has a monotonous motion and greatly differs from a future actual image, the latter method is often used. This latter method is a method of artificially adjusting the parameters of the system model used during the future image generation process to generate a future image. For example, in the field of computer vision, A learning type method using a three-dimensional autoregressive model is known (see Non-Patent Document 1).

S.Soatto、外２名、“Dynamic textures”、IEEE ICCV、2001年、p.439-446S.Soatto, 2 others, “Dynamic textures”, IEEE ICCV, 2001, p.439-446 “Optical flow”、[online]、WIKIPEDIA、[平成21年6月23日検索]、インターネット<http://en.wikipedia.org/wiki/Optic_flow>“Optical flow”, [online], WIKIPEDIA, [Search June 23, 2009], Internet <http://en.wikipedia.org/wiki/Optic_flow> “非圧縮性粘性流の解析”、[online]、[平成21年6月23日検索]、インターネット<http://w3cic.riken.go.jp/HPC/cfd_note/LecNote2.pdf>“Analysis of Incompressible Viscous Flow”, [online], [Search June 23, 2009], Internet <http://w3cic.riken.go.jp/HPC/cfd_note/LecNote2.pdf> [online]、[平成21年6月23日検索]、インターネット<http://www.applet-magic.com/kolmo.htm>[online], [Search June 23, 2009], Internet <http://www.applet-magic.com/kolmo.htm>

しかしながら、いずれの方法であっても生成される将来画像の単調な周期性を回避することは難しく、画像を繰り返し生成していくに従って画像のボヤケが顕著に表れるという問題があった。また、パラメータを適切に調整することへの困難性や、多くの時系列画像を必要とするという問題もあった。   However, it is difficult to avoid the monotonic periodicity of a future image to be generated by any of the methods, and there is a problem that the blur of the image appears remarkably as the image is repeatedly generated. In addition, there are problems that it is difficult to adjust parameters appropriately and that many time-series images are required.

本発明は、上記課題を鑑みてなされたものであり、２枚の時系列画像から物理的な性質を保持しながら不自然な画像のボヤケを抑制した画像を生成することを課題とする。   The present invention has been made in view of the above problems, and an object of the present invention is to generate an image in which unnatural blur is suppressed from two time-series images while maintaining physical properties.

請求項１に記載の本発明は、２枚の連続した時系列画像を記憶手段から読み出して、各画素の輝度値を用いて速度ベクトルを計算し、当該速度ベクトルから前記時系列画像が有する初期のエネルギーを計算する初期エネルギー計算手段と、拡散係数を変数に有する移流拡散方程式に前記輝度値及び前記速度ベクトルを用いて次時刻の輝度値を計算し、密度及び粘性係数を変数に有するナビエ・ストークス方程式に前記速度ベクトルを用いて前記次時刻の速度ベクトルを計算して、前記次時刻の画像を予測する予測手段と、前記次時刻の輝度値及び速度ベクトルから当該次時刻の画像が有するエネルギーを計算し、当該エネルギーと前記初期のエネルギーとの差分絶対値が所定の閾値以下になるまで前記拡散係数と前記密度と前記粘性係数とを可変しながら前記次時刻の画像を最適化する最適化手段と、を有することを特徴とする。   According to the first aspect of the present invention, two continuous time-series images are read from the storage means, a velocity vector is calculated using the luminance value of each pixel, and the initial value of the time-series image is obtained from the velocity vector. An initial energy calculating means for calculating the energy of the first time, a luminance value at the next time using the luminance value and the velocity vector in the advection diffusion equation having a diffusion coefficient as a variable, and a Navier Predicting means for predicting the image at the next time by calculating the velocity vector at the next time using the velocity vector in the Stokes equation, and the energy of the image at the next time from the luminance value and the velocity vector at the next time And calculating the diffusion coefficient, the density, and the viscosity coefficient until the absolute value of the difference between the energy and the initial energy is equal to or less than a predetermined threshold value. And having and optimization means for optimizing the image of the next time-varying while, the.

請求項２に記載の本発明は、前記エネルギーが、輝度値及び速度ベクトルを用いて波数ベクトルを計算し、波数ベクトルから波数に関するエネルギーを計算すると共に、速度ベクトルから運動量及び発散度・渦度に関するエネルギーを計算し、更に輝度値から画像のエッジに関するエネルギーを計算して、計算された全てのエネルギーの和を全画素数で割った値であることを特徴とする。   The present invention according to claim 2, wherein the energy calculates a wave vector using a luminance value and a velocity vector, calculates energy related to the wave number from the wave vector, and relates to momentum and divergence / vorticity from the velocity vector. The energy is calculated, and the energy related to the edge of the image is calculated from the luminance value, and the sum of all the calculated energy is divided by the total number of pixels.

請求項３に記載の本発明は、前記最適化手段が、前記次時刻の速度ベクトルを用いて波数を計算すると共に、当該波数から波数エネルギーを計算し、当該波数と当該波数エネルギーとの関係がガンマ分布に近似するよう前記次時刻の画像を更に最適化することを特徴とする。   According to the third aspect of the present invention, the optimization unit calculates the wave number using the velocity vector at the next time, calculates the wave number energy from the wave number, and the relationship between the wave number and the wave number energy is The image at the next time is further optimized so as to approximate the gamma distribution.

請求項４に記載の本発明は、２枚の連続した時系列画像を記憶手段から読み出して、各画素の輝度値を用いて速度ベクトルを計算し、当該速度ベクトルから前記時系列画像が有する初期のエネルギーを計算する第１ステップと、拡散係数を変数に有する移流拡散方程式に前記輝度値及び前記速度ベクトルを用いて次時刻の輝度値を計算し、密度及び粘性係数を変数に有するナビエ・ストークス方程式に前記速度ベクトルを用いて前記次時刻の速度ベクトルを計算して、前記次時刻の画像を予測する第２ステップと、前記次時刻の輝度値及び速度ベクトルから当該次時刻の画像が有するエネルギーを計算し、当該エネルギーと前記初期のエネルギーとの差分絶対値が所定の閾値以下になるまで前記拡散係数と前記密度と前記粘性係数とを可変しながら前記次時刻の画像を最適化する第３ステップと、を有することを特徴とする。   The present invention according to claim 4 reads out two consecutive time-series images from the storage means, calculates a velocity vector using the luminance value of each pixel, and uses the velocity vector to determine the initial value of the time-series image. A first step of calculating the energy of the first time, a brightness value of the next time using the brightness value and the velocity vector in the advection diffusion equation having a diffusion coefficient as a variable, and a Navier-Stokes having a density and a viscosity coefficient as variables A second step of calculating a speed vector of the next time using the speed vector in an equation and predicting an image of the next time; and an energy of the image of the next time from the luminance value and speed vector of the next time And the diffusion coefficient, the density, and the viscosity coefficient are varied until the absolute difference between the energy and the initial energy is equal to or less than a predetermined threshold value. A third step of optimizing the image of reluctant the next time, that it has a characterized.

請求項５に記載の本発明は、前記エネルギーが、輝度値及び速度ベクトルを用いて波数ベクトルを計算し、波数ベクトルから波数に関するエネルギーを計算すると共に、速度ベクトルから運動量及び発散度・渦度に関するエネルギーを計算し、更に輝度値から画像のエッジに関するエネルギーを計算して、計算された全てのエネルギーの和を全画素数で割った値であることを特徴とする。   According to the fifth aspect of the present invention, the energy calculates a wave vector using a luminance value and a velocity vector, calculates energy relating to the wave number from the wave vector, and relates to momentum and divergence / vorticity from the velocity vector. The energy is calculated, and the energy related to the edge of the image is calculated from the luminance value, and the sum of all the calculated energy is divided by the total number of pixels.

請求項６に記載の本発明は、前記第３ステップが、前記次時刻の速度ベクトルを用いて波数を計算すると共に、当該波数から波数エネルギーを計算し、当該波数と当該波数エネルギーとの関係がガンマ分布に近似するよう前記次時刻の画像を更に最適化することを特徴とする。   In the present invention according to claim 6, the third step calculates the wave number using the velocity vector at the next time, calculates the wave number energy from the wave number, and the relationship between the wave number and the wave number energy is The image at the next time is further optimized so as to approximate the gamma distribution.

請求項７に記載の本発明は、請求項４乃至６のいずれか１つに記載した第１ステップから第３ステップをコンピュータに実行させることを特徴とする。   According to a seventh aspect of the present invention, a computer is caused to execute the first step to the third step described in any one of the fourth to sixth aspects.

本発明によれば、２枚の時系列画像から物理的な性質を保持しながら不自然な画像のボヤケを抑制した画像を生成することができる。   According to the present invention, it is possible to generate an image from which blur of an unnatural image is suppressed while maintaining physical properties from two time-series images.

画像生成装置の機能ブロック構成を示す図である。It is a figure which shows the functional block structure of an image generation apparatus. 画像処理装置の処理を説明する図である。It is a figure explaining the process of an image processing apparatus. 乱流エネルギーモデルの適用例を示す図である。It is a figure which shows the example of application of a turbulent energy model. 本手法で生成された画像と従来法で生成された画像との比較を示す図である。It is a figure which shows the comparison with the image produced | generated by this method, and the image produced | generated by the conventional method. 気象レーダ画像を用いた予測した画像を示す図である。It is a figure which shows the image estimated using the weather radar image. 粘性係数と渦度の関係を示す図である。It is a figure which shows the relationship between a viscosity coefficient and vorticity.

図１は、一実施の形態の係る画像生成装置の機能ブロック構成を示す図である。この画像生成装置は、２枚の連続した時系列画像から１枚以上の新しい画像を予測・生成する装置である。過去から現在までの少なくとも２枚の時系列画像に基づいて、その時系列画像の持つ物理特性に関するエネルギー（後述する、波数エネルギー、運動エネルギー、発散・渦エネルギー）と、時系列画像のみかけのテクスチャ性に関するエネルギー（後述する、エッジエネルギー）が保存されるように、最適化しながら将来の画像を生成するものである。   FIG. 1 is a diagram illustrating a functional block configuration of an image generation apparatus according to an embodiment. This image generation device is a device that predicts and generates one or more new images from two consecutive time-series images. Based on at least two time-series images from the past to the present, energy related to the physical properties of the time-series images (wave number energy, kinetic energy, divergence / vortex energy described later), and apparent texture of the time-series images A future image is generated while optimizing so that energy (edge energy described later) is stored.

概略的には、その２枚の連続した時系列画像から上記エネルギーの総和を初期エネルギーとして計算し、移流拡散方程式及びナビエ・ストークス方程式を用いて将来の画像を予測すると共に、その将来の画像が有するエネルギーについても同様に計算する。そして、該エネルギーが保存されるように、すなわち、それら２つのエネルギーの差分が最小となるように、移流拡散方程式の拡散係数や、ナビエ・ストークス方程式の密度及び粘性係数を可変させながら将来の画像を最適化していくものである。これにより、画質の崩れが抑制された将来の画像を生成することが可能となる。   In summary, the sum of the above energy is calculated as the initial energy from the two consecutive time-series images, and the future image is predicted using the advection diffusion equation and the Navier-Stokes equation. It calculates similarly about the energy which has. Then, while changing the diffusion coefficient of the advection diffusion equation and the density and viscosity coefficient of the Navier-Stokes equation so that the energy is preserved, that is, the difference between the two energies is minimized, Will be optimized. This makes it possible to generate a future image in which image quality deterioration is suppressed.

この画像生成装置１は、画像入力部１１と、画像記憶部１２と、初期エネルギー計算部１３と、予測計算部１４と、最適化計算部１５と、画像表示部１６とを備えている。この画像生成装置１は、ＣＰＵ等の演算処理装置やメモリ等の記憶装置を備えたコンピュータにより構成可能なものであり、各部の処理はプログラムによって実行される。このプログラムは記憶装置に記憶されており、記録媒体に記録することも、ネットワークを通して提供することも可能である。以下、各部での機能及び処理について詳細に説明する。   The image generation apparatus 1 includes an image input unit 11, an image storage unit 12, an initial energy calculation unit 13, a prediction calculation unit 14, an optimization calculation unit 15, and an image display unit 16. The image generation apparatus 1 can be configured by a computer including an arithmetic processing unit such as a CPU and a storage unit such as a memory, and the processing of each unit is executed by a program. This program is stored in a storage device, and can be recorded on a recording medium or provided through a network. Hereinafter, functions and processes in each unit will be described in detail.

画像入力部１１は、カメラにより撮影された複数の時系列画像を入力する機能を有する。画像記憶部１２は、画像入力部１１で入力された複数の時系列画像を読み出し可能に記憶する機能を有する。   The image input unit 11 has a function of inputting a plurality of time-series images taken by a camera. The image storage unit 12 has a function of storing a plurality of time-series images input by the image input unit 11 in a readable manner.

初期エネルギー計算部１３は、画像記憶部１２から２枚の連続した時系列画像を読み出して、各画素の輝度値を用いて速度ベクトルを画素毎に計算すると共に、計算された速度ベクトル及び輝度値を用いて波数ベクトルを画素毎に計算し、予め定義付けされた複数のエネルギー関数にこれら速度ベクトル及び波数ベクトルを代入して、その２枚の時系列画像が有する初期エネルギーを計算する機能を有する。   The initial energy calculation unit 13 reads out two continuous time-series images from the image storage unit 12, calculates a velocity vector for each pixel using the luminance value of each pixel, and calculates the calculated velocity vector and luminance value. The wave number vector is calculated for each pixel using, and the velocity vector and the wave number vector are substituted into a plurality of predefined energy functions, and the initial energy of the two time-series images is calculated. .

予測計算部１４は、上記２枚の連続した時系列画像の輝度値と、初期エネルギー計算部１３で計算された速度ベクトルとを、拡散係数ηを変数に有する移流拡散方程式に代入して次時刻（ｎ＋１）の輝度値を計算し、更に、その速度ベクトルを、密度ρ及び粘性係数ｖを変数に有するナビエ・ストークス方程式に代入して次時刻（ｎ＋１）の速度ベクトルを計算して、次時刻（ｎ＋１）の画像を予測する機能を有する。また、同様の計算を繰り返すことにより、上記２枚の連続した時系列画像から、複数の時系列（ｎ＋１、ｎ＋２、…、ｎ＋ｐ）な画像を予測する機能を有する。   The prediction calculation unit 14 substitutes the luminance values of the two consecutive time-series images and the velocity vector calculated by the initial energy calculation unit 13 into the advection diffusion equation having the diffusion coefficient η as a variable and sets the next time The luminance value of (n + 1) is calculated, and the velocity vector is substituted into the Navier-Stokes equation having the density ρ and the viscosity coefficient v as variables to calculate the velocity vector of the next time (n + 1). It has a function of predicting (n + 1) images. Further, by repeating the same calculation, a function of predicting a plurality of time series (n + 1, n + 2,..., N + p) images from the two continuous time series images is provided.

最適化計算部１５は、予測計算部１４で計算された次時刻（ｎ＋１）の輝度値及び速度ベクトルから、次時刻（ｎ＋１）の画像が有するエネルギーを計算し、このエネルギーと初期エネルギー計算部１３により計算された初期エネルギーとの差分が最小になるまで拡散係数ηと密度ρと粘性係数ｖとを可変しながら、予測計算部１４で予測された次時刻（ｎ＋１）の画像を最適化する機能を有する。また、次時刻（ｎ＋１）の速度ベクトルを用いて波数を計算すると共に、この波数から波数エネルギーを計算し、波数と波数エネルギーとの関係がガンマ分布に近似するよう、最適化後の次時刻（ｎ＋１）の画像を更に最適化する機能を有する。さらに、このような２段階の最適化処理を、予測計算部１４で予測された全ての時系列（ｎ＋１、ｎ＋２、…、ｎ＋ｐ）な画像に対してそれぞれ行う機能を有する。   The optimization calculation unit 15 calculates the energy of the image at the next time (n + 1) from the brightness value and velocity vector at the next time (n + 1) calculated by the prediction calculation unit 14, and this energy and the initial energy calculation unit 13. The function of optimizing the image at the next time (n + 1) predicted by the prediction calculation unit 14 while varying the diffusion coefficient η, the density ρ, and the viscosity coefficient v until the difference from the initial energy calculated by is minimized. Have In addition, the wave number is calculated using the velocity vector at the next time (n + 1), the wave energy is calculated from the wave number, and the next time after optimization (approximate so that the relationship between the wave number and the wave energy approximates to the gamma distribution) n + 1) has a function to further optimize the image. Furthermore, it has a function of performing such two-stage optimization processing for all time-series (n + 1, n + 2,..., N + p) images predicted by the prediction calculation unit 14.

画像表示部１６は、最適化された各画像を時系列順に表示する機能を有する。   The image display unit 16 has a function of displaying the optimized images in chronological order.

次に、この画像生成装置１の処理について具体的に説明する。図２は、画像処理装置の処理を説明する図である。最初に、第一段階では、初期エネルギー計算部１３が、２枚の時系列画像の持つ物理特性に関するエネルギーとして、波数エネルギーを式（１）とし、運動エネルギーを式（２）とし、発散・渦エネルギーを式（３）として定義しておくと共に、テクスチャ性に関するエネルギーとして、画像のエッジエネルギーを式（４）として定義しておく（Ｓ１０１）。   Next, the processing of the image generation apparatus 1 will be specifically described. FIG. 2 is a diagram for explaining processing of the image processing apparatus. First, in the first stage, the initial energy calculation unit 13 uses wave number energy as equation (1) and kinetic energy as equation (2) as energy related to physical characteristics of two time-series images, and divergence / vortex The energy is defined as Expression (3), and the edge energy of the image is defined as Expression (4) as the energy related to texture (S101).

なお、ｋ_ｉ，ｊとｕ_ｉ，ｊは、それぞれ、画素（ｉ，ｊ）における波数ベクトルと速度ベクトルである。また、ｄｉｖ ｕ_ｉ，ｊとｃｕｒｌ ｕ_ｉ，ｊは、それぞれ、画素（ｉ，ｊ）における発散度と渦度である。さらに、Ｉ_ｉ，ｊは、画素（ｉ，ｊ）における輝度値である。 Note that k _{i, j} and u _{i, j} are a wave vector and a velocity vector in the pixel (i, j), respectively. Further, div u _{i, j} and curl u _{i, j} are the divergence and vorticity at pixel (i, j), respectively. Further, I _{i, j} is a luminance value in the pixel (i, j).

次に、初期エネルギー計算部１３は、時刻（ｎ−１）と時刻（ｎ）の２枚の連続した時系列画像を画像記憶部１２から取得し、各時系列画像における各画素（ｉ、ｊ）の各輝度値Ｉ_ｉ，ｊ ^ｎ−１，Ｉ_ｉ，ｊ ^ｎを用いて、オプティカルフロー法やパターンマッチング法等により、各画素（ｉ、ｊ）の速度ベクトルｕ_ｉ，ｊを計算する（Ｓ１０２）。なお、オプティカルフロー法やパターンマッチング法は、２枚の画像から速度ベクトルを計算する既存の技術であり、例えば非特許文献２に具体的計算方法が記載されている。 Next, the initial energy calculation unit 13 acquires two consecutive time-series images at time (n−1) and time (n) from the image storage unit 12, and each pixel (i, j in each time-series image). ), The velocity vector u _{i, j} of each pixel (i, j) is calculated by an optical flow method, a pattern matching method, or the like using the luminance values I _{i, j} ⁿ⁻¹ , I _{i, j} ⁿ ( S102). The optical flow method and the pattern matching method are existing techniques for calculating a velocity vector from two images. For example, Non-Patent Literature 2 describes a specific calculation method.

また、初期エネルギー計算部１３は、計算された速度ベクトルｕ_ｉ，ｊと、各輝度値Ｉ_ｉ，ｊ ^ｎ−１，Ｉ_ｉ，ｊ ^ｎとを用いて、後述する波生成方程式の数理モデルにより、各画素（ｉ、ｊ）の波数ベクトルｋ_ｉ，ｊを計算する（Ｓ１０３）。 Further, the initial energy calculation unit 13 uses the calculated velocity vector u _{i, j} and the luminance values I _{i, j} ⁿ⁻¹ , I _{i, j} ⁿ by a mathematical model of a wave generation equation to be described later. Then, the wave vector k _{i, j} of each pixel (i, j) is calculated (S103).

その後、初期エネルギー計算部１３は、Ｓ１０３で計算された波数ベクトルｋ_ｉ，ｊ ^ｎを式（１）に代入することにより波数エネルギーを計算し、Ｓ１０２で計算された速度ベクトルｕ_ｉ，ｊを式（２）及び式（３）に代入することにより運動エネルギー及び発散・渦エネルギーを計算し、輝度値Ｉ_ｉ，ｊを用いて式（４）から画像のエッジエネルギーを計算する（Ｓ１０４）。なお、画像のエッジとは、画像輝度分布の一次微分の大きさである。 Thereafter, the initial energy calculation unit 13 calculates the wave number energy by substituting the wave number vector k _{i, j} ⁿ calculated in S103 into the equation (1), and the velocity vector u _{i, j} calculated in S102 as the equation The kinetic energy and the divergence / vortex energy are calculated by substituting them into (2) and (3), and the edge energy of the image is calculated from the equation (4) using the luminance value I _{i, j} (S104). Note that the edge of the image is the magnitude of the first derivative of the image luminance distribution.

最後に、初期エネルギー計算部１３は、式（５）を用いて、式（１）〜式（４）で計算された全てのエネルギーの和を計算し、１枚の画像の全画素数Ω（Ｍ×Ｎ画素）で割った値を、初期エネルギーとして求める（Ｓ１０５）。   Finally, the initial energy calculation unit 13 calculates the sum of all the energy calculated by the equations (1) to (4) using the equation (5), and calculates the total number of pixels Ω ( A value divided by (M × N pixels) is obtained as initial energy (S105).

なお、ここでは、重み付け係数の和Σαを１としている。また、ここでは、２枚の時系列画像から初期エネルギーを計算しているが、１枚の画像であっても、他方の画像に相当する輝度値や速度ベクトルを人為的に設定することにより、初期エネルギーを計算することも可能である。 Here, the sum Σα of the weighting coefficients is 1. Further, here, the initial energy is calculated from two time-series images. However, even in the case of one image, by artificially setting the luminance value and the velocity vector corresponding to the other image, It is also possible to calculate the initial energy.

続いて、第二段階では、予測計算部１４が、時系列画像の輝度値Ｉ_ｉ，ｊ ^ｎと、Ｓ１０２で計算した速度ベクトルｕ_ｉ，ｊ ^ｎとを、式（６）に示す移流拡散方程式に代入して次時刻（ｎ＋１）の輝度値を計算すると共に、その速度ベクトルｕ_ｉ，ｊ ^ｎを、式（７）に示すナビエ・ストークス方程式に代入して次時刻（ｎ＋１）の速度ベクトルを計算することを交互に時間発展させ、複数の時系列（ｎ＋１、ｎ＋２、…、ｎ＋ｐ）な画像を予測する（Ｓ１０６）。 Subsequently, in the second stage, the prediction calculation unit 14 uses the brightness value I _{i, j} ^{n of the} time-series image and the velocity vector u _{i, j} ⁿ calculated in S102 as an advection diffusion equation shown in Expression (6). And the brightness value at the next time (n + 1) is calculated, and the velocity vector u _{i, j} ⁿ is substituted into the Navier-Stokes equation shown in Equation (7) to obtain the velocity vector at the next time (n + 1). The calculation is alternately developed in time, and a plurality of time series (n + 1, n + 2,..., N + p) images are predicted (S106).

なお、η、ρ、ｖは、それぞれ、拡散係数、密度、粘性係数である。ここでは、式（６）及び式（７）の計算時に流体モデルを仮定し、非圧縮条件として式（８）を課すものとする。なお、式（６）については、画像の輝度値Ｉについて時間発展させながら計算し、式（７）については、ＭＡＣ法（Marker and Cell法）により非線形に計算することが可能である。なお、ナビエ・ストークス方程式の非線形な解析法は既存の技術であり、例えば非特許文献３に具体的計算方法が記載されている。 Note that η, ρ, and v are a diffusion coefficient, a density, and a viscosity coefficient, respectively. Here, a fluid model is assumed at the time of calculation of Formula (6) and Formula (7), and Formula (8) shall be imposed as an incompressible condition. Note that the expression (6) can be calculated while evolving the luminance value I of the image, and the expression (7) can be calculated nonlinearly by the MAC method (Marker and Cell method). Note that the nonlinear analysis method of the Navier-Stokes equation is an existing technique. For example, Non-Patent Document 3 describes a specific calculation method.

また、それら画像を予測する際に、最適化計算部１５は、Ｓ１０６で予測された時間ステップｐの画像の輝度値及び速度ベクトルから波数ベクトルを求め、式（１）を用いて波数エネルギーを計算し、式（９）を用いて、初期エネルギー計算部１３により計算された初期の波数エネルギーと、最適化計算部１５により計算された時間ステップｐの波数エネルギーとの差分（誤差）が最小（所定の閾値以下）になるまで、拡散係数ηと密度ρと粘性係数ｖとのパラメータを可変しながら上記時間ステップｐの画像を最適化する（Ｓ１０７）。   Further, when predicting the images, the optimization calculation unit 15 obtains a wave number vector from the luminance value and the velocity vector of the image at the time step p predicted in S106, and calculates the wave number energy using Expression (1). The difference (error) between the initial wave number energy calculated by the initial energy calculating unit 13 and the wave number energy of the time step p calculated by the optimization calculating unit 15 is minimized (predetermined) using the equation (9). The image of the time step p is optimized while changing the parameters of the diffusion coefficient η, the density ρ, and the viscosity coefficient v (S107).

なお、式（９）の計算は、｜Ｅ（ｎ）−Ｅ（ｎ＋１）｜，…，｜Ｅ（ｎ）−Ｅ（ｎ＋６）｜，｜Ｅ（ｎ）−Ｅ（ｎ＋Ｎ）｜のように、常に初期時刻ｎと比較しながら計算するものとする。また、拡散係数ηと密度ρと粘性係数ｖについては、それぞれ、例えば、０．０≦η≦５００．０、０．１≦ρ≦１０．０、１０．０≦ｖ≦５０．０のように予め範囲内を指定しておくことにより、計算時間を短縮することができる。 Note that the calculation of Expression (9) is as follows: | E (n) −E (n + 1) |,..., | E (n) −E (n + 6) |, | E (n) −E (n + N) | The calculation is always performed while comparing with the initial time n. The diffusion coefficient η, density ρ, and viscosity coefficient v are, for example, 0.0 ≦ η ≦ 500.0, 0.1 ≦ ρ ≦ 10.0, 10.0 ≦ v ≦ 50.0, respectively. By designating the range in advance, the calculation time can be shortened.

さらに、それら画像を予測する際に、最適化計算部１５は、乱流エネルギーモデルとして流体力学分野で知られているコルモゴロフエネルギーの特性（非特許文献４参照）を利用して、更に上記時間ステップｐの画像を最適化する（Ｓ１０８）。具体的には、Ｓ１０２で計算された速度ベクトルｕ_ｉ，ｊ ^ｎについて高速フーリエ変換（ＦＦＴ）の周波数変換を行うことにより、初期の波数エネルギーＥ（ｋ^ｎ）を取得する。同様に、Ｓ１０６で計算された速度ベクトルｕ_ｉ，ｊ ^ｎ＋ｐから時間ステップｐの波数エネルギーＥ（ｋ^ｎ＋ｐ）を取得する。ここで、波数ｋを横軸とし、縦軸を波数エネルギーとすると、図３（ａ）に示すように、低周波数側にピークを持つコルモゴロフエネルギーの特性に近似することになる。 Furthermore, when predicting these images, the optimization calculation unit 15 uses the Kolmogorov energy characteristic known in the field of hydrodynamics as a turbulent energy model (see Non-Patent Document 4), and further performs the above time step. The image of p is optimized (S108). Specifically, initial wave number energy E (k ⁿ ) is acquired by performing frequency transformation of fast Fourier transform (FFT) on the velocity vector u _{i, j} ⁿ calculated in S102. Similarly, the wave number energy E (kn ^{+ p} ) at the time step p is acquired from the velocity vector u _{i, j} ^{n + p} calculated in S106. Here, assuming that the wave number k is the horizontal axis and the vertical axis is the wave number energy, as shown in FIG. 3A, it approximates the characteristic of Kolmogorov energy having a peak on the low frequency side.

このとき、画像から計算される波数分布は、図３（ｂ）に示すように散在することになる。以降、式（９）を用いた計算は、波数の値が連続でなければゼロの値を用いた誤差計算となる。ゆえに、何らか補間された値が必要となる。そのため、図３に示すようなエネルギー分布について、連続的な波数とエネルギーの関係を得るため、式（１０）を用いて、波数ｋと波数エネルギーＥ（ｋ^ｎ＋ｐ）との関係がガンマ分布に近似するように更に最適化する。これにより、将来の画像の予測過程における式（９）の誤差の計算速度を速くすることができる。 At this time, the wave number distribution calculated from the image is scattered as shown in FIG. Thereafter, the calculation using the equation (9) is an error calculation using a zero value unless the wave number value is continuous. Therefore, some interpolated value is required. Therefore, in order to obtain a continuous wave number-energy relationship for the energy distribution as shown in FIG. 3, the relationship between the wave number k and the wave number energy E (kn ^{+ p} ) is approximated to a gamma distribution using Equation (10). Optimize further. Thereby, the calculation speed of the error of Formula (9) in the future image prediction process can be increased.

なお、ｋ、ｓｈ、θは、それぞれ、波数、形状、スケールである。 Note that k, sh, and θ are the wave number, shape, and scale, respectively.

また、式（９）で計算される初期と予測過程の誤差エネルギーεに基づいて、補正されるべき速度を推定することができる。拡散係数ηと密度ρと粘性係数ｖのパラメータの組み合わせによっては、初期エネルギーよりも予測過程中でエネルギーが増加若しくは減少する可能性があるため、速度の増減を考慮しておくことも必要である。具体的には、式（１１）に示すように、誤差エネルギーεを逆変換することで速度に変換することができる。   Further, the speed to be corrected can be estimated based on the error energy ε calculated in the equation (9) and the prediction process. Depending on the combination of the parameters of the diffusion coefficient η, density ρ, and viscosity coefficient v, energy may increase or decrease during the prediction process rather than the initial energy, so it is also necessary to consider the increase or decrease in speed. . Specifically, as shown in Expression (11), the error energy ε can be converted into speed by inversely converting it.

なお、ｓｇｎ関数は符号に関するものであり、ｓｇｎ（ε）＝＋１，０，−１は、それぞれ、ε＞０，ε＝０，ε＜０である。 The sgn function relates to a sign, and sgn (ε) = + 1, 0, −1 is ε> 0, ε = 0, and ε <0, respectively.

図４は、本実施の形態（本手法）で生成された画像と従来の三次元自己回帰モデル（従来法）で生成された画像との比較を示す図である。本手法では２枚の連続した水面画像を用い、従来法では１０枚の画像を用いて生成した結果である。従来法では画像にボヤケが生じているが、本手法によれば、実画像と同様の光沢、透明感、波状を得ることができ、両者の画質の差は明らかである。また、実画像に対する本手法の誤差（１３．０）は従来法の誤差（３０．０）よりも小さいため、より自然な画像を生成することが可能である。   FIG. 4 is a diagram showing a comparison between an image generated by the present embodiment (present method) and an image generated by a conventional three-dimensional autoregressive model (conventional method). In this method, two continuous water surface images are used, and in the conventional method, the images are generated using ten images. In the conventional method, the image is blurred, but according to this method, the same glossiness, transparency, and wavy as the actual image can be obtained, and the difference in image quality between the two is obvious. Further, since the error (13.0) of the present method with respect to the actual image is smaller than the error (30.0) of the conventional method, it is possible to generate a more natural image.

なお、参考までに、台風が撮影された気象画像を用いて生成された将来の画像を図５に示す。粘性係数ｖのみを変化させ、速度場は、渦度により評価している。また、粘性係数ｖと渦度の関係は、図６に示すように、粘性係数ｖが小さいほど、速度への感度が高いものとなっている。すなわち、粘性係数ｖが最適化されない場合には、台風の渦の速度場が予測中も残ってしまい、降水パターンは不自然に収縮し、並進運動が失われることになる。ゆえに、粘性係数ｖは、画像を予測する上で非常に重要なパラメータとなっている。   For reference, FIG. 5 shows a future image generated using a weather image obtained by shooting a typhoon. Only the viscosity coefficient v is changed, and the velocity field is evaluated by vorticity. As shown in FIG. 6, the relationship between the viscosity coefficient v and the vorticity is such that the smaller the viscosity coefficient v, the higher the sensitivity to speed. That is, if the viscosity coefficient v is not optimized, the vortex velocity field of the typhoon remains during the prediction, the precipitation pattern contracts unnaturally, and the translational motion is lost. Therefore, the viscosity coefficient v is a very important parameter for predicting an image.

最後に、初期エネルギー計算部１３で波数ベクトルを計算する際に用いた波生成方程式の数理モデルについて説明する。波の重ね合わせの理論によれば、時刻ｔにおける画像中の画素（ｘ，ｙ）の波の高さＨ（ｘ，ｙ，ｔ）は、式（１２）に示すように、余弦関数の線形和で近似表現することができる。   Finally, the mathematical model of the wave generation equation used when the initial energy calculation unit 13 calculates the wave number vector will be described. According to the theory of wave superposition, the wave height H (x, y, t) of the pixel (x, y) in the image at time t is the linearity of the cosine function as shown in equation (12). Approximate expression can be made by sum.

但し、ａ_ｍ、ｆ_ｍ、θ_ｍは、それぞれ、第ｍ番目の振幅、周波数、波向である。また、（ｋ_ｍ ^ｘ，ｋ_ｍ ^ｙ）は、波数の二次元成分（波数ベクトル）を表している。 Here, a _m , f _m , and θ _m are the mth amplitude, frequency, and wave direction, respectively. _Also, represents the ^{_{(k m x, k m y}} ) is the two-dimensional components of the wave number (wave vector).

一方、時刻ｔにおける輝度値Ｉについては、式（１３）で表現することができる。   On the other hand, the luminance value I at time t can be expressed by Expression (13).

∇、ｗ、Ｉは、それぞれ、空間一次微分演算子、速度ベクトル（ｗ＝（ｕ，ｖ））、輝度値である。また、Ｉ_ｔは、一次の時間微分である。Ｉ_ｘ、Ｉ_ｙは、それぞれ、ｘ方向、ｙ方向の空間一次微分であり、有限差分法により中心差分で近似している。添え字（ｉ，ｊ）は、画像上の画素の位置に対応した整数を表している。さらに、Δｘ、Δｙは、それぞれ、ｘ方向、ｙ方向の格子幅である。また、ｎ（＝０，１，２，…）は離散時間であり、Δｔは時間幅である。 ∇, w, I are a spatial first differential operator, a velocity vector (w = (u, v)), and a luminance value, respectively. In addition, I _t is a first-order time differential. I _x and I _y are spatial first derivatives in the x and y directions, respectively, and are approximated by a central difference by a finite difference method. The subscript (i, j) represents an integer corresponding to the pixel position on the image. Further, Δx and Δy are lattice widths in the x direction and the y direction, respectively. Further, n (= 0, 1, 2,...) Is a discrete time, and Δt is a time width.

式（１３）において、右辺がゼロの場合には、画像フレーム間の輝度が変化しない条件を表し、ゼロでない場合には、輝度が物理現象に従って変化するモデルを表している。ここで、式（１３）で示した画像の輝度値が、波という物理現象に基づいて変化するものとすると、式（１２）と式（１３）との関係を式（１４）で表現することができる。   In Expression (13), when the right side is zero, it represents a condition that the luminance between image frames does not change, and when it is not zero, it represents a model in which the luminance changes according to a physical phenomenon. Here, assuming that the luminance value of the image shown in Expression (13) changes based on a physical phenomenon called a wave, the relationship between Expression (12) and Expression (13) is expressed by Expression (14). Can do.

式（１４）に対してローレンツロバスト関数ρを適用し、２枚の連続した時系列画像を用いて二次元領域Ω∈Ｒ^２で計算すると、式（１５）のように展開することができる。 When the Lorentz robust function ρ is applied to the equation (14) and the calculation is performed in the two-dimensional region ΩεR ² using two continuous time-series images, the equation (15) can be developed.

式（１５）の最小化問題を解くため、少ない反復回数で収束する共役勾配法（Conjugate Gradient法）を用いることができる。この解法で必要とされる各未知数に対する一次微分については数値微分により与えるものとする。なお、λ_１、λ_２は、拘束条件の寄与度に関するパラメータである。上記式（１５）を用いて計算することにより、２枚の時系列画像から波関連の諸物理量である波数ベクトルを計算することができる。 In order to solve the minimization problem of Equation (15), a conjugate gradient method (Conjugate Gradient method) that converges with a small number of iterations can be used. The first derivative for each unknown needed in this solution is given by numerical differentiation. Note that λ ₁ and λ ₂ are parameters related to the contribution of the constraint condition. By calculating using the above equation (15), it is possible to calculate a wave vector, which is a wave-related physical quantity, from two time-series images.

最後に、本実施の形態で説明した画像生成装置は、マルチメディア分野、符号化分野、通信分野において、気象レーダ画像予測や映像製作における短い時系列画像から長い時系列画像を生成する用途、符号化における画像の欠落時の画像補間問題等に関連する産業分野に幅広く適用することができる。   Finally, the image generating apparatus described in the present embodiment is used for generating a long time-series image from a short time-series image in weather radar image prediction and video production in the multimedia field, the coding field, and the communication field. The present invention can be widely applied to industrial fields related to the image interpolation problem at the time of image loss during conversion.

本実施の形態によれば、予測計算部１４により、拡散係数を変数に有する移流拡散方程式と、密度及び粘性係数を変数に有するナビエ・ストークス方程式とを用いるので、２枚の画像からでも連続的に複数の新しい画像を生成することができる。   According to the present embodiment, the prediction calculation unit 14 uses the advection diffusion equation having the diffusion coefficient as a variable and the Navier-Stokes equation having the density and the viscosity coefficient as variables. Multiple new images can be generated.

本実施の形態によれば、最適化計算部１５により、次時刻の輝度値及び速度ベクトルから次時刻の画像が有するエネルギーを計算し、このエネルギーと初期のエネルギーとの最小になるまで拡散係数と密度と粘性係数とを可変しながら次時刻の画像を最適化するので、不自然な画像のボヤケを抑制することができる。   According to the present embodiment, the optimization calculation unit 15 calculates the energy of the image at the next time from the luminance value and the velocity vector at the next time, and calculates the diffusion coefficient until the energy and the initial energy are minimized. Since the image at the next time is optimized while varying the density and the viscosity coefficient, unnatural blur of the image can be suppressed.

本実施の形態によれば、最適化計算部１５により、波数と波数エネルギーとの関係がガンマ分布に近似するよう次時刻の画像を更に最適化するので、物理的な性質を保持することができる。   According to the present embodiment, the optimization calculation unit 15 further optimizes the image at the next time so that the relationship between the wave number and the wave number energy approximates the gamma distribution, so that the physical properties can be maintained. .

１…画像生成装置
１１…画像入力部
１２…画像記憶部
１３…初期エネルギー計算部（初期エネルギー計算手段）
１４…予測計算部（予測手段）
１５…最適化計算部（最適化手段）
１６…画像表示部
Ｓ１０１〜Ｓ１０８…ステップ DESCRIPTION OF SYMBOLS 1 ... Image generation apparatus 11 ... Image input part 12 ... Image storage part 13 ... Initial energy calculation part (initial energy calculation means)
14 ... Prediction calculation part (prediction means)
15 ... Optimization calculation part (optimization means)
16 ... Image display part S101-S108 ... Step

Claims (7)

２枚の連続した時系列画像を記憶手段から読み出して、各画素の輝度値を用いて速度ベクトルを計算し、当該速度ベクトルから前記時系列画像が有する初期のエネルギーを計算する初期エネルギー計算手段と、
拡散係数を変数に有する移流拡散方程式に前記輝度値及び前記速度ベクトルを用いて次時刻の輝度値を計算し、密度及び粘性係数を変数に有するナビエ・ストークス方程式に前記速度ベクトルを用いて前記次時刻の速度ベクトルを計算して、前記次時刻の画像を予測する予測手段と、
前記次時刻の輝度値及び速度ベクトルから当該次時刻の画像が有するエネルギーを計算し、当該エネルギーと前記初期のエネルギーとの差分絶対値が所定の閾値以下になるまで前記拡散係数と前記密度と前記粘性係数とを可変しながら前記次時刻の画像を最適化する最適化手段と、
を有することを特徴とする画像生成装置。 Initial energy calculation means for reading two continuous time-series images from the storage means, calculating a velocity vector using the luminance value of each pixel, and calculating initial energy of the time-series image from the velocity vector; ,
The luminance value and the velocity vector are calculated for the advection diffusion equation having a diffusion coefficient as a variable, and the luminance value at the next time is calculated using the velocity value and the velocity vector is used for the Navier-Stokes equation having a density and a viscosity coefficient as variables. Predicting means for calculating a speed vector of time and predicting an image of the next time;
The energy of the image at the next time is calculated from the luminance value and the velocity vector at the next time, and the diffusion coefficient, the density, and the density are calculated until the absolute difference between the energy and the initial energy is equal to or less than a predetermined threshold value. Optimization means for optimizing the image at the next time while varying the viscosity coefficient;
An image generation apparatus comprising: 前記エネルギーは、
輝度値及び速度ベクトルを用いて波数ベクトルを計算し、波数ベクトルから波数に関するエネルギーを計算すると共に、速度ベクトルから運動量及び発散度・渦度に関するエネルギーを計算し、更に輝度値から画像のエッジに関するエネルギーを計算して、計算された全てのエネルギーの和を全画素数で割った値であることを特徴とする請求項１に記載の画像生成装置。 The energy is
The wave number vector is calculated using the luminance value and the velocity vector, the energy related to the wave number is calculated from the wave vector, the energy related to the momentum and the divergence / vorticity is calculated from the velocity vector, and the energy related to the edge of the image is calculated from the luminance value. The image generation apparatus according to claim 1, wherein the image generation apparatus is a value obtained by dividing the sum of all calculated energies by the total number of pixels. 前記最適化手段は、
前記次時刻の速度ベクトルを用いて波数を計算すると共に、当該波数から波数エネルギーを計算し、当該波数と当該波数エネルギーとの関係がガンマ分布に近似するよう前記次時刻の画像を更に最適化することを特徴とする請求項１又は２に記載の画像生成装置。 The optimization means includes
The wave number is calculated using the velocity vector at the next time, the wave energy is calculated from the wave number, and the image at the next time is further optimized so that the relationship between the wave number and the wave energy approximates a gamma distribution. The image generation apparatus according to claim 1, wherein the image generation apparatus is an image generation apparatus. ２枚の連続した時系列画像を記憶手段から読み出して、各画素の輝度値を用いて速度ベクトルを計算し、当該速度ベクトルから前記時系列画像が有する初期のエネルギーを計算する第１ステップと、
拡散係数を変数に有する移流拡散方程式に前記輝度値及び前記速度ベクトルを用いて次時刻の輝度値を計算し、密度及び粘性係数を変数に有するナビエ・ストークス方程式に前記速度ベクトルを用いて前記次時刻の速度ベクトルを計算して、前記次時刻の画像を予測する第２ステップと、
前記次時刻の輝度値及び速度ベクトルから当該次時刻の画像が有するエネルギーを計算し、当該エネルギーと前記初期のエネルギーとの差分絶対値が所定の閾値以下になるまで前記拡散係数と前記密度と前記粘性係数とを可変しながら前記次時刻の画像を最適化する第３ステップと、
を有することを特徴とする画像生成方法。 A first step of reading two consecutive time-series images from the storage means, calculating a velocity vector using the luminance value of each pixel, and calculating initial energy of the time-series image from the velocity vector;
The luminance value and the velocity vector are calculated for the advection diffusion equation having a diffusion coefficient as a variable, and the luminance value at the next time is calculated using the velocity value and the velocity vector is used for the Navier-Stokes equation having a density and a viscosity coefficient as variables. A second step of calculating a speed vector of time and predicting an image of the next time;
The energy of the image at the next time is calculated from the luminance value and the velocity vector at the next time, and the diffusion coefficient, the density, and the density are calculated until the absolute difference between the energy and the initial energy is equal to or less than a predetermined threshold value. A third step of optimizing the image at the next time while varying the viscosity coefficient;
An image generation method characterized by comprising: 前記エネルギーは、
輝度値及び速度ベクトルを用いて波数ベクトルを計算し、波数ベクトルから波数に関するエネルギーを計算すると共に、速度ベクトルから運動量及び発散度・渦度に関するエネルギーを計算し、更に輝度値から画像のエッジに関するエネルギーを計算して、計算された全てのエネルギーの和を全画素数で割った値であることを特徴とする請求項４に記載の画像生成方法。 The energy is
The wave number vector is calculated using the luminance value and the velocity vector, the energy related to the wave number is calculated from the wave vector, the energy related to the momentum and the divergence / vorticity is calculated from the velocity vector, and the energy related to the edge of the image is calculated from the luminance value. The image generation method according to claim 4, wherein the value is a value obtained by dividing the sum of all calculated energies by the total number of pixels. 前記第３ステップは、
前記次時刻の速度ベクトルを用いて波数を計算すると共に、当該波数から波数エネルギーを計算し、当該波数と当該波数エネルギーとの関係がガンマ分布に近似するよう前記次時刻の画像を更に最適化することを特徴とする請求項４又は５に記載の画像生成方法。 The third step includes
The wave number is calculated using the velocity vector at the next time, the wave energy is calculated from the wave number, and the image at the next time is further optimized so that the relationship between the wave number and the wave energy approximates a gamma distribution. The image generation method according to claim 4, wherein the image generation method is an image generation method. 請求項４乃至６のいずれか１つに記載した第１ステップから第３ステップをコンピュータに実行させることを特徴とする画像生成プログラム。   An image generation program causing a computer to execute the first step to the third step according to any one of claims 4 to 6.