JP4893833B2 - Image processing apparatus, image processing method, and image processing program - Google Patents
Image processing apparatus, image processing method, and image processing program Download PDFInfo
- Publication number
- JP4893833B2 JP4893833B2 JP2009539975A JP2009539975A JP4893833B2 JP 4893833 B2 JP4893833 B2 JP 4893833B2 JP 2009539975 A JP2009539975 A JP 2009539975A JP 2009539975 A JP2009539975 A JP 2009539975A JP 4893833 B2 JP4893833 B2 JP 4893833B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- smoothed
- intermediate smoothed
- nth frame
- smoothed image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Television Systems (AREA)
- Image Processing (AREA)
Description
この発明は、外部から受け付けた複数のフレームから構成される動画像から低周波成分を用いて平滑化画像を生成する画像処理装置に関する。 The present invention relates to an image processing apparatus that generates a smoothed image using a low-frequency component from a moving image composed of a plurality of frames received from the outside.
従来より、画像データを滑らかにして見やすい画像データにする平滑化処理において、低域周波数のみを通過させるフィルタであるＬＰＦ（Low Pass Filter：ローパスフィルタ）が利用されている。一般に、ＬＰＦ処理を行う場合には、平滑化する範囲の画素を保持する必要があり、図１２−（Ａ）に示すように、画素を保持するためのライン数分のメモリを必要とする。例えば、図１２−（Ａ）では、処理対象画素に対してグレー部分の範囲の画素を保持する必要があるために、太い矢印で示したライン数分をメモリに格納する。そのため、容量の大きいメモリを必要としていた。 Conventionally, LPF (Low Pass Filter), which is a filter that passes only a low frequency, is used in smoothing processing that makes image data smooth and easy to view. In general, when performing LPF processing, it is necessary to hold pixels in a range to be smoothed, and as shown in FIG. 12- (A), memory for the number of lines for holding pixels is required. For example, in FIG. 12- (A), since it is necessary to hold the pixels in the gray part range with respect to the processing target pixel, the number of lines indicated by the thick arrows is stored in the memory. For this reason, a memory having a large capacity is required.
そこで最近では、平滑化処理範囲の画素を保持するために必要なメモリの容量を削減する技術が開示されている。例えば、特許文献１では、図１２−（Ｂ）に示すように、１フレーム前の画像を縮小した縮小画像を保持して、当該縮小画像を利用して平滑化処理を行う。そして、この縮小画像の縮小率が充分に小さい場合には、上記したライン数分のメモリよりも少ないメモリで平滑化処理を行うことができる。
Therefore, recently, a technique for reducing the memory capacity required to hold the pixels in the smoothing processing range has been disclosed. For example, in
しかしながら、上記した従来の技術では、ＬＰＦ処理においてエッジを正確に再現することができないという課題があった。具体的には、画像縮小処理によって画像の細かい情報が失われるために、エッジを正確に再現することができなかった。 However, the above-described conventional technique has a problem that the edge cannot be accurately reproduced in the LPF processing. Specifically, since the detailed information of the image is lost by the image reduction process, the edge cannot be accurately reproduced.
そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、ＬＰＦ処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。 Therefore, the present invention has been made to solve the above-described problems of the prior art, and it is possible to reduce the memory capacity required for the LPF processing and to accurately reproduce the edge. An object of the present invention is to provide an image processing apparatus, an image processing method, and an image processing program.
上述した課題を解決し、目的を達成するため、本装置は、外部から受け付けた複数のフレームから構成される動画像から低周波成分を用いて平滑化画像を生成する画像処理装置であって、予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持する中間平滑化画像保持手段と、前記外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成する画像縮小処理手段と、前記画像縮小処理手段により生成された縮小画像に対して、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、前記中間平滑化画像保持手段に格納する中間平滑化画像生成手段と、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、前記中間平滑化画像保持手段により保持されたＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得する取得手段と、前記取得手段により取得されたＮ番目のフレームの中間平滑化画像と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する合成処理手段と、を備える。 In order to solve the above-described problems and achieve the object, this apparatus is an image processing apparatus that generates a smoothed image using a low-frequency component from a moving image composed of a plurality of frames received from the outside, Intermediate smoothed image holding means for holding a plurality of intermediate smoothed images smoothed at a plurality of preset level values, and a reduced image by reducing the Nth frame image of the moving image received from the outside Image reduction processing means for generating a plurality of intermediate smoothed images by performing smoothing processing on the reduced image generated by the image reduction processing means with the plurality of preset level values The intermediate smoothed image generating means stored in the intermediate smoothed image holding means and the N smoothed image holding means when generating the smoothed images of the (N + 1) th and subsequent frames. Acquisition means for acquiring one or a plurality of intermediate smoothed images of the eye frame, the intermediate smoothed image of the Nth frame acquired by the acquisition means, and the N + 1th and subsequent images of the moving image received from the outside Combining processing means for generating a smoothed image by combining the frames.
本装置によれば、縮小された過去のフレームと複数の処理対象フレームとの合成により平滑化画像を生成するので、ＬＰＦ処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である。 According to the present apparatus, since a smoothed image is generated by combining the reduced past frame and a plurality of processing target frames, it is possible to reduce the memory capacity required for the LPF processing, Can be accurately reproduced.
１ 入力画像
２ 出力画像
１０ 画像処理装置
１１ 記憶部
１１ａ 入力画像記憶部
１１ｂ 中間平滑化画像記憶部
１１ｃ 平滑化画像記憶部
１２ 制御部
１２ａ 入力画像受付部
１２ｂ 画像縮小処理部
１２ｃ 中間平滑化画像生成部
１２ｄ 合成処理部
１２ｅ 画像出力部DESCRIPTION OF
以下に添付図面を参照して、この発明に係る画像処理装置の実施例を詳細に説明する。なお、以下では、実施例１に係る画像処理装置の概要および特徴、画像処理装置の構成および処理の流れを順に説明し、最後に本実施例による効果を説明する。 Embodiments of an image processing apparatus according to the present invention will be described below in detail with reference to the accompanying drawings. In the following, the outline and features of the image processing apparatus according to the first embodiment, the configuration of the image processing apparatus and the flow of processing will be described in order, and finally the effects of the present embodiment will be described.
［画像処理装置の概要および特徴］
次に、実施例１に係る画像処理装置の概要および特徴を説明する。図１は、実施例１に係る画像処理装置の概要および特徴を示す図である。[Outline and Features of Image Processing Device]
Next, the outline and features of the image processing apparatus according to the first embodiment will be described. FIG. 1 is a diagram illustrating an overview and features of the image processing apparatus according to the first embodiment.
この画像処理装置は、動画のフレームが１／３０秒ごとなどに入力され、ノイズ除去やダイナミックレンジ補正処理などに利用するためのＬＰＦである。そして、画像処理装置は、入力される動画のフレームから平滑化画像を生成する。ここでは、処理対象として、ＹＣｂＣｒ成分のうちのＹ成分（明るさ成分）とするが、他の成分を処理対象としても構わないし、もちろん、他の表色系（ＲＧＢ）などであらわされた画像への適用も可能である。 This image processing apparatus is an LPF for inputting a moving image frame every 1/30 seconds or the like and using it for noise removal or dynamic range correction processing. Then, the image processing apparatus generates a smoothed image from the input moving image frame. Here, the processing target is the Y component (brightness component) of the YCbCr components, but other components may be the processing target, and of course, an image represented by another color system (RGB) or the like. Application to is also possible.
このような構成において、画像処理装置は、外部から受け付けた複数のフレームから構成される動画像において、フレームの低周波成分を用いて平滑化画像生成を行うことを概要とし、特に、ＬＰＦ処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である点を主たる特徴とする。 In such a configuration, the image processing apparatus outlines that smoothed image generation is performed using a low-frequency component of a frame in a moving image composed of a plurality of frames received from the outside, and particularly in LPF processing. The main feature is that the required memory capacity can be reduced and the edge can be accurately reproduced.
この主たる特徴について説明すると、画像処理装置は、外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成する（図１の（１）参照）。具体的に例を挙げると、画像処理装置は、動画データのＮ番目のフレームの入力を外部から受け付けると、当該外部から受け付けた入力された動画データのＮ番目のフレームを縮小する縮小処理を行って縮小画像を生成する。 Explaining this main feature, the image processing apparatus reduces the Nth frame image of the moving image received from the outside to generate a reduced image (see (1) in FIG. 1). To give a specific example, when the input of the Nth frame of the moving image data is received from the outside, the image processing apparatus performs a reduction process for reducing the Nth frame of the input moving image data received from the outside. To generate a reduced image.
そして、画像処理装置は、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部に格納する（図１の（２）参照）。上記した例で具体的に説明すると、画像処理装置は、生成されたＮ番目のフレームの縮小画像に対して、０〜２５５階調の明るさのレベルにおいて予め５つの複数プレーン（画像）に多層化されたレベル値範囲に対応する複数の平滑化処理を実施して、画像処理装置による平滑化処理において中間データとなる複数の中間平滑化画像（Ｎ（０）〜Ｎ（４））を生成する。そして、画像処理装置は、生成した中間平滑化画像を中間平滑化画像記憶部に格納する。 Then, the image processing apparatus performs smoothing processing on the generated reduced image with a plurality of preset level values, generates a plurality of intermediate smoothed images, and stores them in the intermediate smoothed image storage unit (Refer to (2) in FIG. 1). Specifically, in the above example, the image processing apparatus multi-layers a plurality of planes (images) in advance at a brightness level of 0 to 255 gradations with respect to the generated reduced image of the Nth frame. A plurality of smoothing processes corresponding to the level level range obtained are performed, and a plurality of intermediate smoothed images (N (0) to N (4)) serving as intermediate data in the smoothing process by the image processing apparatus are generated. To do. Then, the image processing apparatus stores the generated intermediate smoothed image in the intermediate smoothed image storage unit.
続いて、画像処理装置は、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部に格納されているＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する（図１の（３）参照）。 Subsequently, when the image processing apparatus generates smoothed images of the (N + 1) th and subsequent frames, one or a plurality of intermediate smoothed images of the Nth frame stored in the intermediate smoothed image storage unit are stored. The smoothed image is generated by synthesizing the acquired intermediate smoothed image of the Nth frame and the (N + 1) th and subsequent frames of the moving image received from the outside (see (3) in FIG. 1).
上記した例で具体的に説明すると、画像処理装置は、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの５つの中間平滑化画像（Ｎ（０）〜Ｎ（４））を中間平滑化画像記憶部から一つまたは複数取得する。そして、画像処理装置は、取得されたＮ番目のフレームの中間平滑化画像（Ｎ（０）〜Ｎ（４））と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する。ここで、Ｎ＋１番目以降のフレームとは、Ｎ＋１番目のフレームやＮ＋２番目のフレームなどの処理対象となる外部から入力される動画像を構成する複数のフレームのことを指す。また、合成に利用するＮ番目のフレームの中間平滑化画像は、Ｎ（０）〜Ｎ（４）の一つまたは全部を利用してもよい。 More specifically, the image processing apparatus generates five intermediate smoothed images (N (0) to N (4) of the Nth frame when generating smoothed images of the (N + 1) th and subsequent frames. )) Is acquired from the intermediate smoothed image storage unit. Then, the image processing apparatus synthesizes and smoothes the acquired intermediate smoothed image (N (0) to N (4)) of the Nth frame and the (N + 1) th and subsequent frames of the moving image received from the outside. Generate an image. Here, the (N + 1) th and subsequent frames refer to a plurality of frames constituting a moving image input from the outside to be processed, such as the (N + 1) th frame and the (N + 2) th frame. Further, one or all of N (0) to N (4) may be used as the intermediate smoothed image of the Nth frame used for synthesis.
つまり、画像処理装置は、Ｎ＋１番目のフレームやＮ＋２番目のフレームなどの平滑化画像を生成する場合に、縮小処理されたＮ番目のフレームの一つまたは複数の中間平滑化画像を使い回して平滑化画像を生成する。また、画像処理装置は、Ｎ番目のフレームの一つまたは複数の中間平滑化画像と処理対象となるＮ＋１番目以降のフレームとの合成において、縮小処理された中間平滑化画像が保持しきれないエッジなどの細かい情報を、処理対象となるＮ＋１番目以降のフレームから取得しつつ合成する。なお、画像処理装置は、合成処理の結果、処理対象となるＮ＋１番目以降のフレームのエッジが保存された平滑化処理の結果を得て、得られた画像データは、ダイナミックレンジ補正処理などに利用される。 In other words, when generating a smoothed image such as the (N + 1) th frame or the (N + 2) th frame, the image processing apparatus uses one or a plurality of intermediate smoothed images of the reduced Nth frame for smoothing. Generate a digitized image. Further, the image processing apparatus can perform an edge that cannot hold the reduced intermediate smoothed image in the synthesis of one or a plurality of intermediate smoothed images of the Nth frame and the (N + 1) th and subsequent frames to be processed. Are acquired from the N + 1th and subsequent frames to be processed. The image processing apparatus obtains the result of smoothing processing in which the edges of the (N + 1) th and subsequent frames to be processed are stored as a result of the synthesis processing, and the obtained image data is used for dynamic range correction processing and the like. Is done.
このように、実施例１に係る画像処理装置は、縮小された過去のフレームを複数の処理対象フレームとの合成に利用することができる結果、ＬＰＦ処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である。 As described above, the image processing apparatus according to the first embodiment can use the reduced past frame for combining with a plurality of processing target frames, and as a result, reduce the memory capacity required for the LPF processing. It is possible to reproduce the edges accurately.
［画像処理装置の構成］
次に、図２を用いて、実施例１に係る画像処理装置の構成を説明する。図２は、実施例１に係る画像処理装置の構成を示すブロック図である。図２に示すように、画像処理装置１０は、記憶部１１と制御部１２とから構成され、外部から受け付けた動画像の複数フレームの一つである入力画像１を平滑化処理して、ダイナミックレンジ補正処理などに利用可能な出力画像２として出力する。[Configuration of image processing apparatus]
Next, the configuration of the image processing apparatus according to the first embodiment will be described with reference to FIG. FIG. 2 is a block diagram illustrating the configuration of the image processing apparatus according to the first embodiment. As shown in FIG. 2, the image processing apparatus 10 includes a
記憶部１１は、制御部１２による各種処理に必要なデータや、制御部１２による各種処理結果を記憶し、特に本発明に密接に関連するものとしては、入力画像記憶部１１ａと、中間平滑化画像記憶部１１ｂと、平滑化画像記憶部１１ｃとを備える。
The
入力画像記憶部１１ａは、外部から画像処理装置１０に入力される動画像のフレームである入力画像１を記憶する。また、中間平滑化画像記憶部１１ｂは、図３に示すように、後述する中間平滑化画像生成部１２ｃにより生成される、０〜２５５階調の明るさのレベルにおいて予め設定された複数のレベル値で平滑化された複数の中間平滑化画像（Ｎ（０）〜Ｎ（４））を記憶する。また、平滑化画像記憶部１１ｃは、後述する合成処理部１２ｄにより合成されて得られる平滑化画像を記憶する。なお、図３は、中間平滑化画像記憶部１１ｂに記憶される情報の例を示す図である。
The input
制御部１２は、制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、入力画像受付部１２ａと、画像縮小処理部１２ｂと、中間平滑化画像生成部１２ｃと、合成処理部１２ｄと、画像出力部１２ｅとを備え、これらによって種々の処理を実行する。
The control unit 12 has an internal memory for storing a control program, a program defining various processing procedures, and required data, and particularly as closely related to the present invention, the input
入力画像受付部１２ａは、外部から画像処理装置１０に入力される動画像のフレームである入力画像を受け付ける。具体的に例を挙げると、入力画像受付部１２ａは、外部から画像処理装置１０に入力される動画データのＮ番目のフレームである入力画像１を受け付けて、当該受け付けた入力画像１を入力画像記憶部１１ａに格納する。
The input
画像縮小処理部１２ｂは、外部から受け付けた動画像のＮ番目のフレームを縮小処理して縮小画像を生成する。上記した例で具体的に例を挙げると、画像縮小処理部１２ｂは、入力画像受付部１２ａにより外部から受け付けられて入力画像記憶部１１ａに格納された動画データであるＮ番目のフレームを取得して、取得したＮ番目のフレームを縮小する画像縮小処理を行って縮小画像を生成して、後述する中間平滑化画像生成部１２ｃに出力する。
The image reduction processing unit 12b generates a reduced image by reducing the Nth frame of the moving image received from the outside. To give a specific example in the above example, the image reduction processing unit 12b acquires the Nth frame that is the moving image data received from the outside by the input
中間平滑化画像生成部１２ｃは、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部１１ｂに格納する。
The intermediate smoothed image generating unit 12c performs smoothing processing on the generated reduced image with a plurality of preset level values to generate a plurality of intermediate smoothed images, and an intermediate smoothed
上記した例で具体的に例を挙げると、中間平滑化画像生成部１２ｃは、画像縮小処理部１２ｂから受け付けたＮ番目のフレームの縮小画像の各画素に対して、０〜２５５階調の明るさのレベルにおいて予め５つの複数プレーンに多層化する。この多層化されたＮ（０）〜Ｎ（４）のレベル値の範囲をそれぞれ、０〜８４、４２〜１２８、８５〜１６０、１２９〜２１２、１６１〜２５５とする。 Specifically, in the above example, the intermediate smoothed image generation unit 12c has a brightness of 0 to 255 gradations for each pixel of the reduced image of the Nth frame received from the image reduction processing unit 12b. At this level, a multi-layer is formed in advance into five multiple planes. The multi-layered N (0) to N (4) level value ranges are 0 to 84, 42 to 128, 85 to 160, 129 to 212, and 161 to 255, respectively.
そして、中間平滑化画像生成部１２ｃは、縮小画像の各画素を中心とした所定数の画素（フィルタサイズによって決定される、処理対象画素を中心とした複数の画素）につき、レベル値の範囲に該当する画素の値から平均を求め、該算出した値を処理対象画素の値として格納する。このとき、フィルタサイズ内の画素で、処理対象とするレベル値の範囲に該当しない画素については、平均を求める際に利用しない。フィルタサイズ内の画素において、レベル値の範囲に該当する画素が一つもない場合には、便宜上、例えば、レベル値の範囲の平均（例えば、０〜８４のレベル値範囲であれば「４２」など）を、処理対象画素の値とする。縮小画像内の各画素につき、当該多層化されたレベル値範囲に対応する複数の平滑化処理を実施して、画像処理装置１０による平滑化処理において中間データとなる複数の中間平滑化画像を生成する。その後、中間平滑化画像生成部１２ｃは、生成した中間平滑化画像を中間平滑化画像記憶部１１ｂに格納する。
Then, the intermediate smoothed image generating unit 12c sets a predetermined number of pixels centered on each pixel of the reduced image (a plurality of pixels centered on the processing target pixel determined by the filter size) within the level value range. An average is obtained from the values of the corresponding pixels, and the calculated value is stored as the value of the processing target pixel. At this time, pixels that are within the filter size and do not fall within the range of level values to be processed are not used when obtaining the average. If there is no pixel corresponding to the level value range in the pixels within the filter size, for example, for the sake of convenience, for example, an average of the level value range (for example, “42” if the level value range is 0 to 84). ) Is the value of the pixel to be processed. For each pixel in the reduced image, a plurality of smoothing processes corresponding to the multilayered level value range are performed to generate a plurality of intermediate smoothed images that are intermediate data in the smoothing process by the image processing apparatus 10 To do. Thereafter, the intermediate smoothed image generation unit 12c stores the generated intermediate smoothed image in the intermediate smoothed
なお、中間平滑化画像生成部１２ｃが多層化するプレーンの数は、「５」に限るものではなく、各プレーン毎のレベル値の範囲も上述の値に限るものではない。多層化した後のプレーン数が複数で、プレーン数に応じて０〜２５５の階調を分けた値により設定されたレベル値であればよい。 Note that the number of planes that the intermediate smoothed image generating unit 12c multi-layers is not limited to “5”, and the range of level values for each plane is not limited to the above value. The number of planes after the multi-layering may be plural, and the level value set by a value obtained by dividing the gradation of 0 to 255 according to the number of planes may be used.
合成処理部１２ｄは、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部１１ｂに格納されているＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得したＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する。
When generating the smoothed image of the (N + 1) th and subsequent frames, the synthesis processing unit 12d acquires one or more intermediate smoothed images of the Nth frame stored in the intermediate smoothed
上記した例で具体的に例を挙げると、合成処理部１２ｄは、Ｎ＋１番目のフレームのレベル値が１００である処理対象画素について平滑化画像を生成する場合に、Ｎ番目のフレームの５つの中間平滑化画像（Ｎ（０）〜Ｎ（４））のうち、中間平滑化画像記憶部１１ｂから、レベル値１００を含んでいるプレーンである、レベル値が４２〜１２８でレベル値平均が９０のＮ（１）とレベル値が８５〜１６０でレベル値平均が約１２０のＮ（２）とを取得する。そして、合成処理部１２ｄは、Ｎ（１）とＮ＋１番目のフレームとの距離「１００−９０＝１０」と、Ｎ（２）とＮ＋１番目のフレームとの距離「１２０−１００＝２０」とから、Ｎ＋１番目のフレームにより近い距離のフレームＮ（１）に重み付けをする。続いて、合成処理部１２ｄは、「Ｎ（１）：Ｎ（２）＝２：１」の割合で、取得されたＮ番目のフレームの中間平滑化画像（Ｎ（１）とＮ（２））と外部から受け付けた動画像のＮ＋１番目のフレームとを補間演算により合成して平滑化画像を生成する。なお、合成処理部１２ｄは、生成した平滑化画像を平滑化画像記憶部１１ｃに格納する。
Specifically, in the above example, when the synthesis processing unit 12d generates a smoothed image for the processing target pixel whose level value of the (N + 1) th frame is 100, the middle part of the Nth frame Among the smoothed images (N (0) to N (4)), the intermediate smoothed
また、合成処理部１２ｄは、Ｎ＋１番目以降のフレームについても、上記説明のうち、Ｎ＋１番目のフレームをＮ＋１番目以降のフレームに置き換えて同様の処理を行う。なお、本実施例では、Ｙ成分を処理対象とし、Ｎ番目のフレームの中間平滑化画像と、Ｎ＋１番目のフレームの画像とから平滑化画像を生成するが、この生成結果は、Ｎ＋１番目のフレームの処理結果として扱うべきものである。したがって、Ｎ番目のフレームの中間平滑化画像をＹ成分を対象として生成した場合には、他の成分としてＣｂＣｒ成分をＮ＋１番目のフレームから抽出して合成し、カラー画像とするように、Ｎ番目のフレームの中間平滑化画像を生成する際に処理対象とした成分と、合成する他の成分は、Ｎ＋１番目のフレーム（Ｎ番目のフレーム以外のフレーム）の他の成分と合成することが望ましい。 Also, the composition processing unit 12d performs the same processing for the (N + 1) th and subsequent frames by replacing the (N + 1) th frame with the (N + 1) th and subsequent frames in the above description. In the present embodiment, the Y component is a processing target, and a smoothed image is generated from the intermediate smoothed image of the Nth frame and the image of the (N + 1) th frame. Should be handled as a result of processing. Therefore, when the intermediate smoothed image of the Nth frame is generated for the Y component, the CbCr component is extracted as the other component from the (N + 1) th frame and synthesized to form a color image. It is desirable that the component to be processed when generating the intermediate smoothed image of the second frame and the other component to be combined with the other components of the N + 1th frame (the frame other than the Nth frame).
画像出力部１２ｅは、合成処理部１２ｄにより生成された平滑化画像を出力画像２として出力する。上記した例で具体的に例を挙げると、画像出力部１２ｅは、合成処理部１２ｄにより生成された平滑化画像を平滑化画像記憶部１１ｃから取得して出力画像２として出力する。
The image output unit 12e outputs the smoothed image generated by the synthesis processing unit 12d as the
［実施例１に係る画像処理装置による処理］
次に、図４を用いて、実施例１に係る画像処理装置１０による平滑化処理を説明する。図４は、実施例１に係る画像処理装置１０による平滑化処理を示すフローチャートである。[Processing by Image Processing Apparatus According to First Embodiment]
Next, the smoothing process performed by the image processing apparatus 10 according to the first embodiment will be described with reference to FIG. FIG. 4 is a flowchart illustrating the smoothing process performed by the image processing apparatus 10 according to the first embodiment.
図４に示すように、入力画像受付部１２ａは、外部から画像処理装置１０に動画像のフレームである入力画像１が入力されると（ステップＳ３１肯定）、当該外部から画像処理装置１０に入力された入力画像を受け付ける（ステップＳ３２）。具体的に例を挙げると、入力画像受付部１２ａは、外部から画像処理装置１０に入力される動画データのＮ番目のフレームである入力画像１を受け付ける。そして、入力画像受付部１２ａは、受け付けた入力画像１を入力画像記憶部１１ａに格納する。
As shown in FIG. 4, when the
そして、画像縮小処理部１２ｂは、入力画像受付部１２ａにより受け付けた動画像のＮ番目のフレームを縮小処理して縮小画像を生成する（ステップＳ３３）。上記した例で具体的に説明すると、画像縮小処理部１２ｂは、入力画像記憶部１１ａからＮ番目のフレームを取得して、取得したＮ番目のフレームを縮小する画像縮小処理を行って縮小画像を生成し、生成した縮小画像を中間平滑化画像生成部１２ｃに出力する。
Then, the image reduction processing unit 12b generates a reduced image by reducing the Nth frame of the moving image received by the input
続いて、中間平滑化画像生成部１２ｃは、画像縮小処理部１２ｂにより生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成する（ステップＳ３４）。上記した例で具体的に説明すると、中間平滑化画像生成部１２ｃは、画像縮小処理部１２ｂにより生成されたＮ番目のフレームの縮小画像の各画素に対して、０〜２５５階調の明るさのレベル（すなわち、ＹＣｂＣｒのうちのＹ成分）において予め５つの複数プレーンに多層化する。そして、中間平滑化画像生成部１２ｃは、当該多層化されたレベル値範囲に対応する複数の平滑化処理を実施して、画像処理装置１０による平滑化処理において中間データとなる複数の中間平滑化画像を生成して中間平滑化画像記憶部１１ｂに格納する。なお、ここでは、多層化されたＮ（０）〜Ｎ（４）のレベル値の範囲をそれぞれ、０〜８４、４２〜１２８、８５〜１６０、１２９〜２１２、１６１〜２５５とする。
Subsequently, the intermediate smoothed image generation unit 12c performs a smoothing process on the reduced image generated by the image reduction processing unit 12b with a plurality of preset level values to obtain a plurality of intermediate smoothed images. Generate (step S34). Specifically, in the above example, the intermediate smoothed image generation unit 12c has a brightness of 0 to 255 gradations for each pixel of the reduced image of the Nth frame generated by the image reduction processing unit 12b. (Ie, the Y component of YCbCr) is previously multilayered into five multiple planes. Then, the intermediate smoothed image generation unit 12c performs a plurality of smoothing processes corresponding to the multi-layered level value range, and a plurality of intermediate smoothing that becomes intermediate data in the smoothing process by the image processing apparatus 10 An image is generated and stored in the intermediate smoothed
その後、合成処理部１２ｄは、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部１１ｂに格納されているＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得したＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する（ステップＳ３５）。
Thereafter, when generating the smoothed image of the (N + 1) th and subsequent frames, the synthesis processing unit 12d selects one or more of the plurality of intermediate smoothed images of the Nth frame stored in the intermediate smoothed
上記した例で具体的に説明すると、合成処理部１２ｄは、Ｎ＋１番目のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの５つの中間平滑化画像（Ｎ（０）〜Ｎ（４））のうち、中間平滑化画像記憶部１１ｂから、レベル値平均が９０のＮ（１）とレベル値平均が約１２０のＮ（２）とを取得する。取得する中間平滑化画像は、縮小画像から生成されているため、画素数が少ない。言い換えれば、粗い画像ということになる。中間平滑化画像として取得する画素は、例えば、もっとも近い位置の画素とすればよい。そして、合成処理部１２ｄは、Ｎ（１）とＮ＋１番目のフレームとの距離と、Ｎ（２）とＮ＋１番目のフレームとの距離とから、Ｎ＋１番目のフレームにより近い距離のフレームＮ（１）に重み付けをする。続いて、合成処理部１２ｄは、「Ｎ（１）：Ｎ（２）＝２：１」の割合で、取得されたＮ番目のフレームの中間平滑化画像（Ｎ（１）とＮ（２））と外部から受け付けた動画像のＮ＋１番目のフレームとを補間演算により合成して平滑化画像を生成する。なお、合成処理部１２ｄは、生成した平滑化画像を平滑化画像記憶部１１ｃに格納する。
Specifically, in the example described above, the composition processing unit 12d generates five intermediate smoothed images (N (0) to N (4) of the Nth frame when generating the smoothed image of the (N + 1) th frame. )), N (1) having a level value average of 90 and N (2) having a level value average of about 120 are acquired from the intermediate smoothed
そして、画像出力部１２ｅは、合成処理部１２ｄにより生成された平滑化画像を出力画像２として出力する（ステップＳ３６）。上記した例で具体的に説明すると、画像出力部１２ｅは、合成処理部１２ｄにより生成された平滑化画像を平滑化画像記憶部１１ｃから取得して出力画像２として出力する。
Then, the image output unit 12e outputs the smoothed image generated by the synthesis processing unit 12d as the output image 2 (step S36). More specifically, the image output unit 12e acquires the smoothed image generated by the synthesis processing unit 12d from the smoothed image storage unit 11c and outputs it as the
［実施例１による効果］
このように、画像処理装置１０は、予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持し、外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成し、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して所定の記憶部に格納し、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、格納されたＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成することとしたので、ＬＰＦ処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である。[Effects of Example 1]
In this way, the image processing apparatus 10 holds a plurality of intermediate smoothed images smoothed with a plurality of preset level values, and performs a reduction process on the Nth frame image of the moving image received from the outside. A reduced image is generated, and the generated reduced image is smoothed with a plurality of preset level values to generate a plurality of intermediate smoothed images, which are stored in a predetermined storage unit, and N + 1 When generating the smoothed images of the Nth and subsequent frames, one or a plurality of stored intermediate smoothed images of the Nth frame are acquired, and the acquired intermediate smoothed image of the Nth frame and the external Since the smoothed image is generated by synthesizing the N + 1th and subsequent frames of the moving image received from the above, it is possible to reduce the memory capacity required for the LPF processing and to accurately detect the edge. Re It is possible to.
例えば、画像処理装置１０は、外部から受け付けた複数のフレームから構成される動画像から低周波成分を用いて平滑化画像を生成する場合に、外部から受け付けた動画データであるＮ番目のフレームの縮小画像を生成する。そして、画像処理装置１０は、生成したＮ番目のフレームの縮小画像に対して０〜２５５階調の明るさのレベルごとに５つの複数プレーンに多層化されたレベル値範囲に対応する複数の平滑化処理を実施して複数の中間平滑化画像を生成する。続いて、画像処理装置１０は、生成した中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成し、出力画像として出力する。つまり、Ｎ＋１番目以降のフレームでは、画像の縮小や中間平滑化画像の生成などをする必要がなく、Ｎ番目のフレームの縮小画像から生成した中間平滑化画像を利用して平滑化画像を生成することができる結果、ＬＰＦ処理で必要となるメモリの容量を削減することが可能であるとともに、エッジを正確に再現することが可能である。 For example, when the image processing apparatus 10 generates a smoothed image using a low-frequency component from a moving image composed of a plurality of frames received from the outside, the image processing apparatus 10 includes the Nth frame that is moving image data received from the outside. Generate a reduced image. Then, the image processing apparatus 10 performs a plurality of smoothing corresponding to the level value range that is multi-layered into five multiple planes for each brightness level of 0 to 255 gradations with respect to the generated reduced image of the Nth frame. To generate a plurality of intermediate smoothed images. Subsequently, the image processing apparatus 10 synthesizes the generated intermediate smoothed image and the (N + 1) th and subsequent frames of the moving image received from the outside, generates a smoothed image, and outputs it as an output image. That is, in the (N + 1) th and subsequent frames, there is no need to reduce the image or generate an intermediate smoothed image, and the smoothed image is generated using the intermediate smoothed image generated from the reduced image of the Nth frame. As a result, the memory capacity required for the LPF process can be reduced, and the edge can be accurately reproduced.
また、画像処理装置１０は、生成した中間平滑化画像と処理対象フレームとを合成する場合に、合成処理の比率を処理対象のフレームを参照して決定することとしたので、簡易な演算処理により合成処理することが可能である。 In addition, when the generated intermediate smoothed image and the processing target frame are combined, the image processing apparatus 10 determines the combining processing ratio with reference to the processing target frame. It can be combined.
ところで、実施例１では、Ｎ番目のフレームを用いてＮ＋１番目以降のフレームの平滑化処理を行う場合を説明したが、本発明はこれに限定されるものではなく、Ｎ番目のフレームから生成する中間平滑化画像を複数のフレームが入力される間に生成して、生成したＮ番目のフレームを用いてＮ＋３番目以降のフレームの平滑化処理を行うこともできる。 In the first embodiment, the case where the N + 1th frame is used to perform the smoothing process on the (N + 1) th and subsequent frames has been described. However, the present invention is not limited to this, and the Nth frame is generated from the Nth frame. An intermediate smoothed image can be generated while a plurality of frames are input, and the N + 3th and subsequent frames can be smoothed using the generated Nth frame.
［実施例２に係る平滑化処理のタイムチャート］
そこで、以下の実施例２では、図５を用いて、実施例２に係る画像処理装置１０による平滑化処理のタイムチャートを説明する。図５は、実施例２に係る画像処理装置１０による平滑化処理のタイムチャートを説明するための図である。ここでは、動画データの受信をＮ番目のフレームからＮ＋５番目のフレームの６フレーム分として、一つの中間データを用いて３フレーム分の平滑化処理（ＬＰＦ処理）を行うこととして説明する。[Time Chart of Smoothing Process According to Second Embodiment]
Therefore, in the following second embodiment, a time chart of the smoothing process by the image processing apparatus 10 according to the second embodiment will be described with reference to FIG. FIG. 5 is a diagram for explaining a time chart of the smoothing process performed by the image processing apparatus 10 according to the second embodiment. Here, it is assumed that the moving image data is received for 6 frames from the Nth frame to the N + 5th frame, and smoothing processing (LPF processing) for 3 frames is performed using one intermediate data.
図５に示すように、画像処理装置１０は、外部からＮ番目のフレームを受け付けると、Ｎ＋３番目のフレームの平滑化画像を生成するまでに当該Ｎ番目のフレームの画像を縮小して縮小画像を生成し、生成された縮小画像に対して予め設定された複数のレベル値範囲（０〜２５５階調を多層化）に対応する複数の平滑化処理から得られる９プレーン（０プレーンから８プレーン）の中間平滑化画像を生成する。つまり、画像処理装置１０は、Ｎ番目のフレームが受信されて、Ｎ＋３番目のフレームが受信されるまでの間に、Ｎ番目のフレームの中間平滑化画像を生成する。 As illustrated in FIG. 5, when the image processing apparatus 10 receives the Nth frame from the outside, the image processing apparatus 10 reduces the image of the Nth frame and generates a reduced image before generating the smoothed image of the N + 3th frame. 9 planes (0 planes to 8 planes) obtained from a plurality of smoothing processes corresponding to a plurality of level value ranges (0 to 255 gradations are multilayered) generated in advance for the generated reduced image The intermediate smoothed image is generated. That is, the image processing apparatus 10 generates an intermediate smoothed image of the Nth frame between the time when the Nth frame is received and the time when the N + 3th frame is received.
そして、画像処理装置１０は、Ｎ＋３番目のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの縮小画像から生成した９プレーンの中間平滑化画像を一つまたは複数取得し、取得した中間平滑化画像と処理対象フレームであるＮ＋３番目のフレームとを合成して平滑化画像を生成する。 Then, when generating the smoothed image of the (N + 3) th frame, the image processing apparatus 10 acquires one or a plurality of 9-plane intermediate smoothed images generated from the reduced image of the Nth frame, and acquires the acquired intermediate A smoothed image is generated by synthesizing the smoothed image and the (N + 3) th frame that is the processing target frame.
続いて、画像処理装置１０は、Ｎ＋４番目のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの縮小画像から生成した９プレーンの中間平滑化画像を一つまたは複数取得し、取得した中間平滑化画像と処理対象フレームであるＮ＋４番目のフレームとを合成して平滑化画像を生成する。 Subsequently, when generating the smoothed image of the (N + 4) th frame, the image processing apparatus 10 acquires and acquires one or a plurality of 9-plane intermediate smoothed images generated from the reduced image of the Nth frame. A smoothed image is generated by synthesizing the intermediate smoothed image and the N + 4th frame that is the processing target frame.
その後、画像処理装置１０は、Ｎ＋５番目のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの縮小画像から生成した９プレーンの中間平滑化画像を一つまたは複数取得し、取得した中間平滑化画像と処理対象フレームであるＮ＋５番目のフレームとを合成して平滑化画像を生成する。 Thereafter, when generating the smoothed image of the (N + 5) th frame, the image processing apparatus 10 acquires one or a plurality of 9-plane intermediate smoothed images generated from the reduced image of the Nth frame, and acquires the acquired intermediate A smoothed image is generated by synthesizing the smoothed image and the N + 5th frame that is the processing target frame.
また、画像処理装置１０は、外部からＮ＋３番目のフレームを受け付けると、Ｎ＋６番目のフレームの平滑化画像を生成するまでに当該Ｎ＋３番目のフレームの画像を縮小して縮小画像を生成する。そして、画像処理装置１０は、生成された縮小画像に対して予め設定された複数のレベル値範囲に対応する複数の平滑化処理から得られる９プレーンの中間平滑化画像を生成する。続いて、画像処理装置１０は、生成したＮ＋３番目のフレームの中間平滑化画像とＮ＋６番目のフレーム、Ｎ＋７番目のフレームおよびＮ＋８番目のフレームとを合成してそれぞれの平滑化画像を生成する。 In addition, when the N + 3th frame is received from the outside, the image processing apparatus 10 generates a reduced image by reducing the image of the N + 3th frame before generating the smoothed image of the N + 6th frame. Then, the image processing apparatus 10 generates a 9-plane intermediate smoothed image obtained from a plurality of smoothing processes corresponding to a plurality of preset level value ranges for the generated reduced image. Subsequently, the image processing apparatus 10 synthesizes the generated intermediate smoothed image of the (N + 3) th frame and the (N + 6) th frame, the (N + 7) th frame, and the (N + 8) th frame to generate respective smoothed images.
なお、Ｎ番目のフレーム、Ｎ＋１番目のフレームおよびＮ＋２番目のフレームについては、Ｎ−３番目のフレームから生成した中間平滑化画像を用いて合成する。つまり、画像処理装置１０は、Ｎ番目のフレームの縮小画像から０〜２プレーン、３〜５プレーン、６〜８プレーンの複数の中間平滑化画像を複数フレームが受信される間に生成して、生成した中間平滑化画像と処理対象となるＮ＋３番目のフレーム、Ｎ＋４番目のフレーム、Ｎ＋５番目のフレームなどとを合成して、複数のフレームの平滑化画像を生成する処理を繰り返す。 Note that the Nth frame, the (N + 1) th frame, and the (N + 2) th frame are synthesized using the intermediate smoothed image generated from the (N-3) th frame. That is, the image processing apparatus 10 generates a plurality of intermediate smoothed images of 0 to 2 planes, 3 to 5 planes, and 6 to 8 planes from the reduced image of the Nth frame while a plurality of frames are received, The generated intermediate smoothed image and the processing target N + 3th frame, N + 4th frame, N + 5th frame, etc. are combined to generate a smoothed image of a plurality of frames.
このように、実施例２に係る画像処理装置１０は、複数フレームを受信するまでに一つのフレームの中間平滑化画像を生成するので、処理にかかる負荷を分散することが可能である。 As described above, since the image processing apparatus 10 according to the second embodiment generates an intermediate smoothed image of one frame before receiving a plurality of frames, the processing load can be distributed.
ここで、画像処理装置１０は、中間平滑化画像生成の際に９プレーンを生成することとして説明したが、このプレーンの数は９プレーンに限らず、５プレーンなど任意に設定することができ、また、３フレーム分の平滑化処理を行うと、新しい中間平滑化画像を生成することとして説明したが、このフレームの数も３フレームに限らず、５フレームなど任意に設定することができる。 Here, the image processing apparatus 10 has been described as generating 9 planes when generating the intermediate smoothed image, but the number of planes is not limited to 9 planes, and can be arbitrarily set to 5 planes, Further, although it has been described that a new intermediate smoothed image is generated when smoothing processing for three frames is performed, the number of frames is not limited to three, and can be arbitrarily set to five frames.
ところで、実施例１では、入力される動画像のＮ番目のフレームの縮小画像から複数のレベル値に対応する中間平滑化画像を生成する場合を説明したが、本発明はこれに限定されるものではなく、Ｎ番目のフレームの縮小画像の画素位置とＮ＋１番目以降のフレームの画素位置とを同期させて中間平滑化画像を生成することもできる。 In the first embodiment, the case where intermediate smoothed images corresponding to a plurality of level values are generated from the reduced image of the Nth frame of the input moving image has been described. However, the present invention is not limited to this. Instead, the intermediate smoothed image can be generated by synchronizing the pixel position of the reduced image of the Nth frame with the pixel position of the (N + 1) th and subsequent frames.
［実施例３に係る画像処理装置による平滑化処理］
そこで、以下の実施例３では、図６を用いて、Ｎ番目のフレームの画素位置とＮ＋１番目以降のフレームの画素位置とを同期させて中間平滑化画像を生成する場合を説明する。ここで、以下の実施例３では、Ｎ＋１番目以降のフレームの処理対象となる入力画素の位置を、ｘｙ座標を用いて「入力画素（ｘ，ｙ）」とし、Ｎ番目のフレームの縮小画像の縮小率を、Ｎ＋１番目以降のフレームに対して１／ｎとして説明する。なお、図６は、実施例３に係る画像処理装置による平滑化処理を説明するための図である。[Smoothing Process by Image Processing Apparatus According to Third Embodiment]
Therefore, in the following third embodiment, a case where an intermediate smoothed image is generated by synchronizing the pixel position of the Nth frame and the pixel positions of the (N + 1) th and subsequent frames will be described with reference to FIG. Here, in Example 3 below, the position of the input pixel to be processed in the (N + 1) th and subsequent frames is set to “input pixel (x, y)” using the xy coordinates, and the reduced image of the Nth frame is displayed. The reduction rate is described as 1 / n for the (N + 1) th and subsequent frames. FIG. 6 is a diagram for explaining the smoothing process performed by the image processing apparatus according to the third embodiment.
図６に示すように、画像処理装置１０は、外部から受け付けた動画像のＮ＋１番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するＮ番目のフレームの縮小画像の各画素位置を算出する（図６の（１）参照）。 As illustrated in FIG. 6, the image processing apparatus 10 acquires position information of each pixel in the (N + 1) th and subsequent frames of a moving image received from outside, and obtains a reduced image of the Nth frame corresponding to the position information. Each pixel position is calculated (see (1) in FIG. 6).
具体的に例を挙げると、画像処理装置１０は、外部から受け付けた動画像のＮ＋１番目以降のフレームにおける各画素の位置情報として「入力画素（ｘ，ｙ）」を取得する。そして、画像処理装置１０は、取得した位置情報「入力画素（ｘ，ｙ）」に対応するＮ番目のフレームの縮小画像の入力画素の補間範囲（グレー部分）を算出する。ここでは、Ｎ番目のフレームの縮小画像の縮小率が、Ｎ＋１番目以降のフレームに対して１／ｎであるので、「（ｉｎｔ（ｘ／ｎ），ｉｎｔ（ｙ／ｎ））」、「（ｉｎｔ（ｘ／ｎ）＋１，ｉｎｔ（ｙ／ｎ））」、「（ｉｎｔ（ｘ／ｎ），ｉｎｔ（ｙ／ｎ）＋１）」、「（ｉｎｔ（ｘ／ｎ）＋１，ｉｎｔ（ｙ／ｎ）＋１）」として補間範囲を算出する。 As a specific example, the image processing apparatus 10 acquires “input pixel (x, y)” as position information of each pixel in the (N + 1) th and subsequent frames of a moving image received from the outside. Then, the image processing apparatus 10 calculates the interpolation range (gray portion) of the input pixel of the reduced image of the Nth frame corresponding to the acquired position information “input pixel (x, y)”. Here, since the reduction ratio of the reduced image of the Nth frame is 1 / n with respect to the (N + 1) th and subsequent frames, “(int (x / n), int (y / n))”, “( int (x / n) +1, int (y / n)) "," (int (x / n), int (y / n) +1) "," (int (x / n) +1, int (y / n) +1) ”to calculate the interpolation range.
そして、画像処理装置１０は、算出した各画素位置を含む所定の範囲内について、生成されたＮ番目のフレームの縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して、中間平滑化画像記憶部に格納する（図６の（２）参照）。 Then, the image processing apparatus 10 performs a smoothing process with a plurality of preset level values on the generated reduced image of the Nth frame within a predetermined range including the calculated pixel positions. A plurality of intermediate smoothed images are generated and stored in the intermediate smoothed image storage unit (see (2) in FIG. 6).
上記した例で具体的に説明すると、画像処理装置１０は、算出した各画素位置を含む所定の補間範囲内について、０〜２５５階調の明るさのレベルにおいて予め複数プレーンに多層化されたレベル値範囲に対応する複数の平滑化処理を実施して複数の中間平滑化画像を生成する。そして、画像処理装置１０は、生成した中間平滑化画像を中間平滑化画像記憶部１１ｂに格納する。なお、画像処理装置１０は、「未算出」の画素があれば、上記した平滑化処理を繰り返し実施する。
More specifically, in the above example, the image processing apparatus 10 is a level that is previously multilayered into a plurality of planes at a brightness level of 0 to 255 gradations within a predetermined interpolation range including each calculated pixel position. A plurality of smoothing processes corresponding to the value range are performed to generate a plurality of intermediate smoothed images. Then, the image processing apparatus 10 stores the generated intermediate smoothed image in the intermediate smoothed
続いて、画像処理装置１０は、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部１１ｂに格納されたＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得して、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成し、中間平滑化画像記憶部１１ｂに格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄する（図６の（３）参照）。
Subsequently, when the image processing apparatus 10 generates the smoothed images of the (N + 1) th and subsequent frames, one or more of the plurality of intermediate smoothed images of the Nth frame stored in the intermediate smoothed
上記した例で具体的に説明すると、画像処理装置１０は、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部１１ｂからＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得する。そして、画像処理装置１０は、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する。続いて、画像処理装置１０は、中間平滑化画像記憶部１１ｂに格納されている合成に利用された「保持中」の中間平滑化画像の一部または全部を破棄（「破棄済」）する。この中間平滑化画像記憶部１１ｂは、合成処理に利用するＮ＋１番目以降のフレームの入力画素に対するＮ番目のフレームの縮小画像の補間範囲部分である「保持中」データのみを中間平滑化画像として記憶すればよい。その後、画像処理装置１０は、このような処理を繰り返して、Ｎ＋１番目以降のフレームの入力画素のエッジが保存された平滑化処理結果を得る。
Specifically, the image processing apparatus 10 generates a plurality of intermediate smoothed images of the Nth frame from the intermediate smoothed
ここで、中間平滑化画像記憶部１１ｂは、合成処理に利用されて破棄された「破棄済」データと、合成処理に利用するＮ＋１番目以降のフレームの入力画素に対するＮ番目のフレームの縮小画像の補間範囲部分である「保持中」データと、合成処理に利用されていない「未算出」データとのうち、合成処理に利用するＮ＋１番目以降のフレームの入力画素に対するＮ番目のフレームの縮小画像の補間範囲部分である「保持中」データのみを中間平滑化画像として記憶すればよい。つまり、画像処理装置１０は、合成処理を行う場合に、処理対象となるフレームの画素位置の変化と同期させて、合成処理に利用する必要最小限の中間平滑化画像のみを生成し、合成処理済みの中間平滑化画像を破棄しつつ合成処理を行う。
Here, the intermediate smoothed
このように、実施例３に係る画像処理装置１０は、生成された複数の中間平滑化画像のうち、合成処理に利用される所定の範囲内の中間平滑化画像のみを保持し、外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成し、外部から受け付けた動画像のＮ＋１番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するＮ番目のフレームの縮小画像の各画素位置を算出し、算出した各画素位置を含む所定の範囲内について、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して中間平滑化画像記憶部１１ｂに格納し、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部１１ｂからＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成し、中間平滑化画像記憶部１１ｂに格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄することとしたので、ＬＰＦ処理で必要となるメモリの容量をより削減することが可能である。
As described above, the image processing apparatus 10 according to the third embodiment holds only the intermediate smoothed image within the predetermined range used for the synthesis process from the plurality of generated intermediate smoothed images, and accepts it from the outside. The N-th frame image of the moving image is reduced to generate a reduced image, the position information of each pixel in the N + 1th and subsequent frames of the moving image received from the outside is acquired, and the N corresponding to the position information Each pixel position of the reduced image of the second frame is calculated, and a smoothing process is performed on the generated reduced image with a plurality of preset level values within a predetermined range including each calculated pixel position. When a plurality of intermediate smoothed images are generated and stored in the intermediate smoothed
例えば、画像処理装置１０は、外部から受け付けた複数のフレームから構成される動画像から低周波成分を用いて平滑化画像を生成する場合に、Ｎ＋１番目以降の処理対象フレームにおける各画素の位置情報からＮ番目の縮小画像の入力画素の補間範囲を算出し、この補間範囲のみの中間平滑化画像を記憶しておき、合成処理に利用した中間平滑化画像の一部または全部を破棄しつつ、平滑化画像を生成する結果、ＬＰＦ処理で必要となるメモリの容量をより削減することが可能である。 For example, when the image processing apparatus 10 generates a smoothed image using a low-frequency component from a moving image composed of a plurality of frames received from the outside, the position information of each pixel in the N + 1 and subsequent processing target frames To calculate the interpolation range of the input pixels of the Nth reduced image, store the intermediate smoothed image of only this interpolation range, and discard part or all of the intermediate smoothed image used for the synthesis process, As a result of generating the smoothed image, it is possible to further reduce the memory capacity required for the LPF processing.
ところで、実施例１では、入力される動画像のＮ番目のフレームの縮小画像から複数のレベル値に対応する中間平滑化画像を生成する平滑化処理について説明したが、当該平滑化処理の実施においては、図１に示した構成とは異なる様々な構成によって実現されてもよい。 Incidentally, in the first embodiment, the smoothing process for generating intermediate smoothed images corresponding to a plurality of level values from the reduced image of the Nth frame of the input moving image has been described, but in the implementation of the smoothing process. May be realized by various configurations different from the configuration shown in FIG.
この図１に示した構成とは異なる様々な構成においては、例えば、複数の中間平滑化画像を生成する一つのＬＰＦを共用化して時分割で平滑化処理を実施したり、複数の中間平滑化画像を生成する二つのＬＰＦを共用化して時分割および並列で平滑化処理を実施したりする。そこで、以下では、図８を用いて実施例１に係る画像処理装置１０の詳細な構成における平滑化処理を、図９および図１０を用いて図８とは異なる様々な構成における平滑化処理を説明する。 In various configurations different from the configuration shown in FIG. 1, for example, a single LPF that generates a plurality of intermediate smoothed images is shared, and smoothing processing is performed in a time division manner, or a plurality of intermediate smoothing is performed. Two LPFs that generate an image are shared, and smoothing processing is performed in time division and in parallel. Therefore, in the following, smoothing processing in the detailed configuration of the image processing apparatus 10 according to the first embodiment is performed using FIG. 8, and smoothing processing in various configurations different from FIG. 8 is performed using FIGS. 9 and 10. explain.
［実施例４に係る画像処理装置による平滑化処理］
まず、図８を用いて、上記した実施例１に係る画像処理装置１０の詳細な構成における平滑化処理を説明する。なお、図８は、実施例４に係る画像処理装置１０の構成における平滑化処理を説明するための図である。[Smoothing Process by Image Processing Device According to Embodiment 4]
First, the smoothing process in the detailed configuration of the image processing apparatus 10 according to the first embodiment will be described with reference to FIG. FIG. 8 is a diagram for explaining the smoothing process in the configuration of the image processing apparatus 10 according to the fourth embodiment.
実施例４に係る画像処理装置１０は、中間平滑化画像生成部１２ｃにＬＰＦ＃１〜ＬＰＦ＃９までの９個のＬＰＦを備えている。また、画像処理装置１０は、中間平滑化画像記憶部１１ｂに９個のＬＰＦに対応した９個のメモリを備えている。そして、画像処理装置１０は、平滑化したＮ番目のフレームの縮小画像と、Ｎ＋ｙ（ｙは、「１」以上）番目のフレームとを合成して、エッジが保存されたＮ＋ｙ番目のフレームの平滑化画像（出力画像）を出力する。
In the image processing apparatus 10 according to the fourth embodiment, the intermediate smoothed image generation unit 12c includes nine
このような構成において、画像処理装置１０は、外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成し、生成された縮小画像を縮小画像メモリに格納する（図８の（１）参照）。具体的に例を挙げると、画像処理装置１０は、動画データのＮ番目のフレームの入力を外部から受け付けると、当該外部から受け付けた入力された動画データのＮ番目のフレームを縮小する縮小処理を行なって縮小画像を生成する。そして、画像処理装置１０は、生成された縮小画像を縮小画像メモリに格納する。 In such a configuration, the image processing apparatus 10 generates a reduced image by reducing the Nth frame image of the moving image received from the outside, and stores the generated reduced image in the reduced image memory (FIG. 8). (See (1)). Specifically, when the image processing apparatus 10 receives an input of the Nth frame of the moving image data from the outside, the image processing apparatus 10 performs a reduction process for reducing the Nth frame of the input moving image data received from the outside. Line to generate a reduced image. Then, the image processing apparatus 10 stores the generated reduced image in the reduced image memory.
そして、画像処理装置１０は、生成された縮小画像に対して、予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部に格納する（図８の（２）参照）。上記した例で具体的に説明すると、画像処理装置１０は、９個のＬＰＦ（ＬＰＦ＃１〜ＬＰＦ＃９）を用いて、縮小画像メモリに格納された縮小画像に対して、０〜２５５階調の明るさのレベル値が制限されたＬＰＦ処理を並列処理（同時に処理）により実施して、９個の中間平滑化画像を生成する。
Then, the image processing device 10 performs smoothing processing on the generated reduced image with a plurality of preset level values to generate a plurality of intermediate smoothed images, and stores them in the intermediate smoothed image storage unit. Store (see (2) in FIG. 8). Specifically, the image processing apparatus 10 uses nine LPFs (
そして、画像処理装置１０は、生成された９個の中間平滑化画像をそれぞれに対応する中間平滑化画像記憶部１１ｂのメモリに格納する。なお、この中間平滑化画像記憶部１１ｂは、合成処理部１２ｄによるＮ番目のフレームとＮ＋ｙ番目のフレームとの合成処理に必要なｋラインのメモリに、ＬＰＦ＃１〜ＬＰＦ＃９によるレベル値制限ＬＰＦ処理それぞれの結果を記憶する。
Then, the image processing apparatus 10 stores the generated nine intermediate smoothed images in the memory of the corresponding intermediate smoothed
続いて、画像処理装置１０は、Ｎ＋ｙ番目のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部に格納されているＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋ｙ番目のフレームとを合成して平滑化画像を生成する（図８の（３）参照）。 Subsequently, when generating the smoothed image of the (N + y) th frame, the image processing apparatus 10 selects one or a plurality of intermediate smoothed images of the Nth frame stored in the intermediate smoothed image storage unit. The smoothed image is generated by synthesizing the acquired intermediate smoothed image of the Nth frame and the N + yth frame of the moving image received from the outside (see (3) in FIG. 8).
上記した例で具体的に説明すると、画像処理装置１０は、Ｎ＋ｙ番目のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの９個の中間平滑化画像を中間平滑化画像記憶部１１ｂから一つまたは複数取得する。そして、画像処理装置１０は、取得されたＮ番目のフレームの中間平滑化画像と、外部から受け付けた動画像のＮ＋ｙ番目のフレームとを合成して、エッジが保存されたＮ＋ｙ番目のフレームの平滑化画像（出力画像）を生成する。
Specifically, in the above example, when generating the smoothed image of the (N + y) th frame, the image processing apparatus 10 converts the nine intermediate smoothed images of the Nth frame into the intermediate smoothed
なお、Ｎ番目のフレームの縮小画像を用いた中間平滑化画像の生成は、当該Ｎ番目のフレームとＮ＋ｙ番目のフレームとの合成処理において、Ｎ＋ｙ番目のフレームの画素を遅延させることのないように、合成処理が開始される前までに完了させる。 It should be noted that the generation of the intermediate smoothed image using the reduced image of the Nth frame does not delay the pixels of the N + yth frame in the synthesis process of the Nth frame and the N + yth frame. This is completed before the synthesis process is started.
このように、実施例４に係る画像処理装置１０は、複数のレベル値に対応した複数のＬＰＦを用いてＮ番目のフレームの縮小画像を平滑化し、当該Ｎ番目のフレームとＮ＋ｙ（ｙは、「１」以上）番目のフレームとを、Ｎ＋ｙ番目のフレームの画素を遅延させることなく合成することができる結果、処理に係るメモリを削減することが可能である。つまり、画像処理装置１０は、Ｎ＋ｙ番目のフレームの画素を遅延させるメモリが不要となるとともに、中間平滑化画像記憶部１１ｂの各ラインメモリの「ｋ」を最小化することができる結果、処理に係るメモリを削減することが可能である。
As described above, the image processing apparatus 10 according to the fourth embodiment smoothes the reduced image of the Nth frame using a plurality of LPFs corresponding to a plurality of level values, and the Nth frame and N + y (y is As a result of synthesizing the “1” or more) frame with the pixels of the (N + y) th frame without delaying, it is possible to reduce the memory involved in the processing. That is, the image processing apparatus 10 does not require a memory for delaying the pixels of the (N + y) th frame, and can minimize “k” in each line memory of the intermediate smoothed
ところで、実施例４では、中間平滑化画像生成部１２ｃにＬＰＦ＃１〜ＬＰＦ＃９までの９個のＬＰＦを備え、中間平滑化画像記憶部１１ｂに当該９個のＬＰＦに対応した９個のメモリを備えた構成により平滑化処理を実施する場合を説明したが、本発明はこれに限定されるものではなく、中間平滑化画像生成部１２ｃに複数のレベル値に対応したＬＰＦを１個備え、中間平滑化画像記憶部１１ｂに当該複数のレベル値に対応したＬＰＦ結果を記憶するメモリを備えた構成により平滑化処理を実施することもできる。
By the way, in Example 4, the intermediate smoothed image generating unit 12c includes nine
［実施例５に係る画像処理装置による平滑化処理］
そこで、以下の実施例５では、図９を用いて、複数の中間平滑化画像を生成する一つのＬＰＦを共用化して時分割で平滑化処理を実施する場合を説明する。なお、図９は、実施例５に係る画像処理装置１０の構成における平滑化処理を説明するための図である。[Smoothing Process by Image Processing Device According to Embodiment 5]
Therefore, in the following fifth embodiment, a case where a single LPF that generates a plurality of intermediate smoothed images is shared and smoothing processing is performed in a time division manner will be described with reference to FIG. FIG. 9 is a diagram for explaining the smoothing process in the configuration of the image processing apparatus 10 according to the fifth embodiment.
実施例５に係る画像処理装置１０は、中間平滑化画像生成部１２ｃに複数のレベル値（例えば、「９」など）を可変可能なＬＰＦｍ（例えば、ｍ＝１〜９のパラメタ）を１個と、当該９つ分のＬＰＦ処理を実施するＬＰＦｍの時分割の動作を制御する時分割動作制御部とを備えている。また、画像処理装置１０は、中間平滑化画像記憶部１１ｂに９つ分のＬＰＦ処理を実施するＬＰＦｍに対応した９個のメモリを備えている。そして、画像処理装置１０は、平滑化したＮ番目のフレームの縮小画像と、Ｎ＋ｙ（ｙは、「１」以上）番目のフレームとを合成して、エッジが保存されたＮ＋ｙ番目のフレームの平滑化画像（出力画像）を出力する。
In the image processing apparatus 10 according to the fifth embodiment, the intermediate smoothed image generation unit 12c includes one LPFm (for example, a parameter of m = 1 to 9) that can change a plurality of level values (for example, “9”). And a time-division operation control unit for controlling the time-division operation of the LPF m that performs the LPF processing for the nine. Further, the image processing apparatus 10 includes nine memories corresponding to LPFm for performing nine LPF processes in the intermediate smoothed
このような構成において、画像処理装置１０は、外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成し、生成された縮小画像を縮小画像メモリに格納する（図９の（１）参照）。具体的に例を挙げると、画像処理装置１０は、動画データのＮ番目のフレームの入力を外部から受け付けると、当該外部から受け付けた入力された動画データのＮ番目のフレームを縮小する縮小処理を行なって縮小画像を生成する。そして、画像処理装置１０は、生成された縮小画像を縮小画像メモリに格納する。 In such a configuration, the image processing apparatus 10 generates a reduced image by reducing the Nth frame image of the moving image received from the outside, and stores the generated reduced image in the reduced image memory (FIG. 9). (See (1)). Specifically, when the image processing apparatus 10 receives an input of the Nth frame of the moving image data from the outside, the image processing apparatus 10 performs a reduction process for reducing the Nth frame of the input moving image data received from the outside. Line to generate a reduced image. Then, the image processing apparatus 10 stores the generated reduced image in the reduced image memory.
そして、画像処理装置１０は、生成された縮小画像に対して、レベル値制限パラメタと動作制御情報とに基づいて平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部に格納する（図９の（２）参照）。上記した例で具体的に説明すると、画像処理装置１０は、時分割動作制御部において、ｍ＝１〜９のレベル値制限パラメタと、当該ｍ＝１〜９のパラメタそれぞれに応じたＬＰＦｍに対する動作指示を示す動作制御情報とをＬＰＦｍに対して送信する。 Then, the image processing apparatus 10 performs a smoothing process on the generated reduced image based on the level value restriction parameter and the operation control information to generate a plurality of intermediate smoothed images. It is stored in the storage unit (see (2) in FIG. 9). More specifically, in the above example, the image processing apparatus 10 uses the time-division operation control unit to operate the LPFm according to the level value limiting parameter of m = 1 to 9 and the parameter of m = 1 to 9 respectively. The operation control information indicating the instruction is transmitted to the LPF m.
そして、画像処理装置１０は、１個のＬＰＦｍを用いて、縮小画像メモリに格納された縮小画像に対して、レベル値が制限されたＬＰＦ処理を時分割処理（各パラメタに対応する処理を時間ごとに処理）により実施して、９個の中間平滑化画像を生成する。このＬＰＦｍにおける可変パラメタ「ｍ」は、「９」だけでなく９以上の複数のパラメタが保持されていてもよい。 Then, the image processing apparatus 10 uses the single LPF m to perform time-division processing (processing corresponding to each parameter is performed on time) for the reduced image stored in the reduced image memory. 9 intermediate smoothed images are generated. The variable parameter “m” in this LPFm may hold not only “9” but a plurality of parameters of 9 or more.
続いて、画像処理装置１０は、生成された９個の中間平滑化画像をそれぞれに対応する中間平滑化画像記憶部１１ｂのメモリに格納する。また、時分割処理によるレベル値が制限されたＬＰＦ処理は、１種類のパラメタに対して所定のまとめたデータを処理するために、例えば、縮小画像の１ライン単位に実施する。この１ライン単位の処理における中間平滑化画像記憶部１１ｂの各メモリは、図８に示したメモリ「ｋライン」と比較して、縮小画像サイズで１ライン分「ｋ＋ｐライン」（例えば、ｐ＝１）のメモリ増加となる。
Subsequently, the image processing apparatus 10 stores the generated nine intermediate smoothed images in the memory of the corresponding intermediate smoothed
続いて、画像処理装置１０は、Ｎ＋ｙ番目のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部に格納されているＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋ｙ番目のフレームとを合成して平滑化画像を生成する（図９の（３）参照）。 Subsequently, when generating the smoothed image of the (N + y) th frame, the image processing apparatus 10 selects one or a plurality of intermediate smoothed images of the Nth frame stored in the intermediate smoothed image storage unit. The smoothed image is generated by synthesizing the acquired intermediate smoothed image of the Nth frame and the N + yth frame of the moving image received from the outside (see (3) in FIG. 9).
上記した例で具体的に説明すると、画像処理装置１０は、Ｎ＋ｙ番目のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの９個の中間平滑化画像を中間平滑化画像記憶部１１ｂから一つまたは複数取得する。そして、画像処理装置１０は、取得されたＮ番目のフレームの中間平滑化画像と、外部から受け付けた動画像のＮ＋ｙ番目のフレームとを合成して、エッジが保存されたＮ＋ｙ番目のフレームの平滑化画像（出力画像）を生成する。
Specifically, in the above example, when generating the smoothed image of the (N + y) th frame, the image processing apparatus 10 converts the nine intermediate smoothed images of the Nth frame into the intermediate smoothed
なお、平滑化処理におけるサイクル数は、入力画像の縮小率を縦１／８、横１／８にした場合に、縮小画像の大きさが入力画像の１／６４の大きさとなるので、入力画像の画素クロックで縮小画像を６４回読み出すことが可能なサイクル数が存在する。つまり、ＬＰＦを共用化した時分割処理は、Ｎ番目のフレームとＮ＋ｙ番目のフレームとの合成処理が行なわれる前までに、十分な処理サイクル数が存在することとなる。 Note that the number of cycles in the smoothing process is such that when the reduction rate of the input image is 1/8 vertical and 1/8 horizontal, the size of the reduced image is 1/64 of the input image. There are a number of cycles in which a reduced image can be read out 64 times with the pixel clock. That is, in the time division process using the LPF in common, there is a sufficient number of processing cycles before the synthesis process of the Nth frame and the N + yth frame is performed.
このように、実施例５に係る画像処理装置１０は、複数の可変レベル値に対応した一つのＬＰＦを共用化してＮ番目のフレームの縮小画像を平滑化し、当該Ｎ番目のフレームとＮ＋ｙ（ｙは、「１」以上）番目のフレームとを合成することができる結果、回路規模を削減することが可能であるとともに、エッジを正確に再現した平滑化処理を実施することが可能である。つまり、画像処理装置１０は、縮小画像における１ラインのメモリ増加「ｋ＋ｐライン」は、全体の処理に対する影響が小さく、複数の可変レベル値に対応した一つのＬＰＦを共用化して平滑化処理を実施することができる結果、複数のＬＰＦ（例えば、９個など）を用いて平滑化処理を実施するのと比較して回路規模を削減することが可能であるとともに、エッジを正確に再現した平滑化処理を実施することが可能である。 In this manner, the image processing apparatus 10 according to the fifth embodiment smoothes the reduced image of the Nth frame by sharing one LPF corresponding to a plurality of variable level values, and the Nth frame and N + y (y As a result of being able to synthesize the “1” or more) frame, it is possible to reduce the circuit scale and to perform a smoothing process in which edges are accurately reproduced. That is, the image processing apparatus 10 performs smoothing processing by sharing one LPF corresponding to a plurality of variable level values because the memory increase “k + p line” of one line in the reduced image has a small influence on the entire processing. As a result, it is possible to reduce the circuit scale as compared with the case where smoothing processing is performed using a plurality of LPFs (for example, nine), and smoothing that accurately reproduces edges. Processing can be performed.
ところで、実施例５では、中間平滑化画像生成部１２ｃに複数のレベル値に対応したＬＰＦを１個備え、中間平滑化画像記憶部１１ｂに当該複数のレベル値に対応したＬＰＦ結果を記憶するメモリを備えた構成により平滑化処理を実施する場合を説明したが、本発明はこれに限定されるものではなく、中間平滑化画像生成部１２ｃに複数のレベル値に対応したＬＰＦを２個備え、中間平滑化画像記憶部１１ｂに当該複数のレベル値に対応したＬＰＦ結果を記憶するメモリを備えた構成により平滑化処理を実施することとしてもよい。
By the way, in the fifth embodiment, the intermediate smoothed image generation unit 12c includes one LPF corresponding to a plurality of level values, and the intermediate smoothed
［実施例６に係る画像処理装置による平滑化処理］
そこで、以下の実施例６では、図１０を用いて、複数の中間平滑化画像を生成する二つのＬＰＦを共用化して時分割および並列で平滑化処理を実施する場合を説明する。なお、図１０は、実施例６に係る画像処理装置１０の構成における平滑化処理を説明するための図である。[Smoothing Process by Image Processing Device According to Embodiment 6]
Therefore, in the following sixth embodiment, a case where two LPFs that generate a plurality of intermediate smoothed images are shared and smoothing processing is performed in a time division and parallel manner will be described with reference to FIG. FIG. 10 is a diagram for explaining the smoothing process in the configuration of the image processing apparatus 10 according to the sixth embodiment.
実施例６に係る画像処理装置１０は、中間平滑化画像生成部１２ｃに複数のレベル値（例えば、「９」など）を可変可能なＬＰＦｍ１（例えば、ｍ１＝１〜９のパラメタ）を１個と、複数のレベル値（例えば、「８」など）を可変可能なＬＰＦｍ２（例えば、ｍ２＝１〜８のパラメタ）を１個とを備えている。また、画像処理装置１０は、中間平滑化画像記憶部１１ｂに９つ分のＬＰＦ処理を実施するＬＰＦｍ１に対応した９個のメモリと、８つ分のＬＰＦ処理を実施するＬＰＦｍ２に対応した８個のメモリとを備えている。そして、画像処理装置１０は、平滑化したＮ番目のフレームの縮小画像と、Ｎ＋ｙ（ｙは、「１」以上）番目のフレームとを合成して、エッジが保存されたＮ＋ｙ番目のフレームの平滑化画像（出力画像）を出力する。In the image processing apparatus 10 according to the sixth embodiment, LPFm 1 (for example, parameters of m 1 = 1 to 9) in which a plurality of level values (for example, “9”) can be changed is input to the intermediate smoothed image generation unit 12c. and includes a one, a plurality of level values (e.g., "8", etc.) capable of changing LPFm 2 (e.g., m 2 = 1 to 8 parameters) and one a. Further, the image processing apparatus 10 corresponds to nine memories corresponding to LPFm 1 that performs nine LPF processes in the intermediate smoothed
このような構成において、画像処理装置１０は、外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成し、生成された縮小画像を縮小画像メモリに格納する（図１０の（１）参照）。具体的に例を挙げると、画像処理装置１０は、動画データのＮ番目のフレームの入力を外部から受け付けると、当該外部から受け付けた入力された動画データのＮ番目のフレームを縮小する縮小処理を行なって縮小画像を生成する。そして、画像処理装置１０は、生成された縮小画像を縮小画像メモリに格納する。 In such a configuration, the image processing apparatus 10 generates a reduced image by reducing the Nth frame image of the moving image received from the outside, and stores the generated reduced image in the reduced image memory (FIG. 10). (See (1)). Specifically, when the image processing apparatus 10 receives an input of the Nth frame of the moving image data from the outside, the image processing apparatus 10 performs a reduction process for reducing the Nth frame of the input moving image data received from the outside. Line to generate a reduced image. Then, the image processing apparatus 10 stores the generated reduced image in the reduced image memory.
そして、画像処理装置１０は、生成された縮小画像に対して、レベル値制限パラメタと動作制御情報とに基づいて平滑化処理を実施して複数の中間平滑化画像を生成し、中間平滑化画像記憶部に格納する（図１０の（２）参照）。上記した例で具体的に説明すると、画像処理装置１０は、時分割動作制御部において、ｍ１＝１〜９のレベル値制限パラメタと、当該ｍ１＝１〜９のパラメタそれぞれに応じたＬＰＦｍ１に対する動作指示を示す動作制御情報とをＬＰＦｍ１に対して送信する。また、画像処理装置１０は、時分割動作制御部において、ｍ２＝１〜８のレベル値制限パラメタと、当該ｍ２＝１〜８のパラメタそれぞれに応じたＬＰＦｍ２に対する動作指示を示す動作制御情報とをＬＰＦｍ２に対して送信する。Then, the image processing apparatus 10 performs a smoothing process on the generated reduced image based on the level value restriction parameter and the operation control information to generate a plurality of intermediate smoothed images. It is stored in the storage unit (see (2) in FIG. 10). To explain specifically with the example described above, the image processing apparatus 10, in the time division operation control unit, and a level value limiting
そして、画像処理装置１０は、ＬＰＦｍ１とＬＰＦｍ２との２個のＬＰＦを用いて、縮小画像メモリに格納された縮小画像に対して、レベル値が制限されたＬＰＦ処理を時分割処理（各パラメタに対応する処理を時間ごとに処理）および並列処理（同時に処理）により実施して、１７個の中間平滑化画像を生成する。続いて、画像処理装置１０は、生成された１７個の中間平滑化画像をそれぞれに対応する中間平滑化画像記憶部１１ｂのメモリに格納する。Then, the image processing apparatus 10 uses the two LPFs, LPFm 1 and LPFm 2 , to perform time-division processing (each of the LPF processing with the level value limited on the reduced image stored in the reduced image memory). The processing corresponding to the parameter is performed by time processing) and parallel processing (simultaneous processing), and 17 intermediate smoothed images are generated. Subsequently, the image processing apparatus 10 stores the generated 17 intermediate smoothed images in the memory of the corresponding intermediate smoothed
また、時分割処理および並列処理によるレベル値が制限されたＬＰＦ処理は、１種類のパラメタに対して所定のまとめたデータを処理するために、例えば、縮小画像の１ライン単位に実施する。この１ライン単位の処理における中間平滑化画像記憶部１１ｂの各メモリは、図８に示したメモリ「ｋライン」と比較して、縮小画像サイズで１ライン分「ｋ＋ｐライン」（例えば、ｐ＝１）のメモリ増加となる。なお、上記した並列処理は、当該並列処理を２つ以上の構成において実現することも可能である。
Further, the LPF process in which the level value is limited by the time division process and the parallel process is performed, for example, in units of one line of the reduced image in order to process predetermined data collected for one type of parameter. Each memory of the intermediate smoothed
続いて、画像処理装置１０は、Ｎ＋ｙ番目のフレームの平滑化画像を生成する場合に、中間平滑化画像記憶部に格納されているＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得し、取得されたＮ番目のフレームの中間平滑化画像と外部から受け付けた動画像のＮ＋ｙ番目のフレームとを合成して平滑化画像を生成する（図１０の（３）参照）。 Subsequently, when generating the smoothed image of the (N + y) th frame, the image processing apparatus 10 selects one or a plurality of intermediate smoothed images of the Nth frame stored in the intermediate smoothed image storage unit. The smoothed image is generated by synthesizing the acquired intermediate smoothed image of the Nth frame and the N + yth frame of the moving image received from the outside (see (3) in FIG. 10).
上記した例で具体的に説明すると、画像処理装置１０は、Ｎ＋ｙ番目のフレームの平滑化画像を生成する場合に、Ｎ番目のフレームの１７個の中間平滑化画像を中間平滑化画像記憶部１１ｂから一つまたは複数取得する。そして、画像処理装置１０は、取得されたＮ番目のフレームの中間平滑化画像と、外部から受け付けた動画像のＮ＋ｙ番目のフレームとを合成して、エッジが保存されたＮ＋ｙ番目のフレームの平滑化画像（出力画像）を生成する。
Specifically, in the above example, when generating the smoothed image of the (N + y) th frame, the image processing apparatus 10 converts the 17 intermediate smoothed images of the Nth frame into the intermediate smoothed
なお、平滑化処理におけるサイクル数は、入力画像の縮小率を縦１／８、横１／８にした場合に、縮小画像の大きさが入力画像の１／６４の大きさとなるので、入力画像の画素クロックで縮小画像を６４回読み出すことが可能なサイクル数が存在する。つまり、ＬＰＦを共用化した時分割処理は、Ｎ番目のフレームとＮ＋ｙ番目のフレームとの合成処理が行なわれる前までに、十分な処理サイクル数が存在することとなる。 Note that the number of cycles in the smoothing process is such that when the reduction rate of the input image is 1/8 vertical and 1/8 horizontal, the size of the reduced image is 1/64 of the input image. There are a number of cycles in which a reduced image can be read out 64 times with the pixel clock. That is, in the time division process using the LPF in common, there is a sufficient number of processing cycles before the synthesis process of the Nth frame and the N + yth frame is performed.
このように、実施例６に係る画像処理装置１０は、複数の可変レベル値に対応した二つのＬＰＦを共用化してＮ番目のフレームの縮小画像を平滑化し、当該Ｎ番目のフレームとＮ＋ｙ（ｙは、「１」以上）番目のフレームとを合成することができる結果、回路規模を削減することが可能であるとともに、処理時間を短縮することが可能である。つまり、画像処理装置１０は、縮小画像における１ラインのメモリ増加「ｋ＋ｐライン」は、全体の処理に対する影響が小さく、複数の可変レベル値に対応した二つのＬＰＦを共用化して平滑化処理を実施することができる結果、複数のＬＰＦ（例えば、１７個など）を用いて平滑化処理を実施するのと比較して回路規模を削減することが可能であるとともに、一つのＬＰＦを共用化して平滑化処理を実施する（例えば、１７個の平滑化処理を一つのＬＰＦにより処理する）のと比較して処理時間を短縮することが可能である。 As described above, the image processing apparatus 10 according to the sixth embodiment uses two LPFs corresponding to a plurality of variable level values in common to smooth the reduced image of the Nth frame, and the Nth frame and N + y (y As a result of synthesizing the "1" or more) frame, it is possible to reduce the circuit scale and the processing time. That is, the image processing apparatus 10 performs the smoothing process by sharing two LPFs corresponding to a plurality of variable level values because the memory increase “k + p line” of one line in the reduced image has a small influence on the entire processing. As a result, it is possible to reduce the circuit scale as compared with the case where the smoothing process is performed using a plurality of LPFs (for example, 17 pieces), and one LPF is shared for smoothing. The processing time can be shortened as compared with the case where the processing is performed (for example, 17 smoothing processes are processed by one LPF).
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、（１）システム構成、（２）処理対象画素の近傍位置のデータを取得、（３）２次補間による合成処理、（４）合成処理に必要なデータ、（５）プログラムに区分けして異なる実施例を説明する。 Although the embodiments of the present invention have been described so far, the present invention may be implemented in various different forms other than the embodiments described above. Therefore, it is divided into (1) system configuration, (2) data in the vicinity of the pixel to be processed, (3) composition processing by quadratic interpolation, (4) data necessary for composition processing, and (5) programs. Different embodiments will be described.
（１）システム構成
例えば、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメタを含む情報（例えば、図２に示した中間平滑化画像記憶部１１ｂに格納される中間平滑化画像を生成するために用いられる「レベル値」の情報）については、特記する場合を除いて任意に変更することができる。(1) System configuration For example, the processing procedure, control procedure, specific name, information including various data and parameters shown in the document and drawings (for example, in the intermediate smoothed
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、例えば、合成処理部１２ｄと画像出力部１２ｅとを、画像合成出力部として統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。 Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. That is, the specific form of distribution / integration of each device is not limited to the illustrated one. For example, all or part of the composition processing unit 12d and the image output unit 12e are integrated as an image composition output unit. It can be configured to be functionally or physically distributed / integrated in arbitrary units according to various loads or usage conditions. Furthermore, all or a part of each processing function performed in each device may be realized by a CPU and a program that is analyzed and executed by the CPU, or may be realized as hardware by wired logic.
（２）処理対象画素の近傍位置のデータを取得
また、上記実施例１では、画像処理装置１０は、合成処理において合成の比率を、処理対象フレームを参照して決定し、補間演算により合成処理する場合を説明したが、本発明はこれに限定されるものではなく、処理対象フレームの各入力画素位置に近傍の複数の縮小画像を取得して、補間演算により合成処理することもできる。(2) Acquiring data of the position near the processing target pixel In the first embodiment, the image processing apparatus 10 determines the composition ratio in the composition processing with reference to the processing target frame, and performs the composition processing by interpolation calculation. However, the present invention is not limited to this, and a plurality of reduced images in the vicinity of each input pixel position of the processing target frame can be acquired and combined by interpolation.
図７に示すように、画像処理装置１０は、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、Ｎ＋１番目以降のフレームの各画素を参照し、当該Ｎ＋１番目以降の各画素の近傍位置に対応するＮ番目のフレームの中間平滑化画像の一つまたは複数の画素を中間平滑化画像記憶部１１ｂから取得し、取得されたＮ番目のフレームの中間平滑化画像の一つまたは複数の画素と外部から受け付けた動画像のＮ＋１番目以降のフレームの各画素とを補間演算により合成して平滑化画像を生成する。なお、図７は、画像処理装置１０による処理対象画素の近傍位置のデータの取得を説明するための図である。
As illustrated in FIG. 7, when generating a smoothed image of the (N + 1) th and subsequent frames, the image processing apparatus 10 refers to each pixel of the (N + 1) th and subsequent frames, and is in the vicinity of each of the (N + 1) th and subsequent pixels. One or a plurality of pixels of the intermediate smoothed image of the Nth frame corresponding to is acquired from the intermediate smoothed
具体的に例を挙げて説明すると、画像処理装置１０は、Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、Ｎ＋１番目以降のフレームの各入力画素のレベルを参照し、当該Ｎ＋１番目以降の各画素の近傍位置（図７の立方体の部分のみの画素位置）に対応するＮ番目のフレームの中間平滑化画像２プレーンを中間平滑化画像記憶部１１ｂから取得する。そして、画像処理装置１０は、取得されたＮ番目のフレームの中間平滑化画像２プレーンと外部から受け付けた動画像のＮ＋１番目以降のフレームの各画素とを補間演算により合成して平滑化画像を生成する。このようにして、画像処理装置１０は、合成位置に近傍の複数の中間平滑化画像を取得して、補間演算により合成処理するので、簡易に精度の高い平滑化画像を生成することが可能である。
More specifically, the image processing apparatus 10 refers to the level of each input pixel in the N + 1th and subsequent frames when generating a smoothed image of the N + 1th and subsequent frames, and the N + 1th and subsequent frames. Are obtained from the intermediate smoothed
（３）２次補間による合成処理
また、上記実施例１では、画像処理装置１０は、補間演算を用いて合成処理することとして説明したが、本発明はこれに限定されるものではなく、２次補間を用いて合成処理をすることもできる。例えば、画像処理装置１０は、２次補間による合成処理を行う場合に、隣接したプレーン以外の複数プレーンを取得すれば良い。この結果、画像処理装置１０は、より精度の高い平滑化画像を生成することが可能である。(3) Compositing Process by Secondary Interpolation In the first embodiment, the image processing apparatus 10 has been described as performing the synthesizing process using the interpolation calculation. However, the present invention is not limited to this, and 2 It is also possible to perform synthesis processing using the next interpolation. For example, the image processing apparatus 10 may acquire a plurality of planes other than the adjacent planes when performing a synthesis process by secondary interpolation. As a result, the image processing apparatus 10 can generate a smoothed image with higher accuracy.
（４）合成処理に必要なデータ
また、上記実施例３では、画像処理装置１０は、合成処理に利用する範囲内の中間平滑化画像を保持することとして説明したが、本発明はこれに限定されるものではなく、合成処理に利用する２ラインのみの中間平滑化画像を保持することもできる。この結果、画像処理装置１０は、補間演算による合成処理を隣接するデータ（２ライン）のみで行うので、合成処理にかかるデータを効率的に利用することが可能である。(4) Data Necessary for Composition Processing In the third embodiment, the image processing apparatus 10 has been described as holding an intermediate smoothed image within the range used for the composition processing. However, the present invention is not limited to this. However, it is also possible to hold an intermediate smoothed image of only two lines used for the synthesis process. As a result, the image processing apparatus 10 performs the synthesizing process based on the interpolation operation only on the adjacent data (two lines), so that the data related to the synthesizing process can be used efficiently.
（５）プログラム
なお、本実施例で説明した画像処理装置は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１１を用いて、上記の実施例に示した画像処理装置と同様の機能を有する画像処理プログラムを実行するコンピュータの一例を説明する。図１１は、画像処理プログラムを実行するコンピュータを示す図である。(5) Program The image processing apparatus described in the present embodiment can be realized by executing a prepared program on a computer such as a personal computer or a workstation. Therefore, an example of a computer that executes an image processing program having the same function as that of the image processing apparatus shown in the above embodiment will be described below with reference to FIG. FIG. 11 is a diagram illustrating a computer that executes an image processing program.
図１１に示すように、画像処理装置としてのコンピュータ１１０は、ＨＤＤ１３０、ＣＰＵ１４０、ＲＯＭ１５０およびＲＡＭ１６０をバス１８０などで接続して構成される。
As shown in FIG. 11, a computer 110 as an image processing apparatus is configured by connecting an
ＲＯＭ１５０には、上記の実施例１に示した画像処理装置１０と同様の機能を発揮する画像処理プログラム、つまり、図１１に示すように画像縮小プログラム１５０ａと、中間平滑化画像生成プログラム１５０ｂと、合成処理プログラム１５０ｃとが、あらかじめ記憶されている。なお、これらのプログラム１５０ａ〜１５０ｃについては、図２に示した画像処理装置１０の各構成要素と同様、適宜統合または、分散してもよい。
The
そして、ＣＰＵ１４０がこれらのプログラム１５０ａ〜プログラム１５０ｃをＲＯＭ１５０から読み出して実行することで、図１１に示すように、プログラム１５０ａ〜プログラム１５０ｃは、画像縮小プロセス１４０ａと、中間平滑化画像生成プロセス１４０ｂと、合成処理プロセス１４０ｃとして機能するようになる。なお、プロセス１４０ａ〜プロセス１４０ｃは、図２に示した、画像縮小処理部１２ｂと、中間平滑化画像生成部１２ｃと、合成処理部１２ｄとにそれぞれ対応する。
Then, the
そして、ＣＰＵ１４０はＲＡＭ１６０に記録された入力画像データ１６０ａと、中間平滑化画像データ１６０ｂと、平滑化画像データ１６０ｃとに基づいて画像処理プログラムを実行する。
Then, the
なお、上記した各プログラム１５０ａ〜１５０ｃについては、必ずしも最初からＲＯＭ１５０に記憶させておく必要はなく、例えば、コンピュータ１１０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、またはコンピュータ１１０の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１１０に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ１１０がこれから各プログラムを読み出して実行するようにしてもよい。
The above-described
Claims (9)
予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持する中間平滑化画像保持手段と、
前記外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成する画像縮小処理手段と、
前記画像縮小処理手段により生成された縮小画像に対して、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、前記中間平滑化画像保持手段に格納する中間平滑化画像生成手段と、
Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、前記中間平滑化画像保持手段により保持されたＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得する取得手段と、
前記取得手段により取得されたＮ番目のフレームの中間平滑化画像と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する合成処理手段と、
を備えたことを特徴とする画像処理装置。An image processing apparatus that generates a smoothed image using a low-frequency component from a moving image composed of a plurality of frames received from the outside,
Intermediate smoothed image holding means for holding a plurality of intermediate smoothed images smoothed at a plurality of preset level values;
Image reduction processing means for generating a reduced image by reducing the Nth frame image of the moving image received from the outside;
The reduced image generated by the image reduction processing means is subjected to smoothing processing with the plurality of preset level values to generate a plurality of intermediate smoothed images, and the intermediate smoothed image holding means Intermediate smoothed image generating means for storing;
An obtaining means for obtaining one or a plurality of intermediate smoothed images of the Nth frame held by the intermediate smoothed image holding means when generating a smoothed image of the N + 1th and subsequent frames;
Synthesis processing means for generating a smoothed image by synthesizing the intermediate smoothed image of the Nth frame acquired by the acquiring means and the N + 1th and subsequent frames of the moving image received from the outside;
An image processing apparatus comprising:
前記中間平滑化画像生成手段は、前記外部から受け付けた動画像のＮ＋１番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するＮ番目のフレームの縮小画像の各画素位置を算出し、算出した各画素位置を含む所定の範囲内について、前記画像縮小処理手段により生成された縮小画像に対して、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して、前記中間平滑化画像保持手段に格納し、
前記合成処理手段は、前記取得手段により取得されたＮ番目のフレームの前記中間平滑化画像と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成し、前記中間平滑化画像保持手段に格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄することを特徴とする請求項１に記載の画像処理装置。The intermediate smoothed image holding unit holds only an intermediate smoothed image within a predetermined range used by the synthesis processing unit among the plurality of intermediate smoothed images generated by the intermediate smoothed image generating unit. And
The intermediate smoothed image generating means acquires position information of each pixel in the (N + 1) th and subsequent frames of the moving image received from the outside, and each pixel position of the reduced image of the Nth frame corresponding to the position information And a smoothing process is performed on the reduced image generated by the image reduction processing means with the plurality of preset level values within a predetermined range including the calculated pixel positions. Is generated and stored in the intermediate smoothed image holding means,
The synthesis processing unit generates a smoothed image by synthesizing the intermediate smoothed image of the Nth frame acquired by the acquiring unit and the (N + 1) th and subsequent frames of the moving image received from the outside, 2. The image processing apparatus according to claim 1, wherein a part or all of a plurality of intermediate smoothed images used for composition stored in the intermediate smoothed image holding unit are discarded.
前記合成処理手段は、前記取得手段により取得されたＮ番目のフレームの複数の中間平滑化画像の一つまたは複数の画素とＮ＋１番目以降のフレームとを合成するのに際して、Ｎ＋１番目以降のフレームを参照し、前記予め設定された複数のレベル値との差分から合成比率を算出して、算出した合成比率に基づいて、当該Ｎ番目のフレームの中間平滑化画像の一つまたは複数の画素と前記外部から受け付けた動画像のＮ＋１番目以降のフレームの各画素とを補間演算により合成して平滑化画像を生成することを特徴とする請求項１に記載の画像処理装置。The acquisition means refers to each pixel of the (N + 1) th and subsequent frames when generating a smoothed image of the (N + 1) th and subsequent frames, and obtains the Nth frame corresponding to the neighboring position of each of the (N + 1) th and subsequent pixels. Obtaining one or more pixels of the intermediate smoothed image from the intermediate smoothed image holding means;
The synthesizing processing unit, when synthesizing one or more pixels of the plurality of intermediate smoothed images of the Nth frame acquired by the acquiring unit and the (N + 1) th and subsequent frames, Referring to and calculating a synthesis ratio from the difference between the plurality of preset level values, based on the calculated synthesis ratio, one or more pixels of the intermediate smoothed image of the Nth frame and the The image processing apparatus according to claim 1, wherein a smoothed image is generated by synthesizing each pixel of N + 1 and subsequent frames of a moving image received from the outside by interpolation calculation.
前記中間平滑化画像生成手段は、前記画像縮小処理手段により生成された縮小画像に対して、前記外部から受け付けた動画像のＮ＋１番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するＮ番目のフレームの縮小画像の各画素位置を算出し、算出した各画素位置を含む前記２ラインについて前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して、前記中間平滑化画像保持手段に格納し、
前記合成処理手段は、前記取得手段により取得されたＮ番目のフレームの複数の中間平滑化画像の一つまたは複数の画素とＮ＋１番目以降のフレームとを合成するのに際して、Ｎ＋１番目以降のフレームを参照し、前記予め設定された複数のレベル値との差分から合成比率を算出して、算出した合成比率に基づいて、当該Ｎ番目のフレームの中間平滑化画像の一つまたは複数の画素と前記外部から受け付けた動画像のＮ＋１番目以降のフレームの各画素とを補間演算により合成して平滑化画像を生成し、前記中間平滑化画像保持手段に格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄することを特徴とする請求項２に記載の画像処理装置。The intermediate smoothed image holding unit includes each of N + 1 and subsequent frames in the Nth frame used for the synthesis processing unit among the plurality of intermediate smoothed images generated by the intermediate smoothed image generating unit. Keep only the two smooth intermediate images in the neighborhood, including the pixels,
The intermediate smoothed image generating means acquires position information of each pixel in the N + 1 and subsequent frames of the moving image received from the outside with respect to the reduced image generated by the image reduction processing means, and Each pixel position of the reduced image of the Nth frame corresponding to the information is calculated, smoothing processing is performed with the plurality of preset level values for the two lines including the calculated pixel positions, and a plurality of intermediate positions A smoothed image is generated and stored in the intermediate smoothed image holding means;
The synthesizing processing unit, when synthesizing one or more pixels of the plurality of intermediate smoothed images of the Nth frame acquired by the acquiring unit and the (N + 1) th and subsequent frames, Referring to and calculating a synthesis ratio from the difference between the plurality of preset level values, based on the calculated synthesis ratio, one or more pixels of the intermediate smoothed image of the Nth frame and the A plurality of intermediate images used for the synthesis stored in the intermediate smoothed image holding means by generating a smoothed image by interpolating the pixels of the (N + 1) th and subsequent frames of the moving image received from the outside by interpolation calculation The image processing apparatus according to claim 2, wherein a part or all of the smoothed image is discarded.
予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持する中間平滑化画像保持手順と、
前記外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成する画像縮小処理手順と、
前記画像縮小処理手順により生成された縮小画像に対して、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、前記中間平滑化画像保持手順に格納する中間平滑化画像生成手順と、
Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、前記中間平滑化画像保持手順により保持されたＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得する取得手順と、
前記取得手順により取得されたＮ番目のフレームの中間平滑化画像と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する合成処理手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。An image processing program for causing a computer to execute a method of generating a smoothed image using a low-frequency component from a moving image composed of a plurality of frames received from the outside,
An intermediate smoothed image holding procedure for holding a plurality of intermediate smoothed images smoothed at a plurality of preset level values;
An image reduction processing procedure for generating a reduced image by reducing the Nth frame image of the moving image received from the outside;
The reduced image generated by the image reduction processing procedure is subjected to smoothing processing with the plurality of preset level values to generate a plurality of intermediate smoothed images, and the intermediate smoothed image holding procedure is performed. Intermediate smoothed image generation procedure to store;
An acquisition procedure for acquiring one or a plurality of intermediate smoothed images of the Nth frame held by the intermediate smoothed image holding procedure when generating a smoothed image of the (N + 1) th and subsequent frames;
A synthesis processing procedure for generating a smoothed image by synthesizing the intermediate smoothed image of the Nth frame acquired by the acquisition procedure and the N + 1th and subsequent frames of the moving image received from the outside;
An image processing program for causing a computer to execute.
予め設定された複数のレベル値で平滑化された複数の中間平滑化画像を保持する中間平滑化画像保持工程と、
前記外部から受け付けた動画像のＮ番目のフレーム画像を縮小処理して縮小画像を生成する画像縮小処理工程と、
前記画像縮小処理工程により生成された縮小画像に対して、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成し、前記中間平滑化画像保持工程に格納する中間平滑化画像生成工程と、
Ｎ＋１番目以降のフレームの平滑化画像を生成する場合に、前記中間平滑化画像保持工程により保持されたＮ番目のフレームの複数の中間平滑化画像を一つまたは複数取得する取得工程と、
前記取得工程により取得されたＮ番目のフレームの中間平滑化画像と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成する合成処理工程と、
を含んだことを特徴とする画像処理方法。An image processing method of an image processing apparatus for generating a smoothed image using a low frequency component from a moving image composed of a plurality of frames received from the outside,
An intermediate smoothed image holding step for holding a plurality of intermediate smoothed images smoothed at a plurality of preset level values;
An image reduction processing step of generating a reduced image by reducing the Nth frame image of the moving image received from the outside;
The reduced image generated in the image reduction processing step is subjected to smoothing processing with the plurality of preset level values to generate a plurality of intermediate smoothed images, and the intermediate smoothed image holding step An intermediate smoothed image generating step to store;
An acquisition step of acquiring one or a plurality of intermediate smoothed images of the Nth frame held by the intermediate smoothed image holding step when generating a smoothed image of the N + 1th and subsequent frames;
A synthesis processing step of generating a smoothed image by synthesizing the intermediate smoothed image of the Nth frame acquired by the acquiring step and the N + 1th and subsequent frames of the moving image received from the outside;
An image processing method comprising:
前記中間平滑化画像生成手順は、前記画像縮小処理手順により生成された縮小画像に対して、前記外部から受け付けた動画像のＮ＋１番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するＮ番目のフレームの縮小画像の各画素位置を算出し、算出した各画素位置を含む所定の範囲内について、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して、前記中間平滑化画像保持手順に格納し、
前記合成処理手順は、前記取得手順により取得されたＮ番目のフレームの前記中間平滑化画像と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成し、前記中間平滑化画像保持手順に格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄することを特徴とする請求項６に記載の画像処理プログラム。The intermediate smoothed image holding procedure holds only intermediate smoothed images within a predetermined range used for the synthesis processing procedure among the plurality of intermediate smoothed images generated by the intermediate smoothed image generating procedure. And
The intermediate smoothed image generation procedure acquires position information of each pixel in the N + 1 and subsequent frames of the moving image received from the outside with respect to the reduced image generated by the image reduction processing procedure, and Each pixel position of the reduced image of the Nth frame corresponding to the information is calculated, and a smoothing process is performed with the plurality of preset level values within a predetermined range including each calculated pixel position. And generating the intermediate smoothed image and storing it in the intermediate smoothed image holding procedure,
The synthesis processing procedure generates the smoothed image by synthesizing the intermediate smoothed image of the Nth frame acquired by the acquisition procedure and the N + 1th and subsequent frames of the moving image received from the outside, The image processing program according to claim 6, wherein a part or all of the plurality of intermediate smoothed images used for the synthesis stored in the intermediate smoothed image holding procedure are discarded.
前記中間平滑化画像生成工程は、前記画像縮小処理工程により生成された縮小画像に対して、前記外部から受け付けた動画像のＮ＋１番目以降のフレームにおける各画素の位置情報を取得して、当該位置情報に対応するＮ番目のフレームの縮小画像の各画素位置を算出し、算出した各画素位置を含む所定の範囲内について、前記予め設定された複数のレベル値で平滑化処理を実施して複数の中間平滑化画像を生成して、前記中間平滑化画像保持工程に格納し、
前記合成処理工程は、前記取得工程により取得されたＮ番目のフレームの前記中間平滑化画像と前記外部から受け付けた動画像のＮ＋１番目以降のフレームとを合成して平滑化画像を生成し、前記中間平滑化画像保持工程に格納されている合成に利用された複数の中間平滑化画像の一部または全部を破棄することを特徴とする請求項７に記載の画像処理方法。The intermediate smoothed image holding step holds only the intermediate smoothed image within a predetermined range used for the synthesis processing step among the plurality of intermediate smoothed images generated by the intermediate smoothed image generating step. And
The intermediate smoothed image generation step acquires position information of each pixel in the N + 1th and subsequent frames of the moving image received from the outside with respect to the reduced image generated by the image reduction processing step, and Each pixel position of the reduced image of the Nth frame corresponding to the information is calculated, and a smoothing process is performed with the plurality of preset level values within a predetermined range including each calculated pixel position. Is generated and stored in the intermediate smoothed image holding step,
The synthesis processing step generates a smoothed image by synthesizing the intermediate smoothed image of the Nth frame acquired in the acquisition step and the N + 1th and subsequent frames of the moving image received from the outside, The image processing method according to claim 7, wherein a part or all of the plurality of intermediate smoothed images used for the synthesis stored in the intermediate smoothed image holding step are discarded.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009539975A JP4893833B2 (en) | 2007-11-06 | 2008-03-13 | Image processing apparatus, image processing method, and image processing program |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPPCT/JP2007/071577 | 2007-11-06 | ||
| PCT/JP2007/071577 WO2009060517A1 (en) | 2007-11-06 | 2007-11-06 | Image processing device, image processing method, and image processing program |
| PCT/JP2008/054640 WO2009060633A1 (en) | 2007-11-06 | 2008-03-13 | Image processing apparatus, method for image processing, and image processing program |
| JP2009539975A JP4893833B2 (en) | 2007-11-06 | 2008-03-13 | Image processing apparatus, image processing method, and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2009060633A1 JPWO2009060633A1 (en) | 2011-03-17 |
| JP4893833B2 true JP4893833B2 (en) | 2012-03-07 |
Family
ID=45907992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009539975A Active JP4893833B2 (en) | 2007-11-06 | 2008-03-13 | Image processing apparatus, image processing method, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4893833B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS57127364A (en) * | 1981-01-31 | 1982-08-07 | Nippon Telegr & Teleph Corp <Ntt> | Processing system of halftone facsimile signal |
| JP2004303075A (en) * | 2003-03-31 | 2004-10-28 | Canon Inc | Apparatus and method for image processing |
-
2008
- 2008-03-13 JP JP2009539975A patent/JP4893833B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS57127364A (en) * | 1981-01-31 | 1982-08-07 | Nippon Telegr & Teleph Corp <Ntt> | Processing system of halftone facsimile signal |
| JP2004303075A (en) * | 2003-03-31 | 2004-10-28 | Canon Inc | Apparatus and method for image processing |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2009060633A1 (en) | 2011-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5687553B2 (en) | Image composition apparatus, image composition method, and image composition program | |
| JP4847591B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6335504B2 (en) | Image processing apparatus, image processing method, and program | |
| JPWO2009081485A1 (en) | Image processing device | |
| JP5152203B2 (en) | Image processing apparatus, image processing method, image processing program, and image correction apparatus | |
| JP5882576B2 (en) | Image processing apparatus, image processing apparatus control method, and program | |
| JPH07288768A (en) | Method and device for video signal processing | |
| JP2013074571A (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP6739257B2 (en) | Image processing apparatus, control method thereof, and program | |
| JP4893833B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6082304B2 (en) | Image processing apparatus and processing method thereof | |
| US8254636B2 (en) | Image processing apparatus and image processing method | |
| JP4832411B2 (en) | Noise reduction processing apparatus and noise reduction processing method | |
| US8253820B2 (en) | Image processing apparatus and image processing method | |
| JP2011049696A (en) | Image processing device, and image processing method | |
| JP5761195B2 (en) | Image processing apparatus, image processing program, and image processing method | |
| JP5447614B2 (en) | Image processing apparatus and image processing program | |
| JP5752011B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| JP4892010B2 (en) | Image generation program, image generation apparatus, and image generation method | |
| JP2017208719A (en) | Image processing apparatus | |
| JP6891014B2 (en) | Image processing device, image processing method, and program | |
| JP2020080506A (en) | Image processing device, image processing method, and program | |
| JP5322667B2 (en) | Image processing apparatus and image processing method | |
| JP4992438B2 (en) | Image processing apparatus and image processing program | |
| JP2005018465A (en) | Image processor, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111122 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4893833 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150106 Year of fee payment: 3 |